JP2016091383A - 携帯端末装置、画面制御方法及び画面制御プログラム - Google Patents

Abstract

【課題】利用者の意図する画面方向に表示画面を設定できる携帯端末装置等を提供する。【解決手段】携帯端末装置は、表示部と、撮像部と、認識部と、決定部と、制御部とを有する。表示部は、画面を表示する。撮像部は、被写体の画像を撮像する。認識部は、撮像した撮像画像から利用者の顔方向を認識する。決定部は、顔方向の認識が失敗した場合に、所定操作に基づく指示方向を決定する。制御部は、決定した指示方向に画面の画面方向を設定する。【選択図】図１

Description

本発明は、携帯端末装置、画面制御方法及び画面制御プログラムに関する。

例えば、携帯電話機、ＰＤＡ（Personal Digital Assistants）、スマートフォン等の携帯端末装置は、持ち易さや使い易さの観点から、例えば、縦長の長方形の平板形状が多い。従って、携帯端末装置の表示画面も縦長画面の仕様とし、内蔵するソフトウェアも縦長画面の仕様で設計されている。しかしながら、近年、携帯端末装置でも、例えば、動画やパソコン向けの横長のウェブサイトを視聴できるように横長画面の仕様が高まっている。

そこで、例えば、スマートフォン用のＯＳ（Operation System）では、縦長画面（ポートレート）モードと、横長画面（ランドスケープ）モードとを所定操作に応じて切替可能にした技術が知られている。更に、表示画面上にＱＵＥＲＴＹキーボードをスライドして引き出し可能に表示し、縦画面から横画面に切り替え可能にする技術も知られている。

また、携帯端末装置では、加速度センサを内蔵し、傾き方向に応じて縦画面及び横画面に切替える仕組みを備え、利用者が装置本体を縦に把持した場合、表示画面を縦画面に表示し、装置本体を横に把持した場合、表示画面を横画面に表示する技術も知られている。

しかし、携帯端末装置では、加速度センサの検出結果に応じて表示画面の画面方向を変更したが、例えば、装置本体を把持する利用者の姿勢が仰向けや横向きの場合、利用者の意図せぬ画面方向に表示画面を設定してしまう虞がある。そこで、携帯端末装置では、表示画面と同じ面に備えたカメラで利用者の正面顔を撮像し、その撮像画像から利用者の顔方向を認識し、認識した顔方向に表示画面の画面方向を設定する方式が知られている。利用者は、意図せぬ画面方向への設定を抑制できる。

特開２００７−１７５９６号公報 特開２００８−１７７８１９号公報 特開２００９−１３０８１６号公報 特開２０１３−１５０１２９号公報 特開２０１１−１３８４４９号公報 特開２００９−１６３６５９号公報

しかしながら、携帯端末装置では、撮像画像から利用者の顔方向を認識する際に、撮像画像内に利用者の顔の特徴部分がない場合、利用者の顔方向を認識できない。例えば、利用者の顔がカメラのフレーム内に納まっていない場合、カメラのレンズ付近が指で隠れている場合、逆光や暗所等の悪条件で撮像した場合、撮像画像から利用者の顔方向を認識できない。その結果、利用者は、意図せぬ画面方向に表示画面が設定されてしまう。

一つの側面では、利用者の意図する画面方向に表示画面を設定できる携帯端末装置、画面制御方法及び画面制御プログラムを提供することを目的とする。

一つの案では、表示部と、撮像部と、認識部と、決定部と、制御部とを有する。前記表示部は、画面を表示する。前記撮像部は、被写体の画像を撮像する。前記認識部は、前記撮像部で撮像した撮像画像から利用者の顔方向を認識する。前記決定部は、前記認識部にて前記顔方向の認識が失敗した場合に、所定操作に基づく指示方向を決定する。前記制御部は、前記決定部にて決定した前記指示方向に前記画面の画面方向を設定する。

一つの側面では、利用者の意図する画面方向に表示画面を設定できる。

図１は、実施例１の携帯端末装置の一例を示すブロック図である。 図２は、携帯端末装置の正面図である。 図３は、利用者の顔方向を認識する際の携帯端末装置の動作の一例を示す説明図である。 図４は、顔方向認識が失敗した場合の携帯端末装置の動作の一例を示す説明図である。 図５は、画面制御処理に関わるプロセッサの処理動作の一例を示すフローチャートである。 図６は、実施例２の携帯端末装置の一例を示すブロック図である。 図７は、傾き方向から指示方向を特定する特定操作の一例を示す説明図である。 図８は、実施例３の携帯端末装置の一例を示すブロック図である。 図９は、振り方向から指示方向を特定する特定操作の一例を示す説明図である。 図１０は、推定した把持位置の一例を示す説明図である。 図１１は、画面制御プログラムを実行する携帯端末装置の一例を示す説明図である。

以下、図面に基づいて、本願の開示する携帯端末装置、画面制御方法及び画面制御プログラムの実施例を詳細に説明する。尚、本実施例により、開示技術が限定されるものではない。また、以下に示す各実施例は、矛盾を起こさない範囲で適宜組み合わせても良い。

図１は、実施例１の携帯端末装置１の一例を示すブロック図である。図１に示す携帯端末装置１は、表示部１１と、タッチパネル１２と、撮像センサ１３と、把持センサ１４と、ＲＯＭ（Read Only Memory）１５と、ＲＡＭ(Random Access Memory)１６と、プロセッサ１７とを有する。携帯端末装置１は、例えば、携帯電話機、スマートフォン、メディアプレイヤー、タブレット型パソコン、携帯型ゲーム機等の携帯型の端末装置である。表示部１１は、例えば、液晶や有機ＥＬ(Electro Luminescence)等の薄型・低消費電力の表示装置である。タッチパネル１２は、表示部１１上に配置し、例えば、抵抗膜方式や静電容量方式等で利用者のタッチ操作を検出する。

撮像センサ１３は、例えば、ＣＣＤ（Charge Coupled Device)やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を用いたセンサである。撮像センサ１３は、表示部１１の表示画面側に配置し、被写体の画像を撮像する。把持センサ１４は、例えば、静電容量センサや光学式センサに相当し、利用者が把持する携帯端末装置１本体（以下、単に装置本体と称する）の辺を検出するセンサである。ＲＯＭ１５及びＲＡＭ１６は、各種情報を記憶する領域である。プロセッサ１７は、携帯端末装置１全体を制御する。

図２は、携帯端末装置１の正面図である。図２に示す携帯端末装置１の正面を基準とし、相対位置として、上辺１０Ａ、下辺１０Ｂ、右辺１０Ｃ及び左辺１０Ｄとする。更に、携帯端末装置１の表示部１１の表示画面も正面を基準とし、相対位置として、表示画面の上辺１１Ａ、下辺１１Ｂ、右辺１１Ｃ及び左辺１１Ｄとする。

プロセッサ１７は、ＲＯＭ１５に格納された画面制御プログラムを読み出し、読み出された画面制御プログラムに基づき各種プロセスを機能として構成する。プロセッサ１７は、認識部２１と、判定部２２と、第１の決定部２３と、第２の決定部２４と、制御部２５とを有する。

図３は、利用者の顔方向を認識する際の携帯端末装置１の動作の一例を示す説明図である。認識部２１は、撮像センサ１３で取得した被写体の画像から人肌色の領域を抽出し、例えば、目、鼻や口等の特徴パターンを標準パターンで照合し、その照合結果に基づき、人肌色の領域を抽出する。更に、認識部２１は、抽出した人肌色の領域から正面顔の領域を抽出し、抽出した正面顔の領域から利用者の頭から顎への顎方向を認識する。そして、認識部２１は、抽出した利用者の顎方向から利用者の顔方向を認識する。尚、認識部２１は、例えば、目、鼻や口等の特徴パターンを照合する際の顔画像の照合距離値及び位置関係の照合距離値を測定し、その測定結果に基づき、顔方向認識の確度を取得する。

判定部２２は、認識部２１で取得した確度に基づき、利用者の顔方向の認識が失敗したか否かを判定する。判定部２２は、例えば、確度が第１の閾値未満の場合、利用者の顔画像の照合が不充分のため、図３の（Ｂ）に示すように顔方向の認識が失敗と判定する。また、判定部２２は、確度が第１の閾値以上の場合、図３の（Ａ）に示すように、利用者の顔画像の照合が充分のため、顔方向の認識が失敗でないと判定する。

第１の決定部２３は、利用者の顔方向の認識が失敗しなかった、すなわち認識が成功した場合、利用者の顔方向を決定する。第１の決定部２３は、頭から顎への顎方向で利用者の顔方向を決定する。第１の決定部２３は、例えば、顎方向が左方向の場合、顔方向が左方向とし、顎方向が右方向の場合、顔方向が右方向と決定する。更に、第１の決定部２３は、例えば、顎方向が下方向の場合、顔方向が下方向とし、例えば、顎方向が上方向の場合、顔方向が上方向と決定する。

制御部２５は、第１の決定部２３で決定した顔方向に基づき、表示部１１の表示画面の画面方向を設定する。尚、制御部２５は、画面方向を設定する場合、画面の座標を制御する。制御部２５は、例えば、顔方向が左方向の場合、表示画面の左辺１１Ｄを天、右辺１１Ｃを地とする画面方向に設定する。また、制御部２５は、例えば、顔方向が右方向の場合、表示画面の右辺１１Ｃを天、左辺１１Ｄを地とする画面方向に設定する。また、制御部２５は、例えば、顔方向が上方向の場合、表示画面の上辺１１Ａを天、下辺１１Ｂを地とする画面方向に設定する。更に、制御部２５は、例えば、顔方向が下方向の場合、表示画面の下辺１１Ｂを天、上辺１１Ａを地とする画面方向に設定する。

図４は、顔方向認識失敗時の特定操作画面の一例を示す説明図である。第２の決定部２４は、図４の（Ａ）に示すように、判定部２２にて利用者の顔方向の認識が失敗した場合、指示モードに移行する。尚、指示モードは、顔方向の認識が失敗した場合に特定操作画面で指示方向の特定操作を受付けるモードである。第２の決定部２４は、指示モードに移行すると、図４の（Ｂ）に示すように特定操作画面３０Ａを表示画面に画面表示する。更に、制御部２５は、認識失敗を利用者に対して、例えば、警告音、ポップアップ表示やバイブレータ等で報知出力する。特定操作画面３０Ａは、利用者の意図する表示画面の指示方向を特定する矢印への特定操作（例えば、ドラッグ操作）を受付ける画面である。第２の決定部２４は、図４の（Ｃ）に示すように特定操作画面３０Ａ上で指示方向を特定する特定操作を検出すると、特定操作で特定した指示方向を決定する。

制御部２５は、特定操作画面３０Ａの表示後、所定時間タイマの計時動作を開始する。第２の決定部２４は、所定時間タイマの計時動作を開始し、所定時間経過後に特定操作画面３０Ａを表示画面から消去し、その指示モードを解除する。また、第２の決定部２４は、特定操作画面３０Ａの表示後、特定操作画面３０以外の操作を検出した場合、その特定操作画面３０Ａを表示画面から消去し、指示モードを解除する。その結果、利用者は、表示画面の画面方向の切替が不要の場合に、その特定操作画面３０Ａの消去及び指示モードの解除に要する操作負担を軽減できる。

第２の決定部２４は、図４の（Ｃ）に示すように特定操作画面３０Ａ上で指示方向の特定操作を検出すると、特定操作画面３０Ａの矢印方向への特定操作で指示方向を特定する。制御部２５は、図４の（Ｄ）に示すように第２の決定部２４で決定した指示方向に表示部１１の画面方向を設定する。つまり、制御部２５は、決定した指示方向が右方向の場合、表示画面の左辺１１Ｃを天、右辺１１Ｄを地とする画面方向に設定する。また、制御部２５は、決定した指示方向が左方向の場合、表示画面の右辺１１Ｄを天、左辺１１Ｃを地とする画面方向に設定する。制御部２５は、決定した指示方向が上方向の場合、表示画面の下辺１１Ｂを天、上辺１１Ａを地とする画面方向に設定する。制御部２５は、決定した指示方向が下方向の場合、表示画面の上辺１１Ａを天、下辺１１Ｂを地とする画面方向に設定する。

把持センサ１４は、利用者が把持している装置本体の辺１０Ａ，１０Ｂ，１０Ｃ及び１０Ｄを認識する。第２の決定部２４は、把持センサ１４で認識した辺付近にある表示部１１の表示領域に特定操作画面３０Ａを表示する。第２の決定部２４は、例えば、装置本体の上辺１０Ａを把持していると認識された場合、その上辺１０Ａ付近の表示領域に特定操作画面３０Ａ、装置本体の下辺１０Ｂを把持していると認識された場合、その下辺１０Ｂ付近の表示領域に特定操作画面３０Ａを表示する。第２の決定部２４は、装置本体の右辺１０Ｃを把持していると認識された場合、その右辺１０Ｃ付近の表示領域に特定操作画面３０Ａ、装置本体の左辺１０Ｄを把持していると認識された場合、その左辺１０Ｄ付近の表示領域に特定操作画面３０Ａを表示する。その結果、利用者は、装置本体を把持する把持手近傍に特定操作画面３０Ａを表示するため、特定操作画面３０Ａの操作性を確保できる。

次に実施例１の携帯端末装置１の動作について説明する。図５は、画面制御処理に関わる携帯端末装置１のプロセッサ１７の処理動作の一例を示すフロー図である。図５に示す画面制御処理は、顔方向の認識が失敗した場合でも特定操作画面を表示し、特定操作画面上の指示方向の特定操作に応じて特定した指示方向に表示画面の画面方向を設定する処理である。

図５においてプロセッサ１７内の制御部２５は、現在モードが指示モード中であるか否かを判定する（ステップＳ１１）。プロセッサ１７内の認識部２１は、現在モードが指示モード中でない場合（ステップＳ１１否定）、撮像センサ１３を通じて現在の撮像画像を取得する（ステップＳ１２）。認識部２１は、取得した撮像画像から利用者の顔方向を認識する（ステップＳ１３）。

プロセッサ１７内の判定部２２は、認識部２１にて顔方向の認識が失敗したか否かを判定する（ステップＳ１４）。プロセッサ１７内の第１の決定部２３は、顔方向の認識が失敗しなかった場合（ステップＳ１４否定）、すなわち顔方向の認識が成功した場合、利用者の顔方向を決定する（ステップＳ１５）。制御部２５は、第１の決定部２３で決定した利用者の顔方向に基づき、表示画面の画面方向を設定する（ステップＳ１６）。

第２の決定部２４は、顔方向の認識が失敗した場合（ステップＳ１４肯定）、指示モードに移行し（ステップＳ１７）、把持センサ１４のセンサ結果である辺付近の表示領域に特定操作画面３０Ａを表示する（ステップＳ１８）。制御部２５は、特定操作画面３０Ａを表示後、所定時間タイマの計時動作を開始し（ステップＳ１９）、指示モード中であるか否かを判定すべく、ステップＳ１１に移行する。

制御部２５は、指示モード中の場合（ステップＳ１１肯定）、所定時間タイマが所定時間を経過したか否かを判定する（ステップＳ２０）。制御部２５は、所定時間を経過していない場合（ステップＳ２０否定）、タッチパネル１２上の入力があるか否かを判定する（ステップＳ２１）。制御部２５は、タッチパネル１２上の入力がある場合（ステップＳ２１肯定）、特定操作画面３０Ａ上の特定操作を検出したか否かを判定する（ステップＳ２２）。第２の決定部２４は、特定操作画面３０Ａ上の特定操作を検出した場合（ステップＳ２２肯定）、特定操作の指示方向を決定する（ステップＳ２３）。制御部２５は、第２の決定部２４で決定した指示方向に基づき、表示画面の画面方向を設定する（ステップＳ２４）。第２の決定部２４は、表示画面の画面方向を設定後、特定操作画面３０Ａを消去し（ステップＳ２５）、指示モードを解除し（ステップＳ２６）、図５に示す処理動作を終了する。第２の決定部２４は、所定時間を経過した場合（ステップＳ２０肯定）、特定操作画面３０Ａを消去すべく、ステップＳ２５に移行する。制御部２５は、タッチパネル１２上の入力がない場合（ステップＳ２１否定）、所定時間を経過したか否かを判定すべく、ステップＳ２０に移行する。

図５に示す画面制御処理を実行するプロセッサ１７は、顔方向の認識が失敗した場合、特定操作画面３０Ａを画面表示し、特定操作画面３０Ａ上で指示方向を特定し、特定した指示方向に表示画面の画面方向を設定する。その結果、利用者は、自分が意図した指示方向に表示画面の画面方向を設定できる。

プロセッサ１７は、特定操作画面３０Ａの表示後、所定時間タイマの計時動作を開始し、所定時間を経過した場合に特定操作画面３０Ａの消去及び指示モードの解除を実行する。その結果、利用者は、特定操作画面３０Ａの消去及び指示モードの解除に要する操作負担を軽減できる。

プロセッサ１７は、特定操作画面３０Ａの表示後、特定操作画面３０以外のタッチパネル１２への操作を検出した場合、所定時間経過前でも特定操作画面３０Ａの消去及び指示モードの解除を実行する。その結果、利用者は、特定操作画面３０Ａの消去及び指示モードの解除に要する操作負担を軽減できる。

実施例１の携帯端末装置１は、顔方向の認識が失敗した場合に、所定操作に基づく指示方向を特定し、特定した指示方向に表示画面の画面方向を設定する。その結果、利用者は、意図せぬ画面方向への表示画面への設定を防止し、意図する画面方向に表示画面を設定できる。

携帯端末装置１は、顔方向の認識が失敗した場合に特定操作画面３０Ａを表示し、特定操作画面３０Ａ上で利用者の操作で指示方向を特定する。その結果、利用者は、意図せぬ画面方向への表示画面への設定を防止できる。

携帯端末装置１は、顔方向の認識が失敗した場合に、把持センサ１４で検出した把持辺付近の表示領域に特定操作画面３０Ａを画面表示する。その結果、利用者は、その特定操作画面３０Ａの操作性を確保できる。

携帯端末装置１は、特定操作画面３０Ａの表示後、所定時間経過後に特定操作画面３０Ａを表示画面から消去する。その結果、所定時間経過後に特定操作画面３０Ａを自動的に消去できるため、利用者は、その消去に要する操作負担を軽減できる。

携帯端末装置１は、特定操作画面３０Ａの表示中に特定操作画面３０Ａ以外の表示領域のタッチ操作を検出した場合、特定操作画面３０Ａを消去する。その結果、利用者は、画面方向を変える必要のない場合に特定操作画面３０Ａを消去する際の操作負担を軽減できる。

尚、上記実施例１では、ドラッグ操作で特定操作画面３０Ａ上の矢印で指示方向を特定するようにしたが、物理ボタンのボタン操作で指示方向を特定するようにしても良い。

上記実施例１では、把持センサ１４で検出した把持位置付近の表示領域に特定操作画面３０Ａを表示した。しかしながら、把持センサ１４を用いることなく、携帯端末装置１の表示画面の長辺、例えば、右辺１１Ｃ又は左辺１１Ｄの端付近に特定操作画面３０Ａを表示するようにしても良い。

上記実施例１の表示部１１は、表示画面上に特定操作画面３０Ａを表示するようにしたが、特定操作画面３０Ａを半透明状態で表示するようにしても良い。その結果、利用者は、特定操作画面３０Ａの表示で表示内容が隠れることもなく、その表示内容を視認できる。

また、特定操作画面３０Ａ上の指示方向を装置本体の傾斜方向で特定するようにしても良い。この場合の実施の形態につき、実施例２として以下に説明する。

図６は、実施例２の携帯端末装置１Ａの一例を示す説明図である。尚、実施例１の携帯端末装置１と同一の構成には同一符号を付すことで、その重複する構成及び動作の説明については省略する。

図６に示す携帯端末装置１Ａと図１に示す携帯端末装置１とが異なるところは、顔方向の認識が失敗した第１のタイミングでの傾き量を基準にし、その後、検出した装置本体の傾き量との傾き変化量から装置本体の傾き方向を指示方向として特定する点である。尚、第１のタイミングとは、例えば、判定部２２にて顔方向の認識が失敗したと判定し、指示モードに移行し、かつ、傾きセンサ１８で重力方向の装置本体の傾き量が所定レベル、すなわち静止状態となったタイミングである。

傾きセンサ１８は、例えば、加速度センサや方位センサ等に相当し、装置本体の傾き量を検出する。第２の決定部２４Ａは、指示モード移行後、重力方向の装置本体の傾き量が所定レベル以下の場合に、表示部１１の表示画面上に顔方向認識失敗のマークを表示する。

図７は、傾き方向から指示方向を特定する特定操作の一例を示す説明図である。図７の（Ａ）に示す携帯端末装置１Ａは、平面の左右方向をｘ軸、平面の上下方向をｙ軸、平面の表裏方向をｚ軸とし、重力方向をベクトル（ｘ、ｙ、ｚ）で表現する。制御部２５Ａは、傾きセンサ１８を通じて第１のタイミングで重力方向のベクトルを取得し、このベクトルを基準ベクトルとしてＲＡＭ１６に記憶する。

第２の決定部２４Ａは、基準ベクトルを記憶後、傾きセンサ１８を通じて装置本体の傾き量を検出すると、傾きセンサ１８で取得した装置本体の現在の傾き量、すなわち重力方向の現在ベクトルを取得する。更に、第２の決定部２４Ａは、現在ベクトルと基準ベクトルとの内積を算出し、算出した内積に基づき傾き変化量を算出する。そして、第２の決定部２４Ａは、算出した傾き変化量が所定変化量を超えた場合に、その傾き方向を指示方向として決定する。

制御部２５Ａは、第２の決定部２４Ａで決定した指示方向を表示画面の画面方向に設定する。制御部２５Ａは、図７の（Ｂ）に示すように、表示画面の左辺１１Ｃの方向に傾き変化量が所定変化量を超えて傾けた場合、この傾き方向を指示方向とし、左辺１１Ｃが天、右辺１１Ｄが地となる画面方向に表示画面を設定する。制御部２５Ａは、表示画面の右辺１１Ｄの方向に傾き変化量が所定変化量を超えて傾けた場合、右辺１１Ｄが天、左辺１１Ｃが地となる画面方向に表示画面を設定する。

また、制御部２５Ａは、図７の（Ｃ）に示すように、表示画面の上辺１１Ａの方向に傾き変化量が所定変化量を超えて傾けた場合、上辺１１Ａが天、下辺１１Ｂが地となる画面方向に表示画面を設定する。制御部２５Ａは、表示画面の下辺１１Ｂの方向に傾き変化量が所定変化量を超えて傾けた場合、下辺１１Ｂが天、上辺１１Ａが地となる画面方向に表示画面を設定する。

実施例２の携帯端末装置１Ａでは、顔方向の認識が失敗した場合、装置本体の傾き操作による傾き方向で指示方向を特定し、特定した指示方向に表示画面の画面方向を設定する。その結果、利用者は、装置本体の傾き操作で意図する画面方向に表示画面を設定できる。

尚、上記実施例１の制御部２５は、特定操作画面３０Ａ上の特定操作で指示方向を特定する場合を例示したが、例えば、装置本体の振り方向で指示方向を特定しても良く、この場合の実施の形態につき、実施例３として以下に説明する。

図８は、実施例３の携帯端末装置１Ｂの一例を示すブロック図である。尚、実施例１の携帯端末装置１と同一の構成には同一符号を付すことで、その重複する構成及び動作の説明については省略する。

図８に示す携帯端末装置１Ｂと図１に示す携帯端末装置１とが異なるところは、装置本体の加速度から装置本体の位置と装置本体を振る軸の位置との位置関係を算出し、その算出した位置関係から把持位置を推定し、把持位置から指示方向を特定する点にある。携帯端末装置１Ｂは、装置本体の加速度を検出する加速度センサ１９Ａと、ジャイロセンサ１９Ｂとを有する。

図９は、振り方向から指示方向を特定する特定操作の一例を示す説明図である。図９において利用者による指示方向の特定操作は、顔方向の認識を失敗して指示モードに移行後、装置本体を把持している手の手首を軸Ｌに装置本体を振る操作で把持位置を特定し、その把持位置から指示方向を特定する操作である。制御部２５Ｂは、装置本体を把持する利用者の把持手を認識するものとする。

第２の決定部２４Ｂは、加速度センサ１９Ａの装置本体の加速度値から重力成分を除去して２回積分し、その値にジャイロセンサ１９Ｂの実測値で補正し、装置本体の移動ベクトルＶを算出する。第２の決定部２４Ｂは、算出した装置本体の移動ベクトルＶの軌跡が最小二乗法等で円運動に適用し、その円運動から半径及び中心軸Ｌの位置を推定する。そして、第２の決定部２４Ｂは、推定した中心軸の位置から装置本体の持ち方、すなわち装置本体の把持位置を推定する。

図１０は、推定した把持位置の一例を示す説明図である。尚、説明の便宜上、利用者の装置本体の把持手を右手とする。第２の決定部２４Ｂは、図１０の（Ａ）に示すように、中心軸Ｌが装置本体の右下の場合、表示画面の上辺１１Ａを天、下辺１１Ｂを地にして装置本体を縦に把持した把持位置と推定する。第２の決定部２４Ｂは、図１０の（Ｂ）に示すように、中心軸Ｌが装置本体の左下の場合、表示画面の左辺１１Ｄを地、右辺１１Ｃを天にして装置本体を横に把持した把持位置と推定する。第２の決定部２４Ｂは、図１０の（Ｃ）に示すように、中心軸Ｌが装置本体の右上の場合、表示画面の右辺１１Ｃを地、左辺１１Ｄを天にして装置本体を横に把持した把持位置と推定する。第２の決定部２４Ｂは、図１０の（Ｄ）に示すように、中心軸Ｌが装置本体の左上の場合、表示画面の上辺１１Ａを地、下辺１１Ｂを天にして装置本体を縦に把持した把持位置と推定する。

制御部２５Ｂは、第２の決定部２４Ｂにて推定した把持位置を表示画面の画面方向として設定する。例えば、制御部２５Ｂは、把持位置が装置本体の右下の場合、上辺１１Ａが天、下辺１１Ｂが地となる画面方向に表示画面を設定する。制御部２５Ｂは、把持位置が装置本体の左下の場合、右辺１１Ｃが天、左辺１１Ｄが地となる画面方向に表示画面を設定する。更に、制御部２５Ｂは、把持位置が装置本体の右上の場合、左辺１１Ｄが天、右辺１１Ｃが地となる画面方向に表示画面を設定する。更に、制御部２５Ｂは、把持位置が装置本体の左上の場合、下辺１１Ｂが天、上辺１１Ａが地となる画面方向に表示画面を設定する。

実施例３の携帯端末装置１Ｂでは、顔方向の認識が失敗した場合、装置本体の振り操作による移動ベクトルで把持位置を推定し、推定した把持位置で指示方向を特定し、特定した指示方向に表示画面の画面方向を設定する。その結果、利用者は、装置本体の振り操作で意図する画面方向に表示画面を設定できる。

また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

更に、各装置で行われる各種処理機能は、ＣＰＵ（Central Processing Unit）（又はＭＰＵ（Micro Processing Unit）、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部又は任意の一部を実行するようにしても良い。また、各種処理機能は、ＣＰＵ（又はＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行するプログラム上、又はワイヤードロジックによるハードウェア上で、その全部又は任意の一部を実行するようにしても良いことは言うまでもない。

ところで、本実施例で説明した各種の処理は、予め用意されたプログラムを携帯端末装置内のＣＰＵ等のプロセッサで実行させることによって実現できる。そこで、以下では、上記実施例と同様の機能を有するプログラムを実行する携帯端末装置の一例を説明する。図１１は、画面制御プログラムを実行する携帯端末装置の一例を示す説明図である。

図１１に示す画面制御プログラムを実行する携帯端末装置１００は、撮像センサ１１０と、表示部１２０と、ＲＯＭ１３０と、ＲＡＭ１４０と、ＣＰＵ１５０とを有する。撮像センサ１１０、表示部１２０、ＲＯＭ１３０、ＲＡＭ１４０及びＣＰＵ１５０は、バス１６０を介して接続される。撮像センサ１１０は、被写体の画像を撮像する。表示部１２０は、表示画面を表示する。

そして、ＲＯＭ１３０には、上記実施例と同様の機能を発揮する画面制御プログラムが予め記憶されている。ＲＯＭ１３０は、画面制御プログラムとして認識プログラム１３０Ａ、決定プログラム１３０Ｂ及び制御プログラム１３０Ｃが記憶されている。尚、ＲＯＭ１３０ではなく、図示せぬドライブでコンピュータ読取可能な記録媒体に画面制御プログラムが記録されていても良い。また、記録媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤディスク、ＵＳＢメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ等でも良い。

そして、ＣＰＵ１５０は、認識プログラム１３０ＡをＲＯＭ１３０から読み出して認識プロセス１４０ＡとしてＲＡＭ１４０上で機能する。更に、ＣＰＵ１５０は、決定プログラム１３０ＢをＲＯＭ１３０から読み出して決定プロセス１４０ＢとしてＲＡＭ１４０上で機能する。ＣＰＵ１５０は、制御プログラム１３０ＣをＲＯＭ１３０から読み出して制御プロセス１４０ＣとしてＲＡＭ１４０上で機能する。

携帯端末装置１００内のＣＰＵ１５０は、撮像した撮像画像から利用者の顔方向を認識する。ＣＰＵ１５０は、顔方向の認識が失敗した場合、所定操作に基づく指示方向を決定する。ＣＰＵ１５０は、決定した指示方向に表示画面の画面方向を設定する。その結果、利用者の意図する画面方向に表示画面を設定できる。

以上、本実施例を含む実施の形態に関し、更に以下の付記を開示する。

(付記１)画面を表示する表示部と、
被写体の画像を撮像する撮像部と、
前記撮像部で撮像した撮像画像から利用者の顔方向を認識する認識部と、
前記認識部にて前記顔方向の認識が失敗した場合に、所定操作に基づく指示方向を決定する決定部と、
前記決定部にて決定した前記指示方向に前記画面の画面方向を設定する制御部と
を有することを特徴とする携帯端末装置。

（付記２）前記決定部は、
前記顔方向の認識が失敗した場合に、前記指示方向を指定する操作画面を前記表示部に表示させ、前記操作画面上で前記指示方向を指定する操作に応じて前記指示方向を特定することを特徴とする付記１に記載の携帯端末装置。

（付記３）前記携帯端末装置本体の把持位置を検出する把持検出部を有し、
前記決定部は、
前記顔方向の認識が失敗した場合に、前記指示方向を指定する操作画面を、前記把持検出部にて検出した前記把持位置付近にある前記表示部の表示領域に表示させ、前記操作画面上で前記指示方向を指定する操作に応じて前記指示方向を特定することを特徴とする付記１に記載の携帯端末装置。

（付記４）前記決定部は、
前記操作画面を前記表示部の短辺付近に表示させることを特徴とする付記２又は３に記載の携帯端末装置。

（付記５）前記決定部は、
前記操作画面を前記表示部に半透明状態で表示させることを特徴とする付記２〜４の何れか一つに記載の携帯端末装置。

（付記６）前記決定部は、
前記操作画面を表示した後、所定時間経過後に当該操作画面の表示を消去することを特徴とする付記２〜５の何れか一つに記載の携帯端末装置。

（付記７）前記決定部は、
前記操作画面以外の表示領域の操作を検出した場合、前記操作画面の表示を消去することを特徴とする付記１〜６の何れか一つに記載の携帯端末装置。

（付記８）前記携帯端末装置本体の傾きを検出する傾き検出部を有し、
前記決定部は、
前記顔方向の認識が失敗した時点の傾き量を基準とし、その基準の傾き量と前記傾き検出部で検出した前記携帯端末装置本体の傾き量との変化量から前記携帯端末装置本体の傾き方向を特定し、その特定した傾き方向を前記指示方向として特定することを特徴とする付記１に記載の携帯端末装置。

（付記９）前記携帯端末装置本体の加速度を検出する加速度検出部を有し、
前記決定部は、
前記加速度検出部で検出した前記携帯端末装置本体の移動軌跡から前記携帯端末装置本体の位置と当該携帯端末装置本体を振る軸の位置との位置関係を算出し、その位置関係から前記携帯端末装置の把持位置を推定し、推定した前記把持位置から前記指示方向を特定することを特徴とする付記１に記載の携帯端末装置。

（付記１０）表示部を有する携帯端末装置が、
被写体の画像を撮像し、
前記撮像した撮像画像から利用者の顔方向を認識し、
前記顔方向の認識が失敗した場合に、所定操作に基づく指示方向を決定し、
前記決定した前記指示方向に前記画面の画面方向を設定する
処理を実行することを特徴とする画面制御方法。

（付記１１）表示部を有する携帯端末装置に、
被写体の画像を撮像し、
前記撮像した撮像画像から利用者の顔方向を認識し、
前記顔方向の認識が失敗した場合に、所定操作に基づく指示方向を決定し、
前記決定した前記指示方向に前記画面の画面方向を設定する
処理を実行させることを特徴とする画面制御プログラム。

１，１Ａ，１Ｂ 携帯端末装置
１１ 表示部
１３ 撮像センサ
１４ 把持センサ
１８ 傾きセンサ
１９Ａ 加速度センサ
１９Ｂ ジャイロセンサ
２１ 認識部
２２ 判定部
２４，２４Ａ，２４Ｂ 第２の決定部
２５，２５Ａ，２５Ｂ 制御部
３０Ａ 特定操作画面

Claims (7)

1. 画面を表示する表示部と、
   被写体の画像を撮像する撮像部と、
   前記撮像部で撮像した撮像画像から利用者の顔方向を認識する認識部と、
   前記認識部にて前記顔方向の認識が失敗した場合に、所定操作に基づく指示方向を決定する決定部と、
   前記決定部にて決定した前記指示方向に前記画面の画面方向を設定する制御部と
   を有することを特徴とする携帯端末装置。
2. 前記決定部は、
   前記顔方向の認識が失敗した場合に、前記指示方向を指定する操作画面を前記表示部に表示させ、前記操作画面上で前記指示方向を指定する操作に応じて前記指示方向を特定することを特徴とする請求項１に記載の携帯端末装置。
3. 前記携帯端末装置本体の把持位置を検出する把持検出部を有し、
   前記決定部は、
   前記顔方向の認識が失敗した場合に、前記指示方向を指定する操作画面を、前記把持検出部にて検出した前記把持位置付近にある前記表示部の表示領域に表示させ、前記操作画面上で前記指示方向を指定する操作に応じて前記指示方向を特定することを特徴とする請求項１に記載の携帯端末装置。
4. 前記携帯端末装置本体の傾きを検出する傾き検出部を有し、
   前記決定部は、
   前記顔方向の認識が失敗した時点の傾き量を基準とし、その基準の傾き量と前記傾き検出部で検出した前記携帯端末装置本体の傾き量との変化量から前記携帯端末装置本体の傾き方向を特定し、その特定した傾き方向を前記指示方向として特定することを特徴とする請求項１に記載の携帯端末装置。
5. 前記携帯端末装置本体の加速度を検出する加速度検出部を有し、
   前記決定部は、
   前記加速度検出部で検出した前記携帯端末装置本体の移動軌跡から前記携帯端末装置本体の位置と当該携帯端末装置本体を振る軸の位置との位置関係を算出し、その位置関係から前記携帯端末装置の把持位置を推定し、推定した前記把持位置から前記指示方向を特定することを特徴とする請求項１に記載の携帯端末装置。
6. 表示部を有する携帯端末装置が、
   被写体の画像を撮像し、
   前記撮像した撮像画像から利用者の顔方向を認識し、
   前記顔方向の認識が失敗した場合に、所定操作に基づく指示方向を決定し、
   前記決定した前記指示方向に前記画面の画面方向を設定する
   処理を実行することを特徴とする画面制御方法。
7. 表示部を有する携帯端末装置に、
   被写体の画像を撮像し、
   前記撮像した撮像画像から利用者の顔方向を認識し、
   前記顔方向の認識が失敗した場合に、所定操作に基づく指示方向を決定し、
   前記決定した前記指示方向に前記画面の画面方向を設定する
   処理を実行させることを特徴とする画面制御プログラム。

Images