(第1の実施形態)
以下、図面を参照しながら本発明の第1の実施形態について説明する。図1A及び図1Bは、本発明の第1の実施形態による電子機器3(例、携帯端末)の外観模式図である。
なお、図1Aは電子機器3の筐体前面(表面、本体前面)、図1Bは電子機器3の筐体背面(裏面、本体背面)を表している。
電子機器3は、図1Aに示すように、筐体前面に、タッチスクリーン(表示部)44、カーソルパッド48、フロントカメラ(レンズ、撮像部)62、スピーカ82、マイクロフォン84、決定/ホームボタン92を有する。また、電子機器3は、図1Bに示すように、筐体背面に、バックカメラ(レンズ、撮像部)64を有する。また、電子機器3は、図1A及び1Bに示すように、筐体上部(本体上部)に、電源ボタン90を有する。また、電子機器3は、破線にて示すように、内部に、モーションセンサ50(例、3軸加速度センサや3軸角速度センサ)、GPS52、方位計54、仰角センサ56を備える。
タッチスクリーン44は、表示データに基づく表示画像を表示する。表示データとは、例えば、画像データ、テキストデータである。表示画像とは、画像(例えば、写真、イラストなどの画像)、テキスト(例えば、文字、記号)などである。また、タッチスクリーン44は、ユーザによる指示位置を示すカーソルを表示する。また、タッチスクリーン44は、タッチセンサを有し、ユーザによるタッチ位置を検出する。なお、タッチスクリーン44に表示される表示画像の表示形式(画面表示型)は、表示制御部100(後述)によって制御される(詳細は後述)。
カーソルパッド48は、タッチスクリーン44に表示されたカーソルの移動操作を受け付ける。即ち、タッチスクリーン44上に表示されたカーソルは、カーソルパッド48上におけるユーザの指の動きに応じて移動する。
フロントカメラ62は、カメラ部60(後述)の制御に従って、前方側(筐体前面側、タッチスクリーン44側)の被写体を撮像する。
バックカメラ64は、カメラ部60(後述)の制御に従って、後方側(筐体背面側、タッチスクリーン44の逆側又は反対側)の被写体を撮像する。
なお、フロントカメラ62(若しくは、フロントカメラ62及びカメラ部60)を第1撮像部とも称し、バックカメラ64(若しくは、バックカメラ64及びカメラ部60)を第2撮像部とも称する。また、フロントカメラ62及びバックカメラ64は、被写体を撮像する環境が暗所などの場合において被写体を撮像することが可能なように、赤外線カメラ或いは照明付きカメラであってもよい。
スピーカ82は、オーディオ部80(後述)の制御に従って、音(声を含む)を出力する。マイクロフォン84は、集音した音データをオーディオ部80(後述)に供給する。
電源ボタン90は、筐体(a casing body、a body、本体(a body, a main body))に電源を投入するためのボタンである。決定/ホームボタン92は、種々の決定、又は、ホーム画面(初期表示画面)の表示を指示するボタンである。
モーションセンサ50は、筐体の動き(例、筐体の傾斜など)を検出するために加速度センサ又は/及び角速度センサを備え、筐体に加わる加速度又は/及び角速度を検出する。GPS52は、筐体の位置を測定(測位)する。方位計54は、例えば、地磁気センサであって、方位(即ち、筐体の向く方向)を検出する。仰角センサ56は、筐体の動きを検出するために、筐体の仰角(例、光の入射方向と地表面とのなす角、或いは水平から上の視野角)を検出する。
図2は、電子機器3のブロック図の一例である。電子機器3は、図1A及び図1Bに示したものに加え、図2に示すように、プロセッサ10、インターフェイス部20、記憶部30、入出力部40、カメラ部60、通信部70、及び、オーディオ部80を備える。
プロセッサ10は、電子機器3全体を制御する。例えば、プロセッサ10は、表示制御部100を有し、前方側を撮像した被写体の特徴部分(即ち、第1撮像部によって撮像された撮像画像上の特徴部分)の時間的な変化量(遷移量(a transition amount, a transition degree)、変化率(a change rate, a transition rate)、一期間における特徴部分の変化量)に基づいて、表示画像の表示形式を制御する。表示制御部100の詳細は後述する。
インターフェイス部20は、プロセッサ10からの情報(例えば、制御情報、出力情報)を各部に供給する。また、インターフェイス部20は、各部からの情報(例えば、記憶情報、入力情報)をプロセッサ10に供給する。
記憶部30は、種々の情報を記憶する。例えば、記憶部30は、プロセッサ10において処理されるプログラム、種々の設定情報を記憶する。また、記憶部30は、タッチスクリーン44に表示する表示データを記憶する。
入出力部40は、タッチスクリーンコントローラ42、カーソルパッドコントローラ46などを含む。タッチスクリーンコントローラ42は、プロセッサ10(表示制御部100)から出力される制御情報に基づいて、タッチスクリーン44の表示を制御する。カーソルパッドコントローラ46は、カーソルパッド48を介して受け付けたカーソルの移動操作をプロセッサ10に供給する。
カメラ部60は、フロントカメラ62及びバックカメラ64を制御し、被写体を撮像する。カメラ部60は、撮像画像をプロセッサ10に供給する。なお、カメラ部60は、プロセッサ10の制御に従って、被写体を撮像してもよい。
通信部70は、プロセッサ10の制御に従って、外部(例えば、他の電子機器、サーバ、ストレージ)と通信する。オーディオ部80は、プロセッサ10の制御に従って、スピーカ82及びマイクロフォン84を制御する。
図3は、表示制御部100内のブロック図の一例である。図4は、表示形式の切替機能による切替制御の一例である。図5は、電子機器3の使用している様子である。図6は、被写体の特徴部分、被写体の特徴部分の変化量について説明する説明図である。
表示制御部100は、図3に示すように、設定認識部110、傾斜量判定部120、特徴領域抽出部130、変化量算出部140、切替判定部150、切替制限部(ホールド部)160、切替処理部180、及び、設定部190を備える。
設定部190は、種々の情報を設定する。例えば、表示画像の表示形式の切替機能のオン(有効)/オフ(無効)を設定する。また、設定部190は、表示画像の表示形式の制御機能の1つであるホールド機能(ホールド手段)のオン/オフを設定する。なお、ホールド機能のオン/オフは、表示画像の表示形式の切替機能がオンの場合に参照される。換言すれば、ホールド機能は、表示画像の表示形式の切替機能のサブ機能である。また、設定部190による設定内容は、記憶部30に記憶される。
設定部190は、環境に応じて自動的に、又は、ユーザの指示に従って、表示形式の切替機能のオン/オフ、及び、ホールド機能のオン/オフを設定する。自動設定によってオン/オフを設定する場合、設定部190は、例えば、切替可能な表示形式の表示画像を表示するアプリケーションが実行され、かつ、節電モードに設定されていない場合、ホールド機能をオンに設定する。なお、切替可能な表示形式の表示画像を表示するアプリケーションとは、表示形式が、以下(図4参照)に示すように切り替わる表示画像を表示するアプリケーションである。
以下、表示形式の切替機能による切替制御について説明する。図4(a)〜(d)の夫々は、図5(a)に示すように、ユーザが筐体を回転させて、タッチスクリーン44が縦向き状態(後述)から横向き状態(後述)に変化した場合、又は、横向き状態から縦向き状態に変化した場合における、表示画像の切替制御の一例である。
図4(a)及び(b)は、タッチスクリーン44の向きの変化に従って表示画像を回転させる切替制御を表している。例えば、図4(a)及び(b)は、表示画像の表示形式が縦長画像(後述)から横長画像(後述)、又は、横長画像から縦長画像へと切り替わる切替制御の一例を表している。また、図4(c)及び図4(d)は、タッチスクリーン44の向きの変化に従って表示画像を縮小させる切替制御、即ち、表示画像の表示形式が縦長画像から横長画像、又は、横長画像から縦長画像へと切り替わらない切替制御の一例を表している。
(図4(a)の一例)
図4(a)の矢印の左側の図は、天地方向を長手方向としている状態(以下、縦向き状態)のタッチスクリーン44に、天地方向が長手方向である画像(以下、縦長画像)である表示画像HG1が、表示されている様子を表している。表示画像HG1は、テキストT1と写真P1とを含んでいる。写真P1は、縦長である。
図4(a)の矢印の右側の図は、水平方向を長手方向としている状態(以下、横向き状態)のタッチスクリーン44に、水平方向が長手方向である画像(以下、横長画像)である表示画像HG1’が、表示されている様子を表している。表示画像HG1’は、テキストT1’と写真P1とを含んでいる。写真P1は、縦長である。
例えば、ユーザが、図5(a)の如く筐体を回転させて、タッチスクリーン44が縦向き状態から横向き状態に変化した場合(右向矢印)、表示画像の表示形式は、タッチスクリーン44の向きの変化に従って、縦長画像である表示画像HG1から、横長画像である表示画像HG1’へと切り替わる。逆に、タッチスクリーン44が横向き状態から縦向き状態に変化した場合(左向矢印)、表示画像の表示形式は、横長画像である表示画像HG1’から、縦長画像である表示画像HG1へと切り替わる。
なお、表示画像HG1’上の写真P1は、表示画像HG1上の写真P1と表示サイズ及び表示方向が同一である。表示画像HG1’上のテキストT1’は、横長である表示画像HG1’に合わせるように、表示画像HG1上のテキストT1を再配置したものである。
(図4(b)の一例)
図4(b)の矢印の左側の図は、横向き状態のタッチスクリーン44に、横長画像である表示画像HG2が、表示されている様子を表している。表示画像HG2は、テキストT2と写真P2とを含んでいる。写真P2は、横長である。
図4(b)の矢印の右側の図は、縦横向き状態のタッチスクリーン44に、縦長画像である表示画像HG2’が、表示されている様子を表している。表示画像HG2’は、テキストT2’と写真P2とを含んでいる。写真P2は、横長である。
例えば、ユーザが、図5(a)の如く筐体を回転させて、タッチスクリーン44が横向き状態から縦向き状態に変化した場合(右向矢印)、表示画像の表示形式は、タッチスクリーン44の向きの変化に従って、横長画像である表示画像HG2から、縦長画像である表示画像HG2’へと切り替わる。逆に、タッチスクリーン44が縦向き状態から横向き状態に変化した場合(左向矢印)、表示画像の表示形式は、縦長画像である表示画像HG2’から、横長画像である表示画像HG2へと切り替わる。
なお、表示画像HG2’上の写真P2は、表示画像HG2上の写真P2と表示サイズ及び表示方向が同一である。表示画像HG2’上のテキストT2’は、縦長である表示画像HG2’に合わせるように、表示画像HG2上のテキストT2を再配置したものである。
(図4(c)の一例)
図4(c)の矢印の左側の図は、図4(a)の矢印の左側の図と同様、表示画像HG1が、表示されている様子を表している。
図4(c)の矢印の右側の図は、横向き状態のタッチスクリーン44に、縦長画像である表示画像HG1’’が、表示されている様子を表している。表示画像HG1’’は、テキストT1’’と写真P1’’を含んでいる。写真P1’’は、縦長である。
例えば、ユーザが、図5(a)の如く筐体を回転させて、タッチスクリーン44が縦向き状態から横向き状態に変化した場合(右向矢印)、表示画像の表示形式は、タッチスクリーン44の天地方向の長さの変化(短くなる)に従って、縦長画像である表示画像HG1から、縮小された縦長画像である表示画像HG1’’へと切り替わる。逆に、タッチスクリーン44が横向き状態から縦向き状態に変化した場合(左向矢印)、表示画像の表示形式は、タッチスクリーン44の天地方向の長さの変化(長くなる)に従って、縮小された縦長画像である表示画像HG1’’から、元の大きさの縦長画像である表示画像HG1へと切り替わる。
なお、表示画像HG1’’上の写真P1’’は、縮小された表示画像HG1’’に合わせるように、表示画像HG1上の写真P1を縮小したものである。表示画像HG1’’上のテキストT1’’についても同様である。
(図4(d)の一例)
図4(d)の矢印の左側の図は、図4(b)の矢印の左側の図と同様、表示画像HG2が、表示されている様子を表している。
図4(d)の矢印の右側の図は、縦向き状態のタッチスクリーン44に、横長画像である表示画像HG2’’が、表示されている様子を表している。表示画像HG2’’は、テキストT2’’と写真P2’’を含んでいる。写真P2’’は、横長である。
例えば、ユーザが、図5(a)の如く筐体を回転させて、タッチスクリーン44が横向き状態から縦向き状態に変化した場合(左向矢印)、表示画像の表示形式は、タッチスクリーン44の水平方向の長さの変化(短くなる)に従って、横長画像である表示画像HG2から、縮小された横長画像である表示画像HG2’’へと切り替わる。逆に、タッチスクリーン44が縦向き状態から横向き状態に変化した場合(右向矢印)、表示画像の表示形式は、タッチスクリーン44の水平方向の長さの変化(長くなる)に従って、縮小された横長画像である表示画像HG2’’から、元の大きさの横長画像である表示画像HG2へと切り替わる。
なお、表示画像HG2’’上の写真P2’’は、縮小された表示画像HG2’’に合わせるように、表示画像HG2上の写真P2を縮小したものである。表示画像HG2’’上のテキストT2’’についても同様である。
設定認識部110は、記憶部30に記憶されている設定情報(表示画像の表示形式の切替機能のオン/オフの情報、ホールド機能のオン/オフの情報)を取得する。例えば、設定認識部110は、傾斜量判定部120からの要求に応じて、記憶部30に記憶されている設定情報を取得し、設定情報を傾斜量判定部120に出力(応答)する。
傾斜量判定部120は、モーションセンサ50(仰角センサ56)から検出値を取得し、筐体の傾斜量を算出する。なお、傾斜量判定部120は、表示形式の切替機能がオンに設定されている場合に、筐体の傾斜量を算出してもよい。
筐体の傾斜量を算出した傾斜量判定部120は、算出した傾斜量が所定量以上であるか否か、即ち、筐体が所定量以上傾斜したか否かを判定する。上記所定量は、例えば、45度や60度である。上記所定量は、例えば、5、10、15、20、25、30、35、40、45、50、60、65、70、75、80、85、又は90度にできる。
傾斜量判定部120は、表示形式の切替機能がオフに設定されている場合、何もしない。即ち、傾斜量判定部120は、表示形式の切替機能がオフに設定されている場合には、表示形式の切り替えは行わないため、既に筐体の傾斜量を算出していた場合であっても、何もしない。
また、傾斜量判定部120は、筐体が所定量以上傾斜していないと判定した場合には、表示形式の切り替えは行わないため、表示形式の切替機能がオンに設定されている場合であっても、何もしない。
傾斜量判定部120は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定した場合において、本実施形態のホールド機能がオフに設定されている場合には、筐体の傾斜量、及び、筐体の傾斜方向とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替判定部150に出力する。
傾斜量判定部120は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定した場合において、本実施形態のホールド機能がオンに設定されている場合には、筐体の傾斜量、及び、筐体の傾斜方向を特徴領域抽出部130に出力する。
特徴領域抽出部130は、フロントカメラ62によって撮像された撮像画像をカメラ部60から取得する。例えば、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向を傾斜量判定部120から取得した場合に、筐体の傾斜前後の撮像画像をカメラ部60から取得する。つまり、特徴領域抽出部130は、表示形式の切替機能、及び、ホールド機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定された場合に、筐体の傾斜前後の撮像画像をカメラ部60から取得する。
傾斜前後の撮像画像とは、筐体の傾斜前の撮像画像(傾斜動作し始める直前の撮像画像、若しくは、傾斜動作し始めた直後の撮像画像)、及び、筐体の傾斜後の撮像画像(傾斜動作が完了した直後の撮像画像)である。
なお、傾斜前後の撮像画像のうち、筐体の傾斜前の撮像画像は、特徴領域抽出部130が、傾斜量判定部120から、筐体の傾斜量、及び、筐体の傾斜方向を取得する時点よりも前(過去)の画像である。従って、特徴領域抽出部130は、傾斜量判定部120から筐体の傾斜量等を取得した時点でカメラ部60に撮像を要求するという方法では、筐体の傾斜前の撮像画像を取得することは難しい。そのため、例えば、下記方法によって、特徴領域抽出部130は、筐体の傾斜前の撮像画像を取得する。
第1の方法は、カメラ部60が、表示形式の切替機能、及び、ホールド機能がオンに設定されている場合には、常に、画像を撮像し、一定時間(所定時間)、一時的に記憶しておく方法である。第2の方法は、カメラ部60が、モーションセンサ50(仰角センサ56)からの通知によって、筐体が傾斜動作し始めたとき(筐体の動きを検出したとき)から画像を撮像し、一定時間(所定時間)、一時的に記憶しておく方法である。第1の方法及び第2の方法の何れであっても、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向を傾斜量判定部120から取得した時点において、一時的に記憶されている画像の中から傾斜前の撮像画像を取得することができる。
特徴領域抽出部130は、筐体の傾斜前後の撮像画像(筐体の傾斜前の撮像画像、筐体の傾斜後の撮像画像)をカメラ部60から取得した場合、筐体の傾斜前後の夫々の撮像画像から、被写体の特徴部分を抽出する。この場合、想定する被写体は、電子機器3を把持し、タッチスクリーン44を見ているユーザ(自分)である。特徴部分は、例えば、ユーザの顔のパーツ(例えば、目、耳)又は顔の輪郭である。
例えば、筐体の傾斜前の撮像画像が図6(a)に示す撮像画像SG、筐体の傾斜後の撮像画像が図6(a)に示す撮像画像SG’である場合、特徴領域抽出部130は、図6(b)に示すように、撮像画像SG及び撮像画像SG’の夫々から、ユーザの両目を通過する直線L1、L1’を被写体の特徴部分として抽出する。
また、特徴領域抽出部130は、ユーザの両目を通過する直線L1、L1’に代えて、図6(c)に示すように、ユーザの両耳を通過する直線L2、L2’を被写体の特徴部分として抽出してもよい。
また、特徴領域抽出部130は、上記に代えて、図6(d)に示すように、ユーザの顔の輪郭に隣接する矩形の中心を通過する直線L3(又は直線L4)、直線L3’(又は直線L4’)を被写体の特徴部分として抽出してもよい。
特徴領域抽出部130は、筐体の傾斜前後の夫々の撮像画像から被写体の特徴部分を抽出できた場合には、傾斜量判定部120から取得した筐体の傾斜量、及び、筐体の傾斜方向とともに、傾斜前後の夫々の撮像画像から抽出した被写体の特徴部分を示す情報を変化量算出部140に出力する。例えば、特徴領域抽出部130は、図6(b)に示す直線L1、L1’を被写体の特徴部分として抽出できた場合には、被写体の特徴部分を示す情報として、直線L1の傾きの値、及び、直線L1’の傾きの値を変化量算出部140に出力する。
一方、特徴領域抽出部130は、筐体の傾斜前の撮像画像、筐体の傾斜後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には、傾斜量判定部120から取得した筐体の傾斜量、及び、筐体の傾斜方向とともに、特徴部分を抽出できなかった旨の通知(情報)を切替判定部150に出力する。
なお、図1Aに示すように、タッチスクリーン44とフロントカメラ62の位置関係から、ユーザが、電子機器3を把持し、タッチスクリーン44を見ている場合には、筐体の傾斜前後の夫々の撮像画像から、当該ユーザの顔のパーツ又は輪郭を抽出できる公算が大きい。
変化量算出部140は、筐体の傾斜量、筐体の傾斜方向、及び、夫々の撮像画像(筐体の傾斜前の撮像画像、及び、筐体の傾斜後の撮像画像)から抽出した被写体の特徴部分を示す情報を特徴領域抽出部130から取得した場合には、当該特徴部分の時間的な変化量を算出する。
例えば、変化量算出部140は、被写体の特徴部分を示す情報として、図6(b)に示す直線L1の傾きの値、及び、直線L1’の傾きの値を取得した場合には、特徴部分の時間的な変化量として、直線L1と直線L1’の為す角度θ1(図6(b)参照)を算出する。なお、変化量算出部140は、被写体の特徴部分を示す情報として、図6(c)に示す直線L2の傾きの値、及び、直線L2’の傾きの値を取得した場合には、特徴部分の時間的な変化量として角度θ2(図6(c)参照)を算出し、図6(d)に示す直線L3の傾きの値、及び、直線L3’の傾きの値を取得した場合には、特徴部分の時間的な変化量として角度θ3(図6(d)参照)を算出する。なお、上述の角度θ1、θ2、θ3は、筐体の傾斜前後における被写体の特徴部分の回転量でもある。なお、例えば、変化量算出部140は、被写体の特徴部分を示す情報として図6(b)に示す撮像画像における直線L1の位置(座標)を取得した場合には、特徴部分の時間的な変化量として撮像画像における直線L1の位置の移動量を算出する。また、例えば、変化量算出部140は、被写体の特徴部分を示す情報としてモーションセンサ50によって検出した筐体の重力方向に対する直線L1’の傾きの値を取得した場合には、特徴部分の時間的な変化量として重力方向に対する直線L1’の傾き(角度)を算出する。
被写体の特徴部分の時間的な変化量を算出した変化量算出部140は、特徴領域抽出部130から取得した筐体の傾斜量、及び、筐体の傾斜方向とともに、被写体の特徴部分の時間的な変化量を切替判定部150に出力する。
切替判定部150は、表示画像の表示形式の切り替えの要否を判定する。
切替判定部150は、筐体の傾斜量、筐体の傾斜方向、及び、本実施形態のホールド機能がオフに設定されている旨の通知(情報)を傾斜量判定部120から取得した場合、表示形式の切り替えが必要であると判定する。
つまり、筐体が所定量以上傾斜したと判定された場合であって、本実施形態のホールド機能がオフに設定されている場合には、切替判定部150は、表示形式の切り替えが必要であると判定する。
また、切替判定部150は、筐体の傾斜量、筐体の傾斜方向、及び、特徴部分を抽出できなかった旨の通知(情報)を特徴領域抽出部130から取得した場合にも、表示形式の切り替えが必要であると判定する。
つまり、筐体が所定量以上傾斜したと判定された場合であって、ホールド機能がオンに設定されている場合において、筐体の傾斜前の撮像画像、筐体の傾斜後の撮像画像の少なくとも一方から被写体の特徴部分が抽出されなかった場合(換言すれば、被写体の特徴部分の時間的な変化量を算出することができない場合)には、切替判定部150は、表示形式の切り替えが必要であると判定する。
また、切替判定部150は、筐体の傾斜量、筐体の傾斜方向、及び、被写体の特徴部分の時間的な変化量を変化量算出部140から取得した場合には、被写体の特徴部分の時間的な変化量と変化量に関する第1の閾値とを比較し、表示画像の表示形式の切り替えの要否を判定する。
例えば、切替判定部150は、被写体の特徴部分の時間的な変化量が第1の閾値以上である場合、表示形式の切り替えが必要であると判定し、被写体の特徴部分の時間的な変化量が第1の閾値未満である場合には、表示画像の表示形式の切り替えが不要であると判定する。
つまり、筐体が所定量以上傾斜したと判定された場合であって、ホールド機能がオンに設定されている場合において、被写体の特徴部分の時間的な変化量が第1の閾値以上であるときは、切替判定部150は、表示形式の切り替えが必要(換言すれば、ホールド機能によるホールド処理が不要)であると判定し、被写体の特徴部分の時間的な変化量が第1の閾値未満である場合には、切替判定部150は、表示画像の表示形式の切り替えが不要(換言すれば、ホールド機能によるホールド処理が必要)であると判定する。一例において、被写体(ユーザの顔等)と筐体(本体)との間の相対姿勢の変化/遷移を検出した結果に基づいて、表示画像の表示形式が制御され得る。相対姿勢の変化/遷移が比較的大きい場合、表示形式を切り替える。相対姿勢の変化/遷移が比較的小さい場合、表示形式を切り替えない。
なお、被写体の特徴部分の時間的な変化量と比較する第1の閾値は、ユーザが、筐体を回転させるなどして筐体を傾斜させる際に、当該ユーザが筐体の傾斜に伴って自身の顔(例えば、両目を結ぶ直線)を意図的に傾斜させたか否かを判定するための値である。
筐体の傾斜に伴って自身の顔を意図的に傾斜させている例は、例えば、図5(b)に示すような場合である。一方、図5(a)は、ユーザが、筐体のみを90度傾斜させた際に、筐体の傾斜に連れて自身の顔を意図的に傾斜させていない例である。
図5(a)の場合、被写体の特徴部分の変化量は90度となる。図5(b)の場合、被写体の特徴部分の変化量は略0度となる。また、図示しないが、筐体が90度傾斜し、ユーザが筐体と同一方向に50度傾斜したときは、被写体の特徴部分の変化量は40度になる。
以上から、例えば、第1の閾値は、数度程度〜45度程度の角度としてもよい。例えば、第1の閾値は、5、10、15、20、25、30、35、40、又は45度にできる。
例えば、第1の閾値を30度とした場合、ユーザが、筐体を時計回りに90度傾斜させた際に、顔を時計回りに60度以上傾斜させると、変化量は第1の閾値未満となるため、ホールド機能によるホールド処理が働く。
切替判定部150は、表示形式の切り替えが必要であると判定した場合には、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。一方、切替判定部150は、表示形式の切り替えが不要であると判定した場合には、表示形式を維持する旨の通知(情報)を切替制限部160に出力する。
切替制限部160は、表示形式を維持する旨の通知を切替判定部150から取得した場合、表示画像の表示形式を、筐体の傾斜量及び筐体の傾斜方向に応じて切り替えないように制御する。例えば、切替制限部160は、何もしないか、若しくは、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。
切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向を切替判定部150から取得した場合、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する。例えば、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に基づいて、表示形式(切替後の表示形式)を決定し、決定した表示形式をタッチスクリーンコントローラ42に出力する。これにより、タッチスクリーン44に表示されている表示画像が、図4に示すように、切り替わる。
一方、切替処理部180は、表示形式を維持する旨の通知(情報)を切替制限部160から取得した場合には、何もしない。
以上のように、表示制御部100は、筐体が所定量以上傾斜したと判定された場合であって、表示形式の切替機能、及び、ホールド機能がオンに設定されている場合には、被写体の特徴部分の時間的な変化量に応じて、タッチスクリーン44における表示画像の表示形式を選択的に切り替える。
なお、切替判定部150は、表示形式を維持する旨の通知(情報)を切替処理部180に出力してもよい。換言すれば、切替判定部150は、切替制限部160の機能を有してもよい(切替制限部160は切替判定部150に吸収されてもよい)。
図7は、表示形式の切り替えの設定に関する処理(設定処理)の流れを示すフローチャートの一例である。例えば、図7のフローチャートは、自動設定処理の流れの一例である。図7のフローチャートは、電子機器3の電源オン時において随時(例えば定期的に)開始する。なお、出荷時において、記憶部30には、切替制御のオン/オフ、ホールド機能のオン/オフの何れかが設定(記憶)されているものとする。
図7において、プロセッサ10(設定認識部110)は、記憶部30を参照し、切替機能がオンである否かを判断する(ステップS10)。
切替機能がオンである場合(ステップS10:Yes)、プロセッサ10(非図示のアプリ実行部)は、切替可能な表示形式の表示画像を表示するアプリケーションを実行中であるか否かを判断する(ステップS20)。
ステップS20において、切替可能な表示形式の表示画像を表示するアプリケーションが実行中である場合(ステップS20:Yes)、プロセッサ10(非図示の節電モード制御部)は、節電モード中であるか否かを判断する(ステップS40)。
ステップS40において、節電モード(省エネルギーモード)中でない場合(ステップS40:No)、プロセッサ10(設定認識部110)は、記憶部30を参照し、ホールド機能がオフである否かを判断する(ステップS50)。ホールド機能がオフである場合(ステップS50:Yes)、プロセッサ10(設定部190)は、ホールド機能をオンに設定する(ステップS60)。一方、ホールド機能がオフでない場合(ステップS50:No)、即ち、ホールド機能が既にオンである場合、ステップS60を飛ばして、本フローチャートは終了する。
ステップS40において、節電モード中である場合(ステップS40:Yes)、プロセッサ10(設定認識部110)は、記憶部30を参照し、ホールド機能がオンであるか否かを判断する(ステップS52)。ホールド機能がオンである場合(ステップS52:Yes)、プロセッサ10(設定部190)は、ホールド機能をオフに設定する(ステップS62)。一方、ホールド機能がオンでない場合(ステップS52:No)、即ち、ホールド機能が既にオフである場合、ステップS62を飛ばして、本フローチャートは終了する。
ステップS20において、切替可能な表示形式の表示画像を表示するアプリケーションが実行中でない場合(ステップS20:No)、プロセッサ10(設定部190)は、切替機能をオフに設定し(ステップS30)、ステップS62に進む。
ステップS10において、切替機能がオフである場合(ステップS10:No)、プロセッサ10(非図示のアプリ実行部)は、切替可能な表示形式の表示画像を表示するアプリケーションを実行中であるか否かを判断する(ステップS22)。
ステップS22において、切替可能な表示形式の表示画像を表示するアプリケーションが実行中である場合(ステップS22:Yes)、プロセッサ10(設定部190)は、切替機能をオンに設定し(ステップS32)、ステップS40に進む。
ステップS22において、切替可能な表示形式の表示画像を表示するアプリケーションが実行中でない場合(ステップS22:No)、本フローチャートは終了する。
なお、本発明の第2の実施形態による電子機器4における設定処理(切替機能の設定、ホールド機能の設定、追随機能(後述)の設定)についても同様である。
図8は、電子機器3における表示形式の制御処理の流れを示すフローチャートの一例である。図8のフローチャートは、表示形式の切替機能がオンに設定されている場合において、筐体が所定量以上傾斜したときに開始する。筐体が所定量以上傾斜したか否かは、上述の如く、傾斜量判定部120によって判定される。
図8において、設定認識部110(又は傾斜量判定部120)は、記憶部30を参照し、ホールド機能がオンである否かを判断する(ステップS110)。
ステップS110においてホールド機能がオンである場合(ステップS110:Yes)、傾斜量判定部120は、筐体の傾斜量、及び、筐体の傾斜方向を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、筐体の傾斜前後の撮像画像の夫々から被写体の特徴部分の抽出を試みて(ステップS120)、夫々から被写体の特徴部分を抽出できたか否かを判断する(ステップS130)。なお、例えば、特徴領域抽出部130は、筐体の傾斜前において所定の時間ごとに選択的に撮像画像における被写体の特徴部分の抽出を行ってもよい。
ステップS130において、夫々から被写体の特徴部分を抽出できた場合には(ステップS130:Yes)、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、筐体の傾斜前における撮像画像(基準画像)と筐体の傾斜後における撮像画像(遷移画像)とに基づいて被写体の特徴部分の時間的な変化量を算出し(ステップS140)、算出した変化量を、筐体の傾斜量、及び、筐体の傾斜方向とともに切替判定部150に出力する。次いで、切替判定部150は、被写体の特徴部分の時間的な変化量が第1の閾値以上であるか否かを判定する(ステップS150)。
ステップS150において、被写体の特徴部分の時間的な変化量が第1の閾値未満であると判定した場合(ステップS150:No)、切替判定部150は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替制限部160に出力する。表示形式を維持する旨の通知(情報)を取得した切替制限部160は、表示画像の表示形式を切り替えないように、即ち、表示形式の切り替えをホールドするように制御する(ステップS170)。例えば、切替制限部160は、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。表示形式を維持する旨の通知(情報)を切替制限部160から取得した切替処理部180は、何もしない。そして、本フローチャートは終了する。なお、ステップS170の矩形が破線であるのは、切替処理部180が、何もしない旨を表している。
ステップS110においてホールド機能がオンでない場合(ステップS110:No)、傾斜量判定部120は、筐体の傾斜量、及び、筐体の傾斜方向とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替判定部150に出力する。筐体の傾斜量、及び、筐体の傾斜方向とともに、ホールド機能がオフに設定されている旨の通知(情報)を取得した切替判定部150は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS160)。例えば、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に基づいて、表示形式(切替後の表示形式)を決定し、決定した表示形式をタッチスクリーンコントローラ42に出力する。そして、本フローチャートは終了する。
ステップS130において、筐体の傾斜前後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には(ステップS130:No)、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向とともに、特徴部分を抽出できなかった旨の通知を切替判定部150に出力する。筐体の傾斜量、及び、筐体の傾斜方向とともに、特徴部分を抽出できなかった旨の通知(情報)を取得した切替判定部150は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS110(No)の場合と同様の処理を行って、本フローチャートは終了する。また、被写体の特徴部分を抽出できなかった旨の通知(情報)を取得した切替判定部150は、ホールド機能をオフに設定して、上述の節電モードに切り替える。
ステップS150において、被写体の特徴部分の時間的な変化量が第1の閾値以上であると判定した場合には(ステップS150:Yes)、切替判定部150は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS110(No)の場合と同様の処理を行って、本フローチャートは終了する。
図9乃至図12は、表示形式の制御処理を説明する一例である。なお、図9乃至図12において、表示形式の切替機能及びホールド機能は何れもオンに設定されているものとする。
図9(a)は、ユーザUが、縦向き状態のタッチスクリーン44に表示された表示画像HG3(縦長画像又は縦向き画像)を見ている様子を表している。図9(b)は、図9(a)の状態において、フロントカメラ62によって撮像されている撮像画像SG3(スルー画)を表している。図9(c)は、図9(a)の状態において、タッチスクリーン44に表示されている表示画像HG3(縦長画像)である。
図10(a)は、図9(a)の状態から、ユーザUが、筐体のみを所定量以上傾斜させた様子を表している。図10(b)は、図10(a)の場合における、撮像画像SG3’(スルー画)を表している。図10(c)は、図10(a)の場合における、タッチスクリーン44に表示されている表示画像HG3’(横長画像又は横向き画像)である。
即ち、図8のフローチャートにおいて、切替判定部150は、被写体の特徴部分の時間的な変化量が第1の閾値以上であると判定し(ステップS150:Yes)、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS160)。つまり、図10の如く筐体のみを所定量以上傾斜させた場合には、ユーザUが見易いように、縦長画像が横長画像に切り替える(又は、図4(c)、(d)に示すように縮小画像に切り替える)。
なお、表示形式の切替機能がオフに設定されている場合には、表示形式は切り替えない。
図11(a)は、図9(a)の状態から、ユーザUが、筐体とともに自身を所定量以上傾斜させた様子を表している。図11(b)は、図11(a)の場合における、撮像画像SG3(スルー画)を表している。図11(c)は、図11(a)の場合における、タッチスクリーン44に表示されている表示画像HG3(縦長画像)である。図11(c)の表示画像HG3の表示形式は、図9(c)の表示画像HG3の表示形式と同一である。
即ち、図8のフローチャートにおいて、切替判定部150は、被写体の特徴部分の時間的な変化量が第1の閾値未満であると判定し(ステップS150:No)、切替制限部160は、表示画像の表示形式を切り替えないように、即ち、切り替えをホールドするように制御する(ステップS170)。つまり、図11の如く筐体とともに自身を所定量以上傾斜させた場合には、ユーザUが見易いように、縦長画像を横長画像に切り替えない(又は、図4(c)、(d)に示すように縮小画像に切り替えない)。
なお、表示形式の切替機能はオンに設定され、かつ、ホールド機能はオフに設定されている場合には、表示形式は切り替える。
なお、図12(a)は、図9(a)の状態から、ユーザUが、自身のみを所定量以上傾斜させた様子を表している。図12(b)は、図12(a)の場合における、撮像画像SG3’’(スルー画)を表している。図12(c)は、図12(a)の場合における、タッチスクリーン44に表示されている表示画像HG3(縦長画像)である。図12(c)の表示画像HG3の表示形式は、図9(c)の表示画像HG3の表示形式と同一である。
即ち、図7のフローチャートは、上述の如く、筐体が所定量以上傾斜した場合に開始するものであるため、図12の如く自身のみを所定量以上傾斜させた場合には、表示形式は切り替わらない。
以上、電子機器3によれば、意図しない画面形式(画面表示型)の切り替えが生じないため、ユーザの利便性を向上させることができる。例えば、ユーザが、図5(b)に示すように筐体とともに自分の顔を所定量以上傾斜させた場合には、図4に例示したような表示形式の切り替えがホールド機能によって生じないため、ユーザの利便性を向上させることができる。
なお、上記では、電子機器3は、タッチスクリーン44の前方側の被写体を撮像するフロントカメラ62(第1撮像部)による撮像画像を利用して、表示画像の表示形式を制御する態様を説明したが、電子機器3は、フロントカメラ62による撮像画像に加え、タッチスクリーン44の後方側の被写体を撮像するバックカメラ64(第2撮像部)による撮像画像を利用して、表示画像の表示形式を制御してもよい。つまり、表示制御部100は、前方側を撮像した被写体の特徴部分の時間的な変化量と、後方側を撮像した被写体の特徴部分の時間的な変化量とに基づいて、表示画像の表示形式を制御するようにしてもよい。
例えば、表示制御部100は、筐体が所定量以上傾斜した場合に、前方側を撮像した被写体の特徴部分の変化率(フロントカメラ62による撮像画像上の被写体の特徴部分の変化率)である前方側変化率と、後方側を撮像した被写体の特徴部分の変化率(バックカメラ64による撮像画像上の被写体の特徴部分の変化率)である後方側変化率とを算出し、前方側変化率が後方側変化率以上であるときは、表示画像の表示形式を変えるように制御し、前方側変化率が後方側変化率未満であるときは、表示画像の表示形式を変えないように制御する。
より詳細には、表示制御部100は、筐体が所定量以上傾斜した場合であってホールド機能がオンに設定(表示形式の切替機能もオンに設定)されている場合は、前方側変化率と後方側変化率とを算出し、前方側変化率が後方側変化率以上であるときは、表示画像の表示形式を変えるように制御し、前方側変化率が後方側変化率未満であるときは、表示画像の表示形式を変えないように制御する。
一方、表示制御部100は、筐体が所定量以上傾斜した場合であってホールド機能がオフに設定(表示形式の切替機能はオンに設定)されている場合は、表示画像の表示形式を変えるように制御する。
図13は、電子機器3における表示形式の制御処理の他の例を示すフローチャートである。例えば、図13は、フロントカメラ62による撮像画像に加え、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御する態様における、処理の流れを表している。なお、図13のフローチャートは、図8のフローチャートと同様、表示形式の切替機能がオンに設定されている場合において、筐体が所定量以上傾斜したときに開始する。筐体が所定量以上傾斜したか否かは、傾斜量判定部120によって判定される。なお、図8と同一のステップ番号は、図8と同一の処理である。
図13において、設定認識部110(又は傾斜量判定部120)は、ホールド機能がオンである否かを判断する(ステップS110)。
ステップS110においてホールド機能がオンである場合(ステップS110:Yes)、傾斜量判定部120は、筐体の傾斜量、及び、筐体の傾斜方向を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、両撮像画像(フロントカメラ62による撮像画像及びバックカメラ64による撮像画像)における傾斜前後の撮像画像の夫々(筐体の傾斜前のフロントカメラ62による撮像画像、筐体の傾斜前のバックカメラ64による撮像画像、筐体の傾斜後のフロントカメラ62による撮像画像、筐体の傾斜後のバックカメラ64による撮像画像)から被写体の特徴部分の抽出を試みて(ステップS122)、夫々の撮像画像から、被写体の特徴部分を抽出できたか否かを判断する(ステップS132)。
ステップS132において、両撮像画像における傾斜前後の撮像画像の夫々から被写体の特徴部分を抽出できた場合には(ステップS132:Yes)、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、両撮像画像における、被写体の特徴部分の時間的な変化率(前方側変化率及び後方側変化率)を算出し(ステップS142)、算出した、両撮像画像における特徴部分の時間的な変化率を、筐体の傾斜量、及び、筐体の傾斜方向とともに切替判定部150に出力する。次いで、切替判定部150は、前方側変化率が後方側変化率未満であるか否かを判定する(ステップS152)。
ステップS152において、前方側変化率が後方側変化率未満であると判定した場合(ステップS152:Yes)、切替判定部150は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替制限部160に出力する。表示形式を維持する旨の通知(情報)を取得した切替制限部160は、表示画像の表示形式を切り替えないように、即ち、表示形式の切り替えをホールドするように制御する(ステップS170)。そして、本フローチャートは終了する。
ステップS110においてホールド機能がオンでない場合(ステップS110:No)、傾斜量判定部120は、筐体の傾斜量、及び、筐体の傾斜方向とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替判定部150に出力する。次いで、切替判定部150は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。次いで、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS160)。そして、本フローチャートは終了する。
ステップS132において、両撮像画像における筐体の傾斜前後の撮像画像の何れから被写体の特徴部分を抽出できなかった場合(ステップS132:No)、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向とともに、特徴部分を抽出できなかった旨の通知(情報)を切替判定部150に出力する。次いで、切替判定部150は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS110(No)の場合と同様の処理を行って、本フローチャートは終了する。
ステップS152において、前方側変化率が後方側変化率以上であると判定した場合(ステップS152:No)、切替判定部150は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。
以下、ステップS110(No)の場合と同様の処理を行って、本フローチャートは終了する。
図14乃至図17は、フロントカメラ62による撮像画像に加え、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御する態様における、表示形式の制御処理を説明する一例である。なお、図14乃至図17において、表示形式の切替機能はオンに設定され、かつ、ホールド機能はオンに設定されているものとする。
図14(a)は、ユーザUが、縦向き状態のタッチスクリーン44に表示された表示画像HG4(縦長画像)を見ている様子を表している。図14(b)は、図14(a)の状態において、フロントカメラ62によって撮像されている撮像画像SG4−1(スルー画)、及び、バックカメラ64によって撮像されている撮像画像SG4−2(スルー画)を表している。図14(c)は、図14(a)の状態において、タッチスクリーン44に表示されている表示画像HG4(縦長画像)である。
図15(a)は、図14(a)の状態から、ユーザUが、筐体のみを所定量以上傾斜させた様子を表している。図15(b)は、図15(a)の場合において、フロントカメラ62によって撮像されている撮像画像SG4−1’(スルー画)、及び、バックカメラ64によって撮像されている撮像画像SG4−2’(スルー画)を表している。図15(b)において、前方側変化率と後方側変化率は同一であるものとする。図15(c)は、図15(a)の場合における、タッチスクリーン44に表示されている表示画像HG4’(横長画像)である。
即ち、図13のフローチャートにおいて、切替判定部150は、前方側変化率と後方側変化率は同一であるため、前方側変化率が後方側変化率以上であると判定し(ステップS152:No)、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS160)。つまり、図15の如く筐体のみを所定量以上傾斜させた場合には、ユーザUが見易いように、縦長画像が横長画像に切り替える(又は、図4(c)、(d)に示すように縮小画像に切り替える)。
なお、表示形式の切替機能がオフに設定されている場合には、表示形式は切り替えない。
図16(a)は、図14(a)の状態から、ユーザUが、筐体とともに自身を所定量以上傾斜させた様子を表している。図16(b)は、図16(a)の場合において、フロントカメラ62によって撮像されている撮像画像SG4−1(スルー画)、及び、バックカメラ64によって撮像されている撮像画像SG4−2’(スルー画)を表している。図16(b)において、前方側変化率は後方側変化率は未満である。図16(c)は、図16(a)の場合における、タッチスクリーン44に表示されている表示画像HG4(縦長画像)である。図16(c)の表示画像HG4の表示形式は、図14(c)の表示画像HG4の表示形式と同一である。
即ち、図13のフローチャートにおいて、切替判定部150は、前方側変化率は後方側変化率未満であると判定し(ステップS152:Yes)、切替制限部160は、表示画像の表示形式を切り替えないように、即ち、切り替えをホールドするように制御する(ステップS170)。つまり、図16の如く筐体とともに自身を所定量以上傾斜させた場合には、ユーザUが見易いように、縦長画像を横長画像に切り替えない(又は、図4(c)、(d)に示すように縮小画像に切り替える)。
なお、表示形式の切替機能はオンに設定され、かつ、ホールド機能はオフに設定されている場合には、表示形式を切り替える。
なお、図17(a)は、図14(a)の状態から、ユーザUが、自身のみを所定量以上傾斜させた様子を表している。図17(b)は、図17(a)の場合において、フロントカメラ62によって撮像されている撮像画像SG4−1’’(スルー画)、及び、バックカメラ64によって撮像されている撮像画像SG4−2(スルー画)を表している。図17(b)において、前方側変化率は後方側変化率よりも大きい。図17(c)は、図17(a)の場合における、タッチスクリーン44に表示されている表示画像HG4(縦長画像)である。図17(c)の表示画像HG4の表示形式は、図14(c)の表示画像HG4の表示形式と同一である。
即ち、図13のフローチャートは、上述の如く、筐体が所定量以上傾斜した場合に開始するものであるため、図17の如く自身のみを所定量以上傾斜させた場合には、表示形式は切り替わらない。
以上、フロントカメラ62による撮像画像に加え、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御する場合であっても、意図しない画面形式の切り替えが生じないため、ユーザの利便性を向上させることができる。また、フロントカメラ62による撮像画像のみを使用する場合に比べ、切替ホールド処理を更に高精度に行える効果がある。また、図5に示したようなユーザが横たわった状態で電子機器4を操作する場合であっても、本実施形態における表示形式の制御によって意図しない画面形式の切り替えが生じないため、ユーザの利便性を向上させることができる。したがって、本実施形態における電子機器4は、ユーザが表示画像を見る際の姿勢の影響を受けることがないため、ユーザにとって視認しやすい方向で表示画像を表示するように表示形式の制御が可能である。
(第2の実施形態)
次に、図面を参照しながら本発明の第2の実施形態について説明する。図18は、本発明の第2の実施形態による電子機器4が備える表示制御部102内のブロック図の一例である。なお、本発明の第2の実施形態による電子機器4の外観は、本発明の第1の実施形態による電子機器3の外観と同様である。また、電子機器4は、プロセッサ100内に表示制御部100ではなく表示制御部102を有する点が、電子機器3と異なる。
表示制御部102は、図18に示すように、設定認識部112、傾斜量判定部122、特徴領域抽出部130、変化量算出部140、切替制御部170、及び、設定部192を備える。表示制御部102が備える特徴領域抽出部130及び変化量算出部140は、電子機器3の表示制御部100が備える特徴領域抽出部130及び変化量算出部140と同一であるため、説明の一部又は全部を省略する。
設定部192は、種々の情報を設定する。例えば、表示画像の表示形式の切替機能のオン/オフを設定する。また、設定部192は、表示画像の表示形式の制御機能の1つであるホールド機能のオン/オフを設定する。また、設定部192は、表示画像の表示形式の制御機能の1つである追随機能のオン/オフを設定する。なお、ホールド機能のオン/オフ、及び、追随機能のオン/オフは、表示画像の表示形式の切替機能がオンの場合に参照される。換言すれば、ホールド機能及び追随機能は、表示画像の表示形式の切替機能のサブ機能である。また、設定部192による設定内容は、記憶部30に記憶される。追随機能及び追随機能による追随処理については後述する。
設定部192は、環境に応じて自動的に、又は、ユーザの指示に従って、表示形式の切替機能のオン/オフ、ホールド機能のオン/オフ、及び、追随機能のオン/オフを設定する。なお、設定部192による、ホールド機能のオン/オフの自動設定、及び、追随機能のオン/オフの自動設定は、電子機器3の設定部190によるホールド機能のオン/オフの自動設定と同様である。
設定認識部112は、記憶部30に記憶されている設定情報(表示画像の表示形式の切替機能のオン/オフの情報、ホールド機能のオン/オフの情報、追随機能のオン/オフの情報)を取得する。例えば、設定認識部112は、傾斜量判定部122からの要求に応じて、記憶部30に記憶されている設定情報を取得し、設定情報を傾斜量判定部122に出力(応答)する。
傾斜量判定部122は、モーションセンサ50(仰角センサ56)から検出値を取得し、筐体(a casing body、 a body、本体(a body, a main body))の傾斜量を算出する。なお、傾斜量判定部122は、表示形式の切替機能がオンに設定されている場合に、筐体の傾斜量を算出してもよい。
筐体の傾斜量を算出した傾斜量判定部122は、筐体が所定量(例えば、45度や50度)以上傾斜したか否かを判定する。
傾斜量判定部122は、表示形式の切替機能がオフに設定されている場合、何もしない。即ち、表示形式の切替機能がオフに設定されている場合には、表示形式の切り替えは行わないため、傾斜量判定部122は、既に筐体の傾斜量を算出していた場合であっても、何もしない。
傾斜量判定部122は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定した場合において、ホールド機能がオフに設定されている場合には、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。
傾斜量判定部122は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定した場合において、ホールド機能がオンに設定されている場合には、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)を特徴領域抽出部130に出力する。
傾斜量判定部122は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜していないと判定した場合において、追随機能がオフに設定されている場合には、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、追随機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。なお、傾斜量判定部122は、当該場合に、何もしなくてもよい。
傾斜量判定部122は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜していないと判定した場合において、追随機能がオンに設定されている場合には、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)を特徴領域抽出部130に出力する。
特徴領域抽出部130は、フロントカメラ62によって撮像された撮像画像をカメラ部60から取得する。例えば、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果、又は、筐体の傾斜量は所定量未満である旨の判定結果)を傾斜量判定部122から取得した場合に、筐体の傾斜前後の撮像画像をカメラ部60から取得する。つまり、特徴領域抽出部130は、表示形式の切替機能、及び、ホールド機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定された場合、又は、表示形式の切替機能、及び、追随機能がオンに設定され、かつ、筐体が所定量以上傾斜していない判定された場合に、筐体の傾斜前後の撮像画像をカメラ部60から取得する。
特徴領域抽出部130は、筐体の傾斜前後の撮像画像をカメラ部60から取得した場合、筐体の傾斜前後の夫々の撮像画像から、被写体の特徴部分を抽出する。特徴領域抽出部130は、筐体の傾斜前後の夫々の撮像画像から被写体の特徴部分を抽出できた場合には、傾斜量判定部122から取得した筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、傾斜前後の夫々の撮像画像から抽出した被写体の特徴部分を示す情報を変化量算出部140に出力する。
一方、特徴領域抽出部130は、筐体の傾斜前の撮像画像、筐体の傾斜後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には、傾斜量判定部122から取得した筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、特徴部分を抽出できなかった旨の通知(情報)を切替制御部170に出力する。
変化量算出部140は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果、及び、夫々の撮像画像から抽出した被写体の特徴部分を特徴領域抽出部130から取得した場合には、夫々の撮像画像における当該特徴部分の時間的な変化量を算出する。被写体の特徴部分の時間的な変化量を算出した変化量算出部140は、特徴領域抽出部130から取得した筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、特徴部分の時間的な変化量を切替制御部170に出力する。
切替制御部170は、表示画像の表示形式の切り替えを制御する。
切替制御部170は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)、及び、ホールド機能がオフに設定されている旨の通知(情報)を傾斜量判定部122から取得した場合、表示形式の切り替えが必要であると判定する。
切替制御部170は、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)、及び、追随機能がオフに設定されている旨の通知(情報)を傾斜量判定部122から取得した場合、表示形式の切り替えが不要であると判定する。
切替制御部170は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)、及び、特徴部分を抽出できなかった旨の通知(情報)を特徴領域抽出部130から取得した場合、表示形式の切り替えが必要であると判定する。
切替制御部170は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)、及び、特徴部分を抽出できなかった旨の通知(情報)を特徴領域抽出部130から取得した場合、表示形式の切り替えが不要であると判定する。
切替制御部170は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果、又は、筐体の傾斜量は所定量未満である旨の判定結果)、及び、特徴部分の時間的な変化量を変化量算出部140から取得した場合には、特徴部分の時間的な変化量と第1の閾値又は第2の閾値とを比較し、特徴部分の変化量に係る比較結果と筐体の傾斜量に係る判定結果とに基づいて、表示画像の表示形式の切り替えの要否を判定する。
(筐体の傾斜量は所定量以上である旨の判定結果を取得している場合)
切替制御部170は、被写体の特徴部分の時間的な変化量が第1の閾値以上である場合、表示形式の切り替えが必要であると判定し、被写体の特徴部分の時間的な変化量が第1の閾値未満である場合には、表示画像の表示形式の切り替えが不要であると判定する。
つまり、筐体が所定量以上傾斜したと判定された場合であって、ホールド機能がオンに設定されている場合において、被写体の特徴部分の時間的な変化量が第1の閾値以上であるときは、切替制御部170は、表示形式の切り替えが必要(換言すれば、ホールド処理が不要)であると判定し、被写体の特徴部分の時間的な変化量が第1の閾値未満である場合には、切替制御部170は、表示画像の表示形式の切り替えが不要(換言すれば、ホールド処理が必要)であると判定する。
なお、被写体の特徴部分の時間的な変化量と比較する第1の閾値は、第1の実施形態と同様、ユーザが、筐体を回転させるなどして筐体を傾斜させる際に、当該ユーザが筐体の傾斜に伴って(連動して)自身の顔(例えば両目を結ぶ直線)を意図的に傾斜させたか否かを判定するための値である。
(筐体の傾斜量は所定量未満である旨の判定結果を取得している場合)
切替制御部170は、特徴部分の時間的な変化量が第2の閾値以上である場合、表示形式の切り替えが必要であると判定し、特徴部分の時間的な変化量が第2の閾値未満である場合には、表示画像の表示形式の切り替えが不要であると判定する。
つまり、筐体が所定量以上傾斜していないと判定された場合であって、追随機能がオンに設定されている場合において、被写体の特徴部分の時間的な変化量が第2の閾値以上であるときは、切替制御部170は、表示形式の切り替えが必要(換言すれば、追随処理が必要)であると判定し、被写体の特徴部分の時間的な変化量が第2の閾値未満である場合には、切替制御部170は、表示画像の表示形式の切り替えが不要(換言すれば、追随処理が不要)であると判定する。
なお、被写体の特徴部分の時間的な変化量と比較する第2の閾値は、ユーザが、筐体を回転させるなどして筐体を傾斜させていないときに、当該ユーザが自身の顔(例えば両目を結ぶ直線)を意図的に傾斜させたか否かを判定するための値である。
筐体を傾斜させていないときに自身の顔を意図的に傾斜させている例は、例えば、図5(c)に示すような場合である。図5(c)の場合、被写体の特徴部分の変化量は60度となる。以上から、例えば、第2の閾値は、45度前後の角度としてもよい。
例えば、第2の閾値を50度とした場合、ユーザが、筐体を傾斜させないで顔のみを50度以上傾斜させた場合、変化量は第2の閾値以上となるため、追随処理が働く。
切替制御部170は、表示形式の切り替えが不要であると判定した場合には、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。また、切替制御部170は、表示形式の切り替えが必要であると判定した場合には、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。
切替処理部180は、表示形式を維持する旨の通知(情報)を切替制御部170から取得した場合、表示画像の表示形式を切り替えないように制御する(例えば、何もしない)。また、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向を切替制御部170から取得した場合、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する。
以上のように、表示制御部102は、筐体が所定量以上傾斜したと判定された場合であって、表示形式の切替機能、及び、ホールド機能がオンに設定されている場合には、被写体の特徴部分の時間的な変化量に応じて、タッチスクリーン44における表示画像の表示形式を選択的に切り替える。
また、表示制御部102は、筐体が所定量以上傾斜していないと判定された場合であって、表示形式の切替機能、及び、追随機能がオンに設定されている場合には、被写体の特徴部分の時間的な変化量に応じて、タッチスクリーン44における表示画像の表示形式を選択的に切り替える。
図19は、電子機器4における表示形式の制御処理の流れを示すフローチャートの一例である。図19のフローチャートは、表示形式の切替機能がオンに設定されている場合において、筐体が傾斜(所定量以上でなくてもよい)したときに開始する。
図19において、傾斜量判定部122は、筐体が所定量以上傾斜したか否かを判定する(ステップS200)。ステップS200において筐体が所定量以上傾斜したと判定された場合、下記ステップS210〜ステップS270を実行する。ステップS200において筐体が所定量以上傾斜していないと判定された場合、下記ステップS310〜ステップS370を実行する。
(S210〜ステップS270)
ステップS200において筐体が所定量以上傾斜したと判定された場合(ステップS200:Yes)、設定認識部112(又は傾斜量判定部122)は、記憶部30を参照し、ホールド機能がオンである否かを判断する(ステップS210)。
ステップS210においてホールド機能がオンである場合(ステップS210:Yes)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、筐体の傾斜前後の撮像画像の夫々から被写体の特徴部分の抽出を試みて(ステップS220)、夫々から被写体の特徴部分を抽出できたか否かを判断する(ステップS230)。
ステップS230において、夫々から被写体の特徴部分を抽出できた場合には(ステップS230:Yes)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、被写体の特徴部分の時間的な変化量を算出し(ステップS240)、算出した変化量を、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、切替制御部170に出力する。次いで、切替制御部170は、被写体の特徴部分の時間的な変化量が第1の閾値以上であるか否かを判定する(ステップS250)。
ステップS250において、被写体の特徴部分の時間的な変化量が第1の閾値未満であると判定した場合(ステップS250:No)、切替制御部170は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。表示形式を維持する旨の通知(情報)を取得した切替処理部180は、現在の表示形式をホールドする(何もしない)(ステップS270)。そして、本フローチャートは終了する。なお、ステップS270の矩形が破線であるのは、切替処理部180が、何もしなくてもよい旨を表している。
ステップS210においてホールド機能がオンでない場合(ステップS210:No)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、ホールド機能がオフに設定されている旨の通知(情報)を取得した切替制御部170は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS260)。そして、本フローチャートは終了する。
ステップS230において、筐体の傾斜前後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には(ステップS230:No)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、特徴部分を抽出できなかった旨の通知(情報)を切替制御部170に出力する。筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、特徴部分を抽出できなかった旨の通知(情報)を取得した切替制御部170は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS210(No)の場合と同様の処理を行って、本フローチャートは終了する。
ステップS250において、被写体の特徴部分の時間的な変化量が第1の閾値以上であると判定した場合には(ステップS250:Yes)、切替制御部170は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS210(No)の場合と同様の処理を行って、本フローチャートは終了する。
(S310〜ステップS370)
ステップS200において筐体が所定量以上傾斜していないと判定された場合(ステップS200:No)、設定認識部112(又は傾斜量判定部122)は、記憶部30を参照し、追随機能がオンである否かを判断する(ステップS310)。
ステップS310において追随機能がオンである場合(ステップS310:Yes)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、筐体の傾斜前後の撮像画像の夫々から被写体の特徴部分の抽出を試みて(ステップS320)、夫々から被写体の特徴部分を抽出できたか否かを判断する(ステップS330)。
ステップS330において、夫々から被写体の特徴部分を抽出できた場合には(ステップS330:Yes)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、被写体の特徴部分の時間的な変化量を算出し(ステップS340)、算出した変化量を、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、切替制御部170に出力する。次いで、切替制御部170は、被写体の特徴部分の時間的な変化量が第2の閾値以上であるか否かを判定する(ステップS350)。
ステップS350において、被写体の特徴部分の時間的な変化量が第2の閾値以上であると判定した場合(ステップS350:Yes)、切替制御部170は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS360)。例えば、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に基づいて、表示形式(切替後の表示形式)を決定し、決定した表示形式をタッチスクリーンコントローラ42に出力する。そして、本フローチャートは終了する。
ステップS310において追随機能がオンでない場合(ステップS310:No)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、追随機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、追随機能がオフに設定されている旨の通知(情報)を取得した切替制御部170は、表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知を切替処理部180に出力する。表示形式を維持する旨の通知(情報)を取得した切替処理部180は、何もしない(ステップS370)。そして、本フローチャートは終了する。なお、ステップS370の矩形が破線であるのは、切替処理部180が、何もしなくてもよい旨を表している。
ステップS330において、筐体の傾斜前後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には(ステップS330:No)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、特徴部分を抽出できなかった旨の通知(情報)を切替制御部170に出力する。筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、特徴部分を抽出できなかった旨の通知(情報)を取得した切替制御部170は、表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。以下、ステップS310(No)の場合と同様の処理を行って、本フローチャートは終了する。
ステップS350において、被写体の特徴部分の時間的な変化量が第2の閾値未満であると判定した場合には(ステップS350:No)、切替制御部170は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。以下、ステップS310(No)の場合と同様の処理を行って、本フローチャートは終了する。なお、図19のステップS270において、後述の図20におけるステップS222〜ステップS270の処理を入れてもよい。
なお、電子機器4は、電子機器3と同様、フロントカメラ62による撮像画像に加え、タッチスクリーン44の後方側の被写体を撮像するバックカメラ64(第2撮像部)による撮像画像を利用して、表示画像の表示形式を制御してもよい。
以下、ホールド機能に関しては本発明の第1の実施形態による電子機器3と同様であるため、追随機能に関して説明する。表示制御部102は、所定量以上傾斜していない場合に、前方側変化率と後方側変化率とを算出し、前方側変化率が後方側変化率以上であるときは、表示画像の表示形式を変えないように制御し、前方側変化率が後方側変化率未満であるときは、表示画像の表示形式を変えるように制御する。
例えば、表示制御部102は、筐体が所定量以上傾斜していない場合であって追随機能がオンに設定(表示形式の切替機能もオンに設定)されている場合は、前方側変化率と後方側変化率とを算出し、前方側変化率が後方側変化率以上であるときは、表示画像の表示形式を変えないように制御し、前方側変化率が後方側変化率未満であるときは、表示画像の表示形式を変えるように制御する。
一方、表示制御部102は、筐体が所定量以上傾斜していない場合であって追随機能がオフ(表示形式の切替機能はオンに設定)に設定されている場合は、表示画像の表示形式を変えないように制御する。
図20は、電子機器4における表示形式の制御処理の他の例を示すフローチャートである。例えば、図20は、フロントカメラ62による撮像画像に加え、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御する態様における、処理の流れを表している。なお、図20のフローチャートは、図19のフローチャートと同様、表示形式の切替機能がオンに設定されている場合において、筐体が傾斜(所定量以上でなくてもよい)したときに開始する。なお、図19と同一のステップ番号は、図18と同一の処理である。
図20において、傾斜量判定部122は、筐体が所定量以上傾斜したか否かを判定する(ステップS200)。ステップS200において筐体が所定量以上傾斜したと判定された場合、下記ステップS210〜ステップS270を実行する。ステップS200において筐体が所定量以上傾斜していないと判定された場合、下記ステップS310〜ステップS370を実行する。
(S210〜ステップS270)
ステップS200において筐体が所定量以上傾斜したと判定された場合(ステップS200:Yes)、設定認識部112(又は傾斜量判定部122)は、ホールド機能がオンである否かを判断する(ステップS210)。
ステップS210においてホールド機能がオンである場合(ステップS210:Yes)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、両撮像画像(フロントカメラ62による撮像画像及びバックカメラ64による撮像画像)における傾斜前後の撮像画像の夫々(筐体の傾斜前のフロントカメラ62による撮像画像、筐体の傾斜前のバックカメラ64による撮像画像、筐体の傾斜後のフロントカメラ62による撮像画像、筐体の傾斜後のバックカメラ64による撮像画像)から被写体の特徴部分の抽出を試みて(ステップS222)、夫々の撮像画像から、被写体の特徴部分を抽出できたか否かを判断する(ステップS232)。
ステップS232において、両撮像画像における傾斜前後の撮像画像の夫々から被写体の特徴部分を抽出できた場合には(ステップS232:Yes)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、両撮像画像における被写体の特徴部分の時間的な変化率(前方側変化率及び後方側変化率)を算出し(ステップS242)。算出した変化率を、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、切替制御部170に出力する。次いで、切替制御部170は、前方側変化率が後方側変化率未満であるか否かを判定する(ステップS252)。
ステップS252において、前方側変化率が後方側変化率未満である場合(ステップS152:Yes)、切替制御部170は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。表示形式を維持する旨の通知(情報)を取得した切替処理部180は、現在の表示形式をホールドする(何もしない)(ステップS270)。そして、本フローチャートは終了する。
ステップS210においてホールド機能がオンでない場合(ステップS210:No)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。次いで、切替制御部170は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS260)。そして、本フローチャートは終了する。
ステップS232において、両撮像画像における筐体の傾斜前後の撮像画像の何れから被写体の特徴部分を抽出できなかった場合には(ステップS232:No)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、特徴部分を抽出できなかった旨の通知を切替制御部170に出力する。次いで、切替制御部170は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS210(No)の場合と同様の処理を行って、本フローチャートは終了する。
ステップS252において、前方側変化率が後方側変化率以上である場合(ステップS252:No)、切替制御部170は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS210(No)の場合と同様の処理を行って、本フローチャートは終了する。
(S310〜ステップS370)
ステップS200において筐体が所定量以上傾斜していないと判定された場合(ステップS200:No)、設定認識部112(又は傾斜量判定部122)は、追随機能がオンである否かを判断する(ステップS310)。
ステップS310において追随機能がオンである場合(ステップS310:Yes)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、両撮像画像における傾斜前後の撮像画像の夫々から被写体の特徴部分の抽出を試みて(ステップS322)、夫々の撮像画像から、被写体の特徴部分を抽出できたか否かを判断する(ステップS332)。
ステップS332において、両撮像画像における傾斜前後の撮像画像の夫々から被写体の特徴部分を抽出できた場合には(ステップS332:Yes)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、両撮像画像における被写体の特徴部分の時間的な変化率を算出し(ステップS342)、算出した変化率を、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、切替制御部170に出力する。次いで、切替制御部170は、前方側変化率が後方側変化率未満であるか否かを判定する(ステップS352)。
ステップS352において、前方側変化率が後方側変化率以上である場合(ステップS352:No)、切替制御部170は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS360)。そして、本フローチャートは終了する。
ステップS310において追随機能がオンでない場合(ステップS310:No)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、追随機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。次いで、切替制御部170は、表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。表示形式を維持する旨の通知を取得した切替処理部180は、何もしない(ステップS370)。そして、本フローチャートは終了する。
ステップS332において、両撮像画像における筐体の傾斜前後の撮像画像の何れから被写体の特徴部分を抽出できなかった場合には(ステップS332:No)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、特徴部分を抽出できなかった旨の通知(情報)を切替制御部170に出力する。次いで、切替制御部170は、表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。以下、ステップS3310(No)の場合と同様の処理を行って、本フローチャートは終了する。
ステップS352において、前方側変化率が後方側変化率未満である場合(ステップS352:Yes)、切替制御部170は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。以下、ステップS310(No)の場合と同様の処理を行って、本フローチャートは終了する。
図21及び図22は、表示形式の制御処理を説明する一例である。例えば、図21は、フロントカメラ62による撮像画像を利用して表示画像の表示形式を制御する態様における追随機能の一例である。図22は、フロントカメラ62による撮像画像に加え、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御する態様追随機能の一例である。図21及び図22において、表示形式の切替機能、ホールド機能、追随機能の何れもオンに設定されているものとする。
なお、ホールド機能については、第1の実施形態による電子機器3と同様である。
図21(a)は、図12(a)と同様、図9(a)の状態から、ユーザUが、自身のみを所定量以上傾斜させた様子を表している。図21(b)は、図21(a)の場合における、撮像画像SG3’’(スルー画)を表している。図21(c)は、図21(a)の場合における、タッチスクリーン44に表示されている表示画像HG3’(横長画像)である。
即ち、図19のフローチャートにおいて、切替制御部170は、筐体が所定量以上傾斜していない場合において、被写体の特徴部分の時間的な変化量が第2の閾値以上であると判定し(ステップS350:Yes)、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS360)。
図22(a)は、図17(a)と同様、図14(a)の状態から、ユーザUが、自身のみを所定量以上傾斜させた様子を表している。図22(b)は、図22(a)の場合において、フロントカメラ62によって撮像されている撮像画像SG4−1’’(スルー画)、及び、バックカメラ64によって撮像されている撮像画像SG4−2(スルー画)を表している。図22(b)において、前方側変化率は後方側変化率よりも大きい。図22(c)は、図22(a)の場合における、タッチスクリーン44に表示されている表示画像HG4’(横長画像)である。
即ち、図20のフローチャートにおいて、切替制御部170は、筐体が所定量以上傾斜していない場合において、前方側変化率が後方側変化率以上であると判定し(ステップS352:No)、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS360)。
以上、電子機器4によれば、意図しない画面形式(画面表示型)の切り替えが生じないため、ユーザの利便性を向上させることができる。例えば、ユーザが、図5(b)に示すように筐体とともに自分の顔を所定量以上傾斜させた場合には、図4に例示したような表示形式の切り替えがホールド機能によって生じないため、ユーザの利便性を向上させることができる。また例えば、筐体を傾斜させずに、自分の顔を所定量以上傾斜させた場合には、図4に例示したよう表示画面の表示形式の切り替えが追随機能によってなされるため、ユーザの利便性を向上させることができる。
以上、本発明の第1の実施形態による電子機器3、本発明の第2の実施形態による電子機器4によれば、ユーザの使用状況に応じて、見易い表示形式の表示画面が提供され、ユーザの利便性が向上する。
なお、電子機器3の処理の一部を外部の装置(例えば、サーバ)が実行し、電子機器3の表示形式を制御するようにしてもよい。同様に、電子機器4の処理の一部を外部の装置(例えば、サーバ)が実行し、電子機器4の表示形式を制御するようにしてもよい。
図23は、情報システム1の概略構成図である。図24A及び図24Bは、電子機器5が備える表示制御部104内のブロック図、及び、サーバ9が備える表示制御情報生成部200内のブロック図等の一例である。情報システム1は、図23に示すように、電子機器5とサーバ9とを含んで構成される。電子機器5とサーバ9とは、有線又は無線のネットワークにより接続されている。
電子機器5は、第1の実施形態による電子機器3と同様、タッチスクリーン44と、撮像部(第1撮像部及び第2撮像部)と、通信部70とを有する。より詳細には、電子機器5の構成は、表示制御部100に代えて表示制御部104を具備する点を除き、第1の実施形態による電子機器3の構成と同様である。
表示制御部104は、図24Aに示すように、設定部194(電子機器3の設定部190又は電子機器4の設定部192と同様)を備える。
通信部70は、撮像部による撮像画像、及び、筐体の傾斜量をサーバ9に送信し、タッチスクリーン44における表示画像の表示形式を制御する表示制御情報をサーバ9から受信する。
サーバ9は、図24Aに示すように、通信部270と表示制御情報生成部200とを有する。表示制御情報生成部200は、第1の実施形態による電子機器3の表示制御部100の設定認識部110、傾斜量判定部120、特徴領域抽出部130、変化量算出部140、切替判定部150、切替制限部160及び切替処理部180(又は、第2の実施形態による電子機器4の表示制御部102の設定認識部112、傾斜量判定部122、特徴領域抽出部130、変化量算出部140切替制御部170及び切替処理部180)と同様の機能を有する。
通信部270は、電子機器5から撮像画像及び筐体の傾斜量を受信する。また、通信部270は、電子機器5に表示制御情報を送信する。
表示制御情報生成部200は、電子機器5から受信した撮像画像に含まれる被写体の特徴部分の時間的な変化量に基づいて、電子機器5に送信する表示制御情報を生成する。表示制御情報とは、表示画像の表示形式を示す情報(電子機器3(電子機器4)の切替処理部180がタッチスクリーンコントローラ42に出力する情報に相当)である。
なお、電子機器5の設定情報(例えば、ホールド機能のオン/オフ情報)は、サーバ9が記憶してもよいし、電子機器5が記憶部30に記憶してもよい。サーバ9の表示制御情報生成部200は、必要に応じて、電子機器5から設定情報を受信し、表示制御情報を生成する際に参照する。
なお、電子機器5の表示制御部104は、図24Bに示すように、設定部194に加え、設定認識部110(112)、傾斜量判定部120(122)及び特徴領域抽出部130を備えていてもよい。なお、上記場合、サーバ9の表示制御情報生成部200は、図24Bに示すように、設定認識部110(112)、傾斜量判定部120(122)及び特徴領域抽出部130を有しなくてもよい。
電子機器5が特徴領域抽出部130等を備える態様の場合、電子機器5は、撮像画像に代えて、傾斜量判定部120(122)の処理結果(例えば、ホールド機能がオフに設定されている旨の通知)、又は、特徴領域抽出部130の処理結果(被写体の特徴部分を示す情報、又は、特徴部分を抽出できなかった旨の通知)をサーバ9に送信する。また、サーバ9の表示制御情報生成部200は、撮像画像に代えて、電子機器5から取得する処理結果を用いて表示制御情報を生成する。
なお、電子機器3(電子機器4、5も同様)において、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御しない場合には、電子機器3は、バックカメラ64を有しなくてもよい。
電子機器3(サーバ9も同様)において、予め記憶した顔のみに対し、ホールド処理を行うようにしてもよい。即ち、表示形式の切替機能、及び、ホールド機能がオンに設定され、筐体が所定量以上傾斜した場合に、フロントカメラ62によって撮像された撮像画像から特徴領域抽出部130が抽出した被写体の特徴部分が、予め記憶した顔の特徴部分と一致すると判断されたときは、ホールド処理を実行するようにし(即ち、表示形式の切替を行わないようにし)、当該特徴部分が、予め記憶した顔の特徴部分と一致しないと判断されたときは、ホールド処理を実行しないようにしてもよい(即ち、表示形式の切替を行うようにしてもよい)、
同様に、電子機器4(サーバ9も同様)において、予め記憶した顔のみに対し、追随処理を行うようにしてもよい。
なお、本発明の実施形態による電子機器3、電子機器4の処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の実施形態による電子機器3、電子機器4に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フロッピー(登録商標)ディスク、光磁気ディスク、SDカード、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。