JP2019117378A - 電子機器、情報システム、サーバ、及びプログラム - Google Patents

電子機器、情報システム、サーバ、及びプログラム Download PDF

Info

Publication number
JP2019117378A
JP2019117378A JP2019014291A JP2019014291A JP2019117378A JP 2019117378 A JP2019117378 A JP 2019117378A JP 2019014291 A JP2019014291 A JP 2019014291A JP 2019014291 A JP2019014291 A JP 2019014291A JP 2019117378 A JP2019117378 A JP 2019117378A
Authority
JP
Japan
Prior art keywords
display
amount
image
unit
inclination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019014291A
Other languages
English (en)
Other versions
JP6828758B2 (ja
Inventor
井上 英也
Hideya Inoue
英也 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JP2019117378A publication Critical patent/JP2019117378A/ja
Application granted granted Critical
Publication of JP6828758B2 publication Critical patent/JP6828758B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Abstract

【課題】意図しない画面形式(画面表示型)の切り替えが生じないようにして、ユーザの利便性を向上させる。【解決手段】電子機器3は、筐体と、表示画像を表示する表示部44と、表示部の前方側の被写体を撮像する撮像部62と、撮像した被写体の画像から検出される変化量であって被写体の画像の特徴部分の時間的な変化量に基づいて、表示画像の表示形式を制御する表示制御部と、を備え、表示制御部は、筐体が所定量以上傾斜していない場合に、特徴部分の時間的な変化量に基づいて表示画像の表示形式を切り替える。【選択図】図1A

Description

本発明は、電子機器、情報システム、サーバ、及びプログラムに関するものである。
本願は、2011年11月10日に出願された日本特許出願2011−246571号に基づき優先権を主張し、その内容をここに援用する。
デジタルカメラ、携帯電話やスマートフォンなどの携帯端末の普及に伴い、携帯端末を利用してインターネット、ニュースや新聞記事などの情報を取得して画面に表示させるアプリケーションや技術が知られている。このような技術は、省スペースで、かつ電子情報をいつでもどこでも簡単に取得することができることから、ユーザの利便性を向上させ、情報の迅速な取得及び活用などに利用されている。
上述のような携帯端末において、画面に表示される情報は画面横型又は縦型に表示される。また、画面横型又は縦型に情報を表示可能な携帯端末として、端末の傾きや方向などの表示状態に応じて画面横型や縦型のような画面表示型を切り替えて該情報を表示可能な携帯端末が知られている(例えば、特許文献1参照)。
特開2007−017596号公報
しかしながら、例えば、画面横型や縦型を切り換えて該情報を表示可能な携帯端末をユーザが使用する時に、ユーザによる携帯端末の動作に対して意図しない画面表示型に切り替わる場合がある。このようなユーザの意図しない画面表示型の切り替えが生じた場合、ユーザは意図する画面表示型に切り替えるために携帯端末に対して新たな動作を行う必要がある。意図しない画面表示型の切り替えはユーザの利便性を低下させる要因となっていた。
本発明の一態様である電子機器は、筐体と、表示画像を表示する表示部と、前記表示部の前方側の被写体を撮像する撮像部と、撮像した前記被写体の画像から検出される変化量であって前記被写体の画像の特徴部分の時間的な変化量に基づいて、前記表示画像の表示形式を制御する表示制御部と、を備え、前記表示制御部は、前記筐体が所定量以上傾斜していない場合に、前記特徴部分の時間的な変化量に基づいて前記表示画像の表示形式を切り替える。
本発明の他の態様である電子機器は、表示画像を表示する表示部と、前記表示部の前方側のユーザを撮像する赤外線カメラと、前記ユーザの顔を撮像した顔画像から検出される変化量であって前記顔画像の時間的な変化量に基づいて、前記表示画像の表示形式を制御する表示制御部と、を備える。
本発明の他の態様である情報システムは、上述の態様に記載の電子機器と、電子機器と通信可能なサーバと、を備える。
本発明の他の態様であるサーバは、上述の態様に記載の電子機器と通信可能な通信部を備える。
本発明の他の態様であるプログラムは、コンピュータに、表示画像を表示部に表示する表示ステップと、前記表示部の前方側の被写体を撮像する撮像ステップと、撮像した前記被写体の画像から検出される変化量であって前記被写体の画像の特徴部分の時間的な変化量に基づいて、前記表示画像の表示形式を制御する表示制御ステップであって、筐体が所定量以上傾斜していない場合に、前記特徴部分の時間的な変化量に基づいて前記表示画像の表示形式を切り替える表示ステップと、を実行させる。
本発明の他の態様であるプログラムは、コンピュータに、表示画像を表示部に表示する表示ステップと、前記表示部の前方側のユーザを赤外線カメラで撮像する撮像ステップと、前記ユーザの顔を撮像した顔画像から検出される変化量であって前記顔画像の時間的な変化量に基づいて、前記表示画像の表示形式を制御する表示制御ステップと、を実行させる。
本発明の第1の実施形態による電子機器の外観模式図である。 本発明の第1の実施形態による電子機器の外観模式図である。 本実施形態における電子機器のブロック図の一例である。 本実施形態における表示制御部内のブロック図の一例である。 本実施形態における表示形式の切替機能による切替制御の一例である。 本実施形態における電子機器の使用している様子である。 本実施形態における被写体の特徴部分、被写体の特徴部分の変化量について説明する説明図である。 本実施形態における設定時の処理の流れを示すフローチャートの一例である。 本実施形態における電子機器における表示形式の制御処理の流れを示すフローチャートの一例である。 本実施形態における表示形式の制御処理を説明する一例である。 本実施形態における表示形式の制御処理を説明する一例である。 本実施形態における表示形式の制御処理を説明する一例である。 本実施形態における表示形式の制御処理を説明する一例である。 本実施形態における電子機器における表示形式の制御処理の他の例を示す フローチャートである。 本実施形態における表示形式の制御処理を説明する一例である。 本実施形態における表示形式の制御処理を説明する一例である。 本実施形態における表示形式の制御処理を説明する一例である。 本実施形態における表示形式の制御処理を説明する一例である。 本発明の第2の実施形態による電子機器が備える表示制御部内のブロック図の一例である。 本実施形態における電子機器における表示形式の制御処理の一例を示すフローチャートである。 本実施形態における電子機器における表示形式の制御処理の他の例を示すフローチャートである。 本実施形態における表示形式の制御処理を説明する一例である。 本実施形態における表示形式の制御処理を説明する一例である。 本実施形態における情報システムの概略構成図である。 本実施形態における電子機器が備える表示制御部内のブロック図、及び、サーバが備える表示制御情報生成部内のブロック図等の一例である。 本実施形態における電子機器が備える表示制御部内のブロック図、及び、サーバが備える表示制御情報生成部内のブロック図等の別の例である。
(第1の実施形態)
以下、図面を参照しながら本発明の第1の実施形態について説明する。図1A及び図1Bは、本発明の第1の実施形態による電子機器3(例、携帯端末)の外観模式図である。
なお、図1Aは電子機器3の筐体前面(表面、本体前面)、図1Bは電子機器3の筐体背面(裏面、本体背面)を表している。
電子機器3は、図1Aに示すように、筐体前面に、タッチスクリーン(表示部)44、カーソルパッド48、フロントカメラ(レンズ、撮像部)62、スピーカ82、マイクロフォン84、決定/ホームボタン92を有する。また、電子機器3は、図1Bに示すように、筐体背面に、バックカメラ(レンズ、撮像部)64を有する。また、電子機器3は、図1A及び1Bに示すように、筐体上部(本体上部)に、電源ボタン90を有する。また、電子機器3は、破線にて示すように、内部に、モーションセンサ50(例、3軸加速度センサや3軸角速度センサ)、GPS52、方位計54、仰角センサ56を備える。
タッチスクリーン44は、表示データに基づく表示画像を表示する。表示データとは、例えば、画像データ、テキストデータである。表示画像とは、画像(例えば、写真、イラストなどの画像)、テキスト(例えば、文字、記号)などである。また、タッチスクリーン44は、ユーザによる指示位置を示すカーソルを表示する。また、タッチスクリーン44は、タッチセンサを有し、ユーザによるタッチ位置を検出する。なお、タッチスクリーン44に表示される表示画像の表示形式(画面表示型)は、表示制御部100(後述)によって制御される(詳細は後述)。
カーソルパッド48は、タッチスクリーン44に表示されたカーソルの移動操作を受け付ける。即ち、タッチスクリーン44上に表示されたカーソルは、カーソルパッド48上におけるユーザの指の動きに応じて移動する。
フロントカメラ62は、カメラ部60(後述)の制御に従って、前方側(筐体前面側、タッチスクリーン44側)の被写体を撮像する。
バックカメラ64は、カメラ部60(後述)の制御に従って、後方側(筐体背面側、タッチスクリーン44の逆側又は反対側)の被写体を撮像する。
なお、フロントカメラ62(若しくは、フロントカメラ62及びカメラ部60)を第1撮像部とも称し、バックカメラ64(若しくは、バックカメラ64及びカメラ部60)を第2撮像部とも称する。また、フロントカメラ62及びバックカメラ64は、被写体を撮像する環境が暗所などの場合において被写体を撮像することが可能なように、赤外線カメラ或いは照明付きカメラであってもよい。
スピーカ82は、オーディオ部80(後述)の制御に従って、音(声を含む)を出力する。マイクロフォン84は、集音した音データをオーディオ部80(後述)に供給する。
電源ボタン90は、筐体(a casing body、a body、本体(a body, a main body))に電源を投入するためのボタンである。決定/ホームボタン92は、種々の決定、又は、ホーム画面(初期表示画面)の表示を指示するボタンである。
モーションセンサ50は、筐体の動き(例、筐体の傾斜など)を検出するために加速度センサ又は/及び角速度センサを備え、筐体に加わる加速度又は/及び角速度を検出する。GPS52は、筐体の位置を測定(測位)する。方位計54は、例えば、地磁気センサであって、方位(即ち、筐体の向く方向)を検出する。仰角センサ56は、筐体の動きを検出するために、筐体の仰角(例、光の入射方向と地表面とのなす角、或いは水平から上の視野角)を検出する。
図2は、電子機器3のブロック図の一例である。電子機器3は、図1A及び図1Bに示したものに加え、図2に示すように、プロセッサ10、インターフェイス部20、記憶部30、入出力部40、カメラ部60、通信部70、及び、オーディオ部80を備える。
プロセッサ10は、電子機器3全体を制御する。例えば、プロセッサ10は、表示制御部100を有し、前方側を撮像した被写体の特徴部分(即ち、第1撮像部によって撮像された撮像画像上の特徴部分)の時間的な変化量(遷移量(a transition amount, a transition degree)、変化率(a change rate, a transition rate)、一期間における特徴部分の変化量)に基づいて、表示画像の表示形式を制御する。表示制御部100の詳細は後述する。
インターフェイス部20は、プロセッサ10からの情報(例えば、制御情報、出力情報)を各部に供給する。また、インターフェイス部20は、各部からの情報(例えば、記憶情報、入力情報)をプロセッサ10に供給する。
記憶部30は、種々の情報を記憶する。例えば、記憶部30は、プロセッサ10において処理されるプログラム、種々の設定情報を記憶する。また、記憶部30は、タッチスクリーン44に表示する表示データを記憶する。
入出力部40は、タッチスクリーンコントローラ42、カーソルパッドコントローラ46などを含む。タッチスクリーンコントローラ42は、プロセッサ10(表示制御部100)から出力される制御情報に基づいて、タッチスクリーン44の表示を制御する。カーソルパッドコントローラ46は、カーソルパッド48を介して受け付けたカーソルの移動操作をプロセッサ10に供給する。
カメラ部60は、フロントカメラ62及びバックカメラ64を制御し、被写体を撮像する。カメラ部60は、撮像画像をプロセッサ10に供給する。なお、カメラ部60は、プロセッサ10の制御に従って、被写体を撮像してもよい。
通信部70は、プロセッサ10の制御に従って、外部(例えば、他の電子機器、サーバ、ストレージ)と通信する。オーディオ部80は、プロセッサ10の制御に従って、スピーカ82及びマイクロフォン84を制御する。
図3は、表示制御部100内のブロック図の一例である。図4は、表示形式の切替機能による切替制御の一例である。図5は、電子機器3の使用している様子である。図6は、被写体の特徴部分、被写体の特徴部分の変化量について説明する説明図である。
表示制御部100は、図3に示すように、設定認識部110、傾斜量判定部120、特徴領域抽出部130、変化量算出部140、切替判定部150、切替制限部(ホールド部)160、切替処理部180、及び、設定部190を備える。
設定部190は、種々の情報を設定する。例えば、表示画像の表示形式の切替機能のオン(有効)/オフ(無効)を設定する。また、設定部190は、表示画像の表示形式の制御機能の1つであるホールド機能(ホールド手段)のオン/オフを設定する。なお、ホールド機能のオン/オフは、表示画像の表示形式の切替機能がオンの場合に参照される。換言すれば、ホールド機能は、表示画像の表示形式の切替機能のサブ機能である。また、設定部190による設定内容は、記憶部30に記憶される。
設定部190は、環境に応じて自動的に、又は、ユーザの指示に従って、表示形式の切替機能のオン/オフ、及び、ホールド機能のオン/オフを設定する。自動設定によってオン/オフを設定する場合、設定部190は、例えば、切替可能な表示形式の表示画像を表示するアプリケーションが実行され、かつ、節電モードに設定されていない場合、ホールド機能をオンに設定する。なお、切替可能な表示形式の表示画像を表示するアプリケーションとは、表示形式が、以下(図4参照)に示すように切り替わる表示画像を表示するアプリケーションである。
以下、表示形式の切替機能による切替制御について説明する。図4(a)〜(d)の夫々は、図5(a)に示すように、ユーザが筐体を回転させて、タッチスクリーン44が縦向き状態(後述)から横向き状態(後述)に変化した場合、又は、横向き状態から縦向き状態に変化した場合における、表示画像の切替制御の一例である。
図4(a)及び(b)は、タッチスクリーン44の向きの変化に従って表示画像を回転させる切替制御を表している。例えば、図4(a)及び(b)は、表示画像の表示形式が縦長画像(後述)から横長画像(後述)、又は、横長画像から縦長画像へと切り替わる切替制御の一例を表している。また、図4(c)及び図4(d)は、タッチスクリーン44の向きの変化に従って表示画像を縮小させる切替制御、即ち、表示画像の表示形式が縦長画像から横長画像、又は、横長画像から縦長画像へと切り替わらない切替制御の一例を表している。
(図4(a)の一例)
図4(a)の矢印の左側の図は、天地方向を長手方向としている状態(以下、縦向き状態)のタッチスクリーン44に、天地方向が長手方向である画像(以下、縦長画像)である表示画像HGが、表示されている様子を表している。表示画像HGは、テキストTと写真Pとを含んでいる。写真Pは、縦長である。
図4(a)の矢印の右側の図は、水平方向を長手方向としている状態(以下、横向き状態)のタッチスクリーン44に、水平方向が長手方向である画像(以下、横長画像)である表示画像HG’が、表示されている様子を表している。表示画像HG’は、テキストT’と写真Pとを含んでいる。写真Pは、縦長である。
例えば、ユーザが、図5(a)の如く筐体を回転させて、タッチスクリーン44が縦向き状態から横向き状態に変化した場合(右向矢印)、表示画像の表示形式は、タッチスクリーン44の向きの変化に従って、縦長画像である表示画像HGから、横長画像である表示画像HG’へと切り替わる。逆に、タッチスクリーン44が横向き状態から縦向き状態に変化した場合(左向矢印)、表示画像の表示形式は、横長画像である表示画像HG’から、縦長画像である表示画像HGへと切り替わる。
なお、表示画像HG’上の写真Pは、表示画像HG上の写真Pと表示サイズ及び表示方向が同一である。表示画像HG’上のテキストT’は、横長である表示画像HG’に合わせるように、表示画像HG上のテキストTを再配置したものである。
(図4(b)の一例)
図4(b)の矢印の左側の図は、横向き状態のタッチスクリーン44に、横長画像である表示画像HGが、表示されている様子を表している。表示画像HGは、テキストTと写真Pとを含んでいる。写真Pは、横長である。
図4(b)の矢印の右側の図は、縦横向き状態のタッチスクリーン44に、縦長画像である表示画像HG’が、表示されている様子を表している。表示画像HG’は、テキストT’と写真Pとを含んでいる。写真Pは、横長である。
例えば、ユーザが、図5(a)の如く筐体を回転させて、タッチスクリーン44が横向き状態から縦向き状態に変化した場合(右向矢印)、表示画像の表示形式は、タッチスクリーン44の向きの変化に従って、横長画像である表示画像HGから、縦長画像である表示画像HG’へと切り替わる。逆に、タッチスクリーン44が縦向き状態から横向き状態に変化した場合(左向矢印)、表示画像の表示形式は、縦長画像である表示画像HG’から、横長画像である表示画像HGへと切り替わる。
なお、表示画像HG’上の写真Pは、表示画像HG上の写真Pと表示サイズ及び表示方向が同一である。表示画像HG’上のテキストT’は、縦長である表示画像HG’に合わせるように、表示画像HG上のテキストTを再配置したものである。
(図4(c)の一例)
図4(c)の矢印の左側の図は、図4(a)の矢印の左側の図と同様、表示画像HGが、表示されている様子を表している。
図4(c)の矢印の右側の図は、横向き状態のタッチスクリーン44に、縦長画像である表示画像HG’’が、表示されている様子を表している。表示画像HG’’は、テキストT’’と写真P’’を含んでいる。写真P’’は、縦長である。
例えば、ユーザが、図5(a)の如く筐体を回転させて、タッチスクリーン44が縦向き状態から横向き状態に変化した場合(右向矢印)、表示画像の表示形式は、タッチスクリーン44の天地方向の長さの変化(短くなる)に従って、縦長画像である表示画像HGから、縮小された縦長画像である表示画像HG’’へと切り替わる。逆に、タッチスクリーン44が横向き状態から縦向き状態に変化した場合(左向矢印)、表示画像の表示形式は、タッチスクリーン44の天地方向の長さの変化(長くなる)に従って、縮小された縦長画像である表示画像HG’’から、元の大きさの縦長画像である表示画像HGへと切り替わる。
なお、表示画像HG’’上の写真P’’は、縮小された表示画像HG’’に合わせるように、表示画像HG上の写真Pを縮小したものである。表示画像HG’’上のテキストT’’についても同様である。
(図4(d)の一例)
図4(d)の矢印の左側の図は、図4(b)の矢印の左側の図と同様、表示画像HGが、表示されている様子を表している。
図4(d)の矢印の右側の図は、縦向き状態のタッチスクリーン44に、横長画像である表示画像HG’’が、表示されている様子を表している。表示画像HG’’は、テキストT’’と写真P’’を含んでいる。写真P’’は、横長である。
例えば、ユーザが、図5(a)の如く筐体を回転させて、タッチスクリーン44が横向き状態から縦向き状態に変化した場合(左向矢印)、表示画像の表示形式は、タッチスクリーン44の水平方向の長さの変化(短くなる)に従って、横長画像である表示画像HGから、縮小された横長画像である表示画像HG’’へと切り替わる。逆に、タッチスクリーン44が縦向き状態から横向き状態に変化した場合(右向矢印)、表示画像の表示形式は、タッチスクリーン44の水平方向の長さの変化(長くなる)に従って、縮小された横長画像である表示画像HG’’から、元の大きさの横長画像である表示画像HGへと切り替わる。
なお、表示画像HG’’上の写真P’’は、縮小された表示画像HG’’に合わせるように、表示画像HG上の写真Pを縮小したものである。表示画像HG’’上のテキストT’’についても同様である。
設定認識部110は、記憶部30に記憶されている設定情報(表示画像の表示形式の切替機能のオン/オフの情報、ホールド機能のオン/オフの情報)を取得する。例えば、設定認識部110は、傾斜量判定部120からの要求に応じて、記憶部30に記憶されている設定情報を取得し、設定情報を傾斜量判定部120に出力(応答)する。
傾斜量判定部120は、モーションセンサ50(仰角センサ56)から検出値を取得し、筐体の傾斜量を算出する。なお、傾斜量判定部120は、表示形式の切替機能がオンに設定されている場合に、筐体の傾斜量を算出してもよい。
筐体の傾斜量を算出した傾斜量判定部120は、算出した傾斜量が所定量以上であるか否か、即ち、筐体が所定量以上傾斜したか否かを判定する。上記所定量は、例えば、45度や60度である。上記所定量は、例えば、5、10、15、20、25、30、35、40、45、50、60、65、70、75、80、85、又は90度にできる。
傾斜量判定部120は、表示形式の切替機能がオフに設定されている場合、何もしない。即ち、傾斜量判定部120は、表示形式の切替機能がオフに設定されている場合には、表示形式の切り替えは行わないため、既に筐体の傾斜量を算出していた場合であっても、何もしない。
また、傾斜量判定部120は、筐体が所定量以上傾斜していないと判定した場合には、表示形式の切り替えは行わないため、表示形式の切替機能がオンに設定されている場合であっても、何もしない。
傾斜量判定部120は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定した場合において、本実施形態のホールド機能がオフに設定されている場合には、筐体の傾斜量、及び、筐体の傾斜方向とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替判定部150に出力する。
傾斜量判定部120は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定した場合において、本実施形態のホールド機能がオンに設定されている場合には、筐体の傾斜量、及び、筐体の傾斜方向を特徴領域抽出部130に出力する。
特徴領域抽出部130は、フロントカメラ62によって撮像された撮像画像をカメラ部60から取得する。例えば、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向を傾斜量判定部120から取得した場合に、筐体の傾斜前後の撮像画像をカメラ部60から取得する。つまり、特徴領域抽出部130は、表示形式の切替機能、及び、ホールド機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定された場合に、筐体の傾斜前後の撮像画像をカメラ部60から取得する。
傾斜前後の撮像画像とは、筐体の傾斜前の撮像画像(傾斜動作し始める直前の撮像画像、若しくは、傾斜動作し始めた直後の撮像画像)、及び、筐体の傾斜後の撮像画像(傾斜動作が完了した直後の撮像画像)である。
なお、傾斜前後の撮像画像のうち、筐体の傾斜前の撮像画像は、特徴領域抽出部130が、傾斜量判定部120から、筐体の傾斜量、及び、筐体の傾斜方向を取得する時点よりも前(過去)の画像である。従って、特徴領域抽出部130は、傾斜量判定部120から筐体の傾斜量等を取得した時点でカメラ部60に撮像を要求するという方法では、筐体の傾斜前の撮像画像を取得することは難しい。そのため、例えば、下記方法によって、特徴領域抽出部130は、筐体の傾斜前の撮像画像を取得する。
第1の方法は、カメラ部60が、表示形式の切替機能、及び、ホールド機能がオンに設定されている場合には、常に、画像を撮像し、一定時間(所定時間)、一時的に記憶しておく方法である。第2の方法は、カメラ部60が、モーションセンサ50(仰角センサ56)からの通知によって、筐体が傾斜動作し始めたとき(筐体の動きを検出したとき)から画像を撮像し、一定時間(所定時間)、一時的に記憶しておく方法である。第1の方法及び第2の方法の何れであっても、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向を傾斜量判定部120から取得した時点において、一時的に記憶されている画像の中から傾斜前の撮像画像を取得することができる。
特徴領域抽出部130は、筐体の傾斜前後の撮像画像(筐体の傾斜前の撮像画像、筐体の傾斜後の撮像画像)をカメラ部60から取得した場合、筐体の傾斜前後の夫々の撮像画像から、被写体の特徴部分を抽出する。この場合、想定する被写体は、電子機器3を把持し、タッチスクリーン44を見ているユーザ(自分)である。特徴部分は、例えば、ユーザの顔のパーツ(例えば、目、耳)又は顔の輪郭である。
例えば、筐体の傾斜前の撮像画像が図6(a)に示す撮像画像SG、筐体の傾斜後の撮像画像が図6(a)に示す撮像画像SG’である場合、特徴領域抽出部130は、図6(b)に示すように、撮像画像SG及び撮像画像SG’の夫々から、ユーザの両目を通過する直線L、L’を被写体の特徴部分として抽出する。
また、特徴領域抽出部130は、ユーザの両目を通過する直線L、L’に代えて、図6(c)に示すように、ユーザの両耳を通過する直線L2、’を被写体の特徴部分として抽出してもよい。
また、特徴領域抽出部130は、上記に代えて、図6(d)に示すように、ユーザの顔の輪郭に隣接する矩形の中心を通過する直線L(又は直線L)、直線L’(又は直線L’)を被写体の特徴部分として抽出してもよい。
特徴領域抽出部130は、筐体の傾斜前後の夫々の撮像画像から被写体の特徴部分を抽出できた場合には、傾斜量判定部120から取得した筐体の傾斜量、及び、筐体の傾斜方向とともに、傾斜前後の夫々の撮像画像から抽出した被写体の特徴部分を示す情報を変化量算出部140に出力する。例えば、特徴領域抽出部130は、図6(b)に示す直線L、L’を被写体の特徴部分として抽出できた場合には、被写体の特徴部分を示す情報として、直線Lの傾きの値、及び、直線L’の傾きの値を変化量算出部140に出力する。
一方、特徴領域抽出部130は、筐体の傾斜前の撮像画像、筐体の傾斜後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には、傾斜量判定部120から取得した筐体の傾斜量、及び、筐体の傾斜方向とともに、特徴部分を抽出できなかった旨の通知(情報)を切替判定部150に出力する。
なお、図1Aに示すように、タッチスクリーン44とフロントカメラ62の位置関係から、ユーザが、電子機器3を把持し、タッチスクリーン44を見ている場合には、筐体の傾斜前後の夫々の撮像画像から、当該ユーザの顔のパーツ又は輪郭を抽出できる公算が大きい。
変化量算出部140は、筐体の傾斜量、筐体の傾斜方向、及び、夫々の撮像画像(筐体の傾斜前の撮像画像、及び、筐体の傾斜後の撮像画像)から抽出した被写体の特徴部分を示す情報を特徴領域抽出部130から取得した場合には、当該特徴部分の時間的な変化量を算出する。
例えば、変化量算出部140は、被写体の特徴部分を示す情報として、図6(b)に示す直線Lの傾きの値、及び、直線L’の傾きの値を取得した場合には、特徴部分の時間的な変化量として、直線Lと直線L’の為す角度θ(図6(b)参照)を算出する。なお、変化量算出部140は、被写体の特徴部分を示す情報として、図6(c)に示す直線Lの傾きの値、及び、直線L’の傾きの値を取得した場合には、特徴部分の時間的な変化量として角度θ(図6(c)参照)を算出し、図6(d)に示す直線Lの傾きの値、及び、直線L’の傾きの値を取得した場合には、特徴部分の時間的な変化量として角度θ(図6(d)参照)を算出する。なお、上述の角度θ、θ、θは、筐体の傾斜前後における被写体の特徴部分の回転量でもある。なお、例えば、変化量算出部140は、被写体の特徴部分を示す情報として図6(b)に示す撮像画像における直線Lの位置(座標)を取得した場合には、特徴部分の時間的な変化量として撮像画像における直線Lの位置の移動量を算出する。また、例えば、変化量算出部140は、被写体の特徴部分を示す情報としてモーションセンサ50によって検出した筐体の重力方向に対する直線L’の傾きの値を取得した場合には、特徴部分の時間的な変化量として重力方向に対する直線L’の傾き(角度)を算出する。
被写体の特徴部分の時間的な変化量を算出した変化量算出部140は、特徴領域抽出部130から取得した筐体の傾斜量、及び、筐体の傾斜方向とともに、被写体の特徴部分の時間的な変化量を切替判定部150に出力する。
切替判定部150は、表示画像の表示形式の切り替えの要否を判定する。
切替判定部150は、筐体の傾斜量、筐体の傾斜方向、及び、本実施形態のホールド機能がオフに設定されている旨の通知(情報)を傾斜量判定部120から取得した場合、表示形式の切り替えが必要であると判定する。
つまり、筐体が所定量以上傾斜したと判定された場合であって、本実施形態のホールド機能がオフに設定されている場合には、切替判定部150は、表示形式の切り替えが必要であると判定する。
また、切替判定部150は、筐体の傾斜量、筐体の傾斜方向、及び、特徴部分を抽出できなかった旨の通知(情報)を特徴領域抽出部130から取得した場合にも、表示形式の切り替えが必要であると判定する。
つまり、筐体が所定量以上傾斜したと判定された場合であって、ホールド機能がオンに設定されている場合において、筐体の傾斜前の撮像画像、筐体の傾斜後の撮像画像の少なくとも一方から被写体の特徴部分が抽出されなかった場合(換言すれば、被写体の特徴部分の時間的な変化量を算出することができない場合)には、切替判定部150は、表示形式の切り替えが必要であると判定する。
また、切替判定部150は、筐体の傾斜量、筐体の傾斜方向、及び、被写体の特徴部分の時間的な変化量を変化量算出部140から取得した場合には、被写体の特徴部分の時間的な変化量と変化量に関する第1の閾値とを比較し、表示画像の表示形式の切り替えの要否を判定する。
例えば、切替判定部150は、被写体の特徴部分の時間的な変化量が第1の閾値以上である場合、表示形式の切り替えが必要であると判定し、被写体の特徴部分の時間的な変化量が第1の閾値未満である場合には、表示画像の表示形式の切り替えが不要であると判定する。
つまり、筐体が所定量以上傾斜したと判定された場合であって、ホールド機能がオンに設定されている場合において、被写体の特徴部分の時間的な変化量が第1の閾値以上であるときは、切替判定部150は、表示形式の切り替えが必要(換言すれば、ホールド機能によるホールド処理が不要)であると判定し、被写体の特徴部分の時間的な変化量が第1の閾値未満である場合には、切替判定部150は、表示画像の表示形式の切り替えが不要(換言すれば、ホールド機能によるホールド処理が必要)であると判定する。一例において、被写体(ユーザの顔等)と筐体(本体)との間の相対姿勢の変化/遷移を検出した結果に基づいて、表示画像の表示形式が制御され得る。相対姿勢の変化/遷移が比較的大きい場合、表示形式を切り替える。相対姿勢の変化/遷移が比較的小さい場合、表示形式を切り替えない。
なお、被写体の特徴部分の時間的な変化量と比較する第1の閾値は、ユーザが、筐体を回転させるなどして筐体を傾斜させる際に、当該ユーザが筐体の傾斜に伴って自身の顔(例えば、両目を結ぶ直線)を意図的に傾斜させたか否かを判定するための値である。
筐体の傾斜に伴って自身の顔を意図的に傾斜させている例は、例えば、図5(b)に示すような場合である。一方、図5(a)は、ユーザが、筐体のみを90度傾斜させた際に、筐体の傾斜に連れて自身の顔を意図的に傾斜させていない例である。
図5(a)の場合、被写体の特徴部分の変化量は90度となる。図5(b)の場合、被写体の特徴部分の変化量は略0度となる。また、図示しないが、筐体が90度傾斜し、ユーザが筐体と同一方向に50度傾斜したときは、被写体の特徴部分の変化量は40度になる。
以上から、例えば、第1の閾値は、数度程度〜45度程度の角度としてもよい。例えば、第1の閾値は、5、10、15、20、25、30、35、40、又は45度にできる。
例えば、第1の閾値を30度とした場合、ユーザが、筐体を時計回りに90度傾斜させた際に、顔を時計回りに60度以上傾斜させると、変化量は第1の閾値未満となるため、ホールド機能によるホールド処理が働く。
切替判定部150は、表示形式の切り替えが必要であると判定した場合には、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。一方、切替判定部150は、表示形式の切り替えが不要であると判定した場合には、表示形式を維持する旨の通知(情報)を切替制限部160に出力する。
切替制限部160は、表示形式を維持する旨の通知を切替判定部150から取得した場合、表示画像の表示形式を、筐体の傾斜量及び筐体の傾斜方向に応じて切り替えないように制御する。例えば、切替制限部160は、何もしないか、若しくは、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。
切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向を切替判定部150から取得した場合、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する。例えば、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に基づいて、表示形式(切替後の表示形式)を決定し、決定した表示形式をタッチスクリーンコントローラ42に出力する。これにより、タッチスクリーン44に表示されている表示画像が、図4に示すように、切り替わる。
一方、切替処理部180は、表示形式を維持する旨の通知(情報)を切替制限部160から取得した場合には、何もしない。
以上のように、表示制御部100は、筐体が所定量以上傾斜したと判定された場合であって、表示形式の切替機能、及び、ホールド機能がオンに設定されている場合には、被写体の特徴部分の時間的な変化量に応じて、タッチスクリーン44における表示画像の表示形式を選択的に切り替える。
なお、切替判定部150は、表示形式を維持する旨の通知(情報)を切替処理部180に出力してもよい。換言すれば、切替判定部150は、切替制限部160の機能を有してもよい(切替制限部160は切替判定部150に吸収されてもよい)。
図7は、表示形式の切り替えの設定に関する処理(設定処理)の流れを示すフローチャートの一例である。例えば、図7のフローチャートは、自動設定処理の流れの一例である。図7のフローチャートは、電子機器3の電源オン時において随時(例えば定期的に)開始する。なお、出荷時において、記憶部30には、切替制御のオン/オフ、ホールド機能のオン/オフの何れかが設定(記憶)されているものとする。
図7において、プロセッサ10(設定認識部110)は、記憶部30を参照し、切替機能がオンである否かを判断する(ステップS10)。
切替機能がオンである場合(ステップS10:Yes)、プロセッサ10(非図示のアプリ実行部)は、切替可能な表示形式の表示画像を表示するアプリケーションを実行中であるか否かを判断する(ステップS20)。
ステップS20において、切替可能な表示形式の表示画像を表示するアプリケーションが実行中である場合(ステップS20:Yes)、プロセッサ10(非図示の節電モード制御部)は、節電モード中であるか否かを判断する(ステップS40)。
ステップS40において、節電モード(省エネルギーモード)中でない場合(ステップS40:No)、プロセッサ10(設定認識部110)は、記憶部30を参照し、ホールド機能がオフである否かを判断する(ステップS50)。ホールド機能がオフである場合(ステップS50:Yes)、プロセッサ10(設定部190)は、ホールド機能をオンに設定する(ステップS60)。一方、ホールド機能がオフでない場合(ステップS50:No)、即ち、ホールド機能が既にオンである場合、ステップS60を飛ばして、本フローチャートは終了する。
ステップS40において、節電モード中である場合(ステップS40:Yes)、プロセッサ10(設定認識部110)は、記憶部30を参照し、ホールド機能がオンであるか否かを判断する(ステップS52)。ホールド機能がオンである場合(ステップS52:Yes)、プロセッサ10(設定部190)は、ホールド機能をオフに設定する(ステップS62)。一方、ホールド機能がオンでない場合(ステップS52:No)、即ち、ホールド機能が既にオフである場合、ステップS62を飛ばして、本フローチャートは終了する。
ステップS20において、切替可能な表示形式の表示画像を表示するアプリケーションが実行中でない場合(ステップS20:No)、プロセッサ10(設定部190)は、切替機能をオフに設定し(ステップS30)、ステップS62に進む。
ステップS10において、切替機能がオフである場合(ステップS10:No)、プロセッサ10(非図示のアプリ実行部)は、切替可能な表示形式の表示画像を表示するアプリケーションを実行中であるか否かを判断する(ステップS22)。
ステップS22において、切替可能な表示形式の表示画像を表示するアプリケーションが実行中である場合(ステップS22:Yes)、プロセッサ10(設定部190)は、切替機能をオンに設定し(ステップS32)、ステップS40に進む。
ステップS22において、切替可能な表示形式の表示画像を表示するアプリケーションが実行中でない場合(ステップS22:No)、本フローチャートは終了する。
なお、本発明の第2の実施形態による電子機器4における設定処理(切替機能の設定、ホールド機能の設定、追随機能(後述)の設定)についても同様である。
図8は、電子機器3における表示形式の制御処理の流れを示すフローチャートの一例である。図8のフローチャートは、表示形式の切替機能がオンに設定されている場合において、筐体が所定量以上傾斜したときに開始する。筐体が所定量以上傾斜したか否かは、上述の如く、傾斜量判定部120によって判定される。
図8において、設定認識部110(又は傾斜量判定部120)は、記憶部30を参照し、ホールド機能がオンである否かを判断する(ステップS110)。
ステップS110においてホールド機能がオンである場合(ステップS110:Yes)、傾斜量判定部120は、筐体の傾斜量、及び、筐体の傾斜方向を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、筐体の傾斜前後の撮像画像の夫々から被写体の特徴部分の抽出を試みて(ステップS120)、夫々から被写体の特徴部分を抽出できたか否かを判断する(ステップS130)。なお、例えば、特徴領域抽出部130は、筐体の傾斜前において所定の時間ごとに選択的に撮像画像における被写体の特徴部分の抽出を行ってもよい。
ステップS130において、夫々から被写体の特徴部分を抽出できた場合には(ステップS130:Yes)、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、筐体の傾斜前における撮像画像(基準画像)と筐体の傾斜後における撮像画像(遷移画像)とに基づいて被写体の特徴部分の時間的な変化量を算出し(ステップS140)、算出した変化量を、筐体の傾斜量、及び、筐体の傾斜方向とともに切替判定部150に出力する。次いで、切替判定部150は、被写体の特徴部分の時間的な変化量が第1の閾値以上であるか否かを判定する(ステップS150)。
ステップS150において、被写体の特徴部分の時間的な変化量が第1の閾値未満であると判定した場合(ステップS150:No)、切替判定部150は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替制限部160に出力する。表示形式を維持する旨の通知(情報)を取得した切替制限部160は、表示画像の表示形式を切り替えないように、即ち、表示形式の切り替えをホールドするように制御する(ステップS170)。例えば、切替制限部160は、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。表示形式を維持する旨の通知(情報)を切替制限部160から取得した切替処理部180は、何もしない。そして、本フローチャートは終了する。なお、ステップS170の矩形が破線であるのは、切替処理部180が、何もしない旨を表している。
ステップS110においてホールド機能がオンでない場合(ステップS110:No)、傾斜量判定部120は、筐体の傾斜量、及び、筐体の傾斜方向とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替判定部150に出力する。筐体の傾斜量、及び、筐体の傾斜方向とともに、ホールド機能がオフに設定されている旨の通知(情報)を取得した切替判定部150は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS160)。例えば、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に基づいて、表示形式(切替後の表示形式)を決定し、決定した表示形式をタッチスクリーンコントローラ42に出力する。そして、本フローチャートは終了する。
ステップS130において、筐体の傾斜前後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には(ステップS130:No)、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向とともに、特徴部分を抽出できなかった旨の通知を切替判定部150に出力する。筐体の傾斜量、及び、筐体の傾斜方向とともに、特徴部分を抽出できなかった旨の通知(情報)を取得した切替判定部150は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS110(No)の場合と同様の処理を行って、本フローチャートは終了する。また、被写体の特徴部分を抽出できなかった旨の通知(情報)を取得した切替判定部150は、ホールド機能をオフに設定して、上述の節電モードに切り替える。
ステップS150において、被写体の特徴部分の時間的な変化量が第1の閾値以上であると判定した場合には(ステップS150:Yes)、切替判定部150は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS110(No)の場合と同様の処理を行って、本フローチャートは終了する。
図9乃至図12は、表示形式の制御処理を説明する一例である。なお、図9乃至図12において、表示形式の切替機能及びホールド機能は何れもオンに設定されているものとする。
図9(a)は、ユーザUが、縦向き状態のタッチスクリーン44に表示された表示画像HG(縦長画像又は縦向き画像)を見ている様子を表している。図9(b)は、図9(a)の状態において、フロントカメラ62によって撮像されている撮像画像SG(スルー画)を表している。図9(c)は、図9(a)の状態において、タッチスクリーン44に表示されている表示画像HG(縦長画像)である。
図10(a)は、図9(a)の状態から、ユーザUが、筐体のみを所定量以上傾斜させた様子を表している。図10(b)は、図10(a)の場合における、撮像画像SG’(スルー画)を表している。図10(c)は、図10(a)の場合における、タッチスクリーン44に表示されている表示画像HG’(横長画像又は横向き画像)である。
即ち、図8のフローチャートにおいて、切替判定部150は、被写体の特徴部分の時間的な変化量が第1の閾値以上であると判定し(ステップS150:Yes)、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS160)。つまり、図10の如く筐体のみを所定量以上傾斜させた場合には、ユーザUが見易いように、縦長画像が横長画像に切り替える(又は、図4(c)、(d)に示すように縮小画像に切り替える)。
なお、表示形式の切替機能がオフに設定されている場合には、表示形式は切り替えない。
図11(a)は、図9(a)の状態から、ユーザUが、筐体とともに自身を所定量以上傾斜させた様子を表している。図11(b)は、図11(a)の場合における、撮像画像SG(スルー画)を表している。図11(c)は、図11(a)の場合における、タッチスクリーン44に表示されている表示画像HG(縦長画像)である。図11(c)の表示画像HGの表示形式は、図9(c)の表示画像HGの表示形式と同一である。
即ち、図8のフローチャートにおいて、切替判定部150は、被写体の特徴部分の時間的な変化量が第1の閾値未満であると判定し(ステップS150:No)、切替制限部160は、表示画像の表示形式を切り替えないように、即ち、切り替えをホールドするように制御する(ステップS170)。つまり、図11の如く筐体とともに自身を所定量以上傾斜させた場合には、ユーザUが見易いように、縦長画像を横長画像に切り替えない(又は、図4(c)、(d)に示すように縮小画像に切り替えない)。
なお、表示形式の切替機能はオンに設定され、かつ、ホールド機能はオフに設定されている場合には、表示形式は切り替える。
なお、図12(a)は、図9(a)の状態から、ユーザUが、自身のみを所定量以上傾斜させた様子を表している。図12(b)は、図12(a)の場合における、撮像画像SG’’(スルー画)を表している。図12(c)は、図12(a)の場合における、タッチスクリーン44に表示されている表示画像HG(縦長画像)である。図12(c)の表示画像HGの表示形式は、図9(c)の表示画像HGの表示形式と同一である。
即ち、図7のフローチャートは、上述の如く、筐体が所定量以上傾斜した場合に開始するものであるため、図12の如く自身のみを所定量以上傾斜させた場合には、表示形式は切り替わらない。
以上、電子機器3によれば、意図しない画面形式(画面表示型)の切り替えが生じないため、ユーザの利便性を向上させることができる。例えば、ユーザが、図5(b)に示すように筐体とともに自分の顔を所定量以上傾斜させた場合には、図4に例示したような表示形式の切り替えがホールド機能によって生じないため、ユーザの利便性を向上させることができる。
なお、上記では、電子機器3は、タッチスクリーン44の前方側の被写体を撮像するフロントカメラ62(第1撮像部)による撮像画像を利用して、表示画像の表示形式を制御する態様を説明したが、電子機器3は、フロントカメラ62による撮像画像に加え、タッチスクリーン44の後方側の被写体を撮像するバックカメラ64(第2撮像部)による撮像画像を利用して、表示画像の表示形式を制御してもよい。つまり、表示制御部100は、前方側を撮像した被写体の特徴部分の時間的な変化量と、後方側を撮像した被写体の特徴部分の時間的な変化量とに基づいて、表示画像の表示形式を制御するようにしてもよい。
例えば、表示制御部100は、筐体が所定量以上傾斜した場合に、前方側を撮像した被写体の特徴部分の変化率(フロントカメラ62による撮像画像上の被写体の特徴部分の変化率)である前方側変化率と、後方側を撮像した被写体の特徴部分の変化率(バックカメラ64による撮像画像上の被写体の特徴部分の変化率)である後方側変化率とを算出し、前方側変化率が後方側変化率以上であるときは、表示画像の表示形式を変えるように制御し、前方側変化率が後方側変化率未満であるときは、表示画像の表示形式を変えないように制御する。
より詳細には、表示制御部100は、筐体が所定量以上傾斜した場合であってホールド機能がオンに設定(表示形式の切替機能もオンに設定)されている場合は、前方側変化率と後方側変化率とを算出し、前方側変化率が後方側変化率以上であるときは、表示画像の表示形式を変えるように制御し、前方側変化率が後方側変化率未満であるときは、表示画像の表示形式を変えないように制御する。
一方、表示制御部100は、筐体が所定量以上傾斜した場合であってホールド機能がオフに設定(表示形式の切替機能はオンに設定)されている場合は、表示画像の表示形式を変えるように制御する。
図13は、電子機器3における表示形式の制御処理の他の例を示すフローチャートである。例えば、図13は、フロントカメラ62による撮像画像に加え、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御する態様における、処理の流れを表している。なお、図13のフローチャートは、図8のフローチャートと同様、表示形式の切替機能がオンに設定されている場合において、筐体が所定量以上傾斜したときに開始する。筐体が所定量以上傾斜したか否かは、傾斜量判定部120によって判定される。なお、図8と同一のステップ番号は、図8と同一の処理である。
図13において、設定認識部110(又は傾斜量判定部120)は、ホールド機能がオンである否かを判断する(ステップS110)。
ステップS110においてホールド機能がオンである場合(ステップS110:Yes)、傾斜量判定部120は、筐体の傾斜量、及び、筐体の傾斜方向を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、両撮像画像(フロントカメラ62による撮像画像及びバックカメラ64による撮像画像)における傾斜前後の撮像画像の夫々(筐体の傾斜前のフロントカメラ62による撮像画像、筐体の傾斜前のバックカメラ64による撮像画像、筐体の傾斜後のフロントカメラ62による撮像画像、筐体の傾斜後のバックカメラ64による撮像画像)から被写体の特徴部分の抽出を試みて(ステップS122)、夫々の撮像画像から、被写体の特徴部分を抽出できたか否かを判断する(ステップS132)。
ステップS132において、両撮像画像における傾斜前後の撮像画像の夫々から被写体の特徴部分を抽出できた場合には(ステップS132:Yes)、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、両撮像画像における、被写体の特徴部分の時間的な変化率(前方側変化率及び後方側変化率)を算出し(ステップS142)、算出した、両撮像画像における特徴部分の時間的な変化率を、筐体の傾斜量、及び、筐体の傾斜方向とともに切替判定部150に出力する。次いで、切替判定部150は、前方側変化率が後方側変化率未満であるか否かを判定する(ステップS152)。
ステップS152において、前方側変化率が後方側変化率未満であると判定した場合(ステップS152:Yes)、切替判定部150は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替制限部160に出力する。表示形式を維持する旨の通知(情報)を取得した切替制限部160は、表示画像の表示形式を切り替えないように、即ち、表示形式の切り替えをホールドするように制御する(ステップS170)。そして、本フローチャートは終了する。
ステップS110においてホールド機能がオンでない場合(ステップS110:No)、傾斜量判定部120は、筐体の傾斜量、及び、筐体の傾斜方向とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替判定部150に出力する。次いで、切替判定部150は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。次いで、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS160)。そして、本フローチャートは終了する。
ステップS132において、両撮像画像における筐体の傾斜前後の撮像画像の何れから被写体の特徴部分を抽出できなかった場合(ステップS132:No)、特徴領域抽出部130は、筐体の傾斜量、及び、筐体の傾斜方向とともに、特徴部分を抽出できなかった旨の通知(情報)を切替判定部150に出力する。次いで、切替判定部150は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS110(No)の場合と同様の処理を行って、本フローチャートは終了する。
ステップS152において、前方側変化率が後方側変化率以上であると判定した場合(ステップS152:No)、切替判定部150は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。
以下、ステップS110(No)の場合と同様の処理を行って、本フローチャートは終了する。
図14乃至図17は、フロントカメラ62による撮像画像に加え、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御する態様における、表示形式の制御処理を説明する一例である。なお、図14乃至図17において、表示形式の切替機能はオンに設定され、かつ、ホールド機能はオンに設定されているものとする。
図14(a)は、ユーザUが、縦向き状態のタッチスクリーン44に表示された表示画像HG(縦長画像)を見ている様子を表している。図14(b)は、図14(a)の状態において、フロントカメラ62によって撮像されている撮像画像SG4−1(スルー画)、及び、バックカメラ64によって撮像されている撮像画像SG4−2(スルー画)を表している。図14(c)は、図14(a)の状態において、タッチスクリーン44に表示されている表示画像HG(縦長画像)である。
図15(a)は、図14(a)の状態から、ユーザUが、筐体のみを所定量以上傾斜させた様子を表している。図15(b)は、図15(a)の場合において、フロントカメラ62によって撮像されている撮像画像SG4−1’(スルー画)、及び、バックカメラ64によって撮像されている撮像画像SG4−2’(スルー画)を表している。図15(b)において、前方側変化率と後方側変化率は同一であるものとする。図15(c)は、図15(a)の場合における、タッチスクリーン44に表示されている表示画像HG’(横長画像)である。
即ち、図13のフローチャートにおいて、切替判定部150は、前方側変化率と後方側変化率は同一であるため、前方側変化率が後方側変化率以上であると判定し(ステップS152:No)、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS160)。つまり、図15の如く筐体のみを所定量以上傾斜させた場合には、ユーザUが見易いように、縦長画像が横長画像に切り替える(又は、図4(c)、(d)に示すように縮小画像に切り替える)。
なお、表示形式の切替機能がオフに設定されている場合には、表示形式は切り替えない。
図16(a)は、図14(a)の状態から、ユーザUが、筐体とともに自身を所定量以上傾斜させた様子を表している。図16(b)は、図16(a)の場合において、フロントカメラ62によって撮像されている撮像画像SG4−1(スルー画)、及び、バックカメラ64によって撮像されている撮像画像SG4−2’(スルー画)を表している。図16(b)において、前方側変化率は後方側変化率は未満である。図16(c)は、図16(a)の場合における、タッチスクリーン44に表示されている表示画像HG(縦長画像)である。図16(c)の表示画像HGの表示形式は、図14(c)の表示画像HGの表示形式と同一である。
即ち、図13のフローチャートにおいて、切替判定部150は、前方側変化率は後方側変化率未満であると判定し(ステップS152:Yes)、切替制限部160は、表示画像の表示形式を切り替えないように、即ち、切り替えをホールドするように制御する(ステップS170)。つまり、図16の如く筐体とともに自身を所定量以上傾斜させた場合には、ユーザUが見易いように、縦長画像を横長画像に切り替えない(又は、図4(c)、(d)に示すように縮小画像に切り替える)。
なお、表示形式の切替機能はオンに設定され、かつ、ホールド機能はオフに設定されている場合には、表示形式を切り替える。
なお、図17(a)は、図14(a)の状態から、ユーザUが、自身のみを所定量以上傾斜させた様子を表している。図17(b)は、図17(a)の場合において、フロントカメラ62によって撮像されている撮像画像SG4−1’’(スルー画)、及び、バックカメラ64によって撮像されている撮像画像SG4−2(スルー画)を表している。図17(b)において、前方側変化率は後方側変化率よりも大きい。図17(c)は、図17(a)の場合における、タッチスクリーン44に表示されている表示画像HG(縦長画像)である。図17(c)の表示画像HGの表示形式は、図14(c)の表示画像HGの表示形式と同一である。
即ち、図13のフローチャートは、上述の如く、筐体が所定量以上傾斜した場合に開始するものであるため、図17の如く自身のみを所定量以上傾斜させた場合には、表示形式は切り替わらない。
以上、フロントカメラ62による撮像画像に加え、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御する場合であっても、意図しない画面形式の切り替えが生じないため、ユーザの利便性を向上させることができる。また、フロントカメラ62による撮像画像のみを使用する場合に比べ、切替ホールド処理を更に高精度に行える効果がある。また、図5に示したようなユーザが横たわった状態で電子機器4を操作する場合であっても、本実施形態における表示形式の制御によって意図しない画面形式の切り替えが生じないため、ユーザの利便性を向上させることができる。したがって、本実施形態における電子機器4は、ユーザが表示画像を見る際の姿勢の影響を受けることがないため、ユーザにとって視認しやすい方向で表示画像を表示するように表示形式の制御が可能である。
(第2の実施形態)
次に、図面を参照しながら本発明の第2の実施形態について説明する。図18は、本発明の第2の実施形態による電子機器4が備える表示制御部102内のブロック図の一例である。なお、本発明の第2の実施形態による電子機器4の外観は、本発明の第1の実施形態による電子機器3の外観と同様である。また、電子機器4は、プロセッサ100内に表示制御部100ではなく表示制御部102を有する点が、電子機器3と異なる。
表示制御部102は、図18に示すように、設定認識部112、傾斜量判定部122、特徴領域抽出部130、変化量算出部140、切替制御部170、及び、設定部192を備える。表示制御部102が備える特徴領域抽出部130及び変化量算出部140は、電子機器3の表示制御部100が備える特徴領域抽出部130及び変化量算出部140と同一であるため、説明の一部又は全部を省略する。
設定部192は、種々の情報を設定する。例えば、表示画像の表示形式の切替機能のオン/オフを設定する。また、設定部192は、表示画像の表示形式の制御機能の1つであるホールド機能のオン/オフを設定する。また、設定部192は、表示画像の表示形式の制御機能の1つである追随機能のオン/オフを設定する。なお、ホールド機能のオン/オフ、及び、追随機能のオン/オフは、表示画像の表示形式の切替機能がオンの場合に参照される。換言すれば、ホールド機能及び追随機能は、表示画像の表示形式の切替機能のサブ機能である。また、設定部192による設定内容は、記憶部30に記憶される。追随機能及び追随機能による追随処理については後述する。
設定部192は、環境に応じて自動的に、又は、ユーザの指示に従って、表示形式の切替機能のオン/オフ、ホールド機能のオン/オフ、及び、追随機能のオン/オフを設定する。なお、設定部192による、ホールド機能のオン/オフの自動設定、及び、追随機能のオン/オフの自動設定は、電子機器3の設定部190によるホールド機能のオン/オフの自動設定と同様である。
設定認識部112は、記憶部30に記憶されている設定情報(表示画像の表示形式の切替機能のオン/オフの情報、ホールド機能のオン/オフの情報、追随機能のオン/オフの情報)を取得する。例えば、設定認識部112は、傾斜量判定部122からの要求に応じて、記憶部30に記憶されている設定情報を取得し、設定情報を傾斜量判定部122に出力(応答)する。
傾斜量判定部122は、モーションセンサ50(仰角センサ56)から検出値を取得し、筐体(a casing body、 a body、本体(a body, a main body))の傾斜量を算出する。なお、傾斜量判定部122は、表示形式の切替機能がオンに設定されている場合に、筐体の傾斜量を算出してもよい。
筐体の傾斜量を算出した傾斜量判定部122は、筐体が所定量(例えば、45度や50度)以上傾斜したか否かを判定する。
傾斜量判定部122は、表示形式の切替機能がオフに設定されている場合、何もしない。即ち、表示形式の切替機能がオフに設定されている場合には、表示形式の切り替えは行わないため、傾斜量判定部122は、既に筐体の傾斜量を算出していた場合であっても、何もしない。
傾斜量判定部122は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定した場合において、ホールド機能がオフに設定されている場合には、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。
傾斜量判定部122は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定した場合において、ホールド機能がオンに設定されている場合には、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)を特徴領域抽出部130に出力する。
傾斜量判定部122は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜していないと判定した場合において、追随機能がオフに設定されている場合には、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、追随機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。なお、傾斜量判定部122は、当該場合に、何もしなくてもよい。
傾斜量判定部122は、表示形式の切替機能がオンに設定され、かつ、筐体が所定量以上傾斜していないと判定した場合において、追随機能がオンに設定されている場合には、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)を特徴領域抽出部130に出力する。
特徴領域抽出部130は、フロントカメラ62によって撮像された撮像画像をカメラ部60から取得する。例えば、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果、又は、筐体の傾斜量は所定量未満である旨の判定結果)を傾斜量判定部122から取得した場合に、筐体の傾斜前後の撮像画像をカメラ部60から取得する。つまり、特徴領域抽出部130は、表示形式の切替機能、及び、ホールド機能がオンに設定され、かつ、筐体が所定量以上傾斜したと判定された場合、又は、表示形式の切替機能、及び、追随機能がオンに設定され、かつ、筐体が所定量以上傾斜していない判定された場合に、筐体の傾斜前後の撮像画像をカメラ部60から取得する。
特徴領域抽出部130は、筐体の傾斜前後の撮像画像をカメラ部60から取得した場合、筐体の傾斜前後の夫々の撮像画像から、被写体の特徴部分を抽出する。特徴領域抽出部130は、筐体の傾斜前後の夫々の撮像画像から被写体の特徴部分を抽出できた場合には、傾斜量判定部122から取得した筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、傾斜前後の夫々の撮像画像から抽出した被写体の特徴部分を示す情報を変化量算出部140に出力する。
一方、特徴領域抽出部130は、筐体の傾斜前の撮像画像、筐体の傾斜後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には、傾斜量判定部122から取得した筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、特徴部分を抽出できなかった旨の通知(情報)を切替制御部170に出力する。
変化量算出部140は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果、及び、夫々の撮像画像から抽出した被写体の特徴部分を特徴領域抽出部130から取得した場合には、夫々の撮像画像における当該特徴部分の時間的な変化量を算出する。被写体の特徴部分の時間的な変化量を算出した変化量算出部140は、特徴領域抽出部130から取得した筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、特徴部分の時間的な変化量を切替制御部170に出力する。
切替制御部170は、表示画像の表示形式の切り替えを制御する。
切替制御部170は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)、及び、ホールド機能がオフに設定されている旨の通知(情報)を傾斜量判定部122から取得した場合、表示形式の切り替えが必要であると判定する。
切替制御部170は、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)、及び、追随機能がオフに設定されている旨の通知(情報)を傾斜量判定部122から取得した場合、表示形式の切り替えが不要であると判定する。
切替制御部170は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)、及び、特徴部分を抽出できなかった旨の通知(情報)を特徴領域抽出部130から取得した場合、表示形式の切り替えが必要であると判定する。
切替制御部170は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)、及び、特徴部分を抽出できなかった旨の通知(情報)を特徴領域抽出部130から取得した場合、表示形式の切り替えが不要であると判定する。
切替制御部170は、筐体の傾斜量、筐体の傾斜方向、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果、又は、筐体の傾斜量は所定量未満である旨の判定結果)、及び、特徴部分の時間的な変化量を変化量算出部140から取得した場合には、特徴部分の時間的な変化量と第1の閾値又は第2の閾値とを比較し、特徴部分の変化量に係る比較結果と筐体の傾斜量に係る判定結果とに基づいて、表示画像の表示形式の切り替えの要否を判定する。
(筐体の傾斜量は所定量以上である旨の判定結果を取得している場合)
切替制御部170は、被写体の特徴部分の時間的な変化量が第1の閾値以上である場合、表示形式の切り替えが必要であると判定し、被写体の特徴部分の時間的な変化量が第1の閾値未満である場合には、表示画像の表示形式の切り替えが不要であると判定する。
つまり、筐体が所定量以上傾斜したと判定された場合であって、ホールド機能がオンに設定されている場合において、被写体の特徴部分の時間的な変化量が第1の閾値以上であるときは、切替制御部170は、表示形式の切り替えが必要(換言すれば、ホールド処理が不要)であると判定し、被写体の特徴部分の時間的な変化量が第1の閾値未満である場合には、切替制御部170は、表示画像の表示形式の切り替えが不要(換言すれば、ホールド処理が必要)であると判定する。
なお、被写体の特徴部分の時間的な変化量と比較する第1の閾値は、第1の実施形態と同様、ユーザが、筐体を回転させるなどして筐体を傾斜させる際に、当該ユーザが筐体の傾斜に伴って(連動して)自身の顔(例えば両目を結ぶ直線)を意図的に傾斜させたか否かを判定するための値である。
(筐体の傾斜量は所定量未満である旨の判定結果を取得している場合)
切替制御部170は、特徴部分の時間的な変化量が第2の閾値以上である場合、表示形式の切り替えが必要であると判定し、特徴部分の時間的な変化量が第2の閾値未満である場合には、表示画像の表示形式の切り替えが不要であると判定する。
つまり、筐体が所定量以上傾斜していないと判定された場合であって、追随機能がオンに設定されている場合において、被写体の特徴部分の時間的な変化量が第2の閾値以上であるときは、切替制御部170は、表示形式の切り替えが必要(換言すれば、追随処理が必要)であると判定し、被写体の特徴部分の時間的な変化量が第2の閾値未満である場合には、切替制御部170は、表示画像の表示形式の切り替えが不要(換言すれば、追随処理が不要)であると判定する。
なお、被写体の特徴部分の時間的な変化量と比較する第2の閾値は、ユーザが、筐体を回転させるなどして筐体を傾斜させていないときに、当該ユーザが自身の顔(例えば両目を結ぶ直線)を意図的に傾斜させたか否かを判定するための値である。
筐体を傾斜させていないときに自身の顔を意図的に傾斜させている例は、例えば、図5(c)に示すような場合である。図5(c)の場合、被写体の特徴部分の変化量は60度となる。以上から、例えば、第2の閾値は、45度前後の角度としてもよい。
例えば、第2の閾値を50度とした場合、ユーザが、筐体を傾斜させないで顔のみを50度以上傾斜させた場合、変化量は第2の閾値以上となるため、追随処理が働く。
切替制御部170は、表示形式の切り替えが不要であると判定した場合には、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。また、切替制御部170は、表示形式の切り替えが必要であると判定した場合には、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。
切替処理部180は、表示形式を維持する旨の通知(情報)を切替制御部170から取得した場合、表示画像の表示形式を切り替えないように制御する(例えば、何もしない)。また、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向を切替制御部170から取得した場合、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する。
以上のように、表示制御部102は、筐体が所定量以上傾斜したと判定された場合であって、表示形式の切替機能、及び、ホールド機能がオンに設定されている場合には、被写体の特徴部分の時間的な変化量に応じて、タッチスクリーン44における表示画像の表示形式を選択的に切り替える。
また、表示制御部102は、筐体が所定量以上傾斜していないと判定された場合であって、表示形式の切替機能、及び、追随機能がオンに設定されている場合には、被写体の特徴部分の時間的な変化量に応じて、タッチスクリーン44における表示画像の表示形式を選択的に切り替える。
図19は、電子機器4における表示形式の制御処理の流れを示すフローチャートの一例である。図19のフローチャートは、表示形式の切替機能がオンに設定されている場合において、筐体が傾斜(所定量以上でなくてもよい)したときに開始する。
図19において、傾斜量判定部122は、筐体が所定量以上傾斜したか否かを判定する(ステップS200)。ステップS200において筐体が所定量以上傾斜したと判定された場合、下記ステップS210〜ステップS270を実行する。ステップS200において筐体が所定量以上傾斜していないと判定された場合、下記ステップS310〜ステップS370を実行する。
(S210〜ステップS270)
ステップS200において筐体が所定量以上傾斜したと判定された場合(ステップS200:Yes)、設定認識部112(又は傾斜量判定部122)は、記憶部30を参照し、ホールド機能がオンである否かを判断する(ステップS210)。
ステップS210においてホールド機能がオンである場合(ステップS210:Yes)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、筐体の傾斜前後の撮像画像の夫々から被写体の特徴部分の抽出を試みて(ステップS220)、夫々から被写体の特徴部分を抽出できたか否かを判断する(ステップS230)。
ステップS230において、夫々から被写体の特徴部分を抽出できた場合には(ステップS230:Yes)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、被写体の特徴部分の時間的な変化量を算出し(ステップS240)、算出した変化量を、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、切替制御部170に出力する。次いで、切替制御部170は、被写体の特徴部分の時間的な変化量が第1の閾値以上であるか否かを判定する(ステップS250)。
ステップS250において、被写体の特徴部分の時間的な変化量が第1の閾値未満であると判定した場合(ステップS250:No)、切替制御部170は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。表示形式を維持する旨の通知(情報)を取得した切替処理部180は、現在の表示形式をホールドする(何もしない)(ステップS270)。そして、本フローチャートは終了する。なお、ステップS270の矩形が破線であるのは、切替処理部180が、何もしなくてもよい旨を表している。
ステップS210においてホールド機能がオンでない場合(ステップS210:No)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、ホールド機能がオフに設定されている旨の通知(情報)を取得した切替制御部170は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS260)。そして、本フローチャートは終了する。
ステップS230において、筐体の傾斜前後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には(ステップS230:No)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、特徴部分を抽出できなかった旨の通知(情報)を切替制御部170に出力する。筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、特徴部分を抽出できなかった旨の通知(情報)を取得した切替制御部170は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS210(No)の場合と同様の処理を行って、本フローチャートは終了する。
ステップS250において、被写体の特徴部分の時間的な変化量が第1の閾値以上であると判定した場合には(ステップS250:Yes)、切替制御部170は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS210(No)の場合と同様の処理を行って、本フローチャートは終了する。
(S310〜ステップS370)
ステップS200において筐体が所定量以上傾斜していないと判定された場合(ステップS200:No)、設定認識部112(又は傾斜量判定部122)は、記憶部30を参照し、追随機能がオンである否かを判断する(ステップS310)。
ステップS310において追随機能がオンである場合(ステップS310:Yes)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、筐体の傾斜前後の撮像画像の夫々から被写体の特徴部分の抽出を試みて(ステップS320)、夫々から被写体の特徴部分を抽出できたか否かを判断する(ステップS330)。
ステップS330において、夫々から被写体の特徴部分を抽出できた場合には(ステップS330:Yes)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、被写体の特徴部分の時間的な変化量を算出し(ステップS340)、算出した変化量を、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、切替制御部170に出力する。次いで、切替制御部170は、被写体の特徴部分の時間的な変化量が第2の閾値以上であるか否かを判定する(ステップS350)。
ステップS350において、被写体の特徴部分の時間的な変化量が第2の閾値以上であると判定した場合(ステップS350:Yes)、切替制御部170は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS360)。例えば、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に基づいて、表示形式(切替後の表示形式)を決定し、決定した表示形式をタッチスクリーンコントローラ42に出力する。そして、本フローチャートは終了する。
ステップS310において追随機能がオンでない場合(ステップS310:No)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、追随機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、追随機能がオフに設定されている旨の通知(情報)を取得した切替制御部170は、表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知を切替処理部180に出力する。表示形式を維持する旨の通知(情報)を取得した切替処理部180は、何もしない(ステップS370)。そして、本フローチャートは終了する。なお、ステップS370の矩形が破線であるのは、切替処理部180が、何もしなくてもよい旨を表している。
ステップS330において、筐体の傾斜前後の撮像画像の少なくとも一方から被写体の特徴部分を抽出できなかった場合には(ステップS330:No)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、特徴部分を抽出できなかった旨の通知(情報)を切替制御部170に出力する。筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果とともに、特徴部分を抽出できなかった旨の通知(情報)を取得した切替制御部170は、表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。以下、ステップS310(No)の場合と同様の処理を行って、本フローチャートは終了する。
ステップS350において、被写体の特徴部分の時間的な変化量が第2の閾値未満であると判定した場合には(ステップS350:No)、切替制御部170は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。以下、ステップS310(No)の場合と同様の処理を行って、本フローチャートは終了する。なお、図19のステップS270において、後述の図20におけるステップS222〜ステップS270の処理を入れてもよい。
なお、電子機器4は、電子機器3と同様、フロントカメラ62による撮像画像に加え、タッチスクリーン44の後方側の被写体を撮像するバックカメラ64(第2撮像部)による撮像画像を利用して、表示画像の表示形式を制御してもよい。
以下、ホールド機能に関しては本発明の第1の実施形態による電子機器3と同様であるため、追随機能に関して説明する。表示制御部102は、所定量以上傾斜していない場合に、前方側変化率と後方側変化率とを算出し、前方側変化率が後方側変化率以上であるときは、表示画像の表示形式を変えないように制御し、前方側変化率が後方側変化率未満であるときは、表示画像の表示形式を変えるように制御する。
例えば、表示制御部102は、筐体が所定量以上傾斜していない場合であって追随機能がオンに設定(表示形式の切替機能もオンに設定)されている場合は、前方側変化率と後方側変化率とを算出し、前方側変化率が後方側変化率以上であるときは、表示画像の表示形式を変えないように制御し、前方側変化率が後方側変化率未満であるときは、表示画像の表示形式を変えるように制御する。
一方、表示制御部102は、筐体が所定量以上傾斜していない場合であって追随機能がオフ(表示形式の切替機能はオンに設定)に設定されている場合は、表示画像の表示形式を変えないように制御する。
図20は、電子機器4における表示形式の制御処理の他の例を示すフローチャートである。例えば、図20は、フロントカメラ62による撮像画像に加え、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御する態様における、処理の流れを表している。なお、図20のフローチャートは、図19のフローチャートと同様、表示形式の切替機能がオンに設定されている場合において、筐体が傾斜(所定量以上でなくてもよい)したときに開始する。なお、図19と同一のステップ番号は、図18と同一の処理である。
図20において、傾斜量判定部122は、筐体が所定量以上傾斜したか否かを判定する(ステップS200)。ステップS200において筐体が所定量以上傾斜したと判定された場合、下記ステップS210〜ステップS270を実行する。ステップS200において筐体が所定量以上傾斜していないと判定された場合、下記ステップS310〜ステップS370を実行する。
(S210〜ステップS270)
ステップS200において筐体が所定量以上傾斜したと判定された場合(ステップS200:Yes)、設定認識部112(又は傾斜量判定部122)は、ホールド機能がオンである否かを判断する(ステップS210)。
ステップS210においてホールド機能がオンである場合(ステップS210:Yes)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、両撮像画像(フロントカメラ62による撮像画像及びバックカメラ64による撮像画像)における傾斜前後の撮像画像の夫々(筐体の傾斜前のフロントカメラ62による撮像画像、筐体の傾斜前のバックカメラ64による撮像画像、筐体の傾斜後のフロントカメラ62による撮像画像、筐体の傾斜後のバックカメラ64による撮像画像)から被写体の特徴部分の抽出を試みて(ステップS222)、夫々の撮像画像から、被写体の特徴部分を抽出できたか否かを判断する(ステップS232)。
ステップS232において、両撮像画像における傾斜前後の撮像画像の夫々から被写体の特徴部分を抽出できた場合には(ステップS232:Yes)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、両撮像画像における被写体の特徴部分の時間的な変化率(前方側変化率及び後方側変化率)を算出し(ステップS242)。算出した変化率を、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、切替制御部170に出力する。次いで、切替制御部170は、前方側変化率が後方側変化率未満であるか否かを判定する(ステップS252)。
ステップS252において、前方側変化率が後方側変化率未満である場合(ステップS152:Yes)、切替制御部170は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。表示形式を維持する旨の通知(情報)を取得した切替処理部180は、現在の表示形式をホールドする(何もしない)(ステップS270)。そして、本フローチャートは終了する。
ステップS210においてホールド機能がオンでない場合(ステップS210:No)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、ホールド機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。次いで、切替制御部170は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS260)。そして、本フローチャートは終了する。
ステップS232において、両撮像画像における筐体の傾斜前後の撮像画像の何れから被写体の特徴部分を抽出できなかった場合には(ステップS232:No)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、特徴部分を抽出できなかった旨の通知を切替制御部170に出力する。次いで、切替制御部170は、表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS210(No)の場合と同様の処理を行って、本フローチャートは終了する。
ステップS252において、前方側変化率が後方側変化率以上である場合(ステップS252:No)、切替制御部170は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。以下、ステップS210(No)の場合と同様の処理を行って、本フローチャートは終了する。
(S310〜ステップS370)
ステップS200において筐体が所定量以上傾斜していないと判定された場合(ステップS200:No)、設定認識部112(又は傾斜量判定部122)は、追随機能がオンである否かを判断する(ステップS310)。
ステップS310において追随機能がオンである場合(ステップS310:Yes)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)を特徴領域抽出部130に出力する。次いで、特徴領域抽出部130は、両撮像画像における傾斜前後の撮像画像の夫々から被写体の特徴部分の抽出を試みて(ステップS322)、夫々の撮像画像から、被写体の特徴部分を抽出できたか否かを判断する(ステップS332)。
ステップS332において、両撮像画像における傾斜前後の撮像画像の夫々から被写体の特徴部分を抽出できた場合には(ステップS332:Yes)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、被写体の特徴部分を示す情報を変化量算出部140に出力する。次いで、変化量算出部140は、両撮像画像における被写体の特徴部分の時間的な変化率を算出し(ステップS342)、算出した変化率を、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、切替制御部170に出力する。次いで、切替制御部170は、前方側変化率が後方側変化率未満であるか否かを判定する(ステップS352)。
ステップS352において、前方側変化率が後方側変化率以上である場合(ステップS352:No)、切替制御部170は、表示画像の表示形式の切り替えが必要であると判定し、筐体の傾斜量、及び、筐体の傾斜方向を切替処理部180に出力する。筐体の傾斜量、及び、筐体の傾斜方向を取得した切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS360)。そして、本フローチャートは終了する。
ステップS310において追随機能がオンでない場合(ステップS310:No)、傾斜量判定部122は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量未満である旨の判定結果)とともに、追随機能がオフに設定されている旨の通知(情報)を切替制御部170に出力する。次いで、切替制御部170は、表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。表示形式を維持する旨の通知を取得した切替処理部180は、何もしない(ステップS370)。そして、本フローチャートは終了する。
ステップS332において、両撮像画像における筐体の傾斜前後の撮像画像の何れから被写体の特徴部分を抽出できなかった場合には(ステップS332:No)、特徴領域抽出部130は、筐体の傾斜量、筐体の傾斜方向、及び、筐体の傾斜量に係る判定結果(筐体の傾斜量は所定量以上である旨の判定結果)とともに、特徴部分を抽出できなかった旨の通知(情報)を切替制御部170に出力する。次いで、切替制御部170は、表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。以下、ステップS3310(No)の場合と同様の処理を行って、本フローチャートは終了する。
ステップS352において、前方側変化率が後方側変化率未満である場合(ステップS352:Yes)、切替制御部170は、表示画像の表示形式の切り替えが不要であると判定し、表示形式を維持する旨の通知(情報)を切替処理部180に出力する。以下、ステップS310(No)の場合と同様の処理を行って、本フローチャートは終了する。
図21及び図22は、表示形式の制御処理を説明する一例である。例えば、図21は、フロントカメラ62による撮像画像を利用して表示画像の表示形式を制御する態様における追随機能の一例である。図22は、フロントカメラ62による撮像画像に加え、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御する態様追随機能の一例である。図21及び図22において、表示形式の切替機能、ホールド機能、追随機能の何れもオンに設定されているものとする。
なお、ホールド機能については、第1の実施形態による電子機器3と同様である。
図21(a)は、図12(a)と同様、図9(a)の状態から、ユーザUが、自身のみを所定量以上傾斜させた様子を表している。図21(b)は、図21(a)の場合における、撮像画像SG’’(スルー画)を表している。図21(c)は、図21(a)の場合における、タッチスクリーン44に表示されている表示画像HG’(横長画像)である。
即ち、図19のフローチャートにおいて、切替制御部170は、筐体が所定量以上傾斜していない場合において、被写体の特徴部分の時間的な変化量が第2の閾値以上であると判定し(ステップS350:Yes)、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS360)。
図22(a)は、図17(a)と同様、図14(a)の状態から、ユーザUが、自身のみを所定量以上傾斜させた様子を表している。図22(b)は、図22(a)の場合において、フロントカメラ62によって撮像されている撮像画像SG4−1’’(スルー画)、及び、バックカメラ64によって撮像されている撮像画像SG4−2(スルー画)を表している。図22(b)において、前方側変化率は後方側変化率よりも大きい。図22(c)は、図22(a)の場合における、タッチスクリーン44に表示されている表示画像HG’(横長画像)である。
即ち、図20のフローチャートにおいて、切替制御部170は、筐体が所定量以上傾斜していない場合において、前方側変化率が後方側変化率以上であると判定し(ステップS352:No)、切替処理部180は、筐体の傾斜量、及び、筐体の傾斜方向に応じて表示画像の表示形式を切り替えるように制御する(ステップS360)。
以上、電子機器4によれば、意図しない画面形式(画面表示型)の切り替えが生じないため、ユーザの利便性を向上させることができる。例えば、ユーザが、図5(b)に示すように筐体とともに自分の顔を所定量以上傾斜させた場合には、図4に例示したような表示形式の切り替えがホールド機能によって生じないため、ユーザの利便性を向上させることができる。また例えば、筐体を傾斜させずに、自分の顔を所定量以上傾斜させた場合には、図4に例示したよう表示画面の表示形式の切り替えが追随機能によってなされるため、ユーザの利便性を向上させることができる。
以上、本発明の第1の実施形態による電子機器3、本発明の第2の実施形態による電子機器4によれば、ユーザの使用状況に応じて、見易い表示形式の表示画面が提供され、ユーザの利便性が向上する。
なお、電子機器3の処理の一部を外部の装置(例えば、サーバ)が実行し、電子機器3の表示形式を制御するようにしてもよい。同様に、電子機器4の処理の一部を外部の装置(例えば、サーバ)が実行し、電子機器4の表示形式を制御するようにしてもよい。
図23は、情報システム1の概略構成図である。図24A及び図24Bは、電子機器5が備える表示制御部104内のブロック図、及び、サーバ9が備える表示制御情報生成部200内のブロック図等の一例である。情報システム1は、図23に示すように、電子機器5とサーバ9とを含んで構成される。電子機器5とサーバ9とは、有線又は無線のネットワークにより接続されている。
電子機器5は、第1の実施形態による電子機器3と同様、タッチスクリーン44と、撮像部(第1撮像部及び第2撮像部)と、通信部70とを有する。より詳細には、電子機器5の構成は、表示制御部100に代えて表示制御部104を具備する点を除き、第1の実施形態による電子機器3の構成と同様である。
表示制御部104は、図24Aに示すように、設定部194(電子機器3の設定部190又は電子機器4の設定部192と同様)を備える。
通信部70は、撮像部による撮像画像、及び、筐体の傾斜量をサーバ9に送信し、タッチスクリーン44における表示画像の表示形式を制御する表示制御情報をサーバ9から受信する。
サーバ9は、図24Aに示すように、通信部270と表示制御情報生成部200とを有する。表示制御情報生成部200は、第1の実施形態による電子機器3の表示制御部100の設定認識部110、傾斜量判定部120、特徴領域抽出部130、変化量算出部140、切替判定部150、切替制限部160及び切替処理部180(又は、第2の実施形態による電子機器4の表示制御部102の設定認識部112、傾斜量判定部122、特徴領域抽出部130、変化量算出部140切替制御部170及び切替処理部180)と同様の機能を有する。
通信部270は、電子機器5から撮像画像及び筐体の傾斜量を受信する。また、通信部270は、電子機器5に表示制御情報を送信する。
表示制御情報生成部200は、電子機器5から受信した撮像画像に含まれる被写体の特徴部分の時間的な変化量に基づいて、電子機器5に送信する表示制御情報を生成する。表示制御情報とは、表示画像の表示形式を示す情報(電子機器3(電子機器4)の切替処理部180がタッチスクリーンコントローラ42に出力する情報に相当)である。
なお、電子機器5の設定情報(例えば、ホールド機能のオン/オフ情報)は、サーバ9が記憶してもよいし、電子機器5が記憶部30に記憶してもよい。サーバ9の表示制御情報生成部200は、必要に応じて、電子機器5から設定情報を受信し、表示制御情報を生成する際に参照する。
なお、電子機器5の表示制御部104は、図24Bに示すように、設定部194に加え、設定認識部110(112)、傾斜量判定部120(122)及び特徴領域抽出部130を備えていてもよい。なお、上記場合、サーバ9の表示制御情報生成部200は、図24Bに示すように、設定認識部110(112)、傾斜量判定部120(122)及び特徴領域抽出部130を有しなくてもよい。
電子機器5が特徴領域抽出部130等を備える態様の場合、電子機器5は、撮像画像に代えて、傾斜量判定部120(122)の処理結果(例えば、ホールド機能がオフに設定されている旨の通知)、又は、特徴領域抽出部130の処理結果(被写体の特徴部分を示す情報、又は、特徴部分を抽出できなかった旨の通知)をサーバ9に送信する。また、サーバ9の表示制御情報生成部200は、撮像画像に代えて、電子機器5から取得する処理結果を用いて表示制御情報を生成する。
なお、電子機器3(電子機器4、5も同様)において、バックカメラ64による撮像画像を利用して表示画像の表示形式を制御しない場合には、電子機器3は、バックカメラ64を有しなくてもよい。
電子機器3(サーバ9も同様)において、予め記憶した顔のみに対し、ホールド処理を行うようにしてもよい。即ち、表示形式の切替機能、及び、ホールド機能がオンに設定され、筐体が所定量以上傾斜した場合に、フロントカメラ62によって撮像された撮像画像から特徴領域抽出部130が抽出した被写体の特徴部分が、予め記憶した顔の特徴部分と一致すると判断されたときは、ホールド処理を実行するようにし(即ち、表示形式の切替を行わないようにし)、当該特徴部分が、予め記憶した顔の特徴部分と一致しないと判断されたときは、ホールド処理を実行しないようにしてもよい(即ち、表示形式の切替を行うようにしてもよい)、
同様に、電子機器4(サーバ9も同様)において、予め記憶した顔のみに対し、追随処理を行うようにしてもよい。
なお、本発明の実施形態による電子機器3、電子機器4の処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の実施形態による電子機器3、電子機器4に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フロッピー(登録商標)ディスク、光磁気ディスク、SDカード、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1…情報システム 3、4、5…電子機器 9…サーバ 10…プロセッサ 20…インターフェイス部 30…記憶部 40…入出力部 42…タッチスクリーンコントローラ 44…タッチスクリーン 46…カーソルパッドコントローラ 48…カーソルパッド 50…モーションセンサ 52…GPS 54…方位計 56…仰角センサ 60…カ
メラ部 62…フロントカメラ 64…バックカメラ 70…通信部 80…オーディオ
部 82…スピーカ 84…マイクロフォン 90…電源ボタン 92…決定/ホームボ
タン 100、102、104…表示制御部 110、112…設定認識部 120、1
22…傾斜量判定部 130…特徴領域抽出部 140…変化量算出部 150…切替判
定部 160…切替制限部(ホールド部) 170…切替制御部 180…切替処理部1
90、192…設定部 200…表示制御情報生成部 270…通信部

Claims (18)

  1. 筐体と、
    表示画像を表示する表示部と、
    前記表示部の前方側の被写体を撮像する撮像部と、
    撮像した前記被写体の画像から検出される変化量であって前記被写体の画像の特徴部分の時間的な変化量に基づいて、前記表示画像の表示形式を制御する表示制御部と、を備え、
    前記表示制御部は、前記筐体が所定量以上傾斜していない場合に、前記特徴部分の時間的な変化量に基づいて前記表示画像の表示形式を切り替える、
    電子機器。
  2. 前記表示制御部は、前記特徴部分の時間的な変化量が所定の閾値以上である場合に、前記表示画像の表示形式を切り替える追随処理を行う、
    請求項1に記載の電子機器。
  3. 前記筐体の傾斜量を算出する傾斜量判定部を備え、
    前記表示制御部は、前記筐体の傾斜量が所定量未満である場合に、前記特徴部分の時間的な変化量に基づいて前記表示画像の表示形式を切り替える、
    請求項1又は請求項2に記載の電子機器。
  4. 前記表示制御部は、前記筐体の傾斜量に基づき前記表示形式を制御する切替機能を有し、
    前記切替機能がオンの場合に、前記表示制御部は、前記特徴部分の時間的な変化量に基づいて前記表示画像の表示形式を切り替える、
    請求項3に記載の電子機器。
  5. 前記表示制御部は、前記筐体の傾斜量に基づき前記表示形式を制御する切替機能を有し、前記切替機能がオフに設定されている場合、前記変化量が所定の閾値以上である時に前記表示形式を変えるように制御し、前記変化量が所定の閾値未満である時に前記表示形式を変えないように制御する、
    請求項3に記載の電子機器。
  6. 前記表示制御部は、基準方向である第2方向に対する前記特徴部分における第1方向の傾きの前記時間的な変化量に基づいて、前記表示形式を切り替える、
    請求項1から請求項5のいずれか一項に記載の電子機器。
  7. 前記表示制御部は、前記特徴部分の時間的な変化量と所定の閾値とを比較し、前記特徴部分の時間的な変化量が所定の閾値以上である場合、前記表示形式を切り替え、前記特徴部分の時間的な変化量が所定の閾値未満である場合、前記表示形式を切り替えない、
    請求項6に記載の電子機器。
  8. 前記第2方向は、前記筐体の傾斜に基づいて定められた方向である、
    請求項6又は請求項7に記載の電子機器。
  9. 前記筐体の傾斜を検出するセンサを備える、請求項1から請求項8のいずれか一項に記載の電子機器。
  10. 前記特徴部分は、ユーザのパーツ又は輪郭である、請求項1から請求項9のいずれか一項に記載の電子機器。
  11. 表示画像を表示する表示部と、
    前記表示部の前方側のユーザを撮像する赤外線カメラと、
    前記ユーザの顔を撮像した顔画像から検出される変化量であって前記顔画像の時間的な変化量に基づいて、前記表示画像の表示形式を制御する表示制御部と、
    を備える電子機器。
  12. 前記表示制御部は、前記時間的な変化量が所定の閾値以上である場合に、前記表示画像の表示形式を切り替える、
    請求項11に記載の電子機器。
  13. 前記表示制御部は、基準方向である第2方向に対する前記顔画像の特徴部分における第1方向の傾きの前記時間的な変化量に基づいて、前記表示形式を切り替える、
    請求項11又は請求項12に記載の電子機器。
  14. 前記表示制御部は、節電モードに設定されていない場合、前記表示画像の表示形式を切り替える、請求項11から請求項13のいずれか一項に記載の電子機器。
  15. 請求項1から請求項14のいずれか一項に記載の電子機器と、
    前記電子機器と通信可能なサーバと、
    を備える情報システム。
  16. 請求項1から請求項14のいずれか一項に記載の電子機器と通信可能な通信部を備える、サーバ。
  17. コンピュータに、
    表示画像を表示部に表示する表示ステップと、
    前記表示部の前方側の被写体を撮像する撮像ステップと、
    撮像した前記被写体の画像から検出される変化量であって前記被写体の画像の特徴部分の時間的な変化量に基づいて、前記表示画像の表示形式を制御する表示制御ステップであって、筐体が所定量以上傾斜していない場合に、前記特徴部分の時間的な変化量に基づいて前記表示画像の表示形式を切り替える表示ステップと、
    を実行させるためのプログラム。
  18. コンピュータに、
    表示画像を表示部に表示する表示ステップと、
    前記表示部の前方側のユーザを赤外線カメラで撮像する撮像ステップと、
    前記ユーザの顔を撮像した顔画像から検出される変化量であって前記顔画像の時間的な変化量に基づいて、前記表示画像の表示形式を制御する表示制御ステップと、
    を実行させるためのプログラム。
JP2019014291A 2011-11-10 2019-01-30 電子機器、情報システム、及びプログラム Active JP6828758B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011246571 2011-11-10
JP2011246571 2011-11-10

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017099196A Division JP6477782B2 (ja) 2011-11-10 2017-05-18 電子機器、情報システム、サーバ及びプログラム

Publications (2)

Publication Number Publication Date
JP2019117378A true JP2019117378A (ja) 2019-07-18
JP6828758B2 JP6828758B2 (ja) 2021-02-10

Family

ID=48290161

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2013543060A Active JP6146307B2 (ja) 2011-11-10 2012-11-12 電子機器、情報システム、サーバ、及びプログラム
JP2017099196A Active JP6477782B2 (ja) 2011-11-10 2017-05-18 電子機器、情報システム、サーバ及びプログラム
JP2019014291A Active JP6828758B2 (ja) 2011-11-10 2019-01-30 電子機器、情報システム、及びプログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2013543060A Active JP6146307B2 (ja) 2011-11-10 2012-11-12 電子機器、情報システム、サーバ、及びプログラム
JP2017099196A Active JP6477782B2 (ja) 2011-11-10 2017-05-18 電子機器、情報システム、サーバ及びプログラム

Country Status (2)

Country Link
JP (3) JP6146307B2 (ja)
WO (1) WO2013069796A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6146307B2 (ja) * 2011-11-10 2017-06-14 株式会社ニコン 電子機器、情報システム、サーバ、及びプログラム
JP5936670B2 (ja) * 2014-12-03 2016-06-22 株式会社タカラトミー 体感型ビデオゲーム装置
JP2019106007A (ja) * 2017-12-12 2019-06-27 コニカミノルタ株式会社 表示装置、表示制御方法およびプログラム
JP2020052189A (ja) * 2018-09-26 2020-04-02 いすゞ自動車株式会社 表示制御装置及び表示制御方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129775A (ja) * 2006-11-20 2008-06-05 Ntt Docomo Inc 表示制御装置、表示装置、表示制御方法
JP2009294728A (ja) * 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
JP2010525425A (ja) * 2007-03-28 2010-07-22 ソニー エリクソン モバイル コミュニケーションズ, エービー 表示装置上に表示されるデータ表現の方向を調整する装置及び方法
JP2010175883A (ja) * 2009-01-30 2010-08-12 Nagoya Institute Of Technology 地図表示装置、地図表示システム及び地図表示方法
JP2011186097A (ja) * 2010-03-08 2011-09-22 Nikon Corp プロジェクタ
JP2011203860A (ja) * 2010-03-24 2011-10-13 Ntt Docomo Inc 情報端末及び表示切替方法
JP2011221094A (ja) * 2010-04-05 2011-11-04 Funai Electric Co Ltd 携帯情報表示端末

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3785611B2 (ja) * 2001-06-13 2006-06-14 株式会社ケンウッド 電子機器の消費電力低減装置
FI117217B (fi) * 2003-10-01 2006-07-31 Nokia Corp Menetelmä ja järjestelmä käyttöliittymän (User Interface) hallitsemiseksi, vastaava laite ja ohjelmalliset (Software) välineet menetelmän toteuttamiseksi
CN100461212C (zh) * 2004-06-04 2009-02-11 松下电器产业株式会社 显示控制方法及装置以及便携设备
US20080266326A1 (en) * 2007-04-25 2008-10-30 Ati Technologies Ulc Automatic image reorientation
JP5433935B2 (ja) * 2007-07-24 2014-03-05 日本電気株式会社 画面表示制御方法、画面表示制御方式、電子機器及びプログラム
WO2010030985A1 (en) * 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting displayed elements relative to a user
JP2011135298A (ja) * 2009-12-24 2011-07-07 Nikon Corp 電子機器及び電子機器システム
JP2011138449A (ja) * 2010-01-04 2011-07-14 Nec Corp 表示制御装置、表示装置、電子装置および表示制御方法
JP6146307B2 (ja) * 2011-11-10 2017-06-14 株式会社ニコン 電子機器、情報システム、サーバ、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129775A (ja) * 2006-11-20 2008-06-05 Ntt Docomo Inc 表示制御装置、表示装置、表示制御方法
JP2010525425A (ja) * 2007-03-28 2010-07-22 ソニー エリクソン モバイル コミュニケーションズ, エービー 表示装置上に表示されるデータ表現の方向を調整する装置及び方法
JP2009294728A (ja) * 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
JP2010175883A (ja) * 2009-01-30 2010-08-12 Nagoya Institute Of Technology 地図表示装置、地図表示システム及び地図表示方法
JP2011186097A (ja) * 2010-03-08 2011-09-22 Nikon Corp プロジェクタ
JP2011203860A (ja) * 2010-03-24 2011-10-13 Ntt Docomo Inc 情報端末及び表示切替方法
JP2011221094A (ja) * 2010-04-05 2011-11-04 Funai Electric Co Ltd 携帯情報表示端末

Also Published As

Publication number Publication date
JP6477782B2 (ja) 2019-03-06
WO2013069796A1 (ja) 2013-05-16
JPWO2013069796A1 (ja) 2015-04-02
JP2017207753A (ja) 2017-11-24
JP6146307B2 (ja) 2017-06-14
JP6828758B2 (ja) 2021-02-10

Similar Documents

Publication Publication Date Title
US11102398B2 (en) Distributing processing for imaging processing
US10701273B1 (en) User terminal apparatus and control method thereof
CN113454982B (zh) 用于使图像稳定化的电子装置及其操作方法
JP6828758B2 (ja) 電子機器、情報システム、及びプログラム
WO2019219065A1 (zh) 视频分析的方法和装置
CN108377342B (zh) 双摄像头拍照方法、装置、存储介质及终端
JP6109413B2 (ja) 画像表示方法、画像表示装置、端末、プログラム及び記録媒体
US9148651B2 (en) Methods and devices for generating a stereoscopic image
EP3640732B1 (en) Method and terminal for acquire panoramic image
US20140038560A1 (en) System for and method of transmitting communication information
JP7203955B2 (ja) 顔認識方法および装置
CN111327694B (zh) 文件上传方法、装置、存储介质及电子设备
JP2021039468A (ja) 撮影装置、通信システム、通信方法およびプログラム
WO2021238564A1 (zh) 显示设备及其畸变参数确定方法、装置、系统及存储介质
JPWO2016038977A1 (ja) ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラム
CN114095437A (zh) 发送数据包的方法、装置、电子设备和存储介质
CN110704145B (zh) 一种热区调整方法与装置、电子设备与存储介质
CN109872294B (zh) 图像处理方法、装置、终端及存储介质
US11284003B2 (en) User terminal apparatus and control method thereof
JP2012243266A (ja) 電子機器及び表示方法
JP2017201743A (ja) 画像管理システム、画像管理装置、プログラム及び情報端末
CN113592874A (zh) 图像显示方法、装置和计算机设备
CN110660031B (zh) 图像锐化方法及装置、存储介质
WO2024031282A1 (zh) 滑动验证方法、图像生成方法、装置、设备和存储介质
JP6164958B2 (ja) 情報処理装置、方向特定方法、コンピュータプログラム、及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210104

R150 Certificate of patent or registration of utility model

Ref document number: 6828758

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250