JP2009031368A

JP2009031368A - 画面表示制御方法、画面表示制御方式、電子機器及びプログラム

Info

Publication number: JP2009031368A
Application number: JP2007192596A
Authority: JP
Inventors: Tomohito Takano; 智史高野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2007-07-24
Filing date: 2007-07-24
Publication date: 2009-02-12
Anticipated expiration: 2027-07-24
Also published as: JP5433935B2

Abstract

【課題】表示画面への表示対象の表示範囲の制御を人の感覚に近い動作で簡単に実現する。
【解決手段】カメラ付き携帯端末１０１は、キー入力部１０４と、ユーザのキー入力部の操作等によりビューア等を起動し、画像、文字等を表示可能なＬＣＤ１０２と、ＬＣＤ１０２側に設けられたカメラ１０３と、音声入力用のマイク１０５等を備える。ビューアの起動時にカメラ１０３で取得したユーザの顔画像を取得し、その特徴点の情報の変化により、ＬＣＤ１０２の表示画面のスクロール、拡大、縮小等の制御が行われる機能を有する。
【選択図】図１

Description

本発明は、電子機器の画面表示に関し、特に、表示対象の範囲を制御する画面表示制御方法、画面表示制御方式、電子機器及びプログラムに関する。

近年、小型の携帯端末等でインターネットを介してＷｅｂサイトの大容量コンテンツへアクセスすることが容易にできるようになってきている。そのため、携帯端末の表示部等で表示サイズの大きな画像や映像を視聴する機会が増えてきている。また、携帯端末等に搭載されるカメラも高画素化が進み、大きなサイズの画像を扱う機会が増えてきている。さらに、総務省より携帯電話機へのＧＰＳの搭載が義務化されることもあり、大きな地図画像を画面に表示させる機会が増加してきている。

一方で携帯端末は小型・薄型化が進められており、それに伴って表示部の液晶表示装置のサイズにも大きさの限界が見えてきており、長いテキスト文章や大きな画像を表示するためには、一部分だけの表示とせざるを得ないことがあり、表示画面の拡大、縮小の処理を行う必要が多くなっている。

表示画像に対するこのような処理を行うため、スクロールやズームなどの操作を携帯端末に備えるキーなどで実現することが可能であるが、キーなどの操作ではデジタル的になったり操作が煩わしく、微妙な調整が難しいなどの点で問題がある。また、液晶表示装置の高精細化が進んでいるとはいえ、文字や画像が細かくなることは、中高年のユーザにとっては受け入れにくいという点で問題がある。

ところで、ユーザによる表示制御を簡易化する関連技術として、特許文献１には加速度センサを設けることにより表示画面の表示サイズの変更及びスクロールを実現する電子機器が記載されており、特許文献２には、表示画面の表示映像の拡大、スクロールを、アイカメラを用いた視線検出手段により制御する画像表示装置が記載されている。また、特許文献３には、携帯型ビューワに関し、装置の裏面にボールを備えるとともに、顔までの距離を計測する視点位置検出手段を備え、使用者が机上等に置いて携帯型ビューワを移動させることにより表示画面のスクロール動作を可能とし、さらに携帯型ビューワに顔を近づける、遠ざけるといった一般的な動作で拡大及び縮小操作を行えるように構成したものが記載されている。更に、特許文献４には、操作者の口（顔）を上下左右に動かすことによりディスプレイ９上のアイコンを動かしたり、マルチウィンドウのウィンドウの移動や、その他のポインティングを行う指示入力装置が記載されている。
特開２００５−２５１７０号公報特開平７−１４０９６７号公報特開２００６−７９３１２号公報特開平５−２３２９０８号公報

前述のように、携帯端末等の電子機器においては、長いテキスト文章や大きな画像を表示するためには、一部分だけを表示したり、拡大、縮小を行うことが多い。このような表示部のスクロールやズーム等の表示制御は、電子機器に備えるキーなどの操作により実現できているが、キー等の操作は煩雑であったり、微妙な調整を行うことが困難であり、操作がデジタル的になるなどの点で問題がある。また、液晶等の表示デバイスの高精細化が進んでいるとはいえ、文字や画像が小さく細かくなることは、中高年のユーザにとっては受け入れにくい。

これに対し特許文献１〜４にはキー操作を不要とする表示制御方法が開示されているが、特許文献１記載の電子機器では、内蔵する加速度センサにより表示を制御するものであるから、動いている電車内などでの加速度による検知は精度を欠き、実用性に欠ける。また、特許文献２記載の画像表示装置は、アイカメラ等の大掛かりな機器を必要とするように、小型な携帯端末等の電子機器で視線を検出することは困難である。特に、表示部側にある携帯端末等の低画素のカメラで視線を検出するような画像認識は技術的に極めて難しく、また細かい操作を行うことも困難である。また、特許文献３記載の携帯ビューワでは、装置の裏面にボールなど移動検出デバイスを搭載するとともに、レンズ位置を可動してカメラと利用者の距離を計測する視点位置検出手段を備える必要があり、小型の携帯端末等においてはそのような大型の装置を搭載することは好ましくない。更に、特許文献４記載の指示入力装置は顔・口の上下左右の動きによりアイコン移動やポインティングを行うものであるが、電子機器の利用者の現実的な動作の検出を行うものではなく、表示画面への表示対象の範囲を制御するものでもない。

（目的）
本発明の目的は、以上のような問題を解決するものであり、表示画面への表示対象の表示範囲の制御を、人の感覚に近い動作で簡単に実現することを可能とする画面表示制御方法、画面表示制御方式、電子機器及びプログラムを提供することにある。

第１の発明の画面表示制御方法は、表示画面と表示画面側にカメラを備える電子機器の画面表示制御方法であって、前記カメラで撮影される画像内の利用者の顔の特徴点の変化に応じて、表示画面への表示対象の表示範囲を制御することを特徴とする。

第２の発明の画面表示制御方式は、表示画面と表示画面側にカメラを備える電子機器の画面表示制御方式であって、前記カメラで撮影される画像を取得する画像取得手段と、取得した画像内の利用者の顔の特徴点を検出し、検出した特徴点の変化量を計算する変化量計算手段と、前記変化量に応じて表示画面への表示対象の表示範囲を制御する表示制御手段とを有することを特徴とする。

第３の発明の電子機器は、表示画面と表示画面側にカメラを備える電子機器であって、前記カメラで撮影される画像を取得する画像取得手段と、取得した画像内の利用者の顔の特徴点を検出し、検出した特徴点の変化量を計算する変化量計算手段と、前記変化量に応じて表示画面への表示対象の表示範囲を制御する表示制御手段とを有することを特徴とする。

第４の発明のプログラムは、表示画面と表示画面側にカメラを備える電子機器の画面表示制御用のプログラムであって、コンピュータを、前記カメラで撮影される画像を取得する画像取得手段、取得した画像内の利用者の顔の特徴点を検出し、検出した特徴点の変化量を計算する変化量計算手段、前記変化量に応じて表示画面への表示対象の表示範囲を制御する表示制御手段として機能させることを特徴とする。

本発明によれば、表示画面への表示対象の表示範囲の制御を、人の感覚に近い動作で簡単に実現することが可能である。

第１の実施形態

（構成の説明）
本発明の電子機器の画面表示制御方法、画面表示制御方式、電子機器及びプログラムの一実施形態として、カメラ付き携帯端末に適用した構成例について以下説明する。

図１は、本発明の第１の実施形態のカメラ付き携帯端末の外観を示す図である。本実施形態のカメラ付き携帯端末（端末）１０１は、キー入力部１０４と、ユーザのキー入力部の操作等によりビューア等を起動し、画像、文字等を表示可能な液晶表示装置（Liquid Crystal Display：ＬＣＤ）１０２と、ＬＣＤ１０２側に設けられたカメラ１０３と、音声入力用のマイク１０５等を備える。本実施形態では、同図に示すようにビューアの起動時にカメラ１０３で取得したユーザの画像を取得し、その特徴点の情報（特徴点情報）の変化により、ＬＣＤ１０２の表示画面のスクロール、拡大、縮小等の制御が行われる機能を有する。

図２は、本発明の第１の実施形態の携帯端末内の構成と機能ブロックを示す図である。端末内構成としては、端末の入力部としてキー１０４、マイク１０５、カメラ１０３に加え、カメラ１０３を動作されるカメラドライバ１０８を備え、端末の出力部としてＬＣＤ１０２とＬＣＤドライバ１１１を備える。また、データ処理部として、コンピュータを構成する中央処理装置からなる制御部（Central Processing Unit:ＣＰＵ）１０９とＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＶＲＡＭ（Video RAM）等のメモリ１１０を備える。

機能ブロック構成としては、端末内の各部構成の入力部及び出力部を制御するデータ処理部であるメモリ１１０を備えるＣＰＵ１０９の機能として、ビューア検知部２０１、トリガー検知部２０２、画像取得部２０３、顔検出部２０４、特徴点抽出部２０５、変化量計算部２０６、方向判定部２０７、表示修正部２０８及び表示制御部２０９の各機能部を構成する。各機能部の機能は以下のとおりである。

ビューア検知部２０１は、ユーザのキー１０４の操作等によるビューアの起動及び停止（ＯＮ／ＯＦＦ）を検知する検知部である。トリガー検知部２０２は、ユーザが画面上の表示部分のスクロールやズーム等の制御を行う場合にユーザが端末に対して起こすアクションを検知する検知部である。つまり、ユーザによるキー１０４の操作入力又はマイク１０５からの特定キーワードの音声入力により、表示画面のスクロールやズーム等の制御機能を開始又は停止（ＯＮ／ＯＦＦ）を検知する。例えば、端末１０１に備えられた特定のキー１０４の押下を顔画像によるスクロール、ズーム等の制御の開始のトリガーとし、再度の同キー１０４の押下を同制御の停止のトリガーとしてもよいし、特定のキー１０４の押下状態を同制御の制御状態とし、同キー１０４の開放状態を同制御の非制御状態としてもよい。また、マイク１０５から入力する特定キーワードの音声を音声認識して同制御への開始のトリガーとし、他のキーワードの音声を音声認識して同制御の停止のトリガーとしてもよい。以下、特定のキー１０４の押下、再押下により開始及び停止を制御する例で説明する。

画像取得部２０３は、トリガー検知部２０２がトリガーを検知するとＣＰＵ１０９がカメラドライバ１０８を介してカメラ１０３を起動し、カメラ１０３は起動後から映像のキャプチャを続け、メモリ１１０に例えばフレーム単位又は所定周期のフレーム単位でＬＣＤ１０２に対向するユーザの顔画像等をカメラ１０３で取得し、取得したフレーム画像データを顔検出部２０４等に転送する。画像取得部２０３は本発明の画像取得手段を構成する。

顔検出部２０４は、メモリ１１０内部のフレーム画像データからユーザの顔領域を検出する。検出方法としては、人間の肌の色の色相成分の特徴を元にした顔領域抽出や、顔輪郭に対する楕円近似手法などが利用される。特徴点抽出部２０５は、顔検出部２０４により検出された顔領域内部から顔の特徴となる顔の輪郭線（顔輪郭線）や、目、鼻、口を抽出し、その大きさ、位置等とともに特徴点として検出する。変化量計算部２０６は、前フレームと現フレームのフレーム画像における特徴点の位置や大きさを比較し、その変化量を計算する。図１にはカメラ１０３で取得した画像例１０６を示しており、左右の目と口のなす三角形の重心、顔の輪郭を特徴点とし、次第に前記重心が左下に移動し、顔輪郭線が広がっており、この重心の移動及び顔輪郭の広がりを変化量として計算する。以上の顔検出部２０４、特徴点抽出部２０５及び変化量計算部２０６は、本発明の変化量計算手段を構成する。

方向判定部２０７は、各種の特徴点の変化量を元に、顔もしくは端末がどちらに傾き、ユーザがどの方向に画面表示を変更したいかを判定する。表示修正部２０８は、方向判定部２０７の結果を元に、現在画面に表示している文字や画像を修正し、修正したフレーム画像データをメモリ１１０中のＶＲＡＭ等のフレームバッファに用意する。表示制御部２０９は、ＬＣＤドライバ１１１へ指示し、表示修正部２０８で修正されたフレームバッファの内容をＬＣＤ１０２に表示させる制御を行う。図１に示す例では、ユーザの顔画像から、ＬＣＤ１０２に表示された地図の文字や画像の画面に対し、中央から左下側に顔の方向を移動させ、更に顔を表示画面に近づけており、この顔の方向の変化に応じて、各フレーム画像毎に、表示修正部２０８が文字や画像を修正し、修正したフレーム画像データをフレームバッファに用意し、表示制御部２０９が当該フレームバッファのフレーム画像データをＬＣＤ１０２に表示させる制御を繰り返し、ユーザの顔の方向の地図を中央に拡大表示する様子を示している。以上の方向判定部２０７、表示修正部２０８及び表示制御部２０９は、本発明の表示制御手段を構成する。

以上の動作を実現する実施形態としては以下のようにして実現することができる。つまり、データ処理部のメモリ１１０中のＲＯＭに、以下にも説明する各部の機能又は各手段を実現する制御プログラムを予め格納し、ＣＰＵ１０９は当該ＲＯＭの制御プログラムを読み込み、読み込んだ制御プログラムにより制御される。これによりＣＰＵ１０９は制御プログラムの制御に従い端末内構成を制御し、メモリ１１０に転送された映像の各フレーム画像もしくは、数フレーム画像単位で画像のデータ処理を行うことで、各部（２０１〜２０９）又は各手段の機能を実現する。また、携帯端末１０１は図示しない発着信等の通信制御、通話機能、Ｗｅｂ接続、閲覧、Ｗｅｂサイトからのプログラムのダウンロード機能等、端末の各種アプリケーションの機能を有しており、前記制御プログラムは所望サイトからダウンロードする等により端末に本発明の機能の追加を可能に構成してもよい。

（動作の説明）
図３は、全体のシステムのシーケンス図を示す図である。以下、本実施形態の動作の概要について詳細に説明する。

ユーザが端末１０１に対しビューアを起動するように操作すると、端末１０１はＬＣＤ１０２にテキストデータや画像を表示する制御を開始するとともに、ユーザからのスクロール、ズーム等の制御動作の開始トリガーを監視するトリガー監視（待ち状態）となる。次に、ユーザがＬＣＤ１０２の表示をみて特定のキー押下（又は特定キーワードの音声入力）のアクションを行うと、端末１０１はこれを開始トリガーとして検知（トリガー検知）して本発明による処理を開始する。

まず、端末１０１のデータ処理部はカメラ１０３の動作を起動し、ユーザの顔画像の取得の動作を開始する。一般的にはカメラの起動には多少の待ち時間が生じるため、ＬＣＤ１０２の画面上にカメラ撮影の準備ができたことをアイコン等で表示してユーザに知らせる（スタンバイＯＫピクト表示）。次に、データ処理部は撮影しているユーザの顔向き変化や端末の傾斜等により、顔画像から抽出される特徴点の変化量を計算し、移動方向の判定を行う。この判定結果により画面に表示している文字や画像を修正し、スクロール、ズーム等により画面表示を順次更新する。

次に、本実施形態の動作について処理フローチャートにより詳細に説明する。
図４は、トリガー検知からビューア終了までのメイン処理の処理フローチャートを示す図であり、図５は、メイン処理における変化量計算（ステップ３０７）の処理フローチャートを示す図であり、図６は、メイン処理における方向判定（ステップ３０８）の処理フローチャートを示す図である。図４〜６に示す処理フローチャートにより、ＬＣＤ１０２の画面上への文字や画像の表示の開始からビューアを終了するまでの処理の流れを以下説明する。

図４に示す処理フローチャートは、ユーザが端末１０１のビューアを起動した時点、つまり、端末１０１のデータ処理部が表示用のＬＣＤ１０２に文字や画像等を表示した、ユーザのトリガー監視（待ち状態）以降の処理動作を示している。

ステップ３０１では、画面表示のスクロール、ズーム等を顔画像により指示する動作を開始するユーザのトリガー（特定のキー押下）が検知されたか否かを判断する。トリガーが検知されない場合は、ステップ３１２でビューアが終了か否かを判断し、ビューア終了の操作が無ければ、トリガー監視を維持し、画面表示はそのままとする。また、ステップ３１２でビューア終了のユーザ操作があれば処理を終了する。

ステップ３０１でトリガーが検知された場合、ステップ３０２へ進む。ステップ３０２では、画像取得部２０２の処理に従い、カメラ１０３を起動し、画像のキャプチャを行い、一画像（フレーム画像）を出力する。続いて、ステップ３０３では、顔検出部２０３の処理に従い、当該フレーム画像から顔領域の検出を行う。ステップ３０４では、特徴点抽出部２０５により顔領域内部から顔輪郭線や、目、鼻、口を抽出して特徴点とする。

次のステップ３０５では、処理しているフレーム画像が初期フレーム、つまり最初のフレーム画像か否かを判断する。初期フレームの場合は、ステップ３０６においてそのフレーム画像から抽出した各特徴点の位置や大きさの情報をメモリ１１０内に退避してステップ３０１へ戻る（この時のステップ３０１〜３０５、３１２の処理は、トリガー検知時の状態のままであれば、２番目のフレーム画像について前述と同様の処理が行われる）。ステップ３０６で退避した情報はステップ３０７の処理に用いる。

また、ステップ３０５で、処理しているフレーム画像が初期フレームでない場合は、ステップ３０７へ進む。ステップ３０７では、図５に示す処理フローチャートによりメモリ１１０内に退避された前フレームの特徴点情報と現フレームで抽出された特徴点情報を比較し、その変化量を計算する。

図７は、ステップ３０７の内部処理の各ステップの処理例の概要を示す図である。図７ではそれぞれのステップに対する入力フレーム画像は異なった例を示している。ステップ３０７の処理を図５に示す処理フローチャートにより詳細に説明する。

ステップ３０７の変化量計算の処理は２回目以降の各フレーム画像の特徴点の検出時に行われ、前後のフレームでそれぞれ異なる顔の特徴点座標等の移動量を計算し、変化量とする。図５に示す最初のステップ４０１では、図７に示す処理例のように、左右の目と口がなす三角形の重心の前フレームと後フレームの間の移動量（変化量）として算出する。次のステップ４０２では、図７に示す処理例のように前後のフレームでの顔輪郭線の近似楕円中心位置の移動量を算出し、変化量とする。更にステップ４０３では、図７に示す処理例のように前後のフレームでの顔輪郭線の近似楕円の半径の変化量を算出する。以上の処理を終了すると図４に示すメイン処理のステップ３０８へ進む。ステップ３０８では、ステップ３０７で計算された各種変化量を元に、ユーザが画面表示をどのように変化させたいのかを判定する。

図８は、ステップ３０８の内部処理の各ステップの処理例の概要を示す図である。ステップ３０８の内部処理を図６に示す処理フローチャートにより詳細に説明する。

ステップ３０８の方向判定の処理は、図６に示す最初のステップ５０１で前後のフレームでの左右方向の移動を判定する。ここで、ユーザが自分の顔を動かしているか、端末を動かしているかを判定することも可能である。これは顔輪郭線の近似楕円の中心（重心）の位置（顔輪郭線中心位置）の変化量と顔の特徴点の重心（例えば左右の目と口がなす三角形の重心）の移動量の差により判定できる。例えば、図８を参照すると、顔移動（端末固定）の場合、左右方向の移動では、前後フレームにおいて、顔輪郭線中心位置の移動はなく、顔の特徴点の重心のみが移動するが、端末移動（顔固定）の場合は、顔輪郭線中心位置の移動にあわせて、顔の特徴点の重心も移動するため、顔固定、端末固定に関わらず左右方向の移動を判定できる。次のステップ５０２では、ステップ５０１と同様の考え方で、前後のフレームでの上下方向の移動を判定する。次のステップ５０３では、前後のフレームでの奥行き方向の移動を判定する。奥行きの移動は、顔移動又は端末移動のどちらの場合でも顔輪郭線の近似楕円が大きくなれば、端末と顔との距離が縮まり、顔輪郭線の近似楕円が小さくなれば、端末と顔との距離が広がっているとして判定できる。更にステップ５０４では、前後のフレームでの移動量が大きくなりカメラが取得する顔画像が撮影範囲外になるような場合の判定であり、例外処理である。以上の処理を終了するとメイン処理のステップ３０９に進む。

ステップ３０９では、ステップ３０８での判定結果を元に、ＬＣＤ１０２の表示画面に表示されたテキストや画像を変形（変化）させる。例えば、顔の左右方向又は上下方向の移動の判定結果に基づいて、それぞれユーザが表示されているテキストや画像の左右方向又は上下方向へのスクロールを希望するものとして、その移動量に応じて表示されているテキストや画像の左右方向又は上下方向へのスクロールの処理を行う。なお、端末固定の場合は、画像見えでは、ユーザの意図と上下左右が反対になるため、その点を考慮して変形処理を行う。また、奥行き方向の変化の判定結果に基づいて、例えば端末と顔の距離が縮まった時、ユーザは表示されているテキストや画像を拡大したいものとして、その移動量に応じた変形処理を行う。また、逆に端末と顔の距離が広がった時、ユーザは表示されているテキストや画像を縮小したいものとして、その移動量に応じた変形処理を行う。更に、移動量が大きくなりカメラが取得する顔画像の特徴点等が撮影範囲外になるような場合は、例外処理として直前のスクロール、ズーム等と等速度で移動しているものとして画面表示をスクロールさせ続け、顔もしくは端末を撮影範囲内に戻したときに、例外処理を終了する。以上の画面表示の制御は個々の顔画像による移動の判定結果の何れか又は任意の組み合わせに基づいて行うことが可能である。

ステップ３１０では、ステップ３０９で変形処理により作成したテキストや画像をフレームバッファに送り、画面に表示するようにＬＣＤ１０２の表示の制御を行う。

ステップ３１１では、ビューアの終了のユーザ操作の有無を判断し、ユーザが画面上のテキストや画像の表示を終了する操作をした場合、処理を終了させる。ユーザがビューア終了を操作しない場合は、ステップ３０６へ分岐し、現フレームで抽出された各特徴点情報をメモリに退避させて、ステップ３０１の処理に戻る。

ステップ３０１では、トリガー検知時の状態のままであった場合は（再度のキーの押下がなければ）、ステップ３０２以降の処理を繰り返す。

以上の処理により、ビューア起動後のトリガー検知により、ユーザの顔の方向の動きに応じたＬＣＤ１０２のテキストや画像のスクロールの表示制御と、顔の大きさに応じた画像の拡大、縮小等の表示制御とをビューア終了を判定されるまで、フレーム単位又は数フレーム単位で繰り返し行われ、トリガー検知の終了時は、ＬＣＤ１０２のテキストや画像の最後の表示制御後の表示状態がビューア終了を判定されるまで維持される。

これにより携帯端末など小型の電子機器のスクリーンでテキストや画像などを表示する際に、表示部分の移動（スクロール）や任意部分の拡大（ズーム）等、表示画面への表示対象の表示範囲の制御を特別な装置を必要とすることなく、また、ユーザの煩雑なキー操作等を必要とすることなく、人の感覚に近い動作で簡単に実現でき、さらに微妙な調整をすばやく行うことが可能である。

つまり、本実施形態によれば、携帯端末１０１は、文章や画像を表示する表示部１０２と該表示部の近辺に取り付けられたカメラ１０３を有し、画面上に映し出されたテキストや画像をスクロールまたはズーム等を行う場合、特定のキー１０４を押下し（又は押下しながら）、ユーザの顔又は携帯端末を上下左右に回転させたり、顔を携帯端末に近づけたりする。このユーザの動作は、見たい方向に顔を向ける、拡大したいときに顔を近づけるという人の感覚に近い動作である。この動作を携帯端末が識別することで感覚的なスクロール、ズーム等の動作による表示の制御が実現される。端末内部の処理としては、カメラの撮影映像を元に利用者の顔の位置、大きさの時間的な変化から、ユーザの顔の方向、端末との距離を認識し、画面上の表示を変化させる。具体的には、ユーザのキー押下と共に、カメラ１０３が起動し、顔の検出および顔の特徴点（目／鼻／口／輪郭など）を抽出する。抽出された特徴点の位置や大きさの時間的な変化量を元に、文章や画像の表示を修正し再描画の制御が行われる。

以上のように、画面表示における任意部分のズームや表示部分のスクロール等を、ユーザの顔の方向や大きさの変化の人の感覚に近い動作で簡単に実現することが可能である。また、顔の方向や大きさの変化などアナログなデータを扱っているため、従来のキー入力ではデジタル的にしかできなかったスクロールやズームの微妙な調整を、すばやく、アナログ的に行うことが可能である。

また、キー入力の必要がないため、細かい操作を苦手とする身体障害者の方にとっても、音声入力や自分の顔の移動によって、ズームやスクロール等の操作を行うことが可能である。更に、携帯電話など表示画面側にカメラがついている装置であれば、スイッチ等の操作手段の指定又は追加で実現できるため、特別なハードウエアを追加する必要がなく、安価に実現することが可能である。

（第２の実施形態）
本発明の第２の実施形態として、機密文書などを携帯端末のビューアにより読むことを考慮し、顔認証によるセキュリティ性を向上させた実施形態を以下説明する。

図９は、本発明の第２の実施形態の携帯端末内の構成と機能ブロックを示す図である。本実施形態では、図２に示す第１の実施形態の構成にデータ処理部の機能ブロックとして、ユーザの顔認証を行う認証手段としての顔認証部２１０を追加したものであり、その他の第１の実施形態と同一符号を付した機能ブロックは第１の実施形態の機能と同様である。ただし、第２の実施形態では、顔認証部２１０の処理のためにメモリ１１０等にユーザの顔認証用の顔画像の情報等が予め登録され、顔認証部２１０ではビューア起動後に顔画像取得部２０３で取得される画像内の顔画像の情報とメモリ１１０内等に登録された顔画像の情報の照合を行い、認証が成立した場合に、その後のデータ処理部の処理を継続し、認証が不成立の場合はビューアによる表示を禁止（終了）する機能を有する。プログラム制御の場合にはメモリ１１０内の認証手段のプログラム機能を追加する。認証用の顔画像の情報としては以下説明するように顔の特徴点情報を利用することが可能である。

図１０は、第２の実施形態の処理フローチャートを示す図である。図２に示す第１の実施形態のフローチャートに、顔認証部２１０による本人確認ができない場合の強制終了の処理ステップを追加している。本実施形態は、顔認証の処理ステップ（９０１）、認証の成否の判断ステップ（９０３）及びビューア強制終了の処理ステップ（９０５）を追加している点を除けば図４に示す第１の実施形態の処理フローチャートの処理と同様であるから、以下追加ステップに関連する処理動作についてのみ説明する。

本実施形態では、図１０に示すように、ステップ９０１の特徴点検出後に、ステップ９０２で抽出された特徴点を用いて顔認証処理を行う。例えば予め登録されている本人の顔画像の特徴点と照合して顔認証を行い、ステップ９０３で認証結果により本人か否かを判断し、本人として認証された場合のみ初期フレームか否かを判断する分岐ステップ９０４の処理へ進み、本人でないとされた場合は、ステップ９０５で強制的にビューアを終了する。

（他の実施形態）
第１、２の実施形態では、表示画面への表示対象の表示範囲の制御例として、撮影画像内の利用者の顔の方向による表示部分の移動（スクロール）の表示制御と、同画像内の利用者の顔の大きさによる表示部分の拡大、縮小の表示制御とを組み合わせた構成例を説明したが、本発明の他の実施形態として、前述の対応する特徴点の選定により顔の方向による表示部分の移動（スクロール）の表示制御を行う実施形態、又は、顔の大きさによる表示部分の拡大、縮小の表示制御を行う実施形態を構成できることは明らかである。

また、以上の実施形態における顔の方向識別に用いる特徴点数は多ければ多いほど精度が増すため、以上説明した特徴点以外の箇所を特徴点として利用ことが可能である。更に顔の方向等の判定のアルゴリズムとして、簡単な顔認識の手法を使用した例を説明したが、顔画像の認識技術には様々な方法があり、より高精度な認識を追求する上では、特徴点数に応じて他の高度な画像認識アルゴリズムへの代替も可能である。

また、他の実施形態として、携帯端末への適用においては、既に備えられているような標準のカメラに代えてステレオカメラを搭載することで奥行き方向の移動量をより高精度に測定することが可能であり、このようなカメラを利用することも可能である。

更に、以上の実施形態では、携帯電話機等の携帯端末を例とし、その表示画面の制御に特化して説明しているが、本発明はパーソナルコンピュータ（ＰＣ）のディスプレイや、駅の券売機、ＡＴＭなどの入力インタフェースとしても適用可能であることは明らかである。

本発明の第１の実施形態としてのカメラ付き携帯端末の外観を示す図である。第１の実施形態の携帯端末内の構成と機能ブロックを示す図である。全体のシステムのシーケンス図を示す図である。トリガー検知からビューア終了までのメイン処理の処理フローチャートを示す図であり、図４に示すメイン処理における変化量計算（ステップ３０７）の処理フローチャートを示す図であり、図４に示すメイン処理における方向判定（ステップ３０８）の処理フローチャートを示す図である。ステップ３０７の内部処理の各ステップの処理例の概要を示す図である。ステップ３０８の内部処理の各ステップの処理例の概要を示す図である。本発明の第２の実施形態の携帯端末内の構成と機能ブロックを示す図である。本発明の第２の実施形態の処理フローチャートを示す図である。

符号の説明

１０１携帯端末
１０２ＬＣＤ（液晶表示装置）
１０３カメラ
１０４キー入力部
１０５マイク
１０６取得画像
１０７表示画像（文字、画像）

Claims

表示画面と表示画面側にカメラを備える電子機器の画面表示制御方法であって、前記カメラで撮影される画像内の利用者の顔の特徴点の変化に応じて、表示画面への表示対象の表示範囲を制御することを特徴とする画面表示制御方法。
前記顔の特徴点の変化量により利用者の顔の方向の変化を判定し、前記顔の方向の変化に応じた表示対象のスクロールの制御を行うことを特徴とする請求項１記載の画面表示制御方法。
前記顔の特徴点は、左右の目と口のなす三角形の重心であることを特徴とする請求項１又は２記載の画面表示制御方法。
前記顔の特徴点は、前記三角形の重心と顔の輪郭の重心であることを特徴とする請求項３記載の画面表示制御方法。
前記顔の特徴点の変化量により利用者の顔の大きさの変化を判定して、前記表示対象の拡大、縮小の制御を行うことを特徴とする請求項１又は２記載の画面表示制御方法。
前記顔の特徴点は、顔の輪郭の大きさであることを特徴とする請求項５記載の画面表示制御方法。
操作入力手段又は特定キーワードの音声認識手段により利用者による前記表示対象の制御の開始及び終了を制御可能であることを特徴とする請求項１ないし６の何れかの請求項記載の画面表示制御方法。
画像内の利用者の顔の少なくとも特徴点が撮影範囲外に移動した場合には前記表示対象の直前の制御を継続することを特徴とする請求項１ないし７の何れかの請求項記載の画面表示制御方法。
前記電子機器に備える利用者の顔認証手段により認証が不成立の場合に前記表示対象の表示を禁止することを特徴とする請求項１ないし８の何れかの請求項記載の画面表示制御方法。
前記電子機器は携帯電話機であることを特徴とする請求項１ないし９の何れかの請求項記載の画面表示制御方法。
表示画面と表示画面側にカメラを備える電子機器の画面表示制御方式であって、前記カメラで撮影される画像を取得する画像取得手段と、取得した画像内の利用者の顔の特徴点を検出し、検出した特徴点の変化量を計算する変化量計算手段と、前記変化量に応じて表示画面への表示対象の表示範囲を制御する表示制御手段とを有することを特徴とする画面表示制御方式。
前記表示制御手段は前記変化量により利用者の顔の方向の変化を判定し、前記顔の方向の変化に応じた表示対象のスクロールの制御を行うことを特徴とする請求項１１記載の画面表示制御方式。
前記顔の特徴点は、左右の目と口のなす三角形の重心であることを特徴とする請求項１１又は１２記載の画面表示制御方式。
前記顔の特徴点は、前記三角形の重心と顔の輪郭の重心であることを特徴とする請求項１３記載の画面表示制御方式。
前記表示制御手段は前記顔の特徴点の変化量により利用者の顔の大きさの変化を検出し、顔の大きさの変化に対応して表示対象の拡大、縮小の制御を行うことを特徴とする請求項１１又は１２記載の画面表示制御方式。
前記顔の特徴点は、顔の輪郭の大きさであることを特徴とする請求項１５記載の画面表示制御方式。
前記電子機器は前記表示画面の制御の開始及び終了を制御可能な操作入力手段又は特定キーワードの音声認識手段を備えることを特徴とする請求項１１ないし１６の何れかの請求項記載の画面表示制御方式。
前記表示制御手段は、画像内の利用者の顔の少なくとも特徴点が撮影範囲外に移動した場合、前記表示対象の直前の制御を継続することを特徴とする請求項１１ないし１７の何れかの請求項記載の画面表示制御方式。
前記電子機器は利用者の顔認証手段を備え、前記表示制御手段は認証が不成立の場合に表示対象の表示を禁止することを特徴とする請求項１１ないし１８の何れかの請求項記載の画面表示制御方式。
前記電子機器は携帯電話機であることを特徴とする請求項１１ないし１９の何れかの請求項記載の画面表示制御方式。
表示画面と表示画面側にカメラを備える電子機器であって、前記カメラで撮影される画像を取得する画像取得手段と、取得した画像内の利用者の顔の特徴点を検出し、検出した特徴点の変化量を計算する変化量計算手段と、前記変化量に応じて表示画面への表示対象の表示範囲を制御する表示制御手段とを有することを特徴とする電子機器。
前記表示制御手段は前記変化量により利用者の顔の方向の変化を判定し、前記顔の方向の変化に応じた表示対象のスクロールの制御を行うことを特徴とする請求項２１記載の電子機器。
前記顔の特徴点は、左右の目と口のなす三角形の重心であることを特徴とする請求項２１又は２２記載の電子機器。
前記顔の特徴点は、前記三角形の重心と顔の輪郭の重心であることを特徴とする請求項２３記載の電子機器。
前記表示制御手段は前記顔の特徴点の変化量により利用者の顔の大きさの変化を検出し、表示対象の拡大、縮小の制御を行うことを特徴とする請求項２１又は２２記載の電子機器。
前記顔の特徴点は、顔の輪郭の大きさであることを特徴とする請求項２５記載の電子機器。
前記表示画面の制御の開始及び終了を制御可能な操作入力手段又は特定キーワードの音声認識手段を備えることを特徴とする請求項２１ないし２６の何れかの請求項記載の電子機器。
前記表示制御手段は、画像内の利用者の顔の少なくとも特徴点が撮影範囲外に移動した場合、前記表示対象の直前の制御を継続することを特徴とする請求項２１ないし２７の何れかの請求項記載の電子機器。
利用者の顔認証手段を備え、前記表示制御手段は認証が不成立の場合に、前記表示対象の表示を禁止することを特徴とする請求項２１ないし２８の何れかの請求項記載の電子機器。
前記電子機器は携帯電話機であることを特徴とする請求項２１ないし２９の何れかの請求項記載の電子機器。
表示画面と表示画面側にカメラを備える電子機器の画面表示制御用のプログラムであって、コンピュータを、前記カメラで撮影される画像を取得する画像取得手段、取得した画像内の利用者の顔の特徴点を検出し、検出した特徴点の変化量を計算する変化量計算手段、前記変化量に応じて表示画面への表示対象の表示範囲を制御する表示制御手段として機能させることを特徴とするプログラム。
前記表示制御手段は前記変化量により利用者の顔の方向の変化を判定し、前記顔の方向の変化に応じた表示対象のスクロールの制御を行うことを特徴とする請求項３１記載のプログラム。
前記顔の特徴点は、左右の目と口のなす三角形の重心であることを特徴とする請求項３１又は３２記載のプログラム。
前記顔の特徴点は、前記三角形の重心と顔の輪郭の重心であることを特徴とする請求項３３記載のプログラム。
前記表示制御手段は前記顔の特徴点の変化量により利用者の顔の大きさの変化を検出し、前記顔の大きさの変化に対応する表示対象の拡大、縮小の制御を行うことを特徴とする請求項３１又は３２記載のプログラム。
前記顔の特徴点は、顔の輪郭の大きさであることを特徴とする請求項３５記載のプログラム。
コンピュータを、利用者が前記表示画面の制御の開始及び終了を制御可能な操作入力手段又は特定キーワードの音声認識手段として機能させることを特徴とする請求項３１ないし３６の何れかの請求項記載のプログラム。
前記表示制御手段は、画像内の利用者の顔の少なくとも特徴点が撮影範囲外に移動した場合、前記表示対象の直前の制御を継続することを特徴とする請求項３１ないし３７の何れかの請求項記載のプログラム。
コンピュータを利用者の顔認証を行なう顔認証手段として機能させ、前記表示制御手段は前記顔認証手段による認証が不成立の場合に表示対象の表示を禁止することを特徴とする請求項３１ないし３８の何れかの請求項記載のプログラム。
前記電子機器は携帯電話機であることを特徴とする請求項３１ないし３９の何れかの請求項記載のプログラム。