JP2012190126A - 入力装置、入力方法 - Google Patents

Abstract

【課題】ユーザが、不自然な動作を行うことなく、操作画面を簡単に変化させること。
【解決手段】本発明の入力装置は、操作画面を表示する表示部と、前記表示部に対向するものの画像を撮影する撮影部と、前記撮影部が撮影した撮影画像から顔画像を抽出する顔画像抽出部と、前記顔画像に含まれる顔の所定部位の変化を検出する顔部位検出部と、前記所定部位の変化が検出された場合に、前記表示部の操作画面を変更する画面表示変更部と、を有する。
【選択図】図１

Description

本発明は、入力装置、入力方法に関する。

近年、携帯電話機などの携帯端末において、ユーザが操作画面を簡単に変化させることができる技術が提案されている。

例えば、特許文献１には、表示部と表示部側にカメラを備える携帯端末において、カメラが撮影した撮影画像内のユーザの顔の方向に応じて操作画面を移動（スクロール）させたり、撮影画像内のユーザの顔の大きさに応じて操作画面を拡大または縮小させたりする技術が記載されている。

しかし、特許文献１に記載の技術では、上述のように操作画面を変化させるには、操作画面に対して、ユーザが顔を左右に振ったり、顔を近付けたり遠ざけたりするような動作が必要である。このような動作は、人目を気にするような場面においては不自然な動作と思われる懸念があり、特許文献１に記載の技術は実用的ではないという課題があった。

また、特許文献２から７には、本体の傾きや位置の変化などを検出可能な加速度センサなどの手段を備える携帯端末において、本体を傾ける操作などに応じて、操作画面をスクロールさせたり、操作画面を拡大または縮小させたりする技術が記載されている。

しかし、特許文献２から７に記載の技術では、例えば、現在の操作画面上でカーソルが位置している項目の選択を確定させるためには、その状態で本体を振るといった不自然な動作が必要であるという課題があった。

特開２００９−０３１３６８号公報 特許第３２３４６３３号公報 特許第３５８２４３３号公報 特許第４０７７４６９号公報 特開平０７−０６４７５４号公報 特開平０７−１３４６４１号公報 特開平０７−２７１５０５号公報

上述のように、特許文献１から７に記載の技術では、ユーザが操作画面を変化させることはできるものの、不自然な動作が必要になるという課題があった。

そこで、本発明の目的は、上述した課題を解決することができる入力装置、入力方法を提供することにある。

本発明の入力装置は、
操作画面を表示する表示部と、
前記表示部に対向するものの画像を撮影する撮影部と、
前記撮影部が撮影した撮影画像から顔画像を抽出する顔画像抽出部と、
前記顔画像に含まれる顔の所定部位の変化を検出する顔部位検出部と、
前記所定部位の変化が検出された場合に、前記表示部の操作画面を変更する画面表示変更部と、を有する。

本発明の入力方法は、
表示部に操作画面を表示する画面表示ステップと、
前記表示部に対向するものの画像を撮影する撮影ステップと、
前記撮影した撮影画像から顔画像を抽出する顔画像抽出ステップと、
前記顔画像に含まれる顔の所定部位の変化を検出する顔部位検出ステップと、
前記所定部位の変化が検出された場合に、前記表示部の操作画面を変更する画面変更ステップと、を有する。

本発明によれば、ユーザは、顔を左右に振るなどの不自然な動作を行わなくても、操作画面を簡単に変化させることができる。

本発明の第１の実施形態の入力装置の構成を示すブロック図である。 本発明の第２〜第４の実施形態の携帯電話機の構成を示すブロック図である。 本発明の第２の実施形態の携帯電話機の制御部の構成を示すブロック図である。 本発明の第２の実施形態の携帯電話機の動作を説明するフローチャートである。 本発明の第２の実施形態の携帯電話機の動作をより詳細に説明するフローチャートである。 本発明の第２の実施形態の携帯電話機において、顔画像が抽出されたことを示すアイコンを表示している状態を示す図である。 本発明の第２の実施形態の携帯電話機において、図６に示したアイコンの表示を消灯している状態を示す図である。 本発明の第３の実施形態の携帯電話機の制御部の構成を示すブロック図である。 本発明の第３の実施形態の携帯電話機の動作を説明する図である。 本発明の第４の実施形態の携帯電話機の制御部の構成を示すブロック図である。

以下に、本発明を実施するための形態について図面を参照して説明する。
（１）第１の実施形態
図１は、本発明の第１の実施形態の入力装置の構成を示すブロック図である。

図１に示すように、本実施形態の入力装置は、表示部１１と、撮影部１２と、顔画像抽出部１３と、顔部位検出部１４と、画面表示変更部１５と、を有する。

表示部１１は、操作画面を表示する。

ここで、操作画面とは、表示部１１がＯＮ状態にある時に表示している画面全般を指すものとする。

撮影部１２は、表示部１１側に設けられ、表示部１１に対向する被写体の画像を撮影するカメラなどである。

顔画像抽出部１３は、撮影部１２が撮影した撮影画像から顔画像を抽出する。

顔部位検出部１４は、顔画像抽出部１３が抽出した顔画像に含まれる顔の所定部位の変化を検出する。

ここで、所定部位とは、例えば、目もしくは口のいずれか、または両方などであり、また、所定部位の変化とは、例えば、目を閉じること、口を開けることなどである。また、目や口の開閉は、例えば、目や口に該当すると認識した位置において、黒っぽく映っている部分の大きさ（面積）を基に検出する。

画面表示変更部１５は、顔部位検出部１４が所定部位の変化を検出した場合に、表示部１１の操作画面を変更する。

ここで、操作画面の変更とは、例えば、現在の操作画面上でカーソルが位置している項目の選択を確定し、その項目に対応する操作画面に切り替えたり、現在の操作画面を拡大表示したりすることなどである。

上述したように本実施形態によれば、撮影画像から抽出した顔画像に含まれる所定部位の変化が検出されると、表示部１１の操作画面を変更する。

したがって、ユーザは、顔を左右に振るなどの不自然な動作を行わなくても、目を閉じたり、口を開けたりするなどの動作を行うだけで、操作画面を簡単に変化させることができる。
（２）第２の実施形態
本実施形態は、本発明の入力装置を携帯電話機に適用し、第１の実施形態の構成および動作をより具体化した例である。

図２は、本発明の第２の実施形態の入力装置としての携帯電話機の構成を示すブロック図である。

図２に示すように、本実施形態の携帯電話機は、アンテナ２０１と、無線送受信部２０２と、制御部２０３と、動作用メモリ２０４と、保持用メモリ２０５と、操作部２０６と、表示部２０７と、カメラ２０８と、加速度センサ２０９と、を有している。

アンテナ２０１は、位相変調された電波を送受信する。

無線送受信部２０２は、アンテナ２０１で受信した電波をデジタル信号に復調する共に、制御部２０３から出力されたデジタル信号に対する位相変調を行う。

操作部２０６は、ユーザが電話をかける際に電話番号を入力したり、アドレス帳登録時や電子メール作成時にテキスト入力を行ったり、各種機能の設定入力を行ったりするために用いられ、タッチパネルなどで構成される場合もある。

表示部２０７は、図１の表示部１１に対応するものであり、操作画面を表示する。

ここで、操作画面とは、ＯＮ状態にある表示部２０７が表示している画面全般を指すものとする。操作画面の具体例としては、電話の発着信時に相手電話番号を表示する画面、操作部２０６に入力された各種入力内容を表示する画面、電子メールの内容を表示する画面、各種機能を呼び出すためのメニュー画面などがある。

カメラ２０８は、図１の撮影部１２に対応するものであり、表示部２０７側に設けられ、表示部２０７に対向する被写体の画像を撮影する。

加速度センサ２０９は、例えば、Ｘ軸方向、Ｙ軸方向およびＺ軸方向の加速度を測定する３軸加速度センサである。

動作用メモリ２０４は、制御部２０３が実行するプログラムや固定データを格納するために使用されると共に、制御部２０３が動作を行う際のワークエリアとしても使用される。

保持用メモリ２０５は、携帯電話機で送受信する電子メール、アドレス帳、カメラ２０８が撮影した撮影画像の画像データなどを登録する。

また、保持用メモリ２０５は、顔の中の予め定められた所定部位、その所定部位について予め定められた変化の内容、その所定部位の変化の内容に応じて行われる予め定められた処理の内容などのデータを予め登録する。

なお、動作用メモリ２０４および保持用メモリ２０５の一部は、物理的に同一のデバイス内で領域を分けて実現されるのが一般的である。

制御部２０３は、携帯電話機内の各構成要素の制御を行うことで、各種機能を実現するものであり、ＣＰＵ（Central Processing Unit）などで構成される。

例えば、制御部２０３は、無線送受信部２０２で復調されたデジタル信号から自己の携帯電話機の呼び出し番号を検出して着信を報知する処理や、音声信号やデジタル信号の処理を行うことで、音声通話機能、メール送受信機能、およびサーバ接続機能などを実現する。

また、制御部２０３は、カメラ２０８を制御し、明るさ、色調、画角サイズなどの設定、撮影タイミングの指定などを行い、カメラ２０８が撮影した撮影画像の画像データを取得する。また、制御部２０３は、カメラ２０８から取得した画像データに対し、所定のサイズ変換、フォーマット変換を施して表示部２０７に表示すると共に、操作部２０６上で行われるユーザ操作に応じ、所定の圧縮処理を施して保持用メモリ２０５に保存する。これらの動作により、制御部２０３は、カメラ撮影機能を実現する。

また、制御部２０３は、加速度センサ２０９で加速度を測定した測定結果を取得し、携帯電話機の重力方向に対する傾きや物理的な動き（移動）を検知することが可能である。また、制御部２０３は、加速度センサ２０９の測定タイミングを制御する。ただし、加速度センサ２０９は、ある間隔で自立的に加速度の測定を行い、加速度の変化がある閾値を超えたら、その旨を制御部２０３に通知することも可能である。

図３は、本実施形態の携帯電話機の制御部２０３の構成を示すブロック図である。なお、図３は、本発明の特徴的な構成要素のみを抜粋して図示したものであり、上述した動作等を行うその他の構成要素については省略している。

図３に示すように、制御部２０３は、本発明の特徴的な構成要素として、顔画像抽出部２１０、顔部位検出部２１１、および画面表示変更部２１２を有している。

顔画像抽出部２１０は、図１の顔画像抽出部１３に対応するものであり、カメラ２０８が撮影した撮影画像から顔画像を抽出する。

顔部位検出部２１１は、図１の顔部位検出部１４に対応するものであり、顔画像抽出部２１０が抽出した顔画像に含まれる顔の所定部位の変化を検出する。

ここで、所定部位とは、例えば、目もしくは口のいずれか、または両方などであり、また、所定部位の変化とは、例えば、右目を閉じること、口を開けることなどである。また、目や口の開閉は、例えば、顔画像における目や口に該当すると認識した位置において、黒っぽく映っている部分の大きさ（面積）を基に検出する。

画面表示変更部２１２は、図１の画面表示変更部１５に対応するものであり、顔部位検出部２１１が所定部位の変化を検出した場合に、表示部２０７の操作画面を変更する。

ここで、操作画面の変更とは、例えば、現在の操作画面上でカーソルが当たっている項目の選択を確定し、その項目に対応する操作画面に切り替えたり、現在の操作画面を拡大表示したりすることなどである。

以下、本実施形態の携帯電話機の動作について、図４を用いて説明する。

図４は、本実施形態の携帯電話機の動作を説明するフローチャートである。

図４に示すように、まず、制御部２０３は、表示部２０７がＯＮで操作画面を表示している状態で、カメラ２０８を起動する（ステップＳＴ１１）。

カメラ２０８の起動後、制御部２０３の顔画像抽出部２１０は、カメラ２０８が撮影した撮影画像から顔画像を抽出する（ステップＳＴ１２）。

ステップＳＴ１２において、顔画像が抽出された場合（ステップＳＴ１２のＹＥＳ）、制御部２０３の顔部位検出部２１１は、保持用メモリ２０５から、予め定められた所定部位とその所定部位の変化の内容を読み出し、その所定部位にその変化が生じるか否かを検出する（ステップＳＴ１３）。

ステップＳＴ１３において、所定部位に変化が検出された場合（ステップＳＴ１３のＹＥＳ）、制御部２０３の画面表示変更部２１２は、保持用メモリ２０５から、所定部位の変化の内容に応じた処理の内容を読み出し、その処理を実行することで表示部２０７の操作画面を変更する（ステップＳＴ１４）。

表示部２０７がＯＮである間は、上記ステップＳＴ１２からステップＳＴ１４までの処理を繰り返す。

以降に、表示部２０７がＯＦＦになると（ステップＳＴ１５のＹＥＳ）、制御部２０３は、カメラ２０８を終了させる（ステップＳＴ１６）。

なお、ステップＳＴ１５における表示部２０７のＯＦＦとは、携帯電話機の電源自体がＯＦＦになる場合と、携帯電話機の電源自体がＯＮである状態で、表示部２０７をＯＦＦさせる場合と、の双方を含む。携帯電話機の電源自体がＯＮである状態で、表示部２０７をＯＦＦさせる場合とは、例えば、ユーザが操作部２０６上で省電力モードに移行するための操作を行って表示部２０７をＯＦＦさせた場合や、携帯電話機が内側に表示部２０７がある開閉型の装置である場合においてユーザが携帯電話機の本体を閉じて表示部２０７をＯＦＦさせた場合などを指す。ただし、ステップＳＴ１５において、携帯電話機の電源自体がＯＦＦになり表示部２０７がＯＦＦになっている場合には、その時点でカメラ２０８も終了していることになる。そのため、ステップＳＴ１６において、カメラ２０８を終了させる処理は不要である。

ここで、保持用メモリ２０５に登録するデータの具体例について説明する。

例えば、保持用メモリ２０５は、所定部位が目と口である旨のデータを登録する。

また、保持用メモリ２０５は、右目をある一定時間以上閉じていた場合の処理が、現在の操作画面上でカーソルが位置している項目の選択を確定し、その項目に対応する操作画面に切り替える処理である旨のデータや、口をある一定時間以上開いていた場合の処理が、現在の操作画面を拡大表示する処理である旨のデータを登録する。

さらに、保持用メモリ２０５は、電子ブックや新聞など複数ページにまたがるコンテンツを表示しているような状況において、右目をある一定時間（例えば、ａ秒）以上閉じている場合の処理が、次のページに切り替える処理である旨のデータや、左目をある一定時間（例えば、ａ秒）以上閉じている場合の処理が、前のページに切り替える処理である旨のデータや、いずれかの目を一定時間（例えば、ｂ秒。ｂ＞ａ）以上閉じている場合の処理が、閉じている目の方向へのページ捲り動作を繰り返す処理である旨のデータを登録しても良い。このように、本実施形態においては、操作画面ごとに、所定部位の変化に応じた処理を定義することが可能である。

次に、本実施形態の携帯電話機の動作を、図５、図６、および図７を用いて、より具体的に説明する。

図５は、本実施形態の携帯電話機の動作をより詳細に説明するフローチャートである。

図６および図７は、本実施形態の携帯電話機の外観図であり、図６は、顔画像が抽出されたことを示すアイコンを操作画面に表示している状態を、図７は、そのアイコンの表示を消灯している状態を、それぞれ示している。なお、図６および図７において、３０１は携帯電話機の本体、２０７は表示部、２０８はカメラ（カメラのレンズ）である。

図５に示すように、まず、図４と同様に、ステップＳＴ１１，ＳＴ１２の処理を行う。

ステップＳＴ１２において、顔画像が抽出された場合（ステップＳＴ１２のＹＥＳ）、制御部２０３の画面表示変更部２１１は、図６に示すように、顔画像が抽出された状態であることを示すアイコン３０２を表示部２０７の一部に表示する（ステップＳＴ２１）。

一方、ステップＳＴ１２において、顔画像が抽出されなかった場合（ステップＳＴ１２のＮＯ）、制御部２０３の画面表示変更部２１１は、図７に示すように、アイコン３０２の表示を消灯させる（ステップＳＴ２２）。

このとき、図６および図７に示すように、カメラ２０８が撮影した撮影画像３０３を表示部２０７の一部に縮小して表示しても良い。これにより、携帯電話機を使用するユーザは、撮影画像３０３を見ながら、自身の顔の位置を顔画像が抽出可能な位置に動かすことができる。

以降、図４と同様に、ステップＳＴ１３〜ＳＴ１６の処理を行う。

上述したように本実施形態によれば、撮影画像から抽出した顔画像に含まれる所定部位の変化が検出されると、表示部２０７の操作画面を変更するため、ユーザは、顔を左右に振るなどの不自然な動作を行わなくても、目を閉じたり、口を開けたりするなどの動作を行うだけで、操作画面を簡単に変化させることができる。

したがって、ユーザは、荷物を持っていたり、電車やバス内で吊り革につかまっていたりするなどして片手が塞がり、空いた方の手で携帯電話機を保持するような場合でも、人目を気にするような動きをしなくても、携帯電話機の操作が可能となる。

また、操作部２０６がタッチパネルで構成される場合、表示部２０７の画面に触らなくても携帯電話機の操作が可能となるため、タッチパネルと一体となった表示部２０７の表面を汚す機会を低減することができる。

また、本実施形態によれば、顔画像が抽出されたこと示すアイコン３０２を表示部２０７に表示するため、ユーザは、アイコン３０２の表示に基づいて、顔操作が可能な状態であることが分かる。なお、顔画像が抽出されたこと示す情報は、アイコン３０２に限らず、文字、図形等で表示しても良い。

また、本実施形態によれば、カメラ２０８が撮影した撮影画像３０３を表示部２０７に表示するため、ユーザは、撮影画像３０３を見ながら、自身の顔を顔画像が抽出可能な位置に動かすことができる。
（３）第３の実施形態
図８は、本発明の第３の実施形態の入力装置としての携帯電話機の制御部２０３の構成を示すブロック図である。

図８を参照すると、本実施形態の携帯電話機は、図３に示した第２の実施形態と比較して、制御部２０３内に対象画像特定部２１３を設けた点が異なる。

対象画像特定部２１３は、カメラ２０８が撮影した撮影画像内に複数の人物の顔画像が存在する場合、複数の人物の顔画像の中から、顔部位検出部２１１が所定部位の変化を検出する検出対象の顔画像を特定する。

図９は、本実施形態の携帯電話機の動作を説明する図である。

図９においては、撮影画像内には、被写体Ａ，Ｂ，Ｃの３人の顔画像が存在する。

このうち、被写体Ｃは、片目が撮影画像から外れているため、顔画像抽出部２１０が顔画像として抽出することはできない。

また、被写体Ｂは、顔画像抽出部２１０が顔画像として抽出することはできるが、被写体Ｂの顔は、被写体Ａの顔と比べて小さく、撮影画像の端の方に位置している。

ここで、携帯電話機を実際に使用しているユーザは、撮影画像内で最も大きく映っているか、または、撮影画像の最も中央付近に映っている可能性が高い。

例えば、図９においては、被写体Ａは、撮影画像内で最も大きく映っており、また、撮影画像の最も中央付近に映っているため、携帯電話機を実際に使用しているユーザは被写体Ａである可能性が非常に高い。

そこで、対象画像特定部２１３は、顔画像抽出部２１０が複数の人物の顔画像を抽出した場合、撮影画像内に最も大きく映っている人物の顔画像、または、撮影画像の最も中央付近に映っている人物の顔画像を検出対象と特定し、顔部位検出部２１１は、対象画像特定部２１３が検出対象と特定した顔画像に含まれる所定部位の変化を検出する。

したがって、本実施形態においては、携帯電話機を実際に使用しているユーザの背景に映った人物の動きなどに起因した誤操作を防ぐことができる。
（４）第４の実施形態
図１０は、本発明の第４の実施形態の入力装置としての携帯電話機の制御部２０３の構成を示すブロック図である。

図１０を参照すると、本実施形態の携帯電話機は、図３に示した第２の実施形態と比較して、制御部２０３内に、顔認証部２１４、部位位置判定部２１５、および、動作停止部２１６を設けた点が異なる。

なお、保持用メモリ２０５には、所定の人物（携帯電話機の所有者など）の顔画像の特徴点のデータを予め登録しておく。

顔認証部２１４は、顔画像抽出部２１０が顔画像を抽出すると、抽出した顔画像の特徴点を、保持用メモリ２０５に予め登録された所定の人物の顔画像の特徴点と比較することにより、抽出した顔画像を認証する。

顔部位検出部２１１は、顔画像抽出部２１０が抽出した顔画像が認証された場合に、その顔画像に含まれる所定部位の変化を検出する。

したがって、本実施形態においては、携帯電話機に予め登録されている所定の人物以外の他の人物が操作を行うことを防止でき、セキュリティを確保することが可能になる。

また、顔部位検出部２１１は、顔画像抽出部２１０が抽出した顔画像の認証が成立すると、その旨を部位位置判定部２１５に通知し、部位位置判定部２１５は、顔画像抽出部２１０が抽出した顔画像の認証が成立してから、撮影画像内の所定部位の動きを追従して監視し、所定部位が撮影画像から外れたか否かを判定する。このとき、所定部位の全部が撮影画像から外れたか否かを判定しても良いし、所定部位の一部が撮影画像から外れたか否かを判定しても良い。

動作停止部２１６は、所定部位が撮影画像から外れた場合、顔画像抽出部２１０が抽出した顔画像が再認証されるまで、顔部位検出部２１１および画面表示変更部２１２の動作を停止させる。

したがって、本実施形態においては、顔部位検出部２１１の検出処理や画面表示変更部２１２の操作画面の変更処理を抑制しながら、セキュリティを確保することが可能になる。

また、本実施形態においては、顔画像抽出部２１０が抽出した顔画像の認証が成立したか否かを示す情報を、図６および図７に示したように、アイコンとして表示しても良いし、文字、図形等で表示しても良い。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解し得る様々な変更をすることができる。

例えば、上記実施形態では、本発明の入力装置の一例として携帯電話機を挙げたが、本発明はこれに限定されず、ゲーム機、タブレット型ＰＣ（Personal Computer）、ノート型ＰＣなどにも適用することが可能である。

また、上記実施形態では、第３および第４の実施形態を別々の実施形態として説明したが、第３および第４の実施形態は組み合わせることも可能である。

また、上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
操作画面を表示する表示部と、
前記表示部に対向するものの画像を撮影する撮影部と、
前記撮影部が撮影した撮影画像から顔画像を抽出する顔画像抽出部と、
前記顔画像に含まれる顔の所定部位の変化を検出する顔部位検出部と、
前記所定部位の変化が検出された場合に、前記表示部の操作画面を変更する画面表示変更部と、を有する入力装置。
（付記２）
前記画面表示変更部は、
顔画像が抽出されたこと示す情報を前記表示部に表示する、付記１に記載の入力装置。
（付記３）
前記顔画像抽出部が抽出した顔画像と予め登録された所定人物の顔画像とに基づいて、前記顔画像抽出部が抽出した顔画像を認証する顔認証部を有し、
前記顔部位検出部は、
前記顔画像抽出部が抽出した顔画像が認証された場合に、該顔画像に含まれる前記所定部位の変化を検出し、
前記入力装置は、さらに、
前記所定部位が前記撮影画像から外れたか否かを判定する部位位置判定部と、
前記所定部位が前記撮影画像から外れた場合、前記顔画像抽出部が抽出した顔画像が再認証されるまで、前記顔部位検出部および前記画面表示変更部の動作を停止させる動作停止部と、を有する、付記１または２に記載の入力装置。
（付記４）
前記画面表示変更部は、
前記顔画像抽出部が抽出した顔画像の認証が成立したか否かを示す情報を前記表示部に表示する、付記３に記載の入力装置。
（付記５）
前記所定部位は、目もしくは口のいずれか、または両方であり、
前記所定部位の変化は、前記所定部位が閉じているまたは開いていることである、付記１から４のいずれか１項に記載の入力装置。
（付記６）
前記画面表示変更部は、
前記所定部位が閉じているまたは開いている時間に応じた処理を行うことで、前記表示部の操作画面を変更する、付記５に記載の入力装置。
（付記７）
表示部に操作画面を表示する画面表示ステップと、
前記表示部に対向するものの画像を撮影する撮影ステップと、
前記撮影した撮影画像から顔画像を抽出する顔画像抽出ステップと、
前記顔画像に含まれる顔の所定部位の変化を検出する顔部位検出ステップと、
前記所定部位の変化が検出された場合に、前記表示部の操作画面を変更する画面変更ステップと、を有する入力方法。
（付記８）
顔画像が抽出されたこと示す情報を前記表示部に表示する抽出表示ステップをさらに有する、付記７に記載の入力方法。
（付記９）
前記抽出した顔画像と予め登録された所定人物の顔画像とに基づいて、前記抽出した顔画像を認証する顔認証ステップを有し、
前記顔部位検出ステップでは、
前記抽出した顔画像が認証された場合に、該顔画像に含まれる前記所定部位の変化を検出し、
前記入力方法は、さらに、
前記所定部位が前記撮影画像から外れたか否かを判定する部位位置判定ステップと、
前記所定部位が前記撮影画像から外れた場合、前記抽出した顔画像が再認証されるまで、前記顔部位検出ステップおよび前記画面変更ステップの処理を停止させる処理停止ステップと、を有する、付記７または８に記載の入力方法。
（付記１０）
前記抽出した顔画像の認証が成立したか否かを示す情報を前記表示部に表示する認証表示ステップをさらに有する、付記９に記載の入力方法。
（付記１１）
前記所定部位は、目もしくは口のいずれか、または両方であり、
前記所定部位の変化は、前記所定部位が閉じているまたは開いていることである、付記７から１０のいずれか１項に記載の入力方法。
（付記１２）
前記画面変更ステップでは、
前記所定部位が閉じているまたは開いている時間に応じた処理を行うことで、前記表示部の操作画面を変更する、付記１１に記載の入力方法。

１１ 表示部
１２ 撮影部
１３ 顔画像抽出部
１４ 顔部位検出部
１５ 画面表示変更部
２０１ アンテナ
２０２ 無線送受信部
２０３ 制御部
２０４ 動作用メモリ
２０５ 保持用メモリ
２０６ 操作部
２０７ 表示部
２０８ カメラ
２０９ 加速度センサ
２１０ 顔画像抽出部
２１１ 顔部位検出部
２１２ 画面表示変更部
２１３ 対象画像特定部
２１４ 顔認証部
２１５ 部位位置判定部
２１６ 動作停止部

Claims (10)

1. 操作画面を表示する表示部と、
   前記表示部に対向するものの画像を撮影する撮影部と、
   前記撮影部が撮影した撮影画像から顔画像を抽出する顔画像抽出部と、
   前記顔画像に含まれる顔の所定部位の変化を検出する顔部位検出部と、
   前記所定部位の変化が検出された場合に、前記表示部の操作画面を変更する画面表示変更部と、を有する入力装置。
2. 前記画面表示変更部は、
   顔画像が抽出されたこと示す情報を前記表示部に表示する、請求項１に記載の入力装置。
3. 前記顔画像抽出部が抽出した顔画像と予め登録された所定人物の顔画像とに基づいて、前記顔画像抽出部が抽出した顔画像を認証する顔認証部を有し、
   前記顔部位検出部は、
   前記顔画像抽出部が抽出した顔画像が認証された場合に、該顔画像に含まれる前記所定部位の変化を検出し、
   前記入力装置は、さらに、
   前記所定部位が前記撮影画像から外れたか否かを判定する部位位置判定部と、
   前記所定部位が前記撮影画像から外れた場合、前記顔画像抽出部が抽出した顔画像が再認証されるまで、前記顔部位検出部および前記画面表示変更部の動作を停止させる動作停止部と、を有する、請求項１または２に記載の入力装置。
4. 前記画面表示変更部は、
   前記顔画像抽出部が抽出した顔画像の認証が成立したか否かを示す情報を前記表示部に表示する、請求項３に記載の入力装置。
5. 前記所定部位は、目もしくは口のいずれか、または両方であり、
   前記所定部位の変化は、前記所定部位が閉じているまたは開いていることである、請求項１から４のいずれか１項に記載の入力装置。
6. 前記画面表示変更部は、
   前記所定部位が閉じているまたは開いている時間に応じた処理を行うことで、前記表示部の操作画面を変更する、請求項５に記載の入力装置。
7. 表示部に操作画面を表示する画面表示ステップと、
   前記表示部に対向するものの画像を撮影する撮影ステップと、
   前記撮影した撮影画像から顔画像を抽出する顔画像抽出ステップと、
   前記顔画像に含まれる顔の所定部位の変化を検出する顔部位検出ステップと、
   前記所定部位の変化が検出された場合に、前記表示部の操作画面を変更する画面変更ステップと、を有する入力方法。
8. 顔画像が抽出されたこと示す情報を前記表示部に表示する抽出表示ステップをさらに有する、請求項７に記載の入力方法。
9. 前記抽出した顔画像と予め登録された所定人物の顔画像とに基づいて、前記抽出した顔画像を認証する顔認証ステップを有し、
   前記顔部位検出ステップでは、
   前記抽出した顔画像が認証された場合に、該顔画像に含まれる前記所定部位の変化を検出し、
   前記入力方法は、さらに、
   前記所定部位が前記撮影画像から外れたか否かを判定する部位位置判定ステップと、
   前記所定部位が前記撮影画像から外れた場合、前記抽出した顔画像が再認証されるまで、前記顔部位検出ステップおよび前記画面変更ステップの処理を停止させる処理停止ステップと、を有する、請求項７または８に記載の入力方法。
10. 前記抽出した顔画像の認証が成立したか否かを示す情報を前記表示部に表示する認証表示ステップをさらに有する、請求項９に記載の入力方法。