JP2004173064A

JP2004173064A - 人面の向きに方向キー押下を対応させるシステム及びその方法

Info

Publication number: JP2004173064A
Application number: JP2002338076A
Authority: JP
Inventors: Takeki Moriya; 毅城森谷
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2002-11-21
Filing date: 2002-11-21
Publication date: 2004-06-17
Anticipated expiration: 2022-11-21
Also published as: JP4061534B2

Abstract

【課題】人面の向きを検出することにより、方向キーを押下しなくても、方向キーを押下した場合と同様な事象を発生させることを可能とする人面角度に方向キー押下を対応させるシステム及びその方法を提供する。
【解決手段】現在の人面の向きを計算し（ステップＳ２０５）、人面の向きの時間平均値を計算し（ステップＳ２０７）、現在の人面の向き及び人面の向きの時間平均値を基に、人面が上下方向の何れかを向いたか否かを判断し（ステップＳ２０９、Ｓ２１３、Ｓ２１７、Ｓ２２１）、向いた方向に対応する方向キーのコードをデータ処理部に供給する。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明は、人面の向きに方向キー押下を対応させるシステム及びその方法に関し、特に、携帯電話等で内蔵のカメラ等で撮影した人面の向きに携帯電話等の方向キー押下を対応させるシステム及びその方向に関する。
【０００２】
【従来の技術】
従来の携帯電話には、テンキー、オンフックボタン、オフフックボタンの他に方向キーが設けられている。方向キーは、例えば、上方向キー、下方向キー、左方向キー及び右方向キーより成り、各方向キーに所定の機能が割り当てられている。また、各方向キーに割り当てられている機能は、その時々の携帯電話の状態（待機状態、通話中状態、メール編集状態、インターネット接続状態等）によって変化する場合もある。
【０００３】
なお、本発明に関連した先行技術文献としては、以下のものがあげられる。
【０００４】
【特許文献１】
特開平１０−１０５３１０号
【特許文献２】
特開２００２−６２９８３
【０００５】
【発明が解決しようとする課題】
従来、各方向キーに所定の機能が割り当てられているため、利用者は、所望の機能に基づいた動作を携帯電話に行わせるために、その機能に対応付けられた方向キーを押下する。しかし、方向キーを押すことは、利用者にとって煩わしい場合もある。特に、所望の機能に基づいた動作を携帯電話に行わせるために、方向キーの操作を複数回行わなければならない場合や、かな漢字変換時のように方向キーとテンキーとを交互に押さなければならない場合に、煩わしさは顕著である。
【０００６】
なお、特許文献１の技術は、首の縦振り又は横振りを検出したときに首の振り方向に応じた所定のリアクションを発生するという単純なものである。
【０００７】
また、特許文献２の技術は、ポインティングデバイス上に置かれた指の移動距離を検出して、その移動距離に応じて表示画像に表示されるポインタを移動するものである。
【０００８】
本発明は、人面の向きを検出することにより、方向キーを押下しなくても、方向キーを押下した場合と同様な事象を発生させることを可能とする人面の向きに方向キー押下を対応させるシステム及びその方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明によれば、人面を撮影する人面撮影手段と、撮影された前記人面の向きを検出する向き検出手段と、検出された前記人面の向きに対応した位置にある方向キーを押下した場合の事象を発生する事象発生手段と、を備えることを特徴とする人面の向きに方向キー押下を対応させるシステムが提供される。
【００１０】
上記の人面の向きに方向キー押下を対応させるシステムにおいて、前記向き検出手段は、撮像された前記人面の信号のＸ軸位置毎のＹ軸方向に沿った積分値の時間平均とその積分値の現在値との間の相互相関を基に、前記人面のＸ軸方向の向きを検出し、撮像された前記人面の信号のＹ軸位置毎のＸ軸方向に沿った積分値の時間平均とその積分値の現在値との間の相互相関を基に、前記人面のＹ軸方向の向きを検出してもよい。
【００１１】
上記の人面の向きに方向キー押下を対応させるシステムにおいて、前記向き検出手段は、撮像された前記人面の構成要素の位置の時間平均とその位置の現在値との間の相対位置関係に基づいて、前記人面の向きを検出してもよい。
【００１２】
上記の人面の向きに方向キー押下を対応させるシステムにおいて、前記向き検出手段は、撮像された前記人面中の眼球における瞳の位置の時間平均とその位置の現在値との相対位置関係に基づいて、前記人面の向きを検出してもよい。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について詳細に説明する。
【００１４】
図１は本実施形態による携帯電話の正面図である。図１を参照すると、携帯電話１０１は、テンキー１０２、オンフックボタン１０３、オフフックボタン１０４の他に方向キー１０５（上方向キー１０５−１、下方向キー１０５−２、左方向キー１０５−３及び右方向キー１０５−４）、決定キー１０６を備える。また、携帯電話１０１は、表示部１１１、カメラ１１２、スピーカ１１３、マイク１１４及びアンテナ１１５を備える。テンキー１０２は、数字や文字等を利用者が入力するために用いられる。オンフックボタン１０３は、利用者が通話を開始するために用いられる。オフフックボタン１０４は、利用者が通話を終了するために用いられる。方向キー１０５（上方向キー１０５−１、下方向キー１０５−２、左方向キー１０５−３及び右方向キー１０５−４）には、様々な機能が割り当てられており、その時々の携帯電話の状態によって各方向キーに割り当てられている機能が異なる場合もある。上方向キー１０５−１には、例えば、音声のボリュームを上げる機能、表示部１１１に表示されているカーソルを上に移動する機能、表示されている着信履歴又は発信履歴を過去のものに遡らせる機能、かな漢字変換の候補を上に表示されているものに移動する機能等が割り当てられる。下方向キー１０５−２には、例えば、音声のボリュームを下げる機能、表示部１１１に表示されているカーソルを下に移動する機能、表示されている着信履歴又は発信履歴を新しいものに代える機能、かな漢字変換の候補を上に表示されているものに移動する機能等が割り当てられる。左方向キー１０５−３には、例えば、リアダイアル先を呼び出す機能、表示部１１１に表示されているカーソルを左に移動する機能等が割り当てられる。右方向キー１０５−４には、例えば、諸機能設定メニューを表示する機能、表示部１１１に表示されているカーソルを右に移動する機能等が割り当てられる。決定キー１０６は、例えば、利用者が表示部１１１に表示されている項目を決定するために用いられる。表示部１１１は、電話番号、電話帳、諸機能設定画面、ホームページ、メール内容等を表示する。カメラ１１２は、カメラ１１２の前にある物体を撮影し、カメラ１１２の前に利用者の人面があるときには、その人面を撮影する。スピーカ１１３は通話相手の音声を出力する。マイク１１４は、利用者の音声を電気信号に変換する。アンテナ１１５は、基地局と無線信号の送受信を行う。
【００１５】
図２は、本発明の実施形態による携帯電話１０１の内部構成を示すブロック図である。図２を参照すると、携帯電話１０１は、サーキュレータ１２１、変調部１２２、マルチプレクサ１２３、復調部１２４、ディマルチプレクサ１２５、音声符号化部１２６、音声復号化部１２７、データ処理部１２８、画像処理部１２９、キー操作処理部１３０、表示制御部１３１を更に備える。
【００１６】
サーキュレータ１２１は、変調部１２２から来た無線周波数信号をアンテナ１１５に供給し、アンテナ１１５から来た無線周波数信号を復調部１２４に供給する。変調部１２２は、マルチプレクサ１２３から来たベースバンド信号をＰＤＣ方式、ＧＳＭ方式又はＷ−ＣＤＭＡ（登録商標）方式等に従って無線周波数信号変調する。マルチプレクサ１２３は、音声符号化部１２６から来た圧縮音声データ及びデータ処理部１２８から来たデータを時間軸多重する。復調部１２４は、サーキュレータ１２１から来た無線周波数信号をＰＤＣ方式、ＧＳＭ方式又はＷ−ＣＤＭＡ（登録商標）方式等に従ってベースバンド信号に復調する。ディマルチプレクサ１２５は、復調部１２４から来た信号を圧縮音声データとそれ以外のデータに分離し、前者を音声復号化部１２７に、後者をデータ処理部１２８に供給する。音声復号化部１２７は、ディマルチプレクサ１２５からきた圧縮音声データを復号する。
【００１７】
データ処理部１２８は、ＣＰＵ、ＤＳＰ、メモリ等を備え、様々なデータ処理及び制御を行う。データ処理部１２８は、その時々の携帯電話機の状態を把握しており、キー操作部１３０からあるキーが押されたという信号を入力した時に、その状態とその押されたキーに応じて、他の状態に遷移したり、表示制御部１３１、マルチプレクサ１２３への出力を行う。
【００１８】
画像処理部１２９は、本発明の特徴的な部分であり、カメラ１１２が撮影した利用者の人面の画像を処理する。この詳細については後述する。
【００１９】
キー操作処理部１３０は、例えば、キー類１０２〜１０６をマトリックススキャンして、利用者により押されたキーを判別して、押されたキーのコードをデータ処理部１２８に供給する。
【００２０】
表示制御部１３１は、描画エンジンを備え、データ処理部１２８からの命令に従って、表示部１１１に表示する画像信号を生成する。
【００２１】
次に、画像処理部１２９について説明する。画像処理部１２９は、カメラ１１２が撮影した利用者の人面が上を向いたか、下を向いたか、左を向いたか、右を向いたか、又は、正面を向いているかを検出する。利用者が顎を突き出せば人面は上を向き、利用者が顎を引けば人面は下を向き、利用者が右頬を正面に向ければ人面は左を向き、利用者が左頬を正面に向ければ人面は右を向く。そして、画像処理部１２９は、人面が上を向いたと判断したときに、上方向キー１０５−１が押されたときにキー操作処理部１３０がデータ処理部１２８に供給するコードと同一のコードをデータ処理部１２８に供給し、人面が下を向いたと判断したときに、下方向キー１０５−２が押されたときにキー操作処理部１３０がデータ処理部１２８に供給するコードと同一のコードをデータ処理部１２８に供給し、人面が左を向いたと判断したときに、左方向キー１０５−３が押されたときにキー操作処理部１３０がデータ処理部１２８に供給するコードと同一のコードをデータ処理部１２８に供給し、人面が右を向いたと判断したときに、右方向キー１０５−４が押されたときにキー操作処理部１３０がデータ処理部１２８に供給するコードと同一のコードをデータ処理部１２８に供給する。
【００２２】
カメラ１１２が撮影した画像が人面であるかどうかを判断するための機能は、例えば、画像を入力、その画像が人面のものであるか否かを教師信号としてトレーニングしたニューラルネットワークを画像処理部１２９に組み込んでおくことにより実現できる。そして、画像処理部１２９は、撮影した画像が人面であると判断したならば、以下の何れかの方法で人面の向きを判断する。
【００２３】
［相関に基づいて人面の向きを判断する方法］
左右方向の人面の向きを判断するためには、左右方向をＸ軸方向、上下方向をＹ軸方向として、画像をＸ軸の位置毎にＹ軸に沿って積分して、Ａ（Ｘ）を得る。そして、各Ｘ軸位置毎の積分値について現在から過去の所定時間までの間の時間平均値をとって、Ｂ（Ｘ）を得る。そして、ΔＸ毎にＡ（Ｘ−ΔＸ）とＢ（Ｘ）との間で相関値を計算し、相関値が最大となるΔＸの値を左右方向の人面の移動方向と判断する。そして、ΔＸが所定のしきい値ＴＨ１（ＴＨ１＞０）以上であれば、人面は左を向いたと判断し、ΔＸが−ＴＨ１以下であれば、人面は右を向いたと判断する。
【００２４】
同様に、上下方向の人面の向きを判断するためには、左右方向をＸ軸方向、上下方向をＹ軸方向として、画像をＹ軸の位置毎にＸ軸に沿って積分して、Ｃ（Ｘ）を得る。そして、各Ｙ軸位置毎の積分値について現在から過去の所定時間までの間の時間平均値をとって、Ｄ（Ｘ）を得る。そして、ΔＹ毎にＣ（Ｙ−ΔＹ）とＤ（Ｙ）との間で相関値を計算し、相関値が最大となるΔＹの値を上下方向の人面の移動方向と判断する。そして、ΔＹが所定のしきい値ＴＨ２（ＴＨ２＞０）以上であれば、人面は上を向いたと判断し、ΔＹが−ＴＨ１以下であれば、人面は下を向いたと判断する。
【００２５】
［人面の構成要素の位置に基づいて人面の向きを判断する方法］
撮影した画像から例えば、両目の位置を検出する。目の位置を検出するためには、例えば、人面画像を入力、目の中心位置を教師信号としてトレーニングしたニューラルネットワークを画像処理部１２９に組み込んでおく。そして、検出された両目の位置の平均値（右目と左目の間の中間位置）（Ｘ１、Ｙ１）を求める。そして、（Ｘ１、Ｙ１）について現在から過去の所定時間までの間の時間平均値をとって、（Ｘ２、Ｙ２）を得る。そして、ΔＸ１２＝Ｘ１−Ｘ２が所定のしきい値ＴＨ３（ＴＨ３＞０）以上であれば、人面は左を向いたと判断し、ΔＸ１２が−ＴＨ３以下であれば、人面は右を向いたと判断する。同様に、ΔＹ１２＝Ｙ１−Ｙ２が所定のしきい値ＴＨ４（ＴＨ４＞０）以上であれば、人面は上を向いたと判断し、ΔＹ１２が−ＴＨ３以下であれば、人面は下を向いたと判断する。
【００２６】
［眼球における瞳の位置に基づいて人面の向きを判断する方法］
携帯電話を用いている最中には、利用者は、人面をいずれの方向に向かせても、携帯電話の表示部を見ている。従って、利用者は、人面を上に向かせたときには、下を見るようになり、眼球における瞳の位置が下に移動する。同様に、利用者は、人面を下に向かせたときには、上を見るようになり、眼球における瞳の位置が上に移動する。利用者は、人面を左に向かせたときには、右を見るようになり、眼球における瞳の位置が右に移動する。利用者は、人面を右に向かせたときには、左を見るようになり、眼球における瞳の位置が左に移動する。
【００２７】
眼球における瞳の位置の変化は、眼球のうちの露出している部分（白目及び黒目）の幾何学的重心（Ｘ３、Ｙ３）に対する黒目の幾何学的重心（Ｘ４、Ｙ４）の相対的な位置（ΔＸ３４、ΔＹ３４）＝（Ｘ４−Ｘ３、Ｙ４−Ｙ３）の変化により検出することができる。幾何学的重心（Ｘ３、Ｙ３）は、人面画像を入力、目の中心位置を教師信号としてトレーニングしたニューラルネットワークを画像処理部１２９に組み込んでおくことにより、目の中心近傍位置を検出し、その位置の周辺の色の判別（白目の白、眼球の黒、まつげの黒、皮膚の肌色）により、眼球のうちの露出している部分を検出することにより、計算することができる。同様に、幾何学的重心（Ｘ４、Ｙ４）も、人面画像を入力、目の中心位置を教師信号としてトレーニングしたニューラルネットワークを画像処理部１２９に組み込んでおくことにより、目の中心近傍位置を検出し、その位置の周辺の色の判別（白目の白、眼球の黒、まつげの黒、皮膚の肌色）により、黒目を検出することにより、計算することができる。
【００２８】
（ΔＸ３４、ΔＹ３４）について現在から過去の所定時間までの間の時間平均値をとって、（ａｖｅ（ΔＸ３４）、ａｖｅ（ΔＹ３４））を得る。そして、ΔＸ３４−ａｖｅ（ΔＸ３４）が所定のしきい値ＴＨ５（ＴＨ５＞０）以上であれば、人面は左を向いたと判断し、ΔＸ３４−ａｖｅ（ΔＸ３４）が−ＴＨ５以下であれば、人面は右を向いたと判断する。同様に、ΔＹ３４−ａｖｅ（ΔＹ３４）が所定のしきい値ＴＨ６（ＴＨ５＞０）以上であれば、人面は上を向いたと判断し、ΔＹ３４−ａｖｅ（ΔＹ３４）が−ＴＨ６以下であれば、人面は下を向いたと判断する。
【００２９】
なお、時間平均値の計算においては、人面が上下左右のうちのいずれかの方向を向いているときの瞬間値に平均値が影響されないように時間平均をとる期間を長目にとっておく。
【００３０】
次に、画像処理部１２９の具体的な動作例を図３を参照して説明する。
【００３１】
まず、カメラ１１２により撮像をする（ステップＳ２０１）。次に、人面を検出したか否かを判断する（ステップ２０３）。人面を検出しなかったときにはステップＳ２０１に戻る。人面を検出したときには、現在の人面の向きを計算する（ステップＳ２０５）。次に、人面の向きの時間平均値を計算する（ステップＳ２０７）。次に、ステップＳ２０５で計算した現在の人面の向きとステップＳ２０７で計算した人面の向きの時間平均値を比較することにより、人面が上を向いたか否かを判断する（ステップＳ２０９）。ステップＳ２０９の判断結果が肯定的であるときには、上方向キーコードをデータ処理部１２８に供給して（ステップＳ２１１）、ステップＳ２０１に戻る。ステップＳ２０９の判断結果が否定的であるときには、人面が下を向いたか否かを判断する（ステップＳ２１３）。ステップＳ２１３の判断結果が肯定的であるときには、下方向キーコードをデータ処理部１２８に供給して（ステップＳ２１５）、ステップＳ２０１に戻る。ステップＳ２１３の判断結果が否定的であるときには、人面が左を向いたか否かを判断する（ステップＳ２１７）。ステップＳ２１７の判断結果が肯定的であるときには、左方向キーコードをデータ処理部１２８に供給して（ステップＳ２１９）、ステップＳ２０１に戻る。ステップＳ２１７の判断結果が否定的であるときには、人面が右を向いたか否かを判断する（ステップＳ２２１）。ステップＳ２２１の判断結果が肯定的であるときには、右方向キーコードをデータ処理部１２８に供給して、ステップＳ２０１に戻る。ステップＳ２２１の判断結果が否定的であるときには、そのままステップＳ２０１に戻る。
【００３２】
なお、上記の実施形態においては、携帯電話を例に取り説明をしたが、本発明の人面の向きに方向キー押下を対応させるシステム及びその方法は、他の装置（例えば、ゲーム機のジョイスティック、パーソナルコンピュータのキーボードの矢印キー又は画面上の矢印ボタン、テレビジョンのリモコンの矢印ボタン等）にも適用することができる。
【００３３】
【発明の効果】
以上説明したように、本発明によれば、人面の向きを検出して、その向きに対応した方向キーを押した時と同様の作用が生ずるので、利用者が方向キーを押すのが煩わしいときに、利用者は人面を移動するのみで方向キーを押した場合と同様の操作結果を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態による携帯電話の正面図である。
【図２】本発明の実施形態による携帯電話の内部構成を示すブロック図である。
【図３】図２の画像処理部が行う人面の向きに方向キー押下を対応させる方法を示すフローチャートである。
【符号の説明】
１０２テンキー
１０３オンフックボタン
１０４オフフックボタン
１０５方向キー１０５
１０５−１上方向キー
１０５−２下方向キー
１０５−３左方向キー
１０５−４右方向キー
１０６決定キー１０６
１１１表示部
１１２カメラ
１１３スピーカ
１１４マイク
１１５アンテナ
１２１サーキュレータ
１２２変調部
１２３マルチプレクサ
１２４復調部
１２５ディマルチプレクサ
１２６音声符号化部
１２７音声復号化部
１２８データ処理部
１２９画像処理部
１３０キー操作処理部
１３１表示制御部

Claims

人面を撮影する人面撮影手段と、
撮影された前記人面の向きを検出する向き検出手段と、
検出された前記人面の向きに対応した位置にある方向キーを押下した場合の事象を発生する事象発生手段と、
を備えることを特徴とする人面の向きに方向キー押下を対応させるシステム。
請求項１に記載の人面の向きに方向キー押下を対応させるシステムにおいて、
前記向き検出手段は、撮像された前記人面の信号のＸ軸位置毎のＹ軸方向に沿った積分値の時間平均とその積分値の現在値との間の相互相関を基に、前記人面のＸ軸方向の向きを検出し、撮像された前記人面の信号のＹ軸位置毎のＸ軸方向に沿った積分値の時間平均とその積分値の現在値との間の相互相関を基に、前記人面のＹ軸方向の向きを検出することを特徴とする人面の向きに方向キー押下を対応させるシステム。
請求項１に記載の人面の向きに方向キー押下を対応させるシステムにおいて、
前記向き検出手段は、撮像された前記人面の構成要素の位置の時間平均とその位置の現在値との間の相対位置関係に基づいて、前記人面の向きを検出することを特徴とする人面の向きに方向キー押下を対応させるシステム。
請求項１に記載の人面の向きに方向キー押下を対応させるシステムにおいて、
前記向き検出手段は、撮像された前記人面中の眼球における瞳の位置の時間平均とその位置の現在値との相対位置関係に基づいて、前記人面の向きを検出することを特徴とする人面の向きに方向キー押下を対応させるシステム。
人面を撮影する人面撮影ステップと、
撮影された前記人面の向きを検出する向き検出ステップと、
検出された前記人面の向きに対応した位置にある方向キーを押下した場合の事象を発生する事象発生ステップと、
を有することを特徴とする人面の向きに方向キー押下を対応させる方法。
請求項５に記載の人面の向きに方向キー押下を対応させる方法において、
前記向き検出ステップでは、撮像された前記人面の信号のＸ軸位置毎のＹ軸方向に沿った積分値の時間平均とその積分値の現在値との間の相互相関を基に、前記人面のＸ軸方向の向きを検出し、撮像された前記人面の信号のＹ軸位置毎のＸ軸方向に沿った積分値の時間平均とその積分値の現在値との間の相互相関を基に、前記人面のＹ軸方向の向きを検出することを特徴とする人面の向きに方向キー押下を対応させる方法。
請求項５に記載の人面の向きに方向キー押下を対応させる方法において、
前記向き検出ステップでは、撮像された前記人面の構成要素の位置の時間平均とその位置の現在値との間の相対位置関係に基づいて、前記人面の向きを検出することを特徴とする人面の向きに方向キー押下を対応させる方法。
請求項５に記載の人面の向きに方向キー押下を対応させる方法において、
前記向き検出ステップでは、撮像された前記人面中の眼球における瞳の位置の時間平均とその位置の現在値との相対位置関係に基づいて、前記人面の向きを検出することを特徴とする人面の向きに方向キー押下を対応させる方法。