JP2004206707A

JP2004206707A - カメラの入力映像を利用する端末機動作制御装置及びその方法

Info

Publication number: JP2004206707A
Application number: JP2003415797A
Authority: JP
Inventors: Myun-Churu Son; ミュン−チュルソン; Hyun-Goo Lee; ヒュン−ゴーリー
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2002-12-16
Filing date: 2003-12-12
Publication date: 2004-07-22
Anticipated expiration: 2023-12-12
Also published as: CN1533118A; CN100521695C; KR100464040B1; JP3974109B2; KR20040053997A; US20040180690A1; US7561741B2

Abstract

【課題】キーパッドでない端末機に内蔵または外蔵されたカメラにより入力される映像によって端末機の動作を制御することで、小型化されたキーパッドの狭小な空間問題による操作の不便を解消しようとする。
【解決手段】カメラが内蔵または外蔵された移動通信端末機であって、カメラにより映像を撮影する段階と、前記撮影された映像を分析及び処理する段階と、前記処理された情報から該当の命令を検出して動作を制御する段階と、を順次行うことで、端末機の動作を制御する。
【選択図】図１

Description

本発明は、端末機の動作を制御する装置及びその方法に係るもので、詳しくは、端末機に内／外蔵されたカメラに入力される映像を利用して、端末機の多様な機能を動作させる装置及びその方法に関するものである。

移動通信端末機を制御するための方法としては、キーパッド（タッチスクリーンのキーパッドを包含する）のボタンを手で押す方法が一般的に採用され、その他、音声を利用する端末機制御方法も用いられている。然し、移動通信端末機の多様な付加機能及び装置を制御するためにボタン及びその操作が追加されるため、近来、前記キーパッドを利用する方法は益々難しくて複雑になる趨勢である。

図５Ａ及び図５Ｂは、従来のキーパッド及び音声を利用する端末機制御方法を示した説明図で、図示されたように、移動通信端末機には基本的にキーパッドが装着されることで、電話番号の押圧、文字メッセージの作成、電話番号簿の検索、計算機の使用及びゲームコントロールなどの多様な機能を行い得るようになっている。このように機能が多様になるほどキーパッドを操作する方法も複雑になることで、ユーザの便宜のためメニュー化されたプログラム、容易なキーパッドの操作方法、及びキーパッドのボタン数を減らす方法などが考案されている。一方、一部の若い年齢層においては、１分当たり４００字以上の速度で文字メッセージを作成するなど、キーパッドの使用に慣れている態様が発見されるが、既成世代の大部分は、キーパッドの操作が難しく複雑であるため、端末機の多様な付加機能を十分に活用し得ない。また、端末機の内部に内蔵される多様なチップ及びバッテリーの発達によって漸次小型化され、キーパッドも小さくなることで、手の大きいユーザは、小型化されたキーパッドの操作、特に、ゲーム時のキーパッドの操作の場合、狭小な空間により不便を感じるようになっている。

また、移動通信端末機でゲームをする場合は、方向や行動をコントロールするための手の動きによって端末機のディスプレー部も一緒に動くため、ゲーム画面を見ることが不便であるだけでなく、目の疲労を誘発するという問題点があった。

一方、音声を利用する端末機制御方法は、電話をかけるとき、ユーザの音声の入力を受けて電話番号簿に予め格納しておいた音声と比較して通話を連結する方法であって、例えば、ユーザが自分の家の電話番号を‘我が家’との音声と対応されるように予め格納しておいた場合、電話をかけるとき、‘我が家’と言うことで格納された電話番号に電話をかける方法である。

然るに、このような従来の音声を利用する端末機制御方法においては、単純に電話をかける機能に限定され、電話番号簿に電話番号と対応する音声を予め格納しなければならず、格納された音声を記憶し得ない場合は、キーパッドを押して調べなければならないという不都合な点があった。

また、音声を利用する端末機制御方法においては、電話をかける機能以外の機能が、前記キーパッドを利用する端末機制御方法と同様であるため、該キーパッド方式と同様な問題点があった。

本発明は、このような従来の課題に鑑みてなされたもので、携帯端末機のカメラに入力される多様な映像により携帯端末機の動作を制御する方法を提供することを目的とする。

また、本発明の他の目的は、従来のキーパッドを利用する端末機制御方法の難しさ及び不便を解消し、ユーザの便宜を極大化し得る携帯端末機の動作制御方法を提供することにある。

また、本発明のさらに他の目的は、より容易な携帯端末機制御方法を提供することで、ユーザが携帯端末機の多様な付加機能及びサービスを利用するための携帯端末機の活用度を向上し得る方法を提供することにある。

このような目的を達成するため、本発明に係るカメラの入力映像を利用する端末機動作制御方法においては、キーパッドを押すことなく、端末機のメニュー機能や付加機能を容易に制御することを特徴とする。

また、本発明に係るカメラの入力映像を利用する端末機動作制御方法においては、携帯端末機に内蔵または外蔵されたカメラに、制御命令により映像が入力される段階と、前記入力された映像を分析及び処理する段階と、携帯端末機が命令に従って動作を行う段階と、を順次行うことを特徴とする。

また、本発明に係るカメラの入力映像を利用する端末機動作制御方法においては、その一実施例として、ユーザの顔の動きを検出して端末機の動作を制御する方法を包含してなることを特徴とする。

本発明のカメラの入力映像を利用する端末機動作制御方法は、カメラが内蔵または外蔵された移動通信端末機であって、カメラにより映像を撮影する段階と、前記撮影された映像を分析及び処理する段階と、前記処理された情報から該当の命令を検出して動作を制御する段階と、を順次行うことを特徴とする。

上記本発明のカメラの入力映像を利用する端末機動作制御方法において、前記映像を分析及び処理する段階は、初期化モードと動き検出モードとに分割されることが好ましい。

上記本発明のカメラの入力映像を利用する端末機動作制御方法において、前記初期化モードは、顔を撮影し、該撮影された顔映像から両目を連結する仮想の直線及びその垂直二等分線を求める段階と、前記垂直二等分線を延長して、肩の両方端に連結された直線と接するようにする段階と、前記垂直二等分線と肩連結直線とがなす傾きを求める段階と、前記目連結直線と肩連結直線間の距離を求める段階と、からなることが好ましい。

上記本発明のカメラの入力映像を利用する端末機動作制御方法において、前記顔映像から両目を連結する直線及びその垂直二等分線を求める段階は、顔領域から目領域を検出する過程を包含することが好ましい。

上記本発明のカメラの入力映像を利用する端末機動作制御方法において、前記初期化モードは、肩連結直線に対する中心距離を計算する過程を追加して包含することが好ましい。

上記本発明のカメラの入力映像を利用する端末機動作制御方法において、前記初期化モードは、以後の動きを比較するため、映像情報の初期値を格納する段階を追加して包含することが好ましい。

上記本発明のカメラの入力映像を利用する端末機動作制御方法において、前記動き検出モードは、動いた映像の情報を求めて、前記初期化モードで格納された初期値と比較する段階と、前記初期値との差に該当する制御情報信号を出力する段階と、からなることが好ましい。

上記本発明のカメラの入力映像を利用する端末機動作制御方法において、前記動いた映像の情報を求めて、初期化モードで格納された初期値と比較する段階は、前記初期化モードと同様の過程として、目連結直線、垂直二等分線及び肩連結直線をそれぞれ求める過程と、前記垂直二等分線と肩連結直線とがなす傾き、及び前記目連結直線と肩連結直線間の距離を求めて格納する過程と、それら求められた値から前記初期化モードの値をそれぞれ引いて傾き及び距離偏差を求める過程と、からなることが好ましい。

上記本発明のカメラの入力映像を利用する端末機動作制御方法において、前記初期値との差に該当する制御情報信号を出力する段階は、傾き偏差を臨界値１及び臨界値２と比較する過程と、距離偏差を臨界値３及び臨界値４と比較する過程と、それら比較結果によって制御情報信号を出力する過程と、からなることが好ましい。

上記本発明のカメラの入力映像を利用する端末機動作制御方法において、前記比較結果によって制御情報信号を出力する過程は、傾き偏差が臨界値１よりも大きいと右向制御を行う信号を送り、傾き偏差が臨界値２よりも小さいと左向制御を行う信号を送る過程と、距離偏差が臨界値３よりも大きいと上向制御を行う信号を送り、距離偏差が臨界値４よりも小さいと下向制御を行う信号を送る過程と、からなることが好ましい。

本発明の顔の動きを利用する端末機動作制御方法は、移動通信端末機のユーザの顔位置の初期値を格納する段階と、顔の動きを検出する段階と、顔の動きによって端末機の該当の動作を制御する段階と、を順次行うことを特徴とする。

上記本発明の顔の動きを利用する端末機動作制御方法において、前記初期値を格納する段階は、カメラにより映像の入力を受ける段階と、顔領域を検出する段階と、目領域を検出する段階と、両目を連結する直線を引く段階と、前記目連結直線に対する垂直二等分線を求める段階と、肩の両方端を連結する直線を引く段階と、前記目連結直線と垂直二等分線との傾きを求める段階と、前記目連結直線と肩連結直線間の距離を求める段階と、前記傾き及び距離の値を格納する段階と、からなることが好ましい。

上記本発明の顔の動きを利用する端末機動作制御方法において、前記顔の動きを検出する段階は、カメラにより映像の入力を受ける段階と、顔領域を検出する段階と、目領域を検出する段階と、両目を連結する直線を引く段階と、前記目連結直線に対する垂直二等分線を求める段階と、肩の両方端を連結する直線を引く段階と、前記目連結直線と垂直二等分線との傾きを求める段階と、前記目連結直線と肩連結直線間の距離を求める段階と、前記傾き及び距離の値を格納する段階と、顔の動いた傾き偏差及び距離偏差を検出する段階と、からなることが好ましい。

上記本発明の顔の動きを利用する端末機動作制御方法において、前記顔の動いた傾き偏差及び距離偏差を検出する段階は、顔の動きを検出する段階で求められた目連結直線と垂直二等分線との傾き、及び目連結直線と肩連結直線間の距離から、初期値を格納する段階で求められた目連結直線と垂直二等分線との傾き、及び目連結直線と肩連結直線間の距離をそれぞれ引く過程であることが好ましい。

上記本発明の顔の動きを利用する端末機動作制御方法において、前記顔の動きによって端末機の該当の動作を制御する段階は、傾き偏差が臨界値１よりも大きいと右向の端末機動作制御を行い、傾き偏差が臨界値２よりも小さいと左向の端末機動作制御を行う信号を送る過程と、距離偏差が臨界値３よりも大きいと上向の端末機動作制御を行い、距離偏差が臨界値４よりも小さいと下向の端末機動作制御を行う信号を送る過程と、からなることが好ましい。

上記本発明の顔の動きを利用する端末機動作制御方法において、前記端末機の動作制御は、ゲームキャラクターの動き制御を包含することが好ましい。

上記本発明の顔の動きを利用する端末機動作制御方法において、前記端末機の動作制御は、入力された制御情報による端末機のメニューやカーソルの方向動作などの端末機動作制御を包含することが好ましい。

本発明の端末機動作制御装置は、映像を撮影するカメラと、該カメラにより撮影された映像を処理する映像処理部と、該映像処理部から情報の入力を受けて端末機の動作を制御する動作制御部と、を包含して構成されたことを特徴とする。

上記本発明の端末機動作制御装置において、前記カメラは、端末機に内蔵または外蔵されたデジタルカメラであることが好ましい。

上記本発明の端末機動作制御装置において、前記映像処理部は、ユーザの動きを検出することが好ましい。

上記本発明の端末機動作制御装置において、前記動きの検出は、映像情報の初期値と以後の該当時点の値とを比較して求めることが好ましい。

上記本発明の端末機動作制御装置において、前記初期値は、映像情報の基準となる数学的な座標、距離及び傾き値を包含することが好ましい。

上記本発明の端末機動作制御装置において、前記映像情報の基準は、顔の両目を連結する直線、その直線の垂直二等分線、及び肩の両方端を連結する直線を包含することが好ましい。

上記本発明の端末機動作制御装置において、前記動作制御部は、映像処理部から入力された制御情報によって、端末機のメニューやカーソルの方向動作の端末機動作を制御することが好ましい。

上記本発明の端末機動作制御装置において、前記制御情報は、映像情報が動いた方向や傾きによる信号であることが好ましい。

上記本発明の端末機動作制御装置において、前記動作制御部は、映像処理部から入力された制御情報によって、ゲームの動作、即ち、キャラクターの動きやシューティングボタンの操作などの端末機動作を制御することが好ましい。

本発明に係るカメラの入力映像を利用する端末機動作制御方法においては、キーパッドでない端末機に内蔵または外蔵されたカメラにより入力される映像によって端末機の動作を制御することで、小型化されたキーパッドの狭小な空間問題による操作の不便を解消し得るという効果がある。

また、特に、ゲームのような機能のコントロールにおいて、動作を制御するときキーパッドの使用による画面の動きが発生しないため、利用画面が見やすくなり、ユーザの目の疲労を減らし得るという効果がある。

また、ゲームコントロールにおいて、顔やジェスチャーを利用してコントロールを行うことで、単純にキーパッドを使用する場合よりも、ユーザに係る一層の現実感を与えるという質的な向上の効果がある。

また、簡単な動作制御方法により、端末機の多様な付加機能及び装置を容易に使用することで、端末機機能の活用を増大し得るという産業的効果がある。

また、このような効果により、年齢に関係無く端末機の付加サービスを活用することで、世代間の文化的差を減らし得るという効果がある。

一般に、移動通信端末機の動作制御方法としては、主にキーパッドを押す方式が用いられた。然し、小型化された端末機の狭小な空間問題により、移動通信端末機の多様な機能の使用に不便が発生し、端末機の付加機能、サービス及び装置が漸次多様且つ複雑になることで、キーパッドだけで携帯端末機の動作を制御することが困難になり、ユーザの便宜性を阻害するという不都合な点があった。

従って、本発明は、前記キーパッドを利用する端末機制御方法の代りに、移動通信端末機に内蔵または外蔵されたカメラにより撮影された映像を利用して移動通信端末機の動作を制御する方案を提示する。

以下、本発明の実施の形態に対し、図面に基づいて説明する。

図１は、本発明に係るカメラの入力映像を利用する端末機動作制御装置の構成を示したブロック図で、図示されたように、本発明に係るカメラの入力映像を利用する端末機動作制御装置においては、端末機に装着されて顔などの映像を撮影するためのカメラ１０と、該カメラ１０により撮影された映像を分析及び処理する映像処理部２０と、該映像処理部２０で処理された映像から該当の命令を検出して動作を制御する動作制御部３０と、を包含して構成されている。

且つ、前記カメラ１０は、移動通信端末機に内／外蔵され、映像をセンサ（図示せず）により感知し、その感知信号の入力を受けるデジタルカメラである。

また、前記映像処理部２０は、前記カメラ１０から映像情報として、例えば、顔、手及び体の動き、唇の模様による読唇（Ｌｉｐ−ｒｅａｄｉｎｇ）、瞼のちらつきによる命令コントロール、棒のような道具による命令の伝達、並びに絵情報、文字及び数字などを包含する多様な映像情報の入力を受け、各情報に適合に映像を分析及び処理する機能を行う。

また、前記動作制御部３０は、前記処理された映像を所定のアルゴリズムにより検出し、該検出された値に相応する端末機のメニューやカーソルの動作方向を制御する役割をする。

以下、このように構成された本発明に係るカメラの入力映像を利用する端末機動作制御方法に対して説明する。

図２は、本発明に係るカメラの入力映像を利用する端末機動作制御方法の一実施例を示した図であり、カメラに撮影された顔の動きによる端末機動作制御方法を示した説明図である。

前述した動作方向を制御するためには、まず、顔を検出し、その顔から目部位を認識する過程が先行されるが、このような顔及び各部位（目、鼻及び口など）に対する認識方法は、既に公知された多様な技術から選択して利用する。例えば、パターンマッチング方法中、サポートベクターマシン（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ；以下、ＳＶＭと略称す）アルゴリズム、及び標準化された平均顔色情報を使用するバックプロパゲーションニューラルネットワーク（Ｂａｃｋ−ＰｒｏｐａｇａｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ）アルゴリズムなどがある。

以下、前記顔領域認識方法の二つのアルゴリズムに対して説明する。

前記ＳＶＭアルゴリズムは、基本的に二つの範疇を有する客体を分類する方法であって、１９７９年Ｖａｐｎｉｋにより発表されたが、最近、その性能が認められて脚光を浴びるようになった方法である。

二つの範疇から構成された客体がある一次元の空間に位置し、且つある一つのハイパープレーン（ｈｙｐｅｒ−ｐｌａｎｅ）に区分される場合、適切なハイパープレーンを探すことで誤分類を避けることができる。このとき、前記二つの範疇を区分するハイパープレーンは多く存在し得るが、その中で最適のハイパープレーンを決定する方法が前記ＳＶＭアルゴリズムであって、現在研究されている顔認識アルゴリズムの代表的なアルゴリズムであり、このような分離ハイパープレーンを導出することをＳＶＭを学習するという。

また、前記バックプロパゲーションニューラルネットワークアルゴリズムは、分類や予測業務に適切なアルゴリズムであって、特に、モデルプロセスに対する理解よりは結果が重要な場合に汎用される方式で、加重値を調節して選定された入力値から最適の出力値を導出する方法である。

前記バックプロパゲーションニューラルネットワークアルゴリズムは、白黒の停止映像からスライディングウィンドウを利用して学習された顔模様を検索することを特徴とし、二つ以上の複数の顔を抽出することもできる。

即ち、図２に示したように、まず、移動通信端末機に装着されたカメラにより入力された映像から顔領域を先に検出し、初期化モードの過程を行う。即ち、前記検出された顔領域から人の目の位置を検出し、両目を相互連結する直線１００を引いた後、該目連結直線１００に対する垂直二等分線２００を求める。

その後、前記垂直二等分線２００を体部まで延長して、その垂直二等分線２００の延長線が肩の両方端を連結する仮想の直線（以後、肩連結直線３００と称する）と接するようにする。

このとき、前記目連結直線１００と垂直二等分線２００との交点から、前記垂直二等分線２００の延長線と肩連結直線３００とが接する点までの距離は、顔の上／下動きを区分するための情報となり、前記垂直二等分線２００の延長線と肩連結直線３００とがなす傾き（θ）は、顔の左／右動きを区分するための情報となる。

即ち、図２には、説明の便宜上、体部全体が動くように図示されているが、実際は、ユーザが顔を左／右に動かす場合、体部全体が左／右に動くことでないため、前記肩連結直線３００を基準線として前記目連結直線１００の垂直二等分線２００がなす角度（θ）から、動きの方向及びその程度を検出することができるし、同様に、前記肩連結直線３００から前記目連結直線１００までの距離から、ユーザが顔を下に動かすかまたは上に動かすかの方向及び程度を検出することができる。

且つ、端末機の動きにより肩の両方端までの映像が入力されない場合のため、前記肩連結直線３００の中心距離（ｘ）を計算することで、肩の一方端がカメラに撮影されなかった場合も、肩の他方端から水平基準線を引くことができるようにする。

よって、前記初期化過程により、ユーザに係る肩連結直線３００の中心距離（ｘ）、及び該肩連結直線３００から目連結直線１００までの距離（ｙ）が決定され、顔をまっすぐ上げる場合、前記肩連結直線３００と垂直二等分線２００とがなす角度（θ）は９０゜となり、それら値（ｘ、ｙ、θ）を初期値として格納する。

以下、このような初期化モードの過程に対し、図３に基づいてより詳細に説明する。

図３は、本発明に係るカメラに撮影された顔の動きを検出するための初期化モードの過程を示したフローチャートで、図示されたように、まず、移動通信端末機に内蔵または外蔵されたカメラが映像の撮影を開始する（Ｓ１）。その後、入力された映像を処理して情報を検出し、現在撮影される映像に顔領域があるかないかを確認する（Ｓ２）。前記撮影された映像に顔領域がないと、再びカメラが映像の撮影を開始する最初の段階（Ｓ１）に戻る（Ｓ３）。反面、前記撮影された映像に顔領域があると、その顔領域を検出する（Ｓ４）。このように顔領域が検出されると、該検出された顔領域内に目領域が包含されているか、即ち、該目領域の有無を確認する（Ｓ５）。次いで、目領域が撮影されていないと、再びカメラが映像の撮影を開始する最初の段階（Ｓ１）に戻り（Ｓ６）、目領域が撮影されていると、顔領域から目領域を検出する（Ｓ７）。その後、該検出された目領域で両目を相互連結する直線を引く（Ｓ８）。次いで、該目連結直線を直角に二等分する垂直二等分線（ｐｅｒｐｅｎｄｉｃｕｌａｒａｔｍｉｄｐｏｉｎｔ）を求める（Ｓ９）。次いで、ユーザの肩の両方端を連結する直線を求める（Ｓ１０）。その後、該肩連結直線と垂直二等分線との傾き（θ）、及び前記目連結直線と肩連結直線間の距離（ｙ）を求めて初期値として格納し、前記肩連結直線に対する中心距離（ｘ）を計算する（Ｓ１１）。このとき、それら値（ｙ、θ）は、人の動きが機械のように正確でないことを考慮して所定傾き及び距離偏差を適用し、以後の動き検出モードにおいて、その偏差を適用した値が既設定された臨界値（Ｔｈｒｅｓｈｏｌｄ；臨界値１〜臨界値４）以上／以下の場合、左／右または上／下に動いたと判断する。前記中心距離（ｘ）は、肩の一方端がカメラに撮影されなかった場合も、肩の他方端から傾きを検出するための水平基準線を求めるためのものである。

図４Ａ、Ｂは、本発明に係るカメラに撮影された顔の動きを検出して端末機の動作を制御する動き検出モードを示したフローチャートで、図示されたように、まず、移動通信端末機に内蔵または外蔵されたカメラが映像の撮影を開始する（Ｓ１００）。その後、前記初期化モードと同様に、入力された映像を処理して情報を検出し、現在撮影される映像に顔領域があるかないかを確認する（Ｓ１０１）。該撮影された映像に顔領域がないと、再びカメラが映像の撮影を開始する最初の段階（Ｓ１００）に戻る（Ｓ１０２）。反面、前記撮影された映像に顔領域があると、その顔領域を検出する（Ｓ１０３）。このように顔領域が検出されると、該検出された顔領域で目領域の有無を確認する（Ｓ１０４）。次いで、目領域が撮影されていないと、再びカメラが映像の撮影を開始する最初の段階（Ｓ１００）に戻り（Ｓ１０５）、目領域が撮影されていると、顔領域から目領域を検出する（Ｓ１０６）。その後、該検出された目領域で両目を相互連結する直線を引く（Ｓ１０７）。次いで、該目連結直線に対する垂直二等分線を求める（Ｓ１０８）。次いで、ユーザの肩の両方端を連結する仮想の直線を求める（Ｓ１０９）。その後、該肩連結直線と垂直二等分線との傾き（θ’）、前記目連結直線と肩連結直線間の距離（ｙ’）、及び前記肩連結直線の中心距離（ｘ’）を求めて、以後の過程で比較する値とする（Ｓ１１０）。

その後、このように求められた肩連結直線と垂直二等分線との傾き（θ’）と、前記初期化モードで求められた傾き（θ）との差、即ち、動きによる傾き偏差を既設定された臨界値１と比較する（Ｓ１１１）。前記傾き偏差が臨界値１より小さいと、該傾き偏差を臨界値２と比較する（Ｓ１１２）。前記傾き偏差が臨界値１よりも大きいと、左側に動いたと判断して左側に動きコントロールを行う（Ｓ１１４）。一方、前記傾き偏差を臨界値２と比較する段階（Ｓ１１２）で、該傾き偏差が臨界値２より大きいと、即ち、臨界値１よりは小さく、臨界値２よりは大きいと、動きが殆どないと判断して最初の映像の入力を受ける段階（Ｓ１００）に戻る（Ｓ１３０）。反面、前記傾き偏差が臨界値２よりも小さいと、右側に動いたと判断して右側に動きコントロールを行う（Ｓ１１４）。即ち、左側を正の角度、右側を負の角度とし、例えば、臨界値１を７゜、臨界値２を−７゜と仮定するとき、傾き偏差が１２゜であると、臨界値１よりも大きいため左側に動いたと判断し、傾き偏差が３゜であると、臨界値１よりは小さく、臨界値２よりは大きいため動きがないと判断する。同様に、若し、傾き偏差が−１０゜であると、臨界値２よりも小さいため右側に動いたと判断する。

また、前記Ｓ１１０以後にＳ１１１と同時に行われる過程として、前記目連結直線から肩連結直線までの距離（ｙ’）と、前記初期化モードで格納された距離（ｙ）との差、即ち、距離偏差を臨界値３と比較する（Ｓ１１５）。前記距離偏差が臨界値３より小さいと、該距離偏差を臨界値４と比較し（Ｓ１１６）、前記距離偏差が臨界値３よりも大きいと、上方に動いたと判断して上方に動きコントロールを行う（Ｓ１１８）。一方、前記距離偏差を臨界値４と比較する段階（Ｓ１１６）で、該距離偏差が臨界値４より大きいと、即ち、臨界値３よりは小さく、臨界値４よりは大きいと、動きが殆どないと判断して最初の映像の入力を受ける段階（Ｓ１００）に戻る（Ｓ１１７）。反面、前記距離偏差が臨界値４よりも小さいと、下方に動いたと判断して下方に該当の動きコントロールを行う（Ｓ１１８）。

以下、本発明の他の実施例として、カメラの入力映像を利用する端末機のゲーム動作コントロール方法に対して説明する。

カメラの映像入力を利用して端末機のゲーム動作をコントロールする方法は、初期化された顔の基準位置と変化された顔の基準位置とを分別するため、基準値と変化した値との偏差を検出して、ユーザの確実な動作のみを認識するようにし、該認識された動作により、ゲームキャラクターの動作やゲーム進行動作を制御するものである。即ち、ユーザが顔を左側に動かしたり頭を左側に傾けたりすると、ゲームキャラクターが左側に移動し、ユーザが顔を右側に動かしたり頭を右に傾けたりすると、ゲームキャラクターが右側に移動する。且つ、ユーザが頭を上げると、キャラクターは上方に動くか、またはジャンプをし、頭を下げると、キャラクターは下方に動くか、またはその場に座る動作を行うが、このような方式は、前記図４Ａ及び図４Ｂと同様に、映像を撮影する段階から動作を行う段階までの過程を行うことができる。且つ、前記方式においては、顔の動きだけでなく手振りのような多様なジェスチャーの入力を受けて端末機の動作を制御する様々な応用方法も包含することができる。

以上説明したように、本発明は、キーパッドでない端末機に内蔵または外蔵されたカメラにより入力される映像によって端末機の動作を制御することで、小型化されたキーパッドの狭小な空間問題による操作の不便を解消しようとする。

カメラが内蔵または外蔵された移動通信端末機であって、カメラにより映像を撮影する段階と、前記撮影された映像を分析及び処理する段階と、前記処理された情報から該当の命令を検出して動作を制御する段階と、を順次行うことで、端末機の動作を制御する。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明に係るカメラの入力映像を利用する端末機動作制御装置の構成を示したブロック図である。本発明に係るカメラに撮影された顔の動きによる端末機動作制御方法を示した説明図である。本発明に係る顔の動きを検出するための初期化モードの過程を示したフローチャートである。Ａは、本発明に係る顔の動きを検出する動き検出モードの過程を示したフローチャートである。Ｂは、本発明に係る顔の動きを検出する動き検出モードの過程を示したフローチャートである。Ａは、従来のキーパッド及び音声を利用する端末機制御方法を示した説明図である。Ｂは、従来のキーパッド及び音声を利用する端末機制御方法を示した説明図である。

符号の説明

１０カメラ
２０映像処理部
３０動作制御部
１００目連結直線
２００垂直二等分線
３００肩連結直線

Claims

カメラが内蔵または外蔵された移動通信端末機であって、
カメラにより映像を撮影する段階と、
前記撮影された映像を分析及び処理する段階と、
前記処理された情報から該当の命令を検出して動作を制御する段階と、
を順次行うことを特徴とするカメラの入力映像を利用する端末機動作制御方法。
前記映像を分析及び処理する段階は、
初期化モードと動き検出モードとに分割されることを特徴とする請求項１記載のカメラの入力映像を利用する端末機動作制御方法。
前記初期化モードは、
顔を撮影し、該撮影された顔映像から両目を連結する仮想の直線及びその垂直二等分線を求める段階と、
前記垂直二等分線を延長して、肩の両方端に連結された直線と接するようにする段階と、
前記垂直二等分線と肩連結直線とがなす傾きを求める段階と、
前記目連結直線と肩連結直線間の距離を求める段階と、
からなることを特徴とする請求項２記載のカメラの入力映像を利用する端末機動作制御方法。
前記顔映像から両目を連結する直線及びその垂直二等分線を求める段階は、
顔領域から目領域を検出する過程を包含することを特徴とする請求項３記載のカメラの入力映像を利用する端末機動作制御方法。
前記初期化モードは、
肩連結直線に対する中心距離を計算する過程を追加して包含することを特徴とする請求項２記載のカメラの入力映像を利用する端末機動作制御方法。
前記初期化モードは、
以後の動きを比較するため、映像情報の初期値を格納する段階を追加して包含することを特徴とする請求項２記載のカメラの入力映像を利用する端末機動作制御方法。
前記動き検出モードは、
動いた映像の情報を求めて、前記初期化モードで格納された初期値と比較する段階と、
前記初期値との差に該当する制御情報信号を出力する段階と、
からなることを特徴とする請求項２記載のカメラの入力映像を利用する端末機動作制御方法。
前記動いた映像の情報を求めて、初期化モードで格納された初期値と比較する段階は、
前記初期化モードと同様の過程として、目連結直線、垂直二等分線及び肩連結直線をそれぞれ求める過程と、
前記垂直二等分線と肩連結直線とがなす傾き、及び前記目連結直線と肩連結直線間の距離を求めて格納する過程と、
それら求められた値から前記初期化モードの値をそれぞれ引いて傾き及び距離偏差を求める過程と、
からなることを特徴とする請求項７記載のカメラの入力映像を利用する端末機動作制御方法。
前記初期値との差に該当する制御情報信号を出力する段階は、
傾き偏差を臨界値１及び臨界値２と比較する過程と、
距離偏差を臨界値３及び臨界値４と比較する過程と、
それら比較結果によって制御情報信号を出力する過程と、
からなることを特徴とする請求項７記載のカメラの入力映像を利用する端末機動作制御方法。
前記比較結果によって制御情報信号を出力する過程は、
傾き偏差が臨界値１よりも大きいと右向制御を行う信号を送り、傾き偏差が臨界値２よりも小さいと左向制御を行う信号を送る過程と、
距離偏差が臨界値３よりも大きいと上向制御を行う信号を送り、距離偏差が臨界値４よりも小さいと下向制御を行う信号を送る過程と、
からなることを特徴とする請求項９記載のカメラの入力映像を利用する端末機動作制御方法。
移動通信端末機のユーザの顔位置の初期値を格納する段階と、
顔の動きを検出する段階と、
顔の動きによって端末機の該当の動作を制御する段階と、
を順次行うことを特徴とする顔の動きを利用する端末機動作制御方法。
前記初期値を格納する段階は、
カメラにより映像の入力を受ける段階と、
顔領域を検出する段階と、
目領域を検出する段階と、
両目を連結する直線を引く段階と、
前記目連結直線に対する垂直二等分線を求める段階と、
肩の両方端を連結する直線を引く段階と、
前記目連結直線と垂直二等分線との傾きを求める段階と、
前記目連結直線と肩連結直線間の距離を求める段階と、
前記傾き及び距離の値を格納する段階と、
からなることを特徴とする請求項１１記載の顔の動きを利用する端末機動作制御方法。
前記顔の動きを検出する段階は、
カメラにより映像の入力を受ける段階と、
顔領域を検出する段階と、
目領域を検出する段階と、
両目を連結する直線を引く段階と、
前記目連結直線に対する垂直二等分線を求める段階と、
肩の両方端を連結する直線を引く段階と、
前記目連結直線と垂直二等分線との傾きを求める段階と、
前記目連結直線と肩連結直線間の距離を求める段階と、
前記傾き及び距離の値を格納する段階と、
顔の動いた傾き偏差及び距離偏差を検出する段階と、
からなることを特徴とする請求項１１記載の顔の動きを利用する端末機動作制御方法。
前記顔の動いた傾き偏差及び距離偏差を検出する段階は、
顔の動きを検出する段階で求められた目連結直線と垂直二等分線との傾き、及び目連結直線と肩連結直線間の距離から、初期値を格納する段階で求められた目連結直線と垂直二等分線との傾き、及び目連結直線と肩連結直線間の距離をそれぞれ引く過程であることを特徴とする請求項１３記載の顔の動きを利用する端末機動作制御方法。
前記顔の動きによって端末機の該当の動作を制御する段階は、
傾き偏差が臨界値１よりも大きいと右向の端末機動作制御を行い、傾き偏差が臨界値２よりも小さいと左向の端末機動作制御を行う信号を送る過程と、
距離偏差が臨界値３よりも大きいと上向の端末機動作制御を行い、距離偏差が臨界値４よりも小さいと下向の端末機動作制御を行う信号を送る過程と、
からなることを特徴とする請求項１１記載の顔の動きを利用する端末機動作制御方法。
前記端末機の動作制御は、
ゲームキャラクターの動き制御を包含することを特徴とする請求項１１記載の顔の動きを利用する端末機動作制御方法。
前記端末機の動作制御は、
入力された制御情報による端末機のメニューやカーソルの方向動作などの端末機動作制御を包含することを特徴とする請求項１１記載の顔の動きを利用する端末機動作制御方法。
映像を撮影するカメラと、
該カメラにより撮影された映像を処理する映像処理部と、
該映像処理部から情報の入力を受けて端末機の動作を制御する動作制御部と、
を包含して構成されたことを特徴とする端末機動作制御装置。
前記カメラは、
端末機に内蔵または外蔵されたデジタルカメラであることを特徴とする請求項１８記載の端末機動作制御装置。
前記映像処理部は、
ユーザの動きを検出することを特徴とする請求項１８記載の端末機動作制御装置。
前記動きの検出は、
映像情報の初期値と以後の該当時点の値とを比較して求めることを特徴とする請求項２０記載の端末機動作制御装置。
前記初期値は、
映像情報の基準となる数学的な座標、距離及び傾き値を包含することを特徴とする請求項２１記載の端末機動作制御装置。
前記映像情報の基準は、
顔の両目を連結する直線、その直線の垂直二等分線、及び肩の両方端を連結する直線を包含することを特徴とする請求項２２記載の端末機動作制御装置。
前記動作制御部は、
映像処理部から入力された制御情報によって、端末機のメニューやカーソルの方向動作の端末機動作を制御することを特徴とする請求項１８記載の端末機動作制御装置。
前記制御情報は、
映像情報が動いた方向や傾きによる信号であることを特徴とする請求項２４記載の端末機動作制御装置。
前記動作制御部は、
映像処理部から入力された制御情報によって、ゲームの動作、即ち、キャラクターの動きやシューティングボタンの操作などの端末機動作を制御することを特徴とする請求項１８記載の端末機動作制御装置。
前記制御情報は、
映像情報が動いた方向や傾きによる信号であることを特徴とする請求項２６記載の端末機動作制御装置。