JP2013182616A - 映像内のユーザの視線補正方法、機械可読の格納媒体及び携帯端末 - Google Patents

Abstract

【課題】映像内のユーザの視線補正方法及び装置を提供する。
【解決手段】映像内のユーザの視線補正方法は、映像内のユーザの顔を検出するステップと、検出された顔内の目領域の輪郭点を検出するステップと、映像内の検出された目領域の輪郭点を基準カメラ凝視方向に対応する輪郭点に変化させるステップと、変化した輪郭点によって該当領域を変形させることによって映像内のユーザの視線を補正するステップと、を含む。
【選択図】図２

Description

本発明は、映像補正方法に関し、特に、カメラを凝視する視線と表示部を凝視する視線の差異を補正する方法に関する。

カメラを用いたテレビ電話及びテレビ会議において、カメラを凝視する視線と表示部を凝視する視線の差異によって表示部を眺めて対話するユーザの視線はカメラの各位置によって異なる。カメラが表示部の左側上端に位置すると、表示部を眺めるユーザの視線は表示部の右側下端を眺めるように見えて、カメラが表示部の右側上端に位置すると、表示部を眺めるユーザの視線は表示部の左側下端を眺めるように見える。また、カメラが表示部の中央上端に位置すると、ユーザの視線は表示部の中央下端を眺めるように見える。

従来の視線補正方法では、テレビ会議の際に、表示部の上／下または左／右に設置された２台のカメラにより入力された２映像の差異を比較分析して正面（カメラ）を見るような映像を生成する技術がある。正面を眺める映像を生成するために、３Ｄ顔モデルや、３Ｄ目モデルを使用する技術が使われる。

視線不一致問題を解決しようとした従来の技術では、主に２台のカメラ位置が固定され、ユーザとカメラとの距離、及びカメラと表示部と関連した視線差異を計算して顔全体のポーズを変化させることによって、視線不一致現象を解決しようとした。このようにヘッドのポーズを変化させるためには、顔輪郭線領域と背景を分離しなければならない技術が必要である。自動で顔輪郭線領域と背景を分離する技術は、時間が長くかかるだけでなく、その性能も精巧でない。また、２台のカメラを使用すべきである問題がある。ユーザが移動しながら通話可能な携帯通信端末上では、カメラとユーザとの距離及び背景が頻繁に変化するために、リアルタイムテレビ電話及び鏡機能、セルフ撮影などにはさらに活用し難い。

韓国特許登録１０−０３０７８５４号公報

本発明の特定実施形態の目的は、従来技術と関連した問題点及び／または短所のうち、少なくとも一つを少なくとも部分的に解決、軽減または除去することにある。

上記した問題点を解決するために案出された本発明は、単一カメラを用いたテレビ電話及びテレビ会議、鏡機能、セルフ撮影など、カメラと表示部と関連した視線差異によって視線不一致が発生する全ての応用技術及び装置で、リアルタイムまたは高速で映像内のユーザの視線を補正することにその目的がある。

本発明の一様態による、映像内のユーザの視線補正方法は、映像内のユーザの顔を検出するステップと、上記検出された顔内の目領域の輪郭点を検出するステップと、上記映像内の上記検出された目領域の輪郭点を基準カメラ凝視方向に対応する輪郭点に変化させるステップと、上記変化された輪郭点によって上記目領域を変形させることによって上記映像内の上記ユーザの視線を補正するステップと、を含む。

本発明の他の態様によれば、映像内のユーザの視線補正方法を実行するためのプログラムを記録した機械可読の格納媒体が提供される。

本発明のさらに他の態様によれば、機械可読の格納媒体を含む携帯端末が提供される。

本発明のさらに他の態様による、映像内のユーザの視線補正のための携帯端末は、映像を撮影するカメラと、上記映像内のユーザの顔を検出し、上記検出された顔内の目領域の輪郭点を検出し、上記映像内の上記検出された目領域の輪郭点を基準カメラ凝視方向に対応する輪郭点に変化させて、上記変化された輪郭点によって上記目領域を変形させることによって上記映像内の上記ユーザの視線を補正する制御部と、上記制御部により上記目領域が変形された映像を表示する表示部と、を含む。

本発明は、携帯通信端末のように機種別、製造社別にカメラが携帯通信端末の左側上端、中央上端、右側上端など多様な位置に装着されている電子装置と制限された容量の格納媒体及び演算処理能力を設ける電子装置で、別途のカメラやセンサを追加しなくても電子装置に装着された単一カメラを使用してテレビ電話及びテレビ会議、鏡機能、セルフ撮影など、カメラと表示部と関連した視線差異によって視線不一致が発生する全ての応用技術で、リアルタイムまたは高速でユーザの視線を補正することができる。本発明によれば、テレビ電話及びテレビ会議時、対話者間の視線一致（eye contact）を通じてより対話に集中可能であるだけでなく、ユーザ便宜性を増大させる効果がある。また、本発明によれば、鏡機能で実際に鏡を眺めるような効果を与え、セルフ撮影でユーザが良い映像を得るために携帯通信端末を持ち上げてカメラを見ながら撮影をしなくて、表示部に見える自身の顔を眺めて撮影をすることができるようにする便宜性を付与する利点が提供される。

本発明の望ましい実施形態による通信端末の構成を示す図である。 本発明の視線補正方法を示すフローチャートである。 検出された顔映像の例を示す図である。 目及び鼻検出情報を再調整するプロセスを示すフローチャートである。 視線補正が適合したか否かを判断する過程を説明するための図である。 検出された目の輪郭線を示す例示図である。 目の輪郭線変換を説明するための図である。 テクスチャワーピングによって変換された目の形状を示する図である。 テクスチャワーピングに使用される楕円マスクを説明するための図である。 本発明の視線補正方法による効果を説明するための図である。

以下、本発明の好適な実施形態について添付図面を参照しながら詳細に説明する。図面における同様な構成要素に対しては、他の図面に表示されても、同様な参照番号及び符号を付けてあることに注意されたい。また、下記の説明における具体的な特定事項は、本発明の実施形態の包括的な理解を助けるために提供するものであり、この理解を助けるために様々な特定の詳細を含むが、単に例示に過ぎない。さらに、明瞭性と簡潔性の観点から、本発明に関連した公知の機能や構成に関する具体的な説明が本発明の要旨を不明瞭にすると判断される場合には、その詳細な説明を省略する。

図１は、本発明の望ましい実施形態による通信端末の構成を示す図である。通信端末１００は、スマートフォン、携帯電話、ゲーム機、ノートパソコン、ラップトップコンピュータ、タブレット（Tablet）ＰＣ、ＰＭＰ（Personal Media Player）、ＰＤＡ（Personal Digital Assistants）などのような携帯端末、ＴＶ、ディスプレイ装置、車両用ヘッドユニットなどであり得る。

通信端末１００は、スピーカ１１２、マイク１１４及び表示部１１６を含むユーザインターフェース１１０、センサ部１２０、メモリ１３０、通信部１４０、カメラ１５０及び制御部１６０を含む。なお、通信端末１００は、複数のボタンを含むキーパッド、コネクタ、マウスなどをさらに含み得る。

スピーカ１１２は、制御部１６０から入力された音声信号（または音声データ）を外部に出力し、マイク１１４は、ユーザの音声を電気的音声信号として検出して制御部１６０に出力する。

表示部１１６は、制御部１６０から入力された映像信号による映像を表示すると共に、ユーザ入力データを受信して制御部１６０に出力することができる。表示部１１６は、ＬＣＤ（liquid crystal display）、ＯＬＥＤ（Organic Light Emitting Diodes）、ＬＥＤなどのようなディスプレイユニットと、ディスプレイユニットの下または上に配置されるタッチパネルを含み得る。上記タッチパネルは、ユーザ入力を感知する。該当タッチパネルはユーザ入力手段（例えば、指、スタイラスペン（stylus pen）など）が表示部１１６の表面を押さえれば、入力位置（または座標）及び／または入力状態（マウスダウン、マウスアップ、マウス移動など）に対する情報を有する感知信号（またはタッチ感知信号）を出力する。例えば、ユーザは、表示部１１６の画面（すなわち、表示部１１６の表面）に表示された多様な実行可能なアイテムをタッチして該当アイテムと関連したアプリケーションを実行する。表示部１１６は、ユーザの入力を受信する手段であり、ユーザがカメラ１５０を用いて自身の映像を撮影するセルフ撮影アプリケーション、カメラアプリケーション、カメラ１５０により撮影されたユーザの映像を相手方端末に伝送し、相手方の映像を見ながら通話するテレビ電話アプリケーション、あたかも鏡のようにカメラ１５０により撮影されたユーザの映像を表示部１１６に表示する鏡アプリケーションなどのアプリケーションと関連した画面を出力する。この例で、表示部１１６の例としてディスプレイユニット及びタッチパネルを含むタッチスクリーンを挙げているが、表示部１１６は通常のディスプレイユニットだけで構成されることもできる。

センサ部１２０は、通信端末１００の位置、方位、動きを感知するセンサとして、加速度センサ、重力センサ、衝撃センサ、ＧＰＳ、コンパスセンサのうち少なくとも一つを含む。

メモリ１３０は、通信端末１００の運営オペレーティングシステム、多様なアプリケーション、通信端末１００に入力される情報、データ、ファイルなどと、その内部で生成される情報、データ、ファイルなどを格納する。

通信部１４０は、制御部１６０により生成されたメッセージ、データ、ファイルなどを有線または無線で伝送するか、有線または無線でメッセージ、データ、ファイルなどを受信して制御部１６０に出力する。

カメラ１５０は、レンズシステム、イメージセンサ、フラッシュなどを含み得る。カメラはレンズシステムを通じて入力される（または撮影される）光信号を電気的な映像信号に変換して制御部１６０に出力し、ユーザはカメラ１５０を通じて動映像または停止映像を撮影することができる。

レンズシステムは、外部から入射された光を収斂させることによって被写体のイメージを形成する。該当レンズシステムは少なくとも一つのレンズを含み、各レンズは凸レンズ、非球面レンズなどであり得る。該当レンズシステムはその中心を通過する光軸（optical axis）に対して対称性を有し、該当光軸は中心軸として定義される。該当イメージセンサは、レンズシステムを通じて入射された外部光により形成された光学的映像を電気的映像信号として検出する。該当イメージセンサは、Ｍ×Ｎ行列（matrix）構造で配置された複数の画素（pixel）ユニットを具備し、該当画素ユニットはフォトダイオード及び複数のトランジスタを含み得る。該当画素ユニットは、入射された光により生成された電荷を蓄積し、蓄積された電荷による電圧は該当入射された光の照度を示す。停止映像または動映像を構成する一つの映像を処理する場合において、該当イメージセンサから出力される映像信号は、該当画素ユニットから出力される電圧（すなわち、画素値）の集合で構成され、該当映像信号は一つのフレーム（すなわち、停止映像）を示す。また、該当フレームはＭ×Ｎ画素で構成される。該当イメージセンサとしては、ＣＣＤ（Charge-Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどを使用することができる。

制御部１６０は、中央処理処置として通信端末１００の全般的な動作を制御し、本発明による視線補正方法を遂行する役割をする。

プログラム提供装置２０は、通信端末１００が視線補正方法を遂行するようにする指示を含むプログラム、該当プログラムのアップデート情報などを格納するためのメモリ２１と、通信端末１００との有線または無線通信を遂行するための通信部２２と、通信端末１００の要請または自動で該当プログラムまたはアップデート情報を通信端末１００に伝送する制御部２３と、を含む。

図２は、本発明の視線補正方法を示すフローチャートである。

ステップ２１０で、制御部１６０は、カメラ１５０から映像フレームを受信するか、メモリ１３０に格納された映像フレームを読み取る。この方法は一つの映像フレームに対して記述されているが、この方法は順に入力または読み取られる映像フレームに対して各々適用され得る。また、この方法は通信端末１００が一対一テレビ電話または多者間テレビ会議を遂行する途中に、カメラからリアルタイムで入力される映像に対して遂行されるか、セルフ撮影アプリケーション、鏡アプリケーションなどのような異なるアプリケーションモードでカメラからリアルタイムで入力される映像に対して遂行され得る。

ステップ２２０で、制御部１６０は映像フレームから顔、目及び鼻を検出する。この例では、顔及び目以外に鼻まで検出することを例示しているが、本発明は視線補正に関することであるから、鼻や鼻の座標を検出することは省略され得る。

制御部１６０は、映像フレームに顔映像が含まれているか否かを判断し、顔映像が含まれていると、該当顔映像を抽出する。ここで、顔検出は通常の顔検出方法により遂行されるが、顔の輪郭線、顔皮膚の色相及び／または質感、テンプレートなどを用いた顔抽出技術が使用され得る。例えば、制御部１６０は、複数の顔映像を通じて顔学習を遂行し、蓄積された顔学習データを用いて入力された映像フレームから顔映像を検出することができる。

図３は、検出された顔映像の例を示す図である。

制御部１６０は、目及び鼻の情報を検出する。このような目及び鼻の検出は上述した顔学習データを用いてなされることができる。制御部１６０は、左目及び右目の中心座標等と鼻の中心座標を検出する。目の中心座標は瞳孔の中心点に対するＸ、Ｙ軸座標でもあり、鼻の中心座標は鼻先のＸ、Ｙ軸座標でもある。

制御部１６０は、視線補正の性能安定化のために、目検出情報及び鼻検出情報を再調整するプロセスを遂行することができる。各映像フレームに対して目と鼻を検出した場合、隣接したフレームにおいて目と鼻の位置変化が大きく現れることがある。すなわち、検出された目の座標と鼻の座標に該当する点を順次的なフレームにかけて表示部１１６に表示すると、不安定に震える現象が発生することがある。このような現象は、目輪郭境界線検出と顔の角度及び／または傾き推定に影響を及ぼすことがあり、結果的に視線補正された目の震え現象が発生するようになる。

図４は、目及び鼻検出情報を再調整するプロセスを示すフローチャートである。このプロセスで座標調整が遂行されないと、現在フレームでの目及び鼻座標がそのまま使用される。

ステップ４１０で、制御部１６０は、現在フレームで目及び鼻座標を検出する。

ステップ４２０で、制御部１６０は、前のフレームで検出された目及び鼻座標がメモリ１３０に格納されているかを判断する。前のフレームで目及び鼻座標が存在する場合にステップ４３０を遂行し、前のフレームで目及び鼻座標が存在しない場合にこのプロセスを終了する。

ステップ４３０で、制御部１６０は、前のフレームの目座標と現在フレームの目座標の差異Ｄ_ＥＹＥを予め設定された閾値Ｔ_ｅｙｅと比較する。Ｄ_ｅｙｅがＴ_ｅｙｅ未満である場合にステップ４４０を遂行し、Ｄ_ｅｙｅがＴ_ｅｙｅ以上である場合にステップ４５０を遂行する。この時、ステップ４３０は左目及び右目の各々に対して遂行される。

ステップ４４０で、制御部１６０は、現在フレームの目座標を再調整する。

ステップ４５０で、制御部１６０は、前のフレームの鼻座標と現在フレームの鼻座標の差異Ｄ_ｎｏｓｅを予め設定された閾値Ｔ_ｎｏｓｅと比較する。Ｄ_ｎｏｓｅがＴ_ｎｏｓｅ未満である場合にステップ４６０を遂行し、Ｄ_ｎｏｓｅがＴ_ｎｏｓｅ以上である場合にこのプロセスを終了する。

ステップ４６０で、制御部１６０は、現在フレームの鼻座標を再調整する。

ステップ４４０及びステップ４６０で座標の再調整は下記のように遂行され得る。この座標を再調整する段階は、現在フレームの座標を前のフレームの座標と現在フレームの座標の間に位置する座標に変更する段階である。

Ｆｉｎａｌ_ＬｅｆｔＥｙｅＸ＝ＡＬＰＨＡ*Ｃｕｒｒ_ＬｅｆｔＥｙｅＸ＋（１−ＡＬＰＨＡ）*Ｐｒｅｖ_ＬｅｆｔＥｙｅＸ
Ｆｉｎａｌ_ＬｅｆｔＥｙｅＹ＝ＡＬＰＨＡ*Ｃｕｒｒ_ＬｅｆｔＥｙｅＹ＋（１−ＡＬＰＨＡ）*Ｐｒｅｖ_ＬｅｆｔＥｙｅＹ
Ｆｉｎａｌ_ＲｉｇｈｔＥｙｅＸ＝ＡＬＰＨＡ*Ｃｕｒｒ_ＲｉｇｈｔＥｙｅＸ＋（１−ＡＬＰＨＡ）*Ｐｒｅｖ_ＲｉｇｈｔＥｙｅＸ
Ｆｉｎａｌ_ＲｉｇｈｔＥｙｅＹ＝ＡＬＰＨＡ*Ｃｕｒｒ_ＲｉｇｈｔＥｙｅＹ＋（１−ＡＬＰＨＡ）*Ｐｒｅｖ_ＲｉｇｈｔＥｙｅＹ
Ｆｉｎａｌ_ＮｏｓｅＸ＝ＡＬＰＨＡ*Ｃｕｒｒ_ＮｏｓｅＸ＋（１−ＡＬＰＨＡ）*Ｐｒｅｖ_ＮｏｓｅＸ
Ｆｉｎａｌ_ＮｏｓｅＹ＝ＡＬＰＨＡ*Ｃｕｒｒ_ＮｏｓｅＹ＋（１−ＡＬＰＨＡ）*Ｐｒｅｖ_ＮｏｓｅＹ …（1）

ＡＬＰＨＡは加重値、Ｆｉｎａｌ_ＬｅｆｔＥｙｅＸとＦｉｎａｌ_ｌｅｆｔＥｙｅＹは左目の最終Ｘ、Ｙ軸座標、Ｆｉｎａｌ_ＲｉｇｈｔＥｙｅＸとＦｉｎａｌ_ＲｉｇｈｔＥｙｅＹは右目の最終Ｘ、Ｙ軸座標、Ｃｕｒｒ_ＬｅｆｔＥｙｅＸとＣｕｒｒ_ＬｅｆｔＥｙｅＹは、現在フレームで検出された左目のＸ、Ｙ軸座標、Ｃｕｒｒ_ＲｉｇｈｔＥｙｅＸとＣｕｒｒ_ＲｉｇｈｔＥｙｅＹは、現在フレームで検出された右目のＸ、Ｙ軸座標、Ｐｒｅ_ＬｅｆｔＥｙｅＸとＰｒｅ_ＬｅｆｔＥｙｅＹは前のフレームで検出された左目のＸ、Ｙ軸座標、Ｐｒｅ_ＲｉｇｈｔＥｙｅＸとＰｒｅ_ＲｉｇｈｔＥｙｅＹは前のフレームで検出された右目のＸ、Ｙ軸座標を示す。そしてＦｉｎａｌ_ＮｏｓｅＸとＦｉｎａｌ_ＮｏｓｅＹは鼻の最終Ｘ、Ｙ軸座標、Ｃｕｒｒ_ＮｏｓｅＸとＣｕｒｒ_ＮｏｓｅＹは、現在フレームで検出された鼻の座標、Ｐｒｅｖ_ＮｏｓｅＸとＰｒｅｖ_ＮｏｓｅＹは前のフレームで検出された鼻の座標を示す。

目及び鼻検出情報を再調整するために使用された加重値ＡＬＰＨＡは、検出された目及び鼻の座標に基づいてユーザによって多様に定義されることができる。このような座標再調整は、目及び鼻検出情報以外にも顔検出情報と口検出情報にも適用され得る。例えば、加重値ＡＬＰＨＡは、０.５に設定することによって、前のフレームと現在フレームに加重値を同一に付与することができる。また、左目、右目、鼻に対する加重値ＡＬＰＨＡを下記のようにＤ_ｌｅｆｔ、Ｄ_ｒｉｇｈｔ、Ｄ_ｎｏｓｅ、Ｔ_ｅｙｅ、Ｔ_ｎｏｓｅによって動的に変化するように決定することができる。

ＡＬＰＨＡ_ＬｅｆｔＥｙｅ＝Ｄ_ｌｅｆｔ／Ｔ_ｅｙｅ
ＡＬＰＨＡ_ＲｉｇｈｔＥｙｅ＝Ｄ_ｒｉｇｈｔ／Ｔ_ｅｙｅ
ＡＬＰＨＡ_Ｎｏｓｅ＝Ｄ_ｎｏｓｅ／Ｔ_ｎｏｓｅ …（2）

図２をさらに参照すると、ステップ２３０で、制御部１６０は、検出された顔と、目及び鼻の座標情報を用いて顔のサイズ、位置、角度を推定する。

制御部１６０は、顔凝視方向（または顔角度）及び／または顔傾きを検出することができ、検出された顔映像が正面位置を眺めるか、それとも左側、右側、上側、下側または大角位置（左上側、右上側、左下側または右下側位置）を眺めるかを判断することができる。例えば、制御部１６０は、多様な角度の顔映像を通じて顔学習を遂行し、蓄積された顔学習データを用いて入力された映像フレームから顔角度または顔凝視方向を検出することができる。

リアルタイムで視線補正をする場合、画面で顔が占める比率と位置、角度／傾きによって、顔／目／鼻の検出の失敗と成功が頻繁に交差する場合が発生する。このような場合に、視線補正の遂行／非遂行が交差してまばたき（blink）をするような現象が発生する。このような問題を解決するために、制御部１６０は視線補正が適合したか否かを判断することができる。

ステップ２４０で、制御部１６０は視線補正が適合したか否かを判断するために、次の条件が満足するか否かを決定することができる。すなわち、制御部１６０は、次の三つの段階のうち少なくとも一つを遂行することによって、視線補正が適合したか否かを判断することができる。

図５は、視線補正が適合したか否かを判断する過程を説明するための図面である。

第１に、顔のサイズによる条件として、左側、右目の中心座標５１０、５２０間の距離Ｄ_ｅｙｅｓが予め設定された閾値Ｔ_ｓｉｚｅ以下である場合には視線補正がなされ、Ｄ_ｅｙｅｓがＴ_ｓｉｚｅを超過する場合には、顔／目／鼻検出が失敗する前まで視線補正がなされる。そして顔／目／鼻検出が失敗した以後には、Ｄ_ｅｙｅｓがＴ_ｓｉｚｅ以下になるまでは視線補正をしない。Ｄ_ｅｙｅｓがＴ_ｓｉｚｅを超過し、顔／目／鼻検出が失敗した以後には、表示部１１６に視線補正がなされるのに適合した顔領域ガイド（またはガイド領域）５３０を表示するか、メッセージを表示することができる。

第２に、顔の位置による条件として、両目の座標５１０、５２０を活用して顔／目／鼻検出が可能な予め決定しておいたガイド領域５３０を基準として、ガイド領域内側にある場合に視線補正がなされて、外側にある場合に顔／目／鼻検出が失敗する前まで視線補正がなされる。そして顔／目／鼻検出が失敗した以後には、両目の座標５１０、５２０がガイド領域５３０内側に置かれるまでは視線補正をしない。

第３に、両目の座標５１０、５２０を用いて傾きを推定した後、すなわち両目の座標５１０、５２０をつなぐ仮想線分が画面上のＸ軸となす角度が予め定められた傾き以下であると、視線補正をし、これを超過すれば、顔／目／鼻検出が失敗する前まで視線補正がなされて、両目の傾きが所定の傾き以下になるまでは視線補正をしない。第１の場合と同様に、第２、第３の場合にも、顔／目／鼻検出が失敗した以後には、表示部１１６に視線補正がなされるのに適合した顔領域ガイド５３０やＸ軸を表示するか、メッセージを表示することができる。

ステップ２５０で、制御部１６０は最終的に検出された目の座標を基準として目（すなわち、目領域）の輪郭線を検出する。このステップは、該当目領域の中心座標から予め設定された目モデルの各輪郭点を通過するベクトル方向にピクセルの輝度値変化が最大である点を該当目領域の輪郭点として設定する段階である。

正確な目の輪郭線検出のために、目モデル基盤の輪郭線抽出技術を使用することができる。まず、目モデルを生成するために多様な目形状の学習データを使用する。学習データの映像に対して目輪郭線にＮ個の点を定義し、この点を用いて主成分分析を通じて目モデルを生成する。目検出を通じて獲得された目領域に光の影響を最小化するために、照明補正を適用した後、照明補正された目領域に目モデルの平均形状（mean shape）を置いて、目の中心座標と目の終点（end point）を初期点としてＡＳＭ（Active Shape Model）を適用する。目の終点は、該当瞳孔と他側瞳孔間の間隔で該当瞳孔に近い１／５地点を終点として定義し、初期点を選択した以後には目モデルの平均形状にあるＮ個の点に対してそれぞれの法線ベクトル方向（すなわち、中心座標と目モデルの各点をつなぐベクトル方向）にピクセルの輝度値変化が最大である点を検索する。このようにピクセルの輝度値変化が最大になるＮ個の点を連結した曲線を目の輪郭線として定義する。

図６は検出された目の輪郭線を示す例示図である。図示したように、検出された目の輪郭線６２０は、８個の輪郭点６１０をつなぐ曲線として定義される。

視線補正した目の震え（Shake）を最小化するために、目／鼻座標を再調整したように目の輪郭線を決定するＮ個の点に対しても、前のフレームで獲得された輪郭線情報を用いて再調整プロセスを遂行することができる。再調整に対する例は次の通りである。前のフレームで得られた輪郭線を決定するＮ個の点と現在フレームで得られたＮ個の点に対して相互にマッチングされる各点間の移動距離Ｄｉ（ｉ＝１、２、３、…、Ｎ）と平均移動距離ＤＭを求める。平均移動距離が予め定められた閾値Ｔ_ｃｏｎｔｏｕｒ以下であると、前のフレームと現在フレームの座標情報に加重値を与えて各点の座標を再調整し、Ｔ_ｃｏｎｔｏｕｒを超過すると、現在フレームで得られた輪郭線情報をそのまま使用する。各点の点を再調整するために使われる加重値は、目／鼻座標再調整時のように固定された値を使用することもでき、顔／目／鼻座標情報とＤｉ、ＤＭを用いて動的に決定された数値を使用することもできる。また、目輪郭線を決定する点を抽出する時、一部点が誤抽出される現象が発生することもある。このような場合を防止するために、前のフレームの点との平均移動距離より大きく移動した点に対しては、前のフレームの点側に加重値を高く付与する方法を使用することもできる。

ステップ２６０で、制御部１６０は、カメラを凝視する方向に目の輪郭線を変換する。すなわち、制御部１６０は、現在フレーム内の目領域の輪郭点を予め設定された基準カメラ凝視方向に変化させる。望ましくは、制御部１６０は、現在フレーム内のユーザの顔凝視方向（すなわち、顔角度または傾き）と予め設定された基準カメラ凝視方向（すなわち、顔角度または傾き）の差異に基づいて、目の輪郭線を定義する輪郭点を変化させる。すなわち、制御部１６０は、カメラ１５０を眺めている形態の目を生成するために、正面を凝視する予め格納された目領域の輪郭点と整合（すなわち、マッチング）するように検出された輪郭点の少なくとも一部を移動させる。輪郭点を移動させる方法では、表示部１１６を眺める目データとカメラ１５０を眺める目学習データを用いて目形状を変化させる変換関数を生成して使用することができる。例えば、表示部１１６を眺めるデータの目輪郭線点がカメラを眺めるデータの目輪郭線点に変換されるアフィン（affine）変換関数を生成して使用するか、目上部の輪郭線点と目下部の輪郭線点を分離して２個のアフィン変換関数を生成して使用することもできる。もう一つの例には、学習データから目上部の輪郭線点に対してアフィン変換関数を生成して変換し、目下部の輪郭線は各目の内側終点と外側終点を連結する直線を求めて、この直線に近づく形態に変換することができる。または、ユーザが目上部の輪郭線の点に対してＹ軸上の移動範囲を調節できるようにすることによって、ユーザが視線補正された目のサイズを調節できるようにすることもできる。

図７は、目の輪郭線変換を説明するための図面である。アフィン変換関数によって目上部の検出された輪郭線７２０の点７１０を上側に移動して得られた新たな目上部の輪郭線７２０ａの点７１０ａが示されている。また、直線関数によって、目下部の輪郭線７４０の点７３０を上側に移動して得られた新たな目下部の輪郭線７４０ａの点７３０ａが示されている。

図２をさらに参考すると、ステップ２７０で、制御部１６０は変換された目輪郭線によって目領域をテクスチャワーピングする。すなわち、制御部１６０は、フォワードワーピング技術またはバックワードワーピング技術を用いて目領域のテクスチャマッピングを遂行する。

このようなテクスチャワーピングを通じて初めて視線補正された目の形態を得ることができる。ワーピングは、ワーピング前の目領域の各点を基準としてマッピングするフォワードワーピング（forward warping）とワーピング後の目領域の各点を基準としてマッピングするバックワードワーピング（backward warping）の両方ともが使用されることができ、このようなワーピング技法は通常的なことであるので、詳細に記述しない。フォワードワーピング時にはテクスチャが満たさないホール（hole）が生じるようになり、このような場合には周囲のテクスチャ情報を用いてホールを満たす作業が並行される。フォワードワーピングとは異なり、バックワードワーピング時にはホールが生じないので、バックワードワーピング方法を使用することが望ましい。

図８は、テクスチャワーピングによって変換された目の形状を例示する図面である。図８Ａは変換前の目の形状を示し、図８Ｂは変換後の目の形状を示す。

本発明ではワーピングに必要とする処理時間を減らして眼鏡をかけた人に対してワーピング時に現れる眼鏡フレーム周囲の不自然さを解決するために、楕円マスクまたは楕円領域を使用することができる。

図９は、テクスチャワーピングに使われる楕円マスクを説明するための図面である。目輪郭線９１０の点９２０を全部含む四角ウィンドウ９３０内に楕円マスク９４０を生成し、楕円マスク９４０内部でワーピングを遂行する。また、ワーピング遂行後、楕円境界部分の不自然さを解決するために楕円境界領域をブラーリング（blurring）することができる。

図１０は、本発明の視線補正方法による効果を説明するための図面である。本発明の視線補正によれば、例えば、ユーザの観点で、上側を見る目１０１０、左上側を見る目１０２０、左側を見る目１０３０、左下側を見る目１０４０、下側を見る目１０５０、右下側を見る目１０６０、右側を見る目１０７０、右上側を見る目１０８０は、全部正面を見る目１０００に変換される。すなわち、表示部を凝視する目がカメラを凝視する目に変換される。この時、全体的な顔形態、角度及び傾きは変換されなく、目の形態のみが変換される。

本発明の実施形態は、ハードウェア、ソフトウェアまたはハードウェア及びソフトウェアの組み合わせで実現可能であることが分かる。このような任意のソフトウェアは、例えば、削除可能または再記録可能の可否と関係なく、ＲＯＭなどの格納装置のような揮発性または非揮発性格納装置、または例えば、ＲＡＭ、メモリチップ、装置または集積回路のようなメモリ、または例えばＣＤ、ＤＶＤ、磁気ディスクまたは磁気テープなどのような光学または磁気的に記録可能であると共に機械可読の記録媒体に格納され得る。メモリは、本発明の実施形態を実現する指示を含むプログラムまたはプログラムを記録するのに適合した機械（例えば、コンピュータ）可読の格納媒体の一例であることが分かる。したがって、本発明は、本明細書の任意の請求項に記載された方法を実現するためのコードを含むプログラム及びこのようなプログラムを記録する機械可読の格納媒体を含む。また、このようなプログラムは、有線または無線接続を通じて伝達される通信信号のような任意の媒体を通じて電子的に移送でき、本発明はこれと均等なものを適切に含む。

また、該当携帯端末は、有線または無線で連結するプログラム提供装置から該当プログラムを受信して格納することができる。該当プログラム提供装置は、該当携帯端末が予め設定された映像内のユーザの視線補正方法を遂行するようにする指示を含むプログラム、映像内のユーザの視線補正方法に必要な情報などを格納するためのメモリと、該当携帯端末との有線または無線通信を遂行するための通信部と、該当携帯端末の要請または自動で該当プログラムを該当携帯端末に伝送する制御部と、を含むことができる。

以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲の記載及びこれと均等なものに基づいて定められる本発明の範囲及び精神を逸脱することなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。

２０ プログラム提供装置
２１ メモリ
２２ 通信部
２３ 制御部
１００ 通信端末
１１０ ユーザインターフェース
１１２ スピーカ
１１４ マイク
１１６ 表示部
１２０ センサ部
１３０ メモリ
１４０ 通信部
１５０ カメラ
１６０ 制御部

Claims (15)

1. 映像内のユーザの視線補正方法であって、
   映像内のユーザの顔を検出するステップと、
   検出された前記顔内の目領域の輪郭点を検出するステップと、
   前記映像内の検出された前記目領域の輪郭点を基準カメラ凝視方向に対応する輪郭点に変化させるステップと、
   変化した前記輪郭点によって前記目領域を変形させることによって前記映像内の前記ユーザの視線を補正するステップと、を含むことを特徴とする方法。
2. 前記映像内のユーザの顔を検出するステップは、
   前のフレームの目座標と現在フレームの目座標の差異を予め設定された閾値と比較するステップと、
   前記目座標の差異が閾値未満である場合に、前記現在フレームの目座標を調整するステップと、を含むことを特徴とする請求項１に記載の方法。
3. 前記目座標を調整するステップは、前記現在フレームの目座標を、前記前のフレームの目座標と前記現在フレームの目座標との間に位置する座標に変更するステップを含むことを特徴とする請求項２に記載の方法。
4. 検出された前記顔内の目領域の輪郭点を検出するステップは、
   前記目領域の中心座標から予め設定された目モデルの各輪郭点を通過するベクトル方向にピクセルの輝度値変化が最大である点を、前記目領域の輪郭点として設定するステップを含むことを特徴とする請求項１に記載の方法。
5. 予め設定された前記基準カメラ凝視方向は、正面を凝視する方向であることを特徴とする請求項１に記載の方法。
6. 前記輪郭点を変化させるステップは、
   検出された前記輪郭点の少なくとも一部を正面を凝視する目領域の輪郭点に変化させるステップを含むことを特徴とする請求項１に記載の方法。
7. 前記目領域を変形させるステップは、
   フォワードワーピング技術またはバックワードワーピング技術を用いて前記目領域のテクスチャマッピングを遂行するステップを含むことを特徴とする請求項１に記載の方法。
8. 前記テクスチャマッピングは、前記目領域の輪郭点を含む楕円内部で遂行されることを特徴とする請求項７に記載の方法。
9. 前記映像内の両目の距離が予め設定された閾値以下であるかを判断するステップと、
   前記両目が予め設定されたガイド領域内に位置するかを判断するステップと、
   前記両目の座標を用いて測定された検出された前記顔の傾きが予め設定された傾き以下であるかを判断するステップのうち少なくとも一つを遂行することによって、視線補正が適合したか否かを判断するステップをさらに含むことを特徴とする請求項１に記載の方法。
10. 前記輪郭点を変化させるステップは、
    前記映像内の前記ユーザの顔凝視方向と予め設定された基準凝視方向の差異に基づいて、前記輪郭点を変化させるステップであることを特徴とする請求項１に記載の方法。
11. 前記映像は、セルフ撮影アプリケーション、テレビ電話アプリケーションまたは鏡アプリケーションを実行する途中に撮影された映像であることを特徴とする請求項１に記載の方法。
12. 請求項１乃至１１のいずれか一項による映像内のユーザの視線補正方法を実行するためのプログラムを記録した機械可読の格納媒体。
13. 請求項１２に記載の機械可読の格納媒体を含む携帯端末。
14. 映像内のユーザの視線補正のための携帯端末であって、
    映像を撮影するカメラと、
    前記映像内のユーザの顔を検出し、検出された前記顔内の目領域の輪郭点を検出し、前記映像内の検出された前記目領域の輪郭点を基準カメラ凝視方向に対応する輪郭点に変化させて、変化された前記輪郭点によって前記目領域を変形させることによって前記映像内の前記ユーザの視線を補正する制御部と、
    前記制御部により前記目領域が変形された映像を表示する表示部と、を含むことを特徴とする携帯端末。
15. 前記映像は、セルフ撮影アプリケーション、テレビ電話アプリケーションまたは鏡アプリケーションを実行する途中に撮影された映像であることを特徴とする請求項１４に記載の携帯端末。

Images