JP2015149016A - 視線変換装置、視線変換方法及びプログラム - Google Patents

Abstract

【課題】システムを大型化させずに、被験者の視線を変換したときの違和感を低減させる。
【解決手段】視線変換装置１０において、対象画像取得部１１は、被験者の顔の画像を含む視線変換対象画像を取得し、参照画像記憶部１２は、予め登録された被験者の視線が正面方向を向いた顔の画像を含む参照画像を記憶し、特徴点抽出部１３は、視線変換対象画像及び参照画像から特徴点を抽出し、テクスチャ合成部１４は、視線変換対象画像（合成対象画像）に含まれる被験者の目の画像に対し、被験者の視線を正面方向に向ける加工を行うことにより、合成結果画像を生成し、形状変化部１５は、合成結果画像（変化対象画像）に含まれる被験者の目の画像に対し、目の形状を変化させる加工を行うことにより、変化結果画像を生成し、結果画像出力部１６は、変化結果画像（視線変換結果画像）を出力する。
【選択図】図１

Description

本発明は、被験者の視線を変換する視線変換装置、視線変換方法及びプログラムに関する。

映像対話システムでは、画面に表示された相手の映像に視線を向けて対話を行う一方で、その相手の映像は相手側で画面とは異なる位置に設置されたカメラで撮影されたものであるので、どうしても視線が一致しない。より自然な対話のために視線が一致する映像対話システムが求められている。

このように視線を一致させる技術は、公報記載の技術として種々提案されている（例えば、特許文献１〜３参照）。

特許文献１の技術では、ディスプレイ部が表示する映像が例えばハーフミラー等でなる光学素子を透過して参加者に提供されるとともに、参加者からの光が光学素子で反射されてビデオカメラに入射するように、ディスプレイ部、ビデオカメラ、及び光学素子が配置されている。

特許文献２の技術では、モニタの側面に２台の撮像装置を設置し、２台の撮像装置により撮影された映像を用いて利用者の正面画像を合成している。

特許文献３の技術では、ユーザを含む撮影画像を撮影し、撮影された撮影画像から、顔認識によりユーザの顔画像を検出し、検出された顔画像から眼部画像を特定し、特定された眼部画像における瞳の位置を、その眼部画像の中央となるように加工している。

また、目の形状を変化させる技術も、公報記載の技術として種々提案されている（例えば、特許文献４、５参照）。

特許文献４の技術では、検出された人物の顔の特徴点の情報に基づいて、目領域及び瞳を検出し、目の開き度合を判定し、画像を伸張及び圧縮することで目の開き度合を補正し、瞳の形状を略円形状に補正し、キャッチアイを付加し、白目の白色度を補正している。

特許文献５の技術では、入力された画像データにおける被写体人物の顔を検出し、画像データのうち検出された顔を含む顔画像を基に、被写体人物の目の目開閉率を判定し、判定された被写体人物の目の目開閉率と、記憶されている目開閉率情報における目開閉率に所定の補正許容率を乗じた目開閉率とを比較し、比較結果に応じて、判定された目開閉率を補正している。

特開平１１−１７７９４９号公報 特開平８−２５１５６２号公報 特開２０１１−２０４１８２号公報 特開２００４−３１８２０５号公報 特開２０１２−２５２３８３号公報

しかしながら、特許文献１の技術ではハーフミラーを追加し、特許文献２の技術ではカメラを１台追加しているので、これらの技術ではシステムが大型化してしまうという問題点がある。特許文献３の技術では、システムが大型化するという問題点はないが、眼部画像における瞳の位置をその眼部画像の中央となるように加工しているだけなので、被験者に応じた違和感の少ない視線の変換を実現できるものではない。

また、特許文献４、５の技術は、写真の見栄えを良くするために目の形状等を変更するものであり、視線を変換したときの違和感を少なくするために目の形状等を変更するものではない。

本発明の目的は、システムを大型化させずに、被験者の視線を変換したときの違和感を低減させることにある。

かかる目的のもと、本発明は、被験者の顔の画像を含む入力画像を取得する取得手段と、予め登録された被験者の視線が正面方向を向いた顔の画像を含む登録画像を用いて、入力画像に含まれる被験者の目の画像に対し、被験者の視線を正面方向に向ける第１の加工を行うことにより、第１の画像を生成する第１の生成手段と、登録画像を用いて、第１の画像に含まれる被験者の目の画像に対し、目の形状を変化させる第２の加工を行うことにより、第２の画像を生成する第２の生成手段と、第２の画像を出力する出力手段とを備えた視線変換装置を提供する。

ここで、第１の生成手段は、登録画像に含まれる被験者の目の画像の部分画像である登録部分画像を、入力画像に含まれる被験者の目の画像の部分画像であって登録部分画像に対応する部分画像である入力部分画像に重ねる第１の加工を行う、ものであってよい。その場合、第１の生成手段は、登録画像に含まれる被験者の目の画像上の目の中心点である登録中心点が、入力画像に含まれる被験者の目の画像上の目の中心点である入力中心点に略一致するように、登録中心点を通る境界を有する登録部分画像の形状及び位置を、入力中心点を通る境界を有する入力部分画像の形状及び位置に変化させた後に、登録部分画像を入力部分画像に重ねる、ものであってよい。

また、第１の生成手段は、入力画像に含まれる被験者の目の画像上で目の中心部から遠ざかるに従って登録画像に含まれる被験者の目の画像から入力画像に含まれる被験者の目の画像に徐々に変化するように、登録画像に含まれる被験者の目の画像を、入力画像に含まれる被験者の目の画像に重ねる第１の加工を行う、ものであってよい。その場合、第１の生成手段は、入力画像に含まれる被験者の顔の画像上の被験者の目の外側の予め決められた位置まで、第１の加工を行う、ものであってよい。

更に、第２の生成手段は、第１の画像に含まれる被験者の目の画像の形状が、登録画像に含まれる被験者の目の画像の形状に略一致するように、目の形状を変化させる第２の加工を行う、ものであってよい。その場合、第２の生成手段は、第１の画像に含まれる被験者の目の画像の形状を表す複数の点を初期点とし、登録画像に含まれる被験者の目の画像の形状を表す複数の点を第１の画像に含まれる被験者の目の画像の形状に位置合わせして得られた第１の画像上の複数の点を目標点として、初期点から目標点へのワーピングを行うことにより、目の形状を変化させる、ものであってよい。

或いは、本発明は、被験者の顔の画像を含む入力画像を取得する取得手段と、予め登録された被験者の視線が正面方向を向いた顔の画像を含む登録画像を用いて、入力画像に含まれる被験者の目の画像に対し、目の形状を変化させる第１の加工を行うことにより、第１の画像を生成する第１の生成手段と、登録画像を用いて、第１の画像に含まれる被験者の目の画像に対し、被験者の視線を正面方向に向ける第２の加工を行うことにより、第２の画像を生成する第２の生成手段と、第２の画像を出力する出力手段とを備えた視線変換装置を提供する。

また、本発明は、被験者の顔の画像を含む入力画像を取得するステップと、予め登録された被験者の視線が正面方向を向いた顔の画像を含む登録画像を用いて、入力画像に含まれる被験者の目の画像に対し、被験者の視線を正面方向に向ける第１の加工を行うことにより、第１の画像を生成するステップと、登録画像を用いて、第１の画像に含まれる被験者の目の画像に対し、目の形状を変化させる第２の加工を行うことにより、第２の画像を生成するステップと、第２の画像を出力するステップとを含む視線変換方法も提供する。

或いは、本発明は、被験者の顔の画像を含む入力画像を取得するステップと、予め登録された被験者の視線が正面方向を向いた顔の画像を含む登録画像を用いて、入力画像に含まれる被験者の目の画像に対し、目の形状を変化させる第１の加工を行うことにより、第１の画像を生成するステップと、登録画像を用いて、第１の画像に含まれる被験者の目の画像に対し、被験者の視線を正面方向に向ける第２の加工を行うことにより、第２の画像を生成するステップと、第２の画像を出力するステップとを含む視線変換方法も提供する。

更に、本発明は、コンピュータに、被験者の顔の画像を含む入力画像を取得する機能と、予め登録された被験者の視線が正面方向を向いた顔の画像を含む登録画像を用いて、入力画像に含まれる被験者の目の画像に対し、被験者の視線を正面方向に向ける第１の加工を行うことにより、第１の画像を生成する機能と、登録画像を用いて、第１の画像に含まれる被験者の目の画像に対し、目の形状を変化させる第２の加工を行うことにより、第２の画像を生成する機能と、第２の画像を出力する機能とを実現させるためのプログラムも提供する。

更に、本発明は、コンピュータに、被験者の顔の画像を含む入力画像を取得する機能と、予め登録された被験者の視線が正面方向を向いた顔の画像を含む登録画像を用いて、入力画像に含まれる被験者の目の画像に対し、目の形状を変化させる第１の加工を行うことにより、第１の画像を生成する機能と、登録画像を用いて、第１の画像に含まれる被験者の目の画像に対し、被験者の視線を正面方向に向ける第２の加工を行うことにより、第２の画像を生成する機能と、第２の画像を出力する機能とを実現させるためのプログラムも提供する。

本発明によれば、システムを大型化させずに、被験者の視線を変換したときの違和感を低減させることができる。

本発明の実施の形態における視線変換装置の機能構成例を示したブロック図である。 本発明の実施の形態における視線変換装置の動作例を示したフローチャートである。 本発明の実施の形態における視線変換装置の特徴点抽出部が抽出した目の特徴点の例を示した図である。 本発明の実施の形態における視線変換装置のテクスチャ合成部が目の内部テクスチャを合成するときに用いる三角パッチの例を示した図である。 本発明の実施の形態における視線変換装置のテクスチャ合成部が用いるアフィン変換について示した図である。 本発明の実施の形態における視線変換装置のテクスチャ合成部が用いるピースワイズアフィン変換によるワーピングの例を示した図である。 本発明の実施の形態における視線変換装置のテクスチャ合成部による目の内部テクスチャの合成例を示した図である。 本発明の実施の形態における視線変換装置のテクスチャ合成部による目の内部テクスチャの合成例を示した図である。 本発明の実施の形態における視線変換装置のテクスチャ合成部が目の内部テクスチャを合成することにより違和感が生じた画像の例を示した図である。 本発明の実施の形態における視線変換装置のテクスチャ合成部が目の内部テクスチャを合成した結果である合成結果画像を示した図である。 本発明の実施の形態における視線変換装置の形状変化部が目の特徴点を位置合わせした結果を示した図である。 本発明の実施の形態における視線変換装置の形状変化部がＦＦＤ法によりワーピングを行った結果である変化結果画像を示した図である。 本発明の実施の形態における視線変換装置の他の機能構成例を示したブロック図である。 本発明の実施の形態における視線変換装置の他の動作例を示したフローチャートである。 本発明の実施の形態における画像処理装置の機能構成例を示したブロック図である。 本発明の実施の形態を実現するコンピュータのハードウェア構成例を示した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

１．はじめに
本実施の形態では、目の内部テクスチャや形状の変更により、他方向に視線を向けた顔画像から正面方向に視線を向けた顔画像を生成する。

既存の技術では、三次元顔モデルを用いた手法が主となっているが、この手法は計算に多大なコストが必要となり、本実施の形態が対象とするビデオチャット等での利用には適さない。そこで、本実施の形態では、計算時間等を考慮し、目の内部テクスチャの変更により視線変換を実現する。

ところが、実際は視線変化により目の形状も変化するため、テクスチャの変更のみでは、生成された視線変換画像に違和感が生じ、自然な視線変換画像の生成が困難である。そこで、本実施の形態では、目及びその周辺の形状の変更によりこの違和感を低減し、自然な視線変換画像の生成を実現する。

２．視線変換装置の構成
図１は、このような視線変換を実現する視線変換装置１０の機能構成例を示したブロック図である。図示するように、視線変換装置１０は、対象画像取得部１１と、参照画像記憶部１２と、特徴点抽出部１３と、テクスチャ合成部１４と、形状変化部１５と、結果画像出力部１６とを備える。

対象画像取得部１１は、視線を変換する対象の顔画像（以下、「視線変換対象画像」という）を取得し、視線変換対象画像を特徴点抽出部１３に出力する。本実施の形態では、被験者の顔の画像を含む入力画像の一例として、視線変換対象画像を用いており、入力画像を取得する取得手段の一例として、対象画像取得部１１を設けている。

参照画像記憶部１２は、視線を変換する際に参照される画像（以下、「参照画像」という）を記憶する。ここで、参照画像は、視線が正面方向を向いた顔の画像を含む。参照画像は被験者本人の画像でもよいし、他人の画像でもよい。映像対話システムにおける画面とカメラとの位置関係が固定されていれば、この参照画像は被験者に対して１つだけ記憶しておけば十分であるが、映像対話システムにおける画面とカメラとの位置関係が変更可能な場合は、考えられ得る位置関係ごとの参照画像を記憶しておくのが望ましい。本実施の形態では、予め登録された被験者の視線が正面方向を向いた顔の画像を含む登録画像の一例として、参照画像を設けている。

特徴点抽出部１３は、対象画像取得部１１から視線変換対象画像を受け取ると共に、参照画像記憶部１２から参照画像を読み出す。そして、視線変換対象画像及び参照画像からそれぞれ目の特徴点を抽出し、視線変換対象画像と参照画像と特徴点の座標とをテクスチャ合成部１４に出力する。

テクスチャ合成部１４は、特徴点抽出部１３から、視線変換対象画像をテクスチャを合成する対象の顔画像（以下、「合成対象画像」という）として受け取ると共に、参照画像及び特徴点の座標を受け取る。そして、特徴点を用いて合成対象画像に参照画像の目の内部テクスチャを合成し、このテクスチャを合成した結果の画像（以下、「合成結果画像」という）と特徴点の座標とを形状変化部１５に出力する。本実施の形態では、第１の画像の一例として、合成結果画像を用いており、第１の画像を生成する第１の生成手段の一例として、テクスチャ合成部１４を設けている。

形状変化部１５は、テクスチャ合成部１４から、合成結果画像を目の形状を変化させる対象の画像（以下、「変化対象画像」という）として受け取ると共に、特徴点の座標を受け取る。そして、特徴点を用いて変化対象画像の目の形状を参照画像の目の形状に略一致するように変化させ、この目の形状を変化させた画像（以下、「変化結果画像」という）を結果画像出力部１６に出力する。本実施の形態では、第２の画像の一例として、変化結果画像を用いており、第２の画像を生成する第２の生成手段の一例として、形状変化部１５を設けている。

結果画像出力部１６は、形状変化部１５から変化結果画像を視線を変換した画像（以下、「視線変換結果画像」という）として受け取り、視線変換結果画像（視線変換画像）を出力する。本実施の形態では、第２の画像を出力する出力手段の一例として、結果画像出力部１６を設けている。

３．視線変換装置の処理の流れ
図２は、視線変換装置１０の動作例を示したフローチャートである。

視線変換装置１０は、対象画像取得部１１が視線変換対象画像を取得すると、このフローチャートの動作を開始する。即ち、まず、特徴点抽出部１３が、対象画像取得部１１から受け取った視線変換対象画像及び参照画像記憶部１２から読み出した参照画像からの「目の特徴点の抽出」を実行する（ステップ１０１）。次に、テクスチャ合成部１４が、特徴点抽出部１３から受け取った合成対象画像に対する「目の内部テクスチャの合成」を実行する（ステップ１０２）。その際、テクスチャ合成部１４は、「三角パッチを用いたテクスチャの合成」と、「グラデーション付与による違和感の低減」とを実行する。次いで、形状変化部１５が、テクスチャ合成部１４から受け取った変化対象画像に対する「目及び周辺の形状変化」を実行する（ステップ１０３）。その際、形状変化部１５は、「特徴点を用いた形状の位置合わせ」と、「ワーピングによる目の形状変化」とを実行する。そして、このような動作により視線変換結果画像が生成されると、結果画像出力部１６が、これを出力する。

以下では、このフローチャートのステップに対して章を設け、ステップ内の「・」に対して節を設けて、各ステップの処理内容について詳細に説明する。

４．目の特徴点の抽出
図２のステップ１０１では、特徴点抽出部１３が、一般的な目の特徴点抽出器を用いて、視線変換対象画像及び参照画像から目の特徴点を抽出する。図３（ａ），（ｂ）は、一般的な目の特徴点抽出器により抽出した特徴点の例を示した図である。図中、目の中心部及び周辺部の白丸が特徴点を表す。

５．目の内部テクスチャの合成
本実施の形態では、テクスチャ合成部１４が、目の内部テクスチャの合成により、他方向に視線を向けた顔画像から正面方向に視線を向けた顔画像を生成する。

５−１．三角パッチを用いたテクスチャの合成
図２のステップ１０２では、テクスチャ合成部１４が、特徴点抽出部１３が抽出した特徴点を使用し、三角パッチ毎に参照画像中の目の内部テクスチャを合成対象画像中に合成する。図４は、このときに用いられる三角パッチの例を示した図である。図中、太い斜線を施した円が瞳孔を表し、細い斜線を施した円が虹彩を表し、破線が目と瞼の境界を表し、瞳孔及び境界上の白丸が特徴点を表す。

ここで、テクスチャ合成部１４は、参照画像の目の内部テクスチャを、ピースワイズアフィン（Piecewise Affine）変換を用いて合成対象画像の形状及び位置に変化させてから合成に使用する。ピースワイズアフィン変換とは、画像の変形領域を三角形領域に分割し、各三角形領域においてアフィン変換を行う手法である。その際、参照画像の三角形領域を合成する先となる合成対象画像の三角形領域としては、参照画像の三角形領域（登録画像に含まれる登録部分画像）の頂点に対応する頂点を有する合成対象画像の三角形領域（入力画像に含まれる入力部分画像）を選択すればよい。本実施の形態において、三角パッチは必ず目の中心部の特徴点を頂点として有するので、上記のピースワイズアフィン変換を用いて形状及び位置を変化させる処理は、参照画像における目の中心部の特徴点（登録画像上の登録中心点）が合成対象画像における目の中心部の特徴点（入力画像上の入力中心点）に略一致するように変化させる処理であると言える。

尚、ここでは、三角パッチとピースワイズアフィン変換を用いた手法を説明するが、これに限らず、他のワーピング手法を用いてもよい。

図５は、アフィン変換について示した図である。左図がアフィン変換前の状態を示し、右図がアフィン変換後の状態を示す。

左図において、Ｐを画像中の任意の点とし、Ｐ_１，Ｐ_２，Ｐ_３を三角形の頂点とする。すると、Ｐの座標ベクトルＯＰ^→は、Ｐ_１，Ｐ_２，Ｐ_３の座標ベクトルＯＰ_１ ^→，ＯＰ_２ ^→，ＯＰ_３ ^→を用いて以下のように表せる。

ここで、係数α，β，γが、０≦α，β，γ≦１、α＋β＋γ＝１の条件を満たすとき、点Ｐはその三角形の内部に存在する。

一方、右図において、Ｐ’をＰに対応する点、Ｐ’_１，Ｐ’_２，Ｐ’_３をそれぞれＰ_１，Ｐ_２，Ｐ_３に対応する点とする。すると、Ｐ’の座標ベクトルＯＰ’^→は、Ｐ’_１，Ｐ’_２，Ｐ’_３の座標ベクトルＯＰ’_１ ^→，ＯＰ’_２ ^→，ＯＰ’_３ ^→を用いて以下のように表せる。

即ち、アフィン変換の前後で、係数α，β，γの値は変わらない。ピースワイズアフィン変換は、このような性質を持つアフィン変換を三角形領域ごとに行うものである。

図６（ａ）〜（ｃ）は、ピースワイズアフィン変換によるワーピングの例を示した図である。（ａ）は元画像上に分割された三角パッチを示しており、（ｂ）は元画像上に三角パッチの変形目標を示しており、（ｃ）はワーピング結果を示している。この手法はワーピングによる誤差が少なく計算時間が短い。

図７−１（ａ）〜（ｃ）及び図７−２（ｄ）〜（ｆ）は、以上のような手法による目の内部テクスチャの合成例を示した図である。図７−１（ａ）及び図７−２（ｄ）が合成対象画像を示し、図７−１（ｂ）及び図７−２（ｅ）が合成を行う際に参照する正面方向を向いた視線を持つ参照画像を示し、図７−１（ｃ）及び図７−２（ｆ）が合成結果画像を示す。図７−１（ａ）〜（ｃ）は顔を正面方向から撮影して視線を横方向に移した例であり、図７−２（ｄ）〜（ｆ）は顔を上方から撮影して視線を下方向（顔からみると正面方向）に移した例である。

尚、ここでは、テクスチャ合成部１４が、目の内部テクスチャを三角形領域ごとに合成するようにしたが、領域の形状は三角形には限らない。他の多角形でもよいし、多角形以外でもよい。また、目の内部テクスチャを領域に分割せずに合成してもよい。

５−２．グラデーション付与による違和感の低減
本実施の形態では、テクスチャ合成部１４が、正面方向を向いた顔画像を作成するにあたり、前節で示したように、合成対象画像の目の内部テクスチャを参照画像のものに変更する。しかし、その際、合成対象画像における参照画像のテクスチャに置き換えられた領域と参照画像のテクスチャに置き換えられていない領域との境界部分では輝度値が極端に変化し、違和感が生じる。

図８はこのように違和感が生じた画像の例を示す。図より、テクスチャ貼り替え時の境界部において直線の境界が顕著に見てとれる。そこで、図２のステップ１０２では、テクスチャ合成部１４が、この境界部において、参照画像の輝度値から合成対象画像の輝度値に徐々に変化させ、輝度値を極端に変化させないようにすることで、上述の違和感の低減を実現する。

本実施の形態では、グラデーションの度合いを以下のように定義する。

ここで、ｗはグラデーション付加領域の中心部から外周部へ向けての距離（目の中心からの距離）に比例する値（０≦ｗ≦１）であり、ａは１以上の正の数である。このようにグラデーションを実施すると、目の中心からの距離に比例する値がｗである場合に、合成対象画像の画素値と（１−ｇ（ｗ））との積に、参照画像の画素値とｇ（ｗ）との積を加算することになる。例えば、中心部では、ｗ＝０であるので、ｇ（ｗ）＝１となり、グラデーションを実施した結果は参照画像の画素値となる。外周部では、ｗ＝１であるので、ｇ（ｗ）＝０となり、グラデーションを実施した結果は合成対象画像の画素値となる。

但し、普通にテクスチャを合成してグラデーションを行ったのでは、目の内部のみがテクスチャで置き換えられることになる。従って、図２のステップ１０２では、テクスチャ合成部１４が、三角パッチによるテクスチャの合成とその際のグラデーションとを目の外側にまで施すことで不自然さの低減を実現する。具体的には、目の特徴点座標を目の外側に例えば２５％拡張する。グラデーションの度合いとして上述したｇ（ｗ）を採用すると、ｗ＝０．８の点（拡張前の目の特徴点）においてｇ（ｗ）は約０．９５となり、目の内側領域では十分なテクスチャ合成が可能である。

尚、ここでは、目の特徴点座標を目の外側まで拡張する度合いを２５％としたが、これは、目の不自然さを目立たなくする拡張の度合いを調べる実験によって得られた値である。従って、目の外側に２５％拡張した位置は、目の外側の予め決められた位置の一例である。

図９（ａ）〜（ｄ）はこのようなテクスチャ合成による合成結果画像を示した図である。このうち、（ａ），（ｃ）が通常の合成結果画像（グラデーションを施さなかった場合の合成結果画像）を示しており、（ｂ），（ｄ）がグラデーションを施した場合の合成結果画像を示している。図より、グラデーションを施すことにより合成結果画像の違和感が低減されたことが分かる。

６．目及び周辺の形状変化
ところで、本実施の形態のように目の内部テクスチャの合成により視線を変更した場合、顔を正面から撮影した際には、図７−１（ｃ）のように、視線が変化しても目の形状は大きく変わらず、合成結果画像は自然に仕上がる。これに対し、顔を上方から撮影した際には、図７−２（ｆ）のように、視線の変化に伴い目の形状が大きく変化し、合成結果画像は視線が正面を向いたものとは捉え難く違和感が大きくなる。

目の内部テクスチャは正面方向に視線を向けた目のものを使用していることから、合成がうまく実現されない原因としては、視線変更前後で目の形状が変化していることが考えられる。そこで、本実施の形態では、目及びその周辺領域の形状を正面方向に視線を向けたものに変換することで、違和感のない正面方向に視線を向けた顔画像の合成を実現する。

６−１．特徴点を用いた形状の位置合わせ
本実施の形態では、目及びその周辺領域の形状を正面方向に視線を向けたものに変換するにあたり、特徴点抽出器で抽出した顔画像中の特徴点を用いたワーピングを行う。尚、この特徴点は、目の内部テクスチャを合成するにあたり、図２のステップ１０１で取得しているので、ワーピングに際して新たに取得しない。

特徴点ベースのワーピングでは、形状変化前の特徴点を初期点として、形状変化後の特徴点を目標点としてそれぞれ用意する必要がある。本実施の形態では、変化対象画像中の特徴点を初期点として使用する。また、目標点としては、参照画像中の特徴点を変化対象画像に位置合わせしたものを使用する。参照画像中の特徴点は正面方向に視線を向けた際の目の形状を持っており、本実施の形態では、変化対象画像の目の形状をこの参照画像中の目の形状に変換する。

以下に図２のステップ１０３における位置合わせのアルゴリズムを示す。

変化対象画像中の特徴点座標をｐ_１、参照画像中の特徴点座標をｐ_２とし、以下のように定義する。

ここで、ｎは特徴点の数を示す。今回位置合わせを行うに当たり、位置合わせ誤差の少ない回転角度θと、拡大縮小率ｓと、ｘ軸、ｙ軸方向の平行移動量（ｔ_ｘ，ｔ_ｙ）とを推定する。

これらの推定値を用いた位置合わせ結果をｐ＾_２とし、以下のように定義する。位置合わせ結果ｐ＾_２はワーピングの目標点となる。

これはθ，ｓ，（ｔ_ｘ，ｔ_ｙ）を使用すると、以下のように表せる。

ここで、Ｍ（ｓ，θ）［ｐ_２］はｐ_２に対して拡大縮小実行後に回転を施したものを示す。また、ｔは平行移動量を示す長さ２ｎのベクトルであり、以下のように定義される。

すると、ｐ_１とｐ＾_２の誤差ｄは、以下のように表すことができる。

或いは、これは以下のように書き換えることもできる。

このｄが今回最小化したい位置合わせ誤差である。ここで、Ｗは以下のように定義する。

Ｗは位置合わせの際の各特徴点に対する重みを示す。その値が大きいほど対応する特徴点を重点的に管理して位置合わせが実行される。本実施の形態で示す結果は全ての重みを１として算出している。ここで、数式６を用いると、数式９は以下のように書き換え可能である。

１つの特徴点（ｘ^２ _ｋ，ｙ^２ _ｋ）についてのみ考えると、位置合わせ結果は以下のようになる。

そして、ａ_ｘ＝ｓ・ｃｏｓ（θ），ａ_ｙ＝ｓ・ｓｉｎ（θ）とすると、数式１２は以下のように書き換え可能である。

これを用いると、ｐ＾_２は以下のように表すことができる。

ここで、Ａ，ｚを以下のように定義する。

すると、数式１４は以下のように書き換え可能である。

これを用いると、数式１１は以下のように書き換え可能である。

ここで、今回の目的はｄを最小化するｚを求めることである。最小二乗法を解くと、ｄを最小化するｚは以下を満足することが分かる。

このｚは以下を解くことで取得可能である。

このｚを求めることにより、位置合わせに必要な回転角度、拡大縮小率、平行移動量が決定し、初期点を目標点にワーピングすることが可能となる。

尚、本実施の形態では、位置合わせ手法として、上記手法を第一候補として用いたが、他の手法を用いてもよい。

図１０（ａ）〜（ｃ）は、以上のアルゴリズムにより目の特徴点を位置合わせした結果を示した図である。（ａ）は変化対象画像中の目の特徴点（初期点）を示し、（ｂ）は参照画像中の目の特徴点を示し、（ｃ）は参照画像中の目の特徴点を変化対象画像に位置合わせした結果（目標点）を示す。

図１０（ｃ）より、画像中の目の形状よりも上下の幅が拡張されるように目標点が配置されていることが分かる。（ａ）の特徴点を初期点、（ｃ）の特徴点を目標点として使用することにより、目の形状を正面方向に視線を向けたものに変換することが可能となる。

６−２．ワーピングによる目の形状変化
図２のステップ１０３では、前節で取得した初期点、目標点を使用してワーピングを行うことにより、目の形状変化を実現する。本実施の形態では、特徴点ベースの形状変化手法としてＢスプライン（B-spline）基底関数を使用したＦＦＤ（Free-Form Deformation）法を使用してワーピングを実現する。Ｂスプライン基底関数を使用したＦＦＤ法は滑らかな形状変化を実現する手法であるため、顔画像のワーピングに多く使用されており、今回は第一候補として使用したが、ワーピング手法としては他の手法を用いてもよい。本実施の形態の内容には直接影響しないため、ここではＦＦＤ法についての詳細な説明は省略する。ＦＦＤ法以外のワーピング手法の候補としては放射基底関数等を用いたものが考えられる。

図１１（ａ）〜（ｄ）は、前節で取得した初期点、目標点を使用してＦＦＤ法によりワーピングを行った結果である変化結果画像を示した図である。（ａ）〜（ｃ）は図７−２（ｄ）〜（ｆ）と共通であり、合成対象画像、参照画像、合成結果画像（目の形状変化を行う前の画像）である。また、（ｄ）は（ｃ）を変化対象画像としてワーピングを施した変化結果画像である。図１１（ａ）〜（ｄ）より、ワーピングを行うことで、変化結果画像が正面に視線を向けたように見てとれることが分かる。

７．視線変換装置の構成の他の例
図１２は、視線変換装置１０の他の機能構成例を示したブロック図である。この視線変換装置１０は、図１に示した視線変換装置１０と同様に、対象画像取得部１１と、参照画像記憶部１２と、特徴点抽出部１３と、テクスチャ合成部１４と、形状変化部１５と、結果画像出力部１６とを備え、これらの処理部の機能も図１に示したものと同様である。テクスチャ合成部１４と形状変化部１５の順番が入れ替わっている点だけが、図１の視線変換装置１０とは異なる。この例では、形状変化部１５が第１の生成手段の一例であり、テクスチャ合成部１４が第２の生成手段の一例である。

８．視線変換装置の処理の流れの他の例
図１３は、視線変換装置１０の他の動作例を示したフローチャートである。このフローチャートは、図２に示したフローチャートと同様に、ステップ１０１と、ステップ１０２と、ステップ１０３とを含み、これらのステップでの処理も図２に示したものと同様である。ステップ１０２とステップ１０３の順番が入れ替わっている点だけが、図２のフローチャートとは異なる。

９．画像処理装置の構成
図１４は、これまで述べた内容に加えて、画像の取得から出力までを行う画像処理装置２０の構成例を示した図である。画像処理装置２０は、被験者の顔の画像を含む画像データを用いて、被験者の視線方向を変換する装置である。そのため、画像処理装置２０は、図示するように、画像取得部２１と、顔検出処理部２２と、目領域検出部２３と、視線方向検出部２４と、処理続行判断部２５と、視線方向変換部２６とを備える。また、画像処理装置２０は、キーボード／マウス９６（図１５参照）等に相当する画像入力装置３０と、ディスプレイ９５（図１５参照）等に相当する画像表示装置４０とに接続されている。

画像取得部２１は、画像入力装置３０を用いて入力された被験者の顔の画像を含む画像データを取得する。

顔検出処理部２２は、画像取得部２１が取得した画像データから被験者の顔の画像を検出する。

目領域検出部２３は、顔検出処理部２２が検出した被験者の顔の画像から目の領域を検出する。

視線方向検出部２４は、目領域検出部２３が検出した目の領域の画像に基づいて被験者の視線の方向を検出する。

処理続行判断部２５は、視線方向検出部２４が検出した被験者の視線の方向に応じて、視線方向を変換すべきかどうかを判断する。例えば、視線方向検出部２４が検出した被験者の視線の方向が正面方向を向いていれば、そこで処理を終了することを判断し、視線方向検出部２４が検出した被験者の視線の方向が正面方向を向いていなければ、処理を続行して視線方向を変換することを判断する。

視線方向変換部２６は、これまで述べてきたような方法で被験者の視線方向を変換し、その結果を画像表示装置４０に出力する。

１０．コンピュータのハードウェア構成
図１５は、本実施の形態を実現するコンピュータ９０のハードウェア構成例を示した図である。図示するように、コンピュータ９０は、演算手段であるＣＰＵ９１と、記憶手段であるメインメモリ９２及び磁気ディスク装置９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、上述した視線変換装置１０及び画像処理装置２０の処理部を実現する。また、メインメモリ９２は、各種ソフトウェアやその実行に用いるデータ等を記憶し、磁気ディスク装置９３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶し、これらの一方又は両方が上述した視線変換装置１０及び画像処理装置２０の記憶部を実現する。更に、コンピュータ９０は、外部との通信を行うためのネットワークＩ／Ｆ９４と、情報を表示するためのデバイスであるディスプレイ９５と、情報を入力するためのデバイスであるキーボード／マウス９６とを備える。

本実施の形態では、予め登録された参照画像における被験者の目の内部テクスチャを対象画像に合成し、対象画像における被験者の目の形状を参照画像における被験者の目の形状に略一致するように変化させるようにした。これにより、システムを大型化させずに、被験者の視線を変換したときの違和感を低減させることが可能となった。また、形状を変化させる対象の領域が眼の周辺の領域のみに限られることから、この領域のみで演算を行えばよいので、形状を変化させる処理の高速化も実現された。

１０…視線変換装置、１１…対象画像取得部、１２…参照画像記憶部、１３…特徴点抽出部、１４…テクスチャ合成部、１５…形状変化部、１６…結果画像出力部

Claims (12)

1. 被験者の顔の画像を含む入力画像を取得する取得手段と、
   予め登録された前記被験者の視線が正面方向を向いた顔の画像を含む登録画像を用いて、前記入力画像に含まれる前記被験者の目の画像に対し、前記被験者の視線を正面方向に向ける第１の加工を行うことにより、第１の画像を生成する第１の生成手段と、
   前記登録画像を用いて、前記第１の画像に含まれる前記被験者の目の画像に対し、当該目の形状を変化させる第２の加工を行うことにより、第２の画像を生成する第２の生成手段と、
   前記第２の画像を出力する出力手段と
   を備えたことを特徴とする視線変換装置。
2. 前記第１の生成手段は、前記登録画像に含まれる前記被験者の目の画像の部分画像である登録部分画像を、前記入力画像に含まれる前記被験者の目の画像の部分画像であって当該登録部分画像に対応する部分画像である入力部分画像に重ねる前記第１の加工を行うことを特徴とする請求項１に記載の視線変換装置。
3. 前記第１の生成手段は、前記登録画像に含まれる前記被験者の目の画像上の当該目の中心点である登録中心点が、前記入力画像に含まれる前記被験者の目の画像上の当該目の中心点である入力中心点に略一致するように、当該登録中心点を通る境界を有する前記登録部分画像の形状及び位置を、当該入力中心点を通る境界を有する前記入力部分画像の形状及び位置に変化させた後に、当該登録部分画像を当該入力部分画像に重ねることを特徴とする請求項２に記載の視線変換装置。
4. 前記第１の生成手段は、前記入力画像に含まれる前記被験者の目の画像上で当該目の中心部から遠ざかるに従って前記登録画像に含まれる前記被験者の目の画像から前記入力画像に含まれる前記被験者の目の画像に徐々に変化するように、前記登録画像に含まれる前記被験者の目の画像を、前記入力画像に含まれる前記被験者の目の画像に重ねる前記第１の加工を行うことを特徴とする請求項１に記載の視線変換装置。
5. 前記第１の生成手段は、前記入力画像に含まれる前記被験者の顔の画像上の当該被験者の目の外側の予め決められた位置まで、前記第１の加工を行うことを特徴とする請求項４に記載の視線変換装置。
6. 前記第２の生成手段は、前記第１の画像に含まれる前記被験者の目の画像の形状が、前記登録画像に含まれる前記被験者の目の画像の形状に略一致するように、前記目の形状を変化させる前記第２の加工を行うことを特徴とする請求項１に記載の視線変換装置。
7. 前記第２の生成手段は、前記第１の画像に含まれる前記被験者の目の画像の形状を表す複数の点を初期点とし、前記登録画像に含まれる前記被験者の目の画像の形状を表す複数の点を前記第１の画像に含まれる前記被験者の目の画像の形状に位置合わせして得られた前記第１の画像上の複数の点を目標点として、当該初期点から当該目標点へのワーピングを行うことにより、前記目の形状を変化させることを特徴とする請求項６に記載の視線変換装置。
8. 被験者の顔の画像を含む入力画像を取得する取得手段と、
   予め登録された前記被験者の視線が正面方向を向いた顔の画像を含む登録画像を用いて、前記入力画像に含まれる前記被験者の目の画像に対し、当該目の形状を変化させる第１の加工を行うことにより、第１の画像を生成する第１の生成手段と、
   前記登録画像を用いて、前記第１の画像に含まれる前記被験者の目の画像に対し、前記被験者の視線を正面方向に向ける第２の加工を行うことにより、第２の画像を生成する第２の生成手段と、
   前記第２の画像を出力する出力手段と
   を備えたことを特徴とする視線変換装置。
9. 被験者の顔の画像を含む入力画像を取得するステップと、
   予め登録された前記被験者の視線が正面方向を向いた顔の画像を含む登録画像を用いて、前記入力画像に含まれる前記被験者の目の画像に対し、前記被験者の視線を正面方向に向ける第１の加工を行うことにより、第１の画像を生成するステップと、
   前記登録画像を用いて、前記第１の画像に含まれる前記被験者の目の画像に対し、当該目の形状を変化させる第２の加工を行うことにより、第２の画像を生成するステップと、
   前記第２の画像を出力するステップと
   を含むことを特徴とする視線変換方法。
10. 被験者の顔の画像を含む入力画像を取得するステップと、
    予め登録された前記被験者の視線が正面方向を向いた顔の画像を含む登録画像を用いて、前記入力画像に含まれる前記被験者の目の画像に対し、当該目の形状を変化させる第１の加工を行うことにより、第１の画像を生成するステップと、
    前記登録画像を用いて、前記第１の画像に含まれる前記被験者の目の画像に対し、前記被験者の視線を正面方向に向ける第２の加工を行うことにより、第２の画像を生成するステップと、
    前記第２の画像を出力するステップと
    を含むことを特徴とする視線変換方法。
11. コンピュータに、
    被験者の顔の画像を含む入力画像を取得する機能と、
    予め登録された前記被験者の視線が正面方向を向いた顔の画像を含む登録画像を用いて、前記入力画像に含まれる前記被験者の目の画像に対し、前記被験者の視線を正面方向に向ける第１の加工を行うことにより、第１の画像を生成する機能と、
    前記登録画像を用いて、前記第１の画像に含まれる前記被験者の目の画像に対し、当該目の形状を変化させる第２の加工を行うことにより、第２の画像を生成する機能と、
    前記第２の画像を出力する機能と
    を実現させるためのプログラム。
12. コンピュータに、
    被験者の顔の画像を含む入力画像を取得する機能と、
    予め登録された前記被験者の視線が正面方向を向いた顔の画像を含む登録画像を用いて、前記入力画像に含まれる前記被験者の目の画像に対し、当該目の形状を変化させる第１の加工を行うことにより、第１の画像を生成する機能と、
    前記登録画像を用いて、前記第１の画像に含まれる前記被験者の目の画像に対し、前記被験者の視線を正面方向に向ける第２の加工を行うことにより、第２の画像を生成する機能と、
    前記第２の画像を出力する機能と
    を実現させるためのプログラム。

Images