JP2004326179A - 画像処理装置、画像処理方法および画像処理プログラムならびに画像処理プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】頭部映像（画像）を回転させた場合に、あらかじめ定めた方向から見た近似画像を違和感なく正確に生成することを可能とする。
【解決手段】位置認識手段１０２により、入力された物体中の特定の部位を自動認識する。概略形状記憶部１０７にあらかじめ記憶された対象物体の概略形状モデルと、位置認識手段により認識された位置情報とを用いて、大きさ・方向検出部１０８により大きさおよび方向を検出する。３次元モデル生成部１０５では、検出された大きさおよび方向を用いてテクスチャを作成し、３次元モデルを生成する。そして、画像レンダリング部１０６により、この３次元モデルをあらかじめ定めた方向から見た画像を、あらかじめ定めた大きさでレンダリングすることにより、あらかじめ定めた大きさおよび方向から見た近似画像を生成する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、動画や静止画などの画像を合成する画像処理装置等に係り、より詳細には、入力される動画や静止画の画像の頭部画像などの注目部分を、あらかじめ定めた大きさに拡大縮小すると同時に、あらかじめ定めた方向に向けて出力する画像処理装置、画像処理方法または画像処理プログラムならびに画像処理プログラムを記録した記録媒体に関し、テレビ電話やゲーム機、携帯電話などの各種デジタル画像の処理分野に適用される。
【０００２】
【従来の技術】
従来より、画像中の顔などの物体の方向を、あらかじめ定めた方向に変えるための技術が提案されている（例えば、特許文献１参照）。
【０００３】
この従来技術は、入力される頭部映像を、卵形の３次元モデルにテクスチャ・マッピングして、そのモデルをあらかじめ定めた角度分だけ回転するようになっている。
【０００４】
また、眼については、眼球が正面に向くように眼の眼球位置を置きかえる操作によって、擬似的に正面を向いたかのような画像を生成している。
【０００５】
なお、この従来技術では、入力画像の頭部映像の大きさを拡大、縮小する機能は開示されていない。
【０００６】
【特許文献１】
特開平６−９０４４５号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、入力される頭部映像（画像）をテクスチャ・マッピングした卵型の３次元モデルを、入力される頭部映像（画像）から導かれる軸の回転方向にあらかじめ定められた固定角度で回転させるため、この回転角度と異なる方向や、頭部映像（画像）の回転軸とは異なる斜め上から、または斜め下から正面に向けての回転画像を得ることができない。
【０００８】
また、頭部映像（画像）の回転方向が横の場合、眼球を眼の中央に移動しても、頭部映像（画像）が下を見ている場合には頭部映像（画像）が上目使いになり、頭部映像（画像）が上を向いている場合には下目使いになるので好ましくない。特に、テレビ電話などの場合には電話相手に対して失礼な画像となる。
【０００９】
また、上記従来技術では、入力される頭部映像（画像）の大きさを調整する機能がないので、テレビ電話等で入力される映像は、カメラの位置や入力映像のズーム状況によっては、小さく取り込まれたり、大きく取り込まれたりして好ましくない。特に、テレビ電話にて複数の人を同時に表示して会議するテレビ会議等の場合に、表示されている各々の通信相手の頭部映像の大きさが統一されていないと、違和感を感じることがある。
【００１０】
本発明は係る問題点を解決すべく創案されたもので、その主たる目的は、頭部映像（画像）を回転させた場合に、あらかじめ定めた方向から見た近時画像を違和感なく正確に生成することのできる画像処理装置、画像処理方法および画像処理プログラムならびに画像処理プログラムを記録した記録媒体を提供することにある。
【００１１】
【課題を解決するための手段】
上記課題を解決するため、本発明の画像処理装置は、物体の画像を入力する画像入力手段と、入力された画像の物体領域より、特定部位として鼻や口の場合は１個、眼、耳の場合は２個、またはこれらの組合せの数にて特定の部位の位置を認識する位置認識手段と、画像入力手段より入力された画像および位置認識手段により認識された位置情報に基づいて、対象物体をあらかじめ定めた大きさおよび方向から見た場合の近似画像を生成する近似画像生成手段とを備えたことを特徴とする。また、本発明の画像処理方法は、物体の画像を入力する画像入力ステップと、入力された画像の物体領域より、特定部位として鼻や口の場合は１個、眼、耳の場合は２個、またはこれらの組合せの数にて特定の部位の位置を認識する位置認識ステップと、画像入力ステップにより入力された画像および位置認識ステップにより認識された位置情報に基づいて、対象物体をあらかじめ定めた大きさおよび方向から見た場合の近似画像を生成する近似画像生成ステップとを備たことを特徴とする。
【００１２】
このような特徴を有する本発明によれば、物体上の部位の位置を手掛りにして、画像中の物体の方向を検出し、あらかじめ定めた方向に向けるにはどの向きに何度回転すれば良いかを計算した上で、その角度分だけ回転するので、あらかじめ定めた方向から見た近似画像を違和感なく正確に生成することができる。また、回転軸を固定していないので、任意の方向から、あらかじめ定めた方向に向けることができる。さらに、画像の大きさもあらかじめ定めた大きさに調整するので、テレビ電話で複数の人を同時に表示して会議する場合などに、各通信相手の頭部の大きさを統一することができ、違和感をなくすことができる。
【００１３】
また、本発明の画像処理装置は、前記画像入力手段に入力される物体画像を、人間の顔を含む頭部画像としたことを特徴とする。
【００１４】
このような特徴を有する本発明によれば、「眼」「口」など、比較的自動検出しやすい部位を含み、一般に研究の進んでいる顔の部位検出技術を応用することができるので、より正確に、大きさおよび方向の検出が行える。また、テレビ電話など、人間の顔画像を用いた分野への応用が可能となる。
【００１５】
また、本発明の画像処理装置によれば、前記位置認識手段は、画像入力される人間の頭部画像より、特定部位である右眼、左眼、鼻、口、耳などのうち、任意の特定部位として鼻や口の場合は１個、眼、耳の場合は２個、またはこれらの組合せの数にて特定の部位を認識対象とすることを特徴とする。
【００１６】
このような特徴を有する本発明によれば、「右眼」「左眼」「鼻」「口」「耳」などの比較的自動検出しやすい部位を、方向検出の手掛かりとして用いるので、大きさおよび方向の検出がより正確に行える。
【００１７】
また、本発明の画像処理装置は、前記近似画像生成手段で生成された近似画像を送信する画像通信手段を備えたことを特徴とする。
【００１８】
このような特徴を有する本発明によれば、ディスプレイおよびカメラを用いて行うテレビ電話やテレビ会議などでは、顔がカメラではなくディスプレイの方を向いてしまうため、参加者がお互いの方を向いているように見えないという問題があるが、本発明によれば、顔がカメラの方を向いているように見える画像をより精度良く自動生成することができ、より臨場感のあるテレビ電話やテレビ会議のシステムが実現できる。
【００１９】
また、本発明の画像処理装置は、前記画像入力装置に入力される物体の画像を受信する画像通信手段を備えたことを特徴とする。
【００２０】
このような特徴を有する本発明によれば、ディスプレイおよびカメラを用いて行うテレビ電話やテレビ会議などで、顔がカメラではなくディスプレイの方を向いてしまうため、参加者がお互いの方を向いているように見えないという問題があるが、本発明によれば、顔がカメラの方を向いているように見える画像をより精度良く自動生成することができ、より臨場感のあるテレビ電話やテレビ会議のシステムが実現できる。
【００２１】
また、本発明の画像処理装置は、物体の画像を入力する画像入力手段と、入力された画像中の物体領域より、任意の部位の位置を指定することのできる位置指定手段と、画像入力手段より入力された画像および位置指定手段より入力された位置情報に基づいて、対象物体をあらかじめ定めた大きさおよび方向から見た場合の近似画像を生成する近似画像生成手段と、この近似画像または入力画像のいずれかを送信または受信する画像通信手段とを備えたことを特徴とする。また、本発明の画像処理方法は、物体の画像を入力する画像入力ステップと、入力された画像中の物体領域より、任意の部位の位置を指定することのできる位置指定ステップと、画像入力ステップにより入力された画像および位置指定ステップにより入力された位置情報に基づいて、対象物体をあらかじめ定めた大きさおよび方向から見た場合の近似画像を生成する近似画像生成ステップと、この近似画像または入力画像のいずれかを送信または受信する画像通信ステップとを備えたことを特徴とする。
【００２２】
このような特徴を有する本発明によれば、物体上の部位の位置を手掛りにして、画像中の物体の方向を検出し、あらかじめ定めた方向に向けるにはどの向きに何度回転すれば良いかを計算した上で、その角度分だけ回転するので、あらかじめ定めた方向から見た近似画像をより正確に得ることができる。また、位置指定手段を用いて人手により部位の位置を指定するので、より正確に回転することができる。さらに、ディスプレイおよびカメラを用いて行うテレビ電話やテレビ会議などで、顔がカメラではなくディスプレイの方を向いてしまうため、参加者がお互いの方を向いているように見えないといった問題があるが、本発明によれば、顔がカメラの方を向いているように見える画像をより精度良く生成することができ、より臨場感のあるテレビ電話やテレビ会議のシステムが実現できる。
【００２３】
また、本発明の画像処理装置は、前記画像入力手段に入力される物体画像を、人間の顔を含む頭部画像としたことを特徴とする。
【００２４】
このような特徴を有する本発明によれば、「眼」「口」など、比較的自動検出しやすい部位を含み、一般に研究の進んでいる顔の部位検出技術を応用することができるので、より正確に、大きさおよび方向の検出が行える。また、テレビ電話など、人間の顔画像を用いた分野への応用が可能となる。
【００２５】
また、本発明の画像処理装置によれば、前記近似画像生成手段は、前記画像入力手段に入力された画像と位置情報とを用いて、３次元モデルを生成する３次元モデル生成部と、この３次元モデル生成部で生成された３次元モデルをあらかじめ定めた大きさおよび方向に動かしてレンダリングする画像レンダリング部とを備えたことを特徴とする。
【００２６】
このような特徴を有する本発明によれば、入力された画像、特徴点の位置情報を用いて、３次元モデルを生成する。そして、この３次元モデルをあらかじめ定めた方向から見てレンダリングすることにより、あらかじめ定めた大きさおよび方向から見た場合の近似画像を作成することができる。
【００２７】
また、本発明の画像処理装置によれば、前記３次元モデル生成部は、画像入力される物体に相当する概略形状を記憶する概略形状モデル記憶部と、入力された画像と位置情報とを用いて、画像中の対象物体の大きさおよび方向を検出する大きさ・方向検出部と、この大きさ・方向検出部から検出される大きさおよび方向の情報によって、概略形状モデルに貼りつけるテクスチャを生成するテクスチャ生成部とを備えたことを特徴とする。
【００２８】
このような特徴を有する本発明によれば、特定の種類の物体の概略形状モデルをあらかじめ記憶しておき、特徴点の位置情報から、入力された画像中の対象物体の大きさおよび方向を検出する。そして、この大きさおよび方向を用いて、概略形状モデルに貼り付けるためのテクスチャを生成する。そして、概略形状モデルにテクスチャを貼り付けることにより３次元モデルを生成し、これをあらかじめ定めた方向から見てレンダリングすることにより、あらかじめ定めた大きさおよび方向から見た場合の近似画像を作成する。
【００２９】
上記構成の画像処理方法は、この方法を実施するための画像処理プログラムによって実現することができる。
【００３０】
すなわち、本発明の画像処理プログラムは、物体画像を入力する画像入力ステップと、入力された画像の物体領域より、特定部位として鼻や口の場合は１個、眼、耳の場合は２個、またはこれらの組合せの数にて特定の部位の位置を認識する位置認識ステップと、画像入力ステップにより入力された画像および位置認識ステップにより認識された位置情報に基づいて、対象物体をあらかじめ定めた大きさおよび方向から見た場合の近似画像を生成する近似画像生成ステップとを、少なくとも含んでいる。あるいは、物体画像を入力する画像入力ステップと、入力された画像中の物体領域より、任意の部位の位置を指定することのできる位置指定ステップと、画像入力ステップにより入力された画像および位置指定ステップにより入力された位置情報に基づいて、対象物体をあらかじめ定めた大きさおよび方向から見た場合の近似画像を生成する近似画像生成ステップと、この近似画像または入力画像のいずれかを送信または受信する画像通信手段とを少なくとも含んでいる。
【００３１】
本発明の画像処理プログラムによれば、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明の画像処理装置を実現することができる。さらに、この画像処理プログラムを汎用的なコンピュータで実行可能なものにしておけば、本発明の画像処理装置を実現するために専用のコンピュータ環境を構築する必要もなくなり、本発明の画像処理プログラムの有用性が高まることになる。
【００３２】
また、このような画像処理プログラムを記録媒体に記録して提供することができる。本発明の記録媒体によれば、本発明の画像処理装置を様々な場所や環境で実現することが容易になり、本発明の画像処理方法の汎用性を高めることができる。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３４】
−本発明の概要−
本発明の画像処理装置、画像処理方法または画像処理プログラムならびに画像処理プログラムを記録した記録媒体は、特定の種類の画像を入力して、その大きさおよび方向を、あらかじめ定めた大きさおよび方向に変換した画像を生成するためのものである。
【００３５】
本実施形態では、この特定の種類の画像を人間の顔とし、テレビ電話またはテレビ会議システムに使用すれば、テレビに映る人間の顔を、それを見ている人の方を向くように変換することができる。
【００３６】
通常、テレビ電話またはテレビ会議システムでは、カメラで参加者の顔を撮影し、その画像を遠隔地にいる参加者の前のディスプレイに表示するが、カメラとディスプレイとは別の場所にあるので、お互いの顔が、相手の方からずれた方向を向いて見えてしまうという問題がある。本発明は、この問題を解決するために応用することができる。例えば、上記特許文献１に記載のように、映像を入力することにより映像を左右に回転し、眼球の位置も眼の真中に置き直すことで、視線を含め無理やり顔の映像を正面に向けるものがあるが、本発明はこのような特許文献１の方法に比べて、より正確にお互いの方を向くように、画像中の顔の方向を変換することができる。
【００３７】
もちろん、本発明は、人間の顔以外の対象物体を画像入力して、出力部の中央に正面を向かせることにも利用することができる。また、必ずしも通信を伴う必要はなく、パーソナルコンピュータなど情報処理機器等で色々な顔画像などを入力して統一した向きになる顔画像をファイルしたりするための画像編集を行なう作業など、スタンドアローンのシステムにも利用することができる。
【００３８】
＜実施形態１＞
以下、本発明の実施形態１について、詳細に説明する。
【００３９】
なお、本実施形態１では、入力される情報を人間の頭部画像として説明を行なっているが、これは映像などの動画像でも良く、静止画像でも良い。また人間の頭部画像に限定されるものではない。また、本実施形態１の説明では、入力される頭部画像である対象物体を含む画像の処理方法を主に説明し、その応用としてテレビ電話での実施例を説明する。
【００４０】
図１は、本実施形態１に係る画像処理装置のブロック図、図２は、本実施形態１に係る画像処理装置による画像処理動作を説明するためのフローチャート、図３は、近似画像生成ステップＳ２０３を詳細に説明するためのフローチャート、図４は、大きさ・方向検出処理ステップＳ３０１１を詳細に説明するためのフローチャート、図５は、大きさ・方向検出処理の一例を示すブロック図、図６は、３次元モデル生成ステップＳ３０１を説明するための説明図である。
【００４１】
−ブロック図の説明−
まず、図１に示すブロック図について説明する。
【００４２】
画像入力手段１０１は、対象物体を含む画像を入力するものである。
【００４３】
これは、ディジタルカメラ、スキャナ等で入力してもよいし、インターネット経由で外部のサーバから入手してもよい。この画像入力は、必ずしもその場で行う必要はなく、あらかじめ入力してファイルとして蓄積しておき、そのファイルを画像データとして使用してもよい。
【００４４】
位置認識手段１０２は、入力された物体中の特定部位の位置を自動認識するものである。例えば、対象物体が人間の顔であれば、その中から、眼や口などの位置を自動認識する。その動作に関しては、後述する。
【００４５】
近似画像生成手段１０３は、３次元モデル生成部１０５と、画像レンダリング部１０６と、大きさ・方向記憶部１１０とからなる。
【００４６】
また、３次元モデル生成部１０５は、画像入力手段１０１で入力された画像、および位置認識手段１０２で認識された位置情報を用いて、対象物体の３次元モデルを生成するもので、概略形状記憶部１０７、大きさ・方向検出部１０８、テクスチャ生成部１０９を備えている。
【００４７】
概略形状記憶部１０７は、あらかじめ用意された対象物体の概略形状モデルを記憶しておくものである。
【００４８】
大きさ・方向検出部１０８は、位置認識手段１０２で認識された位置情報を用いて、対象物体の大きさおよび方向を検出するものである。
【００４９】
テクスチャ生成部１０９は、画像入力手段１０１で入力された画像、および大きさ・方向検出部１０８で認識された大きさ・方向情報を用いて、対象物体のテクスチャを生成するものである。ただし、大きさ・方向を常には検出せず、画像入力手段１０１で入力された画像と、位置認識手段１０２で認識された位置情報を用いて、対象物体のテクスチャを生成することも考えられる。
【００５０】
ここでいうテクスチャとは、物体表面の色、輝度の２次元的な変化を表現したもので、物体表面への投影方法を仮定した上で、平面画像として作成するのが一般的である。レンダリング時には、テクスチャを、仮定した投影方法に従って、形状モデル上に投影する。このテクスチャ生成は、例えば、特開平２００１−１０９９０７号公報に開示されている方法で行うことができる。
【００５１】
３次元モデル生成部１０５は、概略形状記憶部１０７に記憶されている概略形状モデルに、入力された物体画からテクスチャ生成部１０９において生成したテクスチャを貼り込み、３次元モデルを生成する。
【００５２】
大きさ・方向記憶部１１０は、あらかじめ定めた大きさ・方向を記憶するものである。
【００５３】
画像レンダリング部１０６は、３次元モデル生成部１０５で生成された３次元モデルを基にして、大きさ・方向記憶部１１０に記憶されているあらかじめ定めた大きさおよび方向から見た近似画像を生成するものである。
【００５４】
上記構成において、近似画像生成手段１０３は、画像入力手段１０１で入力された画像および位置認識手段１０２で認識された位置情報を用いて、大きさ・方向記憶部１１０に記憶されているあらかじめ定めた大きさおよび方向から見た近似画像を生成する。すなわち、３次元モデル生成部１０５により対象物体の３次元モデルを生成し、画像レンダリング部１０６により、あらかじめ定めた大きさおよび方向から見た近似画像を生成する。
【００５５】
なお、あらかじめ定める大きさおよび方向に関しては、例えば、「大きさ」は入力された画像と同じ程度、「方向」は正面向き、などのように定めることもできる。この場合には、大きさおよび方向を大きさ・方向記憶部１１０に記憶する必要はなく、大きさ・方向記憶部１１０は省略することもできる。
【００５６】
画像通信手段１０４は、画像データを有線または無線の通信経路を通じて送受信するものである。
【００５７】
図７は、人間の頭部の概略形状モデルの例を示す模式図である。
【００５８】
概略形状モデルとは、例えば、対象とする物体の概略の３次元形状を表現するもので、例えば、３角パッチの頂点の３次元座標として記憶される。これは、例えば、人間の頭部であれば、人間の頭部形状を数多く計測し、その平均形状を算出して、概略形状を作成する。また、そのモデル形状の正確性をあまり要求されない場合には、デザイナーが手作業で作ることも考えられる。
【００５９】
また、「右眼」「左眼」「鼻」「口」などの特徴点も、概略形状モデルの物体表面に存在しており、それらの位置も概略形状記憶部１０７に記憶しておけばよい。
【００６０】
この概略形状モデルは、１種類とは限らず、複数種類用意しておき、その中から実際の画像を参照して、最適なものを選んでもよい。この選択は、例えば特開平２００１−１０９９０７号公報に開示されている方法で行えばよい。
【００６１】
−画像処理の説明−
次に、図２ないし図４に示すフローチャートを参照して、画像処理の各ステップを詳細に説明する。
【００６２】
まず、画像入力手段１０１により、対象物体を含む画像を入力する（Ｓ２０１）。
【００６３】
次に、位置認識手段１０２により、入力された物体中の特定部位として、鼻や口の場合は１個、眼、耳の場合は２個、またはこれらの組合せの数により、特定の部位を特徴点として自動位置認識する（Ｓ２０２）。
【００６４】
すなわち、各々の部位の中心点に関して、入力画像内でのｘ座標、ｙ座標を検出する。特定部位として鼻や口の場合は１個、眼、耳などの場合は２個、またはこられの組合せの数にて特定の部位とする。例えば、対象物体が顔である場合は、右眼、左眼、鼻、口の４部位を認識すると良い。
【００６５】
一般に、特徴点とする部位数が多いほど、大きさおよび方向の変換が正確に行えることになるが、自動位置認識は必ずしも正確に行えるとは限らないので、必ずしも、部位数を多くする方が良い結果が得られるとは限らない。しかしながら、部位１個では、大きさおよび方向を算出することができないので、特定部位として鼻や口の場合は１個、眼、耳の場合は２個、またはこれらの組合せの数にて部位を位置認識することが必要である。以下の説明では、右眼、左眼、鼻、口の４部位の位置を認識するものとして説明する。
【００６６】
顔の部位の自動位置認識に関しては、画像処理の分野では古くから研究されており、例えば特開２０００−３１１２４８号公報に開示されている手法を初めとして、多くの手法が提案されている。一般的には、画像中から、顔全体の大まかな位置を認識した後、顔の中から、各部位の位置を認識する。
【００６７】
顔全体の大まかな位置の認識に関しては、例えば、肌色を手がかりにして、画像全体から肌色に近い画素値を持つ画素をすべて検出した後、そのような画素の連結領域を抽出して、各領域の形および大きさから、最も顔らしい領域を検出すればよい。
【００６８】
顔部分の領域を検出した後は、そこから、例えば、「眼」なら「眼」の画像上の特徴を利用して、眼の領域を検出して、位置を決定する。
【００６９】
これは、例えば、得られた顔領域から眼の大体の大きさを推定し、あらかじめ用意された眼画像のテンプレートを、その大きさになるように拡大または縮小して走査用テンプレートを作成し、この走査用テンプレートで、顔画像上を走査してマッチング処理を行い、類似度が一番大きくなる場所を探索することで、眼の領域を抽出すればよい。眼画像のテンプレートは、あらかじめ多数の眼画像領域を用意し、拡大または縮小処理により、それらの大きさを統一した上で、対応する画素値を平均して作成する。
【００７０】
このとき、最初に大まかに顔領域を検出しているので、一般の人の顔部位の位置の統計を用いて、探索を行う領域を絞り込むと良い。
【００７１】
鼻、口の場合も、同様な方法で位置を検出することができる。
【００７２】
また別の方法として、まず、顔領域の水平線上の画素値を加算平均し（顔領域以外の画素は加算対象としない）、その垂直方向の変化を調べることで、垂直方向の大体の位置（ｙ座標）を決定し、その後、水平方向に、上記と同様にしてテンプレートを走査し、類似度が最大になる点を探索することで、座標を決定しても良い。
【００７３】
眼の場合は、周囲と比べて輝度値が低いため、水平線上の画素値の加算平均も付近と比べて小さくなるので、グラフの谷間を見つけることで、垂直方向の大体の位置を決定することができる。
【００７４】
次に、近似画像生成手段１０３により、あらかじめ定めた大きさおよび方向から見た場合の近似画像を生成する（Ｓ２０３）。
【００７５】
最後に、画像通信手段１０４により、画像を送信する（Ｓ２０４）。
【００７６】
−近似画像生成手段１０３での処理動作の説明−
次に、上記ステップＳ２０３での近似画像生成手段１０３による処理動作について、図３に示すフローチャートおよび図６に示す説明図を参照して詳細に説明する。
【００７７】
まず、３次元モデル生成部１０５により、３次元モデルを生成する（Ｓ３０１）。
【００７８】
具体的には、まず、概略形状記憶部１０７にあらかじめ記憶された対象物体の概略形状モデルと、前記位置情報とを用いて、大きさ・方向検出部１０８により、大きさおよび方向を検出する（Ｓ３０１１）。この大きさおよび方向の検出処理については後ほど詳細に説明する。
【００７９】
次に、画像入力手段１０１に入力された画像と、大きさ・方向検出部１０８により検出された大きさ・方向とを用いて、テクスチャ生成部１０９により、テクスチャを生成する（Ｓ３０１２）。
【００８０】
これは、テクスチャを、あらかじめ定めた物体表面への投影方法に従って投影した場合に、入力画像のような投影結果が得られるようなテクスチャを、該入力画像、および大きさ・方向検出部１０８により検出された大きさ・方向を用いて、求める。
【００８１】
この処理を、図６を用いてさらに詳しく説明する。
【００８２】
図６において、同図（ｂ）が生成されるテクスチャ、同図（ｄ）が正面向きの３次元モデルの模式図である。ここでは、テクスチャは、画像レンダリング時に、正面向きから、平行投影により、概略形状モデルに投影されることを仮定する。この場合、同図（ｃ）に示す状態の概略形状モデルの投影画像から、同図（ｄ）に示す状態の投影画像への変換と同じ変換を、同図（ａ）の入力画像に対して加えることにより、同図（ｂ）のようなテクスチャを得ることができる。
【００８３】
この後、生成された３次元モデル、すなわち生成されたテクスチャおよび概略形状モデルを用いて、画像レンダリング部１０６により画像レンダリングを行う（Ｓ３０２）。
【００８４】
概略形状モデルの向きは既知であるので、この概略形状モデルに、大きさ・方向記憶部１１０に記憶されているあらかじめ定めた方向から見た画像を、大きさ・方向記憶部１１０に記憶されているあらかじめ定めた大きさでレンダリングすることにより、あらかじめ定めた大きさおよび方向から見た近似画像を得ることができる。
【００８５】
−大きさ・方向検出部１０８での検出処理動作の説明−
次に、上記ステップＳ３０１１での大きさ・方向検出部１０８による大きさおよび方向の検出処理動作について、図４に示すフローチャートおよび図５に示す機能ブロック図を用い、さらに図６の説明図を参照して説明する。この処理では、最初に大きさ・向きの初期値を設定し、これを繰り返し処理（反復計算）により、真の値に近づけていく。
【００８６】
まず、大きさ・方向を推定するための仮の初期値を設定する（Ｓ４０１）。
【００８７】
この初期値は、例えば、与えられた大きさ・方向と同一にとっても良い。この初期値は、大きさ・向き記憶部５０１に記憶する。例えば、大きさは、１つのスカラー値、向きは、ｘ軸回り、ｙ軸回り、ｚ軸回りの回転の３つの角度の値で表される。
【００８８】
向きの初期値は、例えば、正面向きに取れば良い。また、大きさの初期値は、そのような大きさ・向きの初期値を取り、概略形状記憶部５０２にその位置が記憶されている、物体表面上の特徴点を、図６（ａ）に示す入力画像と同一の画像平面上に投影した際に、投影先の点すべてを含む最小の矩形が、入力画像と比べてかなり小さい面積（例えば、１／１０未満）しか占めなかったり、逆に、いくつかの投影先の点が入力画像からはみ出たりすることのないように取れば良い。
【００８９】
次に、現在の、大きさ・向きの推定値（最初は、初期値）に従って、概略形状モデルの物体表面上の特徴点、この例では、右眼、左眼、鼻、口を、図６（ａ）に示す入力画像と同一の画像平面上に投影する（Ｓ４０２）。
【００９０】
この投影先の計算は、投影先計算部５０３により行われる。また、計算結果を、特徴点投影先記憶部５０４に記憶する。これは、各特徴点に関して、ｘ座標およびｙ座標を記憶すれば良い。
【００９１】
さらに、これらの、右眼、左眼、鼻、口の投影先の座標と、ステップＳ２０２で認識された、右眼、左眼、鼻、口の座標とを比較する（Ｓ４０３）。
【００９２】
位置認識結果は、位置認識結果記憶部５０５に記憶しておき、特徴点投影先記憶部５０４に記憶されている値との差を、ずれ計算部５０６により計算し、計算結果をずれ記憶部５０８に記憶する。
【００９３】
ここで、ずれ記憶部５０８に結果を格納する前に、大きさ・向きの更新計算の際に用いるため、前回の反復時（例えば、今回反復２回目であれば、反復１回目）のずれ（すなわち、ずれの計算前に、ずれ記憶部５０８に記憶されていた値）を、前回ずれ記憶部５０７に退避しておく。
【００９４】
これらのずれが十分小さいか、あるいは小さくなったと判断した場合（Ｓ４０４でＹｅｓと判断された場合）には、反復計算を中断し、終了する。これによって、そのときの大きさおよび方向が、入力画像での対象物体の大きさおよび方向であると推定する。
【００９５】
十分小さいかどうかの判断基準は、例えば、すべての特徴点に関して、２画素以内になった場合、というようにすればよい。
【００９６】
ずれが十分小さくないと判断した場合（Ｓ４０４でＮｏと判断された場合）は、大きさ・向きの推定値を更新した上で（Ｓ４０５）、Ｓ４０２に戻り、反復計算を継続する。
【００９７】
大きさ・向きの更新方法に関しては、例えば、以下のようにすれば良い。
【００９８】
最初（反復の第１回目の場合）は、幅をランダムに決めるか、あるいは、一定幅のごく小さい幅で、大きさおよび向きの各成分を増減する。増やすか減らすかは、ランダムに決める。
【００９９】
反復の第２回目以降には、ずれの量の前回との変化に基づいて、大きさおよび向きの各成分の増減量を決定する。
【０１００】
すなわち、これらの修正量の計算は、前回ずれ記憶部５０７に記憶されている前回反復時のずれと、ずれ記憶部５０８に記憶されている今回計算されたずれと、大きさ・向き修正量記憶部５１０に記憶されている前回反復時の大きさ・向き修正量とを参照して、大きさ・向き修正量計算部５０９によって行われる。その結果は、大きさ・向き修正量記憶部５１０に記憶される。
【０１０１】
なお、この修正量の計算は、もっと以前の反復時のずれや、大きさ・向きの修正量なども記憶しておき、それらも合わせて用いて行ってもよい。
【０１０２】
大きさ・向き修正部５１１は、大きさ・向き修正量記憶部５１０に記憶された値を用いて、大きさ・向き記憶部５０１に格納されている、大きさ・向きの値を修正・更新する。
【０１０３】
図６では、特徴点の検出された位置（同図（ａ））および概略形状モデル上の位置（同図（ｃ））を、×印で示している。上記で説明した特徴点の繰り返し処理の結果、特徴点のずれが十分小さい状態になる。すなわち、実用上問題ない範囲で、投影された右眼、左眼、鼻、口の位置が、認識された右眼、左眼、鼻、口の位置と一致する。
【０１０４】
図８は、本発明をテレビ会議に適用した場合の模式図を示している。ここでは、本発明の画像処理装置または画像処理プログラムは、カメラ、ディスプレイを備えるテレビ会議端末に内蔵されており、生成した近似画像を、通信路を通じて他の参加者のテレビ会議装置に送信する。
【０１０５】
または、カメラから入力された人間の頭部画像を、そのまま他の参加者のテレビ会議端末に送信し、受信した側のテレビ会議端末で、本発明の画像処理装置または画像処理プログラムにより近似画像を生成しても良い。
【０１０６】
ここで、本発明の画像処理装置または画像処理方法を、テレビ会議に用いた場合の表示に関して、図９および図１０を参照して説明する。図９は本発明の適用前の画面の状態を示す説明図、図１０は本発明の適用後の画面の状態を示す説明図である。
【０１０７】
上記したように、通常、テレビ会議に用いるカメラとディスプレイは別の位置にあるため、図９（ｂ）に示すように、映っている参加者（使用者）の視線が（この例では、上の方に）ずれてしまう。本発明の画像処理装置または画像処理方法を用いることにより、図１０（ｂ）に示すように、正面向きの画像に修正することができる。
【０１０８】
また、カメラと参加者との間の距離、カメラのズーミングの設定（パラメータ）等の状況により、図９（ｃ）に示すように、映っている参加者のうちの１人または複数人の画像が、他の参加者の画像と比べて小さくまたは大きく映り、見にくくなる場合がある。これに対し、本発明の画像処理装置または画像処理方法を用いることにより、図１０（ｃ）に示すように、カメラと参加者との間の距離を調整したり、カメラのズーミングの設定を調整したりすることなく、参加者の映像の大きさを揃えることができる。
【０１０９】
また、通常、参加者は、顔全体を動かしてカメラの方を向くと考えられるので、上記のように、顔全体を回転させることで、視線が一致するような画像を作成することができるが、場合によっては、図９（ｄ）に示すように、眼部分だけが違った方向を向くことも考えられる。この場合は、眼部分を対象とし、黒目部分を特徴点として、本発明の画像処理装置または画像処理方法を用いることにより、図１０（ｄ）に示すような、正面向きの顔画像を作成し、視線の一致をはかることができる。
【０１１０】
また、顔全体、眼部分共にずれた方向を向いている場合は、顔全体および眼部分の両方に関して、各々本発明の画像処理装置または画像処理方法を用いることにより、顔方向、視線方向の両方が共に自然な顔画像に変換することができる。
【０１１１】
なお、本発明の画像処理装置または画像処理方法は、必ずしも通信を伴う必要はない。例えば、図９（ｂ），（ｃ），（ｄ）のような画像から、各々図１０（ｂ），（ｃ），（ｄ）のように、大きさ・向きを任意の大きさ・向きに変換した画像を作成するような画像編集機能として、パーソナルコンピュータ上の画像編集ソフトウェアの中で利用することも考えられる。このような画像編集ソフトウェアにより、例えば、脇見をした顔画像から、アドレス帳に用いるための正面向きの画像を作成することができる。
【０１１２】
＜実施形態２＞
以下、本発明の実施形態２について詳細に説明する。
【０１１３】
図１１は、本発明の実施形態２に係る画像処理装置のブロック図である。
【０１１４】
本実施形態２の図１１に示すブロック図と上記実施形態１の図１に示すブロック図との違いは、位置情報の入力手段として、上記実施形態１では位置認識手段１０２を用いているのに対し、本実施形態２では位置指定手段１１１を用いている点のみである。従って、本実施形態２に係るブロック図において、実施形態１に係る各機能ブロックと同じ機能ブロックについては同符号を付すこととし、ここでは詳細な説明を省略する。
【０１１５】
また、図１２は、上記実施形態２に係る画像処理装置による画像処理動作を説明するためのフローチャートである。以下、図１２に示すフローチャートを参照して、実施形態２に係る画像処理動作を詳細に説明する。
【０１１６】
まず、画像入力手段１０１により、対象物体を含む画像を入力する（Ｓ１２０１）。これは、上記実施形態１の場合と同様であるので、説明を省略する。
【０１１７】
次に、位置指定手段１１１により、入力された物体中の特定部位として、鼻や口の場合は１個、眼や耳の場合は２個、またはこれらの組合せの数にて特定の部位を使用者が指定し入力する（Ｓ１２０２）。特定部位として鼻や口の場合は１個、眼や耳の場合は２個、またはこれらの組合せの数にて特定の部位とする。例えば、対象物体が顔である場合は、右眼、左眼、鼻、口の４部位を指定すると良い（図１３参照）。これは、例えば、マウス、ジョイスティック、タッチパッドなどの２次元位置を指定できる入力装置によって指定すれば良い。
【０１１８】
この後の処理は、上記実施形態１の場合と同様であるので、ここでは説明を省略する。ただし、実施形態１で、位置認識結果を使用している部分に関しては、本実施形態２では、位置指定手段１１１で指定された位置を用いる。
【０１１９】
−プログラムおよび記録媒体−
以上説明した画像処理装置は、コンピュータにより入力画像から近似画像を生成する各処理を実行させるための画像処理プログラムによって実現されている。コンピュータとしては、パーソナルコンピュータやワークステーションなどの汎用的なものが考えられるが、これに限るものではない。これにより、画像処理プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明の画像処理装置を実現することができる。
【０１２０】
発明の対象とするのは、このプログラムそのものであってもよいし、このプログラムがコンピュータで読み取り可能な記録媒体に格納されているものであってもよい。
【０１２１】
本発明では、この記録媒体として、コンピュータで処理が行なわれるために必要なメモリ、例えばＲＯＭのようなものそのものがプログラムメディアであってもよいし、また、図示していない外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。
【０１２２】
いずれの場合においても、格納されているプログラムはマイクロコンピュータがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、マイクロコンピュータの図示しないプログラム記憶エリアにロードされて、そのプログラムが実行される方式であってもよい。このロード用のプログラムは予め本体装置に格納されているものとする。
【０１２３】
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、ＦＤ（フレキシブルディスク）やＨＤ（ハードディスク）等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【０１２４】
また、本発明においては、インターネットを含む通信ネットワークと接続可能なシステム構成である場合には、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め装置本体に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【０１２５】
さらに、本発明では、プログラム自体として、マイクロコンピュータで実行される処理そのものであってもよいし、あるいはインターネットを含む通信ネットワークとアクセスすることで取り込める、あるいは取り込めたものであってもよいし、こちらから送り出すものであってもよい。さらには、この取り込んだプログラムに基づいて、上記画像処理装置内で処理された結果、つまり生成されたものであってもよい。あるいは、こちらから送り出す際に上記画像処理装置内で処理された結果、つまり生成されたものであってもよい。なお、これらのものはプログラムに限定されず、データであってもよい。
【０１２６】
これにより、物理的な記録媒体の必要なしに、本発明の画像処理装置をさまざまな場所や環境で実現することが容易となり、本発明の画像処理方法の汎用性を一層高めることができる。
【０１２７】
【発明の効果】
以上説明したように、本発明によれば、物体上の部位の位置を手掛りにして画像中の物体の方向を検出することにより、あらかじめ定めた方向に向けるには、何度回転すれば良いかを計算した上で、その角度分だけ回転するので、あらかじめ定めた方向から見た近似画像をより正確に得ることができる。また、回転軸を固定していないので、任意の方向から、あらかじめ定めた方向に向けることができる。さらに、画像の大きさもあらかじめ定めた大きさに調整するので、テレビ電話で複数の人を同時に表示して会議する場合などに、各通信相手の頭部の大きさを統一し、違和感をなくすことができる。
【０１２８】
また、本発明によれば、「眼」「口」など、比較的自動検出しやすい部位を含み、一般に研究の進んでいる顔の部位検出技術を応用することができるので、より正確に、大きさおよび方向の検出が行える。また、テレビ電話など、人間の顔画像を用いた分野への応用が可能となる。
【０１２９】
また、本発明によれば、「右眼」「左眼」「鼻」「口」といった比較的自動検出しやすい部位を方向検出の手掛かりとして用いるので、より正確に、大きさおよび方向の検出が行える。
【０１３０】
また、本発明によれば、ディスプレイおよびカメラを用いて行うテレビ電話やテレビ会議などで、顔がカメラではなくディスプレイの方を向いてしまい、参加者がお互いの方を向いているように見えないといった問題に対し、顔がカメラの方を向いているように見える画像をより精度良く自動生成することができ、より臨場感の高いテレビ電話やテレビ会議システムが実現できる。
【０１３１】
また、本発明によれば、物体上の部位の位置を手掛りにして画像中の物体の方向を検出することにより、あらかじめ定めた方向に向けるには、何度回転すれば良いかを計算した上で、その角度分だけ回転するので、あらかじめ定めた方向から見た近似画像をより正確に得ることができる。また、位置指定手段を用いて、人手により部位の位置を指定するので、より正確に回転することができる。さらに、ディスプレイおよびカメラを用いて行うテレビ電話やテレビ会議などで、顔がカメラではなくディスプレイの方を向いてしまい、参加者がお互いの方を向いているように見えないといった問題に対し、顔がカメラの方を向いているように見える画像をより精度良く生成することができ、より臨場感の高いテレビ電話やテレビ会議システムが実現できる。
【０１３２】
これにより、カメラとディスプレイとの位置関係に気を使わなくてすむため、テレビ電話システムの構造、構成（別々の装置の組み合わせ）の自由度が増す。また、画像をそのまま送受信するのではなく、擬似画像を用いるので、手振れによって画面が見づらくなることもない。
【０１３３】
また、本発明によれば、「眼」「口」など、比較的人手による位置指定が正確かつ容易に行える部位を含むので、より正確に、大きさおよび方向の検出が行える。また、テレビ電話など、人間の顔画像を用いた分野への応用が可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態１に係る画像処理装置のブロック図である。
【図２】本発明の実施形態１に係る画像処理装置による画像処理動作を説明するためのフローチャートである。
【図３】近似画像生成ステップを詳細に説明するためのフローチャートである。
【図４】大きさ・方向検出処理ステップを詳細に説明するためのフローチャートである。
【図５】大きさ・方向検出処理の一例を示すブロック図である。
【図６】３次元モデル生成ステップを説明するための説明図である。
【図７】人間の頭部の概略形状モデルの例を示す模式図である。
【図８】本発明をテレビ会議に適用した場合の模式図である。
【図９】本発明の画像処理装置または画像処理方法をテレビ会議に用いた場合の表示に関し、本発明の適用前の画面の状態を示す説明図である。
【図１０】本発明の画像処理装置または画像処理方法をテレビ会議に用いた場合の表示に関し、本発明の適用後の画面の状態を示す説明図である。
【図１１】本発明の実施形態２に係る画像処理装置のブロック図である。
【図１２】本発明の実施形態２に係る画像処理装置による画像処理動作を説明するためのフローチャートである。
【図１３】位置指定ステップを説明するための説明図である。
【符号の説明】
１０１ 画像入力手段
１０２ 位置認識手段
１０３ 近似画像生成手段
１０４ 画像通信手段
１０５ ３次元モデル生成部
１０６ 画像レンダリング部
１０７ 概略形状記憶部
１０８ 大きさ・方向検出部
１０９ テクスチャ生成部
１１０ 大きさ・方向記憶部
１１１ 位置指定手段
５０１ 大きさ・向き記憶部
５０２ 概略形状記憶部
５０３ 投影先計算部
５０４ 特徴点投影先記憶部
５０５ 位置認識結果記憶部
５０６ ずれ計算部
５０７ 前回ずれ記憶部
５０８ ずれ記憶部
５０９ 大きさ・向き修正量計算部
５１０ 大きさ・向き修正量記憶部
５１１ 大きさ・向き修正部

Claims (13)

1. 物体画像を入力する画像入力手段と、
   入力された画像の物体領域より、特定部位の位置を認識する位置認識手段と、
   前記画像入力手段より入力された画像および前記位置認識手段により認識された位置情報に基づいて、対象物体をあらかじめ定めた大きさおよび方向から見た場合の近似画像を生成する近似画像生成手段とを備えたことを特徴とする画像処理装置。
2. 前記画像入力手段に入力される物体の画像は、人間の顔を含む頭部画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記位置認識手段は、画像入力される人間の頭部画像より、特定部位として右眼、左眼、鼻、口の任意の部位を認識対象とすることを特徴とする請求項２に記載の画像処理装置。
4. 前記近似画像生成手段で生成された近似画像を送信する画像通信手段を備えたことを特徴とする請求項１ないし請求項３のいずれかに記載の画像処理装置。
5. 前記画像入力手段に入力される物体の画像を受信する画像通信手段を備えたことを特徴とする請求項１ないし請求項３のいずれかに記載の画像処理装置。
6. 物体の画像を入力する画像入力手段と、
   入力された画像中の物体領域より、任意の部位の位置を指定することのできる位置指定手段と、
   前記画像入力手段より入力された画像および前記位置指定手段より入力された位置情報に基づいて、対象物体をあらかじめ定めた大きさおよび方向から見た場合の近似画像を生成する近似画像生成手段と、
   この近似画像または入力画像のいずれかを送信または受信する画像通信手段とを備えたことを特徴とする画像処理装置。
7. 前記画像入力手段に入力される物体画像は、人間の顔を含む頭部画像であることを特徴とする請求項６に記載の画像処理装置。
8. 前記近似画像生成手段は、
   前記画像入力手段にて入力された画像と前記位置情報とを用いて３次元モデルを生成する３次元モデル生成部と、
   この３次元モデル生成部で生成された３次元モデルをあらかじめ定めた大きさおよび方向に動かしてレンダリングする画像レンダリング部とを備えたことを特徴とする請求項１または請求項６に記載の画像処理装置。
9. 前記３次元モデル生成部は、
   画像入力される物体に相当する概略形状モデルを記憶する概略形状モデル記憶部と、
   入力された画像と位置情報とを用いて画像中の対象物体の大きさおよび方向を検出する大きさ・方向検出部と、
   この大きさ・方向検出部から検出される大きさおよび方向の情報によって、概略形状モデルに貼りつけるテクスチャを生成するテクスチャ生成部とを備えたことを特徴とする請求項８に記載の画像処理装置。
10. 物体の画像を入力する画像入力ステップと、
    入力された画像の物体領域より、特定の部位の位置を認識する位置認識ステップと、
    前記画像入力ステップにより入力された画像および前記位置認識ステップにより認識された位置情報に基づいて、対象物体をあらかじめ定めた大きさおよび方向から見た場合の近似画像を生成する近似画像生成ステップとを備えたことを特徴とする画像処理方法。
11. 物体の画像を入力する画像入力ステップと、
    入力された画像中の物体領域より、任意の部位の位置を指定することのできる位置指定ステップと、
    前記画像入力ステップにより入力された画像および前記位置指定ステップにより入力された位置情報に基づいて、対象物体をあらかじめ定めた大きさおよび方向から見た場合の近似画像を生成する近似画像生成ステップと、
    この近似画像または入力画像のいずれかを送信または受信する画像通信ステップとを備えることを特徴とする画像処理方法。
12. 前記請求項１０または請求項１１に記載の画像処理方法を実現するためのコンピュータ読み取り可能な画像処理プログラム。
13. 前記請求項１２に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images