JP2001209814A

JP2001209814A - 画像処理装置

Info

Publication number: JP2001209814A
Application number: JP2000015071A
Authority: JP
Inventors: Atsuo Matsuoka; 篤郎松岡; Ai Ito; 愛伊藤; Minehiro Konya; 峰弘紺矢
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-01-24
Filing date: 2000-01-24
Publication date: 2001-08-03

Abstract

(57)【要約】【課題】画像中の物体の特徴を反映した動画像をユー
ザが簡易に作成することができる画像処理装置を提供す
る。【解決手段】画像中に配置された物体の位置および大
きさの関係が一定の拘束条件を満たす場合に、位置指定
入力手段１０９により画像中の１つ以上の位置を指定
し、特徴量抽出手段１０１により対象となる物体の特徴
量を抽出して、顔部品データ抽出手段１０２により顔部
品データ記憶手段１０３から特徴量に対応する部分画像
データを抽出する。この部分画像を、動き種別入力手段
１０４から入力される動き種別情報に基づいて動的に変
形することにより、その動的変化過程を動画像として出
力する。この際、変形情報選択手段１０５により変形情
報記憶手段１０６から選択された部分画像の変形情報
は、変形情報修正手段１０７により物体の特徴情報に基
づいて適宜修正される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばパーソナル
コンピュータ、ワードプロセッサ、ワークステーショ
ン、携帯型情報ツール、コピー機、スキャナ装置、ファ
クシミリ、テレビジョン、ビデオ、ビデオカメラ等に用
いられ、入力した画像に関する特定の特徴量、例えば人
物画像における目や口などの位置や大きさ、形状を抽出
することができ、当該抽出情報に基づいて、入力した画
像から操作者の所望する状態の画像、例えば、漫画風の
趣をもつ画像を生成することができる画像処理装置に関
する。

【０００２】

【従来の技術】近年、パーソナルコンピュータやワード
プロセッサ、デジタルカメラ等の普及に伴い、手軽に画
像を取得し、取得画像に対して様々な処理を施すことに
より実用性や娯楽性を高めることが行われるようになっ
てきている。

【０００３】その画像処理の一つとして、上述したよう
な任意の特徴量を抽出し、それに従って種々の処理を行
うといったことが挙げられる。例えば、取得画像中の自
動車のボディ色を任意の色に変換するような処理を施そ
うとした場合、画像中のどの領域が当該自動車のボディ
であるかを示す特徴量を抽出する必要がある。また、例
えば取得画像中に人物顔が含まれている場合に、その人
物が誰であるかを判定（以下、個人同定と記す）するた
めには、その顔に関する様々な特徴量（目、鼻、口の位
置や大きさ、形状等）を抽出する必要がある。

【０００４】なお、ここで言う任意の特徴量とは、画像
中に含まれる特定物体について、任意の座標または座標
の組み合わせで表現することができる形状や大きさ、あ
るいは特定の種別や属性を表現することができる符号等
である。

【０００５】例えば、画像中に人物顔が含まれており、
ここで言う特定物体をその人物の右目であるとすると、
任意の特徴量の一つとして、例えば当該画像中での当該
右目の目頭の座標を考えることができる。また、例えば
当該画像中での当該右目に外接する矩形をその左上の座
標と右下の座標の組み合わせで表現したものとすること
もできる。さらに、例えば当該右目がタレ目であるとい
う種別を表現する符号等とすることもできる。

【０００６】画像中に配置された物体の位置および大き
さの関係が一定の拘束条件を満たす場合に、当該画像中
の物体に関する特徴量を抽出して、物体画像の再構成に
利用する方法としては、特願平１１−１２１０９７号
に、画像が人物像である場合に目、算、口、顔輪郭等の
特徴を抽出し、漫画風の似顔絵を生成する手法が提案さ
れている。

【０００７】また、特開平１０−２４０９１９号には、
部品の配置や変形のルールを画像部品と共にあらかじめ
ライブラリとして用意し、任意のルールを選択すること
によって、単一画像から趣の異なった似顔絵画像を生成
する手法が開示されている。

【０００８】このような手法により、入力された画像デ
ータから特徴量を抽出し、その特徴量に基いて、あらか
じめ用意した部分画像を選択して組み合わせることによ
って、画像の特徴を反映した新しい画像を再構成するこ
とができる。

【０００９】

【発明が解決しようとする課題】しかし、上記従来技術
により生成される画像は、基本的に静止画像であり、動
画像の表現については考慮されていない。

【００１０】特に、画像中の対象物体が人物画像である
場合には、例えば、再構成する画像を擬人化キャラクタ
として、対人用のコミュニケーションツールに用いるな
どの応用が考えられるが、そのような用途では、局面に
応じて部分画像を再構成してアニメーション表現を行な
う手法が有効である。

【００１１】上記従来技術により同様の処埋を行なうた
めには、変形後の部分画像を複数用意して選択するか、
または表示フレームごとに随時変形して画像を作成する
必要がある。しかし、従来技術では、各画像部品情報の
ライブラリが繁雑になってデータ容量を要することや、
変形ルールを時間軸に沿って定義する手段がない等の問
題があるため、ユーザが簡易に部分画像のアニメーショ
ンを作成することは困難である。

【００１２】本発明は、このような従来技術の課題を解
決するためになされたものであり、画像中の物体の特徴
を反映した動画像をユーザが簡易に作成することができ
る画像処理装置を提供することを目的とする。

【００１３】

【課題を解決するための手段】本発明の画像処理装置
は、画像を入力する画像入力手段と、該画像中の任意の
位置を指定可能な位置指定手段と、指定位置から、該画
像中に配置され、位置および大きさの関係が一定の拘束
条件を満たす物体の任意の特徴情報を抽出する特徴抽出
手段と、特徴情報に対応する複数の部分画像のデータを
記憶しているデータ記憶手段と、得られた特徴情報に基
づいて、該データ記憶手段に記憶している部分画像デー
タを抽出する画像選択手段とを備え、抽出された部分画
像データを組み合わせて１つまたは２つ以上の画像を合
成する画像処理装置において、部分画像の動きに関する
情報を１つまたは２つ以上入力する動き種別入力手段
と、部分画像を変形させる変形情報を記憶している変形
情報記憶手段と、入力された動き種別情報、および該特
徴抽出手段により得られた特徴情報によって選択される
動き種別情報の少なくとも一方に基づいて、該変形情報
記憶手段に記憶している各部分画像の変形情報を選択す
る変形情報選択手段と、該特徴抽出手段により得られた
特徴情報に基づいて、選択された変形情報を修正する変
形情報修正手段と、修正された変形情報に基づいて、部
分画像を動的に変形して随時合成する動的合成手段とを
備え、入力された画像中の物体特徴を反映した動画像を
生成し、そのことにより上記目的が達成される。

【００１４】上記構成により、例えば顔画像のように、
画像中に配置された物体の位置および大きさの関係が一
定の拘束条件を満たす場合に、画像中の１つ以上の位置
を指定することで、当該指定位置から、対象となる物体
の特徴量を抽出し、特徴量に対応する部分画像を選択す
る。この部分画像を、別途入力される動き種別情報に基
づいて動的に変形することにより、その動的変化過程を
動画像として出力する。この際、部分画像の変形情報
（以下、動きパラメータと称す）は、物体の特徴情報に
基づいて、適宜修正される。

【００１５】特開平１０−２４０９１９号には、画像種
別情報により、画像部品の変形ルールを適用する方法に
ついて記述があるが、この従来技術では、部分画像を選
択した上で各部分画像全体に対して変形ルールを適用し
ている。このため、種別ごとに画像ライブラリが必要と
なり、かつ、適用できる変形も部品全体の大きさを一律
に拡大または縮小するか、あるいは縦横比の変更等がで
きるだけであり、各部品配置を整えることに主眼がおか
れている。

【００１６】これに対して、本発明では、動き種別情報
による部品ライブラリの選択は行なわず、各部品は特徴
量のみで選択されるため、種別ごとの部品ライブラリを
必要としない。これにより、ライブラリ容量の削減を期
待することができる。

【００１７】さらに、動きパラメータは入力される画像
の特徴量に基づいて修正される。例えば、物体の各部の
位置特徴量と大きさに基づいて、部品画像が重ならない
ように、動きの方向や移動量、移動時間を再設定するこ
とにより、部品カテゴリ内の各部品の大きさ等の差異を
吸収することが可能である。これにより、種別ごとに部
品ライブラリを持たなくても、１つの部品ライブラリか
ら、大まかな動き種別選択のみで様々な動きを持った画
像を生成することができる。

【００１８】あるいは、特徴量の相対的な度合を動きパ
ラメータに反映してもよい。例えば、特徴量の値が平均
より大きい入力画像と、平均と同じ入力画像の２種類が
ある場合に、前者は、動きパラメータの移動量を大きく
するように修正する。これにより、抽出される特徴量に
応じて、同じ動き種別が選択された場合でも、多彩な動
画像を出力することが可能である。

【００１９】さらに、特徴抽出手段により得られた特徴
量により、動き種別情報を選択することも可能であり、
これにより、動き種別選択そのものを入力画像の特徴量
によって選択することが可能となる。別途入力された動
き種別情報は、特徴量によって選択された動き種別情報
と組み合わせて利用することが可能であり、例えば、２
種類の動きを順に処埋することにより、より複雑な動き
を表現することができる。または、動き種別情報の入力
を常に無効として、ユーザの動き入力の手間を省くこと
もできる。

【００２０】なお、動き種別入力手段により入力される
動き種別情報は、ユーザがインタラクテイブに入力して
もよく、或いは、動き種別傭報を所定のコマンドとそれ
に対応するパラメータとからなるスクリプトとして表現
し、そのスクリプトを入力してもよい。

【００２１】また、本発明の画像処理装置は、前記部分
画像が特徴点と付加情報により表現されるベクター形式
の画像情報として保持され、前記変形情報が各部分画像
中のいくつかの特徴点の時間的推移情報として表現され
る構成とすることができる。

【００２２】すなわち、各部分画像（部品）はラスター
形式の画像情報ではなく、ベクター形式の画像情報とし
て保持され、特徴点と付加情報により表現される。そし
て、動きパラメータは、これらの各部品中のいくつかの
特徴点の変化情報（相対移動方向、相対移動距離、相対
移動時間など）として表現され、上記従来技術の変形ル
ールで用いられるような単なる部品の大きさの拡縮や縦
横比ではなく、特徴点の時間的推移として表現される。
よって、移動中の中間結果に基づいて随時部品合成を行
なうことにより、動画表現を行なうことが可能になる。

【００２３】また、本発明の画像処理装置は、ある特徴
量に対応する複数の部分画像群をカテゴリとして、各カ
テゴリが階層化されていると共に、前記変形情報記憶手
段に記憶させた各カテゴリごとの変形情報が階層化さ
れ、前記特徴抽出手段により得られた別の特徴量に基づ
いて、前記画像選択手段により各カテゴリごとに部分画
像を選択し、動き種別情報に基づいて、前記変形情報選
択手段により各カテゴリの変形情報を選択する際に、各
階層の同じカテゴリに属する部分画像に対して、そのカ
テゴリに対応する変形情報が一律に適用される構成とし
てもよい。

【００２４】上記構成により、部分画像および動きパラ
メータが各々階層化され、かつ、同一カテゴリに対し
て、１種類の動きパラメータが適用される。上述したよ
うに、動きパラメータは、各部分画像中の特徴点の相対
的な変化情報として表され、部分画像中の特徴点の絶対
的な座標位置とは無関係に定義される。従って、同一カ
テゴリ内で各部品の特徴点の相対的な変化情報が同じで
あるように設計して、相対的に部分画像を変形させるよ
うにすれば、個々の都分画像ごとに動きパラメータを持
つ必要はなく、動きパラメータの管理も容易になる。

【００２５】なお、部分画像群のカテゴリ化は、部分画
像が持つある一定の特徴量に基づいて本画像処理装置の
設計者が予め行っておくものとする。対象となる物体を
表す特徴量を設計者が適宜決定した上で、部分画像群を
作成しておけばよい。ここで言う特徴量とは、概念的な
ものであっても良いが、それにより部分画像内に存在す
る物体を一意的に決定し、各部分画像において共通の手
法でその物体を表現できるものとする。

【００２６】例えば、「丸い」という特徴を持つ部分画
像群は、各々、丸い物体を部分画像内に必ず持ち、か
つ、各部分画像は共通の表現で丸い物体を表現できるも
のとする。ここで、共通の表現とは、例えば部分画像が
ベクターデータ、すなわち、部分画像中の物体が点とそ
の連結により表現されているならば、各点の構成（点の
数やその連結の順序等）が部分画像間で統一されている
ことを意味する。

【００２７】一方、部分画像選択時に用いる別の特徴量
とは、画像入力手段によって入力された画像が持つ情報
から特徴抽出手段によって直接得たものであり、かつ、
カテゴリの選択の際に利用する特徴量とは別の特徴量を
指す。

【００２８】例えば、入力画像中に丸くて赤い物体があ
る場合、特徴抽出手段により赤い領域とそれを囲む閉曲
線の特徴（形）を抽出できたとする。このとき、まず、
得られた閉曲線の特徴から「丸い」という特徴を判断
し、「丸い」という特徴を持つ部分画像群を選択する。
次に、「丸い」という領域の形で特徴以外に抽出された
別の特徴量、例えば領域の相対的な大きさやその領域内
の色等に基づいて、部分画像群内の画像を選択する。部
分画像群をカテゴリ化する際に、使用している色情報も
各部分画像に付加しておけば、上記の例ならば、「赤
い」という色の特徴から部分画像中の赤い画像を選択す
ることが可能になる。

【００２９】さらに、本発明の画像処理装置は、各カテ
ゴリの変形情報を、１つまたは２つ以上任意に指定可能
な変形情報指定手段を備えた構成としてもよい。

【００３０】上記構成により、各カテゴリの動きパラメ
ータの定義を、ユーザが任意にカスタマイズすることが
可能となる。動きパラメータは各カテゴリごとに分けら
れ、かつ、階層化されているため、ユーザは、上層のカ
テゴリの動きパラメータを指定することにより、複数の
部分画像の動きを変更することが可能である。または、
下層のカテゴリの動きパラメータを指定して、部分画像
の細かい動きを変更することも可能である。これによ
り、簡単にユーザの趣向にあった動きに修正することが
できる。

【００３１】

【発明の実施の形態】本発明の画像処理装置は、外部か
ら入力された画像、すなわち装置が外部から取得した画
像（以下、入力画像と記す）に含まれる物体の特徴情報
（例えば、右目の位置等）を、その入力画像から抽出処
理して、その物体特徴を反映した動画像を生成する装置
である。以下に、本発明の実施の形態について説明す
る。

【００３２】（実施形態１）本実施形態では、請求項１
および請求項２に記載の本発明の実施の形態として、入
力される画像が人物の顔である場合に、顔の特徴を抽出
して、顔部品画像から似顔絵画像を合成し、かつ、動き
種別情報の入力によって表情アニメーションを生成する
画像処理装置に関して説明を行なう。但し、本発明は顔
画像に限られず、画像中に配置された物体の位置および
大きさの関係が一定の拘束条件を満たす場合であれば、
様々な物体の動画像を表示することが可能であり、例え
ば手、脚、頭や胴体等により構成される人体画像等に適
用することができる。この場合、構成要素とその位置や
大きさには、頭は胴体の上にあり、頭は胴体より小さい
等といった一定の拘束条件がある。

【００３３】本実施形態の画像処理装置は、例えば、図
１に示すような構成を有する。画像入力手段１００は、
似顔絵を作成する元画像を入力するための手段であり、
スキャナ等が用いられる。特徴量抽出手段１０１は入力
された画像の特徴量を抽出する手段であり、位置指定入
力手段１０９は入力された画像の任意の位置を指定する
手段である。顔部品データ抽出手段１０２は、その特徴
量に基づいて対応する顔部品を選択する手段であり、顔
部品データ記憶手段１０３は顔部品の画像データを蓄積
する手段である。動き種別入力手段１０４は部分画像全
体の動き種別を入力するための手段であり、変形情報
（動きパラメータ）記憶手段１０６は部分画像の変形情
報を格納する記憶手段である。変形情報（動きパラメー
タ）選択手段１０５は、動き種別情報に基づいて、変形
情報記憶手段１０６から部分画像の変形情報を選択する
選択手段であり、変形情報（動きパラメータ）修正手段
１０７は、特徴量に基づいて、変形情報選択手段１０５
で選択された変形情報を修正する手段である。動的合成
手段１０８は、動きパラメータに基づいて、実際に該当
部分画像に変形処理を行ない、かつ、処理中の各部分画
像の合成結果（中間結果合成）を随時生成する手段であ
る。画像出力手段１１０は、動的合成手段１０８により
生成される合成画像をＣＲＴ等の表示装置に随時出力す
る手段である。

【００３４】上記特徴量抽出手段１０１は、入力画像の
各画素値に基づいて画像内にある物体の特徴量を抽出す
る手段である。画像中に存在する任意の特徴量とその抽
出手段としては、２値化によるエッジ（輪郭線）の抽
出、ある特定の色情報の抽出、エッジの任意軸への投
影、同じ形を検出するテンプレートマッチングや固有空
間法等、様々な手法が従来から提案されている。特徴抽
出処理は、画像中の対象となる物体に応じて上記の手法
を適用すれば良い。例えば、対象となる物体が人間の顔
である場合には、画素値が肌色である画素の領域を求め
て、その領域を囲む曲線の形状から曲線の方程式を算出
し、その曲線の係数を特徴量として抽出することができ
る。ここで用いられるこれらの特徴抽出の方法は、画像
処理の分野では良く知られた技術であり、この技術分野
に関する技術者にとって実現は困難ではないため、その
具体的な手法の説明は省略する。

【００３５】また、上記特徴量抽出手段１０１、顔部品
データ抽出手段１０２、顔部品データ記憶手段１０３、
変形情報選択手段１０５、変形情報記憶手段１０６、変
形情報修正手段１０７および動的合成手段１０８は、演
算装置と記憶装置により構成され、記憶装置上に格納さ
れたデータに対して演算処理を行うことにより、各手段
の目的を達成するものとする。これらの演算処理は、同
じ記憶装置上に予め記憶させた処理プログラムによって
統一的に処理してもよい。

【００３６】また、上記位置指定入力手段１０９は、入
力された画像中の任意の位置を指定するためのものであ
り、例えばマウスやトラックボール、ペン等のポインテ
ィングデバイスが好適に用いられる。また、位置指定入
力手段１０９は、入力された画像を表示する装置、例え
ばＣＲＴ等の表示装置も有するものとする。これによ
り、操作者は、マウス等のポインティングデバイスを用
いて表示装置に表示される入力画像を見ながら画像中の
任意の位置を指定することが可能となる。

【００３７】また、動き種別入力手段１０４は、予め設
定された動き種別情報のうち、操作者が画像に対して与
えたい動き種別情報を選択できるようにするためのもの
であり、例えば、顔の表情の種類（笑い、怒り、悲しみ
等）を指定することができるものとする。例えば、ＣＲ
Ｔ等の表示装置によって利用できる動き種別情報の種類
を抽象的に表現したアイコンを表示し、それをマウスや
トラックボール、ペン等のポインティングデバイスを用
いて操作者が選択することにより実現してもよい。

【００３８】さらに、画像出力手段１１０は、本画像処
理装置で生成される各部分画像を合成した結果を随時出
力するための装置である。上記動的合成手段１０８によ
り生成された合成画像は、記憶装置上に格納され、操作
者はその内容を時間軸に沿って、例えばＣＲＴ等の表示
装置を介して見ることができるものとする。

【００３９】上記画像処理装置によって実施される画像
処理動作について、図２のフローチャートを用いて説明
する。

【００４０】まず、ステップＳ２０１において、画像入
力手段１００を用いて所望の画像を入力する。

【００４１】次に、ステップＳ２０２において、位置指
定入力手段１０９により画像中の物体の位置（例えば、
目の中央の位置、口の位置など）を指定し、ステップＳ
２０３において特徴抽出のために補助的に使われる物体
位置情報を取得する。

【００４２】次に、ステップ２０３において、特徴量抽
出手段１０１を用いて、入力された画像と上記物体位置
情報を元にして、画像中の物体の特徴を抽出する。

【００４３】次に、ステップＳ２０４において、顔部品
データ抽出手段１０２を用いて、抽出された特徴に対応
する顔部品を選択し、顔部品データ記憶手段１０３に記
憶されている顔部品データから必要な部品を抽出する。
この顔部品データは、ベクター形式の画像情報として保
持され、特徴点と付加情報により表現されている。この
付加情報とは、特徴点の位置以外の情報であり、例えば
物体の色情報等が挙げられる。また、後述する基準特徴
点に関する情報等も付加情報に含まれる。

【００４４】次に、ステップＳ２０５において、動き種
別入力手段１０４により、部分画像の動きの種別（例え
ば、笑う、泣く、目をつぶるなど）に関する動き種別情
報を入力する。

【００４５】次に、ステップＳ２０６において、変形情
報（動きパラメータ）選択手段１０５を用いて、入力さ
れた動き種別情報に対応する各部分画像の動きパラメー
タを、変形情報（動きパラメータ）記憶手段１０６から
得る。この動きパラメータは、顔部品の特徴点の変化情
報（相対移動方向、相対移動距離、相対移動時間）とし
て表現されている。

【００４６】次に、ステップＳ２０７において、ステッ
プＳ２０３で抽出された特徴量に基づいて、動きパラメ
ータを修正する。

【００４７】次に、ステップＳ２０８において、動的合
成手段１１２を用いて、選択された顔部品に対して動き
パラメータに基づく変形処理を実行する。各変形処理は
時間軸に沿って実行され、単位時間ごとに中間結果とし
て顔部品を合成し、ステップＳ２０９において随時中間
画像として出力する。

【００４８】次に、ステップＳ２１０において、各処理
の終了判定を行ない、未終了であるならば上記ステップ
Ｓ２０８とステップＳ２０９が繰り返される。

【００４９】中間画像は、随時、画像出力手段１１０に
よりＣＲＴ等の表示装置に出力され、各部品の変形の過
程が動画像として表示される。以上により、本実施形態
の画像処理装置は、入力画像の特徴量を反映した動画像
を生成することができる。

【００５０】次に、上記ステップＳ２０７における変形
情報修正について、さらに詳しく説明する。

【００５１】動きパラメータは、入力される画像の特徴
量に基づいて修正される。すなわち、物体の各部の位置
特徴量や大きさ、形状等の特徴情報に基づいて、部品画
像が重ならないように、動きの方向や移動量、移動時間
等を再設定することにより、部品カテゴリ内の各部品の
大きさ等の差異を吸収する。

【００５２】例えば、目が大きなっていく動きを表現し
たいとき、特徴量によって選択される部品画像の大きさ
がばらばらである場合、各部品を単純に拡大すると、顔
輪郭からはみ出してしまったり、眉などの別の部品と重
なってしまい、全体の画像構成が崩れてしまうおそれが
ある。そこで、変形情報修正手段１０７により、顔内の
目や口、眉などの位置特徴や、大きさ、形状などの特徴
情報を元にして、動きパラメータを修正することによ
り、部品間の重なりが生じたりするのを防ぐことができ
る。

【００５３】また、特徴量の相対的な度合を動きパラメ
ータに反映させることも可能である。例えば、通常より
口が大きいという特徴を有する入力画像の場合、「笑
う」という動き種別情報が選択されたときに、口の動き
にアレンジを加えて、より大きく口を開くように動きパ
ラメータを修正する。同様に、通常より鼻が大きいとい
う特徴があれば、通常は鼻の動きがない場合でも、口の
動きと連動して鼻の穴を広げるように、動きパラメータ
を設定するなどが挙げられる。これにより、同じ「笑
い」の動き種別選択でも、多彩な動画像を出力すること
ができる。

【００５４】次に、ステップＳ２０８における変形処
理、およびステップＳ２０９における合成処理につい
て、さらに詳しく説明する。

【００５５】動的合成手段１０８において、部品画像に
対する変形処理は、単位時間ごとに進められる。動きパ
ラメータは、顔部品の特徴点の変化情報（相対移動方
向、相対移動距離、相対移動時間）として表現されてい
るため、相対移動距難を相対移動時間で割ることによ
り、時間当たりに移動させる距離を求めることができ
る。なお、相対移動方向、相対移動距離および相対移動
時間は、顔部品内に基準となる特徴点（基準特徴点）を
決めておき、その特徴点の変化情報（基準変化情報）に
対する相対量として表現することができる。従って、あ
らかじめ、組合せる各部品で基準変化情報を一致させて
おけば、特徴点の移動方向と単位時間当たりの移動量を
算出することができる。

【００５６】このように、単位時間ごとの各部品の特徴
点の位置を算出し、特徴点以外の部品内の情報は、特徴
点の位置から補間することにより、部品の変形画像を作
成することができる。そして、得られた部分画像を随時
合成していくことにより、移動途中の中間画像を生成
し、画像出力手段１１０により表示する。これにより、
時間軸にそって連続的に画像が変化し、動画像表示が行
われる。

【００５７】例えば、図３の３０１に示す部品画像を合
成した結果である似顔絵画像において、部分画像の変形
処理を行うことにより、最終的に図３の３０２に示す画
像に至る過程を随時表示することにより、画像特徴に基
づく部分画像で構成された笑いの表情を動画表示するこ
とができる。図３の場合、目、眉、口の各部品画像に対
して変形処理を行うことにより、笑いの表情が表現され
る。各部品画像の中間画像は、例えば図４に示すように
表示される。

【００５８】以上の画像処理により、入力される画像が
人物顔である場合に、顔の特徴を抽出し、それに基づい
て顔部品画像から似顔絵画像を合成することができ、か
つ、動き種別情報に基づいた表情アニメーションを生成
することができる。

【００５９】なお、本実施形態において、上記の画像処
理動作に加えて、入力画像の特徴量により、動き種別情
報を選択する手段を設けてもよい。すなわち、動き種別
情報を入力画像の特徴量によって選択する。

【００６０】この手段は、演算装置と記憶装置および処
理プログラムにより構成され、特徴量抽出手段１０１か
ら得た入力画像の特徴量に基づいて、動き種別情報を自
動選択することを目的とする。選択の手法は、予め特徴
量と動き種別との対応関係を決めておき、得られた特徴
量に応じた動き種別を選択すればよい。より具体的に
は、特徴量にある一定の閾値を設定し、実際に得られた
特徴量と閾値の関係により、２種類の動き種別情報のど
ちらかが一意的に対応するようにしておく。閾値の数を
増やして、３種類以上の複数の動き種別情報を対応させ
てもよい。例えば、入力画像中の物体が人間の顔である
場合、顔を下にうつむけている状態を正面から撮影する
と、２次元画像上においては目と口の間の見かけの距離
は小さくなる。そこで、目と口との間の距離値がある閾
値よりも小さくなった場合には顔全体がうつむいている
ものとし、動き種別情報として「悲しむ」を選択するよ
うにする。一方、目と口との間の距離値がある閾値より
も大きくなった場合には、動き種別情報として「笑う」
を選択するようにする。このようにして、特徴量に応じ
た動き種別情報の選択を行うことができる。

【００６１】このとき、ユーザが入力する動き種別情報
は無効として、ユーザが動き種別を選択しなくても良い
ようにしてもよい。あるいは、ユーザが指定した動き種
別情報と組み合わせて用いることもできる。例えば、上
述のように特徴量から「悲しむ」が自動的に選択された
場合に、ユーザが指定した動き種別情報が「笑う」であ
ったとすると、最初は泣く動きを行ない、続けて、涙を
ふいて笑う、などの連続的な動きを表示することが可能
になる。

【００６２】（実施形態２）本実施形態２では、請求項
３に記載の本発明の実施の形態について説明する。この
画像処理装置は、実施形態１の画像処理装置において、
部分画像および動きパラメータをそれぞれ階層化し、か
つ、同一カテゴリに対して、１種類の動きパラメータを
適用する機構を加えることにより実現される。

【００６３】階層化は、予め部分画像の構成方法、すな
わち配置や他の部分画像との相対的な位置関係等に基づ
き、本画像処理装置の設計者が予め行っておくこととす
る。そして、顔部品データ記憶手段や変形情報記憶手段
内の記憶装置に、部分画像や動きパラメータと共に、自
分の属する層の上下関係の構成等、階層かに関する情報
を各々記憶させておくこととする。ここで、同一カテゴ
リに対して１種類の動きパラメータを適用させるために
は、上位の層の動きパラメータに対して、下位の各層の
動きパラメータが一意的に決定できるような情報を付加
して、変形情報記憶手段に階層化した動きパラメータを
記憶させておけばよい。これにより、操作者が与えた動
き種別情報（最上位の動きパラメータ）に従って、各階
層毎に必要とする動きパラメータを変形情報記憶手段か
ら取得し、顔部品データ記憶手段から得られた、対応す
る各階層の部分画像に対して変形を並列的に実行するこ
とができる。

【００６４】ここでは、図５（ａ）の５０１〜５０３に
示すような、目をつぶるという動きを例として説明す
る。５０１に表される目の部品は、まつ毛部品５０１
１、瞳部品５０１２、上まぶた部品５０１３および自目
輪郭線５０１４で構成され、瞳部品５０１２は、さら
に、下層に光沢の部品５０１５等の組み合わせを有して
構成されている。

【００６５】各部品画像を５０１、５０２、５０３のよ
うに順に変形していくことにより、目をつぶる表現を行
なう。実際には、上まぶたとまつ毛を変形させることに
より行なわれる。このときの上まぶたの変形の過程を示
したのが図５（ａ）の５０４、５０５、５０５である。
この図において、四角で表されているのが特徴点であ
る。

【００６６】また、図５（ｂ）の５０７は、５０１とは
別の部品画像で構成された目の部品例を示している。同
様に部品画像を５０７、５０８、５０９のように順に変
形していくことに目をつぶる表現を行なう。上述の場合
と同様に、上まぶたの変形の過程を示したのが図５
（ｂ）の５１０、５１１、５１２である。この図におい
ても、四角で表されているのが特徴点である。

【００６７】本実施形態において、動きパラメータは、
各カテゴリ内の特徴点の相対的な変化情報として階層的
に定義されている。例えば、上まぶたの動きパラメータ
は、目というカテゴリにおける各部分画像の相対位置関
係により決定される。上まぶた中の特徴点の場合、動き
パラメータは、「自目輪郭の特徴点へ移動」という相対
的な表現で表される。その様子を模式的に示したのが図
（ａ）６の６１である。上まぶたの特徴点６０１は、白
目輪郭線の特徴点６０２の方へ移動するように指定され
ている。

【００６８】このとき、別の部品画像である図５（ｂ）
の５０７における目をつぶるという動きについても、上
述の図５（ａ）の５０１において用いた動きパラメータ
をそのまま適用することができる。すなわち、動きパラ
メータには相対位置の変化情報があるだけであり、各特
徴点の絶対的な移動量や位置が指定されているわけでは
ないため、動きパラメータの記述は同じでも、特徴点の
移動量や位置は、選択されている部品に応じて変化す
る。５０７における上まぶたの動きパラメータも「白目
輪郭の特徴点へ移動」であり、その様子を模式的に示し
たのが図６（ｂ）の６２である。ここでは、上まぶたの
特徴点６２１は、白目輪郭線の特徴点６２２の方へ移動
するように指定されている。図６（ａ）の６１と図６
（ｂ）の６２では、同じ動きパラメータの表現を用いて
いるが、特徴点が移動する距離は異なっている。

【００６９】なお、特徴点以外の部分画像上の点は、特
徴点の座標間を線形補間する等の方法を用いて算出する
ことができる。線形補完の手法は、画像処理の分野では
良く知られた技術であり、この技術分野に属する技術者
にとって実現は困難ではないため、その具体的な手法の
説明は省略する。

【００７０】さらに、より大きな階層化を行うことによ
り、簡単な動き種別選択で、より複雑な動きを表現する
ことができる。例えば、「笑う」の動き種別を選択した
場合、まず、顔の輪郭の動きと各顔部品の相対位置変化
を上層の動きパラメータとして規定し、その下層に図７
（ａ）に示すように、目、口、眉の各部品カテゴリを階
層化して動きパラメータを規定し、さらにその下層に、
目の場合であれば、図７（ａ）および図７（ｂ）に示す
ように、黒目やまぶた、まつげ等の部品を階層化して動
きパラメータ（相対移動方向、相対移動量、相対移動時
間等）を規定し、口であれば、上唇、下唇、歯、舌の動
きパラメータを規定する。図７（ｂ）では右目の上まぶ
たについての動きパラメータを示しており、例えば、特
徴点１０１は特徴点３１の方向に相対移動量２２および
相対移動時間１６で移動する。

【００７１】（実施形態３）本実施形態３では、請求項
４に記載の本発明の実施の形態について説明する。この
画像処理装置は、実施形態１および実施形態２に示した
画像処理装置において、階層化された動きパラメータを
変更する手段を有する。すなわち、各階層の動きパラメ
ータの規定を、ユーザが任意にカスタマイズできる。

【００７２】上述した実施形態２においては、動きパラ
メータを本画像処理装置の設計者が予め設定しておくも
のとしたが、本実施形態では、動きパラメータの設定を
操作者が任意に変更できる手段を設ける。この手段を実
現する装置は、現在の動きパラメータの内容を表示する
ための表示装置と、操作者が動きパラメータの変更情報
を入力するための入力装置と、操作者の入力した情報に
伴い、変形情報記憶手段内の動きパラメータを変更する
変更処理装置により構成される。

【００７３】上記表示装置は、例えばＣＲＴ上に動きパ
ラメータを実際に使用する数値として表示すると共に、
数値を増加または減少させることを意味するアイコンを
表示する。操作者は、上記入力装置、例えばマウス等の
ポインティングデバイスを用いて、操作者が行いたい変
更を意図するアイコンを選択することにより、その数値
を増減させることができる。

【００７４】また、上記変更処理装置は、演算装置、記
憶装置および処理プログラムにより構成されるが、他の
処理装置、例えば変形情報修正手段で用いられる装置と
同じ演算装置、記憶装置および処理プログラムの一部と
して実装してもよい。同様に、上記表示装置や入力装置
も、位置指定入力手段や動き種別入力手段で用いられる
装置の一部として実装してもよい。

【００７５】さらに、動きパラメータの表示を、数値そ
のものではなく、より概念的なものに対応するように予
め対応付けておくことにより、操作者がより簡便に動き
の変更を行えるようにすることもできる。たとえば、動
きパラメータ中の移動量を増加させることに対して、
「もっと大きく動く」という指示と関連付けて、この指
示を操作者が行った場合には、全ての階層の動きパラメ
ータの移動量を一律に増加させるといったことが考えら
れる。

【００７６】上述した「笑う」の動き種別を選択した例
では、例えば、ユーザが笑うを指定した際に、口をもっ
と動かしたいという要求があれば、口の変形情報を任意
に修正する機能を与えることにより、その要求を実現す
ることができる。動きパラメータは階層化されているた
め、別の階層において動きパラメータが変更されても、
他の動きパラメータとは独立して処理できるようにする
ことができる。

【００７７】

【発明の効果】以上詳述したように、本発明によれば、
画像中に配置された物体の位置および大きさの関係が一
定の拘束条件を満たす場合に、画像中の１つまたは２つ
以上の位置を入力することで、当該入力位置から、対象
となる物体の特徴量を抽出して、特徴量に対応する部分
画像を選択し、かつ、別途入力される動き種別情報によ
り、部分画像を動的に変形することにより、その動的変
化過程を動画像として出力することができる。部分画像
を変形させるための変形情報は、入力された画像中の物
体の特徴量によって適宜修正されるため、入力画像中の
物体の特徴を反映した動画像生成を簡単に行うことがで
きる。特に、画像中の対象物体が人物画像である場合に
は、表情の時間的推移や度合などを反映した動画像を生
成することができるため、ユーザがオリジナルのアニメ
ーションを容易に作成することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態である画像処理装置の構成
を示す図である。

【図２】図１に示した画像処理装置における画像処理動
作を説明するためのフローチャートである。

【図３】部品画像を合成した結果である似顔絵画像か
ら、各部分画像に対して変形処理を行って動画像を作成
する過程を説明するための図である。

【図４】各部分画像に対して変形処理を行う過程におい
て生成される各中間画像を示す図である。

【図５】（ａ）および（ｂ）は、実施形態２の画像処理
装置において、「目をつぶる」という動きを実現する方
法を説明するための図である。

【図６】（ａ）および（ｂ）は、実施形態２の画像処理
装置において、「目をつぶる」という動きを実現する方
法を説明するための図である。

【図７】（ａ）および（ｂ）は、実施形態２の画像処理
装置において、「笑う」を指定した場合について、部品
の階層化および各処理の情報指定の様子を模式的に表し
た図である。

【符号の説明】

１００画像入力手段１０１特徴量抽出手段１０２顔部品データ抽出手段１０３顔部品データ記憶手段１０４動き種別入力手段１０５変形情報（動きパラメータ）選択手段１０６変形情報（動きパラメータ）記憶手段１０７変形情報（動きパラメータ）修正手段１０８動的合成手段１０９位置指定入力手段１１０画像出力手段３０１、３０２顔画像５０１、５０２、５０３、５０７、５０８、５０９目
をつぶる動きを示す目部品５０４、５０５、５０６、５１０、５１１、５１２上
まぶた部品５０１１まつ毛部品５０１２瞳部品５０１３上まぶた部品５０１４自目輪郭線５０１５光沢の部品６１、６２特徴点の移動６０１、６０２、６２１、６２２特徴点

───────────────────────────────────────────────────── フロントページの続き (72)発明者紺矢峰弘大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内Ｆターム(参考） 5B050 BA08 DA06 EA13 EA19 EA24 FA02 FA09 FA19 5B057 BA02 BA23 BA24 CA17 CB17 CD11 CE08 DA20 DC36 5L096 BA18 CA22 CA24 HA09 JA11

Claims

【特許請求の範囲】

【請求項１】画像を入力する画像入力手段と、該画像中の任意の位置を指定可能な位置指定手段と、指定位置から、該画像中に配置され、位置および大きさ
の関係が一定の拘束条件を満たす物体の任意の特徴情報
を抽出する特徴抽出手段と、特徴情報に対応する複数の部分画像のデータを記憶して
いるデータ記憶手段と、得られた特徴情報に基づいて、該データ記憶手段に記憶
している部分画像データを抽出するデータ抽出手段とを
備え、抽出された部分画像データを組み合わせて１つまたは２
つ以上の画像を合成する画像処理装置において、部分画像の動きに関する情報を１つまたは２つ以上入力
する動き種別入力手段と、部分画像を変形させる変形情報を記憶している変形情報
記憶手段と、入力された動き種別情報、および該特徴抽出手段により
得られた特徴情報によって選択される動き種別情報の少
なくとも一方に基づいて該変形情報記憶手段に記憶して
いる各部分画像の変形情報を選択する変形情報選択手段
と、該特徴抽出手段により得られた特徴情報に基づいて、選
択された変形情報を修正する変形情報修正手段と、修正された変形情報に基づいて、部分画像を動的に変形
して随時合成する動的合成手段とを備え、入力された画像中の物体特徴を反映した動画像を生成す
る画像処理装置。
【請求項２】前記部分画像が特徴点と付加情報により
表現されるベクター形式の画像情報として保持され、前
記変形情報が各部分画像中のいくつかの特徴点の時間的
推移情報として表現されている請求項１に記載の画像処
理装置。
【請求項３】ある特徴量に対応する複数の部分画像群
をカテゴリとして、各カテゴリが階層化されていると共
に、前記変形情報記憶手段に記憶させた各カテゴリごと
の変形情報が階層化され、前記特徴抽出手段により得られた別の特徴量に基づい
て、前記画像選択手段により各カテゴリごとに部分画像
を選択し、動き種別情報に基づいて、前記変形情報選択手段により
各カテゴリの変形情報を選択する際に、各階層の同じカ
テゴリに属する部分画像に対して、そのカテゴリに対応
する変形情報が一律に適用される請求項１または請求項
２に記載の画像処理装置。
【請求項４】各カテゴリの変形情報を、１つまたは２
つ以上任意に指定可能な変形情報指定手段を備えている
請求項１乃至請求項３のいずれかに記載の画像処理装
置。