JP2001216525A

JP2001216525A - 画像処理装置

Info

Publication number: JP2001216525A
Application number: JP2000028451A
Authority: JP
Inventors: Ai Ito; 愛伊藤; Atsuo Matsuoka; 篤郎松岡; Minehiro Konya; 峰弘紺矢
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-02-04
Filing date: 2000-02-04
Publication date: 2001-08-10

Abstract

(57)【要約】【課題】画像中の物体の特徴量を抽出した結果に基づ
いて、複数種類の動画像を生成する。例えば、似顔絵画
像を合成し、表情変化等を表現する似顔絵動画像を出力
する。【解決手段】特徴量抽出手段１０１により画像の特徴
量を抽出して、動画顔部品データ抽出手段１０２により
動画顔部品データ記憶手段１０３から特徴量に対応する
適切な部品データを抽出する。抽出された部品データ
を、部品配置手段１０８により顔輪郭部品種類ごとに定
められた配置に配置して、似顔絵画像を合成する。ユー
ザは、動画表示指定入力手段１１１を用いて、表情変化
等を表現する動画表示開始、複数の表情の連続表示、動
画表示する部品の指定、動画データの組み合わせ変更等
を指示することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばパーソナル
コンピュータ、ワードプロセッサ、ワークステーショ
ン、携帯型情報ツール、コピー機、スキャナ装置、ファ
クシミリ、テレビジョン、ビデオ、ビデオカメラ等に用
いられ、入力した画像に関する特定の特徴量、例えば人
物画像における目や口などの位置や大きさ、形状を抽出
することができ、当該抽出情報に基づいて、入力した画
像から操作者の所望する状態の画像、例えば、表情変化
等を表現した動画像として生成することができる画像処
理装置に関する。

【０００２】

【従来の技術】例えば特開平１０−２３２９５０号に
は、特徴量の傾向が異なる複数の画像種別の各々につい
て、その特徴量に応じて複数個ずつ画像部品の形状や配
置位置等の画像部品情報を記憶させ、入力された画像デ
ータから抽出した画像部品の特徴量および複数の画像種
別に基づいて、画像部品情報を選択して画像を作成する
画像作成装置が開示されている。この画像作成装置によ
れば、入力された単一の画像データに基づいて、画風や
表情等の種別が異なる複数種類の画像から、単一または
複数の画像を選択して生成することができる。また、顔
部品の変形処理においては、顔輪郭、目および口等につ
いて、画像種別として「笑い」「泣き」および「怒り」
の表情への変更を一括して行うことができる。この画像
生成装置においては、画面に「笑い」の表情を表示した
ときに、「怒り」等の異なる表情を別の画面に表示する
ことも可能である。これらの「笑い」や「怒り」等の表
情を表現する顔部品は、部品種類毎に決まっている。こ
こで、目、鼻、口、眉および耳等の顔部品に対して、傾
きや丸み（縦横比）、大きさの計測値等を特徴量と定義
する。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
た従来技術においては、複数種類の様式で似顔絵を作成
することはできても、出力できる画像が静止画のみであ
り、各表情を連続した動画像として表示することはでき
なかった。また、顔部品を各々一括して変更するため、
微細な表情を表現することができず、表情のバリエーシ
ョンが不足していた。また、「笑い」や「怒り」等の表
情の中間的な表情を表現するためには、部品の種類を増
やす必要があり、データ量が膨大なものになるおそれが
あった。

【０００４】本発明は、このような従来技術の課題を解
決するためになされたものであり、大きさ、形状等の特
徴を表現する複数の動画像からなる部品データを合成す
ることにより、複数種類の動画像を容易に生成すること
ができる画像処理装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】本発明の画像処理装置
は、特徴量が異なる複数の部品種類を有し、各部品種類
ごとに複数の動画像からなる複数の動画部品データを記
憶している動画部品データ記憶手段と、該動画部品デー
タ記憶手段から適切な動画部品データを抽出する動画部
品データ抽出手段と、抽出された動画部品データを、該
動画部品データ記憶手段に記憶している輪郭部品種類ご
とに定められた位置に配置する部品配置手段を備え、そ
のことにより上記目的が達成される。

【０００６】上記構成により、特徴量が異なる動画から
なる複数の動画部品データを、特徴量が異なる部品種類
ごとに、複数の画像種別に応じて予め記憶手段に記憶
し、ユーザが入力した部品指定、または記憶手段に記憶
されている部品指定等に基づいて、記憶手段から動画部
品データを選択して、画像を作成する。

【０００７】また、本発明の画像処理装置は、入力され
た画像から該画像を構成する部品の特徴情報を抽出する
特徴抽出手段を備え、得られた特徴情報に基づいて、前
記動画部品データ抽出手段により前記動画部品データ記
憶手段から適切な動画部品データを抽出する構成として
もよい。

【０００８】上記構成により、特徴量が異なる動画から
なる複数の動画部品データを、特徴量が異なる部品種類
ごとに、複数の画像種別に応じて予め記憶手段に記憶
し、入力画像から抽出した特徴情報に基づいて、記憶手
段から動画部品データを選択して、画像を作成する。

【０００９】また、本発明の画像処理装置は、前記動画
部品データが顔の表情を表すデータであってもよい。

【００１０】上記構成により、特徴量が異なる動画から
なる複数の動画顔部品データを、特徴量が異なる部品種
類ごとに、複数の画像種別に応じて、例えば顔の表情等
の種別に応じて予め記憶手段に記憶し、ユーザが入力し
た部品指定、または記憶手段に記憶されている部品指
定、或いは入力画像からした特徴情報等に基づいて、記
憶手段から動画部品データを選択して、画像を作成す
る。

【００１１】また、本発明の画像処理装置は、輪郭部品
種類ごとに定められた位置に配置された動画部品データ
の動画表示、１つの部品種類に対して複数記憶されてい
る動画部品データの連続表示、および画像を構成する各
部品ごとに、個別に動画表示を指示するための動画表示
指定入力手段を備えている構成としてもよい。

【００１２】上記構成により、ユーザが任意に動画表
示、表情等の種別が異なる画像の連続表示、および動画
表示させる部品の指定を行うことが可能となる。

【００１３】また、本発明の画像処理装置は、輪郭部品
種類ごとに定められた位置に配置された動画部品データ
の動画表示を開始する動画表示開始手段を備えている構
成としてもよい。

【００１４】上記構成により、動画部品データを静止画
として画面上に表示し、動画表示を開始する指示を行う
ことにより、動画表示を開始する。

【００１５】また、本発明の画像処理装置は、１つの部
品種類に対して複数記憶されている動画部品データを、
中間データを含めて連続表示する連続表示手段を備えて
いる構成としてもよい。

【００１６】上記構成により、例えば画像種別が表情で
ある場合、ある表情を表す動画部品データの最終データ
と、別の表情を表す動画部品データの最初のデータとの
中間データを各動画部品データが有し、表情の連続表示
を行う場合のみ中間データを表示することにより、各表
情を連続した動画として表示する。

【００１７】また、本発明の画像処理装置は、画像を構
成する各部品ごとに、個別に動画表示を行う個別動画表
示手段を備えている構成としてもよい。

【００１８】上記構成により、例えば顔画像の場合には
眉、目や口等の各部品ごとに記憶された動画部品データ
を特徴量に基づいて選択し、画像を作成して表示した
後、表情を変更した際に、全ての部品を同時に動画表示
するのではなく、動画表示を行う部品を指定して、任意
の部品のみを動画表示する。

【００１９】また、本発明の画像処理装置は、動画部品
データを構成する複数の動画像の組み合わせを変更する
動画順列変更手段を備えている構成としてもよい。

【００２０】上記構成により、例えば画像種別が表情で
ある場合、ある表情に対する動画部品データの組み合わ
せを変更するために、異なる表情に対する動画部品デー
タの一部を用いることが可能となる。

【００２１】また、本発明の画像処理装置は、１つの部
品種類に対して複数記憶されている動画部品データを、
複数の部品種類間で供給する動画部品共有手段を備えて
いる構成としてもよい。

【００２２】上記構成により、例えば画像種別が表情で
ある場合、異なる２つ以上の動画部品データが１つの表
情を表示するときに、動画部品データ内にデータ共有情
報を備え、最終画像までの動画データを共有する。

【００２３】

【発明の実施の形態】以下に、本発明の実施の形態につ
いて、図面を参照しながら説明する。なお、以下の実施
形態では、似顔絵を作成して表情を変化させているが、
本発明は似顔絵に限らず、単一もしくは複数の画像部品
によって構成される画像であれば、動画像や静止画像の
いずれを作成する場合にも適用することができ、例えば
風景画等を作成することも可能である。

【００２４】図１は本発明の一実施形態である画像処理
装置の構成を示すブロック図である。画像入力手段１０
０は、似顔絵を作成するための元画像を入力するための
手段であり、スキャナ等が用いられる。特徴量抽出手段
１０１は、入力された画像から各顔部品の形状、大きさ
等の特徴量を抽出する手段である。動画顔部品データ抽
出手段１０２は、その特徴量に基づいて対応する動画お
よび静止画からなる顔部品を、動画顔部品データ記憶手
段１０３から選択する手段であり、動画顔部品データ記
憶手段１０３は顔部品の画像データを蓄積する手段であ
る。顔輪郭決定手段１０４は、抽出した特徴量に基づい
て、その人物の顔輪郭を決定し、その顔輪郭に対応する
部品の変形や配置に関する情報を、部品変形／配置情報
記憶手段１０５から引き出す手段であり、部品変形／配
置情報記憶手段１０５は、部品の変形や配置に関する情
報を蓄積する手段である。配置位置補正手段１０６は、
部品変形／配置情報記憶手段１０５から引き出された配
置情報を、特徴量に基づいて、より似た似顔絵を生成す
るために補正する手段であり、部品変形手段１０７は、
配置位置補正手段１０６から引き出された変形情報か
ら、その顔の輪郭に適した形に、顔部品の大きさ等の顔
部品データを変形する手段である。部品配置手段１０８
は、抽出配置位置補正手段１０６が生成する顔部品を、
顔輪郭決定手段１０４が生成する顔輪郭の上または下の
適正な位置に配置するための手段であり、編集指定入力
手段１１０は、部品種類や部品の配置位置、部品の変形
率の入力や変更を行う手段である。

【００２５】動画表示指定入力手段１１１は、合成され
た似顔絵動画像の結果に対して、動画表示の開始、各表
情の連続表示の指定、各動画顔部品の個別での動画表示
の指定、および動画を構成するデータの組み合わせ変更
の指定を入力する手段である。動画表示開始手段１１２
は、動画表示指定入力手段１１１により入力された指示
に従って、動画表示を開始する手段であり、連続表示手
段１１３は、動画表示指定入力手段１１１により入力さ
れた指示に従って、各表情間の中間データを表示するた
めに中間データを選択する手段である。個別動画表示手
段１１４は、動画表示指定入力手段１１１により入力さ
れた指示に従って、眉、目や口等の顔部品のうち、動画
表示を行う部品を選択する手段であり、動画順列変更手
段１１５は、動画表示指定入力手段１１１により入力さ
れた指示に従って、合成された似顔絵動画像の結果に対
して、動画を構成するデータの組み合わせを変更する手
段である。動画部品共有手段１１６は、動画顔部品デー
タ記憶手段１０３に記憶された部品共有情報に従って、
２種類以上の動画顔部品データ間で動画データを共有す
るため、共有されるものとして設定されているデータを
抽出する手段であり、画像出力手段１０９は、ＣＲＴ等
の表示装置に合成した似顔絵動画像を出力する手段であ
る。

【００２６】動画順列変更手段１１５について、さらに
詳しく説明すると、１種類の部品に対して動画データの
組み合わせをユーザが任意に変更することにより、１種
類の部品から異なる複数種類の表情や形状を表示可能と
するものである。すなわち、１種類の部品に対して予め
用意している動画データとは別の種類の動画データを動
画顔部品データ記憶手段１０３から引き出し、動画デー
タ表示の際の表情や形状に変化を与えるものである。

【００２７】動画部品共有手段１１６について、さらに
詳しく説明すると、形状が似通った２種類以上の部品に
おいて、表情変化等により形状が変化したときに、変化
後のデータ形状に大きさ差異が見られない場合がある。
このようなデータにおいては、動画データを共有したと
しても、適切な表情変化を表現することができる。従っ
て、動画部品共有手段１１６は、動画顔部品データ記憶
手段１０３に記憶されている部品共有情報に伴って、共
有されるものとして設定されているデータを抽出する手
段を有する。

【００２８】なお、特徴量抽出手段１０１、動画顔部品
データ抽出手段１０２、顔輪郭決定手段１０４、配置位
置補正手段１０６、部品変形手段１０７、部品配置手段
１０８、動画表示開始手段１１２、連続表示手段１１
３、個別動画表示手段１１４および動画順列変更手段１
１５は演算処理を行う装置であり、動画顔部品データ記
憶手段１０３、部品変形／配置情報記憶手段１０５はメ
モリであり、編集指定入力手段１１０および動画表示指
定入力手段１１１はマウス、キーボードやカーソル等を
用いて操作可能な装置であり、動画部品共有手段１１６
は動画部品共有化に伴う演算処理を行う装置である。

【００２９】図２は、本実施形態の画像処理装置におけ
る動画顔部品データ記憶手段１０３の構成を説明するた
めの図である。ここでは、顔部品「目」のデータを例に
挙げて説明を行う。

【００３０】図２に示すデータ２００は、動画顔部品デ
ータ記憶手段１０３に記憶されたデータのうちの１つで
あり、図５に示す顔画像の顔部品「目（ｅｙｅ）」のう
ち、例えば図６に示すようなｅｙｅ１１ａのデータを表
している。このデータは、顔部品の画像または画像を生
成するためのベクタ等のデータ（１つから複数のベジェ
曲線で構成されるデータ）である。また、図２に示すデ
ータ２０１は、ｅｙｅ１１ａを動画表示するためのデー
タであり、例えば図６に示すようなｅｙｅ１２ａのデー
タを表している。そして、データ２００およびデータ２
０１と連続して表示することにより動画表示が可能とな
る。さらに、図２に示すデータ２０２は、データ２０１
と同じく、ｅｙｅ１１ａを動画表示するためのデータで
あり、例えば図６に示すようなｅｙｅ１２ａのデータを
表している。そして、データ２００、データ２０１およ
びデータ２０２と連続して表示することにより動画表示
が可能となる。これにより、例えば図６に示すような動
画顔部品「目」であるｅｙｅ１１ａについて、〈喜〉の
表情を示すための動画表示を行うことができる。

【００３１】図２に示すデータ２０６は、動画顔部品ｅ
ｙｅ１１ａに対してｅｙｅ１２ａとは異なる表情を動画
表示するためのデータであり、例えば図６に示すような
ｅｙｅ１２ｂのデータを表している。そして、データ２
００およびデータ２０６と連続して表示することにより
動画表示が可能となる。さらに、図２に示すデータ２０
７は、データ２０６と同じく、ｅｙｅ１１ａに対してｅ
ｙｅ１２ａとは異なる表情を動画表示するためのデータ
であり、データ２００、データ２０６およびデータ２０
７と連続して表示することにより、動画表示が可能とな
る。例えば図６に示すような動画顔部品「目」であるｅ
ｙｅ１１ａについて、〈怒〉の表情を示すためのの動画
表示を行うことができる。

【００３２】図２に示すデータ２１４は、ｅｙｅ１１ａ
に対してｅｙｅ１２ａおよびｅｙｅ１２ｂとは異なる表
情を動画表示するためのデータであり、例えば図６に示
すようなｅｙｅ１２ｃのデータを表している。そして、
データ２００およびデータ２１４と連続して表示するこ
とにより動画表示が可能となる。さらに、図２に示すデ
ータ２１５は、データ２１４ｃと同じく、ｅｙｅ１１ａ
に対してｅｙｅ１２ａおよびｅｙｅ１２ｂとは異なる表
情を動画表示するためのデータであり、例えば図６に示
すようなｅｙｅ１３ｃのデータを表している。そして、
データ２００、データ２１４およびデータ２１５と連続
して表示することにより、動画表示が可能となる。例え
ば図６に示すような動画顔部品「目」であるｅｙｅ１１
ａについて、〈哀〉の表情を示すための動画表示を行う
ことができる。

【００３３】図２に示すデータ２０３は、ある表情から
別の表情へと連続して表示する際に、その中間画像とし
て表示されるデータのうちの１つであり、ｅｙｅ１３ａ
で表示される表情とｅｙｅ１２ｂで表示される表情との
中間データである。（１）ｅｙｅ１２ａおよびｅｙｅ１
３ａで表示される表情と、（２）ｅｙｅ１２ｂおよびｅ
ｙｅ１３ｂで表示される表情とは、異なる種類の表情で
あるが、連続して表示することを考慮して、両者の間に
中間の表情を入れて、違和感の無い感情の流れを実現す
る。ここで、ｅｙｅ１３ａで表示される表情とｅｙｅ１
２ａで表示される表情とは同じ種類の表情であり、ｅｙ
ｅ１３ａはｅｙｅ１２ａが変形したものである。また、
ｅｙｅ１３ｂで表示される表情とｅｙｅ１２ｂで表示さ
れる表情とは同じ種類の表情であり、ｅｙｅ１３ｂはｅ
ｙｅ１２ｂが変形したものである。そこで、図４のデー
タテーブルでは、先頭の表情である１２ａと１２ｂの中
間データとして示し、ｅｙｅ１３ａの形状とｅｙｅ１２
ｂの形状の中間的な形状を基にして中間データを用意す
る。このデータ２０３は、例えば、図６に示すようなｅ
ｙｅ１４ａｂのデータを表し、〈喜〉の表情から〈怒〉
の表情へと連続して表示する際に表示される。

【００３４】図２に示すデータ２０４は、ある表情から
別の表情へと連続して表示する際に、その中間画像とし
て表示されるデータのうちの１つであり、ｅｙｅ１３ａ
で表示される表情とｅｙｅ１２ｃで表示される表情との
中間データである。例えば図６に示すようなｅｙｅ１４
ａｃのデータを表し、〈喜〉の表情から〈哀〉の表情へ
と連続して表示する際に表示される。この場合にも、図
４のデータテーブルでは、先頭の表情である１２ａと１
２ｃの中間データとして示している。

【００３５】図２に示すデータ２０５は、ある表情から
別の表情へと連続して表示する際に、その中間画像とし
て表示されるデータのうちの１つであり、ｅｙｅ１３ａ
で表示される表情と、ｅｙｅ１２ｂやｅｙｅ１２ｃで表
示される表情とは異なる表情との中間データである。例
えば図６に示すようなｅｙｅ１４ａｄのデータを表す。

【００３６】図２に示すデータ２０８は、動画顔部品デ
ータ記憶手段１０３に記憶されたデータのうちの１つで
あり、ｅｙｅ１１ａとは特徴が異なる動画顔部品「目」
であるｅｙｅ２１ａのデータを表している。このデータ
は、動画順列変更手段１１５により実行される動画デー
タの組み合わせを変更するため、データ２０１（ｅｙｅ
１２ａ）へのポインタを有している。ユーザが動画表示
指定入力手段１１１から組み合わせ変更の指定を入力す
る際に、組み合わせ変更のみを指定して具体的な動画顔
部品データを指定しなかった場合には、このポインタが
示すデータが出力される。ここでは、データ２０８、デ
ータ２０１およびデータ２０２と連続して表示される。

【００３７】また、図２に示すデータ２０９は、ｅｙｅ
２１ａを動画表示するためのｅｙｅ２２ａのデータであ
り、データ２０８およびデータ２０９と連続して表示す
ることにより動画表示が可能となる。さらに、図２に示
すデータ２１０は、データ２０９と同じく、ｅｙｅ２１
ａを動画表示するためのｅｙｅ２３ａのデータであり、
データ２０８、データ２０９およびデータ２１０と連続
して表示することにより動画表示が可能となる。

【００３８】図２に示すデータ２１１は、ｅｙｅ２１ａ
に対してｅｙｅ２２ａとは異なる表情を動画表示するた
めのｅｙｅ２２ｂのデータであり、データ２０８および
データ２１１と連続して表示することにより動画表示が
可能となる。さらに、図２に示すデータ２１２は、デー
タ２１１と同じく、ｅｙｅ２１ａに対してｅｙｅ２２ａ
とは異なる表情を動画表示するためのｅｙｅ２３ｂのデ
ータであり、データ２０８、データ２１１およびデータ
２１２と連続して表示することにより、動画表示が可能
となる。

【００３９】図２に示すデータ２１３は、で示すｅｙｅ
２２ｃは、ｅｙｅ２１ａに対してｅｙｅ２２ａおよびｅ
ｙｅ２２ｂとは異なる表情を動画表示するためのｅｙｅ
２２ｃのデータであり、動画データの共有化のため、デ
ータ２１４（ｅｙｅ１２ｃ）へのポインタを有してい
る。このポインタが示すデータがｅｙｅ２２ｃの動画デ
ータとして画面に表示される。ここでは、データ２０
８、データ２１４およびデータ２１５と連続して表示さ
れる。

【００４０】図７および図３は、本実施形態の画像処理
装置における画像処理手順を示すフローチャートであ
る。

【００４１】まず、図７のステップＳ０１において、画
像入力手段１００から似顔絵を作る元となる画像の入力
を行い、ステップＳ０２において、入力された画像に対
して、特徴量抽出手段１０１により各顔部品の形状や大
きさ等の特徴抽出を行う。

【００４２】次に、ステップＳ０３において、動画顔部
品データ抽出手段１０２により、抽出された特徴量に対
応する顔部品データを動画顔部品データ記憶手段１０３
から選択し、ステップＳ０４において、顔輪郭決定手段
１０４により、抽出された特徴量に基づいて、動画顔部
品データ記憶手段１０３に記憶されている顔輪郭データ
から、その人物の顔輪郭を決定する。

【００４３】その後、ステップＳ０５において、部品変
形／配置情報記憶手段１０５から、その顔輪郭に対応す
る部品の変形や配置に関する情報を引き出す。この部品
変形／配置情報記憶手段１０５には、例えば、各部品の
配置場所や拡大率が部品毎に設定されたテーブルデータ
が記憶されている。

【００４４】次に、ステップＳ０６において、配置位置
補正手段１０６により、部品変形／配置情報記憶手段１
０５から引き出した配置情報を、抽出された特徴量に基
づいて、より似た似顔絵を生成するために補正する。

【００４５】次に、ステップＳ０７において、部品変形
手段１０７により、部品変形／配置情報記憶手段１０５
から引き出した変形情報から、その顔の輪郭に適した形
に、顔部品の大きさなどの顔部品データの変形を行う。

【００４６】次に、ステップＳ０８において、部品配置
手段１０８により、抽出配置位置補正手段１０６が生成
する顔部品を、顔輪郭決定手段１０４が生成する顔輪郭
の上または下の適正な位置に配置する。この配置は、部
品変形／配置情報記憶手段１０５に記憶されている。

【００４７】その後、ステップＳ０９において、編集指
定入力手段１１０により、合成された似顔絵動画像の結
果に対して、部品の配置位置、部品の変形率の変更や部
品種類の変更等を行う。

【００４８】このような処理が施されたデータに対し
て、図３に示すステップＳ１において、動画表示指定入
力手段１１１により、動画表示の開始、各表情の連続表
示の指定、各動画顔部品の個別での動画表示の指定、お
よび動画を構成するデータの組み合わせ変更の指定等、
動画表示に関する指示を行う。

【００４９】次に、ステップＳ２において、動画表示開
始手段１１２により、動画表示指定入力手段１１１から
入力された情報から、動画表示を開始するか否かを判断
する。

【００５０】そして、動画表示開始の指示が入力されて
いない場合、ステップＳ３において、静止画として画面
に合成画像が表示される。

【００５１】一方、動画表示開始の指示が入力されてい
れば、ステップＳ４において、連続表示手段１１３によ
り、動画表示指定入力手段１１１から入力された情報か
ら、２種類以上の表情を連続して表示するか否かを判断
する。

【００５２】そして、動画表示指定入力手段１１１から
連続して表示する２種類以上の表情データが指定入力さ
れていれば、ステップＳ５において、連続表示手段１１
３により、動画顔部品データ記憶手段１０３に記憶され
た図４に示すような中間部品テーブルを参照して、同じ
く動画顔部品データ記憶手段１０３に記憶された該当す
る中間データを抽出する。すなわち、特徴量抽出手段１
０１により抽出された結果から、図２に示すデータ２０
０（ｅｙｅ１１ａ）が選択され、動画表示指定入力手段
１１１により連続して表示する２種類以上の表示データ
として図２に示すデータ２０６（ｅｙｅ１２ｂ）または
データ２１４（ｅｙｅ１２ｃ）が指定入力された場合に
は、図４に示すように、中間データとして図２に示すデ
ータ２０３（ｅｙｅ１４ａｂ）またはデータ２０４（ｅ
ｙｅ１４ａｃ）が抽出される。また、動画表示指定入力
手段１１１により任意の部品が指定されなかった場合に
は、ｅｙｅ１２ａが表示されるものとしている。

【００５３】このようにステップＳ５において中間デー
タを抽出した後、またはステップＳ４において連続表示
が指定されていない場合、ステップＳ６において、個別
動画表示手段１１４により、動画表示指定入力手段１１
１から入力された情報から、任意の部品を動画として表
示するか否かを判断し、個別で動画表示を行う場合に
は、どの部品に対して動画表示を行うかを判断する。こ
れにより、個別で動画表示を行うという指定入力がされ
た部品は動画表示され、指定入力がされていない部品は
静止画として表示される。

【００５４】そして、動画表示指定入力手段１１１から
個別で動画表示を行う部品種類が入力されていれば、ス
テップＳ７において、個別動画表示手段１１４により、
入力指定された部品種類を動画表示の対象として選択す
る。

【００５５】このようにステップＳ７において動画表示
対象を選択した後、またはステップＳ６において個別動
画表示が指定されていない場合、ステップＳ８におい
て、動画順列変更手段１１５により、動画表示指定入力
手段１１１から入力された情報から、動画顔部品データ
記憶手段１０３に記憶され、現在選択されている部品種
類と同一の部品種類であって、別の形状または別の表情
を表す動画データに出力を変更するか否かを判断する。

【００５６】そして、別の形状または別の表情を表す動
画データに出力を変更する場合には、ステップＳ９にお
いて、動画データの組み合わせを変更する。すなわち、
特徴量抽出手段１０１により抽出された結果から、図２
に示すデータ２０８（ｅｙｅ２１ａ）が選択され、動画
表示指定手段１１１により、ｅｙｅ２１ａの部品に対し
て、ある表情の動画データとしてデータ２０１（ｅｙｅ
１２ａ）を使用するように指定入力があった場合、図２
に示すデータ２０１（ｅｙｅ１２ａ）およびデータ２０
２（ｅｙｅ１３ａ）を出力するようにデータの組み合わ
せを変更する。このとき、組み合わせ変更の指定があっ
たデータ２０１（ｅｙｅ１２ａ）で表される表情を表示
するときのみデータ変更を行い、それとは異なる表情を
表示するときには予め決められているデータを出力す
る。

【００５７】このようにステップＳ９において動画順列
を変更した後、またはステップＳ８において動画順列変
更が指定されていない場合、ステップＳ１０において、
動画部品共有手段１１６により、動画顔部品データ記憶
手段１０３に記憶されている同一種類で２つ以上の動画
顔部品データ間で動画データを共有するため、動画顔部
品データに共有するデータを示すポインタが含まれてい
るか否かを判断する。

【００５８】そして、動画顔部品データに共有するデー
タを示すポインタが含まれていれば、ステップＳ１１に
おいて、動画部品共有手段１１６により、ポインタの示
すデータを動画顔部品データ記憶手段１０３から抽出す
る。

【００５９】このようにステップＳ１１において共有デ
ータを抽出した後、またはステップＳ１０において動画
共有化のためのポインタが動画顔部品データに含まれて
いない場合には、ステップＳ１２において、ステップＳ
４〜ステップＳ１１で得られた似顔絵動画像を画像出力
手段１０９により画面上に出力する。

【００６０】

【発明の効果】以上詳述したように、本発明によれば、
ユーザが入力した部品指定に基づいて、または記憶手段
に記憶している部品指定に基づいて、輪郭に対応して規
定されている部品配置に動画像からなる部品を配置し
て、容易に画像を合成してその変化を動画像として表現
することができる。

【００６１】また、本発明によれば、画像中の部品の位
置や大きさ等の特徴情報を得、その特徴情報に基づいて
輪郭に対応して規定されている部品配置に動画からなる
部品を配置することにより、容易に特徴を反映した画像
を合成してその変化を動画像として表現することができ
る。例えば顔画像の場合には、容易に特徴を反映した似
顔絵を合成して、表情変化等を表現する似顔絵動画像を
出力することができる。

【００６２】また、本発明によれば、ユーザが任意に動
画表示開始、表情等の種別が異なる画像の連続表示およ
び動画表示部品の指定等を指示することができるので、
よりインタラクティブな操作が可能である。

【００６３】また、本発明によれば、静止画として画面
に表示されている画像を、動画開始指示により動画表示
することができるので、似顔絵が動画として表示された
ときの状態を確認しながら似顔絵を作成することができ
る。

【００６４】また、本発明によれば、各動画部品データ
が例えば表情変化の中間データを有し、連続表示を行う
場合にのみ中間データを表示することにより、各表情を
連続した動画像として表現することができるので、より
自然な表情変化を表現することが可能になる。

【００６５】また、本発明によれば、例えば表情を変更
した際に、眉、目や口等の各部品を全て同時に動画表示
するのではなく、動画表示を行う部品を指定することに
より、任意の部品のみを動画表示して、より微細な表情
を表現することが可能になる。

【００６６】また、本発明によれば、ある表情に対する
動画部品データの組み合わせを変更し、異なる表情に対
する動画部品データを任意の表情の一部として使用する
ことにより、データ容量を増加させることなく、表情の
バリエーションを増やすことができ、また、微細な表情
を表現することが可能になる。

【００６７】さらに、本発明によれば、異なる２つ以上
の動画部品データが１つの表情を表示する際に、最終画
像までの動画データを共有することにより、データ容量
を削減することが可能になる。

【図面の簡単な説明】

【図１】本発明の一実施形態である画像処理装置の構成
を示すブロック図である。

【図２】本発明の一実施形態である画像処理装置におけ
る動画顔部品データの構成を説明するための図である。

【図３】本発明の一実施形態である画像処理装置におけ
る画像処理動作を説明するためのフローチャートであ
る。

【図４】中間データを抽出するための中間部品テーブル
を説明するための図である。

【図５】動画顔部品データの合成結果を示す図である。

【図６】動画顔部品「目」の一例を示す図である。

【図７】本発明の一実施形態である画像処理装置におけ
る画像処理動作において、画像入力から部品の配置位置
や変形率の変更までの処理を説明するためのフローチャ
ートである。

【符号の説明】

１００画像入力手段１０１特徴量抽出手段１０２動画顔部品データ抽出手段１０３動画顔部品データ記憶手段１０４顔輪郭決定手段１０５部品変形／配置情報記憶手段１０６配置位置補正手段１０７部品変形手段１０８部品配置手段１０９画像出力手段１１０編集指定入力手段１１１動画表示指定入力手段１１２動画表示開始手段１１３連続表示手段１１４個別動画表示手段１１５動画順列変更手段１１６動画部品共有手段２００、２０１、２０２、２０３、２０４、２０５、２
０６、２０７、２０８２０９、２１０、２１１、２１
２、２１３、２１４、２１５「目のデータ」

───────────────────────────────────────────────────── フロントページの続き (72)発明者紺矢峰弘大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内Ｆターム(参考） 5B050 BA10 BA12 EA06 EA13 EA19 EA24 FA19 5B057 BA23 CE08 DA07 DC16

Claims

【特許請求の範囲】

【請求項１】特徴量が異なる複数の部品種類を有し、
各部品種類ごとに複数の動画像からなる複数の動画部品
データを記憶している動画部品データ記憶手段と、該動画部品データ記憶手段から適切な動画部品データを
抽出する動画部品データ抽出手段と、抽出された動画部品データを、該動画部品データ記憶手
段に記憶している輪郭部品種類ごとに定められた位置に
配置する部品配置手段を備えている画像処理装置。
【請求項２】入力された画像から該画像を構成する部
品の特徴情報を抽出する特徴抽出手段を備え、得られた特徴情報に基づいて、前記動画部品データ抽出
手段により前記動画部品データ記憶手段から適切な動画
部品データを抽出する請求項１に記載の画像処理装置。
【請求項３】前記動画部品データが顔の表情を表すデ
ータである請求項１または請求項２に記載の画像処理装
置。
【請求項４】輪郭部品種類ごとに定められた位置に配
置された動画部品データの動画表示、１つの部品種類に
対して複数記憶されている動画部品データの連続表示、
および画像を構成する各部品ごとに個別に動画表示を指
示するための動画表示指定入力手段を備えている請求項
１乃至請求項３のいずれかに記載の画像処理装置。
【請求項５】輪郭部品種類ごとに定められた位置に配
置された動画部品データの動画表示を開始する動画表示
開始手段を備えている請求項１乃至請求項４のいずれか
に記載の画像処理装置。
【請求項６】１つの部品種類に対して複数記憶されて
いる動画部品データを、中間データを含めて連続表示す
る連続表示手段を備えている請求項１乃至請求項５のい
ずれかに記載の画像処理装置。
【請求項７】画像を構成する各部品ごとに、個別に動
画表示を行う個別動画表示手段を備えている請求項１乃
至請求項６のいずれかに記載の画像処理装置。
【請求項８】動画部品データを構成する複数の動画像
の組み合わせを変更する動画順列変更手段を備えている
請求項１乃至請求項７のいずれかに記載の画像処理装
置。
【請求項９】１つの部品種類に対して複数記憶されて
いる動画部品データを、複数の部品種類間で供給する動
画部品共有手段を備えている請求項１乃至請求項８のい
ずれかに記載の画像処理装置。