JP2002074384A

JP2002074384A - 画像処理装置

Info

Publication number: JP2002074384A
Application number: JP2000268858A
Authority: JP
Inventors: Ai Ito; 愛伊藤; Minehiro Konya; 峰弘紺矢; Yoshinori Nagai; 義典長井; So Takezawa; 創竹澤; Atsuo Matsuoka; 篤郎松岡
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-09-05
Filing date: 2000-09-05
Publication date: 2002-03-15

Abstract

(57)【要約】【課題】動画像の微細な差異に応じた音、または音声
を出力することを可能とし、多彩な音の表現を実現す
る。【解決手段】特徴量が異なる動画からなる複数の動画
部品データを、特徴量が異なる部品種類ごとに、複数の
画像種別に応じて予め動画部品データ記憶手段１０３に
記憶している。従って、動画部品データを指定すること
により、テンプレートに対応して規定されている部品配
置に動画像からなる部品を配置し、容易に画像を合成し
て、その変化を動画像として表現する。また、１個の動
画部品データに対して１音の音または音声データを音デ
ータ記憶手段１１０に記憶しているので、動画部品デー
タを指定することにより、その動画部品に対応して１個
ずつ規定されている音データを音データ抽出手段１０９
が音データ記憶手段１１０から抽出し、それぞれの動画
像固有の特徴に合わせた音データを出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばパーソナル
コンピュータ、ワードプロセッサ、ワークステーショ
ン、携帯型情報ツール、複写機、スキャナ装置、ファク
シミリ装置、テレビジョン受像機、ビデオテープレコー
ダ、ビデオカメラ等に用いられ、入力した画像に関する
特定の特徴量、例えば人物画像における目や口などの位
置や大きさ、形状などを抽出することができ、その抽出
情報に基づいて、入力した画像から操作者の所望する状
態の画像、例えば表情変化などを表現した動画像を、行
為や感情を表現する効果音とともに生成することのでき
る画像処理装置に関する。

【０００２】

【従来の技術】従来より、入力した人物画像から、目や
口などの位置や大きさ、形状などの特徴量を抽出し、そ
の抽出情報に基づいて人物画像を生成し、その生成した
人物画像を表示する際に、同時にその人物画像に対応す
る音声を外部に出力するように構成された音声出力装置
が、特開平７−３０８３４４号公報に開示されている。

【０００３】この音声出力装置は、複数の部分画像を組
み合わせて物体画像を作成し、その作成した物体画像を
表示する際に、その物体画像を構成する各部分画像をそ
れぞれ指定する指定用の数値の合計値と一致する数値、
またはその合計値が含まれる数値群に対応する音声デー
タを読み出し、この読み出した音声データに基づいた音
声を外部に出力することにより、作成された物体画像に
ふさわしい、適切な音声を出力するようになっている。

【０００４】より詳細に説明すると、基本パーツ画像メ
モリには、人間、動物、宇宙人等ごとに、その似顔絵を
構成する各部分が、輪郭、髪型、眉、目、鼻、口などの
各部位に分けられて記憶されている。また、各部位は、
それぞれ部位No、パターンNoに対応付けられて記憶され
ている。この基本パーツ画像メモリに記憶されている各
パーツを組み合わせることで、人間や動物等ごとに、予
め定められたモンタージュ画像を得ることができる。ま
た、音声メッセージメモリには、状況に応じて出力され
る予め定められた各種音声メッセージデータが記憶され
ている。

【０００５】各パーツは、パターンNoが小さい数値か
ら、大きな数値になるにつれて順に可愛い顔つき、かっ
こ良い顔つき、奇異な顔つき、怖い顔つきになるような
配列関係で、各パターンNoと各パーツ画像とを対応付け
て記憶している。そして、使用者により選択された各パ
ーツ画像の組み合わせにより作成された顔のモンタージ
ュ画像について、その各構成パーツのパターンNoの合計
値を算出し、その合計値の大きさに対応する音声メッセ
ージを出力するようになっている。

【０００６】

【発明が解決しようとする課題】しかしながら、上記し
た従来の音声出力装置では、顔の合成結果に変化を出す
ことはできても、同じ性別や、同じ年代、また同じよう
な動物種類などのデータを作成した場合には、選択した
パーツに指定されているパターンNoの合計値が同じよう
な数値になるため、合計値と一致する数値、またはその
合計値が含まれる数値群に対応する音声データが出力さ
れることになる。つまり、合成結果の画像が異なって
も、出力する音声データにバリエーションを持たせるこ
とが難しいといった問題があった。

【０００７】本発明はかかる問題点を解決すべく創案さ
れたもので、その目的は、動画データと、音声、効果音
などの音データとを１対１、もしくは１対２以上で対応
して所持することにより、動画像の微細な差異に応じた
音、または音声を出力することが可能となり、多彩な音
の表現を実現した画像処理装置を提供することにある。

【０００８】

【課題を解決するための手段】上記課題を解決するた
め、本発明の画像処理装置は、特徴量が異なる複数の部
品種類を有し、各部品種類ごとに複数の動画像からなる
複数の動画部品データを記憶している動画部品データ記
憶手段と、この動画部品データ記憶手段から任意の動画
部品データを抽出する動画部品データ抽出手段と、１個
の動画部品データに対して１音の音または音声データを
記憶している音データ記憶手段と、この音データ記憶手
段から、動画部品データに対応する音または音声データ
を抽出する音データ抽出手段と、前記動画部品データ抽
出手段により抽出された動画部品データを、部品種類ご
とに定められた位置に配置する部品配置手段と、動画像
の表示に同期し、その表示される動画部品データに対応
させて前記音データ抽出手段により抽出された音または
音声データを出力する画像音データ出力手段とを備えて
いることを特徴とする。

【０００９】このような特徴を有する本発明によれば、
特徴量が異なる動画からなる複数の動画部品データを、
特徴量が異なる部品種類ごとに、複数の画像種別に応じ
て予め動画部品データ記憶手段に記憶している。従っ
て、動画部品データを指定することにより、テンプレー
トに対応して規定されている部品配置に動画像からなる
部品を配置し、容易に画像を合成して、その変化を動画
像として表現することができる。また、１個の動画部品
データに対して１音の音または音声データを音データ記
憶手段に記憶しているので、動画部品データを指定する
ことにより、その動画部品に対応して１個ずつ規定され
ている音データを音データ記憶手段から抽出すること
で、それぞれの動画像固有の特徴に合わせた音データを
出力することができる。

【００１０】また、本発明の画像処理装置は、入力され
た画像からその画像を構成する部品の特徴情報を抽出す
る特徴抽出手段をさらに備え、動画部品データ抽出手段
は、特徴抽出手段により抽出された特徴情報に基づい
て、動画部品データ記憶手段から適切な動画部品データ
を抽出することを特徴とする。

【００１１】このような特徴を有する本発明によれば、
入力画像からその画像中の部品の位置や大きさ等の特徴
情報を抽出し、その特徴情報に基づいて、テンプレート
に対応して規定されている部品配置に動画からなる部品
を配置することにより、特徴を反映した音の画像を容易
に合成し、音と動画像とを同期して出力することが可能
となる。また、原画となる入力画像の特徴を抽出するた
め、的確な表現が可能となる。さらに、入力画像には、
全身像や風景画等も利用できるので、原画の特徴を再現
するのに効果的である。

【００１２】また、本発明の画像処理装置によれば、音
データ記憶手段には、１個の動画部品データに対し、２
音以上の音または音声データが記憶されており、１個の
動画部品データに対応する複数の音または音声データか
ら１音を選択して出力する音データ選択手段をさらに備
えていることを特徴とする。

【００１３】このような特徴を有する本発明によれば、
１個の動画部品データに対して１対複数で対応する音デ
ータを、ランダムに若しくは内蔵した時計の時刻により
選択可能であるため、多様なバリエーションを持つ音デ
ータを出力することが可能となる。

【００１４】また、本発明の画像処理装置は、音データ
抽出手段により抽出された音または音声データを、入力
画像の特徴によって加工する音データ加工手段をさらに
備えていることを特徴とする。

【００１５】このような特徴を有する本発明によれば、
１個の動画部品データに対して１対１、または１対複数
で対応する音データを、入力画像の特徴によって選択さ
れるテンプレートに対応して加工し、出力することによ
り、画像の特徴を反映した音データを容易に出力するこ
とが可能となる。

【００１６】また、本発明の画像処理装置は、音データ
抽出手段により抽出された音または音声データを、原画
となる入力画像のサイズや特徴によって異なる音または
音声データに変更して出力する音データ変更手段をさら
に備えていることを特徴とする。

【００１７】このような特徴を有する本発明によれば、
１個の動画部品データに対して１対１、または１対複数
で対応する音データを、入力画像の特徴によって選択さ
れるテンプレートに対応して異なる音データに変更して
出力することにより、画像の特徴を反映した音データを
容易に出力することが可能となる。

【００１８】また、本発明の画像処理装置は、２音以上
の音または音声データが同時に出力される場合、音また
は音声データの開始時刻をずらせて出力する音データ出
力時間変更手段をさらに備えていることを特徴とする。

【００１９】このような特徴を有する本発明によれば、
複数の動画部品を合成して生成された画像に対し、動画
部品データに対応した音データの開始時刻を部品ごとに
ずらせて出力することにより、聞き取りやすく効果的な
音を出力することができる。

【００２０】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。

【００２１】図１は、本発明の画像処理装置の一実施形
態を示すブロック図である。

【００２２】本実施形態の画像処理装置は、画像入力手
段１００、特徴量抽出手段１０１、動画部品データ抽出
手段１０２、動画部品データ記憶手段１０３、合成配置
決定手段１０４、部品変形配置情報記憶手段１０５、配
置位置補正手段１０６、部品変形手段１０７、部品配置
手段１０８、音データ抽出手段１０９、音データ記憶手
段１１０、音データ加工手段１１１、音データ変更手段
１１２、音データ出力時間変更手段１１３、動画音情報
記憶手段１１４、音データ選択手段１１５、および画像
音データ出力手段１１６によって構成されている。

【００２３】画像入力手段１００は、顔画像や人物画像
等を作成するための元画像を入力するための手段であ
り、例えばスキャナ等が用いられる。特徴量抽出手段１
０１は、入力された画像から各部品の形状、大きさ、画
像種等の特徴量を抽出する手段である。動画部品データ
抽出手段１０２は、抽出した特徴量に基づいて、対応す
る動画部品データを動画部品データ記憶手段１０３から
選択する手段であり、動画部品データ記憶手段１０３
は、動画部品データを蓄積する手段である。

【００２４】合成配置決定手段１０４は、抽出した特徴
量に基づいて、画像を構成する配置テンプレートを決定
し、その配置テンプレートに対応する部品の変形や配置
に関する情報を、部品変形配置情報記憶手段１０５から
引き出す手段であり、部品変形配置情報記憶手段１０５
は、部品の変形や配置に関する情報を蓄積する手段であ
る。

【００２５】配置位置補正手段１０６は、部品変形配置
情報記憶手段１０５から引き出された部品変形配置情報
を、特徴量に基づいて補正を行う手段である。部品変形
手段１０７は、配置位置補正手段１０６によって引き出
された変形情報に基づき、合成配置決定手段１０４によ
って選択した配置テンプレートに適した形に、動画部品
データのサイズ、形状等の変形を行う手段である。部品
配置手段１０８は、配置位置補正手段１０６が生成し、
部品変形手段１０７が配置テンプレートに適した形に変
形を行った動画部品データを、合成配置決定手段１０４
が選択した配置テンプレート上の適当な位置に配置する
ための手段である。

【００２６】音データ抽出手段１０９は、抽出した動画
部品データに１対１、若しくは１対複数で対応する音デ
ータを音データ記憶手段１１０から選択する手段であ
り、音データ記憶手段１１０は、すべての動画部品デー
タに１対１、若しくは１対複数個で対応する音データ
と、音データの変更時に必要となる音データ（変更デー
タ）とを蓄積する手段である。

【００２７】音データ加工手段１１１は、抽出した特徴
情報から、合成配置決定手段１０４が選択した配置テン
プレートの種類に基づき、音データを加工する手段であ
る。音データ変更手段１１２は、抽出した特徴情報か
ら、合成配置決定手段１０４が選択した配置テンプレー
トの種類に基づいてテーブルデータを参照し、動画部品
データに対応する音データを変更用音データに変更し
て、音データ記憶手段１０５から音データを抽出する手
段である。

【００２８】音データ出力時間変更手段１１３は、音の
出力順を記憶したテーブルデータを参照して、合成され
た動画部品データに対応する音データの出力順を決定す
る手段である。動画音情報記憶手段１１４は、音データ
変更に使用する変更データや、音データの出力時間を変
更するための音データ出力時間を参照するためのテーブ
ルデータを記憶する手段である。音データ選択手段１１
５は、１個の動画部品データに対し、複数個の音データ
がある場合に、ランダムに若しくは時間帯の条件（内蔵
した時計の時刻）により、音データを選択する手段であ
る。画像音データ出力手段１１６は、ＣＲＴ等の表示装
置およびスピーカなどの出力装置からなり、動画部品を
合成することにより生成した画像データと、動画部品デ
ータに対応する音データとを出力する手段である。

【００２９】次に、上記各手段のうち、本発明の要部で
ある手段について、さらに詳しく説明する。

【００３０】まず、音データ加工手段１１１について、
さらに詳しく説明する。

【００３１】１個の動画部品データに対して、音データ
は予め１個用意されている。この音データは、入力画像
の特徴に応じて加工される。

【００３２】例えば、人物の顔画像を入力した場合にお
いて、合成配置決定手段１０４は、顔輪郭の横幅を測定
し、一定基準より太めであれば太めの配置テンプレー
ト、一定基準の範囲内であれば普通の配置テンプレー
ト、一定基準より細めであれば細めの配置テンプレート
を選択する。また、顔部位の配置を測定し、顔輪郭に対
し目の位置が一定基準より下にあれば子供用の配置テン
プレートを選択する。

【００３３】音データ加工手段１１１は、この選択結果
に基づいて、音データの加工を行う。例えば、合成配置
決定手段１０４が太めの配置テンプレートを選択した場
合においては、抽出した動画部品データに対応する音声
データの周波数を低くするという加工を行うことによ
り、特徴に適した音声データを出力することが可能にな
り、動画像の表現に変化を与えることができる。

【００３４】次に、音声データ変更手段１１２につい
て、さらに詳しく説明する。

【００３５】１個の動画部品データに対して、音データ
は予め１個用意されている。この音データは、入力画像
の特徴に応じて加工される。

【００３６】例えば、人物の顔画像を入力した場合にお
いて、合成配置決定手段１０４は、顔輪郭の横幅を測定
し、一定基準より太めであれば太めの配置テンプレー
ト、一定基準の範囲内であれば普通の配置テンプレー
ト、一定基準より細めであれば細めの配置テンプレート
を選択する。また、顔部位の配置を測定し、顔輪郭に対
し目の位置が一定基準より下にあれば子供用の配置テン
プレートを選択する。

【００３７】音データ変更手段１１２は、この選択結果
に基づいて、音データの変更を行う。例えば、合成配置
決定手段１０４が子供用の配置テンプレートを選択した
場合においては、抽出した動画部品データに対応する音
声データに対する変更用音データを、動画音情報記憶手
段１１４に記憶されているテーブルデータを参照して、
音データ記憶手段１１０から抽出し、特徴に適した音デ
ータを出力することが可能になり、動画像の表現に変化
を与えることができる。

【００３８】次に、音データ出力時間変更手段１１３に
ついて、さらに詳しく説明する。

【００３９】音データ出力時間変更手段１１３は、動画
部品データを合成した結果、動画部品データが個別に対
応する音データの出力時間を統制するものである。すな
わち、動画表示と同期して行われる音データ出力の時間
を、テーブルデータを参照することにより、部品ごとに
ずらせて出力するものである。

【００４０】例えば、テーブルデータに、動画表示開始
から音データの出力開始までの時間を記憶しておくこと
により、音データ出力時間変更手段１１３は、動画音情
報記憶手段１１４に記憶されているテーブルデータを参
照して、音データの出力時間を遅らせるものである。具
体的に説明すると、例えば口のデータの音出力と、目の
データの音出力との時間をずらすために、テーブルデー
タには、目データの音出力を遅らせるための待機時間を
記憶させておく。これにより、音データが同時に出力さ
れることがなく、聞き取りやすい音を出力することが可
能になる。

【００４１】次に、音データ選択手段１１５について、
さらに詳しく説明する。

【００４２】音データ選択手段１１５は、動画部品デー
タに対応する音データを、音データ記憶手段１１０から
抽出する際に、音データが複数個用意されている場合に
は、どの音データを使用するかを、乱数等を利用してラ
ンダムに選択するものである。例えば、１個の口データ
に対する音データが複数あった場合に、どれか１つの音
データをランダムに選択することにより、出力するたび
に、ユーザの予想がつかない音データを出力することが
可能になる。また、この選択は、ランダムに選択するだ
けでなく、内蔵した時計の時刻により選択するようにし
てもよい。

【００４３】なお、特徴量抽出手段１０１、動画部品デ
ータ抽出手段１０２、合成配置決定手段１０４、配置位
置補正手段１０６、部品変形手段１０７、部品配置手段
１０８、音データ抽出手段１０９、音データ加工手段１
１１、音データ変更手段１１２、音データ出力時間変更
手段１１３および音データ選択手段１１５は、演算処理
を行う装置であり、動画部品データ記憶手段１０３、部
品変形配置情報記憶手段１０５、音データ記憶手段１１
０および動画音情報記憶手段１１４は、ＤＲＡＭ、ＥＥ
ＰＲＯＭ、フラッシュメモリ等の記憶装置である。

【００４４】図４は、上記構成の画像処理装置における
動画部品データ記憶手段１０３の構成を説明するための
図である。ここでは、顔部品「目」のデータを例に挙げ
て説明する。

【００４５】図４に示すデータ４０１（ｅｙｅ１１ａ）
は、動画部品データ記憶手段１０３に記憶されたデータ
のうちの１つであり、図３に示す画像の部品「目（ｅｙ
ｅ）」として表示される。このデータ４０１は、部品の
画像または画像を生成するためのベクタ等のデータ（１
つから複数のベジェ曲線で構成されるデータ）である。
また、図４に示すデータ４０２（ｅｙｅ１１ａ１）は、
４０１（ｅｙｅ１１ａ）のまばたきの表情を示す動画表
示結果であり、動画部品データ記憶手段１０３には、４
０１、４０２を表現する動画部品データが記憶されてい
る。同様に、データ４０３（ｅｙｅ１１ａ２）は、４０
１（ｅｙｅ１１ａ）の驚きの表情を示す動画表示結果で
あり、動画部品データ記憶手段１０３には、４０１、４
０３を表現する動画部品データが記憶されている。

【００４６】また、データ４０４（ｅｙｅ２１ａ）は、
データ４０１（ｅｙｅ１１ａ）とは形状が異なる目のデ
ータを表しており、４０１（ｅｙｅ１１ａ）と同様に、
まばたきの表情を表す動画部品データ４０５（ｅｙｅ２
１ａ１）と、驚きの表情を表す動画部品データ４０６
（ｅｙｅ２１ａ２）とが動画部品データ記憶手段１０３
に記憶されている。

【００４７】なお、動画部品データの表現できる表情
は、まばたきや驚きだけでなく、その他、多様な表情デ
ータを記憶している。また、動画部品データの部位も、
目のみでなく、図３に示すように、眉、鼻、口の他、人
物胴体のように多様な種類のデータが動画部品データ記
憶手段１０３に蓄積されている。

【００４８】図５は、それぞれ合成配置決定手段１０４
で決定される配置テンプレートを図示したものであり、
この配置テンプレートの配置座標に合わせて、動画部品
データの配置を決定する。合成配置決定手段１０４は、
特徴量抽出手段１０１から抽出された特徴量から配置テ
ンプレートの決定を行う。すなわち、人物の顔画像を入
力した場合においては、顔輪郭の横幅を測定し、一定基
準より太めであれば、顔輪郭を模した太めの配置テンプ
レート（Ｔ−３）を選択し、一定基準の範囲内であれ
ば、普通の配置テンプレート（Ｔ−１）を選択し、一定
基準より細めであれば、細めの配置テンプレート（Ｔ−
２）を選択する。また、大人と顔部位の配置バランスが
異なる人物（例えば、子供）の画像を入力した場合に
は、（Ｔ−４）のような子供用の配置テンプレートを選
択する。

【００４９】これらテンプレートには、動画部品データ
の配置座標が規定されており、この配置座標に合わせ
て、配置位置補正手段１０６によって特徴量に基づくサ
イズ変更などが施された動画部品データが配置されるも
のである。

【００５０】図６は、動画部品データに対応する音デー
タと、音データの出力時間を変更するための音データ出
力時間の指定と、音データを変更する際に、変更後の音
データを指定するためのテーブルデータを説明するため
の図である。

【００５１】図６では、ｅｙｅ１１ａ、ｅｙｅ２１ａ、
ｅｙｅ３１ａはそれぞれ目のデータの種類を表してお
り、ｍｏｕｔｈ１１ａ、ｍｏｕｔｈ２１ａはそれぞれ口
のデータを表している。また、図６では、動画部品デー
タｅｙｅ１１ａの動画部品データ種類に対して、表情を
表現する動画部品データがｅｙｅ１１ａ１、ｅｙｅ１１
ａ２、ｅｙｅ１１ａ３のように動画部品データ記憶手段
１０３に蓄積されていることを示しており、動画部品デ
ータｅｙｅ１１ａ１に対応して、音データｅ１１ａ１
が、音データ記憶手段１０５に蓄積されている。また、
音データの出力は、口を基準にして行われるものとし、
動画部品データの出力は、テーブルデータの音出力時間
を参照し、口のデータの出力時刻より参照した時間だけ
遅らせて出力するものとする。

【００５２】また、合成配置決定手段１０４で選択した
配置テンプレートにより、子供用の配置テンプレート
（Ｔ−４）であれば、テーブルデータの変更データを参
照して、動画部品データに対応する音データを抽出して
出力するものとする。

【００５３】図７は、本実施形態の画像処理装置におけ
る音データ記憶手段１１０の構成を説明するための図で
ある。

【００５４】音データ記憶手段１１０には、動画部品デ
ータ記憶手段１０３に記憶されている動画部品データに
対応して、音データが記憶されている。また、合成配置
決定手段１０４で選択した配置テンプレートが、子供用
の配置テンプレート（Ｔ−４）であった場合には、音デ
ータ変更手段１１２により、テーブルデータを参照して
音データが変更されるため、動画部品データに対応する
音データの変更後のデータが、変更データとして記憶さ
れている。

【００５５】図８は、本実施形態の動画部品データと、
音データと、音データの変更を行う際の変更データの組
み合わせの一例を示した図である。この図では、ｅｙｅ
１１ａの部品種類の中のまばたきを表現する動画部品デ
ータｅｙｅ１１ａ１に対して、音データ抽出手段１０９
は、テーブルデータを参照してｅ１１ａ１の音データを
音データ記憶手段１１０から抽出する。また、配置テン
プレートが子供用の配置テンプレート（Ｔ−４）であっ
た場合には、音データ変更手段１１２により、ｅ１１ａ
１ｂの音データを音データ記憶手段１１０から抽出する
ものである。音データｅ１１ａ１は、まばたきのデータ
であるため、「パチパチ」といった音が出力され、ま
た、その変更データであるｅ１１ａ１ｂでは、異なる
「パチン」といった音が出力される。

【００５６】また、音データｅ１１ａ２は驚きの表情を
表現するデータであり、対応する動画部品データは、
「目」が飛び出たような表現方法をとっている。そのた
め、この表現方法に合わせて、音データｅ１１ａ２は、
「ビヨヨ−ン」といったバネがのびるような音を出力す
る。また、変更データであるｅ１１ａ２ｂは、「ビョー
ン」といった短めのバネがのびるような音を出力するも
のである。

【００５７】図９は、本実施形態の動画部品データと、
音データ選択手段１１５で選択される複数の音データの
組み合わせの一例を示した図である。この図では、ｍｏ
ｕｔｈ１１ａの部品種類の中の会話を表現する動画部品
データｍｏｕｔｈ１１ａ１に対応する音データを抽出す
るが、このとき、対応するデータが複数あった場合に
は、音データ選択手段１１５により、複数あるデータの
中からランダムに１つの音データを選択する。この選択
結果により、音データ抽出手段１０９が、音データ記憶
手段１１０から音データを抽出するものである。

【００５８】例えば、ｍｏｕｔｈ１１ａ１は会話のデー
タであるが、この会話のデータに対し、音データが、ｍ
１１ａ１、ｍ１１ａ１′、ｍ１１ａ１″と３種類あると
し、ｍ１１ａ１の音データが「こんにちは」、ｍ１１ａ
１′の音データが「ハロー」、ｍ１１ａ１″の音データ
が「やっほー」であった場合、音データ選択手段１１５
は、これらの中から出力する音データをランダムに選択
する。例えば、ｍ１１ａ１″「やっほー」が選択された
とすると、音データ抽出手段１０９は、このｍ１１ａ
１″を抽出することになる。

【００５９】なお、音データの選択は、ランダムに選択
される他、入力画像の特徴によって選択されるようにし
てもよく、また、時間などの条件によって選択されるよ
うにしてもよい。

【００６０】次に、本実施形態の画像処理装置における
画像処理手順について、図２に示すフローチャートを参
照して説明する。

【００６１】まず、ステップＳ１において、画像入力手
段１００から、動画像を作成する元となる画像の入力を
行う。ここでは、人物の顔画像を入力したものとして、
以下説明を行うが、人物画像以外にも、動物の画像や風
景画像などでもよい。

【００６２】次のステップＳ２では、入力された画像に
対して、特徴量抽出手段１０１により、入力画像に含ま
れる各部位の形状や大きさ等の特徴抽出を行う。人物顔
画像を入力した場合には、顔輪郭の幅、目、口等の形状
の特徴が抽出される。

【００６３】次のステップＳ３では、動画部品データ抽
出手段１０２により、特徴量抽出手段１０１によって抽
出された特徴量に基づいて、動画部品データを動画部品
データ記憶手段１０３から選択し、次のステップＳ４で
は、合成画像を生成するために、合成配置決定手段１０
４により、抽出された特徴量に基づいて、部品変形配置
情報記憶手段１０５に記憶されている部品の配置を規定
する部品配置テンプレートの座標情報を決定する。例え
ば、入力画像の顔輪郭幅が一定基準内であれば、（Ｔ−
１）の配置テンプレートの座標情報を選択する。

【００６４】次のステップＳ５では、抽出した配置テン
プレートの座標情報に対応する、部品の変形や配置に関
する情報を、部品変形配置情報記憶手段１０５から抽出
する。この部品変形配置情報記憶手段１０５には、各部
品の配置場所や拡大率が部品ごとに設定されたテーブル
データが記憶されている。例えば、抽出した動画部品デ
ータを、選択した配置テンプレートに配置するための変
形を行うための情報を抽出することになる。従って、配
置テンプレートが細めである場合、配置テンプレートが
太めである場合、配置テンプレートが子供用である場合
によって、動画部品データを配置する際の拡大率は異な
る。

【００６５】次のステップＳ６では、配置位置補正手段
１０６により、部品変形配置情報記憶手段１０５から引
き出した配置情報を、特徴量抽出手段１０１によって抽
出された特徴量に基づいて、より入力データに近い画像
を生成するために補正する。例えば、特徴量抽出手段１
０１で抽出した特徴より、目等の各部位の動画部品デー
タが一定基準より細いと判定された場合には、動画部品
データの拡大縮小を行い、動画部品データの補正を行
う。

【００６６】次のステップＳ７では、合成配置決定手段
１０４が部品変形配置情報記憶手段１０５から引き出し
た変形情報に基づき、部品変形手段１０７が、配置テン
プレートに適した形状となるように、動画部品データの
変形を行う。

【００６７】次のステップＳ８では、配置位置補正手段
１０６が生成し、部品変形手段１０７が配置テンプレー
トに適した形に変形を行った動画部品を、部品配置手段
１０８により、合成配置決定手段１０４が選択した配置
テンプレートの上の適正な位置に配置する。

【００６８】次のステップＳ９では、音声データ抽出手
段１０９により、動画部品データに対応した音データを
音データ記憶手段１１０から抽出する。

【００６９】次のステップＳ１０では、抽出した音デー
タが複数あるか否かを判断する。そして、音データが複
数ある場合（ステップＳ１０でＹｅｓと判断された場
合）には、音データ選択手段１１５にて出力の対象とな
る音データを選択するため、ステップＳ１１へと動作を
進める。一方、音データが複数無い場合（ステップＳ１
０でＮｏと判断された場合）には、ステップＳ１２へと
動作を進める。

【００７０】ステップＳ１１では、音データ選択手段１
１５により、出力の対象となる音データを選択し、選択
結果を音データ抽出手段１０９に出力する。音データ抽
出手段１０９は、選択された音データを抽出結果とし
て、音データ加工手段１１１に出力し、ステップＳ１２
へと動作を進める。

【００７１】ステップＳ１２では、音データ加工手段１
１１が、音データ抽出手段１０９から受け取った音デー
タを、特徴量によって選択した配置テンプレートの種類
に合わせて加工する。例えば、音程の高低を変更するよ
うに周波数を上げるなどの処理を施して、音データを加
工する。具体例を挙げると、例えば選択された配置テン
プレートが普通の配置テンプレート（Ｔ−１）であれ
ば、抽出した音データをそのまま出力し、太めの配置テ
ンプレート（Ｔ−３）であれば、音程が低くなる加工を
行い、細めの配置テンプレート（Ｔ−２）であれば、音
程が高くなる加工を行う。また、配置テンプレートが子
供用の配置テンプレート（Ｔ−４）であった場合には、
ステップＳ１３へと動作を進める。

【００７２】ステップＳ１３では、合成配置決定手段１
０４が選択した配置テンプレートが、子供用の配置テン
プレート（Ｔ−４）であった場合、動画音声情報記憶手
段１１４に記憶されているテーブルデータを参照し、抽
出した動画部品データに対応する音データの変更データ
を、音データ記憶手段１１０から抽出する。

【００７３】次のステップＳ１４では、抽出された動画
像データがそれぞれ対応する音データを所持するため、
音データ出力時間変更手段１１３は、動画部品データの
動画開始と同期して音データの出力が行われることがな
いように、動画部品種類および動画部品の組み合わせに
より、音データ出力時間を変更する。音データ出力時間
の変更にあたっては、動画部品情報記憶手段１１４に記
憶されたテーブルデータを参照して、各動画部品データ
の出力時間をずらせる。

【００７４】次のステップＳ１５では、画像音データ出
力手段１１６により、動画部品を合成することにより生
成した画像データを例えばＣＲＴ画面上に表示し、動画
部品データに対応する音データをスピーカから出力す
る。

【００７５】なお、上記実施形態では、顔画像や人物画
像を作成して表情を変化させるとともに、出力する効果
音を変化させるように構成しているが、これに限定され
るものではなく、単一若しくは複数の画像部品によって
構成される画像、および音声やＢＧＭ等であれば、動画
像や静止画像のいずれを作成する場合にも、本発明を適
用することが可能である。例えば、ＢＧＭが流れる風景
画等を作成することもできる。

【００７６】

【発明の効果】本発明の画像処理装置によれば、特徴量
が異なる動画からなる複数の動画部品データを、特徴量
が異なる部品種類ごとに、複数の画像種別に応じて予め
動画部品データ記憶手段に記憶している。従って、動画
部品データを指定することにより、テンプレートに対応
して規定されている部品配置に動画像からなる部品を配
置し、容易に画像を合成して、その変化を動画像として
表現することができる。また、１個の動画部品データに
対して１音の音または音声データを音データ記憶手段に
記憶しているので、動画部品データを指定することによ
り、その動画部品に対応して１個ずつ規定されている音
データを音データ記憶手段から抽出することで、それぞ
れの動画像固有の特徴に合わせた音データを出力するこ
とができる。

【００７７】また、本発明の画像処理装置によれば、入
力画像からその画像中の部品の位置や大きさ等の特徴情
報を抽出し、その特徴情報に基づいて、テンプレートに
対応して規定されている部品配置に動画からなる部品を
配置することにより、特徴を反映した音の画像を容易に
合成し、音と動画像とを同期して出力することができ
る。また、原画となる入力画像の特徴を抽出するため、
的確な表現が可能となる。さらに、入力画像には、全身
像や風景画等も利用できるので、原画の特徴を再現する
のに効果的である。

【００７８】また、本発明の画像処理装置によれば、１
個の動画部品データに対して１対複数で対応する音デー
タを、ランダムに若しくは内蔵した時計の時刻により選
択可能であるため、多様なバリエーションを持つ音デー
タを出力することができる。

【００７９】また、本発明の画像処理装置によれば、１
個の動画部品データに対して１対１、または１対複数で
対応する音データを、入力画像の特徴によって選択され
るテンプレートに対応して加工し、出力することによ
り、画像の特徴を反映した音データを容易に出力するこ
とができる。

【００８０】また、本発明の画像処理装置によれば、１
個の動画部品データに対して１対１、または１対複数で
対応する音データを、入力画像の特徴によって選択され
るテンプレートに対応して異なる音データに変更して出
力することにより、画像の特徴を反映した音データを容
易に出力することができる。

【００８１】また、本発明の画像処理装置によれば、複
数の動画部品を合成して生成された画像に対し、動画部
品データに対応した音データの開始時刻を部品ごとにず
らせて出力することにより、聞き取りやすく効果的な音
を出力することができる。

【図面の簡単な説明】

【図１】本発明の画像処理装置の一実施形態を示すブロ
ック図である。

【図２】本発明の画像処理装置における画像処理動作を
説明するためのフローチャートである。

【図３】動画部品データの合成結果を示す説明図であ
る。

【図４】動画部品データの「目」の一例を示す説明図で
ある。

【図５】動画部品データの合成時の配置を決定する配置
テンプレートの一例を示す説明図である。

【図６】音データを抽出するための動画部品データ、音
データテーブルの一例を示す説明図である。

【図７】音データの一例を示す説明図である。

【図８】動画部品データ、音データの組み合わせの一例
を示す説明図である。

【図９】動画部品データ１個に対して部品データが複数
あった場合の組み合わせの一例を示す説明図である。

【符号の説明】

１００画像入力手段１０１特徴量抽出手段１０２動画部品データ抽出手段１０３動画部品データ記憶手段１０４合成配置決定手段１０５部品変形配置情報記憶手段１０６配置位置補正手段１０７部品変形手段１０８部品配置手段１０９音データ抽出手段１１０音データ記憶手段１１１音データ加工手段１１２音データ変更手段１１３音データ出力時間変更手段１１４動画音情報記憶手段１１５音データ選択手段１１６画像音データ出力手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者長井義典大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内 (72)発明者竹澤創大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内 (72)発明者松岡篤郎大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内Ｆターム(参考） 5B050 BA06 BA08 BA12 EA03 EA04 EA19 EA24 FA10 FA19 5D045 AB01 AB02 AB16 AB26

Claims

【特許請求の範囲】

【請求項１】特徴量が異なる複数の部品種類を有し、
各部品種類ごとに複数の動画像からなる複数の動画部品
データを記憶している動画部品データ記憶手段と、この動画部品データ記憶手段から任意の動画部品データ
を抽出する動画部品データ抽出手段と、１個の動画部品データに対して１音の音または音声デー
タを記憶している音データ記憶手段と、この音データ記憶手段から、動画部品データに対応する
音または音声データを抽出する音データ抽出手段と、前記動画部品データ抽出手段により抽出された動画部品
データを、部品種類ごとに定められた位置に配置する部
品配置手段と、動画像の表示に同期し、その表示される動画部品データ
に対応させて前記音データ抽出手段により抽出された音
または音声データを出力する画像音データ出力手段とを
備えていることを特徴とする画像処理装置。
【請求項２】入力された画像からその画像を構成する
部品の特徴情報を抽出する特徴抽出手段をさらに備え、
前記動画部品データ抽出手段は、前記特徴抽出手段によ
り抽出された特徴情報に基づいて、前記動画部品データ
記憶手段から適切な動画部品データを抽出する請求項１
に記載の画像処理装置。
【請求項３】前記音データ記憶手段には、１個の動画
部品データに対し、２音以上の音または音声データが記
憶されており、１個の動画部品データに対応する複数の
音または音声データから１音を選択して出力する音デー
タ選択手段をさらに備えていることを特徴とする請求項
１または２に記載の画像処理装置。
【請求項４】前記音データ抽出手段により抽出された
音または音声データを、入力画像の特徴によって加工す
る音データ加工手段をさらに備えていることを特徴とす
る請求項１、２または３に記載の画像処理装置。
【請求項５】前記音データ抽出手段により抽出された
音または音声データを、原画となる入力画像のサイズや
特徴によって異なる音または音声データに変更して出力
する音データ変更手段をさらに備えていることを特徴と
する請求項１、２、３または４に記載の画像処理装置。
【請求項６】２音以上の音または音声データが同時に
出力される場合、音または音声データの開始時刻をずら
せて出力する音データ出力時間変更手段をさらに備えて
いることを特徴とする請求項３、４または５に記載の画
像処理装置。