JP2016009367A - 画像処理装置、アニメーション生成方法及びプログラム - Google Patents

Abstract

【課題】１枚の画像から複数のアニメーションを生成して結合した場合であっても連続性が保持された違和感のないアニメーションを提供できるようにする。
【解決手段】画像処理装置１によれば、制御部１１は、例えば、頭部、唇、瞼等の画像の一部の初期位置を設定し、最初のフレームにおける画像の一部の位置を設定された初期位置として、画像の一部を動かし、最終フレームにおける画像の一部の位置が設定された初期位置となるように画像の一部を動かすアニメーションを生成する。
【選択図】図６

Description

本発明は、画像処理装置、アニメーション生成方法及びプログラムに関する。

従来、顔モデルを変形してアニメーションを生成するアニメーション生成装置が知られている（例えば、特許文献１参照）。

特開２００３−１３２３６５号公報

ところで、１枚の顔画像からアニメーションを生成する場合、音声と合うように顔画像に口の動作を付加することが行われている。この場合、口だけを動かすと不自然に見えるため、例えば、ランダムに頭を揺らす、まばたきをさせる等の動きを加えることにより、より自然なしぐさを表現するようにしている。

しかしながら、ランダムに頭を揺らしたりまばたきをさせたりした場合、ほとんどの場合でアニメーションの開始時と終了時で頭の位置や向き、目の開き具合等が一致しなくなる。そのため、例えば、複数のセクションに分割してアニメーションを生成して後で結合することによって１つの長いアニメーションを生成する場合、結合した箇所で頭の位置や向き、目の開き具合等に連続性を持たせることができず違和感のある不自然なアニメーションになってしまうという問題があった。

本発明の課題は、１枚の画像から複数のアニメーションを生成して結合した場合であっても連続性が保持された違和感のないアニメーションを提供できるようにすることである。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
画像の一部の第一領域の第一位置を設定する第一設定手段と、
前記第一領域を動かす第一アニメーション手段と、
前記第一アニメーション手段により前記第一領域を第一の時間動かした後、前記第一領域が前記設定された第一位置に戻るように動かす第一アニメーション制御手段と、
を備える。

本発明によれば、１枚の画像から複数のアニメーションを生成して結合した場合であっても連続性が保持された違和感のないアニメーションを提供することが可能となる。

本実施形態におけるアニメーション処理システムの全体構成例を示す図である。 図１の画像処理装置の機能的構成を示すブロック図である。 図１のデジタルサイネージ装置の機能的構成を示すブロック図である。 図３のスクリーン部の概略構成を示す図である。 図２の制御部により実行されるアニメーション生成処理を示すフローチャートである。 図５のステップＳ２において実行される頭部揺動処理を示すフローチャートである。 回転角度のパラメータを説明するための図である。 図５のステップＳ３において実行される口パク処理を示すフローチャートである。 図５のステップＳ４において実行されるまばたき処理を示すフローチャートである。

以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。

［アニメーション処理システム１００の構成］
図１は、本発明の実施形態におけるアニメーション処理システム１００の全体構成を示す図である。アニメーション処理システム１００は、画像処理装置１とデジタルサイネージ装置２とがＬＡＮ（local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等の通信ネットワークＮを介してデータ送受信可能に接続されて構成されている。

［画像処理装置１の構成］
図２は、画像処理装置１の主制御構成を示すブロック図である。画像処理装置１は、１枚の顔画像に基づいてアニメーション（動画データ）を生成し、その生成された動画データをデジタルサイネージ装置２に送信する装置であり、例えば、ＰＣ（Personal Computer）等が適用可能である。画像処理装置１は、図２に示すように、制御部１１、記憶部１２、操作部１３、表示部１４、通信部１５等を備えて構成されている。

制御部１１は、記憶部１２のプログラム記憶部１２１に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵ（Central Processing Unit）とプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。制御部１１は、記憶部２５のプログラム記憶部１２１に記憶されているプログラムとの協働により、図５に示すアニメーション生成処理を実行したり、生成した動画データをデジタルサイネージ装置２に送信したりする。制御部１１は、第一設定手段、第二設定手段、第三設定手段、第一アニメーション手段、第一アニメーション制御手段、第二アニメーション手段、第二アニメーション制御手段、第三アニメーション手段、第三アニメーション制御手段として機能する。

記憶部１２は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部１２には、図２に示すように、プログラム記憶部１２１が設けられている。プログラム記憶部１２１には、制御部１１で実行されるシステムプログラム、後述するアニメーション生成処理を始めとする各種処理を実行するための処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

また、記憶部１２には、アニメーションを生成する元となる顔画像（静止画像。本実施形態においては、２次元の画像とする）及びアニメーション用の音声データが記憶されている。なお、音声データは、音声を表わすテキストデータであってもよい。

操作部１３は、カーソルキー、文字入力キー、テンキー及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部１１に出力する。また、操作部１３は、表示部１４の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部１１に出力する。

表示部１４は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）等のモニタにより構成され、制御部１１から入力される表示信号の指示に従って、各種画面を表示する。

通信部１５は、モデム、ルータ、ネットワークカード等により構成され、通信ネットワークＮに接続された外部機器との通信を行う。

［デジタルサイネージ装置２の構成］
図３は、デジタルサイネージ装置２の主制御構成を示すブロック図である。デジタルサイネージ装置２は、画像処理装置１において生成された動画データに基づいてアニメーションを表示する装置である。

デジタルサイネージ装置２は、図３に示すように、映像光を照射する投影部２１と、投影部２１から照射された映像光を背面で受けて前面に投影するスクリーン部２２とを備えている。

まず、投影部２１について説明する。
投影部２１は、制御部２３と、プロジェクタ２４と、記憶部２５と、通信部２６と、を備えている。プロジェクタ２４、記憶部２５、通信部２６は、図３に示すように制御部２３に接続されている。

制御部２３は、記憶部２５のプログラム記憶部２５１に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵとプログラム実行時の作業領域となるメモリ（いずれも図示略）とを備えている。

プロジェクタ２４は、制御部２３から出力された画像データを映像光に変換してスクリーン部２２に向けて照射する投影装置である。プロジェクタ２４は、例えば、アレイ状に配列された複数個（ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Digital Light Processing）(登録商標)プロジェクタが適用可能である。

記憶部２５は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部２５には、図１に示すように、プログラム記憶部２５１が設けられている。プログラム記憶部２５１には、制御部２３で実行されるシステムプログラムや、各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

また、記憶部２５には、画像処理装置１から送信されたアニメーションの動画データを記憶するアニメーション記憶部２５２が設けられている。動画データは、複数のフレーム画像及び各フレーム画像に対応する音声データにより構成されている。

次に、スクリーン部２２について説明する。
図４は、スクリーン部２２の概略構成を示す正面図である。図４に示すようにスクリーン部２２には、画像形成部２７と、画像形成部２７を支持する台座２８とが備えられている。

画像形成部２７は、映像光の照射方向に対して略直交するように配置された、例えばアクリル板などの人型に成形された一枚の透光板２９に、フィルム状のフレネルレンズが積層された背面投影用のフィルムスクリーンが貼付されて構成されたスクリーンである。この画像形成部２７と前述したプロジェクタ２４とにより表示手段を構成している。

台座２８には、ボタン式の操作部３２と、音声を出力するスピーカなどの音声出力部３３が設けられている。

操作部３２は、各種操作ボタンを備え、操作ボタンの押下信号を検出して制御部２３に出力する。
操作部３２、音声出力部３３は、図１に示すように制御部２３に接続されている。

［アニメーション処理システム１００の動作］
次に、アニメーション処理システム１００の動作について説明する。
上述のように、アニメーション処理システム１００は、画像処理装置１において１枚の顔画像及び音声データに基づいてアニメーションの動画データを生成し、生成した動画データに基づいて、デジタルサイネージ装置２においてアニメーションの表示を行う。

より自然な顔のアニメーションを生成するには様々な要素があるが、本実施形態においては、音声に合わせて口を動かすだけでなく、更に、頭部、目を動かしたアニメーションを生成する。

図５に、画像処理装置１において実行されるアニメーション生成処理のフローチャートを示す。アニメーション生成処理は、操作部１３により記憶部１２に記憶された顔画像及び音声データの中からアニメーションの対象となる顔画像及び音声データが指定され、アニメーションの生成が指示された際に、制御部１１とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。

まず、制御部１１は、操作部１３により指定された顔画像を記憶部１２から読み出して、読み出した顔画像に基づいて３次元モデル（以下、顔モデルと呼ぶ）を生成する（ステップＳ１）。３次元モデルの生成は、公知の何れの手法を用いてもよい。

次いで、制御部１１は、生成した３次元モデルに基づいて、頭部揺動処理（ステップＳ２）、口パク処理（ステップＳ３）、まばたき処理（ステップＳ４）をそれぞれ実行する。

以下、頭部揺動処理、口パク処理、まばたき処理のそれぞれについて説明する。頭部揺動処理、口パク処理、まばたき処理は、それぞれ頭部、口、目を動かす画像処理（頭部、口、目が動くようにフレーム毎のパラメータを算出する処理）である。なお、頭部揺動処理、口パク処理、まばたき処理は、順次処理を行ってもよいし、２つ又は３つを並行して処理することとしてもよい。

（頭部揺動処理）
図６に、図５のステップＳ２において画像処理装置１において実行される頭部揺動処理のフローチャートを示す。頭部揺動処理は、制御部１１とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。

まず、制御部１１は、頭部（第一領域）の初期位置（第一位置）を設定する（ステップＳ１１）。
例えば、頭部の位置は、頭部の基準となる基準点Ｏ（例えば、頭部の重心等）の位置を示すパラメータ（Ｘ０、Ｙ０、Ｚ０）及び顔（頭部）の向いている方向を示すパラメータ（ａ、ｂ、ｃ）により表すことができる。以下、アニメーション開始からのフレーム数（フレーム番号。最初のフレーム番号＝０）をｔとして、ｔにおけるパラメータＸ０、Ｙ０、Ｚ０の値をそれぞれＸ０（ｔ）、Ｙ０（ｔ）、Ｚ０（ｔ）と表記し、ｔにおけるパラメータａ、ｂ、ｃの値をそれぞれａ（ｔ）、ｂ（ｔ）、ｃ（ｔ）と表記する。

例えば、ステップＳ１１において、制御部１１は、まず、顔モデルの適当な位置（固定位置）を原点とし、上下方向をＹ軸方向、手前−奥行き方向をＺ軸方向、Ｙ軸方向及びＺ軸方向に直交する方向（左右方向）をＸ軸方向とした座標空間を設定する。
次いで、制御部１１は、ステップＳ１で生成した顔モデルの上記座標空間における頭部の基準点Ｏの位置の座標を取得し、取得した座標を最初のフレームにおける頭部の位置（初期位置）を示すパラメータＸ０（０）、Ｙ０（０）、Ｚ０（０）として、メモリに記憶する。
次いで、制御部１１は、上記の顔の向いている方向を示すパラメータａ、ｂ、ｃを設定する。ａは、基準点Ｏを原点としたＸＹＺ座標空間（各軸の方向は上述のとおり）のＸ軸を回転軸とした回転角度であり、図７（ａ）に示すように、顔モデルの人物が頷く際の頭部の回転角度である。ｂは、基準点Ｏを原点としたＸＹＺ座標空間のＹ軸を回転軸とした回転角度であり、図７（ｂ）に示すように、顔モデルの人物が首を振る際の頭部の回転方向である。ｃは、基準点Ｏを原点としたＸＹＺ座標空間のＺ軸を回転軸とした回転角度であり、図７（ｃ）に示すように、顔モデルの人物が首を傾ける際の頭部の回転方向である。制御部１１は、ステップＳ１で生成した顔モデルの回転角度ａ、ｂ、ｃをそれぞれ０°とし、最初のフレームにおいて顔の向いている方向（初期方向）を示すパラメータａ（０）＝０、ｂ（０）＝０、ｃ（０）＝０として、メモリに記憶する。

次いで、制御部１１は、頭部をランダムに動かす処理を行う（ステップＳ１２）。具体的には、頭部がランダムに動くようにフレーム番号順に各フレームのパラメータを算出し、フレーム番号に対応付けてメモリに記憶する。例えば、フレーム毎に、パラメータＸ０、Ｙ０、Ｚ０、ａ、ｂ、ｃをランダムに増減させることで、頭部の位置及び顔の向きをランダムに動かすことができる。このとき、仕草が不自然にならないようにパラメータａ、ｂ、ｃの範囲を−１０°＜ａ、ｂ、ｃ＜１０°の範囲に制限することが好ましい。また、パラメータＸ０、Ｙ０、Ｚ０の取り得る範囲についても制限することが好ましい。

次いで、制御部１１は、ｔが所定のフレーム数ｓに到達したか否かを判断する（ステップＳ１３）。即ち、頭部を所定のフレーム数ｓに対応する所定時間動かしたか否かを判断する。ｔが所定のフレーム数ｓに到達していないと判断した場合（ステップＳ１３；ＮＯ）、制御部１１は、ステップＳ１２に戻る。

ｔが所定のフレーム数ｓに到達したと判断した場合（ステップＳ１３；ＹＥＳ）、制御部１１は、頭部を初期位置に向けて徐々に戻す処理を行う（ステップＳ１４）。具体的には、頭部が徐々に初期位置に戻るようにフレーム番号ｓ以降の各フレームのパラメータを算出し、フレーム番号に対応付けてメモリに記憶する。例えば、下記の数式に基づき、フレーム番号ｓ以降の各フレーム毎に各パラメータを算出することで、頭部を徐々に初期位置に近づける。ここで、ｐｘ、ｐｙ、ｐｚ、ｐａ、ｐｂ、ｐｃは定数であり、０＜ｐｘ、ｐｙ、ｐｚ、ｐａ、ｐｂ、ｐｃ＜１である。各定数の値は、最終フレームまでのフレーム数及び現在のパラメータの値等に基づいて定められる。
Ｘ０（ｔ）＝ｐｘ（Ｘ０（０）−Ｘ０（ｔ−１））＋Ｘ０（ｔ−１）
Ｙ０（ｔ）＝ｐｙ（Ｙ０（０）−Ｙ０（ｔ−１））＋Ｙ０（ｔ−１）
Ｚ０（ｔ）＝ｐｚ（Ｚ０（０）−Ｚ０（ｔ−１））＋Ｚ０（ｔ−１）
ａ（ｔ）＝ｐａ（ａ（０）−ａ（ｔ−１））＋ａ（ｔ−１）
ｂ（ｔ）＝ｐｂ（ｂ（０）−ｂ（ｔ−１））＋ｂ（ｔ−１）
ｃ（ｔ）＝ｐｃ（ｃ（０）−ｃ（ｔ−１））＋ｃ（ｔ−１）

最終フレームに到達すると、制御部１１は、頭部を初期位置に配置する（ステップＳ６）。具体的には、最終フレームのパラメータＸ０、Ｙ０、Ｚ０、ａ、ｂ、ｃをそれぞれメモリに記憶しているＸ０（０）、Ｙ０（０）、Ｚ０（０）、ａ（０）、ｂ（０）、ｃ（０）と同じ値とし、フレーム番号に対応付けてメモリに記憶する。そして、制御部１１は、頭部揺動処理を終了する。

（口パク処理）
図８に、図５のステップＳ３において画像処理装置１において実行される口パク処理のフローチャートを示す。口パク処理は、制御部１１とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。
なお、本実施形態において、顔画像（顔モデル）の口は閉じた状態であることとする。

まず、制御部１１は、ユーザによる操作部１３の操作等に基づいて、上唇及び下唇（第三領域）の初期位置（第三位置）を設定する（ステップＳ２１）。
上唇及び下唇の位置を表すパラメータは、例えば、上唇と下唇の複数の特徴点の座標Ｘｉ、Ｙｉ、Ｚｉ（ｉ＝１〜ｎ（ｎは特徴点の数（正の整数））で表すことができる。例えば、ステップＳ１で生成した顔モデルにおいて上唇と下唇の境界線が操作部１３のマウス等により指定されると、制御部１１は、指定された境界線上の特徴のある部分の点（特徴点。例えば、上唇、下唇のそれぞれの端部や中間点）の位置の座標を取得し、取得した座標を最初のフレームにおける上唇及び下唇の位置（初期位置）を示すパラメータＸｉ（０）、Ｙｉ（０）、Ｚｉ（０）として、メモリに記憶する。
なお、アニメーション開始からのフレーム数ｔにおけるパラメータＸｉ、Ｙｉ、Ｚｉの値をそれぞれＸｉ（ｔ）、Ｙｉ（ｔ）、Ｚｉ（ｔ）と表記する。

上述の上唇及び下唇の位置を表すパラメータＸｉ、Ｙｉ、Ｚｉによって、口の形状を規定することができる。

次いで、制御部１１は、操作部１３により指定された音声データを読み出して、顔モデルに対し、リップシンクアニメーション処理を行う（ステップＳ２２）。
ここで、生成する動画データのフレームレートをＰ（フレーム／秒）、音声データの再生時間をＴ（秒）とする。ステップＳ１３においては、音声データの冒頭からフレーム１枚に相当する時間（１／Ｐ（秒／フレーム））ずつ音声データを取得し、フレーム毎に、そのフレームに対応する音声データを解析し、そのフレームで話される母音に応じた口の形となるようにＸｉ、Ｙｉ、Ｚｉ（ｉ＝１〜ｎ）のパラメータを変更し、フレーム番号に対応付けてメモリに記憶する。

制御部１１は、音声データの最後の音声のリップシンクアニメーション処理が終了したかを判定する（ステップＳ２３）。音声データの最後の音声のリップシンクアニメーションが終了していないと判定した場合、制御部１１は、ステップＳ２２に戻りリップシンクアニメーション処理を続ける。ステップＳ２３で音声データの最後の音声のリップシンクアニメーションが終了したと判定した場合、制御部１１は、上唇と下唇を初期位置に戻すアニメーション処理を行う（ステップＳ２４）。
具体的には、最終フレームのパラメータＸｉ、Ｙｉ、Ｚｉ（ｉ＝１〜ｎ）の値をそれぞれメモリに記憶されているＸｉ（０）、Ｙｉ（０）、Ｚｉ（０）と同じ値とし、フレーム番号に対応付けてメモリに記憶し、口パク処理を終了する。

（まばたき処理）
図９に、図５のステップＳ４において画像処理装置１において実行されるまばたき処理のフローチャートを示す。まばたき処理は、制御部１１とプログラム記憶部１２１に記憶されているプログラムとの協働により実行される。
なお、本実施形態においては、顔画像（顔モデル）の目は開いた状態であることとする。

まず、制御部１１は、ユーザによる操作部１３の操作等に基づいて、上瞼及び下瞼（第二領域）の初期位置（第二位置）を設定する（ステップＳ３１）。
上瞼及び下瞼の位置を表すパラメータは、例えば、目の輪郭（上瞼側と下瞼側のそれぞれ）の複数の特徴点の座標Ｘｅｊ、Ｙｅｊ、Ｚｅｊ（ｊ＝１〜ｍ（ｍは特徴点の数（正の整数））で表すことができる。例えば、ステップＳ１で生成した顔モデルにおいて目の輪郭の上瞼側と下瞼側が操作部１３のマウス等により指定されると、制御部１１は、指定された輪郭上の特徴のある部分の点（特徴点。例えば、上瞼側、下瞼側のそれぞれの端部や中間点）の位置の座標を取得し、取得した座標を最初のフレームにおける上瞼、下瞼の位置（初期位置）を示すパラメータＸｅｊ（０）、Ｙｅｊ（０）、Ｚｅｊ（０）として、メモリに記憶する。
なお、アニメーション開始からのフレーム数ｔにおけるパラメータＸｅｊ、Ｙｅｊ、Ｚｅｊの値をそれぞれＸｅｊ（ｔ）、Ｙｅｊ（ｔ）、Ｚｅｊ（ｔ）と表記する。

上述の上瞼及び下瞼の位置を表すパラメータＸｅｊ、Ｙｅｊ、Ｚｅｊによって、目の開き具合等、目の形状を規定することができる。

次いで、制御部１１は、顔モデルにランダムにまばたきを行わせる（ステップＳ３２）。具体的には、顔モデルの目がランダムにまばたきを行うようにフレーム毎のパラメータＸｅｊ、Ｙｅｊ、Ｚｅｊを算出し、フレーム番号に対応付けてメモリに記憶する。具体的には、上瞼側と下瞼側の輪郭が開閉を繰り返すように、フレーム毎に、パラメータＸｅｊ、Ｙｅｊ、Ｚｅｊを変化させることによってまばたきを行わせる。
なお、まばたきを短時間に連続して行うと不自然なため、まばたきを行った後、一定時間はまばたきを行わないようにする（例えば、まばたき後、一定時間内に該当するフレームはパラメータを変化させない）。

次いで、制御部１１は、顔画像に基づいて生成する動画データ（コンテンツ）の残りのフレーム数が所定のフレーム数ｓ１に到達したか否かを判断する（ステップＳ３３）。ここで、所定のフレーム数ｓ１は、例えば人がまばたきをしないでも不自然にならない時間に対応するフレーム数である。残りのフレーム数が所定のフレーム数ｓ１に到達していないと判断した場合（ステップＳ３３；ＮＯ）、制御部１１は、ステップＳ３２に戻る。

残りのフレーム数が所定のフレーム数ｓ１に到達したと判断した場合（ステップＳ３３；ＹＥＳ）、制御部１１は、上瞼及び下瞼の位置を初期位置に向けて徐々に戻す処理を行い、まばたきの処理を行わないようにする（ステップＳ３４）。

このようにすることで、コンテンツの残りの時間がまばたきをしないでも不自然にならない時間になったことを判定すると上瞼と下瞼を初期位置に戻し、まばたきを停止するので最初のフレームと最後のフレームを一致させることが出来る。

頭部揺動処理、口パク処理、まばたき処理には、それぞれ顔画像の一部である頭部、口（上唇及び下唇）、目（上瞼及び下瞼）を動かす処理（第一アニメーション手段、第三アニメーション手段、第二アニメーション手段）と、これらを動かした後、これらが設定された初期位置に戻るように動かす処理（第一アニメーション制御手段、第二アニメーション制御手段、第三アニメーション制御手段）が含まれる。従って、頭部、口、目という、顔画像において目立つパーツの位置がアニメーションの最初のフレームと最終フレームとで一致するように動画データを生成することができる。

頭部揺動処理、口パク処理、まばたき処理が終了すると、制御部１１は、各処理で算出されたパラメータに基づいて、アニメーションの動画データを生成する（ステップＳ５）。具体的には、各処理で算出された、各フレーム番号に対応付けてメモリに記憶されているパラメータを読み出して、読み出したパラメータに基づいて、各フレームの画像データを生成する。そして、生成された各フレームの画像データを結合し、これに音声データを結合して動画データを生成する。
動画データの生成が終了すると、制御部１１は、生成した動画データを通信部１５によりデジタルサイネージ装置２に送信し（ステップＳ６）、アニメーション生成処理を終了する。

デジタルサイネージ装置２においては、通信部２６により画像処理装置１から動画データを受信すると、制御部２３は、受信した動画データを記憶部２５のアニメーション記憶部２５２に記憶させる。そして、アニメーションの再生時刻が到来すると、制御部２３は、アニメーション記憶部２５２から動画データを読み出し、その画像データをプロジェクタ２４に送信して画像形成部２７にアニメーションの画像を表示させる。また、動画データの音声データを音声出力部３３に出力し、アニメーションの音声を出力させる。

以上説明したように、画像処理装置１によれば、制御部１１は、例えば、頭部、口（唇）、目（瞼）等の画像の一部の初期位置を設定し、その画像の一部を動かした後、それらが設定された初期位置に戻るように動かすアニメーションを生成する。具体的には、最初のフレームにおける画像の一部の位置を設定された初期位置として、画像の一部を動かし、最終フレームにおける画像の一部の位置が設定された初期位置となるように画像の一部を動かすアニメーションを生成する。
従って、例えば、アニメーションの開始時と終了時で動かした画像の一部が一致するので、１枚の画像から複数のアニメーションを生成して結合した場合であっても連続性が保持された違和感のないアニメーションを提供することが可能となる。

例えば、頭、瞼等の画像の一部を設定された初期位置からランダムに動かすことで、自然な動きを表現したアニメーションを生成することができる。

また、画像の一部を徐々に設定された初期位置に戻すことで、違和感なく初期位置に戻すことができる。

なお、上記実施形態における記述内容は、本発明に係る画像処理装置の好適な一例であり、これに限定されるものではない。

例えば、上記実施形態においては、顔画像は２次元画像とした場合を例にとり説明したが、３次元モデルの画像であってもよい。この場合、図５のステップＳ１の処理は省略される。

また、上記実施形態においては、アニメーションにおいて、頭部及び瞼の位置を徐々に初期位置に戻す場合を例にとり説明したが、本発明においては、頭部や瞼の位置が最終フレームにおいて最初のフレームと同じとなればよく、初期位置への戻し方はこれに限定されるものではない。例えば、頭部の位置や、上瞼及び下瞼の位置をランダムに動かしながら徐々に初期位置に戻すこととしてもよい。このようにすれば、頭部や目に自然な動きを加えながら違和感なく初期位置に戻すことが可能となる。

また、上記実施形態においては、頭部、口、目のパラメータを最初のフレームと最後のフレームで一致させることとしたが、その他のパラメータを含む全てのパラメータを最初のフレームと最後のフレームで一致させるようにすることで、複数のセクションに分割してアニメーションを生成し、最後に一つのアニメーションに結合するような場合に、より自然に連続的にセクション毎のアニメーションをつなげることが可能となる。

また、上記実施形態においては、アニメーション生成処理をアニメーションを表示するデジタルサイネージ装置２とは別体の画像処理装置１において行う場合を例にとり説明したが、デジタルサイネージ装置２において制御部２３とプログラムとの協働によりアニメーション生成処理を行うこととしてもよい。

また、上記実施形態においては、デジタルサイネージ装置２の画像形成部２７が人型である場合を例にとり説明したが、他の形状としてもよく、これに限定されるものではない。

その他、画像処理装置やデジタルサイネージ装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
画像の一部の第一領域の第一位置を設定する第一設定手段と、
前記第一領域を動かす第一アニメーション手段と、
前記第一アニメーション手段により前記第一領域を第一の時間動かした後、前記第一領域が前記設定された第一位置に戻るように動かす第一アニメーション制御手段と、
を備える画像処理装置。
＜請求項２＞
前記第一領域内の第二領域の第二位置を設定する第二設定手段と、
前記第二領域を動かす第二アニメーション手段と
前記画像に基づくコンテンツの残り時間が第二の時間となった場合、前記第二アニメーション手段を停止して前記第二領域が前記設定された第二位置に戻るように動かす第二アニメーション制御手段と、
を備える請求項１に記載の画像処理装置。
＜請求項３＞
前記第一領域内の第三領域の第三位置を設定する第三設定手段と、
前記第三領域を動かす第三アニメーション手段と
所定の条件を満たした場合、前記第三領域が前記設定された第三位置に戻るように動かす第三アニメーション制御手段と、
を備える請求項１又は請求項２に記載の画像処理装置。
＜請求項４＞
前記第一アニメーション手段は、最初のフレームにおける前記第一領域の位置を前記設定された第一位置として、前記第一領域を動かし、
前記第一アニメーション制御手段は、最終フレームにおける前記第一領域の位置が前記設定された第一位置となるように前記第一領域を動かす請求項１〜３のいずれか一項に記載の画像処理装置。
＜請求項５＞
前記第一アニメーション手段は、前記第一領域を前記設定された第一位置からランダムに動かす請求項１〜４のいずれか一項に記載の画像処理装置。
＜請求項６＞
前記第一アニメーション制御手段は、前記第一領域を徐々に前記設定された第一位置に戻す請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記第一アニメーション制御手段は、前記第一領域をランダムに動かしながら徐々に前記設定された位置に戻す請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項８＞
前記第一アニメーション手段は、前記第一領域の位置を定義するパラメータをフレーム毎に変化させることによって、前記第一領域を動かす請求項１〜７の何れか一項に記載の画像処理装置。
＜請求項９＞
前記第二時間は、前記第二アニメーション手段が前記第二領域を動かさなくても不自然でない時間である請求項２〜８の何れか一項に記載の画像処理装置。
＜請求項１０＞
前記第三アニメーション手段は、リップシンクアニメーションであり、
前記所定の条件は、最後の音声のリップシンクアニメーションが終了したか否かである請求項３〜９の何れか一項に記載の画像処理装置。
＜請求項１１＞
前記第一領域は、顔画像の頭部である請求項１〜１０の何れか一項に記載の画像処理装置。
＜請求項１２＞
前記第二領域は、顔画像の上瞼及び下瞼である請求項２〜１１の何れか一項に記載の画像処理装置。
＜請求項１３＞
画像の一部の第一領域の第一位置を設定する第一設定工程と、
前記第一領域を動かす第一アニメーション工程と、
前記第一アニメーション工程において前記第一領域を第一の時間動かした後、前記第一領域が前記設定された第一位置に戻るように動かす第一アニメーション制御工程と、
を含むアニメーション生成方法。
＜請求項１４＞
コンピュータを、
画像の一部の第一領域の第一位置を設定する第一設定手段、
前記第一領域を動かす第一アニメーション手段、
前記第一アニメーション手段により前記第一領域を第一の時間動かした後、前記第一領域が前記設定された第一位置に戻るように動かす第一アニメーション制御手段、
として機能させるためのプログラム。

１ 画像処理装置
１１ 制御部
１２ 記憶部
１２１ プログラム記憶部
１３ 操作部
１４ 表示部
１５ 通信部
２ デジタルサイネージ装置
２１ 投影部
２２ スクリーン部
２３ 制御部
２４ プロジェクタ
２５ 記憶部
２５１ プログラム記憶部
２５２ アニメーション記憶部
２６ 通信部
２７ 画像形成部
２８ 台座
２９ 透光板
３２ 操作部
３３ 音声出力部

Claims (14)

1. 画像の一部の第一領域の第一位置を設定する第一設定手段と、
   前記第一領域を動かす第一アニメーション手段と、
   前記第一アニメーション手段により前記第一領域を第一の時間動かした後、前記第一領域が前記設定された第一位置に戻るように動かす第一アニメーション制御手段と、
   を備える画像処理装置。
2. 前記第一領域内の第二領域の第二位置を設定する第二設定手段と、
   前記第二領域を動かす第二アニメーション手段と
   前記画像に基づくコンテンツの残り時間が第二の時間となった場合、前記第二アニメーション手段を停止して前記第二領域が前記設定された第二位置に戻るように動かす第二アニメーション制御手段と、
   を備える請求項１に記載の画像処理装置。
3. 前記第一領域内の第三領域の第三位置を設定する第三設定手段と、
   前記第三領域を動かす第三アニメーション手段と
   所定の条件を満たした場合、前記第三領域が前記設定された第三位置に戻るように動かす第三アニメーション制御手段と、
   を備える請求項１又は請求項２に記載の画像処理装置。
4. 前記第一アニメーション手段は、最初のフレームにおける前記第一領域の位置を前記設定された第一位置として、前記第一領域を動かし、
   前記第一アニメーション制御手段は、最終フレームにおける前記第一領域の位置が前記設定された第一位置となるように前記第一領域を動かす請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記第一アニメーション手段は、前記第一領域を前記設定された第一位置からランダムに動かす請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記第一アニメーション制御手段は、前記第一領域を徐々に前記設定された第一位置に戻す請求項１〜５の何れか一項に記載の画像処理装置。
7. 前記第一アニメーション制御手段は、前記第一領域をランダムに動かしながら徐々に前記設定された位置に戻す請求項１〜５の何れか一項に記載の画像処理装置。
8. 前記第一アニメーション手段は、前記第一領域の位置を定義するパラメータをフレーム毎に変化させることによって、前記第一領域を動かす請求項１〜７の何れか一項に記載の画像処理装置。
9. 前記第二時間は、前記第二アニメーション手段が前記第二領域を動かさなくても不自然でない時間である請求項２〜８の何れか一項に記載の画像処理装置。
10. 前記第三アニメーション手段は、リップシンクアニメーションであり、
    前記所定の条件は、最後の音声のリップシンクアニメーションが終了したか否かである請求項３〜９の何れか一項に記載の画像処理装置。
11. 前記第一領域は、顔画像の頭部である請求項１〜１０の何れか一項に記載の画像処理装置。
12. 前記第二領域は、顔画像の上瞼及び下瞼である請求項２〜１１の何れか一項に記載の画像処理装置。
13. 画像の一部の第一領域の第一位置を設定する第一設定工程と、
    前記第一領域を動かす第一アニメーション工程と、
    前記第一アニメーション工程において前記第一領域を第一の時間動かした後、前記第一領域が前記設定された第一位置に戻るように動かす第一アニメーション制御工程と、
    を含むアニメーション生成方法。
14. コンピュータを、
    画像の一部の第一領域の第一位置を設定する第一設定手段、
    前記第一領域を動かす第一アニメーション手段、
    前記第一アニメーション手段により前記第一領域を第一の時間動かした後、前記第一領域が前記設定された第一位置に戻るように動かす第一アニメーション制御手段、
    として機能させるためのプログラム。

Images