JP2013200867A - アニメーション作成装置、カメラ - Google Patents

Abstract

【課題】アニメーション作成装置において、個人の経験や能力に関係なく、誰もが簡易にアニメーションを作成することができることを課題とする。
【解決手段】深度情報付の原画像を取得する原画像取得部と、取得した原画像内の領域を深度情報に応じて部分画像に分割する部分画像取得部と、取得された部分画像毎に、再生時の再生画面内での部分画像の動きを定義するアニメーション情報を付与するアニメーション情報付与部と、を有するアニメーション作成装置を提案する。
【選択図】図１

Description

本発明は、アニメーション作成装置およびカメラに関する。

従来から、アニメーション作成の方法として、写真を撮影したうえで、撮影した写真や画像データを複数のオブジェクトに分割して、画面の遠近感を表現する手法がとられてきた。例えば、特許文献１においては、プレイヤーのジェスチャを認識し、深度センサを利用して精度の高い骨格認識が可能なビデオゲーム装置が開示されている。

特開２０１２−１６５号公報

しかしながら、上記のようなビデオゲーム装置では、骨格を認識した後のオブジェクトの分割や、その位置関係の特定は、アニメーター自身の判断によって行わざるを得ない。また、オブジェクトの選択の適否の判断には相応の経験や能力が必要となり、誰もが簡単にアニメーションを作成することはできなかった。

そこで、本発明は、アニメーション作成装置において、個人の経験や能力に関係なく、誰もが簡易にアニメーションを作成することができることを課題とする。

以上の課題を解決するために、本発明は、深度情報付の原画像を取得する原画像取得部と、取得した原画像内の領域を深度情報に応じて部分画像に分割する部分画像取得部と、取得された部分画像毎に、再生時の再生画面内での部分画像の動きを定義するアニメーション情報を付与するアニメーション情報付与部と、を有するアニメーション作成装置を提案する。

以上のような構成をとる本発明によって、アニメーション制作の専門的な知識が無いアマチュアであっても、実写素材を元にして、様々な表現方法によるアニメーションを作成することが可能になる。また、撮影した映像を手作業で仕分けする必要もなくなるので、アニメーション作成にかかる時間の大幅な短縮が可能になる。

アニメーション作成装置の機能ブロックの一例を示す図 実施形態１のアニメーション装置の機能的な各構成要件をハードウェアとして実現した際の構成の一例を示す概略図 実施形態１のアニメーション作成方法の処理の流れの一例を示す図 実施形態２のアニメーション作成装置の機能ブロックの一例を示す図 実施形態２のアニメーション作成方法の処理の流れの一例を示す図 実施形態３のアニメーション作成装置の機能ブロックの一例を示す図 実施形態３のアニメーション作成方法の処理の流れの一例を示す図 実施形態４のアニメーション作成装置の機能ブロックの一例を示す図 実施形態４のアニメーション作成方法の処理の流れの一例を示す図 実施形態５のアニメーション作成装置の機能ブロックの一例を示す図 実施形態５のアニメーション作成方法の処理の流れの一例を示す図 深度情報取得の一例を示す図 実施形態２のアニメーション作成装置における動画へのアニメーション情報の付与の一例を示す図

以下で、本発明の各実施形態について図面と共に説明する。実施形態と請求項の相互の関係は、以下のとおりである。
まず、実施形態１は、主に請求項１などに対応する。実施形態２は、主に請求項２などに対応する。実施形態３は、主に請求項３などに対応する。実施形態４は、主に請求項４などに対応する。実施形態５は、主に請求項５などに対応する。なお、本発明はこれらの実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲内において、様々な態様で実施し得る。

＜＜実施形態１＞＞
本実施形態のアニメーション作成装置は、深度情報付の原画像を取得して、取得した原画像内の領域を深度情報に応じて部分画像に分割し、取得された部分画像毎に、再生時の再生画面内での部分画像の動きを定義するアニメーション情報を付与することを特徴とする。当該構成を有することにより、アニメーション制作において、従来にはなかった様々な動的表現が可能になる。

＜構成＞
図１は、本実施形態のアニメーション作成装置の機能ブロックの一例を示す図である。この図にあるように、本実施形態の「アニメーション作成装置」０１００は、「原画像取得部」０１０１と、「部分画像取得部」０１０２と、「アニメーション情報付与部」０１０３と、から構成される。

なお、以下に記載するアニメーション作成装置の機能ブロックは、いずれもハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方として実現され得る。コンピュータを利用するものであれば、具体的な構成としては、ＣＰＵやメインメモリ、ＧＰＵ、画像メモリ、グラフィックボード、バス、あるいは二次記憶装置（ハードディスクや不揮発性メモリ、ＣＤやＤＶＤ、ＳＤカードなどの記憶メディアとそれらのメディアの読取ドライブなど）、カメラ、各種センサ、情報入力に利用される入力デバイス、スキャナ装置、プリンタ、その他の外部周辺装置などのハードウェア構成部、およびその外部周辺装置用のインターフェイス、通信用インターフェイス、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラムなどが挙げられる。そして、メインメモリ上に展開したプログラムに従ったＣＰＵの演算処理によって、入力デバイスやその他インターフェイスなどから入力されメモリやハードウェア上に保持されているデータなどが加工、蓄積されたり、前記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。ここで、上記プログラムは、モジュール化された複数のプログラムとして実現されてもよいし、２以上のプログラムを組み合わせて一のプログラムとして実現されてもよい（明細書の全体を通じて同様である。）。

また、本発明は装置として実現できるのみならず、方法としても実現可能である。そして、このような装置の一部をソフトウェアとして構成することも可能である。さらに、そのようなソフトウェアが記録された記録媒体も当然に本発明の技術的な範囲に含まれる。

「原画像取得部」０１０１は、深度情報付の原画像を取得する機能を有する。ここで、取得の対象となる「深度情報」とは、撮影位置から被写体までの距離に関する情報をいう。距離に関する情報であるので、距離そのものであってもよいし、「遠・近」のような２値から選択される値、あるいは「遠・中・近」のような３値から選択される値、４値以上の任意の値から選択される値、であってもよい。深度情報が距離を示す長さを単位とする場合には、当該深度情報の情報量が膨大になってしまい処理負担が増すことが考えられる。

深度情報は、例えば深度センサによって取得された値に基づいて算出される。深度センサは、被写体に対して赤外線等を照射し、反射して帰ってくるまでの時間に基づいて被写体までの距離を示す情報を出力する。また、レンズを通して得られる合焦情報を用いる方法によっても距離に相当する情報を取得することが可能である。
そして、得られた距離、距離に相当する情報に基づいて深度情報を算出する。このようにして算出される深度情報、ないしは距離そのものを示す深度情報が取得される原画像を構成する画素毎に対応づけられる。
深度情報を原画像に付与する（対応させる）処理としては、深度情報と被写体を含む原画像の各画素のＩＤとを関連付けて保持することが挙げられる。この際、原画像に深度情報を付した深度マップを作成することも考えられる。

なお、ここで図１２は、深度情報取得の一例を示す図である。当該図に示されているように、「人物」１２１１を含むレイアウトを撮影することで取得された「原画像」１２０１を素材として用いた場合、当該原画像取得の際に深度情報をも取得することにより、原画像中に深度情報を反映させた「深度マップ」１２０２を作成し提供することも可能となる。同図中の深度マップにおいては、「背景」に相当する部分が黒に近い色で示され、「人物」１２１１に対応する箇所１２１２が灰色に近い色で示され、さらに物体１２１３が白に近い灰色で示されている。つまり、カメラから見て遠い位置ほど暗い色でカメラから見て近い位置ほど白っぽい色で示される。このように「遠・中・近」の３値に基づいて深度情報を把握することも可能である。

「部分画像取得部」０１０２は、取得した原画像内の領域を、深度情報に応じて部分画像に分割する機能を有する。深度情報に応じて部分画像に分割する処理としては、例えば隣りあった画素であり、かつ、深度情報の値が近い画素をグループ化して、グループ化された画像領域を部分画像領域として分割することが考えられる。また、深度情報に加えて画素値（ＲＧＢデータ等の色データ）を利用して、画素値の値が所定以上異なる領域については異なるグループとしてグループ化し、分割することも可能である。その他、赤外線データを合わせて取得する場合は、温度が所定以上異なる領域については異なるグループとしてグループ化し、分割することも可能である。また、部分画像として分割する際、各部分画像の原画像中の位置情報を記憶することも考えられる。このような処理を行うことにより、アニメーション情報を付与する際に、各部分画像が原画像内において、相互に関連性を持った動作を行うことなどが可能になる。

なお、「深度情報に応じて」とは、原画像をグループ化された画像領域ごとに分割する方法のほか、当該グループ化された画像領域から所定距離の外縁部分までを一の部分画像領域として分割の対象とする方法も考えられる。外縁部分まで含めて分割の対象とすることにより、当該外縁部分をも活用したアニメーション情報を付与することが可能になるため、作成されるアニメーションにおいて動きのある部分の背景が不自然な画像になってしまう事態を回避することが可能になる。

なお、原画像中から人物の体・腕・足などの基本部位を識別するために用いる情報であるボーン情報を取得し、取得したボーン情報から原画像中に人物が存在するか判断し、当該人物が存在すると判断された領域を選択的に分割してもよい。ここで、ボーン情報とは、撮像された部分画像の骨格を特定するために用いられる情報を意味し、「ボーン」とは、部分画像の関節に該当する各点（ジョイント）を結んだ線で表される当該部分画像の骨格を指す（詳しくは実施形態３にて説明する）。ちなみに、存在する人物が複数である場合は、各人物の領域となるように分割してもよい。

また、部分画像分割の具体例として、取得したボーン情報から、原画像中に人物以外の物体が写っていると判断した場合には、当該物体と人物との相対的な位置関係を認識し、人物よりも前面に当該物体が存在すると判断された領域を優先的に分割してもよい。

さらに、原画像中、上記過程で分割された物体や人物の部分画像以外の領域については、全て背景と位置づけ、色データや深度情報などに基づいて、さらに数段階（例えば３段階）に分割する方法も考えられる。

「アニメーション情報付与部」０１０３は、取得された部分画像毎に、アニメーション再生時の再生画面内での部分画像の動きを定義するアニメーション情報を付与する機能を有する。ここで、「再生時の再生画面内での部分画像の動き」とは、例えば回転する動きや、上下移動する動き、フェードインする動き（画像が徐々に現れる動き）、フェードアウトする動き（画像が徐々に消える動き）、伸縮する動き、ディゾルブする動き（複数種類の画像が徐々に入れ替わる動き）、などが挙げられる。これらの動きを定義するアニメーション情報には、各部分画像が動く順番や動く方向、動く継続時間などの情報が含まれていてもよい。アニメーション情報は、例えば内部記憶装置においてＩＤと紐づけられて保持される。「アニメーション情報を付与する」とは、例えば取得された部分画像に割り当てられる部分画像の識別子に対してアニメーション情報の識別子を関連付けて保持することをいう。ここで、各部分画像に対してどのアニメーション情報を付与するか選択する処理は、部分画像の特徴に基づいて行うことが考えられる。例えば、部分画像領域の全体に対する位置や、部分画像領域の平均深度、部分画像領域における人物の存否、人物の姿勢、物の形状、明るさ、他の部分画像領域との配置関係などに基づいて行う。具体的には、例えば、人物が手を挙げている姿勢であることを認識する手段を有し、かつ当該姿勢に対しどのようなアニメーション情報を付与すべきかを割り当てる手段を備えている。そして、人物が右手を挙げている姿勢である場合は、右手が伸縮するアニメーション情報を付与したり、丸い形状の物体である場合は、物体が上下に跳ねるようなアニメーション情報を付与したり、人物が原画像の下部に存在する場合は、そのまま左右にスライドさせるアニメーション情報を付与したり、背景部分については、例えば最も手前に位置する物体に近い背景から順にフェードインするアニメーション情報を付与したりすることが考えられる。

各部分画像の前後左右などの位置関係に基づいて、付与すべきアニメーション情報を選択する。当該構成とすることによって、位置関係に適したアニメーションを付与することができる。具体的には、より手前にある部分画像領域から順番に画面内にフェードインするようにアニメーション情報を各部分画像に付与することで、奥行き感がわかりやすくなる。例えば、画面内に人物や物の一部が映っていない場合は、当該欠けている部分があからさまに画面内に表示されないように、人物や物をフェードインさせることが考えられる。当該構成とすることによって、アニメーションを見る人が覚える違和感を軽減することができる。

例えば、無秩序にアニメーション情報を付与すると、各部分画像の前後左右などの位置関係によっては、不自然な形状の部分画像が動くアニメーションが作成されてしまうため、原画像中の部分画像の位置関係を基準としたアニメーション情報が付与されることになる。

なおここで、前記アニメーション情報を付与するにあたっては、あらかじめ所定のルールを設けておき、当該ルールに従った処理を行うように構成されていてもよい。前記ルールの一例としては、人物に対して付与するアニメーション情報はすべてスライドインする、人物以外の物に対して付与するアニメーション情報はすべてフェードインする、などというように、アニメーション情報の付与対象と特定のアニメーション情報とを紐づけるようなルールを設けることが考えられる。また、フレーム内に複数の人物が存在する場合には、例えば、左端から右端にかけて位置している人物から順番にスライドインするといったように、各部分画像ごとの動きのタイミングを規定するルールを設けてもよい。

＜具体的な構成＞
図２は、本実施形態の防犯装置の機能的な各構成をハードウェアとして実現した際の構成の一例を示す概略図である。この図を利用して、それぞれのハードウェア構成部の働きについて説明する。

この図にあるように、本実施形態のアニメーション作成装置は、各種演算処理を実行するための「ＣＰＵ」０２０１と、「記憶装置（記憶媒体）」０２０２と、「メインメモリ」０２０３と、「操作入出力インターフェイス」０２０４と、「表示インターフェイス」０２０５、「センサインターフェイス」０２０６と、を備え、各種インターフェイスを通じて情報の送受信を行う。なお、記憶装置には以下で説明するような各種プログラムが格納されており、ＣＰＵはこれら各種プログラムをメインメモリのワーク領域内に読み出して展開、実行する。なお、これらの構成は、「システムバス」０２０７などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。

（原画像取得部の具体的な処理）
ＣＰＵ０２０１は、「原画像取得プログラム」０２１０を記憶装置０２０２からメインメモリ０２０３に読み出して、深度情報付の原画像を撮像装置（ＣＣＤセンサ等）０２３３及び深度センサ０２３４の入力信号から取得する処理を行う。具体的には、ＣＰＵ０２０１は、利用者から操作入出力機器０２３１を介して撮像の操作入力を受け付け、撮像装置の各画像素子０２３３から信号を入力し、メインメモリに各画素の画素のデータ（ＲＧＢのデータ等）を格納する。同時に、ＣＰＵは、深度センサから信号を入力し、メインメモリに各画素の深度情報のデータを格納する。

（部分画像取得部の具体的な処理）
次に、ＣＰＵは、「部分画像取得プログラム」０２１１を記憶装置からメインメモリに読み出して、メインメモリに格納された原画像を原画像内の領域を深度情報に応じて部分画像に分割する処理を行う。具体的には、ＣＰＵは、メインメモリに格納された各画素の深度情報に基づいて、隣接する画素の深度情報の違いが所定範囲内である領域を抽出し、その領域に対して識別子を割り当ててグループ化する処理を行う。そして、ＣＰＵは、グループ化された領域の各画素の画素値及び深度情報及び座標を部分画像の情報としてメインメモリに格納する処理を行う。

（アニメーション情報付与部の具体的な処理）
次に、ＣＰＵは、「アニメーション情報付与プログラム」０２１２を実行し、メインメモリに格納された部分画像毎に、再生時の再生画面内での部分画像の動きを定義するアニメーション情報を付与する処理を行う。具体的には、ＣＰＵは、記憶装置に格納されているアニメーション情報を決定するルールが記載されたテーブルをメインメモリに読み出し、各部分画像に対して付与すべきアニメーション情報を決定する。上記テーブルとしては、例えば、各部分画像の領域の座標や深度情報と付与すべきアニメーション情報のＩＤを関連付けたテーブルが挙げられる。

（アニメーション情報が付与された部分画像の表示の具体的な処理）
また、ＣＰＵは、アニメーション表示プログラムを記憶装置からメインメモリに読み出して、アニメーション情報が付与された部分画像を表示する処理を行う。具体的には、ＣＰＵは、各部分画像のアニメーション情報から各部分画像の位置・傾き・移動速度・移動方向・回転速度・回転方向等のパラメータを抽出し、当該パラメータの値に基づいて再生画面内で部分画像を動かす処理を行う。

＜部分画像アニメーション作成用ファイル＞
上記で説明したアニメーション作成装置においては、部分画像と、これに付されるアニメーション情報と、からなる部分画像アニメーション作成用ファイルを一時記憶装置（メインメモリなど）に保持して、必要に応じて部分画像単位あるいは特定の条件の付された部分画像単位（例えば、人物のみ）で編集したり、他の装置に対して出力したり、長期記憶装置（フラッシュメモリなど）に出力したりすることも可能である。

＜処理の流れ＞
図３は、本実施形態のアニメーション作成方法の処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。最初にステップＳ０３０１では、深度情報付の原画像を取得する（原画像取得ステップ）。次にステップＳ０３０２では、取得した原画像内の領域を深度情報に応じて部分画像に分割する（部分画像取得ステップ）。次に、ステップＳ０３０３では、取得された部分画像毎に、アニメーション再生時の再生画面内での部分画像の動きを定義するアニメーション情報を付与する（アニメーション情報付与ステップ）。

＜効果の説明＞
本実施形態のアニメーション作成装置によって、撮影した原画像を様々な部分画像に分割したうえ、各々の部分画像に動きを与えることができるようになる。その結果、作成者個人の経験や能力の制約を受けることなく、多様なアニメーション表現を行うことが可能となり、アニメーション作品の制作を広く普及させることができるようになる。

＜＜実施形態２＞＞
＜概要＞
本実施形態のアニメーション作成装置は、基本的に実施形態１で説明したアニメーション作成装置と同様であるが、原画像として動画を取得することを特徴とする。

＜機能的構成＞
図４は、本実施形態のアニメーション作成装置の機能ブロックの一例を示す図である。この図にあるように、本実施形態の「アニメーション作成装置」０４００は、「原画像取得部」０４０１と、「部分画像取得部」０４０２と、「アニメーション情報付与部」０４０３と、から構成され、特に原画像取得部には、「動画取得手段」０４１１が備えられている。以下、実施形態１との相違点である「動画取得手段」を中心に説明する。

「動画取得手段」０４１１は、深度情報付の原画像を取得するにあたり、当該原画像として動画を取得する機能を有する。ここで原画像に対応する深度情報は、当該原画像たる動画の全記録時間を通じて付される必要はなく、例えば、再生開始時点もしくは再生終了時点におけるオブジェクトの深度情報のみを付与することが考えられる。この場合、当該深度情報は記録タイミングの情報と紐づけられるように付されてもよい。

なお、本実施形態における部分画像取得部は、取得した動画から部分画像を分割取得する機能を有することとなる。具体的な取得の方法としては、例えば、まず動画中所定の時点のフレーム画像を取得したうえで、当該フレーム画像を深度情報に応じてさらに部分画像に分割する構成が考えられる。当該フレーム画像は、動画を構成する全フレームでもよいし、前述のように最初のフレーム又は最後のフレームのみであってもよい。

どのフレーム画像から部分画像を取得するかは、後に部分画像に与えられるアニメーションの内容にも依存する。なぜなら、原則的にはアニメーション再生はオリジナル原動画の再生時間長と同じ時間長行われるので、原動画の部分画像相当部分は再生画像の部分画像のアニメーション動作中に重複して再生されるべきでないからである。従って、部分画像のアニメーション再生中における原画像の部分画像相当部分は原画像から削除して再生画像を構成するようにする。つまり部分画像の深度情報取得フレームは、当該部分画像のアニメーション再生開始位置か、又は、アニメーション再生終了位置のいずれかが適当となり、当該開始位置と当該終了位置の間では当該部分画像相当部分は原画像から削除される。

さらに、本実施形態におけるアニメーション情報付与部は、部分画像が動画である場合に特有の付与すべきアニメーション情報を保持していることが考えられる。具体的には、例えば、人物が歩いている動画が部分画像として取得されている場合には、当該人物の歩き方が不自然な動きにならないようなアニメーション情報を付与することが考えられる。ここでいう「不自然な動き」とは、例えば、足の関節が実際には曲がらないはずの方向に曲がるような動きのことを指す。そして、動画内容（人物が歩いているかどうか）を把握するための機能としては、例えば後述するボーン情報を用いることが考えられる。また、アニメーションとしての特色を強調するために、敢えて不自然な動きとなるようなアニメーション情報を付与してもよく、この場合にも、ボーン情報を用いることが考えられる。このような各構成をとることによって、既に動きのある映像にさらなる映像を付与することが可能になるため、映像とアニメーションとの組み合わせ方の選択によって、より表現の幅が豊かなアニメーションを提供することが可能になる。

なお、本実施形態においても、実施形態１において述べたように、あらかじめ設けられた所定のルールに応じてアニメーション情報を付与するような構成を採用してもよい。例えば、人物が歩いている動画に対しては、当該人物がとび跳ねたり、スキップしたり、逆立ちしたりするような動作に関するルールを設けることが考えられるほか、画面の中心に向かってらせん状に回転したり、画面の外縁に沿うように動いたりするように動作範囲に関するルールを設けることも考えられる。

ここで図１３は、本実施形態におけるアニメーション作成装置にて行われる部分画像として動画を用いる場合の当該動画へのアニメーション情報の付与の一例を示す図である。同図のうち最上段は人物が噴水の手前を左側から右側へと走り抜ける様子があらわされた動画のうち４枚のフレームを示す図であり、中段および最下段は、それぞれ上段の動画を原画像として当該原画像から分割した部分画像に基づき作成されたアニメーション画像の一例を示す図である。本実施形態において原画像取得部は、深度情報付の原画像として当該動画を取得するが、ここで深度情報は、同図のうち（a）もしくは（ｄ）の状態から取得することが考えられる。そのうえで、部分画像取得部にて原画像のうち、人物に該当する部分を部分画像として取得する。さらに例えば前記アニメーション情報付与にあたってあらかじめ定められた所定のルールがある場合には、当該部分画像が人物であると認識できた場合、当該人物に対し、前記所定のルールに則った内容のアニメーション情報を当該人物画像に対して付与することとなる。前掲した図１３においては、走っている人物に対し、走る速度に合わせて体全体が宙返りするような内容のアニメーション情報を付与する場合を例示している。

なおここで、部分画像の位置関係や付与するアニメーション情報および前記所定ルールの内容によっては、アニメーション画像中において不自然な形状が表示されることが考えられる。そのため、本実施形態のアニメーション作成装置においては、当該不自然な表示を回避するための処理を可能とする構成を備えていてもよい。このことを図１３のうち中段の図を用いてさらに具体的に説明する。同図の（ｂ）および（ｃ）に位置するフレームは、人物に該当する部分を部分画像として取得し、当該部分画像にアニメーション情報を付与したものであるが、このような処理がなされたことにより、従来人物が存在していた地点が空白表示になってしまっている（図中では、空白表示に該当する部分を点線で囲まれた範囲１３１１、１３１２として示す。）。当該不自然な空白表示が存在することで、アニメーションを見る者に対し違和感を与えることが考えられるため、当該事態を回避する必要がある。

以上の事態を回避するための処理としては、例えば、当該不自然な表示が生じうるフレームとその前後のフレームとを比較し、当該部分画像の外縁部分を有する画像と似た構成の画像の存否を判断し、もし似た構成の画像があると判断される場合には、当該似た構成の画像を不自然な表示が生じうるフレームの該当箇所に上書きする処理を行うことが考えられる。ここで再度図１３を用いて説明すると、中段(ｂ)のフレーム中点線部分で表される部分が部分画像へのアニメーション情報付与に伴い不自然な表示が生じうる部分であるが、当該部分の外縁部分と似た構成の画像の存否を(ａ)や(ｃ)などのフレーム中から探し出し、(ａ)のように存在する場合には、当該部分を上書きする処理を行う。ここで、中段(ｂ)(ｃ)に生じうる不自然な表示がなされる事態を回避するための処理が行われた結果のフレームが最下段(ｂ)(ｃ)のフレームである。
＜具体的な構成＞

本実施形態のアニメーション作成装置の具体的な構成は、実施形態１の図２で説明したハードウェア構成図と略同様である。

（動画取得手段の具体的な処理）
ＣＰＵ０２０１は、原画像取得プログラム０２１０を記憶装置０２０５からメインメモリ０２０４に読み出して、深度情報付の原画像である動画を撮像装置の深度センサ０２０８の入力信号から取得する処理を行う。具体的には、ＣＰＵは、深度センサから信号を所定のタイミングのもとフレームごと（例えば、１秒間に２０〜３０フレームの間隔）に入力し、メインメモリに各画素の深度情報のデータを格納する。

＜処理の流れ＞
図５は、本実施形態のアニメーション作成方法の処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。最初にステップＳ０５０１では、原画像として深度情報付の動画を取得する（動画原画像取得ステップ）。次にステップＳ０５０２では、取得した原画像内の領域を深度情報に応じて部分画像に分割する（部分画像取得ステップ）。次に、ステップＳ０５０３では、取得された部分画像毎に、アニメーション再生時の再生画面内での部分画像の動きを定義するアニメーション情報を付与する（アニメーション情報付与ステップ）。

＜効果の説明＞
本実施形態のアニメーション作成装置は、実施形態１の効果の他に、動画とアニメーションとの組み合わせ方の選択によって、より表現の幅が豊かなアニメーションを提供することが可能になる。

＜＜実施形態３＞＞
＜概要＞
本実施形態のアニメーション作成装置は、基本的に実施形態１又は２で説明したアニメーション作成装置と同様であるが、原画像中から人物の体・腕・足などの基本部位を識別するために用いる情報であるボーン情報を取得し、取得したボーン情報から原画像中に人物が存在するかを判断するとともに、人物が存在すると判断された場合には、取得したボーン情報から、存在する人物が複数かをさらに判断することを特徴とする。

＜機能的構成＞
図６は、本実施形態のアニメーション作成装置の機能ブロックの一例を示す図である。この図にあるように、本実施形態の「アニメーション作成装置」０６００は、「原画像取得部」０６０１と、「部分画像取得部」０６０２と、「アニメーション情報付与部」０６０３と、「ボーン情報取得部」０６０４と、「人物判断部」０６０５と、「人数判断部」０６０６から構成される。以下、実施形態１との相違点である「ボーン情報取得部」と「人物判断部」および「人数判断部」を中心に説明する。

「ボーン情報取得部」０６０２は、原画像中から、人物の体・腕・足などの基本部位を識別する情報であるボーン情報を取得する機能を有する。ここでボーン情報は、人物の体・腕・足などの基本部位を識別する情報であり、具体的には人物の各骨格の長さや関節の位置などの情報である。そして、ボーン情報は、人物判断部にて原画像中に人物が存在するか判断するために用いられる。ボーン情報を取得する方法としては、深度情報に基づいて被写体の特徴的な基本部位を認識し、その基本部位の骨格や関節を推定する処理を行うことが挙げられる。基本部位の骨格や関節の推定処理は、基本部位の中心線を算出したり、基本部位同士の接合点を抽出したりすることによって行うことが可能である。なお、ボーン情報は、人物だけについて取得する必要はなく、物や動物など、全ての被写体について取得することも可能である。

「人物判断部」０６０３は、取得したボーン情報から原画像中に人物が存在するか判断する機能を有する。ボーン情報から原画像中に人物が存在するか判断する処理としては、例えば、あらかじめ年齢、性別、体型、姿勢の異なる多数の人物のボーン情報をサンプル情報として保持し、そのサンプル情報と撮像された画像のボーン情報とを照合する方法が考えられる。そして、撮像された画像のボーン情報が一定以上の精度でサンプル情報と整合する場合には、そのボーン情報を有する物体が人物であると推定することが考えられる。サンプル情報の具体的な内容としては、例えば、座っているときや走っているとき、寝ているときなど動作中の人物に特有の姿勢のボーン情報が挙げられる。ここで、原画像中から人物の体の一部がはみ出ている際に人物と特定されないことを防ぐため、サンプル情報の一部とボーン情報が一定の精度で整合する場合も人物が存在すると判断するようにしてもよい。

「人数判断部」０６０４は、人物判断部にて人物が存在すると判断された場合に、取得したボーン情報から、存在する人物が複数であるかをさらに判断する機能を有する。取得したボーン情報から、存在する人物が複数であるかを判断する処理としては、例えば、原画像中に、人物の特徴を具えたボーン情報を有する物体の領域がいくつあるのかを検出することが考えられる。

実施形態１で説明した部分画像取得部は、人物判断部にて人物であると判定された領域を部分画像として分割することが可能である。また、人物以外でも物体の領域を部分画像として分割したり、人物と物体を除いた背景となる部分を部分画像として分割したりすることが可能である。

実施形態１で説明したアニメーション情報付与部は、人物の領域として分割された部分画像や、物体の領域として分割された部分画像、背景の領域として分割された部分画像それぞれに対してアニメーション情報を付与することが可能である。ここで、人物が複数存在する場合には、その人数や配置によって、異なるアニメーション情報を付与することが考えられる。例えば、人物が前後に重なって存在している場合には、最も前面にいる人物には他の人物等の配置に関係なく単数時と同じアニメーション情報を付与し、背面にいる人物に対しては、前面の人物により隠れた部分が目立たないような内容のアニメーション情報を付与することが考えられる。

前面の人物に付与されたアニメーション情報に関連付けられたアニメーション情報を付与することが考えられる。

＜具体的な構成＞
本実施形態のアニメーション作成装置の具体的な構成は、実施形態１の図２で説明したハードウェア構成図と略同様である。

（ボーン情報取得部の具体的な処理）
ＣＰＵは、ボーン情報取得プログラムを記憶装置からメインメモリに読み出して、メインメモリに格納された原画像中から人物の体・腕・足などの基本部位を識別するために用いる情報であるボーン情報を取得する処理を行う。具体的には、ＣＰＵは、メインメモリに格納された深度情報に基づいて、メインメモリに格納された原画像中の被写体の特徴的な基本部位を認識し、その基本部位の中心線を算出したり、基本部位同士の接合点を抽出したりすることによって、その基本部位の骨格の長さの値や骨格の座標値の情報を算出し、算出結果をボーン情報としてメインメモリに格納する処理を行う。

（人物判断部の具体的な処理）
次に、ＣＰＵは、人物判断プログラムを記憶装置からメインメモリに読み出して、メインメモリに格納されているボーン情報から原画像中に人物が存在するか判断する処理を行う。具体的には、ＣＰＵは、フラッシュメモリ等に格納されている年齢、性別、体型、姿勢の異なる多数の人物のボーン情報をメインメモリに読み出して、メインメモリに格納されている原画像から取得されたボーン情報と照合し、一定以上の精度で整合性があると判定された場合には、原画像から取得されたボーン情報を有する被写体が人物であると推定する処理を行う。

（人数判断部の具体的な処理）
次に、ＣＰＵは、人物判断プログラムの処理により人物が存在するとの判断結果が得られた場合は、人物判断プログラムを記憶装置からメインメモリに読み出して、取得したボーン情報から存在する人数が複数であるかさらに判断する処理を行う。具体的には、ＣＰＵは、人物であると判定された被写体の数をカウントする処理を行ったり、人物であると判定された領域の数をカウントする処理を行う。

＜処理の流れ＞
図７は、本実施形態のアニメーション作成方法の処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。最初にステップＳ０７０１では、深度情報付の原画像を取得する（原画像取得ステップ）。次にステップＳ０７０２では、原画像中から人物の体・腕・足などの基本部位を識別するために用いる情報であるボーン情報を取得する（ボーン情報取得ステップ）。次にステップＳ０７０３では、取得したボーン情報から原画像中に人物が存在するか判断する（人物判断ステップ）。ここで、人物が存在するとの判断結果である場合は、ステップＳ０７０４に進む。ここで、人物が存在しないとの判断結果である場合はステップＳ０７０５に進む。次に、ステップＳ０７０４では、取得したボーン情報から存在する人物が複数であるかさらに判断する（人数判断ステップ）。次にステップＳ０７０５では、ステップＳ０７０２〜Ｓ０７０４の結果に基づき、人物の存否又は／及び人物の数の情報をも用いて、取得した原画像内の領域を部分画像に分割する（部分画像取得ステップ）。次に、ステップＳ０７０６では、取得された部分画像毎に、人物の存否又は／及び人物の数の情報をも用いて、アニメーション再生時の再生画面内での部分画像の動きを定義するアニメーション情報を付与する（アニメーション情報付与ステップ）。

＜効果の説明＞
本実施形態のアニメーション作成装置は、実施形態１の効果の他に、原画像中における人物の有無や、その人数、それぞれの人物のとっているポーズなどを判断することが可能にあるため、人物とそれ以外の部分画像を適切に分割することが可能になる。その結果、人間の自然な動作に見えるアニメーション情報を付与することができるようになるだけでなく、複数の人物の位置関係やポーズに対応したアニメーション情報も付与することが可能になるため、多彩な表現方法をもつアニメーション制作が可能になる。

＜部分画像アニメーション作成用ファイル＞
上記で説明したアニメーション作成装置においては、部分画像と、これに付されるアニメーション情報と、さらにボーン情報からなる部分画像アニメーション作成用ファイルを一時記憶装置（メインメモリなど）に保持して、必要に応じ、その全てあるいは特定の部分画像のみを選択して編集したり、他の装置に対して出力したり、長期記憶装置（フラッシュメモリなど）に出力したりすることも可能である。

＜＜実施形態４＞＞
＜概要＞
本実施形態のアニメーション作成装置は、基本的に実施形態１から３のいずれか一のアニメーション作成装置と同様であるが、部分画像と部分画像に付与されたアニメーション情報とによって、原画像単位で動画ファイルを作成することを特徴とする。

＜機能的構成＞
図８は、本実施形態のアニメーション作成装置の機能ブロックの一例を示す図である。この図にあるように、本実施形態の「アニメーション作成装置」０８００は、「原画像取得部」０８０１と、「部分画像取得部」０８０２と、「アニメーション情報付与部」０８０３と、「動画ファイル作成部」０８０４から構成される。以下、実施形態１との相違点である「動画ファイル作成部」を中心に説明する。

「動画ファイル作成部」０８０４は、部分画像と部分画像に付与されたアニメーション情報とによって、原画像単位で動画ファイルを作成する機能を有する。ここで、「原画像単位で動画ファイルを作成する」とは、一の原画像から、部分画像と、部分画像に付与されたアニメーション情報と、各部分画像相互の関連性や、動作の時間等を定義する情報を新たに付与する情報とで構成される一の動画ファイルを作成することをいう。作成された動画ファイルは、例えば、「Ｐｒｅｍｉｅｒｅ」や、「Ａｆｔｅｒ Ｅｆｆｅｃｔｓ」(ともにアドビシステムズ社の商標)等の映像制作ソフトで使用可能な形式（例えば、ＭＯＶ、ＡＶＩなど）で保存することが考えられる。なお、動画ファイルには、他にも構成要素として音声を含んでもよい。

＜具体的な構成＞
本実施形態のアニメーション作成装置の具体的な構成は、実施形態１の図２で説明したハードウェア構成図と略同様である。

（動画ファイル作成部の具体的な処理）
ＣＰＵは、動画ファイル作成プログラムを記憶装置からメインメモリに読み出して、メインメモリに格納されている部分画像と部分画像に付与されたアニメーション情報とによって、原画像単位で動画ファイルを作成する処理を行う。具体的には、原画像から分割された各部分画像及び各部分画像に付与されたアニメーション情報が、コンピュータシステムにおいて一つのファイルとして認識されるように同一の識別子（ファイル名など）を割り当てて連結する処理を行い、連結した情報をフラッシュメモリに格納する。ここで、各部分画像に付与されたアニメーション情報には、各部分画像のアニメーションのタイミングや動作種別の情報が含まれており、作成された動画ファイルを再生する際には当該タイミングや動作種別の情報に基づいて各部分画像を再生画面上において動作させることにより、原画像単位のアニメーションとして再生することが可能である。

＜処理の流れ＞
図９は、本実施形態のアニメーション作成方法の処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。最初にステップＳ０９０１では、深度情報付の原画像を取得する（原画像取得ステップ）。次にステップＳ０９０２では、取得した原画像内の領域を深度情報に応じて部分画像に分割する（部分画像取得ステップ）。次に、ステップＳ０９０３では、取得された部分画像毎に、アニメーション再生時の再生画面内での部分画像の動きを定義するアニメーション情報を付与する（アニメーション情報付与ステップ）。次に、ステップＳ０９０４では、部分画像と部分画像に付与されたアニメーション情報とによって、原画像単位で動画ファイルを作成する（動画ファイル作成ステップ）。

＜効果の説明＞
本実施形態のアニメーション作成装置は、実施形態１の効果の他に、部分画像から動画ファイルを作成することが可能であるため、作成したアニメーションを、動画として他の装置などに出力することが可能になる。

＜＜実施形態５＞＞
＜概要＞
本実施形態のアニメーション装置は、基本的に実施形態４のアニメーション作成装置と同様であるが、作成された動画ファイルと、前記アニメーション情報を付与された部分画像とを、原画像単位でファイルとして保持することを特徴とする。

＜機能的構成＞
図１０は、本実施形態のアニメーション作成装置の機能ブロックの一例を示す図である。この図にあるように、本実施形態の「アニメーション作成装置」１０００は、「原画像取得部」１００１と、「部分画像取得部」１００２と、「アニメーション情報付与部」１００３と、「動画ファイル作成部」１００４と、「動画部分画保持部」１００５から構成される。以下、実施形態４との相違点である「動画部分画保持部」を中心に説明する。

「動画部分画保持部」１００５は、作成された動画ファイルと、アニメーション情報を付与された部分画像とを、原画像単位でファイルとして保持する機能を有する。なお、各部分画像に対し共通のＩＤを付与し、長期記憶装置等に数コマ単位で保持できるようにしてもよい。

＜具体的な構成＞
本実施形態のアニメーション作成装置の具体的な構成は、実施形態１の図２及び実施形態４で説明したハードウェア構成図と略同様である。

（動画部分画保持部の具体的な処理）
ＣＰＵは、動画部分画保持プログラムを記憶装置からメインメモリに読み出して、メインメモリに格納されている動画ファイル作成プログラムによって作成された動画ファイルと、メインメモリに格納されているアニメーション情報を付与された部分画像とを、原画像単位でファイルとしてフラッシュメモリに格納する処理を行う。具体的には、動画ファイル作成プログラムによって作成された動画ファイルと、アニメーション情報が付与された部分画像が、コンピュータシステムにおいて一つのファイルとして認識されるように同一の識別子（ファイル名など）を割り当てて連結する処理を行い、連結した情報をフラッシュメモリに格納する。

＜処理の流れ＞
図１１は、本実施形態のアニメーション作成方法の処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。最初にステップＳ１１０１では、深度情報付の原画像を取得する（原画像取得ステップ）。次にステップＳ１１０２では、取得した原画像内の領域を深度情報に応じて部分画像に分割する（部分画像取得ステップ）。次に、ステップＳ１１０３では、取得された部分画像毎に、アニメーション再生時の再生画面内での部分画像の動きを定義するアニメーション情報を付与する（アニメーション情報付与ステップ）。次に、ステップＳ１１０４では、部分画像と部分画像に付与されたアニメーション情報とによって、原画像単位で動画ファイルを作成する（動画ファイル作成ステップ）。次に、ステップＳ１１０５では、作成された動画ファイルと、アニメーション情報を付与された部分画像とを原画像単位でファイルとして記録する（動画部分画像記録ステップ）。

＜効果の説明＞
本実施形態のアニメーション作成装置は、実施形態４の効果の他に、適時に部分画像から動画ファイルを作成することが可能であるため、作成したアニメーション情報を動
画として、他の装置などに出力することが可能になる。

＜カメラ＞
上記で説明した各実施形態におけるアニメーション作成装置は、いずれも一般的なデジタルカメラなどに組み込むことが可能であり、上記記載のアニメーション作成装置を備えたカメラも本実施形態の発明に含まれるものである。当該カメラは、利用者の撮像指示入力に応じて画像を撮像する。その際に、深度センサからの入力情報に基づいて、画像の各ピクセルについて深度の情報を付与する。そして、深度情報が付与された画像を上記原画像取得部に対して出力する。撮像された画像を、表示部に対して出力する。

０１００…アニメーション作成装置、０１０１…原画像取得部、０１０２…部分画像取得部、０１０３…アニメーション情報付与部、０２１３…原画像、０２１４…アニメーション情報、０２３２…ディスプレイ

Claims (8)

1. 深度情報付の原画像を取得する原画像取得部と、
   取得した原画像内の領域を深度情報に応じて部分画像に分割する部分画像取得部と、
   取得された部分画像毎に、再生時の再生画面内での部分画像の動きを定義するアニメーション情報を付与するアニメーション情報付与部と、
   を有する、アニメーション作成装置。
2. 原画像取得部は、原画像として動画を取得する動画取得手段を有する請求項１に記載のアニメーション作製装置。
3. 原画像中から人物の体・腕・足などの基本部位を識別するために用いる情報であるボーン情報を取得するボーン情報取得部と、
   取得したボーン情報から原画像中に人物が存在するか判断する人物判断部と、
   人物判断部にて人物が存在すると判断された場合には取得したボーン情報から存在する人物が複数であるかさらに判断する人数判断部と、
   をさらに有する請求項１又は２に記載のアニメーション作成装置。
4. 部分画像と部分画像に付与されたアニメーション情報とによって、原画像単位で動画ファイルを作成する動画ファイル作成部をさらに有する請求項１から３のいずれか一に記載のアニメーション作成装置。
5. 作成された動画ファイルと、前記アニメーション情報を付与された部分画像とを原画像単位でファイルとして保持する動画部分画保持部をさらに有する請求項４に記載のアニメーション作成装置。
6. 深度情報付の原画像を取得する原画像取得ステップと、
   前記原画像内の領域を深度情報に応じて部分画像に分割する部分画像取得ステップと、
   取得された部分画像毎に、再生時の再生画面内での部分画像の動きを定義するアニメーション情報を付与するアニメーション情報付与ステップと、
   を有するアニメーション作成装置の動作方法。
7. 深度情報付の原画像を取得する原画像取得ステップと、
   前記原画像内の領域を深度情報に応じて部分画像に分割する部分画像取得ステップと、
   取得された部分画像毎に、再生時の再生画面内での部分画像の動きを定義するアニメーション情報を付与するアニメーション情報付与ステップと、
   を計算機に実行させるためのプログラム。
8. 請求項１から５のいずれか一に記載のアニメーション作成装置を備えたカメラ。