JP5343676B2 - 画像処理装置、画像処理方法およびコンピュータプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびコンピュータプログラムに関し、より詳細には、映像中の特徴点に付随して表示される付加情報を表示処理する画像処理装置、画像処理方法およびコンピュータプログラムに関する。

デジタルビデオカメラやデジタルスチルカメラ等の撮像装置により撮像された映像をより楽しむことのできる映像とするため、ユーザが当該映像に対してコメントや効果音を追加してオリジナルの映像を作成することが行われている。例えば、映像中の人物の顔の近辺に吹き出しを設けてコメントを記載したり、人物の動きを強調するようなスタンプを追加したりすることができる。

従来、動画像コンテンツに対して別の画像を付加する場合において、付加画像を動画像の動きに合わせて変化させるには、ユーザが動画像コンテンツの内容を確認しながら、その時間変化に合わせて付加画像の表示位置の変更を指示していた。また、動画像の動きに合わせて付加画像を変形させるには、ユーザが動画像コンテンツの時間変化と同期をとりながら変形付加画像を作成していた。

画像をデコレーションしてアップロードする（eDeco）、［平成２１年４月７日検索］、インターネット＜ＵＲＬ：http://support.d-imaging.sony.co.jp/www/disoft/jp/pmb/feature/web/edeco.html＞

しかし、例えば映像中の移動する人物に対して画像を付加するのは困難であり、従来の手法では付加画像の表示設定に多大な手間と時間を要するという問題があった。複数の付加画像を設定する場合には、さらに作業が煩雑となってしまい、かかる問題がより顕著となる。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、動画像中の動く対象に対して付加情報を簡単に追加することが可能な、新規かつ改良された画像処理装置、画像処理方法およびコンピュータプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、動画像データから特徴点を検出する特徴点検出部と、特徴点に付随して表示される付加情報を表示させる１または２以上の特徴点を選択する特徴点選択情報が入力される入力部と、特徴点選択情報に基づいて、選択された特徴点と付加情報とを関連付ける関連処理部と、動画像データの再生により変化する特徴点の挙動を解析する動き解析部と、動き解析部により解析された特徴点の挙動を表す動き情報と、特徴点の挙動に応じて特徴点に付加された付加情報を変化させる変化パターンを表す表示シナリオとに基づいて、特徴点に関連付けられた付加情報の表示を変化させる変化内容を表すメタデータを生成するメタデータ生成部とを備える、画像処理装置が提供される。

本発明によれば、動画像データ中の特徴点に付加情報を付随して表示させる際、特徴点の挙動を表す動き情報と、特徴点の挙動に応じて特徴点に付加された付加情報を変化させる変化パターンを表す表示シナリオとに基づいて、メタデータがメタデータ生成部により自動的に生成される。これにより、動画像中の動く対象に対して付加情報を簡単に追加することができる。

ここで、特徴点の挙動パターンと当該挙動パターンに合致する特徴点に付加された付加情報の表示方法とにより表された１または２以上の表示シナリオを記憶する表示シナリオ記憶部を備えることもできる。入力部には、選択された特徴点に付加された付加情報を変化させる表示シナリオを選択する表示シナリオ選択情報がさらに入力される。そして、メタデータ生成部は、特徴点選択情報により選択された特徴点について、選択された表示シナリオの特徴点の挙動パターンと合致する特徴点の挙動を動き情報から検出したとき、表示シナリオに規定された表示方法で付加情報を表示させるメタデータを生成する。

また、本発明の画像処理装置は、１または２以上の付加情報を記憶する付加情報記憶部を備えることもできる。このとき、入力部には、特徴点に付随させる付加情報を選択する選択情報が入力される。さらに、動画像データに付加する付加情報が手描きにより入力される手描きデータ入力部を備えることもできる。

メタデータ生成部は、動き情報から把握される動画像データの画像内における特徴点の位置に基づいて、特徴点に関連付けられた付加情報の表示位置を変化させるメタデータを生成することができる。また、メタデータ生成部は、動き情報から把握される動画像データの表示サイズに対する特徴点のサイズに基づいて、特徴点に関連付けられた付加情報のサイズを変化させるメタデータを生成することもできる。

さらに、メタデータ生成部は、動き情報から把握される特徴点の表情の変化に応じて、特徴点に関連付けられた付加情報を表示させるメタデータを生成することもできる。また、メタデータ生成部は、動き情報から把握される特徴点の移動速度に応じて、特徴点に関連付けられた付加情報の表示を変化させるメタデータを生成することもできる。メタデータ生成部は、選択情報入力部から２以上の特徴点を選択する選択情報が入力された場合、特徴点間の距離に応じてこれらの特徴点に関連付けられた付加情報の表示サイズを変更させるメタデータを生成するようにしてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、動画像データから特徴点を検出するステップと、特徴点に付随して表示される付加情報を表示させる１または２以上の特徴点を選択するステップと、選択された特徴点と付加情報とを関連付けるステップと、動画像データの再生により変化する特徴点の挙動を解析するステップと、解析された特徴点の挙動を表す動き情報と、特徴点の挙動に応じて特徴点に付加された付加情報を変化させる変化パターンを表す表示シナリオとに基づいて、特徴点に関連付けられた付加情報の表示を変化させる変化内容を表すメタデータを生成するステップとを含む、画像処理方法が提供される。

さらに、上記課題を解決するために、本発明の別の観点によれば、コンピュータに上記の画像処理装置として機能させるためのコンピュータプログラムが提供される。コンピュータプログラムは、コンピュータが備える記憶装置に格納され、コンピュータが備えるＣＰＵに読み込まれて実行されることにより、そのコンピュータを上記の画像処理装置として機能させる。また、コンピュータプログラムが記録された、コンピュータで読み取り可能な記録媒体も提供される。記録媒体は、例えば磁気ディスクや光ディスクなどである。

以上説明したように本発明によれば、動画像中の動く対象に対して付加情報を簡単に追加することが可能な画像処理装置、画像処理方法およびコンピュータプログラムを提供することができる。

本発明の実施形態にかかる画像処理装置の構成を示す機能ブロック図である。 同実施形態にかかるメタデータ格納部の構成例を示す説明図である。 同実施形態にかかる動画像コンテンツへの手描きデータの付加処理を示すフローチャートである。 同実施形態にかかる動画像コンテンツへの手描きデータの付加処理を示すフローチャートである。 同実施形態にかかる表示シナリオによる付加データの表示処理を示すフローチャートである。 同実施形態にかかる再生中手描き処理を示すフローチャートである。 描画メニュー画面の一例を示す説明図である。 手描き描画画面の一例を示す説明図である。 パターン描画画面の一例を示す説明図である。 動き設定画面の一例を示す説明図である。 特徴点選択画面の一例を示す説明図である。 特徴点選択画面の他の例を示す説明図である。 動画像コンテンツの特徴点の挙動に合わせて付加データの表示が変化する一例を示す説明図である。 表示シナリオ選択画面の一例を示す説明図である。 表示シナリオの一内容例であって、特徴点の笑顔が検出された場合に付加データを表示させる例を示す説明図である。 表示シナリオの一内容例であって、特徴点の位置に応じて付加データの表示位置を変化させる例を示す説明図である。 表示シナリオの一内容例であって、特徴点のサイズに応じて付加データのサイズを変更させる例を示す説明図である。 表示シナリオの一内容例であって、特徴点の移動速度に応じて付加データを変化させる例を示す説明図である。 表示シナリオの一内容例であって、特徴点の移動の軌跡を示す例の説明図である。 表示シナリオの一内容例であって、特徴点間の距離に応じて付加データの表示を変化させる例を示す説明図である。 表示シナリオの一内容例であって、特徴点に付加データに追従させ、かつ時間経過に応じてテキストを順次表示される例を示す説明図である。 同実施形態にかかる画像処理装置の構成を示すハードウェア構成図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．画像処理装置の構成
２．画像処理装置による表示処理方法

＜１．画像処理装置の構成＞
まず、図１および図２に基づいて、本発明の実施形態にかかる画像処理装置１００の概略構成について説明する。なお、図１は、本実施形態にかかる画像処理装置１００の構成を示す機能ブロック図である。図２は、本実施形態にかかるメタデータ格納部１５２の構成例を示す説明図である。

本実施形態にかかる画像処理装置１００は、例えばデジタルビデオカメラやデジタルスチルカメラ等の撮像装置により撮像された動画像コンテンツを再生可能な再生装置、動画像コンテンツの記録再生が可能な記録再生装置などである。また、本実施形態にかかる画像処理装置１００は、パーソナルコンピュータによって機能されるアプリケーションとしても実現することができる。このような画像処理装置１００は、図１に示すように、入力表示部１１０と、付加データ作成部１２０と、特徴点追尾部１３０と、デコード部１４０と、記憶部１５０とを備えて構成される。

入力表示部１１０は、ユーザからの情報の入力が行われ、またユーザへ情報を出力する機能部であって、入力検出部１１２と、表示部１１４とから構成される。本実施形態の入力表示部１１０は、例えば液晶表示素子や有機ＥＬ素子などからなる表示部１１４の表面に、例えばタッチパッド等のセンサを入力検出部１１２として設けたタッチパネルを用いることができる。入力検出部１１２は、例えばタッチペンや指などの入力表示部１１０表面への接触を検出することができる。入力検出部１１２の検出結果から、入力表示部１１０表面に接触するタッチ操作の軌跡を取得して手描きデータとして入力したり、表示部１１４に表示された例えばアイコン等を選択したりすることができる。表示部１１４は、動画像コンテンツや手描きデータなどを表示して、ユーザに提示する。

付加データ作成部１２０は、手描きデータ等の付加データや付加データメタ情報を作成し、動画像コンテンツや付加データなどの表示制御を行う。ここで、動画像コンテンツとは、撮像装置により撮像された動画実データであり、付加データは、動画像コンテンツの動画像を装飾するために付加されるデータである。また、付加データメタ情報とは、動画像コンテンツの時間経過に対応して表示変化する付加データの情報である。

例えば、付加データ作成部１２０は、入力検出部１１２より入力された検出結果から入力表示部１１０表面に接触するタッチ操作の軌跡を取得して、付加データである手描きデータを生成する。そして、付加データ作成部１２０は、生成した手描きデータを表示部１１４に表示させるとともに、後述する記憶部１５０に記録する。また、付加データ作成部１２０は、表示部１１４に表示された動画像の内容と、入力検出部１１２の検出結果に基づいて、後述する特徴点追尾部１３０によって検出された動画像中の特徴点のうち付加データを付与する１または２以上の特徴点を特定する。そして、付加データ作成部１２０は、入力検出部１１２からの入力情報に基づいて、特定された特徴点と当該特徴点に付随して表示させる付加データとの関連付けを行い、記憶部１５０に記録する。

さらに、付加データ作成部１２０は、入力表示部１１０における接触位置情報、特徴点の動き情報および付加データを用いて、表示シナリオに沿って付加データメタ情報を作成する。ここで、表示シナリオとは、特徴点の挙動に応じて特徴点に付加された付加データの表示を変化させる変化パターンを表す情報である。付加データ作成部１２０は、特徴点追尾部１３０により検出された各時点における特徴点の位置情報から、特徴点の挙動を示す動き情報を生成する。そして、付加データ作成部１２０は、付加データメタ情報を作成して、記憶部１５０に記録する。このように、付加データ作成部１２０は、付加データメタ情報を作成するための表示処理を行う。なお、付加データ作成部１２０による表示処理の詳細については後述する。

特徴点追尾部１３０は、動画像中の特徴点を抽出し、抽出した特徴点を追尾する機能部である。特徴点追尾部１３０は、動画像コンテンツを構成する所定の画像内から、例えば人物の顔等の特徴ある部分を特徴点として抽出する。特徴点の抽出は、従来の手法を用いることができる。また、特徴点追尾部１３０は、動画像コンテンツの再生により移動する特徴点の位置を認識し、追尾することもできる。特徴点追尾部１３０は、抽出した特徴点の情報を表示部１１４に出力し、表示部１１４に表示されている特徴点に枠などのマークを表示させるようにすることもできる。また、特徴点追尾部１３０は、付加データメタ情報作成のため、特徴点の情報を付加データ作成部１２０へ出力する。

デコード部１４０は、動画像コンテンツや静止画コンテンツのデコードを行う。デコード部１４０は、記憶部１５０に記憶されている動画像コンテンツや静止画コンテンツを読み出し、デコードして表示部１１４へ出力する。これにより、表示部１１４に動画像コンテンツや静止画コンテンツを表示させることができる。

記憶部１５０は、各種情報を記憶する記憶部である。本実施形態にかかる記憶部１５０は、メタ情報格納部１５２と、実データ格納部１５４と、描画データ格納部１５６と、表示シナリオ格納部１５８とからなる。メタ情報格納部１５２は、手描きデータなどの付加データや、付加データメタ情報を記憶する記憶部である。メタ情報格納部１５２は、例えば図２に示すように、表示処理対象である描画データ１５２１と、表示処理を行う時刻１５２２と、描画データの処理内容を表すアクション１５２３とを関連付けて記憶する。描画データ１５２１は、例えば、入力表示部１１０から入力された手描きデータや予め設定されたスタンプなどの付加データである。時刻１５２２は、付加データメタ情報が対応する動画像コンテンツにおける時刻を表す。例えば、図２の例では、描画データ「ｉｍａｇｅ０１」を時刻「００：０１：０５」に「固定表示」させる、描画データ「ｉｍａｇｅ０２」を時刻「００：０１：２１」に「特徴点Ａに追尾表示」させる、等の処理内容がメタ情報格納部１５２に記憶されている。

実データ格納部１５４は、撮像装置により撮像された動画像コンテンツや静止画コンテンツを記憶する。描画データ格納部１５６は、入力表示部１１０から入力された手描きデータや予め設定されたスタンプなどの付加データを記憶する。また、描画データ格納部１５６には、手描きデータを作成するために必要な描画ツールに関する情報も記憶することもできる。描画データ格納部１５６に格納された付加データは、例えば図２に示す「ｉｍａｇｅ０１」、「ｉｍａｇｅ０２」等のユニークな名称と関連付けて記憶するようにしてもよい。表示シナリオ格納部１５８は、表示シナリオを記憶する。表示シナリオは、予め設定されていてもよく、ユーザにより追加することもできる。

以上、本実施形態にかかる画像処理装置１００の構成について説明した。画像処理装置１００は、動画像コンテンツの特徴点の挙動を表す動き情報および表示シナリオに基づいて、特徴点に付加された付加データの表示を変化させ、付加データメタ情報を自動的に生成することができる。以下、画像処理装置１００による画像処理方法について、詳細に説明する。

＜２．画像処理装置による表示処理方法＞
［動画像コンテンツへの手描きデータの付加処理］
まず、図３Ａおよび図３Ｂに基づいて、本実施形態にかかる動画像コンテンツへの手描きデータの付加処理について説明する。なお、図３Ａおよび図３Ｂは、本実施形態にかかる動画像コンテンツへの手描きデータの付加処理を示すフローチャートである。

動画像コンテンツへの手描きデータの付加処理は、記憶部１５０の実データ格納部１５４に記憶された動画像コンテンツをデコード部１４０によりデコードし、表示部１１４に表示させて開始可能となる。動画像コンテンツに付加データを追加する表示処理には、ここで説明する手描きデータの付加処理と、後述する表示シナリオに基づく表示処理、動画像コンテンツを再生させながら手描きデータを入力して行われる表示処理などがある。そこで、まず、ユーザは実行する表示処理を選択する。

例えば、ユーザは手描きによるマニュアル描画を行うか否かを選択する（ステップＳ１００）。マニュアル描画を行わないことが選択された場合には、後述する表示シナリオ選択処理を実行する。一方、マニュアル描画を行うことが選択されると、次いで、ユーザは動画像コンテンツの再生中に描画を行うか否かを選択する（ステップＳ１０２）。再生中に描画を行うことが選択された場合には、後述する再生中手描き処理が実行される。一方、再生中手描き処理を行わないことが選択された場合には、動画像コンテンツの再生が開始される（ステップＳ１０４）。

動画像コンテンツが再生されると、ユーザは、表示部１１４に表示された動画像コンテンツを視聴し、付加データを付加したい時点で動画像コンテンツの再生を一時停止する。動画像コンテンツの再生が一時停止されるまでは、動画像コンテンツは再生され続ける（ステップＳ１０６）。ステップＳ１０６において、動画像コンテンツの再生が一時停止されると、描画メニュー画面が表示部１１４に表示される（ステップＳ１０８）。

描画メニュー画面２００ａは、例えば図６に示すような画面構成とすることができる。描画メニュー画面２００ａは、動画像コンテンツが表示されるコンテンツ表示領域２１０と、再生アイコン２２２ａ、コマ戻しアイコン２２２ｂ、コマ送りアイコン２２２ｃ等の操作アイコンが表示される操作アイコン表示領域２２０とからなる。コンテンツ表示領域２１０の縁部側には、手描きデータの入力処理を開始する手描きアイコン２３０や、予め設定された付加データを表示する固定アイコン２４０、既に登録されている付加データメタ情報の一覧を表示する一覧表示アイコン２５０等が表示されている。

このとき、ユーザは、一時停止されている時刻において既に登録されている付加データである描画データの表示解除を行うこともできる。すなわち、現在よりも前の時刻において表示が開始され、現在も継続して表示されている描画データの表示を消去する設定を行うことができる。ユーザは、描画データの表示解除を行うか否かを選択し（ステップＳ１１０）、描画データの表示解除を行う操作が選択する場合には、描画メニュー画面２００ａ中の一覧表示アイコン２５０をタッチペンなどでタッチして選択する（ステップＳ１１２）。そうすると、一時停止されている時刻において既に登録されている描画データの一覧が表示部１１４に表示される。この一覧には、例えば図２に示した付加データメタ情報のうち、描画データとそのアクションとが表示される。ユーザは、表示を解除する描画データをタッチペンなどでタッチして、解除対象を選択する（ステップＳ１１４）。ステップＳ１１４において選択された解除対象を決定すると、当該時刻において描画データが削除され、付加データ作成部１２０は、かかる情報を記憶部１５０のメタ情報格納部１５２に記録する情報として一次的に保持する。そして、表示部１１４の表示面には、再び図６に示す描画メニュー画面２００ａが表示される。

ステップＳ１１０でユーザが描画データの表示解除を行わないことを選択した場合、またはステップＳ１１４により解除対象が決定された場合、次いで、ユーザは手描きによるデータの入力を行うか否かを選択する（ステップＳ１１６）。ユーザが手描きによるデータの入力を行うことを選択した場合には、手描きツールによる描写を行うことができる（ステップＳ１１８）。手描きによるデータの入力は、例えば図６に示す手描きアイコン２３０を選択することにより可能となる。ユーザが手描きアイコン２３０をタッチペンなどでタッチして選択すると、描画メニュー画面２００ａから、例えば図７に示す手描き描画画面２００ｂに遷移する。

手描き描画画面２００ｂは、ステップＳ１０６において再生を一時停止した時点の動画像コンテンツが表示され、その縁部側には、手描きデータを入力するためのツールアイコン２３２が表示されている。ツールアイコン２３２は、例えば、色選択アイコン２３２ａや線種アイコン２３２ｂ、消去アイコン２３２ｃ等からなる。ユーザは、タッチペン１６等により描く線やその色をツールアイコン２３２から選択して、入力表示部１１０の表面をなぞって描画する。付加データ作成部１２０は、入力検出部１１２による検出結果からその軌跡を手描きデータ３００として、表示部１１４に表示させる。そして、手描きデータ３００の入力が完了すると、ユーザは例えば図７の決定アイコン２３４を選択して、表示部１１４に表示されている時刻における動画像コンテンツに、入力した手描きデータ３００を表示させることを決定する。そして、付加データ作成部１２０は、かかる情報を記憶部１５０のメタ情報格納部１５２に記録する情報として一次的に保持する。

ステップＳ１１６においてユーザが手描き入力を選択しなかった場合、またはステップＳ１１８において手描きデータの入力が終了した場合、図３Ｂに示すように、ユーザは予め設定された付加データ（以下、「パターンデータ」ともいう。）の入力を行うか否かを選択する（ステップＳ１２０）。ユーザがパターンデータによるデータの入力を行うことを選択した場合には、パターンデータによる描写を行うことができる（ステップＳ１２２）。パターンデータによるデータの入力は、例えば図６に示す固定アイコン２４０を選択することにより可能となる。ユーザが固定アイコン２４０をタッチペンなどでタッチして選択すると、描画メニュー画面２００ａから、例えば図８に示すパターン描画画面２００ｃに遷移する。

パターン描画画面２００ｃには、図８に示すように、複数のパターン図形２４２が表示されている。１つの画面内に表示しきれない場合には、図８に示すように「次ページ」アイコン２４４が表示され、当該アイコン２４４を選択することにより、次のパターン図形２４２の一覧を表示部１１４に表示させることができる。次画面には「前ページ」アイコンが表示される。動画像コンテンツに付加する付加データとして一のパターン図形２４２を選択すると、ステップＳ１０６において再生を一時停止した時点の動画像コンテンツが表示される。そして、ユーザが当該画面で例えばタッチペン１１６を入力表示部１１０の表面に接触させると、選択したパターン図形２４２をその時刻における動画像コンテンツに表示される。かかる画面では、パターン図形２４２の色や大きさなどを適宜変更することもできる。表示内容が決定されると、付加データ作成部１２０は、かかる情報を記憶部１５０のメタ情報格納部１５２に記録する情報として一次的に保持する。その後、図６に示す描画メニュー画面２００ａに戻る。なお、図８のパターン描画画面２００ｃにおいて、「戻る」アイコン２４６を選択することで動画像コンテンツへのパターン図形２４２の表示をキャンセルすることもできる。

ステップＳ１１６〜Ｓ１２２の処理により動画像コンテンツに表示させる描画データの入力が完了すると、ユーザは描画データの動きを選択する（ステップＳ１２４）。ユーザは、まず、表示部１１４に表示されている描画データの中から動きを設定する描画データを選択する。設定する描画データが選択されると、例えば図９に示すような動き設定画面２００ｄが表示される。動き設定画面２００ｄには、描画データの動きの種類を示す動きアイコンが表示されている。動きアイコンには、例えば「固定」アイコン２５２ａや「追尾」アイコン２５２ｂ、「スクロール」アイコン２５２ｃ等がある。ユーザは、動き設定画面２００ｄの動きアイコンから描画データの動きを選択し、決定アイコン２５４を選択してその動きを決定する。なお、動き設定画面２００ｄにおいて、「戻る」アイコン２５６を選択することで描画データに対する動きの設定をキャンセルすることもできる。

次いで、描画データの動きとして固定表示が選択されたか否かを付加データ作成部１２０により判定する（ステップＳ１２６）。かかる判定は、例えば図９に示す動き設定画面２００ｄにおいて「固定」アイコン２５２ａが選択されたか否かにより行うことができる。ステップＳ１２６において、付加データ作成部１２０により描画データの動きとして固定表示以外が選択されたと判定された場合、描画データと関連付ける対象となる動画像コンテンツ中のすべての特徴点が表示された特徴点選択画面２００ｅが表示部１１４に表示される（ステップＳ１２８）。

特徴点選択画面２００ｅは、例えば図１０に示すように、再生が一時停止されている時刻における動画像コンテンツの表示に対して、特徴点追尾部１３０により抽出された特徴点に枠２６０ａ、２６０ｂを表示して特徴点を示すように構成してもよい。あるいは、図１１に示すように、再生が一時停止されている時刻における動画像コンテンツ内のすべての特徴点２６４を一覧として表示させてもよい。ユーザは、特徴点選択画面２００ｅに表示された特徴点の中から、描画データと関連付ける１または２以上の特徴点を選択し、決定アイコン２６２を選択して描画データとの関連付けを決定する（ステップＳ１３０）。これにより、当該時刻またはこれ以降における描画データの動きが決定する。

次いで、ユーザは、描画データの表示終了時間を設定するか否かの選択を行う（ステップＳ１３２）。描画データの表示終了時間を設定することが選択されると、終了時刻を設定することが可能となり、終了時刻を設定する（ステップＳ１３４）。その後、終了時刻の設定が終わると、当該時刻における描画データの表示内容が決定される（ステップＳ１３６）。表示内容の決定は、例えば、描画メニュー画面２００の再生アイコン２２２ａを選択することによりなされる。そして、付加データ作成部１２０により、決定された表示内容がメタ情報として記憶部１５０のメタ情報格納部１５２に記録される（ステップＳ１３８）。

このように付加データ作成部１２０により作成された付加データメタ情報を動画像コンテンツに重ねて表示させることで、動画像コンテンツの特徴点の挙動に合わせて付加情報が変化するように、動画像を装飾することができる。例えば、図１２に示す特徴点２６４の動きに合わせて付加データ３００を追従させるように設定したとする。ある時間において特徴点２６４および付加データ３００が破線で示す位置に表示されており、その後、特徴点２６４が実線で示す位置に移動したとすると、付加データ３００も特徴点２６４の移動に合わせて実線で示す位置に移動する。このように、ユーザは、動画像コンテンツに付加する付加データを作成し、付加データを付加する特徴点および付加データの表示方法を決定するだけで、動画像コンテンツに特徴点の挙動に合わせて変化する付加データを付加することができる。

以上、動画像コンテンツへの手描きデータの付加処理について説明した。次に、図４に基づいて、表示シナリオによる付加データの表示処理について説明する。なお、図４は、本実施形態にかかる表示シナリオによる付加データの表示処理を示すフローチャートである。

［表示シナリオによる付加データの表示処理］
図４に示す表示シナリオによる付加データの表示処理は、図３ＡのステップＳ１００においてマニュアル描画を行わないことが選択された場合に実行される。すなわち、表示シナリオに沿って自動的に動画像コンテンツの特徴点の動き情報に基づいて描画を行う場合である。ユーザがかかる処理を選択すると、例えば、図１３に示すような表示シナリオ選択画面２００ｆが表示部１１４に表示される（ステップＳ２１０）。

表示シナリオ選択画面２００ｆは、例えば図１３に示すように、予め設定された表示シナリオを選択するための表示シナリオアイコン２７０を表示する分類領域２７１ａと、表示内容の詳細設定を行う詳細領域２７１ｂとから構成される。表示シナリオには、例えば動画像コンテンツ中の特徴点の表情が笑顔になったときに所定の付加データを表示したり、特徴点の挙動の特徴に合わせて付加データを変化させて表示したりするなどの変化パターンがある。ユーザは、分類領域２７１ａに表示されている変化パターンと関連付けられた「笑顔」アイコン２７２や「動き」アイコン２７４、「その他」アイコン２７６等からなる表示シナリオアイコン２７０を選択する。これにより、動画像コンテンツに付加データを表示させることができる（ステップＳ２２０）。

詳細領域２７１ｂには、選択された表示シナリオアイコン２７０の詳細設定を行うための情報が表示される。例えば、特徴点の表情が笑顔になった場合に付加データを表示させる表示シナリオを選択すると、付加データ作成部１２０は、記憶部１５０の表示シナリオ格納部１５８を参照して、詳細領域２７１ｂに１または２以上の付加データの表示例が表示させる。図１３の例では、２つの表示例２７２ａ、２７２ｂが表示されている。ユーザは、特徴点に付加したい付加データを表示例２７２ａ、２７２ｂから選択した後、決定アイコン２７７を選択することで、付加データを決定することができる。

さらに、ユーザは、動画像コンテンツ中にある特徴点から付加データを付加する１または２以上の特徴点を選択する（ステップＳ２３０）。特徴点の選択は、上述したステップＳ１２８、Ｓ１３０の処理と同様に行うことができる。以上の処理が終了し、動画像コンテンツの一時停止状態を解除されると、設定された表示シナリオに基づく描画処理が実行される（ステップＳ２４０）。設定された表示シナリオは、付加データメタ情報としてメタ情報格納部１５２に記憶される（ステップＳ２５０）。

表示シナリオに基づく描画処理は、例えばユーザが当該処理を解除するまで継続して行われる。したがって、同一の表示シナリオを動画像コンテンツ全体に対して適用する場合、ユーザは一度だけ表示シナリオを設定すれば、その後同様の場面が現れた場合には設定された表示シナリオに基づいて自動的に特徴点に付加データが付加される。例えば、ある特徴点から笑顔が検出された場合に所定の付加データを表示させる表示シナリオを設定した場合、当該特徴点の笑顔が検出される度に自動的に付加データが表示される。これにより、ユーザは同様の処理を何度も設定する必要がなくなり、動画像に対して容易に付加データを付与することができる。

［表示シナリオ例］
ここで、図１４〜図２０を用いて、表示シナリオの内容例について説明する。表示シナリオは、上述したように、特徴点の挙動に応じて特徴点に付加された付加データを変化させる変化パターンの内容を表す。

図１４には、特徴点の笑顔が検出された場合に付加データを表示させる表示シナリオの例を示す。かかる表示シナリオでは、図１４（ａ）に示すように特徴点２０２の表情が笑顔でない場合には、付加データ作成部１２０は付加データを表示させないが、特徴点２０２の表情が笑顔になると、図１４（ｂ）に示すように付加データ４１０を表示させる。なお、特徴点の笑顔検出は、既存の手法を用いて行うことができ、例えば特徴点追尾部１３０により検出がなされる。

次に、図１５に、特徴点の位置に応じて付加データの表示位置を変化させる表示シナリオの例を示す。動画像コンテンツでは特徴点が移動する場合が多く、画像内における特徴点の位置が時々刻々と変化する。かかる表示シナリオは、特徴点の位置が変化しても、特徴点に追従して表示される付加データが画像内に表示させるようにするものである。例えば、図１５（ａ）に示すように画像２００内の右側に位置する特徴点２０２が、図１５（ｂ）に示すように画像２００内の左側へ移動するとする。特徴点２０２には吹き出しの付加データ４２０が付加されている。このとき、かかる表示シナリオを用いることにより、図１５（ａ）の状態では画像２００の右端に位置する特徴点２０２の左側に表示されていた付加データ４２０が、特徴点２０２が図１５（ｂ）の状態に移動して画像２００の左端に位置すると、特徴点２０２の右側に表示されるようになる。このように、特徴点２０２の位置が変化しても付加データ４２０が画像２００内からはみ出さないように、自動的に付加データ４２０の表示位置も変更される。

さらに、図１６に、特徴点のサイズに応じて付加データのサイズを変更させる表示シナリオの例を示す。例えば図１６（ａ）に示すように、画像２００のサイズに対する特徴点２０２のサイズが小さい場合には、特徴点２０２に付加されている付加データ４３０のサイズも小さくする。一方、図１６（ｂ）に示すように、画像２００のサイズに対する特徴点２０２のサイズが大きくなると、特徴点２０２に付加されている付加データ４３０のサイズも大きくする。付加データ４３０の拡大率は、例えば画像２００のサイズに対する特徴点２０２のサイズに応じて変化するようにしてもよい。このとき、当該表示シナリオによって付加データ４３０のサイズが大きくなったときに、付加データ４３０が画像２００内からはみ出さないように処理することもできる。

また、図１７に、特徴点の移動速度に応じて付加データを変化させる表示シナリオの例を示す。特徴点の移動速度は、所定の時間における画像内での特徴点の位置の変化量から算出することができる。例えば、図１７（ａ）に示すように、特徴点２０２の移動速度がほぼゼロであるときには、特徴点２０２に付加された略円形の付加データ４４０は、特徴点２０２の周囲を１周するように表示されている。一方、特徴点２０２の移動速度が大きくなると、図１７（ｂ）に示すように特徴点２０２を囲む付加データ４４０が２周、３周と増加する。このように、特徴点２０２の速度変化に応じて付加データ４４０の表示を変化させることにより、特徴点２０２の挙動の特徴を表現することもできる。

図１８には、特徴点の移動の軌跡を示す表示シナリオの例を示す。例えば、図１９（ａ）に示すように、特徴点２０２が画像２００右上から左下へ向かって移動しているとする。このとき、かかる表示シナリオを用いることにより、特徴点の移動の軌跡が付加データ４５０として図１８（ｂ）に示すように表示される。これにより、動画像コンテンツの映像効果を高めることができる。

また、図１９に、特徴点間の距離に応じて付加データの表示を変化させる表示シナリオの例を示す。例えば、図１９（ａ）に示すように、１つの付加データ４６０に対して、２つの特徴点２０２Ａ、２０２Ｂが関連付けられているとする。このとき、かかる表示シナリオを用いることで、特徴点間の距離Ｌの大きさに応じて付加データ４６０のサイズや表示位置が変化される。図１９（ａ）のように特徴点間の距離Ｌが大きい場合には、付加データ作成部１２０は、特徴点のほぼ中央付近に付加データ４６０を小さく表示する。一方、特徴点間の距離Ｌが小さくなると、付加データ作成部１２０は、例えば図１９（ｂ）のように、特徴点２０２Ａと特徴点２０２Ｂとの間に付加データ４６０が図１９（ａ）のときよりも大きく表示されるようにする。あるいは、付加データ作成部１２０は、図１９（ｃ）に示すように、近接した特徴点２０２Ａ、２０２Ｂを囲むように付加データ４６０を表示させるようにしてもよい。このように、特徴点間の距離に応じて付加データ４６０の表示を変化させることで、複数の特徴点の関係を動画像コンテンツ中に効果的に示すことができる。

そして、図２０に、特徴点に動きのある付加データを追従させる表示シナリオの例を示す。かかる表示シナリオには、例えば、付加データであるテキストを時間経過に応じて順次表示させながら特徴点に追従させる変化パターン等がある。図２０（ａ）に示すように、ある時刻では、特徴点２０２に追従する付加データ４８０ａである吹き出し内に、１行分のテキストが表示されている。その後、時間が経過すると、図２０（ｂ）に示すように、特徴点２０２の移動とともに付加データ４８０ｂが移動し、かつ付加データ４８０ｂ内に２行分のテキストが表示される。このように、かかる表示シナリオを用いることで、特徴点の挙動に追従し、かつ動きのある付加データを表示させることができる。

以上、表示シナリオの内容例について説明した。本実施形態によれば、ユーザが特徴点と付加データとの関連付けを行い、当該付加データを変化させる表示シナリオを選択すれば、付加データ作成部１２０が自動的に動画像コンテンツ中の特徴点の挙動に応じて表示シナリオに沿った付加データメタ情報を作成する。また、付加データメタ情報は表示シナリオに沿って作成されるため、表示シナリオを変更するだけで容易に付加データメタ情報の内容を変更することができる。すなわち、１つの付加データから複数の付加データを表示する表示パターンを作成することができる。

付加データメタ情報は、１つの動画像コンテンツに対して１つ作成される。付加データメタ情報には、１または２以上の表示シナリオに沿った付加データの変化パターンが記憶される。各付加データの変化パターンは、図３Ａ、図３Ｂ、図４、後述する図５に示す方法等によって設定することができる。このため、複数の付加データの変化パターンを容易に設定することができ、ある時刻における動画像コンテンツ内に複数の付加データを付加することも容易である。

［再生中手描き処理］
次に、図５に基づいて、動画像コンテンツの再生中に描画を行う表示処理について説明する。なお、図５は、本実施形態にかかる再生中手描き処理を示すフローチャートである。動画像コンテンツの再生中に付加データを描画する場合、動画像コンテンツの特徴点の動きを確認しながら描画することができ、例えば図２０に示したような動きのある付加データを作成しやすいという利点がある。

図５に示す再生中手描き処理は、図３ＡのステップＳ１０２において再生中手描き処理を行うことが選択された場合に実行される。ユーザがかかる処理を選択すると、まず、手描きにより付加データを作成するための描画ツールを選択する画面が表示部１１４に表示される。かかる画面において、ユーザは描画する際の線種や色などを設定する（ステップＳ３１０）。なお、付加データの線種や色などは、付加データを描画した後に設定し直すことも可能である。

次いで、ユーザは、動画像コンテンツを再生しながら付加データを描画する（ステップＳ３２０）。付加データの描画は、図３ＡのステップＳ１１８と同様に行うことができる。ユーザは、付加データを描画し終えると、例えば動画像コンテンツの再生を一時停止してかかる付加データを確定させる。これにより、動きのある付加データが作成される。作成された付加データは、かかる付加データが表示される動画像コンテンツの時刻と関連付けられ、付加データメタ情報としてメタ情報格納部１５２に記録される。

以上、動画像コンテンツの再生中に描画を行う表示処理について説明した。この場合、付加データと特徴点との関連付けは特に行わなくともよいが、動画像コンテンツ内に類似する特徴点の挙動がある場合には、その特徴点に付加データを関連付けて付加することもできる。

このように、本実施形態にかかる画像処理装置１００によれば、様々な方法で作成される付加データを特徴点と関連付けて、特徴点の挙動に応じて付加データが変化する付加データメタ情報が自動的に生成される。これにより、動画像中の動く対象に対して付加情報を簡単に追加することが可能となる。

なお、図６〜図１３に示す画面例は、タッチペン１１６等で実行させる処理と関連付けられたアイコンを選択することで操作情報を入力するものであったが、本発明はかかる例に限定されない。例えば、タッチペン１１６や指などの操作体による表示部１１４の表面のなぞり方（操作体の動作）によって、その操作に関連付けられた所定の処理を実行させるものであってもよい。具体的には、操作体で画面の右側をタッチしたときには次ページに移行し、画面の左側をタッチしたときに前ページに移行する、というように、所定の動作に所定の処理を関連付けて画面操作を行えるようにすることができる。

［ハードウェア構成例］
本実施形態にかかる画像処理装置１００による画像処理は、ハードウェアにより実行させることもでき、ソフトウェアによって実行させることもできる。この場合、画像処理装置１００には、図２１に示すようなコンピュータも含まれる。以下、図２１に基づいて、本実施形態にかかる画像処理装置１００のハードウェア構成の一例を説明する。なお、図２１は、本実施形態にかかる画像処理装置１００を示すハードウェア構成図である。

本実施形態の画像処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、ホストバス１０４ａとを備える。また、画像処理装置１００は、ブリッジ１０４と、外部バス１０４ｂと、インタフェース１０５と、入力装置１０６と、出力装置１０７と、ストレージ装置（ＨＤＤ）１０８と、ドライブ１０９と、接続ポート１１１と、通信装置１１３とを備える。

ＣＰＵ１０１は、演算処理装置および制御装置として機能し、各種プログラムに従って画像処理装置１００内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス１０４ａにより相互に接続されている。

ホストバス１０４ａは、ブリッジ１０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１０４ｂに接続されている。なお、必ずしもホストバス１０４ａ、ブリッジ１０４および外部バス１０４ｂを分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置１０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。画像処理装置１００のユーザは、該入力装置１０６を操作することにより、画像処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。本実施形態では、入力装置１０６は、図１に示すように、タッチパネルとして構成されている。

出力装置１０７は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置１０７は、スピーカおよびヘッドホンなどの音声出力装置を含む。本実施形態では、図１に示すように、出力装置１０７として入力表示部１１０の表示部１１４が設けられている。

ストレージ装置１０８は、画像処理装置１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置１０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置１０８は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置１０８は、ハードディスクを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。

ドライブ１０９は、記憶媒体用リーダライタであり、画像処理装置１００に内蔵、あるいは外付けされる。ドライブ１０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ１０３に出力する。

接続ポート１１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置１１３は、例えば、通信網１５に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１１２は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、動画像コンテンツと付加データメタ情報とを別々のデータとして保持したが、本発明はかかる例に限定されない。例えば、付加データメタ情報を動画像コンテンツとともにエンコードして記憶部に記憶させてもよい。

１００ 画像処理装置
１１０ 入力表示部
１１２ 入力検出部
１１４ 表示部
１２０ 付加データ作成部
１３０ 特徴点追尾部
１４０ デコード部
１５０ 記憶部
１５２ メタ情報格納部
１５４ 実データ格納部
１５６ 描画データ格納部
１５８ 表示シナリオ格納部

Claims (11)

1. 動画像データから特徴点を検出する特徴点検出部と、
   少なくとも特徴点に付随して表示される付加情報を表示させる１または２以上の特徴点を選択する特徴点選択情報および選択された前記特徴点に付加された前記付加情報を変化させる表示シナリオを選択する表示シナリオ選択情報が入力される入力部と、
   前記特徴点選択情報に基づいて、選択された前記特徴点と付加情報とを関連付ける関連処理部と、
   動画像データの再生により変化する前記特徴点の挙動を解析する動き解析部と、
   前記動き解析部により解析された前記特徴点の挙動を表す動き情報と、特徴点の挙動に応じて前記特徴点に付加された前記表示シナリオとに基づいて、前記特徴点に関連付けられた前記付加情報の表示を変化させる変化内容を表すメタデータを生成するメタデータ生成部と、
   を備える、画像処理装置。
2. 特徴点の挙動パターンと当該挙動パターンに合致する特徴点に付加された付加情報の表示方法とにより表された１または２以上の表示シナリオを記憶する表示シナリオ記憶部を備え、
   前記メタデータ生成部は、前記特徴点選択情報により選択された前記特徴点について、選択された前記表示シナリオの前記特徴点の挙動パターンと合致する特徴点の挙動を前記動き情報から検出したとき、前記表示シナリオに規定された表示方法で前記付加情報を表示させるメタデータを生成する、請求項１に記載の画像処理装置。
3. １または２以上の付加情報を記憶する付加情報記憶部を備え、
   前記入力部には、前記特徴点に付随させる前記付加情報を選択する選択情報が入力される、請求項１または２に記載の画像処理装置。
4. 動画像データに付加する付加情報が手描きにより入力される手描きデータ入力部を備える、請求項１〜３のいずれかに記載の画像処理装置。
5. 前記メタデータ生成部は、前記動き情報から把握される動画像データの画像内における特徴点の位置に基づいて、前記特徴点に関連付けられた前記付加情報の表示位置を変化させるメタデータを生成する、請求項１〜４のいずれかに記載の画像処理装置。
6. 前記メタデータ生成部は、前記動き情報から把握される動画像データの表示サイズに対する特徴点のサイズに基づいて、前記特徴点に関連付けられた前記付加情報のサイズを変化させるメタデータを生成する、請求項１〜５のいずれかに記載の画像処理装置。
7. 前記メタデータ生成部は、前記動き情報から把握される特徴点の表情の変化に応じて、前記特徴点に関連付けられた前記付加情報を表示させるメタデータを生成する、請求項１〜６のいずれかに記載の画像処理装置。
8. 前記メタデータ生成部は、前記動き情報から把握される特徴点の移動速度に応じて、前記特徴点に関連付けられた前記付加情報の表示を変化させるメタデータを生成する、請求項１〜７のいずれかに記載の画像処理装置。
9. 前記入力部から２以上の特徴点を選択する選択情報が入力された場合、前記メタデータ生成部は、前記特徴点間の距離に応じてこれらの前記特徴点に関連付けられた前記付加情報の表示サイズを変更させるメタデータを生成する、請求項１〜８のいずれかに記載の画像処理装置。
10. 動画像データから特徴点を検出するステップと、
    特徴点に付随して表示される付加情報を表示させる１または２以上の特徴点を選択するステップと、
    選択された前記特徴点に付加された前記付加情報を変化させる変化パターンを表す表示シナリオを選択する表示シナリオ選択情報がさらに入力されるステップと、
    選択された前記特徴点と付加情報とを関連付けるステップと、
    動画像データの再生により変化する前記特徴点の挙動を解析するステップと、
    解析された前記特徴点の挙動を表す動き情報と、特徴点の挙動に応じて前記特徴点に付加された前記表示シナリオとに基づいて、前記特徴点に関連付けられた前記付加情報の表示を変化させる変化内容を表すメタデータを生成するステップと、
    を含む、画像処理方法。
11. 動画像データから特徴点を検出する特徴点検出手段と、
    少なくとも特徴点に付随して表示される付加情報を表示させる１または２以上の特徴点を選択する特徴点選択情報および選択された前記特徴点に付加された前記付加情報を変化させる表示シナリオを選択する表示シナリオ選択情報が入力される入力手段と、
    前記特徴点選択情報に基づいて、選択された前記特徴点と付加情報とを関連付ける関連処理手段と、
    動画像データの再生により変化する前記特徴点の挙動を解析する動き解析手段と、
    前記動き解析手段により解析された前記特徴点の挙動を表す動き情報と、特徴点の挙動に応じて前記特徴点に付加された前記表示シナリオとに基づいて、前記特徴点に関連付けられた前記付加情報の表示を変化させる変化内容を表すメタデータを生成するメタデータ生成手段と、
    を備える画像処理装置として機能させるためのコンピュータプログラム。
    

Images