次に本発明の実施の形態について図面を参照して詳細に説明する。
図1は、本発明の実施の形態における画像処理装置100の機能構成例を示すブロック図である。画像処理装置100は、動画入力部110と、カメラワーク検出部120と、記録制御部130と、ファイル取得部140と、画像変換部150と、操作受付部160と、一致点選択部170と、相対関係情報算出部180と、対象画像変換情報算出部190と、動画記憶部200と、メタデータ記憶部210と、相対関係情報記憶部220と、配置情報算出部230と、画像合成部240と、画像メモリ250と、表示領域取出部260と、表示用メモリ270と、表示制御部280と、表示部290と、一致点検索部340とを備える。画像処理装置100は、例えば、デジタルビデオカメラ等の撮像装置で撮影された動画について、映像解析により特徴量を抽出し、この抽出された特徴量を用いて各種画像処理を施すことが可能なパーソナルコンピュータによって実現することができる。
動画入力部110は、デジタルビデオカメラ等の撮像装置(以下では、単に「カメラ」と称する。)により撮像された動画を入力する動画入力部であり、入力された動画をカメラワーク検出部120に出力する。
カメラワーク検出部120は、動画入力部110から出力された動画を解析して、撮影時におけるカメラの動き情報(カメラワーク)を検出するものであり、このカメラの動き情報に基づいて算出されたアフィン変換パラメータ(カメラワークパラメータ)を記録制御部130に出力する。すなわち、カメラワーク検出部120は、動画を構成する各画像から特徴点を抽出するとともに、この特徴点に対するオプティカルフロー(動きベクトル)を抽出し、この抽出された特徴点に対するオプティカルフローを解析して支配的な動きを見せた特徴点を選択し、この支配的な動きを見せた特徴点に対するオプティカルフローに基づいてカメラの動きを推定する。ここで、支配的な動きとは、複数の特徴点に対するオプティカルフローの中で、比較的多数のオプティカルフローが示す規則的な動きを意味する。なお、カメラワーク検出部120については、図2を参照して詳細に説明する。
記録制御部130は、動画入力部110から出力された動画を動画ファイルとして動画記憶部200に記録するとともに、カメラワーク検出部120から出力されたアフィン変換パラメータを、対応する動画およびフレームに関連付けてメタデータファイルとしてメタデータ記憶部210に記録するものである。また、記録制御部130は、相対関係情報算出部180から出力されたアフィン変換パラメータを、このアフィン変換パラメータに対応する動画およびフレームに関連付けて相対関係情報記憶部220に記録する。
動画記憶部200は、記録制御部130の制御に基づいて動画入力部110から出力された動画を動画ファイルとして記憶するものである。また、動画記憶部200は、ファイル取得部140からの要求に応じて動画ファイルをファイル取得部140に供給し、一致点検索部340からの要求に応じて少なくとも2つの動画ファイルを一致点検索部340に供給する。なお、動画記憶部200に記憶される動画ファイルについては、図4および図5を参照して詳細に説明する。
メタデータ記憶部210は、記録制御部130の制御に基づいてカメラワーク検出部120から出力されたアフィン変換パラメータをメタデータファイルとして記憶するものである。また、メタデータ記憶部210は、ファイル取得部140からの要求に応じてメタデータファイルをファイル取得部140に供給する。なお、メタデータ記憶部210に記憶されるメタデータファイルについては、図4を参照して詳細に説明する。
相対関係情報記憶部220は、記録制御部130の制御に基づいて、相対関係情報算出部180から出力されたアフィン変換パラメータと、これに対応する動画およびフレームとを関連付けて相対関係メタデータファイルとして記憶するものである。また、相対関係情報記憶部220は、ファイル取得部140からの要求に応じて相対関係メタデータファイルをファイル取得部140に供給する。なお、相対関係情報記憶部220に記憶される相対関係メタデータファイルについては、図5を参照して詳細に説明する。
ファイル取得部140は、操作受付部160により受け付けられた操作入力に応じて、動画記憶部200、メタデータ記憶部210、または、相対関係情報記憶部220に記憶されている各ファイルの少なくとも1つを取得し、取得された各ファイルの情報を各部に供給するものである。具体的には、ファイル取得部140は、動画を表す代表画像を表示する指示操作が操作受付部160により受け付けられた場合には、メタデータ記憶部210に記憶されているメタデータファイルを取得し、このメタデータに記憶されている代表画像を表示制御部280に出力する。また、ファイル取得部140は、表示部290に表示されている代表画像を選択する選択操作が操作受付部160により受け付けられた場合には、選択された代表画像に関連付けて動画記憶部200に記憶されている動画ファイルと、この動画ファイルに関連付けられてメタデータ記憶部210に記憶されているメタデータファイルと、この動画ファイルに関連付けられて相対関係情報記憶部220に記憶されている全ての相対関係メタデータファイルとを取得し、取得された動画ファイルの動画およびメタデータファイルのアフィン変換パラメータを画像変換部150に出力する。また、取得されたメタデータファイルおよび相対関係メタデータファイルの内容を、対象画像変換情報算出部190および配置情報算出部230に出力する。また、取得された相対関係メタデータファイルに含まれる他の動画IDを表示制御部280に出力する。また、ファイル取得部140は、動画を通常再生する指示操作が操作受付部160により受け付けられた場合には、指示された動画記憶部200に記憶されている動画ファイルを取得し、この動画ファイルの動画を一致点選択部170および表示用メモリ270に出力する。
画像変換部150は、ファイル取得部140から出力された動画ファイルの動画を構成する画像について、この画像に対応するアフィン変換パラメータを用いてフレーム毎にアフィン変換を施し、アフィン変換された画像を画像合成部240に出力するものである。ここで、複数の動画の合成再生が選択された場合、または、動画の合成再生中に他の動画が選択された場合には、画像変換部150は、再生の対象となる複数の動画のうちの1つの動画を基準動画とし、この基準動画については、この基準動画を構成する画像に対応するアフィン変換パラメータを用いて、フレーム毎にアフィン変換を施す。一方、再生の対象となる複数の動画のうちの基準動画以外の他の動画については、対象画像変換情報算出部190により算出された対象画像変換情報(アフィン変換パラメータ)と、動画を構成する画像に対応するアフィン変換パラメータとを用いて、フレーム毎にアフィン変換を施す。なお、これらの画像変換については、図11乃至図21等を参照して詳細に説明する。また、複数動画の変換方法については、図24等を参照して詳細に説明する。
操作受付部160は、各種入力キーからなるキーボードやマウス(ポインティングデバイス)を備え、これらのマウス等から操作入力を受け付けると、受け付けた操作入力の内容をファイル取得部140、一致点選択部170、画像合成部240、表示領域取出部260、または、一致点検索部340に出力するものである。なお、操作受付部160の少なくとも一部と表示部290とをタッチパネルとして一体として構成するようにしてもよい。ここで、マウスの操作として、例えば、「左クリック」とは、マウスの左側ボタンを1回だけ押すことを意味し、「右クリック」とは、マウスの右側ボタンを1回だけ押すことを意味し、「ダブルクリック」とは、マウスの左側ボタンを連続で2回押すことを意味する。また、「左ドラッグ」とは、マウスの左側ボタンを押し続けながらマウスを移動することを意味し、「右ドラッグ」とは、マウスの右側ボタンを押し続けながらマウスを移動することを意味し、「ドロップ」とは、ドラッグ後にボタンを離し、ドラッグ中の対象を移動等させることを意味する。
一致点選択部170は、操作受付部160により一致点を指定する指定操作の操作入力が受け付けられた場合には、ファイル取得部140から出力された動画ファイルの動画を構成する画像における一致点を選択するものであり、1つの画像について少なくとも3つの一致点が選択された場合には、この選択された一致点の位置および選択順序と、選択対象の画像とを相対関係情報算出部180に出力する。この一致点の選択操作は、複数の画像について同時に行うようにしてもよく、1つの動画毎に順次行うようにしてもよい。
一致点検索部340は、動画記憶部200に記憶されている複数の動画ファイルの中の少なくとも2つの動画についての相対関係情報を作成する旨の操作入力が操作受付部160により受け付けられた場合には、指定された複数の動画を構成する各画像について、少なくとも3つの一致点を検索するものであり、この検索された一致点の位置を含む各画像を相対関係情報算出部180に出力する。この一致点の検索は、例えば、画像の大小にかかわらず、画像に含まれる物体を認識することが可能な一般物体認識等の技術(例えば、特開2002−65399号を参照。)を用いることによって実現することができる。また、一致点検索部340については、図3を参照して詳細に説明する。
相対関係情報算出部180は、一致点選択部170または一致点検索部340から出力された少なくとも2つの画像およびこれらの画像における少なくとも3つの一致点に基づいて、これらの画像に関する相対関係情報としてのアフィン変換パラメータを算出するものであり、算出されたアフィン変換パラメータと、このアフィン変換パラメータの算出に用いられた動画の動画IDおよび画像のフレーム番号を記録制御部130に出力する。なお、これらの画像に関するアフィン変換パラメータの算出については、図9および図10を参照して詳細に説明する。また、本発明の実施の形態では、相対関係情報として、アフィン変換パラメータを用いる例について説明するが、射影変換パラメータ等の他の画像変換情報を用いるようにしてもよい。なお、アフィン変換パラメータは、3点のベクトルを用いて計算して求めることができ、射影変換パラメータは、4点のベクトルを用いて計算して求めることができる。
対象画像変換情報算出部190は、複数の動画の合成再生が選択された場合、または、動画の合成再生中に他の動画が選択された場合に、ファイル取得部140から出力されたメタデータファイルおよび相対関係メタデータファイルのアフィン変換パラメータに基づいて、再生の対象となる複数の動画の中の1つの動画を構成する少なくとも1つの画像を基準画像とし、他の動画を構成する各画像を対象画像とした場合に、この対象画像の変換に用いられる対象画像変換情報を算出するものである。そして、算出された対象画像変換情報を画像変換部150に出力する。1つの動画における基準画像については、例えば、1つの動画を構成する画像の中の先頭フレームに対応する画像を用いることができる。また、対象画像変換情報は、例えば、基準画像に対する対象画像の変換に用いられるアフィン変換パラメータである。なお、対象画像変換情報の算出については、図24等を参照して詳細に説明する。
配置情報算出部230は、1つの動画の合成再生が選択された場合には、ファイル取得部140から出力されたメタデータファイルのアフィン変換パラメータに基づいて、再生の対象となる1つの動画により作成される合成画像の大きさ(合成画像の表示範囲)を算出し、この算出された合成画像の大きさに基づいて、再生の対象となる1つの動画を構成する少なくとも1つの画像の画像メモリ250における配置情報を算出するものである。また、配置情報算出部230は、複数の動画の合成再生が選択された場合、または、動画の合成再生中に他の動画が選択された場合には、ファイル取得部140から出力されたメタデータファイルおよび相対関係メタデータファイルのアフィン変換パラメータに基づいて、再生の対象となる複数の動画により作成される合成画像の大きさを算出し、この算出された合成画像の大きさに基づいて、再生の対象となる複数の動画を構成する少なくとも1つの画像の画像メモリ250における配置情報を算出する。そして、算出された画像メモリ250における配置情報を画像合成部240に出力する。配置情報を算出する対象となる画像として、例えば、1つの動画を構成する画像の中の先頭フレームに対応する画像を用いることができる。また、本発明の実施の形態では、配置情報として、画像の画像メモリ250における配置位置および大きさを例にして説明する。なお、基準画像の配置位置および大きさの算出については、図25、図26等を参照して詳細に説明する。
画像合成部240は、画像メモリ250に保持されている直前までの各フレームに対応する合成画像に、画像変換部150によるアフィン変換後の画像を上書きすることにより画像を合成し、合成された新たな合成画像を画像メモリ250に保存するものである。また、画像合成部240は、複数の動画が選択されている場合には、画像メモリ250に保持されている直前までの各フレームに対応する合成画像に、基準画像を基準として画像変換部150によりアフィン変換された各画像を上書きすることにより画像を合成し、合成された新たな合成画像を画像メモリ250に保存する。なお、画像合成部240は、表示領域取出部260から出力された表示領域における現画像の位置に基づいて、画像変換部150によるアフィン変換後の現画像を表示用メモリ270に保持される合成画像に上書きすることにより合成する。また、画像合成部240は、複数の動画が選択されている場合についても同様に、表示領域取出部260から出力された表示領域における各現画像の位置に基づいて、画像変換部150によるアフィン変換後の各現画像を表示用メモリ270に保持される合成画像に上書きすることにより合成する。ここで、表示用メモリ270に合成される現画像の大きさについては、表示倍率の値に応じて決定される。なお、表示用メモリ270における現画像の合成については、図21等を参照して詳細に説明する。なお、複数の動画の再生開始位置については、配置情報算出部230により算出された配置位置および大きさに応じて、それぞれ決定される。なお、これらの画像合成については、図11乃至図26等を参照して詳細に説明する。ここで、画像合成部240は、画像変換部150によるアフィン変換後の画像を圧縮して画像メモリ250に保持されている合成画像に上書きし、表示用メモリ270に保持される合成画像に上書きされる現画像を非圧縮画像または圧縮された履歴画像よりも高解像度の撮像画像とする。これにより、合成画像を出力する際の履歴画像を圧縮画像とし、現画像を非圧縮画像または圧縮された履歴画像よりも高解像度の撮像画像とすることができる。
画像メモリ250は、画像合成部240により合成された合成画像を保持するワークバッファであり、保持されている合成画像を画像合成部240または表示領域取出部260に供給するものである。すなわち、画像メモリ250は、履歴画像を保持する画像メモリである。
表示領域取出部260は、画像メモリ250に保持されている合成画像から、表示の対象となる領域である表示領域の範囲内に存在する画像を取り出すものであり、取り出された画像を表示用メモリ270に保持させる。なお、この表示領域の範囲内に含まれる画像の取出しについては、図20、図21等を参照して詳細に説明し、表示領域における現画像の位置の算出については、図21等を参照して詳細に説明する。
表示用メモリ270は、表示領域取出部260により画像メモリ250から取り出された画像を保持する表示用バッファであり、保持されている画像が表示部290に表示される。
表示制御部280は、表示用メモリ270に保持されている合成画像をフレーム毎に表示部290に順次表示させるものである。また、表示制御部280は、ファイル取得部140から出力されたメタデータファイルの内容に基づいて、各動画を表す代表画像を表示部290に表示させる。また、表示制御部280は、ファイル取得部140から出力された相対関係メタデータファイルの内容に基づいて、各動画を表す代表画像のうちで、現在再生中の動画と共通して相対関係メタデータファイルに格納されている動画IDに対応する代表画像に太枠等のマークを付して表示させる。
表示部290は、表示制御部280の制御に基づいて、表示用メモリ270に保持されている合成画像や代表画像の一覧を表示するものである。例えば、パーソナルコンピュータやテレビジョンのディスプレイにより実現することができる。なお、合成画像の表示例については、図42乃至図46等を参照して詳細に説明する。ここで、動画を構成する画像における一致点を選択する場合には、図9(a)および(b)に示すように、表示部290に表示される画面上に、マウスの動きに応じて移動するカーソル(マウスポインタ)が表示される。
図2は、本発明の実施の形態におけるカメラワーク検出部120の機能構成例を示すブロック図である。カメラワーク検出部120は、特徴点抽出部121と、オプティカルフロー計算部122と、カメラワークパラメータ算出部123とを備える。
特徴点抽出部121は、動画入力部110から出力された動画を構成するフレームに対応する画像から特徴点を抽出し、抽出された特徴点をオプティカルフロー計算部122に出力するものである。ここで、特徴点抽出部121は、動画入力部110から出力された動画を構成するフレームのうちの先頭のフレームについては、画像全体から特徴点を抽出し、先頭以外のフレームについては、直前のフレームに対応する画像と比較して新しく撮影された領域部分から特徴点を抽出する。なお、特徴点として、例えば、縦方向または横方向にエッジの勾配が強い点(一般に「コーナー点」と呼ばれている。以下では、「コーナー点」と称する。)を抽出することができる。このコーナー点は、オプティカルフローの計算に強い特徴点であり、エッジ検出を用いて求めることができる。なお、このコーナー点の抽出については、図6および図7を参照して詳細に説明する。また、この例では、特徴点抽出部121は、先頭のフレームについては画像全体から特徴点を抽出し、先頭以外のフレームについては直前の画像と比較して新しく撮影された領域部分から特徴点を抽出するが、処理能力等に応じて、先頭以外の各フレームについても、画像全体から特徴点を抽出するようにしてもよい。
オプティカルフロー計算部122は、特徴点抽出部121から出力された各特徴点に対するオプティカルフローを計算するものであり、計算して求められたオプティカルフローをカメラワークパラメータ算出部123に出力する。具体的には、動画入力部110から出力された動画を構成する連続する2つのフレーム(現フレームおよびこの直前のフレーム)に対応する各画像を比較することにより、直前のフレームに対応する画像における各特徴点に対応するオプティカルフローを、現フレームのオプティカルフローとして求める。また、オプティカルフローは、動画を構成するフレーム毎に求められる。なお、オプティカルフローを検出する検出方法として、勾配法やブロックマッチング方法等の検出方法を用いることができる。なお、このオプティカルフローの計算については、図6および図7を参照して詳細に説明する。
カメラワークパラメータ算出部123は、オプティカルフロー計算部122から出力された各特徴点に対応するオプティカルフローを用いて、カメラワークパラメータを算出するカメラワークパラメータ算出処理を行うものであり、算出されたカメラワークパラメータを記録制御部130に出力する。ここで、本発明の実施の形態では、再生の対象となる複数の動画を構成する各画像をカメラの動きに合わせてそれぞれ変換して表示する。この画像の変換を行うため、オプティカルフロー計算部122により計算されたオプティカルフローを用いてカメラの動きが抽出され、この抽出された動きに基づいて、カメラワークパラメータ(変換パラメータ)が計算される。なお、本発明の実施の形態では、再生の対象となる動画を構成する画像を変換する画像変換方法として、アフィン変換を用いる例について説明する。また、カメラワークパラメータとして、オプティカルフローに基づいて算出されたアフィン変換パラメータの行列の逆行列に対応するアフィン変換パラメータを用いる例について説明する。すなわち、本発明の実施の形態では、変換情報として用いられるアフィン変換パラメータを、連続する画像間の特徴点の動きを表すアフィン行列ではなく、連続する画像のうちの1つの画像を基準画像とした場合に、この基準画像の次の画像がどこに移動するかを示すアフィン行列に対応するアフィン変換パラメータと定義する。また、カメラワークパラメータとして、アフィン変換パラメータを用いる例について説明するが、射影変換等の他の画像変換方法を用いるようにしてもよい。なお、アフィン変換パラメータは、3点のベクトルを用いて計算して求めることができる。また、射影変換パラメータは、4点のベクトルを用いて計算して求めることができる。ここで、カメラワークパラメータは、撮像動画を構成する撮像画像のうちの少なくとも1つの撮像画像を基準にして他の撮像画像を変換するための変換情報であり、少なくともカメラの座標系で記述される位置情報および姿勢情報を含むものである。すなわち、カメラワークパラメータは、撮影者により撮影されている場合におけるカメラの位置や姿勢に関する情報を含むものである。また、カメラワークパラメータ算出部123により求められたアフィン変換パラメータに基づいて、例えば、ズームイン、ズームアウト、パン、チルト、ローテーション等の撮影者の操作によるカメラの動きを推定することができる。なお、アフィン変換パラメータの計算については、図6および図7を参照して詳細に説明する。
図3は、本発明の実施の形態における一致点検索部340の機能構成例を示すブロック図である。一致点検索部340は、動画取得部141と、多重解像度生成部341と、特徴点抽出部342と、特徴量抽出部343と、モデル辞書登録部344と、多重解像度生成部345と、特徴点抽出部346と、特徴量抽出部347と、kdツリー構築部348と、特徴量比較部349とを備える。そして、一致点検索部340は、複数の動画を構成するフレーム間の部分的な一致度を計算し、この計算された一致度に基づいて複数の動画を自動的に関連付けるものである。
動画取得部141は、操作受付部160からの動画取得に係る操作入力に応じて、動画記憶部200に記憶されている2つの動画ファイルを取得するものであり、取得された1つの動画ファイルを構成する画像をフレーム毎に多重解像度生成部341に出力する。また、他の動画ファイルを構成する画像をフレーム毎に多重解像度生成部345に出力する。
多重解像度生成部341は、動画取得部141から出力された画像について、予め定められている割合で解像度を低下させることにより、複数の異なる解像度の画像からなる多重解像度画像を、認識時における場合よりも細かい精度で生成するものであり、生成された多重解像度画像を特徴点抽出部342に出力する。
特徴点抽出部342は、多重解像度生成部341から出力された多重解像度画像のそれぞれの解像度の画像について特徴点を抽出するものであり、抽出された特徴点を特徴量抽出部343に出力する。この特徴点の抽出方法は、例えば、図2に示す特徴点抽出部121による特徴点抽出方法と同様の方法を用いることができる。
特徴量抽出部343は、特徴点抽出部342から出力された特徴点における少なくとも2つの局所的な特徴量を抽出するものであり、抽出された特徴量をモデル辞書登録部344に登録させるものである。ここで、特徴量抽出部343により抽出される2つの局所的な特徴量は、第1のタイプの特徴量として特徴点近傍の濃度勾配の方向ヒストグラムが抽出され、第2のタイプの特徴量として次元縮退濃度勾配ベクトルが抽出される。
モデル辞書登録部344は、特徴量抽出部343から出力された特徴量を登録するものであり、登録されている特徴量をkdツリー構築部348に供給する。
多重解像度生成部345は、動画取得部141から出力された画像について、予め定められている割合で解像度を低下させることにより、複数の異なる解像度の画像からなる多重解像度画像を、学習時における場合よりも粗い精度で生成するものであり、生成された多重解像度画像を特徴点抽出部346に出力する。
特徴点抽出部346は、多重解像度生成部345から出力された多重解像度画像のそれぞれの解像度の画像について特徴点を抽出するものであり、抽出された特徴点を特徴量抽出部343に出力する。この特徴点の抽出方法は、例えば、特徴点抽出部342と同様の方法を用いることができる。
特徴量抽出部347は、特徴点抽出部342から出力された特徴点における少なくとも2つの局所的な特徴量を抽出するものであり、抽出された特徴量を特徴量比較部349に出力するものである。この特徴量抽出は、例えば、特徴量抽出部343と同様の方法を用いることができる。
kdツリー構築部348は、モデル辞書登録部344に登録されている各特徴量に基づいて、特徴量比較部349による特徴量の比較に用いられるkdツリーを構築するものであり、構築されたkdツリーを特徴量比較部349に出力する。ここで、特徴量比較部349により特徴量が比較される場合、特徴量抽出部347から抽出された各特徴点特徴量と、モデル辞書登録部344に登録されている各特徴点特徴量とが比較され、類似する特徴量抽出部347から抽出された特徴点特徴量とモデル辞書登録部344に登録されている特徴点特徴量との組み合わせが検索される。この特徴量比較方法として、最も単純な方法は全探索である。すなわち、特徴量抽出部347から抽出された各特徴点特徴量に対して、モデル辞書登録部344に登録されている各特徴点特徴量との特徴量間類似度の計算を行い、この計算された類似度に基づいて、類似する特徴点特徴量の組み合わせを選択する方法が最も単純な方法である。しかしながら、全探索による方法は、処理時間が長くなる。そこで、本発明の実施の形態では、大量のデータ群からデータを高速に探索するために、kdツリーというデータ構造を用いたツリー探索手法(J.H.Friedman, J.L.Bentley, R.A.Finkel:"An algorithm for finding best matches in logarithmic expected time,"ACM Transactions on Mathematical Software, Vol.3, No.3, pp.209-226, September 1977.)を用いる例について説明する。Kdツリーは、k次元の木構造のツリーを意味する。なお、本発明の実施の形態では、タイプ1の特徴量の36dツリー(k=36)とタイプ2の特徴量の18dツリー(k=18)がそれぞれ構築される。構築されたツリーの各リーフ(終端ノード)には、1つの特徴点特徴量が、その特徴量がどのフレームの多重解像度画像群の、どの画像の、どのスケールから抽出された、どの特徴点の特徴量なのか等を参照することができるラベル等の情報とともに保持される。
特徴量比較部349は、特徴量抽出部347から抽出された各特徴点特徴量と、kdツリー構築部348により構築されたKdツリーとして表現された各特徴点特徴量とを比較して、k−NN(k Nearest Neighbor)探索することにより、類似度を計算して類似する特徴点特徴量の組み合わせを検索し、検索された特徴点特徴量の組み合わせに対応する特徴点の位置を一致点として相対関係情報算出部180に出力する。ここで、1または複数の動画に関する特徴量をモデル辞書登録部344に予め登録しておき、動画取得部141が動画記憶部200に記憶されている他の動画ファイルを順次取得して、登録された動画と他の動画とについて一致点を順次検索するようにしてもよい。また、動画記憶部200に記憶されている各動画ファイルを、一致点検索部340が順次取得して、動画記憶部200に記憶されている各動画ファイルに関する一致点を自動的に順次検索するようにしてもよい。なお、検索の対象となる一致点については、図10を参照して詳細に説明する。
図4は、本発明の実施の形態における動画記憶部200およびメタデータ記憶部210に記録されている各ファイルを模式的に示す図である。図4(a)では、動画記憶部200に記憶されている動画ファイル201乃至204と、動画ファイル201乃至204に関連付けてメタデータ記憶部210に記憶されているメタデータファイル211乃至213とを示す。ここで、動画記憶部200に記憶されている各動画ファイルを識別するための識別情報である動画IDが、各動画ファイルに付与されているものとする。例えば、動画ファイル201には「#1」が付与され、動画ファイル202には「#2」が付与され、動画ファイル204には「#n」が付与されている。
図4(b)では、動画記憶部200に記憶されている動画ファイル201と、動画ファイル201に関連付けてメタデータ記憶部210に記憶されているメタデータファイル211とを模式的に示す図である。ここで、動画ファイル201は、n枚のフレームで構成された動画のファイルであり、これらのn枚のフレームをフレーム「1」205乃至「n」208として示す。
また、メタデータファイル211には、動画ID214と、代表画像215と、フレーム番号216と、アフィン変換パラメータ217とが関連付けて格納されている。
動画ID214は、対応する動画ファイルに付与されている動画IDであり、例えば、動画ファイル201に付与されている「#1」が格納される。
代表画像215は、対応する動画ファイルの動画を表す画像であり、例えば、動画ファイルから抽出された少なくとも1つの画像が格納される。例えば、動画ファイルを構成する先頭のフレームに対応する先頭画像が抽出され、この先頭画像が代表画像として格納される。なお、代表画像として、動画を表す他の標識(例えば、アニメーションにより作成されるアイコン)を格納するようにしてもよく、動画ファイルから抽出された複数の画像を格納するようにしてもよい。本発明の実施の形態においては、この代表画像を表示して所望の動画を選択する例について説明する。
フレーム番号216は、対応する動画ファイルの動画を構成する各フレームの通し番号であり、例えば、動画ファイル201の動画を構成するフレーム「1」205乃至「n」208に対応する「1」乃至「n」が格納される。
アフィン変換パラメータ217は、フレーム番号216に対応する動画の各フレームについて計算されたアフィン変換パラメータである。なお、フレーム番号216の「1」に対応するアフィン変換パラメータ217「a1,b1,c1,d1,e1,f1」は、単位行列のアフィン変換パラメータである。また、フレーム番号216の「m(mは2以上の整数)」に対応するアフィン変換パラメータ217の「am,bm,cm,dm,em,fm」は、フレーム「m」の直前フレーム「m−1」に対するアフィン変換パラメータである。
図5は、本発明の実施の形態における動画記憶部200および相対関係情報記憶部220に記録されている各ファイルを模式的に示す図である。この例では、動画記憶部200に記憶されている動画ファイル201乃至204と、動画ファイル201乃至204に関連付けて相対関係情報記憶部220に記憶されている相対関係メタデータファイル221乃至223とを模式的に示す図である。この例では、動画ファイル(#1)201を構成するフレーム「5」361およびフレーム「8」362と、動画ファイル(#2)202を構成するフレーム「7」363およびフレーム「9」364と、動画ファイル(#3)203を構成するフレーム「3」365およびフレーム「10」366とが、相対関係情報記憶部220に記憶されている相対関係メタデータファイル221乃至223に関連付けて記憶されている例について説明する。なお、動画記憶部200に記憶されている各動画ファイルについては、図4に示す動画ファイルと同様であるため、ここでの説明を省略する。
相対関係メタデータファイル221乃至223には、動画ID224と、フレーム番号225と、アフィン変換パラメータ226とが関連付けてそれぞれ格納されている。
動画ID224は、少なくとも3つの一致点を互いに含む2つの画像に対応する2つの動画ファイルに付与されている動画IDであり、例えば、相対関係メタデータファイル221には、動画ファイル201に付与されている「#1」および動画ファイル202に付与されている「#2」が格納される。
フレーム番号225は、少なくとも3つの一致点を互いに含む2つの画像に対応する2つのフレームの通し番号であり、例えば、相対関係メタデータファイル221には、動画ファイル201の動画を構成するフレームのフレーム番号「5」および動画ファイル202の動画を構成するフレームのフレーム番号「7」が格納される。
アフィン変換パラメータ226は、動画ID224およびフレーム番号225に対応する少なくとも2つの画像について計算されたアフィン変換パラメータであり、例えば、相対関係メタデータファイル221には、動画ファイル201の動画を構成するフレーム「5」および動画ファイル202の動画を構成するフレーム「7」に対応するアフィン変換パラメータとして「ao,bo,co,do,eo,fo」が格納される。なお、本発明の実施の形態では、アフィン変換パラメータ226は、対応する2つの動画ID224およびフレーム番号225のうちの図5に示す下側のフレーム番号に対応する画像を基準画像として、上側を対象画像とした場合におけるアフィン変換パラメータであるものとする。例えば、相対関係メタデータファイル221に格納されているアフィン変換パラメータ226は、動画ファイル(#1)201の動画を構成するフレーム「5」361の動画ファイル(#2)202の動画を構成するフレーム「7」363に対するアフィン変換パラメータである。
次に、画像変換に用いられるアフィン変換パラメータを検出する検出方法について図面を参照して詳細に説明する。
図6(a)乃至(c)は、動画を構成するフレームに対応する画像の一例を示す図である。図7(a)は、図6に示す画像300に対応するフレームの1つ前のフレームに対応する画像について背景等を省略して簡略化した画像を示す図である。また、図7(b)および(c)は、図6に示す画像300について背景等を省略して簡略化した画像を示す図である。
図6および図7に示す画像300、320、330には、人が跨っている馬の像301、321、331と、この馬の像301、321、331の手前に設置されている蛇の像302、322、332とが含まれている。また、図6に示すように、これらの像の背景には旗や椅子等が存在し、この旗が風になびいている。
図7(a)に示す画像320は、図6(a)乃至(c)および図7(b)および(c)に示す画像300、330に対応するフレームの1つ前のフレームに対応する画像を簡略化した画像である。また、2つの連続するフレームに対応する画像320および330は、画面内の被写体がしだいに大きくなる場合における遷移を示す画像である。すなわち、この撮影時には、画面内の被写体をしだいに大きくする操作であるズームイン操作がされている。
本発明の実施の形態では、動画を構成する画像から特徴点を検出し、この特徴点に対応するオプティカルフローを用いてアフィン変換パラメータを計算する方法を例にして説明する。また、この例では、特徴点としてコーナー点を用いる場合について説明する。
ここで、図7(a)乃至(c)では、画像320および330から検出された3つのコーナー点に対応するオプティカルフローを用いてアフィン変換パラメータを計算する方法を例にして説明する。
例えば、図7(a)に示す画像320において、特徴点として、馬の像321における口付近のコーナー点323と、馬の像321における人のお尻付近のコーナー点324と、蛇の像322の口付近のコーナー点325とが検出されているものとする。この場合において、図7(b)に示す画像330において、勾配法やブロックマッチング法等により、画像320におけるコーナー点323、324および325に対するオプティカルフロー337、338および339が検出される。そして、この検出されたオプティカルフロー337、338および339に基づいて、画像320におけるコーナー点323、324および325に対応するコーナー点333、334および335が検出される。
ここで、例えば、図7(a)および(b)に示す画像320および330に含まれる馬の像321、331や蛇の像322、332は、地面に設置されているものであるため、カメラの動きとは無関係に動くものではない。このため、馬の像321、331や蛇の像322、332について検出されたコーナー点に対して求められたオプティカルフローに基づいて、カメラの動きを正確に推定することができる。例えば、図7(c)に示すように、画像330において検出された3つのオプティカルフロー337乃至339に基づいて、画像330が、点336を中心にして画像320を拡大したものであることを推定することができる。これにより、画像330の撮影時におけるカメラの動きは、点336を中心とするズームイン動作であると判断することができる。このように、カメラの動きとは無関係に動くものではない物体についてコーナー点を検出し、このコーナー点に対して求められたオプティカルフローに基づいて、一定の規則性を備えるカメラの動きを正確に検出することができる。このため、これらのコーナー点に対して求められたオプティカルフローを用いて、アフィン変換パラメータを計算して求めることができる。
しかしながら、風になびいている旗等のように、カメラの動きとは無関係に動く物体が画像内に含まれる場合が考えられる。例えば、図6に示す画像300には、風になびいている旗が含まれている。このようなカメラの動きとは無関係に動く物体についてコーナー点が検出され、このコーナー点に対して求められたオプティカルフローを用いてカメラの動きを推定する場合には、カメラの動きを正確に推定することができない。
例えば、図6(b)に示す画像300において検出されたオプティカルフローを矢印で示すとともに、このオプティカルフローにより検出されたコーナー点を矢印の先端に白抜きの丸で示す。ここで、コーナー点303乃至305は、図7(b)および(c)に示すコーナー点333乃至335に対応するコーナー点である。また、コーナー点306乃至311は、馬の像301の背景に存在する旗について検出されたコーナー点である。そして、これらの旗が風になびいているため、風の影響による旗の動きがオプティカルフローとして検出されている。すなわち、コーナー点306乃至311に対応する各オプティカルフローは、カメラの動きとは無関係に動く旗について検出されたものである。このため、アフィン変換パラメータを計算する場合に用いられる3つのオプティカルフローに、コーナー点306乃至311のうちの少なくとも1つのコーナー点に対応するオプティカルフローが含まれている場合には、正確なカメラの動きを検出することができない。この場合には、正確なアフィン変換パラメータを計算することができない。
以上で示したように、例えば、カメラの動きとは無関係に動く物体に対するオプティカルフロー(図6(b)に示すコーナー点306乃至311に対応する各オプティカルフロー)と、カメラの動きとの関係で一定の規則性を備えるオプティカルフロー(図6(b)に示すコーナー点306乃至311に対応する各オプティカルフロー以外のオプティカルフロー)とが、撮影画像から検出されることがある。
そこで、本発明の実施の形態では、3個のオプティカルフローに基づいてアフィン変換パラメータを計算するアフィン変換パラメータ計算処理を複数回行い、複数のアフィン変換パラメータを求め、これらの複数のアフィン変換パラメータの中から最適なアフィン変換パラメータを選択する例について説明する。なお、この例では、動画を構成する各画像に含まれている動物体の大きさが、画像の面積に対して比較的小さいものとする。
ここで、アフィン変換について簡単に説明する。2次元上において、移動元の位置を(x,y)とし、アフィン変換後の移動先の位置を(x´,y´)とした場合に、アフィン変換の行列式は、式1で表すことができる。
ここで、a乃至fは、アフィン変換パラメータである。また、このアフィン変換パラメータによるアフィン行列AMを次の式で表すことができる。また、X方向のズーム成分XZ、Y方向のズーム成分YZ、X方向の並進成分XT、Y方向の並進成分YT、回転成分Rについては、それぞれ次の式で求めることができる。なお、単位行列の場合には、a=e=1、b=c=d=f=0となる。
次に、アフィン変換パラメータの計算方法について説明する。
最初に、動画を構成するフレームの中の1つのフレームである現フレームに対応する画像において、オプティカルフローが検出された特徴点の中から3個の特徴点が選択される。例えば、図6(b)に示す画像300において検出されたコーナー点(白抜きの丸で示す)の中からランダムに3個のコーナー点が選択される。なお、カメラワークパラメータとして、射影変換パラメータを用いる場合には、4個の特徴点がランダムに選択される。
続いて、選択された3個の特徴点に対応する3個のオプティカルフローを用いてアフィン変換パラメータが計算される。例えば、図6(b)に示す画像300におけるコーナー点(白抜きの丸で示す)の中から選択された3個のコーナー点に対応するオプティカルフロー(白抜きの丸に接続される矢印で示す)を用いてアフィン変換パラメータが計算される。このアフィン変換パラメータは、式1を用いて求めることができる。
続いて、求められたアフィン変換パラメータに基づいて、アフィン変換パラメータのスコアが計算される。具体的には、求められたアフィン変換パラメータを用いて、現フレームの直前のフレームに対応する画像における全ての特徴点の移動先の位置を求める。そして、このアフィン変換パラメータを用いて求められた特徴点の位置と、現フレームにおいて検出された特徴点の位置とを比較して、互いに対応する2つの特徴点の位置の差分値が特徴点毎に計算される。差分値として、例えば、互いに対応する2つの特徴点の位置間の絶対距離が計算される。続いて、計算された差分値と、予め設定されている閾値とを特徴点毎に比較して、その差分値が閾値よりも小さい特徴点の個数をアフィン変換パラメータのスコアとして求める。このように、オプティカルフローが検出された特徴点の中から3個の特徴点をランダムに選択し、これらの特徴点に対応するオプティカルフローに基づいてアフィン変換パラメータのスコアを算出する処理を所定回数繰り返し、アフィン変換パラメータのスコアを複数算出する。この所定回数は、比較の対象となる画像の種類や画像処理装置100の処理能力等に応じて適宜設定するようにしてもよく、固定値を用いるようにしてもよい。この所定回数として、例えば、画像処理装置100の処理能力を考慮して20回程度と設定することができる。
例えば、図6(b)に示す画像300において検出されたコーナー点の中から、コーナー点306乃至311以外のコーナー点が3個選択された場合を考える。このように選択された3個のコーナー点に対応する3個のオプティカルフローを用いてアフィン変換パラメータが計算されると、上述したように、この3個のオプティカルフローは一定の規則性を備えているため、直前のフレームに対応する画像を一定の規則に従って変換させるアフィン変換パラメータが求められる。このため、アフィン変換パラメータを用いて求められたコーナー点の位置と、現フレームにおいて検出されたコーナー点の位置とについて、コーナー点306乃至311以外のコーナー点に関して求められる差分値は、比較的小さい値が算出される。このため、アフィン変換パラメータのスコアは、大きい値になる。
一方、図6(b)に示す画像300において検出されたコーナー点の中から、コーナー点306乃至311のうちの少なくとも1個を含む3個のコーナー点が選択された場合を考える。このように選択された3個のコーナー点に対応する3個のオプティカルフローを用いてアフィン変換パラメータが計算されると、上述したように、この3個のオプティカルフローには、一定の規則性を備えていないオプティカルフローが含まれるため、直前のフレームに対応する画像を一定の規則に従って変換させるものではないアフィン変換パラメータが求められる。このため、アフィン変換パラメータを用いて求められたコーナー点の位置と、現フレームにおいて検出されたコーナー点の位置とについて求められる差分値は、任意のコーナー点で比較的大きい値が算出される。このため、アフィン変換パラメータのスコアは、小さい値になる。
続いて、求められた複数のアフィン変換パラメータのスコアの中で、スコアの値が最も大きいアフィン変換パラメータを代表アフィン変換パラメータとして選択する。そして、選択された代表アフィン変換パラメータの行列に対する逆行列を算出して、この逆行列のアフィン変換パラメータを現フレームに関連付けてメタデータ記憶部210に記録する。これにより、動画を構成する画像をアフィン変換する場合に、最適なアフィン変換パラメータを用いてアフィン変換することができる。
以上で示したように、動画を構成する各画像に人物や車等の動いている物体(動物体)が含まれている場合でも、画像の面積に対するその動物体の大きさが比較的小さい場合には、動物体の影響を受けずにカメラの動きを抽出することができる。
また、カメラの動きを抽出することによって、ズームイン、ズームアウト、パン、チルト、ローテーション等の意図的に撮影者が移動させたと思われる動きを推定することができる。
次に、本発明の実施の形態における画像処理装置100の動作について図面を参照して説明する。
図8は、本発明の実施の形態における画像処理装置100によるアフィン変換パラメータ検出処理の処理手順を示すフローチャートである。
最初に、動画入力部110に動画ファイルが入力される(ステップS900)。続いて、動画入力部110に入力された動画ファイルがデコードされ、時系列の順序で1つのフレームの画像が取得される(ステップS901)。続いて、取得された1つのフレームが動画入力部110に入力された動画ファイルの先頭のフレームであるか否かが判断される(ステップS902)。取得された1つのフレームが、先頭のフレームである場合には(ステップS902)、この先頭のフレームに対応する画像の全体から特徴点が抽出される(ステップS903)。例えば、図6(b)に示すように、画像において複数のコーナー点が抽出される。続いて、アフィン変換パラメータとして単位行列のアフィン変換パラメータが選択され(ステップS904)、ステップS914に進む。
一方、取得された1つのフレームが、先頭のフレームではない場合には(ステップS902)、直前のフレームに対応する画像を基準として新たに撮影された領域から特徴点が抽出される(ステップS905)。すなわち、直前のフレームに対応する画像において既に抽出されている特徴点については、この特徴点に対応するオプティカルフローにより求めることができるため、現フレームに対応する画像においては抽出されない。
続いて、直前のフレームに対応する画像から抽出された各特徴点に対するオプティカルフローが計算される(ステップS906)。すなわち、図6(b)に示すように、各コーナー点に対するオプティカルフローが計算される。
続いて、変数iが「1」に初期化される(ステップS907)。続いて、オプティカルフローが検出された特徴点の中から、M個の特徴点が選択される(ステップS908)。例えば、カメラワークパラメータとして、アフィン変換パラメータを用いる場合には、3個の特徴点がランダムに選択される。また、カメラワークパラメータとして、射影変換パラメータを用いる場合には、4個の特徴点がランダムに選択される。続いて、選択されたM個の特徴点に対応して計算されたM個のオプティカルフローに基づいて、アフィン変換パラメータが計算される(ステップS909)。
続いて、計算して求められたアフィン変換パラメータに基づいて、アフィン変換パラメータのスコアが計算される(ステップS910)。具体的には、計算して求められたアフィン変換パラメータを用いて、直前のフレームに対応する画像における全ての特徴点の移動先の位置を求める。そして、このアフィン変換パラメータを用いて求められた特徴点の位置と、ステップS906でオプティカルフローを計算した際に求められた現フレームに対応する画像における特徴点の位置とを比較して、互いに対応する2つの特徴点の位置の差分値が特徴点毎に計算される。差分値として、例えば、互いに対応する2つの位置間の絶対距離が計算される。続いて、計算された差分値と、予め設定されている閾値とを特徴点毎に比較して、その差分値が閾値よりも小さい特徴点の個数をアフィン変換パラメータのスコアとして求める。
続いて、変数iに「1」が加算され(ステップS911)、変数iが、定数Nよりも大きいか否かが判断される(ステップS912)。変数iが、定数N以下である場合には(ステップS912)、ステップS908に戻り、アフィン変換パラメータのスコア算出処理を繰り返す(ステップS908乃至S910)。例えば、定数Nとして、20を用いることができる。
一方、変数iが定数Nよりも大きい場合には(ステップS912)、求められたアフィン変換パラメータのスコアのうちで、スコアの値が最も大きいアフィン変換パラメータが代表アフィン変換パラメータとして選択される(ステップS913)。続いて、選択された代表アフィン変換パラメータの行列に対する逆行列のアフィン変換パラメータが、現フレームに関連付けてメタデータ記憶部210に記録される(ステップS914)。なお、現フレームが先頭のフレームである場合には、選択された単位行列のアフィン変換パラメータが、先頭のフレームに関連付けてメタデータ記憶部210に記録される。続いて、現フレームに対応する画像と、この画像における特徴点とが上書き保存される(ステップS915)。
続いて、現フレームが、動画入力部110に入力された動画ファイルの最後のフレームであるか否かが判断される(ステップS916)。現フレームが、最後のフレームではない場合には(ステップS916)、ステップS901に戻り、アフィン変換パラメータ検出処理を繰り返す(ステップS901乃至S915)。一方、現フレームが、最後のフレームである場合には(ステップS916)、アフィン変換パラメータ検出処理を終了する。
本発明の実施の形態では、カメラワークパラメータの検出として、動画を構成する画像において検出されたオプティカルフローに基づいてアフィン変換パラメータを検出する例について説明したが、加速度センサやジャイロセンサ等のセンサやズーム操作をする際に用いられるズームボタンをカメラに設け、このセンサやズームボタンによって撮影時におけるカメラの移動量を検出し、このカメラの移動量に基づいてカメラワークパラメータを求めるようにしてもよい。なお、これらの撮影時において検出されたカメラの移動量については、カメラワークパラメータ算出部123により求められたカメラワークパラメータが正しいか否かを判断する際に用いることができる。また、カメラワークパラメータ算出部123により複数のカメラワークパラメータを検出しておき、撮影時において検出されたカメラの移動量に基づいて、この複数のカメラワークパラメータの中から1つのカメラワークパラメータを選択するようにしてもよい。
図9は、画像に含まれる一致点を選択することにより2つの画像に関するアフィン変換パラメータを算出するアフィン変換パラメータ算出方法、および、その選択された一致点に基づいて2つの画像を合成させた場合を概略的に示す図である。図9(a)には、基準となる1つの動画を構成する基準画像の一例である画像370を示し、図9(b)には、比較対象となる他の動画を構成する比較対象画像の一例である画像376を示す。図9(a)および(b)に示す画像370および376は、画像370または376の何れかを含む2つの動画を表示部290での再生中に停止させた状態を示す画像である。この例では、表示部290に動画を停止させた状態で、この動画の停止の際に表示されている画像における一致点を手動で指定する場合における選択方法を概略的に示す。図9(c)には、画像370および376において選択された各一致点を用いて、アフィン変換パラメータを算出する場合に用いられるオプティカルフローの検出例を示す。また、図9(d)には、画像370および376において選択された各一致点に基づいて、画像370および376を合成させた場合の一例を示す。
図9(a)および(b)に示す画像370および376には、同一の対象物である家371が含まれているものとする。ここで、画像370を含む動画、および画像376を含む動画に関する相対関係メタデータファイルをユーザの手動操作により作成する場合には、これらの2つの動画をユーザが手動操作により再生させ、同一の対象物が含まれる画像を表示部290に表示させる。例えば、同一の対象物である家371が含まれている画像370および376を表示部290に表示させる。この場合に、画像370および376の2つの画像を表示部290における同一の画面上に表示させるようにしてもよく、1つの画像を順次表示させるようにしてもよい。
例えば、図9(a)に示す画像370が表示部290に表示されている状態で、操作受付部160においてユーザが操作入力を行うことにより、カーソル375を用いて家371の屋根の上部分372、家371の下側の角部分373および374を指定する。例えば、指定すべき部分にカーソル375を重ねた状態で左クリック操作を行うことにより所望の部分を指定することができる。このように指定操作が行われた場合には、例えば、図9(a)に示すように、指定操作がされた部分に丸印を付してその部分をユーザに認識させることができる。また、図9(b)に示す画像376についても、同様に、家371の屋根の上部分377と、家371の下側の角部分378および379を指定する。これらの指定操作がユーザにより行われると、この指定された位置を一致点選択部170が画像における一致点として選択して、この選択された一致点の位置および指定された順序を画像とともに相対関係情報算出部180に出力する。
図9(a)および(b)に示すように、2つの画像370および376において、それぞれ3つの一致点が選択された場合には、相対関係情報算出部180が、これらの一致点に基づいてベクトルを算出し、この算出されたベクトルを用いて、アフィン変換パラメータを算出する。このベクトルは、例えば、指定された一致点の順序に基づいて、2つの画像において対応する一致点の組合せを選択して、この一致点の組合せにより算出される。例えば、画像370において家371の屋根の上部分372、家371の下側の角部分373、374の順序で指定操作が行われ、さらに、画像376において、家371の屋根の上部分377、家371の下側の角部分378、379の順序で指定操作が行われた場合には、画像370における上部分372と、画像376における上部分377とについてベクトルが算出され、画像370における角部分373と、画像376における角部分378とについてベクトルが算出され、画像370における角部分374と、画像376における角部分379とについてベクトルが算出される。このように、画像370および376において選択された各一致点に基づいて算出されたベクトルを、図9(c)に矢印381乃至383で示す。なお、図9(c)に示す画像380では、図9(a)に示す画像370に含まれる線を点線で示し、図9(b)に示す画像376に含まれる線を実線で示す。このように算出されたベクトルを用いて、アフィン変換パラメータが算出される。このアフィン変換パラメータの算出については、図6および図7で示した算出方法と同様である。なお、本発明の実施の形態では、一致点を用いて算出されたアフィン変換パラメータの行列の逆行列に対応するアフィン変換パラメータを、相対関係メタデータとして用いる例について説明する。すなわち、相対関係メタデータとして用いられるアフィン変換パラメータを、一致点が求められた2つの画像間のベクトルにより表されるアフィン行列ではなく、2つの画像のうちの1つの画像を基準画像とした場合に、他の画像がどこに移動するかを示すアフィン行列に対応するアフィン変換パラメータと定義する。
なお、相対関係情報算出部180は、指定された順序を用いずにアフィン変換パラメータを算出するようにしてもよい。例えば、各画像において一致点として選択された3点のそれぞれの組合せについてベクトルを算出する。2つの画像において3つの一致点がそれぞれ選択されている場合には、各画像における一致点の組合せとして6通りの組合せが考えられる。続いて、この6通りの組合せについて算出された各ベクトルを用いて、6通りのアフィン変換パラメータを算出する。続いて、2つの画像のうちの一方の画像を基準画像とし、他の画像を比較対象画像として、算出された6通りのアフィン変換パラメータを用いて、比較対象画像を順次アフィン変換する。これにより、1つの基準画像と、6つのアフィン変換された比較対象画像とが作成される。続いて、基準画像における3つの一致点を頂点とする三角形の内部に存在する画素と、アフィン変換された比較対象画像における3つの一致点を頂点とする三角形の内部に存在する画素とを比較することにより、各三角形の内部に存在する画素の輝度値の差分値を順次算出する。これにより、6通りのアフィン変換パラメータに対応する6つの差分値の2乗の合計値が算出される。続いて、算出された6つの差分値の中から、値が最も小さい差分値に係るアフィン変換パラメータを選択し、この選択されたアフィン変換パラメータを、一致点の指定操作がされた2つの画像に関するアフィン変換パラメータとして決定する。
また、例えば、画像370および376において選択された各一致点に基づいて算出されたアフィン変換パラメータを用いて、画像370をアフィン変換して画像376に上書き合成した場合には、図9(d)に示す画像384が作成される。このように、算出されたアフィン変換パラメータを用いて画像370および376を合成することにより、家371の周りの背景が各画像における背景よりも広範囲に含まれた合成画像が作成される。
図10は、画像に含まれる一致点を選択することにより2つの画像に関するアフィン変換パラメータを算出するアフィン変換パラメータ算出方法を概略的に示す図である。ここでは、図1および図3に示す一致点検索部340により画像に含まれる一致点が検索され、この検索された一致点を用いて2つの画像に関するアフィン変換パラメータを算出する例について説明する。なお、図10(a)乃至(c)に示す画像370、376、380は、一致点検索部340により検索された各特徴点を丸で示す点以外は、図9(a)乃至(c)に示す画像370、376、380と同じものである。上述したように、一致点検索部340は、動画を構成するフレーム間の部分的な一致度を計算し、この計算された一致度に基づいて複数の画像を自動的に関連付ける。2つの動画について一致点の検索が行われる場合に、例えば、画像370における特徴点として特徴点801乃至810、372乃至374が抽出され、画像376における特徴点として特徴点811乃至823、377乃至379が抽出される。そして、抽出された特徴点の中から、各画像において類似する特徴点の組合せが選択される。例えば、画像370および376においては、特徴点805乃至810、372乃至374と、特徴点818乃至823、377乃至379とが選択される。図10(a)および(b)では、このマッチする特徴点を太丸で示す。このように選択された特徴点の中から、アフィン変換パラメータの算出に用いられる3つの特徴点が一致点として検索される。例えば、画像370および376においては、特徴点372乃至374と、特徴点377乃至379とが一致点として検索される。この一致点の検索は、例えば、類似度のスコアが最も高いスコアである特徴点の組合せを選択する。そして、この検索された一致点に基づいてベクトルが算出され、このベクトルに基づいてアフィン変換パラメータが算出される。なお、これらのアフィン変換パラメータの算出については、図9で示した算出方法と同様である。
次に、カメラワーク検出部120により算出されたアフィン変換パラメータを用いて、1つの動画を再生表示する場合について図面を参照して詳細に説明する。なお、図11乃至図19に示す各画像は、説明のため、簡略化するとともに、連続する2つのフレーム間の移動量を大きくして示している。
最初に、カメラの撮影時において、倍率が変更されないものの、カメラの位置を中心として、カメラのレンズの方向が上下左右の何れかに移動されている場合について説明する。
図11は、カメラにより撮影された動画の遷移の一例を示す図である。図11には、山を背景にして人400を撮影した場合における動画に含まれる連続するフレームに対応する画像401乃至403を示す図である。この例では、カメラのレンズの方向を右および上側に移動しながら、撮影者が撮影を行っている場合を示す。この場合には、カメラにより撮影される動画に含まれる人400が、その動画を構成する画像において右側から左側に移動するとともに下側に移動する。
図12は、図11に示す各画像において、直前のフレームに対応する画像を破線で示すとともに、検出されるオプティカルフローの一例を示す図である。図12(a)に示す画像401は、図11(a)に示す画像401と同じものである。また、図12(b)に示す画像402のうちの実線の部分は、図11(b)に示す画像402と同じものであり、図12(b)に示す画像402のうちの破線の部分は、図12(a)に示す画像401の実線の部分と同じものである。また、図12(b)に示す画像402における矢印404乃至406は、画像402から検出されたオプティカルフローの一例を示す。同様に、図12(c)に示す画像403のうちの実線の部分は、図11(c)に示す画像403と同じものであり、図12(c)に示す画像403のうちの破線の部分は、図12(b)に示す画像402の実線の部分と同じものである。また、図12(c)に示す画像403における矢印407乃至409は、画像403から検出されたオプティカルフローの一例を示す。
図12(b)および(c)に示すように、カメラの移動に合わせて、画像に含まれる人400および背景の山が移動する。この移動により検出されるオプティカルフローに基づいてアフィン変換パラメータをフレーム毎に求めることができる。
図13は、図11に示す画像401乃至403を含む動画を合成しながら再生する場合における画像合成例を示す図である。なお、本発明の実施の形態では、2つの動画を構成する各画像が合成されるため、再生時間の経過とともに、表示部290に表示される画像が通常の画像よりも大きくなる。このため、最初に表示される画像は、表示部290の表示領域の大きさよりも比較的小さくして表示される。なお、最初に表示される画像の大きさや位置等をユーザが指定するようにしてもよい。
図13(a)に示すように、最初は、先頭のフレームに対応する画像401のみが表示される。ここで、画像401に対応するアフィン変換パラメータの行列(3×3の行列)をA1とする場合に、A1の値が求められ、先頭のフレームの画像401の位置および大きさを基準にして、求められたA1の行列により画像401がアフィン変換される。ここで、Aは単位行列であるため、画像401の位置および大きさは変換されない。続いて、次のフレームに対応する画像402が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて画像402がアフィン変換される。具体的には、画像402に対応するアフィン変換パラメータの行列をA2とし、画像401に対応するアフィン変換パラメータの行列をA1とする場合において、A1×A2の値が求められ、先頭のフレームの画像401の位置および大きさを基準にして、求められたA1×A2の行列により画像402がアフィン変換される。図13(b)に示す画像においては、画像402の位置のみが変換される。そして、アフィン変換パラメータによりアフィン変換された画像402が、直前のフレームに対応する画像401に重なるように上書きされる。すなわち、画像401の領域のうちで、画像402と重複する領域410については、画像402の画像が上書きされる。また、画像401の領域のうちで、画像402と重複しない領域411については、画像401の画像が合成される。すなわち、2つ目のフレームに対応する画像402が表示される場合には、図13(b)に示すように、画像402の全体部分と、画像401のうちの領域411に対応する部分とが合成された画像が表示される。また、表示されている画像のうちで最新の画像であることを示す画像枠を現フレームに対応する画像の周りに表示させることができる。図13(b)では、画像402に画像枠が表示される。また、画像402をアフィン変換したアフィン変換パラメータが画像変換部150に保持される。
続いて、次のフレームに対応する画像403が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて画像403がアフィン変換される。すなわち、画像403に対応するアフィン変換パラメータの行列と、直前のアフィン変換に用いられた画像402に対応するアフィン変換パラメータの行列とを用いて求められたアフィン変換パラメータにより画像403がアフィン変換される。具体的には、画像403に対応するアフィン変換パラメータの行列をA3とし、画像402に対応するアフィン変換パラメータの行列をA2とし、画像401に対応するアフィン変換パラメータの行列をA1とする場合において、A1×A2×A3の値が求められ、先頭のフレームの画像401の位置および大きさを基準にして、求められたA1×A2×A3の行列により画像403がアフィン変換される。図13(c)に示す画像においては、画像403の位置のみが変換される。そして、アフィン変換パラメータによりアフィン変換された画像403が、前のフレームに対応する画像401および402の合成画像に重なるように上書きされる。すなわち、画像401および402の合成画像の領域のうちで、画像403と重複する領域413および414については、画像403の画像が上書きされる。また、画像401および402の合成画像の領域のうちで、画像403と重複しない領域411および412については、画像401および402の合成画像が合成される。すなわち、3つ目のフレームに対応する画像403が表示される場合には、図13(c)に示すように、画像403の全体部分と、画像401のうちの領域411に対応する部分と、画像402のうちの領域412に対応する部分とが合成された画像が表示される。また、表示されている画像のうちで最新の画像であることを示す画像枠を現フレームに対応する画像の周りに表示させる場合には、図13(c)に示す画像403に画像枠が表示される。また、画像403をアフィン変換したアフィン変換パラメータが画像変換部150に保持される。すなわち、画像402および403のそれぞれに対応するアフィン変換パラメータの行列の乗算により求められたアフィン変換パラメータが画像変換部150に保持される。このように、現フレームに対応する画像をアフィン変換する場合には、現フレームに対応するアフィン変換パラメータの行列と、この直前までの各フレームに対応するアフィン変換パラメータの行列とを用いて求められたアフィン変換パラメータにより、現フレームに対応する画像がアフィン変換される。このアフィン変換の際に求められたアフィン変換パラメータが画像変換部150に保持され、次のアフィン変換で用いられる。また、図16および図19の場合についても同様である。
次に、カメラの撮影時において、カメラのレンズの方向は移動されないものの、倍率が変更されている場合について説明する。
図14は、カメラにより撮影された動画の遷移の一例を示す図である。図14には、山を背景にして人420を撮影した場合における動画に含まれる連続するフレームに対応する画像421乃至423を示す図である。この例では、カメラのレンズの倍率を上げながら、撮影者が撮影を行っている場合を示す。この場合には、カメラにより撮影される動画に含まれる人420が、その動画を構成する画像において次第に大きくなる。なお、倍率を上げる際にカメラの位置が多少移動する場合があるものの、この例では、カメラの位置の移動については考慮せずに説明する。
図15は、図14に示す各画像において、直前のフレームに対応する画像を破線で示すとともに、検出されるオプティカルフローの一例を示す図である。図15(a)に示す画像421は、図14(a)に示す画像421と同じものである。また、図15(b)に示す画像422のうちの実線の部分は、図14(b)に示す画像422と同じものであり、図15(b)に示す画像422のうちの破線の部分は、図14(a)に示す画像421の実線の部分と同じものである。また、図15(b)に示す画像422における矢印424乃至426は、画像422から検出されたオプティカルフローの一例を示す。同様に、図15(c)に示す画像423のうちの実線の部分は、図14(c)に示す画像423と同じものであり、図15(c)に示す画像423のうちの破線の部分は、図14(b)に示す画像422の実線の部分と同じものである。また、図15(c)に示す画像423における矢印427乃至429は、画像423から検出されたオプティカルフローの一例を示す。
図15(b)および(c)に示すように、倍率の変更に合わせて、画像に含まれる人420および背景の山の大きさが変更する。この変更により検出されるオプティカルフローに基づいてアフィン変換パラメータをフレーム毎に求めることができる。
図16は、図14に示す画像421乃至423を含む動画を再生する場合における表示例を示す図である。
図16(a)に示すように、最初は、先頭のフレームに対応する画像421のみが表示される。続いて、次のフレームに対応する画像422が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて画像422がアフィン変換される。図16(b)に示す画像においては、画像422の大きさのみが変換される。そして、アフィン変換パラメータによりアフィン変換された画像422が、直前のフレームに対応する画像421に重なるように上書きされる。すなわち、画像421の領域のうちで、画像422と重複する領域については、画像422の画像が上書きされる。この場合には、画像421は、画像422の全ての領域と重複しているため、画像421に画像422の全ての画像が上書きされる。また、画像421の領域のうちで、画像422と重複しない領域431については、画像421の画像が合成される。すなわち、2つ目のフレームに対応する画像422が表示される場合には、図16(b)に示すように、画像422の全体部分と、画像421のうちの領域431に対応する部分とが合成された画像が表示される。また、表示されている画像のうちで最新の画像であることを示す画像枠を現フレームに対応する画像の周りに表示させることができる。図16(b)では、画像422に画像枠が表示される。また、画像422をアフィン変換したアフィン変換パラメータが画像変換部150に保持される。
続いて、次のフレームに対応する画像423が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて画像423がアフィン変換される。すなわち、画像423に対応するアフィン変換パラメータの行列と、直前のアフィン変換に用いられた画像422に対応するアフィン変換パラメータの行列とを乗算して求められたアフィン変換パラメータにより画像423がアフィン変換される。図16(c)に示す画像においては、画像423の大きさのみが変換される。そして、アフィン変換された画像423が、前のフレームに対応する画像421および422の合成画像に重なるように上書きされる。すなわち、画像421および422の合成画像の領域のうちで、画像423と重複する領域については、画像423の画像が上書きされる。この場合には、画像423は、画像421および422の全ての領域と重複しているため、画像421および422の合成画像に画像423の全ての画像が上書きされる。また、画像421および422の合成画像の領域のうちで、画像423と重複しない領域432および433については、画像421および422の合成画像が合成される。すなわち、3つ目のフレームに対応する画像423が表示される場合には、図16(c)に示すように、画像423の全体部分と、画像421のうちの領域432に対応する部分と、画像422のうちの領域433に対応する部分とが合成された画像が表示される。また、表示されている画像のうちで最新の画像であることを示す画像枠を現フレームに対応する画像の周りに表示させる場合には、図16(c)に示す画像423に画像枠が表示される。また、画像423をアフィン変換したアフィン変換パラメータが画像変換部150に保持される。すなわち、画像422および423のそれぞれに対応するアフィン変換パラメータを用いて求められたアフィン変換パラメータが画像変換部150に保持される。
次に、カメラの撮影時において、カメラのレンズの方向や倍率は変更されないものの、撮影方向を回転中心にしてカメラが回転されている場合について説明する。
図17は、カメラにより撮影された動画の遷移の一例を示す図である。図17には、山を背景にして人440を撮影した場合における動画に含まれる連続するフレームに対応する画像441乃至443を示す図である。この例では、撮影方向を回転中心にしてカメラを回転しながら、撮影者が撮影を行っている場合を示す。この場合には、カメラにより撮影される動画に含まれる人440が、その動画を構成する画像において回転していく。なお、カメラの回転によりカメラの位置が多少移動する場合があるものの、この例では、カメラの位置の移動については考慮せずに説明する。
図18は、図17に示す各画像において、直前のフレームに対応する画像を破線で示すとともに、検出されるオプティカルフローの一例を示す図である。図18(a)に示す画像441は、図17(a)に示す画像441と同じものである。また、図18(b)に示す画像442のうちの実線の部分は、図17(b)に示す画像442と同じものであり、図18(b)に示す画像442のうちの破線の部分は、図17(a)に示す画像441の実線の部分と同じものである。また、図18(b)に示す画像442における矢印444乃至446は、画像442から検出されたオプティカルフローの一例を示す。同様に、図18(c)に示す画像443のうちの実線の部分は、図17(c)に示す画像443と同じものであり、図18(c)に示す画像443のうちの破線の部分は、図17(b)に示す画像442の実線の部分と同じものである。また、図18(c)に示す画像443における矢印447乃至449は、画像443から検出されたオプティカルフローの一例を示す。
図18(b)および(c)に示すように、カメラの回転に合わせて、画像に含まれる人440および背景の山が回転移動する。この回転移動により検出されるオプティカルフローに基づいてアフィン変換パラメータをフレーム毎に求めることができる。
図19は、図17に示す画像441乃至443を含む動画を再生する場合における表示例を示す図である。
図19(a)に示すように、最初は、先頭のフレームに対応する画像441のみが表示される。続いて、次のフレームに対応する画像442が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて画像442がアフィン変換される。図19(b)に示す画像においては、画像442の角度のみが変換される。そして、アフィン変換パラメータによりアフィン変換された画像442が、直前のフレームに対応する画像441に重なるように上書きされる。すなわち、画像441の領域のうちで、画像442と重複する領域450については、画像442の画像が上書きされる。また、画像441の領域のうちで、画像442と重複しない領域451および452については、画像441の画像が合成される。すなわち、2つ目のフレームに対応する画像442が表示される場合には、図19(b)に示すように、画像442の全体部分と、画像441のうちの領域451および452に対応する部分とが合成された画像が表示される。また、表示されている画像のうちで最新の画像であることを示す画像枠を現フレームに対応する画像の周りに表示させることができる。図19(b)では、画像442に画像枠が表示される。また、画像442をアフィン変換したアフィン変換パラメータが画像変換部150に保持される。
続いて、次のフレームに対応する画像443が表示される場合には、このフレームに関連付けられているアフィン変換パラメータを用いて画像443がアフィン変換される。すなわち、画像443に対応するアフィン変換パラメータの行列と、直前のアフィン変換に用いられた画像442に対応するアフィン変換パラメータの行列とを用いて求められたアフィン変換パラメータにより画像443がアフィン変換される。図19(c)に示す画像においては、画像443の角度のみが変換される。そして、アフィン変換された画像443が、前のフレームに対応する画像441および442の合成画像に重なるように上書きされる。すなわち、画像441および442の合成画像の領域のうちで、画像443と重複する領域453乃至457については、画像443の画像が上書きされる。また、画像441および442の合成画像の領域のうちで、画像443と重複しない領域458乃至461については、画像441および442の合成画像がさらに合成される。すなわち、3つ目のフレームに対応する画像443が表示される場合には、図19(c)に示すように、画像443の全体部分と、画像441のうちの領域459に対応する部分と、画像442のうちの領域458および460に対応する部分とが合成された画像が表示される。また、表示されている画像のうちで最新の画像であることを示す画像枠を現フレームに対応する画像の周りに表示させる場合には、図19(c)に示す画像443に画像枠が表示される。また、画像443をアフィン変換したアフィン変換パラメータが画像変換部150に保持される。すなわち、画像442および443のそれぞれに対応するアフィン変換パラメータを用いて求められたアフィン変換パラメータが画像変換部150に保持される。
図20は、本発明の実施の形態における動画記憶部200に記憶されている動画ファイルの各フレームと、表示領域との関係を模式的に示す図である。ここでは、操作受付部160、メタデータ記憶部210および画像メモリ250についてのみ図示し、これら以外の構成についての図示を省略する。また、図4(b)に示す動画ファイル201を構成するフレーム「1」乃至「3」について、メタデータファイル211に記憶されているアフィン変換パラメータ217を用いて画像メモリ250に合成画像が作成される場合を例にして説明する。なお、図20では、1つの動画を画像メモリ250に保持させる場合を例にして示すが、複数の動画を画像メモリ250に保持させる場合についても同様に合成される。
図20(a)には、図4(b)に示す動画ファイル201を構成するフレームのうちの最初のフレームであるフレーム1(205)が画像メモリ250に保存される場合を示す。例えば、図20(a)に示すように、動画ファイル201のフレーム1(205)に対応する画像471が画像メモリ250に保存される。ここで、最初のフレームに対応する画像471が画像メモリ250に保持される位置および大きさは、配置情報算出部230により算出された配置位置および大きさとする。なお、以下では、画像メモリ250上に配置された画像471の左上の位置を原点とし、横方向(横軸)をx軸とし、縦方向(縦軸)をy軸として説明する。
図20(a)に示すように、画像メモリ250上に画像471が配置された場合における表示領域を表示領域470とする。表示領域470は、例えば、アフィン変換された画像が圧縮して画像メモリ250に保持される場合には、画像メモリ250の全体を表示領域として決定することができる。すなわち、配置情報算出部230が、表示部290の表示領域における画像471の配置位置および大きさを算出する。一方、表示領域470は、例えば、アフィン変換された画像が圧縮されずに画像メモリ250に保持される場合には、配置情報算出部230により算出された配置位置および大きさに基づいて、現在再生中の動画により作成される最終的な合成画像の全体が含まれるように、表示領域を決定することができる。なお、操作受付部160により受け付けられた表示倍率の値に応じて表示領域を決定するようにしてもよい。例えば、画像471に対する表示領域470の位置は、アフィン変換パラメータにより決定することができる。すなわち、現画像をズームアウトする「0.5倍」の表示倍率が指定されている場合には、x方向およびy方向のズーム成分が2倍となるアフィン変換パラメータを用いて表示領域が設定される。また、現画像に対して表示領域を平行移動させる場合や回転させる場合についても、アフィン変換パラメータを用いることにより表示領域の位置および範囲を決定することができる。
図20(b)には、図4(b)に示す動画ファイル201を構成するフレームのうちのフレーム2(206)が画像メモリ250に保存される場合を示す。この場合には、上述したように、フレーム番号216の「1」および「2」に関連付けてメタデータファイル211に記憶されているアフィン変換パラメータ217を用いてフレーム2(206)に対応する画像472が変換され、画像471に上書き合成される。
図20(c)には、図4(b)に示す動画ファイル201を構成するフレームのうちのフレーム3が画像メモリ250に保存される場合を示す。この場合についても、上述したように、フレーム番号216「1」乃至「3」に関連付けてメタデータファイル211に記憶されているアフィン変換パラメータ217を用いてフレーム3に対応する画像473が変換され、画像471および352に上書き合成される。
以上で示したように、画像メモリ250上に配置される表示領域の範囲内に存在する画像を表示することによって、再生中の合成画像を順次表示させることができる。ここで、現画像がアフィン変換されて画像メモリ250に合成される際には、低い解像度に変換する解像度変換処理や圧縮処理等の画質の変換が施されることがある。このため、表示倍率を高くして現画像を拡大表示させる場合には、現画像を含む合成画像がぼけてしまうことが考えられる。そこで、この例では、現在再生中の現画像については、画像メモリ250に合成される前の画像を用いて合成画像を表示させる。以下では、この表示方法について図面を参照して詳細に説明する。
図21は、本発明の実施の形態における動画記憶部200に記憶されている動画ファイルの各フレームの流れを模式的に示す図である。ここでは、操作受付部160、動画記憶部200、メタデータ記憶部210、画像メモリ250および表示用メモリ270の関係についてのみ図示し、これら以外の構成についての図示を省略する。なお、図21では、1つの動画を表示部290に表示させる場合を例にして示すが、複数の動画を表示部290に表示させる場合についても同様に合成される。
図21(a)には、図4(b)に示す動画ファイル201およびメタデータファイル211を簡略化して示す。以下では、動画ファイル201を構成するフレームi(207)に対応する画像が表示される例について説明する。すなわち、動画ファイル201を構成するフレーム1乃至「i−1」に対応する画像については、合成画像が作成されているものとする。
図21(b)には、動画ファイル201を構成する各フレームに対応する画像が合成された合成画像が保持されている画像メモリ250を模式的に示す。図20(b)に示すように、動画ファイル201を構成するフレーム1(661)に対応する画像471が画像メモリ250に最初に保持される。そして、画像471が画像メモリ250に保持された後に、動画ファイル201を構成するフレーム2乃至「i−1」に対応する各画像が、フレーム2乃至「i−1」のそれぞれに関連付けてメタデータファイル211に記憶されているアフィン変換パラメータ217の値を用いて順次アフィン変換され、アフィン変換された画像が画像メモリ250に順次上書きされて保持される。そして、画像メモリ250に保持されている合成画像から、表示領域取出部260が表示領域内に存在する画像をフレーム毎に取り出す。
フレーム1乃至「i−1」に対応する各画像による合成画像が画像メモリ250に保持されている状態で、動画ファイル201を構成するフレームi(207)に対応する画像が、フレーム1乃至iに関連付けてメタデータファイル211に記憶されているアフィン変換パラメータ217を用いてアフィン変換され、アフィン変換された現画像474が画像メモリ250に上書きされて保持される。そして、画像メモリ250に保持されている合成画像から、表示領域470内に存在する画像を表示領域取出部260が取り出し、取り出された画像を、例えば、図21(c)に示すように表示用メモリ270に保持させる。
図21(c)には、表示領域取出部260により取り出された画像が保持されている表示用メモリ270を模式的に示す。ここで、表示領域取出部260により取り出された画像のうちの現フレームに対応する現画像475は、表示領域取出部260により画像メモリ250から取り出された現画像474ではなく、動画記憶部200から取得されて画像変換部150によりアフィン変換された画像を用いる。ここで、表示用メモリ270における現画像475の保存位置は、画像メモリ250における現画像474の位置および大きさと、画像メモリ250における表示領域470の位置および大きさとに基づいて決定することができる。例えば、フレーム番号216の「1」乃至「i」に関連付けてメタデータファイル211に記憶されているアフィン変換パラメータの行列をそれぞれA1、…、Aiとし、表示領域470を決定するためのアフィン変換パラメータの行列(例えば、画像メモリ250を基準とする行列)をCとする場合には、画像471の位置を基準として、Inv(C)×A1×…×Aiを用いることにより、表示用メモリ270における現画像475の保存位置を決定することができる。
図21(c)に示すように、表示領域取出部260により取り出された画像が表示用メモリ270に保持されるとともに、表示領域取出部260により取り出された画像に、動画記憶部200から取得されて画像変換部150によりアフィン変換された画像が上書きされて表示用メモリ270に保持される。そして、表示用メモリ270に保持されている画像が表示部290に表示される。このように、現画像については、アフィン変換後に縮小等の処理が施されて画像メモリ250に保持される前の状態の画像を用いることによって、比較的綺麗な現画像を表示することができる。また、ユーザの操作により拡大等がされた場合についても現画像を綺麗な状態で表示することができる。
以上で示したように、現画像については、画像メモリ250に保持される合成画像の代わりに、動画記憶部200から取得されてアフィン変換された画像を用いることができるため、比較的綺麗な画像を視聴することができる。この表示例については、図22および図23を参照して詳細に説明する。
図22(a)は、カメラにより撮影された動画を再生する場合における表示例を示す図である。この例では、大きな建物がある芝生の広場で遊んでいる親子を、カメラを主に左右方向に移動させながら撮影した場合の動画を再生中における画像480を示す。ここで、画像480には、動画を構成する各クレームに対応する画像により合成された画像481がパノラマ状に形成されている。また、画像480における現フレームに対応する画像は、現画像482である。
ここで、枠483で囲まれた画像領域を拡大表示する場合について説明する。表示部290に表示されている画像について拡大縮小表示をする場合には、ユーザが操作受付部160において表示倍率指定キーを操作することにより所望の表示倍率を指定することができる。例えば、図22(a)に示すように、表示部290に画像480が表示されている場合において、枠483で囲まれた画像領域を拡大表示する場合には、ユーザが操作受付部160において表示倍率指定キーを操作して表示倍率を指定するとともに、位置を指定することにより、枠483で囲まれた画像領域を拡大表示することができる。
図22(b)は、画像480における現画像482がアフィン変換される前の状態の画像484を示す図である。
図23(a)は、図22(a)に示す枠483で囲まれた画像領域が拡大表示された場合における画像485を示す図である。図23(a)に示す画像485は、アフィン変換後の現画像が画像メモリ250に保存される前の状態で表示用メモリ270に合成された画像である。このように、現画像486の領域には、画像メモリ250に保存される前の状態の比較的精細な画像が表示される。このため、現画像486と、この領域以外の領域とを比較した場合に、他の領域よりも比較的綺麗な現画像486を見ることができる。一方、図23(b)に示す画像487は、アフィン変換後の現画像が画像メモリ250に保存された状態で表示用メモリ270に保存された画像である。このように表示される場合には、現画像488の領域についても、他の領域の画像と同程度の画像が表示される。すなわち、本発明の実施の形態によれば、画像合成表示する際に、表示用メモリ270に保持された履歴画像は圧縮される場合があるものの、現在(カレント)の画像については非圧縮の画像、または、履歴画像よりも高い解像度の画像を使用することができるため、高画質な画像合成表示を実現することができる。
以上では、1つの動画を構成する各画像を合成する場合を例にして説明したが、以下では、2つの動画についての各画像を合成する場合における合成例について図面を参照して詳細に説明する。
図24は、2つの動画を合成する場合における合成例を模式的に示す図である。この例では、動画500を構成する画像501乃至508と、動画510を構成する画像511乃至515とを合成する場合について説明する。また、内部を斜線で示す画像505および513は、動画500および510に関する相対関係メタデータに含まれるフレーム番号に対応する画像であるものとする。
図24(a)では、動画500を構成する画像501乃至508を、各フレームに関連付けて記憶されているアフィン変換パラメータを用いて順次アフィン変換していき、画像メモリ250上に合成する場合を示す。例えば、最初に、先頭フレームに対応する画像501が画像メモリ250に保持される。そして、画像501を基準にして画像502乃至508が順次アフィン変換されて画像メモリ250に合成される。このアフィン変換による現画像の流れを矢印509で示す。すなわち、矢印509に沿うように画像501乃至508が順次合成される。
図24(b)では、動画510を構成する画像511乃至515を、各フレームに関連付けて記憶されているアフィン変換パラメータを用いて順次アフィン変換していき、画像メモリ250上に合成する場合を示す。また、図24(c)では、動画500および510に関する相対関係メタデータに含まれるアフィン変換パラメータにより、画像501を基準画像として画像513をアフィン変換した場合における画像505および画像513の相対関係位置を示す。ここで、図24(b)に示す合成画像は、図24(c)に示す画像505および画像513の相対関係位置を基準にして、画像511乃至515が合成された場合を示すものである。この場合のアフィン変換による現画像の流れを矢印516で示す。すなわち、矢印516に沿うように画像511乃至515が順次合成される。このように、図24(c)に示す画像505および画像513の相対関係位置を基準にして、図24(a)に示す合成画像および図24(b)に示す合成画像が合成された場合における合成例を図24(d)に示す。なお、図24(d)に示す例では、画像505および513が同時刻に再生される場合を示し、同時刻に再生される各画像は、動画510が動画500よりも上書き合成される例を示す。
ここで、具体的な各動画の配置情報に関する計算方法について説明する。最初に、複数の動画のうちの1つの動画を構成する少なくとも1つの動画の位置が、配置情報算出部230により算出される。例えば、動画500を構成する先頭フレームに対応する画像501の位置が算出される。続いて、他の動画を構成する画像のうちの少なくとも1つの画像の配置位置が算出される。例えば、画像501乃至505、511乃至515に関連付けられているアフィン変換パラメータの行列をそれぞれA1乃至A5、A11乃至A15とし、動画500および510に関する相対関係メタデータファイルに含まれるアフィン変換パラメータの行列をAM3とする。ここで、基準画像は画像501とする。画像メモリ250上における画像501の配置位置を基準とした場合に、画像505の配置位置は、A1乃至A5の乗算により算出される。すなわち、A1×…×A5を用いて算出される。また、画像メモリ250上における画像501の配置位置を基準とした場合に、画像513の配置位置は、A1乃至A8、AM3の乗算により算出される。すなわち、A1×…×A5×AM3を用いて算出される。ここで、例えば、動画520の先頭フレームに対応する画像511の配置位置を算出する場合には、A1乃至A8およびAM3と、A11乃至A13の逆行列との乗算により算出することができる。すなわち、「A1×…×A5×AM3×Inv(A11×…×A13)」を用いて画像513の配置位置を算出することができる。また、動画510を構成する他の画像についての配置位置についても同様に、A1乃至A8およびAM3と、A11乃至A13の逆行列またはA14乃至A15とを用いて算出することが可能である。
また、基準画像を含む動画以外の動画を構成する画像をアフィン変換する場合には、先頭フレームに対応する画像の配置位置の算出に用いられた行列と、画像に関連付けられたアフィン変換パラメータを用いて行う。例えば、動画510の画像512をアフィン変換する場合には、画像512に対応する行列A12を用いて、「A1×…×A5×AM3×Inv(A13)」の行列により変換される。また、例えば、動画510の画像515をアフィン変換する場合には、画像515に対応する行列A15を用いて、「A1×…×A5×AM3×A14×A15」の行列により変換される。同様に、動画520の各画像が変換される。
このように、複数の動画について合成して再生する場合には、1つの動画の基準画像の画像メモリ250における位置および大きさを決定した後に、各動画のそれぞれに関連付けられているメタデータファイルと、各動画に関連付けられている相対関係メタデータファイルとを用いて、各画像の位置および大きさを算出することができる。このため、複数の動画について合成して再生する場合には、各動画の何れかの位置からも再生させることが可能である。例えば、図24(d)に示す合成画像については、動画500を構成する画像501乃至503が合成された後に、動画510を構成する画像511が合成される例を示す。すなわち、画像503および511が同時に合成され、続いて、画像504および512が同時に合成される。以降も同様に合成される。なお、この例では、同時刻に再生される各画像は、動画510が動画500よりも上書き合成される例を示すが、上書きする動画を操作受付部160において指定するようにしてもよい。
次に、先頭のフレームに対応する画像を保持する位置および大きさに関する計算方法について図面を参照して詳細に説明する。
図25は、動画を構成する各画像の合成により作成される合成画像の大きさを算出する場合における合成画像の大きさ算出方法の概略を示す図である。この合成画像の大きさ算出方法では、1つの動画を構成する各画像に関連付けられているアフィン変換パラメータを用いて、先頭画像の4つの頂点を順次アフィン変換することにより、この動画について作成される合成画像の大きさを算出する例について説明する。なお、図25に示す符号501乃至508は、図24に示す画像501の4つの頂点がアフィン変換された後の各点により形成される矩形を示す符号であるが、これらの矩形の大きさは、図24に示す画像501乃至508の大きさと同様であるため、これらの矩形には画像501乃至508と同一の符号を付して説明する。
図25(a)に示すように、1つの動画について作成される合成画像の大きさを算出する場合には、動画を構成する画像のうちの1つの画像を基準画像とする。そして、基準画像の少なくとも1つの頂点を原点とし、この原点に対応する頂点に接する基準画像の2辺のそれぞれをx軸およびy軸とするxy座標を設定する。例えば、基準画像の左上の頂点を原点とし、基準画像の上端の辺をx軸とし、左端の辺をy軸とするxy座標を設定する。このxy座標上において、基準画像のy軸方向の最大値を基準画像の上端の辺の位置とし、最小値を基準画像の下端の辺の位置とする。同様に、基準画像のx軸方向の最大値を基準画像の右端の辺の位置とし、最小値を基準画像の左端の辺の位置とする。
続いて、動画を構成する各画像に関連付けられているアフィン変換パラメータを用いて、基準画像の4つの頂点をxy座標上で順次アフィン変換させていき、基準画像の4つの頂点を始点とし、アフィン変換後の4つの点を終点とするベクトル(変移ベクトル)を順次作成する。そして、この順次作成される変移ベクトルの終点の位置に基づいて、x軸方向およびy軸方向の最大値および最小値を順次更新していき、このxy座標上における合成画像の大きさを算出する。
例えば、図24(a)に示す動画500を構成する先頭のフレームに対応する画像501を基準画像とする場合には、図25(a)に示すように、画像501の左上の頂点を原点とするxy座標が設定され、このxy座標上に画像501の4つの頂点に対応する位置に変位ベクトルの始点541乃至544が設定される。例えば、画像501の解像度が640×480画素の場合には、始点541の座標は(0,0)とされ、始点542の座標は(640,0)とされ、始点543の座標は(640,480)とされ、始点544の座標は(0,480)とされる。この場合に、x軸方向の最大値は「640」であり、x軸方向の最小値は「0」であり、y軸方向の最大値は「480」であり、y軸方向の最小値は「0」である。すなわち、このxy座標では、y軸方向の下側を正とする。
このように設定されたxy座標上において、基準画像501および次の画像502に関連付けられているアフィン変換パラメータを用いて、基準画像501の4つの頂点がアフィン変換される。例えば、画像501に関連付けられているアフィン変換パラメータの行列をA1(単位行列)とし、画像502に関連付けられているアフィン変換パラメータの行列をA2とする場合には、A1×A2の行列を用いて、画像501の4つの頂点がアフィン変換される。このアフィン変換により、図25(b)に示すように、基準画像501の4つの頂点が画像502の4つの頂点に対応する位置に変換される。そして、このアフィン変換後の4つの点を終点545乃至548として、始点541乃至544からの変移ベクトル549乃至552が作成される。
続いて、変移ベクトル549乃至552に基づいて、x軸方向およびy軸方向の最大値および最小値が更新される。例えば、変移ベクトル549乃至552の終点545乃至548は、画像501の上端の辺よりも下側のため、y軸の最小値は更新されない。また、変移ベクトル549乃至552の終点545乃至548のうちで、終点547および548が画像501の下端の辺よりも下側となり、終点547が一番下側に存在する点となる。このため、y軸方向の最大値が、変移ベクトル551の終点547のy軸の値に更新される。さらに、変移ベクトル549乃至552の終点545乃至548は、画像501の左端の辺よりも右側のため、x軸の最小値は更新されない。また、変移ベクトル549乃至552の終点545乃至548のうちで、終点546および547が画像501の右端の辺よりも右側となり、終点546が一番右側に存在する点となる。このため、x軸方向の最大値が、変移ベクトル550の終点546のx軸の値に更新される。
また、同様に、xy座標上において、基準画像501乃至503に関連付けられているアフィン変換パラメータを用いて、基準画像501の4つの頂点がアフィン変換される。例えば、画像501乃至503に関連付けられているアフィン変換パラメータの行列をそれぞれA1、A2、A3とする場合には、A1×A2×A3の行列を用いて、画像501の4つの頂点がアフィン変換される。このアフィン変換により、図25(c)に示すように、基準画像501の4つの頂点が画像503の4つの頂点に対応する位置に変換される。そして、このアフィン変換後の4つの点を終点553乃至556として、始点541乃至544からの変移ベクトル557乃至560が作成される。
続いて、変移ベクトル557乃至560に基づいて、x軸方向およびy軸方向の最大値および最小値が更新される。例えば、変移ベクトル557乃至560の終点553乃至556は、画像501の上端の辺よりも下側のため、y軸の最小値は更新されない。また、変移ベクトル557乃至560の終点553乃至556のうちで、終点555および556が画像502の点547よりも下側となり、終点555が一番下側に存在する点となる。このため、y軸方向の最大値が、変移ベクトル559の終点555のy軸の値に更新される。さらに、変移ベクトル557乃至560の終点553乃至556は、画像501の左端の辺よりも右側のため、x軸の最小値は更新されない。また、変移ベクトル557乃至560の終点553乃至556のうちで、終点554および555が画像502の点546よりも右側となり、終点554が一番右側に存在する点となる。このため、x軸方向の最大値が、変移ベクトル558の終点554のx軸の値に更新される。
また、画像504以降についても、同様に、xy座標上において、対象となる各画像に関連付けられているアフィン変換パラメータを用いて、基準画像501の4つの頂点がアフィン変換され、基準画像501の4つの頂点が対象となる画像の4つの頂点に対応する位置に順次変換される。そして、このアフィン変換後の4つの点を終点として、始点541乃至544からの変移ベクトルが順次作成される。そして、この変移ベクトルに基づいて、x軸方向およびy軸方向の最大値および最小値が順次更新される。
例えば、画像501乃至508について、上述した最大値および最小値の更新処理が繰り返された場合には、図25(d)に示すように、x軸方向の最小値は更新されないため、x軸方向の最小値は、画像501の左端の2つの頂点の何れかの点(例えば、点561)のx軸の値(すなわち「0」)となる。また、画像508の頂点563が一番右側に存在する点となるため、x軸方向の最大値は、頂点563のx軸の値に更新される。さらに、画像505の頂点562が一番上側に存在する点となるため、y軸方向の最小値は、頂点562のy軸の値に更新される。また、画像503の頂点564(すなわち、始点555)が一番下側に存在する点となるため、y軸方向の最大値は、頂点564のy軸の値に更新される。
このように算出されたx軸方向およびy軸方向の最大値および最小値により形成される矩形が、動画500について作成される合成画像の表示範囲として算出される。例えば、図25(d)に示すように、合成画像表示範囲570が算出される。
図26は、動画を構成する各画像の合成により作成される合成画像の大きさを算出する場合における合成画像の大きさ算出方法の概略を示す図である。この合成画像の大きさ算出方法では、2つの動画について各動画を構成する各画像に関連付けられているアフィン変換パラメータと、各動画に関する相対関係メタデータファイルに格納されているアフィン変換パラメータを用いて、先頭画像の4つの頂点を順次アフィン変換することにより、これらの動画について作成される合成画像の大きさを算出する例について説明する。なお、図26に示す符号501乃至508、511乃至515についても、画像501乃至508、511乃至515と同一の符号を付して説明する。
図26(a)に示すように、画像501乃至505については、図25に示す更新処理と同様の処理を繰り返す。ここで、画像505は、動画500および510に関する相対関係メタデータファイルに含まれるフレーム番号に対応する画像である。そこで、動画510について更新処理を行うため、画像501乃至505に関連付けられているアフィン変換パラメータと、動画500および510に関する相対関係メタデータファイルに含まれるアフィン変換パラメータとを用いて、基準画像501の4つの頂点がアフィン変換される。例えば、画像501乃至505に関連付けられているアフィン変換パラメータの行列をそれぞれA1乃至A5とし、動画500および510に関する相対関係メタデータに含まれるアフィン変換パラメータの行列をAM3とする場合には、A1×A2×…×A5×AM3の行列を用いて、画像501の4つの頂点がアフィン変換される。このアフィン変換により、図26(a)に示すように、基準画像501の4つの頂点が画像513の4つの頂点に対応する位置に変換される。そして、このアフィン変換後の4つの点を終点565乃至568として、始点541乃至544からの変移ベクトル569乃至572が作成される。続いて、変移ベクトル569乃至572に基づいて、x軸方向およびy軸方向の最大値および最小値が更新される。
続いて、図26(b)に示す画像513の前の画像511、512と、画像513の後の画像514、515とについて、図25に示す更新処理と同様の処理を繰り返す。この場合に、画像513の前後の画像を1つずつ同時に更新処理をするようにしてもよく、画像513の前後の画像を1つずつ交互に更新処理をするようにしてもよい。また、画像513の前の画像を1つずつ更新処理した後に、画像513の後の画像を1つずつ更新処理するようにしてもよく、前後の順番を入れ替えて行うようにしてもよい。例えば、画像501乃至505、511乃至515に関連付けられているアフィン変換パラメータの行列をそれぞれA1乃至A5、A11乃至A15とし、動画500および510に関する相対関係メタデータに含まれるアフィン変換パラメータの行列をAM3とする場合において、画像512についてアフィン変換を行う場合には、A1×A2×…×A5×AM3×Inv(A12)の行列を用いて、画像501の4つの頂点がアフィン変換される。一方、画像514についてアフィン変換を行う場合には、A1×A2×…×A5×AM3×A14の行列を用いて、画像501の4つの頂点がアフィン変換される。
続いて、画像513の前後の各画像511、512、514、515について、更新処理が終了した場合には、動画500および510に関する相対関係メタデータに係る画像505の次の画像506について更新処理が行われる。すなわち、動画510について更新処理が終了した場合には、動画500に戻り、動画500についての更新処理を繰り返す。すなわち、画像506乃至508について更新処理が行われる。
そして、画像501乃至508、511乃至515について、上述した最大値および最小値の更新処理が繰り返された場合には、図26(c)に示すように、動画510の画像511の頂点573が一番上側に存在する点となるため、y軸方向の最小値は、頂点573のy軸の値に更新される。なお、y軸方向の最大値、x軸方向の最大値および最小値については、図25(d)に示すものと同様である。このように算出されたx軸方向およびy軸方向の最大値および最小値により形成される矩形が、動画500および510について作成される合成画像の表示範囲として算出される。例えば、図26(c)に示すように、合成画像表示範囲574が算出される。このように算出された合成画像表示範囲と、画像メモリ250の大きさとに基づいて、再生の対象となる動画を構成する各画像の縮小率等が算出される。例えば、算出された合成画像表示範囲が、画像メモリ250の大きさよりも大きい場合には、算出された合成画像表示範囲が、画像メモリ250の範囲内になるように、再生の対象となる動画を構成する各画像が圧縮されて縮小される。すなわち、算出された合成画像表示範囲が画像メモリ250の範囲内になるように、再生の対象となる動画を構成する各画像の縮小率が算出され、この縮小率に基づいて先頭のフレームの画像についての大きさおよび配置位置が算出される。また、動画の合成再生中に、他の動画の合成再生が選択された場合には、算出された基準画像の配置位置および大きさに基づいて、既に合成された画像の縮小率が算出され、この縮小率に基づいて、既に合成された画像が縮小される。そして、既に合成再生の対象となっている動画および新たに選択された動画の合成再生が行われる。
一方、算出された合成画像表示範囲が、画像メモリ250の大きさよりも小さい場合には、再生の対象となる動画を構成する各画像の縮小処理はされない。このように、再生の対象となる各画像が縮小されない場合には、動画について作成される合成画像が表示領域において適度な大きさとなるように、表示倍率が変更される。
以上では、2つの動画に関する相対関係メタデータファイルに格納されているアフィン変換パラメータを用いて、2つの動画について作成される合成画像の大きさを算出する例について説明したが、1つの相対関係メタデータファイルに3以上の動画に関するアフィン変換パラメータを格納しておき、これらのアフィン変換パラメータを用いて3以上の動画について作成される合成画像の大きさを算出することができる。以下では、3以上の動画について作成される合成画像の大きさを算出する例について図面を参照して詳細に説明する。
図27は、本発明の実施の形態における動画記憶部200および相対関係情報記憶部220に記録されている各ファイルを模式的に示す図である。この例では、動画記憶部200に記憶されている動画ファイル(#12)651乃至(#14)653と、動画ファイル(#12)651乃至(#14)653に関連付けて相対関係情報記憶部220に記憶されている相対関係メタデータファイル660とを模式的に示す図である。この例では、1つの相対関係メタデータファイル660に3つの動画ファイル(#12)651乃至(#14)653に関するアフィン変換パラメータが格納されている例について説明する。なお、動画記憶部200に記憶されている各動画ファイルの構成については、図4および図5等に示す動画ファイルと同様であるため、ここでの説明を省略する。また、相対関係情報記憶部220に記憶されている相対関係メタデータファイルの構成については、1つの相対関係メタデータファイルに3以上の動画に関するアフィン変換パラメータが格納されている点以外の構成は、図5に示す相対関係メタデータファイルと同様であるため、ここでの説明を省略する。
相対関係メタデータファイル660には、動画ID224と、フレーム番号225と、アフィン変換パラメータ226とが関連付けて格納されている。また、動画ファイル(#12)651乃至(#14)653を構成する各画像の中で、それぞれ2つの各画像の相対関係に関するアフィン変換パラメータが、相対関係メタデータファイル660に格納されている。具体的には、動画ファイル(#12)651を構成するフレーム「2」654を基準とした場合における動画ファイル(#13)652を構成するフレーム「5」656の位置を算出するアフィン変換パラメータ「at,bt,ct,dt,et,ft」と、動画ファイル(#12)651を構成するフレーム「9」655を基準とした場合における動画ファイル(#14)653を構成するフレーム「6」657の位置を算出するアフィン変換パラメータ「au,bu,cu,du,eu,fu」とが、相対関係メタデータファイル660に格納されている。これにより、3つの動画を合成しながら再生する場合に、3つの動画の相対的な関連性が考慮された動画を再生することができる。
図28は、3つの動画を合成する場合における合成例を模式的に示す図である。この例では、動画500を構成する画像501乃至508と、動画510を構成する画像511乃至515と、動画520を構成する画像521乃至526とを合成する場合について説明する。また、内部を斜線で示す画像505および513と、画像507および523とは、動画500、510、520に関する相対関係メタデータに含まれるフレーム番号に対応する画像であるものとする。
図28(a)は、図24(a)と同様であり、動画500を構成する画像501乃至508を、各フレームに関連付けて記憶されているアフィン変換パラメータを用いて順次アフィン変換していき、画像メモリ250上に合成する場合を示す。
図28(b)では、動画520を構成する画像521乃至526を、各フレームに関連付けて記憶されているアフィン変換パラメータを用いて順次アフィン変換していき、画像メモリ250上に合成する場合を示す。ここで、内部を斜線で示す画像523は、動画500および520に関する相対関係メタデータに含まれるアフィン変換パラメータにより、画像501を基準画像としてアフィン変換された場合を示す。また、図28(b)に示す合成画像は、内部を斜線で示す画像507および画像523の相対関係位置を基準にして、画像521乃至526が合成された場合を示すものである。この場合のアフィン変換による現画像の流れを矢印527で示す。すなわち、矢印527に沿うように画像521乃至526が順次合成される。このように、画像505および画像513の相対関係位置と、画像507および画像523の相対関係位置とを基準にして、動画500、510、520が合成された場合における合成例を図28(c)に示す。なお、図28(c)に示す例では、画像505および513が同時刻に再生された後に、画像507および523が同時刻に再生される場合を示し、同時刻に再生される各画像は、動画510が動画500よりも上書き合成されるとともに、動画520が動画510よりも上書き合成される例を示す。なお、再生の対象となる複数の動画に関する相対関係メタデータが存在しない場合でも、他の動画に関する相対関係メタデータを用いて、再生の対象となる複数の動画を合成して再生することが可能である。例えば、図28(c)に示す動画500、動画510、動画520のうちで、動画510および動画520を合成させる場合には、動画500および510に関する相対関係メタデータと、動画500および520に関する相対関係メタデータとを用いて、動画510および動画520の何れかを基準動画とした場合における他の動画の位置を算出することができる。例えば、動画510を基準動画とする場合には、画像505および画像513の相対関係位置を用いて、動画500を構成する画像505の位置を算出することができる。また、画像505に基づいて画像507の位置が算出することができる。そして、画像507および画像523の相対関係位置を用いて、画像501を基準とした場合における動画520を構成する各画像の位置を算出することができる。このように、共通の相対関係メタデータが存在しない動画510および動画520についても、動画500を介して、合成して再生させることができる。また、2以上の動画を介して複数の動画を合成して再生する場合についても同様に適用することができる。
図29は、動画を構成する各画像の合成により作成される合成画像の大きさを算出する場合における合成画像の大きさ算出方法の概略を示す図である。この合成画像の大きさ算出方法では、3つの動画について各動画を構成する各画像に関連付けられているアフィン変換パラメータと、各動画に関する相対関係メタデータに格納されているアフィン変換パラメータを用いて、先頭画像の4つの頂点を順次アフィン変換することにより、これらの動画について作成される合成画像の大きさを算出する例について説明する。なお、図29に示す符号501乃至508、511乃至515、521乃至526についても、画像501乃至508、511乃至515、521乃至526と同一の符号を付して説明する。
図29(a)に示すように、画像501乃至507、画像511乃至515については、図26に示す更新処理と同様の処理を繰り返す。ここで、画像507は、動画500および520に関する相対関係メタデータに含まれるフレーム番号に対応する画像である。そこで、動画520について更新処理を行うため、画像501乃至507に関連付けられているアフィン変換パラメータと、動画500および520に関する相対関係メタデータに含まれるアフィン変換パラメータとを用いて、基準画像501の4つの頂点がアフィン変換される。例えば、画像501乃至507に関連付けられているアフィン変換パラメータの行列をそれぞれA1乃至A7とし、動画500および520に関する相対関係メタデータに含まれるアフィン変換パラメータの行列をAM4とする場合には、A1×A2×…×A7×AM4の行列を用いて、画像501の4つの頂点がアフィン変換される。このアフィン変換により、図29(a)に示すように、基準画像501の4つの頂点が画像523の4つの頂点に対応する位置に変換される。そして、このアフィン変換後の4つの点を終点として、始点541乃至544からの4つの変移ベクトルが作成される。続いて、4つの変移ベクトルに基づいて、x軸方向およびy軸方向の最大値および最小値が更新される。
続いて、図26(b)に示す更新処理と同様に、画像523の前の画像521、522と、画像523の後の画像524乃至526とについて更新処理を繰り返す。続いて、画像523の前後の各画像521、522、524乃至526について、更新処理が終了した場合には、動画500および520に関する相対関係メタデータに係る画像507の次の画像508について更新処理が行われる。すなわち、動画520について更新処理が終了した場合には、動画500に戻り、動画500についての更新処理を繰り返す。
そして、画像501乃至508、511乃至515、521乃至526について、上述した最大値および最小値の更新処理が繰り返された場合には、図29(b)に示すように、動画520の画像521の頂点577が一番下側に存在する点となるため、y軸方向の最大値は、頂点577のy軸の値に更新される。また、動画520の画像526の頂点576が一番右側に存在する点となるため、x軸方向の最大値は、頂点576のx軸の値に更新される。なお、y軸方向の最小値、x軸方向の最小値については、図26(c)に示すものと同様である。このように算出されたx軸方向およびy軸方向の最大値および最小値により形成される矩形が、動画500、510、520について作成される合成画像の表示範囲として算出される。例えば、図29(b)に示すように、合成画像表示範囲575が算出される。
図30は、4つの動画を合成する場合における合成例を模式的に示す図である。この例では、動画500を構成する画像501乃至508と、動画510を構成する画像511乃至515と、動画520を構成する画像521乃至526と、動画530を構成する画像531乃至535とを合成する場合について説明する。また、内部を斜線で示す画像505および513と、画像507および523と、画像525および532とは、動画500、510、520、530に関する相対関係メタデータに含まれるフレーム番号に対応する画像であるものとする。
図30(a)は、図28(b)と同様であり、動画520を構成する画像521乃至526を、各フレームに関連付けて記憶されているアフィン変換パラメータを用いて順次アフィン変換していき、画像メモリ250上に合成する場合を示す。
図30(b)では、動画530を構成する画像531乃至535を、各フレームに関連付けて記憶されているアフィン変換パラメータを用いて順次アフィン変換していき、画像メモリ250上に合成する場合を示す。ここで、内部を斜線で示す画像532は、動画520および530に関する相対関係メタデータに含まれるアフィン変換パラメータにより、画像501を基準画像としてアフィン変換された場合を示す。また、図30(b)に示す合成画像は、内部を斜線で示す画像525および画像532の相対関係位置を基準にして、画像531乃至535が合成された場合を示すものである。この場合のアフィン変換による現画像の流れを矢印536で示す。すなわち、矢印536に沿うように画像531乃至535が順次合成される。このように、画像505および画像513の相対関係位置と、画像507および画像523の相対関係位置と、画像525および画像532の相対関係位置とを基準にして、動画500、510、520、530が合成された場合における合成例を図30(c)に示す。なお、図30(c)に示す例では、画像505および513が同時刻に再生され、画像507および523が同時刻に再生された後に、画像525および532が同時刻に再生される場合を示し、同時刻に再生される各画像は、動画510が動画500よりも上書き合成され、動画520が動画510よりも上書き合成されるとともに、動画530が動画520よりも上書き合成される例を示す。
図31は、動画を構成する各画像の合成により作成される合成画像の大きさを算出する場合における合成画像の大きさ算出方法の概略を示す図である。この合成画像の大きさ算出方法では、4つの動画について各動画を構成する各画像に関連付けられているアフィン変換パラメータと、各動画に関する相対関係メタデータに格納されているアフィン変換パラメータを用いて、先頭画像の4つの頂点を順次アフィン変換することにより、これらの動画について作成される合成画像の大きさを算出する例について説明する。なお、図31に示す符号501乃至508、511乃至515、521乃至526、531乃至535についても、画像501乃至508、511乃至515、521乃至526、531乃至535と同一の符号を付して説明する。
図31(a)に示すように、画像501乃至507、画像511乃至515、画像521乃至525については、図29に示す更新処理と同様の処理を繰り返す。ここで、画像525は、動画520および530に関する相対関係メタデータに含まれるフレーム番号に対応する画像である。そこで、動画530について更新処理を行うため、画像501乃至507に関連付けられているアフィン変換パラメータと、動画500および520に関する相対関係メタデータに含まれるアフィン変換パラメータと、画像523乃至525に関連付けられているアフィン変換パラメータと、動画520および530に関する相対関係メタデータに含まれるアフィン変換パラメータとを用いて、基準画像501の4つの頂点がアフィン変換される。例えば、画像501乃至507、523乃至525に関連付けられているアフィン変換パラメータの行列をそれぞれA1乃至A7、A23乃至A25とし、動画500および520に関する相対関係メタデータに含まれるアフィン変換パラメータの行列をAM4とし、動画520および530に関する相対関係メタデータに含まれるアフィン変換パラメータの行列をAM5とする場合には、A1×A2×…×A7×AM4×B4×B5×AM5の行列を用いて、画像501の4つの頂点がアフィン変換される。このアフィン変換により、図31(a)に示すように、基準画像501の4つの頂点が画像523の4つの頂点に対応する位置に変換される。そして、このアフィン変換後の4つの点を終点として、始点541乃至544からの4つの変移ベクトルが作成される。続いて、4つの変移ベクトルに基づいて、x軸方向およびy軸方向の最大値および最小値が更新される。
続いて、図26(b)に示す更新処理と同様に、画像532の前の画像531と、画像532の後の画像533乃至535とについて更新処理を繰り返す。続いて、画像532の前後の各画像531、533乃至535について、更新処理が終了した場合には、動画520および530に関する相対関係メタデータに係る画像525の次の画像526について更新処理が行われる。このように、動画530について更新処理が終了した場合には、動画520に戻り、動画520についての更新処理を繰り返す。また、動画520について更新処理が終了した場合には、動画500に戻り、動画500についての更新処理を繰り返す。すなわち、基準動画以外の動画についての更新処理が終了した場合には、直前まで更新処理が行われていた動画に戻り、この動画の更新処理を繰り返す。そして、基準動画の最後のフレームについての更新処理が終了するまで、更新処理が繰り返し行われる。
そして、画像501乃至508、511乃至515、521乃至526、531乃至535について、上述した最大値および最小値の更新処理が繰り返された場合には、図31(b)に示すように、動画530の画像535の頂点579が一番下側に存在する点となるため、y軸方向の最大値は、頂点579のy軸の値に更新される。また、動画530の画像535の頂点578が一番右側に存在する点となるため、x軸方向の最大値は、頂点578のx軸の値に更新される。なお、y軸方向の最小値、x軸方向の最小値については、図26(c)に示すものと同様である。このように算出されたx軸方向およびy軸方向の最大値および最小値により形成される矩形が、動画500、510、520、530について作成される合成画像の表示範囲として算出される。例えば、図31(b)に示すように、合成画像表示範囲580が算出される。
図32は、動画を表す代表画像とこの動画について作成される合成画像との関係、および、複数の動画について作成される合成画像を概略的に示す図である。図32(a)乃至(c)は、動画の代表画像606、614、624と、これらの各動画により作成される合成画像600、610、620とを示す図である。
図32(a)には、1つの動画の代表画像606と、この動画により作成される合成画像600とを示す。代表画像606は、例えば、この動画の先頭のフレームに対応する画像である。また、合成画像600において、枠601は先頭のフレームに対応する画像の位置を示す。すなわち、枠601内の画像は代表画像606に対応する。また、合成画像600において、枠602は、図32(b)に示す合成画像610に対応する画像との一致点が含まれている画像の位置を示す。一致点として、例えば、家604の屋根部分および下部分2箇所の3箇所(白丸で示す位置)が選択されている。すなわち、枠602内の画像に関する相対関係メタデータファイルを用いて、合成画像600および610を合成することができる。また、合成画像600において、枠603は、図32(c)に示す合成画像620に対応する画像との一致点が含まれている画像の位置を示す。一致点として、例えば、家605の屋根部分および下部分2箇所の3箇所(白丸で示す位置)が選択されている。すなわち、枠603内の画像に関する相対関係メタデータファイルを用いて、合成画像600および620を合成することができる。
図32(b)には、1つの動画の代表画像614と、この動画により作成される合成画像610とを示す。代表画像614は、例えば、この動画の先頭のフレームに対応する画像である。また、合成画像610において、枠611は先頭のフレームに対応する画像の位置を示す。すなわち、枠611内の画像は代表画像614に対応する。また、合成画像610において、枠612は、図32(a)に示す合成画像600に対応する画像との一致点が含まれている画像の位置を示す。一致点として、例えば、家613の屋根部分および下部分2箇所の3箇所(白丸で示す位置)が選択されている。すなわち、枠612内の画像に関する相対関係メタデータファイルを用いて、合成画像600および610を合成することができる。
図32(c)には、1つの動画の代表画像624と、この動画により作成される合成画像620とを示す。代表画像624は、例えば、この動画の先頭のフレームに対応する画像である。また、合成画像620において、枠621は先頭のフレームに対応する画像の位置を示す。すなわち、枠621内の画像は代表画像624に対応する。また、合成画像620において、枠622は、図32(a)に示す合成画像600に対応する画像との一致点が含まれている画像の位置を示す。一致点として、例えば、家623の屋根部分および下部分2箇所の3箇所(白丸で示す位置)が選択されている。すなわち、枠622内の画像に関する相対関係メタデータファイルを用いて、合成画像600および620を合成することができる。
図32(d)には、図32(a)乃至(c)に示す合成画像600、610、620に対応する各動画に関する相対関係メタデータファイルを用いて、合成画像600、610、620を合成させた場合における合成画像630を示す。なお、図32(d)に示す合成画像630は、合成画像600、610、620を合成させた画像を縮小させたものである。合成画像630において、枠601、611、621は、各動画に関する代表画像の位置を示し、枠602、603、612、622は、相対関係メタデータファイルに係る画像の位置を示す。すなわち、枠602内の画像および枠612内の画像が重ねて合成されるとともに、枠603内の画像および枠622内の画像が重ねて合成される。このように、複数の動画について画像を合成すると、1つの動画を合成させる場合に比較して、合成画像が大きくなる。このため、1つの動画について作成される合成画像の全部を表示部290に表示することができる場合であっても、複数の動画について作成される合成画像の全部を同一の大きさで表示部290に表示させることができない場合が考えられる。そこで、上述した合成画像表示範囲を用いて、最終的に表示される合成画像の大きさを予め算出しておき、この算出された大きさの合成画像の全部が表示部290に表示されるように縮小処理等が行われ、画像メモリ250に記録される。
次に、算出された表示範囲に基づいて表示される合成画像の表示例について図面を参照して詳細に説明する。
図33乃至図39は、本発明の実施の形態における表示部290に表示される表示画面の一例を示す図である。図33乃至図39に示す表示画面には、代表画像一覧表示領域640と、合成再生表示領域651とが設けられている。
代表画像一覧表示領域640は、メタデータ記憶部210に記憶されているメタデータファイルに含まれる代表画像を表示する領域であり、例えば、代表画像641乃至648が表示される。なお、代表画像642は、図32(c)に示す代表画像624に対応し、代表画像645は、図32(a)に示す代表画像606に対応し、代表画像647は、図32(b)に示す代表画像614に対応する。また、代表画像一覧表示領域640にはスクロールバー653が設けられ、カーソル652を用いてスクロールバー653を上下方向に移動させることにより、代表画像一覧表示領域640に表示されている代表画像を上下方向に移動させて、代表画像一覧表示領域640に他の代表画像を表示させることができる。また、各代表画像の下部分には、チェックボタンが設けられ、カーソル652をチェックボタンの部分に重ねた状態で、マウスを左クリック操作することにより、チェックボタンにチェック印が表示される。図33では、代表画像645のチェックボタン649にチェック印が表示されている例を示す。
合成再生表示領域651は、代表画像一覧表示領域640に表示されている代表画像に対応する動画を合成させながら表示させる領域である。ここで、合成再生表示領域651で合成再生させる対象となる動画を選択する選択方法について説明する。合成再生表示領域651で合成再生させる対象となる動画を選択する場合には、代表画像一覧表示領域640に表示されている代表画像について選択操作を行う。例えば、所望の動画に対応する代表画像のチェックボタンにチェック印を表示させる操作入力を行うことにより、所望の動画を選択することができる。また、例えば、所望の動画に対応する代表画像の領域にカーソル652を重ねた状態で、代表画像一覧表示領域640まで左ドラッグ操作を行い、代表画像一覧表示領域640内でドロップ操作を行うことにより、所望の動画を選択することができる。なお、図33乃至図39に示す合成再生表示領域651には、選択された動画について作成される合成画像の全体を点線で示し、再生中の合成画像を省略して示す。
例えば、図33に示す代表画像一覧表示領域640に表示されている代表画像641乃至648について、所望の動画に対応する代表画像が代表画像645である場合には、チェックボタン649にカーソル652を用いてチェック印を表示させる。または、代表画像645の領域にカーソル652を重ねた状態で、図33に示す矢印のように、代表画像一覧表示領域640まで左ドラッグ操作を行い、代表画像一覧表示領域640内でドロップ操作を行う。これらの選択操作を行うことにより、選択された代表画像に対応する動画について、各画像がアフィン変換されて合成されながら再生が行われる。このように、選択された場合における合成画像の表示例を図34に示す。
図34に示す表示画面では、代表画像645について選択操作が行われ、代表画像645に対応する動画について再生が行われている場合を簡略化して示す。なお、同図に示す合成再生表示領域651には、代表画像645に対応する動画について作成される合成画像600の全体を点線で示し、再生中の合成画像を省略して示す。ここで、選択された動画について再生が行われる場合には、上述したように、選択された動画について作成される合成画像の大きさが合成画像表示範囲として算出され、この合成画像表示範囲に基づいて、再生の対象となる動画を構成する各画像が縮小処理等されるため、合成再生表示領域651には、合成画像の全てが表示される。また、再生対象となる動画の選択操作が行われた場合には、ファイル取得部140が、相対関係情報記憶部220に記憶されている相対関係メタデータファイルの中から、選択された動画に係る相対関係メタデータファイルを検索する。そして、検索された相対関係メタデータファイルに含まれる他の動画の動画IDが取得され、この動画IDに対応する代表画像に所定のマーカが付される。
例えば、図33に示すように、代表画像645が選択された場合には、代表画像645に対応する動画に係る相対関係メタデータファイルが検索される。ここで、図32に示すように、相対関係情報記憶部220には、代表画像645に対応する動画と代表画像642に対応する動画とに関する相対関係メタデータファイルと、代表画像645に対応する動画と代表画像647に対応する動画とに関する相対関係メタデータファイルとが記憶されている。このため、この検索された代表画像645に係る相対関係メタデータファイルには、代表画像642および647に対応する動画IDが含まれている。そこで、代表画像一覧表示領域640に表示されている代表画像641乃至648の中で、代表画像642および647の周りに太枠が付されて表示される。これにより、ユーザが現在再生中の動画に合成が可能な動画を容易に認識することができる。なお、現在再生中の動画に合成が可能な動画に対応する代表画像のみを代表画像一覧表示領域640に表示させるようにしてもよい。また、選択された代表画像645については、他の代表画像と異なる表示とすることができる。例えば、図34では、代表画像645の周りの枠を点線で示す。なお、これらの選択された代表画像の表示方法およびマーカの表示方法については、枠の太さや点線等により他の代表画像と識別させる以外に、代表画像の枠の色や透過率を変更することにより識別させるようにしてもよい。
図35に示す表示画面は、代表画像645に対応する動画について再生が行われている状態で、代表画像647を選択する場合を簡略化して示す。このように、動画の合成再生が行われている場合でも、他の動画を選択して、合成再生中の動画と合成させることができる。なお、代表画像647の選択操作は、図33に示す選択操作と同様であるため、ここでの説明を省略する。
図35に示すように、動画の合成再生が行われている状態で、他の動画の選択操作が行われた場合には、最初の動画選択が行われた場合と同様に、選択された動画および再生中の動画について作成される合成画像の大きさが合成画像表示範囲として算出される。そして、算出された合成画像表示範囲に基づいて、再生の対象となる複数の動画を構成する各画像が縮小処理等される。この場合には、この選択操作が行われるまでに合成されて画像メモリ250に保持されている代表画像645に対応する合成画像についても縮小処理等が施される。例えば、代表画像645に対応する動画を構成する先頭画像を基準画像とし、この基準画像の配置位置および大きさが算出される。そして、代表画像645に対応する動画を構成する各画像のうちで、既に画像メモリ250に保持された各画像に関連付けられているアフィン変換パラメータを用いて、算出された基準画像の配置位置および大きさから、現在の合成画像の圧縮率を算出し、この現在の合成画像の圧縮率により、画像メモリ250に保持された合成画像が縮小される。
このように、複数の動画について作成される合成画像の全体の大きさを算出して、この大きさに基づいて複数の動画を構成する各画像の配置位置および大きさが決定されるため、合成再生表示領域651には、合成画像の全てが表示される。また、動画が最初に選択された場合と同様に、再生対象となる動画の選択操作が複数回行われた場合には、ファイル取得部140が、相対関係情報記憶部220に記憶されている相対関係メタデータファイルの中から、選択された動画に係る相対関係メタデータファイルを検索する。そして、検索された相対関係メタデータファイルに含まれる他の動画の動画IDが取得され、この動画IDに対応する代表画像に所定のマーカが付される。
このように、代表画像645に対応する動画について合成再生が行われている状態で、代表画像647が選択された場合における合成画像の表示例を図36に示す。図36に示すように、代表画像645および647に対応する各動画について作成される合成画像631の全体が、合成再生表示領域651に表示される。
図37に示す表示画面は、代表画像645および647に対応する各動画について再生が行われている状態で、代表画像642を選択する場合を簡略化して示す。なお、代表画像642の選択操作は、図33に示す選択操作と同様であるため、ここでの説明を省略する。また、動画の合成再生が行われている状態で、他の動画の選択操作が行われた場合における合成画像の大きさ算出方法や相対関係メタデータファイルに含まれる他の動画の検索方法については、図35に示す場合と同様であるため、ここでの説明を省略する。
このように、代表画像645および647に対応する動画について合成再生が行われている状態で、代表画像642が選択されて作成された合成画像の表示例を図38に示す。図38に示すように、代表画像642、645および647に対応する各動画について作成される合成画像630の全体が、合成再生表示領域651に表示される。
以上では、1つの動画が合成再生中に、他の動画が選択された場合には、この選択操作が行われた際における合成再生中の動画に、他の動画を順次重ねて、合成再生を継続する例について説明したが、再生対象の動画に関する相対関係メタデータファイルに含まれるフレーム番号に対応する画像同士が、同時刻に再生されるようにしてもよい。
また、以上では、最初の動画である第1の動画を選択した後に他の動画である第2の動画を選択して、第1の動画について既に作成された合成画像に、第2の動画を合成させて再生させる例について説明したが、第1の動画および第2の動画を同時に選択して合成表示させる場合についても同様に適用することができる。例えば、代表画像642、645および647を同時に選択して、代表画像642、645および647に対応する各動画を同時に再生させる場合に適用することができる。また、同時に選択された複数の動画については、上述したように、これらの動画に関する相対関係メタデータファイルに含まれるフレーム番号に対応する画像同士が同時刻に再生されるように、各動画の再生開始時期を設定するようにしてもよい。また、以上では、動画を表す代表画像として、動画を構成する画像のうちで、先頭フレームに対応する画像を代表画像とする例について説明したが、例えば、動画について作成される合成画像を代表画像として用いるようにしてもよい。例えば、動画について作成される合成画像をメタデータファイルに格納してメタデータ記憶部210に記憶しておき、この合成画像を用いて、所望の動画を選択することができる。この表示例を図39に示す。
図39に示す表示画面は、図32(a)乃至(c)に示す合成画像600、610、620に対応する代表画像661乃至663が、代表画像一覧表示領域640に表示されている状態で、代表画像661を選択する場合を簡略化して示す。なお、代表画像661の選択操作は、図33乃至図38に示す選択操作と同様であるため、ここでの説明を省略する。このように、代表画像として合成画像を用いることにより、選択すべき動画の全体を把握し易くなる。
次に、2つの動画を合成する画像合成方法について図面を参照して詳細に説明する。
図40は、2つの動画を合成する場合における合成例を模式的に示す図である。図40(a)には、動画670を構成する画像671乃至677の遷移を示し、図40(b)には、動画680を構成する画像681乃至687の遷移を示し、図40(c)には、動画670および680が合成された場合における合成画像である画像691乃至697の遷移を示す。なお、動画670および680は、時刻t1乃至t7に記録された動画であるものとする。また、時刻t3における画像673および683は、図9に示す画像370および376に対応する画像であり、画像673および683について図9に示す一致点の選択操作がされているものとする。また、この選択操作により算出された相対関係メタデータを用いて、動画670および680を合成するものとする。
図41は、図40に示す合成画像が表示部290に表示される場合における表示例を示す図である。画像581乃至587は、動画670および680により合成された合成画像の遷移を示す画像であり、実線は現画像を示し、点線は現画像の前の各画像の領域を示す。図41に示すように、図9に示す家371を中心にして家371の周りの背景が広がるように表示される。このように、ほぼ同じ場所を異なるカメラで撮像された動画670および680を同時に再生する場合に、動画670および680を合成することによって、通常の動画では常時見ることができない背景等を見ながら、2つの動画を再生して見ることができる。また、動画670および680を合成することによって、動画670および680の撮像場所の相対関係を容易に把握することができる。この例では、同時刻に撮像された画像については、動画670を構成する画像上に、動画680を構成する画像を上書き合成する例について示すが、操作受付部160からの操作入力に応じて、何れかを上書きするかを選択するようにしてもよい。また、撮像時刻が同じものを、時刻に従って合成する例について説明したが、異なる時刻同士の画像を、操作受付部160からの操作入力に応じた位置から順次合成するようにしてもよい。
次に、実際にカメラにより撮影された複数の動画を合成再生する場合における表示例を示す。以下に示す表示例では、表示部290の表示領域のうちで、複数の動画の少なくとも何れかを構成する現フレームおよび前のフレームに対応する画像が表示される領域のみに合成画像を表示し、その他の領域を黒くする例を示す。また、現フレームに対応する画像の周りには枠を表示する。すなわち、再生の対象となる動画の数分の枠が表示される。なお、以下に示す表示例では、2つの動画が再生されている途中からの表示例を示す。また、実際ではフレーム毎に合成画像が順次表示されるが、以下で示す図では、所定数のフレーム間隔毎の表示例を示し、このフレーム間に表示される合成画像の図示を省略する。このため、現フレームに対応する枠の移動が、同図では大きいものとなっている。
図42乃至図46は、カメラにより撮影された複数の動画の遷移の一例を示す図である。同図では、公園の広場で遊んでいる家族を、2つのカメラを移動させながら同時刻に撮影された場合における動画を構成する画像730乃至744を示す。この例では、同一の撮影時刻の動画を、同一時刻に再生する例について説明するが、撮像時刻とは無関係に、再生時刻をずらして再生させるようにしてもよい。
同図に示す画像730乃至744において、現フレームに対応する画像は、画像750および751である。なお、同図に示す画像730乃至744においては、合成画像が異なる場合でも現画像を同一の符号750および751で示す。同図に示すように、撮影された画像に含まれる撮影対象物(公園の広場等)が画面に固定され、現フレームに対応する画像750および751がカメラの動きに合わせて画面上を移動する。このように表示することによって、表示部290に黒く表示されている表示領域において、現フレームに対応する2つの画像が、2つのカメラの動きに応じて進んでいくように、閲覧者に見せることができる。また、相対関係情報により2つの動画が関連付けて合成されるため、2つの動画により作成される合成画像が1つの動画により構成されたように表示される。また、現画像が合成画像上を移動する場合にも、合成画像上の位置と現画像の位置とが合うように移動していく。さらに、2つの動画により作成される合成画像の全部を、表示部290の表示領域の範囲内に表示させることができるため、視聴者にとって見やすくなる。
次に、本発明の実施の形態における画像処理装置100の動作について図面を参照して説明する。
図47は、本発明の実施の形態における画像処理装置100による動画の再生処理の処理手順を示すフローチャートである。この例では、動画記憶部200に記憶されている各動画を表す代表画像が、図34等に示す代表画像一覧表示領域640に表示されている場合を例にして説明する。
最初に、代表画像一覧表示領域640に表示されている代表画像を選択する選択操作が操作受付部160により受け付けられたか否かが判断される(ステップS941)。代表画像の選択操作が受け付けられていない場合には(ステップS941)、代表画像の選択操作が受け付けられるまで監視する。代表画像の選択操作が受け付けられた場合には(ステップS941)、ファイル取得部140が、相対関係情報記憶部220に記憶されている相対関係メタデータファイルの中から、選択された代表画像に対応する動画IDを含む相対関係メタデータファイルを検索する(ステップS942)。続いて、相対関係情報記憶部220に記憶されている相対関係メタデータファイルの中に、選択された代表画像に対応する動画IDを含む相対関係メタデータファイルが存在するか否かが判断される(ステップS943)。相対関係情報記憶部220に記憶されている相対関係メタデータファイルの中に、選択された代表画像に対応する動画IDを含む相対関係メタデータファイルが存在する場合には(ステップS943)、選択された代表画像に対応する動画IDを含む相対関係メタデータファイルに格納されている他の動画IDに対応する代表画像が、他の代表画像と異なる態様で表示される(ステップS944)。例えば、代表画像の周りに太線の枠を付して、対象となる代表画像が識別可能に表示される。
続いて、選択された代表画像が、他の代表画像と異なる態様で表示された代表画像であるか否かが判断される(ステップS945)。なお、ステップS941で代表画像が最初に選択された場合には、他の代表画像と異なる態様で表示された代表画像が存在しない。一方、選択された代表画像が、他の代表画像と異なる態様で表示された代表画像である場合は、既に選択された他の代表画像が存在する場合である。
選択された代表画像が、他の代表画像と異なる態様で表示された代表画像である場合には(ステップS945)、ファイル取得部140が、今回および今回よりも前に選択された各代表画像に対応する各動画ファイルを動画記憶部200から取得し、これらの各動画ファイルに関連付けてメタデータ記憶部210に記憶されているメタデータファイルを取得するとともに、各代表画像に共通する相対関係メタデータファイルを相対関係情報記憶部220から取得する(ステップS946)。一方、選択された代表画像が、他の代表画像と異なる態様で表示された代表画像でない場合には(ステップS945)、ファイル取得部140が、今回選択された代表画像に対応する各動画ファイルを動画記憶部200から取得し、この動画ファイルに関連付けてメタデータ記憶部210に記憶されているメタデータファイルを取得する(ステップS947)。
続いて、取得された各ファイルの内容に基づいて、配置情報算出処理が行われる(ステップS950)。この配置情報算出処理については、図47を参照して詳細に説明する。続いて、算出された配置情報に基づいて、動画の合成再生処理が行われる(ステップS980)。この動画の合成再生処理については、図49を参照して詳細に説明する。
続いて、動画の合成再生中に、代表画像一覧表示領域640に表示されている代表画像を選択する選択操作が操作受付部160により受け付けられたか否かが判断される(ステップS948)。動画の合成再生中に代表画像の選択操作が受け付けられた場合には(ステップS948)、ステップS942に戻る。一方、動画の合成再生中に代表画像の選択操作が受け付けられない場合には(ステップS948)、選択された各動画の合成再生が終了したか否かが判断される(ステップS949)。すなわち、選択された各動画について、最後のフレームまで合成再生が終了したか否かが判断される。選択された各動画の合成再生が終了した場合には(ステップS949)、動画の合成再生処理の動作を終了する。一方、選択された各動画の合成再生が終了していない場合には(ステップS949)、ステップS980に戻り、動画の合成再生処理を繰り返す。
図48は、本発明の実施の形態における画像処理装置100による動画の再生処理の処理手順のうちの配置情報算出処理手順(図47に示すステップS950の処理手順)を示すフローチャートである。この例では、再生の対象となる動画を構成する画像のうちの先頭の画像を基準画像とする例について説明する。
最初に、変数iが「1」に初期化される(ステップS951)。続いて、基準画像の少なくとも1つの頂点を原点とし、この原点に対応する頂点に接する基準画像の2辺のそれぞれをx軸およびy軸とするxy座標が設定され、基準画像の4つの頂点が変位ベクトルの始点として設定される(ステップS952)。続いて、基準画像から対象となる画像までの各画像に関連付けられているアフィン変換パラメータを用いて、基準画像の4つの頂点がxy座標上でアフィン変換される(ステップS953)。続いて、基準画像の4つの頂点を始点とし、アフィン変換後の4つの点を終点とする変移ベクトルが算出される(ステップS954)。続いて、算出される変移ベクトルの終点の位置に基づいて、x軸方向およびy軸方向の最大値および最小値が更新される(ステップS955)。
続いて、基準動画において、相対関係メタデータファイルに含まれるフレーム番号の画像の位置に到達したか否かが判断される(ステップS956)。相対関係メタデータファイルに含まれるフレーム番号の画像の位置に到達した場合には(ステップS956)、変数iに「1」が加算され(ステップS957)、基準画像から相対関係メタデータファイルに係る画像までの各画像に関連付けられているアフィン変換パラメータと、相対関係メタデータファイルに含まれるアフィン変換パラメータとを用いて、基準画像の4つの頂点がxy座標上でアフィン変換される(ステップS958)。続いて、基準画像の4つの頂点を始点とし、アフィン変換後の4つの点を終点とする変移ベクトルが算出される(ステップS959)。続いて、算出される変移ベクトルの終点の位置に基づいて、x軸方向およびy軸方向の最大値および最小値が更新される(ステップS960)。
続いて、基準動画において基準画像から相対関係メタデータファイルに係る画像までの各画像に関連付けられているアフィン変換パラメータと、相対関係メタデータファイルに含まれるアフィン変換パラメータと、動画iにおいて相対関係メタデータファイルに係る画像から対象となる画像までの各画像に関連付けられているアフィン変換パラメータとを用いて、基準画像の4つの頂点がxy座標上でアフィン変換される(ステップS961)。すなわち、動画iにおいて、基準動画と共通する相対関係メタデータファイルに含まれるフレーム番号の画像の前後方向に向かって、基準画像の4つの頂点がxy座標上で順次アフィン変換される。なお、動画iは、基準動画以外の動画であり、基準動画と共通する相対関係メタデータファイルが存在する動画である。続いて、基準画像の4つの頂点を始点とし、アフィン変換後の4つの点を終点とする変移ベクトルが算出される(ステップS962)。続いて、算出された変移ベクトルの終点の位置に基づいて、x軸方向およびy軸方向の最大値および最小値が更新される(ステップS963)。
続いて、動画iにおいて、相対関係メタデータファイルに含まれるフレーム番号の画像の位置に到達したか否かが判断される(ステップS964)。この判断の対象となる画像の位置は、ステップS958での変換後の画像の位置とは異なる位置である。動画iにおいて、相対関係メタデータファイルに含まれるフレーム番号の画像の位置に到達した場合には(ステップS964)、ステップS957に戻り、動画iおよび基準動画以外の他の動画について最大値および最小値の更新処理を行う。一方、動画iにおいて、相対関係メタデータファイルに含まれるフレーム番号の画像の位置に到達していない場合には(ステップS964)、動画iを構成する全ての画像について、最大値および最小値の更新処理がされたか否かが判断される(ステップS965)。動画iを構成する全ての画像について、最大値および最小値の更新処理がされていない場合には(ステップS965)、ステップS961に戻り、動画iについての最大値および最小値の更新処理が繰り返される。一方、動画iを構成する全ての画像について、最大値および最小値の更新処理がされた場合には(ステップS965)、変数iから「1」が減算され(ステップS966)、変数iが「1」であるか否かが判断される(ステップS967)。変数iが「1」でない場合には(ステップS967)、ステップS961に戻り、動画iについての最大値および最小値の更新処理が繰り返される。
一方、変数iが「1」である場合には(ステップS967)、基準動画を構成する全ての画像について、最大値および最小値の更新処理がされたか否かが判断される(ステップS968)。基準動画を構成する全ての画像について、最大値および最小値の更新処理がされていない場合には(ステップS968)、ステップS953に戻り、基準動画についての最大値および最小値の更新処理が繰り返される。
一方、基準動画を構成する全ての画像について、最大値および最小値の更新処理がされた場合には(ステップS968)、各動画に関する更新処理により算出されたx軸方向およびy軸方向の最大値および最小値に基づいて、選択されている1または複数の動画の合成再生の終了時における合成画像の大きさが算出される(ステップS969)。続いて、算出された合成画像の大きさと、画像メモリ250の大きさとに基づいて、各動画を構成する少なくとも1つの画像の配置位置および保持される際の大きさと、表示倍率とが算出される(ステップS970)。
図49は、本発明の実施の形態における画像処理装置100による動画の再生処理の処理手順のうちの動画の合成再生処理手順(図47に示すステップS980の処理手順)を示すフローチャートである。
最初に、新たな配置位置および大きさが算出されたか否かが判断される(ステップS981)。新たな配置位置および大きさが算出されていない場合には(ステップS981)、ステップS984に進む。一方、新たな配置位置および大きさが算出された場合には(ステップS981)、画像合成部240が、新たに算出された配置位置および大きさに基づいて、画像メモリ250に保持されている合成画像の位置および大きさを変更する(ステップS982)。続いて、対象画像変換情報算出部190が、ステップS946で取得された各ファイルの内容に基づいて、対象画像変換情報を算出する(ステップS983)。
続いて、ファイル取得部140が、動画ファイルをデコードし、動画ファイルを構成する1つのフレームである現フレームを取得する(ステップS984)。なお、複数の動画が選択されている場合には、各動画について現フレームが取得される。続いて、ファイル取得部140が、取得された現フレームに対応するアフィン変換パラメータをメタデータファイルから取得する(ステップS985)。
続いて、画像変換部150が、取得されたアフィン変換パラメータを用いて、現フレームに対応する現画像をアフィン変換する(ステップS986)。なお、複数の動画が選択されている場合には、各現動画についてアフィン変換が行われる。続いて、画像合成部240が、アフィン変換された現画像を、画像メモリ250に保持されている合成画像に上書きして保存する(ステップS987)。
続いて、表示領域取出部260が、算出された表示倍率に応じて表示領域の位置および大きさを決定する(ステップS988)。続いて、表示領域取出部260が、表示領域に含まれる合成画像を画像メモリ250から取り出す(ステップS989)。続いて、表示領域取出部260が、画像メモリ250から取り出された合成画像を表示用メモリ270に保存する(ステップS990)。続いて、画像合成部240が、現画像の変換に用いられたアフィン変換行列と、表示領域の決定に用いられたアフィン変換行列の逆行列とを用いて、現画像の位置を算出する(ステップS991)。続いて、算出された現画像の位置に基づいて、アフィン変換されて画像メモリ250に保持される前の現画像を表示用メモリ270に保持されている合成画像に上書き合成する(ステップS992)。続いて、表示制御部280が、表示用メモリ270に保存されている合成画像を表示部290に表示させる(ステップS993)。
次に、本発明の実施の形態における特徴点抽出処理およびオプティカルフロー計算処理をマルチコアプロセッサにより行う場合について図面を参照して詳細に説明する。
図50は、本発明の実施の形態におけるマルチコアプロセッサ800の一構成例を示す図である。マルチコアプロセッサ800は、1つのCPU(Central Processing Unit)パッケージ上に異なる種類のプロセッサコアが複数搭載されているプロセッサである。すなわち、マルチコアプロセッサ800には、各プロセッサコア単体の処理性能を維持するとともに、シンプルな構成にするため、あらゆる用途(アプリケーション)に対応する1種類のコアと、所定の用途にある程度最適化されている他の種類のコアとの2種類のプロセッサコアが複数搭載されている。
マルチコアプロセッサ800は、制御プロセッサコア801と、演算プロセッサコア(#1)811乃至(#8)818と、バス802とを備え、メインメモリ781と接続されている。また、マルチコアプロセッサ800は、例えば、グラフィックスデバイス782やI/Oデバイス783等の他のデバイスと接続される。マルチコアプロセッサ800として、例えば、本願出願人等により開発されたマイクロプロセッサである「Cell(セル:Cell Broadband Engine)」を採用することができる。
制御プロセッサコア801は、オペレーティング・システムのような頻繁なスレッド切り替え等を主に行う制御プロセッサコアである。なお、制御プロセッサコア801については、図51を参照して詳細に説明する。
演算プロセッサコア(#1)811乃至(#8)818は、マルチメディア系の処理を得意とするシンプルで小型の演算プロセッサコアである。なお、演算プロセッサコア(#1)811乃至(#8)818については、図52を参照して詳細に説明する。
バス802は、EIB(Element Interconnect Bus)と呼ばれる高速なバスであり、制御プロセッサコア801および演算プロセッサコア(#1)811乃至(#8)818のそれぞれが接続され、各プロセッサコアによるデータアクセスはバス802を経由して行われる。
メインメモリ781は、バス802に接続され、各プロセッサコアにロードすべき各種プログラムや、各プロセッサコアの処理に必要なデータを格納するとともに、各プロセッサコアにより処理されたデータを格納するメインメモリである。
グラフィックスデバイス782は、バス802に接続されているグラフィックスデバイスであり、I/Oデバイス783は、バス802に接続されている外部入出力デバイスである。
図51は、本発明の実施の形態における制御プロセッサコア801の一構成例を示す図である。制御プロセッサコア801は、制御プロセッサユニット803および制御プロセッサストレージシステム806を備える。
制御プロセッサユニット803は、制御プロセッサコア801の演算処理を行う核となるユニットであり、マイクロプロセッサのアーキテクチャをベースとする命令セットを備え、一次キャッシュとして命令キャッシュ804およびデータキャッシュ805が搭載されている。命令キャッシュ804は、例えば、32KBの命令キャッシュであり、データキャッシュ805は、例えば、32KBのデータキャッシュである。
制御プロセッサストレージシステム806は、制御プロセッサユニット803からメインメモリ781へのデータアクセスを制御するユニットであり、制御プロセッサユニット803からのメモリアクセスを高速化させるために512KBの二次キャッシュ807が搭載されている。
図52は、本発明の実施の形態における演算プロセッサコア(#1)811の一構成例を示す図である。演算プロセッサコア(#1)811は、演算プロセッサユニット820およびメモリフローコントローラ822を備える。なお、演算プロセッサコア(#2)812乃至(#8)818は、演算プロセッサコア(#1)811と同様の構成であるため、ここでの説明を省略する。
演算プロセッサユニット820は、演算プロセッサコア(#1)811の演算処理を行う核となるユニットであり、制御プロセッサコア801の制御プロセッサユニット803とは異なる独自の命令セットを備える。また、演算プロセッサユニット820には、ローカルストア(LS:Local Store)821が搭載されている。
ローカルストア821は、演算プロセッサユニット820の専用メモリであるとともに、演算プロセッサユニット820から直接参照することができる唯一のメモリである。ローカルストア821として、例えば、容量が256Kバイトのメモリを用いることができる。なお、演算プロセッサユニット820が、メインメモリ781や他の演算プロセッサコア(演算プロセッサコア(#2)812乃至(#8)818)上のローカルストアにアクセスするためには、メモリフローコントローラ822を利用する必要がある。
メモリフローコントローラ822は、メインメモリ781や他の演算プロセッサコア等との間でデータのやり取りするためのユニットであり、MFC(Memory Flow Controller)と呼ばれるユニットである。ここで、演算プロセッサユニット820は、チャネルと呼ばれるインタフェースを介してメモリフローコントローラ822に対してデータ転送等を依頼する。
以上で示したマルチコアプロセッサ800のプログラミング・モデルとして、さまざまなものが提案されている。このプログラミング・モデルの中で最も基本的なモデルとして、制御プロセッサコア801上でメインプログラムを実行し、演算プロセッサコア(#1)811乃至(#8)818上でサブプログラムを実行するモデルが知られている。本発明の実施の形態では、このモデルを用いたマルチコアプロセッサ800の演算方法について図面を参照して詳細に説明する。
図53は、本発明の実施の形態におけるマルチコアプロセッサ800の演算方法を模式的に示す図である。この例では、データ785を用いて制御プロセッサコア801がタスク784を実行する場合に、タスク784の一部であるタスク786の処理に必要なデータ787(データ785の一部)を用いて、タスク786を各演算プロセッサコアに実行させる場合を例に図示する。
同図に示すように、データ785を用いて制御プロセッサコア801がタスク784を実行する場合には、タスク784の一部であるタスク786の処理に必要なデータ787(データ785の一部)を用いて、タスク786を各演算プロセッサコアに実行させる。本発明の実施の形態では、動画を構成するフレーム毎に各演算プロセッサコアにより演算処理が行われる。
同図に示すように、マルチコアプロセッサ800が演算を行うことにより、演算プロセッサコア(#1)811乃至(#8)818を並列に利用して、比較的少ない時間で多くの演算を行うことができるとともに、演算プロセッサコア(#1)811乃至(#8)818上でSIMD(Single Instruction/Multiple Data:単一命令/複数データ)演算を利用して、さらに少ない命令数により、比較的多くの演算処理を行うことができる。なお、SIMD演算については、図57乃至図60等を参照して詳細に説明する。
図54は、本発明の実施の形態におけるマルチコアプロセッサ800により演算を行う場合におけるプログラムおよびデータの流れを模式的に示す図である。ここでは、演算プロセッサコア(#1)811乃至(#8)818のうちの演算プロセッサコア(#1)811を例にして説明するが、演算プロセッサコア(#2)812乃至(#8)818についても同様に行うことができる。
最初に、制御プロセッサコア801は、メインメモリ781に格納されている演算プロセッサコアプログラム823を演算プロセッサコア(#1)811のローカルストア821にロードする指示を演算プロセッサコア(#1)811に送る。これにより、演算プロセッサコア(#1)811は、メインメモリ781に格納されている演算プロセッサコアプログラム823をローカルストア821にロードする。
続いて、制御プロセッサコア801は、ローカルストア821に格納された演算プロセッサコアプログラム825の実行を演算プロセッサコア(#1)811に指示する。
続いて、演算プロセッサコア(#1)811は、ローカルストア821に格納された演算プロセッサコアプログラム825の実行処理に必要なデータ824をメインメモリ781からローカルストア821に転送する。
続いて、演算プロセッサコア(#1)811は、ローカルストア821に格納された演算プロセッサコアプログラム825に基づいて、メインメモリ781から転送されたデータ826を加工し、条件に応じた処理を実行して処理結果をローカルストア821に格納する。
続いて、演算プロセッサコア(#1)811は、ローカルストア821に格納された演算プロセッサコアプログラム825に基づいて実行された処理結果をローカルストア821からメインメモリ781に転送する。
続いて、演算プロセッサコア(#1)811は、制御プロセッサコア801に演算処理の終了を通知する。
次に、マルチコアプロセッサ800を用いて行うSIMD演算について図面を参照して詳細に説明する。ここで、SIMD演算とは、複数のデータに対する処理を1つの命令で行う演算方式である。
図55(a)は、複数のデータに対する処理をそれぞれの命令で行う演算方式の概要を模式的に示す図である。図55(a)に示す演算方式は、通常の演算方式であり、例えば、スカラー演算と呼ばれている。例えば、データ「A1」およびデータ「B1」を加算する命令によりデータ「C1」の処理結果が求められる。また、他の3つの演算についても同様に、同一の行にあるデータ「A2」、「A3」、「A4」と、データ「B2」、「B3」、「B4」とを加算する命令がそれぞれの処理について行われ、この命令により、各行の値が加算処理され、この処理結果がデータ「C2」、「C3」、「C4」として求められる。このように、スカラー演算では、複数のデータに対する処理については、それぞれに対して命令を行う必要がある。
図55(b)は、複数のデータに対する処理を1つの命令で行う演算方式であるSIMD演算の概要を模式的に示す図である。ここで、SIMD演算用に1まとまりにしたデータ(点線827および828で囲まれる各データ)は、ベクターデータと呼ばれることがある。また、このようなベクターデータを用いて行われるSIMD演算は、ベクトル演算と呼ばれることがある。
例えば、点線827で囲まれるベクターデータ(「A1」、「A2」、「A3」、「A4」)と、点線828で囲まれるベクターデータ(「B1」、「B2」、「B3」、「B4」)とを加算する1つの命令により「C1」、「C2」、「C3」、「C4」の処理結果(点線829で囲まれているデータ)が求められる。このように、SIMD演算では、複数のデータに対する処理を1つの命令で行うことができるため、演算処理を迅速に行うことができる。また、これらのSIMD演算に関する命令を、マルチコアプロセッサ800の制御プロセッサコア801が行い、この命令に対する複数データの演算処理について演算プロセッサコア(#1)811乃至(#8)818が並列処理を行う。
一方、例えば、データ「A1」と「B1」とを加算し、データ「A2」と「B2」とを減算し、データ「A3」と「B3」とを乗算し、データ「A4」と「B4」とを除算する処理については、SIMD演算では行うことができない。すなわち、複数のデータのそれぞれに対して異なる処理をする場合には、SIMD演算による処理を行うことがではできない。
次に、特徴点抽出処理およびオプティカルフロー算出処理を行う場合におけるSIMD演算の具体的な演算方法について図面を参照して詳細に説明する。
図56は、本発明の実施の形態における制御プロセッサコア801または演算プロセッサコア(#1)811により実行されるプログラムの構成例を示す図である。ここでは、演算プロセッサコア(#1)811についてのみ図示するが、演算プロセッサコア(#2)812乃至(#8)818についても同様の処理が行われる。
制御プロセッサコア801は、デコード851としてデコード852、インターレース853およびリサイズ854を実行する。デコード852は、動画ファイルをデコードする処理である。インターレース853は、デコードされた各フレームについてインターレース除去する処理である。リサイズ854は、インターレース除去された各フレームについて縮小する処理である。
また、制御プロセッサコア801は、演算プロセッサコア管理856として命令送信857および859、終了通知受信858および860を実行する。命令送信857および859は、演算プロセッサコア(#1)811乃至(#8)818に対するSIMD演算の実行命令を送信する処理であり、終了通知受信858および860は、上記命令に対する演算プロセッサコア(#1)811乃至(#8)818からのSIMD演算の終了通知を受信する処理である。さらに、制御プロセッサコア801は、カメラワーク検出861としてカメラワークパラメータ算出処理862を実行する。カメラワークパラメータ算出処理862は、演算プロセッサコア(#1)811乃至(#8)818によるSIMD演算により算出されたオプティカルフローに基づいてフレーム毎にアフィン変換パラメータを算出する処理である。
演算プロセッサコア(#1)811は、特徴点抽出処理863として、ソベルフィルタ(Sobel Filter)処理864、二次モーメント行列(Second Moment Matrix)処理865、セパラブルフィルタ(Separable Filter)処理866、ハリスコーナー点抽出(Calc Harris)処理867、膨張処理(Dilation)868、並べ替え処理(Sort)869を実行する。
ソベルフィルタ処理864は、P2のフィルタ(x方向)を使って得られるx方向の値dxと、Y方向のフィルタを使って得られるy方向の値dyとを算出する処理である。なお、x方向の値dxの算出については、図57乃至図60を参照して詳細に説明する。
二次モーメント行列処理865は、ソベルフィルタ処理864により算出されたdxおよびdyを用いて、dx2,dy2,dx・dyの各値を算出する処理である。
セパラブルフィルタ処理866は、二次モーメント行列処理865により算出されたdx2,dy2,dx・dyの画像に対してガウシアンフィルタ(ぼかし処理)を掛ける処理である。
ハリスコーナー点抽出処理867は、セパラブルフィルタ処理866により、ぼかし処理が施されたdx2,dy2,dx・dyの各値を用いて、ハリスコーナーのスコアを算出する処理である。このハリスコーナーのスコアSは、例えば、次の式により算出される。
S=(dx2×dy2−dx・dy×dx・dy)/(dx2+dy2+ε)
膨張処理868は、ハリスコーナー点抽出処理867により算出されたハリスコーナーのスコアで構成された画像に対してぼかし処理を行う処理である。
並べ替え処理869は、ハリスコーナー点抽出処理867により算出されたハリスコーナーのスコアが高い順に画素を並べ、このスコアが高い方から所定の数だけピックアップし、このピックアップされた点を特徴点として抽出する処理である。
演算プロセッサコア(#1)811は、オプティカルフロー(Optical Flow)演算処理870として、ピラミッド画像(Make Pyramid Image)処理871、オプティカルフロー算出(Calc Optical Flow)処理872を実行する。
ピラミッド画像処理871は、カメラによる撮像時の画サイズから所定数の段階に縮小された画像を順次作成する処理であり、作成された画像は多重解像度画像と呼ばれる。
オプティカルフロー算出処理872は、ピラミッド画像処理871により作成された多重解像度画像のうちで、最も小さい画像についてオプティカルフローを計算し、この計算結果を用いて、1つ上の解像度の画像について再びオプティカルフローを計算する処理であり、この一連の処理を最も大きい画像に辿り着くまで繰り返し行う。
このように、例えば、図2等に示す特徴点抽出部121により行われる特徴点抽出処理と、オプティカルフロー計算部122により行われるオプティカルフロー算出処理とについては、マルチコアプロセッサ800を用いてSIMD演算によって並列処理することにより処理結果を求めることができる。なお、図56等で示す特徴点抽出処理およびオプティカルフロー算出処理は、一例であり、動画を構成する画像に対する各種フィルタ処理や閾値処理等により構成される他の処理を用いて、マルチコアプロセッサ800によるSIMD演算を行うようにしてもよい。
図57は、本発明の実施の形態におけるメインメモリ781に格納されている画像データ(カメラにより撮像された動画を構成する1つのフレームに対応する画像データ)について、ソベルフィルタ830を用いてフィルタリング処理を行う場合におけるデータ構造と処理の流れを概略的に示す図である。なお、同図に示すメインメモリ781に格納されている画像データについては、横の画素数を32画素として簡略化して示す。また、ソベルフィルタ830は、3×3のエッジ抽出フィルタである。同図に示すように、メインメモリ781に格納されている画像データについて、ソベルフィルタ830を用いたフィルタリング処理を行い、このフィルタリング処理の結果が出力される。この例では、SIMD演算を用いて4つ分のフィルタ結果を一度に得る例について説明する。
図58は、本発明の実施の形態におけるメインメモリ781に格納されている画像データについてソベルフィルタ830を用いてSIMD演算を行う場合におけるデータの流れを概略的に示す図である。最初は、メインメモリ781に格納されている画像データのうちの最初のラインを含む所定数のライン(例えば、3ライン)が演算プロセッサコアのローカルストア821に備えられる第一バッファ831にDMA(Direct Memory Access)転送されるとともに、第一バッファ831にDMA転送された各ラインを1つ下にずらした所定数のラインが第二バッファ832にDMA転送される。このように、ダブルバッファを使用することにより、DMA転送による遅延を隠蔽することができる。
図59は、本発明の実施の形態におけるソベルフィルタ830を用いてフィルタリング処理を行う場合において、第一バッファ831に格納されている画像データから9つのベクトルを作成するベクトル作成方法を概略的に示す図である。図58に示すように、DMA転送が行われた後に、第一バッファ831に格納されている画像データから9つのベクトルが作成される。具体的には、第一バッファ831に格納されている画像データの1ラインにおいて左隅から4つのデータによりベクターデータ841が作成され、その4つのデータを右側に1つずらした4つのデータによりベクターデータ842が作成され、同様に、その4つのデータを右側に1つずらした4つのデータによりベクターデータ843が作成される。また、2ラインおよび3ラインにおいても同様に4つのデータによりベクターデータ844乃至849が作成される。
図60は、本発明の実施の形態におけるソベルフィルタ830を用いてフィルタリング処理を行う場合において、ベクターデータ841乃至849についてSIMD命令を用いてベクトル演算を行うベクトル演算方法を概略的に示す図である。具体的には、ベクターデータ841乃至843についてSIMD演算が順次行われ、ベクトルAが求められる。このSIMD演算では、最初に、『「−1」×「ベクターデータ841」』のSIMD演算が実行される。続いて、『「0」×「ベクターデータ842」』のSIMD演算が実行され、『「1」×「ベクターデータ843」』のSIMD演算が実行される。ここで、『「0」×「ベクターデータ842」』については、演算結果が「0」であると確定しているため、省略することが可能である。また、『「1」×「ベクターデータ843」』については、演算結果が「ベクターデータ843」と同じ値であることが確定しているため、省略することが可能である。
続いて、『「−1」×「ベクターデータ841」』の演算結果と、『「0」×「ベクターデータ842」』の演算結果との加算処理がSIMD演算により実行される。続いて、この加算処理の結果と、『「1」×「ベクターデータ843」』の演算結果との加算処理がSIMD演算により実行される。ここで、例えば、「ベクターデータ1」×「ベクターデータ2」+「ベクターデータ3」となるデータ構造の演算については、SIMD演算により実行することが可能である。そこで、ベクトルAの演算については、例えば、『「0」×「ベクターデータ842」』および『「1」×「ベクターデータ843」』についてのSIMD演算を省略し、『「−1」×「ベクターデータ841」+「ベクターデータ843」』を一度のSIMD演算により実行するようにしてもよい。
また、同様に、ベクターデータ844乃至846についてSIMD演算が行われ、ベクトルBが求められ、ベクターデータ847乃至849についてSIMD演算が行われ、ベクトルCが求められる。
続いて、SIMD演算により求められたベクトルA乃至CについてSIMD演算が行われ、ベクトルDが求められる。このように、SIMD演算を行うことにより、ベクトルの要素数分(この例では4つのデータ)の結果をまとめて得ることができる。
ベクトルDが算出された後は、図58に示す第一バッファ831に格納されている画像データにおいて、取り出すデータの位置を右側に1つずらしながら、同様の処理を繰り返し実行して、それぞれのベクトルDの算出を順次行う。そして、図58に示す第一バッファ831に格納されている画像データの右端までの処理が終了した場合には、処理結果をメインメモリ781にDMA転送する。
続いて、メインメモリ781に格納されている画像データのうちで、第二バッファ832にDMA転送された各ラインを1つ下にずらした所定数のラインが第一バッファ831にDMA転送されるとともに、第二バッファ832に格納されている画像データについて、上述した処理を繰り返し行う。そして、メインメモリ781に格納されている画像データの各ラインのうちの下端のラインに達するまで、同様の処理を繰り返し行う。
同様に、特徴点抽出とオプティカルフロー算出の大部分の処理をSIMD演算により行うことによって高速化を実現することができる。
図61は、本発明の実施の形態におけるカメラワークパラメータ算出処理の流れを時系列で概略的に示す図である。上述したように、例えば、マルチコアプロセッサ800を用いてSIMD演算を行うことにより、動画についてのデコードおよび解析処理を並列化して行うことができる。このため、動画を構成する1フレームの解析時間を、デコード時間よりも短縮することが可能である。
例えば、同図において、t1は、制御プロセッサコア801が動画を構成する1フレームのデコード処理に要する時間を示し、t2は、演算プロセッサコア(#1)811乃至(#8)818が動画を構成する1フレームの特徴点抽出処理に要する時間を示し、t3は、演算プロセッサコア(#1)811乃至(#8)818が動画を構成する1フレームのオプティカルフロー算出処理に要する時間を示し、t4は、制御プロセッサコア801が動画を構成する1フレームのカメラワーク検出処理に要する時間を示す。なお、t5は、制御プロセッサコア801および演算プロセッサコア(#1)811乃至(#8)818が動画を構成する1フレームについて、カメラワーク検出処理に要する時間を示す。また、t6は、t6は、制御プロセッサコア801が演算プロセッサコア(#1)811乃至(#8)818を管理する処理に要する時間を示す。例えば、t1を「25.0ms」とし、t2を「7.9ms」とし、t3を「6.7ms」とし、t4を「1.2ms」とし、t5を「15.8ms」とすることができる。
次に、本発明の実施の形態におけるメタデータファイルを用いた動画コンテンツを再生する場合について図面を参照して詳細に説明する。
図62(a)は、記録媒体の一例であるブルーレイディスク(Blu-ray Disc(登録商標))880を模式的に示す上面図であり、図62(b)は、ブルーレイディスク880に記録されている各データ881乃至884を模式的に示す図である。ブルーレイディスク880には、例えば、カメラ等により撮像された動画である動画コンテンツ882、動画コンテンツ882の字幕883、および、動画コンテンツ882について解析されて得られたメタデータ(例えば、図4(b)に示すメタデータファイル、図5に示す相対関係メタデータファイル)884とともに、本発明の実施の形態における動画再生に係るJava(登録商標)プログラム881が記録されている。
図62(c)は、ブルーレイディスク880を再生可能なブルーレイ再生機(Blu-ray Disc Player)890の内部構成を模式的に示す図である。ここで、ブルーレイディスクを再生可能なブルーレイ再生機890は、CPU891およびOS892とともに、Java VM(Java仮想マシン)およびライブラリ893が標準で搭載されているため、Javaプログラムを実行することが可能である。このため、ブルーレイディスク880をブルーレイ再生機890に装着することにより、ブルーレイ再生機890がJavaプログラム881をロードして実行することが可能である。これにより、ブルーレイ再生機890が動画コンテンツ882を再生する場合に、メタデータ884を用いて、本発明の実施の形態における動画再生を行うことが可能である。すなわち、専用のPCソフト等を使わずに、全てのブルーレイ再生機で本発明の実施の形態における動画再生を実現することが可能になる。
以上で示したように、本発明の実施の形態では、複数の動画を再生する場合に、現在表示されている画像よりも前のフレームに対応する各画像を現在の画像に合成しながら表示するため、撮影の中心となっている対象物とともに、少なくとも一部の時間帯で撮影された背景等を容易に閲覧することができる。このため、例えば、少なくとも一部の時間帯で撮影された背景等を再度見たい場合には、巻き戻し操作や検索操作等をしなくても、現在表示されている画像と同時にその背景等を見ることができる。また、カメラにより撮影された動画を閲覧する場合に、その動画の内容を容易に把握することができる。さらに、例えば、同一の対象物が含まれている動画を再生する場合には、その対象物の部分では、複数の動画が重ねられて表示されるため、複数の動画の相対的な関係を容易に把握することができる。また、前のフレームに対応する画像が固定されるため、空間的な広がりを閲覧者が容易に認識することができる。また、動画について作成される合成画像の全部を表示部290に表示させることができるため、動画を合成して再生する場合に適切な大きさで画像を表示させることができる。これにより、合成再生の途中で合成画像の一部表示されないということを防止することができるため、その動画の内容を容易に把握することができる。
すなわち、過去のフレームを活用して、複数の動画を空間的に展開して鑑賞することができる。これにより、例えば、複数の動画を再生しながらパノラマ画像を完成させていくような鑑賞方法を提供することができるため、閲覧者は面白み豊かに動画を観賞することができる。また、現画像については、画像メモリに250に保存される前の状態の画像を順次表示させることができるため、比較的綺麗な画像を表示させることができる。
また、本発明の実施の形態では、予め検出されたアフィン変換パラメータを用いて再生表示をする例について説明したが、再生の際にアフィン変換パラメータを算出し、この算出されたアフィン変換パラメータを用いて再生表示をするようにしてもよい。例えば、マルチコアプロセッサを用いたSIMD演算によりアフィン変換パラメータを算出することにより、1フレームのデコードの処理時間内に、1フレームのアフィン変換パラメータを算出することが可能である。これにより、アフィン変換パラメータが算出されていない動画を再生する場合でも、アフィン変換パラメータを算出しながら動画再生を行うことが可能であるため、動画を空間的に展開する鑑賞を迅速に行うことができる。
また、本発明の実施の形態では、複数の動画ファイルを動画記憶部200に記憶するとともに、この動画に対応するアフィン変換パラメータを、対応する動画およびフレームと関連付けてメタデータファイルとしてメタデータ記憶部210に記憶し、さらに、複数の動画に関する相対関係情報を相対関係情報記憶部220に記憶する例について説明したが、動画と、この動画に対応するアフィン変換パラメータと、この動画に関する相対関係情報とを関連付けて動画ファイルとして動画記憶部に記録しておき、再生時には、動画ファイルから各情報を抽出して用いるようにしてもよい。
また、例えば、ハイビジョンTV(Television)において、SD(Standard Definition)画質で撮影された動画を鑑賞する場合や、デジタルスチルカメラや携帯電話の動画保存機能等を用いて撮影された動画を鑑賞する場合において、元の画像サイズの状態で表示すると、ハイビジョンTVの画素数を生かせないことがある。また、拡大表示を行うと、画像の粗さが目立つことが多い。そこで、本発明の実施の形態において説明した表示をすることによって、画像の粗さを目立たせることなく、ハイビジョンTVの画素数を生かした鑑賞をすることができる。
なお、画像合成部240により合成された合成画像を記録媒体等に記録して、他の再生表示に用いるようにしてもよい。また、本発明の実施の形態では、現フレームの前のフレームに対応する合成画像を表示させておく例について説明したが、この合成画像については、時間の経過に応じて順次消去するようにしてもよい。この場合に、残像を残して消去するような演出を施すようにしてもよい。また、現フレームに対応する画像についてはカラー表示するとともに、現フレームの前のフレームに対応する合成画像については、時間の経過に応じて、カラー表示からセピア色に変更するような演出を施すようにしてもよい。
また、本発明の実施の形態では、画像合成部により合成された画像を表示部に表示する画像処理装置を例にして説明したが、画像合成部により合成された画像を他の画像表示装置において表示させるための画像情報を出力する画像出力手段を設けた画像処理装置に本発明の実施の形態を適用することができる。さらに、動画を再生することが可能な動画再生装置や撮影された動画を再生することが可能なデジタルビデオカメラ等の撮像装置等に本発明の実施の形態を適用することができる。
また、本発明の実施の形態では、カメラにより撮像された動画について説明したが、例えば、カメラにより撮像された動画が編集された場合における編集後の動画やアニメーション等が合成された動画等についても、本発明の実施の形態を適用することができる。また、本発明の実施の形態では、履歴画像の一部または全部を表示する例について説明したが、変換された複数の現画像のみを表示させるようにしてもよい。すなわち、画像メモリに最後に保持された複数の現画像のみを順次表示させるようにしてもよい。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
すなわち、請求項1において、動画記憶手段は、例えば動画記憶部200に対応する。また、変換情報記憶手段は、例えばメタデータ記憶部210に対応する。また、画像保持手段は、例えば画像メモリ250に対応する。また、配置情報算出手段は、例えば配置情報算出部230に対応する。また、画像変換手段は、例えば画像変換部150に対応する。また、画像合成手段は、例えば画像合成部240に対応する。
また、請求項2において、相対関係情報記憶手段は、例えば相対関係情報記憶部220に対応する。また、対象画像変換情報算出手段は、例えば対象画像変換情報算出部190に対応する。
また、請求項3において、表示手段は、例えば表示部290に対応する。また、操作受付手段は、例えば操作受付部160に対応する。また、表示制御手段は、例えば表示制御部280に対応する。
また、請求項7において、画像合成手段は、例えば画像変換部150および画像合成部240に対応する。また、表示手段は、例えば表示部290に対応する。また、配置情報算出手段は、例えば配置情報算出部230に対応する。
また、請求項8において、動画記憶手段は、例えば動画記憶部200に対応する。また、変換情報記憶手段は、例えばメタデータ記憶部210に対応する。また、画像保持手段は、例えば画像メモリ250に対応する。また、配置情報算出手段は、例えば配置情報算出部230に対応する。また、画像変換手段は、例えば画像変換部150に対応する。また、画像合成手段は、例えば画像合成部240に対応する。また、表示制御手段は、例えば表示制御部280に対応する。
また、請求項9または10において、配置情報算出手順は、例えばステップS950に対応する。また、画像変換手順は、例えばステップS986に対応する。また、画像合成手順は、例えばステップS986に対応する。
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。