以下、本発明の動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体について、図面を参照しつつ詳述する。
<実施の形態1>図1は、本発明の動画像検索装置の一形態を示す構成図である。図1において、この動画像検索装置は、動画像データ101から、各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報などの物理的な画像特徴量情報を動画像特徴量情報103として抽出する動画像特徴量情報抽出部102と、各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報などの物理的な動画像特徴量情報103のうち少なくとも1以上の画像特徴量情報103を時間軸上に配列し、その並びから動画像識別のための動画像固有識別情報105を抽出する動画像固有識別情報抽出部104と、動画像固有識別情報抽出部104で抽出された動画像固有識別情報105を蓄積する動画像固有識別情報蓄積部106と、予め他の動画像データから抽出された動画像固有識別情報108の中から動画像固有識別情報蓄積部106に蓄積されている動画像固有識別情報105と同一の情報を検索して同定する動画像固有識別情報検索同定部(以下、単に「動画像固有識別情報検索部」ともいう)109と、動画像固有識別情報検索部109の検索結果を格納する検索同定結果格納部(以下、単に「検索結果格納部」ともいう)110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索同定結果表示部(以下、単に「検索結果表示部」ともいう)111とを備えている。以上のように構成された本発明の動画像検索装置について、以下にその動作を説明する。
図2は、図1で示した本発明の動画像検索装置の動作を示すフローチャートである。図1及び図2において、まず、動画像特徴量情報抽出部102は、動画像の同定を行う検索キーとなる動画像データ101を取り込み(ステップ201)、この動画像データ101から各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報等を物理的な動画像特徴量情報103として抽出する(ステップ202)。
次に、動画像固有識別情報抽出部104は、動画像特徴量情報103に基づいて、各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報などの物理的な動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を動画像識別のための動画像固有識別情報105として抽出する(ステップ203)。
動画像固有識別情報蓄積部106は、動画像固有識別情報抽出部104で抽出された動画像固有識別情報105を蓄積する(ステップ204)。
一方、他の動画像データ(検索対象の動画像データ)から動画像固有識別情報108を抽出しておく(ステップ205)。この抽出処理は、上述したステップ201〜204と同様の処理によって行うことができる。
そして、動画像固有識別情報検索部109は、動画像固有識別情報蓄積部106に蓄積されている動画像固有識別情報105と他の動画像データから抽出された動画像固有識別情報108とを比較する(ステップ206)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ206〜ステップ209の処理を、全ての他の動画像データから抽出された動画像固有識別情報108に対して行う(ステップ210)。
以上、本発明の動画像検索装置及び動画像検索方法について説明したが、上述した動画像固有識別情報抽出部104において、動画像特徴量情報103の各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報等の物理的な動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びを変則間隔で抜き出し、その抜き出した値を動画像識別のための動画像固有識別情報105として抽出しているが、この動画像固有識別情報抽出部104において、動画像特徴量情報103の各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報等の物理的な動画像特徴量情報の一部分または複数部分の値、その値の平均値、その値の合計値、若しくはその値の差分値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を動画像識別のための動画像固有識別情報105として抽出してもよい。即ち、一画像を複数のフレームに分割して各フレームの動画像特徴量情報の値を求め、これらの値の全てを使用して動画像固有識別情報105を抽出することができ、また、一部のフレームの動画像特徴量情報の値を使用して動画像固有識別情報105を抽出するようにしてもよい。このような使用形態としては、例えば、画像上の時刻表示部分や画像むらのある周辺のフレームを除いた他のフレームの動画像特徴量情報の値を使用する場合などがある。
また、動画像固有識別情報抽出部104において、動画像特徴量情報103の各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報等の物理的な動画像特徴量情報に対し重み付けを行ってから値を算出し、その値、その値の平均値、その値の合計値、またはその値の差分値を適用するようにしてもよい。
また、動画像固有識別情報抽出部104において、物理的な動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値を求めてから、求めた値を量子化してもよい。
以上のように、本発明の実施の形態によれば、動画像の内容に依存した動画像識別のための動画像固有識別情報を抽出することができるので、動画像固有識別情報を用いて、高速に動画像の中から同じ動画像を検索することができる。
<実施の形態2>以下、本発明の第2の実施の形態について、図面を参照しながら説明する。
図3は、本発明の他の動画像検索装置を示す。なお、図3においては、図1と同一の構成のものには同一の符号を付している。図3において、この動画像検索装置は、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT係数及び動き補償情報を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)303として抽出する圧縮動画像特徴量情報抽出部302と、圧縮動画像特徴量情報抽出部302で抽出された圧縮動画像特徴量情報303の各フレームのDCT係数及び動き補償情報のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報305を抽出する圧縮動画像固有識別情報抽出部304と、圧縮動画像固有識別情報抽出部304で抽出された圧縮動画像固有識別情報305を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報308の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報305と同一の情報を検索して同定する圧縮動画像固有識別情報検索同定部(以下、単に「圧縮動画像固有識別情報検索部」ともいう)309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111とを備えている。
以上のように構成された本発明の動画像検索装置について、以下にその動作を説明する。
図4は、図3で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図4においては、図2と同一の処理ステップには同一のステップ番号を付している。図3及び図4において、まず、圧縮動画像特徴量情報抽出部302は、圧縮動画像の検索を行う検索キーとなる圧縮動画像データ301を取り込み(ステップ401)、この圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数および動き補償情報で構成される圧縮動画像特徴量情報303を抽出する(ステップ402)。
次に、圧縮動画像固有識別情報抽出部304は、圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数から物理的な圧縮動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値を求める。また、動き補償情報からは、動きベクトル、前後フレーム間の平均動きベクトル、合計動きベクトル、差分ベクトル、またはフレーム全体としての動きベクトルなどを求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を圧縮動画像識別のための圧縮動画像固有識別情報305として抽出する(ステップ403)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部304で抽出された圧縮動画像固有識別情報305を蓄積する(ステップ404)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報308を抽出しておく(ステップ405)。この抽出処理は、上述したステップ401〜404と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報305と他の動画像データから抽出された圧縮動画像固有識別情報308とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された圧縮動画像固有識別情報308に対して行う(ステップ410)。
以上、本発明の動画像検索装置及び動画像検索方法について説明したが、上述した圧縮動画像固有識別情報抽出部304において、圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数からの物理的な圧縮動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値と、動き補償情報からの動きベクトル、前後フレーム間の平均動きベクトル、合計動きベクトル、差分ベクトル、またはフレーム全体としての動きベクトルなどのうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出したものを圧縮動画像識別のための圧縮動画像固有識別情報305として抽出しているが、圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数から物理的な圧縮動画像特徴量情報の中の一部分または複数部分を利用して、上述したこれらの値を求めてもよく、動き補償情報の中の一部分または複数部分を利用して、上述したこれらのベクトルを求めてもよい。即ち、一画像を複数のフレームに分割して各フレームの圧縮動画像特徴量情報の値を求め、これらの値の全てを使用して圧縮動画像固有識別情報305を抽出することができ、また、一部のフレームの動画像特徴量情報の値を使用して圧縮動画像固有識別情報305を抽出するようにしてもよい。このような使用形態としては、例えば、画像上の時刻表示部分や画像むらのある周辺のフレームを除いた他のフレームの圧縮動画像特徴量情報の値を使用する場合などがある。
また、圧縮動画像固有識別情報抽出部304において、圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数からの物理的な圧縮動画像特徴量情報に対して重み付けを行い、その重み付けられた圧縮動画像特徴量情報によって上述の値を求めてもよい。また、動き補償情報に対して重み付けを行い、その重み付けられた動き補償情報によって、上述のベクトルを求めてもよい。
また、圧縮動画像固有識別情報抽出部304において、上述した物理的な圧縮動画像特徴量情報の値などを量子化して適用してもよく、上述した動きベクトルなどを量子化した値にすることもできる。
以上のように、本発明の実施の形態によれば、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像の内容に依存した、動画像識別のための動画像固有識別情報を抽出することができるので、この動画像固有識別情報を用いて、高速に動画像の中から同じ動画像を検索することができる。
<実施の形態3>以下、本発明の第3の実施の形態について、図面を参照しながら説明する。
図5は、本発明の他の動画像検索装置を示す。なお、図5においては、図1と同一の構成のものには同一の符号を付している。図5において、この動画像検索装置は、動画像データ101から、各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報などの物理的な動画像特徴量情報を動画像特徴量情報103として抽出する動画像特徴量情報抽出部102と、動画像データ101のカット点をカット点情報502として検出するカット点検出部501と、動画像特徴量情報103の各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報などの物理的な画像特徴量情報103のうち少なくとも1以上の動画像特徴量情報103を時間軸上に配列し、その並びから動画像識別のための動画像固有識別情報505を、カット点情報502を用いて分割される動画像データ101の各ショット単位に抽出する動画像固有識別情報抽出部503と、動画像固有識別情報抽出部503で抽出された動画像固有識別情報505を蓄積する動画像固有識別情報蓄積部106と、予め他の動画像データから抽出された動画像固有識別情報508の中から動画像固有識別情報蓄積部106に蓄積されている動画像固有識別情報505と同一の情報を検索して同定する動画像固有識別情報検索部109と、動画像固有識別情報検索部109の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111とを備えている。
以上のように構成された本発明の動画像検索装置について、以下にその動作を説明する。
図6は、図5で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図6においては、図2と同一の処理ステップには同一のステップ番号を付している。図5及び図6において、まず、動画像特徴量情報抽出部102及びカット点検出部501は、動画像の同定を行う検索キーとなる動画像データ101を取り込む(ステップ601)。
次に、動画像特徴量情報抽出部102は、この動画像データ101から各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報等などの物理的な動画像特徴量情報103を抽出する(ステップ202)。
また、カット点検出部501は、動画像データ101のカット点をカット点情報502として検出する(ステップ602)。ここで、動画像データ101のカット点とは、撮影されている動画像データ101の場面が変化する点、または、動画像データ101を撮影しているカメラが切換わった点をいう。
次に、動画像固有識別情報抽出部503は、動画像特徴量情報103に基づいて、各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報などの物理的な動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を、カット点情報502を用いて分割される動画像データ101の各ショット単位に動画像識別のための動画像固有識別情報505として抽出する(ステップ603)。
動画像固有識別情報蓄積部106は、動画像固有識別情報抽出部503で抽出された動画像固有識別情報505を蓄積する(ステップ604)。
一方、他の動画像データ(検索対象の動画像データ)から動画像固有識別情報508を抽出しておく(ステップ205)。この抽出処理は、上述したステップ601〜604と同様の処理によって行うことができる。
そして、動画像固有識別情報検索部109は、動画像固有識別情報蓄積部106に蓄積されている動画像固有識別情報505と他の動画像データから抽出された動画像固有識別情報508とを比較する(ステップ206)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ206〜ステップ209の処理を、全ての他の動画像データから抽出された動画像固有識別情報508に対して行う(ステップ210)。
以上、本発明の動画像検索装置及び動画像検索方法について説明したが、上述した動画像固有識別情報抽出部503において、動画像特徴量情報103の各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報等の物理的な動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値を、動画像特徴量情報103の各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報等の物理的な動画像特徴量情報の一部分または複数部分の値、その値の平均値、その値の合計値、若しくはその値の差分値としてもよい。即ち、一画像を複数のフレームに分割して各フレームの動画像特徴量情報の値を求め、これらの値の全てを使用して動画像固有識別情報505を抽出することができ、また、一部のフレームの動画像特徴量情報の値を使用して動画像固有識別情報505を抽出するようにしてもよい。このような使用形態としては、例えば、画像上の時刻表示部分や画像むらのある周辺のフレームを除いた他のフレームの動画像特徴量情報の値を使用する場合などがある。
また、動画像固有識別情報抽出部503において、動画像特徴量情報103の各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報等の物理的な動画像特徴量情報に対し重み付けを行ってから値を算出し、その値、その値の平均値、その値の合計値、またはその値の差分値を適用するようにしてもよい。
また、動画像固有識別情報抽出部503において、物理的な動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値を求めてから、求めた値を量子化してもよい。
以上のように、本発明の実施の形態によれば、動画像の内容に依存した動画像識別のための動画像固有識別情報505を、カット点情報502によるショットの時間概念を利用することによって、さらに少ない情報量で抽出することができる。また、この動画像固有識別情報505を用いて、さらに高速に動画像の中から同じ動画像を検索することができる。
<実施の形態4>以下、本発明の第4の実施の形態について、図面を参照しながら説明する。
図7は、本発明の他の動画像検索装置を示す。なお、図7においては、図3と同一の構成のものには同一の符号を付している。図7において、この動画像検索装置は、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT係数及び動き補償情報を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)303として抽出する圧縮動画像特徴量情報抽出部302と、圧縮動画像データ301のカット点をカット点情報702として検出するカット点検出部701と、圧縮動画像特徴量情報抽出部302で抽出された圧縮動画像特徴量情報303の各フレームのDCT係数及び動き補償情報のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報705を、カット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に抽出する圧縮動画像固有識別情報抽出部703と、圧縮動画像固有識別情報抽出部703で抽出された圧縮動画像固有識別情報705を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報708の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報705と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111とを備えている。
以上のように構成された本発明の動画像検索装置について、以下にその動作を説明する。
図8は、図7で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図8においては、図4と同一の処理ステップには同一のステップ番号を付している。図7及び図8において、まず、圧縮動画像特徴量情報抽出部302及びカット点検出部701は、圧縮動画像の検索を行う検索キーとなる圧縮動画像データ301を取り込む(ステップ801)。次に、圧縮動画像特徴量情報抽出部302は、圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数および動き補償情報で構成される圧縮動画像特徴量情報303を抽出する(ステップ402)。また、カット点検出部701は、圧縮動画像データ301のカット点をカット点情報702として検出する(ステップ802)。
次に、圧縮動画像固有識別情報抽出部703は、圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数から物理的な圧縮動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値を求める。また、動き補償情報からは、動きベクトル、前後フレーム間の平均動きベクトル、合計動きベクトル、差分ベクトル、またはフレーム全体としての動きベクトルなどのを求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を、カット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に、圧縮動画像識別のための圧縮動画像固有識別情報705として抽出する(ステップ803)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部703で抽出された圧縮動画像固有識別情報705を蓄積する(ステップ804)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報708を抽出しておく(ステップ405)。この抽出処理は、上述したステップ801〜804と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報705と他の動画像データから抽出された圧縮動画像固有識別情報708とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された圧縮動画像固有識別情報708に対して行う(ステップ410)。
以上、本発明の動画像検索装置及び動画像検索方法について説明したが、上述した圧縮動画像固有識別情報抽出部703において、圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数からの物理的な圧縮動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値を、圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数から物理的な圧縮動画像特徴量情報の中の一部分または複数部分を利用して求めてもよく、また、動き補償情報からの動きベクトル、前後フレーム間の平均動きベクトル、合計動きベクトル、差分ベクトル、またはフレーム全体としての動きベクトルなどの値を、動き補償情報の中の一部分または複数部分を利用して求めてもよい。即ち、一画像を複数のフレームに分割して各フレームの圧縮動画像特徴量情報の値を求め、これらの値の全てを使用して圧縮動画像固有識別情報705を抽出することができ、また、一部のフレームの圧縮動画像特徴量情報の値を使用して圧縮動画像固有識別情報705を抽出するようにしてもよい。このような使用形態としては、例えば、画像上の時刻表示部分や画像むらのある周辺のフレームを除いた他のフレームの圧縮動画像特徴量情報の値を使用する場合などがある。
また、圧縮動画像固有識別情報抽出部703において、圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数からの物理的な圧縮動画像特徴量情報に対して重み付けを行い、その重み付けられた圧縮動画像特徴量情報によって上述の値を求めてもよい。また、動き補償情報に対して重み付けを行い、その重み付けられた動き補償情報によって、上述のベクトルを求めてもよい。
また、圧縮動画像固有識別情報抽出部703において、上述した物理的な圧縮動画像特徴量情報の値などを量子化して適用してもよく、上述した動きベクトルなどを量子化した値にすることもできる。
以上のように、本発明の実施の形態によれば、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像の内容に依存した動画像識別のための圧縮動画像固有識別情報705を、カット点情報702によるショットの時間概念を利用することによって、さらに少ない情報量で抽出することができる。また、この圧縮動画像固有識別情報705を用いて、さらに高速に動画像の中から同じ動画像を検索することができる。
<実施の形態5>以下、本発明の第5の実施の形態について、図面を参照しながら説明する。
図9は、本発明の他の動画像検索装置を示す。なお、図9においては、図1及び図3と同一の構成のものには同一の符号を付している。図9において、この動画像検索装置は、動画像データ101のM×N(M及びNは自然数)画素単位の動き補償情報を求める動き補償情報抽出部901と、動画像データ101のM’×N’(M’及びN’は自然数)画素単位でDCT(離散コサイン変換)演算を行い、DCT(離散コサイン変換)係数を得るDCT(離散コサイン変換)演算部902と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT係数及び動き補償情報を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)303として抽出する圧縮動画像特徴量情報抽出部302と、圧縮動画像特徴量情報抽出部302または動き補償情報抽出部901及びDCT(離散コサイン変換)演算部902で抽出された圧縮動画像特徴量情報303の各フレームのDCT係数及び動き補償情報のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報305を抽出する圧縮動画像固有識別情報抽出部304と、圧縮動画像固有識別情報抽出部304で抽出された圧縮動画像固有識別情報305を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報308の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報305と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111とを備えている。
以上のように構成された本発明の動画像検索装置について、以下にその動作を説明する。
図10は、図9で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図10においては、図4と同一の処理ステップには同一のステップ番号を付している。図9及び図10において、まず、入力された動画像データが圧縮されているかどうかを判断する(ステップ1001)。
入力された動画像データが圧縮されていない動画像データ101の場合には、動き補償情報抽出部901及びDCT(離散コサイン変換)演算部902は、動画像の検索を行う検索キーとなる動画像データ101を取り込む(ステップ1002)。
動き補償情報抽出部901は、動画像の検索を行う検索キーとなる動画像データ101の各フレームをM×N(M及びNは自然数)画素単位に分割し、M×N画素単位で動き補償情報を求める(ステップ1003)。また、DCT(離散コサイン変換)演算部902は、動画像データ101の各フレームをM’×N’(M’及びN’は自然数)画素単位に分割し、M’×N’画素単位でDCT(離散コサイン変換)演算をし、DCT(離散コサイン変換)係数を求める(ステップ1004)。
この動き補償情報抽出部901で求められたM×N画素単位の動き補償情報と、DCT(離散コサイン変換)演算部902で求められたM’×N’画素単位のDCT(離散コサイン変換)係数は、圧縮動画像特徴量情報303として圧縮動画像固有識別情報抽出部304に送り出される。
一方、入力された動画像データが圧縮されている圧縮動画像データ301の場合には、圧縮動画像特徴量情報抽出部302は、圧縮動画像の検索を行う検索キーとなる圧縮動画像データ301を取り込み(ステップ401)、この圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数および動き補償情報で構成される圧縮動画像特徴量情報303を抽出する(ステップ402)。
次に、圧縮動画像固有識別情報抽出部304は、圧縮動画像特徴量情報抽出部302または動き補償情報抽出部901及びDCT(離散コサイン変換)演算部902で抽出された圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数から物理的な圧縮動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値を求める。また、動き補償情報からは、動きベクトル、前後フレーム間の平均動きベクトル、合計動きベクトル、差分ベクトル、またはフレーム全体としての動きベクトルなどのを求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を圧縮動画像識別のための圧縮動画像固有識別情報305として抽出する(ステップ403)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部304で抽出された圧縮動画像固有識別情報305を蓄積する(ステップ404)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報308を抽出しておく(ステップ405)。この抽出処理は、上述したステップ1001〜404と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報305と他の動画像データから抽出された圧縮動画像固有識別情報308とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された圧縮動画像固有識別情報308に対して行う(ステップ410)。
以上、本発明の動画像検索装置及び動画像検索方法について説明したが、M×N画素単位及びM’×N’画素単位を、MPEGなどの標準圧縮符号化方式の画素単位と同じ値にしてもよい。
以上のように、本発明の実施の形態によれば、非圧縮の動画像データ101に前処理(ステップ1003、1004)を行うため、動画像データ101及び圧縮動画像データ301の内容に依存した動画像識別のための圧縮動画像固有識別情報305を同じ処理(ステップ403)で抽出することができる。また、この圧縮動画像固有識別情報305を用いて、さらに高速に動画像の中から同じ動画像を検索することができる。
<実施の形態6>以下、本発明の第6の実施の形態について、図面を参照しながら説明する。
図11は、本発明の他の動画像検索装置を示す。なお、図11においては、図5、図7、及び図9と同一の構成のものには同一の符号を付している。図11において、この動画像検索装置は、動画像データ101のM×N(M及びNは自然数)画素単位の動き補償情報を求める動き補償情報抽出部901と、動画像データ101のM’×N’(M’及びN’は自然数)画素単位でDCT(離散コサイン変換)演算を行い、DCT(離散コサイン変換)係数を得るDCT(離散コサイン変換)演算部902と、動画像データ101のカット点をカット点情報502として検出するカット点検出部501と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT係数及び動き補償情報を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)303として抽出する圧縮動画像特徴量情報抽出部302と、圧縮動画像データ301のカット点をカット点情報702として検出するカット点検出部701と、動き補償情報抽出部901及びDCT(離散コサイン変換)演算部902または圧縮動画像特徴量情報抽出部302で抽出された圧縮動画像特徴量情報303の各フレームのDCT係数及び動き補償情報のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報705を、カット点情報502またはカット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に抽出する圧縮動画像固有識別情報抽出部703と、圧縮動画像固有識別情報抽出部703で抽出された圧縮動画像固有識別情報705を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報708の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報705と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111とを備えている。
以上のように構成された本発明の動画像検索装置について、以下にその動作を説明する。
図12は、図11で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図12においては、図6、図8、及び図10と同一の処理ステップには同一のステップ番号を付している。図11及び図12において、まず、入力された動画像データが圧縮されているかどうかを判断する(ステップ1001)。
入力された動画像データが圧縮されていない動画像データ101の場合には、動き補償情報抽出部901、DCT(離散コサイン変換)演算部902、及びカット点検出部501は、動画像の検索を行う検索キーとなる動画像データ101を取り込む(ステップ1201)。
動き補償情報抽出部901は、動画像の検索を行う検索キーとなる動画像データ101の各フレームをM×N(M及びNは自然数)画素単位に分割し、M×N画素単位で動き補償情報を求める(ステップ1003)。また、DCT(離散コサイン変換)演算部902は、動画像データ101の各フレームをM’×N’(M’及びN’は自然数)画素単位に分割し、M’×N’画素単位でDCT(離散コサイン変換)演算をし、DCT(離散コサイン変換)係数を求める(ステップ1004)。
また、カット点検出部501は、動画像データ101のカット点をカット点情報502として検出する(ステップ602)。
この動き補償情報抽出部901で求められたM×N画素単位の動き補償情報と、DCT(離散コサイン変換)演算部902で求められたM’×N’画素単位のDCT(離散コサイン変換)係数は、圧縮動画像特徴量情報303として、カット点検出部501で検出されたカット点情報502と共に、圧縮動画像固有識別情報抽出部703に送り出される。
一方、入力された動画像データが圧縮されている圧縮動画像データ301の場合には、圧縮動画像特徴量情報抽出部302及びカット点検出部701は、圧縮動画像の検索を行う検索キーとなる圧縮動画像データ301を取り込む(ステップ801)。次に、圧縮動画像特徴量情報抽出部302は、圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数および動き補償情報で構成される圧縮動画像特徴量情報303を抽出する(ステップ402)。また、カット点検出部701は、圧縮動画像データ301のカット点をカット点情報702として検出する(ステップ802)。
次に、圧縮動画像固有識別情報抽出部703は、圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数から物理的な圧縮動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値を求める。また、動き補償情報からは、動きベクトル、前後フレーム間の平均動きベクトル、合計動きベクトル、差分ベクトル、またはフレーム全体としての動きベクトルなどのを求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を、カット点情報502を用いて分割される動画像データ101またはカット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に、圧縮動画像識別のための圧縮動画像固有識別情報705として抽出する(ステップ803)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部703で抽出された圧縮動画像固有識別情報705を蓄積する(ステップ804)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報708を抽出しておく(ステップ405)。この抽出処理は、上述したステップ1001〜804と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報705と他の動画像データから抽出された圧縮動画像固有識別情報708とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された圧縮動画像固有識別情報708に対して行う(ステップ410)。
以上、本発明の動画像検索装置及び動画像検索方法について説明したが、M×N画素単位及びM’×N’画素単位を、MPEGなどの標準圧縮符号化方式の画素単位と同じ値にしてもよい。
以上のように、本発明の実施の形態によれば、非圧縮の動画像データ101に前処理(ステップ1003、1004)を行うため、動画像データ101及び圧縮動画像データ301の内容に依存した動画像識別のための圧縮動画像固有識別情報705を同じ処理(ステップ803)で抽出することができる。また、動画像識別のための圧縮動画像固有識別情報705を、カット点情報502またはカット点情報702によるショットの時間概念を利用することによって、さらに少ない情報量で抽出することができる。この圧縮動画像固有識別情報705を用いて、さらに高速に動画像の中から同じ動画像を検索することができる。
<実施の形態7>以下、本発明の第7の実施の形態について、図面を参照しながら説明する。
図13は、本発明の他の動画像検索装置を示す。なお、図13においては、図3及び図9と同一の構成のものには同一の符号を付している。図13において、この動画像検索装置は、動画像データ101のM×N(M及びNは自然数)画素単位の動き補償情報を求める動き補償情報抽出部901と、M’×N’(M’及びN’は自然数)画素単位の平均色(R,G,B)情報や、平均輝度・平均色差(Y,Cb,Cr)情報などの平均画素値を求めるブロック単位平均値抽出部1301と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT(離散コサイン変換)係数のDC(直流)成分及び動き補償情報を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)1303として抽出する圧縮動画像特徴量情報抽出部1302と、動き補償情報抽出部901及びブロック単位平均値抽出部1301または圧縮動画像特徴量情報抽出部1302で抽出された圧縮動画像特徴量情報1303の各フレームのDCT係数のDC成分または平均画素値及びそれらの動き補償情報のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報305を抽出する圧縮動画像固有識別情報抽出部1304と、圧縮動画像固有識別情報抽出部1304で抽出された圧縮動画像固有識別情報305を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報308の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報305と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111とを備えている。
図14は、MPEGなどの国際標準符号化方式で用いられているDCT(離散コサイン変換)演算とIDCT(逆離散コサイン変換)演算とフレーム画像との関係を示す概念図である。
ここで、DCT(離散コサイン変換)演算式は、以下の「数1」に示される式である。
また、IDCT(逆離散コサイン変換)演算式は、以下の「数2」で示される式である。
ただし、上述の「数1」及び「数2」においては、N :イントラ符号のブロックサイズx,y :ブロック内の座標f(x,y):ブロック内の座標(x,y)の画素値u,v :DCT変換後の座標F(u,v):DCT変換後の座標(u,v)のDCTの係数値C(u) :u=0のとき1/√2u≠0のとき1C(v) :v=0のとき1/√2v≠0のとき1である。
図14において、例えば、1フレームのブロックサイズNが、N=8で、DCT変換後の座標(u,v)が、(0,0)の場合、「数1」のF(u,v)は、次の「数3」のようになる。
また、ブロック内の平均画素値は、以下の「数4」のように求めることができる。
上述の「数3」及び「数4」に示されるように、DCT(離散コサイン変換)係数のDC(直流)成分F(u,v)は、ブロック内の平均画素値をブロックの量子化数(N)倍した値になる。すなわち、圧縮動画像特徴量情報抽出部1302で抽出されるDCT(離散コサイン変換)係数のDC(直流)成分F(u,v)と、ブロック単位平均値抽出部1301で得られるブロック内の平均画素値は、ブロックの量子化数を考慮して同一の情報データとして扱うことができる。すなわち、圧縮動画像特徴量情報抽出部1302から抽出される圧縮動画像特徴量情報1303と、動き補償情報抽出部901で抽出される動き補償情報及びブロック単位平均値抽出部1301で抽出される平均画素値による圧縮動画像特徴量情報1303は、同じ内容構成のデータ情報とすることができる。
以上のように構成された本発明の動画像検索装置について、以下にその動作を説明する。
図15は、図13で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図15においては、図4及び図10と同一の処理ステップには同一のステップ番号を付している。図13乃至図15において、まず、入力された動画像データが圧縮されているかどうかを判断する(ステップ1001)。
入力された動画像データが圧縮されていない動画像データ101の場合には、動き補償情報抽出部901及びブロック単位平均値抽出部1301は、動画像の検索を行う検索キーとなる動画像データ101を取り込む(ステップ1501)。
動き補償情報抽出部901は、動画像の検索を行う検索キーとなる動画像データ101の各フレームをM×N(M及びNは自然数)画素単位に分割し、M×N画素単位で動き補償情報を求める(ステップ1003)。また、ブロック単位平均値抽出部1301は、動画像データ101の各フレームをM’×N’(M’及びN’は自然数)画素単位に分割し、M’×N’画素単位の平均画素値を求める(ステップ1502)。
この動き補償情報抽出部901で求められたM×N画素単位の動き補償情報と、ブロック単位平均値抽出部1301で求められたM’×N’画素単位の平均画素値は、圧縮動画像特徴量情報1303として、圧縮動画像固有識別情報抽出部1304に送り出される。
一方、入力された動画像データが圧縮されている圧縮動画像データ301の場合には、圧縮動画像特徴量情報抽出部1302は、圧縮動画像の検索を行う検索キーとなる圧縮動画像データ301を取り込む(ステップ401)。次に、圧縮動画像特徴量情報抽出部1302は、圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数のDC(直流)成分および動き補償情報で構成される圧縮動画像特徴量情報1303を抽出する(ステップ1503)。
次に、圧縮動画像固有識別情報抽出部1304は、圧縮動画像特徴量情報1303の各フレームのDCT(離散コサイン変換)係数のDC(直流)成分からの物理的な圧縮動画像特徴量情報または平均画素値の値、その値の平均値、その値の合計値、またはその値の差分値を求める。また、動き補償情報からは、動きベクトル、前後フレーム間の平均動きベクトル、合計動きベクトル、差分ベクトル、またはフレーム全体としての動きベクトルなどを求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を圧縮動画像識別のための圧縮動画像固有識別情報305として抽出する(ステップ1504)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部1304で抽出された圧縮動画像固有識別情報305を蓄積する(ステップ404)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報308を抽出しておく(ステップ405)。この抽出処理は、上述したステップ1001〜404と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報305と他の動画像データから抽出された圧縮動画像固有識別情報308とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された圧縮動画像固有識別情報308に対して行う(ステップ410)。
以上、本発明の動画像検索装置及び動画像検索方法について説明したが、上述した圧縮動画像固有識別情報抽出部1304において、圧縮動画像特徴量情報1303の各フレームのDCT(離散コサイン変換)係数のDC(直流)成分からの物理的な圧縮動画像特徴量情報または平均画素値の値、その値の平均値、その値の合計値、またはその値の差分値を、圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数のDC(直流)成分からの物理的な圧縮動画像特徴量情報または平均画素値の中の一部分または複数部分を利用して求めてもよく、また、動き補償情報からの動きベクトル、前後フレーム間の平均動きベクトル、合計動きベクトル、差分ベクトル、またはフレーム全体としての動きベクトルなどの値を、動き補償情報の中の一部分または複数部分を利用して求めてもよい。
また、圧縮動画像固有識別情報抽出部1304において、圧縮動画像特徴量情報1303の各フレームのDCT(離散コサイン変換)係数のDC(直流)成分からの物理的な圧縮動画像特徴量情報または平均画素値に対して重み付けを行い、その重み付けられた圧縮動画像特徴量情報または平均画素値によって上述の値を求めてもよい。また、動き補償情報に対して重み付けを行い、その重み付けられた動き補償情報によって、上述のベクトルを求めてもよい。
また、圧縮動画像固有識別情報抽出部1304において、上述した物理的な圧縮動画像特徴量情報または平均画素値の値などを量子化して適用してもよく、上述した動きベクトルなどを量子化した値にすることもできる。
また、M×N画素単位及びM’×N’画素単位を、MPEGなどの標準圧縮符号化方式の画素単位と同じ値にしてもよい。
以上のように、本発明の実施の形態によれば、動画像に簡単な前処理を行うことにより、動画像データ101や圧縮動画像データ301の内容に依存した動画像識別のための圧縮動画像固有識別情報305を、さらに少ない情報量で、かつ動画像データ101と圧縮動画像データ301とを同じ処理で抽出することができる。また、この圧縮動画像固有識別情報305を用いて、さらに高速に動画像の中から同じ動画像を検索することができる。
<実施の形態8>以下、本発明の第8の実施の形態について、図面を参照しながら説明する。
図16は、本発明の他の動画像検索装置を示す。なお、図16においては、図5、図7及び図13と同一の構成のものには同一の符号を付している。図16において、この動画像検索装置は、動画像データ101のM×N(M及びNは自然数)画素単位の動き補償情報を求める動き補償情報抽出部901と、M’×N’(M’及びN’は自然数)画素単位の平均色(R,G,B)情報や、平均輝度・平均色差(Y,Cb,Cr)情報などの平均画素値を求めるブロック単位平均値抽出部1301と、動画像データ101のカット点をカット点情報502として検出するカット点検出部501と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT(離散コサイン変換)係数のDC(直流)成分及び動き補償情報を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)1303として抽出する圧縮動画像特徴量情報抽出部1302と、圧縮動画像データ301のカット点をカット点情報702として検出するカット点検出部701と、補償情報抽出部901及びブロック単位平均値抽出部1301または圧縮動画像特徴量情報抽出部1302で抽出された圧縮動画像特徴量情報1303の各フレームのDCT係数のDC成分または平均画素値及びそれらの動き補償情報のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報705を、カット点情報502を用いて分割される動画像データ101の各ショット単位またはカット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に抽出する圧縮動画像固有識別情報抽出部1603と、圧縮動画像固有識別情報抽出部1603で抽出された圧縮動画像固有識別情報705を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報708の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報705と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111とを備えている。
以上のように構成された本発明の動画像検索装置について、以下にその動作を説明する。
図17は、図16で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図17においては、図6、図8、及び図15と同一の処理ステップには同一のステップ番号を付している。図16及び図17において、まず、入力された動画像データが圧縮されているかどうかを判断する(ステップ1001)。
入力された動画像データが圧縮されていない動画像データ101の場合には、動き補償情報抽出部901、ブロック単位平均値抽出部1301、及びカット点検出部501は、動画像の検索を行う検索キーとなる動画像データ101を取り込む(ステップ1701)。
動き補償情報抽出部901は、動画像の同定を行う検索キーとなる動画像データ101の各フレームをM×N(M及びNは自然数)画素単位に分割し、M×N画素単位で動き補償情報を求める(ステップ1003)。また、ブロック単位平均値抽出部1301は、動画像データ101の各フレームをM’×N’(M’及びN’は自然数)画素単位に分割し、M’×N’画素単位の平均画素値を求める(ステップ1502)。さらに、カット点検出部501は、動画像データ101のカット点をカット点情報502として検出する(ステップ602)。
この動き補償情報抽出部901で求められたM×N画素単位の動き補償情報と、ブロック単位平均値抽出部1301で求められたM’×N’画素単位の平均画素値は、カット点検出部501で検出されたカット点情報502と共に、圧縮動画像特徴量情報1303として、圧縮動画像固有識別情報抽出部1603に送り出される。
一方、入力された動画像データが圧縮されている圧縮動画像データ301の場合には、圧縮動画像特徴量情報抽出部1302及びカット点検出部701は、圧縮動画像の検索を行う検索キーとなる圧縮動画像データ301を取り込む(ステップ801)。次に、圧縮動画像特徴量情報抽出部1302は、圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数のDC(直流)成分および動き補償情報で構成される圧縮動画像特徴量情報1303を抽出する(ステップ1503)。また、カット点検出部701は、圧縮動画像データ301のカット点をカット点情報702として検出する(ステップ802)。
次に、圧縮動画像固有識別情報抽出部1603は、圧縮動画像特徴量情報1303の各フレームのDCT(離散コサイン変換)係数のDC(直流)成分からの物理的な圧縮動画像特徴量情報または平均画素値の値、その値の平均値、その値の合計値、またはその値の差分値を求める。また、動き補償情報からは、動きベクトル、前後フレーム間の平均動きベクトル、合計動きベクトル、差分ベクトル、またはフレーム全体としての動きベクトルなどを求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を圧縮動画像識別のための圧縮動画像固有識別情報705として、カット点情報502を用いて分割される動画像データ101の各ショット単位またはカット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に抽出する(ステップ1702)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部1603で抽出された圧縮動画像固有識別情報705を蓄積する(ステップ804)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報708を抽出しておく(ステップ405)。この抽出処理は、上述したステップ1001〜804と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている動画像固有識別情報705と他の動画像データから抽出された圧縮動画像固有識別情報708とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された動画像固有識別情報708に対して行う(ステップ410)。
以上、本発明の動画像検索装置及び動画像検索方法について説明したが、M×N画素単位及びM’×N’画素単位を、MPEGなどの標準圧縮符号化方式の画素単位と同じ値にしてもよい。
以上のように、本発明の実施の形態によれば、カット点情報によるショットの時間概念を利用し、また、動画像に簡単な前処理を行うことで動画像データ101及び圧縮動画像データ301の内容に依存した動画像識別のための圧縮動画像固有識別情報1303を、少ない情報量で、かつ動画像データと圧縮動画像データにおいて同じ処理で抽出することができる。また、この圧縮動画像固有識別情報1303を用いて、さらに高速に動画像の中から同じ動画像を検索することができる。
<実施の形態9>以下、本発明の第9の実施の形態について、図面を参照しながら説明する。
図18は、本発明の他の動画像検索装置を示す。なお、図18においては、図3及び図9と同一の構成のものには同一の符号を付している。図18において、この動画像検索装置は、動画像データ101のM×N(M及びNは自然数)画素単位でDCT(離散コサイン変換)演算を行い、DCT(離散コサイン変換)係数を圧縮動画像特徴量情報303として得るDCT(離散コサイン変換)演算部902と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT(離散コサイン変換)係数を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)303として抽出する圧縮動画像特徴量情報抽出部302と、DCT(離散コサイン変換)演算部902または圧縮動画像特徴量情報抽出部302で抽出された圧縮動画像特徴量情報303の各フレームのDCT係数のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報305を抽出する圧縮動画像固有識別情報抽出部304と、圧縮動画像固有識別情報抽出部304で抽出された圧縮動画像固有識別情報305を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報308の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報305と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111とを備えている。
以上のように構成された本発明の動画像検索装置について、以下にその動作を説明する。
図19は、図18で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図19においては、図10と同一の処理ステップには同一のステップ番号を付している。図18及び図19において、まず、入力された動画像データが圧縮されているかどうかを判断する(ステップ1001)。
入力された動画像データが圧縮されていない動画像データ101の場合には、DCT(離散コサイン変換)演算部902は、動画像の検索を行う検索キーとなる動画像データ101を取り込む(ステップ1901)。
DCT(離散コサイン変換)演算部902は、動画像データ101の各フレームをM×N(M及びNは自然数)画素単位に分割し、M×N画素単位でDCT(離散コサイン変換)演算をし、DCT(離散コサイン変換)係数を圧縮動画像特徴量情報303として求める(ステップ1902)。
一方、入力された動画像データが圧縮されている圧縮動画像データ301の場合には、圧縮動画像特徴量情報抽出部302は、圧縮動画像の検索を行う検索キーとなる圧縮動画像データ301を取り込み(ステップ401)、この圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数を圧縮動画像特徴量情報303として抽出する(ステップ1903)。
次に、圧縮動画像固有識別情報抽出部304は、圧縮動画像特徴量情報抽出部302またはDCT(離散コサイン変換)演算部902で抽出された圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数から物理的な圧縮動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値を求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を圧縮動画像識別のための圧縮動画像固有識別情報305として抽出する(ステップ1904)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部304で抽出された圧縮動画像固有識別情報305を蓄積する(ステップ404)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報308を抽出しておく(ステップ405)。この抽出処理は、上述したステップ1001〜404と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている動画像固有識別情報305と他の動画像データから抽出された圧縮動画像固有識別情報308とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された動画像固有識別情報308に対して行う(ステップ410)。
以上、本発明の動画像検索装置及び動画像検索方法について説明したが、M×N画素単位を、MPEGなどの標準圧縮符号化方式の画素単位と同じ値にしてもよい。
以上のように、本発明の実施の形態によれば、動画像データ101に前処理を行うことにより、動画像データ101と圧縮動画像データ301の内容に依存した動画像識別のための圧縮動画像固有識別情報305を同じ処理で抽出することができる。また、この圧縮動画像固有識別情報305を用いて、さらに高速に動画像の中から同じ動画像を検索することができる。
<実施の形態10>以下、本発明の第10の実施の形態について、図面を参照しながら説明する。
図20は、本発明の他の動画像検索装置を示す。なお、図20においては、図11と同一の構成のものには同一の符号を付している。図20において、この動画像検索装置は、動画像データ101のM×N(M及びNは自然数)画素単位でDCT(離散コサイン変換)演算を行い、DCT(離散コサイン変換)係数を圧縮動画像特徴量情報303として得るDCT(離散コサイン変換)演算部902と、動画像データ101のカット点をカット点情報502として検出するカット点検出部501と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT係数を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)303として抽出する圧縮動画像特徴量情報抽出部302と、圧縮動画像データ301のカット点をカット点情報702として検出するカット点検出部701と、DCT(離散コサイン変換)演算部902または圧縮動画像特徴量情報抽出部302で抽出された圧縮動画像特徴量情報303の各フレームのDCT係数のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報705を、カット点情報502またはカット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に抽出する圧縮動画像固有識別情報抽出部703と、圧縮動画像固有識別情報抽出部703で抽出された圧縮動画像固有識別情報705を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報708の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報705と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111とを備えている。
以上のように構成された本発明の動画像検索装置について、以下にその動作を説明する。
図21は、図20で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図21においては、図12及び図19と同一の処理ステップには同一のステップ番号を付している。図20及び図21において、まず、入力された動画像データが圧縮されているかどうかを判断する(ステップ1001)。
入力された動画像データが圧縮されていない動画像データ101の場合には、DCT(離散コサイン変換)演算部902及びカット点検出部501は、動画像の検索を行う検索キーとなる動画像データ101を取り込む(ステップ2101)。
DCT(離散コサイン変換)演算部902は、動画像データ101の各フレームをM×N(M及びNは自然数)画素単位に分割し、M×N画素単位でDCT(離散コサイン変換)演算をし、DCT(離散コサイン変換)係数を圧縮動画像特徴量情報303として求める(ステップ1902)。また、カット点検出部501は、動画像データ101のカット点をカット点情報502として検出する(ステップ602)。
このDCT(離散コサイン変換)演算部902で求められたM×N画素単位のDCT(離散コサイン変換)係数は、圧縮動画像特徴量情報303として、カット点検出部501で検出されたカット点情報502と共に、圧縮動画像固有識別情報抽出部703に送り出される。
一方、入力された動画像データが圧縮されている圧縮動画像データ301の場合には、圧縮動画像特徴量情報抽出部302及びカット点検出部701は、圧縮動画像の検索を行う検索キーとなる圧縮動画像データ301を取り込む(ステップ801)。次に、圧縮動画像特徴量情報抽出部302は、圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数を圧縮動画像特徴量情報303として抽出する(ステップ1903)。また、カット点検出部701は、圧縮動画像データ301のカット点をカット点情報702として検出する(ステップ802)。
次に、圧縮動画像固有識別情報抽出部703は、圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数から物理的な圧縮動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値を求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を、カット点情報502を用いて分割される動画像データ101またはカット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に、圧縮動画像識別のための圧縮動画像固有識別情報705として抽出する(ステップ2102)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部703で抽出された圧縮動画像固有識別情報705を蓄積する(ステップ804)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報708を抽出しておく(ステップ405)。この抽出処理は、上述したステップ1001〜804と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている動画像固有識別情報705と他の動画像データから抽出された圧縮動画像固有識別情報708とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された動画像固有識別情報708に対して行う(ステップ410)。
以上、本発明の動画像検索装置及び動画像検索方法について説明したが、M×N画素単位を、MPEGなどの標準圧縮符号化方式の画素単位と同じ値にしてもよい。
以上のように、本発明の実施の形態によれば、非圧縮の動画像データ101に前処理を行うため、動画像データ101及び圧縮動画像データ301の内容に依存した動画像識別のための圧縮動画像固有識別情報705を同じ処理で抽出することができる。また、動画像識別のための圧縮動画像固有識別情報705を、カット点情報502またはカット点情報702によるショットの時間概念を利用することによって、さらに少ない情報量で抽出することができる。この圧縮動画像固有識別情報705を用いて、さらに高速に動画像の中から同じ動画像を検索することができる。
<実施の形態11>以下、本発明の第11の実施の形態について、図面を参照しながら説明する。
図22は、本発明の他の動画像検索装置を示す。なお、図22においては、図13と同一の構成のものには同一の符号を付している。図22において、この動画像検索装置は、M×N(M及びNは自然数)画素単位の平均色(R,G,B)情報や、平均輝度・平均色差(Y,Cb,Cr)情報などの平均画素値を圧縮動画像特徴量情報1303として求めるブロック単位平均値抽出部1301と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT(離散コサイン変換)係数のDC(直流)成分を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)1303として抽出する圧縮動画像特徴量情報抽出部1302と、ブロック単位平均値抽出部1301または圧縮動画像特徴量情報抽出部1302で抽出された圧縮動画像特徴量情報1303の各フレームのDCT係数のDC成分または平均画素値のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報305を抽出する圧縮動画像固有識別情報抽出部1304と、圧縮動画像固有識別情報抽出部1304で抽出された圧縮動画像固有識別情報305を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報308の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報305と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111とを備えている。
以上のように構成された本発明の動画像検索装置について、以下にその動作を説明する。
図23は、図22で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図23においては、図15と同一の処理ステップには同一のステップ番号を付している。図22乃び図23において、まず、入力された動画像データが圧縮されているかどうかを判断する(ステップ1001)。
入力された動画像データが圧縮されていない動画像データ101の場合には、ブロック単位平均値抽出部1301は、動画像の検索を行う検索キーとなる動画像データ101を取り込む(ステップ2301)。
ブロック単位平均値抽出部1301は、動画像データ101の各フレームをM×N(M及びNは自然数)画素単位に分割し、M×N画素単位の平均画素値を圧縮動画像特徴量情報1303として求める(ステップ1502)。
一方、入力された動画像データが圧縮されている圧縮動画像データ301の場合には、圧縮動画像特徴量情報抽出部1302は、圧縮動画像の検索を行う検索キーとなる圧縮動画像データ301を取り込む(ステップ401)。次に、圧縮動画像特徴量情報抽出部1302は、圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数のDC(直流)成分を圧縮動画像特徴量情報1303として抽出する(ステップ1503)。
次に、圧縮動画像固有識別情報抽出部1304は、圧縮動画像特徴量情報1303の各フレームのDCT(離散コサイン変換)係数のDC(直流)成分からの物理的な圧縮動画像特徴量情報または平均画素値の値、その値の平均値、その値の合計値、またはその値の差分値を求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を圧縮動画像識別のための圧縮動画像固有識別情報305として抽出する(ステップ1504)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部1304で抽出された圧縮動画像固有識別情報305を蓄積する(ステップ404)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報308を抽出しておく(ステップ405)。この抽出処理は、上述したステップ1001〜404と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている動画像固有識別情報305と他の動画像データから抽出された圧縮動画像固有識別情報308とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された動画像固有識別情報308に対して行う(ステップ410)。
以上、本発明の動画像検索装置及び動画像検索方法について説明したが、上述した圧縮動画像固有識別情報抽出部1304において、圧縮動画像特徴量情報1303の各フレームのDCT(離散コサイン変換)係数のDC(直流)成分からの物理的な圧縮動画像特徴量情報または平均画素値の値、その値の平均値、その値の合計値、またはその値の差分値を、圧縮動画像特徴量情報1303の各フレームのDCT(離散コサイン変換)係数のDC(直流)成分からの物理的な圧縮動画像特徴量情報または平均画素値の中の一部分または複数部分を利用して求めてもよい。
また、圧縮動画像固有識別情報抽出部1304において、圧縮動画像特徴量情報1303の各フレームのDCT(離散コサイン変換)係数のDC(直流)成分からの物理的な圧縮動画像特徴量情報または平均画素値に対して重み付けを行い、その重み付けられた圧縮動画像特徴量情報または平均画素値によって上述の値を求めてもよい。
また、圧縮動画像固有識別情報抽出部1304において、上述した物理的な圧縮動画像特徴量情報または平均画素値の値などを量子化して適用してもよい。
また、M×N画素単位を、MPEGなどの標準圧縮符号化方式の画素単位と同じ値にしてもよい。
以上のように、本発明の実施の形態によれば、動画像に簡単な前処理を行うことにより、動画像データ101や圧縮動画像データ301の内容に依存した動画像識別のための圧縮動画像固有識別情報305を、さらに少ない情報量で、かつ動画像データ101と圧縮動画像データ301とを同じ処理で抽出することができる。また、この圧縮動画像固有識別情報305を用いて、さらに高速に動画像の中から同じ動画像を検索することができる。
<実施の形態12>以下、本発明の第12の実施の形態について、図面を参照しながら説明する。
図24は、本発明の他の動画像検索装置を示す。なお、図24においては、図16と同一の構成のものには同一の符号を付している。図24において、この動画像検索装置は、動画像データ101のM×N(M及びNは自然数)画素単位の平均色(R,G,B)情報や、平均輝度・平均色差(Y,Cb,Cr)情報などの平均画素値を圧縮動画像特徴量情報1303として求めるブロック単位平均値抽出部1301と、動画像データ101のカット点をカット点情報502として検出するカット点検出部501と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT(離散コサイン変換)係数のDC(直流)成分を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)1303として抽出する圧縮動画像特徴量情報抽出部1302と、圧縮動画像データ301のカット点をカット点情報702として検出するカット点検出部701と、ブロック単位平均値抽出部1301または圧縮動画像特徴量情報抽出部1302で抽出された圧縮動画像特徴量情報1303の各フレームのDCT係数のDC成分または平均画素値のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報705を、カット点情報502を用いて分割される動画像データ101の各ショット単位またはカット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に抽出する圧縮動画像固有識別情報抽出部1603と、圧縮動画像固有識別情報抽出部1603で抽出された圧縮動画像固有識別情報705を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報708の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報705と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111とを備えている。
以上のように構成された本発明の動画像検索装置について、以下にその動作を説明する。
図25は、図24で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図25においては、図17と同一の処理ステップには同一のステップ番号を付している。図24及び図25において、まず、入力された動画像データが圧縮されているかどうかを判断する(ステップ1001)。
入力された動画像データが圧縮されていない動画像データ101の場合には、ブロック単位平均値抽出部1301及びカット点検出部501は、動画像の検索を行う検索キーとなる動画像データ101を取り込む(ステップ2501)。
ブロック単位平均値抽出部1301は、動画像データ101の各フレームをM×N(M及びNは自然数)画素単位に分割し、M×N画素単位の平均画素値を求める(ステップ1502)。また、カット点検出部501は、動画像データ101のカット点をカット点情報502として検出する(ステップ602)。
一方、入力された動画像データが圧縮されている圧縮動画像データ301の場合には、圧縮動画像特徴量情報抽出部1302及びカット点検出部701は、圧縮動画像の検索を行う検索キーとなる圧縮動画像データ301を取り込む(ステップ801)。次に、圧縮動画像特徴量情報抽出部1302は、圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数のDC(直流)成分を圧縮動画像特徴量情報1303として抽出する(ステップ1503)。また、カット点検出部701は、圧縮動画像データ301のカット点をカット点情報702として検出する(ステップ802)。
次に、圧縮動画像固有識別情報抽出部1603は、圧縮動画像特徴量情報1303の各フレームのDCT(離散コサイン変換)係数のDC(直流)成分からの物理的な圧縮動画像特徴量情報または平均画素値の値、その値の平均値、その値の合計値、またはその値の差分値を求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を圧縮動画像識別のための圧縮動画像固有識別情報705として、カット点情報502を用いて分割される動画像データ101の各ショット単位またはカット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に抽出する(ステップ1702)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部1603で抽出された圧縮動画像固有識別情報705を蓄積する(ステップ804)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報708を抽出しておく(ステップ405)。この抽出処理は、上述したステップ1001〜804と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている動画像固有識別情報705と他の動画像データから抽出された圧縮動画像固有識別情報708とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された動画像固有識別情報708に対して行う(ステップ410)。
以上、本発明の動画像検索装置及び動画像検索方法について説明したが、M×N画素単位を、MPEGなどの標準圧縮符号化方式の画素単位と同じ値にしてもよい。
以上のように、本発明の実施の形態によれば、カット点情報によるショットの時間概念を利用し、また、動画像に簡単な前処理を行うことで動画像データ101及び圧縮動画像データ301の内容に依存した動画像識別のための圧縮動画像固有識別情報1303を、少ない情報量で、かつ動画像データと圧縮動画像データにおいて同じ処理で抽出することができる。また、この圧縮動画像固有識別情報1303を用いて、さらに高速に動画像の中から同じ動画像を検索することができる。
<実施の形態13>以下、本発明の第13の実施の形態について、図面を参照しながら説明する。
図26は、本発明の他の動画像検索装置を示す。なお、図26においては、図1及び図3と同一の構成のものには同一の符号を付している。図26に示した動画像検索装置は、動画像データ101から、各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報などの物理的な画像特徴量情報を動画像特徴量情報103として抽出する動画像特徴量情報抽出部102と、各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報などの物理的な動画像特徴量情報103のうち少なくとも1以上の画像特徴量情報103を時間軸上に配列し、その並びから動画像識別のための動画像固有識別情報105を抽出する動画像固有識別情報抽出部104と、動画像固有識別情報抽出部104で抽出された動画像固有識別情報105を蓄積する動画像固有識別情報蓄積部106と、予め他の動画像データから抽出された動画像固有識別情報108の中から動画像固有識別情報蓄積部106に蓄積されている動画像固有識別情報105と同一の情報を検索して同定する動画像固有識別情報検索部109と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT係数及び動き補償情報を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)303として抽出する圧縮動画像特徴量情報抽出部302と、圧縮動画像特徴量情報抽出部302で抽出された圧縮動画像特徴量情報303の各フレームのDCT係数及び動き補償情報のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報305を抽出する圧縮動画像固有識別情報抽出部304と、圧縮動画像固有識別情報抽出部304で抽出された圧縮動画像固有識別情報305を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報308の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報305と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、動画像固有識別情報検索部109及び圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111と、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定し、非圧縮の動画像データ101を動画像特徴量情報抽出部102に出力し、圧縮動画像データ301を圧縮動画像特徴量情報抽出部302に出力する圧縮・非圧縮判定部2602を備えている。
図27は、図26で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図27においては、図2及び図4と同一の処理ステップには同一のステップ番号を付している。
図27において、まず、圧縮・非圧縮判定部2602は、ディジタル動画像データ2601を取得する(ステップ2701)。次に、圧縮・非圧縮判定部2602は、取得したディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定する(ステップ2702)。
ディジタル動画像データ2601が非圧縮の動画像データ101の場合には、この動画像データ101から各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報等を物理的な動画像特徴量情報103として抽出する(ステップ202)。
次に、動画像固有識別情報抽出部104は、動画像特徴量情報103に基づいて、各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報などの物理的な動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を動画像識別のための動画像固有識別情報105として抽出する(ステップ203)。
動画像固有識別情報蓄積部106は、動画像固有識別情報抽出部104で抽出された動画像固有識別情報105を蓄積する(ステップ204)。
一方、他の動画像データ(検索対象の動画像データ)から動画像固有識別情報108を抽出しておく(ステップ205)。この抽出処理は、上述したステップ201〜204(図2)と同様の処理によって行うことができる。
そして、動画像固有識別情報検索部109は、動画像固有識別情報蓄積部106に蓄積されている動画像固有識別情報105と他の動画像データから抽出された動画像固有識別情報108とを比較する(ステップ206)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ206〜ステップ209の処理を、全ての他の動画像データから抽出された動画像固有識別情報108に対して行う(ステップ210)。
また、ディジタル動画像データ2601が圧縮動画像データ301の場合には、この圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数および動き補償情報で構成される圧縮動画像特徴量情報303を抽出する(ステップ402)。
次に、圧縮動画像固有識別情報抽出部304は、圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数から物理的な圧縮動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値を求める。また、動き補償情報からは、動きベクトル、前後フレーム間の平均動きベクトル、合計動きベクトル、差分ベクトル、またはフレーム全体としての動きベクトルなどを求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を圧縮動画像識別のための圧縮動画像固有識別情報305として抽出する(ステップ403)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部304で抽出された圧縮動画像固有識別情報305を蓄積する(ステップ404)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報308を抽出しておく(ステップ405)。この抽出処理は、上述したステップ401〜404(図4)と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報305と他の動画像データから抽出された圧縮動画像固有識別情報308とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された圧縮動画像固有識別情報308に対して行う(ステップ410)。
以上のように、本発明の実施の形態によれば、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを自動的に判定できるため、検索する画像データの形式(圧縮/非圧縮)によらず、より高速に動画像の中から同じ動画像を検索することができる。
<実施の形態14>以下、本発明の第14の実施の形態について、図面を参照しながら説明する。
図28は、本発明の他の動画像検索装置を示す。なお、図28においては、図5及び図7と同一の構成のものには同一の符号を付している。図28に示した動画像検索装置は、動画像データ101から、各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報などの物理的な動画像特徴量情報を動画像特徴量情報103として抽出する動画像特徴量情報抽出部102と、動画像データ101のカット点をカット点情報502として検出するカット点検出部501と、動画像特徴量情報103の各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報などの物理的な画像特徴量情報103のうち少なくとも1以上の動画像特徴量情報103を時間軸上に配列し、その並びから動画像識別のための動画像固有識別情報505を、カット点情報502を用いて分割される動画像データ101の各ショット単位に抽出する動画像固有識別情報抽出部503と、動画像固有識別情報抽出部503で抽出された動画像固有識別情報505を蓄積する動画像固有識別情報蓄積部106と、予め他の動画像データから抽出された動画像固有識別情報508の中から動画像固有識別情報蓄積部106に蓄積されている動画像固有識別情報505と同一の情報を検索して同定する動画像固有識別情報検索部109と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT係数及び動き補償情報を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)303として抽出する圧縮動画像特徴量情報抽出部302と、圧縮動画像データ301のカット点をカット点情報702として検出するカット点検出部701と、圧縮動画像特徴量情報抽出部302で抽出された圧縮動画像特徴量情報303の各フレームのDCT係数及び動き補償情報のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報705を、カット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に抽出する圧縮動画像固有識別情報抽出部703と、圧縮動画像固有識別情報抽出部703で抽出された圧縮動画像固有識別情報705を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報708の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報705と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、動画像固有識別情報検索部109及び圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111と、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定し、非圧縮の動画像データ101を動画像特徴量情報抽出部102とカット点検出部501に出力し、圧縮動画像データ301を圧縮動画像特徴量情報抽出部302とカット点検出部701に出力する圧縮・非圧縮判定部2602を備えている。
図29は、図28で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図29においては、図6及び図8と同一の処理ステップには同一のステップ番号を付している。
図29において、まず、圧縮・非圧縮判定部2602は、ディジタル動画像データ2601を取得する(ステップ2701)。次に、圧縮・非圧縮判定部2602は、取得したディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定する(ステップ2702)。
ディジタル動画像データ2601が非圧縮の動画像データ101の場合には、動画像特徴量情報抽出部102は、この動画像データ101から各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報等などの物理的な動画像特徴量情報103を抽出する(ステップ202)。
また、カット点検出部501は、動画像データ101のカット点をカット点情報502として検出する(ステップ602)。ここで、動画像データ101のカット点とは、撮影されている動画像データ101の場面が変化する点、または、動画像データ101を撮影しているカメラが切換わった点をいう。
次に、動画像固有識別情報抽出部503は、動画像特徴量情報103に基づいて、各フレームの輝度・色差(Y,Cb,Cr)情報や色(R,G,B)情報などの物理的な動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を、カット点情報502を用いて分割される動画像データ101の各ショット単位に動画像識別のための動画像固有識別情報505として抽出する(ステップ603)。
動画像固有識別情報蓄積部106は、動画像固有識別情報抽出部503で抽出された動画像固有識別情報505を蓄積する(ステップ604)。
一方、他の動画像データ(検索対象の動画像データ)から動画像固有識別情報508を抽出しておく(ステップ205)。この抽出処理は、上述したステップ601〜604(図6)と同様の処理によって行うことができる。
そして、動画像固有識別情報検索部109は、動画像固有識別情報蓄積部106に蓄積されている動画像固有識別情報505と他の動画像データから抽出された動画像固有識別情報508とを比較する(ステップ206)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ206〜ステップ209の処理を、全ての他の動画像データから抽出された動画像固有識別情報508に対して行う(ステップ210)。
また、ディジタル動画像データ2601が圧縮動画像データ301の場合には、圧縮動画像特徴量情報抽出部302は、圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数および動き補償情報で構成される圧縮動画像特徴量情報303を抽出する(ステップ402)。また、カット点検出部701は、圧縮動画像データ301のカット点をカット点情報702として検出する(ステップ802)。
次に、圧縮動画像固有識別情報抽出部703は、圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数から物理的な圧縮動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値を求める。また、動き補償情報からは、動きベクトル、前後フレーム間の平均動きベクトル、合計動きベクトル、差分ベクトル、またはフレーム全体としての動きベクトルなどのを求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を、カット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に、圧縮動画像識別のための圧縮動画像固有識別情報705として抽出する(ステップ803)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部703で抽出された圧縮動画像固有識別情報705を蓄積する(ステップ804)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報708を抽出しておく(ステップ405)。この抽出処理は、上述したステップ801〜804(図8)と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報705と他の動画像データから抽出された圧縮動画像固有識別情報708とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された圧縮動画像固有識別情報708に対して行う(ステップ410)。
以上のように、本発明の実施の形態によれば、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを自動的に判定できるため、検索する画像データの形式(圧縮/非圧縮)によらず、より高速に動画像の中から同じ動画像を検索することができる。
<実施の形態15>以下、本発明の第15の実施の形態について、図面を参照しながら説明する。
図30は、本発明の他の動画像検索装置を示す。なお、図30においては、図9と同一の構成のものには同一の符号を付している。図30に示した動画像検索装置は、動画像データ101のM×N(M及びNは自然数)画素単位の動き補償情報を求める動き補償情報抽出部901と、動画像データ101のM’×N’(M’及びN’は自然数)画素単位でDCT(離散コサイン変換)演算を行い、DCT(離散コサイン変換)係数を得るDCT(離散コサイン変換)演算部902と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT係数及び動き補償情報を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)303として抽出する圧縮動画像特徴量情報抽出部302と、圧縮動画像特徴量情報抽出部302または動き補償情報抽出部901及びDCT(離散コサイン変換)演算部902で抽出された圧縮動画像特徴量情報303の各フレームのDCT係数及び動き補償情報のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報305を抽出する圧縮動画像固有識別情報抽出部304と、圧縮動画像固有識別情報抽出部304で抽出された圧縮動画像固有識別情報305を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報308の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報305と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111と、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定し、非圧縮の動画像データ101を動き補償情報抽出部901とDCT(離散コサイン変換)演算部902に出力し、圧縮動画像データ301を圧縮動画像特徴量情報抽出部302に出力する圧縮・非圧縮判定部2602を備えている。
図31は、図30で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図31においては、図10と同一の処理ステップには同一のステップ番号を付している。
図31において、まず、圧縮・非圧縮判定部2602は、ディジタル動画像データ2601を取得する(ステップ2701)。次に、圧縮・非圧縮判定部2602は、取得したディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定する(ステップ2702)。
ディジタル動画像データ2601が非圧縮の動画像データ101の場合には、動画像データ101を動き補償情報抽出部901とDCT(離散コサイン変換)演算部902に出力する。動き補償情報抽出部901は、動画像の検索を行う検索キーとなる動画像データ101の各フレームをM×N(M及びNは自然数)画素単位に分割し、M×N画素単位で動き補償情報を求める(ステップ1003)。また、DCT(離散コサイン変換)演算部902は、動画像データ101の各フレームをM’×N’(M’及びN’は自然数)画素単位に分割し、M’×N’画素単位でDCT(離散コサイン変換)演算をし、DCT(離散コサイン変換)係数を求める(ステップ1004)。
また、ディジタル動画像データ2601が圧縮動画像データ301の場合には、圧縮動画像データ301を圧縮動画像特徴量情報抽出部302に出力する。圧縮動画像特徴量情報抽出部302は、この圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数および動き補償情報で構成される圧縮動画像特徴量情報303を抽出する(ステップ402)。
次に、圧縮動画像固有識別情報抽出部304は、圧縮動画像特徴量情報抽出部302または動き補償情報抽出部901及びDCT(離散コサイン変換)演算部902で抽出された圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数から物理的な圧縮動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値を求める。また、動き補償情報からは、動きベクトル、前後フレーム間の平均動きベクトル、合計動きベクトル、差分ベクトル、またはフレーム全体としての動きベクトルなどを求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を圧縮動画像識別のための圧縮動画像固有識別情報305として抽出する(ステップ403)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部304で抽出された圧縮動画像固有識別情報305を蓄積する(ステップ404)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報308を抽出しておく(ステップ405)。この抽出処理は、上述したステップ1001〜404(図10)と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報305と他の動画像データから抽出された圧縮動画像固有識別情報308とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された圧縮動画像固有識別情報308に対して行う(ステップ410)。
以上のように、本発明の実施の形態によれば、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを自動的に判定できるため、検索する画像データの形式(圧縮/非圧縮)によらず、より高速に動画像の中から同じ動画像を検索することができる。
<実施の形態16>以下、本発明の第16の実施の形態について、図面を参照しながら説明する。
図32は、本発明の他の動画像検索装置を示す。なお、図32においては、図11と同一の構成のものには同一の符号を付している。図32に示した動画像検索装置は、動画像データ101のM×N(M及びNは自然数)画素単位の動き補償情報を求める動き補償情報抽出部901と、動画像データ101のM’×N’(M’及びN’は自然数)画素単位でDCT(離散コサイン変換)演算を行い、DCT(離散コサイン変換)係数を得るDCT(離散コサイン変換)演算部902と、動画像データ101のカット点をカット点情報502として検出するカット点検出部501と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT係数及び動き補償情報を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)303として抽出する圧縮動画像特徴量情報抽出部302と、圧縮動画像データ301のカット点をカット点情報702として検出するカット点検出部701と、動き補償情報抽出部901及びDCT(離散コサイン変換)演算部902または圧縮動画像特徴量情報抽出部302で抽出された圧縮動画像特徴量情報303の各フレームのDCT係数及び動き補償情報のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報705を、カット点情報502またはカット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に抽出する圧縮動画像固有識別情報抽出部703と、圧縮動画像固有識別情報抽出部703で抽出された圧縮動画像固有識別情報705を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報708の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報705と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111と、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定し、非圧縮の動画像データ101を動き補償情報抽出部901、DCT(離散コサイン変換)演算部902、及びカット点検出部501に出力し、圧縮動画像データ301を圧縮動画像特徴量情報抽出部302及びカット点検出部701に出力する圧縮・非圧縮判定部2602を備えている。
図33は、図32で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図33においては、図12と同一の処理ステップには同一のステップ番号を付している。
図33において、まず、圧縮・非圧縮判定部2602は、ディジタル動画像データ2601を取得する(ステップ2701)。次に、圧縮・非圧縮判定部2602は、取得したディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定する(ステップ2702)。
ディジタル動画像データ2601が非圧縮の動画像データ101の場合には、動画像データ101を動き補償情報抽出部901、DCT(離散コサイン変換)演算部902、及びカット点検出部501に出力する。動き補償情報抽出部901は、動画像の検索を行う検索キーとなる動画像データ101の各フレームをM×N(M及びNは自然数)画素単位に分割し、M×N画素単位で動き補償情報を求める(ステップ1003)。また、DCT(離散コサイン変換)演算部902は、動画像データ101の各フレームをM’×N’(M’及びN’は自然数)画素単位に分割し、M’×N’画素単位でDCT(離散コサイン変換)演算をし、DCT(離散コサイン変換)係数を求める(ステップ1004)。
また、カット点検出部501は、動画像データ101のカット点をカット点情報502として検出する(ステップ602)。
また、ディジタル動画像データ2601が圧縮動画像データ301の場合には、圧縮動画像データ301を圧縮動画像特徴量情報抽出部302及びカット点検出部701に出力する。圧縮動画像特徴量情報抽出部302は、圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数および動き補償情報で構成される圧縮動画像特徴量情報303を抽出する(ステップ402)。また、カット点検出部701は、圧縮動画像データ301のカット点をカット点情報702として検出する(ステップ802)。
次に、圧縮動画像固有識別情報抽出部703は、圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数から物理的な圧縮動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値を求める。また、動き補償情報からは、動きベクトル、前後フレーム間の平均動きベクトル、合計動きベクトル、差分ベクトル、またはフレーム全体としての動きベクトルなどのを求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を、カット点情報502を用いて分割される動画像データ101またはカット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に、圧縮動画像識別のための圧縮動画像固有識別情報705として抽出する(ステップ803)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部703で抽出された圧縮動画像固有識別情報705を蓄積する(ステップ804)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報708を抽出しておく(ステップ405)。この抽出処理は、上述したステップ1001〜804(図12)と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報705と他の動画像データから抽出された圧縮動画像固有識別情報708とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された圧縮動画像固有識別情報708に対して行う(ステップ410)。
以上のように、本発明の実施の形態によれば、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを自動的に判定できるため、検索する画像データの形式(圧縮/非圧縮)によらず、より高速に動画像の中から同じ動画像を検索することができる。
<実施の形態17>以下、本発明の第17の実施の形態について、図面を参照しながら説明する。
図34は、本発明の他の動画像検索装置を示す。なお、図34においては、図13と同一の構成のものには同一の符号を付している。図34に示した動画像検索装置は、動画像データ101のM×N(M及びNは自然数)画素単位の動き補償情報を求める動き補償情報抽出部901と、M’×N’(M’及びN’は自然数)画素単位の平均色(R,G,B)情報や、平均輝度・平均色差(Y,Cb,Cr)情報などの平均画素値を求めるブロック単位平均値抽出部1301と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT(離散コサイン変換)係数のDC(直流)成分及び動き補償情報を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)1303として抽出する圧縮動画像特徴量情報抽出部1302と、動き補償情報抽出部901及びブロック単位平均値抽出部1301または圧縮動画像特徴量情報抽出部1302で抽出された圧縮動画像特徴量情報1303の各フレームのDCT係数のDC成分または平均画素値及びそれらの動き補償情報のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報305を抽出する圧縮動画像固有識別情報抽出部1304と、圧縮動画像固有識別情報抽出部1304で抽出された圧縮動画像固有識別情報305を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報308の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報305と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111と、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定し、非圧縮の動画像データ101を動き補償情報抽出部901とブロック単位平均値抽出部1301に出力し、圧縮動画像データ301を圧縮動画像特徴量情報抽出部1302に出力する圧縮・非圧縮判定部2602を備えている。
図35は、図34で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図35においては、図15と同一の処理ステップには同一のステップ番号を付している。
図35において、まず、圧縮・非圧縮判定部2602は、ディジタル動画像データ2601を取得する(ステップ2701)。次に、圧縮・非圧縮判定部2602は、取得したディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定する(ステップ2702)。
ディジタル動画像データ2601が非圧縮の動画像データ101の場合には、動画像データ101を動き補償情報抽出部901とブロック単位平均値抽出部1301に出力する。動き補償情報抽出部901は、動画像の検索を行う検索キーとなる動画像データ101の各フレームをM×N(M及びNは自然数)画素単位に分割し、M×N画素単位で動き補償情報を求める(ステップ1003)。また、ブロック単位平均値抽出部1301は、動画像データ101の各フレームをM’×N’(M’及びN’は自然数)画素単位に分割し、M’×N’画素単位の平均画素値を求める(ステップ1502)。
また、ディジタル動画像データ2601が圧縮動画像データ301の場合には、圧縮動画像データ301を圧縮動画像特徴量情報抽出部1302に出力する。圧縮動画像特徴量情報抽出部1302は、圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数のDC(直流)成分および動き補償情報で構成される圧縮動画像特徴量情報1303を抽出する(ステップ1503)。
次に、圧縮動画像固有識別情報抽出部1304は、圧縮動画像特徴量情報1303の各フレームのDCT(離散コサイン変換)係数のDC(直流)成分からの物理的な圧縮動画像特徴量情報または平均画素値の値、その値の平均値、その値の合計値、またはその値の差分値を求める。また、動き補償情報からは、動きベクトル、前後フレーム間の平均動きベクトル、合計動きベクトル、差分ベクトル、またはフレーム全体としての動きベクトルなどを求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を圧縮動画像識別のための圧縮動画像固有識別情報305として抽出する(ステップ1504)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部1304で抽出された圧縮動画像固有識別情報305を蓄積する(ステップ404)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報308を抽出しておく(ステップ405)。この抽出処理は、上述したステップ1001〜404(図15)と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報305と他の動画像データから抽出された圧縮動画像固有識別情報308とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された圧縮動画像固有識別情報308に対して行う(ステップ410)。
以上のように、本発明の実施の形態によれば、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを自動的に判定できるため、検索する画像データの形式(圧縮/非圧縮)によらず、より高速に動画像の中から同じ動画像を検索することができる。
<実施の形態18>以下、本発明の第18の実施の形態について、図面を参照しながら説明する。
図36は、本発明の他の動画像検索装置を示す。なお、図36においては、図16と同一の構成のものには同一の符号を付している。図36に示した動画像検索装置は、動画像データ101のM×N(M及びNは自然数)画素単位の動き補償情報を求める動き補償情報抽出部901と、M’×N’(M’及びN’は自然数)画素単位の平均色(R,G,B)情報や、平均輝度・平均色差(Y,Cb,Cr)情報などの平均画素値を求めるブロック単位平均値抽出部1301と、動画像データ101のカット点をカット点情報502として検出するカット点検出部501と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT(離散コサイン変換)係数のDC(直流)成分及び動き補償情報を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)1303として抽出する圧縮動画像特徴量情報抽出部1302と、圧縮動画像データ301のカット点をカット点情報702として検出するカット点検出部701と、補償情報抽出部901及びブロック単位平均値抽出部1301または圧縮動画像特徴量情報抽出部1302で抽出された圧縮動画像特徴量情報1303の各フレームのDCT係数のDC成分または平均画素値及びそれらの動き補償情報のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報705を、カット点情報502を用いて分割される動画像データ101の各ショット単位またはカット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に抽出する圧縮動画像固有識別情報抽出部1603と、圧縮動画像固有識別情報抽出部1603で抽出された圧縮動画像固有識別情報705を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報708の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報705と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111と、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定し、非圧縮の動画像データ101を動き補償情報抽出部901、ブロック単位平均値抽出部1301、及びカット点検出部501に出力し、圧縮動画像データ301を圧縮動画像特徴量情報抽出部1302及びカット点検出部701に出力する圧縮・非圧縮判定部2602を備えている。
図37は、図36で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図37においては、図17と同一の処理ステップには同一のステップ番号を付している。
図37において、まず、圧縮・非圧縮判定部2602は、ディジタル動画像データ2601を取得する(ステップ2701)。次に、圧縮・非圧縮判定部2602は、取得したディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定する(ステップ2702)。
ディジタル動画像データ2601が非圧縮の動画像データ101の場合には、動画像データ101を動き補償情報抽出部901、ブロック単位平均値抽出部1301、及びカット点検出部501に出力する。動き補償情報抽出部901は、動画像の同定を行う検索キーとなる動画像データ101の各フレームをM×N(M及びNは自然数)画素単位に分割し、M×N画素単位で動き補償情報を求める(ステップ1003)。また、ブロック単位平均値抽出部1301は、動画像データ101の各フレームをM’×N’(M’及びN’は自然数)画素単位に分割し、M’×N’画素単位の平均画素値を求める(ステップ1502)。さらに、カット点検出部501は、動画像データ101のカット点をカット点情報502として検出する(ステップ602)。
また、ディジタル動画像データ2601が圧縮動画像データ301の場合には、圧縮動画像データ301を圧縮動画像特徴量情報抽出部1302及びカット点検出部701に出力する。圧縮動画像特徴量情報抽出部1302は、圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数のDC(直流)成分および動き補償情報で構成される圧縮動画像特徴量情報1303を抽出する(ステップ1503)。また、カット点検出部701は、圧縮動画像データ301のカット点をカット点情報702として検出する(ステップ802)。
次に、圧縮動画像固有識別情報抽出部1603は、圧縮動画像特徴量情報1303の各フレームのDCT(離散コサイン変換)係数のDC(直流)成分からの物理的な圧縮動画像特徴量情報または平均画素値の値、その値の平均値、その値の合計値、またはその値の差分値を求める。また、動き補償情報からは、動きベクトル、前後フレーム間の平均動きベクトル、合計動きベクトル、差分ベクトル、またはフレーム全体としての動きベクトルなどを求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を圧縮動画像識別のための圧縮動画像固有識別情報705として、カット点情報502を用いて分割される動画像データ101の各ショット単位またはカット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に抽出する(ステップ1702)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部1603で抽出された圧縮動画像固有識別情報705を蓄積する(ステップ804)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報708を抽出しておく(ステップ405)。この抽出処理は、上述したステップ1001〜804(図17)と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている動画像固有識別情報705と他の動画像データから抽出された圧縮動画像固有識別情報708とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された動画像固有識別情報708に対して行う(ステップ410)。
以上のように、本発明の実施の形態によれば、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを自動的に判定できるため、検索する画像データの形式(圧縮/非圧縮)によらず、より高速に動画像の中から同じ動画像を検索することができる。
<実施の形態19>以下、本発明の第19の実施の形態について、図面を参照しながら説明する。
図38は、本発明の他の動画像検索装置を示す。なお、図38においては、図18と同一の構成のものには同一の符号を付している。図38に示した動画像検索装置は、動画像データ101のM×N(M及びNは自然数)画素単位でDCT(離散コサイン変換)演算を行い、DCT(離散コサイン変換)係数を圧縮動画像特徴量情報303として得るDCT(離散コサイン変換)演算部902と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT(離散コサイン変換)係数を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)303として抽出する圧縮動画像特徴量情報抽出部302と、DCT(離散コサイン変換)演算部902または圧縮動画像特徴量情報抽出部302で抽出された圧縮動画像特徴量情報303の各フレームのDCT係数のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報305を抽出する圧縮動画像固有識別情報抽出部304と、圧縮動画像固有識別情報抽出部304で抽出された圧縮動画像固有識別情報305を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報308の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報305と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111と、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定し、非圧縮の動画像データ101をDCT(離散コサイン変換)演算部902に出力し、圧縮動画像データ301を圧縮動画像特徴量情報抽出部302に出力する圧縮・非圧縮判定部2602を備えている。
図39は、図38で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図39においては、図19と同一の処理ステップには同一のステップ番号を付している。
図39において、まず、圧縮・非圧縮判定部2602は、ディジタル動画像データ2601を取得する(ステップ2701)。次に、圧縮・非圧縮判定部2602は、取得したディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定する(ステップ2702)。
ディジタル動画像データ2601が非圧縮の動画像データ101の場合には、動画像データ101をDCT(離散コサイン変換)演算部902に出力する。DCT(離散コサイン変換)演算部902は、動画像データ101の各フレームをM×N(M及びNは自然数)画素単位に分割し、M×N画素単位でDCT(離散コサイン変換)演算をし、DCT(離散コサイン変換)係数を圧縮動画像特徴量情報303として求める(ステップ1902)。
また、ディジタル動画像データ2601が圧縮動画像データ301の場合には、圧縮動画像データ301を圧縮動画像特徴量情報抽出部302に出力する。圧縮動画像特徴量情報抽出部302は、圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数を圧縮動画像特徴量情報303として抽出する(ステップ1903)。
次に、圧縮動画像固有識別情報抽出部304は、圧縮動画像特徴量情報抽出部302またはDCT(離散コサイン変換)演算部902で抽出された圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数から物理的な圧縮動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値を求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を圧縮動画像識別のための圧縮動画像固有識別情報305として抽出する(ステップ1904)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部304で抽出された圧縮動画像固有識別情報305を蓄積する(ステップ404)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報308を抽出しておく(ステップ405)。この抽出処理は、上述したステップ1001〜404(図17)と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている動画像固有識別情報305と他の動画像データから抽出された圧縮動画像固有識別情報308とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された動画像固有識別情報308に対して行う(ステップ410)。
以上のように、本発明の実施の形態によれば、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを自動的に判定できるため、検索する画像データの形式(圧縮/非圧縮)によらず、より高速に動画像の中から同じ動画像を検索することができる。
<実施の形態20>以下、本発明の第20の実施の形態について、図面を参照しながら説明する。
図40は、本発明の他の動画像検索装置を示す。なお、図40においては、図20と同一の構成のものには同一の符号を付している。図40に示した動画像検索装置は、動画像データ101のM×N(M及びNは自然数)画素単位でDCT(離散コサイン変換)演算を行い、DCT(離散コサイン変換)係数を圧縮動画像特徴量情報303として得るDCT(離散コサイン変換)演算部902と、動画像データ101のカット点をカット点情報502として検出するカット点検出部501と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT係数を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)303として抽出する圧縮動画像特徴量情報抽出部302と、圧縮動画像データ301のカット点をカット点情報702として検出するカット点検出部701と、DCT(離散コサイン変換)演算部902または圧縮動画像特徴量情報抽出部302で抽出された圧縮動画像特徴量情報303の各フレームのDCT係数のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報705を、カット点情報502またはカット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に抽出する圧縮動画像固有識別情報抽出部703と、圧縮動画像固有識別情報抽出部703で抽出された圧縮動画像固有識別情報705を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報708の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報705と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111と、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定し、非圧縮の動画像データ101をDCT(離散コサイン変換)演算部902とカット点検出部501に出力し、圧縮動画像データ301を圧縮動画像特徴量情報抽出部302とカット点検出部701に出力する圧縮・非圧縮判定部2602を備えている。
図41は、図40で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図41においては、図21と同一の処理ステップには同一のステップ番号を付している。
図41において、まず、圧縮・非圧縮判定部2602は、ディジタル動画像データ2601を取得する(ステップ2701)。次に、圧縮・非圧縮判定部2602は、取得したディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定する(ステップ2702)。
ディジタル動画像データ2601が非圧縮の動画像データ101の場合には、動画像データ101をDCT(離散コサイン変換)演算部902とカット点検出部501に出力する。DCT(離散コサイン変換)演算部902は、動画像データ101の各フレームをM×N(M及びNは自然数)画素単位に分割し、M×N画素単位でDCT(離散コサイン変換)演算をし、DCT(離散コサイン変換)係数を圧縮動画像特徴量情報303として求める(ステップ1902)。また、カット点検出部501は、動画像データ101のカット点をカット点情報502として検出する(ステップ602)。
また、ディジタル動画像データ2601が圧縮動画像データ301の場合には、圧縮動画像データ301を圧縮動画像特徴量情報抽出部302とカット点検出部701に出力する。圧縮動画像特徴量情報抽出部302は、圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数を圧縮動画像特徴量情報303として抽出する(ステップ1903)。また、カット点検出部701は、圧縮動画像データ301のカット点をカット点情報702として検出する(ステップ802)。
次に、圧縮動画像固有識別情報抽出部703は、圧縮動画像特徴量情報303の各フレームのDCT(離散コサイン変換)係数から物理的な圧縮動画像特徴量情報の値、その値の平均値、その値の合計値、またはその値の差分値を求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を、カット点情報502を用いて分割される動画像データ101またはカット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に、圧縮動画像識別のための圧縮動画像固有識別情報705として抽出する(ステップ2102)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部703で抽出された圧縮動画像固有識別情報705を蓄積する(ステップ804)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報708を抽出しておく(ステップ405)。この抽出処理は、上述したステップ1001〜804(図21)と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている動画像固有識別情報705と他の動画像データから抽出された圧縮動画像固有識別情報708とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された動画像固有識別情報708に対して行う(ステップ410)。
以上のように、本発明の実施の形態によれば、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを自動的に判定できるため、検索する画像データの形式(圧縮/非圧縮)によらず、より高速に動画像の中から同じ動画像を検索することができる。
<実施の形態21>以下、本発明の第21の実施の形態について、図面を参照しながら説明する。
図42は、本発明の他の動画像検索装置を示す。なお、図42においては、図22と同一の構成のものには同一の符号を付している。図42に示した動画像検索装置は、M×N(M及びNは自然数)画素単位の平均色(R,G,B)情報や、平均輝度・平均色差(Y,Cb,Cr)情報などの平均画素値を圧縮動画像特徴量情報1303として求めるブロック単位平均値抽出部1301と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT(離散コサイン変換)係数のDC(直流)成分を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)1303として抽出する圧縮動画像特徴量情報抽出部1302と、ブロック単位平均値抽出部1301または圧縮動画像特徴量情報抽出部1302で抽出された圧縮動画像特徴量情報1303の各フレームのDCT係数のDC成分または平均画素値のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報305を抽出する圧縮動画像固有識別情報抽出部1304と、圧縮動画像固有識別情報抽出部1304で抽出された圧縮動画像固有識別情報305を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報308の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報305と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111と、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定し、非圧縮の動画像データ101をブロック単位平均値抽出部1301に出力し、圧縮動画像データ301を圧縮動画像特徴量情報抽出部1302に出力する圧縮・非圧縮判定部2602を備えている。
図43は、図42で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図43においては、図23と同一の処理ステップには同一のステップ番号を付している。
図43において、まず、圧縮・非圧縮判定部2602は、ディジタル動画像データ2601を取得する(ステップ2701)。次に、圧縮・非圧縮判定部2602は、取得したディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定する(ステップ2702)。
ディジタル動画像データ2601が非圧縮の動画像データ101の場合には、動画像データ101をブロック単位平均値抽出部1301に出力する。ブロック単位平均値抽出部1301は、動画像データ101の各フレームをM×N(M及びNは自然数)画素単位に分割し、M×N画素単位の平均画素値を圧縮動画像特徴量情報1303として求める(ステップ1502)。
また、ディジタル動画像データ2601が圧縮動画像データ301の場合には、圧縮動画像データ301を圧縮動画像特徴量情報抽出部1302に出力する。圧縮動画像特徴量情報抽出部1302は、圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数のDC(直流)成分を圧縮動画像特徴量情報1303として抽出する(ステップ1503)。
次に、圧縮動画像固有識別情報抽出部1304は、圧縮動画像特徴量情報1303の各フレームのDCT(離散コサイン変換)係数のDC(直流)成分からの物理的な圧縮動画像特徴量情報または平均画素値の値、その値の平均値、その値の合計値、またはその値の差分値を求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を圧縮動画像識別のための圧縮動画像固有識別情報305として抽出する(ステップ1504)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部1304で抽出された圧縮動画像固有識別情報305を蓄積する(ステップ404)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報308を抽出しておく(ステップ405)。この抽出処理は、上述したステップ1001〜404(図23)と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている動画像固有識別情報305と他の動画像データから抽出された圧縮動画像固有識別情報308とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された動画像固有識別情報308に対して行う(ステップ410)。
以上のように、本発明の実施の形態によれば、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを自動的に判定できるため、検索する画像データの形式(圧縮/非圧縮)によらず、より高速に動画像の中から同じ動画像を検索することができる。
<実施の形態22>以下、本発明の第22の実施の形態について、図面を参照しながら説明する。
図44は、本発明の他の動画像検索装置を示す。なお、図44においては、図24と同一の構成のものには同一の符号を付している。図44に示した動画像検索装置は、動画像データ101のM×N(M及びNは自然数)画素単位の平均色(R,G,B)情報や、平均輝度・平均色差(Y,Cb,Cr)情報などの平均画素値を圧縮動画像特徴量情報1303として求めるブロック単位平均値抽出部1301と、動画像データ101のカット点をカット点情報502として検出するカット点検出部501と、MPEGなどの標準動画像圧縮符号化処理により圧縮された圧縮動画像データ301から、各フレームのDCT(離散コサイン変換)係数のDC(直流)成分を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)1303として抽出する圧縮動画像特徴量情報抽出部1302と、圧縮動画像データ301のカット点をカット点情報702として検出するカット点検出部701と、ブロック単位平均値抽出部1301または圧縮動画像特徴量情報抽出部1302で抽出された圧縮動画像特徴量情報1303の各フレームのDCT係数のDC成分または平均画素値のうち少なくとも1以上の特徴量情報を時間軸上に配列し、その並びから圧縮動画像識別のための圧縮動画像固有識別情報705を、カット点情報502を用いて分割される動画像データ101の各ショット単位またはカット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に抽出する圧縮動画像固有識別情報抽出部1603と、圧縮動画像固有識別情報抽出部1603で抽出された圧縮動画像固有識別情報705を蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報708の中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報705と同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111と、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定し、非圧縮の動画像データ101をブロック単位平均値抽出部1301とカット点検出部501に出力し、圧縮動画像データ301を圧縮動画像特徴量情報抽出部1302とカット点検出部701に出力する圧縮・非圧縮判定部2602を備えている。
図45は、図44で示した本発明の動画像検索装置の動作を示すフローチャートである。なお、図45においては、図25と同一の処理ステップには同一のステップ番号を付している。
図45において、まず、圧縮・非圧縮判定部2602は、ディジタル動画像データ2601を取得する(ステップ2701)。次に、圧縮・非圧縮判定部2602は、取得したディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを判定する(ステップ2702)。
ディジタル動画像データ2601が非圧縮の動画像データ101の場合には、動画像データ101をブロック単位平均値抽出部1301とカット点検出部501に出力する。ブロック単位平均値抽出部1301は、動画像データ101の各フレームをM×N(M及びNは自然数)画素単位に分割し、M×N画素単位の平均画素値を求める(ステップ1502)。また、カット点検出部501は、動画像データ101のカット点をカット点情報502として検出する(ステップ602)。
また、ディジタル動画像データ2601が圧縮動画像データ301の場合には、圧縮動画像データ301を圧縮動画像特徴量情報抽出部1302とカット点検出部701に出力する。圧縮動画像特徴量情報抽出部1302は、圧縮動画像データ301から各フレームのDCT(離散コサイン変換)係数のDC(直流)成分を圧縮動画像特徴量情報1303として抽出する(ステップ1503)。また、カット点検出部701は、圧縮動画像データ301のカット点をカット点情報702として検出する(ステップ802)。
次に、圧縮動画像固有識別情報抽出部1603は、圧縮動画像特徴量情報1303の各フレームのDCT(離散コサイン変換)係数のDC(直流)成分からの物理的な圧縮動画像特徴量情報または平均画素値の値、その値の平均値、その値の合計値、またはその値の差分値を求める。そして、これらの値のうち少なくとも1以上の値を、時間軸上に配列した並びの全部、その配列した並びの一定間隔、またはその配列した並びの変則間隔で抜き出し、その抜き出した値を圧縮動画像識別のための圧縮動画像固有識別情報705として、カット点情報502を用いて分割される動画像データ101の各ショット単位またはカット点情報702を用いて分割される圧縮動画像データ301の各ショット単位に抽出する(ステップ1702)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部1603で抽出された圧縮動画像固有識別情報705を蓄積する(ステップ804)。
一方、他の圧縮動画像データ(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報708を抽出しておく(ステップ405)。この抽出処理は、上述したステップ1001〜804(図25)と同様の処理によって行うことができる。
そして、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている動画像固有識別情報705と他の動画像データから抽出された圧縮動画像固有識別情報708とを比較する(ステップ406)。
この比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
以上のステップ406〜ステップ209の処理を、全ての他の動画像データから抽出された動画像固有識別情報708に対して行う(ステップ410)。
以上のように、本発明の実施の形態によれば、入力されるディジタル動画像データ2601が非圧縮の動画像データ101か圧縮動画像データ301かを自動的に判定できるため、検索する画像データの形式(圧縮/非圧縮)によらず、より高速に動画像の中から同じ動画像を検索することができる。
また、上述した本発明の第1乃至第22の実施の形態において、検索対象の動画像データを非圧縮の動画像データまたは圧縮された動画像データの何れか一方のみで説明したが、各実施の形態における検索対象の動画像データは、どちらの動画像データであってもよい。
以下、本発明の第2の実施の形態の具体的な実施例として、動画像の検索の実験を行った実験用の動画像検索装置及び動画像検索方法について、図面を参照しながら説明する。
図46は、本発明の第2の実施の形態で示した動画像検索装置の具体的な実施例であるテレビCM監視装置を示す。なお、図46においては、図3と同一の構成のものには同一の符号を付している。
図46において、このテレビCM監視装置は、MPEG−2により圧縮されたMPEG−2ストリーム(テレビ放送)301Aから、各フレームのDCT係数のDC成分のみを圧縮動画像特徴量情報(DC成分)303Aとして抽出するDC成分抽出部302Aと、DC成分抽出部302Aで抽出された圧縮動画像特徴量情報(DC成分)303Aの各フレームのDC成分の平均値を時間軸上に配列し、その並びを圧縮動画像識別のための圧縮動画像固有識別情報(平均色情報時系列情報)305Aとして抽出する圧縮動画像固有識別情報抽出部(平均色情報計算部)304Aと、圧縮動画像固有識別情報抽出部(平均色情報計算部)304Aで抽出された圧縮動画像固有識別情報305Aを蓄積する圧縮動画像固有識別情報蓄積部306と、予め他の動画像データから抽出された圧縮動画像固有識別情報(テレビCMの平均色情報時系列情報)308Aの中から圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報(平均色情報時系列情報)305Aと同一の情報を検索して同定する圧縮動画像固有識別情報検索部309と、圧縮動画像固有識別情報検索部309の検索結果を格納する検索結果格納部110と、検索結果格納部110に格納されている検索結果を画面に表示したり印刷したりする検索結果表示部111とを備えている。
ここで、MPEG−2ストリーム(テレビ放送)301Aは、現行のテレビ放送の画像をMPEG−2方式で符号化したものである。
以上のように構成された本発明のテレビCM監視装置について、以下にその動作を説明する。
図47は、図46で示した本発明の動画像検索装置の実施例であるテレビCM監視装置の動作を示すフローチャートである。なお、図47においては、図4と同一の処理ステップには同一のステップ番号を付している。図46及び図47において、まず、DC成分抽出部302Aは、圧縮動画像の検索を行う検索キーとなるMPEG−2ストリーム(テレビ放送)301Aを取り込み(ステップ401A)、このMPEG−2ストリームから各フレームのDCT(離散コサイン変換)係数のうちDC成分のみを圧縮動画像特徴量情報(DC成分)303Aとして抽出する(ステップ402A)。
次に、圧縮動画像固有識別情報抽出部(平均色情報計算部)304Aは、圧縮動画像特徴量情報(DC成分)303Aの各フレームのDC成分からその平均値を求める。この平均値を時間軸上に配列した並びを、圧縮動画像識別のための圧縮動画像固有識別情報(平均色情報時系列情報)305Aとして抽出する(ステップ403A)。
圧縮動画像固有識別情報蓄積部306は、圧縮動画像固有識別情報抽出部(平均色情報計算部)304Aで抽出された圧縮動画像固有識別情報(平均色情報時系列情報)305Aを蓄積する(ステップ404)。
本実験で圧縮動画像固有識別情報(平均色情報時系列情報)305Aは、輝度・色差(Y,Cb,Cr)情報3つの時系列情報となる。ここで、個々の時系列情報を、横軸を時間、縦軸を平均色情報の値としてコンピュータ装置などでグラフ化すると、圧縮動画像固有識別情報(平均色情報時系列情報)305Aは、例えば、3本の棒グラフで表すことができる。
一方、テレビCMのMPEG−2ストリーム(検索対象の圧縮動画像データ)から圧縮動画像固有識別情報(テレビCMの色情報時系列情報)308Aを抽出する(ステップ405A)。この抽出処理は、上述したステップ401A〜404と同様の処理によって行うことができる。
テレビCMのMPEG−2ストリームは、上述のMPEG−2ストリーム(テレビ放送)301Aと同様に、現行地上波テレビ放送(CM)をMPEG−2に符号化したストリームである。
次に、圧縮動画像固有識別情報検索部309は、圧縮動画像固有識別情報蓄積部306に蓄積されている圧縮動画像固有識別情報305Aと他の動画像データから抽出された圧縮動画像固有識別情報308Aとを比較する(ステップ406)。
ここで、テレビCM監視装置としてはPC程度の簡単な設備を用いて実現することを考えている。また、現行のテレビ放送では、テレビ電波の反射・マルチパスにより像が多重映りするゴースト現象や色ずれ等が発生する場合がある。従って、この様なゴースト現象や色ずれ等が発生しているテレビ放送を用いて抽出される圧縮動画像固有識別情報305Aに対して、これらの影響が多少発生する場合がある。
ここで、上述のように、圧縮動画像固有識別情報(平均色情報時系列情報)305Aを3本の棒グラフで表した場合、これらのグラフにも影響が生じる。しかし、これらのグラフには動画像を識別するのに十分な動画像固有識別情報があり、これらのグラフを拡大・縮小することによって、ゴースト現象や色ずれ等の影響を受け難くすることができる。
圧縮動画像固有識別情報検索部309(ステップ406)での比較結果は、検索結果格納部110に格納され(ステップ207)、表示や印刷をする場合には(ステップ208)、検索結果表示部111で出力される(ステップ209)。
上述したステップ406〜ステップ209の処理を、他の動画像データから抽出された全ての動画像固有識別情報308Aに対して行う(ステップ410)。
以上、本発明の動画像検索装置及び動画像検索方法の具体的な実施例について説明したが、図46及び図47に示す実験システムを用いて、本発明の有効性を試す実験を以下のように行った。
動画像としては地上波テレビ放送の画像を用い、26時間15分のテレビ放送画像(MPEG−2ストリーム(テレビ放送)301A)の中から、37種類で総数152個のテレビCM(圧縮動画像固有識別情報(テレビCMの色情報時系列情報)308A)を検索する実験を行ったところ、検出洩れ0、過剰検出0という結果を得ることができた。
以上、本発明の動画像検索装置及び動画像検索方法として上述した発明の第1乃至第22の実施の形態、及び実施例において、一画像を複数のフレームに分割して処理しているが、更に各フレームをn(nは2以上の自然数)分割して処理することもできる。このとき、分割した各領域からそれぞれ動画像識別のための動画像固有識別情報や圧縮動画像固有識別情報を抽出して元の動画像の動画像固有識別情報105や元の圧縮動画像の圧縮動画像固有識別情報305、305Aとする。そして、動画像固有識別情報検索部109や圧縮動画像固有識別情報検索部309は、予め抽出された動画像固有識別情報108や圧縮動画像固有識別情報308、308Aから動画像固有識別情報105や圧縮動画像固有識別情報305、305Aと同一の情報を検索する。この検索は、分割された動画像固有識別情報105や圧縮動画像固有識別情報305、305Aの全ての領域が一致した時に、検索が行えたものとする。このように、1つのフレームを複数の情報で検索することによって、更に検索精度を向上することができる。
また、上述のように各フレームをn分割し、分割した各々の領域から動画像固有識別情報105や圧縮動画像固有識別情報305、305Aを抽出することにより、動画像固有識別情報105や圧縮動画像固有識別情報305、305Aに含まれる時系列情報を短くすることができる。
さらには、各フレームをn分割し、各領域から抽出された動画像識別のための動画像固有識別情報105や圧縮動画像固有識別情報305、305Aの内、(n−m)個以上(1<=m<=(n−1))の領域に限定して検索した時に、動画像の一部領域が異なる類似動画像の検索が行える。即ち、分割された領域の一部のみを検索対象として選択し、その部分のみが一致した場合に検索できたことにすることによって、類似動画像の検索を行うことができる。
以上、本発明の動画像検索装置及び動画像検索方法について説明したが、上述の動画像検索方法をコンピュータで実行可能な動画像検索プログラムとし、このプログラムをコンピュータで読み取り可能な記録媒体に記録することもできる。