JP2000194727A - 動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体 - Google Patents
動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体Info
- Publication number
- JP2000194727A JP2000194727A JP29485099A JP29485099A JP2000194727A JP 2000194727 A JP2000194727 A JP 2000194727A JP 29485099 A JP29485099 A JP 29485099A JP 29485099 A JP29485099 A JP 29485099A JP 2000194727 A JP2000194727 A JP 2000194727A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- information
- extracting
- unique identification
- identification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
に抽出して動画像を検索することができる動画像検索装
置を提供する。 【解決手段】 本発明の動画像検索装置は、所定の動画
像データから各フレームの動画像特徴量情報103を抽
出する動画像特徴量情報抽出部102と、動画像特徴量
情報抽出部102で抽出された動画像特徴量情報103
に基づいて、動画像を識別するための動画像固有識別情
報105を抽出する動画像固有識別情報抽出部104
と、動画像固有識別情報抽出部104で抽出された動画
像固有識別情報105と検索対象の動画像に基づいて準
備された検索対象の動画像固有識別情報108とを比較
することによって、検索対象の動画像から所定の動画像
を検索して同定する動画像固有識別情報検索部109
と、を備えることを特徴とする。
Description
ら所定の動画像を検索する動画像検索装置、動画像検索
方法、及び動画像検索プログラムを記録した記録媒体に
関する。特には、動画像の内容に依存した動画像固有識
別情報を抽出して登録しておき、放送などで送られてく
る動画像や動画像アーカイブなどの動画像の中から、登
録されている動画像をビデオレートよりも早く検索する
動画像検索装置、動画像検索方法、及び動画像検索プロ
グラムを記録した記録媒体に関するものである。
報圧縮技術として、MPEG(MovingPicture Experts
Group)の様な国際標準符号化方式の技術がある。この
国際標準符号化方式で圧縮符号化されている動画像を用
いれば、PC(Personal Computer )でも十分に動画像
を扱うことが可能となっている。このPCを用いて、特
定の動画像の検索、例えば、テレビCM等の送出の監視
(動画像同定)などを行うための技術が、従来から研究
され開発されている。
ド検索によって動画像を検索する動画像検索方法や、ユ
ーザの目視による視覚照合で動画像を検索する動画像検
索方法や、特開平7−46517号公報に示される動画
像ショットの継続フレーム数を用いた動画像検索法など
がある。
方法では、分類コード、タイトル、動画像の内容、各種
関連情報などを動画像にキーワードインデックス情報と
して付与し、このキーワードを検索することによって動
画像を検索している。
検索方法では、動画像を検索するユーザが検索したい動
画像を記憶しておき、このユーザが全ての動画像を目視
することにより、所望の動画像を検索している。
像検索装置では、カット点検出手段によってカット点間
の各ショットの継続フレーム数を求め、継続フレーム数
の列をインデックス情報として用いることによって動画
像検索を行っている。
く映像シーンの実時間識別法(長坂他、1996年4月
電子情報通信学会論文誌D−II Vol.J79−D
−II No.4 pp.531−537)では、カッ
ト点フレーム画像を抽出し、フレームを2×2に分割し
て平均色情報を求めてコード化し、コード化情報を時系
列に並べて映像シーンの識別(検索)に適用している。
ット点を検出するものとしては、特開平7−23615
3号公報に記載されている動画像カット点検出装置があ
る。この特開平7−236153号公報の動画像カット
点検出装置では、動画像からカット点を高速に求めるた
めに、準備された縮小画像や圧縮符号化された動画像情
報の平均値成分データから作成される縮小画像のフレー
ム間輝度差分の時間変化と色差ヒストグラム相関値の時
間的変化とを用いている。
のとしては、特開平7−152779号公報に記載され
ている動画処理装置がある。この特開平7−15277
9号公報に記載の動画処理装置では、DCT(Discrete
Cosine Transform :離散コサイン変換)演算を含む圧
縮動画像データから、インデックス情報(検索情報)と
して使用される特徴的なフレーム、例えば、カット点フ
レーム、静止フレーム、文字フレーム、特定色フレーム
などを検出するために、DCT成分の低周波部分を用い
ている。
動画像検索方法においては、以下の様な問題点がある。
画像検索方法においては、キーワードインデックス情報
を予め登録しなければならないため、その登録に多大な
コストがかかるという問題があった。また、動画像を検
索する各ユーザの動画像の感じ方や理解の仕方が異なる
ため、同一の動画像の検索の場合でもキーワードインデ
ックス情報がユーザによって異なる場合があるという問
題があった。また、一覧形式で提示されたキーワードイ
ンデックス情報から動画像を検索するユーザに所望のキ
ーワードインデックスを選択させるようなキーワードイ
ンデックス入力方式であっても、所望のキーワードイン
デックスを選択するのに時間がかかるという問題があっ
た。
動画像検索方法においては、動画像を検索するユーザが
検索したい動画像を記憶しておき、全ての動画像を見る
ことにより、所望の動画像を検索する方法であるため、
人手がかかり、コストが高くつくという問題があった。
像を構成するショットの継続フレーム数を用いて動画像
を検索する動画像検索方法においては、継続フレーム数
が動画像の意味内容を反映したインデックス情報ではな
いため、検索する動画像とは異なる内容の動画像でもそ
の継続フレーム数が一致すれば、同一の動画像と誤認識
してしまう可能性があるという問題があった。
に基づく映像シーンの実時間識別法においては、正しい
照合結果を得るために、正確にカット点フレームを抽出
する必要があるため、カット点フレームの抽出処理に時
間がかかりコストも高くなるという問題があった。
画像カット点検出装置では、動画像中のカット点の検出
が目的であり、輝度差分や色差ヒストグラム相関値の時
間的変化を見てカット点の検出を行っているのみなの
で、自動的に所望の動画像を検索することができないと
いう問題があった。
装置においては、インデックス情報(検索情報)として
使用されるフレームを検出するために、圧縮画像データ
を画像データに復元する過程で得られる、DCT演算の
結果に相当する中間結果を、動画インデックス特徴量情
報信号とし、この動画インデックス特徴量情報信号の
内、少なくとも一種の動画インデックスを検出して被検
査画像の動画インデックスとの差分値の和を閾値処理
し、この閾値処理の結果によりインデックス画像として
動画像を検出するため、処理が複雑で時間がかかり、処
理コストも高くつくという問題があった。
容に応じた、検索に使用する動画像固有識別情報をPC
などの資源の少ないコンピュータでも自動的に抽出で
き、この動画像固有識別情報を用いて自動的に動画像を
検索することができる動画像検索装置、動画像検索方
法、及び動画像検索プログラムを記録した記録媒体を提
供することである。
め、本発明の第1の態様の動画像検索装置は、 検索対
象の動画像から所定の動画像を検索する動画像検索装置
において、 所定の動画像から各フレームの特徴量情報
を抽出する特徴量情報抽出手段と、 特徴量情報抽出手
段で抽出された特徴量情報に基づいて、動画像を識別す
るための固有識別情報を抽出する固有識別情報抽出手段
と、 固有識別情報抽出手段で抽出された固有識別情報
と検索対象の動画像に基づいて準備された検索対象の固
有識別情報とを比較することによって、検索対象の動画
像から所定の動画像を検索する動画像検索手段と、を備
えることを特徴とする。
置においては、 所定の動画像を、非圧縮の動画像デー
タとし、 固有識別情報抽出手段で、特徴量情報抽出手
段で抽出された特徴量情報の少なくとも1つを時間軸上
に配列して、該配列の並びから動画像を識別するための
固有識別情報を抽出する、ようにしてもよい。
像から、各フレームのDCT(離散コサイン変換)係数
を特徴量情報として抽出し、 固有識別情報抽出手段
で、特徴量情報抽出手段で抽出された特徴量情報の少な
くとも1つを時間軸上に配列して、該配列の並びから動
画像を識別するための固有識別情報を抽出する、ことも
できる。
に、所定の動画像から動き補償情報を特徴量情報として
抽出することもできる。
ータとし、 特徴量情報抽出手段で、非圧縮の動画像デ
ータからM×N(M及びNは自然数)画素のブロック単
位で動き補償情報を得、M’×N’(M’及びN’は自
然数)画素のブロック単位で平均色(R,G,B)情報
や平均輝度・色差(Y,Cb,Cr)情報などの画素値
情報を得て、これらを特徴量情報として抽出し、 固有
識別情報抽出手段で、特徴量情報抽出手段で抽出された
特徴量情報の少なくとも1つを時間軸上に配列して、該
配列の並びから動画像を識別するための固有識別情報を
抽出する、こともできる。
ータとし、 特徴量情報抽出手段で、非圧縮の動画像デ
ータからM×N(M及びNは自然数)画素のブロック単
位でDCT(離散コサイン変換)演算を行って、DCT
(離散コサイン変換)係数を特徴量情報として抽出し、
固有識別情報抽出手段で、特徴量情報抽出手段で抽出
された特徴量情報の少なくとも1つを時間軸上に配列し
て、該配列の並びから動画像を識別するための固有識別
情報を抽出する、こともできる。
ータとし、 特徴量情報抽出手段で、非圧縮の動画像デ
ータから、M×N(M及びNは自然数)画素のブロック
単位で平均色(R,G,B)情報や平均輝度・色差
(Y,Cb,Cr)情報などの画素値情報を特徴量情報
として抽出し、 固有識別情報抽出手段で、特徴量情報
抽出手段で抽出された特徴量情報の少なくとも1つを時
間軸上に配列して、該配列の並びから動画像を識別する
ための固有識別情報を抽出する、ようにしてもよい。
第2の態様の動画像検索装置は、所定の動画像から所定
の動画像を検索する動画像検索装置において、 所定の
動画像から各フレームの特徴量情報を抽出する特徴量情
報抽出手段と、 検索対象の動画像から動画像のカット
点を検出して、各カット点毎に検索対象の動画像を複数
のショットに分割するカット点検出手段と、 特徴量情
報抽出手段で抽出された特徴量情報に基づいて、カット
点検出手段で分割された各ショット毎に動画像を識別す
るための固有識別情報を抽出する固有識別情報抽出手段
と、 固有識別情報抽出手段で抽出された固有識別情報
と検索対象の動画像に基づいて準備された検索対象の固
有識別情報とを比較することによって、検索対象の動画
像から所定の動画像を検索する動画像検索手段と、を備
えることを特徴とする。
装置においては、 所定の動画像を、非圧縮の動画像デ
ータとし、 固有識別情報抽出手段で、特徴量情報抽出
手段で抽出された特徴量情報の少なくとも1つを、カッ
ト点検出手段で分割される各ショット毎に時間軸上に配
列して、該配列の並びから動画像を識別するための固有
識別情報を抽出する、ようにしてもよい。
像から、各フレームのDCT(離散コサイン変換)係数
を特徴量情報として抽出し、 固有識別情報抽出手段
で、特徴量情報抽出手段で抽出された特徴量情報の少な
くとも1つを、カット点検出手段で分割される各ショッ
ト毎に時間軸上に配列して、該配列の並びから動画像を
識別するための固有識別情報を抽出する、こともでき
る。
定の動画像から動き補償情報を特徴量情報として抽出す
る、ようにしてもよい。
ータとし、 特徴量情報抽出手段で、非圧縮の動画像デ
ータからM×N(M及びNは自然数)画素のブロック単
位で動き補償情報を得、M’×N’(M’及びN’は自
然数)画素のブロック単位で平均色(R,G,B)情報
や平均輝度・色差(Y,Cb,Cr)情報などの画素値
情報を得て、これらを特徴量情報として抽出し、 固有
識別情報抽出手段は、特徴量情報抽出手段で抽出された
特徴量情報の少なくとも1つを、カット点検出手段で分
割される各ショット毎に時間軸上に配列して、該配列の
並びから動画像を識別するための固有識別情報を抽出す
る、こともできる。
ータとし、 特徴量情報抽出手段で、非圧縮の動画像デ
ータからM×N(M及びNは自然数)画素のブロック単
位でDCT(離散コサイン変換)演算を行って、DCT
(離散コサイン変換)係数を特徴量情報として抽出し、
固有識別情報抽出手段で、特徴量情報抽出手段で抽出
された特徴量情報の少なくとも1つを、カット点検出手
段で分割される各ショット毎に時間軸上に配列して、該
配列の並びから動画像を識別するための固有識別情報を
抽出する、ようにしてもよい。
ータとし、 特徴量情報抽出手段で、非圧縮の動画像デ
ータから、M×N(M及びNは自然数)画素のブロック
単位で平均色(R,G,B)情報や平均輝度・色差
(Y,Cb,Cr)情報などの画素値情報を特徴量情報
として抽出し、 固有識別情報抽出手段で、特徴量情報
抽出手段で抽出された特徴量情報の少なくとも1つを、
カット点検出手段で分割される各ショット毎に時間軸上
に配列して、該配列の並びから動画像を識別するための
固有識別情報を抽出する、ようにしてもよい。
第3の態様の動画像検索装置は、検索対象の動画像から
所定の動画像を検索する動画像検索装置において、 所
定の動画像が非圧縮の動画像データか、圧縮された動画
像データかを判定する圧縮/非圧縮判定手段と、 非圧
縮の動画像データから各フレームの特徴量情報を抽出す
る第1の特徴量情報抽出手段と、 第1の特徴量情報抽
出手段で抽出された特徴量情報の少なくとも1つを時間
軸上に配列して、該配列の並びから動画像を識別するた
めの固有識別情報を抽出する第1の固有識別情報抽出手
段と、 圧縮された動画像データから各フレームのDC
T(離散コサイン変換)係数を特徴量情報として抽出す
る第2の特徴量情報抽出手段と、 第2の特徴量情報抽
出手段で抽出された特徴量情報の少なくとも1つを時間
軸上に配列して、該配列の並びから動画像を識別するた
めの固有識別情報を抽出する第2の固有識別情報抽出手
段と、 第1の固有識別情報抽出手段または第2の固有
識別情報抽出手段で抽出された固有識別情報と検索対象
の動画像に基づいて準備された検索対象の固有識別情報
とを比較することによって、検索対象の動画像から所定
の動画像を検索する動画像検索手段と、を備えることを
特徴とする。
第2の固有識別情報抽出手段は、同一の固有識別情報抽
出手段に含ませることができる。また、第2の特徴量情
報抽出手段で、圧縮された動画像データから各フレーム
の動き補償情報を特徴量情報として抽出することもでき
る。
装置においては、 所定の動画像を、非圧縮の動画像デ
ータとし、 第1の特徴量情報抽出手段で、非圧縮の動
画像データから、各フレームのDCT(離散コサイン変
換)係数を特徴量情報として抽出し、 第1の固有識別
情報抽出手段で、第1の特徴量情報抽出手段で抽出され
た特徴量情報の少なくとも1つを時間軸上に配列して、
該配列の並びから動画像を識別するための固有識別情報
を抽出する、ようにしてもよい。このとき、第1の特徴
量情報抽出手段で、非圧縮の動画像データから各フレー
ムの動き補償情報を特徴量情報として抽出することもで
きる。
ータとし、 第1の特徴量情報抽出手段は、非圧縮の動
画像データからM×N(M及びNは自然数)画素のブロ
ック単位で動き補償情報を得、M’×N’(M’及び
N’は自然数)画素のブロック単位で平均色(R,G,
B)情報や平均輝度・色差(Y,Cb,Cr)情報など
の画素値情報を得て、これらを特徴量情報として抽出
し、 第1の固有識別情報抽出手段は、第1の特徴量情
報抽出手段で抽出された特徴量情報の少なくとも1つを
時間軸上に配列して、該配列の並びから動画像を識別す
るための固有識別情報を抽出する、こともできる。
ータとし、 第1の特徴量情報抽出手段で、非圧縮の動
画像データからM×N(M及びNは自然数)画素のブロ
ック単位でDCT(離散コサイン変換)演算を行って、
DCT(離散コサイン変換)係数を特徴量情報として抽
出し、 第1の固有識別情報抽出手段で、第1の特徴量
情報抽出手段で抽出された特徴量情報の少なくとも1つ
を時間軸上に配列して、該配列の並びから動画像を識別
するための固有識別情報を抽出する、こともできる。
ータとし、 第1の特徴量情報抽出手段は、非圧縮の動
画像データから、M×N(M及びNは自然数)画素のブ
ロック単位で平均色(R,G,B)情報や平均輝度・色
差(Y,Cb,Cr)情報などの画素値情報を特徴量情
報として抽出し、 第1の固有識別情報抽出手段は、第
1の特徴量情報抽出手段で抽出された特徴量情報の少な
くとも1つを時間軸上に配列して、該配列の並びから動
画像を識別するための固有識別情報を抽出する、ことも
できる。
第4の態様の動画像検索装置は、検索対象の動画像から
所定の動画像を検索する動画像検索装置において、 所
定の動画像が非圧縮の動画像データか、圧縮された動画
像データかを判定する圧縮/非圧縮判定手段と、 非圧
縮の動画像データから各フレームの特徴量情報を抽出す
る第1の特徴量情報抽出手段と、 非圧縮の動画像デー
タから動画像のカット点を検出して、各カット点毎に検
索対象の動画像を複数のショットに分割する第1のカッ
ト点検出手段と、 第1の特徴量情報抽出手段で抽出さ
れた特徴量情報に基づいて、第1のカット点検出手段で
分割された各ショット毎に動画像を識別するための固有
識別情報を抽出する第1の固有識別情報抽出手段と、
圧縮された動画像データから各フレームのDCT(離散
コサイン変換)係数を特徴量情報として抽出する第2の
特徴量情報抽出手段と、 圧縮の動画像データから動画
像のカット点を検出して、各カット点毎に検索対象の動
画像を複数のショットに分割する第2のカット点検出手
段と、 第2の特徴量情報抽出手段で抽出された特徴量
情報の少なくとも1つを、第2のカット点検出手段で分
割された各ショット毎に時間軸上に配列して、該配列の
並びから動画像を識別するための固有識別情報を抽出す
る第2の固有識別情報抽出手段と、 第1の固有識別情
報抽出手段または第2の固有識別情報抽出手段で抽出さ
れた固有識別情報と検索対象の動画像に基づいて準備さ
れた検索対象の固有識別情報とを比較することによっ
て、検索対象の動画像から所定の動画像を検索する動画
像検索手段と、を備えることを特徴とする。
縮された動画像データから各フレームの動き補償情報を
特徴量情報として抽出することもできる。
置においては、 所定の動画像を、非圧縮の動画像デー
タとし、 第1の特徴量情報抽出手段は、非圧縮の動画
像データから、各フレームのDCT(離散コサイン変
換)係数を特徴量情報として抽出し、 第1の固有識別
情報抽出手段は、第1の特徴量情報抽出手段で抽出され
た特徴量情報の少なくとも1つを、第1のカット点検出
手段で分割される各ショット毎に時間軸上に配列して、
該配列の並びから動画像を識別するための固有識別情報
を抽出する、ようにすることができる。このとき、第1
の特徴量情報抽出手段は、非圧縮の動画像データから各
フレームの動き補償情報を特徴量情報として抽出するよ
うにしてもよい。
ータとし、 第1の特徴量情報抽出手段で、非圧縮の動
画像データからM×N(M及びNは自然数)画素のブロ
ック単位で動き補償情報を得、M’×N’(M’及び
N’は自然数)画素のブロック単位で平均色(R,G,
B)情報や平均輝度・色差(Y,Cb,Cr)情報など
の画素値情報を得て、これらを特徴量情報として抽出
し、 第1の固有識別情報抽出手段は、第1の特徴量情
報抽出手段で抽出された特徴量情報の少なくとも1つ
を、第1のカット点検出手段で分割される各ショット毎
に時間軸上に配列して、該配列の並びから動画像を識別
するための固有識別情報を抽出する、ようにしてもよ
い。
ータとし、 第1の特徴量情報抽出手段で、非圧縮の動
画像データからM×N(M及びNは自然数)画素のブロ
ック単位でDCT(離散コサイン変換)演算を行って、
DCT(離散コサイン変換)係数を特徴量情報として抽
出し、 第1の固有識別情報抽出手段は、第1の特徴量
情報抽出手段で抽出された特徴量情報の少なくとも1つ
を、カット点検出手段で分割される各ショット毎に時間
軸上に配列して、該配列の並びから動画像を識別するた
めの固有識別情報を抽出する、ようにしてもよい。
ータとし、 第1の特徴量情報抽出手段は、非圧縮の動
画像データから、M×N(M及びNは自然数)画素のブ
ロック単位で平均色(R,G,B)情報や平均輝度・色
差(Y,Cb,Cr)情報などの画素値情報を特徴量情
報として抽出し、 第1の固有識別情報抽出手段は、第
1の特徴量情報抽出手段で抽出された特徴量情報の少な
くとも1つを、第1のカット点検出手段で分割される各
ショット毎に時間軸上に配列して、該配列の並びから動
画像を識別するための固有識別情報を抽出する、ことも
できる。
画像検索装置においては、 固有識別情報を蓄積する固
有識別情報蓄積手段を有することもでき、また、動画像
検索手段の検索の結果を蓄積する検索結果蓄積手段を有
することもでき、 また、動画像検索手段の検索の結果
を表示する検索結果表示手段を有することもできる。
第1の態様の動画像検索方法は、検索対象の動画像から
所定の動画像を検索する動画像検索方法において、 所
定の動画像から各フレームの特徴量情報を抽出するステ
ップと、 特徴量情報に基づいて、動画像を識別するた
めの固有識別情報を抽出するステップと、 固有識別情
報と検索対象の動画像に基づいて準備された検索対象の
固有識別情報とを比較することによって、検索対象の動
画像から所定の動画像を検索するステップと、を備える
ことを特徴とする。
方法においては、 所定の動画像は、非圧縮の動画像デ
ータであり、 固有識別情報を抽出するステップは、特
徴量情報を抽出するステップで抽出された特徴量情報の
少なくとも1つを時間軸上に配列して、該配列の並びか
ら動画像を識別するための固有識別情報を抽出する、こ
ともできる。
所定の動画像から、各フレームのDCT(離散コサイン
変換)係数を特徴量情報として抽出し、 固有識別情報
を抽出するステップは、特徴量情報の少なくとも1つを
時間軸上に配列して、該配列の並びから動画像を識別す
るための固有識別情報を抽出する、ようにしてもよい。
さらに、所定の動画像から各フレームの動き補償情報を
特徴量情報として抽出する、こともできる。
ータであり、 特徴量情報を抽出するステップは、非圧
縮の動画像データからM×N(M及びNは自然数)画素
のブロック単位で動き補償情報を得、M’×N’(M’
及びN’は自然数)画素のブロック単位で平均色(R,
G,B)情報や平均輝度・色差(Y,Cb,Cr)情報
などの画素値情報を得て、これらを特徴量情報として抽
出し、 固有識別情報を抽出するステップは、特徴量情
報を抽出するステップで抽出された特徴量情報の少なく
とも1つを時間軸上に配列して、該配列の並びから動画
像を識別するための固有識別情報を抽出する、ようにし
てもよい。
ータであり、 特徴量情報を抽出するステップは、非圧
縮の動画像データからM×N(M及びNは自然数)画素
のブロック単位でDCT(離散コサイン変換)演算を行
って、DCT(離散コサイン変換)係数を特徴量情報と
して抽出し、 固有識別情報を抽出するステップは、特
徴量情報を抽出するステップで抽出された特徴量情報の
少なくとも1つを時間軸上に配列して、該配列の並びか
ら動画像を識別するための固有識別情報を抽出する、こ
ともできる。
ータであり、 特徴量情報を抽出するするステップは、
非圧縮の動画像データから、M×N(M及びNは自然
数)画素のブロック単位で平均色(R,G,B)情報や
平均輝度・色差(Y,Cb,Cr)情報などの画素値情
報を特徴量情報として抽出し、 固有識別情報を抽出す
るステップは、特徴量情報を抽出するステップで抽出さ
れた特徴量情報の少なくとも1つを時間軸上に配列し
て、該配列の並びから動画像を識別するための固有識別
情報を抽出する、ようにしてもよい。
第2の態様の動画像検索方法は、検索対象の動画像から
所定の動画像を検索する動画像検索方法において、 所
定の動画像から各フレームの特徴量情報を抽出するステ
ップと、 所定の動画像から動画像のカット点を検出し
て、各カット点毎に所定の動画像を複数のショットに分
割するステップと、 特徴量情報に基づいて、各ショッ
ト毎に動画像を識別するための固有識別情報を抽出する
ステップと、 固有識別情報と検索対象の動画像に基づ
いて準備された検索対象の固有識別情報とを比較するこ
とによって、検索対象の動画像から所定の動画像を検索
するステップと、を備えることを特徴とする。
法においては、 所定の動画像は、非圧縮の動画像デー
タであり、 固有識別情報を抽出するステップは、特徴
量情報を抽出するステップで抽出された特徴量情報の少
なくとも1つを、分割される各ショット毎に時間軸上に
配列して、該配列の並びから動画像を識別するための固
有識別情報を抽出する、ようにしてもよい。
所定の動画像から、各フレームのDCT(離散コサイン
変換)係数を特徴量情報として抽出し、 固有識別情報
を抽出するステップは、特徴量情報の少なくとも1つ
を、分割される各ショット毎に時間軸上に配列して、該
配列の並びから動画像を識別するための固有識別情報を
抽出する、こともできる。
さらに、所定の動画像から各フレームの動き補償情報を
特徴量情報として抽出する、ようにすることもできる。
ータであり、 特徴量情報を抽出するステップは、非圧
縮の動画像データからM×N(M及びNは自然数)画素
のブロック単位で動き補償情報を得、M’×N’(M’
及びN’は自然数)画素のブロック単位で平均色(R,
G,B)情報や平均輝度・色差(Y,Cb,Cr)情報
などの画素値情報を得て、これらを特徴量情報として抽
出し、 固有識別情報を抽出するステップは、特徴量情
報を抽出するステップで抽出された特徴量情報の少なく
とも1つを、分割される各ショット毎に時間軸上に配列
して、該配列の並びから動画像を識別するための固有識
別情報を抽出する、こともできる。
ータであり、 特徴量情報を抽出するステップは、非圧
縮の動画像データからM×N(M及びNは自然数)画素
のブロック単位でDCT(離散コサイン変換)演算を行
って、DCT(離散コサイン変換)係数を特徴量情報と
して抽出し、 固有識別情報を抽出するステップは、特
徴量情報を抽出するステップで抽出された特徴量情報の
少なくとも1つを、分割される各ショット毎に時間軸上
に配列して、該配列の並びから動画像を識別するための
固有識別情報を抽出する、ようにすることもできる。
ータであり、 特徴量情報を抽出するステップは、 非
圧縮の動画像データから、M×N(M及びNは自然数)
画素のブロック単位で平均色(R,G,B)情報や平均
輝度・色差(Y,Cb,Cr)情報などの画素値情報を
特徴量情報として抽出し、 固有識別情報を抽出するス
テップは、特徴量情報を抽出するステップで抽出された
特徴量情報の少なくとも1つを、分割される各ショット
毎に時間軸上に配列して、該配列の並びから動画像を識
別するための固有識別情報を抽出する、こともできる。
第3の態様の動画像検索方法は、検索対象の動画像から
所定の動画像を検索する動画像検索方法において、 所
定の動画像が非圧縮の動画像データか、圧縮された動画
像データかを判定するステップと、 非圧縮の動画像デ
ータから各フレームの第1の特徴量情報を抽出するステ
ップと、 第1の特徴量情報の少なくとも1つを時間軸
上に配列して、該配列の並びから動画像を識別するため
の第1の固有識別情報を抽出するステップと、 圧縮さ
れた動画像データから各フレームのDCT(離散コサイ
ン変換)係数を第2の特徴量情報として抽出するステッ
プと、 第2の特徴量情報の少なくとも1つを時間軸上
に配列して、該配列の並びから動画像を識別するための
第2の固有識別情報を抽出するステップと、 第1の固
有識別情報または第2の固有識別情報と検索対象の動画
像に基づいて準備された検索対象の固有識別情報とを比
較することによって、検索対象の動画像から所定の動画
像を検索するステップと、を備えることを特徴とする。
ップは、圧縮された動画像データから各フレームの動き
補償情報を第2の特徴量情報として抽出する、こともで
きる。
方法においては、所定の動画像は、非圧縮の動画像デー
タであり、 第1の特徴量情報を抽出するステップは、
非圧縮の動画像データから、各フレームのDCT(離散
コサイン変換)係数を特徴量情報として抽出し、 第1
の固有識別情報を抽出するステップは、第1の特徴量情
報の少なくとも1つを時間軸上に配列して、該配列の並
びから動画像を識別するための固有識別情報を抽出す
る、ようにしてもよい。ここで、第1の特徴量情報を抽
出するステップは、非圧縮の動画像データから動き補償
情報を特徴量情報として抽出することもできる。
ータであり、 第1の特徴量情報を抽出するステップ
は、非圧縮の動画像データからM×N(M及びNは自然
数)画素のブロック単位で動き補償情報を得、M’×
N’(M’及びN’は自然数)画素のブロック単位で平
均色(R,G,B)情報や平均輝度・色差(Y,Cb,
Cr)情報などの画素値情報を得て、これらを特徴量情
報として抽出し、 第1の固有識別情報を抽出するステ
ップは、第1の特徴量情報を抽出するステップで抽出さ
れた特徴量情報の少なくとも1つを時間軸上に配列し
て、該配列の並びから動画像を識別するための固有識別
情報を抽出する、ようにしてもよい。
ータであり、 第1の特徴量情報を抽出するステップ
は、非圧縮の動画像データからM×N(M及びNは自然
数)画素のブロック単位でDCT(離散コサイン変換)
演算を行って、DCT(離散コサイン変換)係数を特徴
量情報として抽出し、 第1の固有識別情報を抽出する
ステップは、第1の特徴量情報を抽出するステップで抽
出された特徴量情報の少なくとも1つを時間軸上に配列
して、該配列の並びから動画像を識別するための固有識
別情報を抽出する、ようにするとよい。
ータであり、 第1の特徴量情報を抽出するステップ
は、非圧縮の動画像データから、M×N(M及びNは自
然数)画素のブロック単位で平均色(R,G,B)情報
や平均輝度・色差(Y,Cb,Cr)情報などの画素値
情報を特徴量情報として抽出し、 第1の固有識別情報
を抽出するステップは、第1の特徴量情報を抽出するス
テップで抽出された特徴量情報の少なくとも1つを時間
軸上に配列して、該配列の並びから動画像を識別するた
めの固有識別情報を抽出する、こともできる。
第4の態様の動画像検索方法は、検索対象の動画像から
所定の動画像を検索する動画像検索方法において、 所
定の動画像が非圧縮の動画像データか、圧縮された動画
像データかを判定するステップと、 非圧縮の動画像デ
ータから各フレームの第1の特徴量情報を抽出するステ
ップと、 非圧縮の動画像データから動画像のカット点
を検出して、各カット点毎に所定の動画像を第1の複数
のショットに分割するステップと、 第1の特徴量情報
を抽出するステップで抽出された特徴量情報に基づい
て、分割された第1の各ショット毎に動画像を識別する
ための第1の固有識別情報を抽出するステップと、 圧
縮された動画像データから各フレームのDCT(離散コ
サイン変換)係数を第2の特徴量情報として抽出するス
テップと、 圧縮の動画像データから動画像のカット点
を検出して、各カット点毎に所定の動画像を第2の複数
のショットに分割するステップと、 第2の特徴量情報
を抽出するステップで抽出された特徴量情報の少なくと
も1つを、分割された第2の各ショット毎に時間軸上に
配列して、該配列の並びから動画像を識別するための第
2の固有識別情報を抽出するステップと、 第1の固有
識別情報を抽出するステップまたは第2の固有識別情報
を抽出するステップで抽出された第1または第2の固有
識別情報と検索対象の動画像に基づいて準備された検索
対象の固有識別情報とを比較することによって、検索対
象の動画像から所定の動画像を検索するステップと、を
備えることを特徴とする。
ップは、圧縮された動画像データから各フレームの動き
補償情報を第2の特徴量情報として抽出する、こともで
きる。
方法においては、 所定の動画像は、非圧縮の動画像デ
ータであり、 第1の特徴量情報を抽出するステップ
は、非圧縮の動画像データから、各フレームのDCT
(離散コサイン変換)係数を特徴量情報として抽出し、
第1の固有識別情報を抽出するステップは、第1の特
徴量情報を抽出するステップで抽出された特徴量情報の
少なくとも1つを、分割される第1の各ショット毎に時
間軸上に配列して、該配列の並びから動画像を識別する
ための固有識別情報を抽出する、ようにしてもよい。こ
こで、第1の特徴量情報を抽出するステップは、非圧縮
の動画像データから各フレームの動き補償情報を特徴量
情報として抽出することもできる。
ータであり、 第1の特徴量情報を抽出するステップ
は、非圧縮の動画像データからM×N(M及びNは自然
数)画素のブロック単位で動き補償情報を得、M’×
N’(M’及びN’は自然数)画素のブロック単位で平
均色(R,G,B)情報や平均輝度・色差(Y,Cb,
Cr)情報などの画素値情報を得て、これらを特徴量情
報として抽出し、 第1の固有識別情報を抽出するステ
ップは、第1の特徴量情報を抽出するステップで抽出さ
れた特徴量情報の少なくとも1つを、分割される第1の
各ショット毎に時間軸上に配列して、該配列の並びから
動画像を識別するための固有識別情報を抽出する、よう
にしてもよい。
ータであり、 第1の特徴量情報を抽出するステップ
は、非圧縮の動画像データからM×N(M及びNは自然
数)画素のブロック単位でDCT(離散コサイン変換)
演算を行って、DCT(離散コサイン変換)係数を特徴
量情報として抽出し、 第1の固有識別情報を抽出する
ステップは、第1の特徴量情報を抽出するステップで抽
出された特徴量情報の少なくとも1つを、分割される第
1の各ショット毎に時間軸上に配列して、該配列の並び
から動画像を識別するための固有識別情報を抽出する、
こともできる。
ータであり、 第1の特徴量情報を抽出するステップ
は、非圧縮の動画像データから、M×N(M及びNは自
然数)画素のブロック単位で平均色(R,G,B)情報
や平均輝度・色差(Y,Cb,Cr)情報などの画素値
情報を特徴量情報として抽出し、 第1の固有識別情報
を抽出するステップは、第1の特徴量情報を抽出するス
テップで抽出された特徴量情報の少なくとも1つを、分
割される第1の各ショット毎に時間軸上に配列して、該
配列の並びから動画像を識別するための固有識別情報を
抽出する、ようにしてもよい。
様の動画像検索方法においては、さらに、固有識別情報
を蓄積するステップを有することができる。また、検索
の結果を蓄積するステップを有するようにしてもよい。
また、検索の結果を表示するステップを有することもで
きる。
タで実行可能な動画像検索プログラムとし、このプログ
ラムをコンピュータで読み取り可能な記録媒体に記録す
ることもできる。
画像の各フレームから得られる輝度・色差(Y,Cb,
Cr)情報や色(R,G,B)情報等の物理的な画像特
徴量情報を抽出し、画像特徴量情報を時間軸上に並べ、
その並びから動画像識別のための動画像固有識別情報を
抽出して、他の固有識別情報と比較することにより、動
画像の検索を行う装置を実現するものである。このた
め、動画像から自動的に動画像固有識別情報を抽出で
き、元の動画像より動画像識別のための情報量が少なく
なるため、高速に検索をすることができる。
縮された圧縮動画像データから、各フレームから得られ
るDCT(離散コサイン変換)係数や動き補償情報等の
物理的な画像特徴量情報を抽出し、画像特徴量情報を時
間軸上に並べ、その並びから動画像識別のための動画像
固有識別情報が抽出して、他の固有識別情報と比較する
ことにより、動画像の検索を行うため、圧縮動画像デー
タから自動的にかつ完全伸張をすることなく動画像固有
識別情報を抽出でき、元の圧縮動画像データより動画像
識別のための情報量が少なくなる。このため、高速に検
索をすることができる。
カット点からカット点間のショットに対し、各ショット
内の動画像データから、動画像の各フレームから得られ
る輝度・色差(Y,Cb,Cr)情報や色(R,G,
B)情報等の物理的な画像特徴量情報を抽出し、画像特
徴量情報を時間軸上に並べ、その並びから各ショット毎
に動画像識別のための動画像固有識別情報を抽出して、
他の固有識別情報と比較することにより、動画像の検索
を行うものであるため、動画像から自動で動画像固有識
別情報を抽出可能であり、元の動画像より動画像識別の
ための情報量が少なくなるため、高速に検索をすること
ができる。
カット点からカット点間のショットに対し、各ショット
内の標準動画像圧縮符号化処理により圧縮された圧縮動
画像データから、各フレームから得られるDCT(離散
コサイン変換)係数や動き補償情報等の物理的な画像特
徴量情報を抽出し、画像特徴量情報を時間軸上に並べ、
その並びから各ショット毎に動画像識別のための動画像
固有識別情報を抽出して、他の固有識別情報と比較する
ことにより、動画像の検索を行うため、圧縮動画像デー
タから自動的にかつ完全伸張をすることなく動画像固有
識別情報を抽出でき、元の圧縮動画像データより動画像
識別のための情報量が少なくなる。このため、高速に検
索をすることができる。
して、M×N画素単位の動き補償情報と、M’×N’画
素単位のDCT(離散コサイン変換)演算を行い、演算
結果であるDCT(離散コサイン変換)係数を物理的な
画像特徴量情報として抽出し、また、標準動画像圧縮符
号化処理により圧縮された圧縮動画像データから、各フ
レームから得られるDCT(離散コサイン変換)係数や
動き補償情報等の物理的な画像特徴量情報として抽出
し、画像特徴量情報を時間軸上に並べ、その並びから各
ショット毎に動画像識別のための動画像固有識別情報を
抽出しておき、他の固有識別情報と比較することによ
り、動画像の検索を行うため、元の動画像データや圧縮
動画像データより動画像識別のための情報量が少なくな
る。このため、高速に検索をすることができる。また、
動画像データと圧縮動画像データから、抽出された固有
識別情報は、お互いに動画像検索に使用できる。
カット点からカット点間のショットに対し、各ショット
内の動画像データから、動画像の各フレームから得られ
る輝度・色差(Y,Cb,Cr)情報や色(R,G,
B)情報等の物理的な画像特徴量情報を抽出し、また、
動画像のカット点検出処理により、カット点からカット
点間のショットに対し、各ショット内の標準動画像圧縮
符号化処理により圧縮された圧縮動画像データから、各
フレームから得られるDCT(離散コサイン変換)係数
や動き補償情報等の物理的な画像特徴量情報を抽出し、
画像特徴量情報を時間軸上に並べ、その並びから各ショ
ット毎に動画像識別のための動画像固有識別情報を抽出
して、他の固有識別情報と比較することにより、動画像
の検索を行うため、元の動画像データや圧縮動画像デー
タより動画像識別のための情報量が少なくなる。このた
め、高速に検索をすることができる。また、動画像デー
タと圧縮動画像データから、抽出された固有識別情報
は、お互いに動画像検索に使用することができる。
して、M×N画素単位の動き補償情報と、M’×N’画
素単位の画素単位の平均色(R,G,B)情報や、平均
輝度・平均色差(Y,Cb,Cr)情報等の画素値情報
を抽出し、標準動画像圧縮符号化処理により圧縮された
圧縮動画像データから、各フレームから得られるDCT
(離散コサイン変換)係数のうちDC(直流)成分情報
のみと動き補償情報等の物理的な画像特徴量情報を抽出
し、画像特徴量情報を時間軸上に並べ、その並びから動
画像識別のための動画像固有識別情報を抽出して、他の
固有識別情報と比較することにより、動画像の検索を行
う装置を実現するものであるため、元の動画像データや
圧縮動画像データより動画像識別のための情報量が少な
くなる。このため、高速に検索をすることができる。ま
た、動画像データと圧縮動画像データから、抽出された
固有識別情報は、お互いに動画像検索に使用することが
できる。動画像データに対し、DCT(離散コサイン変
換)演算を行わないため、複雑な処理が軽減される。
カット点からカット点間のショットに対し、M×N画素
単位の動き補償情報と、M’×N’画素単位の平均色
(R,G,B)情報や、平均輝度・平均色差(Y,C
b,Cr)情報等の画素値情報を物理的な画像特徴量情
報として抽出し、また、動画像のカット点検出処理によ
り、カット点からカット点間のショットに対し、各ショ
ット内の標準動画像圧縮符号化処理により圧縮された圧
縮動画像データから、各フレームから得られるDCT
(離散コサイン変換)係数のうちDC(直流)成分情報
のみと動き補償情報等の物理的な画像特徴量情報を抽出
し、画像特徴量情報を時間軸上に並べ、その並びから各
ショット毎に動画像識別のための動画像固有識別情報を
抽出して、他の固有識別情報と比較することにより、動
画像の検索を行うため、元の動画像データや圧縮動画像
データより動画像識別のための情報量が少なくなる。こ
のため、高速に検索をすることができる。また、動画像
データと圧縮動画像データから、抽出された固有識別情
報は、お互いに動画像検索に使用できる。動画像データ
に対し、DCT(離散コサイン変換)演算を行わないた
め、複雑な処理が軽減される。
して、M×N画素単位のDCT(離散コサイン変換)演
算を行い、演算結果であるDCT(離散コサイン変換)
係数を物理的な画像特徴量情報として抽出し、また、標
準動画像圧縮符号化処理により圧縮された圧縮動画像デ
ータから、各フレームから得られるDCT(離散コサイ
ン変換)係数を物理的な画像特徴量情報として抽出し、
画像特徴量情報を時間軸上に並べ、その並びから各ショ
ット毎に動画像識別のための動画像固有識別情報を抽出
して、他の固有識別情報と比較することにより、動画像
の検索を行うため、元の動画像データや圧縮動画像デー
タより動画像識別のための情報量が少なくなる。このた
め、高速に検索をすることができる。また、動画像デー
タと圧縮動画像データから、抽出された固有識別情報
は、お互いに動画像検索に使用することができる。
して、M×N画素単位のDCT(離散コサイン変換)演
算を行い、動画像のカット点検出処理により、カット点
からカット点間のショットに対し、各ショット内の各フ
レームのDCT(離散コサイン変換)係数を物理的な画
像特徴量情報として抽出し、また、動画像のカット点検
出処理により、カット点からカット点間のショットに対
し、各ショット内の標準動画像圧縮符号化処理により圧
縮された圧縮動画像データから、各フレームから得られ
るDCT(離散コサイン変換)係数を物理的な画像特徴
量情報として抽出し、画像特徴量情報を時間軸上に並
べ、その並びから各ショット毎に動画像識別のための動
画像固有識別情報を抽出して、他の固有識別情報と比較
することにより、動画像の検索・同定を行う装置を実現
するものであるため、元の動画像データ・圧縮動画像デ
ータより動画像識別のための情報量が少なくなるため、
高速検索・同定が可能となる。また、動画像データと圧
縮動画像データから、抽出された固有識別情報は、お互
いに動画像検索に使用することができる。
して、M×N画素単位の平均色(R,G,B)情報や、
平均輝度・平均色差(Y,Cb,Cr)情報等の画素値
情報を物理的な画像特徴量情報として抽出し、また、動
画像のカット点検出処理により、カット点からカット点
間のショットに対し、各ショット内の標準動画像圧縮符
号化処理により圧縮された圧縮動画像データから、各フ
レームから得られるDCT(離散コサイン変換)係数の
うちDC(直流)成分情報のみを物理的な画像特徴量情
報として抽出し、画像特徴量情報を時間軸上に並べ、そ
の並びから各ショット毎に動画像識別のための動画像固
有識別情報を抽出しておき、他の固有識別情報と比較す
ることにより、動画像の検索を行うため、元の動画像デ
ータや圧縮動画像データより動画像識別のための情報量
が少なくなる。このため、高速に検索をすることができ
る。また、動画像データと圧縮動画像データから、抽出
された固有識別情報は、お互いに動画像検索に使用でき
る。動画像データに対し、DCT(離散コサイン変換)
演算を行わないため、複雑な処理が軽減される。
カット点からカット点間のショットに対し、各ショット
内の各フレームのM×N画素単位の平均色(R,G,
B)情報や、平均輝度・平均色差(Y,Cb,Cr)情
報等の画素値情報を物理的な画像特徴量情報として抽出
し、また、動画像のカット点検出処理により、カット点
からカット点間のショットに対し、各ショット内の標準
動画像圧縮符号化処理により圧縮された圧縮動画像デー
タから、各フレームから得られるDCT(離散コサイン
変換)係数のうちDC(直流)成分情報のみを物理的な
画像特徴量情報として抽出し、画像特徴量情報を時間軸
上に並べ、その並びから各ショット毎に動画像識別のた
めの動画像固有識別情報を抽出して、他の固有識別情報
と比較することにより、動画像の検索を行うため、元の
動画像データや圧縮動画像データより動画像識別のため
の情報量が少なくなる。このため、高速に検索をするこ
とができる。また、動画像データと圧縮動画像データか
ら、抽出された固有識別情報は、お互いに動画像検索に
使用することができる。動画像データに対し、DCT
(離散コサイン変換)演算を行わないため、複雑な処理
が軽減される。
動画像検索方法、及び動画像検索プログラムを記録した
記録媒体について、図面を参照しつつ詳述する。
検索装置の一形態を示す構成図である。図1において、
この動画像検索装置は、動画像データ101から、各フ
レームの輝度・色差(Y,Cb,Cr)情報や色(R,
G,B)情報などの物理的な画像特徴量情報を動画像特
徴量情報103として抽出する動画像特徴量情報抽出部
102と、各フレームの輝度・色差(Y,Cb,Cr)
情報や色(R,G,B)情報などの物理的な動画像特徴
量情報103のうち少なくとも1以上の画像特徴量情報
103を時間軸上に配列し、その並びから動画像識別の
ための動画像固有識別情報105を抽出する動画像固有
識別情報抽出部104と、動画像固有識別情報抽出部1
04で抽出された動画像固有識別情報105を蓄積する
動画像固有識別情報蓄積部106と、予め他の動画像デ
ータから抽出された動画像固有識別情報108の中から
動画像固有識別情報蓄積部106に蓄積されている動画
像固有識別情報105と同一の情報を検索して同定する
動画像固有識別情報検索同定部(以下、単に「動画像固
有識別情報検索部」ともいう)109と、動画像固有識
別情報検索部109の検索結果を格納する検索同定結果
格納部(以下、単に「検索結果格納部」ともいう)11
0と、検索結果格納部110に格納されている検索結果
を画面に表示したり印刷したりする検索同定結果表示部
(以下、単に「検索結果表示部」ともいう)111とを
備えている。以上のように構成された本発明の動画像検
索装置について、以下にその動作を説明する。
装置の動作を示すフローチャートである。図1及び図2
において、まず、動画像特徴量情報抽出部102は、動
画像の同定を行う検索キーとなる動画像データ101を
取り込み(ステップ201)、この動画像データ101
から各フレームの輝度・色差(Y,Cb,Cr)情報や
色(R,G,B)情報等を物理的な動画像特徴量情報1
03として抽出する(ステップ202)。
は、動画像特徴量情報103に基づいて、各フレームの
輝度・色差(Y,Cb,Cr)情報や色(R,G,B)
情報などの物理的な動画像特徴量情報の値、その値の平
均値、その値の合計値、またはその値の差分値のうち少
なくとも1以上の値を、時間軸上に配列した並びの全
部、その配列した並びの一定間隔、またはその配列した
並びの変則間隔で抜き出し、その抜き出した値を動画像
識別のための動画像固有識別情報105として抽出する
(ステップ203)。
像固有識別情報抽出部104で抽出された動画像固有識
別情報105を蓄積する(ステップ204)。
像データ)から動画像固有識別情報108を抽出してお
く(ステップ205)。この抽出処理は、上述したステ
ップ201〜204と同様の処理によって行うことがで
きる。
は、動画像固有識別情報蓄積部106に蓄積されている
動画像固有識別情報105と他の動画像データから抽出
された動画像固有識別情報108とを比較する(ステッ
プ206)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された動画像
固有識別情報108に対して行う(ステップ210)。
検索方法について説明したが、上述した動画像固有識別
情報抽出部104において、動画像特徴量情報103の
各フレームの輝度・色差(Y,Cb,Cr)情報や色
(R,G,B)情報等の物理的な動画像特徴量情報の
値、その値の平均値、その値の合計値、またはその値の
差分値のうち少なくとも1以上の値を、時間軸上に配列
した並びの全部、その配列した並びの一定間隔、または
その配列した並びを変則間隔で抜き出し、その抜き出し
た値を動画像識別のための動画像固有識別情報105と
して抽出しているが、この動画像固有識別情報抽出部1
04において、動画像特徴量情報103の各フレームの
輝度・色差(Y,Cb,Cr)情報や色(R,G,B)
情報等の物理的な動画像特徴量情報の一部分または複数
部分の値、その値の平均値、その値の合計値、若しくは
その値の差分値のうち少なくとも1以上の値を、時間軸
上に配列した並びの全部、その配列した並びの一定間
隔、またはその配列した並びの変則間隔で抜き出し、そ
の抜き出した値を動画像識別のための動画像固有識別情
報105として抽出してもよい。即ち、一画像を複数の
フレームに分割して各フレームの動画像特徴量情報の値
を求め、これらの値の全てを使用して動画像固有識別情
報105を抽出することができ、また、一部のフレーム
の動画像特徴量情報の値を使用して動画像固有識別情報
105を抽出するようにしてもよい。このような使用形
態としては、例えば、画像上の時刻表示部分や画像むら
のある周辺のフレームを除いた他のフレームの動画像特
徴量情報の値を使用する場合などがある。
おいて、動画像特徴量情報103の各フレームの輝度・
色差(Y,Cb,Cr)情報や色(R,G,B)情報等
の物理的な動画像特徴量情報に対し重み付けを行ってか
ら値を算出し、その値、その値の平均値、その値の合計
値、またはその値の差分値を適用するようにしてもよ
い。
おいて、物理的な動画像特徴量情報の値、その値の平均
値、その値の合計値、またはその値の差分値を求めてか
ら、求めた値を量子化してもよい。
ば、動画像の内容に依存した動画像識別のための動画像
固有識別情報を抽出することができるので、動画像固有
識別情報を用いて、高速に動画像の中から同じ動画像を
検索することができる。
施の形態について、図面を参照しながら説明する。
す。なお、図3においては、図1と同一の構成のものに
は同一の符号を付している。図3において、この動画像
検索装置は、MPEGなどの標準動画像圧縮符号化処理
により圧縮された圧縮動画像データ301から、各フレ
ームのDCT係数及び動き補償情報を圧縮動画像の特徴
量情報(圧縮動画像特徴量情報)303として抽出する
圧縮動画像特徴量情報抽出部302と、圧縮動画像特徴
量情報抽出部302で抽出された圧縮動画像特徴量情報
303の各フレームのDCT係数及び動き補償情報のう
ち少なくとも1以上の特徴量情報を時間軸上に配列し、
その並びから圧縮動画像識別のための圧縮動画像固有識
別情報305を抽出する圧縮動画像固有識別情報抽出部
304と、圧縮動画像固有識別情報抽出部304で抽出
された圧縮動画像固有識別情報305を蓄積する圧縮動
画像固有識別情報蓄積部306と、予め他の動画像デー
タから抽出された圧縮動画像固有識別情報308の中か
ら圧縮動画像固有識別情報蓄積部306に蓄積されてい
る圧縮動画像固有識別情報305と同一の情報を検索し
て同定する圧縮動画像固有識別情報検索同定部(以下、
単に「圧縮動画像固有識別情報検索部」ともいう)30
9と、圧縮動画像固有識別情報検索部309の検索結果
を格納する検索結果格納部110と、検索結果格納部1
10に格納されている検索結果を画面に表示したり印刷
したりする検索結果表示部111とを備えている。
索装置について、以下にその動作を説明する。
装置の動作を示すフローチャートである。なお、図4に
おいては、図2と同一の処理ステップには同一のステッ
プ番号を付している。図3及び図4において、まず、圧
縮動画像特徴量情報抽出部302は、圧縮動画像の検索
を行う検索キーとなる圧縮動画像データ301を取り込
み(ステップ401)、この圧縮動画像データ301か
ら各フレームのDCT(離散コサイン変換)係数および
動き補償情報で構成される圧縮動画像特徴量情報303
を抽出する(ステップ402)。
4は、圧縮動画像特徴量情報303の各フレームのDC
T(離散コサイン変換)係数から物理的な圧縮動画像特
徴量情報の値、その値の平均値、その値の合計値、また
はその値の差分値を求める。また、動き補償情報から
は、動きベクトル、前後フレーム間の平均動きベクト
ル、合計動きベクトル、差分ベクトル、またはフレーム
全体としての動きベクトルなどを求める。そして、これ
らの値のうち少なくとも1以上の値を、時間軸上に配列
した並びの全部、その配列した並びの一定間隔、または
その配列した並びの変則間隔で抜き出し、その抜き出し
た値を圧縮動画像識別のための圧縮動画像固有識別情報
305として抽出する(ステップ403)。
圧縮動画像固有識別情報抽出部304で抽出された圧縮
動画像固有識別情報305を蓄積する(ステップ40
4)。
圧縮動画像データ)から圧縮動画像固有識別情報308
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ401〜404と同様の処理によって
行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている圧縮動画像固有識別情報305と他の動画像デ
ータから抽出された圧縮動画像固有識別情報308とを
比較する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された圧縮動
画像固有識別情報308に対して行う(ステップ41
0)。
検索方法について説明したが、上述した圧縮動画像固有
識別情報抽出部304において、圧縮動画像特徴量情報
303の各フレームのDCT(離散コサイン変換)係数
からの物理的な圧縮動画像特徴量情報の値、その値の平
均値、その値の合計値、またはその値の差分値と、動き
補償情報からの動きベクトル、前後フレーム間の平均動
きベクトル、合計動きベクトル、差分ベクトル、または
フレーム全体としての動きベクトルなどのうち少なくと
も1以上の値を、時間軸上に配列した並びの全部、その
配列した並びの一定間隔、またはその配列した並びの変
則間隔で抜き出したものを圧縮動画像識別のための圧縮
動画像固有識別情報305として抽出しているが、圧縮
動画像特徴量情報303の各フレームのDCT(離散コ
サイン変換)係数から物理的な圧縮動画像特徴量情報の
中の一部分または複数部分を利用して、上述したこれら
の値を求めてもよく、動き補償情報の中の一部分または
複数部分を利用して、上述したこれらのベクトルを求め
てもよい。即ち、一画像を複数のフレームに分割して各
フレームの圧縮動画像特徴量情報の値を求め、これらの
値の全てを使用して圧縮動画像固有識別情報305を抽
出することができ、また、一部のフレームの動画像特徴
量情報の値を使用して圧縮動画像固有識別情報305を
抽出するようにしてもよい。このような使用形態として
は、例えば、画像上の時刻表示部分や画像むらのある周
辺のフレームを除いた他のフレームの圧縮動画像特徴量
情報の値を使用する場合などがある。
4において、圧縮動画像特徴量情報303の各フレーム
のDCT(離散コサイン変換)係数からの物理的な圧縮
動画像特徴量情報に対して重み付けを行い、その重み付
けられた圧縮動画像特徴量情報によって上述の値を求め
てもよい。また、動き補償情報に対して重み付けを行
い、その重み付けられた動き補償情報によって、上述の
ベクトルを求めてもよい。
4において、上述した物理的な圧縮動画像特徴量情報の
値などを量子化して適用してもよく、上述した動きベク
トルなどを量子化した値にすることもできる。
ば、MPEGなどの標準動画像圧縮符号化処理により圧
縮された圧縮動画像の内容に依存した、動画像識別のた
めの動画像固有識別情報を抽出することができるので、
この動画像固有識別情報を用いて、高速に動画像の中か
ら同じ動画像を検索することができる。
施の形態について、図面を参照しながら説明する。
す。なお、図5においては、図1と同一の構成のものに
は同一の符号を付している。図5において、この動画像
検索装置は、動画像データ101から、各フレームの輝
度・色差(Y,Cb,Cr)情報や色(R,G,B)情
報などの物理的な動画像特徴量情報を動画像特徴量情報
103として抽出する動画像特徴量情報抽出部102
と、動画像データ101のカット点をカット点情報50
2として検出するカット点検出部501と、動画像特徴
量情報103の各フレームの輝度・色差(Y,Cb,C
r)情報や色(R,G,B)情報などの物理的な画像特
徴量情報103のうち少なくとも1以上の動画像特徴量
情報103を時間軸上に配列し、その並びから動画像識
別のための動画像固有識別情報505を、カット点情報
502を用いて分割される動画像データ101の各ショ
ット単位に抽出する動画像固有識別情報抽出部503
と、動画像固有識別情報抽出部503で抽出された動画
像固有識別情報505を蓄積する動画像固有識別情報蓄
積部106と、予め他の動画像データから抽出された動
画像固有識別情報508の中から動画像固有識別情報蓄
積部106に蓄積されている動画像固有識別情報505
と同一の情報を検索して同定する動画像固有識別情報検
索部109と、動画像固有識別情報検索部109の検索
結果を格納する検索結果格納部110と、検索結果格納
部110に格納されている検索結果を画面に表示したり
印刷したりする検索結果表示部111とを備えている。
索装置について、以下にその動作を説明する。
装置の動作を示すフローチャートである。なお、図6に
おいては、図2と同一の処理ステップには同一のステッ
プ番号を付している。図5及び図6において、まず、動
画像特徴量情報抽出部102及びカット点検出部501
は、動画像の同定を行う検索キーとなる動画像データ1
01を取り込む(ステップ601)。
この動画像データ101から各フレームの輝度・色差
(Y,Cb,Cr)情報や色(R,G,B)情報等など
の物理的な動画像特徴量情報103を抽出する(ステッ
プ202)。
ータ101のカット点をカット点情報502として検出
する(ステップ602)。ここで、動画像データ101
のカット点とは、撮影されている動画像データ101の
場面が変化する点、または、動画像データ101を撮影
しているカメラが切換わった点をいう。
は、動画像特徴量情報103に基づいて、各フレームの
輝度・色差(Y,Cb,Cr)情報や色(R,G,B)
情報などの物理的な動画像特徴量情報の値、その値の平
均値、その値の合計値、またはその値の差分値のうち少
なくとも1以上の値を、時間軸上に配列した並びの全
部、その配列した並びの一定間隔、またはその配列した
並びの変則間隔で抜き出し、その抜き出した値を、カッ
ト点情報502を用いて分割される動画像データ101
の各ショット単位に動画像識別のための動画像固有識別
情報505として抽出する(ステップ603)。
像固有識別情報抽出部503で抽出された動画像固有識
別情報505を蓄積する(ステップ604)。
像データ)から動画像固有識別情報508を抽出してお
く(ステップ205)。この抽出処理は、上述したステ
ップ601〜604と同様の処理によって行うことがで
きる。
は、動画像固有識別情報蓄積部106に蓄積されている
動画像固有識別情報505と他の動画像データから抽出
された動画像固有識別情報508とを比較する(ステッ
プ206)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された動画像
固有識別情報508に対して行う(ステップ210)。
検索方法について説明したが、上述した動画像固有識別
情報抽出部503において、動画像特徴量情報103の
各フレームの輝度・色差(Y,Cb,Cr)情報や色
(R,G,B)情報等の物理的な動画像特徴量情報の
値、その値の平均値、その値の合計値、またはその値の
差分値を、動画像特徴量情報103の各フレームの輝度
・色差(Y,Cb,Cr)情報や色(R,G,B)情報
等の物理的な動画像特徴量情報の一部分または複数部分
の値、その値の平均値、その値の合計値、若しくはその
値の差分値としてもよい。即ち、一画像を複数のフレー
ムに分割して各フレームの動画像特徴量情報の値を求
め、これらの値の全てを使用して動画像固有識別情報5
05を抽出することができ、また、一部のフレームの動
画像特徴量情報の値を使用して動画像固有識別情報50
5を抽出するようにしてもよい。このような使用形態と
しては、例えば、画像上の時刻表示部分や画像むらのあ
る周辺のフレームを除いた他のフレームの動画像特徴量
情報の値を使用する場合などがある。
おいて、動画像特徴量情報103の各フレームの輝度・
色差(Y,Cb,Cr)情報や色(R,G,B)情報等
の物理的な動画像特徴量情報に対し重み付けを行ってか
ら値を算出し、その値、その値の平均値、その値の合計
値、またはその値の差分値を適用するようにしてもよ
い。
おいて、物理的な動画像特徴量情報の値、その値の平均
値、その値の合計値、またはその値の差分値を求めてか
ら、求めた値を量子化してもよい。
ば、動画像の内容に依存した動画像識別のための動画像
固有識別情報505を、カット点情報502によるショ
ットの時間概念を利用することによって、さらに少ない
情報量で抽出することができる。また、この動画像固有
識別情報505を用いて、さらに高速に動画像の中から
同じ動画像を検索することができる。
施の形態について、図面を参照しながら説明する。
す。なお、図7においては、図3と同一の構成のものに
は同一の符号を付している。図7において、この動画像
検索装置は、MPEGなどの標準動画像圧縮符号化処理
により圧縮された圧縮動画像データ301から、各フレ
ームのDCT係数及び動き補償情報を圧縮動画像の特徴
量情報(圧縮動画像特徴量情報)303として抽出する
圧縮動画像特徴量情報抽出部302と、圧縮動画像デー
タ301のカット点をカット点情報702として検出す
るカット点検出部701と、圧縮動画像特徴量情報抽出
部302で抽出された圧縮動画像特徴量情報303の各
フレームのDCT係数及び動き補償情報のうち少なくと
も1以上の特徴量情報を時間軸上に配列し、その並びか
ら圧縮動画像識別のための圧縮動画像固有識別情報70
5を、カット点情報702を用いて分割される圧縮動画
像データ301の各ショット単位に抽出する圧縮動画像
固有識別情報抽出部703と、圧縮動画像固有識別情報
抽出部703で抽出された圧縮動画像固有識別情報70
5を蓄積する圧縮動画像固有識別情報蓄積部306と、
予め他の動画像データから抽出された圧縮動画像固有識
別情報708の中から圧縮動画像固有識別情報蓄積部3
06に蓄積されている圧縮動画像固有識別情報705と
同一の情報を検索して同定する圧縮動画像固有識別情報
検索部309と、圧縮動画像固有識別情報検索部309
の検索結果を格納する検索結果格納部110と、検索結
果格納部110に格納されている検索結果を画面に表示
したり印刷したりする検索結果表示部111とを備えて
いる。
索装置について、以下にその動作を説明する。
装置の動作を示すフローチャートである。なお、図8に
おいては、図4と同一の処理ステップには同一のステッ
プ番号を付している。図7及び図8において、まず、圧
縮動画像特徴量情報抽出部302及びカット点検出部7
01は、圧縮動画像の検索を行う検索キーとなる圧縮動
画像データ301を取り込む(ステップ801)。次
に、圧縮動画像特徴量情報抽出部302は、圧縮動画像
データ301から各フレームのDCT(離散コサイン変
換)係数および動き補償情報で構成される圧縮動画像特
徴量情報303を抽出する(ステップ402)。また、
カット点検出部701は、圧縮動画像データ301のカ
ット点をカット点情報702として検出する(ステップ
802)。
3は、圧縮動画像特徴量情報303の各フレームのDC
T(離散コサイン変換)係数から物理的な圧縮動画像特
徴量情報の値、その値の平均値、その値の合計値、また
はその値の差分値を求める。また、動き補償情報から
は、動きベクトル、前後フレーム間の平均動きベクト
ル、合計動きベクトル、差分ベクトル、またはフレーム
全体としての動きベクトルなどのを求める。そして、こ
れらの値のうち少なくとも1以上の値を、時間軸上に配
列した並びの全部、その配列した並びの一定間隔、また
はその配列した並びの変則間隔で抜き出し、その抜き出
した値を、カット点情報702を用いて分割される圧縮
動画像データ301の各ショット単位に、圧縮動画像識
別のための圧縮動画像固有識別情報705として抽出す
る(ステップ803)。
圧縮動画像固有識別情報抽出部703で抽出された圧縮
動画像固有識別情報705を蓄積する(ステップ80
4)。
圧縮動画像データ)から圧縮動画像固有識別情報708
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ801〜804と同様の処理によって
行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている圧縮動画像固有識別情報705と他の動画像デ
ータから抽出された圧縮動画像固有識別情報708とを
比較する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された圧縮動
画像固有識別情報708に対して行う(ステップ41
0)。
検索方法について説明したが、上述した圧縮動画像固有
識別情報抽出部703において、圧縮動画像特徴量情報
303の各フレームのDCT(離散コサイン変換)係数
からの物理的な圧縮動画像特徴量情報の値、その値の平
均値、その値の合計値、またはその値の差分値を、圧縮
動画像特徴量情報303の各フレームのDCT(離散コ
サイン変換)係数から物理的な圧縮動画像特徴量情報の
中の一部分または複数部分を利用して求めてもよく、ま
た、動き補償情報からの動きベクトル、前後フレーム間
の平均動きベクトル、合計動きベクトル、差分ベクト
ル、またはフレーム全体としての動きベクトルなどの値
を、動き補償情報の中の一部分または複数部分を利用し
て求めてもよい。即ち、一画像を複数のフレームに分割
して各フレームの圧縮動画像特徴量情報の値を求め、こ
れらの値の全てを使用して圧縮動画像固有識別情報70
5を抽出することができ、また、一部のフレームの圧縮
動画像特徴量情報の値を使用して圧縮動画像固有識別情
報705を抽出するようにしてもよい。このような使用
形態としては、例えば、画像上の時刻表示部分や画像む
らのある周辺のフレームを除いた他のフレームの圧縮動
画像特徴量情報の値を使用する場合などがある。
3において、圧縮動画像特徴量情報303の各フレーム
のDCT(離散コサイン変換)係数からの物理的な圧縮
動画像特徴量情報に対して重み付けを行い、その重み付
けられた圧縮動画像特徴量情報によって上述の値を求め
てもよい。また、動き補償情報に対して重み付けを行
い、その重み付けられた動き補償情報によって、上述の
ベクトルを求めてもよい。
3において、上述した物理的な圧縮動画像特徴量情報の
値などを量子化して適用してもよく、上述した動きベク
トルなどを量子化した値にすることもできる。
ば、MPEGなどの標準動画像圧縮符号化処理により圧
縮された圧縮動画像の内容に依存した動画像識別のため
の圧縮動画像固有識別情報705を、カット点情報70
2によるショットの時間概念を利用することによって、
さらに少ない情報量で抽出することができる。また、こ
の圧縮動画像固有識別情報705を用いて、さらに高速
に動画像の中から同じ動画像を検索することができる。
施の形態について、図面を参照しながら説明する。
す。なお、図9においては、図1及び図3と同一の構成
のものには同一の符号を付している。図9において、こ
の動画像検索装置は、動画像データ101のM×N(M
及びNは自然数)画素単位の動き補償情報を求める動き
補償情報抽出部901と、動画像データ101のM’×
N’(M’及びN’は自然数)画素単位でDCT(離散
コサイン変換)演算を行い、DCT(離散コサイン変
換)係数を得るDCT(離散コサイン変換)演算部90
2と、MPEGなどの標準動画像圧縮符号化処理により
圧縮された圧縮動画像データ301から、各フレームの
DCT係数及び動き補償情報を圧縮動画像の特徴量情報
(圧縮動画像特徴量情報)303として抽出する圧縮動
画像特徴量情報抽出部302と、圧縮動画像特徴量情報
抽出部302または動き補償情報抽出部901及びDC
T(離散コサイン変換)演算部902で抽出された圧縮
動画像特徴量情報303の各フレームのDCT係数及び
動き補償情報のうち少なくとも1以上の特徴量情報を時
間軸上に配列し、その並びから圧縮動画像識別のための
圧縮動画像固有識別情報305を抽出する圧縮動画像固
有識別情報抽出部304と、圧縮動画像固有識別情報抽
出部304で抽出された圧縮動画像固有識別情報305
を蓄積する圧縮動画像固有識別情報蓄積部306と、予
め他の動画像データから抽出された圧縮動画像固有識別
情報308の中から圧縮動画像固有識別情報蓄積部30
6に蓄積されている圧縮動画像固有識別情報305と同
一の情報を検索して同定する圧縮動画像固有識別情報検
索部309と、圧縮動画像固有識別情報検索部309の
検索結果を格納する検索結果格納部110と、検索結果
格納部110に格納されている検索結果を画面に表示し
たり印刷したりする検索結果表示部111とを備えてい
る。
索装置について、以下にその動作を説明する。
索装置の動作を示すフローチャートである。なお、図1
0においては、図4と同一の処理ステップには同一のス
テップ番号を付している。図9及び図10において、ま
ず、入力された動画像データが圧縮されているかどうか
を判断する(ステップ1001)。
い動画像データ101の場合には、動き補償情報抽出部
901及びDCT(離散コサイン変換)演算部902
は、動画像の検索を行う検索キーとなる動画像データ1
01を取り込む(ステップ1002)。
索を行う検索キーとなる動画像データ101の各フレー
ムをM×N(M及びNは自然数)画素単位に分割し、M
×N画素単位で動き補償情報を求める(ステップ100
3)。また、DCT(離散コサイン変換)演算部902
は、動画像データ101の各フレームをM’×N’
(M’及びN’は自然数)画素単位に分割し、M’×
N’画素単位でDCT(離散コサイン変換)演算をし、
DCT(離散コサイン変換)係数を求める(ステップ1
004)。
たM×N画素単位の動き補償情報と、DCT(離散コサ
イン変換)演算部902で求められたM’×N’画素単
位のDCT(離散コサイン変換)係数は、圧縮動画像特
徴量情報303として圧縮動画像固有識別情報抽出部3
04に送り出される。
ている圧縮動画像データ301の場合には、圧縮動画像
特徴量情報抽出部302は、圧縮動画像の検索を行う検
索キーとなる圧縮動画像データ301を取り込み(ステ
ップ401)、この圧縮動画像データ301から各フレ
ームのDCT(離散コサイン変換)係数および動き補償
情報で構成される圧縮動画像特徴量情報303を抽出す
る(ステップ402)。
4は、圧縮動画像特徴量情報抽出部302または動き補
償情報抽出部901及びDCT(離散コサイン変換)演
算部902で抽出された圧縮動画像特徴量情報303の
各フレームのDCT(離散コサイン変換)係数から物理
的な圧縮動画像特徴量情報の値、その値の平均値、その
値の合計値、またはその値の差分値を求める。また、動
き補償情報からは、動きベクトル、前後フレーム間の平
均動きベクトル、合計動きベクトル、差分ベクトル、ま
たはフレーム全体としての動きベクトルなどのを求め
る。そして、これらの値のうち少なくとも1以上の値
を、時間軸上に配列した並びの全部、その配列した並び
の一定間隔、またはその配列した並びの変則間隔で抜き
出し、その抜き出した値を圧縮動画像識別のための圧縮
動画像固有識別情報305として抽出する(ステップ4
03)。
圧縮動画像固有識別情報抽出部304で抽出された圧縮
動画像固有識別情報305を蓄積する(ステップ40
4)。
圧縮動画像データ)から圧縮動画像固有識別情報308
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ1001〜404と同様の処理によっ
て行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている圧縮動画像固有識別情報305と他の動画像デ
ータから抽出された圧縮動画像固有識別情報308とを
比較する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された圧縮動
画像固有識別情報308に対して行う(ステップ41
0)。
検索方法について説明したが、M×N画素単位及びM’
×N’画素単位を、MPEGなどの標準圧縮符号化方式
の画素単位と同じ値にしてもよい。
ば、非圧縮の動画像データ101に前処理(ステップ1
003、1004)を行うため、動画像データ101及
び圧縮動画像データ301の内容に依存した動画像識別
のための圧縮動画像固有識別情報305を同じ処理(ス
テップ403)で抽出することができる。また、この圧
縮動画像固有識別情報305を用いて、さらに高速に動
画像の中から同じ動画像を検索することができる。
施の形態について、図面を参照しながら説明する。
示す。なお、図11においては、図5、図7、及び図9
と同一の構成のものには同一の符号を付している。図1
1において、この動画像検索装置は、動画像データ10
1のM×N(M及びNは自然数)画素単位の動き補償情
報を求める動き補償情報抽出部901と、動画像データ
101のM’×N’(M’及びN’は自然数)画素単位
でDCT(離散コサイン変換)演算を行い、DCT(離
散コサイン変換)係数を得るDCT(離散コサイン変
換)演算部902と、動画像データ101のカット点を
カット点情報502として検出するカット点検出部50
1と、MPEGなどの標準動画像圧縮符号化処理により
圧縮された圧縮動画像データ301から、各フレームの
DCT係数及び動き補償情報を圧縮動画像の特徴量情報
(圧縮動画像特徴量情報)303として抽出する圧縮動
画像特徴量情報抽出部302と、圧縮動画像データ30
1のカット点をカット点情報702として検出するカッ
ト点検出部701と、動き補償情報抽出部901及びD
CT(離散コサイン変換)演算部902または圧縮動画
像特徴量情報抽出部302で抽出された圧縮動画像特徴
量情報303の各フレームのDCT係数及び動き補償情
報のうち少なくとも1以上の特徴量情報を時間軸上に配
列し、その並びから圧縮動画像識別のための圧縮動画像
固有識別情報705を、カット点情報502またはカッ
ト点情報702を用いて分割される圧縮動画像データ3
01の各ショット単位に抽出する圧縮動画像固有識別情
報抽出部703と、圧縮動画像固有識別情報抽出部70
3で抽出された圧縮動画像固有識別情報705を蓄積す
る圧縮動画像固有識別情報蓄積部306と、予め他の動
画像データから抽出された圧縮動画像固有識別情報70
8の中から圧縮動画像固有識別情報蓄積部306に蓄積
されている圧縮動画像固有識別情報705と同一の情報
を検索して同定する圧縮動画像固有識別情報検索部30
9と、圧縮動画像固有識別情報検索部309の検索結果
を格納する検索結果格納部110と、検索結果格納部1
10に格納されている検索結果を画面に表示したり印刷
したりする検索結果表示部111とを備えている。
索装置について、以下にその動作を説明する。
検索装置の動作を示すフローチャートである。なお、図
12においては、図6、図8、及び図10と同一の処理
ステップには同一のステップ番号を付している。図11
及び図12において、まず、入力された動画像データが
圧縮されているかどうかを判断する(ステップ100
1)。
い動画像データ101の場合には、動き補償情報抽出部
901、DCT(離散コサイン変換)演算部902、及
びカット点検出部501は、動画像の検索を行う検索キ
ーとなる動画像データ101を取り込む(ステップ12
01)。
索を行う検索キーとなる動画像データ101の各フレー
ムをM×N(M及びNは自然数)画素単位に分割し、M
×N画素単位で動き補償情報を求める(ステップ100
3)。また、DCT(離散コサイン変換)演算部902
は、動画像データ101の各フレームをM’×N’
(M’及びN’は自然数)画素単位に分割し、M’×
N’画素単位でDCT(離散コサイン変換)演算をし、
DCT(離散コサイン変換)係数を求める(ステップ1
004)。
ータ101のカット点をカット点情報502として検出
する(ステップ602)。
たM×N画素単位の動き補償情報と、DCT(離散コサ
イン変換)演算部902で求められたM’×N’画素単
位のDCT(離散コサイン変換)係数は、圧縮動画像特
徴量情報303として、カット点検出部501で検出さ
れたカット点情報502と共に、圧縮動画像固有識別情
報抽出部703に送り出される。
ている圧縮動画像データ301の場合には、圧縮動画像
特徴量情報抽出部302及びカット点検出部701は、
圧縮動画像の検索を行う検索キーとなる圧縮動画像デー
タ301を取り込む(ステップ801)。次に、圧縮動
画像特徴量情報抽出部302は、圧縮動画像データ30
1から各フレームのDCT(離散コサイン変換)係数お
よび動き補償情報で構成される圧縮動画像特徴量情報3
03を抽出する(ステップ402)。また、カット点検
出部701は、圧縮動画像データ301のカット点をカ
ット点情報702として検出する(ステップ802)。
3は、圧縮動画像特徴量情報303の各フレームのDC
T(離散コサイン変換)係数から物理的な圧縮動画像特
徴量情報の値、その値の平均値、その値の合計値、また
はその値の差分値を求める。また、動き補償情報から
は、動きベクトル、前後フレーム間の平均動きベクト
ル、合計動きベクトル、差分ベクトル、またはフレーム
全体としての動きベクトルなどのを求める。そして、こ
れらの値のうち少なくとも1以上の値を、時間軸上に配
列した並びの全部、その配列した並びの一定間隔、また
はその配列した並びの変則間隔で抜き出し、その抜き出
した値を、カット点情報502を用いて分割される動画
像データ101またはカット点情報702を用いて分割
される圧縮動画像データ301の各ショット単位に、圧
縮動画像識別のための圧縮動画像固有識別情報705と
して抽出する(ステップ803)。
圧縮動画像固有識別情報抽出部703で抽出された圧縮
動画像固有識別情報705を蓄積する(ステップ80
4)。
圧縮動画像データ)から圧縮動画像固有識別情報708
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ1001〜804と同様の処理によっ
て行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている圧縮動画像固有識別情報705と他の動画像デ
ータから抽出された圧縮動画像固有識別情報708とを
比較する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された圧縮動
画像固有識別情報708に対して行う(ステップ41
0)。
検索方法について説明したが、M×N画素単位及びM’
×N’画素単位を、MPEGなどの標準圧縮符号化方式
の画素単位と同じ値にしてもよい。
ば、非圧縮の動画像データ101に前処理(ステップ1
003、1004)を行うため、動画像データ101及
び圧縮動画像データ301の内容に依存した動画像識別
のための圧縮動画像固有識別情報705を同じ処理(ス
テップ803)で抽出することができる。また、動画像
識別のための圧縮動画像固有識別情報705を、カット
点情報502またはカット点情報702によるショット
の時間概念を利用することによって、さらに少ない情報
量で抽出することができる。この圧縮動画像固有識別情
報705を用いて、さらに高速に動画像の中から同じ動
画像を検索することができる。
施の形態について、図面を参照しながら説明する。
示す。なお、図13においては、図3及び図9と同一の
構成のものには同一の符号を付している。図13におい
て、この動画像検索装置は、動画像データ101のM×
N(M及びNは自然数)画素単位の動き補償情報を求め
る動き補償情報抽出部901と、M’×N’(M’及び
N’は自然数)画素単位の平均色(R,G,B)情報
や、平均輝度・平均色差(Y,Cb,Cr)情報などの
平均画素値を求めるブロック単位平均値抽出部1301
と、MPEGなどの標準動画像圧縮符号化処理により圧
縮された圧縮動画像データ301から、各フレームのD
CT(離散コサイン変換)係数のDC(直流)成分及び
動き補償情報を圧縮動画像の特徴量情報(圧縮動画像特
徴量情報)1303として抽出する圧縮動画像特徴量情
報抽出部1302と、動き補償情報抽出部901及びブ
ロック単位平均値抽出部1301または圧縮動画像特徴
量情報抽出部1302で抽出された圧縮動画像特徴量情
報1303の各フレームのDCT係数のDC成分または
平均画素値及びそれらの動き補償情報のうち少なくとも
1以上の特徴量情報を時間軸上に配列し、その並びから
圧縮動画像識別のための圧縮動画像固有識別情報305
を抽出する圧縮動画像固有識別情報抽出部1304と、
圧縮動画像固有識別情報抽出部1304で抽出された圧
縮動画像固有識別情報305を蓄積する圧縮動画像固有
識別情報蓄積部306と、予め他の動画像データから抽
出された圧縮動画像固有識別情報308の中から圧縮動
画像固有識別情報蓄積部306に蓄積されている圧縮動
画像固有識別情報305と同一の情報を検索して同定す
る圧縮動画像固有識別情報検索部309と、圧縮動画像
固有識別情報検索部309の検索結果を格納する検索結
果格納部110と、検索結果格納部110に格納されて
いる検索結果を画面に表示したり印刷したりする検索結
果表示部111とを備えている。
方式で用いられているDCT(離散コサイン変換)演算
とIDCT(逆離散コサイン変換)演算とフレーム画像
との関係を示す概念図である。
式は、以下の「数1」に示される式である。
算式は、以下の「数2」で示される式である。
いては、 N :イントラ符号のブロックサイズ x,y :ブロック内の座標 f(x,y):ブロック内の座標(x,y)の画素値 u,v :DCT変換後の座標 F(u,v):DCT変換後の座標(u,v)のDCT
の係数値 C(u) :u=0のとき1/√2 u≠0のとき1 C(v) :v=0のとき1/√2 v≠0のとき1 である。
ロックサイズNが、N=8で、DCT変換後の座標
(u,v)が、(0,0)の場合、「数1」のF(u,
v)は、次の「数3」のようになる。
「数4」のように求めることができる。
うに、DCT(離散コサイン変換)係数のDC(直流)
成分F(u,v)は、ブロック内の平均画素値をブロッ
クの量子化数(N)倍した値になる。すなわち、圧縮動
画像特徴量情報抽出部1302で抽出されるDCT(離
散コサイン変換)係数のDC(直流)成分F(u,v)
と、ブロック単位平均値抽出部1301で得られるブロ
ック内の平均画素値は、ブロックの量子化数を考慮して
同一の情報データとして扱うことができる。すなわち、
圧縮動画像特徴量情報抽出部1302から抽出される圧
縮動画像特徴量情報1303と、動き補償情報抽出部9
01で抽出される動き補償情報及びブロック単位平均値
抽出部1301で抽出される平均画素値による圧縮動画
像特徴量情報1303は、同じ内容構成のデータ情報と
することができる。
索装置について、以下にその動作を説明する。
検索装置の動作を示すフローチャートである。なお、図
15においては、図4及び図10と同一の処理ステップ
には同一のステップ番号を付している。図13乃至図1
5において、まず、入力された動画像データが圧縮され
ているかどうかを判断する(ステップ1001)。
い動画像データ101の場合には、動き補償情報抽出部
901及びブロック単位平均値抽出部1301は、動画
像の検索を行う検索キーとなる動画像データ101を取
り込む(ステップ1501)。
索を行う検索キーとなる動画像データ101の各フレー
ムをM×N(M及びNは自然数)画素単位に分割し、M
×N画素単位で動き補償情報を求める(ステップ100
3)。また、ブロック単位平均値抽出部1301は、動
画像データ101の各フレームをM’×N’(M’及び
N’は自然数)画素単位に分割し、M’×N’画素単位
の平均画素値を求める(ステップ1502)。
たM×N画素単位の動き補償情報と、ブロック単位平均
値抽出部1301で求められたM’×N’画素単位の平
均画素値は、圧縮動画像特徴量情報1303として、圧
縮動画像固有識別情報抽出部1304に送り出される。
ている圧縮動画像データ301の場合には、圧縮動画像
特徴量情報抽出部1302は、圧縮動画像の検索を行う
検索キーとなる圧縮動画像データ301を取り込む(ス
テップ401)。次に、圧縮動画像特徴量情報抽出部1
302は、圧縮動画像データ301から各フレームのD
CT(離散コサイン変換)係数のDC(直流)成分およ
び動き補償情報で構成される圧縮動画像特徴量情報13
03を抽出する(ステップ1503)。
04は、圧縮動画像特徴量情報1303の各フレームの
DCT(離散コサイン変換)係数のDC(直流)成分か
らの物理的な圧縮動画像特徴量情報または平均画素値の
値、その値の平均値、その値の合計値、またはその値の
差分値を求める。また、動き補償情報からは、動きベク
トル、前後フレーム間の平均動きベクトル、合計動きベ
クトル、差分ベクトル、またはフレーム全体としての動
きベクトルなどを求める。そして、これらの値のうち少
なくとも1以上の値を、時間軸上に配列した並びの全
部、その配列した並びの一定間隔、またはその配列した
並びの変則間隔で抜き出し、その抜き出した値を圧縮動
画像識別のための圧縮動画像固有識別情報305として
抽出する(ステップ1504)。
圧縮動画像固有識別情報抽出部1304で抽出された圧
縮動画像固有識別情報305を蓄積する(ステップ40
4)。
圧縮動画像データ)から圧縮動画像固有識別情報308
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ1001〜404と同様の処理によっ
て行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている圧縮動画像固有識別情報305と他の動画像デ
ータから抽出された圧縮動画像固有識別情報308とを
比較する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された圧縮動
画像固有識別情報308に対して行う(ステップ41
0)。
検索方法について説明したが、上述した圧縮動画像固有
識別情報抽出部1304において、圧縮動画像特徴量情
報1303の各フレームのDCT(離散コサイン変換)
係数のDC(直流)成分からの物理的な圧縮動画像特徴
量情報または平均画素値の値、その値の平均値、その値
の合計値、またはその値の差分値を、圧縮動画像特徴量
情報303の各フレームのDCT(離散コサイン変換)
係数のDC(直流)成分からの物理的な圧縮動画像特徴
量情報または平均画素値の中の一部分または複数部分を
利用して求めてもよく、また、動き補償情報からの動き
ベクトル、前後フレーム間の平均動きベクトル、合計動
きベクトル、差分ベクトル、またはフレーム全体として
の動きベクトルなどの値を、動き補償情報の中の一部分
または複数部分を利用して求めてもよい。
04において、圧縮動画像特徴量情報1303の各フレ
ームのDCT(離散コサイン変換)係数のDC(直流)
成分からの物理的な圧縮動画像特徴量情報または平均画
素値に対して重み付けを行い、その重み付けられた圧縮
動画像特徴量情報または平均画素値によって上述の値を
求めてもよい。また、動き補償情報に対して重み付けを
行い、その重み付けられた動き補償情報によって、上述
のベクトルを求めてもよい。
04において、上述した物理的な圧縮動画像特徴量情報
または平均画素値の値などを量子化して適用してもよ
く、上述した動きベクトルなどを量子化した値にするこ
ともできる。
単位を、MPEGなどの標準圧縮符号化方式の画素単位
と同じ値にしてもよい。
ば、動画像に簡単な前処理を行うことにより、動画像デ
ータ101や圧縮動画像データ301の内容に依存した
動画像識別のための圧縮動画像固有識別情報305を、
さらに少ない情報量で、かつ動画像データ101と圧縮
動画像データ301とを同じ処理で抽出することができ
る。また、この圧縮動画像固有識別情報305を用い
て、さらに高速に動画像の中から同じ動画像を検索する
ことができる。
施の形態について、図面を参照しながら説明する。
示す。なお、図16においては、図5、図7及び図13
と同一の構成のものには同一の符号を付している。図1
6において、この動画像検索装置は、動画像データ10
1のM×N(M及びNは自然数)画素単位の動き補償情
報を求める動き補償情報抽出部901と、M’×N’
(M’及びN’は自然数)画素単位の平均色(R,G,
B)情報や、平均輝度・平均色差(Y,Cb,Cr)情
報などの平均画素値を求めるブロック単位平均値抽出部
1301と、動画像データ101のカット点をカット点
情報502として検出するカット点検出部501と、M
PEGなどの標準動画像圧縮符号化処理により圧縮され
た圧縮動画像データ301から、各フレームのDCT
(離散コサイン変換)係数のDC(直流)成分及び動き
補償情報を圧縮動画像の特徴量情報(圧縮動画像特徴量
情報)1303として抽出する圧縮動画像特徴量情報抽
出部1302と、圧縮動画像データ301のカット点を
カット点情報702として検出するカット点検出部70
1と、補償情報抽出部901及びブロック単位平均値抽
出部1301または圧縮動画像特徴量情報抽出部130
2で抽出された圧縮動画像特徴量情報1303の各フレ
ームのDCT係数のDC成分または平均画素値及びそれ
らの動き補償情報のうち少なくとも1以上の特徴量情報
を時間軸上に配列し、その並びから圧縮動画像識別のた
めの圧縮動画像固有識別情報705を、カット点情報5
02を用いて分割される動画像データ101の各ショッ
ト単位またはカット点情報702を用いて分割される圧
縮動画像データ301の各ショット単位に抽出する圧縮
動画像固有識別情報抽出部1603と、圧縮動画像固有
識別情報抽出部1603で抽出された圧縮動画像固有識
別情報705を蓄積する圧縮動画像固有識別情報蓄積部
306と、予め他の動画像データから抽出された圧縮動
画像固有識別情報708の中から圧縮動画像固有識別情
報蓄積部306に蓄積されている圧縮動画像固有識別情
報705と同一の情報を検索して同定する圧縮動画像固
有識別情報検索部309と、圧縮動画像固有識別情報検
索部309の検索結果を格納する検索結果格納部110
と、検索結果格納部110に格納されている検索結果を
画面に表示したり印刷したりする検索結果表示部111
とを備えている。
索装置について、以下にその動作を説明する。
検索装置の動作を示すフローチャートである。なお、図
17においては、図6、図8、及び図15と同一の処理
ステップには同一のステップ番号を付している。図16
及び図17において、まず、入力された動画像データが
圧縮されているかどうかを判断する(ステップ100
1)。
い動画像データ101の場合には、動き補償情報抽出部
901、ブロック単位平均値抽出部1301、及びカッ
ト点検出部501は、動画像の検索を行う検索キーとな
る動画像データ101を取り込む(ステップ170
1)。
定を行う検索キーとなる動画像データ101の各フレー
ムをM×N(M及びNは自然数)画素単位に分割し、M
×N画素単位で動き補償情報を求める(ステップ100
3)。また、ブロック単位平均値抽出部1301は、動
画像データ101の各フレームをM’×N’(M’及び
N’は自然数)画素単位に分割し、M’×N’画素単位
の平均画素値を求める(ステップ1502)。さらに、
カット点検出部501は、動画像データ101のカット
点をカット点情報502として検出する(ステップ60
2)。
たM×N画素単位の動き補償情報と、ブロック単位平均
値抽出部1301で求められたM’×N’画素単位の平
均画素値は、カット点検出部501で検出されたカット
点情報502と共に、圧縮動画像特徴量情報1303と
して、圧縮動画像固有識別情報抽出部1603に送り出
される。
ている圧縮動画像データ301の場合には、圧縮動画像
特徴量情報抽出部1302及びカット点検出部701
は、圧縮動画像の検索を行う検索キーとなる圧縮動画像
データ301を取り込む(ステップ801)。次に、圧
縮動画像特徴量情報抽出部1302は、圧縮動画像デー
タ301から各フレームのDCT(離散コサイン変換)
係数のDC(直流)成分および動き補償情報で構成され
る圧縮動画像特徴量情報1303を抽出する(ステップ
1503)。また、カット点検出部701は、圧縮動画
像データ301のカット点をカット点情報702として
検出する(ステップ802)。
03は、圧縮動画像特徴量情報1303の各フレームの
DCT(離散コサイン変換)係数のDC(直流)成分か
らの物理的な圧縮動画像特徴量情報または平均画素値の
値、その値の平均値、その値の合計値、またはその値の
差分値を求める。また、動き補償情報からは、動きベク
トル、前後フレーム間の平均動きベクトル、合計動きベ
クトル、差分ベクトル、またはフレーム全体としての動
きベクトルなどを求める。そして、これらの値のうち少
なくとも1以上の値を、時間軸上に配列した並びの全
部、その配列した並びの一定間隔、またはその配列した
並びの変則間隔で抜き出し、その抜き出した値を圧縮動
画像識別のための圧縮動画像固有識別情報705とし
て、カット点情報502を用いて分割される動画像デー
タ101の各ショット単位またはカット点情報702を
用いて分割される圧縮動画像データ301の各ショット
単位に抽出する(ステップ1702)。
圧縮動画像固有識別情報抽出部1603で抽出された圧
縮動画像固有識別情報705を蓄積する(ステップ80
4)。
圧縮動画像データ)から圧縮動画像固有識別情報708
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ1001〜804と同様の処理によっ
て行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている動画像固有識別情報705と他の動画像データ
から抽出された圧縮動画像固有識別情報708とを比較
する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された動画像
固有識別情報708に対して行う(ステップ410)。
検索方法について説明したが、M×N画素単位及びM’
×N’画素単位を、MPEGなどの標準圧縮符号化方式
の画素単位と同じ値にしてもよい。
ば、カット点情報によるショットの時間概念を利用し、
また、動画像に簡単な前処理を行うことで動画像データ
101及び圧縮動画像データ301の内容に依存した動
画像識別のための圧縮動画像固有識別情報1303を、
少ない情報量で、かつ動画像データと圧縮動画像データ
において同じ処理で抽出することができる。また、この
圧縮動画像固有識別情報1303を用いて、さらに高速
に動画像の中から同じ動画像を検索することができる。
施の形態について、図面を参照しながら説明する。
示す。なお、図18においては、図3及び図9と同一の
構成のものには同一の符号を付している。図18におい
て、この動画像検索装置は、動画像データ101のM×
N(M及びNは自然数)画素単位でDCT(離散コサイ
ン変換)演算を行い、DCT(離散コサイン変換)係数
を圧縮動画像特徴量情報303として得るDCT(離散
コサイン変換)演算部902と、MPEGなどの標準動
画像圧縮符号化処理により圧縮された圧縮動画像データ
301から、各フレームのDCT(離散コサイン変換)
係数を圧縮動画像の特徴量情報(圧縮動画像特徴量情
報)303として抽出する圧縮動画像特徴量情報抽出部
302と、DCT(離散コサイン変換)演算部902ま
たは圧縮動画像特徴量情報抽出部302で抽出された圧
縮動画像特徴量情報303の各フレームのDCT係数の
うち少なくとも1以上の特徴量情報を時間軸上に配列
し、その並びから圧縮動画像識別のための圧縮動画像固
有識別情報305を抽出する圧縮動画像固有識別情報抽
出部304と、圧縮動画像固有識別情報抽出部304で
抽出された圧縮動画像固有識別情報305を蓄積する圧
縮動画像固有識別情報蓄積部306と、予め他の動画像
データから抽出された圧縮動画像固有識別情報308の
中から圧縮動画像固有識別情報蓄積部306に蓄積され
ている圧縮動画像固有識別情報305と同一の情報を検
索して同定する圧縮動画像固有識別情報検索部309
と、圧縮動画像固有識別情報検索部309の検索結果を
格納する検索結果格納部110と、検索結果格納部11
0に格納されている検索結果を画面に表示したり印刷し
たりする検索結果表示部111とを備えている。
索装置について、以下にその動作を説明する。
検索装置の動作を示すフローチャートである。なお、図
19においては、図10と同一の処理ステップには同一
のステップ番号を付している。図18及び図19におい
て、まず、入力された動画像データが圧縮されているか
どうかを判断する(ステップ1001)。
い動画像データ101の場合には、DCT(離散コサイ
ン変換)演算部902は、動画像の検索を行う検索キー
となる動画像データ101を取り込む(ステップ190
1)。
は、動画像データ101の各フレームをM×N(M及び
Nは自然数)画素単位に分割し、M×N画素単位でDC
T(離散コサイン変換)演算をし、DCT(離散コサイ
ン変換)係数を圧縮動画像特徴量情報303として求め
る(ステップ1902)。
ている圧縮動画像データ301の場合には、圧縮動画像
特徴量情報抽出部302は、圧縮動画像の検索を行う検
索キーとなる圧縮動画像データ301を取り込み(ステ
ップ401)、この圧縮動画像データ301から各フレ
ームのDCT(離散コサイン変換)係数を圧縮動画像特
徴量情報303として抽出する(ステップ1903)。
4は、圧縮動画像特徴量情報抽出部302またはDCT
(離散コサイン変換)演算部902で抽出された圧縮動
画像特徴量情報303の各フレームのDCT(離散コサ
イン変換)係数から物理的な圧縮動画像特徴量情報の
値、その値の平均値、その値の合計値、またはその値の
差分値を求める。そして、これらの値のうち少なくとも
1以上の値を、時間軸上に配列した並びの全部、その配
列した並びの一定間隔、またはその配列した並びの変則
間隔で抜き出し、その抜き出した値を圧縮動画像識別の
ための圧縮動画像固有識別情報305として抽出する
(ステップ1904)。
圧縮動画像固有識別情報抽出部304で抽出された圧縮
動画像固有識別情報305を蓄積する(ステップ40
4)。
圧縮動画像データ)から圧縮動画像固有識別情報308
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ1001〜404と同様の処理によっ
て行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている動画像固有識別情報305と他の動画像データ
から抽出された圧縮動画像固有識別情報308とを比較
する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された動画像
固有識別情報308に対して行う(ステップ410)。
検索方法について説明したが、M×N画素単位を、MP
EGなどの標準圧縮符号化方式の画素単位と同じ値にし
てもよい。
ば、動画像データ101に前処理を行うことにより、動
画像データ101と圧縮動画像データ301の内容に依
存した動画像識別のための圧縮動画像固有識別情報30
5を同じ処理で抽出することができる。また、この圧縮
動画像固有識別情報305を用いて、さらに高速に動画
像の中から同じ動画像を検索することができる。
の実施の形態について、図面を参照しながら説明する。
示す。なお、図20においては、図11と同一の構成の
ものには同一の符号を付している。図20において、こ
の動画像検索装置は、動画像データ101のM×N(M
及びNは自然数)画素単位でDCT(離散コサイン変
換)演算を行い、DCT(離散コサイン変換)係数を圧
縮動画像特徴量情報303として得るDCT(離散コサ
イン変換)演算部902と、動画像データ101のカッ
ト点をカット点情報502として検出するカット点検出
部501と、MPEGなどの標準動画像圧縮符号化処理
により圧縮された圧縮動画像データ301から、各フレ
ームのDCT係数を圧縮動画像の特徴量情報(圧縮動画
像特徴量情報)303として抽出する圧縮動画像特徴量
情報抽出部302と、圧縮動画像データ301のカット
点をカット点情報702として検出するカット点検出部
701と、DCT(離散コサイン変換)演算部902ま
たは圧縮動画像特徴量情報抽出部302で抽出された圧
縮動画像特徴量情報303の各フレームのDCT係数の
うち少なくとも1以上の特徴量情報を時間軸上に配列
し、その並びから圧縮動画像識別のための圧縮動画像固
有識別情報705を、カット点情報502またはカット
点情報702を用いて分割される圧縮動画像データ30
1の各ショット単位に抽出する圧縮動画像固有識別情報
抽出部703と、圧縮動画像固有識別情報抽出部703
で抽出された圧縮動画像固有識別情報705を蓄積する
圧縮動画像固有識別情報蓄積部306と、予め他の動画
像データから抽出された圧縮動画像固有識別情報708
の中から圧縮動画像固有識別情報蓄積部306に蓄積さ
れている圧縮動画像固有識別情報705と同一の情報を
検索して同定する圧縮動画像固有識別情報検索部309
と、圧縮動画像固有識別情報検索部309の検索結果を
格納する検索結果格納部110と、検索結果格納部11
0に格納されている検索結果を画面に表示したり印刷し
たりする検索結果表示部111とを備えている。
索装置について、以下にその動作を説明する。
検索装置の動作を示すフローチャートである。なお、図
21においては、図12及び図19と同一の処理ステッ
プには同一のステップ番号を付している。図20及び図
21において、まず、入力された動画像データが圧縮さ
れているかどうかを判断する(ステップ1001)。
い動画像データ101の場合には、DCT(離散コサイ
ン変換)演算部902及びカット点検出部501は、動
画像の検索を行う検索キーとなる動画像データ101を
取り込む(ステップ2101)。
は、動画像データ101の各フレームをM×N(M及び
Nは自然数)画素単位に分割し、M×N画素単位でDC
T(離散コサイン変換)演算をし、DCT(離散コサイ
ン変換)係数を圧縮動画像特徴量情報303として求め
る(ステップ1902)。また、カット点検出部501
は、動画像データ101のカット点をカット点情報50
2として検出する(ステップ602)。
02で求められたM×N画素単位のDCT(離散コサイ
ン変換)係数は、圧縮動画像特徴量情報303として、
カット点検出部501で検出されたカット点情報502
と共に、圧縮動画像固有識別情報抽出部703に送り出
される。
ている圧縮動画像データ301の場合には、圧縮動画像
特徴量情報抽出部302及びカット点検出部701は、
圧縮動画像の検索を行う検索キーとなる圧縮動画像デー
タ301を取り込む(ステップ801)。次に、圧縮動
画像特徴量情報抽出部302は、圧縮動画像データ30
1から各フレームのDCT(離散コサイン変換)係数を
圧縮動画像特徴量情報303として抽出する(ステップ
1903)。また、カット点検出部701は、圧縮動画
像データ301のカット点をカット点情報702として
検出する(ステップ802)。
3は、圧縮動画像特徴量情報303の各フレームのDC
T(離散コサイン変換)係数から物理的な圧縮動画像特
徴量情報の値、その値の平均値、その値の合計値、また
はその値の差分値を求める。そして、これらの値のうち
少なくとも1以上の値を、時間軸上に配列した並びの全
部、その配列した並びの一定間隔、またはその配列した
並びの変則間隔で抜き出し、その抜き出した値を、カッ
ト点情報502を用いて分割される動画像データ101
またはカット点情報702を用いて分割される圧縮動画
像データ301の各ショット単位に、圧縮動画像識別の
ための圧縮動画像固有識別情報705として抽出する
(ステップ2102)。
圧縮動画像固有識別情報抽出部703で抽出された圧縮
動画像固有識別情報705を蓄積する(ステップ80
4)。
圧縮動画像データ)から圧縮動画像固有識別情報708
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ1001〜804と同様の処理によっ
て行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている動画像固有識別情報705と他の動画像データ
から抽出された圧縮動画像固有識別情報708とを比較
する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された動画像
固有識別情報708に対して行う(ステップ410)。
検索方法について説明したが、M×N画素単位を、MP
EGなどの標準圧縮符号化方式の画素単位と同じ値にし
てもよい。
ば、非圧縮の動画像データ101に前処理を行うため、
動画像データ101及び圧縮動画像データ301の内容
に依存した動画像識別のための圧縮動画像固有識別情報
705を同じ処理で抽出することができる。また、動画
像識別のための圧縮動画像固有識別情報705を、カッ
ト点情報502またはカット点情報702によるショッ
トの時間概念を利用することによって、さらに少ない情
報量で抽出することができる。この圧縮動画像固有識別
情報705を用いて、さらに高速に動画像の中から同じ
動画像を検索することができる。
の実施の形態について、図面を参照しながら説明する。
示す。なお、図22においては、図13と同一の構成の
ものには同一の符号を付している。図22において、こ
の動画像検索装置は、M×N(M及びNは自然数)画素
単位の平均色(R,G,B)情報や、平均輝度・平均色
差(Y,Cb,Cr)情報などの平均画素値を圧縮動画
像特徴量情報1303として求めるブロック単位平均値
抽出部1301と、MPEGなどの標準動画像圧縮符号
化処理により圧縮された圧縮動画像データ301から、
各フレームのDCT(離散コサイン変換)係数のDC
(直流)成分を圧縮動画像の特徴量情報(圧縮動画像特
徴量情報)1303として抽出する圧縮動画像特徴量情
報抽出部1302と、ブロック単位平均値抽出部130
1または圧縮動画像特徴量情報抽出部1302で抽出さ
れた圧縮動画像特徴量情報1303の各フレームのDC
T係数のDC成分または平均画素値のうち少なくとも1
以上の特徴量情報を時間軸上に配列し、その並びから圧
縮動画像識別のための圧縮動画像固有識別情報305を
抽出する圧縮動画像固有識別情報抽出部1304と、圧
縮動画像固有識別情報抽出部1304で抽出された圧縮
動画像固有識別情報305を蓄積する圧縮動画像固有識
別情報蓄積部306と、予め他の動画像データから抽出
された圧縮動画像固有識別情報308の中から圧縮動画
像固有識別情報蓄積部306に蓄積されている圧縮動画
像固有識別情報305と同一の情報を検索して同定する
圧縮動画像固有識別情報検索部309と、圧縮動画像固
有識別情報検索部309の検索結果を格納する検索結果
格納部110と、検索結果格納部110に格納されてい
る検索結果を画面に表示したり印刷したりする検索結果
表示部111とを備えている。
索装置について、以下にその動作を説明する。
検索装置の動作を示すフローチャートである。なお、図
23においては、図15と同一の処理ステップには同一
のステップ番号を付している。図22乃び図23におい
て、まず、入力された動画像データが圧縮されているか
どうかを判断する(ステップ1001)。
い動画像データ101の場合には、ブロック単位平均値
抽出部1301は、動画像の検索を行う検索キーとなる
動画像データ101を取り込む(ステップ2301)。
画像データ101の各フレームをM×N(M及びNは自
然数)画素単位に分割し、M×N画素単位の平均画素値
を圧縮動画像特徴量情報1303として求める(ステッ
プ1502)。
ている圧縮動画像データ301の場合には、圧縮動画像
特徴量情報抽出部1302は、圧縮動画像の検索を行う
検索キーとなる圧縮動画像データ301を取り込む(ス
テップ401)。次に、圧縮動画像特徴量情報抽出部1
302は、圧縮動画像データ301から各フレームのD
CT(離散コサイン変換)係数のDC(直流)成分を圧
縮動画像特徴量情報1303として抽出する(ステップ
1503)。
04は、圧縮動画像特徴量情報1303の各フレームの
DCT(離散コサイン変換)係数のDC(直流)成分か
らの物理的な圧縮動画像特徴量情報または平均画素値の
値、その値の平均値、その値の合計値、またはその値の
差分値を求める。そして、これらの値のうち少なくとも
1以上の値を、時間軸上に配列した並びの全部、その配
列した並びの一定間隔、またはその配列した並びの変則
間隔で抜き出し、その抜き出した値を圧縮動画像識別の
ための圧縮動画像固有識別情報305として抽出する
(ステップ1504)。
圧縮動画像固有識別情報抽出部1304で抽出された圧
縮動画像固有識別情報305を蓄積する(ステップ40
4)。
圧縮動画像データ)から圧縮動画像固有識別情報308
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ1001〜404と同様の処理によっ
て行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている動画像固有識別情報305と他の動画像データ
から抽出された圧縮動画像固有識別情報308とを比較
する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された動画像
固有識別情報308に対して行う(ステップ410)。
検索方法について説明したが、上述した圧縮動画像固有
識別情報抽出部1304において、圧縮動画像特徴量情
報1303の各フレームのDCT(離散コサイン変換)
係数のDC(直流)成分からの物理的な圧縮動画像特徴
量情報または平均画素値の値、その値の平均値、その値
の合計値、またはその値の差分値を、圧縮動画像特徴量
情報1303の各フレームのDCT(離散コサイン変
換)係数のDC(直流)成分からの物理的な圧縮動画像
特徴量情報または平均画素値の中の一部分または複数部
分を利用して求めてもよい。
04において、圧縮動画像特徴量情報1303の各フレ
ームのDCT(離散コサイン変換)係数のDC(直流)
成分からの物理的な圧縮動画像特徴量情報または平均画
素値に対して重み付けを行い、その重み付けられた圧縮
動画像特徴量情報または平均画素値によって上述の値を
求めてもよい。
04において、上述した物理的な圧縮動画像特徴量情報
または平均画素値の値などを量子化して適用してもよ
い。
標準圧縮符号化方式の画素単位と同じ値にしてもよい。
ば、動画像に簡単な前処理を行うことにより、動画像デ
ータ101や圧縮動画像データ301の内容に依存した
動画像識別のための圧縮動画像固有識別情報305を、
さらに少ない情報量で、かつ動画像データ101と圧縮
動画像データ301とを同じ処理で抽出することができ
る。また、この圧縮動画像固有識別情報305を用い
て、さらに高速に動画像の中から同じ動画像を検索する
ことができる。
の実施の形態について、図面を参照しながら説明する。
示す。なお、図24においては、図16と同一の構成の
ものには同一の符号を付している。図24において、こ
の動画像検索装置は、動画像データ101のM×N(M
及びNは自然数)画素単位の平均色(R,G,B)情報
や、平均輝度・平均色差(Y,Cb,Cr)情報などの
平均画素値を圧縮動画像特徴量情報1303として求め
るブロック単位平均値抽出部1301と、動画像データ
101のカット点をカット点情報502として検出する
カット点検出部501と、MPEGなどの標準動画像圧
縮符号化処理により圧縮された圧縮動画像データ301
から、各フレームのDCT(離散コサイン変換)係数の
DC(直流)成分を圧縮動画像の特徴量情報(圧縮動画
像特徴量情報)1303として抽出する圧縮動画像特徴
量情報抽出部1302と、圧縮動画像データ301のカ
ット点をカット点情報702として検出するカット点検
出部701と、ブロック単位平均値抽出部1301また
は圧縮動画像特徴量情報抽出部1302で抽出された圧
縮動画像特徴量情報1303の各フレームのDCT係数
のDC成分または平均画素値のうち少なくとも1以上の
特徴量情報を時間軸上に配列し、その並びから圧縮動画
像識別のための圧縮動画像固有識別情報705を、カッ
ト点情報502を用いて分割される動画像データ101
の各ショット単位またはカット点情報702を用いて分
割される圧縮動画像データ301の各ショット単位に抽
出する圧縮動画像固有識別情報抽出部1603と、圧縮
動画像固有識別情報抽出部1603で抽出された圧縮動
画像固有識別情報705を蓄積する圧縮動画像固有識別
情報蓄積部306と、予め他の動画像データから抽出さ
れた圧縮動画像固有識別情報708の中から圧縮動画像
固有識別情報蓄積部306に蓄積されている圧縮動画像
固有識別情報705と同一の情報を検索して同定する圧
縮動画像固有識別情報検索部309と、圧縮動画像固有
識別情報検索部309の検索結果を格納する検索結果格
納部110と、検索結果格納部110に格納されている
検索結果を画面に表示したり印刷したりする検索結果表
示部111とを備えている。
索装置について、以下にその動作を説明する。
検索装置の動作を示すフローチャートである。なお、図
25においては、図17と同一の処理ステップには同一
のステップ番号を付している。図24及び図25におい
て、まず、入力された動画像データが圧縮されているか
どうかを判断する(ステップ1001)。
い動画像データ101の場合には、ブロック単位平均値
抽出部1301及びカット点検出部501は、動画像の
検索を行う検索キーとなる動画像データ101を取り込
む(ステップ2501)。
画像データ101の各フレームをM×N(M及びNは自
然数)画素単位に分割し、M×N画素単位の平均画素値
を求める(ステップ1502)。また、カット点検出部
501は、動画像データ101のカット点をカット点情
報502として検出する(ステップ602)。
ている圧縮動画像データ301の場合には、圧縮動画像
特徴量情報抽出部1302及びカット点検出部701
は、圧縮動画像の検索を行う検索キーとなる圧縮動画像
データ301を取り込む(ステップ801)。次に、圧
縮動画像特徴量情報抽出部1302は、圧縮動画像デー
タ301から各フレームのDCT(離散コサイン変換)
係数のDC(直流)成分を圧縮動画像特徴量情報130
3として抽出する(ステップ1503)。また、カット
点検出部701は、圧縮動画像データ301のカット点
をカット点情報702として検出する(ステップ80
2)。
03は、圧縮動画像特徴量情報1303の各フレームの
DCT(離散コサイン変換)係数のDC(直流)成分か
らの物理的な圧縮動画像特徴量情報または平均画素値の
値、その値の平均値、その値の合計値、またはその値の
差分値を求める。そして、これらの値のうち少なくとも
1以上の値を、時間軸上に配列した並びの全部、その配
列した並びの一定間隔、またはその配列した並びの変則
間隔で抜き出し、その抜き出した値を圧縮動画像識別の
ための圧縮動画像固有識別情報705として、カット点
情報502を用いて分割される動画像データ101の各
ショット単位またはカット点情報702を用いて分割さ
れる圧縮動画像データ301の各ショット単位に抽出す
る(ステップ1702)。
圧縮動画像固有識別情報抽出部1603で抽出された圧
縮動画像固有識別情報705を蓄積する(ステップ80
4)。
圧縮動画像データ)から圧縮動画像固有識別情報708
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ1001〜804と同様の処理によっ
て行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている動画像固有識別情報705と他の動画像データ
から抽出された圧縮動画像固有識別情報708とを比較
する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された動画像
固有識別情報708に対して行う(ステップ410)。
検索方法について説明したが、M×N画素単位を、MP
EGなどの標準圧縮符号化方式の画素単位と同じ値にし
てもよい。
ば、カット点情報によるショットの時間概念を利用し、
また、動画像に簡単な前処理を行うことで動画像データ
101及び圧縮動画像データ301の内容に依存した動
画像識別のための圧縮動画像固有識別情報1303を、
少ない情報量で、かつ動画像データと圧縮動画像データ
において同じ処理で抽出することができる。また、この
圧縮動画像固有識別情報1303を用いて、さらに高速
に動画像の中から同じ動画像を検索することができる。
の実施の形態について、図面を参照しながら説明する。
示す。なお、図26においては、図1及び図3と同一の
構成のものには同一の符号を付している。図26に示し
た動画像検索装置は、動画像データ101から、各フレ
ームの輝度・色差(Y,Cb,Cr)情報や色(R,
G,B)情報などの物理的な画像特徴量情報を動画像特
徴量情報103として抽出する動画像特徴量情報抽出部
102と、各フレームの輝度・色差(Y,Cb,Cr)
情報や色(R,G,B)情報などの物理的な動画像特徴
量情報103のうち少なくとも1以上の画像特徴量情報
103を時間軸上に配列し、その並びから動画像識別の
ための動画像固有識別情報105を抽出する動画像固有
識別情報抽出部104と、動画像固有識別情報抽出部1
04で抽出された動画像固有識別情報105を蓄積する
動画像固有識別情報蓄積部106と、予め他の動画像デ
ータから抽出された動画像固有識別情報108の中から
動画像固有識別情報蓄積部106に蓄積されている動画
像固有識別情報105と同一の情報を検索して同定する
動画像固有識別情報検索部109と、MPEGなどの標
準動画像圧縮符号化処理により圧縮された圧縮動画像デ
ータ301から、各フレームのDCT係数及び動き補償
情報を圧縮動画像の特徴量情報(圧縮動画像特徴量情
報)303として抽出する圧縮動画像特徴量情報抽出部
302と、圧縮動画像特徴量情報抽出部302で抽出さ
れた圧縮動画像特徴量情報303の各フレームのDCT
係数及び動き補償情報のうち少なくとも1以上の特徴量
情報を時間軸上に配列し、その並びから圧縮動画像識別
のための圧縮動画像固有識別情報305を抽出する圧縮
動画像固有識別情報抽出部304と、圧縮動画像固有識
別情報抽出部304で抽出された圧縮動画像固有識別情
報305を蓄積する圧縮動画像固有識別情報蓄積部30
6と、予め他の動画像データから抽出された圧縮動画像
固有識別情報308の中から圧縮動画像固有識別情報蓄
積部306に蓄積されている圧縮動画像固有識別情報3
05と同一の情報を検索して同定する圧縮動画像固有識
別情報検索部309と、動画像固有識別情報検索部10
9及び圧縮動画像固有識別情報検索部309の検索結果
を格納する検索結果格納部110と、検索結果格納部1
10に格納されている検索結果を画面に表示したり印刷
したりする検索結果表示部111と、入力されるディジ
タル動画像データ2601が非圧縮の動画像データ10
1か圧縮動画像データ301かを判定し、非圧縮の動画
像データ101を動画像特徴量情報抽出部102に出力
し、圧縮動画像データ301を圧縮動画像特徴量情報抽
出部302に出力する圧縮・非圧縮判定部2602を備
えている。
検索装置の動作を示すフローチャートである。なお、図
27においては、図2及び図4と同一の処理ステップに
は同一のステップ番号を付している。
部2602は、ディジタル動画像データ2601を取得
する(ステップ2701)。次に、圧縮・非圧縮判定部
2602は、取得したディジタル動画像データ2601
が非圧縮の動画像データ101か圧縮動画像データ30
1かを判定する(ステップ2702)。
の動画像データ101の場合には、この動画像データ1
01から各フレームの輝度・色差(Y,Cb,Cr)情
報や色(R,G,B)情報等を物理的な動画像特徴量情
報103として抽出する(ステップ202)。
は、動画像特徴量情報103に基づいて、各フレームの
輝度・色差(Y,Cb,Cr)情報や色(R,G,B)
情報などの物理的な動画像特徴量情報の値、その値の平
均値、その値の合計値、またはその値の差分値のうち少
なくとも1以上の値を、時間軸上に配列した並びの全
部、その配列した並びの一定間隔、またはその配列した
並びの変則間隔で抜き出し、その抜き出した値を動画像
識別のための動画像固有識別情報105として抽出する
(ステップ203)。
像固有識別情報抽出部104で抽出された動画像固有識
別情報105を蓄積する(ステップ204)。
像データ)から動画像固有識別情報108を抽出してお
く(ステップ205)。この抽出処理は、上述したステ
ップ201〜204(図2)と同様の処理によって行う
ことができる。
は、動画像固有識別情報蓄積部106に蓄積されている
動画像固有識別情報105と他の動画像データから抽出
された動画像固有識別情報108とを比較する(ステッ
プ206)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された動画像
固有識別情報108に対して行う(ステップ210)。
圧縮動画像データ301の場合には、この圧縮動画像デ
ータ301から各フレームのDCT(離散コサイン変
換)係数および動き補償情報で構成される圧縮動画像特
徴量情報303を抽出する(ステップ402)。
4は、圧縮動画像特徴量情報303の各フレームのDC
T(離散コサイン変換)係数から物理的な圧縮動画像特
徴量情報の値、その値の平均値、その値の合計値、また
はその値の差分値を求める。また、動き補償情報から
は、動きベクトル、前後フレーム間の平均動きベクト
ル、合計動きベクトル、差分ベクトル、またはフレーム
全体としての動きベクトルなどを求める。そして、これ
らの値のうち少なくとも1以上の値を、時間軸上に配列
した並びの全部、その配列した並びの一定間隔、または
その配列した並びの変則間隔で抜き出し、その抜き出し
た値を圧縮動画像識別のための圧縮動画像固有識別情報
305として抽出する(ステップ403)。
圧縮動画像固有識別情報抽出部304で抽出された圧縮
動画像固有識別情報305を蓄積する(ステップ40
4)。
圧縮動画像データ)から圧縮動画像固有識別情報308
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ401〜404(図4)と同様の処理
によって行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている圧縮動画像固有識別情報305と他の動画像デ
ータから抽出された圧縮動画像固有識別情報308とを
比較する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された圧縮動
画像固有識別情報308に対して行う(ステップ41
0)。
ば、入力されるディジタル動画像データ2601が非圧
縮の動画像データ101か圧縮動画像データ301かを
自動的に判定できるため、検索する画像データの形式
(圧縮/非圧縮)によらず、より高速に動画像の中から
同じ動画像を検索することができる。
の実施の形態について、図面を参照しながら説明する。
示す。なお、図28においては、図5及び図7と同一の
構成のものには同一の符号を付している。図28に示し
た動画像検索装置は、動画像データ101から、各フレ
ームの輝度・色差(Y,Cb,Cr)情報や色(R,
G,B)情報などの物理的な動画像特徴量情報を動画像
特徴量情報103として抽出する動画像特徴量情報抽出
部102と、動画像データ101のカット点をカット点
情報502として検出するカット点検出部501と、動
画像特徴量情報103の各フレームの輝度・色差(Y,
Cb,Cr)情報や色(R,G,B)情報などの物理的
な画像特徴量情報103のうち少なくとも1以上の動画
像特徴量情報103を時間軸上に配列し、その並びから
動画像識別のための動画像固有識別情報505を、カッ
ト点情報502を用いて分割される動画像データ101
の各ショット単位に抽出する動画像固有識別情報抽出部
503と、動画像固有識別情報抽出部503で抽出され
た動画像固有識別情報505を蓄積する動画像固有識別
情報蓄積部106と、予め他の動画像データから抽出さ
れた動画像固有識別情報508の中から動画像固有識別
情報蓄積部106に蓄積されている動画像固有識別情報
505と同一の情報を検索して同定する動画像固有識別
情報検索部109と、MPEGなどの標準動画像圧縮符
号化処理により圧縮された圧縮動画像データ301か
ら、各フレームのDCT係数及び動き補償情報を圧縮動
画像の特徴量情報(圧縮動画像特徴量情報)303とし
て抽出する圧縮動画像特徴量情報抽出部302と、圧縮
動画像データ301のカット点をカット点情報702と
して検出するカット点検出部701と、圧縮動画像特徴
量情報抽出部302で抽出された圧縮動画像特徴量情報
303の各フレームのDCT係数及び動き補償情報のう
ち少なくとも1以上の特徴量情報を時間軸上に配列し、
その並びから圧縮動画像識別のための圧縮動画像固有識
別情報705を、カット点情報702を用いて分割され
る圧縮動画像データ301の各ショット単位に抽出する
圧縮動画像固有識別情報抽出部703と、圧縮動画像固
有識別情報抽出部703で抽出された圧縮動画像固有識
別情報705を蓄積する圧縮動画像固有識別情報蓄積部
306と、予め他の動画像データから抽出された圧縮動
画像固有識別情報708の中から圧縮動画像固有識別情
報蓄積部306に蓄積されている圧縮動画像固有識別情
報705と同一の情報を検索して同定する圧縮動画像固
有識別情報検索部309と、動画像固有識別情報検索部
109及び圧縮動画像固有識別情報検索部309の検索
結果を格納する検索結果格納部110と、検索結果格納
部110に格納されている検索結果を画面に表示したり
印刷したりする検索結果表示部111と、入力されるデ
ィジタル動画像データ2601が非圧縮の動画像データ
101か圧縮動画像データ301かを判定し、非圧縮の
動画像データ101を動画像特徴量情報抽出部102と
カット点検出部501に出力し、圧縮動画像データ30
1を圧縮動画像特徴量情報抽出部302とカット点検出
部701に出力する圧縮・非圧縮判定部2602を備え
ている。
検索装置の動作を示すフローチャートである。なお、図
29においては、図6及び図8と同一の処理ステップに
は同一のステップ番号を付している。
部2602は、ディジタル動画像データ2601を取得
する(ステップ2701)。次に、圧縮・非圧縮判定部
2602は、取得したディジタル動画像データ2601
が非圧縮の動画像データ101か圧縮動画像データ30
1かを判定する(ステップ2702)。
の動画像データ101の場合には、動画像特徴量情報抽
出部102は、この動画像データ101から各フレーム
の輝度・色差(Y,Cb,Cr)情報や色(R,G,
B)情報等などの物理的な動画像特徴量情報103を抽
出する(ステップ202)。
ータ101のカット点をカット点情報502として検出
する(ステップ602)。ここで、動画像データ101
のカット点とは、撮影されている動画像データ101の
場面が変化する点、または、動画像データ101を撮影
しているカメラが切換わった点をいう。
は、動画像特徴量情報103に基づいて、各フレームの
輝度・色差(Y,Cb,Cr)情報や色(R,G,B)
情報などの物理的な動画像特徴量情報の値、その値の平
均値、その値の合計値、またはその値の差分値のうち少
なくとも1以上の値を、時間軸上に配列した並びの全
部、その配列した並びの一定間隔、またはその配列した
並びの変則間隔で抜き出し、その抜き出した値を、カッ
ト点情報502を用いて分割される動画像データ101
の各ショット単位に動画像識別のための動画像固有識別
情報505として抽出する(ステップ603)。
像固有識別情報抽出部503で抽出された動画像固有識
別情報505を蓄積する(ステップ604)。
像データ)から動画像固有識別情報508を抽出してお
く(ステップ205)。この抽出処理は、上述したステ
ップ601〜604(図6)と同様の処理によって行う
ことができる。
は、動画像固有識別情報蓄積部106に蓄積されている
動画像固有識別情報505と他の動画像データから抽出
された動画像固有識別情報508とを比較する(ステッ
プ206)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された動画像
固有識別情報508に対して行う(ステップ210)。
圧縮動画像データ301の場合には、圧縮動画像特徴量
情報抽出部302は、圧縮動画像データ301から各フ
レームのDCT(離散コサイン変換)係数および動き補
償情報で構成される圧縮動画像特徴量情報303を抽出
する(ステップ402)。また、カット点検出部701
は、圧縮動画像データ301のカット点をカット点情報
702として検出する(ステップ802)。
3は、圧縮動画像特徴量情報303の各フレームのDC
T(離散コサイン変換)係数から物理的な圧縮動画像特
徴量情報の値、その値の平均値、その値の合計値、また
はその値の差分値を求める。また、動き補償情報から
は、動きベクトル、前後フレーム間の平均動きベクト
ル、合計動きベクトル、差分ベクトル、またはフレーム
全体としての動きベクトルなどのを求める。そして、こ
れらの値のうち少なくとも1以上の値を、時間軸上に配
列した並びの全部、その配列した並びの一定間隔、また
はその配列した並びの変則間隔で抜き出し、その抜き出
した値を、カット点情報702を用いて分割される圧縮
動画像データ301の各ショット単位に、圧縮動画像識
別のための圧縮動画像固有識別情報705として抽出す
る(ステップ803)。
圧縮動画像固有識別情報抽出部703で抽出された圧縮
動画像固有識別情報705を蓄積する(ステップ80
4)。
圧縮動画像データ)から圧縮動画像固有識別情報708
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ801〜804(図8)と同様の処理
によって行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている圧縮動画像固有識別情報705と他の動画像デ
ータから抽出された圧縮動画像固有識別情報708とを
比較する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された圧縮動
画像固有識別情報708に対して行う(ステップ41
0)。
ば、入力されるディジタル動画像データ2601が非圧
縮の動画像データ101か圧縮動画像データ301かを
自動的に判定できるため、検索する画像データの形式
(圧縮/非圧縮)によらず、より高速に動画像の中から
同じ動画像を検索することができる。
の実施の形態について、図面を参照しながら説明する。
示す。なお、図30においては、図9と同一の構成のも
のには同一の符号を付している。図30に示した動画像
検索装置は、動画像データ101のM×N(M及びNは
自然数)画素単位の動き補償情報を求める動き補償情報
抽出部901と、動画像データ101のM’×N’
(M’及びN’は自然数)画素単位でDCT(離散コサ
イン変換)演算を行い、DCT(離散コサイン変換)係
数を得るDCT(離散コサイン変換)演算部902と、
MPEGなどの標準動画像圧縮符号化処理により圧縮さ
れた圧縮動画像データ301から、各フレームのDCT
係数及び動き補償情報を圧縮動画像の特徴量情報(圧縮
動画像特徴量情報)303として抽出する圧縮動画像特
徴量情報抽出部302と、圧縮動画像特徴量情報抽出部
302または動き補償情報抽出部901及びDCT(離
散コサイン変換)演算部902で抽出された圧縮動画像
特徴量情報303の各フレームのDCT係数及び動き補
償情報のうち少なくとも1以上の特徴量情報を時間軸上
に配列し、その並びから圧縮動画像識別のための圧縮動
画像固有識別情報305を抽出する圧縮動画像固有識別
情報抽出部304と、圧縮動画像固有識別情報抽出部3
04で抽出された圧縮動画像固有識別情報305を蓄積
する圧縮動画像固有識別情報蓄積部306と、予め他の
動画像データから抽出された圧縮動画像固有識別情報3
08の中から圧縮動画像固有識別情報蓄積部306に蓄
積されている圧縮動画像固有識別情報305と同一の情
報を検索して同定する圧縮動画像固有識別情報検索部3
09と、圧縮動画像固有識別情報検索部309の検索結
果を格納する検索結果格納部110と、検索結果格納部
110に格納されている検索結果を画面に表示したり印
刷したりする検索結果表示部111と、入力されるディ
ジタル動画像データ2601が非圧縮の動画像データ1
01か圧縮動画像データ301かを判定し、非圧縮の動
画像データ101を動き補償情報抽出部901とDCT
(離散コサイン変換)演算部902に出力し、圧縮動画
像データ301を圧縮動画像特徴量情報抽出部302に
出力する圧縮・非圧縮判定部2602を備えている。
検索装置の動作を示すフローチャートである。なお、図
31においては、図10と同一の処理ステップには同一
のステップ番号を付している。
部2602は、ディジタル動画像データ2601を取得
する(ステップ2701)。次に、圧縮・非圧縮判定部
2602は、取得したディジタル動画像データ2601
が非圧縮の動画像データ101か圧縮動画像データ30
1かを判定する(ステップ2702)。
の動画像データ101の場合には、動画像データ101
を動き補償情報抽出部901とDCT(離散コサイン変
換)演算部902に出力する。動き補償情報抽出部90
1は、動画像の検索を行う検索キーとなる動画像データ
101の各フレームをM×N(M及びNは自然数)画素
単位に分割し、M×N画素単位で動き補償情報を求める
(ステップ1003)。また、DCT(離散コサイン変
換)演算部902は、動画像データ101の各フレーム
をM’×N’(M’及びN’は自然数)画素単位に分割
し、M’×N’画素単位でDCT(離散コサイン変換)
演算をし、DCT(離散コサイン変換)係数を求める
(ステップ1004)。
圧縮動画像データ301の場合には、圧縮動画像データ
301を圧縮動画像特徴量情報抽出部302に出力す
る。圧縮動画像特徴量情報抽出部302は、この圧縮動
画像データ301から各フレームのDCT(離散コサイ
ン変換)係数および動き補償情報で構成される圧縮動画
像特徴量情報303を抽出する(ステップ402)。
4は、圧縮動画像特徴量情報抽出部302または動き補
償情報抽出部901及びDCT(離散コサイン変換)演
算部902で抽出された圧縮動画像特徴量情報303の
各フレームのDCT(離散コサイン変換)係数から物理
的な圧縮動画像特徴量情報の値、その値の平均値、その
値の合計値、またはその値の差分値を求める。また、動
き補償情報からは、動きベクトル、前後フレーム間の平
均動きベクトル、合計動きベクトル、差分ベクトル、ま
たはフレーム全体としての動きベクトルなどを求める。
そして、これらの値のうち少なくとも1以上の値を、時
間軸上に配列した並びの全部、その配列した並びの一定
間隔、またはその配列した並びの変則間隔で抜き出し、
その抜き出した値を圧縮動画像識別のための圧縮動画像
固有識別情報305として抽出する(ステップ40
3)。
圧縮動画像固有識別情報抽出部304で抽出された圧縮
動画像固有識別情報305を蓄積する(ステップ40
4)。
圧縮動画像データ)から圧縮動画像固有識別情報308
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ1001〜404(図10)と同様の
処理によって行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている圧縮動画像固有識別情報305と他の動画像デ
ータから抽出された圧縮動画像固有識別情報308とを
比較する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された圧縮動
画像固有識別情報308に対して行う(ステップ41
0)。
ば、入力されるディジタル動画像データ2601が非圧
縮の動画像データ101か圧縮動画像データ301かを
自動的に判定できるため、検索する画像データの形式
(圧縮/非圧縮)によらず、より高速に動画像の中から
同じ動画像を検索することができる。
の実施の形態について、図面を参照しながら説明する。
示す。なお、図32においては、図11と同一の構成の
ものには同一の符号を付している。図32に示した動画
像検索装置は、動画像データ101のM×N(M及びN
は自然数)画素単位の動き補償情報を求める動き補償情
報抽出部901と、動画像データ101のM’×N’
(M’及びN’は自然数)画素単位でDCT(離散コサ
イン変換)演算を行い、DCT(離散コサイン変換)係
数を得るDCT(離散コサイン変換)演算部902と、
動画像データ101のカット点をカット点情報502と
して検出するカット点検出部501と、MPEGなどの
標準動画像圧縮符号化処理により圧縮された圧縮動画像
データ301から、各フレームのDCT係数及び動き補
償情報を圧縮動画像の特徴量情報(圧縮動画像特徴量情
報)303として抽出する圧縮動画像特徴量情報抽出部
302と、圧縮動画像データ301のカット点をカット
点情報702として検出するカット点検出部701と、
動き補償情報抽出部901及びDCT(離散コサイン変
換)演算部902または圧縮動画像特徴量情報抽出部3
02で抽出された圧縮動画像特徴量情報303の各フレ
ームのDCT係数及び動き補償情報のうち少なくとも1
以上の特徴量情報を時間軸上に配列し、その並びから圧
縮動画像識別のための圧縮動画像固有識別情報705
を、カット点情報502またはカット点情報702を用
いて分割される圧縮動画像データ301の各ショット単
位に抽出する圧縮動画像固有識別情報抽出部703と、
圧縮動画像固有識別情報抽出部703で抽出された圧縮
動画像固有識別情報705を蓄積する圧縮動画像固有識
別情報蓄積部306と、予め他の動画像データから抽出
された圧縮動画像固有識別情報708の中から圧縮動画
像固有識別情報蓄積部306に蓄積されている圧縮動画
像固有識別情報705と同一の情報を検索して同定する
圧縮動画像固有識別情報検索部309と、圧縮動画像固
有識別情報検索部309の検索結果を格納する検索結果
格納部110と、検索結果格納部110に格納されてい
る検索結果を画面に表示したり印刷したりする検索結果
表示部111と、入力されるディジタル動画像データ2
601が非圧縮の動画像データ101か圧縮動画像デー
タ301かを判定し、非圧縮の動画像データ101を動
き補償情報抽出部901、DCT(離散コサイン変換)
演算部902、及びカット点検出部501に出力し、圧
縮動画像データ301を圧縮動画像特徴量情報抽出部3
02及びカット点検出部701に出力する圧縮・非圧縮
判定部2602を備えている。
検索装置の動作を示すフローチャートである。なお、図
33においては、図12と同一の処理ステップには同一
のステップ番号を付している。
部2602は、ディジタル動画像データ2601を取得
する(ステップ2701)。次に、圧縮・非圧縮判定部
2602は、取得したディジタル動画像データ2601
が非圧縮の動画像データ101か圧縮動画像データ30
1かを判定する(ステップ2702)。
の動画像データ101の場合には、動画像データ101
を動き補償情報抽出部901、DCT(離散コサイン変
換)演算部902、及びカット点検出部501に出力す
る。動き補償情報抽出部901は、動画像の検索を行う
検索キーとなる動画像データ101の各フレームをM×
N(M及びNは自然数)画素単位に分割し、M×N画素
単位で動き補償情報を求める(ステップ1003)。ま
た、DCT(離散コサイン変換)演算部902は、動画
像データ101の各フレームをM’×N’(M’及び
N’は自然数)画素単位に分割し、M’×N’画素単位
でDCT(離散コサイン変換)演算をし、DCT(離散
コサイン変換)係数を求める(ステップ1004)。
ータ101のカット点をカット点情報502として検出
する(ステップ602)。
圧縮動画像データ301の場合には、圧縮動画像データ
301を圧縮動画像特徴量情報抽出部302及びカット
点検出部701に出力する。圧縮動画像特徴量情報抽出
部302は、圧縮動画像データ301から各フレームの
DCT(離散コサイン変換)係数および動き補償情報で
構成される圧縮動画像特徴量情報303を抽出する(ス
テップ402)。また、カット点検出部701は、圧縮
動画像データ301のカット点をカット点情報702と
して検出する(ステップ802)。
3は、圧縮動画像特徴量情報303の各フレームのDC
T(離散コサイン変換)係数から物理的な圧縮動画像特
徴量情報の値、その値の平均値、その値の合計値、また
はその値の差分値を求める。また、動き補償情報から
は、動きベクトル、前後フレーム間の平均動きベクト
ル、合計動きベクトル、差分ベクトル、またはフレーム
全体としての動きベクトルなどのを求める。そして、こ
れらの値のうち少なくとも1以上の値を、時間軸上に配
列した並びの全部、その配列した並びの一定間隔、また
はその配列した並びの変則間隔で抜き出し、その抜き出
した値を、カット点情報502を用いて分割される動画
像データ101またはカット点情報702を用いて分割
される圧縮動画像データ301の各ショット単位に、圧
縮動画像識別のための圧縮動画像固有識別情報705と
して抽出する(ステップ803)。
圧縮動画像固有識別情報抽出部703で抽出された圧縮
動画像固有識別情報705を蓄積する(ステップ80
4)。
圧縮動画像データ)から圧縮動画像固有識別情報708
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ1001〜804(図12)と同様の
処理によって行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている圧縮動画像固有識別情報705と他の動画像デ
ータから抽出された圧縮動画像固有識別情報708とを
比較する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された圧縮動
画像固有識別情報708に対して行う(ステップ41
0)。
ば、入力されるディジタル動画像データ2601が非圧
縮の動画像データ101か圧縮動画像データ301かを
自動的に判定できるため、検索する画像データの形式
(圧縮/非圧縮)によらず、より高速に動画像の中から
同じ動画像を検索することができる。
の実施の形態について、図面を参照しながら説明する。
示す。なお、図34においては、図13と同一の構成の
ものには同一の符号を付している。図34に示した動画
像検索装置は、動画像データ101のM×N(M及びN
は自然数)画素単位の動き補償情報を求める動き補償情
報抽出部901と、M’×N’(M’及びN’は自然
数)画素単位の平均色(R,G,B)情報や、平均輝度
・平均色差(Y,Cb,Cr)情報などの平均画素値を
求めるブロック単位平均値抽出部1301と、MPEG
などの標準動画像圧縮符号化処理により圧縮された圧縮
動画像データ301から、各フレームのDCT(離散コ
サイン変換)係数のDC(直流)成分及び動き補償情報
を圧縮動画像の特徴量情報(圧縮動画像特徴量情報)1
303として抽出する圧縮動画像特徴量情報抽出部13
02と、動き補償情報抽出部901及びブロック単位平
均値抽出部1301または圧縮動画像特徴量情報抽出部
1302で抽出された圧縮動画像特徴量情報1303の
各フレームのDCT係数のDC成分または平均画素値及
びそれらの動き補償情報のうち少なくとも1以上の特徴
量情報を時間軸上に配列し、その並びから圧縮動画像識
別のための圧縮動画像固有識別情報305を抽出する圧
縮動画像固有識別情報抽出部1304と、圧縮動画像固
有識別情報抽出部1304で抽出された圧縮動画像固有
識別情報305を蓄積する圧縮動画像固有識別情報蓄積
部306と、予め他の動画像データから抽出された圧縮
動画像固有識別情報308の中から圧縮動画像固有識別
情報蓄積部306に蓄積されている圧縮動画像固有識別
情報305と同一の情報を検索して同定する圧縮動画像
固有識別情報検索部309と、圧縮動画像固有識別情報
検索部309の検索結果を格納する検索結果格納部11
0と、検索結果格納部110に格納されている検索結果
を画面に表示したり印刷したりする検索結果表示部11
1と、入力されるディジタル動画像データ2601が非
圧縮の動画像データ101か圧縮動画像データ301か
を判定し、非圧縮の動画像データ101を動き補償情報
抽出部901とブロック単位平均値抽出部1301に出
力し、圧縮動画像データ301を圧縮動画像特徴量情報
抽出部1302に出力する圧縮・非圧縮判定部2602
を備えている。
検索装置の動作を示すフローチャートである。なお、図
35においては、図15と同一の処理ステップには同一
のステップ番号を付している。
部2602は、ディジタル動画像データ2601を取得
する(ステップ2701)。次に、圧縮・非圧縮判定部
2602は、取得したディジタル動画像データ2601
が非圧縮の動画像データ101か圧縮動画像データ30
1かを判定する(ステップ2702)。
の動画像データ101の場合には、動画像データ101
を動き補償情報抽出部901とブロック単位平均値抽出
部1301に出力する。動き補償情報抽出部901は、
動画像の検索を行う検索キーとなる動画像データ101
の各フレームをM×N(M及びNは自然数)画素単位に
分割し、M×N画素単位で動き補償情報を求める(ステ
ップ1003)。また、ブロック単位平均値抽出部13
01は、動画像データ101の各フレームをM’×N’
(M’及びN’は自然数)画素単位に分割し、M’×
N’画素単位の平均画素値を求める(ステップ150
2)。
圧縮動画像データ301の場合には、圧縮動画像データ
301を圧縮動画像特徴量情報抽出部1302に出力す
る。圧縮動画像特徴量情報抽出部1302は、圧縮動画
像データ301から各フレームのDCT(離散コサイン
変換)係数のDC(直流)成分および動き補償情報で構
成される圧縮動画像特徴量情報1303を抽出する(ス
テップ1503)。
04は、圧縮動画像特徴量情報1303の各フレームの
DCT(離散コサイン変換)係数のDC(直流)成分か
らの物理的な圧縮動画像特徴量情報または平均画素値の
値、その値の平均値、その値の合計値、またはその値の
差分値を求める。また、動き補償情報からは、動きベク
トル、前後フレーム間の平均動きベクトル、合計動きベ
クトル、差分ベクトル、またはフレーム全体としての動
きベクトルなどを求める。そして、これらの値のうち少
なくとも1以上の値を、時間軸上に配列した並びの全
部、その配列した並びの一定間隔、またはその配列した
並びの変則間隔で抜き出し、その抜き出した値を圧縮動
画像識別のための圧縮動画像固有識別情報305として
抽出する(ステップ1504)。
圧縮動画像固有識別情報抽出部1304で抽出された圧
縮動画像固有識別情報305を蓄積する(ステップ40
4)。
圧縮動画像データ)から圧縮動画像固有識別情報308
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ1001〜404(図15)と同様の
処理によって行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている圧縮動画像固有識別情報305と他の動画像デ
ータから抽出された圧縮動画像固有識別情報308とを
比較する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された圧縮動
画像固有識別情報308に対して行う(ステップ41
0)。
ば、入力されるディジタル動画像データ2601が非圧
縮の動画像データ101か圧縮動画像データ301かを
自動的に判定できるため、検索する画像データの形式
(圧縮/非圧縮)によらず、より高速に動画像の中から
同じ動画像を検索することができる。
の実施の形態について、図面を参照しながら説明する。
示す。なお、図36においては、図16と同一の構成の
ものには同一の符号を付している。図36に示した動画
像検索装置は、動画像データ101のM×N(M及びN
は自然数)画素単位の動き補償情報を求める動き補償情
報抽出部901と、M’×N’(M’及びN’は自然
数)画素単位の平均色(R,G,B)情報や、平均輝度
・平均色差(Y,Cb,Cr)情報などの平均画素値を
求めるブロック単位平均値抽出部1301と、動画像デ
ータ101のカット点をカット点情報502として検出
するカット点検出部501と、MPEGなどの標準動画
像圧縮符号化処理により圧縮された圧縮動画像データ3
01から、各フレームのDCT(離散コサイン変換)係
数のDC(直流)成分及び動き補償情報を圧縮動画像の
特徴量情報(圧縮動画像特徴量情報)1303として抽
出する圧縮動画像特徴量情報抽出部1302と、圧縮動
画像データ301のカット点をカット点情報702とし
て検出するカット点検出部701と、補償情報抽出部9
01及びブロック単位平均値抽出部1301または圧縮
動画像特徴量情報抽出部1302で抽出された圧縮動画
像特徴量情報1303の各フレームのDCT係数のDC
成分または平均画素値及びそれらの動き補償情報のうち
少なくとも1以上の特徴量情報を時間軸上に配列し、そ
の並びから圧縮動画像識別のための圧縮動画像固有識別
情報705を、カット点情報502を用いて分割される
動画像データ101の各ショット単位またはカット点情
報702を用いて分割される圧縮動画像データ301の
各ショット単位に抽出する圧縮動画像固有識別情報抽出
部1603と、圧縮動画像固有識別情報抽出部1603
で抽出された圧縮動画像固有識別情報705を蓄積する
圧縮動画像固有識別情報蓄積部306と、予め他の動画
像データから抽出された圧縮動画像固有識別情報708
の中から圧縮動画像固有識別情報蓄積部306に蓄積さ
れている圧縮動画像固有識別情報705と同一の情報を
検索して同定する圧縮動画像固有識別情報検索部309
と、圧縮動画像固有識別情報検索部309の検索結果を
格納する検索結果格納部110と、検索結果格納部11
0に格納されている検索結果を画面に表示したり印刷し
たりする検索結果表示部111と、入力されるディジタ
ル動画像データ2601が非圧縮の動画像データ101
か圧縮動画像データ301かを判定し、非圧縮の動画像
データ101を動き補償情報抽出部901、ブロック単
位平均値抽出部1301、及びカット点検出部501に
出力し、圧縮動画像データ301を圧縮動画像特徴量情
報抽出部1302及びカット点検出部701に出力する
圧縮・非圧縮判定部2602を備えている。
検索装置の動作を示すフローチャートである。なお、図
37においては、図17と同一の処理ステップには同一
のステップ番号を付している。
部2602は、ディジタル動画像データ2601を取得
する(ステップ2701)。次に、圧縮・非圧縮判定部
2602は、取得したディジタル動画像データ2601
が非圧縮の動画像データ101か圧縮動画像データ30
1かを判定する(ステップ2702)。
の動画像データ101の場合には、動画像データ101
を動き補償情報抽出部901、ブロック単位平均値抽出
部1301、及びカット点検出部501に出力する。動
き補償情報抽出部901は、動画像の同定を行う検索キ
ーとなる動画像データ101の各フレームをM×N(M
及びNは自然数)画素単位に分割し、M×N画素単位で
動き補償情報を求める(ステップ1003)。また、ブ
ロック単位平均値抽出部1301は、動画像データ10
1の各フレームをM’×N’(M’及びN’は自然数)
画素単位に分割し、M’×N’画素単位の平均画素値を
求める(ステップ1502)。さらに、カット点検出部
501は、動画像データ101のカット点をカット点情
報502として検出する(ステップ602)。
圧縮動画像データ301の場合には、圧縮動画像データ
301を圧縮動画像特徴量情報抽出部1302及びカッ
ト点検出部701に出力する。圧縮動画像特徴量情報抽
出部1302は、圧縮動画像データ301から各フレー
ムのDCT(離散コサイン変換)係数のDC(直流)成
分および動き補償情報で構成される圧縮動画像特徴量情
報1303を抽出する(ステップ1503)。また、カ
ット点検出部701は、圧縮動画像データ301のカッ
ト点をカット点情報702として検出する(ステップ8
02)。
03は、圧縮動画像特徴量情報1303の各フレームの
DCT(離散コサイン変換)係数のDC(直流)成分か
らの物理的な圧縮動画像特徴量情報または平均画素値の
値、その値の平均値、その値の合計値、またはその値の
差分値を求める。また、動き補償情報からは、動きベク
トル、前後フレーム間の平均動きベクトル、合計動きベ
クトル、差分ベクトル、またはフレーム全体としての動
きベクトルなどを求める。そして、これらの値のうち少
なくとも1以上の値を、時間軸上に配列した並びの全
部、その配列した並びの一定間隔、またはその配列した
並びの変則間隔で抜き出し、その抜き出した値を圧縮動
画像識別のための圧縮動画像固有識別情報705とし
て、カット点情報502を用いて分割される動画像デー
タ101の各ショット単位またはカット点情報702を
用いて分割される圧縮動画像データ301の各ショット
単位に抽出する(ステップ1702)。
圧縮動画像固有識別情報抽出部1603で抽出された圧
縮動画像固有識別情報705を蓄積する(ステップ80
4)。
圧縮動画像データ)から圧縮動画像固有識別情報708
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ1001〜804(図17)と同様の
処理によって行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている動画像固有識別情報705と他の動画像データ
から抽出された圧縮動画像固有識別情報708とを比較
する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された動画像
固有識別情報708に対して行う(ステップ410)。
ば、入力されるディジタル動画像データ2601が非圧
縮の動画像データ101か圧縮動画像データ301かを
自動的に判定できるため、検索する画像データの形式
(圧縮/非圧縮)によらず、より高速に動画像の中から
同じ動画像を検索することができる。
の実施の形態について、図面を参照しながら説明する。
示す。なお、図38においては、図18と同一の構成の
ものには同一の符号を付している。図38に示した動画
像検索装置は、動画像データ101のM×N(M及びN
は自然数)画素単位でDCT(離散コサイン変換)演算
を行い、DCT(離散コサイン変換)係数を圧縮動画像
特徴量情報303として得るDCT(離散コサイン変
換)演算部902と、MPEGなどの標準動画像圧縮符
号化処理により圧縮された圧縮動画像データ301か
ら、各フレームのDCT(離散コサイン変換)係数を圧
縮動画像の特徴量情報(圧縮動画像特徴量情報)303
として抽出する圧縮動画像特徴量情報抽出部302と、
DCT(離散コサイン変換)演算部902または圧縮動
画像特徴量情報抽出部302で抽出された圧縮動画像特
徴量情報303の各フレームのDCT係数のうち少なく
とも1以上の特徴量情報を時間軸上に配列し、その並び
から圧縮動画像識別のための圧縮動画像固有識別情報3
05を抽出する圧縮動画像固有識別情報抽出部304
と、圧縮動画像固有識別情報抽出部304で抽出された
圧縮動画像固有識別情報305を蓄積する圧縮動画像固
有識別情報蓄積部306と、予め他の動画像データから
抽出された圧縮動画像固有識別情報308の中から圧縮
動画像固有識別情報蓄積部306に蓄積されている圧縮
動画像固有識別情報305と同一の情報を検索して同定
する圧縮動画像固有識別情報検索部309と、圧縮動画
像固有識別情報検索部309の検索結果を格納する検索
結果格納部110と、検索結果格納部110に格納され
ている検索結果を画面に表示したり印刷したりする検索
結果表示部111と、入力されるディジタル動画像デー
タ2601が非圧縮の動画像データ101か圧縮動画像
データ301かを判定し、非圧縮の動画像データ101
をDCT(離散コサイン変換)演算部902に出力し、
圧縮動画像データ301を圧縮動画像特徴量情報抽出部
302に出力する圧縮・非圧縮判定部2602を備えて
いる。
検索装置の動作を示すフローチャートである。なお、図
39においては、図19と同一の処理ステップには同一
のステップ番号を付している。
部2602は、ディジタル動画像データ2601を取得
する(ステップ2701)。次に、圧縮・非圧縮判定部
2602は、取得したディジタル動画像データ2601
が非圧縮の動画像データ101か圧縮動画像データ30
1かを判定する(ステップ2702)。
の動画像データ101の場合には、動画像データ101
をDCT(離散コサイン変換)演算部902に出力す
る。DCT(離散コサイン変換)演算部902は、動画
像データ101の各フレームをM×N(M及びNは自然
数)画素単位に分割し、M×N画素単位でDCT(離散
コサイン変換)演算をし、DCT(離散コサイン変換)
係数を圧縮動画像特徴量情報303として求める(ステ
ップ1902)。
圧縮動画像データ301の場合には、圧縮動画像データ
301を圧縮動画像特徴量情報抽出部302に出力す
る。圧縮動画像特徴量情報抽出部302は、圧縮動画像
データ301から各フレームのDCT(離散コサイン変
換)係数を圧縮動画像特徴量情報303として抽出する
(ステップ1903)。
4は、圧縮動画像特徴量情報抽出部302またはDCT
(離散コサイン変換)演算部902で抽出された圧縮動
画像特徴量情報303の各フレームのDCT(離散コサ
イン変換)係数から物理的な圧縮動画像特徴量情報の
値、その値の平均値、その値の合計値、またはその値の
差分値を求める。そして、これらの値のうち少なくとも
1以上の値を、時間軸上に配列した並びの全部、その配
列した並びの一定間隔、またはその配列した並びの変則
間隔で抜き出し、その抜き出した値を圧縮動画像識別の
ための圧縮動画像固有識別情報305として抽出する
(ステップ1904)。
圧縮動画像固有識別情報抽出部304で抽出された圧縮
動画像固有識別情報305を蓄積する(ステップ40
4)。
圧縮動画像データ)から圧縮動画像固有識別情報308
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ1001〜404(図17)と同様の
処理によって行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている動画像固有識別情報305と他の動画像データ
から抽出された圧縮動画像固有識別情報308とを比較
する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された動画像
固有識別情報308に対して行う(ステップ410)。
ば、入力されるディジタル動画像データ2601が非圧
縮の動画像データ101か圧縮動画像データ301かを
自動的に判定できるため、検索する画像データの形式
(圧縮/非圧縮)によらず、より高速に動画像の中から
同じ動画像を検索することができる。
の実施の形態について、図面を参照しながら説明する。
示す。なお、図40においては、図20と同一の構成の
ものには同一の符号を付している。図40に示した動画
像検索装置は、動画像データ101のM×N(M及びN
は自然数)画素単位でDCT(離散コサイン変換)演算
を行い、DCT(離散コサイン変換)係数を圧縮動画像
特徴量情報303として得るDCT(離散コサイン変
換)演算部902と、動画像データ101のカット点を
カット点情報502として検出するカット点検出部50
1と、MPEGなどの標準動画像圧縮符号化処理により
圧縮された圧縮動画像データ301から、各フレームの
DCT係数を圧縮動画像の特徴量情報(圧縮動画像特徴
量情報)303として抽出する圧縮動画像特徴量情報抽
出部302と、圧縮動画像データ301のカット点をカ
ット点情報702として検出するカット点検出部701
と、DCT(離散コサイン変換)演算部902または圧
縮動画像特徴量情報抽出部302で抽出された圧縮動画
像特徴量情報303の各フレームのDCT係数のうち少
なくとも1以上の特徴量情報を時間軸上に配列し、その
並びから圧縮動画像識別のための圧縮動画像固有識別情
報705を、カット点情報502またはカット点情報7
02を用いて分割される圧縮動画像データ301の各シ
ョット単位に抽出する圧縮動画像固有識別情報抽出部7
03と、圧縮動画像固有識別情報抽出部703で抽出さ
れた圧縮動画像固有識別情報705を蓄積する圧縮動画
像固有識別情報蓄積部306と、予め他の動画像データ
から抽出された圧縮動画像固有識別情報708の中から
圧縮動画像固有識別情報蓄積部306に蓄積されている
圧縮動画像固有識別情報705と同一の情報を検索して
同定する圧縮動画像固有識別情報検索部309と、圧縮
動画像固有識別情報検索部309の検索結果を格納する
検索結果格納部110と、検索結果格納部110に格納
されている検索結果を画面に表示したり印刷したりする
検索結果表示部111と、入力されるディジタル動画像
データ2601が非圧縮の動画像データ101か圧縮動
画像データ301かを判定し、非圧縮の動画像データ1
01をDCT(離散コサイン変換)演算部902とカッ
ト点検出部501に出力し、圧縮動画像データ301を
圧縮動画像特徴量情報抽出部302とカット点検出部7
01に出力する圧縮・非圧縮判定部2602を備えてい
る。
検索装置の動作を示すフローチャートである。なお、図
41においては、図21と同一の処理ステップには同一
のステップ番号を付している。
部2602は、ディジタル動画像データ2601を取得
する(ステップ2701)。次に、圧縮・非圧縮判定部
2602は、取得したディジタル動画像データ2601
が非圧縮の動画像データ101か圧縮動画像データ30
1かを判定する(ステップ2702)。
の動画像データ101の場合には、動画像データ101
をDCT(離散コサイン変換)演算部902とカット点
検出部501に出力する。DCT(離散コサイン変換)
演算部902は、動画像データ101の各フレームをM
×N(M及びNは自然数)画素単位に分割し、M×N画
素単位でDCT(離散コサイン変換)演算をし、DCT
(離散コサイン変換)係数を圧縮動画像特徴量情報30
3として求める(ステップ1902)。また、カット点
検出部501は、動画像データ101のカット点をカッ
ト点情報502として検出する(ステップ602)。
圧縮動画像データ301の場合には、圧縮動画像データ
301を圧縮動画像特徴量情報抽出部302とカット点
検出部701に出力する。圧縮動画像特徴量情報抽出部
302は、圧縮動画像データ301から各フレームのD
CT(離散コサイン変換)係数を圧縮動画像特徴量情報
303として抽出する(ステップ1903)。また、カ
ット点検出部701は、圧縮動画像データ301のカッ
ト点をカット点情報702として検出する(ステップ8
02)。
3は、圧縮動画像特徴量情報303の各フレームのDC
T(離散コサイン変換)係数から物理的な圧縮動画像特
徴量情報の値、その値の平均値、その値の合計値、また
はその値の差分値を求める。そして、これらの値のうち
少なくとも1以上の値を、時間軸上に配列した並びの全
部、その配列した並びの一定間隔、またはその配列した
並びの変則間隔で抜き出し、その抜き出した値を、カッ
ト点情報502を用いて分割される動画像データ101
またはカット点情報702を用いて分割される圧縮動画
像データ301の各ショット単位に、圧縮動画像識別の
ための圧縮動画像固有識別情報705として抽出する
(ステップ2102)。
圧縮動画像固有識別情報抽出部703で抽出された圧縮
動画像固有識別情報705を蓄積する(ステップ80
4)。
圧縮動画像データ)から圧縮動画像固有識別情報708
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ1001〜804(図21)と同様の
処理によって行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている動画像固有識別情報705と他の動画像データ
から抽出された圧縮動画像固有識別情報708とを比較
する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された動画像
固有識別情報708に対して行う(ステップ410)。
ば、入力されるディジタル動画像データ2601が非圧
縮の動画像データ101か圧縮動画像データ301かを
自動的に判定できるため、検索する画像データの形式
(圧縮/非圧縮)によらず、より高速に動画像の中から
同じ動画像を検索することができる。
の実施の形態について、図面を参照しながら説明する。
示す。なお、図42においては、図22と同一の構成の
ものには同一の符号を付している。図42に示した動画
像検索装置は、M×N(M及びNは自然数)画素単位の
平均色(R,G,B)情報や、平均輝度・平均色差
(Y,Cb,Cr)情報などの平均画素値を圧縮動画像
特徴量情報1303として求めるブロック単位平均値抽
出部1301と、MPEGなどの標準動画像圧縮符号化
処理により圧縮された圧縮動画像データ301から、各
フレームのDCT(離散コサイン変換)係数のDC(直
流)成分を圧縮動画像の特徴量情報(圧縮動画像特徴量
情報)1303として抽出する圧縮動画像特徴量情報抽
出部1302と、ブロック単位平均値抽出部1301ま
たは圧縮動画像特徴量情報抽出部1302で抽出された
圧縮動画像特徴量情報1303の各フレームのDCT係
数のDC成分または平均画素値のうち少なくとも1以上
の特徴量情報を時間軸上に配列し、その並びから圧縮動
画像識別のための圧縮動画像固有識別情報305を抽出
する圧縮動画像固有識別情報抽出部1304と、圧縮動
画像固有識別情報抽出部1304で抽出された圧縮動画
像固有識別情報305を蓄積する圧縮動画像固有識別情
報蓄積部306と、予め他の動画像データから抽出され
た圧縮動画像固有識別情報308の中から圧縮動画像固
有識別情報蓄積部306に蓄積されている圧縮動画像固
有識別情報305と同一の情報を検索して同定する圧縮
動画像固有識別情報検索部309と、圧縮動画像固有識
別情報検索部309の検索結果を格納する検索結果格納
部110と、検索結果格納部110に格納されている検
索結果を画面に表示したり印刷したりする検索結果表示
部111と、入力されるディジタル動画像データ260
1が非圧縮の動画像データ101か圧縮動画像データ3
01かを判定し、非圧縮の動画像データ101をブロッ
ク単位平均値抽出部1301に出力し、圧縮動画像デー
タ301を圧縮動画像特徴量情報抽出部1302に出力
する圧縮・非圧縮判定部2602を備えている。
検索装置の動作を示すフローチャートである。なお、図
43においては、図23と同一の処理ステップには同一
のステップ番号を付している。
部2602は、ディジタル動画像データ2601を取得
する(ステップ2701)。次に、圧縮・非圧縮判定部
2602は、取得したディジタル動画像データ2601
が非圧縮の動画像データ101か圧縮動画像データ30
1かを判定する(ステップ2702)。
の動画像データ101の場合には、動画像データ101
をブロック単位平均値抽出部1301に出力する。ブロ
ック単位平均値抽出部1301は、動画像データ101
の各フレームをM×N(M及びNは自然数)画素単位に
分割し、M×N画素単位の平均画素値を圧縮動画像特徴
量情報1303として求める(ステップ1502)。
圧縮動画像データ301の場合には、圧縮動画像データ
301を圧縮動画像特徴量情報抽出部1302に出力す
る。圧縮動画像特徴量情報抽出部1302は、圧縮動画
像データ301から各フレームのDCT(離散コサイン
変換)係数のDC(直流)成分を圧縮動画像特徴量情報
1303として抽出する(ステップ1503)。
04は、圧縮動画像特徴量情報1303の各フレームの
DCT(離散コサイン変換)係数のDC(直流)成分か
らの物理的な圧縮動画像特徴量情報または平均画素値の
値、その値の平均値、その値の合計値、またはその値の
差分値を求める。そして、これらの値のうち少なくとも
1以上の値を、時間軸上に配列した並びの全部、その配
列した並びの一定間隔、またはその配列した並びの変則
間隔で抜き出し、その抜き出した値を圧縮動画像識別の
ための圧縮動画像固有識別情報305として抽出する
(ステップ1504)。
圧縮動画像固有識別情報抽出部1304で抽出された圧
縮動画像固有識別情報305を蓄積する(ステップ40
4)。
圧縮動画像データ)から圧縮動画像固有識別情報308
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ1001〜404(図23)と同様の
処理によって行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている動画像固有識別情報305と他の動画像データ
から抽出された圧縮動画像固有識別情報308とを比較
する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された動画像
固有識別情報308に対して行う(ステップ410)。
ば、入力されるディジタル動画像データ2601が非圧
縮の動画像データ101か圧縮動画像データ301かを
自動的に判定できるため、検索する画像データの形式
(圧縮/非圧縮)によらず、より高速に動画像の中から
同じ動画像を検索することができる。
の実施の形態について、図面を参照しながら説明する。
示す。なお、図44においては、図24と同一の構成の
ものには同一の符号を付している。図44に示した動画
像検索装置は、動画像データ101のM×N(M及びN
は自然数)画素単位の平均色(R,G,B)情報や、平
均輝度・平均色差(Y,Cb,Cr)情報などの平均画
素値を圧縮動画像特徴量情報1303として求めるブロ
ック単位平均値抽出部1301と、動画像データ101
のカット点をカット点情報502として検出するカット
点検出部501と、MPEGなどの標準動画像圧縮符号
化処理により圧縮された圧縮動画像データ301から、
各フレームのDCT(離散コサイン変換)係数のDC
(直流)成分を圧縮動画像の特徴量情報(圧縮動画像特
徴量情報)1303として抽出する圧縮動画像特徴量情
報抽出部1302と、圧縮動画像データ301のカット
点をカット点情報702として検出するカット点検出部
701と、ブロック単位平均値抽出部1301または圧
縮動画像特徴量情報抽出部1302で抽出された圧縮動
画像特徴量情報1303の各フレームのDCT係数のD
C成分または平均画素値のうち少なくとも1以上の特徴
量情報を時間軸上に配列し、その並びから圧縮動画像識
別のための圧縮動画像固有識別情報705を、カット点
情報502を用いて分割される動画像データ101の各
ショット単位またはカット点情報702を用いて分割さ
れる圧縮動画像データ301の各ショット単位に抽出す
る圧縮動画像固有識別情報抽出部1603と、圧縮動画
像固有識別情報抽出部1603で抽出された圧縮動画像
固有識別情報705を蓄積する圧縮動画像固有識別情報
蓄積部306と、予め他の動画像データから抽出された
圧縮動画像固有識別情報708の中から圧縮動画像固有
識別情報蓄積部306に蓄積されている圧縮動画像固有
識別情報705と同一の情報を検索して同定する圧縮動
画像固有識別情報検索部309と、圧縮動画像固有識別
情報検索部309の検索結果を格納する検索結果格納部
110と、検索結果格納部110に格納されている検索
結果を画面に表示したり印刷したりする検索結果表示部
111と、入力されるディジタル動画像データ2601
が非圧縮の動画像データ101か圧縮動画像データ30
1かを判定し、非圧縮の動画像データ101をブロック
単位平均値抽出部1301とカット点検出部501に出
力し、圧縮動画像データ301を圧縮動画像特徴量情報
抽出部1302とカット点検出部701に出力する圧縮
・非圧縮判定部2602を備えている。
検索装置の動作を示すフローチャートである。なお、図
45においては、図25と同一の処理ステップには同一
のステップ番号を付している。
部2602は、ディジタル動画像データ2601を取得
する(ステップ2701)。次に、圧縮・非圧縮判定部
2602は、取得したディジタル動画像データ2601
が非圧縮の動画像データ101か圧縮動画像データ30
1かを判定する(ステップ2702)。
の動画像データ101の場合には、動画像データ101
をブロック単位平均値抽出部1301とカット点検出部
501に出力する。ブロック単位平均値抽出部1301
は、動画像データ101の各フレームをM×N(M及び
Nは自然数)画素単位に分割し、M×N画素単位の平均
画素値を求める(ステップ1502)。また、カット点
検出部501は、動画像データ101のカット点をカッ
ト点情報502として検出する(ステップ602)。
圧縮動画像データ301の場合には、圧縮動画像データ
301を圧縮動画像特徴量情報抽出部1302とカット
点検出部701に出力する。圧縮動画像特徴量情報抽出
部1302は、圧縮動画像データ301から各フレーム
のDCT(離散コサイン変換)係数のDC(直流)成分
を圧縮動画像特徴量情報1303として抽出する(ステ
ップ1503)。また、カット点検出部701は、圧縮
動画像データ301のカット点をカット点情報702と
して検出する(ステップ802)。
03は、圧縮動画像特徴量情報1303の各フレームの
DCT(離散コサイン変換)係数のDC(直流)成分か
らの物理的な圧縮動画像特徴量情報または平均画素値の
値、その値の平均値、その値の合計値、またはその値の
差分値を求める。そして、これらの値のうち少なくとも
1以上の値を、時間軸上に配列した並びの全部、その配
列した並びの一定間隔、またはその配列した並びの変則
間隔で抜き出し、その抜き出した値を圧縮動画像識別の
ための圧縮動画像固有識別情報705として、カット点
情報502を用いて分割される動画像データ101の各
ショット単位またはカット点情報702を用いて分割さ
れる圧縮動画像データ301の各ショット単位に抽出す
る(ステップ1702)。
圧縮動画像固有識別情報抽出部1603で抽出された圧
縮動画像固有識別情報705を蓄積する(ステップ80
4)。
圧縮動画像データ)から圧縮動画像固有識別情報708
を抽出しておく(ステップ405)。この抽出処理は、
上述したステップ1001〜804(図25)と同様の
処理によって行うことができる。
09は、圧縮動画像固有識別情報蓄積部306に蓄積さ
れている動画像固有識別情報705と他の動画像データ
から抽出された圧縮動画像固有識別情報708とを比較
する(ステップ406)。
格納され(ステップ207)、表示や印刷をする場合に
は(ステップ208)、検索結果表示部111で出力さ
れる(ステップ209)。
処理を、全ての他の動画像データから抽出された動画像
固有識別情報708に対して行う(ステップ410)。
ば、入力されるディジタル動画像データ2601が非圧
縮の動画像データ101か圧縮動画像データ301かを
自動的に判定できるため、検索する画像データの形式
(圧縮/非圧縮)によらず、より高速に動画像の中から
同じ動画像を検索することができる。
実施の形態において、検索対象の動画像データを非圧縮
の動画像データまたは圧縮された動画像データの何れか
一方のみで説明したが、各実施の形態における検索対象
の動画像データは、どちらの動画像データであってもよ
い。
実施例として、動画像の検索の実験を行った実験用の動
画像検索装置及び動画像検索方法について、図面を参照
しながら説明する。
した動画像検索装置の具体的な実施例であるテレビCM
監視装置を示す。なお、図46においては、図3と同一
の構成のものには同一の符号を付している。
は、MPEG−2により圧縮されたMPEG−2ストリ
ーム(テレビ放送)301Aから、各フレームのDCT
係数のDC成分のみを圧縮動画像特徴量情報(DC成
分)303Aとして抽出するDC成分抽出部302A
と、DC成分抽出部302Aで抽出された圧縮動画像特
徴量情報(DC成分)303Aの各フレームのDC成分
の平均値を時間軸上に配列し、その並びを圧縮動画像識
別のための圧縮動画像固有識別情報(平均色情報時系列
情報)305Aとして抽出する圧縮動画像固有識別情報
抽出部(平均色情報計算部)304Aと、圧縮動画像固
有識別情報抽出部(平均色情報計算部)304Aで抽出
された圧縮動画像固有識別情報305Aを蓄積する圧縮
動画像固有識別情報蓄積部306と、予め他の動画像デ
ータから抽出された圧縮動画像固有識別情報(テレビC
Mの平均色情報時系列情報)308Aの中から圧縮動画
像固有識別情報蓄積部306に蓄積されている圧縮動画
像固有識別情報(平均色情報時系列情報)305Aと同
一の情報を検索して同定する圧縮動画像固有識別情報検
索部309と、圧縮動画像固有識別情報検索部309の
検索結果を格納する検索結果格納部110と、検索結果
格納部110に格納されている検索結果を画面に表示し
たり印刷したりする検索結果表示部111とを備えてい
る。
放送)301Aは、現行のテレビ放送の画像をMPEG
−2方式で符号化したものである。
M監視装置について、以下にその動作を説明する。
検索装置の実施例であるテレビCM監視装置の動作を示
すフローチャートである。なお、図47においては、図
4と同一の処理ステップには同一のステップ番号を付し
ている。図46及び図47において、まず、DC成分抽
出部302Aは、圧縮動画像の検索を行う検索キーとな
るMPEG−2ストリーム(テレビ放送)301Aを取
り込み(ステップ401A)、このMPEG−2ストリ
ームから各フレームのDCT(離散コサイン変換)係数
のうちDC成分のみを圧縮動画像特徴量情報(DC成
分)303Aとして抽出する(ステップ402A)。
均色情報計算部)304Aは、圧縮動画像特徴量情報
(DC成分)303Aの各フレームのDC成分からその
平均値を求める。この平均値を時間軸上に配列した並び
を、圧縮動画像識別のための圧縮動画像固有識別情報
(平均色情報時系列情報)305Aとして抽出する(ス
テップ403A)。
圧縮動画像固有識別情報抽出部(平均色情報計算部)3
04Aで抽出された圧縮動画像固有識別情報(平均色情
報時系列情報)305Aを蓄積する(ステップ40
4)。
情報時系列情報)305Aは、輝度・色差(Y,Cb,
Cr)情報3つの時系列情報となる。ここで、個々の時
系列情報を、横軸を時間、縦軸を平均色情報の値として
コンピュータ装置などでグラフ化すると、圧縮動画像固
有識別情報(平均色情報時系列情報)305Aは、例え
ば、3本の棒グラフで表すことができる。
ム(検索対象の圧縮動画像データ)から圧縮動画像固有
識別情報(テレビCMの色情報時系列情報)308Aを
抽出する(ステップ405A)。この抽出処理は、上述
したステップ401A〜404と同様の処理によって行
うことができる。
上述のMPEG−2ストリーム(テレビ放送)301A
と同様に、現行地上波テレビ放送(CM)をMPEG−
2に符号化したストリームである。
9は、圧縮動画像固有識別情報蓄積部306に蓄積され
ている圧縮動画像固有識別情報305Aと他の動画像デ
ータから抽出された圧縮動画像固有識別情報308Aと
を比較する(ステップ406)。
程度の簡単な設備を用いて実現することを考えている。
また、現行のテレビ放送では、テレビ電波の反射・マル
チパスにより像が多重映りするゴースト現象や色ずれ等
が発生する場合がある。従って、この様なゴースト現象
や色ずれ等が発生しているテレビ放送を用いて抽出され
る圧縮動画像固有識別情報305Aに対して、これらの
影響が多少発生する場合がある。
別情報(平均色情報時系列情報)305Aを3本の棒グ
ラフで表した場合、これらのグラフにも影響が生じる。
しかし、これらのグラフには動画像を識別するのに十分
な動画像固有識別情報があり、これらのグラフを拡大・
縮小することによって、ゴースト現象や色ずれ等の影響
を受け難くすることができる。
テップ406)での比較結果は、検索結果格納部110
に格納され(ステップ207)、表示や印刷をする場合
には(ステップ208)、検索結果表示部111で出力
される(ステップ209)。
の処理を、他の動画像データから抽出された全ての動画
像固有識別情報308Aに対して行う(ステップ41
0)。
検索方法の具体的な実施例について説明したが、図46
及び図47に示す実験システムを用いて、本発明の有効
性を試す実験を以下のように行った。
用い、26時間15分のテレビ放送画像(MPEG−2
ストリーム(テレビ放送)301A)の中から、37種
類で総数152個のテレビCM(圧縮動画像固有識別情
報(テレビCMの色情報時系列情報)308A)を検索
する実験を行ったところ、検出洩れ0、過剰検出0とい
う結果を得ることができた。
検索方法として上述した発明の第1乃至第22の実施の
形態、及び実施例において、一画像を複数のフレームに
分割して処理しているが、更に各フレームをn(nは2
以上の自然数)分割して処理することもできる。このと
き、分割した各領域からそれぞれ動画像識別のための動
画像固有識別情報や圧縮動画像固有識別情報を抽出して
元の動画像の動画像固有識別情報105や元の圧縮動画
像の圧縮動画像固有識別情報305、305Aとする。
そして、動画像固有識別情報検索部109や圧縮動画像
固有識別情報検索部309は、予め抽出された動画像固
有識別情報108や圧縮動画像固有識別情報308、3
08Aから動画像固有識別情報105や圧縮動画像固有
識別情報305、305Aと同一の情報を検索する。こ
の検索は、分割された動画像固有識別情報105や圧縮
動画像固有識別情報305、305Aの全ての領域が一
致した時に、検索が行えたものとする。このように、1
つのフレームを複数の情報で検索することによって、更
に検索精度を向上することができる。
し、分割した各々の領域から動画像固有識別情報105
や圧縮動画像固有識別情報305、305Aを抽出する
ことにより、動画像固有識別情報105や圧縮動画像固
有識別情報305、305Aに含まれる時系列情報を短
くすることができる。
から抽出された動画像識別のための動画像固有識別情報
105や圧縮動画像固有識別情報305、305Aの
内、(n−m)個以上(1<=m<=(n−1))の領
域に限定して検索した時に、動画像の一部領域が異なる
類似動画像の検索が行える。即ち、分割された領域の一
部のみを検索対象として選択し、その部分のみが一致し
た場合に検索できたことにすることによって、類似動画
像の検索を行うことができる。
検索方法について説明したが、上述の動画像検索方法を
コンピュータで実行可能な動画像検索プログラムとし、
このプログラムをコンピュータで読み取り可能な記録媒
体に記録することもできる。
置、動画像検索方法、及び動画像検索プログラムを記録
した記録媒体によれば、動画像の内容に依存した動画像
識別のための動画像固有識別情報を抽出して動画像の検
索に用いるため、所定の動画像の中から同じ動画像を自
動的かつ高速に検索することができる。
方の動画像から、動画像の検索に使用できる動画像固有
識別情報を抽出することができるので、非圧縮及び圧縮
の区別なく動画像の検索をすることができる。
図である。
理のフローチャートである。
図である。
理のフローチャートである。
図である。
理のフローチャートである。
図である。
理のフローチャートである。
図である。
処理のフローチャートである。
ク図である。
処理のフローチャートである。
ク図である。
換)演算の処理を示す概念図である。
処理のフローチャートである。
ク図である。
処理のフローチャートである。
ク図である。
処理のフローチャートである。
ク図である。
処理のフローチャートである。
ク図である。
処理のフローチャートである。
ク図である。
処理のフローチャートである。
ク図である。
処理のフローチャートである。
ク図である。
処理のフローチャートである。
ク図である。
処理のフローチャートである。
ク図である。
処理のフローチャートである。
ク図である。
処理のフローチャートである。
ク図である。
処理のフローチャートである。
ク図である。
処理のフローチャートである。
ク図である。
処理のフローチャートである。
ク図である。
処理のフローチャートである。
ク図である。
処理のフローチャートである。
あるテレビCM監視装置の構成を示すブロック図であ
る。
あるテレビCM監視装置における動画像検索処理のフロ
ーチャートである。
別情報検索部) 110 検索同定結果格納部(検索結果格納部) 111 検索同定結果表示部(検索結果表示部) 301 圧縮動画像データ 301A MPEG−2ストリーム(テレビ放送) 302、1302 圧縮動画像特徴量情報抽出部 302A DC成分抽出部 303、1303 圧縮動画像特徴量情報 303A 圧縮動画像特徴量情報(DC成分) 304、703、1304、1603 圧縮動画像固有
識別情報抽出部 304A 圧縮動画像固有識別情報抽出部(平均色情報
計算部) 305、308 カット無し圧縮動画像固有識別情報 305A 圧縮動画像固有識別情報(平均色情報時系列
情報) 306 圧縮動画像固有識別情報蓄積部 308A 圧縮動画像固有識別情報(テレビCMの色情
報時系列情報) 309 圧縮動画像固有識別情報検索同定部(圧縮動画
像固有識別情報検索部) 501、701 カット点検出部 502、702 カット点情報 705、708 カット有り圧縮動画像固有識別情報 901 動き補償情報抽出部 902 DCT(離散コサイン変換)演算部 1301 ブロック単位平均値抽出部 2601 ディジタル動画像データ 2602 圧縮・非圧縮判定部
Claims (94)
- 【請求項1】検索対象の動画像から所定の動画像を検索
する動画像検索装置において、 前記所定の動画像から各フレームの特徴量情報を抽出す
る特徴量情報抽出手段と、 前記特徴量情報抽出手段で抽出された前記特徴量情報に
基づいて、動画像を識別するための固有識別情報を抽出
する固有識別情報抽出手段と、 前記固有識別情報抽出手段で抽出された前記固有識別情
報と前記検索対象の動画像に基づいて準備された検索対
象の固有識別情報とを比較することによって、前記検索
対象の動画像から前記所定の動画像を検索する動画像検
索手段と、 を備えることを特徴とする動画像検索装置。 - 【請求項2】前記所定の動画像は、非圧縮の動画像デー
タであり、 前記固有識別情報抽出手段は、前記特徴量情報抽出手段
で抽出された前記特徴量情報の少なくとも1つを時間軸
上に配列して、該配列の並びから動画像を識別するため
の固有識別情報を抽出する、 ことを特徴とする請求項1記載の動画像検索装置。 - 【請求項3】前記特徴量情報抽出手段は、前記所定の動
画像から、各フレームのDCT(離散コサイン変換)係
数を特徴量情報として抽出し、 前記固有識別情報抽出手段は、前記特徴量情報抽出手段
で抽出された前記特徴量情報の少なくとも1つを時間軸
上に配列して、該配列の並びから動画像を識別するため
の固有識別情報を抽出する、 ことを特徴とする請求項1記載の動画像検索装置。 - 【請求項4】前記特徴量情報抽出手段は、前記所定の動
画像から、各フレームのDCT(離散コサイン変換)係
数及び動き補償情報を特徴量情報として抽出し、 前記固有識別情報抽出手段は、前記特徴量情報抽出手段
で抽出された前記特徴量情報の少なくとも1つを時間軸
上に配列して、該配列の並びから動画像を識別するため
の固有識別情報を抽出する、 ことを特徴とする請求項1記載の動画像検索装置。 - 【請求項5】前記所定の動画像は、非圧縮の動画像デー
タであり、 前記特徴量情報抽出手段は、前記非圧縮の動画像データ
からM×N(M及びNは自然数)画素のブロック単位で
動き補償情報を得、M’×N’(M’及びN’は自然
数)画素のブロック単位で平均色(R,G,B)情報や
平均輝度・色差(Y,Cb,Cr)情報などの画素値情
報を得て、これらを特徴量情報として抽出し、 前記固有識別情報抽出手段は、前記特徴量情報抽出手段
で抽出された前記特徴量情報の少なくとも1つを時間軸
上に配列して、該配列の並びから動画像を識別するため
の固有識別情報を抽出する、 ことを特徴とする請求項1記載の動画像検索装置。 - 【請求項6】前記所定の動画像は、非圧縮の動画像デー
タであり、 前記特徴量情報抽出手段は、前記非圧縮の動画像データ
からM×N(M及びNは自然数)画素のブロック単位で
DCT(離散コサイン変換)演算を行って、DCT(離
散コサイン変換)係数を特徴量情報として抽出し、 前記固有識別情報抽出手段は、前記特徴量情報抽出手段
で抽出された前記特徴量情報の少なくとも1つを時間軸
上に配列して、該配列の並びから動画像を識別するため
の固有識別情報を抽出する、 ことを特徴とする請求項1記載の動画像検索装置。 - 【請求項7】前記所定の動画像は、非圧縮の動画像デー
タであり、 前記特徴量情報抽出手段は、前記非圧縮の動画像データ
から、M×N(M及びNは自然数)画素のブロック単位
で平均色(R,G,B)情報や平均輝度・色差(Y,C
b,Cr)情報などの画素値情報を特徴量情報として抽
出し、 前記固有識別情報抽出手段は、前記特徴量情報抽出手段
で抽出された前記特徴量情報の少なくとも1つを時間軸
上に配列して、該配列の並びから動画像を識別するため
の固有識別情報を抽出する、ことを特徴とする請求項1
記載の動画像検索装置。 - 【請求項8】検索対象の動画像から所定の動画像を検索
する動画像検索装置において、 前記所定の動画像から各フレームの特徴量情報を抽出す
る特徴量情報抽出手段と、 前記所定の動画像から動画像のカット点を検出して、各
カット点毎に前記所定の動画像を複数のショットに分割
するカット点検出手段と、 前記特徴量情報抽出手段で抽出された前記特徴量情報に
基づいて、前記カット点検出手段で分割された各ショッ
ト毎に動画像を識別するための固有識別情報を抽出する
固有識別情報抽出手段と、 前記固有識別情報抽出手段で抽出された前記固有識別情
報と前記検索対象の動画像に基づいて準備された検索対
象の固有識別情報とを比較することによって、前記検索
対象の動画像から前記所定の動画像を検索する動画像検
索手段と、 を備えることを特徴とする動画像検索装置。 - 【請求項9】前記所定の動画像は、非圧縮の動画像デー
タであり、 前記固有識別情報抽出手段は、前記特徴量情報抽出手段
で抽出された前記特徴量情報の少なくとも1つを、前記
カット点検出手段で分割される各ショット毎に時間軸上
に配列して、該配列の並びから動画像を識別するための
固有識別情報を抽出する、 ことを特徴とする請求項8記載の動画像検索装置。 - 【請求項10】前記特徴量情報抽出手段は、前記所定の
動画像から、各フレームのDCT(離散コサイン変換)
係数を特徴量情報として抽出し、 前記固有識別情報抽出手段は、前記特徴量情報抽出手段
で抽出された前記特徴量情報の少なくとも1つを、前記
カット点検出手段で分割される各ショット毎に時間軸上
に配列して、該配列の並びから動画像を識別するための
固有識別情報を抽出する、 ことを特徴とする請求項8記載の動画像検索装置。 - 【請求項11】前記特徴量情報抽出手段は、前記所定の
動画像から、各フレームのDCT(離散コサイン変換)
係数及び動き補償情報を特徴量情報として抽出し、 前記固有識別情報抽出手段は、前記特徴量情報抽出手段
で抽出された前記特徴量情報の少なくとも1つを、前記
カット点検出手段で分割される各ショット毎に時間軸上
に配列して、該配列の並びから動画像を識別するための
固有識別情報を抽出する、 ことを特徴とする請求項8記載の動画像検索装置。 - 【請求項12】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記特徴量情報抽出手段は、前記非圧縮の動画像データ
からM×N(M及びNは自然数)画素のブロック単位で
動き補償情報を得、M’×N’(M’及びN’は自然
数)画素のブロック単位で平均色(R,G,B)情報や
平均輝度・色差(Y,Cb,Cr)情報などの画素値情
報を得て、これらを特徴量情報として抽出し、 前記固有識別情報抽出手段は、前記特徴量情報抽出手段
で抽出された前記特徴量情報の少なくとも1つを、前記
カット点検出手段で分割される各ショット毎に時間軸上
に配列して、該配列の並びから動画像を識別するための
固有識別情報を抽出する、 ことを特徴とする請求項8記載の動画像検索装置。 - 【請求項13】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記特徴量情報抽出手段は、前記非圧縮の動画像データ
からM×N(M及びNは自然数)画素のブロック単位で
DCT(離散コサイン変換)演算を行って、DCT(離
散コサイン変換)係数を特徴量情報として抽出し、 前記固有識別情報抽出手段は、前記特徴量情報抽出手段
で抽出された前記特徴量情報の少なくとも1つを、前記
カット点検出手段で分割される各ショット毎に時間軸上
に配列して、該配列の並びから動画像を識別するための
固有識別情報を抽出する、 ことを特徴とする請求項8記載の動画像検索装置。 - 【請求項14】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記特徴量情報抽出手段は、前記非圧縮の動画像データ
から、M×N(M及びNは自然数)画素のブロック単位
で平均色(R,G,B)情報や平均輝度・色差(Y,C
b,Cr)情報などの画素値情報を特徴量情報として抽
出し、 前記固有識別情報抽出手段は、前記特徴量情報抽出手段
で抽出された前記特徴量情報の少なくとも1つを、前記
カット点検出手段で分割される各ショット毎に時間軸上
に配列して、該配列の並びから動画像を識別するための
固有識別情報を抽出する、 ことを特徴とする請求項8記載の動画像検索装置。 - 【請求項15】検索対象の動画像から所定の動画像を検
索する動画像検索装置において、 前記所定の動画像が非圧縮の動画像データか、圧縮され
た動画像データかを判定する圧縮/非圧縮判定手段と、 非圧縮の動画像データから各フレームの特徴量情報を抽
出する第1の特徴量情報抽出手段と、 前記第1の特徴量情報抽出手段で抽出された前記特徴量
情報の少なくとも1つを時間軸上に配列して、該配列の
並びから動画像を識別するための固有識別情報を抽出す
る第1の固有識別情報抽出手段と、 圧縮された動画像データから各フレームのDCT(離散
コサイン変換)係数を特徴量情報として抽出する第2の
特徴量情報抽出手段と、 前記第2の特徴量情報抽出手段で抽出された前記特徴量
情報の少なくとも1つを時間軸上に配列して、該配列の
並びから動画像を識別するための固有識別情報を抽出す
る第2の固有識別情報抽出手段と、 前記第1の固有識別情報抽出手段または前記第2の固有
識別情報抽出手段で抽出された前記固有識別情報と前記
検索対象の動画像に基づいて準備された検索対象の固有
識別情報とを比較することによって、前記検索対象の動
画像から前記所定の動画像を検索する動画像検索手段
と、 を備えることを特徴とする動画像検索装置。 - 【請求項16】前記第1の固有識別情報抽出手段と前記
第2の固有識別情報抽出手段は、同一の固有識別情報抽
出手段に含まれることを特徴とする請求項15記載の動
画像検索装置。 - 【請求項17】前記第2の特徴量情報抽出手段は、さら
に、圧縮された動画像データから各フレームの動き補償
情報を特徴量情報として抽出することを特徴とする請求
項15または16記載の動画像検索装置。 - 【請求項18】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報抽出手段は、前記非圧縮の動画像
データから、各フレームのDCT(離散コサイン変換)
係数を特徴量情報として抽出し、 前記第1の固有識別情報抽出手段は、前記第1の特徴量
情報抽出手段で抽出された前記特徴量情報の少なくとも
1つを時間軸上に配列して、該配列の並びから動画像を
識別するための固有識別情報を抽出する、 ことを特徴とする請求項15乃至17記載の動画像検索
装置。 - 【請求項19】前記第1の特徴量情報抽出手段は、さら
に、前記非圧縮の動画像データから動き補償情報を特徴
量情報として抽出する、 ことを特徴とする請求項18記載の動画像検索装置。 - 【請求項20】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報抽出手段は、前記非圧縮の動画像
データからM×N(M及びNは自然数)画素のブロック
単位で動き補償情報を得、M’×N’(M’及びN’は
自然数)画素のブロック単位で平均色(R,G,B)情
報や平均輝度・色差(Y,Cb,Cr)情報などの画素
値情報を得て、これらを特徴量情報として抽出し、 前記第1の固有識別情報抽出手段は、前記第1の特徴量
情報抽出手段で抽出された前記特徴量情報の少なくとも
1つを時間軸上に配列して、該配列の並びから動画像を
識別するための固有識別情報を抽出する、 ことを特徴とする請求項15乃至17記載の動画像検索
装置。 - 【請求項21】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報抽出手段は、前記非圧縮の動画像
データからM×N(M及びNは自然数)画素のブロック
単位でDCT(離散コサイン変換)演算を行って、DC
T(離散コサイン変換)係数を特徴量情報として抽出
し、 前記第1の固有識別情報抽出手段は、前記第1の特徴量
情報抽出手段で抽出された前記特徴量情報の少なくとも
1つを時間軸上に配列して、該配列の並びから動画像を
識別するための固有識別情報を抽出する、 ことを特徴とする請求項15乃至17記載の動画像検索
装置。 - 【請求項22】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報抽出手段は、前記非圧縮の動画像
データから、M×N(M及びNは自然数)画素のブロッ
ク単位で平均色(R,G,B)情報や平均輝度・色差
(Y,Cb,Cr)情報などの画素値情報を特徴量情報
として抽出し、 前記第1の固有識別情報抽出手段は、前記第1の特徴量
情報抽出手段で抽出された前記特徴量情報の少なくとも
1つを時間軸上に配列して、該配列の並びから動画像を
識別するための固有識別情報を抽出する、 ことを特徴とする請求項15乃至17記載の動画像検索
装置。 - 【請求項23】検索対象の動画像から所定の動画像を検
索する動画像検索装置において、 前記所定の動画像が非圧縮の動画像データか、圧縮され
た動画像データかを判定する圧縮/非圧縮判定手段と、 非圧縮の動画像データから各フレームの特徴量情報を抽
出する第1の特徴量情報抽出手段と、 前記非圧縮の動画像データから動画像のカット点を検出
して、各カット点毎に前記所定の動画像を複数のショッ
トに分割する第1のカット点検出手段と、 前記第1の特徴量情報抽出手段で抽出された前記特徴量
情報に基づいて、前記第1のカット点検出手段で分割さ
れた各ショット毎に動画像を識別するための固有識別情
報を抽出する第1の固有識別情報抽出手段と、 圧縮された動画像データから各フレームのDCT(離散
コサイン変換)係数を特徴量情報として抽出する第2の
特徴量情報抽出手段と、 前記圧縮の動画像データから動画像のカット点を検出し
て、各カット点毎に前記所定の動画像を複数のショット
に分割する第2のカット点検出手段と、 前記第2の特徴量情報抽出手段で抽出された前記特徴量
情報の少なくとも1つを、前記第2のカット点検出手段
で分割された各ショット毎に時間軸上に配列して、該配
列の並びから動画像を識別するための固有識別情報を抽
出する第2の固有識別情報抽出手段と、 前記第1の固有識別情報抽出手段または前記第2の固有
識別情報抽出手段で抽出された前記固有識別情報と前記
検索対象の動画像に基づいて準備された検索対象の固有
識別情報とを比較することによって、前記検索対象の動
画像から前記所定の動画像を検索する動画像検索手段
と、を備えることを特徴とする動画像検索装置。 - 【請求項24】前記第2の特徴量情報抽出手段は、さら
に、前記圧縮された動画像データから動き補償情報を特
徴量情報として抽出する、 ことを特徴とする請求項23記載の動画像検索装置。 - 【請求項25】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報抽出手段は、前記非圧縮の動画像
データから、各フレームのDCT(離散コサイン変換)
係数を特徴量情報として抽出し、 前記第1の固有識別情報抽出手段は、前記第1の特徴量
情報抽出手段で抽出された前記特徴量情報の少なくとも
1つを、前記第1のカット点検出手段で分割される各シ
ョット毎に時間軸上に配列して、該配列の並びから動画
像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項23または24記載の動画像検
索装置。 - 【請求項26】前記第1の特徴量情報抽出手段は、さら
に、前記非圧縮の動画像データから動き補償情報を特徴
量情報として抽出する、 ことを特徴とする請求項25記載の動画像検索装置。 - 【請求項27】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報抽出手段は、前記非圧縮の動画像
データからM×N(M及びNは自然数)画素のブロック
単位で動き補償情報を得、M’×N’(M’及びN’は
自然数)画素のブロック単位で平均色(R,G,B)情
報や平均輝度・色差(Y,Cb,Cr)情報などの画素
値情報を得て、これらを特徴量情報として抽出し、 前記第1の固有識別情報抽出手段は、前記第1の特徴量
情報抽出手段で抽出された前記特徴量情報の少なくとも
1つを、前記第1のカット点検出手段で分割される各シ
ョット毎に時間軸上に配列して、該配列の並びから動画
像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項23または24記載の動画像検
索装置。 - 【請求項28】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報抽出手段は、前記非圧縮の動画像
データからM×N(M及びNは自然数)画素のブロック
単位でDCT(離散コサイン変換)演算を行って、DC
T(離散コサイン変換)係数を特徴量情報として抽出
し、 前記第1の固有識別情報抽出手段は、前記第1の特徴量
情報抽出手段で抽出された前記特徴量情報の少なくとも
1つを、前記カット点検出手段で分割される各ショット
毎に時間軸上に配列して、該配列の並びから動画像を識
別するための固有識別情報を抽出する、 ことを特徴とする請求項23または24記載の動画像検
索装置。 - 【請求項29】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報抽出手段は、前記非圧縮の動画像
データから、M×N(M及びNは自然数)画素のブロッ
ク単位で平均色(R,G,B)情報や平均輝度・色差
(Y,Cb,Cr)情報などの画素値情報を特徴量情報
として抽出し、 前記第1の固有識別情報抽出手段は、前記第1の特徴量
情報抽出手段で抽出された前記特徴量情報の少なくとも
1つを、前記第1のカット点検出手段で分割される各シ
ョット毎に時間軸上に配列して、該配列の並びから動画
像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項23または24記載の動画像検
索装置。 - 【請求項30】さらに、前記固有識別情報を蓄積する固
有識別情報蓄積手段を有することを特徴とする請求項1
乃至29記載の動画像検索装置。 - 【請求項31】さらに、前記動画像検索手段の検索の結
果を蓄積する検索結果蓄積手段を有することを特徴とす
る請求項1乃至30記載の動画像検索装置。 - 【請求項32】さらに、前記動画像検索手段の検索の結
果を表示する検索結果表示手段を有することを特徴とす
る請求項1乃至31記載の動画像検索装置。 - 【請求項33】検索対象の動画像から所定の動画像を検
索する動画像検索方法において、 所定の動画像から各フレームの特徴量情報を抽出するス
テップと、 前記特徴量情報に基づいて、動画像を識別するための固
有識別情報を抽出するステップと、 前記固有識別情報と前記検索対象の動画像に基づいて準
備された検索対象の固有識別情報とを比較することによ
って、前記検索対象の動画像から前記所定の動画像を検
索するステップと、 を備えることを特徴とする動画像検索方法。 - 【請求項34】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記固有識別情報を抽出するステップは、前記特徴量情
報を抽出するステップで抽出された前記特徴量情報の少
なくとも1つを時間軸上に配列して、該配列の並びから
動画像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項33記載の動画像検索方法。 - 【請求項35】前記特徴量情報を抽出するステップは、
前記所定の動画像から、各フレームのDCT(離散コサ
イン変換)係数を特徴量情報として抽出し、 前記固有識別情報を抽出するステップは、前記特徴量情
報の少なくとも1つを時間軸上に配列して、該配列の並
びから動画像を識別するための固有識別情報を抽出す
る、 ことを特徴とする請求項33記載の動画像検索方法。 - 【請求項36】前記特徴量情報を抽出するステップは、
さらに、前記所定の動画像から動き補償情報を特徴量情
報として抽出する、 ことを特徴とする請求項35記載の動画像検索方法。 - 【請求項37】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記特徴量情報を抽出するステップは、前記非圧縮の動
画像データからM×N(M及びNは自然数)画素のブロ
ック単位で動き補償情報を得、M’×N’(M’及び
N’は自然数)画素のブロック単位で平均色(R,G,
B)情報や平均輝度・色差(Y,Cb,Cr)情報など
の画素値情報を得て、これらを特徴量情報として抽出
し、 前記固有識別情報を抽出するステップは、前記特徴量情
報を抽出するステップで抽出された前記特徴量情報の少
なくとも1つを時間軸上に配列して、該配列の並びから
動画像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項33記載の動画像検索方法。 - 【請求項38】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記特徴量情報を抽出するステップは、前記非圧縮の動
画像データからM×N(M及びNは自然数)画素のブロ
ック単位でDCT(離散コサイン変換)演算を行って、
DCT(離散コサイン変換)係数を特徴量情報として抽
出し、 前記固有識別情報を抽出するステップは、前記特徴量情
報を抽出するステップで抽出された前記特徴量情報の少
なくとも1つを時間軸上に配列して、該配列の並びから
動画像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項33記載の動画像検索方法。 - 【請求項39】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記特徴量情報を抽出するするステップは、前記非圧縮
の動画像データから、M×N(M及びNは自然数)画素
のブロック単位で平均色(R,G,B)情報や平均輝度
・色差(Y,Cb,Cr)情報などの画素値情報を特徴
量情報として抽出し、 前記固有識別情報を抽出するステップは、前記特徴量情
報を抽出するステップで抽出された前記特徴量情報の少
なくとも1つを時間軸上に配列して、該配列の並びから
動画像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項33記載の動画像検索方法。 - 【請求項40】検索対象の動画像から所定の動画像を検
索する動画像検索方法において、 所定の動画像から各フレームの特徴量情報を抽出するス
テップと、 前記所定の動画像から動画像のカット点を検出して、各
カット点毎に前記検索対象の動画像を複数のショットに
分割するステップと、 前記特徴量情報に基づいて、各ショット毎に動画像を識
別するための固有識別情報を抽出するステップと、 前記固有識別情報と前記検索対象の動画像に基づいて準
備された検索対象の固有識別情報とを比較することによ
って、前記検索対象の動画像から前記所定の動画像を検
索するステップと、 を備えることを特徴とする動画像検索方法。 - 【請求項41】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記固有識別情報を抽出するステップは、前記特徴量情
報を抽出するステップで抽出された前記特徴量情報の少
なくとも1つを、前記分割される各ショット毎に時間軸
上に配列して、該配列の並びから動画像を識別するため
の固有識別情報を抽出する、 ことを特徴とする請求項40記載の動画像検索方法。 - 【請求項42】前記特徴量情報を抽出するステップは、
前記所定の動画像から、各フレームのDCT(離散コサ
イン変換)係数を特徴量情報として抽出し、 前記固有識別情報を抽出するステップは、前記特徴量情
報の少なくとも1つを、前記分割される各ショット毎に
時間軸上に配列して、該配列の並びから動画像を識別す
るための固有識別情報を抽出する、 ことを特徴とする請求項40記載の動画像検索方法。 - 【請求項43】前記特徴量情報を抽出するステップは、
さらに、前記所定の動画像から動き補償情報を特徴量情
報として抽出する、 ことを特徴とする請求項42記載の動画像検索方法。 - 【請求項44】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記特徴量情報を抽出するステップは、前記非圧縮の動
画像データからM×N(M及びNは自然数)画素のブロ
ック単位で動き補償情報を得、M’×N’(M’及び
N’は自然数)画素のブロック単位で平均色(R,G,
B)情報や平均輝度・色差(Y,Cb,Cr)情報など
の画素値情報を得て、これらを特徴量情報として抽出
し、 前記固有識別情報を抽出するステップは、前記特徴量情
報を抽出するステップで抽出された前記特徴量情報の少
なくとも1つを、前記分割される各ショット毎に時間軸
上に配列して、該配列の並びから動画像を識別するため
の固有識別情報を抽出する、 ことを特徴とする請求項40記載の動画像検索方法。 - 【請求項45】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記特徴量情報を抽出するステップは、前記非圧縮の動
画像データからM×N(M及びNは自然数)画素のブロ
ック単位でDCT(離散コサイン変換)演算を行って、
DCT(離散コサイン変換)係数を特徴量情報として抽
出し、 前記固有識別情報を抽出するステップは、前記特徴量情
報を抽出するステップで抽出された前記特徴量情報の少
なくとも1つを、前記分割される各ショット毎に時間軸
上に配列して、該配列の並びから動画像を識別するため
の固有識別情報を抽出する、 ことを特徴とする請求項40記載の動画像検索方法。 - 【請求項46】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記特徴量情報を抽出するステップは、前記非圧縮の動
画像データから、M×N(M及びNは自然数)画素のブ
ロック単位で平均色(R,G,B)情報や平均輝度・色
差(Y,Cb,Cr)情報などの画素値情報を特徴量情
報として抽出し、 前記固有識別情報を抽出するステップは、前記特徴量情
報を抽出するステップで抽出された前記特徴量情報の少
なくとも1つを、前記分割される各ショット毎に時間軸
上に配列して、該配列の並びから動画像を識別するため
の固有識別情報を抽出する、 ことを特徴とする請求項40記載の動画像検索方法。 - 【請求項47】検索対象の動画像から所定の動画像を検
索する動画像検索方法において、 所定の動画像が非圧縮の動画像データか、圧縮された動
画像データかを判定するステップと、 非圧縮の動画像データから各フレームの第1の特徴量情
報を抽出するステップと、 前記第1の特徴量情報の少なくとも1つを時間軸上に配
列して、該配列の並びから動画像を識別するための第1
の固有識別情報を抽出するステップと、 圧縮された動画像データから各フレームのDCT(離散
コサイン変換)係数を第2の特徴量情報として抽出する
ステップと、 前記第2の特徴量情報の少なくとも1つを時間軸上に配
列して、該配列の並びから動画像を識別するための第2
の固有識別情報を抽出するステップと、 前記第1の固有識別情報または前記第2の固有識別情報
と前記検索対象の動画像に基づいて準備された検索対象
の固有識別情報とを比較することによって、前記検索対
象の動画像から前記所定の動画像を検索するステップ
と、 を備えることを特徴とする動画像検索方法。 - 【請求項48】前記第2の特徴量情報を抽出するステッ
プは、さらに、前記圧縮された動画像データから各フレ
ームの動き補償情報を第2の特徴量情報として抽出する
ステップである、ことを特徴とする請求項47記載の動
画像検索方法。 - 【請求項49】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報を抽出するステップは、前記非圧
縮の動画像データから、各フレームのDCT(離散コサ
イン変換)係数を特徴量情報として抽出し、 前記第1の固有識別情報を抽出するステップは、前記第
1の特徴量情報の少なくとも1つを時間軸上に配列し
て、該配列の並びから動画像を識別するための固有識別
情報を抽出する、 ことを特徴とする請求項47または48記載の動画像検
索方法。 - 【請求項50】前記第1の特徴量情報を抽出するステッ
プは、さらに、前記非圧縮の動画像データから各フレー
ムの動き補償情報を特徴量情報として抽出するステップ
である、ことを特徴とする請求項49記載の動画像検索
方法。 - 【請求項51】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報を抽出するステップは、前記非圧
縮の動画像データからM×N(M及びNは自然数)画素
のブロック単位で動き補償情報を得、M’×N’(M’
及びN’は自然数)画素のブロック単位で平均色(R,
G,B)情報や平均輝度・色差(Y,Cb,Cr)情報
などの画素値情報を得て、これらを特徴量情報として抽
出し、 前記第1の固有識別情報を抽出するステップは、前記第
1の特徴量情報を抽出するステップで抽出された前記特
徴量情報の少なくとも1つを時間軸上に配列して、該配
列の並びから動画像を識別するための固有識別情報を抽
出する、 ことを特徴とする請求項47または48記載の動画像検
索方法。 - 【請求項52】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報を抽出するステップは、前記非圧
縮の動画像データからM×N(M及びNは自然数)画素
のブロック単位でDCT(離散コサイン変換)演算を行
って、DCT(離散コサイン変換)係数を特徴量情報と
して抽出し、 前記第1の固有識別情報を抽出するステップは、前記第
1の特徴量情報を抽出するステップで抽出された前記特
徴量情報の少なくとも1つを時間軸上に配列して、該配
列の並びから動画像を識別するための固有識別情報を抽
出する、 ことを特徴とする請求項47または48記載の動画像検
索方法。 - 【請求項53】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報を抽出するステップは、前記非圧
縮の動画像データから、M×N(M及びNは自然数)画
素のブロック単位で平均色(R,G,B)情報や平均輝
度・色差(Y,Cb,Cr)情報などの画素値情報を特
徴量情報として抽出し、 前記第1の固有識別情報を抽出するステップは、前記第
1の特徴量情報を抽出するステップで抽出された前記特
徴量情報の少なくとも1つを時間軸上に配列して、該配
列の並びから動画像を識別するための固有識別情報を抽
出する、 ことを特徴とする請求項47または48記載の動画像検
索方法。 - 【請求項54】検索対象の動画像から所定の動画像を検
索する動画像検索方法において、 所定の動画像が非圧縮の動画像データか、圧縮された動
画像データかを判定するステップと、 非圧縮の動画像データから各フレームの第1の特徴量情
報を抽出するステップと、 前記非圧縮の動画像データから動画像のカット点を検出
して、各カット点毎に前記所定の動画像を第1の複数の
ショットに分割するステップと、 前記第1の特徴量情報を抽出するステップで抽出された
前記特徴量情報に基づいて、前記分割された第1の各シ
ョット毎に動画像を識別するための第1の固有識別情報
を抽出するステップと、 圧縮された動画像データから各フレームのDCT(離散
コサイン変換)係数を第2の特徴量情報として抽出する
ステップと、 前記圧縮の動画像データから動画像のカット点を検出し
て、各カット点毎に前記所定の動画像を第2の複数のシ
ョットに分割するステップと、 前記第2の特徴量情報を抽出するステップで抽出された
前記特徴量情報の少なくとも1つを、前記分割された第
2の各ショット毎に時間軸上に配列して、該配列の並び
から動画像を識別するための第2の固有識別情報を抽出
するステップと、 前記第1の固有識別情報を抽出するステップまたは前記
第2の固有識別情報を抽出するステップで抽出された前
記第1または第2の固有識別情報と前記検索対象の動画
像に基づいて準備された検索対象の固有識別情報とを比
較することによって、前記検索対象の動画像から前記所
定の動画像を検索するステップと、 を備えることを特徴とする動画像検索方法。 - 【請求項55】前記第2の特徴量情報を抽出するステッ
プは、さらに、前記圧縮された動画像データから各フレ
ームの動き補償情報を第2の特徴量情報として抽出する
ステップである、ことを特徴とする請求項54記載の動
画像検索方法。 - 【請求項56】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報を抽出するステップは、前記非圧
縮の動画像データから、各フレームのDCT(離散コサ
イン変換)係数を特徴量情報として抽出し、 前記第1の固有識別情報を抽出するステップは、前記第
1の特徴量情報を抽出するステップで抽出された前記特
徴量情報の少なくとも1つを、 前記分割される第1の
各ショット毎に時間軸上に配列して、該配列の並びから
動画像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項54または55記載の動画像検
索方法。 - 【請求項57】前記第1の特徴量情報を抽出するステッ
プは、さらに、前記非圧縮の動画像データから動き補償
情報を特徴量情報として抽出する、 ことを特徴とする請求項56記載の動画像検索方法。 - 【請求項58】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報を抽出するステップは、前記非圧
縮の動画像データからM×N(M及びNは自然数)画素
のブロック単位で動き補償情報を得、M’×N’(M’
及びN’は自然数)画素のブロック単位で平均色(R,
G,B)情報や平均輝度・色差(Y,Cb,Cr)情報
などの画素値情報を得て、これらを特徴量情報として抽
出し、 前記第1の固有識別情報を抽出するステップは、前記第
1の特徴量情報を抽出するステップで抽出された前記特
徴量情報の少なくとも1つを、前記分割される第1の各
ショット毎に時間軸上に配列して、該配列の並びから動
画像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項54または55記載の動画像検
索方法。 - 【請求項59】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報を抽出するステップは、前記非圧
縮の動画像データからM×N(M及びNは自然数)画素
のブロック単位でDCT(離散コサイン変換)演算を行
って、DCT(離散コサイン変換)係数を特徴量情報と
して抽出し、 前記第1の固有識別情報を抽出するステップは、前記第
1の特徴量情報を抽出するステップで抽出された前記特
徴量情報の少なくとも1つを、前記分割される第1の各
ショット毎に時間軸上に配列して、該配列の並びから動
画像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項54または55記載の動画像検
索方法。 - 【請求項60】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報を抽出するステップは、前記非圧
縮の動画像データから、M×N(M及びNは自然数)画
素のブロック単位で平均色(R,G,B)情報や平均輝
度・色差(Y,Cb,Cr)情報などの画素値情報を特
徴量情報として抽出し、 前記第1の固有識別情報を抽出するステップは、前記第
1の特徴量情報を抽出するステップで抽出された前記特
徴量情報の少なくとも1つを、前記分割される第1の各
ショット毎に時間軸上に配列して、該配列の並びから動
画像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項54または55記載の動画像検
索方法。 - 【請求項61】さらに、前記固有識別情報を蓄積するス
テップを有することを特徴とする請求項33乃至60記
載の動画像検索方法。 - 【請求項62】さらに、検索の結果を蓄積するステップ
を有することを特徴とする請求項33乃至61記載の動
画像検索方法。 - 【請求項63】さらに、検索の結果を表示するステップ
を有することを特徴とする請求項32乃至62記載の動
画像検索方法。 - 【請求項64】所定の動画像から各フレームの特徴量情
報を抽出するステップと、 前記特徴量情報に基づいて、動画像を識別するための固
有識別情報を抽出するステップと、 前記固有識別情報と前記検索対象の動画像に基づいて準
備された検索対象の固有識別情報とを比較することによ
って、前記検索対象の動画像から前記所定の動画像を検
索するステップと、 を有する動画像検索方法をコンピュータで実行するため
の動画像検索プログラムを記録したコンピュータ読み取
り可能な記録媒体。 - 【請求項65】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記固有識別情報を抽出するステップは、前記特徴量情
報を抽出するステップで抽出された前記特徴量情報の少
なくとも1つを時間軸上に配列して、該配列の並びから
動画像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項64記載の記録媒体。 - 【請求項66】前記特徴量情報を抽出するステップは、
前記所定の動画像から、各フレームのDCT(離散コサ
イン変換)係数を特徴量情報として抽出し、 前記固有識別情報を抽出するステップは、前記特徴量情
報の少なくとも1つを時間軸上に配列して、該配列の並
びから動画像を識別するための固有識別情報を抽出す
る、 ことを特徴とする請求項64記載の記録媒体。 - 【請求項67】前記特徴量情報を抽出するステップは、
さらに、前記所定の動画像から動き補償情報を特徴量情
報として抽出する、 ことを特徴とする請求項66記載の記録媒体。 - 【請求項68】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記特徴量情報を抽出するステップは、前記非圧縮の動
画像データからM×N(M及びNは自然数)画素のブロ
ック単位で動き補償情報を得、M’×N’(M’及び
N’は自然数)画素のブロック単位で平均色(R,G,
B)情報や平均輝度・色差(Y,Cb,Cr)情報など
の画素値情報を得て、これらを特徴量情報として抽出
し、 前記固有識別情報を抽出するステップは、前記特徴量情
報を抽出するステップで抽出された前記特徴量情報の少
なくとも1つを時間軸上に配列して、該配列の並びから
動画像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項64記載の記録媒体。 - 【請求項69】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記特徴量情報を抽出するステップは、前記非圧縮の動
画像データからM×N(M及びNは自然数)画素のブロ
ック単位でDCT(離散コサイン変換)演算を行って、
DCT(離散コサイン変換)係数を特徴量情報として抽
出し、 前記固有識別情報を抽出するステップは、前記特徴量情
報を抽出するステップで抽出された前記特徴量情報の少
なくとも1つを時間軸上に配列して、該配列の並びから
動画像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項64記載の記録媒体。 - 【請求項70】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記特徴量情報を抽出するするステップは、前記非圧縮
の動画像データから、M×N(M及びNは自然数)画素
のブロック単位で平均色(R,G,B)情報や平均輝度
・色差(Y,Cb,Cr)情報などの画素値情報を特徴
量情報として抽出し、 前記固有識別情報を抽出するステップは、前記特徴量情
報を抽出するステップで抽出された前記特徴量情報の少
なくとも1つを時間軸上に配列して、該配列の並びから
動画像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項64記載の記録媒体。 - 【請求項71】所定の動画像から各フレームの特徴量情
報を抽出するステップと、 前記所定の動画像から動画像のカット点を検出して、各
カット点毎に前記検索対象の動画像を複数のショットに
分割するステップと、 前記特徴量情報に基づいて、各ショット毎に動画像を識
別するための固有識別情報を抽出するステップと、 前記固有識別情報と前記検索対象の動画像に基づいて準
備された検索対象の固有識別情報とを比較することによ
って、前記検索対象の動画像から前記所定の動画像を検
索するステップと、 を有する動画像検索方法をコンピュータで実行するため
の動画像検索プログラムを記録したコンピュータ読み取
り可能な記録媒体。 - 【請求項72】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記固有識別情報を抽出するステップは、前記特徴量情
報を抽出するステップで抽出された前記特徴量情報の少
なくとも1つを、前記分割される各ショット毎に時間軸
上に配列して、該配列の並びから動画像を識別するため
の固有識別情報を抽出する、 ことを特徴とする請求項71記載の記録媒体。 - 【請求項73】前記特徴量情報を抽出するステップは、
前記所定の動画像から、各フレームのDCT(離散コサ
イン変換)係数を特徴量情報として抽出し、 前記固有識別情報を抽出するステップは、前記特徴量情
報の少なくとも1つを、前記分割される各ショット毎に
時間軸上に配列して、該配列の並びから動画像を識別す
るための固有識別情報を抽出する、 ことを特徴とする請求項71記載の記録媒体。 - 【請求項74】前記特徴量情報を抽出するステップは、
さらに、前記所定の動画像から動き補償情報を特徴量情
報として抽出する、 ことを特徴とする請求項73記載の記録媒体。 - 【請求項75】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記特徴量情報を抽出するステップは、前記非圧縮の動
画像データからM×N(M及びNは自然数)画素のブロ
ック単位で動き補償情報を得、M’×N’(M’及び
N’は自然数)画素のブロック単位で平均色(R,G,
B)情報や平均輝度・色差(Y,Cb,Cr)情報など
の画素値情報を得て、これらを特徴量情報として抽出
し、 前記固有識別情報を抽出するステップは、前記特徴量情
報を抽出するステップで抽出された前記特徴量情報の少
なくとも1つを、前記分割される各ショット毎に時間軸
上に配列して、該配列の並びから動画像を識別するため
の固有識別情報を抽出する、 ことを特徴とする請求項71記載の記録媒体。 - 【請求項76】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記特徴量情報を抽出するステップは、前記非圧縮の動
画像データからM×N(M及びNは自然数)画素のブロ
ック単位でDCT(離散コサイン変換)演算を行って、
DCT(離散コサイン変換)係数を特徴量情報として抽
出し、 前記固有識別情報を抽出するステップは、前記特徴量情
報を抽出するステップで抽出された前記特徴量情報の少
なくとも1つを、前記分割される各ショット毎に時間軸
上に配列して、該配列の並びから動画像を識別するため
の固有識別情報を抽出する、 ことを特徴とする請求項71記載の記録媒体。 - 【請求項77】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記特徴量情報を抽出するステップは、前記非圧縮の動
画像データから、M×N(M及びNは自然数)画素のブ
ロック単位で平均色(R,G,B)情報や平均輝度・色
差(Y,Cb,Cr)情報などの画素値情報を特徴量情
報として抽出し、 前記固有識別情報を抽出するステップは、前記特徴量情
報を抽出するステップで抽出された前記特徴量情報の少
なくとも1つを、前記分割される各ショット毎に時間軸
上に配列して、該配列の並びから動画像を識別するため
の固有識別情報を抽出する、 ことを特徴とする請求項71記載の記録媒体。 - 【請求項78】所定の動画像が非圧縮の動画像データ
か、圧縮された動画像データかを判定するステップと、 非圧縮の動画像データから各フレームの第1の特徴量情
報を抽出するステップと、 前記第1の特徴量情報の少なくとも1つを時間軸上に配
列して、該配列の並びから動画像を識別するための第1
の固有識別情報を抽出するステップと、 圧縮された動画像データから各フレームのDCT(離散
コサイン変換)係数を第2の特徴量情報として抽出する
ステップと、 前記第2の特徴量情報の少なくとも1つを時間軸上に配
列して、該配列の並びから動画像を識別するための第2
の固有識別情報を抽出するステップと、 前記第1の固有識別情報または前記第2の固有識別情報
と前記検索対象の動画像に基づいて準備された検索対象
の固有識別情報とを比較することによって、前記検索対
象の動画像から前記所定の動画像を検索するステップ
と、 を有する動画像検索方法をコンピュータで実行するため
の動画像検索プログラムを記録したコンピュータ読み取
り可能な記録媒体。 - 【請求項79】前記第2の特徴量情報を抽出するステッ
プは、さらに、前記圧縮された動画像データから各フレ
ームの動き補償情報を第2の特徴量情報として抽出する
ステップである、ことを特徴とする請求項78記載の記
録媒体。 - 【請求項80】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報を抽出するステップは、前記非圧
縮の動画像データから、各フレームのDCT(離散コサ
イン変換)係数を特徴量情報として抽出し、 前記第1の固有識別情報を抽出するステップは、前記第
1の特徴量情報の少なくとも1つを時間軸上に配列し
て、該配列の並びから動画像を識別するための固有識別
情報を抽出する、 ことを特徴とする請求項78または79記載の記録媒
体。 - 【請求項81】前記第1の特徴量情報を抽出するステッ
プは、さらに、前記非圧縮の動画像データから各フレー
ムの動き補償情報を特徴量情報として抽出するステップ
である、ことを特徴とする請求項80記載の記録媒体。 - 【請求項82】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報を抽出するステップは、前記非圧
縮の動画像データからM×N(M及びNは自然数)画素
のブロック単位で動き補償情報を得、M’×N’(M’
及びN’は自然数)画素のブロック単位で平均色(R,
G,B)情報や平均輝度・色差(Y,Cb,Cr)情報
などの画素値情報を得て、これらを特徴量情報として抽
出し、 前記第1の固有識別情報を抽出するステップは、前記第
1の特徴量情報を抽出するステップで抽出された前記特
徴量情報の少なくとも1つを時間軸上に配列して、該配
列の並びから動画像を識別するための固有識別情報を抽
出する、 ことを特徴とする請求項78または79記載の記録媒
体。 - 【請求項83】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報を抽出するステップは、前記非圧
縮の動画像データからM×N(M及びNは自然数)画素
のブロック単位でDCT(離散コサイン変換)演算を行
って、DCT(離散コサイン変換)係数を特徴量情報と
して抽出し、 前記第1の固有識別情報を抽出するステップは、前記第
1の特徴量情報を抽出するステップで抽出された前記特
徴量情報の少なくとも1つを時間軸上に配列して、該配
列の並びから動画像を識別するための固有識別情報を抽
出する、 ことを特徴とする請求項78または79記載の記録媒
体。 - 【請求項84】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報を抽出するステップは、前記非圧
縮の動画像データから、M×N(M及びNは自然数)画
素のブロック単位で平均色(R,G,B)情報や平均輝
度・色差(Y,Cb,Cr)情報などの画素値情報を特
徴量情報として抽出し、 前記第1の固有識別情報を抽出するステップは、前記第
1の特徴量情報を抽出するステップで抽出された前記特
徴量情報の少なくとも1つを時間軸上に配列して、該配
列の並びから動画像を識別するための固有識別情報を抽
出する、 ことを特徴とする請求項78または79記載の記録媒
体。 - 【請求項85】所定の動画像が非圧縮の動画像データ
か、圧縮された動画像データかを判定するステップと、 非圧縮の動画像データから各フレームの第1の特徴量情
報を抽出するステップと、 前記非圧縮の動画像データから動画像のカット点を検出
して、各カット点毎に前記検索対象の動画像を第1の複
数のショットに分割するステップと、 前記第1の特徴量情報を抽出するステップで抽出された
前記特徴量情報に基づいて、前記分割された第1の各シ
ョット毎に動画像を識別するための第1の固有識別情報
を抽出するステップと、 圧縮された動画像データから各フレームのDCT(離散
コサイン変換)係数を第2の特徴量情報として抽出する
ステップと、 前記圧縮の動画像データから動画像のカット点を検出し
て、各カット点毎に前記所定の動画像を第2の複数のシ
ョットに分割するステップと、 前記第2の特徴量情報を抽出するステップで抽出された
前記特徴量情報の少なくとも1つを、前記分割された第
2の各ショット毎に時間軸上に配列して、該配列の並び
から動画像を識別するための第2の固有識別情報を抽出
するステップと、 前記第1の固有識別情報を抽出するステップまたは前記
第2の固有識別情報を抽出するステップで抽出された前
記第1または第2の固有識別情報と前記検索対象の動画
像に基づいて準備された検索対象の固有識別情報とを比
較することによって、前記検索対象の動画像から前記所
定の動画像を検索するステップと、 を有する動画像検索方法をコンピュータで実行するため
の動画像検索プログラムを記録したコンピュータ読み取
り可能な記録媒体。 - 【請求項86】前記第2の特徴量情報を抽出するステッ
プは、さらに、前記圧縮された動画像データから各フレ
ームの動き補償情報を第2の特徴量情報として抽出する
ステップである、ことを特徴とする請求項85記載の記
録媒体。 - 【請求項87】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報を抽出するステップは、前記非圧
縮の動画像データから、各フレームのDCT(離散コサ
イン変換)係数を特徴量情報として抽出し、 前記第1の固有識別情報を抽出するステップは、前記第
1の特徴量情報を抽出するステップで抽出された前記特
徴量情報の少なくとも1つを、 前記分割される第1の
各ショット毎に時間軸上に配列して、該配列の並びから
動画像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項85または86記載の記録媒
体。 - 【請求項88】前記第1の特徴量情報を抽出するステッ
プは、さらに、前記非圧縮の動画像データから動き補償
情報を特徴量情報として抽出する、 ことを特徴とする請求項87記載の記録媒体。 - 【請求項89】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報を抽出するステップは、前記非圧
縮の動画像データからM×N(M及びNは自然数)画素
のブロック単位で動き補償情報を得、M’×N’(M’
及びN’は自然数)画素のブロック単位で平均色(R,
G,B)情報や平均輝度・色差(Y,Cb,Cr)情報
などの画素値情報を得て、これらを特徴量情報として抽
出し、 前記第1の固有識別情報を抽出するステップは、前記第
1の特徴量情報を抽出するステップで抽出された前記特
徴量情報の少なくとも1つを、前記分割される第1の各
ショット毎に時間軸上に配列して、該配列の並びから動
画像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項85または86記載の記録媒
体。 - 【請求項90】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報を抽出するステップは、前記非圧
縮の動画像データからM×N(M及びNは自然数)画素
のブロック単位でDCT(離散コサイン変換)演算を行
って、DCT(離散コサイン変換)係数を特徴量情報と
して抽出し、 前記第1の固有識別情報を抽出するステップは、前記第
1の特徴量情報を抽出するステップで抽出された前記特
徴量情報の少なくとも1つを、前記分割される第1の各
ショット毎に時間軸上に配列して、該配列の並びから動
画像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項85または86記載の記録媒
体。 - 【請求項91】前記所定の動画像は、非圧縮の動画像デ
ータであり、 前記第1の特徴量情報を抽出するステップは、前記非圧
縮の動画像データから、M×N(M及びNは自然数)画
素のブロック単位で平均色(R,G,B)情報や平均輝
度・色差(Y,Cb,Cr)情報などの画素値情報を特
徴量情報として抽出し、 前記第1の固有識別情報を抽出するステップは、前記第
1の特徴量情報を抽出するステップで抽出された前記特
徴量情報の少なくとも1つを、前記分割される第1の各
ショット毎に時間軸上に配列して、該配列の並びから動
画像を識別するための固有識別情報を抽出する、 ことを特徴とする請求項85または86記載の記録媒
体。 - 【請求項92】さらに、前記固有識別情報を蓄積するス
テップを有することを特徴とする請求項64乃至91記
載の記録媒体。 - 【請求項93】さらに、検索の結果を蓄積するステップ
を有することを特徴とする請求項64乃至92記載の記
録媒体。 - 【請求項94】さらに、検索の結果を表示するステップ
を有することを特徴とする請求項64乃至93記載の記
録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29485099A JP2000194727A (ja) | 1998-10-23 | 1999-10-18 | 動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10-319890 | 1998-10-23 | ||
JP31989098 | 1998-10-23 | ||
JP29485099A JP2000194727A (ja) | 1998-10-23 | 1999-10-18 | 動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010049058A Division JP5116788B2 (ja) | 1998-10-23 | 2010-03-05 | 動画像検索装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000194727A true JP2000194727A (ja) | 2000-07-14 |
JP2000194727A5 JP2000194727A5 (ja) | 2008-04-10 |
Family
ID=26560015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29485099A Pending JP2000194727A (ja) | 1998-10-23 | 1999-10-18 | 動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000194727A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002082985A (ja) * | 2000-09-06 | 2002-03-22 | Nec Corp | 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体 |
JP2002152617A (ja) * | 2000-11-13 | 2002-05-24 | Fuji Television Network Inc | Cm挿入位置検出方法、及びホームサーバ |
JP2002262225A (ja) * | 2001-03-01 | 2002-09-13 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ仲介装置およびコンテンツ仲介処理方法 |
JP2008166914A (ja) * | 2006-12-27 | 2008-07-17 | Internatl Business Mach Corp <Ibm> | コンテンツのデータ・ストリームとメタデータを同期するための方法および装置。 |
JP2009535920A (ja) * | 2006-04-28 | 2009-10-01 | ボバイル インコーポレイテッド | 多重解像度、複数のフレームレートの空間及び時間域特徴に基づきデジタルビデオオブジェクトのフィンガープリンティング方法とシステム |
WO2010084738A1 (ja) | 2009-01-23 | 2010-07-29 | 日本電気株式会社 | 照合加重情報抽出装置 |
WO2010084739A1 (ja) | 2009-01-23 | 2010-07-29 | 日本電気株式会社 | 映像識別子抽出装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07114567A (ja) * | 1993-10-20 | 1995-05-02 | Hitachi Ltd | ビデオの検索方法および装置 |
JPH07236153A (ja) * | 1994-02-22 | 1995-09-05 | Kokusai Denshin Denwa Co Ltd <Kdd> | 動画像のカット点検出およびカット画面グループ検出装置 |
WO1997040454A1 (en) * | 1996-04-25 | 1997-10-30 | Philips Electronics N.V. | Video retrieval of mpeg compressed sequences using dc and motion signatures |
-
1999
- 1999-10-18 JP JP29485099A patent/JP2000194727A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07114567A (ja) * | 1993-10-20 | 1995-05-02 | Hitachi Ltd | ビデオの検索方法および装置 |
JPH07236153A (ja) * | 1994-02-22 | 1995-09-05 | Kokusai Denshin Denwa Co Ltd <Kdd> | 動画像のカット点検出およびカット画面グループ検出装置 |
WO1997040454A1 (en) * | 1996-04-25 | 1997-10-30 | Philips Electronics N.V. | Video retrieval of mpeg compressed sequences using dc and motion signatures |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002082985A (ja) * | 2000-09-06 | 2002-03-22 | Nec Corp | 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体 |
US7400765B2 (en) | 2000-09-06 | 2008-07-15 | Nec Corporation | Picture retrieving apparatus and method which converts orthogonal transform coefficients into color histogram data |
US7457460B2 (en) | 2000-09-06 | 2008-11-25 | Nec Corporation | Picture retrieving apparatus and method which converts orthogonal transform coefficients into color histogram data |
JP2002152617A (ja) * | 2000-11-13 | 2002-05-24 | Fuji Television Network Inc | Cm挿入位置検出方法、及びホームサーバ |
JP2002262225A (ja) * | 2001-03-01 | 2002-09-13 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ仲介装置およびコンテンツ仲介処理方法 |
JP2009535920A (ja) * | 2006-04-28 | 2009-10-01 | ボバイル インコーポレイテッド | 多重解像度、複数のフレームレートの空間及び時間域特徴に基づきデジタルビデオオブジェクトのフィンガープリンティング方法とシステム |
JP2008166914A (ja) * | 2006-12-27 | 2008-07-17 | Internatl Business Mach Corp <Ibm> | コンテンツのデータ・ストリームとメタデータを同期するための方法および装置。 |
US8838594B2 (en) | 2006-12-27 | 2014-09-16 | International Business Machines Corporation | Automatic method to synchronize the time-line of video with audio feature quantity |
WO2010084739A1 (ja) | 2009-01-23 | 2010-07-29 | 日本電気株式会社 | 映像識別子抽出装置 |
JP4725690B2 (ja) * | 2009-01-23 | 2011-07-13 | 日本電気株式会社 | 映像識別子抽出装置 |
US20110274317A1 (en) * | 2009-01-23 | 2011-11-10 | Nec Corporation | Matching weight information extraction device |
CN102292724A (zh) * | 2009-01-23 | 2011-12-21 | 日本电气株式会社 | 匹配加权信息提取装置 |
US8335251B2 (en) | 2009-01-23 | 2012-12-18 | Nec Corporation | Video signature extraction device |
KR101347933B1 (ko) * | 2009-01-23 | 2014-01-07 | 닛본 덴끼 가부시끼가이샤 | 대조 가중 정보 추출 장치 |
WO2010084738A1 (ja) | 2009-01-23 | 2010-07-29 | 日本電気株式会社 | 照合加重情報抽出装置 |
US8873799B2 (en) | 2009-01-23 | 2014-10-28 | Nec Corporation | Matching weight information extraction device |
JP5644505B2 (ja) * | 2009-01-23 | 2014-12-24 | 日本電気株式会社 | 照合加重情報抽出装置 |
CN102292724B (zh) * | 2009-01-23 | 2015-06-17 | 日本电气株式会社 | 匹配加权信息提取装置 |
US9118889B2 (en) | 2009-01-23 | 2015-08-25 | Nec Corporation | Video signature extraction device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5116788B2 (ja) | 動画像検索装置 | |
US6400763B1 (en) | Compression system which re-uses prior motion vectors | |
US7003038B2 (en) | Activity descriptor for video sequences | |
EP1211644B1 (en) | Method for describing motion activity in video | |
US6058210A (en) | Using encoding cost data for segmentation of compressed image sequences | |
KR100865248B1 (ko) | 비디오 신호에서의 자막 검출 | |
JP2000224590A (ja) | ビデオシ―ケンスの特徴抽出方法 | |
JP2000217121A (ja) | ディジタル画像表示のビデオデ―タを圧縮した形で処理してシ―ン変化を検出する方法 | |
JP2008505562A (ja) | Mpegビデオストリーム内の動きを検出する方法及び装置 | |
dos Santos et al. | CV-C3D: action recognition on compressed videos with convolutional 3d networks | |
dos Santos et al. | Faster and accurate compressed video action recognition straight from the frequency domain | |
EP1480170A1 (en) | Method and apparatus for processing images | |
JP2000194727A (ja) | 動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体 | |
US6690825B1 (en) | Image processing apparatus and method | |
JP2001506101A (ja) | 輪郭線中心(Contour―Based)移動推定用システムおよび方法 | |
JPWO2010084738A1 (ja) | 照合加重情報抽出装置 | |
CN111542858B (zh) | 动态图像解析装置、系统、方法、以及存储介质 | |
JPH07236153A (ja) | 動画像のカット点検出およびカット画面グループ検出装置 | |
Latecki et al. | Extraction of key frames from videos by optimal color composition matching and polygon simplification | |
CN112714336B (zh) | 视频分割方法和装置、电子设备、计算机可读存储介质 | |
JP4154459B2 (ja) | デジタル映像処理方法及びその装置 | |
JPH05236458A (ja) | 動画像処理装置 | |
Yu et al. | Computational similarity based on chromatic barycenter algorithm | |
JP3407872B2 (ja) | 付加情報検出方法及び装置 | |
KR100304370B1 (ko) | 억제 색 히스토그램을 이용한 객체의 대표색과 그의 부가정보추출, 색인화 및 검색 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040513 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040517 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040827 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040827 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051017 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20051017 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060301 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090210 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090602 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090730 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091208 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100305 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100323 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20100528 |