JP2000339474A - 動画像類似度算出装置および方法 - Google Patents
動画像類似度算出装置および方法Info
- Publication number
- JP2000339474A JP2000339474A JP11148286A JP14828699A JP2000339474A JP 2000339474 A JP2000339474 A JP 2000339474A JP 11148286 A JP11148286 A JP 11148286A JP 14828699 A JP14828699 A JP 14828699A JP 2000339474 A JP2000339474 A JP 2000339474A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- feature amount
- image feature
- query
- search target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7328—Query by example, e.g. a complete video frame or video sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Television Systems (AREA)
Abstract
(57)【要約】
【課題】 特徴量を抽出する時間位置が可変時間間隔で
ある場合に正確な類似度を算出する。データベースの規
模を縮小する。異なるフレームレートを持つ動画像の特
徴量を比較する場合に正確な類似度を算出する。 【解決手段】 問合せ動画像データの特徴量と被検索動
画像区間の特徴量とにより、特徴量を持つ静止画像の時
間間隔を統一する。また、可変間隔で特徴量を抽出する
ことによりデータベースの規模を縮小する。
ある場合に正確な類似度を算出する。データベースの規
模を縮小する。異なるフレームレートを持つ動画像の特
徴量を比較する場合に正確な類似度を算出する。 【解決手段】 問合せ動画像データの特徴量と被検索動
画像区間の特徴量とにより、特徴量を持つ静止画像の時
間間隔を統一する。また、可変間隔で特徴量を抽出する
ことによりデータベースの規模を縮小する。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像類似度算出
装置および方法に関し、特に動画像の特徴を用いた検索
を行う際に比較対象となる動画像特徴量におけるフレー
ムの時間間隔が双方で異なる場合に動画像特徴量を変換
する動画像特徴量修正手段に関する。
装置および方法に関し、特に動画像の特徴を用いた検索
を行う際に比較対象となる動画像特徴量におけるフレー
ムの時間間隔が双方で異なる場合に動画像特徴量を変換
する動画像特徴量修正手段に関する。
【０００２】
【従来の技術】従来、画像の持つ特徴を利用した動画像
類似度算出装置および方法は一般に、蓄積された動画像
の中からその一部分の類似度を算出するために適用され
る。
類似度算出装置および方法は一般に、蓄積された動画像
の中からその一部分の類似度を算出するために適用され
る。
【０００３】従来の動画像類似度算出装置の一例が、特
願平１１−００１５０７号（本願出願時に未公開）に記
載されている。図７は従来の動画像類似度算出装置の要
部ブロック構成を示す図である。図７に示すように、こ
の従来の装置において、動画像特徴量生成手段１３は問
合せ動画像データ１２からの動画像特徴量を生成する装
置で、どの時間における静止画像を特徴量抽出の対象と
して選択すべきかを指示する問合せ時間情報１１に従っ
て指定された時間に相当する静止画像特徴量の集合とし
て問合せ動画像特徴量１４を出力する。
願平１１−００１５０７号（本願出願時に未公開）に記
載されている。図７は従来の動画像類似度算出装置の要
部ブロック構成を示す図である。図７に示すように、こ
の従来の装置において、動画像特徴量生成手段１３は問
合せ動画像データ１２からの動画像特徴量を生成する装
置で、どの時間における静止画像を特徴量抽出の対象と
して選択すべきかを指示する問合せ時間情報１１に従っ
て指定された時間に相当する静止画像特徴量の集合とし
て問合せ動画像特徴量１４を出力する。
【０００４】一方、動画像データベース２１には予め同
様の手法により生成した被検索動画像区間の特徴量であ
る被検索対象動画像特徴量２３が記憶されており、動画
像特徴量類似度算出手段４１は、被検索対象動画像特徴
量２３と問合せ動画像特徴量１４とを比較し両者の類似
度４２を算出する。問合せ時間情報１１の与え方として
は、圧縮された動画像のフレーム内符号化フレームにお
ける時間位置、ショットの先頭フレームにおける時間位
置等を利用している。
様の手法により生成した被検索動画像区間の特徴量であ
る被検索対象動画像特徴量２３が記憶されており、動画
像特徴量類似度算出手段４１は、被検索対象動画像特徴
量２３と問合せ動画像特徴量１４とを比較し両者の類似
度４２を算出する。問合せ時間情報１１の与え方として
は、圧縮された動画像のフレーム内符号化フレームにお
ける時間位置、ショットの先頭フレームにおける時間位
置等を利用している。
【０００５】
【発明が解決しようとする課題】しかしながら、上述し
た従来の装置では、次のような問題がある。
た従来の装置では、次のような問題がある。
【０００６】第一の問題点は，特徴量を抽出する時間位
置が可変時間間隔である場合に正確な類似度の算出がで
きないことである。
置が可変時間間隔である場合に正確な類似度の算出がで
きないことである。
【０００７】従来の動画像類似度算出装置では各静止画
像特徴量の時間的順序の組合せのみを利用し検索を行
う。このため、比較対象となる二つの動画像特徴量間の
抽出フレーム間隔の差は考慮されていない。
像特徴量の時間的順序の組合せのみを利用し検索を行
う。このため、比較対象となる二つの動画像特徴量間の
抽出フレーム間隔の差は考慮されていない。
【０００８】第二の問題点は、動画像中の静止画像を固
定間隔で選抜することにより第一の問題点に対処する場
合には、同一フレームレートを持つ動画像データを対象
にした場合には対応するが、高いフレームレートでは選
抜する静止画像の数が膨大になるため、データベースの
規模が大きくなることである。
定間隔で選抜することにより第一の問題点に対処する場
合には、同一フレームレートを持つ動画像データを対象
にした場合には対応するが、高いフレームレートでは選
抜する静止画像の数が膨大になるため、データベースの
規模が大きくなることである。
【０００９】第三の問題点は、異なるフレームレートを
持つ動画像の特徴量を比較する場合に正確な類似度の算
出ができないことである。
持つ動画像の特徴量を比較する場合に正確な類似度の算
出ができないことである。
【００１０】例えば、放送のフォーマットとしてＮＴＳ
Ｃ、ＰＡＬ、ＳＥＣＡＭ等が存在するが、伝送フレーム
レートは５０Ｈｚ、６０Ｈｚと異なる。このように異な
るフレームレートを持つ動画像の特徴量を比較する場合
には、双方でサンプル位置が異なるために正確な類似度
算出ができない。
Ｃ、ＰＡＬ、ＳＥＣＡＭ等が存在するが、伝送フレーム
レートは５０Ｈｚ、６０Ｈｚと異なる。このように異な
るフレームレートを持つ動画像の特徴量を比較する場合
には、双方でサンプル位置が異なるために正確な類似度
算出ができない。
【００１１】本発明は、このような背景に行われたもの
であって、本発明の第一の目的は、特徴量を抽出する時
間位置が可変時間間隔である場合に正確な類似度が算出
できる動画像特徴量算出装置を提供することである。
であって、本発明の第一の目的は、特徴量を抽出する時
間位置が可変時間間隔である場合に正確な類似度が算出
できる動画像特徴量算出装置を提供することである。
【００１２】本発明の第二の目的は、データベースの規
模を縮小する動画像類似度算出装置を提供することにあ
る。
模を縮小する動画像類似度算出装置を提供することにあ
る。
【００１３】本発明の第三の目的は、異なるフレームレ
ートを持つ動画像の特徴量を比較する場合に正確な類似
度が算出できる動画像特徴量算出装置を提供することで
ある。
ートを持つ動画像の特徴量を比較する場合に正確な類似
度が算出できる動画像特徴量算出装置を提供することで
ある。
【００１４】
【課題を解決するための手段】本発明の第一の動画像類
似度算出装置は、入力された問合せ時間情報とデータベ
ースに含まれる被検索動画像区間の時間位置情報とを参
照して被検索動画像区間の動画像特徴量を問合せ時間情
報にあわせた特徴量に変換する動画像特徴量修正手段
（図１の２４）を有することを特徴とする。
似度算出装置は、入力された問合せ時間情報とデータベ
ースに含まれる被検索動画像区間の時間位置情報とを参
照して被検索動画像区間の動画像特徴量を問合せ時間情
報にあわせた特徴量に変換する動画像特徴量修正手段
（図１の２４）を有することを特徴とする。
【００１５】また、本発明の第二の動画像類似度算出装
置は、入力された問合せ時間情報とデータベースに含ま
れる被検索動画像区間の時間位置情報とを参照して問合
せ動画像特徴量を被検索動画像区間の時間位置情報にあ
わせた特徴量に変換する動画像特徴量修正手段（図２の
１５）を有することを特徴とする。
置は、入力された問合せ時間情報とデータベースに含ま
れる被検索動画像区間の時間位置情報とを参照して問合
せ動画像特徴量を被検索動画像区間の時間位置情報にあ
わせた特徴量に変換する動画像特徴量修正手段（図２の
１５）を有することを特徴とする。
【００１６】また、本発明の第三の動画像類似度算出装
置は、入力として与える修正用時間情報と入力された問
合せ時間情報とを参照して問合せ動画像特徴量を前記修
正用時間情報にあわせた特徴量に変換する動画像特徴量
修正手段（図３の５５）と、前記修正用時間情報とデー
タベースに含まれる被検索動画像区間の時間位置情報と
を参照して被検索動画像区間の動画像特徴量を前記修正
用時間情報にあわせた特徴量に変換する動画像特徴量修
正手段（図３の５６）を有することを特徴とする。
置は、入力として与える修正用時間情報と入力された問
合せ時間情報とを参照して問合せ動画像特徴量を前記修
正用時間情報にあわせた特徴量に変換する動画像特徴量
修正手段（図３の５５）と、前記修正用時間情報とデー
タベースに含まれる被検索動画像区間の時間位置情報と
を参照して被検索動画像区間の動画像特徴量を前記修正
用時間情報にあわせた特徴量に変換する動画像特徴量修
正手段（図３の５６）を有することを特徴とする。
【００１７】また、本発明の第四の動画像類似度算出装
置は、入力された問合せ時間情報とデータベースに含ま
れる被検索動画像区間の時間位置情報とを参照して修正
用時間情報を生成する時間情報生成手段（図４の３１）
と、前記修正用時間情報と問合せ時間情報とを参照して
問合せ動画像特徴量を前記修正用時間情報にあわせた特
徴量に変換する動画像特徴量修正手段（図４の５５）
と、前記修正用時間情報と前記データベースに含まれる
被検索動画像区間の時間位置情報とを参照して被検索動
画像区間の動画像特徴量を前記生成された時間情報にあ
わせた特徴量に変換する動画像特徴量修正手段（図４の
５６）とを有することを特徴とする。
置は、入力された問合せ時間情報とデータベースに含ま
れる被検索動画像区間の時間位置情報とを参照して修正
用時間情報を生成する時間情報生成手段（図４の３１）
と、前記修正用時間情報と問合せ時間情報とを参照して
問合せ動画像特徴量を前記修正用時間情報にあわせた特
徴量に変換する動画像特徴量修正手段（図４の５５）
と、前記修正用時間情報と前記データベースに含まれる
被検索動画像区間の時間位置情報とを参照して被検索動
画像区間の動画像特徴量を前記生成された時間情報にあ
わせた特徴量に変換する動画像特徴量修正手段（図４の
５６）とを有することを特徴とする。
【００１８】このような構成を採用し、問合せ動画像デ
ータの特徴量と被検索動画像区間の特徴量とにより、特
徴量を持つ静止画像の時間間隔を統一するので、本発明
の第一および第三の目的を達成することができる。ま
た、可変間隔で特徴量を抽出することにより選抜する静
止画像を選択できるようになる。この結果としてデータ
ベースの規模を縮小できるため、本発明の第二の目的を
達成することができる。
ータの特徴量と被検索動画像区間の特徴量とにより、特
徴量を持つ静止画像の時間間隔を統一するので、本発明
の第一および第三の目的を達成することができる。ま
た、可変間隔で特徴量を抽出することにより選抜する静
止画像を選択できるようになる。この結果としてデータ
ベースの規模を縮小できるため、本発明の第二の目的を
達成することができる。
【００１９】
【発明の実施の形態】（第一実施例）本発明第一実施例
の動画像類似度算出装置の構成を図１を参照して説明す
る。図１は本発明第一実施例の動画像類似度算出装置の
要部ブロック構成図である。
の動画像類似度算出装置の構成を図１を参照して説明す
る。図１は本発明第一実施例の動画像類似度算出装置の
要部ブロック構成図である。
【００２０】本発明第一実施例の動画像類似度算出装置
は、図１に示すように、入力された問合せ時間情報１１
によって特徴量抽出の時間位置指定を行い問合せ動画像
データ１２から問合せ動画像特徴量を生成する動画像特
徴量生成手段１３と、被検索動画像から予め生成した動
画像特徴量２３と被検索対象動画像から特徴量抽出を行
う時間位置情報２２とを共に記憶している動画像データ
ベース２１と、被検索対象動画像の時間位置情報２２を
参照しながら問合せ時間情報１１にあわせて被検索対象
動画像の動画像特徴量２３を修正する動画像特徴量修正
手段２４と、前記修正された被検索対象動画像の動画像
特徴量２５と問合せ動画像特徴量１４とを比較し両者の
類似度を算出する動画像特徴量類似度算出手段４１とを
備えることを特徴とする。
は、図１に示すように、入力された問合せ時間情報１１
によって特徴量抽出の時間位置指定を行い問合せ動画像
データ１２から問合せ動画像特徴量を生成する動画像特
徴量生成手段１３と、被検索動画像から予め生成した動
画像特徴量２３と被検索対象動画像から特徴量抽出を行
う時間位置情報２２とを共に記憶している動画像データ
ベース２１と、被検索対象動画像の時間位置情報２２を
参照しながら問合せ時間情報１１にあわせて被検索対象
動画像の動画像特徴量２３を修正する動画像特徴量修正
手段２４と、前記修正された被検索対象動画像の動画像
特徴量２５と問合せ動画像特徴量１４とを比較し両者の
類似度を算出する動画像特徴量類似度算出手段４１とを
備えることを特徴とする。
【００２１】本発明第一実施例の動画像類似度算出装置
の動作を図１を参照して説明する。図１に示した本発明
第一実施例の動画像類似度算出装置は、図７に示した従
来の動画像類似度算出装置の構成に加え、動画像特徴量
修正手段２４を有する点で異なる。
の動作を図１を参照して説明する。図１に示した本発明
第一実施例の動画像類似度算出装置は、図７に示した従
来の動画像類似度算出装置の構成に加え、動画像特徴量
修正手段２４を有する点で異なる。
【００２２】動画像特徴量修正手段２４は、特徴量を抽
出する時間位置を指定する問合せ時間情報１１と動画像
データベース２１に含まれる被検索動画像区間の時間位
置情報２２とを参照して被検索対象動画像特徴量２３を
問合せ時間情報１１にあわせた修正された被検索対象動
画像特徴量２３に変換する。動画像特徴量類似度算出手
段４１は、修正された被検索対象動画像特徴量２５と問
合せ動画像特徴量１４を比較し両者の類似度を算出す
る。
出する時間位置を指定する問合せ時間情報１１と動画像
データベース２１に含まれる被検索動画像区間の時間位
置情報２２とを参照して被検索対象動画像特徴量２３を
問合せ時間情報１１にあわせた修正された被検索対象動
画像特徴量２３に変換する。動画像特徴量類似度算出手
段４１は、修正された被検索対象動画像特徴量２５と問
合せ動画像特徴量１４を比較し両者の類似度を算出す
る。
【００２３】ここで、動画像特徴量修正手段２４の動作
を詳細に説明する。動画像特徴量修正手段２４は、与え
られた時間情報にあわせて入力された動画像特徴量を修
正する手段であり、基準となる時間情報として与えられ
た問合せ時間情報１１と、動画像データベース２１に含
まれる被検索動画像区間の時間位置情報２２とを参照
し、被検索対象動画像特徴量２３を修正する。すなわ
ち、動画像特徴量修正手段２４は、与えられた基準とな
る時間位置に対して被検索動画像区間のフレーム特徴量
が存在しない場合には同時間位置に特徴量を補間する。
特徴量の補間方法としては、時間位置が近傍に存在する
特徴量をそのまま補間する方法、前記時間位置の前後の
特徴量の平均をとり補間する方法、前記時間位置の近傍
に存在するフレームとの時間距離に基づいた重み付けを
特徴量に対して行い補間する方法などの適用が可能であ
る。
を詳細に説明する。動画像特徴量修正手段２４は、与え
られた時間情報にあわせて入力された動画像特徴量を修
正する手段であり、基準となる時間情報として与えられ
た問合せ時間情報１１と、動画像データベース２１に含
まれる被検索動画像区間の時間位置情報２２とを参照
し、被検索対象動画像特徴量２３を修正する。すなわ
ち、動画像特徴量修正手段２４は、与えられた基準とな
る時間位置に対して被検索動画像区間のフレーム特徴量
が存在しない場合には同時間位置に特徴量を補間する。
特徴量の補間方法としては、時間位置が近傍に存在する
特徴量をそのまま補間する方法、前記時間位置の前後の
特徴量の平均をとり補間する方法、前記時間位置の近傍
に存在するフレームとの時間距離に基づいた重み付けを
特徴量に対して行い補間する方法などの適用が可能であ
る。
【００２４】次に、図５を参照して本実施実施例におけ
る動画像特徴量修正例について詳細に説明する。図５は
本発明実施例の動画像特徴量修正例を説明するための図
である。図５の修正された被検索対象動画像特徴量Ａ
は、問合せ時間位置にあわせて被検索対象動画像特徴量
を補間する際に、時間位置が前方に存在する最寄りの特
徴量をそのまま修正された被検索対象動画像特徴量とす
る例である。また、図５の修正された被検索対象動画像
特徴量Ｂは、問合せ時間位置にあわせて被検索対象動画
像特徴量を補間する際に、時間位置が後方に存在する最
寄りの特徴量をそのまま修正された被検索対象動画像特
徴量とする例である。また、図５の修正された被検索対
象動画像特徴量Ｃは前記時間位置の前後の特徴量を利用
して特徴量を補間する例である。図５の修正された被検
索対象動画像特徴量Ｃとしては、被検索動画像特徴量の
平均をとる方法、または前記時間位置の近傍に存在する
フレームとの時間距離に基づいた重み付け平均を利用す
る方法などが可能である。
る動画像特徴量修正例について詳細に説明する。図５は
本発明実施例の動画像特徴量修正例を説明するための図
である。図５の修正された被検索対象動画像特徴量Ａ
は、問合せ時間位置にあわせて被検索対象動画像特徴量
を補間する際に、時間位置が前方に存在する最寄りの特
徴量をそのまま修正された被検索対象動画像特徴量とす
る例である。また、図５の修正された被検索対象動画像
特徴量Ｂは、問合せ時間位置にあわせて被検索対象動画
像特徴量を補間する際に、時間位置が後方に存在する最
寄りの特徴量をそのまま修正された被検索対象動画像特
徴量とする例である。また、図５の修正された被検索対
象動画像特徴量Ｃは前記時間位置の前後の特徴量を利用
して特徴量を補間する例である。図５の修正された被検
索対象動画像特徴量Ｃとしては、被検索動画像特徴量の
平均をとる方法、または前記時間位置の近傍に存在する
フレームとの時間距離に基づいた重み付け平均を利用す
る方法などが可能である。
【００２５】本発明第一実施例の動画像類似度算出装置
を用いれば、問合せ動画像データの特徴量と被検索対象
動画像区間の特徴量とにより、特徴量を持つ静止画像の
時間間隔を統一するので、特徴量を抽出する時間位置が
可変時間間隔である場合および異なるフレームレートを
持つ動画像の特徴量を比較する場合に正確な類似度が算
出できる。また、可変間隔で特徴量を抽出することによ
りデータベースの規模を縮小することができる。
を用いれば、問合せ動画像データの特徴量と被検索対象
動画像区間の特徴量とにより、特徴量を持つ静止画像の
時間間隔を統一するので、特徴量を抽出する時間位置が
可変時間間隔である場合および異なるフレームレートを
持つ動画像の特徴量を比較する場合に正確な類似度が算
出できる。また、可変間隔で特徴量を抽出することによ
りデータベースの規模を縮小することができる。
【００２６】（第二実施例）本発明第二実施例の動画像
類似度算出装置の構成を図２を参照して説明する。図２
は本発明第二実施例の動画像類似度算出装置の要部ブロ
ック構成図である。
類似度算出装置の構成を図２を参照して説明する。図２
は本発明第二実施例の動画像類似度算出装置の要部ブロ
ック構成図である。
【００２７】本発明第二実施例の動画像類似度算出装置
は、図２に示すように、入力された問合せ時間情報１１
によって特徴量抽出の時間位置指定を行い問合せ動画像
データ１２から問合せ動画像特徴量を生成する動画像特
徴量生成手段１３と、被検索動画像から予め生成した動
画像特徴量２３と被検索対象動画像から特徴量抽出を行
う時間位置情報２２とを共に記憶している動画像データ
ベース２１と、問合せ時間情報１１を参照しながら被検
索対象動画像区間の時間位置情報２２にあわせて問合せ
動画像特徴量１４を修正する動画像特徴量修正手段１５
と、修正された問合せ動画像特徴量１６と被検索対象動
画像の動画像特徴量２３とを比較し両者の類似度を算出
する動画像特徴量類似度算出手段４１とを備えることを
特徴とする。
は、図２に示すように、入力された問合せ時間情報１１
によって特徴量抽出の時間位置指定を行い問合せ動画像
データ１２から問合せ動画像特徴量を生成する動画像特
徴量生成手段１３と、被検索動画像から予め生成した動
画像特徴量２３と被検索対象動画像から特徴量抽出を行
う時間位置情報２２とを共に記憶している動画像データ
ベース２１と、問合せ時間情報１１を参照しながら被検
索対象動画像区間の時間位置情報２２にあわせて問合せ
動画像特徴量１４を修正する動画像特徴量修正手段１５
と、修正された問合せ動画像特徴量１６と被検索対象動
画像の動画像特徴量２３とを比較し両者の類似度を算出
する動画像特徴量類似度算出手段４１とを備えることを
特徴とする。
【００２８】次に、本発明第二実施例の動画像類似度算
出装置の動作を図２を参照して説明する。図２に示した
本発明第二実施例の動画像類似度算出装置は、図７に示
した従来の動画像類似度算出装置の構成に加え、動画像
特徴量修正手段１５を有する点で異なる。動画像特徴量
修正手段１５は、問合せ時間情報１１と動画像データベ
ース２１に含まれる被検索対象動画像区間の時間位置情
報２２とを参照して動画像特徴量生成手段１３より生成
された問合せ動画像特徴量１４を動画像データベース２
１に含まれる被検索対象動画像区間の時間位置情報２２
にあわせた修正された問合せ動画像特徴量１６に変換す
る。動画像特徴量類似度算出手段４１は、修正された問
合せ動画像特徴量１６と被検索対象動画像特徴量２３を
比較し両者の類似度を算出する。
出装置の動作を図２を参照して説明する。図２に示した
本発明第二実施例の動画像類似度算出装置は、図７に示
した従来の動画像類似度算出装置の構成に加え、動画像
特徴量修正手段１５を有する点で異なる。動画像特徴量
修正手段１５は、問合せ時間情報１１と動画像データベ
ース２１に含まれる被検索対象動画像区間の時間位置情
報２２とを参照して動画像特徴量生成手段１３より生成
された問合せ動画像特徴量１４を動画像データベース２
１に含まれる被検索対象動画像区間の時間位置情報２２
にあわせた修正された問合せ動画像特徴量１６に変換す
る。動画像特徴量類似度算出手段４１は、修正された問
合せ動画像特徴量１６と被検索対象動画像特徴量２３を
比較し両者の類似度を算出する。
【００２９】本発明第二実施例の動画像類似度算出装置
を用いれば、問合せ動画像データの特徴量と被検索動画
像区間の特徴量とにより、特徴量を持つ静止画像の時間
間隔を統一するので、特徴量を抽出する時間位置が可変
時間間隔である場合および異なるフレームレートを持つ
動画像の特徴量を比較する場合に正確な類似度が算出で
きる。また、可変間隔で特徴量を抽出することによりデ
ータベースの規模を縮小することができる。
を用いれば、問合せ動画像データの特徴量と被検索動画
像区間の特徴量とにより、特徴量を持つ静止画像の時間
間隔を統一するので、特徴量を抽出する時間位置が可変
時間間隔である場合および異なるフレームレートを持つ
動画像の特徴量を比較する場合に正確な類似度が算出で
きる。また、可変間隔で特徴量を抽出することによりデ
ータベースの規模を縮小することができる。
【００３０】（第三実施例）本発明第三実施例の動画像
類似度算出装置の構成を図３を参照して説明する。図３
は本発明第三実施例の動画像類似度算出装置の要部ブロ
ック構成図である。
類似度算出装置の構成を図３を参照して説明する。図３
は本発明第三実施例の動画像類似度算出装置の要部ブロ
ック構成図である。
【００３１】本発明第三実施例の動画像類似度算出装置
は、図３に示すように、入力された問合せ時間情報１１
によって特徴量抽出の時間位置指定を行い問合せ動画像
データ１２から問合せ動画像特徴量を生成する動画像特
徴量生成手段１３と、被検索動画像から予め生成した動
画像特徴量２３と被検索対象動画像から特徴量抽出を行
う時間位置情報２２とを共に記憶している動画像データ
ベース２１と、問合せ時間情報１１を参照しながら入力
された修正用時間情報３３にあわせて問合せ動画像特徴
量１４を修正する動画像特徴量修正手段５５と、被検索
対象動画像区間の時間位置情報２２を参照しながら修正
用時間情報３３にあわせて被検索対象動画像の動画像特
徴量２３を修正する動画像特徴量修正手段５６と、修正
された問合せ動画像特徴量１６と修正された被検索対象
動画像の動画像特徴量２５とを比較し両者の類似度を算
出する動画像特徴量類似度算出手段４１とを備えること
を特徴とする。
は、図３に示すように、入力された問合せ時間情報１１
によって特徴量抽出の時間位置指定を行い問合せ動画像
データ１２から問合せ動画像特徴量を生成する動画像特
徴量生成手段１３と、被検索動画像から予め生成した動
画像特徴量２３と被検索対象動画像から特徴量抽出を行
う時間位置情報２２とを共に記憶している動画像データ
ベース２１と、問合せ時間情報１１を参照しながら入力
された修正用時間情報３３にあわせて問合せ動画像特徴
量１４を修正する動画像特徴量修正手段５５と、被検索
対象動画像区間の時間位置情報２２を参照しながら修正
用時間情報３３にあわせて被検索対象動画像の動画像特
徴量２３を修正する動画像特徴量修正手段５６と、修正
された問合せ動画像特徴量１６と修正された被検索対象
動画像の動画像特徴量２５とを比較し両者の類似度を算
出する動画像特徴量類似度算出手段４１とを備えること
を特徴とする。
【００３２】次に、本発明第三実施例の動画像類似度算
出装置の動作を図３を参照して説明する。図３に示す本
発明第三実施例の動画像類似度算出装置は、図７に示し
た従来の動画像類似度算出装置の構成に加え、動画像特
徴量修正手段５５および５６を有する点で異なる。本発
明第三実施例の動画像特徴量修正手段５５および５６に
は、修正用時間情報３３を入力として与える。動画像特
徴量修正手段５５は、修正用時間情報３３と問合せ時間
情報１１とを参照して動画像特徴量生成手段１３より生
成された問合せ動画像特徴量１４を修正用時間情報３３
にあわせた修正された問合せ動画像特徴量１６に変換す
る。動画像特徴量修正手段５６は、修正用時間情報３３
と動画像データベース２１に含まれる被検索動画像区間
の時間位置情報２２とを参照して被検索対象動画像特徴
量２３を修正用時間情報３３にあわせた修正された被検
索対象動画像特徴量２５に変換する。
出装置の動作を図３を参照して説明する。図３に示す本
発明第三実施例の動画像類似度算出装置は、図７に示し
た従来の動画像類似度算出装置の構成に加え、動画像特
徴量修正手段５５および５６を有する点で異なる。本発
明第三実施例の動画像特徴量修正手段５５および５６に
は、修正用時間情報３３を入力として与える。動画像特
徴量修正手段５５は、修正用時間情報３３と問合せ時間
情報１１とを参照して動画像特徴量生成手段１３より生
成された問合せ動画像特徴量１４を修正用時間情報３３
にあわせた修正された問合せ動画像特徴量１６に変換す
る。動画像特徴量修正手段５６は、修正用時間情報３３
と動画像データベース２１に含まれる被検索動画像区間
の時間位置情報２２とを参照して被検索対象動画像特徴
量２３を修正用時間情報３３にあわせた修正された被検
索対象動画像特徴量２５に変換する。
【００３３】動画像特徴量類似度算出手段４１は、修正
された問合せ動画像特徴量１６と修正された被検索対象
動画像特徴量２５とを比較し両者の類似度を算出する。
された問合せ動画像特徴量１６と修正された被検索対象
動画像特徴量２５とを比較し両者の類似度を算出する。
【００３４】本発明第三実施例の動画像類似度算出装置
を用いれば、問合せ動画像データの特徴量と被検索動画
像区間の特徴量とにより、特徴量を持つ静止画像の時間
間隔を統一するので、特徴量を抽出する時間位置が可変
時間間隔である場合および異なるフレームレートを持つ
動画像の特徴量を比較する場合に正確な類似度が算出で
きる。また、可変間隔で特徴量を抽出することによりデ
ータベースの規模を縮小することができる。
を用いれば、問合せ動画像データの特徴量と被検索動画
像区間の特徴量とにより、特徴量を持つ静止画像の時間
間隔を統一するので、特徴量を抽出する時間位置が可変
時間間隔である場合および異なるフレームレートを持つ
動画像の特徴量を比較する場合に正確な類似度が算出で
きる。また、可変間隔で特徴量を抽出することによりデ
ータベースの規模を縮小することができる。
【００３５】（第四実施例）本発明第四実施例の動画像
類似度算出装置の構成を図４を参照して説明する。図４
は本発明第四実施例の動画像類似度算出装置の要部ブロ
ック構成図である。
類似度算出装置の構成を図４を参照して説明する。図４
は本発明第四実施例の動画像類似度算出装置の要部ブロ
ック構成図である。
【００３６】本発明第四実施例の動画像類似度算出装置
は、図４に示すように、入力された問合せ時間情報１１
によって特徴量抽出の時間位置指定を行い問合せ動画像
データ１２から問合せ動画像特徴量を生成する動画像特
徴量生成手段１３と、被検索動画像から予め生成した動
画像特徴量２３と被検索対象動画像から特徴量抽出を行
う時間位置情報２２とを共に記憶している動画像データ
ベース２１と、問合せ時間情報１１と被検索対象動画像
の時間位置情報２２を参照して修正用時間情報を生成す
る時間情報生成手段３１と、問合せ時間情報１１を参照
しながら修正用時間情報３２にあわせて問合せ動画像特
徴量１４を修正する動画像特徴量修正手段５５と、被検
索対象動画像区間の時間位置情報２２を参照しながら修
正用時間情報３２にあわせて被検索対象動画像の動画像
特徴量２３を修正する動画像特徴量修正手段５６と、修
正された問合せ動画像特徴量１６と修正された被検索対
象動画像の動画像特徴量２５とを比較し両者の類似度を
算出する動画像特徴量類似度算出手段４１とを備えるこ
とを特徴とする。
は、図４に示すように、入力された問合せ時間情報１１
によって特徴量抽出の時間位置指定を行い問合せ動画像
データ１２から問合せ動画像特徴量を生成する動画像特
徴量生成手段１３と、被検索動画像から予め生成した動
画像特徴量２３と被検索対象動画像から特徴量抽出を行
う時間位置情報２２とを共に記憶している動画像データ
ベース２１と、問合せ時間情報１１と被検索対象動画像
の時間位置情報２２を参照して修正用時間情報を生成す
る時間情報生成手段３１と、問合せ時間情報１１を参照
しながら修正用時間情報３２にあわせて問合せ動画像特
徴量１４を修正する動画像特徴量修正手段５５と、被検
索対象動画像区間の時間位置情報２２を参照しながら修
正用時間情報３２にあわせて被検索対象動画像の動画像
特徴量２３を修正する動画像特徴量修正手段５６と、修
正された問合せ動画像特徴量１６と修正された被検索対
象動画像の動画像特徴量２５とを比較し両者の類似度を
算出する動画像特徴量類似度算出手段４１とを備えるこ
とを特徴とする。
【００３７】次に、本発明第四実施例の動画像類似度算
出装置の動作を図４を参照して説明する。図４に示した
本発明第四実施例の動画像類似度算出装置は、図７に示
した従来の動画像類似度算出装置の構成に加え、時間情
報生成手段３１、動画像特徴量修正手段５５および５６
を有する点で異なる。時間情報生成手段３１は、問合せ
時間情報１１と動画像データベース２１に含まれる被検
索動画像区間に含まれる特徴量の時間位置を表す時間位
置情報２２とを参照して修正時間情報３２を生成する。
出装置の動作を図４を参照して説明する。図４に示した
本発明第四実施例の動画像類似度算出装置は、図７に示
した従来の動画像類似度算出装置の構成に加え、時間情
報生成手段３１、動画像特徴量修正手段５５および５６
を有する点で異なる。時間情報生成手段３１は、問合せ
時間情報１１と動画像データベース２１に含まれる被検
索動画像区間に含まれる特徴量の時間位置を表す時間位
置情報２２とを参照して修正時間情報３２を生成する。
【００３８】修正時間情報３２の生成方法としては、ま
ず時間情報１１のフレーム間の時間間隔、時間位置情報
２２のフレーム間の時間間隔を求める。フレームレート
が共通の場合には全フレームに相当する時間位置を時間
情報とする方法、フレームレートが異なる場合にはフレ
ームレートの最大公約数または最小公倍数を時間間隔と
した時間位置を時間情報とする方法が挙げられる。双方
の時間間隔が固定間隔である場合には、双方の時間間隔
の最大公約数または最小公倍数を時間間隔とした時間位
置を時間情報とする方法も挙げられる。
ず時間情報１１のフレーム間の時間間隔、時間位置情報
２２のフレーム間の時間間隔を求める。フレームレート
が共通の場合には全フレームに相当する時間位置を時間
情報とする方法、フレームレートが異なる場合にはフレ
ームレートの最大公約数または最小公倍数を時間間隔と
した時間位置を時間情報とする方法が挙げられる。双方
の時間間隔が固定間隔である場合には、双方の時間間隔
の最大公約数または最小公倍数を時間間隔とした時間位
置を時間情報とする方法も挙げられる。
【００３９】また、一方または双方の時間間隔が任意間
隔である場合には、何れか一方の時間情報をそのまま出
力する方法、双方に共通する位置のみを利用する方法、
何れか一方に時間位置が存在する箇所全てを時間情報と
する方法も挙げられる。
隔である場合には、何れか一方の時間情報をそのまま出
力する方法、双方に共通する位置のみを利用する方法、
何れか一方に時間位置が存在する箇所全てを時間情報と
する方法も挙げられる。
【００４０】さらに、これらの生成した時間情報の一部
のみを抽出し新たに時間情報とすること、近傍の特徴量
の相関から時間位置の生成の実行不実行を適応的に切り
替えることもできる。さらに、生成された時間情報と、
ある固定間隔の時間情報において何れか一方に存在する
時間位置全てを修正時間情報とすることもできる。
のみを抽出し新たに時間情報とすること、近傍の特徴量
の相関から時間位置の生成の実行不実行を適応的に切り
替えることもできる。さらに、生成された時間情報と、
ある固定間隔の時間情報において何れか一方に存在する
時間位置全てを修正時間情報とすることもできる。
【００４１】ここで、図６を参照して本発明第四実施例
の時間情報生成手段３１における修正時間情報３２を生
成する具体例について説明する。図６の修正時間情報Ｄ
は、問合せ時間情報と被検索対象動画像情報において双
方に共通する時間位置のみを修正時間情報とする例であ
る。また、図６の修正時間情報Ｅは問合せ時間情報と被
検索対象動画像情報において何れか一方に存在する時間
位置全てを修正時間情報とする例である。
の時間情報生成手段３１における修正時間情報３２を生
成する具体例について説明する。図６の修正時間情報Ｄ
は、問合せ時間情報と被検索対象動画像情報において双
方に共通する時間位置のみを修正時間情報とする例であ
る。また、図６の修正時間情報Ｅは問合せ時間情報と被
検索対象動画像情報において何れか一方に存在する時間
位置全てを修正時間情報とする例である。
【００４２】動画像特徴量修正手段５５は、時間情報生
成手段３１より生成された修正用時間情報３２と問合せ
時間情報１１とを参照して問合せ時間情報１１を修正用
時間情報３２にあわせた修正された問合せ動画像特徴量
１６に変換する。
成手段３１より生成された修正用時間情報３２と問合せ
時間情報１１とを参照して問合せ時間情報１１を修正用
時間情報３２にあわせた修正された問合せ動画像特徴量
１６に変換する。
【００４３】動画像特徴量修正手段５６は、時間情報生
成手段３１より生成された修正用時間情報３２と動画像
データベース２１に含まれる被検索動画像区間の時間位
置情報２２とを参照して被検索対象動画像特徴量２３を
修正時間情報３２にあわせた修正された被検索対象動画
像特徴量２５に変換する。
成手段３１より生成された修正用時間情報３２と動画像
データベース２１に含まれる被検索動画像区間の時間位
置情報２２とを参照して被検索対象動画像特徴量２３を
修正時間情報３２にあわせた修正された被検索対象動画
像特徴量２５に変換する。
【００４４】動画像特徴量類似度算出手段４１は、修正
された問合せ動画像特徴量１６と修正された被検索対象
動画像特徴量２５とを比較し両者の類似度を算出する。
された問合せ動画像特徴量１６と修正された被検索対象
動画像特徴量２５とを比較し両者の類似度を算出する。
【００４５】本発明第四実施例の動画像類似度算出装置
を用いれば、問合せ動画像データの特徴量と被検索動画
像区間の特徴量とにより、特徴量を持つ静止画像の時間
間隔を統一するので、特徴量を抽出する時間位置が可変
時間間隔である場合および異なるフレームレートを持つ
動画像の特徴量を比較する場合に正確な類似度が算出で
きる。また、可変間隔で特徴量を抽出することによりデ
ータベースの規模を縮小することができる。
を用いれば、問合せ動画像データの特徴量と被検索動画
像区間の特徴量とにより、特徴量を持つ静止画像の時間
間隔を統一するので、特徴量を抽出する時間位置が可変
時間間隔である場合および異なるフレームレートを持つ
動画像の特徴量を比較する場合に正確な類似度が算出で
きる。また、可変間隔で特徴量を抽出することによりデ
ータベースの規模を縮小することができる。
【００４６】（実施例まとめ）本発明実施例の動画像類
似度算出装置により、異なるフレームレートを持つ複数
の動画像データ中の区間と問合せ動画像データとの間の
類似度を算出し、類似度の高いものを同一区間、または
類似区間として抜粋する実験を行った。なお、動画像デ
ータは合計約２４時間分であり、ＭＰＥＧ−１により符
号化され、毎秒３０フレームおよび毎秒２５フレームの
フレームレートを持ち、フレーム内符号化フレームの間
隔も１２フレーム毎の動画像、１５フレーム毎の動画
像、適応的に変化する動画像の３種類が含まれる。各フ
レーム内符号化フレームより直流成分を抽出し縮小画像
を生成し、さらにこの縮小画像を８画素×８画素に縮小
してからＤＣＴをかけることにより特徴量を生成する。
同時に各フレーム内符号化フレームに相当するタイムコ
ードを時間情報として抽出しておく。
似度算出装置により、異なるフレームレートを持つ複数
の動画像データ中の区間と問合せ動画像データとの間の
類似度を算出し、類似度の高いものを同一区間、または
類似区間として抜粋する実験を行った。なお、動画像デ
ータは合計約２４時間分であり、ＭＰＥＧ−１により符
号化され、毎秒３０フレームおよび毎秒２５フレームの
フレームレートを持ち、フレーム内符号化フレームの間
隔も１２フレーム毎の動画像、１５フレーム毎の動画
像、適応的に変化する動画像の３種類が含まれる。各フ
レーム内符号化フレームより直流成分を抽出し縮小画像
を生成し、さらにこの縮小画像を８画素×８画素に縮小
してからＤＣＴをかけることにより特徴量を生成する。
同時に各フレーム内符号化フレームに相当するタイムコ
ードを時間情報として抽出しておく。
【００４７】検索のための動画像特徴量生成、検索を行
う際の高速化に関する技術は先に発明者が特許出願した
特願平１１−００１５０７号を参照して行うことができ
る。
う際の高速化に関する技術は先に発明者が特許出願した
特願平１１−００１５０７号を参照して行うことができ
る。
【００４８】問合せ動画像データの持つ時間情報の時間
位置に対して被検索動画像区間のフレーム特徴量が存在
しない場合には同時間位置に特徴量を補間する。特徴量
の補間方法は、データベースに含まれる動画像特徴量に
ついては時間的に前にある最も時間距離の近いフレーム
内符号化フレームの特徴量を補間し類似度の算出を行う
ものとする。
位置に対して被検索動画像区間のフレーム特徴量が存在
しない場合には同時間位置に特徴量を補間する。特徴量
の補間方法は、データベースに含まれる動画像特徴量に
ついては時間的に前にある最も時間距離の近いフレーム
内符号化フレームの特徴量を補間し類似度の算出を行う
ものとする。
【００４９】検出するニュースの特定記事、ＣＭ、番組
のオープニング合計１１個の同一と思われる動画像区間
の組に対して実験を行った結果、異なるフレームレー
ト、異なる特徴量時間間隔を持つ場合においても１１個
全てについて片方指定することによりもう一方が得られ
ることがわかった。
のオープニング合計１１個の同一と思われる動画像区間
の組に対して実験を行った結果、異なるフレームレー
ト、異なる特徴量時間間隔を持つ場合においても１１個
全てについて片方指定することによりもう一方が得られ
ることがわかった。
【００５０】さらに、サッカー場面を問合せ動画像デー
タとして与えた場合に、異なる番組における異なるサッ
カーの試合の場面を類似動画像の区間として検索できる
ことがわかった。また、同一背景で異なるテロップをも
つ動画像区間データ、異なる海岸の風景等についても類
似動画像区間検索が実現できた。
タとして与えた場合に、異なる番組における異なるサッ
カーの試合の場面を類似動画像の区間として検索できる
ことがわかった。また、同一背景で異なるテロップをも
つ動画像区間データ、異なる海岸の風景等についても類
似動画像区間検索が実現できた。
【００５１】なお、上述の実施例は本発明の好適な実施
の一例である。但し、これに限定されるものではなく、
本発明の要旨を逸脱しない範囲内において種々変形実施
が可能である。
の一例である。但し、これに限定されるものではなく、
本発明の要旨を逸脱しない範囲内において種々変形実施
が可能である。
【００５２】
【発明の効果】以上説明したように、本発明によれば、
特徴量を抽出する時間位置が可変時間間隔である場合に
正確な類似度の算出が可能となる。可変間隔で特徴量を
抽出することによりデータベースの規模を縮小すること
が可能となる。異なるフレームレートを持つ動画像の特
徴量を比較する場合に正確な類似度の算出が可能とな
る。固定フレームレートはもとより、任意のフレームレ
ートを持つ動画像中を対象とした場合にもコマーシャル
映像、ニュースの特定記事、番組のオープニング等の特
定の映像の放送回数の調査、放送情報の統計、傾向分析
等に広く適用が可能である。蓄積された動画像の中から
参照する動画像と特徴の類似した一部分を検索する類似
映像検索への適用も可能である。
特徴量を抽出する時間位置が可変時間間隔である場合に
正確な類似度の算出が可能となる。可変間隔で特徴量を
抽出することによりデータベースの規模を縮小すること
が可能となる。異なるフレームレートを持つ動画像の特
徴量を比較する場合に正確な類似度の算出が可能とな
る。固定フレームレートはもとより、任意のフレームレ
ートを持つ動画像中を対象とした場合にもコマーシャル
映像、ニュースの特定記事、番組のオープニング等の特
定の映像の放送回数の調査、放送情報の統計、傾向分析
等に広く適用が可能である。蓄積された動画像の中から
参照する動画像と特徴の類似した一部分を検索する類似
映像検索への適用も可能である。
【図１】本発明第一実施例の動画像類似度算出装置の要
部ブロック構成図。
部ブロック構成図。
【図２】本発明第二実施例の動画像類似度算出装置の要
部ブロック構成図。
部ブロック構成図。
【図３】本発明第三実施例の動画像類似度算出装置の要
部ブロック構成図。
部ブロック構成図。
【図４】本発明第四実施例の動画像類似度算出装置の要
部ブロック構成図。
部ブロック構成図。
【図５】本発明実施例の動画像特徴量修正例を説明する
ための図。
ための図。
【図６】時間情報生成手段における時間情報生成例を説
明するための図。
明するための図。
【図７】従来の動画像類似度算出装置の要部ブロック構
成図。
成図。
１１ 問合せ時間情報 １２ 問合せ動画像データ １３ 動画像特徴量生成手段 １４ 問合せ動画像特徴量 １５、２４、５５、５６ 動画像特徴量修正手段 １６ 修正された問合せ動画像特徴量 ２１ 動画像データベース ２２ 被検索対象動画像区間の時間位置情報 ２３ 被検索対象動画像特徴量 ２５ 修正された被検索対象動画像特徴量 ３１ 時間情報生成手段 ３２、３３ 修正用時間情報 ４１ 動画像特徴量類似度算出手段 ４２ 類似度
Claims (8)
- 【請求項１】 入力された問合せ時間情報によって特徴
量抽出の時間位置指定を行い問合せ動画像データから問
合せ動画像特徴量を生成する手段と、 被検索動画像から予め生成した動画像特徴量と被検索対
象動画像から特徴量抽出を行う時間位置情報とを共に記
憶している動画像データベースと、 前記被検索対象動画像の時間位置情報を参照しながら前
記問合せ時間情報にあわせて前記被検索対象動画像の動
画像特徴量を修正する動画像特徴量修正手段と、 前記修正された被検索対象動画像の動画像特徴量と前記
問合せ動画像特徴量とを比較し両者の類似度を算出する
動画像特徴量類似度算出手段とを備えることを特徴とす
る動画像類似度算出装置。 - 【請求項２】 入力された問合せ時間情報によって特徴
量抽出の時間位置指定を行い問合せ動画像データから問
合せ動画像特徴量を生成する手段と、 被検索動画像から予め生成した動画像特徴量と被検索対
象動画像から特徴量抽出を行う時間位置情報とを共に記
憶している動画像データベースと、 前記問合せ時間情報を参照しながら前記被検索対象動画
像の時間位置情報にあわせて前記問合せ動画像特徴量を
修正する動画像特徴量修正手段と、 前記修正された問合せ動画像特徴量と前記被検索対象動
画像の動画像特徴量とを比較し両者の類似度を算出する
動画像特徴量類似度算出手段とを備えることを特徴とす
る動画像類似度算出装置。 - 【請求項３】 入力された問合せ時間情報によって特徴
量抽出の時間位置指定を行い問合せ動画像データから問
合せ動画像特徴量を生成する手段と、 被検索動画像から予め生成した動画像特徴量と被検索対
象動画像から特徴量抽出を行う時間位置情報とを共に記
憶している動画像データベースと、 前記問合せ時間情報を参照しながら入力された修正用時
間情報にあわせて前記問合せ動画像特徴量を修正する動
画像特徴量修正手段と、 前記被検索対象動画像の時間位置情報を参照しながら前
記修正用時間情報にあわせて前記被検索対象動画像の動
画像特徴量を修正する動画像特徴量修正手段と、 前記修正された問合せ動画像特徴量と前記修正された被
検索対象動画像の動画像特徴量とを比較し両者の類似度
を算出する動画像特徴量類似度算出手段とを備えること
を特徴とする動画像類似度算出装置。 - 【請求項４】 入力された問合せ時間情報によって特徴
量抽出の時間位置指定を行い問合せ動画像データから問
合せ動画像特徴量を生成する手段と、 被検索動画像から予め生成した動画像特徴量と被検索対
象動画像から特徴量抽出を行う時間位置情報とを共に記
憶している動画像データベースと、 前記問合せ時間情報と前記被検索対象動画像の時間位置
情報とを参照して修正用時間情報を生成する時間情報生
成手段と、 前記問合せ時間情報を参照しながら前記修正用時間情報
にあわせて前記問合せ動画像特徴量を修正する動画像特
徴量修正手段と、 前記被検索対象動画像の時間位置情報を参照しながら前
記修正用時間情報にあわせて前記被検索対象動画像の動
画像特徴量を修正する動画像特徴量修正手段と、 前記修正された問合せ動画像特徴量と前記修正された被
検索対象動画像の動画像特徴量とを比較し両者の類似度
を算出する動画像特徴量類似度算出手段とを備えること
を特徴とする動画像類似度算出装置。 - 【請求項５】 入力された問合せ時間情報によって特徴
量抽出の時間位置指定を行い問合せ動画像データから問
合せ動画像特徴量を生成する工程と、 被検索動画像から予め生成した動画像特徴量と被検索対
象動画像から特徴量抽出を行う時間位置情報とを共に記
憶する工程と、 前記被検索対象動画像の時間位置情報を参照しながら前
記問合せ時間情報にあわせて前記被検索対象動画像の動
画像特徴量を修正する動画像特徴量修正工程と、 前記修正された被検索対象動画像の動画像特徴量と前記
問合せ動画像特徴量とを比較し両者の類似度を算出する
動画像特徴量類似度算出工程とを備えることを特徴とす
る動画像類似度算出方法。 - 【請求項６】 入力された問合せ時間情報によって特徴
量抽出の時間位置指定を行い問合せ動画像データから問
合せ動画像特徴量を生成する工程と、 被検索動画像から予め生成した動画像特徴量と被検索対
象動画像から特徴量抽出を行う時間位置情報とを共に記
憶する工程と、 前記問合せ時間情報を参照しながら前記被検索対象動画
像の時間位置情報にあわせて前記問合せ動画像特徴量を
修正する動画像特徴量修正工程と、 前記修正された問合せ動画像特徴量と前記被検索対象動
画像の動画像特徴量とを比較し両者の類似度を算出する
動画像特徴量類似度算出工程とを備えることを特徴とす
る動画像類似度算出方法。 - 【請求項７】 入力された問合せ時間情報によって特徴
量抽出の時間位置指定を行い問合せ動画像データから問
合せ動画像特徴量を生成する工程と、 被検索動画像から予め生成した動画像特徴量と被検索対
象動画像から特徴量抽出を行う時間位置情報とを共に記
憶する工程と、 前記問合せ時間情報を参照しながら入力された修正用時
間情報にあわせて前記問合せ動画像特徴量を修正する動
画像特徴量修正工程と、 前記被検索対象動画像の時間位置情報を参照しながら前
記修正用時間情報にあわせて前記被検索対象動画像の動
画像特徴量を修正する動画像特徴量修正工程と、 前記修正された問合せ動画像特徴量と前記修正された被
検索対象動画像の動画像特徴量とを比較し両者の類似度
を算出する動画像特徴量類似度算出工程とを備えること
を特徴とする動画像類似度算出方法。 - 【請求項８】 入力された問合せ時間情報によって特徴
量抽出の時間位置指定を行い問合せ動画像データから問
合せ動画像特徴量を生成する工程と、 被検索動画像から予め生成した動画像特徴量と被検索対
象動画像から特徴量抽出を行う時間位置情報とを共に記
憶する工程と、 前記問合せ時間情報と前記被検索対象動画像の時間位置
情報とを参照して修正用時間情報を生成する時間情報生
成工程と、 前記問合せ時間情報を参照しながら前記修正用時間情報
にあわせて前記問合せ動画像特徴量を修正する動画像特
徴量修正工程と、 前記被検索対象動画像の時間位置情報を参照しながら前
記修正用時間情報にあわせて前記被検索対象動画像の動
画像特徴量を修正する動画像特徴量修正工程と、 前記修正された問合せ動画像特徴量と前記修正された被
検索対象動画像の動画像特徴量とを比較し両者の類似度
を算出する動画像特徴量類似度算出工程とを備えること
を特徴とする動画像類似度算出方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14828699A JP3451985B2 (ja) | 1999-05-27 | 1999-05-27 | 動画像類似度算出装置および方法 |
| US09/579,304 US6816551B1 (en) | 1999-05-27 | 2000-05-25 | Method for comparing two moving pictures and retrieval system using the method |
| CA002309770A CA2309770C (en) | 1999-05-27 | 2000-05-26 | Method for comparing two moving pictures and retrieval system using the method |
| EP00111434.7A EP1056048B1 (en) | 1999-05-27 | 2000-05-26 | Method for comparing two moving pictures and retrieval system using the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14828699A JP3451985B2 (ja) | 1999-05-27 | 1999-05-27 | 動画像類似度算出装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000339474A true JP2000339474A (ja) | 2000-12-08 |
| JP3451985B2 JP3451985B2 (ja) | 2003-09-29 |
Family
ID=15449383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14828699A Expired - Lifetime JP3451985B2 (ja) | 1999-05-27 | 1999-05-27 | 動画像類似度算出装置および方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6816551B1 (ja) |
| EP (1) | EP1056048B1 (ja) |
| JP (1) | JP3451985B2 (ja) |
| CA (1) | CA2309770C (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030067135A (ko) * | 2002-02-07 | 2003-08-14 | (주)지토 | 내용기반 동영상 자동분할 기술을 응용한 인터넷 방송기술 |
| WO2009050877A1 (ja) * | 2007-10-19 | 2009-04-23 | Nec Corporation | 不適切コンテンツ検出方法および装置、そのコンピュータプログラム、ならびにコンテンツ公開システム |
| WO2009157340A1 (ja) * | 2008-06-26 | 2009-12-30 | 日本電気株式会社 | 高品質コンテンツ生成システムと、その方法及びプログラム |
| WO2009157402A1 (ja) * | 2008-06-26 | 2009-12-30 | 日本電気株式会社 | コンテンツ再生制御システムと、その方法及びプログラム |
| JP2010074545A (ja) * | 2008-09-18 | 2010-04-02 | Canon Inc | 動画検索装置及び動画検索方法 |
| US8249434B2 (en) | 2005-06-27 | 2012-08-21 | Nec Corporation | Contents playing method and apparatus with play starting position control |
| JP2013198817A (ja) * | 2013-07-10 | 2013-10-03 | Canon Inc | 情報処理装置、情報処理方法、プログラムおよび記憶媒体 |
| US8594437B2 (en) | 2010-05-06 | 2013-11-26 | Hitachi, Ltd. | Similar picture search apparatus |
| WO2023089690A1 (ja) * | 2021-11-17 | 2023-05-25 | 日本電気株式会社 | 検索装置、検索方法、およびプログラム |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7386170B2 (en) * | 2000-06-30 | 2008-06-10 | Texas Instruments Incorporated | Image object ranking |
| JP2002117037A (ja) * | 2000-10-06 | 2002-04-19 | Nec Corp | 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体 |
| US7236971B1 (en) * | 2002-12-20 | 2007-06-26 | Ncr Corporation | Method and system for deriving data through interpolation in a database system |
| US9042703B2 (en) * | 2005-10-31 | 2015-05-26 | At&T Intellectual Property Ii, L.P. | System and method for content-based navigation of live and recorded TV and video programs |
| US9020326B2 (en) | 2005-08-23 | 2015-04-28 | At&T Intellectual Property Ii, L.P. | System and method for content-based navigation of live and recorded TV and video programs |
| US7614018B1 (en) * | 2006-02-13 | 2009-11-03 | Google Inc. | Web based user interface for selecting options |
| WO2008002627A2 (en) * | 2006-06-26 | 2008-01-03 | Datallegro, Inc. | Workload manager for relational database management systems |
| JP5121367B2 (ja) * | 2007-09-25 | 2013-01-16 | 株式会社東芝 | 映像を出力する装置、方法およびシステム |
| JP2009080580A (ja) * | 2007-09-25 | 2009-04-16 | Toshiba Corp | 映像表示装置及び方法 |
| JP5388631B2 (ja) * | 2009-03-03 | 2014-01-15 | 株式会社東芝 | コンテンツ提示装置、及び方法 |
| US20110218978A1 (en) * | 2010-02-22 | 2011-09-08 | Vertica Systems, Inc. | Operating on time sequences of data |
| EP2546762A1 (en) * | 2011-07-11 | 2013-01-16 | Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO | Access system and method for accessing signal |
| GB2553125B (en) * | 2016-08-24 | 2022-03-09 | Grass Valley Ltd | Comparing video sequences using fingerprints |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08249348A (ja) * | 1995-03-13 | 1996-09-27 | Hitachi Ltd | 映像検索方法および装置 |
| JPH10320400A (ja) * | 1997-05-16 | 1998-12-04 | Hitachi Ltd | 映像の検索方法および装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6195497B1 (en) * | 1993-10-25 | 2001-02-27 | Hitachi, Ltd. | Associated image retrieving apparatus and method |
| JPH08106543A (ja) | 1994-10-05 | 1996-04-23 | Hitachi Ltd | 動画像の再生方法および動画像の再生システム |
| US5870754A (en) | 1996-04-25 | 1999-02-09 | Philips Electronics North America Corporation | Video retrieval of MPEG compressed sequences using DC and motion signatures |
| US5983303A (en) | 1997-05-27 | 1999-11-09 | Fusion Micromedia Corporation | Bus arrangements for interconnection of discrete and/or integrated modules in a digital system and associated method |
-
1999
- 1999-05-27 JP JP14828699A patent/JP3451985B2/ja not_active Expired - Lifetime
-
2000
- 2000-05-25 US US09/579,304 patent/US6816551B1/en not_active Expired - Lifetime
- 2000-05-26 EP EP00111434.7A patent/EP1056048B1/en not_active Expired - Lifetime
- 2000-05-26 CA CA002309770A patent/CA2309770C/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08249348A (ja) * | 1995-03-13 | 1996-09-27 | Hitachi Ltd | 映像検索方法および装置 |
| JPH10320400A (ja) * | 1997-05-16 | 1998-12-04 | Hitachi Ltd | 映像の検索方法および装置 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030067135A (ko) * | 2002-02-07 | 2003-08-14 | (주)지토 | 내용기반 동영상 자동분할 기술을 응용한 인터넷 방송기술 |
| US8249434B2 (en) | 2005-06-27 | 2012-08-21 | Nec Corporation | Contents playing method and apparatus with play starting position control |
| WO2009050877A1 (ja) * | 2007-10-19 | 2009-04-23 | Nec Corporation | 不適切コンテンツ検出方法および装置、そのコンピュータプログラム、ならびにコンテンツ公開システム |
| JP5051237B2 (ja) * | 2007-10-19 | 2012-10-17 | 日本電気株式会社 | 不適切コンテンツ検出方法および装置、そのコンピュータプログラム、ならびにコンテンツ公開システム |
| WO2009157402A1 (ja) * | 2008-06-26 | 2009-12-30 | 日本電気株式会社 | コンテンツ再生制御システムと、その方法及びプログラム |
| WO2009157340A1 (ja) * | 2008-06-26 | 2009-12-30 | 日本電気株式会社 | 高品質コンテンツ生成システムと、その方法及びプログラム |
| US8879004B2 (en) | 2008-06-26 | 2014-11-04 | Nec Corporation | High-quality content generation system, method therefor, and program |
| JP2014220836A (ja) * | 2008-06-26 | 2014-11-20 | 日本電気株式会社 | 高品質コンテンツ生成システムと、その方法及びプログラム |
| US8913873B2 (en) | 2008-06-26 | 2014-12-16 | Nec Corporation | Content reproduction control system and method and program thereof |
| JP5648801B2 (ja) * | 2008-06-26 | 2015-01-07 | 日本電気株式会社 | コンテンツ再生制御システムと、その方法及びプログラム |
| JP5648800B2 (ja) * | 2008-06-26 | 2015-01-07 | 日本電気株式会社 | 高品質コンテンツ生成システムと、その方法及びプログラム |
| JP2010074545A (ja) * | 2008-09-18 | 2010-04-02 | Canon Inc | 動画検索装置及び動画検索方法 |
| US8594437B2 (en) | 2010-05-06 | 2013-11-26 | Hitachi, Ltd. | Similar picture search apparatus |
| JP2013198817A (ja) * | 2013-07-10 | 2013-10-03 | Canon Inc | 情報処理装置、情報処理方法、プログラムおよび記憶媒体 |
| WO2023089690A1 (ja) * | 2021-11-17 | 2023-05-25 | 日本電気株式会社 | 検索装置、検索方法、およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3451985B2 (ja) | 2003-09-29 |
| US6816551B1 (en) | 2004-11-09 |
| EP1056048A3 (en) | 2003-04-02 |
| CA2309770A1 (en) | 2000-11-27 |
| EP1056048A2 (en) | 2000-11-29 |
| EP1056048B1 (en) | 2013-07-10 |
| CA2309770C (en) | 2002-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3451985B2 (ja) | 動画像類似度算出装置および方法 | |
| KR100464075B1 (ko) | 비디오 하이라이트 자동 생성 방법 및 장치 | |
| US9036977B2 (en) | Automatic detection, removal, replacement and tagging of flash frames in a video | |
| US6870957B1 (en) | Picture feature extraction device, picture retrieving device, and methods thereof for picture feature extraction and retrieving picture | |
| Liu et al. | Scene decomposition of MPEG-compressed video | |
| JP2002117037A (ja) | 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体 | |
| US20060126942A1 (en) | Method of and apparatus for retrieving movie image | |
| JP2000222584A (ja) | 映像情報記述方法、映像検索方法及び映像検索装置 | |
| JP2001526859A (ja) | ワールドワイドウェブ上の圧縮映像の指示及び編集方法及びアーキテクチュア | |
| KR20060083978A (ko) | 움직임 벡터 필드 리－타이밍 | |
| JP4021545B2 (ja) | デジタル動画像処理装置およびデジタル動画像処理方法 | |
| US20050088531A1 (en) | Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon | |
| US6081553A (en) | Block-matching motion estimation technique for video compression of noisy source signals | |
| US20140010521A1 (en) | Video processing system, video processing method, video processing apparatus, control method of the apparatus, and storage medium storing control program of the apparatus | |
| KR101290673B1 (ko) | 스포츠 동영상의 하이라이트 검출 방법 및 장치 | |
| US20060104514A1 (en) | Image system | |
| JP3408800B2 (ja) | 信号検出方法、装置及びそのプログラム、記録媒体 | |
| US8649656B2 (en) | Image processing apparatus and method, and program | |
| JP4167245B2 (ja) | デジタル映像処理方法及びその装置 | |
| JP2000163438A (ja) | 画像検索情報記録装置及び画像検索装置 | |
| JP3332202B2 (ja) | カメラワーク算出方法及び装置 | |
| JP2000175149A (ja) | 映像検出装置、及び要約映像生成装置 | |
| US20100002149A1 (en) | Method and apparatus for detecting slow motion | |
| JPH10112863A (ja) | 動き被写体情報抽出方法及び装置 | |
| JP3524007B2 (ja) | 動画場面転換部検出装置および方法、動画場面転換部検出制御プログラムを記憶した媒体、ならびに動画処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080718 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090718 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100718 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term |