JP2017033169A

JP2017033169A - 映像同定装置、方法、及びプログラム

Info

Publication number: JP2017033169A
Application number: JP2015150785A
Authority: JP
Inventors: 稔森; Minoru Mori; 薫平松; Kaoru Hiramatsu
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2015-07-30
Filing date: 2015-07-30
Publication date: 2017-02-09
Anticipated expiration: 2035-07-30
Also published as: JP6125577B2

Abstract

【課題】蓄積映像と入力映像との両者に含まれる部分映像が同一映像であるか否かの評価と共に、蓄積映像と入力映像との両者に含まれる同一の部分映像のずれ量の検出を行う。
【解決手段】特徴抽出部２０により、各フレームの特徴値を抽出し、類似値算出部２２により、第１の映像の各フレームの特徴値と、第２の映像の各フレームの特徴値とに基づいて、第１の映像の各フレームについて、第１の映像のフレームと第２の映像の各フレームとの間で、類似値の各々を算出し、投票部２４により、第１の映像の各フレームと第２の映像の各フレームとの間の類似値の各々に基づいて、類似値の各々を正規化した値を用いて、第１の映像の各フレームについて、類似値が上位Ｎ個の第２の映像のフレームの相対位置に投票し、判定部２６により、投票結果に基づいて、第１の映像に含まれる部分映像の各フレームと、第２の映像に含まれる部分映像の各フレームとのずれを検出する。
【選択図】図１

Description

本発明は、映像同定装置、映像同定方法、及び映像同定プログラムにかかり、特に、画像間においてフレームが一致する部分映像のずれ量を検出する映像同定装置、映像同定方法、及び映像同定プログラムに関する。

従来から、映像間において、フレームが一致する区間（ショット）を検出することが行われており、例えば、蓄積映像と問い合わせ映像との間でフレームが一致する部分映像の区間を検出対象区間として検出することが行われている。また、そのための検出方法が知られている。

従来の一致区間の検出方法として、蓄積映像と問い合わせ映像との間でフレームのずれ量を検出する方法がある。当該検出方法では、まず、フレームのずれ量を検出するため、ずれ量であると推定される類似値の積算値とずれ量でないと推定される類似値の積算値とを区別するための閾値を設定する。また、蓄積映像の各フレームと問い合わせ映像の各フレームとを比較して、問い合わせ映像の各フレームにおいて、両フレーム間の類似値が最大となる蓄積映像のフレームと、当該問い合わせ映像のフレームとの、フレームのずれ量に当該類似値を投票する。そして、投票数が設定された閾値より大きい場合に、対応するフレームのずれ量分蓄積映像と問い合わせ映像とがずれているとして検出する。

川西隆仁、向井良、平松薫、黒住隆行、永野秀尚、柏野邦夫、「音楽や映像を特定するメディア指紋技術とその応用」、応用数理 21(4),289-292,2011-12-22、一般社団法人日本応用数理学会特開２０１４−２１５７５１

しかしながら、上述した検出方法においては、映像が劣化してくると投票数が閾値を超えないという問題がある。また、閾値を低く設定すると、似て非なる映像についても閾値を超えるという問題がある。

本発明では、上記問題点を解決するために成されたものであり、蓄積映像と入力映像との両者に含まれる部分映像が同一映像であるか否かの評価と共に、蓄積映像と入力映像との両者に含まれる同一の部分映像のずれ量の検出を行うことができる、映像同定装置、映像同定方法、及び映像同定プログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る映像同定装置は、対応する部分映像を含み、かつ、フレームの対応付けが与えられた第１の映像及び第２の映像に基づいて、前記対応付けにおける、前記第１の映像に含まれる前記部分映像の各フレームと、前記第２の映像に含まれる前記部分映像の各フレームとのずれを検出する映像同定装置であって、各フレームの画像の特徴を表す特徴値を抽出する特徴抽出部と、前記特徴抽出部により抽出された、前記第１の映像の各フレームの前記特徴値と、前記第２の映像の各フレームの前記特徴値とに基づいて、前記第１の映像の各フレームについて、前記第１の映像の前記フレームと前記第２の映像の各フレームとの間で、前記フレームの類似度合いを示す類似値の各々を算出する類似値算出部と、前記類似値算出部により算出された、前記第１の映像の各フレームと前記第２の映像の各フレームとの間の前記類似値の各々に基づいて、前記類似値の各々を正規化した値を用いて、前記第１の映像の各フレームについて、前記第１の映像の前記フレームと対応付けられた前記第２の映像のフレームを基準とした、類似値が上位Ｎ個の前記第２の映像のフレームの相対位置に投票する投票部と、前記投票部により投票された結果に基づいて、前記第１の映像に含まれる前記部分映像の各フレームと、前記第２の映像に含まれる前記部分映像の各フレームとのずれを検出する判定部と、を含んで構成されている。

第２の発明に係る映像同定方法は、特徴抽出部と、類似値算出部と、投票部と、判定部とを含む対応する部分映像を含み、かつ、フレームの対応付けが与えられた第１の映像及び第２の映像に基づいて、前記対応付けにおける、前記第１の映像に含まれる前記部分映像の各フレームと、前記第２の映像に含まれる前記部分映像の各フレームとのずれを検出する映像同定装置における映像同定方法であって、前記特徴抽出部は、各フレームの画像の特徴を表す特徴値を抽出し、前記類似値算出部は、前記特徴抽出部により抽出された、前記第１の映像の各フレームの前記特徴値と、前記第２の映像の各フレームの前記特徴値とに基づいて、前記第１の映像の各フレームについて、前記第１の映像の前記フレームと前記第２の映像の各フレームとの間で、前記フレームの類似度合いを示す類似値の各々を算出し、前記投票部は、前記類似値算出部により算出された、前記第１の映像の各フレームと前記第２の映像の各フレームとの間の前記類似値の各々に基づいて、前記類似値の各々を正規化した値を用いて、前記第１の映像の各フレームについて、前記第１の映像の前記フレームと対応付けられた前記第２の映像のフレームを基準とした、類似値が上位Ｎ個の前記第２の映像のフレームの相対位置に投票し、前記判定部は、前記投票部により投票された結果に基づいて、前記第１の映像に含まれる前記部分映像の各フレームと、前記第２の映像に含まれる前記部分映像の各フレームとのずれを検出する。

第１及び第２の発明によれば、特徴抽出部により、各フレームの画像の特徴を表す特徴値を抽出し、類似値算出部により、抽出された、第１の映像の各フレームの特徴値と、第２の映像の各フレームの特徴値とに基づいて、第１の映像の各フレームについて、第１の映像のフレームと第２の映像の各フレームとの間で、フレームの類似度合いを示す類似値の各々を算出し、投票部により、算出された、第１の映像の各フレームと第２の映像の各フレームとの間の類似値の各々に基づいて、類似値の各々を正規化した値を用いて、第１の映像の各フレームについて、第１の映像のフレームと対応付けられた第２の映像のフレームを基準とした、類似値が上位Ｎ個の第２の映像のフレームの相対位置に投票し、判定部により、投票された結果に基づいて、第１の映像に含まれる部分映像の各フレームと、第２の映像に含まれる部分映像の各フレームとのずれを検出する。

このように、各フレームの画像の特徴を表す特徴値を抽出し、抽出された、第１の映像の各フレームの特徴値と、第２の映像の各フレームの特徴値とに基づいて、第１の映像の各フレームについて、第１の映像のフレームと第２の映像の各フレームとの間で、類似値の各々を算出し、算出された、第１の映像の各フレームと第２の映像の各フレームとの間の類似値の各々に基づいて、類似値の各々を正規化した値を用いて、第１の映像の各フレームについて、第１の映像のフレームと対応付けられた第２の映像のフレームを基準とした、類似値が上位Ｎ個の第２の映像のフレームの相対位置に投票し、投票された結果に基づいて、第１の映像に含まれる部分映像の各フレームと、第２の映像に含まれる部分映像の各フレームとのずれを検出することにより、蓄積映像と入力映像との両者に含まれる部分映像が同一映像であるか否かの評価と共に、蓄積映像と入力映像との両者に含まれる同一の部分映像のずれ量の検出を行うことができる。

また、第１及び第２の発明で、前記投票部は、前記類似値算出部により算出された、前記第１の映像の各フレームと前記第２の映像の各フレームとの間の前記類似値の各々に基づいて、前記類似値の各々を、上限値、及び下限値を設定した幅において正規化してもよい。

また、第１及び第２の発明で、前記投票部は、前記類似値の各々を正規化した値を用いて、前記第１の映像の各フレームについて、前記第１の映像の前記フレームと対応付けられた前記第２の映像のフレームを基準とした、類似値が上位Ｎ個（Ｎは２以上の整数を示す。）の前記第２の映像のフレームの相対位置に投票してもよい。

また、本発明のプログラムは、コンピュータを、上記の映像同定装置を構成する各部として機能させるためのプログラムである。

以上説明したように、本発明の映像同定装置、方法、及びプログラムによれば、各フレームの画像の特徴を表す特徴値を抽出し、抽出された、第１の映像の各フレームの特徴値と、第２の映像の各フレームの特徴値とに基づいて、第１の映像の各フレームについて、第１の映像のフレームと第２の映像の各フレームとの間で、類似値の各々を算出し、算出された、第１の映像の各フレームと第２の映像の各フレームとの間の類似値の各々に基づいて、類似値の各々を正規化した値を用いて、第１の映像の各フレームについて、第１の映像のフレームと対応付けられた第２の映像のフレームを基準とした、類似値が上位Ｎ個の第２の映像のフレームの相対位置に投票し、投票された結果に基づいて、第１の映像に含まれる部分映像の各フレームと、第２の映像に含まれる部分映像の各フレームとのずれを検出することにより、蓄積映像と入力映像との両者に含まれる部分映像が同一映像であるか否かの評価と共に、蓄積映像と入力映像との両者に含まれる同一の部分映像のずれ量の検出を行うことができる。

本発明の実施形態に係る映像同定装置の機能的構成を示すブロック図である。着目ショットの例を示す図である。対応付けの例を示す図である。マトリクスの例を示す図である。グラフの例を示す図である。本発明の実施形態に係る映像同定装置における蓄積処理ルーチンを表すフローチャート図である。本発明の実施形態に係る映像同定装置におけるずれ量検出処理ルーチンを表すフローチャート図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態は本発明を限定するものではない。

まず、本実施の形態の映像同定装置の概略構成について説明する。図１には、本実施の形態の映像同定装置１０の構成の一例を表したブロック図を示す。本実施の形態では、映像同定装置１０が、蓄積映像１２と入力映像１４との間におけるフレーム位置のずれ量を検出する機能、及び両者に含まれる部分映像が同一映像であるか否かの評価する機能を有する場合について説明する。以下では、図２に示すように、内容が一致すると考えられる区間となる部分映像のショットを「着目ショット」という。また、「ショット」とは、複数のフレームから構成される一連の同じ内容のまとまりのことをいう。

図１に示すように、本実施の形態の映像同定装置１０は、特徴抽出部２０、類似値算出部２２、投票部２４、判定部２６、及び特徴データベース３０を備えている。映像同定装置１０は、予め特徴データベース３０に蓄積映像特徴３２が蓄積された蓄積映像１２と処理対象となる入力映像１４との間におけるフレーム位置のずれ量を検出すると共に、第２の映像である蓄積映像と第１の映像である入力映像との両者に含まれる部分映像が同一映像であるか否かの結果を判定（評価）して検出結果１８を出力する機能を有する。

特徴抽出部２０は、映像の各フレームから特徴を抽出する機能を有する。特徴データベース３０は、入力映像１４の各ショット区間の元素材を含む蓄積映像１２の各フレームから抽出した蓄積映像特徴３２が予め蓄積されたデータベースである。類似値算出部２２は、入力映像１４のフレームから抽出された特徴値と、特徴データベース３０に蓄積された蓄積映像特徴３２のうちの対象となるフレームの特徴値との間の類似度合いを示す類似値を算出する機能、及び算出したフレーム間の類似度をプロットしたマトリクスを生成する機能を有する。投票部２４は、生成されたマトリクスに基づいて、フレーム間の類似度を正規化し、入力映像のフレームに対応している蓄積映像のフレームを基準とした、蓄積映像の対象となるフレームの相対位置に投票する機能を有する。判定部２６は、投票結果に基づいて、蓄積映像１２と入力映像１４とに含まれる同一の部分映像のフレーム位置のずれ量を検出すると共に、対比した蓄積映像１２と入力映像１４とに含まれる部分映像が同一映像であるか否かの結果を判定する機能を有する。

映像同定装置１０におけるこれら各処理部は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等を備えたコンピュータにより実現されており、ＣＰＵが、ＲＯＭに記憶されているプログラムを実行することにより、詳細を後述する各処理部における処理が実行される。

特徴抽出部２０は、蓄積映像１２及び入力映像１４の各フレームの画像から特徴を抽出し、各フレームを特徴づける情報としての特徴値を出力する機能を有する。特徴値としては、例えば、各フレームの画像を構成する画素のＲＧＢ値が利用可能であるが、特に限定されず、画像の性質や特徴等に応じて予め定めておけばよい。なお、複数種類の特徴を抽出して、複数種類の特徴値を組み合わせて出力するようにしてもよい。

なお、本実施の形態では、着目ショット区間のフレーム位置のずれ量を検出することを目的としているため、特徴値は、複数のフレームを一組にまとめた形で各組毎に算出して付与するのではなく、フレーム毎に算出することが好ましい。本実施の形態では、例えば、フレーム毎に特徴値を抽出し、当該フレームの特徴値として付与することが考えられる。

また、本実施の形態では、図３に示すように、事前に蓄積映像１２と入力映像１４とは、大まかな位置関係として、着目ショット区間の前後と着目ショット区間とに含まれる各フレームの対応付けが与えられているものとする。

また、本実施の形態では、図３に示すように、予め、着目ショットの開始位置を大まかに検出しておき、検出した位置を推定開始位置としておく。推定開始位置の検出方法は特に限定されず、大まかな位置が分かればよいため、例えば、従来の検出方法等を用いてもよい。推定開始位置は大まかな位置であり、実際の開始位置とはずれがあるため、映像同定装置１０では、当該ずれを許容するために、ずれると見込まれる時間以上の区間の幅（長さ）を実験的に得ておき、処理対象区間として設定する。例えば、推定開始位置のフレームから、ずれると見込まれる１０フレームを処理対象区間として設定すればよい。図３に示した具体例では、入力映像１４のフレームｆｎ９が推定開始位置のフレームであり、フレームｆｎ９からの１０フレームである、フレームｆｎ９〜ｆｎ１８までが入力映像１４の処理対象区間として設定される。また、処理対象区間のフレームｆｎ９〜ｆｎ１８の各々に対応しているフレームｆｍ９〜ｆｍ１８までが蓄積映像１２の処理対象区間と設定される。また、本実施の形態においては、処理対象区間を、当該具体例として説明する。

特徴データベース３０は、特徴抽出部２０を用いて、予め蓄積映像１２の各フレームの画像から抽出された特徴値を、蓄積映像特徴３２として蓄積しておく機能を有する。

類似値算出部２２は、特徴抽出部２０で抽出された入力映像１４の処理対象区間の各フレームから抽出された特徴値の各々と、特徴データベース３０に蓄積されている蓄積映像１２の処理対象区間のフレームの特徴値（蓄積映像特徴３２）の各々とに基づいて、処理対象区間において、入力映像１４と蓄積映像１２との各フレーム間でフレームの特徴値の類似度の大小を評価可能な類似値（例えばユークリッド距離やＣｏｓｉｎｅ（正規化相関地））を算出する機能を有する。

具体的には、類似値算出部２２は、入力映像１４の処理対象区間の各フレームについて、当該フレームの特徴値と、蓄積映像１２の処理対象区間のフレームの各々の特徴値の各々との類似値を算出する。ここで、類似値としては、例えば、正規化相関が使用可能である。正規化相関は、比較する特徴値が全く同一であれば１、特徴値の類似度が下がるに従い、１から０に近づく値を出力する類似尺度である。従って、正規化相関の値が１に近いほど比較した特徴間の類似度が高く、正規化相関の値が下がるにつれて、特徴間の類似度が低いことを表す。

また、類似値算出部２２は、入力映像１４の処理対象区間の各フレームについて、算出された、当該フレームと蓄積映像１２の処理対象区間の各フレームとの類似値の各々に基づいて、当該フレームにおけるフレーム間の特徴値の類似値が上位Ｎ個となるフレーム間の各々の類似値を抽出する。なお、Ｎは１以上の整数である。

また、類似値算出部２２は、入力映像１４の処理対象区間の各フレームについて抽出した上位Ｎ個のフレーム間の類似値の各々を、類似値に対応するフレーム間の箇所にプロットした、例えば、図４に示すマトリクスを生成する。具体的には、入力映像１４のフレームｆｎ１０と蓄積映像１２のフレームｆｍ１２との組み合わせの類似値については、図４に示すマトリクスの蓄積映像「ｆｍ１２」の行であって、入力映像の「ｆｎ１０」の列である箇所に当該類似値をプロットする。なお、図４に示すマトリクスの各フレーム間の類似値の初期値は０であるものとする。また、抽出した上位Ｎ個に含まれるフレーム間の類似値が「０．９５」を超えている場合には、当該類似値を採用し、「０．９５」以下である場合には、当該類似値を「０．９５」としてプロットする。なお、図４に示すマトリクスの例においては、Ｎは５で有る場合について説明する。

投票部２４は、類似値算出部２２において生成してマトリクスに基づいて、入力映像１４の処理対象区間の各フレームの類似値を正規化した投票値の各々を、図５に示すグラフの、入力映像の対象となるフレームと対応している蓄積映像のフレームを基準とした、蓄積映像の対象となるフレームの相対位置に投票する。ここで、正規化した投票値とは、下記（１）式により算出される。

・・・・（１）

ここで、上記（１）式の類似値とは、対象となるフレーム間の類似値であり、ＭＡＸ値とは、マトリクス内において一番大きい値であり、ＭＩＮ値は、マトリクス内において０以外の一番小さい値である。上記（１）式を用いることにより、類似値を、マトリクス内の最大値を上限値とし、マトリクス内の０以外の最小値を下限値として正規化することになる。

また、投票値を対応するフレームの相対位置に投票するとは、具体的に、対象となる類似値がフレームｆｎ１０とフレームｆｍ１２との組み合わせに対応する場合、ｆｎ１０はｆｍ１０と対応しているとされているため、当該組み合わせは、入力映像１４のフレームｆｎ１０と対応しているｆｍ１２から見て、＋２つ分ずれているｆｍ１４である。そのため、当該組み合わせの相対位置は「＋２」であることから、当該フレーム間の投票値を相対位置「＋２」に投票する。

一方、対象となる類似値がフレームｆｎ１０とフレームｆｍ９との組み合わせに対応する場合、ｆｎ１０はｆｍ１０と対応しているとされているため、当該組み合わせは、入力映像１４のフレームｆｎ１０と対応しているｆｍ１０から見て、−１つ分ずれているｆｍ９である。そのため、当該組み合わせの相対位置は「−１」であることから、当該フレーム間の投票値を相対位置「−１」に投票する。

また、対象となる類似値がフレームｆｎ１０とフレームｆｍ１０との組み合わせに対応する場合、当該組み合わせは対応しているフレーム間の類似値であるため、当該組み合わせの相対位置は「０」となることから、当該フレーム間の投票値を相対位置「０」に投票する。

判定部２６は、投票部２４において取得した投票結果である図５に示すグラフに従って、特定の相対位置に対する投票値の積算値が予め設定した閾値（例えば、５５０）を超えている場合、当該相対位置をずれ量として検出し、蓄積映像１２、及び入力映像１４に含まれる部分映像の各々が同一映像であると判定し、検出されたずれ量と、同一映像であるという判定結果とを組み合わせた検出結果１８を出力する。図５に示すグラフの例においては、相対位置「＋２」の投票値の積算値が閾値を超えているため、ずれ量は「＋２」となる。

また、判定部２６は、投票部２４において取得した投票結果である図５に示すグラフに従って、特定の相対位置に対する投票値の積算値が予め設定した閾値（例えば、５５０）を超えていない場合、蓄積映像１２、及び入力映像１４に含まれる部分映像の各々が同一映像でないと判定し、当該判定結果を検出結果１８として出力する。

次に、本実施の形態の映像同定装置１０の動作について説明する。

本実施の形態の映像同定装置１０では、上述したように、予め特徴データベース３０に蓄積映像特徴３２を蓄積させておく。まず、特徴データベース３０に蓄積映像特徴３２を蓄積させるための蓄積処理について説明する。図６には、本実施の形態の蓄積処理の一例のフローチャートを示す。

ステップＳ１００では、蓄積映像１２の全てのフレームの特徴値を蓄積したか否か判断する。本実施の形態の映像同定装置１０では、蓄積映像１２のいずれのショットが入力映像１４に使用されている使用区間（着目ショット）となるのかが事前には不明であるため、蓄積映像１２の全てのフレームの特徴値を蓄積映像特徴３２として特徴データベース３０に蓄積しておく。そのため、本ステップでは、蓄積映像１２の全てのフレームの特徴値を蓄積したか否かの判断を行う。特徴値が未蓄積のフレームが存在する場合は、ステップＳ１０２へ進む。

ステップＳ１０２では、特徴抽出部２０により蓄積映像１２のフレームの特徴を抽出して特徴値を特徴データベース３０に出力する。次のステップＳ１０４では、特徴データベース３０により、フレームと特徴値とが対応付けられて蓄積映像特徴３２として蓄積される。

ステップＳ１０４の後は、ステップＳ１００に戻ってステップＳ１００〜Ｓ１０４の処理を繰り返し、蓄積映像１２の全てのフレームの特徴値が蓄積映像特徴３２として特徴データベース３０に蓄積された場合は、本処理を終了する。このようにして事前に、特徴データベース３０に蓄積映像１２の全フレームの特徴値である蓄積映像特徴３２が蓄積される。

さらに、本実施の形態の映像同定装置１０における、着目ショット区間のずれ量を検出するためのずれ量検出処理について説明する。当該ずれ量検出処理は、特徴抽出部２０、類似値算出部２２、投票部２４、及び判定部２６により実行される。図７には、本実施の形態のずれ量検出処理の一例のフローチャートを示す。

まず、ステップＳ２００で、特徴抽出部２０は、蓄積映像１２と入力映像１４とに基づいて、推定開始位置のフレームから１０フレームを処理対象区間として設定する。

次に、ステップＳ２０２で、特徴抽出部２０は、入力映像１４の処理対象区間内の各フレームの特徴値を抽出する。

次に、ステップＳ２０４で、類似値算出部２２は、上述したように、処理対象区間の入力映像１４の各フレームについて、ステップＳ２０２において取得した当該フレームの特徴値と、特徴データベースに記憶されている蓄積映像１２の処理対象区間の各フレームの特徴値の各々との類似値を算出する。

次に、ステップＳ２０６で、類似値算出部２２は、ステップＳ２０４において取得したフレーム間の各々の類似値の各々に基づいて、マトリクスを作成する。

次に、ステップＳ２０８で、投票部２４は、入力映像１４の処理対象区間の全てのフレームについてステップＳ２１０とステップＳ２１２との処理を終了したか否かを判定する。投票部２４が、入力映像１４の処理対象区間の全てのフレームについてステップＳ２１０とステップＳ２１２との処理を終了したと判定した場合には、ずれ量検出処理は、ステップＳ２１４へ移行する。一方、投票部２４が、入力映像１４の処理対象区間の全てのフレームについてステップＳ２１０とステップＳ２１２との処理を終了していないと判定した場合には、ずれ量検出処理は、ステップＳ２０８へ移行し、処理対象となるフレームを変更し、ステップＳ２１０とステップＳ２１２との処理を繰り返す。

次に、ステップＳ２１０で、投票部２４は、処理対象となる入力映像１４の処理対象区間のフレームについて、ステップＳ２０６において取得したマトリクスに含まれる当該フレームを含むフレーム間の類似値の各々を正規化した投票値の各々を算出する。

次に、ステップＳ２１２で、投票部２４は、ステップＳ２１０において取得した投票値の各々を、対応する相対位置に投票する。

次に、ステップＳ２１４で、判定部２６は、ステップＳ２１２において投票した投票結果に基づいて、予め定められた閾値を超えている相対位置が存在するか否かを判定する。判定部２６が、閾値を超えている相対位置が存在すると判定した場合には、ずれ量検出処理は、ステップＳ２１６へ移行する。一方、判定部２６が、閾値を超えている相対位置が存在しないと判定した場合には、ずれ量検出処理は、ステップＳ２１８へ移行する。

次に、ステップＳ２１６で、判定部２６は、ステップＳ２１４において取得した閾値を超えている相対位置をフレームのずれ量として検出する。

次に、ステップＳ２１８で、判定部２６は、ずれ量検出処理が、ステップＳ２１６を経由している場合には、ステップＳ２１６において取得したずれ量と、蓄積映像１２、及び入力映像１４に含まれる部分映像同士が同一であるという判定結果とを組み合わせた検出結果１８を出力して、ずれ量検出処理を終了する。一方、判定部２６は、ずれ量検出処理が、ステップＳ２１６を経由していない場合には、蓄積映像１２、及び入力映像１４に含まれる部分映像の各々が同一映像でないと判定し、当該判定結果を検出結果１８として出力し、ずれ量検出処理を終了する。

以上説明したように、本発明の実施形態に係る映像同定装置によれば、各フレームの画像の特徴を表す特徴値を抽出し、抽出された、入力映像の各フレームの特徴値と、蓄積映像の各フレームの特徴値とに基づいて、入力映像の各フレームについて、入力映像のフレームと蓄積映像の各フレームとの間で、類似値の各々を算出し、算出された、入力映像の各フレームと蓄積映像の各フレームとの間の類似値の各々に基づいて、類似値の各々を正規化した値を用いて、入力映像の各フレームについて、入力映像のフレームと対応付けられた蓄積映像のフレームを基準とした、類似値が上位Ｎ個の蓄積映像のフレームの相対位置に投票し、投票された結果に基づいて、入力映像に含まれる部分映像の各フレームと、蓄積映像に含まれる部分映像の各フレームとのずれを検出することにより蓄積映像と入力映像との両者に含まれる部分映像が同一映像であるか否かの評価と共に、蓄積映像と入力映像との両者に含まれる同一の部分映像のずれ量の検出を行うことができる。

また、フレーム間の類似値を正規化することにより、投票結果にピークが出やすくなるため、劣化した映像で類似値が低下しても、アクセプト可能である。また、似て非なる映像の場合は、フレーム間の類似値の正規化の上下幅の設定が小さくなるため、累積値のピークがたたないため、アクセプトされない。

また、入力映像と蓄積映像とのフレームのずれ量を検出することにより、蓄積映像と入力映像との比較箇所の同期の補正を行うと共に、比較箇所の部分映像が同一映像であるか否かの判定を共に行うことができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

また、本実施形態においては、処理対象区間を、推定開始位置のフレームを含めた、当該フレーム以降のずれると見込まれるフレーム分の区間とする場合について説明したが、これに限定されるものではない。例えば、着目ショットの終了位置を大まかに検出しておき、検出した位置を推定終了位置としておき、推定終了位置を含めた、当該フレーム以前のずれると見込まれたフレーム分の区間を処理対象区間としてもよい。また、推定開始位置のフレームから推定終了位置のフレームまでを処理対象区間としてもよい。

また、本実施形態においては、投票値として、入力映像１４の処理対象区間の各フレームにおいて抽出された上位Ｎ個の類似値から算出される投票値の全てを用いる場合について説明したが、これに限定されるものではない。例えば、投票値として、入力映像１４の処理対象区間の各フレームおいて抽出された上位Ｍ個（Ｍ＜Ｎ）の類似値から算出される投票値の各々を用いてもよい。このような条件を加えることにより、各フレームでの上位となる類似度に基づく投票値のみが用いられるため、相対位置の投票値の差がきつくなる。このＭの値を調整することにより、相対位置毎の投票値の積算値の差を調整することができる。なお、相対位置毎の投票値の積算値の差をきつくする程、例えば閾値を５００にする等、閾値を下げてもよい。また、条件を加えた場合においても、上記（１）を用いる。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。

１０映像同定装置
１２蓄積映像
１４入力映像
１８検出結果
２０特徴抽出部
２２類似値算出部
２４投票部
２６判定部
３０特徴データベース
３２蓄積映像特徴

Claims

対応する部分映像を含み、かつ、フレームの対応付けが与えられた第１の映像及び第２の映像に基づいて、前記対応付けにおける、前記第１の映像に含まれる前記部分映像の各フレームと、前記第２の映像に含まれる前記部分映像の各フレームとのずれを検出する映像同定装置であって、
各フレームの画像の特徴を表す特徴値を抽出する特徴抽出部と、
前記特徴抽出部により抽出された、前記第１の映像の各フレームの前記特徴値と、前記第２の映像の各フレームの前記特徴値とに基づいて、前記第１の映像の各フレームについて、前記第１の映像の前記フレームと前記第２の映像の各フレームとの間で、前記フレームの類似度合いを示す類似値の各々を算出する類似値算出部と、
前記類似値算出部により算出された、前記第１の映像の各フレームと前記第２の映像の各フレームとの間の前記類似値の各々に基づいて、前記類似値の各々を正規化した値を用いて、前記第１の映像の各フレームについて、前記第１の映像の前記フレームと対応付けられた前記第２の映像のフレームを基準とした、類似値が上位Ｎ個の前記第２の映像のフレームの相対位置に投票する投票部と、
前記投票部により投票された結果に基づいて、前記第１の映像に含まれる前記部分映像の各フレームと、前記第２の映像に含まれる前記部分映像の各フレームとのずれを検出する判定部と、
を含む映像同定装置。
前記判定部は、前記投票部により投票された結果に基づいて、前記第１の映像に含まれる前記部分映像の各フレームと、前記第２の映像に含まれる前記部分映像の各フレームとのずれを検出すると共に、前記相対位置に対する投票値の積算値が閾値を超えているか否かに基づいて、前記第１の映像に含まれる前記部分映像と、前記第２の映像に含まれる前記部分映像とが同一であるか否かを判定する請求項１記載の映像同定装置。
前記投票部は、前記類似値算出部により算出された、前記第１の映像の各フレームと前記第２の映像の各フレームとの間の前記類似値の各々に基づいて、前記類似値の各々を、上限値、及び下限値を設定した幅において正規化する請求項１又は２記載の映像同定装置。
前記投票部は、前記類似値の各々を正規化した値を用いて、前記第１の映像の各フレームについて、前記第１の映像の前記フレームと対応付けられた前記第２の映像のフレームを基準とした、類似値が上位Ｎ個（Ｎは２以上の整数を示す。）の前記第２の映像のフレームの相対位置に投票する請求項１〜請求項３の何れか１項記載の映像同定装置。
特徴抽出部と、類似値算出部と、投票部と、判定部とを含む対応する部分映像を含み、かつ、フレームの対応付けが与えられた第１の映像及び第２の映像に基づいて、前記対応付けにおける、前記第１の映像に含まれる前記部分映像の各フレームと、前記第２の映像に含まれる前記部分映像の各フレームとのずれを検出する映像同定装置における映像同定方法であって、
前記特徴抽出部は、各フレームの画像の特徴を表す特徴値を抽出し、
前記類似値算出部は、前記特徴抽出部により抽出された、前記第１の映像の各フレームの前記特徴値と、前記第２の映像の各フレームの前記特徴値とに基づいて、前記第１の映像の各フレームについて、前記第１の映像の前記フレームと前記第２の映像の各フレームとの間で、前記フレームの類似度合いを示す類似値の各々を算出し、
前記投票部は、前記類似値算出部により算出された、前記第１の映像の各フレームと前記第２の映像の各フレームとの間の前記類似値の各々に基づいて、前記類似値の各々を正規化した値を用いて、前記第１の映像の各フレームについて、前記第１の映像の前記フレームと対応付けられた前記第２の映像のフレームを基準とした、類似値が上位Ｎ個の前記第２の映像のフレームの相対位置に投票し、
前記判定部は、前記投票部により投票された結果に基づいて、前記第１の映像に含まれる前記部分映像の各フレームと、前記第２の映像に含まれる前記部分映像の各フレームとのずれを検出する
映像同定方法。
前記投票部が正規化することでは、前記類似値算出部により算出された、前記第１の映像の各フレームと前記第２の映像の各フレームとの間の前記類似値の各々に基づいて、前記類似値の各々を、上限値、及び下限値を設定した幅において正規化する請求項５記載の映像同定方法。
前記投票部が投票することでは、前記類似値の各々を正規化した値を用いて、前記第１の映像の各フレームについて、前記第１の映像の前記フレームと対応付けられた前記第２の映像のフレームを基準とした、類似値が上位Ｎ個（Ｎは２以上の整数を示す。）の前記第２の映像のフレームの相対位置に投票する請求項５又は６記載の映像同定方法。
コンピュータを、請求項１〜請求項４の何れか１項記載の映像同定装置を構成する各部として機能させるためのプログラム。