JP6850166B2

JP6850166B2 - 映像ストリームの一致判定プログラム

Info

Publication number: JP6850166B2
Application number: JP2017052092A
Authority: JP
Inventors: 勇太萩尾; 寿小林; 吉彦河合; 祐太星
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2017-03-17
Filing date: 2017-03-17
Publication date: 2021-03-31
Anticipated expiration: 2037-03-17
Also published as: JP2018156344A

Description

本発明は、空間的・時間的に差異のある2つの映像ストリームを高速にマッチングする装置に関する。より具体的には、本発明は、テレビ放送局における各種映像の利用状況管理などに利用できる映像ストリームの一致判定プログラムに関する。

従来より、テレビ放送局において放送にオンエア利用されているリソース（素材）映像の識別は、映像信号のアンシラリ領域に信号を付加することで識別を行っていた。しかし、この方法は、テレビ放送局における各種装置においてその信号を読み取る機能を必要とし、新たにこの方法を導入する場合は既存の装置を全て改修・更新する必要がある。したがって、この方法では、放送にオンエア利用されているリソース映像の識別機能を実現するにあたって導入コストが膨大となる。

映像信号のアンシラリ領域を利用せずにこれを実現する場合、リソース映像とオンエアする映像をそれぞれキャプチャーして画像処理で比較する方法が考えられる。しかし、オンエアされる映像には文字スーパーが付加されており、さらに映像が縮小されて画面内の一部に利用されているパターンも存在する（空間的な差異）。また、デジタル映像の圧縮・復元の処理によりリソース映像とオンエア映像の間には不定値の遅延が発生している（時間的な差異）。したがって、画像処理により比較して実現する場合、空間的な差異と時間的な差異の双方に対応する必要がある。

映像の一致を比較判定する技術としては、特許文献１や特許文献２のような手法が挙げられる。特許文献１は類似画像を判別する装置であり、映像が切り替わるタイミングを検出してチャプター分割することを目的としている。また、特許文献２は映像を集積することでデータベースを構築し、その中から該当する映像を探索するシステムである。特許文献２の技術は、入力した映像ファイルのコピーがネット上に不正アップロードされていないか検出する手法に関するものであり、映像をストリームではなくファイルで扱っていること、検索対象が膨大であることなどから、テレビ放送局において放送にオンエア利用されているリソース（素材）映像の識別とは前提となる条件が異なっている。

空間的な差異に対応して映像の一致を比較判定する手法としては、特徴量を用いて検出を行う手法が従来から利用されている（例えば、特許文献３参照）。しかし、この手法単体では時間的な差異には対応することができない。

また、時間的な差異に対応して映像の一致を比較判定する手法としては、映像信号の遅延測定手法が提案されている（例えば、特許文献４、５参照）。

国際公開第２００９／０３１３９８号特開２０１１−２３７８７９号公報特開２０１６−１１５２２６号公報特開平１１−３４６１９６号公報特開２００５−３３３１４号公報

しかしながら、特許文献４の手法は、映像のＴＳ信号に遅延時間測定用のＴＳパケットを付加して遅延量を測定しているため、ＴＳパケットが付加されてしまうことになる。また、入力信号がＴＳ信号のみに限定されるという課題もある。

また、特許文献５の手法は、信号発生器等を必要としていない遅延測定装置であるが、空間的な差異については考慮していないため、時間的な差異と空間的な差異の双方には対応できない。

そこで、複数のリソース映像と現在放送にオンエアされている映像を比較し、空間的な差違や時間的な差異が存在していても、リソース映像と放送利用映像の一致性を判定できる映像ストリームの一致判定プログラムを提供することを目的とする。

本発明の実施の形態の映像ストリームの一致判定プログラムは、リソース映像と放送利用映像のマッチングを判定する映像ストリームの一致判定プログラムであって、コンピュータが、複数のリソース映像の各リソース映像について、当該リソース映像の最新の所定数のフレームと、放送利用映像の最新の１個のフレームとの特徴量を抽出し、前記特徴量に基づき、前記リソース映像の最新の所定数のフレームと、前記放送利用映像の最新の１個のフレームとの一致度合を算出し、前記リソース映像の最新の所定数のフレームの各々について、現在から所定時間前までに算出された一致度合の合計を算出し、前記合計を前記所定数で除算することによって前記一致度合の平均値を算出し、前記一致度合の平均値が所定の閾値以下であるかどうかを判定し、前記一致度合の平均値が所定の閾値以下である場合に、前記複数のリソース映像のうち、前記閾値以下の一致度合の平均値を有する当該リソース映像と放送利用映像が一致すると判定する。

複数のリソース映像と現在放送にオンエアされている映像を比較し、空間的な差違や時間的な差異が存在していても、リソース映像と放送利用映像の一致性を判定できる映像ストリームの一致判定プログラムを提供することができる。

実施の形態の映像ストリームの一致判定プログラムがインストールされたコンピュータを含む映像処理システム１０を示す図である。ＣＰＵ１２０の機能ブロックとデータの流れを表すである。ＣＰＵ１２０によって実行される処理を示すフローチャートである。ＣＰＵ１２０によって実行される映像ストリームの高速一致判定処理を示す図である。

以下、本発明の映像ストリームの一致判定プログラムを適用した実施の形態について説明する。

＜実施の形態＞
図１は、実施の形態の映像ストリームの一致判定プログラムがインストールされたコンピュータを含む映像処理システム１０を示す図である。

映像処理システム１０は、ＰＣ(Personal Computer)１００、インサータ１５０、及びスピーカ１６０を含む。映像処理システム１０は、例えば、全国を放送エリアとするテレビ放送局（キー局）、全国のうちの一部の地域を放送エリアとするローカル局等に配備される。なお、ここでは、ローカル局に配備される形態について説明する。以下では、特に断らない限り、ローカル局とは、映像処理システム１０が配備される放送局をいう。

ＰＣ１００は、映像入力端子１０１Ａ、１０１Ｂ、同期信号入力端子１０２、映像出力端子１０３、音声出力端子１０４、ＨＤ(High Definition)−ＳＤＩ(Serial Digital Interface)入出力ボード１１０、ＣＰＵ(Central Processing Unit)１２０、及びメモリ１３０を有する。

映像入力端子１０１Ａ、１０１Ｂには、それぞれ、リソース映像と放送利用映像が入力される。

リソース映像とは、映像処理システム１０が配備されるローカル局で、その時点で放送（オンエア）可能な映像（音声付き）のコンテンツ（番組）であり、ここでは一例として、１つの画面を１６分割して、１６個のリソース映像を表示する。１６個のリソース映像には、例えば、ローカル局が制作するニュース番組等の各番組の映像、ローカル局が保有する番組等のビデオ映像、ローカル局又はキー局が保有する天気カメラの映像、キー局からの中継映像等がある。リソース映像は、映像処理システム１０に含まれるマルチビューワー装置（不図示）から出力され、映像入力端子１０１Ａに入力される。

放送利用映像とは、１６個のリソース映像の中から、ローカル局で選択してオンエアしている１つの番組の映像である。放送利用映像は、ＨＤ−ＳＤＩ入出力ボード１１０によって、１６個のリソース映像から１つのみが放送利用映像として選択されて出力される映像である。映像入力端子１０１Ｂには、比較対象としたい放送利用映像を入力する。例えば、キー局からローカル局へと送られてくる放送プログラムやローカル局が電波塔へと送っている放送プログラム、ローカル局のアンテナが受信した放送波をデコードして得られる映像などが入力される。

このため、映像入力端子１０１Ｂに入力される放送利用映像は、マルチビューワー装置から出力されて映像入力端子１０１Ａに入力されるリソース映像よりも遅延しており、リソース映像に対して時間的な差違を有する。また、放送利用映像は、１画面分に表示されるのに対して、リソース映像は、１画面を１６分割されたうちの１区画に表示されるため、画素数が異なる。このため、放送利用映像とリソース映像には、空間的な差違が生じる。また、例えば、放送利用映像が４Ｋや８Ｋである場合には、リソース映像は４Ｋや８Ｋではないため、このようなことによっても放送利用映像とリソース映像には、空間的な差違が生じる。

また、リソース映像が縮小されて映像の一部に利用されることによっても放送利用映像とリソース映像には、空間的な差違が生じる場合がある。例えば、スタジオ内でのアナウンサーの映像の横に小さな矩形の画面が表示され、その中に天気カメラの映像が合成されているパターン等が該当する。さらにリソース映像の上から文字スーパー等が付加されることもあり、このようなケースにおいても放送利用映像とリソース映像には、空間的な差違が生じる。

同期信号入力端子１０２は、ＨＤ−ＳＤＩ入出力ボード１１０が様々な同期処理に利用する同期信号が入力される端子である。

映像出力端子１０３は、タリーの映像を表すタリー信号を出力する。タリーとは、１６個のリソース映像の中から、ローカル局で選択してオンエアしている１つの番組のリソース映像を示すために、１画面中の１６個のリソース映像のうちのオンエア中のリソース映像を囲むように表示される赤い枠である。タリー信号は、黒い背景の中に、１画面中の１６個のリソース映像の中で１つだけ選択されるオンエア中の映像に赤く表示される枠の画像を表す信号である。なお、図１には、タリーを白抜きで示す。実際の運用では、１６個のリソースに同一の映像が選択されるケースがあるため、表示されるタリーが１つのみに限定されるわけではない。具体的には、１６分割のリソース映像の中には専用線で伝送されている遅延の少ない映像の他、IP系統で伝送されている遅延の大きい映像が存在する可能性がある。2つの映像は同一のカメラにて撮影されているが、伝送ルートが異なるため遅延値は異なっているような場合には、複数個のタリーが同時に表示される。

音声出力端子１０４は、例えば、リソース映像がオンエアされたこと等を表す音声信号を出力する端子である。このような音声信号は、ＣＰＵ１２０によって生成される。

ＣＰＵ１２０は、映像ストリームの一致判定プログラムがインストールされており、映像ストリームの一致判定プログラムを実行する。これにより、ＰＣ１００は、映像ストリームの高速一致判定装置として機能する。

メモリ１３０は、ＰＣ１００に含まれるＲＡＭ(Random Access Memory)、ＲＯＭ(Read Only Memory)、ハードディスク等を１つのブロックとして表したものである。

インサータ１５０は、リソース映像と、タリー信号とが入力され、リソース映像にタリー信号が表すタリーの画像を上乗せ（スーパー）した映像を出力する。より簡易的な方法として、ＰＣ１００からリソース映像にタリーを合成した状態で出力するようにしてもよい。これにより、インサータが必要なくなり、ハードウェアの規模が小さくなり導入コストを削減できる。ただし、映像合成・出力の処理が増えるため、PCのメインとなる画像処理の速度が多少低下する。そのため、これら2つの方法(インサータモード・タリー合成モードと称す)をユーザが選択して利用する方式が望ましい。

スピーカ１６０は、ＣＰＵ１２０から出力される音声信号を音声に変換して出力する。

図２は、ＣＰＵ１２０の機能ブロックとデータの流れを表す図である。ＣＰＵ１２０は、映像ストリームの一致判定プログラムを実行することにより、図２に示す機能を実現する。

ＣＰＵ１２０は、映像読込部１２１、特徴量抽出部１２２、特徴量比較部１２３、遅延量推定部１２４、一致判定部１２５、タリー制御部１２６を有する。また、図２には、ＣＰＵ１２０の外部の構成要素として、インサータ１５０に含まれる映像合成部１５１を示すとともに、データとして、リソース映像、放送利用映像、タリー付き映像、音声アラームを示す。

ここで、図３を用いて、各部の機能について説明する。図３は、ＣＰＵ１２０によって実行される処理を示すフローチャートである。

ＣＰＵ１２０は、まず初期化を行う（ステップＳ１）。この処理は、映像読込部１２１、特徴量抽出部１２２、特徴量比較部１２３、遅延量推定部１２４、一致判定部１２５、タリー制御部１２６が行う処理以外の処理を行うＣＰＵ１２０の主制御部が行う。

この初期化では、この後に処理で扱う配列や変数の初期化を行い、設定した各種パラメーターを読み込む。例えば、マッチングコストのマトリクスでは、初めは全ての要素を最大値へと初期化する。また、比較するフレーム数などユーザが指定したパラメーターに基づきメモリを確保するなど、処理の準備を行う。

リソース映像と放送利用映像は、主制御部によって映像読込部１２１に入力される。リソース映像は、映像分配器（不図示）を経由して映像合成部１５１にも入力される。

映像読込部１２１は、リソース映像と放送利用映像の２つの映像ストリームをキャプチャーして画像として扱えるように、最新フレームの画像を読み込む（ステップＳ２）。その際、リソース映像は、ユーザが指定した座標位置にしたがってキャプチャーを行い、マルチビューワー装置による合成前の複数のリソース映像に分割してキャプチャーを行う。キャプチャーはユーザが指定したフレームレートで行い、ユーザが指定したフレーム数分だけキャプチャーしたフレームは、メモリ１３０に格納しておく。

特徴量抽出部１２２は、映像読込部１２１が読み込んだ最新フレームの画像に対して画像処理を行い、特徴量を抽出する（ステップＳ３）。特徴量抽出部１２２は、抽出した特徴量を表すデータをメモリ１３０に格納する。

特徴量比較部１２３は、特徴量抽出部１２２で抽出した放送利用映像の最新フレームの特徴量と、リソース映像の最新のフレームから過去（２〜３秒程度）のフレームの特徴量とを比較し、特徴量同士のマッチング処理を行う（ステップＳ４）。

マッチング処理のアルゴリズムとしては、既存の特徴量抽出手法として、例えばＯＲＢ（"An efficient alternative to SIFT or SURF", Ethan Rublee 他, IEEE International Conference on Computer Vision, Nov. 2011.）の手法を用いることができる。ここで得たマッチング結果をマッチングコストとする。マッチングコストは、特徴量同士の一致の度合を表し、低いほど一致の度合が高いことを表す。

具体的には、マッチングコストは、１−(マッチと判定している特徴点の数)/(リソース映像の総特徴点数)として求める。これにより、マッチングコストは0〜1の間の小数で表され、全ての特徴点が一致している場合は0、全く一致していない場合は1となる。また、特徴点間のマッチング時に、通常にマッチングを行った場合は外れ値(データ上のノイズ)により、誤検出が発生することがある。したがって、k近傍法やRANSACと呼ばれる外れ値処理を適用することで、外れ値の影響を抑えるのが望ましい。

遅延量推定部１２４は、特徴量比較部１２３で算出したマッチングコストの平均値を求める。平均値は、リソース映像の最新のフレームについての過去の所定フレーム数分の平均値、リソース映像の最新の１つ前のフレームについての過去の所定フレーム数分の平均値、・・・、リソース映像の最新の６個前のフレームについての過去の所定フレーム数分の平均値である。過去の所定フレーム数は、一例として、７フレームである。

この計算手法の詳細については、図４を用いて後述するが、リソース映像の最新のフレームから、リソース映像の最新の６個前のフレームまでの平均値を求めるのは、リソース映像に対する放送利用映像の遅延時間が、どの程度であるかを７フレームまでの間で当たりを付ける（推定する）ためである。

そして、遅延量推定部１２４は、リソース映像の最新のフレームについての平均値から、リソース映像の最新の６個前のフレームについての平均値までの７個の平均値のうちの最小値を求める（ステップＳ５）。７個の平均値のうちの最小値を与えるフレームと最新のフレームとの時間差は、リソース映像に対する放送利用映像の遅延時間であると推定されるからである。この理由は、図４を用いて後述する。

一致判定部１２５は、遅延量推定部１２４がステップＳ５で求めた平均値のうちの最小値が、ユーザが設定した閾値を下回っているかどうか判定することにより、放送利用映像とリソース映像が一致しているかどうかを判定する（ステップＳ６）。

一致判定部１２５は、遅延量推定部１２４がステップＳ５で求めた平均値のうちの最小値が閾値を下回っている（放送利用映像とリソース映像が一致している）場合に、該当のリソース映像は放送としてオンエア利用されていると判定する。この場合には、フローはステップＳ７Ａに進行する。

一方、一致判定部１２５は、遅延量推定部１２４がステップＳ５で求めた平均値のうちの最小値が閾値を下回っていない（放送利用映像とリソース映像が一致していない）場合には、該当のリソース映像は放送としてオンエア利用されていないと判定する。この場合には、フローはステップＳ７Ｂに進行する。

タリー制御部１２６は、タリーを表示するタリー信号と音声信号とを出力する（ステップＳ７Ａ）。タリー制御部１２６は、一致判定部１２５によって放送利用映像とリソース映像が一致していると判定された場合に、１６個のリソース映像を含む１画面の表示のうち、放送利用映像と一致すると判定されたリソース映像を表す部分にタリーを表示したタリー信号を映像合成部１５１に出力するとともに、「リソース映像がオンエアされました」という音声信号をスピーカ１６０に出力する。

タリー制御部１２６は、タリーを非表示にするタリー信号を出力する（ステップＳ７Ｂ）。タリー制御部１２６は、一致判定部１２５によって放送利用映像とリソース映像が一致していないと判定された場合に、タリーを非表示したタリー信号を映像合成部１５１に出力する。なお、この場合に、「リソース映像はオンエアされていません」という音声信号をスピーカ１６０に出力してもよい。

主制御部は、ステップＳ７Ａ又はＳ７Ｂの処理が終わると、リソース映像が放送としてオンエア利用された際の開始時間と終了時間、リソース名、オンエアされた際の放送利用映像のフレームを表すログをメモリ１３０に書き込む（ステップＳ８）。これらのデータをもとに、ユーザに要求される任意のタイミングでリソース運用ログを出力する。主制御部は、ステップＳ８の処理を終えると、フローをステップＳ１にリターンする。

図４は、ＣＰＵ１２０によって実行される映像ストリームの高速一致判定処理を示す図である。図４（Ａ）には、リソース映像の２０個のフレームＡ１〜Ａ１５及びＡ１１〜Ａ１５と、放送利用映像の２０個のフレームＢ１〜Ｂ７、Ａ５〜Ａ１１、及びＣ１〜Ｃ６とを示す。

図４（Ａ）〜（Ｅ）に示すリソース映像は、１画面中の１６個のリソース映像のうちの１つである。ここで図４を用いて説明する処理は、１つのリソース映像に含まれる１６個のリソース映像の各々と、放送利用映像とについて、同様に並列的に行われる。

図４（Ａ）において、横軸は時間であり、左に行くほど過去のフレームになり、右に行くほど新しいフレームになる。このため、図４（Ａ）に一例として示す状態では、リソース映像の右端のフレームＡ２０は最新（現在）のフレームであり、放送利用映像の右端のフレームＣ６は、最新（現在）のフレームである。

また、フレームＡ１〜Ａ２０と、フレームＢ１〜Ｂ７、Ａ５〜Ａ１１、及びＣ１〜Ｃ６とのアルファベットは、コンテンツ（番組）の種類を表す。アルファベットの添え数字は、時間方向の順番を表し、番号が小さいほど古く、番号が大きいほど新しいことを表す。

このため、リソース映像のフレームＡ１〜Ａ２０は、１種類の同一のコンテンツ（番組）Ａの時系列的に連続な２０個のフレームＡ１〜Ａ２０を示す。

また、放送利用映像のフレームＢ１〜Ｂ７、Ａ５〜Ａ１１、及びＣ１〜Ｃ６は、コンテンツ（番組）Ｂの時系列的に連続な７個のフレームＢ１〜Ｂ７を放送した後に、コンテンツ（番組）Ａの時系列的に連続な７個のフレームＡ５〜Ａ１１を放送し、その後にコンテンツ（番組）Ｃの時系列的に連続な６個のフレームＣ１〜Ｃ６を放送することを表す。

また、図４（Ａ）には、リソース映像と放送利用映像の２０個の順番を示すために、過去のフレームから最新のフレームにかけて、１〜２０の番号を振る。

ここで、図４（Ａ）に示すリソース映像と放送利用映像は、フレームＡ５に着目すると、リソース映像に比べて放送利用映像が３フレーム遅れていることが分かる。これは、上述したように、ローカル局は、放送利用映像を電波塔から放送し、自局のアンテナで受信した放送利用映像を映像入力端子１０１Ｂに入力するため、放送から受信までに要する時間による遅延である。

なお、ローカル局で運用する場合、放送利用映像にはキー局から送られてくる放送プログラムを利用することもできる。また、このようにキー局から送られてくる放送プログラムを検出することにより、キー局で利用したローカル局の映像を検出することができる。この方式の場合、ローカル局が持つリソース映像を実際に放送にオンエアし、さらに同ローカル局が持つ別のリソース映像をキー局側が利用している状況でも検出することが可能である。

また、ローカル局で利用した映像を検出したい場合は、電波塔へ送っている映像信号を放送利用映像として使うことも可能である。これにより、リソース映像と放送利用映像の間の遅延を小さくすることができる。ただし、キー局側やローカル局側でエンコード・デコードの処理を行っていることが多いため、遅延が0になることはない。

このようにリソース映像に対して放送利用映像が遅延する場合に、リソース映像のフレームと、放送利用映像のフレームとの同一性を次のようにして判定する。

図４（Ｂ）〜（Ｅ）には、横軸方向にリソース映像の最新のフレームから７個前のフレームまでの連続する７個のフレーム（すなわち最新の７個のフレーム）を示し、左側が最新のリソース映像のフレームであり、右側が過去の（より古い）リソース映像のフレームである。また、縦軸方向に放送利用映像の最新のフレームから７個前のフレームまでの連続する７個のフレーム（すなわち最新の７個のフレーム）を示し、上側が最新の放送利用映像のフレームであり、下側が過去の（より古い）放送利用映像のフレームである。

リソース映像と放送利用映像の最新の７個のフレーム（最新のフレームから７個前のフレームまでの連続する７個のフレーム）は、時間の経過によってフレームが入れ替わる度に、１つずつ入れ替わって行く。

また、リソース映像と放送利用映像の各フレーム同士の４９個のマッチングコストをマトリクス状に示す。時間の経過によってフレームが入れ替わる度に、最新の放送利用映像と、最新の７個のリソース映像とについて、７個のマッチングコストが求められ、４９個のマトリクスの最上行に値が格納される。そして、リソース映像と放送利用映像の最新の７個のフレームが時間の経過によって１つずつ入れ替わる度に、７個の平均値は１行ずつ下にずれて行く。

このため、４９個のマトリクスのうち、最上行は、最新の放送利用映像と、最新の７個のリソース映像とについて求められた７個のマッチングコストである。４９個のマトリクスのうち、最上行の１行下は、１フレーム前の時点で、最新の放送利用映像と、最新の７個のリソース映像とについて求められた７個のマッチングコストである。以下同様に、４９個のマトリクスのうち、最上行から６行下（最下行）は、６フレーム前の時点で、最新の放送利用映像と、最新の７個のリソース映像とについて求められた７個のマッチングコストである。

また、４９個のマトリクスの下には、リソース映像の各フレームと、放送利用映像の７個のフレームとのマッチングコストの合計値と平均値を示す。すなわち、各マッチングコストの平均値は、フレームが入れ替わる各周期において、リソース映像の最新の７個のフレームの各々について、最新の１個の放送利用映像のフレームとについて求められた７個のマッチングコスト（縦に並べられている７個のマッチングコスト）の平均値を示す。

ここでは、このようなマッチングコストの平均値を用いて、空間的な差違と時間的な差違がある１６個のリソース映像と放送利用映像との一致を判定する。ここでは、並列的に行われる１６の処理のうちの１つについて説明する。

また、以下では、マッチングコストの最小値は０であり、マッチングコストの最大値は１であることとする。また、図３のステップＳ６において放送利用映像とリソース映像が一致しているかどうかを判定する際のマッチングコストの平均値の閾値は、一例として０．７であることとする。このような閾値は、実験等で最適な値に決めればよい。

まず、図４（Ｂ）には、放送利用映像の最新のフレームから６フレーム前までの７フレームについて、各フレームが最新のフレームであった時点において求められた、最新の放送利用映像と、最新の７個のリソース映像とについて求められた７個のマッチングコストを示す。図４（Ｂ）には、一例として、リソース映像と放送利用映像のフレームＡ１〜Ａ７とＢ１〜Ｂ７を示す。

図４（Ｂ）に示す４９個のマッチングコストの値は、ＣＰＵ１２０が図３に示すステップＳ２からステップＳ８の処理を７回繰り返すときのステップＳ３〜Ｓ５の処理によって得られる。

図４（Ｂ）の例では、４９のマッチングコストがすべて１．０である。このため、ＣＰＵ１２０によって７個求められるマッチングコストの平均値は、すべて１．０である。これは、図３に示すステップＳ５の処理に相当する。ここでは、７個のマッチングコストの平均値は、すべて１．０であるため、最小値は１．０である。この値は閾値（０．７）よりも大きいため、ＣＰＵ１２０は、ステップＳ６でＮＯと判定し、ステップＳ７Ｂでタリーを非表示にし、ステップＳ８でログを書き込み、フローをステップＳ２にリターンする。

次に、ＣＰＵ１２０は、ステップＳ２の処理を実行して放送利用映像とリソース映像の最新フレームを取得することにより、図４（Ｃ）に示すように、リソース映像及び放送利用映像の最新の７個のフレームを１つずつ更新し、フレームＡ２〜Ａ８とフレームＢ２〜Ｂ７及びＡ５について処理を行う。そして、ＣＰＵ１２０は、放送利用映像とリソース映像の最新フレームの部分について、ステップＳ３〜Ｓ５の処理に従って７個のマッチングコストを求める。

図４（Ｃ）の例では、リソース映像のフレームＡ２〜Ａ８と、放送利用映像のフレームＡ５とのマッチングコスト（最上行参照）が１．０よりも低くなっている。そして、リソース映像のフレームＡ５と、放送利用映像のフレームＡ５とのマッチングコストが０であり、最小値になっている。リソース映像のフレームＡ５と、放送利用映像のフレームＡ５とのマッチングコストであり、画素や縮尺等の違い（空間的な差違）と、リソース映像に対する放送利用映像の遅延（時間的な差違）とがあっても、基本的に同一の映像同士を比べているため、マッチングコストが最小になったものである。

図４（Ｃ）では、ＣＰＵ１２０が実行するステップＳ５の処理によって７個求められるマッチングコストの平均値は、最新から過去にかけて、０．９０、０．８９、０．８７、０．８６、０．８７、０．８９、０．９０である。すなわち、最小値は０．８６である。

なお、図４（Ｃ）では、リソース映像のフレームＡ５に対して放送利用映像の最新のフレームＡ５が３フレーム遅延しているため、遅延時間は３フレーム分であると推定される。

しかしながら、マッチングコストの平均値の最小値は閾値（０．７）よりも大きいため、ＣＰＵ１２０は、ステップＳ６でＮＯと判定し、ステップＳ７Ｂでタリーを非表示にし、ステップＳ８でログを書き込み、フローをステップＳ２にリターンする。

次に、ＣＰＵ１２０は、ステップＳ２の処理を実行して放送利用映像とリソース映像の最新フレームを取得することにより、図４（Ｄ）に示すように、リソース映像及び放送利用映像の最新の７個のフレームを１つずつ更新し、フレームＡ３〜Ａ９とフレームＢ３〜Ｂ７、Ａ５、及びＡ６について処理を行う。そして、ＣＰＵ１２０は、放送利用映像とリソース映像の最新フレームの部分について、ステップＳ３〜Ｓ５の処理に従って７個のマッチングコストを求める。

図４（Ｄ）の例では、リソース映像の最新の７個のフレームＡ３〜Ａ９と、放送利用映像の最新のフレームＡ６とのマッチングコストが１．０よりも低くなっている。そして、リソース映像のフレームＡ６と、放送利用映像のフレームＡ６とのマッチングコストが０であり、最小値になっている。空間的な差違と、時間的な差違があっても、基本的に同一の映像同士を比べているため、マッチングコストが最小になったものである。

図４（Ｄ）では、ＣＰＵ１２０が実行するステップＳ５の処理によって７個求められるマッチングコストの平均値は、最新から過去にかけて、０．７６、０．７４、０．７３、０．７１、０．７３、０．７４、０．７６である。すなわち、最小値は０．７１である。

なお、図４（Ｃ）では、リソース映像のフレームＡ６に対して放送利用映像の最新のフレームＡ６が３フレーム遅延しているため、遅延時間は３フレーム分であると推定される。

しかしながら、マッチングコストの最小値は閾値（０．７）よりも大きいため、ＣＰＵ１２０は、ステップＳ６でＮＯと判定し、ステップＳ７Ｂでタリーを非表示にし、ステップＳ８でログを書き込み、フローをステップＳ２にリターンする。

その後、ＣＰＵ１２０がステップＳ２〜Ｓ８の処理を繰り返すことにより、リソース映像及び放送利用映像の最新の７個のフレームを１つずつ更新することが繰り返される。そして、図４（Ｅ）では、フレームＡ９〜Ａ１５とフレームＡ６〜Ａ１１、及びＣ１１について処理が行われる場合について説明する。

ＣＰＵ１２０は、ステップＳ２の処理を実行して放送利用映像とリソース映像の最新フレームを取得することにより、図４（Ｅ）に示すように、フレームＡ９〜Ａ１５とフレームＡ６〜Ａ１１、及びＣ１１について処理を行う。そして、ＣＰＵ１２０は、放送利用映像の最新のフレームと、リソース映像の最新の７個のフレームとについて、ステップＳ３〜Ｓ５の処理に従って７個のマッチングコストの平均値を求める。

図４（Ｅ）の例では、放送利用映像の最新のフレームＣ１と、リソース映像の最新の７個のフレームＡ１５〜Ａ９とのマッチングコストが１．０になっている。

図４（Ｅ）では、ＣＰＵ１２０が実行するステップＳ５の処理によって７個求められるマッチングコストの平均値は、最新から過去にかけて、０．４０、０．３１、０．２３、０．１４、０．２３、０．３１、０．４０である。すなわち、最小値は０．１４である。

そして、マッチングコストの最小値は閾値（０．７）以下であるため、ＣＰＵ１２０は、ステップＳ６でＹＥＳ（放送利用映像とリソース映像が一致）と判定し、ステップＳ７Ａでタリーを表示させ、ステップＳ８でログを書き込み、フローをステップＳ２にリターンする。

ここでは、１画面に含まれる１６個のリソース映像の各々と、放送利用映像とについて並列的に行われる１６の処理のうちの１つについて説明しているが、ステップＳ７Ａでは、放送利用映像と一致すると判定されたリソース映像が、１６個のリソース映像を含む１画面の表示の中に表示される座標に、タリーの赤い枠が表示される。

これにより、オンエア中のリソース映像が１６個のリソース映像のうちのどれであるかをユーザが認識することができる。

以上のように、実施の形態によれば、最新の１個の放送利用映像のフレームと、最新の７個のリソース映像のフレームとのマッチングコストを求め、過去７フレームにわたるマッチングコストの平均値を、リソース映像の最新のフレームから６個前のフレームまでの各々について求める。

そして、マッチングコストの７個の平均値の最小値が閾値以下になると、当該リソース映像がオンエアされていると判定し、タリーを表示する。マッチングコストの７個の平均値の最小値を与えるリソース映像は、リソース映像に対する放送利用映像の遅延時間であると推定される時間に対応するフレームについて求められた平均値を有するからである。

従って、複数のリソース映像と現在放送にオンエアされている映像を比較し、空間的な差違や時間的な差異が存在していても、リソース映像と放送利用映像の一致性を判定できる映像ストリームの一致判定プログラムを提供することができる。

また、以上では、リソース映像が１つの画面の中に１６個のリソース映像を含む形態について説明したが、１つの画面の中に含まれるリソース映像の数は１６個に限られない。例えば、４個でもよいし、１個でもよい。

また、音声信号は、スピーカ１６０に出力する代わりに、デジタルハイブリッド及び電話回線を経由して、中継現場等に提供するようにしてもよい。この場合は、中継現場等で当該中継現場の映像がオンエアされていることを把握することができる。なお、デジタルハイブリッドは、テレホンハイブリットと称されることもある。

また、以上では、映像処理システム１０がローカル局に配備される形態について説明した。ローカル局では、基本的にはキー局から送られてくる放送プログラムとローカル局内で作成する放送プログラムを選択的に送出、放送する。また、ローカル局の天気カメラやその他リソース映像は光回線(専用線)やIP回線にてキー局へと送られる。したがって、キー局ではローカル局が持っているリソース映像も放送プログラム上で利用することができる。しかし、ローカル局側ではキー局側がどのようなタイミングでローカル局側のリソース映像を利用するかわからない。そのため、放送利用映像とリソース映像を比較することでキー局がローカル局側のリソースを利用したことを確認することができる。

一方、キー局側で運用する場合を考えると、キー局側ではどのリソース映像を使用しているかという情報を自分で持っている。したがって、ローカル局とは異なり、現在利用している映像を可視化(タリーをつける)などはある程度容易に行うことができる。しかし、本発明ではこのようなリソース映像の使用情報を用いることなく、２つの映像ストリームを比較するだけで一致判定を行うことができる。そのため、システムの規模が小さく、導入の敷居は低いと考えられ、ローカル局に限らず、キー局にも適したシステムである。

以上、本発明の例示的な実施の形態の映像ストリームの一致判定プログラムについて説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１０映像処理システム
１００ＰＣ
１０１Ａ、１０１Ｂ映像入力端子
１０２同期信号入力端子
１０３映像出力端子
１０４音声出力端子
１１０ＨＤ−ＳＤＩ入出力ボード
１２０ＣＰＵ
１２１映像読込部
１２２特徴量抽出部
１２３特徴量比較部
１２４遅延量推定部
１２５一致判定部
１２６タリー制御部
１３０メモリ
１５０インサータ
１５１映像合成部
１６０スピーカ

Claims

リソース映像と放送利用映像のマッチングを判定する映像ストリームの一致判定プログラムであって、
コンピュータが、
複数のリソース映像の各リソース映像について、当該リソース映像の最新の所定数のフレームと、放送利用映像の最新の１個のフレームとの特徴量を抽出し、
前記特徴量に基づき、前記リソース映像の最新の所定数のフレームと、前記放送利用映像の最新の１個のフレームとの一致度合を算出し、
前記リソース映像の最新の所定数のフレームの各々について、現在から所定時間前までに算出された一致度合の合計を算出し、
前記合計を前記所定数で除算することによって前記一致度合の平均値を算出し、
前記一致度合の平均値が所定の閾値以下であるかどうかを判定し、
前記一致度合の平均値が所定の閾値以下である場合に、前記複数のリソース映像のうち、前記閾値以下の一致度合の平均値を有する当該リソース映像と放送利用映像が一致すると判定する、映像ストリームの一致判定プログラム。
前記複数のリソース映像は、１画面を分割した形式で表示されており、
前記リソース映像と前記放送利用映像が一致すると判定されると、前記１画面のうち、前記一致すると判定されたリソース映像を表示する位置に、タリーを表示する、請求項１記載の映像ストリームの一致判定プログラム。
前記リソース映像と前記放送利用映像が一致すると判定されると、前記リソース映像がオンエアされる旨の音声案内を出力する、請求項１又は２記載の映像ストリームの一致判定プログラム。