JP2005269015A - 複数のアルゴリズムを利用する動画像抽出装置 - Google Patents

Abstract

【課題】従来公知のブロック分割領域の動きベクトル分布による類似動画像抽出アルゴリズムの問題点を克服して、再現率及び適合率を向上させ得る新たな動画像抽出アルゴリズムを提供すること。
【解決手段】動画像データから特定シーンを抽出する動画像抽出装置において、複数のアルゴリズムの相互連携の下で抽出を行うことにより、再現率および適合率を高める。例えば、動画像蓄積装置と基準画像蓄積装置に蓄積されたデータから動きベクトルを計算し、類似シーンを抽出する第１のアルゴリズムと、テロップの表示等を識別してシーンの発生を知らせる第２のアルゴリズムを設け、両者の一致により動画像データに蓄積されている動画像データから基準画像の類似シーンを抽出する。
【選択図】図２

Description

本発明は、テレビ放送番組蓄積装置等の映像システムにおいて、大量の映像データの中から、特定のシーンを抽出する動画像抽出装置に係わる。

多チャンネル時代の到来により、膨大な映像データがテレビ放送され、また、ブロードバンドインターネットの普及により、様々な映像コンテンツが配信されるようになった。これにより長時間のテレビ放送番組全体を記録するようなテレビ画像蓄積装置が開発された。このため、後で自分の見たいシーンを探し出すのに非常に時間がかかるようになった。

このため、デジタル画像蓄積方式において用いられるＭＰＥＧ２の動きベクトルを利用して動画像のシーンを分割し、そのシーンが検索を希望しているシーンであるかどうかを比較する方式が公知である。最近の半導体技術および大容量デジタルデータの蓄積技術の進歩で、このような画像の探索が可能になった。

通常のテレビ映像（ＮＴＳＣ方式）は１画面は約７２０画素×４８０ライン、３０フレーム／秒で構成される。この映像をそのまま記憶すれば膨大なデータ量となるため、映像蓄積装置では、通常は圧縮符号化技術が適用される。圧縮符号化技術として現在はＭＰＥＧ２などの技術が用いられている。

圧縮符号化技術の原理を簡単に説明すれば、テレビ映像の連続する前後のフレームは極めて類似性が高いので、前後のフレームで差分を取れば、動きのある部分のみが抽出される。更に抽出された画素に着目して、その画素の位置が前フレームと現フレームにおいてどのように動いたか、動きの大きさと方向（動きベクトル）を取り出す処理を行い、この動きベクトルの大きさだけ、現フレームを補正した後前フレームとの差分をとれば、より差分量は少なくなり、効率的な圧縮が可能になる。

この動きベクトルの大きさだけ現フレームを補正する操作を「動き補償」といっているが、この動きベクトルの計算を１画素単位で行うと計算量が膨大になるため、実際は１６×１６画素のブロックを単位として行われる。このブロックについての動きベクトルを利用して映像シーンを分割し、特定シーンを検出する装置が提案されている（例えば特許文献１「特定シーン抽出装置」参照）。

特許文献１によれば、１画面あたり７２０×４８０画素を１６×１６画素を単位とするブロックに分割すると、４５×３０ブロック、合計１３５０ブロックになる。しかしながら、１３５０の動きブロックの情報はなお膨大で、処理には不便であるので、特許文献１では９乃至２５ブロック程度に低減することが提案されている。そのような大きいブロックを統合化ブロック、統合化ブロック中の動きベクトルを統合化動きベクトルと呼ぶ。

図８により特許文献１の動きベクトルによる動画像抽出装置の構成を説明する。図８において、動画像蓄積回路１に蓄積された動画像データを再生し、動きベクトル計算回路２でＭＰＥＧ２の動きベクトルを計算し、動きベクトル計算回路２の出力はシーン分割回路３に入力される。シーン分割回路３では動きベクトルが急激に変化する時点を検出し、その時点を境にシーンが切り替わったと解釈して前後のシーンを分割する。シーン分割回路３の出力は動きベクトル統合化回路４に入力され、例えば、画面全体を３×３の９個の領域（ブロック）に分割し、夫々の領域内の統合化動きベクトルを計算する。この出力は統合化動きベクトル蓄積回路５に蓄積される。

動画像抽出の際の比較対象となる基準画像は、基準画像蓄積回路６に蓄積され、動きベクトル計算回路７で動画像データと同様に動きベクトルが計算され、検索キー生成回路８で比較対象としての統合化動きベクトルを生成し、蓄積する。比較演算回路９は統合化動きベクトル蓄積回路５の出力と検索キー生成回路９の出力を比較し、波形が一致すれば、検索対象のデータと判別し、その画像データを出力画像蓄積回路１３に蓄積する。この動画像抽出装置は、各ブロックの多数のフレームを平均して統合化しているため画像の特徴が平準化され、誤りのシーンを抽出したり、所望のシーンを検出できずに、再現率及び適合率を向上させるのが難しい場合がある。

上記の再現率および適合率は、例えば野球の投球シーンを抽出するアルゴリズムでは次のように定義される。
再現率＝（正確に投球シーンを判定した数）／（実際の投球シーン数）
適合率＝（正確に投球シーンを判定した数）／（検索で判定された投球シーン数）

あらゆる現象において、映像の動きの情報を統計的に解析すれば、映像の動き量の変化や特徴を得ることが可能である。しかし、従来のブロック分割領域の動きベクトル分布を用いる類似動画像抽出アルゴリズムの問題点は、「シーン」の各ブロックの多数フレームを平均化して統合するため、画面特徴が平均化され、標準偏差も大きくなり、誤りのシーンを抽出しやすいことである。

特願２００３−２４４６２８号公報

本発明が解決しようとする課題は、従来公知のブロック分割領域の動きベクトル分布による類似動画像抽出アルゴリズムの上記の問題点を克服して、再現率及び適合率を向上させ得る新たな動画像抽出アルゴリズムを提供することである。

上記の課題は、動きベクトルによりシーン抽出を行うアルゴリズムに、一つまたは複数の補助アルゴリズムを組み合わせ、それらの相互連携の下に動画像抽出操作を行うことにより解決される。

本発明に係る動画像抽出装置では、時間的経過とともに異なったアルゴリズムを組み合わせ適用して目的のシーンを抽出する。すなわち、補助アルゴリズムとしての各種の類似動画像抽出アルゴリズムをシーンの性質に合わせて予め用意しておき、これらにＡＮＤ、ＯＲ、又はＩＦの論理を適用して組み合わせ連携させる。

本発明に係る動画像抽出装置抽出装置により、誤りのシーンを抽出する割合が減少し、再現率および適合率が向上する。

本発明の実施形態として、以下の（１）〜（５）を挙げることができる。
（１）動きベクトルにより動画像を抽出するアルゴリズムをアルゴリズムＡとして、それに付随する現象を検出するアルゴリズムを選び、これをアルゴリズムＢとする。アルゴリズムＡによる抽出結果に、さらにアルゴリズムＢを適用して動画像を抽出すれば、アルゴリズムＡだけで抽出する場合に比較して格段に再現率および適合率を高めることができる。

（２）コンテンツに特徴あるシーンまたは特徴のあるカメラワークによるコンテンツの動きの変化が引き続いて起こる場合は、複数のアルゴリズムを連携させることにより再現率および適合率を向上させることができる。例えば野球コンテンツでは、ホームランを打った時、スタンドにボールが入るシーンと打者がダイヤモンドを周回するシーンは組み合わせになる。サッカーのゴールシーンでは、ゴールにボールが入るシーンと、観衆が喜び合うシーンは組み合わせになることが多い。それぞれのシーンを抽出するアルゴリズムを作成し、ＡＮＤおよびＯＲの論理でこれらのアルゴリズムを連携させれば、そのシーンの再現率および適合率を向上させることができる。

（３）野球の投球シーンではテロップで投球スピードを表示することが多い。また投球シーンが終了するとスコアが変わり、これもテロップ画面で表示される。これらを識別して投球シーンの画像を抽出すれば、高い再現率および適合率で投球シーンを抽出できる。

（４）音声または音響データを利用する方法を挙げることができる。音声または音響データを利用する方法では、動画像記憶装置から再生された動画像の音声または音響データを音響信号識別回路で分析し、抽出すべき動画像に関連した音響データや、会場の歓声あるいはアナウンスの音声があるかどうかを比較演算回路で照合し、抽出すべき現象が起こっているかどうかを照合する。もしこのような音響データが示されない時は、画像データの照合結果が肯定的であっても、該当する現象は起きていないものと判断する。

（５）カメラワークから動画像の全体的な動きを捉え、特定シーンを抽出することが可能である。例えば、野球の動画像ではホームランを打った時のカメラワークは、他のシーンとは異なる動きをする。このカメラの動きを記録し、このパターンを捉えるアルゴリズムにより、ホームランのシーンを抽出することができる。

図１は本発明の第１の実施例を示すブロック図である。これは、図８に示された公知の装置にアルゴリズムＢ計算回路１４を加えて、動画像蓄積回路１の出力及び基準画像蓄積回路６の出力から、動きベクトルによる動画像抽出のアルゴリズムＡとは異なる別のアルゴリズムＢにより動画像の抽出を行い、比較演算回路１２によりアルゴリズムＡとアルゴリズムＢのＡＮＤを取り、それを出力画像蓄積回路１３に蓄積するものである。

上記におけるアルゴリズムＢはアルゴリズムＡを補強するアルゴリズムであって、所望の動画像に付随して現れる現象を検出する。これは画面に現れる付随的な表示でも、画像とともに現れる音声や音響、撮影時のカメラワークなどであっても良く、それらの組み合わせも含まれる。上記のアルゴリズムＡとアルゴリズムＢが同時に成立することで特定シーンと判定し、その画像を出力する。

図２は幾つかのアルゴリズムの論理の組み合わせにより、単一のアルゴリズムによる動画像抽出を補強する一例である。ここでは図１におけるＡ×Ｂの拡張として４つのアルゴリズムを考え、先行のシーンで論理式（Ａ×Ｂ）＋Ｃで動画像の抽出を行う。更に後続のシーンでアルゴリズムＤが成立するか確認し、これらのすべての条件が満足されたなら所望の動画像が抽出されたものとする。

ここでアルゴリズムＡとアルゴリズムＢはＡＮＤの関係で、（Ａ×Ｂ）とＣはＯＲで関係づけられている。そして（Ａ×Ｂ）とＣのいずれかが成立したならば、アルゴリズムＤを適用しようとする。つまり（Ａ×Ｂ＋Ｃ）×Ｄの条件である。このように幾つかのアルゴリズムを適宜に組み合わせて動画像を検出すれば、再現率及び適合率を向上させることができる。

この例では、アルゴリズムＤは他のアルゴリズムより判別時点が遅れている。例えばサッカーのゴールシーンを抽出する場合、アルゴリズムＡは攻撃側選手のシュートシーン、アルゴリズムＢはゴールキーパーの動作を示し、アルゴリズムＣは審判のゴールインの判定シーンである、更にこれに遅れた後続のシーンで観衆が歓声を上げている動画像がアルゴリズムＤで抽出される。このように４つのシーンの抽出を（Ａ×Ｂ＋Ｃ）×Ｄで判断することにより、より確実にゴールシーンの再現率および適合率を向上させることが可能になる。

図３ないし図６は本発明の第２の実施例の説明図である。図３は補助アルゴリズムとして映像画面に現れるテロップを利用する抽出装置の構成図である。基準画像蓄積回路６により再生された基準画像データを使用し、テロップ条件設定回路１０は、後述するテロップ条件設定アルゴリズムに従ってテロップ条件を設定する。テロップ抽出回路１１において、動画像蓄積回路１により再生された動画像データをこのテロップ条件と照合して、動画像にテロップが表示されていることを示す信号を得る。

比較演算回路１２は、比較演算回路９よりのアルゴリズムＡの出力信号と、テロップ抽出回路１１からのアルゴリズムＢの照合信号を受け、この両方のアルゴリズムで条件が満足されていることを確認して類似動画像が抽出される。 投球シーンの例では、投手の投球シーンを検出した動画像データに、球速表示のテロップがあれば、比較演算回路１２で両方のアルゴリズムを確認し、その動画像を投球シーンのものとして出力画像蓄積回路１３に記録する。

図４はこの過程を示すフローチャートであり、アルゴリズムＡとアルゴリズムＢのＡＮＤを取って類似画像の出力が得られるので、アルゴリズムＡのみの場合に比較して、要求されるシーンの抽出がより高い再現率および適合率で実行できる。

図５、図６は本発明のテロップ抽出のアルゴリズムの説明図である。テロップを判別するにはフレームにおける真白および真黒のピクセルの数が抽出条件を満足し、かつ、この判定条件が、あるフレーム数以上継続することを確認する必要がある。即ち、テロップの抽出条件は下記のようにまとめられる。

抽出条件１：テロップが存在するフレームとそのブロックを指定し、そのピクセルの色表示で真白、真黒を表示するピクセル数を数え、その数が統計的に決めたしきい値を超えること。真白のピクセルがａ以上、真黒のピクセルがｂ以上あること。
抽出条件２：テロップを検出したフレーム数が連続してｃフレーム以上あること。
抽出条件３：抽出条件１と抽出条件２がともに満足されること（ＡＮＤの関係）。

この動作を図により説明すると、図５のブロック表は動画像のあるフレームの表示画面を５×５の２５に分割したものであり、先ず、どのブロックにテロップが表示されるかを基準画像についてチェックする。例えば、Ｅ２ブロックを指定して約１０フレーム以上の映像でテロップの抽出条件を検証する。真白のピクセルの数がａ（＝１０）以上、真黒のピクセル数がｂ（＝１２０）以上に達すればそのフレームは球速表示のテロップであると判定される。（抽出条件１）

ｃ（＝１０）フレーム以上連続して上記の条件を満足すれば、テロップフレームと判別される。このａ、ｂ、ｃの値およびテロップの位置はテロップの種類により異なるので、基準映像データで確認して、しきい値およびテロップの位置を設定する。図６のフローチャートはこのアルゴリズムを図示したものである。このように、第１のアルゴリズムと第２のアルゴリズムの両方を照合することにより、要求されている現象の発生を、より確実に検出することができる。

図７は本発明の第３の実施例の構成を示すブロック図である。図７は動画像データに同時に記録されている音声データを取り出して、観衆の歓声をレベルで識別してホームランのような事象が生じたことを判定する場合を示す。動画像蓄積回路１に蓄積された、動画像データを再生し、その音声データを音響信号識別回路１５に入力する。ここで音声の信号レベルを時間を追って識別し、映像データよりホームランのシーンが抽出されている時に、この音響信号識別回路で平常より高い信号レベルの歓声が検知された場合は、その出力を比較演算回路１２へ送る。このような歓声は、ホームランのシーンより遅れて発生するので、比較演算回路９の映像信号により動画像を抽出するアルゴリズムＡの信号は、比較演算回路１２より、一旦前シーン蓄積回路１６に蓄積し、１シーン遅れて到着する音響信号識別回路１５よりの信号と同期を取る。

本発明により、放送番組蓄積装置等における動画像の抽出が高い再現率および適合率で実現できる。本発明は、放送送出側の番組制作にあたり、撮影済みの画像データを効率的に管理できるほか、受信者側でも放送された番組を録画して保存した場合、必要により画像データを検索し、再生して鑑賞することができる。

本発明の第１実施例としての、動きベクトルによる動画像抽出と補助アルゴリズムを組み合わせた動画像抽出装置の構成図である。 第１実施例を拡張して、時間をずらした複数のアルゴリズムを使用する動画像抽出装置の動作を示す原理図である。 本発明の第２実施例としての、動きベクトルによる動画像抽出とテロップ情報によるシーン判定を組み合わせた動画像抽出装置の構成図である。 図３に示す動画像抽出装置の動作を示すフローチャートである。 テロップ検出の領域を示す説明図である。 テロップ検出のアルゴリズムを示すフローチャートである。 動きベクトルによる動画像抽出と音響信号識別を組み合わせた動画像抽出装置の構成図である。 公知の動画像抽出装置の構成図である。

符号の説明

１ 動画像蓄積回路
２ 動きベクトル計算回路
３ シーン分割回路
４ 動きベクトル統合化回路
５ 統合化動きベクトル蓄積回路
６ 基準画像蓄積回路
７ 動きベクトル計算回路
８ 検索キー生成回路
９ 比較演算回路
１０ テロップ条件設定回路
１１ テロップ抽出回路
１２ 比較演算回路
１３ 出力画像蓄積回路
１４ アルゴリズムＢ計算回路
１５ 音響信号識別回路
１６ 前シーン蓄積回路

Claims (3)

1. 動きベクトルによりシーン抽出を行うアルゴリズムに、一つまたは複数の補助アルゴリズムを組み合わせ、それらの相互連携により、再現率および適合率を高めた動画像抽出装置。
2. 前記補助アルゴリズムの一つが、テロップの画像を利用してシーン検出を行うアルゴリズムである、請求項１記載の動画像抽出装置。
3. 前記補助アルゴリズムの一つが、動画像に伴う音声または音響を利用してシーン検出を行うアルゴリズムである、請求項１記載の動画像抽出装置。
   
   
   

Images