JP2011259071A

JP2011259071A - 画像処理装置

Info

Publication number: JP2011259071A
Application number: JP2010129965A
Authority: JP
Inventors: Taku Mukoda; 卓向田
Original assignee: Renesas Electronics Corp
Current assignee: Renesas Electronics Corp
Priority date: 2010-06-07
Filing date: 2010-06-07
Publication date: 2011-12-22

Abstract

【課題】ビデオストリームにおける目的の場所を精度良く検出する。
【解決手段】デコーダ１１２は、ビデオストリームＶＳをデコードして複数の画像を得る。エンコーダ１２０におけるプレ処理部１２２は、これらの画像を縮小して縮小画像を得る。代表値算出部１３０は、縮小画像の画素データに対して所定の演算を行って該縮小画像を代表する数値である代表値を得る。特定部１５０は、これらの複数の縮小画像に対して、代表値と所定の基準値との比較を行うことにより、上記複数の画像における目的画像を特定する。
【選択図】図１

Description

本発明は、画像処理、具体的には圧縮された動画像であるビデオストリームの処理技術に関する。

近年、テレビ放送のビデオストリームの録画装置が、ますます普及している。この種の録画装置について、ユーザの利便性などの視点から、様々な技術が提案されている。

例えば、特許文献１には、録画時にコマーシャル（以下ＣＭともいう）部分を除くための、ＣＭの自動検出手法が開示されている。図１５は、特許文献１における図４に対応し、該手法を示すフローチャートである。

図１５から分かるように、この手法は、ビデオストリーム中のダークフレームや、無音期間をＣＭ部分と番組本体の境界として検出する。

特許文献２には、関心のあるフレームをビデオストリームから識別し、録画の開始や停止を自動的に行う手法が開示されている。図１６は、特許文献２における図３であり、該手法を示すフローチャートである。

図１６から分かるように、該手法は、現フレームの比較署名を生成して基準署名と比較する。比較の結果、一致すれば、録画の開始や停止など、基準フレームに対して指定された動作を実行する。

また、特許文献３には、ハッシュ関数を利用して、ＭＰＥＧビデオストリーム中のＩフレームからシグニチャ情報を生成し、該シグニチャ情報に基づいてビデオストリーム中の所望されるシーンを抽出して再生する手法が開示されている。

さらに、特許文献４には、テレビ放送を録画する際に、まず、黒画面、無音声期間、ＧＯＰの最初のＩピクチャまたはＰピクチャなどの検出を行い、検出結果に応じてチャプタ分割を自動的に行う。そして、チャプタ分割の結果をユーザに示し、該チャプタ分割が妥当か否かをユーザに判断させると共に、ユーザの判断に応じてチャプタ分割の維持または取消しを行う。さらに、維持されたチャプタ分割に関する情報を蓄積し、連続ドラマなど、毎週、同じ曜日の同じ時間に放送される番組を録画する際に、蓄積された情報を利用してチャプタ分割を行う。これにより、ユーザの負担を軽減する。

特表２００５−５２５０５３号公報特開２００７−１１０７０９号公報特開２００８−２６３５０２号公報特開２００８−１４１３８３号公報

ところで、無音期間や黒画面を経ずにＣＭ又は番組本体への遷移がなされる場合も多々あるため、特許文献１や特許文献４の手法では、ＣＭの検出漏れが生じてしまう。また、音声を基準とした検出では、数フレーム程度のズレが生じやすいという問題がある。

特許文献２の手法は、比較署名としてハッシュ値などを用いる。このような比較署名は、Ａ／Ｄ変換や圧縮ノイズなどに影響されやすく、映像データに１ビットの違いがあるだけでも、大きく異なってしまう恐れがある。そのため、基準フレームを精度良く判断することができない場合がある。

また、特許文献３の手法は、ハッシュ値を用いるため、特許文献２の手法と同様の問題がある。

本発明は、上記事情に鑑みてなされたものであり、ビデオストリームにおける目的の場所を精度良く検出できる技術を提供する。

本発明の一つの態様は、画像処理装置である。この画像処理装置は、圧縮された動画像であるビデオストリームをデコードして複数の画像を得るデコーダと、前記複数の画像を縮小してそれぞれの縮小画像を得る縮小部と、前記縮小画像の画素データに対して所定の演算を行って該縮小画像を代表する数値である代表値を得る代表値算出部と、前記複数の縮小画像に対して前記代表値と所定の基準値との比較を行うことにより、前記複数の画像における目的画像を特定する特定部とを備える。

なお、上記態様の装置を方法やシステムに置き換えて表現したものも、本発明の態様としては有効である。

本発明にかかる技術によれば、ビデオストリームにおける目的の場所を精度良く検出できる。

本発明の実施の形態にかかるレコーダを示す図である。図１に示すレコーダにおける特定部の処理を説明するための図である（その１）。図１に示すレコーダにおける特定部の処理を説明するための図である（その２）。図１に示すレコーダにおける特定部の処理を説明するための図である（その３）。図１に示すレコーダにおける特定部の処理を説明するための図である（その４）。図１に示すレコーダにおける特定部の処理を説明するための図である（その５）。図１に示すレコーダにおける特定部の処理を説明するための図である（その６）。図１に示すレコーダにおける特定部の処理を説明するための図である（その７）。図１に示すレコーダにおける特定部の処理を説明するための図である（その８）。図１に示すレコーダにおける特定部の処理を説明するための図である（その９）。１つの基準値に基づいた目的画像の特定を説明するための図である（その１）。１つの基準値に基づいた目的画像の特定を説明するための図である（その２）。１つの基準値に基づいた目的画像の特定を説明するための図である（その３）。１つの基準値に基づいた目的画像の特定を説明するための図である（その４）。特許文献１における図４である。特許文献２における図３である。

以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。

図１は、本発明の実施の形態にかかるレコーダ１００を示す。レコーダ１００は、例えばテレビ放送の録画装置であり、チューナ１１０、デコーダ１１２、エンコーダ１２０、代表値算出部１３０、蓄積部１４０、特定部１５０、実行部１６０、記録媒体１７０、入力部１８０を備える。

チューナ１１０は、テレビ放送を受信してビデオストリームＶＳをデコーダ１１２に出力する。

デコーダ１１２は、ビデオストリームＶＳをデコードして複数の画像（画像Ｐ１、画像Ｐ２、・・・）を得てエンコーダ１２０に順次出力する。

エンコーダ１２０は、例えばＭＰＥＧエンコーダであり、画像Ｐ１、Ｐ２、・・・をエンコードしてエンコードストリームＥＳ０を得る。このエンコードストリームＥＳ０は、実行部１６０に出力される。

エンコーダ１２０は、プレ処理部１２２を有する。プレ処理部１２２は、エンコードのためのプレ解析を行うものであり、エンコーダ１２０は、プレ処理部１２２の解析結果に基づいてエンコードを行う。プレ解析は、具体的には、エンコード時に行われる動き検出などのための簡易な解析処理を含み、プレ処理部１２２は、各画像を縮小して、縮小画像（ＳＰ１、ＳＰ２、・・・）を用いてプレ解析を行う。なお、本実施の形態において、プレ処理部１２２は、予め定められた所定のサイズに画像を縮小する。

代表値算出部１３０は、縮小画像に対して該縮小画像を代表する数値である代表値を算出するものである。本実施の形態において、代表値算出部１３０は、プレ処理部１２２がプレ解析を行う際に得た縮小画像ＳＰ１、ＳＰ２、・・・を用いる。すなわち、本実施の形態において、代表値算出部１３０による代表値の算出のための縮小画像はプレ処理部１２２により得られ、プレ処理部１２２は縮小部を兼ねる。

代表値算出部１３０は、縮小画像毎に、その画素データに対して所定の演算を行って代表値を得る。この所定の演算は、例えば一方向関数によるものである。なお、一方向関数により算出された代表値は、一方向関数の種類に応じて、例えばハッシュ値（ＭＤ５やＳＨＡ１など）、ＣＲＣ値（ＣＲＣ３２やＣＲＣ１６など）、チェックサム値などである。

本実施の形態において、代表値算出部１３０は、縮小画像の代表値を算出する際に、該縮小画像の画素値（例えばＹ／Ｃｂ／Ｃｒ）の下位ビットをマスクして演算を行うようにしている。

代表値算出部１３０は、縮小画像ＳＰ１、ＳＰ２、・・・の代表値Ｈ１、Ｈ２、・・・を順次算出して特定部１５０に出力する。

なお、蓄積部１４０が代表値算出部１３０から代表値Ｈ１、Ｈ２、・・・のうちの複数個を取得して蓄積する場合もある。これについては後述する。

蓄積部１４０は、基準値セットＨＳを記憶する記憶部１４２を有する。基準値セットＨＳは、縮小画像ＳＰ１、ＳＰ２、・・・により構成された映像から目的の画像乃至該画像を含むシーンと一致する場所（以下目的場所という）を識別するためのであり、複数の基準値が上記シーンにおける縮小画像の時系列順に対応する前後順序で配列してなる。なお、これらの基準値の個数は、数秒程度の間のフレーム数とすることができる。以下、目的の画像、該画像を含むシーンをそれぞれ「目的画像」と「目的シーン」という。また、説明上の便宜のため、以下、基準値セットＨＳに含まれる複数の基準値のうちの、目的画像を識別するための基準値を単に基準値といい、他の基準値を補助基準値という。すなわち、基準値セットＨＳには、１つの基準値と、ｎ個（ｎ：１以上の整数）の補助基準値から構成される。

基準値セットＨＳは、外部（例えば図示しないデータベース）から記憶部１４２に入力されることができる。また、前に既に処理済みのビデオストリームＶＳの処理時に、蓄積部１４０が代表値算出部１３０から取得して記憶部１４２に格納した複数の代表値である場合もある。

ここで、記憶部１４２に既に基準値セットＨＳが記憶されていると仮定して、特定部１５０を説明する。なお、説明上の便宜のため、例として、記憶部１４２に格納された基準値セットＨＳは、１つの基準値Ａと４つの補助基準値（Ｂ１、Ｂ２、Ｃ１、Ｃ２）を含み、これらは、Ｂ１、Ｂ２、Ａ、Ｃ１、Ｃ２の前後順序を有するとする。

特定部１５０は、時間方向において基準値セットＨＳ内の値の配列順に対応する順序関係を有する「ｎ＋１」個（ここでは５つ）の縮小画像毎に、該５つの縮小画像の代表値と、基準値セットＨＳ内の各値とをそれぞれ比較する。そして、５個の縮小画像についての全ての比較結果が「一致」であることを条件に、該５個の縮小画像に対応する画像により構成されたシーンを目的シーンに特定する。また、代表値が基準値Ａと比較された縮小画像を目的画像に特定する。

特定部１５０は、目的画像を特定すると、その旨を実行部１６０に通知する。
実行部１６０は、特定部１５０からの通知を受けると、エンコーダ１２０からのエンコードストリームＥＳ０に対して、該通知を受けた場合に実行するように設定された処理を実行し、エンコードストリームＥＳ１を得て記録媒体１７０に出力する。
このようにして、ビデオストリームＶＳの録画が行われる。

例えば、記憶部１４２に、コマーシャルシーンの開始場所と終了場所を識別するための基準値セットＨＳがそれぞれ格納されている場合、実行部１６０は、下記のように処理を行う。

特定部１５０からコマーシャルの開始場所となる目的画像が特定されたことを示す通知を受信すると、エンコードストリームＥＳ０に対して、該目的画像に対応する位置から、フレームの切り捨てを行う。そして、コマーシャルの終了場所となる目的画像が特定されたことを示す通信を受信すると、エンコードストリームＥＳ０に対して、フレームの切り捨てを止め、該目的画像に対応する位置から、フレームを記録媒体１７０への出力を再開する。
このようにして、コマーシャル部分をカットして録画することができる。

基準値セットＨＳの種類、及びそれに対応した、実行部１６０により実行される処理は、上記のコマーシャルの例に限らず、設定次第で多種多様である。以下の説明において、エンコードストリームＥＳ０に対するチャプタの付与を例にする。

図面を参照して、特定部１５０と実行部１６０の動作をより具体的に説明する。なお、基準値セットＨＳは、チャプタを付与すべき場所を識別するためのものであり、既に記憶部１４２に格納されているとする。

図２〜図５は、連続する５つの縮小画像毎に、基準値セットＨＳ内の５つの値と、該５つの縮小画像の代表値とをそれぞれ比較することにより目的画像（チャプタを付与すべき場所の画像）を特定する例を示す。なお、これらの図に示すように、ＳＰ１〜ＳＰ８は、画像Ｐ１〜画像Ｐ８のそれぞれの縮小画像であり、Ｈ１〜Ｈ８は、縮小画像ＳＰ１〜縮小画像ＳＰ８のそれぞれの代表値である。

この場合、特定部１５０は、まず、図２に示すように、基準値セットＨＳ内の１つ目の値（補助基準値Ｂ１）と、先頭の縮小画像ＳＰ１の代表値Ｈ１とを比較する。

図３に示すように、補助基準値Ｂ１と代表値Ｈ１とが一致しない場合、特定部１５０は、補助基準値Ｂ１と、代表値Ｈ１の次の代表値Ｈ２とを比較する。

また図４に示すように、補助基準値Ｂ１と代表値Ｈ２とが一致する場合、特定部１５０は、さらに、基準値セットＨＳ内の２つ目の値（補助基準値Ｂ２）と、次の代表値Ｈ３とを比較する。

特定部１５０は、補助基準値Ｂ２と代表値Ｈ３とが一致する場合、基準値セットＨＳ内の３つ目の値（基準値Ａ）と、次の代表値Ｈ４とを比較し、基準値Ａと代表値Ｈ４とも一致する場合には、さらに、基準値セットＨＳ内の４つ目の値（補助基準値Ｃ１）と代表値Ｈ５とを比較する。同様に、補助基準値Ｃ１と代表値Ｈ５とが一致する場合、特定部１５０は、基準値セットＨＳ内の５つ目の値（補助基準値Ｃ２）と代表値Ｈ６とを比較する。

そして、図５に示すように、補助基準値Ｃ２と代表値Ｈ６とも一致する結果が得られると、特定部１５０は、基準値Ａと比較された代表値Ｈ４に対応する縮小画像ＳＰ４を目的画像として特定すると共に、その旨を実行部１６０に通知する。

実行部１６０は、この通知を受信すると、エンコードストリームＥＳ０に対して、縮小画像ＳＰ４に対応する場所にチャプタを付与する。

一方、例えば図６に示すように、補助基準値Ｃ２と代表値Ｈ６とが一致しない場合には、特定部１５０は、縮小画像ＳＰ４を目的画像として特定することをしない。当然ながら、実行部１６０への通知も行わない。この場合、特定部１５０は、補助基準値Ｂ１と代表値Ｈ３との比較から、上述した処理を繰り返す。

なお、基準値セットＨＳは、連続する５個の縮小画像の代表値と比較されるように構成されるようにしなくてもよい。図７〜９を参照して例を説明する。

この例では、基準値セットＨＳは、互いに離れた５つの縮小画像毎に、基準値セットＨＳ内の５つの値と、該５つの縮小画像の代表値とをそれぞれ比較するように構成されている。なお、これらの５つの縮小画像の間隔は、１枚分である。

この場合においても、特定部１５０は、まず、図７に示すように、基準値セットＨＳ内の１つ目の値（補助基準値Ｂ１）と代表値Ｈ１とを比較する。また、比較の結果、補助基準値Ｂ１と代表値Ｈ１とが一致しない場合、特定部１５０は、補助基準値Ｂ１と、代表値Ｈ１の次の代表値Ｈ２とを比較する。

そして、補助基準値Ｂ１と代表値Ｈ２とが一致する場合、特定部１５０は、図８に示すように、代表値Ｈ２の次の代表値Ｈ３ではなく、さらに次の代表値Ｈ４と、基準値セットＨＳ内の２つ目の値（補助基準値Ｂ２）とを比較する。

そして、図９に示すように、補助基準値Ｂ２と代表値Ｈ４、基準値Ａと代表値Ｈ６、補助基準値Ｃ１と代表値Ｈ８、補助基準値Ｃ２と代表値Ｈ１０のそれぞれの比較結果が「一致」である場合、特定部１５０は、基準値Ａと比較された代表値Ｈ６に対応する縮小画像ＳＰ６を目的画像として特定すると共に、その旨を実行部１６０に通知する。

実行部１６０は、この通知を受信すると、エンコードストリームＥＳ０に対して、縮小画像ＳＰ６に対応する場所にチャプタを付与する。

また、図１０に示すように、互いに離れた５つの縮小画像は、時系列的に等間隔に配置されたものではなくてもよい。

蓄積部１４０の記憶部１４２に基準値セットＨＳが既に格納された場合について説明した。

前述したように、基準値セットＨＳは、外部（例えば図示しないデータベース）から記憶部１４２に入力されることができる。また、実行部１６０は、特定部１５０から通知を受信したときに、設定された処理を実行する。

本実施の形態において、ユーザが、入力部１８０を介して、上記処理を指示する操作入力をすることができ、実行部１６０は、この操作入力がなされたときにも、上記処理を実行する。また、蓄積部１４０は、上記操作入力がなされたときに、基準値セットＨＳを自動的に取得して記憶部１４２に格納し、現在のビデオストリーム以降のビデオストリームの処理に供する機能を有する。

例えば、チャプタの付与を指示する操作入力がユーザにより入力部１８０を介してなされたとき、蓄積部１４０は、上記操作入力により指示された場所に対応する縮小画像の代表値と、該縮小画像の前及び／または後の数秒間の縮小画像の代表値とを取得して基準値セットＨＳとして記憶部１４２に格納する。これにより、以降のビデオストリームＶＳの録画時に、ユーザが指示した場合の画像と同様の特徴を有する画像が特定され、自動的なチャプタ付与が可能である。

本実施の形態のレコーダ１００は、ビデオストリームＶＳ内の所定の場所を特定するために、該ビデオストリームＶＳをデコードして得た画像を縮小して得た縮小画像の代表値を算出して基準値と比較する。前述したように、ハッシュ値などの代表値は、圧縮ノイズや、Ａ／Ｄ変換時のノイズに大きく影響される。レコーダ１００の代表値算出部１３０のように、縮小画像から代表値算出することによって、これらのノイズの影響を軽減することができ、ひいては、目的画像を精度良く特定することができる。

また、代表値を算出するための演算量を減らすことができ、迅速な処理を図ることができる。

また、レコーダ１００の代表値算出部１３０は、縮小画像から代表値を算出する際に画素値の下位ビットをマスクして演算を行う。これにより、ノイズ耐性をより高めることができる。

また、本実施の形態において、特定部１５０は、基準値と補助基準値を含む基準値セットＨＳを用いて、複数の縮小画像毎に比較を行うため、目的画像ひいては目的シーンの特定精度を一層高めることができる。

また、前述した特許文献３の手法は、Ｉピクチャに基づいた識別のみが可能であるため、ビデオストリーム中の任意の位置の識別ができない。チャプタ付与などの編集の自動実行に該識別手法を利用する場合に、編集点が限定されてしまい、利便性が高くないという問題がある。

それに対して、レコーダ１００は、ビデオストリームデコードして得た画像に基づいた識別を行うため、編集点が限定されず、利便性が高い。

また、レコーダ１００における蓄積部１４０は、チャプタ付与などを指示する操作入力がユーザによりなされたときに、ユーザが指示した場合の画像と同様の特徴を有する画像を識別するための基準値を生成して蓄積するため、ユーザの嗜好を反映したチャプタ付与が自動的にできる。

以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、上述した実施の形態に対してさまざまな変更、増減を行ってもよい。これらの変更、増減が行われた変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、目的画像を特定するために、１つの基準値のみを用いるようにしてもよい。この場合における目的画像の特定について、図１１〜図１４を参照して説明する。

図１１に示すように、まず、基準値Ａと、先頭の縮小画像ＳＰ１の代表値Ｈ１の比較がなされる。比較の結果、代表値Ｈ１と基準値Ａが一致しない場合、図１２に示すように、代表値Ｈ２と基準値Ａの比較がなされる。代表値Ｈ２も基準値Ａと一致しない場合、さらに、代表値Ｈ３と基準値Ａの比較がなされる（図１３）。そして、図１４に示すように、比較の結果、代表値Ｈ３と基準値Ａとが一致すれば、代表値Ｈ３に対応する縮小画像ＳＰ３が目的画像に特定される。

１００レコーダ１１０チューナ
１１２デコーダ１２０エンコーダ
１２２プレ処理部１３０代表値算出部
１４０蓄積部１４２記憶部
１５０特定部１６０実行部
１７０記録媒体１８０入力部
ＶＳビデオストリーム

Claims

圧縮された動画像であるビデオストリームをデコードして複数の画像を得るデコーダと、
前記複数の画像を縮小してそれぞれの縮小画像を得る縮小部と、
前記縮小画像の画素データに対して所定の演算を行って該縮小画像を代表する数値である代表値を得る代表値算出部と、
前記複数の縮小画像に対して前記代表値と所定の基準値との比較を行うことにより、前記複数の画像における目的画像を特定する特定部とを備えることを特徴とする画像処理装置。
前記特定部は、前記代表値と前記所定の基準値とが一致することを条件に、前記複数の画像のうちの、該代表値を有する前記縮小画像に対応する画像を目的画像に特定することを特徴とする請求項１に記載の画像処理装置。
前記複数の画像のうちの指定された画像に対応する前記縮小画像の前記代表値を蓄積する蓄積部をさらに備え、
その後、他のビデオストリームの処理時に、
前記特定部は、前記蓄積部に蓄積された前記代表値を読み出して前記所定の基準値として用いることを特徴とする請求項１または２に記載の画像処理装置。
前記特定部は、
前記所定の基準値とｎ個（ｎ：１以上の整数）の補助基準値とが所定の前後順序で配列してなる基準値セット内の各値を、時間方向において前記基準値セット内の値の配列順に対応する順序関係を有する「ｎ＋１」個の縮小画像毎に、該「ｎ＋１」個の縮小画像の前記代表値とそれぞれ比較し、
前記「ｎ＋１」個の縮小画像についての全ての比較結果が「一致」であることを条件に、該「ｎ＋１」個の縮小画像のうちの、その代表値が前記所定の基準値と比較された縮小画像に対応する前記画像を前記目的画像に特定することを特徴とする請求項１に記載の画像処理装置。
前記複数の画像のうちの指定された画像と、時間方向において該画像と前記順序関係を有するｎ個の画像とにそれぞれ対応する「ｎ＋１」個の縮小画像の前記代表値を蓄積する蓄積部をさらに備え、
その後、他のビデオストリームの処理時に、
前記特定部は、前記蓄積部に蓄積された「ｎ＋１」個の前記代表値を読み出して前記基準値セットとして用いることを特徴とする請求項４に記載の画像処理装置。
前記代表値算出部は、前記縮小画像の画素値の下位ビットをマスクして前記所定の演算を行うことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
前記縮小部は、前記画像を予め定められた所定のサイズに縮小することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
前記複数の画像のうちの指定された画像は、ユーザの操作入力により指定された画像であることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
前記操作入力は、所定の処理を指示する入力であることを特徴とする請求項８に記載の画像処理装置。
前記所定の処理を実行する実行部をさらに備え、
該実行部は、前記操作入力がなされたときと、前記特定部により前記目的画像が特定されたときに、前記所定の処理を実行することを特徴とする請求項９に記載の画像処理装置。
前記複数の画像をエンコードするエンコーダをさらに備え、
該エンコーダは、前記複数の画像を縮小して、エンコードのためのプレ解析を行うプレ処理部を有し、
前記縮小部は、前記プレ処理部に含まれることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
前記代表値算出部は、一方向関数により前記代表値を算出することを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
前記代表値算出部は、前記代表値として、ハッシュ値、ＣＲＣ値、チェックサム値のいずれかを算出することを特徴とする請求項１２に記載の画像処理装置。
録画装置に設けられたことを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。