JP2007134986A - ショット境界検出装置 - Google Patents

Abstract

【課題】低輝度画像、白黒画像、あるいは画面の側片領域にイメージの不変部分を有する画像を含む動画像であっても、ショット境界を精度よく抽出することのできるショット境界検出装置を提供する。
【解決手段】可変長復号部１で部分復号された画像は、中央領域抽出部２で水平又は／及び垂直方向に分割された画像の上下又は左右の領域が廃棄され、中央領域の画像が抽出される。該中央領域の画像は、フレーム間輝度差分値演算部３、色差ヒストグラム相関値演算部４，および暗さ判定部５に入力する。暗さ判定部５は、フレームの平均輝度値を求め、これが予め定められた閾値より小さければこれを低輝度画像または白黒画像と判定してショット境界判定部６に通知する。ショット境界判定部６は、低輝度画像または白黒画像と判定された画像の場合、フレーム間輝度差分値Ｄ_ｎにγ（＞１）を乗じてショット境界判定処理を行う。
【選択図】 図１

Description

この発明はショット境界検出装置に関し、特に暗い画像や字幕が入った画像などを含む動画像から精度よくショット境界を検出できるショット境界検出装置に関する。

従来の動画像カット点検出装置の一例として、下記の特許文献１に開示されているものがある。該特許文献１には、動画像カット点検出処理の概要として、図５に示されているものが示されている。

ステップＳ２１で画像が入力されると、ステップＳ２２で該画像から符号化パラメータが抽出され、ステップＳ２３で該抽出された符号化パラメータを用いて瞬時カット点であるか否かの判断がなされる。この判断が否定の時には、ステップＳ２４に進んで特殊カット画面であるディゾルブ検出が行われ、さらにステップＳ２６に進んでワイプ検出が行われる。一方、ステップＳ２３で瞬時カット点であると判断された時にはステップＳ２９でフラッシュ検出か否かの判断がなされ、フラッシュ検出でないと判断されると瞬時カットと決定され、ステップＳ３０で瞬時カット登録がなされる。また、ステップＳ２５，Ｓ２７では、それぞれディゾルブ登録、ワイプ登録がなされる。

下記の特許文献２には、前記瞬時カット点検出の一手法として、フレーム間輝度差分値、ヒストグラム相関値、および色差ヒストグラム相関値を用いて、フレームｎ−１、ｎ、ｎ＋１の瞬時的な変化を調べ、カット画面であるか非カット画面であるかを識別することが開示されている。
特開平１１−２５２５０９号公報 特開平７−２３６１５３号公報

しかしながら、前記特許文献２に示されている瞬時カット点検出手法では、暗い画像、白黒画像、あるいは画面の上部または下部に字幕やマーケット情報のようなイメージの不変部分が入る画像においては、ショット境界の検出精度が低くなるという課題があった。

本発明の目的は、前記した従来技術の課題を解消し、低輝度画像、白黒画像、あるいは画面の側片に近い領域に不変部分を有する画像を含む動画像であっても、ショット境界を精度よく抽出できるショット境界検出装置を提供することにある。

前記した目的を達成するために、本発明は、符号化画像を部分復号する手段と、該部分復号された画像から、字幕などの画像の不変部分が入る領域を除去する手段と、前記除去されなかった領域の画像を用いて、ショット境界を検出する手段とを具備した点に第１の特徴がある。

また、符号化画像を部分復号する手段と、該部分復号された画像を水平または垂直方向にｍ（ｍ≧３）分割し、上下または左右の周辺の分割領域の少なくとも１つを除去する手段と、前記除去されなかった領域の画像を用いて、ショット境界を検出する手段とを具備した点に第２の特徴がある。

さらに、本発明は、前記ショット境界を検出する手段は、フレーム間輝度差分値Ｄ_ｎを求める手段と、画像の平均輝度値を検出し、該平均輝度値が予め定められた閾値より小さい場合に、前記フレーム間輝度差分値Ｄ_ｎにγ（γ＞１）を乗じる手段と、γＤ_ｎが予め定められた閾値Ｔｈより大きければショット境界の候補とする手段とを具備する点に第３の特徴がある。

本発明によれば、字幕などの不変部分が入っていない画像領域を用いてショット境界の検出を行えるので、該ショット境界の検出精度を向上することができる。

また、本発明によれば、画像を水平または垂直方向にｍ（ｍ≧３）分割し、上下又は左右の周辺の分割領域の少なくとも１つを除去した画像を用いてショット境界を検出するようにしたので、画像上下又は左右の周辺領域に、字幕やマーケット情報などの不変情報が乗っても、これらがカットされる可能性が高くなる。このため、画像情報のみからショット境界の検出が行われることになり、ショット境界の検出精度を向上することができる。

また、低輝度画像や白黒画像などの場合には、フレーム間輝度差分値Ｄ_ｎに１より大きい値γを乗じてフレーム間輝度差分値を実質的に大きくなるように補正したので、低輝度画像や白黒画像などの場合のショット境界の検出精度を向上させることができるようになる。

以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明のショット境界検出装置の概略の構成を示すブロック図である。なお、このショット境界検出は、図５のステップＳ２３の処理に相当する。

本発明のショット境界検出は、一部復号（または、部分復号）された画像データから検出される。すなわち、例えばＭＰＥＧ等で符号化された符号化画像ストリームａは、可変長復号部（ＶＬＤ）１に入力し、一部復号される。該一部復号された画像データｂは、次いで、中央領域抽出部２に入力し、字幕などの画像の不変部分が入る領域を除去される。該中央領域抽出部２は、一具体例として、水平方向にｍ分割（ｍ≧３）された画像の中央領域を抽出する。例えば、図２に示されているように、画像は４分割され、中央の２つの分割領域（図の斜線領域）が抽出され、上下の各１つの領域は除去される。この理由は、１フレームの画像データｂの前記上下の各１つの領域には、字幕やマーケット情報などの不変情報が表示される可能性があるからである。なお、前記上下の領域のいずれか一方を除去するだけでもよい。

フレーム間輝度差分値演算部３は、下記の（１）式の演算により、フレーム間輝度差分値Ｄ_ｎを求める。

ここに、Ｍ，Ｎは、それぞれ８×８画素からなるブロックの垂直、水平方向の１フレーム当たりの総数である。また、Ｙ_ｎ（ｉ，ｊ）は、ｎ番目のフレームのブロック（ｉ、ｊ）の輝度ブロック平均値である。

また、色差ヒストグラム相関値演算部４は、下記の（２）式により、色差ヒストグラム相関値ρ_ｎを求める。

ここに、Ｈ_{ｎ，ｋ，ｌ}（ｋ、ｌ＝０，１，２，・・・，ｈｃ−１）は１フレーム中のＤＣ色差信号Ｃｂ、Ｃｒデータをｈｃクラスに分類することにより得られるヒストグラムであり、その詳細は例えば前記特許文献２の段落［００２９］〜［００３２］に説明されている。

暗さ判定部５は、下記の（３）式から１フレームの平均輝度値aveＹ_ｎを求め、その平均輝度値が予め定められた閾値Ｔｈ_ｄより小さければ、低輝度画像または白黒画像と判定し、その旨をショット境界判定部６に通知する。

次に、ショット境界判定部６は、前記フレーム間輝度差分値演算部３および色差ヒストグラム相関値演算部４で求められたフレーム間輝度差分値Ｄ_ｎと色差ヒストグラム相関値ρ_ｎを用いて、ショット境界の判定を行う。

次に、本実施形態の動作を、図３のフローチャートを参照して説明する。ステップＳ１では、可変長復号部１に符号化画像ストリームａが入力する。ステップＳ２では、中央領域抽出部２にて、画像を水平方向に複数分割し、その中央領域が選択される。ステップＳ３では、フレーム間輝度値差分演算部３にて、前記（１）式により、フレーム間輝度差分値Ｄ_ｎが求められる。ステップＳ４では、暗さ判定部５にて、前記（３）式により、１フレーム当たりの平均輝度値aveＹ_ｎが求められる。ステップＳ５では、該平均輝度値aveＹ_ｎが前記閾値Ｔｈ_ｄより小さいか否かまたは白黒画像であるか否かが判定される。この判断が肯定の場合には、画像が暗い（低輝度画像）または白黒画像であると判定し、ステップＳ６に進む。ステップＳ６では、前記フレーム間輝度差分値Ｄ_ｎにある定数γ（ただし、γ＞１．０）が乗じられる。そして、ステップＳ７に進んで、Ｄ_ｎ＞Ｔｈ_ｐｒｅが成立するかどうかの判断がなされる。低輝度画像や白黒画像では、一般にフレーム間輝度差分値Ｄ_ｎが小さくなり、ショット境界が検出されにくくなるからである。ステップＳ５の判断が否定の時、すなわち画像が明るいときには、ステップＳ６はスキップされる。なお、ステップＳ５で平均輝度値aveＹ_ｎによる暗さ判定を多段階に判定し、ステップＳ６における定数γを該暗さの程度に応じて異なる値に設定してもよい。

ステップＳ７の判断が肯定の時には、さらにステップＳ８の判断がなされる。すなわち、αＤ_ｎ＞Ｄ_ｎー１、Ｄ_ｎ＋１かつρ_ｎ＞ρ_ｎー１、ρ_ｎ＋１が成立するか否かの判断がなされる。ここに、αは重み係数であり、１より大きい値である。ステップＳ７の判断が肯定になると、ショット境界と判断し、否定になると、ステップＳ９の判断を行う。

ショット境界が大きい動きをもつシーン中に存在する場合には、フレーム間差が非常に大きくなり、ステップＳ８の式ではショット境界が判定できない。よって、ステップＳ９の判断を行う。すなわち、ρ_ｎ＞Ｔｈ_ａｃが成立するか否かの判断を行う。ここに、Ｔｈ_ａｃは、ρ_ｎ中のピーク値を決定するための閾値である。ステップＳ９の判断が肯定の場合にはショット境界と判断し、否定の場合はステップＳ１０に進む。

連続する２つのショットにおいて、単にカメラアングルが異なる場合には、色差ヒストグラムは類似する。このため、ステップＳ８、Ｓ９の判定でショット境界を検出するのは困難である。しかし、画素差はこれらのショット境界で大変大きいから、輝度差分値のピーク検出が有効である。そこで、ステップＳ１０の判断、すなわちβＤ_ｎ＞Ｄ_ｎー１、Ｄ_ｎ＋１又はＤ_ｎ−Ｔｈ_ａｄ＞Ｄ_ｎー１、Ｄ_ｎ＋１が成立する時にはショット境界と判断する。ここに、βとＴｈ_ａｄは、それぞれＤ_ｎのピーク値を検出するための重みファクタと閾値である。

本発明者が、「ＴＲＥＣＶＩＤ２００５」テストデータに対して、本発明の処理、すなわちステップＳ２とＳ６の処理を使用しない場合（従来方式）、ステップＳ６の処理を使用した場合、ステップＳ２の処理を使用した場合、およびステップＳ６とＳ２の両方を使用した場合について、ショット境界を検出した場合、その検出率は図４のようになった。このことから、本発明の処理を導入すると、ショット境界の検出精度が向上することが確かめられた。

前記した実施形態では、前記中央領域抽出部２は画面を水平方向にｍ分割しその中央領域を抽出する例であったが、画面を垂直方向にｍ分割して左右の側片を含む領域を除去して中央領域を抽出するようにしてもよい。または、画面の水平、垂直両方向の周辺領域を除去して中央領域の画像部分のみを抽出するようにしてもよい。

本発明の一実施形態の概略の構成を示すブロック図である。 図１の中央領域抽出部の動作説明図である。 本実施形態の動作を説明するフローチャートである。 本実施形態にショット境界検出率の実験例である。 動画像カット点検出処理の概要を示すフローチャートである。

符号の説明

１・・・可変長復号部、２・・・中央領域抽出部、３・・・フレーム間輝度差分値演算部、４・・・色差ヒストグラム相関値演算部、５・・・暗さ判定部、６・・・ショット境界判定部。

Claims (3)

1. 符号化画像を部分復号する手段と、
   該部分復号された画像から、字幕などの画像の不変部分が入る周辺領域を除去する手段と、
   前記除去されなかった領域の画像を用いて、ショット境界を検出する手段とを具備したことを特徴とするショット境界検出装置。
2. 符号化画像を部分復号する手段と、
   該部分復号された画像を水平または垂直方向にｍ（ｍ≧３）分割し、上下または左右の周辺の分割領域の少なくとも１つを除去する手段と、
   前記除去されなかった領域の画像を用いて、ショット境界を検出する手段とを具備したことを特徴とするショット境界検出装置。
3. 請求項１または２に記載のショット境界検出装置において、
   前記ショット境界を検出する手段は、フレーム間輝度差分値Ｄ_ｎを求める手段と、画像の平均輝度値を検出し、該平均輝度値が予め定められた閾値より小さい場合に、前記フレーム間輝度差分値Ｄ_ｎにγ（γ＞１）を乗じる手段と、γＤ_ｎが予め定められた閾値Ｔｈより大きければショット境界の候補とする手段とを具備することを特徴とするショット境界検出装置。
   

Images