JP2000078585A

JP2000078585A - シ―ンチェンジ検出装置

Info

Publication number: JP2000078585A
Application number: JP11240073A
Authority: JP
Inventors: Hiroyuki Kumazawa; 広之熊沢; Minoru Ozaki; 稔尾崎
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1992-03-06
Filing date: 1999-08-26
Publication date: 2000-03-14

Abstract

(57)【要約】【課題】動画像のフレームごとに色の分布を調べると
ともに、フレーム間の相関係数を求めるという複雑な処
理を行わなければならず、シーンチェンジの自動検出の
実時間処理を実現するためには専用のハードウエアが必
要であるという課題があった。【解決手段】複数のシーンから構成される動画像の符
号化データを取り込む動画像符号化データ入力部と、前
記動画像符号化データ入力部より取り込まれた前記動画
像の符号化データの１フレームごとのデータ量を計数す
る計数部とを備え、比較部は、前記計数部の計数値をし
きい値と比較し、その比較結果に基づいてそのフレーム
がシーンチェンジであるか否かを示す信号を発生する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、複数のシーンか
ら構成される動画像より、シーンの変化するフレームを
自動検出するシーンチェンジ検出装置に関するものであ
る。

【０００２】

【従来の技術】図２は従来のシーンチェンジ検出装置が
適用される、予測符号化方式による動画像の符号化装置
および復号化装置の一例を示すブロック図である。図に
おいて、１は直前の１フレーム分の画像データが格納さ
れているフレームメモリであり、２は入力される画像信
号とこのフレームメモリ１に格納されていた画像データ
との差分を算出する減算器である。３は減算器２の出力
を離散コサイン変換（以下、ＤＣＴという）するＤＣＴ
部、４はこのＤＣＴ部３で変換された信号を量子化する
量子化部であり、５はこの量子化部４で量子化された信
号を符号化して通信路に送出するエントロピー符号化部
である。

【０００３】６は前記量子化部４で量子化された信号
に、前記ＤＣＴ部３とは逆の逆離散コサイン変換（以
下、逆ＤＣＴという）を施す逆ＤＣＴ部であり、７は前
記フレームメモリ１に格納されていた前フレームの画像
データにこの逆ＤＣＴ部６で逆ＤＣＴされた信号を加算
して、再度フレームメモリ１に格納する加算器である。
動画像の符号化装置はこれら各部によって形成されてい
る。

【０００４】８は前記符号化装置より通信路に送出され
た符号化データを復号するエントロピー復号化部であ
り、９はこのエントロピー復号化部８にて復号された信
号に対して逆ＤＣＴの処理を施す逆ＤＣＴ部である。１
０は直前の１フレーム分の画像データが格納されている
フレームメモリであり、１１は逆ＤＣＴ部９で逆ＤＣＴ
処理された画像信号とこのフレームメモリ１０に格納さ
れていた画像データとを加算して画像信号を再生する加
算器である。動画像の復号化装置はこれら各部によって
形成されている。

【０００５】次に動作について説明する。動画像の符号
化装置に入力された画像信号は減算器２において、フレ
ームメモリ１に蓄えられていた直前のフレームの画像デ
ータと同一位置の画素ごとに差分が計算される。この減
算器２による減算結果はＤＣＴ部３に送られ、適当な大
きさの２次元ブロック（通常は８×８画素程度のブロッ
ク）に分割された上で、各ブロックごとにＤＣＴの処理
が施される。ＤＣＴ部３の演算結果は量子化部４に送ら
れて有限個の代表値で近似されて量子化され、この量子
化部４より出力される前記代表値は、エントロピー符号
化部５と逆ＤＣＴ部６に送られ、各々の処理が加えられ
る。

【０００６】まず、エントロピー符号化部５では、量子
化部４より受けた代表値に、その生起頻度に応じた可変
長符号を割り当てて符号化し（一般に、生起頻度の高い
量子化出力ほど短い符号が割り当てられる）、符号化デ
ータを通信路に送出する。ここで、通信路とは仮想的な
ものであり、実際の通信路であったり、或いは、記憶媒
体であったりする。このことは、以下の説明においても
同様である。

【０００７】一方、逆ＤＣＴ部６では、量子化部４の出
力に対してＤＣＴ部３における操作とは逆の逆ＤＣＴが
施され、その結果が加算器７に送られる。加算器７では
この逆ＤＣＴ部６の出力とフレームメモリ１に蓄えられ
た前フレームの画像データを同一位置にある画素ごとに
加算し、加算結果をフレームメモリ１に再格納する。１
フレーム分の処理が終了すると、フレームメモリ１には
現フレームの画像データが再構成され、次のフレームの
予測処理時に直前のフレームの画像データとして利用さ
れる。

【０００８】一方、動画像の復号化装置では、通信路よ
り受け取った符号化データが、エントロピー符号化とい
う手法によって、データの出現確率に応じた可変長符号
に符号化されているものであるため（一般に、生起確率
の高いデータほど短い符号が割り当てられる）、まずエ
ントロピー復号化部８においてその復号を行う。この復
号結果はＤＣＴ処理により周波数領域に変換されたもの
であり、従って、逆ＤＣＴ部９に送って時間領域のデー
タに変換する。逆ＤＣＴ部９の出力は加算器１１におい
てフレームメモリ１０に蓄えられている直前フレームの
画像データと同一位置の画素ごとに加算される。この加
算結果は現フレームの画像信号として出力され、また、
フレームメモリ１０に記憶されて次フレームの復号に利
用される。

【０００９】なお、この場合、量子化部４の出力は代表
値に割り当てられた固定長の番号ではなく、便宜上、代
表値そのものであると仮定しているが、この仮定は特に
一般性を損なうものではない。また、以下においても、
量子化部４の出力は代表値そのものであるとして説明を
行う。

【００１０】ここで、マルチメディア処理技術の進歩に
より、動画像を計算機で自由に扱えることがマルチメデ
ィアの必須条件になりつつある。動画像は１秒当り数十
フレームの静止画像の連続として捉えることができる
が、さらに、大局的に眺めると、複数の連続するフレー
ムから構成されるシーンの連続と考えることもできる。
そして、計算機という情報処理装置で動画像を扱うこと
を考えると、前者のフレームの連続として捉えるより、
ある意味的にまとまりのあるシーンの連続として捉える
方が都合が良い。

【００１１】例えば、動画像の編集を行うことを考えて
みた場合、動画像の編集は、撮影された動画像を映像素
材として用い、これを適宜つなぎ合わせたりカットした
りすることにより、全体として編集者の意図する映像に
組み上げる作業である。この編集作業では、意味的にま
とまりのあるシーンが編集の基本単位になる場合が多
い。計算機を用いてこの動画像の編集を行う場合、従来
は熟練者がシーンの変化を識別すると共に、この識別結
果に基づいて編集作業を行うことが多かった。そして、
ここでは、計算機は単なるマンマシンインタフェースの
道具として編集環境を提供するだけであった。

【００１２】しかしながら、今後マルチメディア技術が
広く社会に広がり、家庭にまで浸透することが予想され
る状況において、熟練者のみならず、素人が計算機を用
いて動画像の編集を行うことを考慮しておく必要があ
る。このとき、計算機が動画像をシーンの集まりとして
管理していることが望ましく、さらに、自動的に動画像
のシーンの変化点を認識し、その結果を計算機が利用で
きることが望ましいことは言うまでもない。そして、そ
のための要素技術の研究が各所で進められている。

【００１３】図３は、例えば情報処理学会第４０回（平
成２年前期）全国大会の発表論文１Ｑ−５（予稿集第６
４２〜６４３頁）“ビデオ作品の場面変わり自動検出
法”に示された、従来のシーンチェンジ検出装置のアル
ゴリズムを示すフローチャートである。図において、Ｓ
Ｔ１は画面の分割処理、ＳＴ２は色分布の計数処理、Ｓ
Ｔ３は相関度の計算処理、ＳＴ４は相関計数の計算処
理、ＳＴ５はしきい値との比較処理、ＳＴ６はシーンチ
ェンジ判定処理、ＳＴ７は非シーンチェンジ判定処理、
ＳＴ８は次フレームへの移行処理である。

【００１４】次に動作について説明する。まず、ステッ
プＳＴ１において動画像のフレームがｎ×ｎ＝ｎ² 画面
に分割され、ステップＳＴ２で各分割画面ごとの色の分
布が計測される。次にステップＳＴ３で前フレームと現
フレームの対応する分割画面ごとに色の分布の相関度を
求める。この相関度としては様々なものを考えることが
できるが、ここでは次式のカイ２乗統計量ｘ_k ²（Ｋ＝
１，２，・・・ｎ² ）を用いる。

【００１５】

【数１】

【００１６】式（１）において、ｍ_i は現フレームの分
割画面における色ｉの分布、Ｙ_i は前フレームで対応す
る分割画面におけるｉという色の分布を表わしている。
そしてステップＳＴ４において、次式により相関度の総
和を計算して相関係数ｒを求める。

【００１７】

【数２】

【００１８】次に、ステップＳＴ５でこの相関係数ｒと
あらかじめ設定されているしきい値とを比較し、その大
小関係に応じて現フレームがシーンチェンジであるか否
かをステップＳＴ６もしくはＳＴ７にて判断し、その
後、ステップＳＴ８にて次のフレームへ処理を移行させ
るようになっている。

【００１９】

【発明が解決しようとする課題】従来のシーンチェンジ
検出装置は以上のように構成されているので、動画像の
フレームごとに色の分布を調べると共に、フレーム間で
の相関係数を求める、という複雑な処理を行わなければ
ならず、これらの処理を汎用的なプロセッサで実行した
場合、到底実時間処理は不可能であり、シーンチェンジ
の自動検出を実時間処理を実現するためには専用のハー
ドウエアが必要となり、また、今後計算機で動画像を扱
うことを考えると、動画像は当然ディジタル化され、し
かも、ディジタル動画像の膨大なデータ量を削減するた
め、動画像符号化技術によりデータ量を削減（以降、こ
の処理を符号化と呼ぶ）した後に、計算機内部に取り込
まれるものと予想されるが、その場合にも、上記従来例
の処理では動画像符号化／復号化とは全く独立した処理
であり、従って、動画像符号化あるいは復号化に際し
て、動画像のフレーム間に渡って複雑な処理が行われて
いるにもかかわらず、その処理結果を利用できず、動画
像符号化前、あるいは復号後の画像信号に対して上記の
複雑な処理を実行しなければならないという課題があっ
た。

【００２０】また、従来、動画像圧縮時に、シーンチェ
ンジがあると、符号化されたデータの情報発生量が大き
くなるので、符号化する前にシーンチェンジを検出し、
符号化のパラメータを変えることを目的とした画像信号
符号化パラメータ制御方式が特開昭６２−１０８６８７
号公報に示されているが、符号化前の画像データを処理
することによりシーンチェンジを検出しているので、動
画像符号化前に複雑な処理を要し、上記と同様な課題が
あった。

【００２１】この発明は上記のような問題点を解消する
ためになされたものであり、動画像の符号化あるいは復
号化に際して計算される様々な特徴量を用いてシーンチ
ェンジを自動検出することが可能なシーンチェンジ検出
装置を得ることを目的とする。

【００２２】

【課題を解決するための手段】この発明に係るシーンチ
ェンジ検出装置は、動画像の符号化データを取り込む動
画像符号化データ入力部と、取り込まれた動画像の符号
化データのデータ量を１フレームごとに計数する計数部
と、その計数値としきい値の比較結果に基づいて、当該
フレームでのシーンチェンジを判定する比較部を備えた
ものである。

【００２３】

【発明の実施の形態】以下、この発明の実施の一形態を
図に基づいて説明する。実施の形態１．図１はこの発明の請求項１に記載の発明
の一実施例を示すブロック図である。図において、４１
は複数のシーンから構成される動画像の符号化データが
格納されたディスクであり、４２はこのディスク４１か
ら動画像の符号化データを取り込む動画像符号化データ
入力部である。４３はこの動画像符号化データ入力部４
２によって取り込まれた動画像の符号化データの１フレ
ームごとのデータ量を計数する計数部であり、４４はこ
の計数部４３の計数部をしきい値と比較して、その大小
関係に基づいて当該フレームがシーンチェンジであるか
否かを示す信号を発生する比較部である。４５はこのシ
ステム全体の制御を行うＣＰＵである。

【００２４】次に動作について説明する。ディスク４１
には複数のシーンから構成される動画像の画像信号を符
号化した符号化データが蓄えられており、動画像符号化
データ入力部４２がこのディスク４１から順次、動画像
の符号化データを読み出してゆく。読み出された動画像
の符号化データは計数部４３に送られて１フレームごと
にそのデータ量が計数され、計数結果が比較部４４に出
力される。比較部４４は受け取った計数値をしきい値と
比較して、計数値がしきい値より大きい場合には、その
フレームがシーンチェンジである旨を示すシーンチェン
ジ検出信号を出力する。そして、この比較部４４より出
力されたシーンチェンジ検出信号はＣＰＵ４５から読み
取れるように構成されている。

【００２５】

【発明の効果】以上のように、この発明によれば、動画
像符号化データ入力部によって複数のシーンから構成さ
れる動画像の符号化データを取り込み、それを計数部に
入力するように構成したので、符号化装置や復号化装置
の存在とは関係なく、単に符号化データから必要な情報
だけを抽出して解析するだけでシーンチェンジの検出が
可能となる効果がある。

【図面の簡単な説明】

【図１】この発明の実施の形態１を示すブロック図で
ある。

【図２】従来のシーンチェンジ検出装置が適用される
符号化装置および復号化装置の一例を示すブロック図で
ある。

【図３】従来のシーンチェンジ検出装置におけるシー
ンチェンジ検出のアルゴリズムを示すフローチャートで
ある。

【符号の説明】

４１ディスク、４２動画像符号化データ入力部、４
３計数部、４４比較部、４５ＣＰＵ。

Claims

【特許請求の範囲】

【請求項１】複数のシーンから構成される動画像の符
号化データを取り込む動画像符号化データ入力部と、前
記動画像符号化データ入力部より取り込まれた前記動画
像の符号化データの１フレームごとのデータ量を計数す
る計数部と、前記計数部の計数値をしきい値と比較し、
その比較結果に基づいてそのフレームがシーンチェンジ
であるか否かを示す信号を発生する比較部とを備えたシ
ーンチェンジ検出装置。