JP2002238030A - スローモーション画像検出方法および検出装置 - Google Patents

Abstract

(57)【要約】 【課題】フレーム間予測符号化アルゴリズムを含む符号
化アルゴリズムによって符号化された動画像からスロー
モーション画像を検出する際に必要な演算処理および構
成を簡易とする。 【解決手段】スローモーション画面検出装置１００の可
変長復号器１１０には、ＭＰＥＧ規格に準拠した符号化
アルゴリズムによって符号化されたデータが入力され
る。可変長復号器１１０は、入力された符号化データを
可変長復号し、ピクチャコーディングタイプ（ＰＣ
Ｔ）、マクロブロックアドレスインクリメント（ＭＢＡ
Ｉ）および動きベクトル（ＭＶＣ）を判定処理部１１１
に出力する。判定処理部１１１は、これらの情報に基づ
いて動画像を構成する一連のピクチャの動きを推定し、
周期的に静止ピクチャが連続する場合にスローモーショ
ン画面であると検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＭＰＥＧ（Moving
Picture Experts Group）方式等の動画像符号化方式に
準拠したアルゴリズムによって符号化された動画像から
スローモーション画像を検出するスローモーション画像
検出方法および検出装置に関する。

【０００２】

【従来の技術】近年では、テレビ番組等の動画像を記録
再生する装置として、従来から使用されているＶＴＲ
（Video Tape Recorder）以外に、動画像をディジタル
データとして記録する録画再生装置が用いられている。
このようなディジタル録画再生装置では、ハードディス
クやＣＤ−Ｒ（Compact Disc-Recordable）、ＣＤ−Ｒ
Ｗ（Compact Disc-Rewritable）、ＤＶＤ−Ｒ（Digital
Versatile Disc-Recordable）、ＤＶＤ−ＲＷ（Digita
l Versatile Disc-Rewritable）、ＤＶＤ−ＲＡＭ（Dig
ital Versatile Disc-Random Access Memory）等のメデ
ィアに動画像をディジタルデータとして記録する。そし
て、このようなディジタル録画再生装置では、動画像を
圧縮符号化して記録することにより、記録するデータ量
を削減している。

【０００３】上記のようなディジタル録画再生装置にお
いては、動画像の高能率圧縮符号化アルゴリズムとし
て、ＭＰＥＧの規格に対応した符号化アルゴリズムが用
いられている。この符号化アルゴリズムでは、フレーム
内符号化アルゴリズムとフレーム間予測アルゴリズムを
併用している。さらに詳述すると、この符号化アルゴリ
ズムでは、動画像を構成する多数のフレーム（もしくは
フィールド）を各々一定個数のフレームからなるＧＯＰ
（Group Of Picture）に分け、ＧＯＰの先頭のフレーム
についてはフレーム内符号化を行い、他のフレームにつ
いてはフレーム間予測符号化を行う。ここで、フレーム
内符号化とは、他のフレームを全く参照することなく処
理対象であるフレームの符号化を行うことをいう。ま
た、フレーム間予測符号化は、処理対象であるフレーム
を所定個数の画素からなるマクロブロックに分け、各マ
クロブロック毎に、他の先行するフレーム等（参照フレ
ーム）中に含まれている当該マクロブロックに類似した
参照マクロブロックを求め、当該マクロブロックからみ
た参照マクロブロックまでの相対的変位を表す動きベク
トルと、当該マクロブロックと参照マクロブロックとの
差分画像とを符号化するものである。この符号化アルゴ
リズムにおいて、参照フレームの中から参照マクロブロ
ックを探索する処理は、動き補償と呼ばれている。

【０００４】ディジタル録画再生装置では、テレビ番組
等の動画像を、ＭＰＥＧ規格に対応した符号化アルゴリ
ズムによって符号化し、符号化したデータをメディア等
に記録している。ユーザは、このようにディジタル録画
再生装置によって記録された動画像を再生してテレビ番
組等を視聴することができる。

【０００５】ところで、ディジタル録画したテレビ番組
等を視聴する際に、ユーザが所望の画面を指定すると、
その指定した画面を検索して再生するといった機能を備
えたディジタル録画再生装置も提案されており、例えば
テレビ番組中のスローモーション画面を検出し、検出し
たスローモーション画面を再生するといった機能を備え
た装置が提案されている。

【０００６】ここで、上記のような符号化アルゴリズム
を用いてディジタル録画された動画像中のスローモーシ
ョン画面を検出する従来装置の構成を図１１に示す。同
図に示すように、この検出装置は、ＭＰＥＧデコーダ１
と、フレームメモリ２と、判定回路３とを備えている。

【０００７】ＭＰＥＧデコーダ１は、上述したように符
号化された画像の符号化データを上記符号化アルゴリズ
ムに対応する復号アルゴリズムによって復号し、一連の
フレーム画像を復元する。フレームメモリ２には、ＭＰ
ＥＧデコーダ１によって復元されたフレームの画像が蓄
積される。判定回路３は、フレームメモリ２に蓄積され
たフレームの画像と、ＭＰＥＧデコーダ１から供給され
るフレーム画像を参照し、スローモーション画面である
か否かを検出する。

【０００８】

【発明が解決しようとする課題】しかしながら、上記構
成の検出装置では、ＭＰＥＧ規格に準拠した符号化アル
ゴリズムによって符号化された符号化データを全て復号
する必要があるため、演算処理が複雑であり、符号化デ
ータを復号するための数フレーム分のメモリが必要とな
る。

【０００９】本発明は、上記の事情を考慮してなされた
ものであり、フレーム間予測符号化アルゴリズムを含む
符号化アルゴリズムによって符号化された動画像からス
ローモーション画像を検出する際に必要な演算処理およ
び構成を簡易とすることが可能なスローモーション画像
検出方法および検出装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】上記課題を解決するた
め、本発明に係るスローモーション画面検出方法は、フ
レーム内符号化アルゴリズムと動き補償を伴ったフレー
ム間予測符号化アルゴリズムを含む符号化アルゴリズム
により符号化された動画像を構成する一連のピクチャの
符号化データから、前記動画像における周期的に静止し
ているスローモーション画像を検出する方法であって、
前記符号化データから、前記ピクチャを構成する複数の
マクロブロックの動きベクトル情報およびマクロブロッ
クタイプ情報の少なくとも一方を抽出する抽出ステップ
と、前記符号化データから抽出された前記動きベクトル
情報およびマクロブロックタイプ情報の少なくとも一方
に基づいて各ピクチャの動きを判定し、一連のピクチャ
が周期的に静止していると判定した場合に当該各ピクチ
ャが周期的に静止している部分をスローモーション画像
として検出する検出ステップとを具備することを特徴と
する。

【００１１】また、上記方法において、前記検出ステッ
プでは、各ピクチャ毎にマクロブロックの動きベクトル
の絶対値の合計値またはスキップトマクロブロック（Sk
ipped Macroblock）の数を算出し、当該算出結果と予め
設定されている設定値とを比較して各ピクチャが静止し
ているか否かを判定するようにしてもよい。

【００１２】また、本発明に係るスローモーション画面
検出装置は、フレーム内符号化アルゴリズムと動き補償
を伴ったフレーム間予測符号化アルゴリズムを含む符号
化アルゴリズムにより符号化された動画像を構成する一
連のピクチャの符号化データから、前記動画像における
周期的に静止しているスローモーション画像を検出する
装置であって、前記符号化データから、前記ピクチャを
構成する複数のマクロブロックの動きベクトル情報およ
びマクロブロックタイプ情報の少なくとも一方を抽出す
る抽出手段と、前記符号化データから抽出された前記動
きベクトル情報およびマクロブロックタイプ情報の少な
くとも一方に基づいて各ピクチャの動きを判定し、一連
のピクチャが周期的に静止していると判定した場合に当
該各ピクチャが周期的に静止している部分をスローモー
ション画像として検出する検出手段とを具備することを
特徴とする。

【００１３】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態について説明する。まず、図１は本発明の一実施
形態に係るスローモーション画面検出装置の構成を示す
図である。同図に示すように、このスローモーション画
面検出装置１００は、可変長復号器（Variable Length
Decoder）１１０と、判定処理部１１１とを備えてい
る。

【００１４】可変長復号器１１０には、スローモーショ
ン画面の検出対象となる動画像の符号化データが入力さ
れる。本実施形態では、ディジタル録画再生装置等によ
って、ＭＰＥＧ規格に準拠した符号化アルゴリズムによ
って符号化され、ハードディスクや各種メディアに記録
された符号化データが順次読み出されて供給されるもの
とする。

【００１５】可変長復号器１１０に入力される符号化デ
ータは、録画されたテレビ番組等の動画像を構成する一
連のピクチャ画像（ビデオ信号）に対し、ＭＰＥＧ規格
に準拠した符号化処理を施すことにより生成された符号
化データである。スローモーション画面検出装置１００
は、符号化データから所定の情報を抽出してスローモー
ション画面を検出するものであり、その詳細な説明に先
立ち、可変長復号器１１０に入力される符号化データに
ついて説明する。

【００１６】可変長復号器１１０に入力されるＭＰＥＧ
規格に準拠した符号化処理が施された符号化データの階
層構造を図２に示す。同図に示すように、符号化データ
は、シーケンス（Sequence）層、ＧＯＰ層、ピクチャ
層、スライス層、マクロブロック層およびブロック層と
いった６つの階層構造となっている。

【００１７】シーケンス層は、シーケンスヘッダ（Ｓ
Ｈ；Sequence Header）、これに続くＧＯＰ（グループ
オブピクチャ；Group Of Picture）との組等から構成さ
れている。ＧＯＰ層には、先頭にグループスタートコー
ド（ＧＳＣ）等が配され、これに続いて所定枚のピクチ
ャ（Picture） が配されている。このピクチャとして
は、フレーム内符号化画像（Ｉピクチャ；Intra Pictur
e） 、順方向予測符号化画像（Ｐピクチャ；Predictive
Picture）、双方向予測符号化画像（Ｂピクチャ；Bidi
rectionally Predictive Picture）等があり、これらの
Ｉ，Ｐ，Ｂピクチャが所定の順序に配列されてＧＯＰ層
が構成されている。

【００１８】ピクチャ層には、ピクチャスタートコード
（ＰＳＣ：picture_start_code）、タイムレファレンス
（Time Reference）およびピクチャコーディングタイプ
（ＰＳＣ；Picture Coding Type）等に続いて、いくつ
かのスライス（Slice） が配されて構成されている。こ
こで、ピクチャーコーディングタイプは、当該ピクチャ
がＩピクチャ、ＰピクチャおよびＢピクチャ等のいずれ
の画像であるかを示す情報である。スライス層には、ス
ライススタートコード（ＳＳＣ）等に続いていくつかの
マクロブロック（ＭＢ；Macroblock）が配されている。

【００１９】マクロブロック層には、マクロブロックア
ドレスのエスケープコード（ＭＢＥＩ）、マクロブロッ
クアドレスインクリメント（ＭＢＡＩ；Macroblock add
ressIncrement） 、マクロブロックタイプ（ＭＢＴ；Ma
croblock Type）、動きベクトル（ＭＶＣ；Motion Vert
ical Code）、及びコーデッドブロックパターン（ＣＢ
Ｐ：Coded Block Pattern）等に続いて、各マクロブロ
ックを８×８画素を１ブロックとして分割した輝度信号
ブロック４個と色差信号ブロック２個が配されている。

【００２０】ここで、マクロブロックアドレスインクリ
メントは、マクロブロックの位置を示す情報であり、１
つ前のマクロブロックとの絶対アドレスの差を表す情報
が可変長符号化されたデータである。マクロブロックア
ドレスインクリメントは、情報を必要としないマクロブ
ロック、すなわち前フレームからの変化がないスキップ
トマクロブロック（Skipped Macroblock）をスキップす
るために用いられ、スキップするマクロブロックの数＋
１が可変長符号化されたデータである。

【００２１】マクロブロックタイプは、Ｉ，Ｐ，Ｂピク
チャ毎にそのマクロブロックの処理方法を示す情報を可
変長符号化したデータであり、例えばＭＣ（動き補償）
コーデッド（MC Coded；符号化要）、ノンＭＣコーデッ
ド（No MC Coded）等を示す情報を可変長符号化したデ
ータである。上記マクロブロックアドレスインクリメン
トでスキップされるマクロブロックのタイプは、Ｐピク
チャではノンＭＣ（単純フレーム間予測）であり、かつ
符号化不要（Not Coded）のタイプであり、Ｂピクチャ
では情報を必要としないマクロブロックのマクロブロッ
クタイプは、１つ前のマクロブロックと、予測方向
（順、逆、内挿）と動きベクトルが同じの符号化不要の
マクロブロックのタイプである。マクロブロックのタイ
プが上記のような場合には、マクロブロックタイプを情
報としては含まず、当該マクロブロックがスキップされ
るような情報をマクロブロックアドレスインクリメント
に含めることになる。

【００２２】動きベクトルは、当該マクロブロックから
参照フレーム内の参照マクロブロックまでの相対移動に
対応している。あるマクロブロックの画像を復号する際
には、この動きベクトルに基づいて参照フレーム内の参
照マクロブロックの所在位置が求められる。マクロブロ
ック層には、このような動きベクトルが可変長符号化さ
れたデータが含まれている。

【００２３】コーデッドブロックパターンは、マクロブ
ロックを構成する６つのブロックが有意ブロックである
か否かをパターン化した情報である。この情報を参照す
ることにより、マクロブロックを構成するどのブロック
が有意ブロックであるか、つまり前画面に対して変化の
あったブロックであるかが分かるようになっている。

【００２４】ブロック層には、ブロックの画像データに
対し、直交変換の一種であるＤＣＴ（Discrete Cosine
Transform；離散コサイン変換）を施し、これにより得
られたＤＣＴ係数を量子化し、さらに可変長符号化した
データが配されている。ＤＣＴ係数は当該マクロブロッ
クに対応した画像と参照マクロブロックの画像との差分
画像に対し、ブロック単位でＤＣＴを施すことにより得
られたものである。

【００２５】以上のような構造の符号化データが図１に
示す可変長復号器１１０に入力される。

【００２６】可変長復号器１１０には、ハードディスク
やＤＶＤ等のメディアから読み出される等して可変長符
号化されたデータが順次供給され、可変長復号器１１０
は供給される可変長符号化されたデータを可変長符号化
前のデータにデコードする。このように可変長符号化前
のデコードしたデータのうち、符号化データのピクチャ
層に配されるピクチャコーディングタイプ（ＰＣＴ）、
マクロブロック層に配されるマクロブロックアドレスイ
ンクリメント（ＭＢＡＩ）、および動きベクトル（ＭＶ
Ｃ）の３種類のデータを判定処理部１１１に出力する。

【００２７】判定処理部１１１は、可変長復号器１１０
から供給されるピクチャコーディングタイプ、マクロブ
ロックアドレスインクリメント、および動きベクトルの
３種類のデータに基づいて、スローモーション画面であ
るか否かの判定処理を行い、スローモーション画面であ
ると判定した場合に検出信号を出力する。判定処理部１
１１は、上記のような３種類のデータから動画像中のス
ローモーション画面を検出することができるが、以下、
その検出原理について説明する。

【００２８】ここで、判定処理部１１１が検出するスロ
ーモーション画面とは、動画像中における周期的に静止
する部分を構成する画面を意味する。すなわち、所定周
期にわたって静止したフレーム画像が連続した後、動き
のあるピクチャが出現し、再度所定周期にわたって静止
したピクチャ画像が連続するといった順序でのピクチャ
の出力が繰り返される部分がスローモーション画面であ
るといえる。したがって、判定処理部１１１では、ピク
チャコーディングタイプ、マクロブロックアドレスイン
クリメント、および動きベクトルの３種類のデータか
ら、上記のような順序でピクチャが出力される部分を検
出し、その部分をスローモーション画面であると判定し
て検出信号を出力する。

【００２９】まず、動きベクトルからスローモーション
画面を検出できる原理について図３を参照しながら説明
する。図３（ａ）は、通常の動きのある動画像画面、す
なわちスローモーション画面ではない動画像画面を構成
する一連のピクチャが順次出力された場合の各ピクチャ
毎の動きベクトルの絶対値の合計値の分布を示すグラフ
である。このグラフに示されるように、動きのある動画
像を構成する一連のピクチャにおいては、各ピクチャ間
で画像の動きがあるため、動きベクトルの絶対値の合計
値は各々のピクチャ毎にばらつくことになる。なお、図
における「I」、「Ｂ」、「Ｐ」はピクチャタイプを示
しており、Ｉピクチャを構成するマクロブロックには、
動きベクトルが含まれていないため、Ｉピクチャの動き
ベクトルの絶対値の合計は０である。

【００３０】一方、図３（ｂ）は、スローモーション画
面部分を構成する一連のピクチャが順次出力された場合
の各ピクチャ毎の動きベクトルの絶対値の合計値の分布
を示すグラフである。スローモーション画面では、上述
したように所定周期にわたって静止したピクチャ画像が
連続した後、動きのあるピクチャが出現し、再度所定周
期にわたって静止したピクチャ画像が連続するといった
順序でのピクチャ出力が繰り返される。ここで、あるピ
クチャを構成する各マクロブロックの動きベクトルの絶
対値の合計値は全体的な画像の動きに依存するので一概
に決めることはできないが、動きがないピクチャを構成
するマクロブロックの動きベクトルは明らかに小さい値
となり、各マクロブロックの動きベクトルの絶対値の合
計も当然小さい値となる。したがって、図３（ｂ）に示
すように、スローモーション画面部分における各ピクチ
ャ毎の動きベクトルの絶対値の合計値は、一定周期毎に
出力されるピクチャのみの動きベクトルの絶対値の合計
値が大きくなり、他のピクチャについては非常に小さい
値となる。

【００３１】本実施形態では、動画像中におけるスロー
モーション画面部分を構成する一連のピクチャの動きベ
クトルの絶対値が図３（ｂ）に示されるような分布とな
ることに着目し、動きベクトルの絶対値の合計値が大き
くなるピクチャ間の間隔Ｔ１，Ｔ２が一致した場合に、
一連のピクチャがスローモーション画面を構成している
と判定するのである。

【００３２】次に、マクロブロックアドレスインクリメ
ントからスローモーション画面を検出できる原理につい
て図４を参照しながら説明する。図４（ａ）は、通常の
動きのある動画像画面、すなわちスローモーション画面
ではない動画像画面を構成する一連のピクチャが順次出
力された場合の各フレーム毎のスキップトマクロブロッ
クの数の分布を示すグラフである。このグラフに示され
るように、動きのある動画像を構成する一連のピクチャ
においては、各ピクチャ間で画像の動きがあるため、ス
キップトマクロブロックの数は各々のピクチャ毎にばら
つくことになる。なお、Ｉピクチャを構成するマクロブ
ロックには、スキップトマクロブロックがないため、Ｉ
ピクチャのスキップトマクロブロックの数は０である。

【００３３】一方、図４（ｂ）は、スローモーション画
面部分を構成する一連のピクチャが順次出力された場合
の各ピクチャ毎のスキップトマクロブロックの数の分布
を示すグラフである。スローモーション画面では、上述
したように所定周期にわたって静止したピクチャ画像が
連続した後、動きのあるピクチャが出現し、再度所定周
期にわたって静止したピクチャ画像が連続するといった
順序でのピクチャ出力が繰り返される。ここで、動きの
ないピクチャでは、前画面と変化がなく情報のないマク
ロブロックであるスキップトマクロブロックの数が非常
に多くなり、動きがあるピクチャでは、スキップトマク
ロブロックの数は動きに応じて変動し、またその数も静
止しているピクチャと比較すると小さい。したがって、
図４（ｂ）に示すように、スローモーション画面部分に
おける各ピクチャ毎のスキップトマクロブロックの数
は、一定周期毎に出力されるピクチャ以外のピクチャに
ついては非常に大きい値となる。

【００３４】本実施形態では、動画像中におけるスロー
モーション画面部分を構成する一連のピクチャのスキッ
プトマクロブロックの数が図４（ｂ）に示されるような
分布となることに着目し、スキップトマクロブロックの
数が非常に大きいピクチャ以外のピクチャが出力される
間隔Ｔ３，Ｔ４が一致した場合に、一連のピクチャがス
ローモーション画面を構成していると判定するのであ
る。

【００３５】以上が本実施形態におけるスローモーショ
ン画面検出方法の原理であるが、以下、このスローモー
ション画面検出方法を実施するために判定処理部１１１
が実行する処理内容について図５を参照しながら説明す
る。

【００３６】同図に示すように、スローモーション画面
の検出処理が開始されると、判定処理部１１１は各種変
数（詳細は後述する）を初期化する（ステップＳ１）。
そして、後述する判定処理で使用する閾値Sth、MVthを
所定の値に設定する（ステップＳ２）。そして、判定処
理部１１１は、可変長復号器１１０から順次供給される
符号化データを可変長復号したデータの中にピクチャコ
ーディングタイプ（ＰＣＴ）が含まれているか否かをチ
ェックする（ステップＳ３）。

【００３７】ピクチャコーディングタイプが検出された
場合には（ステップＳ３の判別「YES」）、検出対象の
動画像を構成する一連のピクチャのうち、最初から何番
目のピクチャであるかを示す変数CFNに１をインクリメ
ントする（ステップＳ４）。なお、初期状態では、変数
CFNは０に初期化されており、最初のピクチャコーディ
ングタイプが検出された場合には、変数CFNは１とな
り、次にピクチャコーディングタイプが検出された場合
には、変数CFNは２となる。したがって、変数CFNは、現
在処理を行っているピクチャが最初から何番目のピクチ
ャであるかを示す数字を表すことになる。

【００３８】次に、判定処理部１１１は、検出したピク
チャコーディングタイプを参照し、当該ピクチャがＩピ
クチャであるか否かを判別する（ステップＳ５）。ここ
で、ピクチャがＩピクチャである場合には、ステップＳ
３に戻り、次のピクチャコーディングタイプが含まれて
いるか否かをチェックする。一方、ステップＳ５の判別
において、Ｉピクチャではないと判別した場合（Ｂピク
チャやＰピクチャである場合）には、判定処理部１１１
は、可変長復号器１１０から供給されるマクロブロック
層のデータに対する処理を行う（ステップＳ６）。

【００３９】ここで、図６はマクロブロック層のデータ
に対する処理を示すフローチャートである。同図に示す
ように、マクロブロック層のデータに対する処理では、
判定処理部１１１は、可変長復号器１１０から順次供給
されるマクロブロックアドレスインクリメントを参照
し、当該ピクチャ内におけるスキップトマクロブロック
の数を示す変数SMNを求める（ステップＳａ１）。ここ
で、変数SMNは、当該ピクチャ内におけるマクロブロッ
クアドレスインクリメントに示される数値（MBAI）から
１を減算した数値を順次加算することにより、当該ピク
チャ内のスキップトマクロブロックを示す変数SMNを求
めることができる。これは、マクロブロックアドレスイ
ンクリメントの数値（MBAI）は、スキップするマクロブ
ロックの数＋１を示しており、当該ピクチャ内の各マク
ロブロックアドレスインクリメントの数値から１を減算
した値を順次加算した数が当該ピクチャ内のスキップマ
クロブロックの数になるからである。

【００４０】次に、判定処理部１１１は、可変長復号器
１１０から順次供給される動きベクトルの絶対値MVSを
求め（ステップＳａ２）、当該ピクチャ内の各マクロブ
ロックの動きベクトルの絶対値の合計を示す変数MVSUM
を求める（ステップＳａ３）。ここで、変数MVSUMは、
各マクロブロックの動きベクトルの絶対値MVSを順次加
算することにより求めることができる。このようにマク
ロブロック層のデータから当該ピクチャ内のスキップト
マクロブロックの数を示す変数SMNと、動きベクトルの
絶対値の合計値を示す変数MVSUMとを求めるとマクロブ
ロック層に対する処理を終了する。

【００４１】図５に示すように、マクロブロック層に対
する処理が終了すると、判定処理部１１１は、スキップ
ドマクロブロックの数を示す変数SMNを用いてスローモ
ーション画面であるか否かを判定する判定処理を行う
（ステップＳ７）。

【００４２】図７は当該判定処理を示すフローチャート
である。同図に示すように、変数SMNを用いた判定処理
では、判定処理部１１１は、上記マクロブロック層のデ
ータに対する処理で求めたスキップトマクロブロックの
数を示す変数SMNが、ステップＳ２で設定された閾値Sth
よりも小さいか否かを判別する（ステップＳｂ１）。

【００４３】ここで、閾値Sthについて図８を参照しな
がら説明する。図８はスローモーション画面部分を構成
する一連のフレームが順次出力された場合の各フレーム
毎のスキップトマクロブロックの数の分布を示すグラフ
である。同図に示すように、本実施形態において閾値St
hは、動きのあるピクチャに含まれるスキップトマクロ
ブロックの数よりも十分に大きく、静止しているピクチ
ャに含まれるスキップトマクロブロックの数よりも少な
い値に設定されている。閾値Sthをこのような値に設定
することにより、変数SMNが閾値Sthよりも大きいピクチ
ャは静止しているピクチャであると判断することがで
き、変数SMNが閾値Sthよりも小さいピクチャは動いてい
るといった判断をすることできる。

【００４４】すなわち、上記ステップＳｂ１における判
別では、当該ピクチャが動いているか否かを判別してい
るのである。ステップＳｂ１における判別において、変
数SMNが閾値Sthよりも大きいと判別した場合には（ステ
ップＳｂ１の判別「NO」）、当該ピクチャに関する判定
処理を終了する。一方、変数SMNが閾値Sthよりも小さい
と判別した場合、すなわち当該ピクチャが動いていると
判別した場合には、変数S2を変数S1に設定する（ステッ
プＳｂ２）。

【００４５】ここで、図８に示すように、変数S2は、１
つ前に動いていると判別されたピクチャの番号（検出対
象の動画像を構成する一連のピクチャのうち、最初から
何番目のピクチャであるかを示す番号）を示すものであ
り、変数S1は、最も近い時期に動いていると判別された
ピクチャの番号（検出対象の動画像を構成する一連のピ
クチャのうち、最初から何番目のピクチャであるかを示
す番号）を示すものである。ステップＳｂ２の処理は、
ステップＳｂ１においてピクチャが動いていると判別さ
れた場合にのみ実行されるので、ステップＳｂ２の処理
時点では、その時点前まで最も近い時期に動いている判
別されたピクチャが、１つ前に動いていると判別された
ピクチャに変わることになる。したがって、ステップＳ
ｂ２の処理では、この時点まで変数S1に示されていた値
を、変数S2にセットしているのである。

【００４６】次に、上記のように変数S2をセットする
と、判定処理部１１１は、現在のピクチャの番号を示す
変数CFNを、最も近い時期に動いていると判別されたピ
クチャの番号を示す変数S1にセットする（ステップＳｂ
３）。これは現在処理しているピクチャが最も近い時期
に動いていると判別されたピクチャであるからである。

【００４７】このように変数S1をセットすると、判定処
理部１１１は変数Sdiff１を変数Sdiff２にセットする
（ステップＳｂ４）。図８に示すように、変数Sdiff１
は、１つ前に動いていると判別されたピクチャ（当該ピ
クチャを示す番号は変数S2）と、さらに１つ前に動いて
いると判別されたピクチャとの間隔を示すものであり、
変数Sdiff２は最も近い時期に動いていると判別された
ピクチャと、１つ前に動いていると判別されたピクチャ
との間隔を示すものである。ステップＳｂ４の処理は、
ステップＳｂ１においてピクチャが動いていると判別さ
れた場合にのみ実行されるので、上述したようにステッ
プＳｂ４の処理時点では、この時点の前まで最も近い時
期に動いている判別されたピクチャが、１つ前に動いて
いると判別されたピクチャに変わることになる。したが
って、ステップＳｂ４の処理では、この時点までSdiff
２にセットされていた値を、変数Sdiff１にセットして
いるのである。

【００４８】このように変数Sdiff１をセットすると、
判定処理部１１１は、変数Sdiff２に（S1-S2）をセット
する（ステップＳｂ５）。変数S1−変数S2は、最も近い
時期に動いていると判別されたピクチャと、その１つ前
に動いていると判別されたピクチャとの間隔を示す値で
あり、判定処理部１１１はこの値を変数Sdiff２にセッ
トする。

【００４９】そして、判定処理部１１１は、上記のよう
にステップＳｂ４でセットした変数Sdiff１と、ステッ
プＳｂ５でセットした変数Sdiff２とが一致するか否
か、すなわち１つ前に動いていると判別されたピクチャ
と、さらに１つ前に動いていると判別されたピクチャと
の間隔と、最も近い時期に動いていると判別されたピク
チャと、１つ前に動いていると判別されたピクチャとの
間隔とが一致するか否かを判別する（ステップＳｂ
６）。

【００５０】ここで、変数Sdiff１と変数Sdiff２とが一
致している場合には（ステップＳｂ６の判別「YE
S」）、周期的に動いているピクチャが出現していると
推定することができるので、この部分はスローモーショ
ン画面を構成していると判定し、スローモーション画面
を検出したことを示す検出信号を再生装置等に出力する
（ステップＳｂ７）。一方、変数Sdiff１と変数Sdiff２
とが一致しない場合には、動いているピクチャがランダ
ムに出現していると推定することができ、この場合は検
出信号は出力せずに当該処理を終了する。

【００５１】図５に示すように、スキップトマクロブロ
ックの数を用いた判定処理が終了すると、判定処理部１
１１は、動きベクトルの絶対値の合計値を示す変数MVSU
Mを用いてスローモーション画面であるか否かを判定す
る判定処理を行う（ステップＳ８）。

【００５２】図９は当該判定処理を示すフローチャート
である。同図に示すように、変数MVSUMを用いた判定処
理では、判定処理部１１１は、上記マクロブロック層の
データに対する処理で求めた動きベクトルの絶対値の合
計を示す変数MVSUMが、ステップＳ２で設定された閾値M
Vthよりも大きいか否かを判別する（ステップＳｃ
１）。

【００５３】ここで、閾値MVthについて図１０を参照し
ながら説明する。図１０はスローモーション画面部分を
構成する一連のフレームが順次出力された場合の各フレ
ーム毎の動きベクトルの絶対値の合計値の分布を示すグ
ラフである。同図に示すように、本実施形態において閾
値MVthは、多少なりとも動きのあるピクチャの動きベク
トルの絶対値の合計値よりも小さく、静止しているピク
チャの動きベクトルの絶対値の合計値よりも大きい値に
設定されている。閾値MVthをこのような値に設定するこ
とにより、変数MVSUMが閾値MVthよりも小さいピクチャ
は静止しているピクチャであると判断することができ、
変数MVSUMが閾値MVthよりも小さいピクチャは動いてい
るといった判断をすることできる。

【００５４】すなわち、上記ステップＳｃ１における判
別では、当該ピクチャが動いているか否かを判別してい
るのである。ステップＳｃ１における判別において、変
数MVSUMが閾値MVthよりも小さいと判別した場合には
（ステップＳｃ１の判別「NO」）、当該ピクチャに関す
る判定処理を終了する。一方、変数MVSUMが閾値MVthよ
りも大きいと判別した場合、すなわち当該ピクチャが動
いていると判別した場合には、変数M2を変数M1に設定す
る（ステップＳｃ２）。

【００５５】ここで、図１０に示すように、変数M2は、
１つ前に動いていると判別されたピクチャの番号（検出
対象の動画像を構成する一連のピクチャのうち、最初か
ら何番目のピクチャであるかを示す番号）を示すもので
あり、変数M1は、最も近い時期に動いていると判別され
たピクチャの番号（検出対象の動画像を構成する一連の
ピクチャのうち、最初から何番目のピクチャであるかを
示す番号）を示すものである。ステップＳｃ２の処理
は、ステップＳｃ１においてピクチャが動いていると判
別された場合にのみ実行されるので、ステップＳｃ２の
処理時点では、その時点前まで最も近い時期に動いてい
る判別されたピクチャが、１つ前に動いていると判別さ
れたピクチャに変わることになる。したがって、ステッ
プＳｃ２の処理では、この時点まで変数M1に示されてい
た値を、変数M2にセットしているのである。

【００５６】次に、上記のように変数M2をセットする
と、判定処理部１１１は、現在のピクチャの番号を示す
変数CFNを、最も近い時期に動いていると判別されたピ
クチャの番号を示す変数M1にセットする（ステップＳｃ
３）。これは現在処理しているピクチャが最も近い時期
に動いていると判別されたピクチャであるからである。

【００５７】このように変数M1をセットすると、判定処
理部１１１は変数Mdiff１を変数Mdiff２にセットする
（ステップＳｃ４）。図１０に示すように、変数Mdiff
１は、１つ前に動いていると判別されたピクチャ（当該
ピクチャを示す番号は変数M2）と、さらに１つ前に動い
ていると判別されたピクチャとの間隔を示すものであ
り、変数Mdiff２は最も近い時期に動いていると判別さ
れたピクチャと、１つ前に動いていると判別されたピク
チャとの間隔を示すものである。ステップＳｃ４の処理
は、ステップＳｃ１においてピクチャが動いていると判
別された場合にのみ実行されるので、上述したようにス
テップＳｃ４の処理時点では、その時点前まで最も近い
時期に動いている判別されたピクチャが、１つ前に動い
ていると判別されたピクチャに変わることになる。した
がって、ステップＳｂ４の処理では、この時点まで変数
Mdiff２にセットされていた値を、変数Mdiff１にセット
しているのである。

【００５８】このように変数Mdiff１をセットすると、
判定処理部１１１は、変数Mdiff２に（M1-M2）をセット
する（ステップＳｃ５）。変数M1−変数M2は、最も近い
時期に動いていると判別されたピクチャと、その１つ前
に動いていると判別されたピクチャとの間隔を示す値で
あり、判定処理部１１１はこの値を変数Mdiff２にセッ
トする。

【００５９】そして、判定処理部１１１は、上記のよう
にステップＳｃ４でセットした変数Mdiff１と、ステッ
プＳｃ５でセットした変数Mdiff２とが一致するか否
か、すなわち１つ前に動いていると判別されたピクチャ
と、さらに１つ前に動いていると判別されたピクチャと
の間隔と、最も近い時期に動いていると判別されたピク
チャと、１つ前に動いていると判別されたピクチャとの
間隔とが一致するか否かを判別する（ステップＳｃ
６）。

【００６０】ここで、変数Mdiff１と変数Mdiff２とが一
致している場合には（ステップＳｃ６の判別「YE
S」）、周期的に動いているピクチャが出現していると
推定することができるので、この部分はスローモーショ
ン画面を構成していると判定し、スローモーション画面
を検出したことを示す検出信号を再生装置等に出力する
（ステップＳｃ７）。一方、変数Mdiff１と変数Mdiff２
とが一致しない場合には、動いているピクチャがランダ
ムに出現していると推定することができ、この場合は検
出信号は出力せずに当該処理を終了する。

【００６１】このように動きベクトルを用いた判定処理
が終了すると、判定処理部１１１は、ピクチャに含まれ
るスキップトマクロブロックの数を示す変数SMNを０に
リセットする（ステップＳ９）。さらに、判定処理部１
１１はピクチャの動きベクトルの絶対値の合計を示す変
数MVSUMを０にリセットし（ステップＳ１０）、ステッ
プＳ３に戻る。この後、可変長復号器１１０から供給さ
れるデータ中にピクチャコーディングタイプが検出され
た場合には、ステップＳ４以降の処理を繰り返し、一
方、可変長復号器１１０からの検出対象となる動画像に
対応したすべてのデータの供給が終了するまでピクチャ
コーディングタイプが検出されない場合には、当該スロ
ーモーション画面検出処理を終了する。

【００６２】上述したように本実施形態では、検出対象
となる動画像をＭＰＥＧ規格に準拠した符号化アルゴリ
ズムによって符号化した符号化データからピクチャコー
ディングタイプ、マクロブロックアドレスインクリメン
ト、および動きベクトルの３種類のデータを抽出し、こ
れら三種類のデータを用いて動画像中におけるスローモ
ーション画面を検出することができる。したがって、従
来のスローモーション検出装置のように、符号化データ
からＭＰＥＧデコーダを用いて動画像を構成する一連の
フレームを復号するといった複雑な復号処理を行うこと
なく、スローモーション画面を検出することができ、従
来よりも素早い検出処理が可能となる。また、スローモ
ーション検出のためにＭＰＥＧデコーダや、スローモー
ション検出のために復号した画像を蓄積するフレームメ
モリ等を設ける必要がなく、装置の構成も簡易とするこ
とができる。

【００６３】なお、以上説明した実施形態では、ＭＰＥ
Ｇ規格に準拠した符号化データを用いてスローモーショ
ン画面を検出する場合を例に挙げて説明したが、Ｈ．２
６１等のフレーム間予測符号化アルゴリズムによって符
号化されたデータを用いてスローモーション画面を検出
する場合にも適用可能である。

【００６４】また、本発明によるす路モーション画面検
出装置は、コンピュータとそれによって実行されるプロ
グラムとの組み合わせから構成することが可能であり、
そのプログラムは、コンピュータ読み取り可能な記録媒
体または通信回線を介して配布することが可能である。

【００６５】

【発明の効果】以上説明したように、本発明によれば、
フレーム間予測符号化アルゴリズムを含む符号化アルゴ
リズムによって符号化された動画像からスローモーショ
ン画像を検出する際に必要な演算処理および構成を簡易
とすることが可能となる。

【図面の簡単な説明】

【図１】 本発明の一実施形態に係るスローモーション
画面検出装置の構成を示す図である。

【図２】 前記スローモーション画面検出装置に入力さ
れる符号化データの階層構造を説明するための図であ
る。

【図３】 前記スローモーション画面検出装置によるス
ローモーション画面の検出原理を説明するための図であ
る。

【図４】 前記スローモーション画面検出装置によるス
ローモーション画面の検出原理を説明するための図であ
る。

【図５】 前記スローモーション画面検出装置によるス
ローモーション画面検出処理の手順を示すフローチャー
トである。

【図６】 前記スローモーション画面検出処理における
マクロブロック層のデータに対する処理の手順を示すフ
ローチャートである。

【図７】 前記スローモーション画面検出処理における
スキップトマクロブロックの数を用いた判定処理の手順
を示すフローチャートである。

【図８】 前記スキップトマクロブロックの数を用いた
判定処理の内容を説明するための図である。

【図９】 前記スローモーション画面検出処理における
動きベクトルの絶対値の合計値を用いた判定処理の手順
を示すフローチャートである。

【図１０】 前記スローモーション画面検出処理におけ
る動きベクトルの絶対値の合計値を用いた判定処理の内
容を説明するための図である。

【図１１】 従来のスローモーション画面検出装置の構
成を示す図である。

【符号の説明】

１００……スローモーション画面検出装置 １１０……可変長復号器 １１１……判定処理部

フロントページの続き Ｆターム(参考） 5C053 FA23 FA24 GB19 GB26 GB30 GB37 GB40 KA03 5C059 MA00 MA05 MA23 MC11 ME01 NN01 PP05 PP06 PP07 SS11 TA66 TB07 TC12 TC27 TD12 5J064 AA02 BA09 BB05 BC01 BC14 BC16 BC29 BD02 BD03

Claims (3)

【特許請求の範囲】
1. 【請求項１】 フレーム内符号化アルゴリズムと動き補
   償を伴ったフレーム間予測符号化アルゴリズムを含む符
   号化アルゴリズムにより符号化された動画像を構成する
   一連のピクチャの符号化データから、前記動画像におけ
   る周期的に静止しているスローモーション画像を検出す
   る方法であって、 前記符号化データから、前記ピクチャを構成する複数の
   マクロブロックの動きベクトル情報およびマクロブロッ
   クタイプ情報の少なくとも一方を抽出する抽出ステップ
   と、 前記符号化データから抽出された前記動きベクトル情報
   およびマクロブロックタイプ情報の少なくとも一方に基
   づいて各ピクチャの動きを判定し、一連のピクチャが周
   期的に静止していると判定した場合に当該各ピクチャが
   周期的に静止している部分をスローモーション画像とし
   て検出する検出ステップとを具備することを特徴とする
   スローモーション画像検出方法。
2. 【請求項２】 前記検出ステップでは、各ピクチャ毎に
   マクロブロックの動きベクトルの絶対値の合計値または
   スキップトマクロブロックの数を算出し、当該算出結果
   と予め設定されている設定値とを比較して各ピクチャが
   静止しているか否かを判定することを特徴とする請求項
   １に記載のスローモーション画像検出方法。
3. 【請求項３】 フレーム内符号化アルゴリズムと動き補
   償を伴ったフレーム間予測符号化アルゴリズムを含む符
   号化アルゴリズムにより符号化された動画像を構成する
   一連のピクチャの符号化データから、前記動画像におけ
   る周期的に静止しているスローモーション画像を検出す
   る装置であって、 前記符号化データから、前記ピクチャを構成する複数の
   マクロブロックの動きベクトル情報およびマクロブロッ
   クタイプ情報の少なくとも一方を抽出する抽出手段と、 前記符号化データから抽出された前記動きベクトル情報
   およびマクロブロックタイプ情報の少なくとも一方に基
   づいて各ピクチャの動きを判定し、一連のピクチャが周
   期的に静止していると判定した場合に当該各ピクチャが
   周期的に静止している部分をスローモーション画像とし
   て検出する検出手段とを具備することを特徴とするスロ
   ーモーション画像検出装置。