JP2002334337A - 動画像移動物体検出装置及び検出方法 - Google Patents

Abstract

(57)【要約】 【課題】 高速でかつ安定して精度よく移動物体を検出
することのできる動画像移動物体検出装置及び方法を提
供する。 【解決手段】 動画像を圧縮した符号化データを復号す
る動画像復号化手段１１０と移動物体検出手段１１５を
有し、前記移動物体検出手段１１５は、前記動画像復号
化手段１１０によって復号されたブロック毎を復号結果
からブロック内の画像が静止状態か動状態かを判定する
手段１１１と、ブロック毎の静動判定結果から移動物体
を判定する手段１１３と、判定した移動物体の領域を前
記動画像復号化手段によって作成された再生画像信号と
合成して表示する手段１１４とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、動画像移動物体
検出装置及び方法に関する。

【０００２】

【従来の技術】移動物体検出をするためには、一般に画
素毎の動きを調べること必要がある。しかし、画素毎に
動きを調べる処理は、実は、多くの計算量を必要とする
という問題がある。例えば、ITU-T H。２６１、H。２６
３、ISO/IEC MPEG-４等でよく用いられるCIFフォーマッ
トの場合、横３５２画素、縦２８８画素で合計１０１３
７６画素もの画素について、動きを検出することにな
る。このような計算量の多い処理に対しては、専用のハ
ードウェアを用意する必要があったりして、コスト面で
も大きな問題があった。

【０００３】そこで、特開平９-２５２４６７号公報
「移動物体検出装置」では、動画像符号化装置で作られ
た動きベクトルから、移動物体を検出する手法が考案さ
れている。この方法によれば、動画像符号化装置で作成
されるブロック毎の動きベクトルを用いるので、移動物
体検出のために特別に画素の動きを調べる必要がなく、
大幅に計算量を減らすことができる。

【０００４】しかし、従来の符号化データを用いた移動
物体検出技術の問題点としては、動きベクトルが大きい
ブロックや書き換わっているブロックが必ずしも移動物
体とは限らず、また、移動物体の内部のブロックでも、
書き換わっていないブロックが存在したりして、監視な
どに用いることを考えた場合、必ずしも必要な映像が得
ることができなかった。

【０００５】

【発明が解決しようとする課題】上述したように、従来
技術によると移動物体を検出するためには、多くの計算
量を必要とするという問題点があり、動画像符号化デー
タを用いた方法では精度に問題があった。

【０００６】本発明は、高速でかつ安定して精度よく移
動物体を検出することのできる動画像移動物体検出装置
を提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明の動画像移動物体
検出装置は、フレーム内符号化を行う第１のモード、フ
レーム間符号化する第２のモードおよび符号化を行わな
い第３のモードのいずれかのモードにより符号化された
動画像データをマクロブロック毎に復号する動画像復号
化手段と、移動物体検出手段と、移動物体領域を前記動
画像復号化手段により作成された再生画像信号と合成し
て表示する表示手段とを有する動画像移動物体検出装置
において、前記移動物体検出手段は、前記動画像復号化
手段によって復号されたマクロブロック毎のモード情報
と、現在の再生画像信号と１フレーム前の再生画像信号
との相関値からマクロブロック毎の状態を分類する手段
と、前記マクロブロック毎の状態を分類した手段によっ
て分類された結果から移動物体の領域を判定する手段と
を有することを特徴とするものである。

【０００８】また、本発明の動画像移動物体検出装置
は、フレーム内符号化を行う第１のモード、フレーム間
符号化する第２のモードおよび符号化を行わない第３の
モードのいずれかのモードにより 動画像符号化する手
段と、この手段により符号化された動画像データをマク
ロブロック毎に局部復号する動画像復号化手段と、移動
物体検出手段と、移動物体領域を前記動画像復号化手段
により作成された再生画像信号と合成して表示する表示
手段とを有する動画像移動物体検出装置において、前記
移動物体検出手段は、前記動画像符号化手段によって符
号化されたマクロブロック毎のモード情報と、現在の局
部再生画像信号と１フレーム前の局部再生画像信号との
相関値からマクロブロック毎の状態を分類する手段と、
前記マクロブロック毎の状態を分類した手段によって分
類された結果から移動物体の領域を判定する手段とを有
することを特徴とするものである。

【０００９】また、本発明の動画像移動物体検出方法
は、フレーム内符号化を行う第１のモード、フレーム間
符号化する第２のモードおよび符号化を行わない第３の
モードのいずれかのモードにより符号化された動画像デ
ータをマクロブロック毎に復号する動画像復号化手段
と、移動物体検出手段と、移動物体領域を前記動画像復
号化手段により作成された再生画像信号と合成して表示
する表示手段とを有する動画像移動物体検出方法におい
て、前記移動物体検出手段は、前記動画像復号化手段に
よって復号されたマクロブロック毎のモード情報と、現
在の再生画像信号と１フレーム前の再生画像信号との相
関値からマクロブロック毎の状態を分類する手段と、前
記マクロブロック毎の状態を分類した手段によって分類
された結果から移動物体の領域を判定する手段とを有す
ることを特徴とするものである。

【００１０】この動画像移動物体検出装置の復号された
ブロック毎を復号結果からブロック内の画像が静止状態
か動状態かを判定する手段は、動画像復号化手段によっ
て復号されたブロック毎のモード情報と、動きベクトル
情報と、変換係数情報と、現在の再生画像信号と１フレ
ーム前の再生画像との差分から、ブロックが静止状態
か、動状態かを判定する。

【００１１】このように、動画像復号化装置と移動物体
の検出を組み合わせることにより、復号化と同時に実行
できるともに、ブロック毎の静動判定結果から、移動物
体を検出する範囲を大幅に絞り込むことができるため、
高速に移動物体検出が可能となる。

【００１２】また、本発明に係る動画像移動物体検出装
置は、動画像を符号化する動画像符号化手段と、移動物
体検出手段と、動画像を圧縮した符号化データを復号す
る動画像復号化手段とを有し、前記移動物体検出手段
は、前記動画像符号化手段によって符号化されたブロッ
ク毎を符号化結果からブロック内の画像が静止状態か動
状態かを判定する手段と、ブロック毎の静動判定結果か
ら移動物体を判定する手段と、前記動画像符号化手段
は、移動物体の判定結果を符号化データと多重化して伝
送し、前記動画像復号化手段は、符号化データを復号
し、再生画像信号と、移動物体の判定結果を合成して表
示する手段とを有する。

【００１３】この動画像移動物体検出装置の符号化され
たブロック毎を符号化結果からブロック内の画像が静止
状態か動状態かを判定する手段は、動画像符号化手段に
よって復号されたブロック毎のモード情報と、動きベク
トル情報と、変換係数情報と、現在の再生画像信号と１
フレーム前の再生画像との差分から、ブロックが静止状
態か、動状態かを判定する。

【００１４】この動画像移動物体検出装置は、判定した
移動物体の領域を動画像符号手段と前記動画像符号化手
段によって作成された局部画像信号と合成して表示する
手段を有する。

【００１５】このように、動画像符号化装置と移動物体
の検出を組み合わせることにより、符号化と同時に実行
できるともに、ブロック毎の静動判定結果から、移動物
体を検出する範囲を大幅に絞り込むことができるため、
高速に移動物体検出が可能となる。

【００１６】また、これらの動画像移動物体検出装置の
ブロック毎の静動判定結果から移動物体を判定する手段
は、ブロック内の画像が動状態のブロックを包含する図
形で移動物体を判定する。

【００１７】このような処理により、検出誤差の影響を
抑えることができ、検出結果をより明確に表示すること
ができる。

【００１８】

【発明の実施の形態】（第１の実施の形態）以下、図面
を参照して本発明の第１の実施形態を説明する。図１
は、本発明の実施形態の動画像移動物体検出装置の構成
を示すブロック図である。

【００１９】図１は、本発明の実施形態の動画像移動物
体検出装置の構成を示すブロック図である。図１の動画
像移動物体検出装置は、動画像復号化部１１０と移動物
体検出部１１５の２つの部分から成り立っている。

【００２０】動画像復号化部１１０においては、まず、
伝送路または蓄積系から受信した符号化データは、入力
バッファ１０１に一度蓄えられ、多重化分離部１０２に
より１フレーム毎にシンタクスに基づいて分離し、可変
長復号化部１０３に出力する。可変長復号化部１０３で
は、各シンタクスの情報の可変長符号の復号をおこな
う。

【００２１】可変長復号化部１０３において、マクロブ
ロックのモードがINTRAならば、モード切替スイッチ１
０９をオフに選択して、可変長復号化部１０３で復号化
された量子化DCT係数情報は、逆量子化部１０４で逆量
子化され、IDCT部１０５で逆離散コサイン変換処理をお
こなうことにより、再生画像信号を生成させる。この再
生画像信号は、フレームメモリ１０７に参照画像として
蓄積される一方、移動物体検出部１１５内の移動物体合
成表示部１１４に入力される。

【００２２】可変長復号化部１０３において、マクロブ
ロックのモードがINTER及びNOT_CODEDならば、モード切
替スイッチ１０９をオフに選択して、可変長復号化部１
０３で復号化された量子化DCT係数情報は、逆量子化部
１０４で逆量子化され、IDCT部１０５で逆離散コサイン
変換処理をおこない、可変長復号化部１０３で復号化さ
れた動きベクトル情報に基づいて、動き補償部１０８に
おいて参照画像を動き補償し、加算器１０６で足しあわ
せて、再生画像信号を生成させる。この再生画像信号
は、フレームメモリ１０７に参照画像として蓄積される
一方、移動物体検出部１１５内の移動物体合成表示部１
１４に入力される。

【００２３】一方、移動物体検出部１１５においては、
図２の流れ図のように、１フレーム毎にマクロブロック
静動判定（S１０１）、移動物体判定（S１０２）、移動
物体合成表示（S１０３）の３つの処理をそれぞれ、マ
クロブロック静動判定部１１１、移動物体判定部１１
２、移動物体合成表示部１１４で行う。

【００２４】マクロブロック静動判定部１１１では、可
変長復号部１０３において復号されたモード情報、動き
ベクトル情報、DCT係数情報と、減算器１１２で求めたI
NTRAマクロブロックの時の再生画像信号と１フレーム前
のフレームメモリとの差分絶対値和（SAD）から、フレ
ーム内のマクロブロック毎の静動判定を行う。

【００２５】図３は、マクロブロック静動判定（S１０
１）の具体的な流れ図である。ここで、ｉとｊは、フレ
ーム内の垂直方向と水平方向のマクロブロックのアドレ
スをそれぞれ表し、V_NMBとH_NMBはフレーム内の垂直方
向と水平方向のマクロブロック数を表している。２次元
配列M[ｉ][ｊ]は、各マクロブロックが動マクロブロッ
クか否かの情報を蓄える配列で、TRUEならば動マクロブ
ロック、FALSEならば静止マクロブロックを表す。

【００２６】まず、マクロブロック毎に可変長復号化部
１０３からのモード情報MODEの判定を行う。（S２０
３） もし、MODEがINTRAならば、そのマクロブロックの再生
画像信号と１フレーム前のフレームメモリとの差分絶対
値和（SAD）を計算し、閾値T０と比較を行う。（S２０
４）もし、閾値T０よりも大きい場合、そのマクロブロ
ックは動マクロブロックと判定し、 M[ｉ][ｊ]にTRUEが
代入される。（S２０６）閾値T０以下の場合、そのマク
ロブロックは静止マクロブロックと判定し、 M[ｉ][ｊ]
にFALSEが代入される。（S２０７） もし、MODEがINTERならば、可変長復号化部１０３から
の動きベクトル情報及びDCT係数情報から、そのマクロ
ブロックの動きベクトルの絶対値和Σ｜MV|及び、DCT係
数の絶対値和Σ|COF|を計算し、それぞれの閾値T１、T
２と比較を行う。（S２０５）もし、動きベクトルの絶
対値和と、DCT係数の絶対値和が閾値よりも小さけれ
ば、そのマクロブロックは静止マクロブロックと判定
し、 M[ｉ][ｊ]にFALSEが代入される。（S２０７）そう
でない場合には、そのマクロブロックは動マクロブロッ
クと判定し、 M[ｉ][ｊ]にTRUEが代入される。（S２０
６） もし、NOT_CODEDならは、そのマクロブロックは静止マ
クロブロックと判定し、 M[ｉ][ｊ]にFALSEが代入され
る。（S２０７） 移動物体判定部１１３では、マクロブロック静動判定部
１１２のマクロブロック毎の静動判定情報から、移動物
体の判定を行う。図４は、その具体的な流れ図である。
図４で示すように処理内容は、雑音除去処理（S３０
１）と移動物体包含処理（S３０２）の２つから成り立
っている。雑音除去処理（S３０１）では、背景画像の
小物体の揺らぎや画像取り込み時の雑音によって動マク
ロブロックと誤検出されてしまう防止するために、周囲
８マクロブロックが全て静止している動マクロブロック
を取り除いている。移動物体包含処理（S３０２）は、
雑音を取り除いた後の静動判定結果から、隣接して動マ
クロブロックが存在する領域を包含する最小の長方形の
検出する処理を行う。この処理で、移動物体を包含する
長方形を見つけることができる。

【００２７】図５は、雑音除去処理の具体的な処理内容
である。図３と同様に、ｉとｊは、フレーム内の垂直方
向と水平方向のマクロブロックのアドレスをそれぞれ表
し、V_NMBとH_NMBはフレーム内の垂直方向と水平方向の
マクロブロック数を表している。２次元配列M[ｉ][ｊ]
は、各マクロブロックが動マクロブロックか否かの情報
を蓄える配列で、TRUEならば動マクロブロック、FALSE
ならば静止マクロブロックを表す。

【００２８】まず、マクロブロック毎の静動判定結果を
みる。（S４０３）もし、２次元配列M[ｉ][ｊ]の値がFA
LSE、つまり、静止マクロブロックならば、そのマクロ
ブロックでは何も行わず、次のマクロブロックにいく。
もし、２次元配列M[ｉ][ｊ]の値がTURE、つまり、動マ
クロブロックならば、そのマクロブロックの周囲８マク
ロブロックの静動判定結果をチェックし（S４０５）、
全て、FALSEつまり静止マクロブロックならば、そのマ
クロブロックは、雑音であると判定し、静止マクロブロ
ックに書き換える。（S４０６）もし、周囲８マクロブ
ロックのうち一つでもTUREがあれば、雑音とは判定せ
ず、次のマクロブロックに移る。なお、画面の外側につ
いては、静止マクロブロックとして仮定している。

【００２９】図６から図８は、移動物体包含処理の具体
的な処理内容である。ここで、ｎは、移動物体の数を示
すカウンタであり、S１~S４は、移動物体を包含する長
方形を探索する範囲を示すパラメータで、S１、S２は、
垂直方向のアドレスの始点と終点であり、S３、S４は、
水平方向のアドレスの始点と終点である。

【００３０】図６の流れ図は、探索範囲としてフレーム
全体を指定するように、初期化を行う。（S５０１）次
に指定された探索範囲で移動物体を包含する最小の長方
形を探索する関数Rectangularを呼び出す。（S５０２） 図７、図８の流れ図は、関数Rectangularの処理の内容
を示している。関数Rectangularは、探索範囲であるS１
〜S４と移動物体の数を示すｎと各マクロブロックの静
動判定結果の格納された２次元配列Mを入力とし、探索
結果の長方形のアドレスを格納した１次元配列B１〜B４
と移動物体の数を示すｎとを出力とする。

【００３１】ここで、１次元配列HVは、垂直方向の動マ
クロブロックの数のヒストグラムを作成するための作業
配列であり、１次元配列HHは、水平方向の動マクロブロ
ックの数のヒストグラムを作成するための作業配列であ
る。また、変数VFLAGは、水平方向のヒストグラムの値
が０でない状態の時にTRUEとなり、値が０の時にFALSE
となるように変更されるフラグであり、変数HFLAGは、
垂直方向のヒストグラムの値が０でない状態の時にTRUE
となり、値が０の時にFALSEとなるように変更されるフ
ラグである。

【００３２】まず、垂直方向の動マクロブロックの数の
ヒストグラムを作成するための作業配列HVの探索範囲で
あるS１〜S２の範囲を値０で初期化する。（S６０１）
次のLOOP１とLOOP２の２重ループでは、探索範囲での垂
直方向の動マクロブロックの数のヒストグラムを作成し
ている。つまり、マクロブロック毎の静動判定結果M
[ｉ][ｊ]の値を比較し（S６０４）、値がTURE、つま
り、動マクロブロックならば、HV[ｉ]をプラス１し（S
６０５）、FALSEの場合は、何もしないという動作をと
っている。

【００３３】次に、その垂直方向のヒストグラムの中か
ら、０でない連続した部分を探索する。まず、フラグVF
LAGをFALSEにセットする。（S６０８）次に、探索範囲S
１からS２の順序で、ヒストグラムHVが０でなく、VFLAG
がFALSEであるかをチェックする。（S６１０）この条件
に当てはまるのは、ヒストグラムが０でない連続した部
分の始点の部分である。従って、探索している長方形の
垂直方向の始点の候補となるので、１次元配列B１[n]に
アドレスｉを格納し、VFLAGをTUREにセットする。（S６
１１） 次に、ヒストグラムHVが０あるいは、探索範囲の終点
で、VFLAGがTUREであるかをチェックする。（S６１２）
この条件に当てはまるのは、ヒストグラムが０でない連
続した部分の終点の部分である。従って、探索している
長方形の垂直方向の終点の候補となるので、もし、ヒス
トグラムHVが０の場合は、１次元配列B２[n]にアドレス
ｉ-１を格納し（S６１４）、そうでない場合は、１次元
配列B２[n]にアドレスｉを格納する。（S６１５）そし
て、VFLAGを再びFALSEにセットする。（S６１１） 図８は、図７の流れ図の続きである。今度は、水平方向
の動マクロブロックの数のヒストグラムを作成するため
の作業配列HVの探索範囲であるS３〜S４の範囲を値０で
初期化する。（S６１７）次のLOOP４とLOOP５の２重ル
ープでは、探索範囲での水平方向の動マクロブロックの
数のヒストグラムを作成している。つまり、マクロブロ
ック毎の静動判定結果M[ｉ][ｊ]の値を比較し（S６０
４）、値がTURE、つまり、動マクロブロックならば、HH
[ｉ]をプラス１し（S６０５）、FALSEの場合は、何もし
ないという動作をとっている。

【００３４】次に、その水平方向のヒストグラムの中か
ら、０でない連続した部分を探索する。まず、フラグHF
LAGをFALSEにセットする。（S６２４）次に、探索範囲S
３からS４の順序で、ヒストグラムHHが０でなく、HFLAG
がFALSEであるかをチェックする。（S６２６）この条件
に当てはまるのは、ヒストグラムが０でない連続した部
分の始点の部分である。従って、探索している長方形の
水平方向の始点の候補となるので、１次元配列B３[n]に
アドレスｊを格納し、HFLAGをTUREにセットする。（S６
２７） 次に、ヒストグラムHHが０あるいは、探索範囲の終点
で、HFLAGがTUREであるかをチェックする。（S６２８）
この条件に当てはまるのは、ヒストグラムが０でない連
続した部分の終点の部分である。従って、探索している
長方形の水平方向の終点の候補となるので、もし、ヒス
トグラムHHが０の場合は、１次元配列B４[n]にアドレス
ｊ-１を格納し（S６３０）、そうでない場合は、１次元
配列B４[n]にアドレスｊを格納する。（S６３１）そし
て、HFLAGを再びFALSEにセットする。（S６３２） ここで、１通りの垂直方向と水平方向のヒストグラムに
よる探索が終了したが、探索した結果B１[ｎ]〜B４[ｎ]
が探索範囲S１〜S４と一致するかをチェックして（S６
３３）、一致する場合は、もうこれ以上探索する範囲が
ないので、最小の長方形が求まっていると判定できる。
（S６３４）そして、移動物体の数を表すｎをプラス１
して（S６３５）、次の移動物体の探索に移る。探索し
た結果B１[ｎ]〜B４[ｎ]が探索範囲S１〜S４と一致しな
い場合、探索した結果の範囲にまだ複数の移動物体が存
在するので、探索した結果B１[ｎ]〜B４[ｎ]をS１〜S４
に移し替えて（S６３７）、再び、関数Rectangularを呼
び出す。（S６３７） 図９は、移動物体判定部１１３の判定結果の例である。
ここでは、２つの移動物体を判定した。それぞれの判定
結果は、図に示すようにこの例では、マクロブックのア
ドレスの原点は、フレームの左上であり、B１[０]〜B４
[０]とB１[１]〜B４[１]のような配置で移動物体を判定
している。

【００３５】移動物体合成表示部１１４では、移動物体
判定部１１３で判定した移動物体の領域と再生動画像信
号を合成した画像を作成する。図１０は、その具体的な
流れ図である。ここで、ｎは、移動物体判定部１１３で
求めたフレーム内の移動物体数を示している。処理の流
れとしては、移動物体毎に、B１[i]〜 B４[i]が移動物
体の４角のマクロブロックを表しているので、それを囲
むような長方形の白い線を描き、再生画像と合成する。
（S６０２） 図１１は、移動物体合成表示部によって作成された画像
の例である。 （第２の実施の形態）図１２と図１３は、本発明の第２
の実施形態の動画像移動物体検出装置の構成を示すブロ
ック図である。この実施の形態において、移動物体検出
部は、動画像符号化部と組み合わされている。

【００３６】図１２において、入力動画像信号は、ブロ
ック化回路２０１でマクロブロックに分割される。マク
ロブロックに分割された入力動画像信号は、減算器２０
２に入力され、予測画像信号との差分がとられて、予測
残差信号が生成される。この予測残差信号と、ブロック
化回路２０１からの入力動画像信号のいずれか一方を、
モード選択スイッチ２０３によって選択し、DCT（離散
コサイン変換）回路２０４により離散コサイン変換され
る。DCT回路２０４で得られDCT係数データは、量子化回
路２０５で量子化される。量子化器２０５で量子化され
た信号は２分岐され、一方は可変長符号化回路２１５で
可変長符号化される。

【００３７】一方、量子化回路２０５で量子化され２分
岐された信号の他方は、逆量子化回路２０６及びIDCT
（逆離散コサイン変換）回路２０７により量子化回路２
０５およびDCT回路２０４の処理と逆の処理を順次受け
た後、加算器２０８でスイッチ２１１を介して入力され
る予測画像信号と加算されることにより、局部復号信号
が生成される。この局部復号信号は、フレームメモリ２
０９に蓄えられ、動き補償回路２１０に入力される。動
き補償回路２１０では、予測画像信号が生成されるとと
もに、モード選択回路２０３に必要な情報を送る。

【００３８】モード選択回路２１２では、マクロブロッ
ク単位に動き補償回路２１０からの予測情報Pに基づい
て、フレーム間符号化をおこなうマクロブロックとフレ
ーム内符号化をおこなうマクロブロックを選択する。フ
レーム内符号化（イントラ符号化）をおこなう場合は、
モード選択スイッチ情報MをAとし、スイッチ情報SをAと
する。フレーム間符号化（インター符号化）をおこなう
場合は、モード選択スイッチ情報MをBとし、スイッチ情
報SをBとする。モード選択スイッチ２０３ではモード選
択スイッチ情報Pに基づき、スイッチを変更し、また、
スイッチ２１６ではスイッチ情報Sに基づき、スイッチ
を変更する。

【００３９】ここで、モードとして、イントラモード
（INTRA）、インターモード（INTER）、非符号化モード
（NOT_CODED）があり、各マクロブロック毎に対応づけ
られ、INTRAのマクロブロックはフレーム内符号化され
る画像領域、INTERのマクロブロックはフレーム間符号
化される画像領域、NOT_CODEDのマクロブロックは、符
号化不要の画像領域である。

【００４０】一方、移動物体検出部２２２においては、
まず、可変長符号化部２１４に入力されたモード情報、
動きベクトル情報、DCT係数情報をマクロブロック静動
判定部に入力し、その判定結果を移動物体判定部２２０
に入力する。移動物体判定部２２０で、判定された結果
は、移動物体合成表示部に入力されるとともに、動画像
符号化部２１８の多重化部２１５に入力される。移動物
体合成部２２１では、動画像符号化部によって作成され
た局部復号信号と移動物体を合成した画像を作成し、局
部再生信号として出力する。なお、マクロブロック静動
判定部２１９、移動物体判定部２２０、移動物体合成表
示部２２１の具体的な処理内容は、第１の実施の形態の
での図２〜図１１の処理と同一である。

【００４１】符号化制御回路２１４では、符号化部２１
８の符号化情報と出力バッファ２１６のバッファ量をも
とに符号化部２１７を制御する。可変長符号化回路２１
４で符号化された符号化データは、移動物体判定部２２
０からの移動物体判定結果とともに、多重化回路２１６
で多重化され、出力バッファ２１７で送信レートを平滑
化され、符号化データとして伝送系または蓄積系に送ら
れる。

【００４２】図１３は、図１２の符号化側に対する復号
化側のブロック図である。

【００４３】まず、動画像復号化部３１０においては、
まず、伝送路または蓄積系から受信した符号化データ
は、入力バッファ３０１に一度蓄えられ、多重化分離部
３０２により１フレーム毎にシンタクスに基づいて分離
し、可変長復号化部３０３に出力する。可変長復号化部
３０３では、各シンタクスの情報の可変長符号の復号を
おこなう。

【００４４】可変長復号化部３０３において、マクロブ
ロックのモードがINTRAならば、モード切替スイッチ３
０９をオフに選択して、可変長復号化部３０３で復号化
された量子化DCT係数情報は、逆量子化部３０４で逆量
子化され、IDCT部３０５で逆離散コサイン変換処理をお
こなうことにより、再生画像信号を生成させる。この再
生画像信号は、フレームメモリ３０７に参照画像として
蓄積される一方、移動物体検出部１１５内の移動物体合
成表示部３１１に入力される。

【００４５】可変長復号化部３０３において、マクロブ
ロックのモードがINTER及びNOT_CODEDならば、モード切
替スイッチ３０９をオフに選択して、可変長復号化部３
０３で復号化された量子化DCT係数情報は、逆量子化部
３０４で逆量子化され、IDCT部３０５で逆離散コサイン
変換処理をおこない、可変長復号化部３０３で復号化さ
れた動きベクトル情報に基づいて、動き補償部３０８に
おいて参照画像を動き補償し、加算器３０６で足しあわ
せて、再生画像信号を生成させる。この再生画像信号
は、フレームメモリ３０７に参照画像として蓄積される
一方、移動物体合成表示部３１１に入力される。

【００４６】一方、多重化分離部で、分離された移動物
体判定結果は、移動物体合成表示部３１１に入力され、
図１０の流れ図に従って動作する。

【００４７】

【発明の効果】以上、説明したように本発明のよれば、
高速でかつ安定して精度よく移動物体を検出することの
できる動画像移動物体検出装置及び方法を提供すること
ができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の動画像移動物体検出
装置の構成を示すブロック図である。

【図２】本発明の移動物体検出部の動作を示す流れ図で
ある。

【図３】本発明のマクロブロック静動判定部の動作を示
す流れ図である。

【図４】本発明の移動物体判定部の動作を示す流れ図で
ある。

【図５】本発明の移動物体判定部の雑音処理の動作を示
す流れ図である。

【図６】本発明の移動物体判定部の移動物体包含処理の
動作を示す流れ図（その１）である。

【図７】本発明の移動物体判定部の移動物体包含処理の
動作を示す流れ図（その２）である。

【図８】本発明の移動物体判定部の移動物体包含処理の
動作を示す流れ図（その３）である。

【図９】本発明の移動物体判定部の判定結果の例を示す
図である。

【図１０】本発明の移動物体合成表示部の動作を示す流
れ図である。

【図１１】本発明の移動物体判定部の表示結果の例を示
す図である。

【図１２】本発明の第２の実施形態の動画像移動物体検
出装置の符号化側の構成を示すブロック図である。

【図１３】本発明の第２の実施形態の動画像移動物体検
出装置の復号化側の構成を示すブロック図である。

【符号の説明】

１０１…入力バッファ １０２…多重化分離部 １０３…可変長復号化部 １０４…逆量子化部 １０５…IDCT部 １０６…加算器 １０７…フレームメモリ １０８…動き補償部 １０９…モード切替スイッチ １１０…動画像復号化部 １１１…マクロブロック静動判定部 １１２…減算器 １１３…移動物体判定部 １１４…移動物体合成表示部 １１５…移動物体検出部 ２０１…ブロック化回路 ２０２…減算器 ２０３…モード選択スイッチ ２０４…DCT回路 ２０５…量子化回路 ２０６…逆量子化回路 ２０７…IDCT回路 ２０８…加算器 ２０９…フレームメモリ ２１０…動き補償回路 ２１１…スイッチ ２１２…モード選択回路 ２１３…符号化制御回路 ２１４…可変長符号化回路 ２１５…多重化回路 ２１６…出力バッファ ２１７…符号化部 ２１８…動画像符号化部 ２１９…マクロブロック静動判定部 ２２０…移動物体判定部 ２２１…移動物体合成表示部 ２２２…移動物体検出部 ３０１…入力バッファ ３０２…多重化分離部 ３０３…可変長復号化部 ３０４…逆量子化部 ３０５…IDCT部 ３０６…加算器 ３０７…フレームメモリ ３０８…動き補償部 ３０９…モード切替スイッチ ３１０…動画像復号化部 ３１１…移動物体合成表示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小林 広幸 東京都府中市東芝町１番地 株式会社東芝 府中事業所内 (72)発明者 川村 敏和 東京都府中市東芝町１番地 株式会社東芝 府中事業所内 Ｆターム(参考） 5L096 FA35 GA19 HA04

Claims (3)

【特許請求の範囲】
1. 【請求項１】 フレーム内符号化を行う第１のモード、
   フレーム間符号化する第２のモードおよび符号化を行わ
   ない第３のモードのいずれかのモードにより符号化され
   た動画像データをマクロブロック毎に復号する動画像復
   号化手段と、移動物体検出手段と、移動物体領域を前記
   動画像復号化手段により作成された再生画像信号と合成
   して表示する表示手段とを有する動画像移動物体検出装
   置において、 前記移動物体検出手段は、前記動画像復号化手段によっ
   て復号されたマクロブロック毎のモード情報と、現在の
   再生画像信号と１フレーム前の再生画像信号との相関値
   からマクロブロック毎の状態を分類する手段と、前記マ
   クロブロック毎の状態を分類した手段によって分類され
   た結果から移動物体の領域を判定する手段とを有するこ
   とを特徴とする動画像移動物体検出装置。
2. 【請求項２】 フレーム内符号化を行う第１のモード、
   フレーム間符号化する第２のモードおよび符号化を行わ
   ない第３のモードのいずれかのモードにより動画像符号
   化する手段と、この手段により符号化された動画像デー
   タをマクロブロック毎に局部復号する動画像復号化手段
   と、移動物体検出手段と、移動物体領域を前記動画像復
   号化手段により作成された再生画像信号と合成して表示
   する表示手段とを有する動画像移動物体検出装置におい
   て、 前記移動物体検出手段は、前記動画像符号化手段によっ
   て符号化されたマクロブロック毎のモード情報と、現在
   の局部再生画像信号と１フレーム前の局部再生画像信号
   との相関値からマクロブロック毎の状態を分類する手段
   と、前記マクロブロック毎の状態を分類した手段によっ
   て分類された結果から移動物体の領域を判定する手段と
   を有することを特徴とする動画像移動物体検出装置。
3. 【請求項３】 フレーム内符号化を行う第１のモード、
   フレーム間符号化する第２のモードおよび符号化を行わ
   ない第３のモードのいずれかのモードにより符号化され
   た動画像データをマクロブロック毎に復号する動画像復
   号化手段と、移動物体検出手段と、移動物体領域を前記
   動画像復号化手段により作成された再生画像信号と合成
   して表示する表示手段とを有する動画像移動物体検出方
   法において、 前記移動物体検出手段は、前記動画像復号化手段によっ
   て復号されたマクロブロック毎のモード情報と、現在の
   再生画像信号と１フレーム前の再生画像信号との相関値
   からマクロブロック毎の状態を分類する手段と、前記マ
   クロブロック毎の状態を分類した手段によって分類され
   た結果から移動物体の領域を判定する手段とを有するこ
   とを特徴とする動画像移動物体検出方法。