JP2001346224A - 動画像内の特定物体検出方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】高速かつ安定して精度よく特定の物体を検出す
る特定物体検出装置を提供する。 【解決手段】動画像を圧縮符号化した符号化データを復
号して少なくとも再生画像信号及び単位領域毎の符号化
モード情報と１フレーム前の再生画像信号である参照画
像信号を生成する動画像復号化部１００と、再生画像信
号、符号化モード情報及び参照画像信号を参照して動画
像内の移動物体を判定するマクロブロック移動物体判定
部１１１と、再生画像信号及び符号化モード情報を参照
して再生画像信号における所定の符号化モードの単位領
域における予め指定された少なくとも一つの特定色の有
無を判定するマクロブロック特定色判定部１１２と、移
動物体判定部１１１及び特定色判定部１１２の判定結果
から動画像内の特定物体を判定する特定物体判定部１１
３を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、動画像内の特定
物体検出方法及び装置に係り、特に動画像符号化装置ま
たは動画像復号化装置の出力から特定物体を検出する方
法及び装置に関する。

【０００２】

【従来の技術】動画像内に存在する特定の物体を検出す
るためには、一般に画素値を調べる必要がある。しか
し、画素値に関わる処理は実際には非常に多くの計算量
を必要とする。例えば、動画像圧縮の国際標準であるＩ
ＴＵ−Ｔ Ｈ．２６１，Ｈ．２６３，ＩＳＯ／ＩＥＣ Ｍ
ＰＥＧ−４等でよく用いられるＣＩＦフォーマットの場
合、横３５２画素×縦２８８画素の１０１，３７６画素
という非常に多くの画素について処理を行う必要があ
る。このような計算量の多い処理に対しては、専用のハ
ードウェアを用意する必要があり、コスト面でも大きな
問題があった。

【０００３】検出しようとする物体が移動物体の場合に
ついては、特開平９−２５２４６７号公報「移動物体検
出装置」に示されるように動画像符号化装置で作られた
動きベクトルを利用して動画像中の移動物体を検出する
手法が提案されている。この方法によれば、動画像符号
化装置で作成されるブロック毎の動きベクトルを移動物
体の検出に流用できるので、移動物体検出のために特別
に画素の動きを調べる必要がなく、必要な計算量を大幅
に減らすことができる。

【０００４】しかし、このような動きベクトルを利用し
た移動物体検出方法では、動きベクトルが大きいブロッ
クや書き換わっているブロックが必ずしも移動物体とは
限らず、また移動物体の内部のブロックでも、書き換わ
っていないブロックが存在することがあるため、移動物
体の監視などに適用することを考えた場合、必ずしも必
要な映像を得ることができない。

【０００５】一方、動画像中の特定色の物体を検出する
手法としては、例えば特願平１０−０３７２３８６号に
記載されているように動画像符号化装置あるいは動画像
復号化装置と組み合わせて特定色の判定を行うことによ
り探索範囲を限定し、計算量を大幅に削減する提案がな
されている。

【０００６】このように色を検出する場合には、照明条
件や撮影するカメラによっても微妙に違いがあり、正確
に検出を行うためには適切な検出範囲の色空間を設定し
てやる必要がある。しかし、これまでのＹＣｂＣｒ空間
やＲＧＢ空間での色空間の設定では、少ないパラメータ
で適切な検出範囲の色空間を指定することが難しく、類
似した複数の色を区別して検出することは難しい面があ
った。さらに、この従来技術では移動物体と色物体を別
々に検出しており、これらを同時に検出したり、色と動
きを統一的に使った特定の物体の検出を行うことはでき
なかった。

【０００７】

【発明が解決しようとする課題】上述したように、個々
の画素値を調べて特定の物体を検出する方法では膨大な
計算量を必要とし、また計算量を減らすために動画像符
号化装置で求められた動きベクトルを用いて移動物体を
検出する方法では検出精度に問題があり、さらに動画像
符号化装置や動画像復号化装置と組み合わせて特定色を
判定を行う方法では少ないパラメータで適切な検出範囲
の色空間を設定することが難しく、しかも移動物体と色
物体を同時に検出したり、色と動きを統一的に使った特
定の物体の検出を行うことができないという問題点があ
った。

【０００８】そこで、本発明は高速かつ安定して精度よ
く特定の物体を検出するために、色と動きを同時に検出
したり、色と動きを統一的に使った特定の物体の検出を
行うことを可能とした動画像内の特定物体検出方法及び
装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記の課題を解決するた
め、本発明の一つの態様では、動画像を圧縮符号化した
符号化データを復号して得られた再生画像信号及び単位
領域（例えば、マクロブロック）毎の符号化モード情報
（例えば、ＣＯＤＥＤ／ＮＯＴ＿ＣＯＤＥＤ）と１フレ
ーム前の再生画像信号である参照画像信号を参照して動
画像内の移動物体を判定する。一方、再生画像信号及び
符号化モード情報を参照して再生画像信号における所定
の符号化モードの単位領域における予め指定された少な
くとも一つの特定色の有無を判定する。そして、これら
移動物体及び特定色についての二つの判定結果から動画
像内の特定物体を判定する。このようにして判定された
特定物体の画像は、再生画像信号による動画像に合成し
て表示される。

【００１０】本発明の他の態様によると、動画像を圧縮
符号化する過程で得られる局部復号画像信号及び単位領
域毎の符号化モード情報と１フレーム前の局部復号画像
信号である参照画像信号を参照して動画像内の移動物体
を判定する。また、局部復号画像及び符号化モード情報
を参照して局部復号画像信号における特定の符号化モー
ドの単位領域における予め指定された少なくとも一つの
特定色の有無を判定する。そして、これら移動物体及び
特定色についての二つの判定結果から動画像内の特定物
体を判定する。このようにして判定された特定物体の画
像は、局部復号画像信号による動画像に合成して表示さ
れる。

【００１１】このように本発明では、動画像符号化／復
号化技術を利用し、復号化や符号化において得られる画
像信号や符号化モード情報を用いて動画像中の移動物体
及び動画像中の指定された特定色を少ない計算量で確実
に判定でき、これら移動物体と特定色の両判定結果を用
いて特定物体の検出を少ない計算量で高速かつ安定して
精度よく行うことができる。

【００１２】特定物体の判定に際しては、特定物体の画
面上の大きさを指定することが好ましく、これによりカ
メラ全体の動きや微風などによる細かい物体の振動を排
除することができ、より細かい設定が可能となる。

【００１３】また、特定色の判定に際しては、色相、彩
度及び明度によって色を指定することが望ましく、この
ような指定によるとＹＣｂＣｒ空間や、ＲＧＢ空間での
指定と異なって、視覚的にパラメータ毎に選択しやすく
なり、複数色の指定も容易になる。

【００１４】さらに、特定物体の判定は、（ａ）移動物
体と判定され、かつ該移動物体のうち特定色と判定され
た部分を特定物体として判定する、（ｂ）移動物体と判
定された物体と、特定色と判定された物体を特定物体と
して判定する、及び（ｃ）移動物体と判定され、かつ特
定色と判定された部分を含む移動物体を特定物体として
判定する、のうちの少なくとも一つの判定を行うことが
望ましく、これにより目的に応じた特定物体の検出が可
能となる。

【００１５】また、本発明によるとコンピュータに動画
像内の特定物体を検出する処理を実行させるためのプロ
グラムであって、動画像を圧縮符号化した符号化データ
を復号して得られた再生画像信号及び単位領域毎の符号
化モード情報と１フレーム前の再生画像信号である参照
画像信号を参照して動画像内の移動物体を判定する移動
物体判定処理と、前記再生画像信号及び符号化モード情
報を参照して前記再生画像信号における所定の符号化モ
ードの単位領域における予め指定された少なくとも一つ
の特定色の有無を判定する特定色判定処理と、前記移動
物体判定処理及び特定色判定処理の判定結果から、動画
像内の特定物体を判定する特定物体判定処理とをコンピ
ュータに実行させるためのプログラム、あるいは該プロ
グラムを記録した記録媒体が提供される。

【００１６】さらに、本発明によるとコンピュータに動
画像内の特定物体を検出する処理を実行させるためのプ
ログラムであって、動画像を圧縮符号化する過程で得ら
れる局部復号画像信号及び単位領域毎の符号化モード情
報と１フレーム前の局部復号画像信号である参照画像信
号を参照して動画像内の移動物体を判定する移動物体判
定処理と、前記局部復号画像及び符号化モード情報を参
照して前記局部復号画像信号における特定の符号化モー
ドの単位領域における予め指定された少なくとも一つの
特定色の有無を判定する特定色判定処理と、前記移動物
体判定処理及び特定色判定処理の判定結果から、動画像
内の特定物体を判定する特定物体判定処理とをコンピュ
ータに実行させるためのプログラム、あるいは該プログ
ラムを記録した記録媒体が提供される。

【００１７】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。 ［第１の実施の形態］図１に、本発明の第１の実施形態
に係る動画像内特定物体検出装置の構成を示す。この動
画像内特定物体検出装置は、大きく動画像復号化部１０
０と特定物体検出部１１０の２つの部分からなってい
る。以下、動画像復号化部１００及び特定物体検出部１
１０について順次説明する。なお、以下の説明はＭＰＥ
Ｇ方式に基づく動画像復号化装置に本発明を適用した場
合であり、単位領域はＭＰＥＧ方式でいうマクロブロッ
クに相当する。

【００１８】（動画像復号化部１００について）動画像
復号化部１００は、例えばＭＰＥＧ方式に基づく動画像
復号化装置、いわゆるＭＰＥＧデコーダであり、この動
画像復号化部１００には図示しないＭＰＥＧエンコーダ
のような動画像符号化部により動画像信号を圧縮符号化
して得られた符号化データが伝送路または蓄積系を介し
て入力される。

【００１９】入力された符号化データは、入力バッファ
１０１に一度蓄えられる。入力バッファ１０１から読み
出された符号化データは、多重化分離部１０２により１
フレーム毎にシンタクスに基づいて分離された後、可変
長復号化部１０３に入力される。可変長復号化部１０３
では、可変長符号化されている量子化ＤＣＴ係数情報、
符号化モード情報及び動きベクトル情報などの各シンタ
クスの情報がマクロブロック毎に復号される。なお、以
降の説明で処理対象となっている単位領域であるマクロ
ブロックを注目マクロブロックという。

【００２０】可変長復号化部１０３において、注目マク
ロブロックの符号化モードがＩＮＴＲＡ（フレーム内符
号化）ならば、可変長復号化部１０３から出力される符
号化モード情報に従って、符号化モード切替スイッチ１
０９がオフ状態とされる。この場合、可変長符号化部１
０３で復号化された量子化ＤＣＴ係数情報が逆量子化部
１０４で逆量子化され、さらにＩＤＣＴ部１０５で逆離
散コサイン変換されることにより、再生画像信号が生成
される。この再生画像信号は、加算器１０６を経由して
フレームメモリ１０７に参照画像信号として蓄積される
と共に、特定物体検出部１１０内の移動物体合成表示部
１１５に入力される。

【００２１】一方、可変長復号化部１０３において、注
目マクロブロックの符号化モードがＩＮＴＥＲ（フレー
ム間符号化）及びＮＯＴ＿ＣＯＤＥＤ（非符号化）なら
ば、可変長復号化部１０３から出力される符号化モード
情報に従って、符号化モード切替スイッチ１０９がオン
状態とされる。この場合は、可変長復号化部１０３で復
号された予測誤差信号についての量子化ＤＣＴ係数情報
が逆量子化部１０４で逆量子化され、さらにＩＤＣＴ部
１０５で逆離散コサイン変換されることにより、予測誤
差信号が生成される。

【００２２】そして、可変長復号化部１０３で復号化さ
れた動きベクトル情報に基づいて、動き補償部１０８に
おいてフレームメモリ１０７からの参照画像信号につい
て動き補償がなされ、この動き補償後の参照画像信号と
ＩＤＣＴ部１０５からの予測誤差信号が加算器１０６で
加算されることにより、再生画像信号が生成される。こ
の再生画像信号は、フレームメモリ１０７に参照画像信
号として蓄積されると共に、特定物体検出部１１０内の
移動物体合成表示部１１５に入力される。

【００２３】（特定物体検出部１１０について）一方、
特定物体検出部１１０においては、動画像復号化部１０
０内の可変長符号化部１０３から出力される符号化モー
ド情報と、加算器１０６から出力される再生画像信号及
びフレームメモリ１０７から出力される参照画像信号を
入力し、マクロブロック移動物体判定部１１１で注目マ
クロブロックが移動物体かどうかの判定を行い、その判
定結果をマクロブロック特定色判定部１１２及び特定物
体判定部１１３に送る。

【００２４】マクロブロック特定色判定部１１２は、符
号化モード情報と再生画像信号からマクロブロック毎に
特定色の物体が含まれるかどうかの判定を行い、判定結
果を特定物体判定部１１３に送る。特定物体判定部１１
３は、マクロブロック移動物体判定部１１１及びマクロ
ブロック特定色判定部１１２の判定結果に基づき、動画
像内の特定物体を検出する。

【００２５】特定物体条件判定部１１４は、特定物体判
定部１１３によって判定する特定物体の条件、例えば物
体の大きさ及び特定色を指定する。具体的には、特定物
体の大きさとして例えば画面上の物体のマクロブロック
数の最大値Object Maxと最小値Object Minを指定する。
また、特定色としては次式に示すようにＨＳＶ（色相、
彩度、明度）色空間上で色の範囲を指定する。この特定
色指定信号は、マクロブロック特定色判定部１１２に入
力される。 Ｄ１［ｉ］＜Ｈ＜Ｄ２［ｉ］ Ｄ３［ｉ］＜Ｓ＜Ｄ４［ｉ］ Ｄ５［ｉ］＜Ｖ＜Ｄ６［ｉ］ ｉ＝１…Ｎ ここで、Ｄ１［ｉ］〜Ｄ６［ｉ］は閾値である。Ｄ１
［ｉ］〜Ｄ４［ｉ］は０から２５５までの整数値、Ｄ５
［ｉ］，Ｄ６［ｉ］は０から３５９までの整数値であ
り、Ｎは色数である。

【００２６】（マクロブロック移動物体判定部１１１の
構成）図２は、マクロブロック移動物体判定部１１１の
具体的な構成を示すブロック図である。このマクロブロ
ック移動物体判定部１１１では可変長符号化部１０３か
らの符号化モード情報と、加算器１０６から出力される
再生画像信号とフレームメモリ１０７から出力される参
照画像信号との相関を計算する第１の相関計算器２０２
の出力と、再生画像信号と背景メモリ２０４からの背景
画像信号との相関を計算する第２の相関計算器２０３の
出力から、マクロブロック毎の背景／非背景の判定を行
い、非背景マクロブロックを移動物体と判定して、その
判定結果を特定物体判定部１１３に送る。背景メモリ２
０４に保持されている背景画像信号は、マクロブロック
背景判定部２０１の判定結果に応じてオン・オフされる
背景メモリ更新スイッチ２０５を介して再生画像信号に
より更新される。

【００２７】図３は、本実施形態における１フレーム毎
の特定物体検出処理の流れを示している。ここで、ｉと
ｊはフレーム内の垂直方向と水平方向のマクロブロック
のアドレスをそれぞれ表し、Ｖ＿ＮＭＢとＨ＿ＮＢＭは
フレーム内の垂直方向と水平方向のマクロブロック数を
表している。２次元配列Ｍ［ｉ］［ｊ］は、各マクロブ
ロックが背景マクロブロックか否かの情報を蓄える配列
であり、ＴＲＵＥならば非背景物体マクロブロック、Ｆ
ＡＬＳＥならば背景マクロブロックを表す。なお、配列
Ｍの初期値はＦＡＬＳＥであり、ステップＳ１０１によ
り設定される。このようにして、ステップＳ１０２〜Ｓ
１０６のループで各マクロブロック毎にステップＳ１０
４のマクロブロック判定処理が実行される。具体的に
は、後に図７及び図８で説明する特定物体検出処理が行
われる。

【００２８】（マクロブロック移動物体判定部１１１の
処理）図４は、図２に構成を示したマクロブロック移動
物体判定部１１１の処理の流れを示している。図３と同
様に、ｉとｊはフレーム内の垂直方向と水平方向のマク
ロブロックのアドレスをそれぞれ表している。２次元配
列Ｍ［ｉ］［ｊ］は、各マクロブロックが背景マクロブ
ロックか否かの情報を蓄える配列であり、ＴＲＵＥなら
ば非背景物体マクロブロック、ＦＡＬＳＥならば背景マ
クロブロックを表す。なお、配列Ｍの初期値はＦＡＬＳ
Ｅである。この処理では、注目マクロブロックが背景マ
クロブロックか非背景マクロブロックかの判定を行い、
非背景マクロブロックを移動物体が存在するマクロブロ
ック（移動物体マクロブロック）と判定する。

【００２９】まず、マクロブロック背景判定部２０１に
おいてマクロブロック毎に可変長復号化部１０３からの
符号化モード情報ＭＯＤＥの判定を行う（ステップＳ２
０１）。この判定の結果、注目マクロブロックの符号化
モードがＣＯＤＥＤ（符号化＝ＤＣＴ係数有り）なら
ば、第１の相関計算器２０２により加算器１０６を介し
て得られるＣＯＤＥＤマクロブロックの再生画像信号と
フレームメモリ１０７に保持されている１フレーム前の
参照画像信号との相関値を計算し、この相関値と閾値Ｔ
Ｈ１との比較をマクロブロック背景判定部２０１で行う
（ステップＳ２０３）。

【００３０】この比較の結果、もし第１の相関計算器２
０２で計算された相関値が閾値ＴＨ１よりも大きい場
合、マクロブロック背景判定部２０１は注目マクロブロ
ックが非背景マクロブロック（移動体マクロブロック）
であると判定し、２次元配列Ｍ［ｉ］［ｊ］にＴＲＵＥ
を代入する（ステップＳ２０６）。第１の相関計算器２
０２で計算された相関値が閾値ＴＨ１以下の場合、さら
に注目マクロブロックが背景マクロブロックか非背景マ
クロブロックかを判定するためにステップＳ２０４へ移
行する。

【００３１】一方、ステップＳ２０１による判定の結
果、注目マクロブロックの符号化モードがＮＯＴ＿ＣＯ
ＤＥＤ（非符号化、ＤＣＴ係数無し）ならば、マクロブ
ロック背景判定部２０１は注目マクロブロックと同じ位
置の１フレーム前のマクロブロックの判定結果が背景マ
クロブロックであったかどうか、つまり２次元配列Ｍ
［ｉ］［ｊ］がＦＡＬＳＥかどうかを判定する（ステッ
プＳ２０３）。このステップＳ２０３による判定の結
果、注目マクロブロックと同じ位置の１フレーム前のマ
クロブロックが背景マクロブロックだったならば、注目
マクロブロックも背景マクロブロックであると判定し、
２次元配列Ｍ［ｉ］［ｊ］にＦＡＬＳＥを代入する（ス
テップＳ２０７）。

【００３２】ステップＳ２０３による判定の結果、もし
注目マクロブロックと同じ位置の１フレーム前のマクロ
ブロックが背景マクロブロックでない場合は、次に注目
マクロブロックの位置に対応する背景画像信号が背景メ
モリ２０４内に存在するかのチェックを行う（ステップ
Ｓ２０４）。

【００３３】ここで、注目マクロブロックの位置に対応
する背景画像信号が背景メモリ２０４に存在しない場
合、注目マクロブロックを新たな背景マクロブロックで
あると判定してステップＳ２０７へ移行する。また、注
目マクロブロックの位置に対応する背景画像信号が背景
メモリ２０４内に存在する場合は、第２の相関計算器２
０４により注目マクロブロックの画像信号と背景メモリ
２０４内の注目マクロブロックに対応する位置の背景画
像信号との相関値を計算し、その相関値と閾値ＴＨ２と
の比較をマクロブロック背景判定部２０１で行う（ステ
ップＳ２０５）。

【００３４】ステップＳ２０５での比較の結果、第２の
相関計算器２０４より計算された相関値が閾値ＴＨ２よ
りも大きい場合、注目マクロブロックは非背景マクロブ
ロック（移動体マクロブロック）であると判定して２次
元配列Ｍ［ｉ］［ｊ］にＴＲＵＥを代入し（ステップＳ
２０６）、相関値が閾値ＴＨ２以下の場合は、注目マク
ロブロックは背景マクロブロックであると判定してステ
ップＳ２０９へ移行する。背景マクロブロックと判定し
た注目マクロブロックについては、背景メモリ２０４内
の注目マクロブロックに対応する位置の背景画像信号の
更新を行う（ステップＳ２０８）。

【００３５】本実施形態では、第１、第２の相関計算器
２０２，２０４での相関値の計算として、正規化相関値
を用いる方法を例として示す。正規化相関値は、次式に
よって求められる。

【００３６】

【数１】

【００３７】ここで、Ｆc (i,j)は注目マクロブロック
の再生画像信号の各画素の輝度値、Ｆr (i,j)は相関演
算の対象となるフレームの同一位置のマクロブロックの
各画素の輝度値である。また、μc ，μr ，σc ，σr
はそれぞれのマクロブロック内の各画素の輝度の平均値
及び標準偏差である。

【００３８】なお、第１の相関計算器２０２での加算器
１０６より出力される再生画像信号とフレームメモリ１
０７に保持されている１フレーム前の参照画像信号との
相関値の計算に当たっては、再生画像信号と１フレーム
前の参照画像信号との相関値を直接計算してもよいが、
可変長復号化部１０３からの動きベクトル情報及びＤＣ
Ｔ係数情報から、注目マクロブロックの動きベクトルの
絶対値和Σ｜ＭＶ｜及びＤＣＴ係数の絶対値和Σ｜ＣＯ
Ｆ｜を計算し、それぞれの閾値と比較を行う方法であっ
てもよい。この場合、動きベクトルの絶対値和Σ｜ＭＶ
｜及びＤＣＴ係数の絶対値和Σ｜ＣＯＦ｜が閾値よりも
大きい場合、非背景マクロブロックと判定する。

【００３９】（背景メモリ２０４の更新処理）図５は、
図４中の背景メモリ更新ステップＳ２０８の処理手順を
示している。図５において、Ｆc (i,j)は加算器１０６
から出力される注目マクロブロックの再生画像信号の各
画素の輝度値、Ｂ(i,j)は背景メモリ２０４内の背景画
像信号の各画素の輝度値をそれぞれ表す。

【００４０】まず、既に背景メモリ２０４に注目マクロ
ブロックと同一位置のマクロブロックの背景画像信号が
書き込まれているか否かを判定し（ステップＳ３０
１）、書き込まれている場合にはステップＳ３０２〜Ｓ
３０６のループにより、注目マクロブロックの再生画像
信号の各画素の輝度値Ｆc (i,j)を重み係数ｗ（０以
上、１以下の実数）で重み付け平均して、背景メモリ２
０４内のＢ(i,j)に足し込む（ステップＳ３０４）。

【００４１】一方、背景メモリ２０４にまだ注目マクロ
ブロックと同一位置のマクロブロックの背景画像信号が
書き込まれていない場合には、ステップＳ３０７〜Ｓ３
１１のループにより、注目マクロブロックの再生画像信
号Ｆc (i,j)を背景メモリ２０４内のＢ(i,j)に書き込む
（ステップＳ３０９）。

【００４２】（マクロブロック特定色判定部１１２の処
理）図６は、図１中のマクロブロック特定色判定部１１
２の処理の流れを示している。図３及び図４と同様に、
ｉとｊはフレーム内の垂直方向と水平方向のマクロブロ
ックのアドレスをそれぞれ表している。まず、マクロブ
ロック毎の符号化モードを調べる（ステップＳ４０
１）。符号化モードがＮＯＴ＿ＣＯＤＥＤならば判定処
理を終了し、ＮＯＴ＿ＣＯＤＥＤでないならば注目マク
ロブロックの画素値をＹＣｂＣｒ空間からＨＳＶ空間に
変換し（ステップＳ４０２）、図１の特定物体条件指定
部１１４によって指定された色空間（ＨＳＶ空間）の範
囲に入っているかどうかチェックする（ステップＳ４０
３）。特定物体条件指定部１１４によって複数色が指定
されている場合は、全ての色のＨＳＶ空間内の指定範囲
についてチェックを行う。

【００４３】ここで、注目マクロブロックのＨＳＶ空間
に変換された画素値が特定物体条件指定部１１４による
指定範囲に入っていれば、特定色マクロブロックと判定
し、Ｍ［ｉ］［ｊ］をＴＲＵＥに書き換え（ステップＳ
４０４）、指定範囲に入っていなければ、特定色はなか
ったと判定し、Ｍ［ｉ］［ｊ］をＦＡＬＳＥに書き換え
る（ステップＳ４０５）。なお、ステップＳ４０２のＹ
ＣｂＣｒ→ＨＳＶ変換は次式に従って行えばよい。

【００４４】

【数２】

【００４５】ＹＣｂＣｒ→ＨＳＶ変換は、この式の例に
限られず、他の式のＨＳＶ変換のものでも問題ない。ま
た、ここではＨＳＶ空間の区間データで色指定を行う方
法を示したが、ＹｃｂＣｒ空間から一意に変換できる色
空間ならば、どのような色空間で指定しても実行でき
る。

【００４６】（特定物体判定部１１３について）次に、
図７〜図９を用いて特定物体判定部１１３においてマク
ロブロック移動物体判定部１１１の処理とマクロブロッ
ク特定色判定部１１２の処理の結果から特定物体を判定
する処理について説明する。

【００４７】図７は、特定物体判定部１１３で移動物体
でかつ特定色の物体を特定物体として判定する場合の処
理の流れを示している。まず、マクロブロック移動物体
判定処理を行い（ステップＳ５０１）、この処理により
移動物体と判定された部分についてのみ、マクロブロッ
ク特定色判定処理を行い（ステップＳ５０３）、その
後、特定物体包含処理を行う（ステップＳ５０４）。

【００４８】図８は、特定物体判定部１１３で移動物体
及び特定色部分を特定物体として判定する場合の処理の
流れを示している。まず、マクロブロック移動物体判定
処理を行い（ステップＳ６０１）、その結果、移動物体
と判定されなかった部分についてのみマクロブロック特
定色判定処理を行い（ステップＳ６０３）、その後、特
定物体包含処理を行う（ステップＳ６０４）。

【００４９】図９は、特定物体判定部１１３で特定色を
含む移動物体を特定物体として判定する場合の処理の流
れを示している。この場合は、マクロブロック移動物体
判定処理を行い（ステップＳ１００１）、さらにマクロ
ブロック特定色判定処理を行う（ステップＳ１００
２）。ただし、これらの検出結果は別々に保持しておく
ため、色物体の検出結果は配列Ｍ２に貯えられているも
のとする。その後、特定物体包含処理を行う（ステップ
Ｓ１００３）。

【００５０】図１０〜図１４は、図７のステップＳ５０
４または図８のステップＳ６０４における特定物体包含
処理の具体的な流れを示した図である。ここで、ｎは特
定物体の数を示すカウンタ、Ｓ１〜Ｓ４は特定物体を包
含する長方形を探索する範囲を示すパラメータであり、
Ｓ１，Ｓ２は垂直方向のアドレスの始点と終点、Ｓ３，
Ｓ４は水平方向のアドレスの始点と終点である。

【００５１】図１０に示すように、探索範囲としてフレ
ーム全体を指定するように初期化を行う（ステップＳ７
０１）。次に、指定された探索範囲で特定物体を包含す
る最小の長方形を探索する関数Rectangularを呼び出す
（ステップＳ７０２）。

【００５２】図１１〜図１４は、関数Rectangular（ス
テップＳ７０２）の処理内容を示している。関数Rectan
gularは、探索範囲Ｓ１〜Ｓ４、特定物体の数ｎ、各マ
クロブロックの静動判定結果の格納された２次元配列Ｍ
を入力とし、探索結果の長方形のアドレスを格納した１
次元配列Ｂ１〜Ｂ４と特定物体の数ｎを出力とする。

【００５３】ここで、１次元配列ＨＶは垂直方向の動マ
クロブロックの数のヒストグラムを作成するための作業
配列であり、１次元配列ＨＨは水平方向の動マクロブロ
ックの数のヒストグラムを作成するための作業配列であ
る。また、変数ＶＦＬＡＧは水平方向のヒストグラムの
値が０でない状態の時にＴＲＵＥとなり、値が０の時に
ＦＡＬＳＥとなるように変更されるフラグであり、変数
ＨＦＬＡＧは垂直方向のヒストグラムの値が０でない状
態の時にＴＲＵＥとなり、値が０の時にＦＡＬＳＥとな
るように変更されるフラグである。

【００５４】まず、垂直方向の動マクロブロックの数の
ヒストグラムを作成するための作業配列ＨＶの探索範囲
であるＳ１〜Ｓ２の範囲を値０で初期化する（ステップ
Ｓ８０１）。次のＬＯＯＰ１とＬＯＯＰ２の２重ループ
（Ｓ８０２〜Ｓ８０７）内では、探索範囲での垂直方向
の動マクロブロックの数のヒストグラムＨＶ［ｉ］を作
成している。すなわち、マクロブロック毎の静動判定結
果Ｍ［ｉ］［ｊ］の値を比較し（ステップＳ８０４）、
値がＴＵＲＥ、つまり動マクロブロックならばＨＶ
［ｉ］をプラス１し（ステップＳ８０５）、ＦＡＬＳＥ
の場合は何もしないという動作をとっている。

【００５５】次に、垂直方向のヒストグラムＨＶ［ｉ］
の中から、０でない連続した部分を探索する。まず、フ
ラグＶＦＬＡＧをＦＡＬＳＥにセットする（ステップＳ
８０８）。次に、探索範囲Ｓ１からＳ２の順序で、ヒス
トグラムＨＶ［ｉ］が０でなく、ＶＦＬＡＧがＦＡＬＳ
Ｅであるかをチェックする（ステップＳ８１０）。この
条件に当てはまるのは、ヒストグラムＨＶ［ｉ］が０で
ない連続した部分の始点の部分である。従って、探索し
ている長方形の垂直方向の始点の候補となるので、１次
元配列Ｂ１［ｎ］にアドレスｉを格納し、ＶＦＬＡＧを
ＴＵＲＥにセットする（ステップＳ８１１）。

【００５６】次に、ヒストグラムＨＶ［ｉ］が０あるい
は探索範囲の終点で、ＶＦＬＡＧがＴＵＲＥであるかを
チェックする（ステップＳ８１２）。この条件に当ては
まるのは、ヒストグラムＨＶ［ｉ］が０でない連続した
部分の終点の部分である。従って、探索している長方形
の垂直方向の終点の候補となるので、もしヒストグラム
ＨＶ［ｉ］が０の場合は１次元配列Ｂ２［ｎ］にアドレ
スｉ−１を格納し（ステップＳ８１４）、そうでない場
合は１次元配列Ｂ２［ｎ］にアドレスｉを格納する（ス
テップＳ８１５）。そして、ＶＦＬＡＧを再びＦＡＬＳ
Ｅにセットする（ステップＳ８１１）。

【００５７】次に、今度は水平方向の動マクロブロック
の数のヒストグラムＨＨ［ｉ］を作成するための作業配
列ＨＶの探索範囲であるＳ３〜Ｓ４の範囲を値０で初期
化する（ステップＳ８１７）。次のＬＯＯＰ４とＬＯＯ
Ｐ５の２重ループ（Ｓ８１８〜Ｓ８２３）では、探索範
囲での水平方向の動マクロブロックの数のヒストグラム
ＨＨ［ｉ］を作成している。すなわち、マクロブロック
毎の静動判定結果Ｍ［ｉ］［ｊ］の値を比較し（ステッ
プＳ８０４）、値がＲＵＲＥ、つまり動マクロブロック
ならば、ＨＨ［ｉ］をプラス１し（ステップＳ８０
５）、ＦＡＬＳＥの場合は何もしないという動作をとっ
ている。次に、水平方向のヒストグラムＨＨ［ｉ］の中
から、０でない連続した部分を探索する。まず、フラグ
ＨＦＬへＧをＦＡＬＳＥにセットする（ステップＳ８２
４）。

【００５８】次に、探索範囲Ｓ３からＳ４の順序で、ヒ
ストグラムＨＨ［ｉ］が０でなく、ＨＦＬＡＧがＦＡＬ
ＳＥであるかをチェックする（ステップＳ８２６）。こ
の条件に当てはまるのは、ヒストグラムＨＨ［ｉ］が０
でない連続した部分の始点の部分である。従って、探索
している長方形の水平方向の始点の候補となるので、１
次元配列Ｂ３［ｎ］にアドレスｊを格納し、ＨＦＬＡＧ
をＴＵＲＥにセットする（ステップＳ８２７）。

【００５９】次に、ヒストグラムＨＨ［ｉ］が０あるい
は探索範囲の終点で、ＨＦＬＡＧがＴＵＲＥであるかを
チェックする（ステップＳ８２８）。この条件に当ては
まるのは、ヒストグラムＨＨ［ｉ］が０でない連続した
部分の終点の部分である。従って、探索している長方形
の水平方向の終点の候補となるので、もしヒストグラム
ＨＨ［ｉ］が０の場合は１次元配列Ｂ４［ｎ］にアドレ
スｊ−１を格納し（ステップＳ８３０）、そうでない場
合は１次元配列Ｂ４［ｎ］にアドレスｊを格納する（ス
テップＳ８３１）。そして、ＨＦＬＡＧを再びＦＡＬＳ
Ｅにセットする（ステップＳ８３２）。

【００６０】ここで、一通りの垂直方向のヒストグラム
ＨＶ［ｉ］と水平方向のヒストグラムＨＨ［ｉ］による
探索が終了したので、次に探索結果Ｂ１［ｎ］〜Ｂ４
［ｎ］が探索範囲Ｓ１〜Ｓ４と一致するかどうかをチェ
ックし（ステップＳ８３３）、一致する場合は長方形の
面積ObjectSizeを計算する（ステップＳ８３４）。も
し、この値が予め設定されていた物体の最小値ObjectMi
nより小さい場合や、物体の最大値ObjectMaxよりも大き
い場合は、オブジェクトと判定しない。それ以外の場合
は、もうこれ以上探索する範囲がないので、最小の長方
形が求まっていると判定し、物体と判定する（ステップ
Ｓ８２６）。そして、特定物体の数を表すｎをプラス１
して（ステップＳ８３７）、次の特定物体の探索に移
る。

【００６１】探索した結果Ｂ１［ｎ］〜Ｂ４［ｎ］が探
索範囲Ｓ１〜Ｓ４と一致しない場合は、探索した結果の
範囲にまだ複数の特定物体が存在するので、探索した結
果Ｂ１［ｎ］〜Ｂ４［ｎ］をＳ１〜Ｓ４に移し替えて
（ステップＳ８３８）、再び関数Rectangularを呼び出
す（ステップＳ８３９）。

【００６２】なお、ステップＳ８３５においては、物体
の大きさで物体の判定を行っているが、大きさ以外のパ
ラメータ、例えば、物体の形や物体中に特定の色を含む
かなどの条件を設定することにより、検出を行うことも
可能である。

【００６３】図１５は、このようにして特定物体判定部
１１３で得られる判定結果の一例である。ここでは、２
つの特定物体を判定している。マクロブックのアドレス
の原点をフレームの左上とすると、それぞれの判定結果
はＢ１［０］〜Ｂ４［０］とＢ１［１］〜Ｂ４［１］の
ような配置で特定物体を判定している。

【００６４】図１６は、特定色を含む移動物体の検出を
行う場合の図７のステップＳ１００３における特定物体
包含処理の具体的な流れを示した図であり、図１４にお
けるステップＳ８３４〜Ｓ８３７の部分に相当する処理
を示している。その他の処理は、図１１〜図１４と同様
である。

【００６５】まず、変数ｃｈｅｃｋをＦＡＬＳＥで初期
化する（ステップＳ１０１１）。次に、移動物体を包含
する長方形の内部を探索するようにＬＯＯＰ１〜ＬＯＯ
Ｐ２（ステップＳ１０１２，Ｓ１０１３）を構成し、色
物体の検出結果の配列Ｍ２をチェックする（ステップＳ
１０１４）。ここで、移動物体を包含する内部に色物体
が検出されていた場合、変数ｃｈｅｃｋをＴＲＵＥにし
（ステップＳ１０１５）、ＬＯＯＰ１，ＬＯＯＰ２を脱
出する。ＬＯＯＰ１，ＬＯＯＰ２の終了後（ステップＳ
１０１６，Ｓ１０１７）、変数ｃｈｅｃｋがＴＲＵＥか
否かを調べ（ステップＳ１０１８）、ＴＵＲＥならば特
定色を含む移動物体として判定する（ステップＳ１０１
９）。そして、特定物体の数を表すｎをプラス１して
（ステップＳ１０２０）、次の特定物体の探索に移る。

【００６６】（特定物体合成表示部１１５について）特
定物体合成表示部１１５では、特定物体判定部１１３で
判定した特定物体の領域と再生画像信号を合成した画像
を作成して表示する。図１７は、その具体的な流れ図で
ある。ここで、ｎは特定物体判定部１１３で判定された
フレーム内の特定物体数を示している。処理の流れとし
ては、特定物体毎にＢ１［ｉ］〜Ｂ４［ｉ］が特定物体
の４角のマクロブロックを表しているので、それを囲む
ような長方形を描き、再生画像と合成する（ステップＳ
９０２）。

【００６７】図１８は、このようにして特定物体合成表
示部１１５によって作成され表示された画像の例であ
り、再生画像中に３つの移動物体（この例では人間）が
表示され、これらのうち指定された特定色の二つの移動
物体を特定物体として他の物体と区別できるように、例
えば白抜きの長方形枠で囲まれている。

【００６８】［第２の実施の形態］図１９は、本発明の
第２の実施形態に係る動画像内特定物体検出装置の構成
を示す。この動画像内特定物体検出装置は、大きく動画
像符号化部３００と特定物体検出部３２０の２つの部分
からなっている。

【００６９】図１９において、動画像符号化部３００に
入力された入力動画像信号は、まずブロック化部３０１
でマクロブロックに分割される。各マクロブロックの入
力動画像信号は減算器３０２に入力され、ここで予測画
像信号との差分がとられて予測残差信号が生成される。
この予測残差信号とブロック化部３０１からの入力動画
像信号のいずれか一方が符号化モード選択スイッチ３０
３によって選択され、ＤＣＴ（離散コサイン変換）部３
０４により離散コサイン変換される。ＤＣＴ部３０４で
得られＤＣＴ係数データは、量子化部３０５で量子化さ
れる。量子化部３０５で量子化されたＤＣＴ係数データ
は二分岐され、一方は可変長符号化部３１４で可変長符
号化される。

【００７０】量子化部３０５で量子化され二分岐された
ＤＣＴ係数データの他方は、逆量子化部３０６及びＩＤ
ＣＴ（逆離散コサイン変抜）部３０７により量子化部３
０５及びＤＣＴ部３０４の処理と逆の処理を順次受けた
後、加算器３０８でスイッチ３１３を介して入力される
予測画像信号と加算されることにより、局部復号画像信
号が生成される。局部復号画像信号はフレームメモリ３
０９に蓄えられ、フレームメモリ３０９から動き補償部
３１０に入力される。動き補償部３１０では、予測画像
信号を生成するとともに、符号化モード選択部３１２に
必要な情報を送る。

【００７１】符号化モード選択部３１２では、マクロブ
ロック単位に動き補償部３１０からの予測情報Ｐに基づ
いて、フレーム間符号化を行うマクロブロックとフレー
ム内符号化を行うマクロブロックを選択する。フレーム
内符号化（イントラ符号化）を行う場合は、符号化モー
ド選択スイッチ情報ＭをＡとし、スイッチ情報ＳをＡと
する。フレーム間符号化（インター符号化）を行う場合
は、符号化モード選択スイッチ情報ＭをＢとし、スイッ
チ情報ＳをＢとする。符号化モード選択スイッチ３０３
は符号化モード選択スイッチ情報Ｐに基づいて切り換え
られ、またスイッチ３１１はスイッチ情報Ｓに基づいて
切り換えられる。

【００７２】ここで、符号化モードとしてイントラ符号
化モード（ＩＮＴＲＡ）、インター符号化モード（ＩＮ
ＴＥＲ）及び非符号化モード（ＮＯＴ＿ＣＯＤＥＤ）が
あり、これらの符号化モードが各マクロブロック毎に対
応付けられている。ＩＮＴＲＡマクロブロックはフレー
ム内符号化される画像領域、ＩＮＴＥＲマクロブロック
はフレーム間符号化される画像領域、ＮＯＴ＿ＣＯＤＥ
Ｄマクロブロックは符号化不要の画像領域である。

【００７３】一方、特定物体検出部３２０においては、
まず可変長符号化部３１４に入力された符号化モード情
報をマクロブロック移動物体判定部３２１とマクロブロ
ック特定色判定部３２２に入力し、その判定結果を特定
物体判定部３２３に入力する。特定色判定部３２３の判
定結果は、特定物体合成表示部３２５に入力されるとと
もに、動画像符号化部３００の多重化部３１５に入力さ
れる。特定物体合成部３２５では、動画像符号化部３０
０によって作成された局部復号画像信号と特定物体の合
成画像を作成して表示する。

【００７４】マクロブロック移動物体判定部３２１、マ
クロブロック特定色判定部３２２及び特定物体合成表示
部３２５の具体的な処理内容は、第１の実施形態で説明
した処理と同一であるため、説明を省略する。

【００７５】符号化制御部３１４は、符号化部３１７
（動画像符号化部３００のうち多重化部３１５より前の
部分）での符号化情報と出力バッファ３１６のバッファ
量を基に符号化部３１７における量子化部３０５での量
子化ステップサイズ等のパラメータを制御する。可変長
符号化部３１４で符号化された符号化データは、特定物
体判定部３２３からの特定物体判定結果とともに多重化
部３１５で多重化され後、出力バッファ３１６で送信レ
ートが平滑化され、伝送系または蓄積系に伝送される。

【００７６】［第３の実施形態］図２０に、本発明の第
３の実施形態に係る動画像内特定物体検出装置の構成を
示す。この動画像内特定物体検出装置は、図１９に示し
た動画像符号化部３００と特定物体検出部３２０を組み
合わせた第２の実施形態に係る動画像内特定物体検出装
置から伝送系または蓄積系を介して伝送されてきた符号
化データを受け、この符号化データに基づき動画像内の
特定物体を検出する装置であり、動画像復号化部４００
に特定物体合成表示部４１０を組み合わせて構成され
る。

【００７７】まず、動画像復号化部４００において、伝
送路または蓄積系から受信した符号化データは入力バッ
ファ４０１に一度蓄えられ、多重化分離部４０２により
フレーム毎にシンタクスに基づいて分離され、可変長復
号化部４０３に出力される。可変長復号化部４０３で
は、各シンタクスの情報の可変長符号が復号される。

【００７８】符号化モード切替スイッチ４０９は可変長
復号化部４０３から出力されるマクロブロック毎の符号
化モード情報に従って制御され、符号化モードがＩＮＴ
ＲＡならばオフとなる。このとき、可変長復号化部４０
３で復号化された量子化ＤＣＴ係数情報は逆量子化部４
０４で逆量子化され、ＩＤＣＴ部４０５で逆離散コサイ
ン変換処理されることにより、再生画像信号が生成され
る。この再生画像信号は、フレームメモリ４０７に参照
画像信号として蓄積されるとともに、特定物体合成表示
部４１０に入力される。

【００７９】マクロブロックの符号化モードがＩＮＴＥ
Ｒ及びＮＯＴ＿ＣＯＤＥＤならば、符号化モード切替ス
イッチ４０９はオンとなり、可変長復号化部４０３で復
号化された量子化ＤＣＴ係数情報は逆量子化部４０４で
逆量子化され、ＩＤＣＴ部４０５で逆離散コサイン変換
処理された後、加算器４０６に入力され、ここで可変長
復号化部４０３で復号化された動きベクトル情報に基づ
いて動き補償部４０８においてフレームメモリ４０７か
ら読み出される参照画像信号を動き補償した信号と関さ
れることにより、再生画像信号が生成される。この再生
画像信号は、フレームメモリ４０７に参照画像信号とし
て蓄積されるとともに、特定物体合成表示部４１０に入
力される。

【００８０】一方、多重化分離部４０２で分離された特
定物体判定結果も特定物体合成表示部４１０に入力され
る。これにより特定物体合成表示部４１０では、再生画
像上に特定物体が合成表示される。

【００８１】なお、以上の実施形態においては、マクロ
ブロック単位に処理を行う例を示したが、それよりの小
さな単位での処理でも、大きな単位での処理でも同様の
方法ができることは言うまでもない。また、以上の実施
形態では動画像符号化方式としてＤＣＴと動き補償及び
可変長符号化を組み合わせた方式を例に説明したが、そ
の他の圧縮符号化技術、例えばウェーブレット変換等を
用いた場合でも同様に本発明に基づく動画像内の特定物
体検出を適用することができる。

【００８２】

【発明の効果】以上説明したように、本発明によれば色
と動きを同時に検出したり、色と動きを統一的に使った
特定の物体の検出を行うことにより、高速かつ安定して
精度よく動画像内の特定物体を検出することができる。

【図面の簡単な説明】

【図１】 本発明の第１の実施形態に係る動画像内特定
物体検出装置の構成を示すブロック図

【図２】 同実施形態におけるマクロブロック移動物体
判定部の構成を示すブロック図

【図３】 同実施形態における特定物体検出処理の概略
的な流れを示すフローチャート

【図４】 同実施形態におけるマクロブロック移動物体
判定処理の流れを示すフローチャート

【図５】 同実施形態におけるマクロブロック移動物体
判定部内の背景メモリの更新動作を示すフローチャート

【図６】 同実施形態におけるマクロブロック特定色判
定部の処理の流れを示すフローチャート

【図７】 同実施形態における特定物体判定部において
移動物体でかつ色物体を検出する場合の処理の流れを示
すフローチャート

【図８】 同実施形態における特定物体判定部において
移動物体または色物体を検出する場合の処理の流れを示
すフローチャート

【図９】 同実施形態における特定物体判定部において
特定色を含む移動物体の検出を行う場合の処理の流れを
示すフローチャート

【図１０】 同実施形態における特定物体判定部の特定
物体包含処理を示すフローチャート

【図１１】 同実施形態における特定物体判定部の特定
物体包含処理を示すフローチャート

【図１２】 同実施形態における特定物体判定部の特定
物体包含処理を示すフローチャート

【図１３】 同実施形態における特定物体判定部の特定
物体包含処理を示すフローチャート

【図１４】 同実施形態における特定物体判定部の特定
物体包含処理を示すフローチャート

【図１５】 同実施形態における特定物体判定部の判定
結果の例を示す図

【図１６】 同実施形態における特定物体判定部の特
定物体包含処理の図１４との相違部分を示すフローチャ
ート

【図１７】 同実施形態における特定物体合成表示部の
動作を示すフローチャート

【図１８】 本発明の特定物体合成表示部の表示例を示
す図

【図１９】 本発明の第２の実施形態に係る動画像内特
定物体検出装置の構成を示すブロック図

【図２０】 本発明の第３の実施形態に係る動画像内特
定物体検出装置の構成を示すブロック図

【符号の説明】

１００…動画像復号化部 １０１…入力バッファ １０２…多重化分離部 １０３…可変長復号化部 １０４…逆量子化部 １０５…ＩＤＣＴ部 １０６…加算器 １０７…フレームメモリ １０８…動き補償部 １０９…符号化モード切替スイッチ １１０…特定物体検出部 １１１…マクロブロック移動物体判定部 １１２…マクロブロック特定色判定部 １１３…特定物体判定部 １１４…特定物体条件指定部 １１５…特定物体合成表示部 ２０１…マクロブロック背景判定部 ２０２…相関計算部 ２０３…相関計算部 ２０４…背景メモリ ２０５…スイッチ ３００…動画像符号化部 ３０１…ブロック化部 ３０２…減算器 ３０３…符号化モード選択スイッチ ３０４…ＤＣＴ部 ３０５…量子化部 ３０６…逆量子化部 ３０７…ＩＤＣＴ部 ３０８…加算器 ３０９…フレームメモリ ３１０…動き補償部 ３１１…スイッチ ３１２…符号化モード選択部 ３１３…符号化制御部 ３１４…可変長符号化部 ３１５…多重化部 ３１６…出力バッファ ３１７…符号化部 ３１９…マクロブロック移動物体判定部 ３２０…マクロブロック特定色判定部 ３２１…特定物体判定部 ３２２…特定物体条件指定部 ３２３…特定物体合成表示部 ３２４…特定物体検出部 ４００…動画像復号化部 ４０１…入力バッファ ４０２…多重化分離部 ４０３…可変長復号化部 ４０４…逆量子化部 ４０５…ＩＤＣＴ部 ４０６…加算器 ４０７…フレームメモリ ４０８…動き補償部 ４０９…符号化モード切替スイッチ ４１０…特定物体合成表示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小林 広幸 東京都府中市東芝町１番地 株式会社東芝 府中事業所内 (72)発明者 稲垣 完治 東京都府中市東芝町１番地 株式会社東芝 府中事業所内

Claims (12)

【特許請求の範囲】
1. 【請求項１】動画像を圧縮符号化した符号化データを復
   号して得られた再生画像信号及び単位領域毎の符号化モ
   ード情報と１フレーム前の再生画像信号である参照画像
   信号を参照して動画像内の移動物体を判定する移動物体
   判定ステップと、 前記再生画像信号及び符号化モード情報を参照して前記
   再生画像信号における所定の符号化モードの単位領域に
   おける予め指定された少なくとも一つの特定色の有無を
   判定する特定色判定ステップと、 前記移動物体判定ステップ及び特定色判定ステップの判
   定結果から、動画像内の特定物体を判定する特定物体判
   定ステップとを有する動画像内の特定物体検出方法。
2. 【請求項２】動画像を圧縮符号化する過程で得られる局
   部復号画像信号及び単位領域毎の符号化モード情報と１
   フレーム前の局部復号画像信号である参照画像信号を参
   照して動画像内の移動物体を判定する移動物体判定ステ
   ップと、 前記局部復号画像及び符号化モード情報を参照して前記
   局部復号画像信号における特定の符号化モードの単位領
   域における予め指定された少なくとも一つの特定色の有
   無を判定する特定色判定ステップと、 前記移動物体判定ステップ及び特定色判定ステップの判
   定結果から、動画像内の特定物体を判定する特定物体判
   定ステップとを有する動画像内の特定物体検出方法。
3. 【請求項３】前記再生画像信号または前記局部復号画像
   信号を用いて動画像を表示するとともに、該動画像に合
   成して前記特定物体判定ステップで判定された特定物体
   の画像を表示するステップをさらに有する請求項１また
   は２記載の動画像内の特定物体検出方法。
4. 【請求項４】前記特定色判定ステップに対して色相、彩
   度及び明度によって色を指定することを特徴とする請求
   項１または２記載の動画像内の特定物体検出方法。
5. 【請求項５】前記特定物体判定ステップは、（ａ）前記
   移動物体判定ステップで移動物体と判定され、かつ該移
   動物体のうち前記特定色判定ステップで特定色と判定さ
   れた部分を前記特定物体として判定する、（ｂ）前記移
   動物体判定ステップで移動物体と判定された物体と、前
   記特定色判定ステップで特定色と判定された物体を前記
   特定物体として判定する、及び（ｃ）前記移動物体判定
   ステップで移動物体と判定され、かつ前記特定色判定ス
   テップで特定色と判定された部分を含む移動物体を前記
   特定物体として判定する、のうちの少なくとも一つの判
   定を行うことにより動画像内の特定物体を判定する請求
   項１または２記載の動画像内の特定物体検出方法。
6. 【請求項６】動画像を圧縮符号化した符号化データを復
   号して少なくとも再生画像信号及び単位領域毎の符号化
   モード情報と１フレーム前の再生画像信号である参照画
   像信号を生成する動画像復号化部と、 前記再生画像信号、符号化モード情報及び参照画像信号
   を参照して動画像内の移動物体を判定する移動物体判定
   部と、 前記再生画像信号及び符号化モード情報を参照して前記
   再生画像信号における所定の符号化モードの単位領域に
   おける予め指定された少なくとも一つの特定色の有無を
   判定する特定色判定部と、 前記移動物体判定部及び特定色判定部の判定結果から、
   動画像内の特定物体を判定する特定物体判定部とを有す
   る動画像内の特定物体検出装置。
7. 【請求項７】動画像を圧縮符号化して符号化データを出
   力すると共に該圧縮符号化の過程で局部復号画像信号及
   び単位領域毎の符号化モード情報と１フレーム前の局部
   復号画像信号である参照画像信号を生成する動画像符号
   化部と、 前記局部復号画像信号、符号化モード情報及び参照画像
   信号を参照して動画像内の移動物体を判定する移動物体
   判定部と、 前記局部復号画像及び符号化モード情報を参照して前記
   局部復号画像信号における特定の符号化モードの単位領
   域における予め指定された少なくとも一つの特定色の有
   無を判定する特定色判定部と、 前記移動物体判定部及び特定色判定部の判定結果から、
   動画像内の特定物体を判定する特定物体判定部とを有す
   る動画像内の特定物体検出装置。
8. 【請求項８】前記再生画像信号または前記局部復号画像
   信号を用いて動画像を表示するとともに、該動画像に合
   成して前記特定物体判定部で判定された特定物体の画像
   を表示する表示部をさらに有する請求項６または７記載
   の動画像内の特定物体検出装置。
9. 【請求項９】前記特定色判定部に対して色相、彩度及び
   明度によって色を指定する手段を有する請求項６または
   ７記載の動画像内の特定物体検出装置。
10. 【請求項１０】前記特定物体判定部は、（ａ）前記移動
    物体判定部で移動物体と判定され、かつ該移動物体のう
    ち前記特定色判定部で特定色と判定された部分を前記特
    定物体として判定する、（ｂ）前記移動物体判定部で移
    動物体と判定された物体と、前記特定色判定部で特定色
    と判定された物体を前記特定物体として判定する、及び
    （ｃ）前記移動物体判定部で移動物体と判定され、かつ
    前記特定色判定部で特定色と判定された部分を含む移動
    物体を前記特定物体として判定する、のうちの少なくと
    も一つの判定を行うことにより動画像内の特定物体を判
    定する請求項６または７記載の動画像内の特定物体検出
    装置。
11. 【請求項１１】コンピュータに動画像内の特定物体を検
    出する処理を実行させるためのプログラムであって、 動画像を圧縮符号化した符号化データを復号して得られ
    た再生画像信号及び単位領域毎の符号化モード情報と１
    フレーム前の再生画像信号である参照画像信号を参照し
    て動画像内の移動物体を判定する移動物体判定処理と、 前記再生画像信号及び符号化モード情報を参照して前記
    再生画像信号における所定の符号化モードの単位領域に
    おける予め指定された少なくとも一つの特定色の有無を
    判定する特定色判定処理と、 前記移動物体判定処理及び特定色判定処理の判定結果か
    ら、動画像内の特定物体を判定する特定物体判定処理と
    をコンピュータに実行させるためのプログラム。
12. 【請求項１２】コンピュータに動画像内の特定物体を検
    出する処理を実行させるためのプログラムであって、 動画像を圧縮符号化する過程で得られる局部復号画像信
    号及び単位領域毎の符号化モード情報と１フレーム前の
    局部復号画像信号である参照画像信号を参照して動画像
    内の移動物体を判定する移動物体判定処理と、 前記局部復号画像及び符号化モード情報を参照して前記
    局部復号画像信号における特定の符号化モードの単位領
    域における予め指定された少なくとも一つの特定色の有
    無を判定する特定色判定処理と、 前記移動物体判定処理及び特定色判定処理の判定結果か
    ら、動画像内の特定物体を判定する特定物体判定処理と
    をコンピュータに実行させるためのプログラム。