JP2002051341A - 動画像符号化装置および動画像の特殊効果シーン検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 入力画像の輝度情報などの特徴情報について
の統計情報だけでなく、動きベクトル情報などの入力画
像を予測符号化する際に用いられる相関情報についての
統計情報をも考慮することで、フェードシーンなどの特
殊効果シーンを正確に検出して、特殊効果シーンの符号
化効率を向上できるようにする。 【解決手段】 入力画像のもつ特徴情報についての第１
統計情報と、上記の相関情報についての第２統計情報と
に基づいて入力画像の特殊効果シーンを検出する特殊効
果シーン検出部１３と、この特殊効果シーン検出部１３
で検出された特殊効果シーンに応じて予測符号化部２１
による入力画像の符号化状態を制御する制御部１７とを
そなえるように構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像符号化装置
および動画像の特殊効果シーン検出装置に関し、特に、
フェードシーンやパニング，チルトなどの特殊効果シー
ンを含む動画像を符号化する際に用いて好適な、動画像
符号化装置および動画像の特殊効果シーン検出装置に関
する。

【０００２】

【従来の技術】従来のディジタル動画像符号化方式とし
ては、例えば、ＭＰＥＧ（Moving Picture Experts Gr
oup）−１（ISO/IEC 11172-2）やＭＰＥＧ−２（ISO/IE
C 13181-2），ＭＰＥＧ−４（ISO/IEC14496-2），ＩＴ
Ｕ−Ｔ（International Telecommunication Union-Tele
communication standardization sector）の映像符号化
勧告（H261.，H263.）などが知られているが、これらの
方式では、情報量が莫大な動画像を有効帯域で使用でき
るようにするために、情報圧縮技術を用いていて、共通
して、「フレーム間動き予測符号化」と呼ばれる手法を
用いている。

【０００３】これらのディジタル動画像符号化方式で
は、まず、フレーム内符号化により１枚の動画像フレー
ム（以下、単にフレームという）に対して空間的冗長性
を省く処理を行なって情報量圧縮を行ない、次に、この
ようにフレーム内符号化により符号化した過去のフレー
ムと符号化対象のフレームとの差分情報を符号化するフ
レーム間符号化が行なわれる。

【０００４】ここで、上記の「フレーム間符号化」と
は、動画像の連続性に着目することにより、１枚１枚の
フレームを独立してフレーム内符号化するよりも、フレ
ーム内のサブブロックである所定のマクロブロック〔ｍ
×ｎ（ｍ，ｎはいずれも自然数）の画素集合；以下、Ｍ
Ｂと表記する〕毎に、符号化済みのフレームの或るＭＢ
と同位置の符号化対象フレームにおけるＭＢとの差分を
求め、その差分ＭＢを符号化することであり、このよう
にすることで、より効率良く動画像の冗長性を省いて情
報量を圧縮することができる。

【０００５】なお、実際には、フレーム内の絵柄が動い
ている場合には、単純にフレーム間の同位置ＭＢ間差分
をとっても、差分量が小さくならないため、さらに、Ｍ
Ｂ毎に動き（ベクトル）探索を行ない、参照フレーム内
からより差分の小さいブロック領域を探し出し、現フレ
ームのＭＢと参照フレームの動き探索により求められた
ブロック領域との差分ＭＢを求め、その差分ＭＢを符号
化することが行なわれる。このとき、動き探索によって
求められた動きベクトル情報と差分情報を符号化したも
のが多重化されてＭＢ符号化情報となる。

【０００６】しかしながら、これらの動画像符号化方式
では、例えば、フェードや動きの大きいパニングやチル
トなどの映像撮影や編集時に広く用いられている特殊効
果シーンに対する符号化効率があまり良くなく、画質の
劣化を引き起こす要因となっている。例えば、上記のフ
ェードは、ビデオ編集の１手法として広く用いられてい
る方式で、通常の画像から次第に白色や黒色などの一定
色の画像に変化ゆくフェードアウトと、逆に、一定色の
画像から通常の画像が次第に現われてくるフェードイン
とがあるが、いずれの場合も、フレーム毎に輝度信号の
レベルが変化するために動き予測が当たり難く、結果的
に、余分な動きベクトル情報を符号化してしまって符号
化効率が低下する。

【０００７】一方、パニングやチルトは、例えば、車な
どの動く物体を追いかけて撮影するときにカメラを横方
向もしくは縦方向に流しながら撮影する手法であるが、
一般的に、上記の動き探索の探索範囲に限りがあるため
に、その探索範囲を超えたパニングやチルトのシーンで
は、適切な動きベクトルを検出することが不可能で、動
き予測が当たらなくなり符号化効率が低下する。

【０００８】このため、これまで、フェードシーンに対
する対処としては、例えば、特開平６−４６４１２号公
報（以下、公知文献１という）や特開平８−６５６８４
号公報（以下、公知文献２という），特開平１１−１９
１８６２号公報（以下、公知文献３という）などで各種
手法が提案されている。ここで、上記の各公知文献１〜
３で提案されている各手法の要旨を説明すると、まず、
公知文献１による手法（以下、第１手法という）は、フ
レーム間差分情報を符号化する場合に、フレーム間の平
均輝度値の差分を求め、その差分を補正（フェード補
正）により除去して符号化することにより、「フェード
シーン」においても予測残差を削減して符号化効率を上
げることができるという手法であり、公知文献２による
手法（以下、第２手法という）は、フレーム間の平均輝
度値の差分を求め、その差分補正を動きベクトル探索前
のＭＢに対して行なった上で、動きベクトル探索を行な
うことにより、「フェードシーン」においてもより正確
な動きベクトルを求めることができるという手法であ
る。そして、公知文献３による手法（以下、第３手法と
いう）は、フレーム間の輝度信号の平均及び分散を求
め、これらの各情報に基づいて「フェードシーン」を検
出する手法である。

【０００９】一方、パニングなどの特殊効果シーンに対
する対処としては、例えば、特開平５−２０７４４４号
公報（以下、公知文献４という）や特開平９−２１４９
７４号公報（以下、公知文献５という），特開平１０−
２２４７４１号公報（以下、公知文献６という）などに
示されるような各種手法が提案されている。ここで、上
記の公知文献４による手法（以下、第４手法という）
は、動きベクトルの統計によりパニングを検出し、その
場合に動き予測をフィールド間予測に限定することで符
号化効率を向上できるようにした手法であり、上記の公
知文献５による手法（以下、第５手法という）は、動き
ベクトルの統計によりパニング（あるいは、チルト）を
検出し、その場合に符号化画面の画像解像度を落とすこ
とで動きベクトルの探索範囲（以下、単に「動き探索範
囲」ともいう）を仮想的に拡大するという手法である。

【００１０】例えば、パニング（あるいは、チルト）が
検出された場合には、フレームを縦横１／２に間引いた
画像を生成して、その画像を符号化することで、同じ範
囲の動き探索を行なったとしても、実質縦横２倍の範囲
を探索していることになる。そして、上記の公知文献６
による手法（以下、第６手法という）は、符号化出力
（ストリーム）から種々のカット点検出を行なうことを
要旨とした手法である。

【００１１】

【発明が解決しようとする課題】しかしながら、上記の
各手法では、それぞれ、次のような課題が生じる。ま
ず、第１手法では、フレームの輝度情報の変化のみでフ
ェード検出を行なうため、パニングやチルトなどの画像
（シーン）をフェードシーンと誤検出してしまう可能性
がある。その上、本第１手法では、フェード検出情報を
符号化情報へ多重化するため、余分な情報が必要とな
り、符号化ストリームが完全なＭＰＥＧ互換ではなくな
る。

【００１２】また、第２手法では、動きベクトル探索段
階で平均輝度情報を削減するという処理をＭＢ単位で行
なうため演算量が莫大になるばかりでなく、フェードの
具合によっては平均輝度情報を削減しても、動きベクト
ルの誤検出が起こる場合がある。その具体例として、フ
ェードとしてフレーム輝度平均が次第に低くなってゆ
き、最終画素値がＺとなる場合を例として考えてみる。

【００１３】例えば、ｎフレーム目のフレーム内の或る
画素位置の輝度値をＸ_nとすると、フェードの式は、次
式（１）（画素の輝度値Ｘ_nがフレーム毎に一定に変化
してゆく場合）や次式（２）（画素の輝度値Ｘ_nの変化
がフレームによって変わる場合）などで表される。 Ｘ_n+1＝max（Ｘ_n−Ａ，Ｚ） （Ａは固定値）・・・（１） Ｘ_n+1＝（１−α）・Ｘ_n＋α・Ｚ （０≦α≦１）・・・（２） 上記の式（１）の場合は、フレーム内のどの画素をとっ
てもフレーム毎の輝度情報変化値は同じ“Ａ”であるた
め、平均輝度成分を取り除くと動きベクトルをうまく検
出できそうである。これに対し、上記の式（２）は、変
数αをフェード前後で０から１へと段階的に変化させる
ことにより、フェードアウトしていく画像を生成でき、
逆に、変数αを１から０へと段階的に変化させることに
より、フェードインしてゆく画像を生成できることを表
すが、この場合、フェードが進むにつれて輝度情報の変
化とともに、フレーム内の輝度値によって輝度情報変化
値も変わる、つまり、フレーム内の輝度が生成する模様
が変化するため、平均輝度成分を取り除いても動きベク
トルの誤検出の発生が十分に考えられる。

【００１４】次に、上記の第３手法では、フレーム間の
各画素の輝度値の変化のみならず、その変化の２乗を計
算することにより、フェード検出をより正確に行なって
いるが、上記の第１手法と同様に、輝度値の変化に注目
するだけでは、パニングやチルトなどのシーンで誤検出
を起こすと思われる。また、本第３手法の場合は輝度値
の変化の２乗を計算するので演算量も膨大になってしま
う。

【００１５】以上のように、上述した第１〜第３手法で
は、いずれの場合も、「フェードシーン」の検出にフレ
ーム間の輝度情報の変化しか考慮していないために、
「フェードシーン」以外の特殊効果シーン（パニングや
チルトなど）を「フェードシーン」として誤検出してし
まう可能性が十分にあり、正確なフェード検出が行なえ
ないのである。

【００１６】一方、パニングやチルトなどのシーンに関
して、上記の第４手法では、動きベクトルの探索範囲が
固定であるため、単位時間当たりの動き量の大きいパニ
ングやチルトにより探索範囲を超えた画像が入力された
場合に、動きベクトルを得ることができず対処できな
い。また、上記の第５手法では、パニングが検出された
場合には、低解像度の符号化を行なうため画質が劣化す
る（ボケる）という課題がある。なお、解像度を落とさ
ずに、単純に、動き探索範囲を拡大すると演算量が膨大
になる。

【００１７】さらに、上記の第６手法では、符号化スト
リームを復号するときに、シーン検出インデックスを付
けるだけ（符号化モードの変更は無し）なので、符号化
側の概念は無く、パニングやチルトのシーンに対して符
号化効率を上げるという意図は無い。つまり、上記の第
４〜第６手法では、動きベクトルの探索範囲が固定、も
しくは、拡大する場合は画像解像度を落とす必要がある
ため、パニングやチルトなどの特殊効果シーンに対して
高画質を維持しながら符号化効率を上げることができな
いのである。

【００１８】本発明は、以上のような課題に鑑み創案さ
れたもので、入力画像の輝度情報などの特徴情報につい
ての統計情報だけでなく、動きベクトル情報などの入力
画像を予測符号化する際に用いられる相関情報について
の統計情報をも考慮することで、フェードシーンなどの
特殊効果シーンを正確に検出できるようにすることを目
的とする。また、パニングやチルトなどの特殊効果シー
ンに対しては、動きベクトル情報などの相関情報の探索
範囲をシフト制御することで、画像解像度を落とすこと
なく、且つ、相関情報探索のための演算量を増大させる
ことなく、正確な相関情報を取得して符号化効率を向上
できるようにすることも目的とする。

【００１９】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明の動画像符号化装置（請求項１）は、入力
画像を過去に符号化した画像との相関情報に基づいて予
測符号化する予測符号化部と、入力画像のもつ特徴情報
についての第１統計情報と上記の相関情報についての第
２統計情報とに基づいて入力画像の特殊効果シーンを検
出する特殊効果シーン検出部と、この特殊効果シーン検
出部で検出された特殊効果シーンに応じて前記予測符号
化部による入力画像の符号化状態を制御する制御部とを
そなえて構成されたことを特徴としている。

【００２０】上述のごとく構成された本発明の動画像符
号化装置（請求項１）では、入力画像のもつ特徴情報に
ついての第１統計情報のみならず、予測符号化時の相関
情報についての第２統計情報をも用いて入力画像の特殊
効果シーンを検出することができるので、一方の統計情
報だけをみると本来検出したい特殊効果シーンと特徴の
似た入力画像（シーン）でも、他方の統計情報が本来検
出したい特殊効果シーンの特徴を示していなければ検出
対象の特殊効果シーンから除外することができる。そし
て、この上で検出された特殊効果シーンに応じて予測符
号化部による符号化状態を制御することで予測符号化誤
差の低減を図ることができる。

【００２１】ここで、上記の特殊効果シーン検出部に
は、入力画像の輝度情報についての統計情報を前記第１
統計情報として取得する輝度情報統計取得部と、入力画
像と過去に符号化した画像との間の動きベクトル情報に
ついての統計情報を前記第２統計情報として取得する動
きベクトル情報統計取得部と、これらの各部によって得
られた上記の各統計情報が所定の第１検出条件を満足す
ると入力画像が上記特殊効果シーンとしてのフェードシ
ーンであることを検出するフェード検出部とをそなえ、
上記の制御部を、フェード検出部にてフェードシーンが
検出されると上記の動きベクトル情報を制御して該符号
化状態を制御する動きベクトル情報制御部として構成し
てもよい。

【００２２】このような構成を採ると、入力画像の輝度
情報についての統計情報と動きベクトル情報についての
統計情報とがそれぞれフェードシーンの特徴を示してい
ない限り、入力画像がフェードシーンであるとは検出さ
れないので、例えば、輝度情報についての統計情報だけ
をみるとフェードシーンの特徴を示すが、動きベクトル
情報についての統計情報がフェードシーン以外の特徴を
示すような入力画像（例えば、パニングやチルトなどの
シーン）をフェードシーンと誤検出してしまうことを回
避することができる。そして、フェードシーン検出時に
は、動きベクトル情報を制御することで、誤った動きベ
クトル情報の符号化による符号化効率の低下を回避でき
る（請求項２）。

【００２３】また、上記の予測符号化部には、上記の相
関情報として動きベクトル情報を得るために符号化対象
の入力画像を所定の画素探索範囲で探索する動きベクト
ル情報探索部をそなえるとともに、上記の特殊効果シー
ン検出部には、入力画像の輝度情報についての統計情報
を前記第１統計情報として取得する輝度情報統計取得部
と、上記の動きベクトル情報についての統計情報を前記
第２統計情報として取得する動きベクトル情報統計取得
部と、これらの各統計取得部によって得られた各統計情
報が所定の第２検出条件を満足すると入力画像が特殊効
果シーンとしてのパニングあるいはチルトのシーンであ
ることを検出するパニング／チルト検出部とをそなえ、
且つ、上記の制御部を、このパニング／チルト検出部で
上記のパニングあるいはチルトのシーンが検出されると
前記第２統計情報に基づいて上記動きベクトル情報探索
部での画素探索範囲をシフト制御する探索範囲シフト制
御部として構成してもよい。

【００２４】このような構成を採ると、上記の各統計情
報がパニングやチルトのシーン以外の特徴を示す特殊効
果シーンを検出対象から除外して、パニングやチルトの
シーンを正確に検出することができるとともに、動きベ
クトル情報探索のための演算量を増大させることなく、
パニングやチルトのシーンに応じた必要な動きベクトル
情報を得ることができる（請求項３）。

【００２５】次に、本発明の動画像符号化装置（請求項
４）は、過去に符号化した画像との相関情報として動き
ベクトル情報を得るために符号化対象の入力画像を所定
の画素探索範囲で探索する動きベクトル情報探索部と、
この動きベクトル情報探索部によって得られた動きベク
トル情報に基づいて入力画像を予測符号化する予測符号
化部と、上記の動きベクトル情報についての統計情報に
基づいて入力画像の特殊効果シーンを検出する特殊効果
シーン検出部と、この特殊効果シーン検出部で上記の特
殊効果シーンが検出されると上記の統計情報に応じて上
記動きベクトル情報探索部での画素探索範囲をシフト制
御する探索範囲シフト制御部とをそなえて構成されたこ
とを特徴としている。

【００２６】上述のごとく構成された本発明の動画像符
号化装置（請求項４）では、上記の特殊効果シーンが検
出されると、上記の動きベクトル情報についての統計情
報に基づいて上記の画素探索範囲がシフト制御されるの
で、動きベクトル情報探索のための演算量を増大させる
ことなく、検出された特殊効果シーンに応じて必要な相
関情報を得ることができる。

【００２７】さらに、本発明の動画像の特殊効果シーン
検出装置（請求項５）は、入力画像のもつ特徴情報につ
いての統計情報を取得する第１統計情報取得部と、予測
符号化対象の入力画像と過去に符号化された画像との相
関情報についての統計情報を取得する第２統計情報取得
部と、これらの各統計情報取得部によって得られた各統
計情報に基づいて該入力画像の特殊効果シーンを検出す
る特殊効果シーン検出部とをそなえて構成されたことを
特徴としている。

【００２８】上述のごとく構成された本特殊効果シーン
検出装置（請求項５）では、入力画像のもつ特徴情報に
ついての統計情報のみならず、予測符号化時の相関情報
についての統計情報をも用いて入力画像の特殊効果シー
ンを検出することができるので、一方の統計情報だけを
みると本来検出したい特殊効果シーンと特徴の似た入力
画像（シーン）でも、他方の統計情報が本来検出したい
特殊効果シーンの特徴を示していなければ検出対象の特
殊効果シーンから除外することができる。

【００２９】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１は本発明の一実施形態として
の特殊効果シーン検出装置が適用されるディジタル動画
像符号化装置の構成を示すブロック図で、この図１に示
すディジタル動画像符号化装置（以下、単に「動画像符
号化装置」という）１は、フレームメモリ２，原画マク
ロブロック（ＭＢ）取得器３，参照ブロック取得器４，
動きベクトル探索器５，予測判定器６，減算器７，加算
器１１，スイッチ８，１２，符号化器９及び局所復号化
器１０をそなえるとともに、特殊効果シーン検出装置１
３として、入力画像情報統計取得器１４，動き情報統計
取得器１５，特殊シーン検出器１６及び制御部１７をそ
なえて構成されている。

【００３０】ここで、上記のフレームメモリ２は、符号
化すべき入力動画像データをフレーム（静止画像）単位
で記憶するためのものである。なお、入力動画像データ
がＮＴＳＣ方式などにおけるインタレース走査によって
生成された画像データの場合、１フレーム分の入力画像
は偶フィールドと奇フィールドの２枚のフィールドから
成るので、フレームメモリ２には、さらに、フィールド
単位に画像データが保持されることになる。以下、これ
らのフレームとフィールドとを特に区別しない場合は、
総称して「ピクチャ」という。

【００３１】また、原画ＭＢ取得器３は、フレームメモ
リ２に記憶されている画像データ（原画ピクチャ）から
符号化対象のＭＢを原画ＭＢとして取得（抽出）するた
めのもので、例えば、原画ピクチャ内における任意の１
６×１６画素（ピクセル）の矩形領域（画素集合）が原
画ＭＢとして抽出されるようになっている。また、参照
ブロック取得器４は、ピクチャ間差分情報を得るのに必
要な原画ＭＢに対する参照ブロックをフレームメモリ２
から取得するためのもので、例えば図３に模式的に示す
ように、既に符号化され局所復号化器１０にて再生（局
所復号）された過去のピクチャ（参照ピクチャ）３２に
おいて原画ピクチャ３１内の原画ＭＢ３１１と同じ位置
に位置するＭＢ（参照ＭＢ）３２１を中心として縦横方
向にそれぞれ１画素ずつ所定画素分だけずらした範囲
（この範囲が動きベクトル探索範囲３２２となる）のブ
ロックが上記参照ブロックとして得られるようになって
いる。

【００３２】ただし、フィールド間予測の場合は上記の
偶フィールド及び奇フィールドのそれぞれ対応して２つ
の参照ブロックが取得され、それぞれについて下記に示
す動きベクトル探索器５による動きベクトル情報の探索
が行なわれて、各フィールド用の動きベクトル情報がそ
れぞれ得られるようになっている。そして、動きベクト
ル探索器（動きベクトル情報探索部）５は、上記の原画
ＭＢ取得器３で得られた原画ＭＢと参照ブロック取得器
４で得られた参照ブロックとに基づいて動き予測を行な
って動きベクトル情報（以下、単に「動きベクトル」と
いう）を得るためのもので、例えば図４に模式的に示す
ように、上記の参照ブロック（動きベクトル探索範囲）
３２２内において原画ＭＢ３１１と最も相関の高いＭＢ
（以下、予測ＭＢという）３２３を探索（ブロックマッ
チング）し、その予測ＭＢ３２３の参照ピクチャ３２内
での位置と、原画ＭＢ３１１の原画ピクチャ３１内での
位置とのずれが動きベクトル（相関情報）３０として表
わされるようになっている。

【００３３】なお、原画ＭＢ３１１と予測ＭＢ３２３と
の相関は、一般に、画素のもつ特徴情報（輝度信号や色
差信号など）についての差分の絶対値和や２乗和などに
よって求められ、その値（動き探索評価値）が小さいほ
ど両者の相関が高いと判断される。また、得られた動き
ベクトルは、符号化情報に多重化される。さらに、予測
判定器６は、符号化対象のピクチャの属性や構造（フレ
ーム又はフィールド）に基づいて予測モード〔ピクチャ
（フレーム／フィールド）内／間予測〕を判定し、その
判定結果に応じてスイッチ８及び１２を制御するととも
に、判定結果に応じた最適な動きベクトル（フレーム／
フィールド用）を減算器７及び加算器１１へ出力するた
めのものである。

【００３４】なお、上記のピクチャの属性とは、ピクチ
ャ内予測を行なうべき画像かピクチャ間予測を行なうべ
き画像かなどを意味し、例えば、ＭＰＥＧ方式の場合な
ら、Ｉピクチャ（Intra-coded picture）やＰピクチャ
（Predictive-coded picture）／Ｂピクチャ（Bidirect
ionally predictive-coded picture）などの違いに相当
する。

【００３５】そして、上記の予測判定器６は、例えば、
予測モードが、ピクチャ内予測であれば、スイッチ８及
び１２をそれぞれ減算器７及び加算器１１側とは逆側に
切り替えることで、原画ＭＢそのものが符号化器９にて
独立して符号化（ピクチャ内符号化）されるように制御
する一方、ピクチャ間予測であれば、スイッチ８及び１
２をそれぞれ減算器７及び加算器１１側に切り替えると
ともに、ピクチャ間予測モードに応じた動きベクトル
（フレーム／フィールド用）を減算器７及び加算器１１
にそれぞれ出力する。

【００３６】これにより、減算器７にて原画ＭＢから動
きベクトルを除いた差分画像データが符号化器９に入力
されて符号化される一方、その符号化データを局所復号
化器１０で復号した差分画像データに、上記の動きベク
トルが加算器１１にて加算されて元の原画ＭＢが再生さ
れフレームメモリ２に再度保持されることになる。な
お、動きベクトル探索器５によって得られた動きベクト
ルは、場合によっては使用しない方が良い場合がある
（ピクチャ間予測符号化対象の画像でもピクチャ内予測
符号化を行なった方が符号化効率が良い場合もある）。
このような場合には、予測判定器６は、ピクチャ間予測
符号化を行なうべき場合でも、動きベクトル探索器５に
よって得られた動きベクトルは使用（出力）せず、スイ
ッチ８及び１２をそれぞれ減算器７及び加算器１１側と
は逆側に切り替えて、ピクチャ内予測符号化が行なわれ
るようにする。

【００３７】次に、上記の符号化器９は、スイッチ８か
ら選択出力されてくる画像データをＭＢ単位に符号化す
るもので、例えば、ＭＰＥＧ方式の場合であれば、ＤＣ
Ｔ（Discrete Cosine Transform）による直行変換，量
子化及び可変長符号化の各処理が符号化処理として含ま
れることになる。また、局所復号化器１０は、ピクチャ
間予測符号化を行なう基本原理として、過去に符号化し
たピクチャと符号化対象のピクチャとの差分情報を得る
必要があるので、符号化器１０で符号化されたデータを
復号することにより過去に符号化したピクチャを再生す
るもので、ＭＰＥＧ方式の場合であれば、逆量子化及び
逆ＤＣＴの各処理が局所復号化処理として含まれること
になる。なお、局所復号化処理は、ＭＰＥＧ方式の場
合、上記の符号化器９における可変長符号化処理前のデ
ータを用いて行なうのが一般的であるので、逆可変復号
化処理は含まないのが普通である。

【００３８】つまり、図１において、特殊効果シーン検
出装置１３以外の部分は、符号化対象のピクチャを過去
に符号化したピクチャとの相関に基づいて予測符号化す
る予測符号化部２１として機能するのである。次に、上
記の特殊効果シーン検出装置１３において、入力画像情
報統計取得器（輝度情報統計取得部）１４は、フレーム
メモリ２に蓄積された符号化対象のピクチャの特徴情報
としての輝度信号（輝度情報）についての統計情報（輝
度平均；第１統計情報）を取得するためのもので、例え
ば、フレーム輝度平均を求める場合は、フレーム内の画
素集合をU、フレーム輝度平均をAvePとすると、フレー
ム輝度平均AvePは、例えば、次式（３）によって求めら
れる。

【００３９】

【数１】

【００４０】なお、この輝度平均の算出は、必ずしもピ
クチャ内の全画素を用いる必要はなく、一部の画素を用
いるようにしてもよい。一方、上記の動き情報統計取得
器（動きベクトル情報統計取得部）１５は、符号化対象
のピクチャと過去に符号化したピクチャとの間の動きベ
クトルについての統計情報（第２統計情報）として動き
ベクトル平均及び分散を取得するためのもので、例え
ば、各ＭＢで得られた動きベクトルを累積してゆき、累
積動きベクトルをピクチャのＭＢ数で割ることにより動
きベクトル平均を得ることができ、各動きベクトルと動
きベクトル平均との差の２乗和や絶対値和を求めてＭＢ
数で割ることにより動きベクトル分散を得ることができ
る。

【００４１】即ち、フレーム内のＭＢ集合をＶ、各動き
ベクトルをVec_i、ピクチャのＭＢ数をNum_I、動きベク
トルの値を（水平成分，垂直成分）＝（VecH_i，VecV_
i）とし、水平成分の平均値（以下、単に「水平平均
値」という）をＡＨ、水平成分の分散値（以下、単に
「水平分散値」という）をＶＨ、垂直成分の平均値（以
下、単に「垂直平均値」という）をＡＶ、垂直成分の分
散値（以下、単に「垂直分散値」という）をＶＶとそれ
ぞれ表わすと、動き情報統計取得器１５は、それぞれ次
式（４）〜（７）で表わされる演算により、動きベクト
ルの水平成分及び垂直成分についての平均及び分散をそ
れぞれ求めることができる。

【００４２】

【数２】

【００４３】このため、本実施形態の動き情報統計取得
器１５には、例えば図２中に示すように、上記の式
（４）による演算によって水平平均値ＡＨを求める水平
動きベクトル平均演算器１５１、上記の式（５）による
演算によって水平分散値ＶＨを求める水平動きベクトル
分散演算器１５２、上記の式（６）による演算によって
垂直平均値ＡＶを求める垂直動きベクトル平均演算器１
５３、上記の式（７）による演算によって垂直分散値Ｖ
Ｖを求める垂直動きベクトル分散演算器１５４がそなえ
られている。

【００４４】なお、上記の例は、各動きベクトルと動き
ベクトル平均との差の絶対値和をとる場合であるが、勿
論、２乗和をとるようにしてもよい。また、以下におい
て、動きベクトルの水平成分及び垂直成分についての平
均及び分散を特に区別しない場合は、単に「動きベクト
ル平均」及び「動きベクトル分散」と称することにす
る。

【００４５】次に、上記の特殊シーン検出器（特殊効果
シーン検出部）１６は、上記の各統計取得器１４，１５
によって得られた各統計情報（輝度平均，動きベクトル
平均及び分散）に基づいて符号化対象のピクチャが、フ
ェードやパニング，チルトなどの特殊効果シーンである
ことを検出するためのもので、ここでは、上記の各統計
情報が、図２により後述するように、閾値Ｌ１，Ｌ２，
ＭＨ１〜ＭＨ３，ＭＶ１〜ＭＶ３によって規定される所
定の第１検出条件を満足すると符号化対象のピクチャが
フェードシーンであると判断し、第２検出条件を満足す
ると符号化対象のピクチャがパニングもしくはチルトの
シーンであると判断するようになっている。

【００４６】つまり、上記の特殊シーン検出器１６は、
上記の各統計情報が所定の第１検出条件を満足すると符
号化対象のピクチャがフェードシーンであることを検出
するフェード検出部としての機能と、上記の各統計情報
が所定の第２検出条件を満足すると符号化対象のピクチ
ャがパニングあるいはチルトのシーンであることを検出
するパニング／チルト検出部としての機能とを兼ね備え
ているのである。

【００４７】そして、制御部１７は、上記の特殊シーン
検出器１６（特殊効果シーン検出装置１３）にて符号化
対象のピクチャが特殊効果シーンであると判断された場
合に、検出された特殊効果シーンの種別（フェードやパ
ニング／チルトなど）に応じて、符号化状態を制御する
ためのもので、本実施形態では、特殊シーン検出器１６
にて、後述するように特殊効果シーンとして、フェード
シーンが検出された場合には、動きベクトルを制御する
一方、パニングやチルトのシーンが検出された場合に
は、動きベクトル探索器５による動きベクトル探索範囲
を動きベクトルについての統計に基づいてシフト制御す
るようになっている。

【００４８】例えば、本実施形態では、特殊効果シーン
としてフェードシーンが検出された場合には、全ての動
きベクトルを強制的にゼロベクトルにすることで、不要
な動きベクトルが選択（符号化）されないようにピクチ
ャの符号化状態を制御して符号化効率を上げることがで
きる。一方、特殊効果シーンとしてパニングやチルトの
シーンが検出された場合には、動きベクトルの統計から
動き方向を判別して、その方向へ動きベクトル探索範囲
をシフトすることで、パニングやチルトのシーンに対し
ても演算量を増やすことなく必要な動きベクトルを精度
良く求めて符号化効率を上げることができる。

【００４９】つまり、本実施形態の制御部１７は、特殊
シーン検出器１６にてフェードシーンが検出されると動
きベクトルを制御して予測符号化部２１での符号化状態
を制御する動きベクトル情報制御部としての機能と、特
殊シーン検出器１６にてパニングあるいはチルトのシー
ンが検出されると動きベクトルの統計情報に基づいて動
きベクトル探索器５での探索範囲をシフト制御する探索
範囲シフト制御部としての機能とを兼ね備えているので
ある。

【００５０】以下、上述のごとく構成された本実施形態
の動画像符号化装置１（特殊効果シーン検出装置１３）
の動作について、図２に示すフローチャートを参照しな
がら詳述する。なお、予測符号化部２１での基本的な動
作については従来と同様である。即ち、最初の符号化対
象のピクチャについては、ピクチャ内符号化が行なわ
れ、原画ＭＢがそのまま符号化される。そして、以降の
継続するピクチャについては、それぞれ前に符号化した
ピクチャとの差分を符号化するために動き予測が行なわ
れる。即ち、より原画ＭＢに相関の高いＭＢが参照ブロ
ック内で探索され、原画ＭＢのピクチャ内での位置と予
測ＭＢの参照ブロック内での位置の相対的なずれが動き
ベクトルとして求められて符号化情報に多重化される。

【００５１】一方、特殊効果シーン検出装置１３におい
ては、まず、入力画像情報統計取得器１４にて、符号化
対象のピクチャについての輝度平均AvePが求められ、前
ピクチャについての輝度平均AvePとの差分Ｄ（以下、輝
度平均差分Ｄともいう）が求められる。そして、この差
分Ｄと第１の閾値Ｌ１とが特殊シーン検出器１６におい
て比較されて、差分Ｄが閾値Ｌ１よりも大きいか否かが
判別される（ステップＳ１）。この結果、差分Ｄが閾値
Ｌ１以下であるようなら、輝度平均の変化があまり無い
と思われるのでフェード検出条件から外れる（フェード
非検出；ステップＳ１のＮＯルート）。なお、上記の閾
値Ｌ１としては、例えば、２〜５程度の値を設定するの
が適当である。

【００５２】これに対し、上記の差分Ｄが閾値Ｌ１より
も大きければ、フェードシーンの可能性があるので、特
殊シーン検出器１６は、次に、差分Ｄと第２の閾値Ｌ２
とを比較して、差分Ｄの方が閾値Ｌ２よりも小さいかど
うかを判別する（ステップＳ１のＹＥＳルートからステ
ップＳ２）。なお、上記の閾値Ｌ２は、Ｌ２＞Ｌ１を満
足する値で、例えば、２０程度を設定するのが適当であ
る。

【００５３】この結果、差分Ｄが閾値Ｌ２以上であれ
ば、フェードシーンとは異なりピクチャ間の相関がかな
り低いシーンチェンジが発生していると思われるので、
この場合も、フェード検出条件から除外される（フェー
ド非検出；ステップＳ２のＮＯルート）。ちなみに、シ
ーンチェンジ発生の場合には、ピクチャ内符号化を使用
した方が一般的に符号化効率が良い。

【００５４】一方、上記の差分Ｄが第２の閾値Ｌ２より
も小さければ、特殊シーン検出器１６は、次に、水平動
きベクトル平均演算器１５１〔式（４）参照〕によって
求められた水平平均値ＡＨとその水平平均値ＡＨについ
ての閾値ＭＨ１とを比較（絶対値比較）して、水平平均
値ＡＨの方が閾値ＭＨ１よりも小さいかどうかを判別す
る（ステップＳ２のＹＥＳルートからステップＳ３）。
なお、上記の閾値ＭＨ１としては、例えば、１０〜１６
程度の値を設定するのが適当である。

【００５５】上記の判別の結果、水平平均値ＡＨが閾値
ＭＨ１以上であれば、動きベクトルの水平成分の方向が
或る程度揃っていることになるので、そのときの符号化
対象のピクチャ（シーン）はフェードシーンではなくパ
ニングのシーンである可能性が高いと判断されて、フェ
ード検出条件からは除外される（フェード非検出；ステ
ップＳ３のＮＯルート）。

【００５６】一方、水平平均値ＡＨの方が閾値ＭＨ１よ
りも小さければ、特殊シーン検出器１６は、次に、水平
動きベクトル分散演算器１５２〔式（５）参照〕によっ
て求められた水平分散値ＶＨと、その水平分散値ＶＨに
ついての閾値ＭＨ２とを比較して、水平分散値ＶＨの方
が閾値ＭＨ２よりも大きいかどうかを判別する（ステッ
プＳ３のＹＥＳルートからステップＳ４）。なお、上記
の閾値ＭＨ２は、ＭＨ２＜ＭＨ１を満足する値で、例え
ば、ＭＨ１／３程度の値を設定するのが適当である。

【００５７】この結果、水平分散値ＶＨが閾値ＭＨ２以
下であれば、水平平均値ＡＨも水平分散値ＶＨも小さい
ということになるので、フェードシーン時に発生する動
き予測効率の低下が発生していないと思われるので、こ
の場合も、フェード検出条件から除外される（フェード
非検出；ステップＳ４のＮＯルート）。一方、水平分散
値ＶＨが閾値ＭＨ２よりも大きければ、特殊シーン検出
器１６は、次に、垂直動きベクトル平均演算器１５３
〔式（６）参照〕によって求められた垂直平均値ＡＶ
と、その垂直平均値ＡＶについての閾値ＭＶ１とを比較
（絶対値比較）して、垂直平均値ＡＶが閾値ＭＶ１より
も小さいかどうかを判別する（ステップＳ４のＹＥＳル
ートからステップＳ５）。なお、上記の閾値ＭＶ１に
は、水平平均値についての閾値ＭＨ１と同程度の値を設
定するのが適当である。

【００５８】この結果、垂直平均値ＡＶが閾値ＭＶ１以
上であれば、チルトシーンの可能性があるので、フェー
ド検出条件からは除外される（フェード非検出；ステッ
プＳ５のＮＯルート）。一方、垂直平均値ＡＶが閾値Ｍ
Ｖ１よりも小さければ、特殊シーン検出器１６は、次
に、垂直動きベクトル分散演算器１５４〔式（７）参
照〕によって求められた垂直分散値ＶＶと、その垂直分
散値ＶＶについての閾値ＭＶ２とを比較して、垂直分散
値ＶＶが閾値ＭＶ２よりも大きいか否かを判別する（ス
テップＳ５のＹＥＳルートからステップＳ６）。なお、
上記の閾値ＭＶ２は、ＭＶ２＜ＭＶ１を満足する値で、
例えば、ＭＶ１／３程度の値を設定するのが適当であ
る。

【００５９】その結果、垂直分散値ＶＶが閾値ＭＶ２以
下であれば（ステップＳ６でＮＯと判定されれば）、垂
直平均値ＡＶも垂直分散値ＶＶも小さいことになるの
で、この場合も、フェードシーン時に発生する動き予測
効率の低下が発生していないと思われるので、フェード
検出条件から外れる（フェード非検出）。これに対し、
垂直分散値ＶＶが閾値ＭＶ２よりも大きい場合は、符号
化対象のピクチャがフェードシーンである可能性が非常
に高いと判断される（フェード検出；ステップＳ６のＹ
ＥＳルート）。

【００６０】つまり、本実施形態の特殊シーン検出器１
６は、前記の第１検出条件として、Ｄ＞Ｌ１，Ｄ＜Ｌ
２，ＡＨ＜ＭＨ１，ＶＨ＞ＭＨ２，ＡＶ＜ＭＶ１及びＶ
Ｖ＞ＭＶ２という条件を全て満足した場合に初めて、符
号化対象のピクチャがフェードシーンであると判断する
のである。従って、輝度平均だけをみるとフェードシー
ンと似た特徴を示すフェードシーン以外のシーン（パニ
ングやチルトなど）をフェードシーンとして誤検出して
しまう確率が大幅に低減されて、正確なフェード検出が
実現される。

【００６１】そして、このようにして、フェードシーン
が検出されると、特殊シーン検出器１６は、制御部１７
に対してフェード検出信号を出力し、これにより、制御
部１７は、動きベクトル探索器５で得られる全ての動き
ベクトルを強制的にゼロベクトルに制御する。これによ
り、フェードシーンにおいて不要な動きベクトルが選択
（符号化）されて符号化効率が落ちることを確実に回避
することができ、フェードシーンでの符号化効率を飛躍
的に向上することができる。

【００６２】ところで、上記のステップＳ３（Ｓ５）に
おいて水平平均値ＡＨ（垂直平均値ＡＶ）が閾値ＭＨ１
（ＭＶ１）以上であった場合、特殊シーン検出器１６
は、上述したフェード検出と並行して、水平動きベクト
ル分散演算器１５２（垂直動きベクトル分散演算器１５
４）によって求められた水平分散値ＶＨ（垂直分散値Ｖ
Ｖ）と、その水平分散値ＶＨ（垂直分散値ＶＶ）につい
ての閾値ＭＨ３（ＭＶ３）とを比較して、水平分散値Ｖ
Ｈ（垂直分散値ＶＶ）が閾値ＭＨ３（ＭＶ３）よりも小
さいかどうかを判別している〔ステップＳ３（Ｓ５）の
ＮＯルートからステップＳ７（Ｓ８）〕。

【００６３】なお、上記の閾値ＭＨ３（ＭＶ３）には、
閾値ＭＨ２（ＭＶ２）と同じ値を設定してもよいが、或
る程度以上動きベクトルがばらついていることを検出す
るための閾値ＭＨ２（ＭＶ２）と、或る程度以上動きベ
クトルが揃っていることを検出するための閾値ＭＨ３
（ＭＶ３）というように検出目的が異なるので、上述し
たように、各値は異なる値〔ＭＨ２＞ＭＨ３（ＭＶ２＞
ＭＶ３）〕に設定するのが好ましい。

【００６４】そして、上記の判別の結果、水平分散値Ｖ
Ｈ（垂直分散値ＶＶ）が閾値ＭＨ３（ＭＶ３）よりも小
さければ、特殊シーン検出器１６は、そのときの符号化
対象のピクチャがパニング（チルト）のシーンであると
判別して〔パニング（チルト）検出；ステップＳ７（Ｓ
８）のＹＥＳルート〕、パニング（チルト）検出信号を
制御部１７へ出力する。なお、水平分散値ＶＨ（垂直分
散値ＶＶ）が閾値ＭＨ３（ＭＶ３）以上の場合は、動き
ベクトルが或る程度ばらついていることになるので、パ
ニング（チルト）検出条件からは外れる〔パニング（チ
ルト）非検出；ステップＳ７（Ｓ８）のＮＯルート〕。

【００６５】つまり、特殊シーン検出器１６は、前記の
第２検出条件として、Ｄ＞Ｌ１及びＤ＜Ｌ２という条件
を満足するとともに、ＡＨ≧ＭＨ１及びＶＨ＜ＭＨ３
（ＡＶ≧ＭＶ１及びＶＶ＜ＭＶ３）という条件を満足し
た場合に初めて、符号化対象のピクチャがパニング（チ
ルト）のシーンであると判断するのである。従って、輝
度平均だけをみる場合に比して、より正確にパニングや
チルトのシーンを検出することができる。

【００６６】そして、上述のごとくパニング（チルト）
が検出されてパニング（チルト）検出信号が制御部１７
に出力されると、制御部１７は、動きベクトルの統計か
ら動きの（パニング又はチルトの）方向を判別し、その
方向へ動きベクトル探索範囲３２２を平均動き量だけシ
フトする。例えば図５に模式的に示すように、元の動き
ベクトル探索範囲３２２が[ＭｉｎＨ，ＭａｘＨ]である
場合に、パニングが検出されると、制御部１７は、 [Ｍ
ｉｎＨ＋ＡＨ，ＭａｘＨ＋ＡＨ]というように元の探索
範囲３２２を水平方向に平均動き量ＡＨだけシフトす
る。これにより、パニングやチルトなどの一定方向へ移
動するシーンに対しても動きベクトルを求めるための演
算量を増やすことなく、必要な動きベクトルを精度良く
求めて符号化効率を上げることができる。

【００６７】なお、演算量は増えるが、勿論、上記の平
均動き量分だけ元の探索範囲３２２を拡大しても、パニ
ングやチルトなどのシーンにおける動きベクトルを精度
良く求めることは可能である。また、符号化を行なって
いる場合、フェードやパニング，チルトなどが生じ始め
た最初のピクチャから符号化効率が悪くなったのを視覚
的に認知することは非常に困難であるため、制御部１７
は、上述したフェード（パニング／チルト）検出が所定
フレーム分連続して発生したことを確認した上で、上述
したような制御を実行するようにしてもよい。このよう
にすることで、フェードやパニング，チルトなどのシー
ンと、ズームアウトやズームインのシーンとを区別する
ことも可能になり、より正確な検出を行なうことが可能
である。

【００６８】さらに、動きベクトルがフレーム枠の外側
を指すことは一般に考えられないため、動きベクトルの
方向に制限があるフレーム枠側の方のＭＢを除いて、動
きベクトルの統計処理を行なうのも良い方法である。こ
れは、輝度平均の統計で必ずしも全画素を用いる必要が
ないことと同様である。また、フェード検出時の制御部
１７による符号化制御としては、上記のように全ての動
きベクトルを０ベクトルにするのではなく、より０ベク
トルに近いベクトルが選択されやすいように、重み付け
制御を行なう方法も考えられる。例えば、動きベクトル
を求める際に行なうブロックマッチング処理の評価値
に、動きベクトルの大きさに比例する補正量を加算した
上で、ブロックマッチングを行なうことにより、より０
ベクトルに近いベクトルが選択されやすいようにしても
よい。

【００６９】また、前記の輝度平均や動きベクトル平
均，動きベクトル分散の各演算には、必ずしも前記の式
（３）〜式（７）を用いる必要はなく、より簡単な演算
を用いてもよい。例えば、演算量削減のために割り算の
処理を省いて単なる累積値を求めるようにしても構わな
いし、１画素飛びに累積を行なうなど、ピクチャ内の全
画素の部分集合を用いて処理を行なうことも可能であ
る。ただし、演算式が変わるとそれに応じて設定する閾
値（Ｌ１，Ｌ２，ＭＨ１〜ＭＨ３，ＭＶ１〜ＭＶ３）も
変更する必要がある。

【００７０】さらに、上記の例では、フェードシーンの
検出のために、動きベクトルの水平成分及び垂直成分の
双方についての平均値及び分散値を用いているが、水平
成分及び垂直成分のいずれか一方のみを用いるようにし
てもよいし、平均値及び分散値のいずれか一方のみを用
いるようにしてもよい。また、上記の例では、特殊シー
ン検出器１６が、フェード検出とパニング／チルト検出
とで兼用になっているが、フェード検出専用あるいはパ
ニング／チルト検出専用の検出器として構成してもよ
い。即ち、特殊シーン検出器１６は、例えば図６に示す
フェード検出フロー（アルゴリズム）に従って動作する
ように構成してもよいし、図７に示すパニング／チルト
検出フロー（アルゴリズム）に従って動作するように構
成してもよい。なお、図６及び図７に示すフローチャー
トにおいて、図２により上述したステップ番号と同一ス
テップ番号を付した処理は、図２により上述した処理と
同様であるものとする。

【００７１】さらに、特殊シーン検出器１６をパニング
／チルト検出専用の検出器として構成する場合には、必
ずしも輝度平均は用いなくてもよく、例えば図８に示す
ように、動きベクトルの統計のみでパニングやチルトの
シーン検出を行なうようにしてもよい。ただし、パニン
グやチルトのシーンが検出された場合は、必ず上記の動
きベクトル探索範囲のシフト制御を行なうのが前提であ
る。

【００７２】そして、本発明は、上述した実施形態に限
定されるものではなく、本発明の趣旨を逸脱しない範囲
で種々変形して実施することができる。 ・付記 （付記１） 入力画像を過去に符号化した画像との相関
情報に基づいて予測符号化する予測符号化部と、該入力
画像のもつ特徴情報についての第１統計情報と、該相関
情報についての第２統計情報とに基づいて該入力画像の
特殊効果シーンを検出する特殊効果シーン検出部と、該
特殊効果シーン検出部で検出された特殊効果シーンに応
じて該予測符号化部による該入力画像の符号化状態を制
御する制御部とをそなえて構成されたことを特徴とす
る、動画像符号化装置。

【００７３】（付記２） 該特殊効果シーン検出部が、
該入力画像の輝度情報についての統計情報を該第１統計
情報として取得する輝度情報統計取得部と、該入力画像
と過去に符号化した画像との間の動きベクトル情報につ
いての統計情報を該第２統計情報として取得する動きベ
クトル情報統計取得部と、上記の各統計情報が所定の第
１検出条件を満足すると該入力画像が該特殊効果シーン
としてのフェードシーンであることを検出するフェード
検出部とをそなえて構成されるとともに、該制御部が、
該フェード検出部にて該フェードシーンが検出されると
該動きベクトル情報を制御して該符号化状態を制御する
動きベクトル情報制御部として構成されていることを特
徴とする、付記１記載の動画像符号化装置。

【００７４】（付記３） 該輝度情報統計取得部が、該
入力画像の全画素もしくは一部の画素についての輝度情
報の平均値もしくは累積値を該第１統計情報として取得
するように構成されたことを特徴とする、付記２記載の
動画像符号化装置。 （付記４） 該動きベクトル情報制御部が、該フェード
検出部にて該フェードシーンが検出されると、全ての動
きベクトル情報をゼロに制御するように構成されたこと
を特徴とする、付記２又は付記３に記載の動画像符号化
装置。

【００７５】（付記５） 該動きベクトル情報制御部
が、該フェード検出部にて該フェードシーンが検出され
ると、よりゼロに近い動きベクトル情報が有効な動きベ
クトル情報として選択されやすいよう該動きベクトル情
報の補正を行なうように構成されたことを特徴とする、
付記２又は付記３記載の動画像符号化装置。

【００７６】（付記６） 該予測符号化部が、該相関情
報としての動きベクトル情報を得るために符号化対象の
入力画像を所定の画素探索範囲で探索する動きベクトル
情報探索部をそなえるとともに、該特殊効果シーン検出
部が、該入力画像の輝度情報についての統計情報を該第
１統計情報として取得する輝度情報統計取得部と、該動
きベクトル情報についての統計情報を該第２統計情報と
して取得する動きベクトル情報統計取得部と、上記の各
統計情報が所定の第２検出条件を満足すると該入力画像
が該特殊効果シーンとしてのパニングあるいはチルトの
シーンであることを検出するパニング／チルト検出部と
をそなえて構成され、且つ、該制御部が、該パニング／
チルト検出部で上記のパニングあるいはチルトのシーン
が検出されると該第２統計情報に基づいて該動きベクト
ル情報探索部での該画素探索範囲をシフト制御する探索
範囲シフト制御部として構成されていることを特徴とす
る、付記１記載の動画像符号化装置。

【００７７】（付記７） 該制御部が、該特殊効果シー
ン検出部にて所定回数連続して同じ種類の特殊効果シー
ンが検出されると、該符号化状態の制御を実行するよう
に構成されたことを特徴とする、付記１記載の動画像符
号化装置。 （付記８） 過去に符号化した画像との相関情報として
動きベクトル情報を得るために符号化対象の入力画像を
所定の画素探索範囲で探索する動きベクトル情報探索部
と、該動きベクトル情報探索部によって得られた該動き
ベクトル情報に基づいて該入力画像を予測符号化する予
測符号化部と、該動きベクトル情報についての統計情報
に基づいて該入力画像の特殊効果シーンを検出する特殊
効果シーン検出部と、該特殊効果シーン検出部で該特殊
効果シーンが検出されると該統計情報に応じて該動きベ
クトル情報探索部での該画素探索範囲をシフト制御する
探索範囲シフト制御部とをそなえて構成されたことを特
徴とする、動画像符号化装置。

【００７８】（付記９） 入力画像のもつ特徴情報につ
いての統計情報を取得する第１統計情報取得部と、予測
符号化対象の入力画像と過去に符号化された画像との相
関情報についての統計情報を取得する第２統計情報取得
部と、上記の各統計情報取得部によって得られた各統計
情報に基づいて該入力画像の特殊効果シーンを検出する
特殊効果シーン検出部とをそなえて構成されたことを特
徴とする、動画像の特殊効果シーン検出装置。

【００７９】（付記１０）入力画像を過去に符号化した
画像との相関情報に基づいて予測符号化する予測符号化
ステップと、該入力画像のもつ特徴情報についての第１
統計情報と、該相関情報についての第２統計情報とに基
づいて該入力画像の特殊効果シーンを検出する特殊効果
シーン検出ステップと、該特殊効果シーン検出ステップ
で検出された該特殊効果シーンに応じて該予測符号化ス
テップでの該入力画像の符号化状態を制御する制御ステ
ップとを有して成ることを特徴とする、動画像符号化方
法。

【００８０】（付記１１） 過去に符号化した画像との
相関情報として動きベクトル情報を得るために符号化対
象の入力画像を所定の画素探索範囲で探索する動きベク
トル情報探索ステップと、該動きベクトル情報探索ステ
ップによって得られた該動きベクトル情報に基づいて該
入力画像を予測符号化する予測符号化ステップと、該動
きベクトル情報についての統計情報に基づいて該入力画
像の特殊効果シーンを検出する特殊効果シーン検出ステ
ップと、該特殊効果シーン検出ステップで該特殊効果シ
ーンが検出されると該統計情報に基づいて該画素探索範
囲をシフト制御する探索範囲シフト制御ステップとを有
して成ることを特徴とする、動画像符号化方法。

【００８１】（付記１２） 入力画像のもつ特徴情報に
ついての統計情報と、予測符号化対象の入力画像と過去
に符号化された画像との相関情報についての統計情報と
をそれぞれ取得する統計情報取得ステップと、上記の統
計情報取得ステップによって得られた各統計情報に基づ
いて該入力画像の特殊効果シーンを検出する特殊効果シ
ーン検出ステップとを有して成ることを特徴とする、動
画像の特殊効果シーン検出方法。

【００８２】

【発明の効果】以上詳述したように、本発明によれば、
入力画像のもつ特徴情報についての第１統計情報のみな
らず、予測符号化時の相関情報についての第２統計情報
をも用いて入力画像の特殊効果シーンを検出することが
できるので、一方の統計情報だけをみると本来検出した
い特殊効果シーンと特徴の似た入力画像（シーン）で
も、他方の統計情報が本来検出したい特殊効果シーンの
特徴を示していなければ検出対象の特殊効果シーンから
除外することができ、所望の特殊効果シーンの検出精度
を大幅に向上することができる（請求項１，５）。

【００８３】そして、この上で検出された特殊効果シー
ンに応じて予測符号化部による符号化状態を制御するこ
とで予測符号化誤差の低減を図ることができるので、特
殊効果シーンに対する符号化効率を飛躍的に向上するこ
とができる（請求項１）。例えば、上記の特殊効果シー
ン検出部において、入力画像の輝度情報についての統計
情報と動きベクトル情報についての統計情報とがそれぞ
れ所定の第１条件を満足しない限り、入力画像がフェー
ドシーンであるとは検出しないようにすれば、動きベク
トル情報についての統計情報がフェードシーン以外の特
徴を示すような入力画像をフェードシーンと誤検出して
しまうことを回避することができるので、正確なフェー
ドシーン検出が実現できる。そして、フェードシーン検
出時には、動きベクトル情報を制御することで、誤った
動きベクトル情報の符号化による符号化効率の低下を回
避できるので、フェードシーンの符号化効率を大幅に向
上することができる（請求項２）。

【００８４】また、上記の特殊効果シーン検出部におい
て、上記の各統計情報が所定の第２条件を満足しない限
り、入力画像がパニングやチルトのシーンであるとは検
出しないようにすれば、パニングやチルトのシーンを正
確に検出することができる。そして、この場合、動きベ
クトル情報の探索範囲を動きベクトル情報の統計情報に
基づいてシフト制御すれば、動きベクトル情報探索のた
めの演算量を増大させることなく、パニングやチルトの
シーンに応じた必要な動きベクトル情報を確実に得るこ
とができるので、パニングやチルトのシーンの符号化効
率を大幅に向上することができる（請求項３）。

【００８５】なお、動きベクトル情報の探索範囲につい
てのシフト制御は、動きベクトル情報のみから特殊効果
シーンが検出された場合に適用してもよく、この場合
も、動きベクトル情報探索のための演算量を増大させる
ことなく、パニングやチルトなどの特殊効果シーンに応
じた必要な動きベクトル情報を確実に得ることができる
ので、その特殊効果シーンの符号化効率を大幅に向上す
ることができる（請求項４）。

【図面の簡単な説明】

【図１】本発明の一実施形態としての動画像符号化装置
の構成を示すブロック図である。

【図２】図１に示す動画像符号化装置（特殊効果シーン
検出装置）の動作（処理手順）を説明するためのフロー
チャートである。

【図３】動きベクトル探索範囲を説明するための模式図
である。

【図４】動きベクトルの定義を説明するための模式図で
ある。

【図５】本実施形態に係るパニング／チルトシーン検出
時の動きベクトル探索範囲のシフト制御を説明するため
の模式図である。

【図６】図２に示す処理手順の変形例（フェード検出専
用時）を示すフローチャートである。

【図７】図２に示す処理手順の変形例（パニング／チル
ト検出専用時）を示すフローチャートである。

【図８】図２に示す処理手順の変形例（パニング／チル
ト検出専用で動きベクトルの統計のみを用いる場合）を
示すフローチャートである。

【符号の説明】

１ ディジタル動画像符号化装置 ２ フレームメモリ ３ 原画マクロブロック（ＭＢ）取得 ４ 参照ブロック取得器 ５ 動きベクトル探索器（動きベクトル情報探索部） ６ 予測判定器 ７ 減算器 ８，１２ スイッチ ９ 符号化器 １０ 局所復号化器 １１ 加算器 １３ 特殊効果シーン検出装置 １４ 入力画像情報統計取得器（輝度情報統計取得部） １５ 動き情報統計取得器（動きベクトル情報統計取得
部） １６ 特殊シーン検出器（特殊効果シーン検出部；フェ
ード検出部，パニング／チルト検出部） １７ 制御部（動きベクトル情報制御部，探索範囲シフ
ト制御部） ２１ 予測符号化部 ３０ 動きベクトル ３１ 原画ピクチャ ３２ 参照ピクチャ １５１ 水平動きベクトル平均演算器 １５２ 水平動きベクトル分散演算器 １５３ 垂直動きベクトル平均演算器 １５４ 垂直動きベクトル分散演算器 ３１１ 原画ＭＢ ３２１ 参照ＭＢ ３２２ 動きベクトル探索範囲 ３２３ 予測ＭＢ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK23 MA00 MA05 NN03 NN43 PP05 PP06 PP07 TA25 TA62 TB07 TC12 TC14 TD04 5J064 BA01 BB03 BB13 BC21 BD01

Claims (5)

【特許請求の範囲】
1. 【請求項１】 入力画像を過去に符号化した画像との相
   関情報に基づいて予測符号化する予測符号化部と、 該入力画像のもつ特徴情報についての第１統計情報と、
   該相関情報についての第２統計情報とに基づいて該入力
   画像の特殊効果シーンを検出する特殊効果シーン検出部
   と、 該特殊効果シーン検出部で検出された特殊効果シーンに
   応じて該予測符号化部による該入力画像の符号化状態を
   制御する制御部とをそなえて構成されたことを特徴とす
   る、動画像符号化装置。
2. 【請求項２】 該特殊効果シーン検出部が、 該入力画像の輝度情報についての統計情報を該第１統計
   情報として取得する輝度情報統計取得部と、 該入力画像と過去に符号化した画像との間の動きベクト
   ル情報についての統計情報を該第２統計情報として取得
   する動きベクトル情報統計取得部と、 上記の各統計情報が所定の第１検出条件を満足すると該
   入力画像が該特殊効果シーンとしてのフェードシーンで
   あることを検出するフェード検出部とをそなえて構成さ
   れるとともに、 該制御部が、 該フェード検出部にて該フェードシーンが検出されると
   該動きベクトル情報を制御して該符号化状態を制御する
   動きベクトル情報制御部として構成されていることを特
   徴とする、請求項１記載の動画像符号化装置。
3. 【請求項３】 該予測符号化部が、 該相関情報としての動きベクトル情報を得るために符号
   化対象の入力画像を所定の画素探索範囲で探索する動き
   ベクトル情報探索部をそなえるとともに、 該特殊効果シーン検出部が、 該入力画像の輝度情報についての統計情報を該第１統計
   情報として取得する輝度情報統計取得部と、 該動きベクトル情報についての統計情報を該第２統計情
   報として取得する動きベクトル情報統計取得部と、 上記の各統計情報が所定の第２検出条件を満足すると該
   入力画像が該特殊効果シーンとしてのパニングあるいは
   チルトのシーンであることを検出するパニング／チルト
   検出部とをそなえて構成され、且つ、 該制御部が、 該パニング／チルト検出部で上記のパニングあるいはチ
   ルトのシーンが検出されると該第２統計情報に基づいて
   該動きベクトル情報探索部での該画素探索範囲をシフト
   制御する探索範囲シフト制御部として構成されているこ
   とを特徴とする、請求項１記載の動画像符号化装置。
4. 【請求項４】 過去に符号化した画像との相関情報とし
   て動きベクトル情報を得るために符号化対象の入力画像
   を所定の画素探索範囲で探索する動きベクトル情報探索
   部と、 該動きベクトル情報探索部によって得られた該動きベク
   トル情報に基づいて該入力画像を予測符号化する予測符
   号化部と、 該動きベクトル情報についての統計情報に基づいて該入
   力画像の特殊効果シーンを検出する特殊効果シーン検出
   部と、 該特殊効果シーン検出部で該特殊効果シーンが検出され
   ると該統計情報に応じて該動きベクトル情報探索部での
   該画素探索範囲をシフト制御する探索範囲シフト制御部
   とをそなえて構成されたことを特徴とする、動画像符号
   化装置。
5. 【請求項５】 入力画像のもつ特徴情報についての統計
   情報を取得する第１統計情報取得部と、 予測符号化対象の入力画像と過去に符号化された画像と
   の相関情報についての統計情報を取得する第２統計情報
   取得部と、 上記の各統計情報取得部によって得られた各統計情報に
   基づいて該入力画像の特殊効果シーンを検出する特殊効
   果シーン検出部とをそなえて構成されたことを特徴とす
   る、動画像の特殊効果シーン検出装置。