JP2003348597A - 画像符号化装置および画像符号化方法 - Google Patents

Abstract

(57)【要約】 【課題】 ＨＤＴＶ信号のような画素数の大きい動画像
信号を分割して符号化する際、分割境界付近に発生する
符号化画像の画質の不連続を除去する動画像符号化装置
と画像符号化方法を提供する。 【解決手段】 分割境界付近処理部１５４は、画面分割
装置１１０で生成した分割画像の分割境界における分割
画像符号化装置１２０Ａ_i (i=1〜4)による符号化画像の
画質の不連続の度合いを予測し、予測結果に基づいて分
割境界付近の符号化操作量を決定する。分割画像符号化
装置１２０Ａ_i (i=1〜4)は分割境界付近処理部１５４で
決定した分割境界付近の符号化操作量に基づいて分割境
界に近接するマクロブロックの画像信号について量子化
スケールのコードを制御して符号化処理を行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像信号を圧縮符
号化する画像符号化装置とその方法に関する。

【０００２】

【従来の技術】動画像符号化方式としては、ＭＰＥＧ２
規格（ＩＳＯ／ＩＥＣ１３８１８）が広く普及してい
る。このＭＰＥＧ−２においては、主に機能の分類（シ
ンタックスの違い）を規定するプロファイルと、画像サ
イズなどの処理量の違いを規定するレベルという概念を
導入し、サポート可能な符号化性能をクラス分けしてい
る。通常、７２０×４８０画素、６０フィールド／秒の
ＩＴＵ−Ｒ６０１の画像に対してはＭＰ＠ＭＬ(Main Pr
ofile at Main Level)が、１９２０×１０８０画素、６
０フィールド／秒のＨＤＴＶの画像に対してはＭＰ＠Ｈ
Ｌ(Main Profile atHigh Level)が使用される。

【０００３】高品位テレビジョン（ＨＤＴＶ：High Def
inition TeleVision) 信号のような画素数の多い画面構
成の動画像信号を符号化あるいは復号化する装置、たと
えばＭＰ＠ＨＬの符号化および復号化を実行する装置
は、非常に高速な処理が要求されるため、実現が難し
く、非常に高価な装置となる。それに比べて、ＭＰ＠Ｍ
Ｌの符号化および復号化を実行する装置は、ＭＰ＠ＨＬ
の装置と比較して小規模で動作速度も低くてよく、すで
に画像符号化装置がＬＳＩ化されるなどして広く普及し
ているため、非常に安価に利用することができる。

【０００４】特開平１０−２３４０４３号公報に記載の
動画像符号化／復号化装置においては、ＨＤＴＶ信号の
ような画素数の多い画面構成の動画像信号を複数の画面
に分割し、分割された各画面の信号をＭＰ＠ＭＬの装置
で符号化あるいは復号化し、その処理結果を統合するこ
とにより、ＭＰ＠ＨＬの符号化あるいは復号化を行なう
方法が提案されている。すなわち、特開平１０−２３４
０４３号公報は、小規模で動作速度も低くてよい、ＭＰ
＠ＭＬの符号化および復号化を実行する装置を複数用い
て、複数の画面に分割された画像信号を並列処理して、
その結果を統合することにより、非常に高速な処理を行
うＭＰ＠ＨＬの符号化および復号化を実行する装置で行
ったと同じ効果を奏することができ、実用化が容易で装
置価格を低減できる方法を提案している。

【０００５】

【発明が解決しようとする課題】しかしながら、そのよ
うな方法により符号化を行う場合、１画面を所定の方法
で一律に分割し、複数に分割した画像について複数の画
像符号化装置が並行して独立に符号化を行うため、画像
の分割境界において画像が不連続となり、結果的に分割
領域における符号化画像の品質が低下するという問題に
遭遇する。

【０００６】図２４を参照して、中央が２個の分割画像
に分割し、２個の画像符号化装置で分割画像を処理する
場合について、上述した問題を詳述する。たとえばＭＰ
ＥＧ２のＰピクチャにおいて、画面の左から右にオブジ
ェクト、たとえば、人間の顔が動いている場合、そのオ
ブジェクトが中央の分割境界を横切ると、分割境界の右
側の分割画像信号を符号化する画像符号化装置において
は、網点で示した分割境界の右側に接する列のマクロブ
ロックの左側の分割画像が存在しないので、網点で示し
た分割境界の右側に接する列のマクロブロックの画像を
符号化しても正しい動きベクトルを得ることはできな
い。その結果、この境界部分のマクロブロックにおいて
符号化した画質の低下、または、右側のマクロブロック
の画像を符号化した画像の画質の相違が生じ、分割境界
においていかにも切ってつないだような不連続な画像と
なり、１画面全体として統合した場合適切な符号化画像
とはならない。

【０００７】上記分割境界に起因する不利益を克服する
ため、動きベクトルが他の分割画像にまたがる場合に
は、図２４に図解した例示において、左右に分割された
画像を符号化する複数、図２４の例示においては２個の
画像符号化装置相互間で画像信号を相互に転送すること
により動きベクトルを正しく求めるようにしている画像
符号化装置の提案がなされている。そのような対策を講
ずれば上述した不利益は克服でき、分割境界における画
質の不連続は生じず、２個の画像符号化装置を用いて分
割画像を同時的に並列処理して、その結果を統合する
と、１台の画像符号化装置で１画面の画像信号を符号化
した場合と同様のビデオストリームを出力することがで
きる。

【０００８】しかしながら、複数の画像符号化装置の相
互間で画像信号を転送する方法は、多量の画像信号を高
速かつ頻繁に転送を行うためのハードウェア回路の規模
が大きくなって高価な装置となり、画像信号の転送時間
も符号化処理に負担となるなどの問題に遭遇する。結
局、そのような方法を実現するとなると、業務用の専用
の画像符号化装置に適用が限られる。したがって、上述
したように、低速度、低価格の画像符号化装置を複数用
いて分担処理を行うという利点を損なうことになる。加
えて、このような方法を適用すると、画像符号化装置の
みならず、画像復号化装置にも不利益が起こる。すなわ
ち、最終的に出力されるビデオストリームは、動きベク
トルが分割画像にまたがっているため、高性能のＭＰ＠
ＨＬ専用の画像復号化装置（デコーダ）では復号処理
（デコード）が行えるが、ビデオストリームを分割して
低性能の複数のＭＰ＠ＭＬの画像復号化装置では復号す
ることができないという不利益に遭遇する。

【０００９】特開平１０−２３４０４３号公報は、これ
まで知られているＭＰ＠ＭＬエンコーダおよびＭＰ＠Ｍ
Ｌデコーダを使用して、ＨＤＴＶのような動画像信号の
エンコードおよびデコードを、分割境界で画質の不連続
が生じないように行なう装置を提案している。特開平１
０−２３４０４３号公報に開示されている装置において
は、画像をオーバーラップして分割し、分割した複数の
画像を複数のＭＰ＠ＭＬエンコーダで並行に符号化処理
し、各エンコーダから出力される複数のビデオストリー
ムをシステム多重により１つのシステム多重ストリーム
に統合している。したがってこの装置によれば、複数の
ＭＰ＠ＭＬデコーダを用いてＨＤＴＶの画像にデコード
することが可能である。しかしながら、特開平１０−２
３４０４３号公報に開示されている装置で処理するビデ
オストリームは、画像をオーバーラップして分割したも
のを符号化したものであり、基本的にＭＰ＠ＨＬのビデ
オストリームとは異なるものであるから、これまで使用
されている汎用的なエンコーダ／デコーダとは言えな
い。その結果、この装置で生成されたビデオストリーム
は、通常のＭＰ＠ＨＬのデコーダではデコードできない
という不利益に遭遇する。

【００１０】本発明の目的は、既存の小規模で安価で低
消費電力の、簡単な構成の符号化手段を組み合わせて、
ＨＤＴＶ信号のような画素数の大きい動画像信号を分割
して符号化する際に分割境界付近に発生する符号化画像
の画質の不連続を低減または除去して、全体の符号化画
像の画質を実質的に低下させることなく符号化すること
のできる画像符号化装置を提供することにある。本発明
の他の目的は、上記符号化処理を行なう画像符号化方法
を提供することにある。

【００１１】

【課題を解決するための手段】本発明の第１の観点によ
れば、入力画像をＮ個の領域に分割し、当該各領域に対
応するＮ個の分割画像信号を生成する画面分割手段と、
前記生成したＮ個の分割画像信号を各々符号化し、Ｎ個
の符号化画像信号を生成する複数の画像符号化手段と、
前記複数の画像符号化手段で生成したＮ個の符号化画像
信号を統合し、前記入力画像に対応する１個の符号化画
像信号を生成する統合手段と、前記分割画像の分割境界
における前記複数の符号化手段による符号化画像の画質
の不連続の度合いを予測し、分割境界付近の符号化操作
量を決定する分割境界付近処理手段とを具備し、前記複
数の符号化手段は、前記分割境界付近処理手段で決定し
た前記分割境界付近の符号化操作量に基づいて前記分割
した領域間の境界に近接する異なる領域に含まれる各画
像の画像信号について量子化スケールのコードを制御し
て符号化処理を行なう、画像符号化装置が提供される。

【００１２】本発明の第２の観点によれば、入力画像を
Ｎ個の領域に分割し、当該各領域に対応するＮ個の分割
画像信号を生成する画面分割工程と、前記生成したＮ個
の分割画像信号を各々符号化し、Ｎ個の符号化画像信号
を生成する画像符号化工程と、前記生成したＮ個の符号
化画像信号を統合し、前記入力画像に対応する１個の符
号化画像信号を生成する統合工程と、前記分割画像の分
割境界における前記画像符号化工程における符号化画像
の画質の不連続の度合いを予測し、分割境界付近の符号
化操作量を決定する分割境界付近処理工程とを具備し、
前記画像符号化工程において、前記分割境界付近処理工
程で決定した前記分割境界付近の符号化操作量に基づい
て前記分割した領域間の境界に近接する異なる領域に含
まれる各画像の画像信号について量子化スケールのコー
ドを制御して符号化処理を行なう、画像符号化方法が提
供される。

【００１３】画面分割手段は、複数の符号化手段で並列
に分散して符号化処理が可能なように、入力画像をＮ個
の領域に分割し、当該各領域に対応するＮ個の分割画像
信号を生成する。複数の画像符号化手段と、生成したＮ
個の分割画像信号を各々符号化し、Ｎ個の符号化画像信
号を生成する。統合手段は、複数の画像符号化手段で生
成したＮ個の符号化画像信号を統合し、入力画像に対応
する１個の符号化画像信号を生成する。分割境界付近処
理手段は、分割画像の分割境界における複数の符号化手
段による符号化画像の画質の不連続の度合いを予測し、
分割境界付近の符号化操作量を決定する。複数の符号化
手段は、分割境界付近処理手段で決定した分割境界付近
の符号化操作量に基づいて分割した領域間の境界に近接
する異なる領域に含まれる各画像の画像信号について量
子化スケールのコードを制御して符号化処理を行なう。

【００１４】好ましくは、分割境界付近処理手段は、複
数の画像符号化手段の符号化処理の時に求めた分割境界
に隣接する複数のマクロブロックの画像についてのＭＥ
残差を用いて符号化画像の画質の不連続の度合いを予測
し、予測した不連続の程度に応じて各符号化手段に対す
る前記分割境界付近の符号化操作量を決定し、決定した
符号化操作量を対応する複数の符号化手段に転送する。

【００１５】

【発明の実施の形態】第１実施の形態 本発明の画像符号化装置の第１実施の形態として動画像
符号化装置について、図１〜図１２を参照して述べる。

【００１６】動画像符号化装置の構成 図１は本発明の第１実施の形態の動画像符号化装置１０
０の構成を示すブロック図である。第１実施の形態の動
画像符号化装置１００は、画面分割装置１１０、第１〜
第４の分割画像符号化装置１２０₁ 〜１２０₄ （または
分割画像符号化装置１２０ _i (i=1〜4)）、ビデオストリ
ーム統合装置１４０および制御装置１５０を有する。本
実施の形態においては、１画面の画像信号を４分割して
第１〜第４の分割画像符号化装置１２０₁ 〜１２０₄ で
並行に独立して符号化する場合について例示する。した
がって、１画面の分割数および分割画像符号化装置の台
数（個数）は４に限定されるものではなく、例示に過ぎ
ない。

【００１７】入力動画像信号 動画像符号化装置１００には、入力動画像信号ＶＩＤＥ
Ｏとして、本実施の形態においては、図２に示すような
ＨＤＴＶ信号、すなわち、輝度信号の構成が横１９２０
画素×縦１０８０ラインで色差信号の構成が横９６０画
素×縦１０８０ラインあるような４：２：２形式のイン
ターレース信号が入力される。フレームレートは３０フ
レーム／秒である。

【００１８】画面分割装置 画面分割装置１１０は以下に述べる入力動画像信号ＶＩ
ＤＥＯのサイズ変更を行う。画面分割装置１１０は、ま
ず、入力動画像信号ＶＩＤＥＯの各フレーム画像を、フ
ィルタ処理により輝度信号を横方向１４４０画素に、色
差信号を横方向に７２０画素に変換する。ＭＰＥＧ２の
規格によりインターレース画像では縦方向のライン数は
３２の倍数でなければならないと決められているので、
画面分割装置１１０は次いで、輝度信号、色差信号とも
画像の下にそれそれ８ラインのダミーデータを付け、１
０８８ラインとする。

【００１９】画面分割装置１１０は上記のごとくサイズ
の変更処理後、１画面の入力動画像信号ＶＩＤＥＯを、
図２に示すように、輝度信号の構成が各々、縦７２０画
素×縦５４４ラインとなるような４つの領域Ａ，Ｂ，
Ｃ，Ｄに分割し、各分割領域の画像信号を第１〜第４の
分割画像符号化装置１２０₁ 〜１２０₄ に出力する。４
つの領域Ａ，Ｂ，Ｃ，Ｄに分割された画像信号（以下、
分割画像信号ＶＩＤＥＯ−Ａ，ＶＩＤＥＯ−Ｂ，ＶＩＤ
ＥＯ−Ｃ，ＶＩＤＥＯ−Ｄ（略して、ＶＩＤＥＯ−Ａ，
−Ｂ，−Ｃ，−Ｄとして示す））にする。分割画像信号
ＶＩＤＥＯ−Ａ，−Ｂ，−Ｃ，−Ｄのそれぞれは、複数
のマクロブロックからなる。各マクロブロックには複数
の画像信号が含まれている。たとえば、１マクロブロッ
クの大きさを１６画素×１６画素とすると、１個の分割
画像信号は７２０／１６×５４４／１６＝４５×３４個
のマクロブロックから構成される。

【００２０】分割画像符号化装置 第１〜第４の分割画像符号化装置１２０₁ 〜１２０₄ は
それぞれ入力された分割画像信号ＶＩＤＥＯ−Ａ，−
Ｂ，−Ｃ，−Ｄを、たとえば、ＭＰＥＧ２により符号化
して、４個のＭＰＥＧ２ビデオストリームを生成し、ビ
デオストリーム統合装置１４０に出力する。その際、各
分割画像符号化装置（以下、分割画像符号化装置１２０
_i (i=1〜4)と表す）において、対応する分割画像信号Ｖ
ＩＤＥＯ−Ａ，−Ｂ，−Ｃ，−Ｄを構成する各マクロブ
ロックに対して、分割境界との位置関係に応じて符号化
条件を決定し符号化を行なう。

【００２１】より具体的に述べると、各分割画像符号化
装置１２０_i (i=1〜4)は分割した境界との位置関係に応
じて、後述する、符号化マクロブロックタイプ、およ
び、量子化スケールコード（Ｑスケールコード）を決定
する。

【００２２】第１〜第４の分割画像符号化装置１２０₁
〜１２０₄ は同じ構成をしている。各分割画像符号化装
置１２０_i (i=1〜4)の構成を図３に示す。分割画像符号
化装置１２０_i (i=1〜4)は高性能が要求されない一般的
な、ＭＰＥＧ２−ＭＰ＠ＭＬのエンコーダとして構成さ
れている。図３に示す分割画像符号化装置１２０_i (i=1
〜4)は、画面並び換え部１２１、減算器１２２、離散コ
サイン変換処理部（ＤＣＴ処理部）１２３、量子化部１
２４、可変長符号化部１２５、バッファ１２６、レート
制御部１２７、逆量子化部１２８、逆ＤＣＴ処理部１２
９、加算器１３０、フレームメモリ１３１、動き補償予
測部１３２および分割画像符号化装置内制御部１３３を
有する。

【００２３】図３に図解した分割画像符号化装置１２０
_i (i=1〜4)の基本的な動作を説明する。分割画像符号化
装置１２０_i (i=1〜4)は、画面分割装置１１０から順次
入力されるピクチャごとの各分割画像信号に対して、図
示せぬフォーマット変換部において４：２：２形式から
４：２：０形式に変換し、画面並び換え部１２１におい
て符号化ピクチャタイプに合わせて画像信号を並べ替
え、符号化順にＤＣＴ処理部１２３においてＤＣＴ処理
を行なう。

【００２４】ピクチャタイプがＰピクチャあるいはＢピ
クチャであって、マクロブロックタイプがイントラ・マ
クロブロックでない場合には、減算器１２２は画面並べ
替え部１２１で並べ替えた画像信号から動き補償予測部
１３２の画像信号を減じて動き補償予測画像との予測誤
差を検出し、ＤＣＴ処理部１２３は予測誤差をＤＣＴ処
理してＤＣＴ係数を算出する。量子化部１２４はＤＣＴ
処理部１２３で得られたＤＣＴ係数を量子化し、可変長
符号化部１２５は量子化結果を動きベクトルおよび符号
化モード情報とともに可変長符号化し、バッファ１２６
がその結果を蓄積する。

【００２５】ピクチャタイプがＩピクチャおよびＰピク
チャの場合には、後でピクチャを動き補償予測の参照画
面として用いる必要があるため、上述した画面並べ替え
部１２１、減算器１２２、ＤＣＴ処理部１２３、量子化
部１２４、可変長符号化部１２５およびバッファ１２６
における処理の他に、復号装置が行う処理に類似した下
記の処理が行われる

【００２６】逆量子化部１２８は量子化結果を逆量子化
して量子化部１２４に入力される前のＤＣＴ係数に該当
するＤＣＲＴ係数が算出し、逆ＤＣＴ部１２９は逆量子
化結果を逆ＤＣＴ処理してＤＣＴ処理部１２３に入力さ
れる前の予測誤差に該当する値が算出し、加算器１３０
はＤＣＴ処理部１２３の結果と動き補償予測部１３２の
結果とを加算して減算器１２２に入力される前の画面並
べ替え部１２１の出力に該当する信号が算出し、加算結
果がフレームメモリ１３１に記憶される。フレームメモ
リ１３１に記憶された画像は動き補償予測部１３２にお
いて動き補償が予測されて、その結果が加算器１３０お
よび減算器１２２に入力される。

【００２７】上述した分割画像符号化装置１２０_i (i=1
〜4)の各部の処理は、分割画像符号化装置１２０_i (i=1
〜4)内の制御部１３３により制御される。

【００２８】上述した動作を行なう分割画像符号化装置
１２０_i (i=1〜4)において、下記の方法により、符号化
マクロブロックタイプの決定および量子化スケールコー
ドの決定を行なう。

【００２９】マクロブロックタイプの決定方法 分割画像符号化装置１２０_i (i=1〜4)は符号化マクロブ
ロックタイプについて、入力動画像信号ＶＩＤＥＯを分
割したときの分割境界からの位置に応じて、図４に図解
したように、イントラ化の程度を決定していく。図４は
マクロブロックの符号化タイプを強制的にイントラ・マ
クロブロックとしていく状態を例示したグラフである。
図４はＰピクチャの画像信号の縦方向の分割境界に対す
るイントラ・マクロブロック化の状態を示す図である。
入力動画像信号ＶＩＤＥＯを分割した際の分割境界に接
するマクロブロック、および、その次のマクロブロック
の符号化マクロブロックタイプを、強制的にイントラ・
マクロブロックとする。イントラ化の程度は図４に例示
したように、１００％となる。なお、分割境界に接する
マクロブロックとしては、最小１マクロブロック、必要
に応じて、数マクロブロックまで拡大することができ
る。入力動画像信号ＶＩＤＥＯの分割境界から遠ざかる
方向の各マクロブロックについては、図４に例示したよ
うに、強制的にイントラ・マクロブロックにする比率
（％）を順に下げながらも、所定の分布および所定のイ
ントラ化の程度でイントラ・マクロブロックとしてい
く。すなわち、図４に示すように、太い線で示した分割
境界に隣接するマクロブロックおよびその１列境界から
離れた側の列のマクロブロックは、網点で示したよう
に、いずれも全てイントラ化する。そして、分割境界に
対して両方向とも、分割境界から１列離れるごとに、た
とえば、図解のごとく、７０％、５０％、３５％、２５
％、１８％、１３％、９％、６％という割合で、その列
のマクロブロックをイントラ化する。

【００３０】図４に図解した例示は縦方向の分割境界に
対する状態であるが、横方向の分割境界に対しても同様
の処理を行なう。図４の例はＰピクチャに対するもので
あるが、Ｂピクチャに対しても同様に処理を行うものと
する。ただし、Ｉピクチャのマクロブロックはすべてイ
ントラ・マクロブロックなので実質的にこの処理は行な
わない。

【００３１】分割画像符号化装置１２０_i (i=1〜4)にお
けるイントラ・マクロブロック化する各マクロブロック
の位置は、図４に図解した例示のごとく固定ではなく、
ピクチャごとにランダムに変化させることができる。ラ
ンダムに変化させるとき、完全にランダムにする必要は
なく、マクロブロックのパラメータとして得られるＭＥ
残差やアクティビティなどの値の下位ビットを参照して
イントラ・マクロブロック化するマクロブロックを選択
するなど、人間の目に規則性が感じられない程度のラン
ダム性であれば何ら問題ない。そのような乱数の発生例
としては、パラメータの下位ビットを使うなどしたほう
が、ハードウエアの動作チェック時に、イントラ・マク
ロブロックになるべきマクロブロックの位置があらかじ
め求められるので望ましい。

【００３２】量子化スケールコードの決定方法 分割画像符号化装置１２０_i (i=1〜4)における量子化ス
ケールコードの決定について、図５および図６を参照し
て述べる。図５に図解した例示は、入力動画像信号ＶＩ
ＤＥＯを４分割した場合について示している。図６は補
正係数を例示したグラフである。下記の処理は分割画像
符号化装置１２０_i (i=1〜4)内の制御部１３３が分割画
像符号化装置１２０_i (i=1〜4)の各部を制御して行なわ
れる。

【００３３】分割画像符号化装置１２０_i (i=1〜4)内の
量子化部１２４は、入力動画像信号ＶＩＤＥＯについて
分割境界をはさむマクロブロックの量子化スケールコー
ド（Ｑスケールコード）あるいは量子化スケール（Ｑス
ケール）を下げる。量子化部１２４は、分割境界から離
れた列のマクロブロックについても、分割境界から離れ
るにつれて、濃淡で程度を図５に図解したように、下げ
るＱスケールコードあるいはＱスケールの大きさが徐々
に小さくなるように、各ＱスケールコードあるいはＱス
ケールを下げる。逆に、分割境界からある程度以上離れ
たマクロブロックにおいては、量子化部１２４はＱスケ
ールコードあるいはＱスケールを上げる。以下、より具
体的に述べる。

【００３４】図５に示すように、分割画像信号ＶＩＤＥ
Ｏ−Ａ，−Ｂ，−Ｃ，−Ｄそれぞれに対し、分割境界を
基準にした位置に応じてマクロブロック単位でａ〜ｇの
７つの領域を割り当てる。次に、通常の符号化処理を行
い分割画像符号化装置１２０_i (i=1〜4)の量子化部１２
４において各マクロブロックについてＱスケールコード
が決定されたら、ピクチャタイプとそのマクロブロック
が含まれる領域に基づいて、図６に例示した補正係数を
用いて各マクロブロックごとにＱスケールコードの補正
を行う。この補正により、ＱスケールコードがＭＰＥＧ
２で規定されている最小値の１より小さくなるときは、
Ｑスケールコ一ドの値を１とする。さらに補正されたＱ
スケールコードに基づいて、量子化部１２４において量
子化を行なう。

【００３５】本実施の形態においては、分割画像符号化
装置１２０_i (i=1〜4)として、一般的なＭＰＥＧ２−Ｍ
Ｐ＠ＭＬのエンコーダとして構成した場合を例示してい
るが、ＮＴＳＣ方式では縦４８０ラインまでしか対応し
ていないことがあるので、本実施の形態の分割画像符号
化装置１２０_i (i=1〜4)では、縦５７６ラインまで対応
しているＰＡＬモードでエンコードを行う。その際、Ｐ
ＡＬモードではフレームレートが２５フレーム／秒なの
で、クロック周波数を上げて３０フレーム／秒でエンコ
ードを行う。

【００３６】ビデオストリーム統合装置 ビデオストリーム統合装置１４０は、第１〜第４の分割
画像符号化装置１２０ ₁ 〜１２０₄ から出力される４つ
のＭＰＥＧ２−ＭＰ＠ＭＬのビデオストリームを合成
し、ＭＰＥＧ２−ＭＰ＠ＨＬのビデオストリームを生成
する。なお、７２０×５４４，３０フレーム／秒は、サ
ンプル数がＭＰ＠ＭＬの上限をわずかに越えるが、ここ
では便宜上ＭＰ＠ＭＬと記す。すなわち、ビデオストリ
ーム統合装置１４０は、４つのＭＰＥＧ２−ＭＰ＠ＭＬ
のビデオストリームをスライス単位で分解し、それらを
１つのビデオストリームに再構成することにより、１つ
のＭＰＥＧ２−ＭＰ＠ＨＬのビデオストリームを得る。
この時、スライス単位より上位の、シーケンス、ＧＯ
Ｐ、ピクチャレベルのヘッダデータ、拡張データ、ユー
ザデータは１つのみでいいので、第１の分割画像符号化
装置１２０₁ から出力されるビデオストリームのみを用
い、第２〜第４の分割画像符号化装置１２０₂ 〜１２０
₄ から出力されるビデオストリームは破棄する。

【００３７】より具体的に述べると、ビデオストリーム
統合装置１４０は、第１〜第４の分割画像符号化装置１
２０₁ 〜１２０₄ においてエンコードを開始後、分割画
像符号化装置１２０₁ 〜１２０₄ から出力される４つの
ビデオストリームそれぞれにおいて最初のスライススタ
ートコードが現れるまで、第１の分割画像符号化装置１
２０₁ から出力されるビデオストリームのみを出力し、
第２〜第４の分割画像符号化装置１２０₂ 〜１２０₄ か
ら出力されるビデオストリームは破棄する。

【００３８】ビデオストリーム統合装置１４０は、１つ
のＭＰＥＧ２−ＭＰ＠ＨＬのビデオストリームとして書
き換えが必要となるパラメータ、たとえば水平画素サイ
ズ、垂直画素サイズ、アスペクト比情報、ビットレー
ト、ＶＢＶバッファサイズ、ＶＢＶディレイについて
は、制御装置１５０からの指示に従い、あるいは可能な
ものは分割画像符号化装置１２０_i (i=1〜4)から出力さ
れるビデオストリームのそれぞれの値から計算により求
めた値に書き換える。動きベクトルの探索範囲をあらわ
すエフ・コードは、各ピクチャのエンコード前に、制御
装置１５０から分割画像符号化装置１２０_i (i=1〜4)に
同じ値をあらかじめ設定しておく。

【００３９】ビデオストリーム統合装置１４０は、スラ
イススタートコード以降のビデオストリームについてス
ライス単位で分解し、図７に示すようにＡ１，Ｂ１，Ａ
２，Ｂ２，…，Ａ３４，Ｂ３４，Ｃ１，Ｄ１，Ｃ２，Ｄ
２，…，Ｃ３４，Ｄ３４の順に並べ替えて出力する。こ
の時、ビデオストリーム統合装置１４０はスライスの垂
直位置情報を表すスライスヘッダの値を、必要に応じて
正しい値に書き換える。またビデオストリーム統合装置
１４０はスライスの最初のマクロブロックにおける水平
位置情報を表すマクロブロック・アドレス・インクリメ
ントも必要に応じて正しい値に書き換える。

【００４０】ビデオストリーム統合装置１４０は、図７
に例示した最後のスライスＤ３４のビデオストリームを
出力後、分割画像符号化装置からシーケンスエンドコー
ドが出力された場合は、シーケンスエンドコードを１つ
出力し、ビデオストリームの統合（合成）を終了し、次
のシーケンススタートコードの入力を待つ。

【００４１】制御装置 制御装置１５０は、動画像符号化装置１００が上述した
所望の動作をするように、各構成部を制御する。

【００４２】動画像符号化装置１００の全体動作につい
て述べる。たとえば輝度信号が横１９２０画素×縦１０
８０ライン、色差信号が横９６０画素×縦１０８０ライ
ンのＨＤＴＶ映像信号（入力動画像信号ＶＩＤＥＯ）が
動画像符号化装置１００に入力されると、画面分割装置
１１０が輝度信号を横方向に１４４０画素に、色差信号
を横方向に７２０画素に変換する。縦方向については、
画面分割装置１１０は、輝度信号、色差信号ともに画像
の下にそれぞれ８ラインのダミーデータを付けて１０８
８ラインとする。画面分割装置１１０はこのようにサイ
ズ変換した画像信号を、図２に示すように４つの領域
Ａ，Ｂ．Ｃ，Ｄの分割画像信号ＶＩＤＥＯ−Ａ，−Ｂ，
−Ｃ，−Ｄに分割して第１〜第４の分割画像符号化装置
１２０₁ 〜１２０₄ に出力する。

【００４３】第１〜第４の分割画像符号化装置１２０₁
〜１２０₄ はそれぞれ、入力された横７２０×縦５４４
ラインの各分割画像信号ＶＩＤＥＯ−Ａ，−Ｂ，−Ｃ，
−Ｄを図３を参照して述べた各部の処理に従って符号化
してＭＰＥＧ２のビデオストリームを生成し、ビデオス
トリーム統合装置１４０に出力する。この符号化の際、
分割画像符号化装置１２０_i (i=1〜4)は、特定のマクロ
ブロックについては、図４を参照して述べたように、分
割境界に接するマクロブロックについては強制的にイン
トラ・マクロブロックとし、分割境界部分から列および
行が離れるにつれてイントラ・マクロブロックの割合が
徐々に減少するように、各列からランダムに選択された
所定数のマクロブロックについて、イントラ・マクロブ
ロックとして符号化を行なう。

【００４４】分割画像符号化装置１２０_i (i=1〜4)は、
図５に領域ａ〜ｅ（Ｉピクチャ、Ｐピクチャ）および領
域ａ〜ｃ（Ｂピクチャ）で示すような、分割境界に近い
マクロブロックについては、図６に示すような補正係数
に基づいて量子化スケールコードを下げて、実質的に符
号化した画質の低下が少なくなるようにして量子化を行
なう。また、領域ｇのような分割境界からある程度以上
離れたマクロブロックにおいては、分割画像符号化装置
１２０_i (i=1〜4)は、図６に例示したように高い補正係
数を用いて量子化スケールコードを逆に上げて量子化を
行なう。

【００４５】ビデオストリーム統合装置１４０は、第１
〜第４の分割画像符号化装置１２０ ₁ 〜１２０₄ から出
力される４個のビデオストリームを１つのＭＰＥＧ２−
ＭＰ＠ＨＬのビデオストリームに合成する。すなわち、
ビデオストリーム統合装置１４０で４個のビデオストリ
ームをスライス単位で分解し、図７に示すようにＡ１，
Ｂ１，Ａ２，Ｂ２，…，Ａ３４，Ｂ３４，Ｃ１，Ｄ１，
Ｃ２，Ｄ２，…，Ｃ３４，Ｄ３４の順に並べ替える。

【００４６】このようにして生成された分割画像信号Ｖ
ＩＤＥＯ−Ａ，−Ｂ，−Ｃ，−ＤについてのＭＰＥＧ２
ーＭＰ＠ＨＬのビデオストリームは、ビデオストリーム
統合装置１４０より出力され、必要に応じて入力動画像
信号ＶＩＤＥＯと関連する音声信号と多重化された後、
動画像符号化装置１００の後段の図示しない装置、たと
えば、伝送経路を経由して画像復号化装置に伝送された
り、あるいは図１に示すようなビデオテープ記録装置３
００に伝送されて記録される。

【００４７】第１実施の形態の効果 第１実施の形態において、第１〜第４の分割画像符号化
装置１２０₁ 〜１２０ ₄ におけるＭＰＥＧ２−ＭＰ＠Ｍ
Ｌ符号化の際に、分割境界に隣接するマクロブロック化
をイントラ・マクロブロック化しているので、分割境界
をはさむ２つのマクロブロックのエンコード条件が同じ
となり、分割境界における符号化画像の画質の不連続性
を防ぐことができる。また第１実施の形態において、分
割境界から離れた列のマクロブロックについては、分割
境界から離れるにつれて徐々にイントラ化するマクロブ
ロックの割合が少なくなるように、選択的にイントラ・
マクロブロック化しているので、符号化画質が異なるマ
クロブロックが直線的に並び人間の目に認識されること
を防ぐことができる。さらに第１実施の形態において、
イントラ・マクロブロックにするマクロブロックの位置
は図６に例示したように固定ではなく、ピクチャごとに
ランダムに変化させることができるので、イントラ・マ
クロブロックのみの領域とそうでない領域との境界が人
間の目には認識できにくくなり実質的に符号化画質の低
下を防ぐことができる。

【００４８】第１実施の形態において、入力動画像信号
ＶＩＤＥＯの分割境界をはさむ２つのマクロブロックの
ＱスケールコードあるいはＱスケールを下げている。し
たがって、エンコードによる符号化画質の低下が少なく
なり、この分割境界をはさむ２つのマクロブロックはと
もにエンコード前の原画像に近い画質となる。その結
果、たとえ分割境界の両側のマクロブロックで符号化条
件が異なり符号化画質の低下の仕方に相違があったとし
ても、符号化画質の低下そのものが少ないため、人間の
目に感知できるような画質の不連続はなくなり、実質的
に符号化画質の低下を防ぐことができる。また、第１実
施の形態において、入力動画像信号ＶＩＤＥＯの分割境
界から離れた列および行のマクロブロックについても、
分割境界から離れるにつれて下げるＱスケールコードあ
るいはＱスケールの大きさが徐々に小さくなるように、
補正係数を用いて、ＱスケールコードあるいはＱスケー
ルを下げている。このようにすることで、新たに符号化
画質が異なる境界が生じること、すなわち符号化画質の
不連続性が生じるのを防ぐことができる。

【００４９】第１実施の形態において、分割境界からあ
る程度以上離れたマクロブロックにおいては、Ｑスケー
ルコードあるいはＱスケールを逆に上げている。これに
より、この部分からの符号化による発生ビット量を減少
させ、分割境界付近での発生ビット量の増加を相殺する
ことができ、１つの画面の動画像信号ＶＩＤＥＯについ
て符号化による発生ビット量の増加を防ぐことができ
る。

【００５０】第１実施の形態によれば、既存の小規模、
安価で低消費電力なＭＰＥＧ２−ＭＰ＠ＭＬのエンコー
ダを用いてＨＤＴＶ画像信号などの動画像信号を圧縮符
号化し、ＭＰＥＧ２−ＭＰ＠ＨＬのビデオストリームを
生成することができる。その結果、既存の小規模、安価
で低消費電力なＭＰＥＧ２−ＭＰ＠ＭＬのエンコーダを
複数個用いて、ＨＤＴＶ画像信号などのような大量の動
画像信号についても、経済的にも実用的な符号化画質を
提供する圧縮符号化装置が実現できる。また、このよう
な画像符号化装置に対応して、既存の小規模、安価で低
消費電力なＭＰＥＧ２−ＭＰ＠ＭＬのデコーダを用いた
動画像信号の復号化装置を用いることができる。

【００５１】画像符号化装置の適用例 第１実施の形態の動画像符号化装置１００は、種々の装
置に適用することができる。

【００５２】第１適用例 図１０は、第１実施の形態の画像符号化装置をビデオカ
メラ装置２１０に適用した構成図を示す。図１０に示す
ビデオカメラ装置２１０において、ＣＣＤを含む光学系
２１１で撮影されて生成された電気信号を画像信号生成
部２１２でＨＤＴＶ画像信号に生成する。このようにし
て生成されたＨＤＴＶ信号を第１実施の形態の動画像符
号化装置１００で符号化して、ＭＰＥＧ２−ＭＰ＠ＨＬ
ビデオストリームを生成し、その結果を記録部２１３を
介して、記録媒体３００に記録する。このような構成に
よれば、安価で小型で低消費電力な、ＨＤＴＶ信号に対
応したビデオカメラ装置を提供することができる。

【００５３】第２適用例 図１１は、第１実施の形態の画像符号化装置を画像記録
装置に適用した構成図を示す。図１１に示す画像記録装
置２２０において、画像信号入力部２２１において外部
より入力されるＨＤＴＶ信号を受信し、受信したＨＤＴ
Ｖ信号を本発明の第１実施の形態の動画像符号化装置１
００で符号化し、生成されたＭＰＥＧ２−ＭＰ＠ＨＬビ
デオストリームを記録部２１３を介して記録媒体３００
に記録する。このような構成によれば、安価で小型で低
消費電力な、ＨＤＴＶ信号に対応した画像記録装置を提
供することができる。

【００５４】第３適用例 図１２は、第１実施の形態の画像符号化装置を画像伝送
装置に適用した構成図を示す。図１２に示す画像伝送装
置２３０においては、画像信号入力部２２１において外
部より入力されるＨＤＴＶ信号を受信し、受信したＨＤ
ＴＶ信号を本発明の第１実施の形態の動画像符号化装置
１００で符号化し、ＭＰＥＧ２−ＭＰ＠ＨＬビデオスト
リームを生成する。生成されたビデオストリームを、送
信部２３１において伝送に適した形態の信号に符号化、
変調を行ない、伝送路２３２を介して、所望の送信先に
送信する。このような構成によれば、安価で小型で低消
費電力な、ＨＤＴＶ信号に対応した画像伝送装置を提供
することができる。

【００５５】なお、本発明の画像符号化装置は第１実施
の形態に限られるものではなく、任意好適な種々の改変
が可能である。

【００５６】たとえば、分割画像符号化装置１２０_i (i
=1〜4)において、符号化の際に強制的にイントラ・マク
ロブロック化する方法は、前述した実施の形態の方法に
限られるものではなく、他の方法を適用できる。たとえ
ば、強制的にイントラ・マクロブロック化する処理は、
縦方向の分割境界、あるいは、横方向の分割境界のいず
れか一方にのみ行なうようにしてよい。また、境界から
の距離に対応するイントラ化するマクロブロックの割合
や、そのイントラ化するマクロブロックのパターンなど
は、いずれも図４に示した例に限られるものではない。
ピクチャごとに変化させたり、分割境界の位置によって
値を変化させたり、あるいは部分的に処理を行わないと
ころがあってもよい。その際には、エンコードにより各
マクロブロックから得られるパラメータ、たとえば、Ｍ
Ｅ残差、アクティビティ、フラットネスなどを用いて、
分割境界における画質の不連続が生じる可能性やその度
合いを予測し、それに応じてイントラ化するマクロブロ
ックの割合やパターンを適応的に変化させてもよい。

【００５７】分割画像符号化装置１２０_i (i=1〜4)にお
ける量子化スケールコードの補正の方法も他の方法に代
えることができる。たとえば、図６に示した補正係数以
外の補正係数を用いて量子化スケールコードの補正を行
うことができる。また、Ｂピクチャに対する補正係数を
ＩピクチャやＰピクチャと同じ補正係数にすることもで
きる。

【００５８】量子化スケールコードを補正するための領
域の分けかたも、図５に示した例に限られるものではな
い。たとえば、図８に示すように領域を分けて、縦方向
の分割境界に対してのみ処理を行うようにしてもよい
し、逆に、図９に示すように領域を分けて、横方向の分
割境界に対してのみ処理を行うようにしてもよい。

【００５９】符号化の処理範囲も、分割境界の端から端
までではなく一部分あるいは複数の部分であってもよ
い。すなわち処理が行われない部分があってもよい。ま
た、分割する領域の数、すなわち補正係数を変化させる
領域の数も、適切な任意の数でよい。領域の分けかたや
補正値は固定ではなく、ピクチャ毎に変化させてもよ
い。その際には、エンコードにより各マクロブロックか
ら得られるパラメータ、たとえば、ＭＥ残差、アクティ
ビティ、フラットネスなどを用いて、分割境界における
画質の不連続が生じる可能性やその度合いを予測し、そ
れに応じて領域の分け方や補正値をアダプティブに変化
させてもよい。

【００６０】第１実施の形態の動画像符号化装置１００
においては、符号化マクロブロックタイプのイントラ
化、および、量子化スケールコードの補正という、２つ
の処理を同時に行なった。このいずれの方法も、各々独
立して分割境界付近の画質の差異の発生を防ぐという効
果を有するものであり、いずれか一方のみを行なうよう
な構成であってもよい。もちろん、マクロブロックを強
制的にイントラ・マクロブロックにする処理を行うと、
その処理が行われる分割境界付近の画質が低下する傾向
にあるので、第１実施の形態のように、量子化スケール
コードを変化させる処理を併用することがより有効であ
る。

【００６１】第１実施の形態の主目的は、分割画像信号
ＶＩＤＥＯ−Ａ，−Ｂ，−Ｃ，−Ｄについて分割境界の
制限を排除して符号化条件を同一にすることにより、分
割境界付近での符号化画質の低下の発生を防止し、ＨＤ
ＴＶ信号のような多数の画像信号を分割して効果的に符
号化することにある。したがって、実質的に符号化条件
を同一にする、換言すれば符号化結果の画質レベルを同
一にするという主旨の範囲内であれば、前述したマクロ
ブロックタイプを変更する方法、量子化スケールコード
を補正する以外の任意の方法を適用してよい。たとえ
ば、動き補償予測処理を制御して、Ｐピクチャでは強制
的に動き補償予測を無効にし、Ｂピクチャでは動きベク
トルを（０，０）とするような処理を行なってもよい。
また、動きベクトルの値に制限を加えて、たとえばマク
ロブロックが分割境界に近いときは動きベクトルを強制
的に（０，０）とするが、分割境界からの距離が離れる
にしたがい、動きベクトルの値を±１まで、±２まで
…、と制限を緩めることにより、分割境界での符号化画
質の不連続性をなくし、かつ不連続をなくす処理による
符号化画質の不自然さをなくすようにすることができ
る。

【００６２】本発明の第１実施の形態の動画像符号化装
置は、図１０〜図１２に例示したビデオカメラ、画像記
録装置および画像伝送装置にのみ適用されるものではな
く、その他の画像処理装置に適用することができる。

【００６３】第２実施の形態 図１３〜図２３を参照して、本発明の画像符号化装置お
よび画像符号化方法の第２実施の形態を述べる。

【００６４】第１実施の形態においては、分割境界付近
の符号化画像の画質の不連続を除く対策として、分割境
界付近の符号化のための量子化（Ｑ）スケールコードを
下げる例を示した。しかしながら、第１実施の形態の方
法によると、分割境界付近におけるマクロブロックの符
号化による発生ビット量が多く割り振られることにな
り、ビットレートが一定の場合、分割境界付近以外の領
域においては符号化により割り振られる発生ビット量が
少なく制限され、各分割画像信号についての符号化画像
の画質が低下する可能性がある。分割境界付近の符号化
画像の画質の不連続を克服するため、分割境界以外の他
の領域の符号化画像の画質がある程度低下するのは仕方
ないが、分割境界において符号化画像の画質が常に不連
続になる訳ではなく、画像の内容に応じては、分割境界
における符号化画像の画質に不連続が生じないことも多
い。しかしながら、第１実施の形態では、分割境界にお
いて符号化画像の画質の不連続が起こることを想定して
一律に分割境界付近の符号化画像の画質の不連続を除く
処理を行っているから、上述したように、符号化画像の
画質が低下する可能性がある。

【００６５】第２実施の形態の画像符号化装置および画
像符号化方法は、上述した第１実施の形態の画像符号化
装置および画像符号化方法による不具合を改善する。第
２実施の形態においては、下記の方針で対策を講ずる。 （１）分割境界付近の符号化画像の画質の不連続が生じ
る度合いを予測手段で予測し、これに応じて分割境界付
近の符号化の量子化スケールコードの下げ方を制御す
る。 （２）上記予測手段における予測のために、各分割画像
符号化装置１２０_i (i=1〜4)でエンコード時に得られる
ＭＥ残差を使う。ＭＥ残差を用いる理由は後述する。 （３）上記予測に使用するＭＥ残差は、Ｐピクチャのエ
ンコード結果のみを使用し、Ｂピクチャは使わない。こ
の理由も後述する。 （４）上記予測のためＭＥ残差を予測手段に転送すると
き、好ましくは、データ量を圧縮して、分割画像符号化
装置１２０_i (i=1〜4)と予測手段（制御装置内の分割境
界付近処理部）との間のデータ転送量を削減する。 （５）上記転送するＭＥ残差は、動画像信号ＶＩＤＥＯ
の分割境界に隣接する、１〜数ブロック幅、好ましく
は、２マクロブロック幅とする。この理由も後述する。 （６）分割境界付近の符号化のための量子化スケールコ
ードの下げ方は、分割境界に接する両側のマクロブロッ
クに対し同じとは限らず、ＭＥ残差の特徴に応じて片方
の下げ方を大きくする。 （７）分割境界付近の量子化スケールコードの下げ方の
制御は、通常のレートコントロールにより得られた量子
化スケールコードに対するオフセット量ではなく、強制
的に特定の値にする目標値とする。この理由も後述す
る。 （８）項目７の量子化スケールコードの下げ方の制御に
おいて、通常のレートコントロールにより得られた量子
化スケールコードが目標値より小さい場合、量子化スケ
ールコードの制御は行わない。

【００６６】予測手段は、本実施の形態では、図１３を
参照して後述する制御装置１５０Ａ内の分割境界付近処
理部１５４で実現している。分割境界付近処理部と協働
して、上述した処理を行なう分割画像符号化装置１２０
Ａ_i (i=1〜4)内の手段は、主として、図３に図解した分
割画像符号化装置内制御部１３３で行なう。したがっ
て，図３に図解した分割画像符号化装置１２０Ａ_i (i=1
〜4)の基本構成および基本処理は第１実施の形態と同様
である。

【００６７】上記方針と対策に基づく第２実施の形態の
画像符号化装置および画像符号化方法の詳細について述
べる。図１３は本発明の第２実施の形態としての動画像
符号化装置１００Ａの全体構成図である。動画像符号化
装置１００Ａは、画面分割装置１１０と、第１〜第４の
分割画像符号化装置１２０Ａ₁ 〜１２０Ａ₄ （分割画像
符号化装置１２０Ａ_i (i=1〜4)）と、ビデオストリーム
統合装置１４０と、制御装置１５０Ａとを有する。

【００６８】画面分割装置１１０は、図１を参照して述
べた第１実施の形態の動画像符号化装置１００における
画面分割装置１１０と同じである。したがって、画面分
割装置１１０の詳細な記述は割愛する。ビデオストリー
ム統合装置１４０は、図１を参照して述べた第１実施の
形態の動画像符号化装置１００におけるビデオストリー
ム統合装置１４０と同じである。したがって、ビデオス
トリーム統合装置１４０の詳細な記述は割愛する。

【００６９】制御装置１５０Ａは図１を参照した述べた
第１実施の形態の動画像符号化装置１００における制御
装置１５０とは異なり、制御部１５２と分割境界付近処
理部１５４とを有する。制御部１５２は第１実施の形態
の制御装置１５０における処理と同様の処理、すなわ
ち、画面分割装置１１０と、第１〜第４の分割画像符号
化装置１２０Ａ₁〜１２０Ａ₄ と、ビデオストリーム統
合装置１４０の動作を制御を行なう。分割境界付近処理
部１５４は、上述した予測手段として機能し、第２実施
の形態において付加されたものである。分割境界付近処
理部１５４は分割境界付近画質の不連続性を予測し、分
割境界付近の符号化操作量を決定するが、その詳細は後
述する。分割境界付近処理部１５４は第２実施の形態に
おいては、制御装置１５０Ａの一部として実現した場合
を述べるが、制御装置１５０Ａを第１実施の形態と同様
の制御装置１５０として、分割境界付近処理部１５４を
制御装置１５０とは独立した装置として実現することも
できる。

【００７０】第１〜第４の分割画像符号化装置１２０Ａ
₁ 〜１２０Ａ₄ （分割画像符号化装置１２０Ａ_i (i=1〜
4)）は、基本的な符号化処理のための回路構成（または
処理方法）については、上述したように、図３を参照し
て述べた回路構成（または処理方法）と同じであるの
で、図解を省略する。ただし、第１〜第４の分割画像符
号化装置１２０Ａ₁ 〜１２０Ａ₄ は、上述した方針に基
づいて分割境界付近処理部１５４と協動して行なう処理
に関して、第１実施の形態の第１〜第４の分割画像符号
化装置１２０₁ 〜１２０₄ に付加した機能を有する。そ
の処理は、主として、図３に図解した分割画像符号化装
置内制御部１３３で行なう。その詳細は下記に述べる。

【００７１】画面分割装置１１０に入力される動画像信
号ＶＩＤＥＯは第１実施の形態において述べたものと同
様、図２に図解したものと同じとする。

【００７２】画面分割装置１１０は上述したように、入
力動画像信号ＶＩＤＥＯのサイズの変更を行い、分割画
像信号ＶＩＤＥＯ−Ａ，−Ｂ，−Ｃ，−Ｄを生成し、生
成した分割画像信号ＶＩＤＥＯ−Ａ，−Ｂ，−Ｃ，−Ｄ
を第１〜第４の分割画像符号化装置１２０Ａ₁ 〜１２０
Ａ₄ に出力する。

【００７３】分割画像符号化装置と分割境界付近処理部
の動作 第１〜第４の分割画像符号化装置１２０Ａ₁ 〜１２０Ａ
₄ はそれぞれ分割画像信号ＶＩＤＥＯ−Ａ，−Ｂ，−
Ｃ，−Ｄを並列かつ独立に符号化処理を行い、その結果
得られる分割境界付近の符号化画像の画質の不連続に関
連する符号化の特徴量ＦＡ〜ＦＤを制御装置１５０Ａの
分割境界付近処理部１５４に転送する。

【００７４】分割境界付近のマクロブロックの符号化画
像の画質の不連続性を予測し、分割境界付近のマクロブ
ロックの符号化操作量を決定する分割境界付近処理部１
５４は、第１〜第４の分割画像符号化装置１２０Ａ₁ 〜
１２０Ａ₄ で分割画像信号ＶＩＤＥＯ−Ａ，−Ｂ，−
Ｃ，−Ｄを符号化した際に得られて転送されてきた分割
境界付近のマクロブロックの画像の符号化の特徴量ＦＡ
〜ＦＤを基に分割境界付近のマクロブロックにおける符
号化画像の画質の不連続の度合いを予測する。分割境界
付近処理部１５４はさらに画質の不連続の度合いを予測
した程度に応じ、分割境界付近のマクロブロックにおけ
る符号化画像の画質の不連続を除去する処理の操作量を
決定する。分割境界付近処理部１５４は決定した分割境
界付近のマクロブロックについての符号化操作量ＣＯ−
Ａ〜ＣＯ−Ｄをそれぞれ第１〜第４の分割画像符号化装
置１２０Ａ₁ 〜１２０Ａ₄ に転送する。

【００７５】第１〜第４の分割画像符号化装置１２０Ａ
₁ 〜１２０Ａ₄ はそれぞれ、分割境界付近処理部１５４
から転送された分割境界付近のマクロブロックの符号化
操作量ＣＯ−Ａ〜ＣＯ−Ｄに応じた符号化処理を行う。

【００７６】図１４は上述した処理の動作タイミングを
示す図である。分割画像符号化装置１２０Ａ_i (i=1〜4)
においてＮ番目のピクチャ＃Ｎの符号化が終了すると、
図３の分割画像符号化装置内制御部１３３はその結果得
られる分割境界付近のマクロブロックの符号化特徴量を
制御装置１５０Ａの分割境界付近処理部１５４に転送す
る。分割境界付近処理部１５４は、分割画像符号化装置
１２０Ａ_i (i=1〜4)で（Ｎ＋１）番目のピクチャ＃（Ｎ
＋１）の符号化を行っている期間に、分割境界付近のマ
クロブロックの符号化特徴量ＦＡ〜ＦＤを基に分割境界
付近のマクロブロックにおける符号化画像の画質の不連
続性の度合いを予測し、さらにそれに応じた分割境界付
近のマクロブロックにおける符号化画像の画質の不連続
を除去するための分割画像符号化装置１２０Ａ_i (i=1〜
4)における符号化時の処理操作量を決定する。分割境界
付近処理部１５４は決定した分割境界付近のマクロブロ
ックの符号化操作量ＣＯ−Ａ〜ＣＯ−Ｄを、分割画像符
号化装置１２０Ａ_i (i=1〜4)において（Ｎ＋２）番目の
ピクチャ＃（Ｎ＋２）の符号化が開始される前に分割画
像符号化装置１２０Ａ_i (i=1〜4)に転送する。分割画像
符号化装置１２０Ａ_i (i=1〜4)において、転送されてき
た分割境界付近のマクロブロックの符号化操作量ＣＯ−
Ａ〜ＣＯ−Ｄに応じて、（Ｎ＋２）番目のピクチャ＃
（Ｎ＋２）の符号化処理を行う。

【００７７】図１４に図解した動作タイミングでは、Ｎ
番目のピクチャ＃Ｎの符号化結果が反映されるのは、１
ピクチャをおいた後の（Ｎ＋２）番目のピクチャ＃（Ｎ
＋２）となる。もしデータ転送能力や制御装置１５０Ａ
内の分割境界付近処理部１５４の演算能力が十分あれ
ば、Ｎ番目のピクチャ＃Ｎの符号化結果を次の（Ｎ＋
１）番目のピクチャ＃（Ｎ＋１）の符号化処理に反映さ
せるようなタイミングにするのが望ましい。逆に分割画
像符号化装置１２０Ａ_i (i=1〜4)の分割画像符号化装置
内制御部１３３と分割境界付近処理部１５４との間の転
送能力の制限や、分割境界付近処理部１５４の処理能力
の限界などの理由により、Ｎ番目のピクチャ＃Ｎの符号
化結果を１ピクチャをおいた後の（Ｎ＋２）番目のピク
チャ＃（Ｎ＋２）への符号化処理には反映できないが、
さらに１ピクチャをおいた後の（Ｎ＋３）番目のピクチ
ャ＃（Ｎ＋３）への符号化処理に反映できる場合には、
Ｎ番目のピクチャ＃Ｎの符号化結果を（Ｎ＋３）番目の
ピクチャ＃（Ｎ＋３）の符号化処理に反映させるような
タイミングで、上述した処理を行なっても構わない。そ
の理由は、短期間のピクチャは動画であっても、通常、
連続性があるから、多少ピクチャの間が空いても符号化
処理に大きな影響を及ばさない場合があるからである。
このような観点からは、Ｎ番目のピクチャ＃Ｎの符号化
結果を３ピクチャの間が空いた（Ｎ＋４）番目のピクチ
ャ＃（Ｎ＋４）への符号化処理に反映させることもでき
る。このような場合、分割境界付近処理部１５４の処理
負担は非常に軽減し、分割境界付近処理部１５４に高性
能の演算処理手段、たとえば、コンピュータを用いない
でもよいという利点がある。

【００７８】図２４は分割境界付近のマクロブロックに
ついての符号化画像の画質が不連続になる様子を例示し
た図である。図２４に図解した例示は、１画面のピクチ
ャ（入力動画像信号ＶＩＤＥＯ）を垂直方向で２分した
場合に分割境界付近のマクロブロックの状態を例示した
図である。図解の簡単化のために水平方向における分割
境界は示していないが、水平方向の分割境界のマクロブ
ロックについても垂直方向の分割境界のマクロブロック
と同様である。図２４の図解はＰピクチャが、画像全体
が図面の左から右に移動している例を示している。中央
の分割境界から離れたマクロブロック、たとえば、ｋ列
のマクロブロックにおいては、両側のマクロブロックの
画像信号が存在するから、正しく左向きの動きベクトル
を求めることができる。ところが、分割境界の右側に接
した網点で示したマクロブロックにおいては、本来求め
るべき左向きベクトルの先は分割画面の外でありその左
にはマクロブロックの画像が存在しないから正しく動き
ベクトルを求めることはできない。そのため、仮に分割
画面内で尤もらしいベクトルを動きベクトルとして出力
する。その結果、分割境界の右側に接する網点で示した
マクロブロックにおいては符号化画像の画質の低下ある
いは他のマクロブロックとの画質の相違が生じ、これが
符号化画像の画質の不連続となる。その結果、ビデオス
トリーム統合装置１４０で第１〜第４の分割画像符号化
装置１２０Ａ₁〜１２０Ａ₄ からの符号化画像を統合し
たとき、２つの符号化画像の画質に不連続性が顕著に表
れて、いかにも切ってつないだような画像となる。

【００７９】符号化画像の不連続の程度の予測方法およ
び特徴量の転送 このような符号化画像の不連続を低減する方法を第１実
施の形態において述べたが、第２実施の形態において
は、分割境界付近処理部１５４において符号化画質の不
連続の度合いを予測し、分割画像符号化装置１２０Ａ_i
(i=1〜4)においてそれに応じた不連続性の低減または除
去処理を行う。

【００８０】予測方法 １．動きベクトルの使用 分割境界付近処理部１５４における符号化画像の不連続
を予測する方法としては、動きベクトルを使い、隣接す
るマクロブロックの動きベクトルとの相違を見る方法を
とることもできる。しかしながら、この方法では、動き
ベクトルが異なっていることから符号化画像の画質の不
連続が生じる可能性は判断できるが、どの程度符号化画
像の画質が不連続になるかその度合いを算出するのが困
難である。また分割境界を挟み隣接するマクロブロック
間で符号化画像の画質の不連続の程度を比較するために
は、第１〜第４の分割画像符号化装置１２０Ａ₁ 〜１２
０Ａ₄ で求めた動きベクトルを制御装置１５０Ａの分割
境界付近処理部１５４に転送し、分割境界付近処理部１
５４において比較する必要がある。動きベクトルを使用
する場合、ｘ座標とｙ座標の２つのパラメータを分割境
界付近処理部１５４に転送する必要があり、分割画像符
号化装置１２０Ａ_i (i=1〜4)の制御部１３３から分割境
界付近処理部１５４に転送するデータ量が多くなるとい
う不具合に遭遇する。

【００８１】２．ＭＥ残差の使用 一方、分割画像符号化装置１２０Ａ_i (i=1〜4)における
符号化時に通常求めるＭＥ残差は、動きベクトルが正し
く求められたときはその値が小さく、逆に正しく求めら
れなかったときは、その度合いに応じて大きな値になる
という特徴があるため、第２実施の形態では分割境界付
近処理部１５４においてＭＥ残差を用いて符号化画像の
画質の不連続の度合いを予測する。

【００８２】転送するＭＥ残差の量 図２４に示すように、分割境界に接する１マクロブロッ
ク幅のみＭＥ残差の値が大きくなるとき、符号化画像の
画質に不連続が生じやすいという特徴がある。この特徴
を利用して符号化画像の画質の不連続を予測するため、
好ましくは、第２実施の形態では図１５に図解したよう
に、分割境界に接する、たとえば、斜線で示した２マク
ロブロック幅のＭＥ残差を第１〜第４の分割画像符号化
装置１２０Ａ₁ 〜１２０Ａ₄ から分割境界付近処理部１
５４に転送する。分割画像符号化装置１２０Ａ_i (i=1〜
4)の制御部１３３から分割境界付近処理部１５４に転送
するＭＥ残差の量は、分割境界に接する３マクロブロッ
ク幅以上のＭＥ残差でも構わないが、転送するデータ量
が増える不利益に比べ、符号化画像の画質の不連続の予
測精度が上がるといった利点は少ないと考えられる。逆
に１マクロブロック幅のＭＥ残差を用いると仮定する
と、制御部１３３から分割境界付近処理部１５４に転送
するデータ量が削減できるが、分割境界から２マクロブ
ロック離れたマクロブロックのＭＥ残差が１マクロブロ
ック離れたマクロブロックのＭＥ残差より小さいとき符
号化画像の画質に不連続が生じやすい特徴を利用でき
ず、符号化画像の不連続の度合いを予測するには不利で
あると考えられる。このように、転送するＭＥ残差の量
は任意に決定することができるが、現実的な面からは、
上述したように、分割境界に接する２マクロブロック幅
のＭＥ残差が最も有効であると考えられる。

【００８３】ただし、分割画像符号化装置内制御部１３
３から分割境界付近処理部１５４に分割境界に接する２
マクロブロック幅全てのＭＥ残差を転送するのではな
く、分割境界に沿って数マクロブロック毎にＭＥ残差を
転送することにより転送するデータ量を削減することが
有効であり、本実施の形態においてもそのように行なう
ことができる。

【００８４】ピクチャ ＭＥ残差と符号化画像の画質の不連続とのこのような関
係は、Ｐピクチャで最も顕著である。Ｂピクチャでは双
方向の動きベクトルを求めるため、このような関係は全
くないわけではないのでＭＥ残差に使用することもでき
るが、上記関係がＰピクチャほど顕著ではないので、第
２実施の形態では使わない。Ｉピクチャはそもそもピク
チャ間の相関を使わないピクチャなので、分割境界のマ
クロブロックの符号化画像の画質の不連続が生じる要因
がない。以上の考察から明らかなように、第２実施の形
態では、Ｐピクチャの符号化結果のみを使って、分割境
界付近処理部１５４において分割境界付近のマクロブロ
ックにおける符号化画像の画質の不連続性の度合いを予
測する。

【００８５】その結果、図１３に図解した分割画像符号
化装置内制御部１３３と分割境界付近処理部１５４との
間のデータ転送や演算処理のタイミングは図１６に図解
したようになる。図１６の図解では、制御部１３３と分
割境界付近処理部１５４との間のデータ転送を、制御部
１３３と分割境界付近処理部１５４とにタイミング判断
手段を設けて、Ｐピクチャの符号化後のみ行う例を示し
ている。しかしながら、制御部１３３と分割境界付近処
理部１５４とにタイミング判断手段を設けることにより
回路構成が複雑になることを回避するため、データ転送
を毎ピクチャごと常時行なってもよい。

【００８６】転送するＭＥ残差の圧縮 分割画像符号化装置内制御部１３３から分割境界付近処
理部１５４に転送する２マクロブロック幅のＭＥ残差
は、１つの分割画像につき画像サイズが横７２０画素×
縦５４４ラインの場合、マクロブロック数では横４５マ
クロブロック×縦３４マクロブロックとなるので、１ピ
クチャに付き１５４個（１５４マクロブロック分）のデ
ータ転送が必要になる。ＭＥ残差は通常１６ビットで表
されるので、そのデータ転送総量は必ずしも少ないもの
ではない。

【００８７】一方、ＭＥ残差の値で分割境界付近のマク
ロブロックの符号化画像の画質の不連続の予測に必要な
のは１６ビット中、高々１２ビット（４０９５）程度の
値であり、符号化操作量として分割境界付近処理部１５
４から制御部１３３に転送するデータは、本実施の形態
では、分割境界に接するマクロブロック１つにつき３ビ
ットなので、それを求める基となるＭＥ残差に多くのビ
ット量があっても無駄である。

【００８８】そこで、第２実施の形態では、図１７に図
解したように、横軸に示した１６ビットのＭＥ残差（Ｖ
ＡＲ＿ｏｒｉ）を縦軸に示した４ビットのＭＥ残差（Ｖ
ＡＲ−ｏｕｔ）に圧縮する。すなわち、分割画像符号化
装置内制御部１３３はＭＥ残差をこのように圧縮した
後、分割境界付近処理部１５４に転送する。分割画像符
号化装置１２０Ａ_i (i=1〜4)と分割境界付近処理部１５
４との間のデータ転送路は、本実施の形態においては、
１６ビット幅であるので、４ビットに圧縮したＭＥ残差
を一度に４個ずつ転送する。

【００８９】なお、分割画像符号化装置内制御部１３３
においてＭＥ残差を圧縮して分割境界付近処理部１５４
に転送する場合、ＭＥ残差を圧縮する方法は、図１７に
例示した圧縮方法に限定される訳でもない。もちろん、
ＭＥ残差を圧縮することは転送量を削減するためである
から、本発明において必須ではない。

【００９０】分割境界付近処理部の処理 １．予測値 分割画像符号化装置内制御部１３３から制御装置１５０
Ａの分割境界付近処理部１５４に転送された４ビットに
圧縮されたＭＥ残差を、図１８に図解したように分割境
界の両側に垂直な方向の４個のマクロブロックのＭＥ残
差ごとにグループ分けを行う。図１８に図解した例示で
は画面に垂直な方向の分割境界付近についてのみ示して
いるが、水平方向に分割境界が存在する場合も同様であ
る。図１８に図解したように、上からｎ番目の行のマク
ロブロックにおける４つのマクロブロックのＭＥ残差
を、左から順にＶａ（ｎ），Ｖｂ（ｎ），Ｖｃ（ｎ），
Ｖｄ（ｎ）とする。この４つのＭＥ残差を基に、上から
ｎ番目のマクロブロックの位置における符号化画像に不
連続が生じる度合いの予測値を、分割境界の左側のマク
ロブロックと右側のマクロブロックについてそれぞれ求
める。分割境界の左側の予測値をＡｌ（ｎ）とし、右側
の予測値をＡｒ（ｎ）として、たとえば、下記の計算式
により予測値を求める。

【００９１】

【数１】

【００９２】この計算式は、符号化画像の画質に不連続
が生じるときのＭＥ残差の特徴（分割境界に接する１マ
クロブロックのみＭＥ残差が大きくなる）に応じて予測
値Ａｌ（ｎ），Ａｒ（ｎ）が大きくなり、逆に４つのマ
クロブロックのＭＥ残差が同じ値で全く符号化画像の画
質の不連続が生じる可能性がないと考えられるときに予
測値Ａｌ（ｎ），Ａｒ（ｎ）が０になるという特徴を持
っている。上記計算式は重み係数を２のべき乗で表され
る数値を用いており、その演算はビットシフトと加減算
のみで実現可能であり、分割境界付近処理部１５４の演
算処理が簡単で済むという特徴を持つ。もちろん、計算
式は式１に例示した演算式に限るものではなく、符号化
画像の画質の不連続の度合いを定量的（数値的）に予測
できるものであれば、他の方法を採用することができ
る。

【００９３】２．操作量の決定 分割境界付近処理部１５４は、予測した画質不連続の度
合いＡｌ（ｎ），Ａｒ（ｎ）を元に、分割画像符号化装
置１２０Ａ_i (i=1〜4)における符号化画像の不連続の除
去処理を行う際の操作量を決定する。本実施の形態では
分割画像符号化装置内制御部１３３の制御のもとで分割
画像符号化装置１２０Ａ_i (i=1〜4)における量子化スケ
ールコードを下げることにより符号化画像の不連続の除
去を行い、下げ方の操作量を、たとえば、４段階（２ビ
ット）に分類し、０〜３のコードで表す。

【００９４】分割境界の左側のマクロブロックのコード
をＣｌ（ｎ）、右側のマクロブロックのコードをＣｒ
（ｎ）とすると、例えば下記の計算式によりコードＣｌ
（ｎ）、Ｃｒ（ｎ）を求める。

【００９５】

【数２】

【００９６】Ｔｈ１〜Ｔｈ３はしきい値を意味する。コ
ードＣｌ（ｎ）、Ｃｒ（ｎ）の演算は式２の例に限るも
のではなく、予測値Ａｌ（ｎ）あるいはＡｒ（ｎ）に応
じて分類するものであれば、式２に代えて、他の計算式
を用いることができる。もちろん、分類数も４段階に限
るものではない。

【００９７】３．平滑化処理 上記の計算より得られたコードＣｌ（ｎ）あるいはＣｒ
（ｎ）について、例えばコードの値が３のマクロブロッ
クとコードの値が０のマクロブロックが隣り合うと、処
理の違いが大きく異なるマクロブロックが隣り合うこと
になり、両者のマクロブロックの符号化画像の画質の相
違が目立つことが予想される。そこで図１９に例示する
ように、分割境界付近処理部１５４において左側のコー
ドＣｌ（ｎ）あるいは右側のコードＣｒ（ｎ）の平滑化
処理を行う。この平滑化処理は、たとえば、左側のコー
ドＣｌ（ｎ）の場合、下記の計算式により可能である。
記号Ｃｌ’（ｎのｍａｘ）、Ｃｌ’（ｎ）は平滑化した
コードを示す。

【００９８】

【数３】

【００９９】この平滑化処理によって、たとえば、縦軸
に沿って、左側のコードＣｌ（ｎ）が、図１９に例示し
たように、垂直方向に〔０００３３００２１２３２１０
０〕であったものが、平滑化された左側のコードＣｌ’
（ｎ）は、〔０１２３３２１２１２３２１００〕とな
る。アンダーラインで示した部分が平滑化された結果を
示す。図１９の図解においては網点で示した部分が平滑
化された結果を示している。たとえば、〔０００３〕
が、〔０１２３〕と連続性がでるように平滑化されてい
る。両者のマクロブロックの符号化画像の画質の相違が
目立つことを克服するための平滑化は上述した例示以外
のものでもよい。もちろん、本発明において平滑化処理
は必須ではないが、両者のマクロブロックの符号化画像
の画質の相違が目立つことを克服するためには、分割境
界付近処理部１５４において平滑化を行なうことが望ま
しい。

【０１００】分割境界付近のマクロブロックの符号化画
像の画質の不連続の除去 分割画像符号化装置１２０Ａ_i (i=1〜4)における分割境
界付近におけるマクロブロックの符号化画像の画質の不
連続を除去する処理、すなわち、分割画像符号化装置内
制御部１３３の制御のもとで量子化スケールコードを下
げる処理は、分割境界のマクロブロックに対し片側のみ
行うと分割境界のマクロブロックの符号化画像の画質が
不連続の原因となるため、分割境界に対し両側のマクロ
ブロックを対応付けて処理を行うのが望ましい。

【０１０１】さらに、分割境界付近処理部１５４におけ
る符号化画像の画質の不連続の度合いの予測で、不連続
が生じるであろうと予測された分割境界の一方の側のマ
クロブロックの画像について処理量を多くするのが望ま
しい。そこで、符号化画像の画質の不連続が生じる分割
境界の一方の側のマクロブロックであるかどうかのフラ
グを１ビットを用意する。説明の簡単化のため垂直方向
の分割境界の場合を例示すると、図２０に図解したよう
に上からｎ番目のマクロブロックの分割境界に対し左側
のマクロブロックのフラグをＦｌ（ｎ）、右側のマクロ
ブロックのフラグをＦｒ（ｎ）とする。分割境界付近処
理部１５４は、フラグＦｌ（ｎ）、Ｆｒ（ｎ）の値とし
てそれぞれ平滑化したコードＣｌ’（ｎ）、Ｃｒ’
（ｎ）から例えば次の計算式で求める。

【０１０２】

【数４】

【０１０３】つぎに、垂直方向の分割境界の場合を例示
すると、分割境界付近処理部１５４は、平滑化したコー
ドＣｌ’（ｎ）とＣｒ’（ｎ）から、分割境界の両側の
マクロブロックの画像についての処理量を対応付けた２
次平滑化コードＣｌ”（ｎ）とＣｒ”（ｎ）を例えば次
の計算式で求める。

【０１０４】

【数５】

【０１０５】もちろん、このようなコードの対応付け
や、フラグの求め方は、これに限ったものではなく、こ
れは例示である。

【０１０６】このようにして分割境界付近処理部１５４
で求めた２ビットのコード、例えば垂直方向の分割境界
の場合は２次平滑化コードＣｌ”（ｎ）、Ｃｒ”（ｎ）
と、１ビットのフラグ、例えば同様に垂直方向の分割境
界の場合はフラグＦｌ（ｎ）、Ｆｒ（ｎ）を対応する第
１〜第４の分割画像符号化装置１２０Ａ₁ 〜１２０Ａ ₄
の制御部１３３に転送する。符号化特徴量としてＭＥ残
差を転送したときと同様に、第２実施の形態における転
送路は１６ビット幅であるので、平滑化コードはまとめ
て一度に８個ずつ、フラグは１６個ずつ、分割画像符号
化装置内制御部１３３に転送する。

【０１０７】以上、垂直方向の分割境界を例に述べた
が、水平方向の分割境界についても同様に処理を行う。
また、垂直方向と水平方向を全く同じ処理ではなく、異
なった処理にしても構わない。

【０１０８】分割境界付近処理部１５４から転送された
コードやフラグを基に、各分割画像符号化装置１２０Ａ
_i (i=1〜4)において制御部１３３の制御のもとで符号化
画像の画質の不連続を除去する処理を行う。第１実施の
形態においては、通常のレートコントロールにより得ら
れた量子化スケールコードに対し、減少させるオフセッ
ト量で規定している。この場合、下げる前の量子化スケ
ールコードが大きいと下げ方が不十分になり符号化画像
の画質の不連続の除去効果も不十分になる一方、量子化
スケールコードが小さいと必要以上に下げてしまい不必
要に分割境界付近に符号化による発生ビットを割り当て
てしまうという不具合が起こる。第２実施の形態では、
各分割画像符号化装置１２０Ａ_i (i=1〜4)における符号
化時に制御部１３３の制御のもとで分割境界付近のマク
ロブロックの量子化スケールコードを下げる処理を以下
のように行う。

【０１０９】（１）第２実施の形態では量子化スケール
コードを下げるオフセット量ではなく、どの値に下げる
かという目標となる量子化スケールコードで規定する。 （２）さらに、分割境界付近処理部１５４から分割画像
符号化装置内制御部１３３に転送される符号化画像の画
質の不連続の除去処理を行うコードに応じて、目標とす
る量子化スケールコードを変化させることにより、符号
化画像の不連続の度合いの予測に応じた除去処理を行
う。 （３）通常のレートコントロールにより得られる量子化
スケールコードがこの目標値より小さい場合、量子化ス
ケールコードの操作は行わない。

【０１１０】第２実施の形態では、図２１（Ａ）〜
（Ｃ）に図解のようにコードから目標量子化スケールコ
ードを対応付けている。図２１（Ｂ）は、図２１（Ａ）
に図解した垂直方向の分割境界に対する右側の、上から
ｎ番目の行のマクロブロックのコードＣｒ”（ｎ）に対
する目標量子化スケールコードＱｒｏ（ｎ）の例を図表
に表したものである。目標量子化スケールコードＱｒｏ
（ｎ）の値を変えてピクチャタイプ毎に処理を異ならせ
ると、分割画像符号化装置１２０Ａ_i (i=1〜4)における
処理負担を増加させるので、図２１（Ｂ）に例示したよ
うに、本実施の形態ではピクチャタイプ毎に目標量子化
スケールコードＱｒｏ（ｎ）の値を異ならせてはいな
い。しかしながら、分割画像符号化装置１２０Ａ_i (i=1
〜4)の処理能力に余裕があればピクチャタイプ毎に目標
量子化スケールコードＱｒｏ（ｎ）の値を異ならせても
構わない。また、目標量子化スケールコードＱｒｏ
（ｎ）の値そのものも図２１（Ｂ）に例示したものに限
るものではない。図２１（Ｂ）に図解した例示では、２
次平滑化コードＣｒ”（ｎ）が０のとき目標量子化スケ
ールコードＱｒｏ（ｎ）の値は３１であるが、これは量
子化スケールコードの最大値であり、通常のレートコン
トロールにより得られた量子化スケールコードが目標量
子化スケールコードＱｒｏ（ｎ）以下であれば、分割画
像符号化装置１２０Ａ_i (i=1〜4)において量子化スケー
ルコードを操作する処理は行わないので、結局どのよう
な場合でも処理が行われないことになる。

【０１１１】第２実施の形態でも、第１実施の形態と同
様に、量子化スケールコードを操作するマクロブロック
は分割境界に接するマクロブロックのみではなく、分割
境界から離れるにしたがい操作する量を減らしていく。
ただし第２実施の形態ではオフセット値ではなく目標値
で量子化スケールコードＱｒｏ（ｎ）を操作しているの
で、オフセット値を徐々に変化させるように目標量子化
スケールコードＱｒｏ（ｎ）の値を徐々に変化させても
よいが、第２実施の形態では目標量子化スケールコード
Ｑｒｏ（ｎ）と通常のレートコントロールにより得られ
た量子化スケールコードを内分した値を操作後の量子化
スケールコードとし、その重みを徐々に変えるようにす
る。図２１（Ｃ）にその重みの例を図表として示した。

【０１１２】重みはフラグＦｒ（ｎ）の値０か１かに応
じて異なり、かつ、分割境界からのマクロブロックの距
離ｄに応じて異なる。距離ｄ＝０は分割境界に隣接する
マクロブロックの位置である。なお、重みも、本実施の
形態では、目標量子化スケールコードＱｒｏ（ｎ）につ
いて述べた理由と同じ理由で、すなわち、分割画像符号
化装置１２０Ａ_i (i=1〜4)の負担軽減のため、ピクチャ
タイプにより値を異ならせることは行っていない。一
方、分割境界付近処理部１５４で求めたフラグＦｒ
（ｎ）をここでは用い、符号化画像の画質の不連続が生
じる側であると判断された場合、すなわち、フラグＦｒ
（ｎ）＝０のときは、フラグＦｒ（ｎ）＝１のときより
量子化スケールコードの操作量が大きくなる重みに設定
している。図２１（Ｃ）に例示した重みは、分母が２の
べき乗になっており、内分計算時に割り算をビットシフ
トで行うことにより、演算量が削減できるように工夫さ
れている。もちろん、この重みは、図２１（Ｃ）に例示
した数値に限られるものではない。

【０１１３】分割境界付近処理部１５４における具体的
な内分計算は、例えば次のように行う。図２１（Ａ）に
示すように、垂直方向の分割境界に対して右側の、上か
らｎ番目のマクロブロックの目標量子化スケールコード
Ｑｒｏ（ｎ）を、図２１（Ｂ）に例示したコードＣｒ”
（ｎ）に応じて求める。この値は、分割境界からのマク
ロブロックの距離ｄに関わらず同じである。この位置の
分割境界から距離ｄのマクロブロックの変換重み係数ｋ
ｒ（ｎ，ｄ）を図２１（Ｃ）に例示した図表から求め
る。マクロブロックの、通常のレートコントロールより
得られた量子化スケールコードをＱｒ（ｎ．ｄ）とす
る。このとき、分割境界付近処理部１５４は、操作後の
量子化スケールコードＱｒ’（ｎ，ｄ）を次の式により
求める。

【０１１４】

【数６】

【０１１５】分割境界付近処理部１５４におけるこの操
作の結果を図２２に図解した。量子化スケールコードＱ
ｒ（ｎ．ｄ）は一般に分割境界からのマクロブロックの
距離ｄにより変化するが、この例では一定としている。

【０１１６】上記例示においては、量子化スケールコー
ドＱｒ（ｎ．ｄ）の操作を、垂直方向の分割境界に対す
る右側のマクロブロックを例に述べたが、分割境界の左
側のマクロブロックも同様である。また、水平方向の分
割境界に対する上側のマクロブロックと下側のマクロブ
ロックに対する処理も同様である。もちろん、垂直方向
と水平方向の分割境界により、目標量子化スケールコー
ドや変換重み係数を異ならせても構わない。

【０１１７】分割境界付近処理部１５４は、垂直方向の
分割境界と、水平方向の分割境界の両方に近いマクロブ
ロックについては、たとえば、図２３（Ａ）、（Ｂ）に
示す量子化スケールの操作処理を行う。図２３（Ａ）に
図解のごとく、分割境界付近処理部１５４は、垂直方
向、水平方向の両方からの操作による量子化スケールコ
ードを一旦別々に求め、値が小さいほうを採用する。こ
の場合、量子化スケールコードの操作の処理を２回行う
ことになり、分割境界付近処理部１５４における演算量
が増えるという不利益がある。これに対し、図２３
（Ｂ）に図解したグラフは、マクロブロックの位置関係
により、どちらか一方からの操作のみを行う例を示す。
この場合、分割境界付近処理部１５４における演算量は
増えないが、例えば垂直方向の符号化画像の不連続の影
響が大きいにも関わらず、位置関係から水平方向の操作
処理を行うことになり、分割境界付近のマクロブロック
のい符号化画像の画質の不連続の除去に必要な操作が不
十分になることが予想される。このように、図２３
（Ａ）、（Ｂ）に図解した量子化スケールの操作処理は
分割境界付近処理部１５４の状況および目的に則して、
決定する。

【０１１８】第２実施の形態の効果 第２実施の形態によれば、分割境界付近のマクロブロッ
クのＭＥ残差から符号化画像の画質の不連続の発生度合
いを予測し、それに応じた除去操作を行うことにより、
不必要な符号化画像の画質の低下を発生させずに分割境
界付近のマクロブロックの符号化画像の画質の不連続を
除去できる。また第２実施の形態による上記方法によ
り、ビットレートが一定の場合に、分割境界付近のマク
ロブロックについての上述した符号化処理に伴う発生ビ
ット量が不当に使用されることが回避できるので、符号
化画像全体の画質の低下が防止できる。

【０１１９】第２実施の形態の適用例 図１３〜図２３を参照して述べた動画像符号化装置１０
０Ａも、図１０〜図１２を図解した述べた図１〜図１２
を参照して述べた動画像符号化装置１００と同様、種々
の装置に適用できる。

【０１２０】

【発明の効果】このように、本発明によれば、たとえば
既存の小規模で安価で低消費電力の、簡単な構成の符号
化手段を組み合わせて、ＨＤＴＶ信号のような画素数の
大きい動画像信号を分割して複数の符号化手段で符号化
するとき、分割に起因する符号化画像の画質の不連続を
低減または除去して、全体の画像として画質の高い符号
化画像を提供することができる。

【図面の簡単な説明】

【図１】図１は本発明の第１実施の形態としての動画像
符号化装置の構成図である。

【図２】図２は図１に示した動画像符号化装置に入力さ
れるＨＤＴＶ映像信号およびその分割方法を図解した図
である。

【図３】図３は図１に示した動画像符号化装置内の分割
画像符号化装置の構成図である。

【図４】図４は図３に示した分割画像符号化装置におけ
るＰピクチャの画像信号の縦方向の分割境界に対するイ
ントラ・マクロブロック化の処理を例示した図である。

【図５】図５は図３に示した分割画像符号化装置におけ
る量子化スケールコードを補正する処理の領域分割方法
を例示した図である。

【図６】図６は図３に示した分割画像符号化装置におけ
る量子化スケールコードを補正する処理の補正係数の例
を示す図である。

【図７】図７はスライス単位で分解されたビデオストリ
ームの並びを例示した図である。

【図８】図８は図５に示した分割画像符号化装置におけ
る量子化スケールコードを補正する処理の他の領域分割
方法を図解した図である。

【図９】図９は図５に示した分割画像符号化装置におけ
る量子化スケールコードを補正する処理のさらに他の領
域分割方法を図解した図である。

【図１０】図１０は図１に示した動画像符号化装置を適
用したビデオカメラの構成図である。

【図１１】図１１は図１に示した動画像符号化装置を適
用した画像記録装置の構成図である。

【図１２】図１２は図１に示した動画像符号化装置を適
用した画像伝送装置の構成図である。

【図１３】図１３は本発明の第２実施の形態としての動
画像符号化装置の全体構成図である。

【図１４】図１４は図１３に図解した動画像符号化装置
の第１例の処理の動作タイミングを示す図である。

【図１５】図１５は図１３に図解した動画像符号化装置
における分割画像符号化装置から分割境界付近処理部
に、分割境界に接する２マクロブロック幅のＭＥ残差を
転送する例を図解した図である。

【図１６】図１６は図１３に図解した動画像符号化装置
の第２例の処理の動作タイミングを示す図である。

【図１７】図１７は第２実施の形態における横軸に示し
たＭＥ残差（ＶＡＲ＿ｏｒｉ）と、縦軸に示した圧縮し
たＭＥ残差（ＶＡＲ−ｏｕｔ）との関係を図解した図で
ある。

【図１８】図１８は図１７に図解した圧縮したＭＥ残差
を分割境界に垂直な方向の４個のＭＥ残差ごとにグルー
プ分けを行なう例を図解した図である。

【図１９】図１９はコードの平滑化処理を図解した図で
ある。

【図２０】図２０は平滑化したコードとフラグとの関係
を図解した図である。

【図２１】図２１（Ａ）〜（Ｃ）はコードから目標量子
化スケールコードを対応付ける例を図解した図、表であ
る。

【図２２】図２２は分割境界からの距離と量子化スケー
ルコードとの関係を図解したグラフである。

【図２３】図２３（Ａ）は分割境界付近処理部による垂
直方向、水平方向の両方からの操作による量子化スケー
ルコードを一旦別々に求め、値が小さいほうを採用する
例を示す図であり、図２３（Ｂ）はマクロブロックの位
置関係によりどちらか一方からの操作のみを行う例を示
す図である。

【図２４】図２４は１つの画面を分割し符号化する際
の、分割領域と動きベクトルの関係を図解した図であ
る。

【符号の説明】

１００、１００Ａ…動画像符号化装置、１１０…画面分
割装置、１２０、１２０Ａ…分割画像符号化装置、１２
１…画面並び換え部、１２２…減算器、１２３…ＤＣＴ
処理部、１２４…量子化部、１２５…可変長符号化部、
１２６…バッファ、１２７…レート制御部、１２８…逆
量子化部、１２９…逆ＤＣＴ処理部、１３０…加算器、
１３１…フレームメモリ、１３２…動き補償予測部、１
３３…分割画像符号化装置内制御部、１４０…ビデオス
トリーム統合装置、１５０、１５０Ａ…制御装置、１５
２・・制御部、１５４・・分割境界付近処理部２１０…
ビデオカメラ、３００…ビデオテープ記録装置

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK03 MA00 MA05 MA14 MA23 MC11 MC31 NN01 PP05 PP06 PP07 SS11 TA18 TA46 TB07 TC15 TC33 TD13 UA02 UA32 UA33 UA38 5J064 AA01 BB01 BB03 BC25 BD02 BD03

Claims (14)

【特許請求の範囲】
1. 【請求項１】入力画像をＮ個の領域に分割し、当該各領
   域に対応するＮ個の分割画像信号を生成する画面分割手
   段と、 前記生成したＮ個の分割画像信号を各々符号化し、Ｎ個
   の符号化画像信号を生成する複数の画像符号化手段と、 前記複数の画像符号化手段で生成したＮ個の符号化画像
   信号を統合し、前記入力画像に対応する１個の符号化画
   像信号を生成する統合手段と、 前記分割画像の分割境界における前記複数の符号化手段
   による符号化画像の画質の不連続の度合いを予測し、分
   割境界付近の符号化操作量を決定する分割境界付近処理
   手段と、 を具備し、 前記複数の符号化手段は、前記分割境界付近処理手段で
   決定した前記分割境界付近の符号化操作量に基づいて前
   記分割した領域間の境界に近接する異なる領域に含まれ
   る各画像の画像信号について量子化スケールのコードを
   制御して符号化処理を行なう、 画像符号化装置。
2. 【請求項２】前記分割境界付近処理手段は、 前記複数の画像符号化手段の符号化処理の時に求めた分
   割境界に隣接する複数のマクロブロックの画像について
   のＭＥ残差を用いて前記符号化画像の画質の不連続の度
   合いを予測し、 予測した不連続の程度に応じて各符号化手段に対する前
   記分割境界付近の符号化操作量を決定し、 決定した符号化操作量を対応する複数の符号化手段に転
   送する、 請求項１記載の画像符号化装置。
3. 【請求項３】前記分割境界付近処理手段は、前記複数の
   画像符号化手段の符号化処理の時に求めたＰピクチャに
   ついてのＭＥ残差を用いて前記符号化画像の画質の不連
   続の度合いを予測する、 請求項２記載の画像符号化装置。
4. 【請求項４】前記分割境界付近処理手段は、分割境界に
   隣接する２マクロブロック幅の前記ＭＥ残差を用いて、
   前記符号化画像の画質の不連続の度合いを予測する、 請求項２または３記載の画像符号化装置。
5. 【請求項５】前記複数の符号化手段は、符号化処理の時
   に求めた前記ＰピクチャについてのＭＥ残差のうち、分
   割境界に隣接する２マクロブロック幅の前記ＭＥ残差の
   みを前記分割境界付近処理手段に転送する、 請求項４記載の画像符号化装置。
6. 【請求項６】前記複数の符号化手段は、符号化処理の時
   に求めた前記ＰピクチャについてのＭＥ残差のうち、分
   割境界に隣接する２マクロブロック幅の前記ＭＥ残差を
   圧縮して前記分割境界付近処理手段に転送する、 請求項５記載の画像符号化装置。
7. 【請求項７】前記分割境界付近処理手段は、前記分割境
   界付近の符号化操作量として、前記複数の符号化手段に
   おける分割境界付近のマクロブロックの画像の量子化の
   スケールコードを、前記ＭＥ残差の特徴に応じて変化さ
   せるような値として、前記予測値を基に決定し、前記複
   数の符号化手段に転送する、 請求項１〜６いずれか記載の画像符号化装置。
8. 【請求項８】前記分割境界付近処理手段は、前記分割境
   界付近の符号化操作量として、前記複数の符号化手段に
   おける分割境界付近のマクロブロックの画像の量子化の
   スケールコードを、前記ＭＥ残差の特徴に応じて変化さ
   せるような値として、前記予測値をもとに決定し、前記
   複数の符号化手段に転送する、 請求項１〜７いずれか記載の画像符号化装置。
9. 【請求項９】前記分割境界付近処理手段は、前記量子化
   スケールコードを変化させるための前記符号化操作量
   を、分割境界の符号化画像の画質の不連続の度合いの予
   測に応じた目標量子化スケールコードに基づいて決定す
   る、 請求項８記載の画像符号化装置。
10. 【請求項１０】前記分割境界付近処理手段は、分割境界
    を挟んだマクロブロックの画像の符号化処理の相違が少
    なくなるように、前記分割境界付近の符号化操作量を平
    滑処理する、 請求項２記載の画像符号化装置。
11. 【請求項１１】前記分割境界付近処理手段は、分割境界
    からの距離が離れるにつれて徐々に前記符号化操作量が
    低下するように、前記符号化操作量を低下させる、 請求項２に記載の画像符号化装置。
12. 【請求項１２】前記複数の符号化手段は、 前記分割境界に近接する領域に含まれる画像信号につい
    て量子化スケールを下げて符号化を行ない、 前記分割境界から離れた領域に含まれる画像信号につい
    て量子化スケールを上げて符号化を行なう 請求項１に記載の画像符号化装置。
13. 【請求項１３】入力画像をＮ個の領域に分割し、当該各
    領域に対応するＮ個の分割画像信号を生成する画面分割
    工程と、 前記生成したＮ個の分割画像信号を各々符号化し、Ｎ個
    の符号化画像信号を生成する画像符号化工程と、 前記生成したＮ個の符号化画像信号を統合し、前記入力
    画像に対応する１個の符号化画像信号を生成する統合工
    程と、 前記分割画像の分割境界における前記画像符号化工程に
    おける符号化画像の画質の不連続の度合いを予測し、分
    割境界付近の符号化操作量を決定する分割境界付近処理
    工程とを具備し、 前記画像符号化工程において、前記分割境界付近処理工
    程で決定した前記分割境界付近の符号化操作量に基づい
    て前記分割した領域間の境界に近接する異なる領域に含
    まれる各画像の画像信号について量子化スケールのコー
    ドを制御して符号化処理を行なう、 画像符号化方法。
14. 【請求項１４】前記分割境界付近処理工程において、 前記画像符号化工程における符号化処理の時に求めた分
    割境界に隣接する複数のマクロブロックの画像について
    のＭＥ残差を用いて前記符号化画像の画質の不連続の度
    合いを予測し、 予測した不連続の程度に応じて前記画像符号化工程にお
    ける前記分割境界付近の符号化操作量を決定し、 前記画像符号化工程は前記決定した符号化操作量に基づ
    いて符号化処理を行なう、 請求項１３記載の画像符号化方法。