JP2000244921A

JP2000244921A - 映像符号化方法および装置

Info

Publication number: JP2000244921A
Application number: JP4621799A
Authority: JP
Inventors: Tsutomu Uenoyama; 上野山　　努; Osamu Iwasaki; 修岩崎; Daisaku Komiya; 大作小宮; Minoru Eito; 稔栄藤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1999-02-24
Filing date: 1999-02-24
Publication date: 2000-09-08
Also published as: DE60027495D1; EP1032213A2; DE60027495T2; EP1032213A3; EP1032213B1; US6798837B1

Abstract

(57)【要約】【課題】映像の圧縮形式の変換において従来不可能で
あった、圧縮形式の変換処理に要する演算量を低減、変
換によって生じる画質劣化をも低減を実現する。【解決手段】映像変換部200に、入力ビットストリー
ムに含まれる、動きベクトル、動き予測残差信号、直交
変換係数、量子化値などの付加情報を符号化に利用す
る、付加情報処理手段201を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、圧縮されたデジタ
ル映像信号を同一あるいは異なる圧縮形式に符号化する
映像符号化装置とその方法に関し、特に入力となる圧縮
されたデジタル映像信号が有する圧縮に関する情報を利
用して符号化を行う事を特徴とする。

【０００２】

【従来の技術】近年、デジタルデータの伝送、蓄積、処
理に関する技術の発達に伴い、デジタル映像信号は多く
の用途で利用されている。これらのデジタル映像信号の
多くは圧縮が施され、符号量が削減されているが、その
圧縮形式は用途などにより複数存在し、統一されていな
い。また、複数ある圧縮形式の多くは相互に互換性を持
たないため、ある圧縮形式で圧縮された映像を、他の圧
縮形式を採用するシステムで直接利用する事ができない
場合が多い。あるいは、同じ圧縮形式でも伝送や蓄積の
容量の制限の違いから、単位時間あたりの符号量（ビッ
トレート）が大きく異なる場合もあり、この場合にも、
一方のビットレートで圧縮された映像を他方のビットレ
ートを採用するシステムで利用する事ができない場合が
ある。

【０００３】このような背景から、ある圧縮形式にて圧
縮されたデジタル映像信号を、他の圧縮形式に変換する
技術が研究開発されている。このような従来技術の一例
として、特開平１０−２７１４９４が知られている。こ
の従来技術は、空間解像度の異なる動画像のビットスト
リーム変換の方法を示しており、解像度の高いＭＰＥＧ
２圧縮形式の動画像を入力とし、解像度の低いＨ．２６
３圧縮形式の動画像を出力する。そしてこの従来技術
は、入力となるＭＰＥＧ２ビットストリームの動きベク
トルを補正することで、解像度の異なる、出力のＨ．２
６３ビットストリームの動きベクトルとして利用するこ
とを一つの特徴としている。

【０００４】

【発明が解決しようとする課題】しかし、上記の従来技
術では、次のような問題があった。

【０００５】（１）入力ストリームの動きベクトルによ
る動き予測の誤差の大きさにかかわらず、入力の動きベ
クトルを利用するため動き予測誤差の大きい動きベクト
ルを基にして符号化する場合があり、その場合、より大
きい予測誤差を発生させて画質の劣化を招く可能性があ
る。

【０００６】（２）実際の画像について、全てを復号し
再符号化するため、その復号および再符号化の過程で誤
差が発生し、その誤差が画質の劣化を招く可能性がある
上、（３）復号および再符号化の処理に、多くの演算量を要
する。

【０００７】本発明は、上記の問題を解決することを目
的とする。すなわち、本発明は次の事を課題とする。

【０００８】（１）入力ストリームの動きベクトルの再
利用時に、動き予測誤差が大きい動きベクトルを再利用
する事による画質の劣化を低減する。

【０００９】（２）入力ストリームに対する復号と出力
ストリームへの再符号化を削減して、これらの過程で発
生する画質劣化を低減し、（３）変換に要する演算量を低減する。

【００１０】さらに、本発明では、圧縮形式の変換に要
する処理遅延を従来に比べ短縮する事を、もう一つの課
題とする。

【００１１】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明の映像符号化方法は、入力ストリームに対
して、一部ないしは全部の過程の復号処理を行い、入力
ストリームと同一ないしは異なる圧縮形式で符号化する
ことにより、圧縮状態の異なるデジタル動画像である出
力ストリームを生成する方法で、入力ストリームの復号
された画素値以外の情報である付加情報を利用して出力
ストリームを生成する事を特徴としている。

【００１２】入力ストリームおよび出力ストリームが、
サブピクチャ毎に、符号化方法についての情報である符
号化モードを有する時、出力ストリームの符号化モード
を、入力ストリームの該当するサブピクチャの符号化モ
ードを基に決定することを特徴としている。

【００１３】出力ストリームがピクチャ毎に符号化モー
ドを有する時、前記出力ストリームの符号化モードを、
入力ストリームの対応するピクチャに含まれるサブピク
チャの符号化モードを基に決定する事を特徴としてい
る。

【００１４】出力ストリームの各サブピクチャが符号化
中のピクチャから数えて過去何ピクチャ分連続してフレ
ーム間符号化されたかの情報を含む符号化モード履歴情
報を生成および参照する方法を有し、入力ストリームで
フレーム間圧縮された複数のサブピクチャから出力スト
リームの圧縮時にフレーム内圧縮するサブピクチャを選
択する時、前記符号化モード履歴情報を利用する事を特
徴としている。

【００１５】入力ストリームおよび出力ストリームが、
サブピクチャ単位で動き補償可能な圧縮形式で圧縮され
ている時、入力ストリームの動きベクトルを、出力スト
リームの動きベクトルとして使用可能な形式に変更し、
出力ストリームの動きベクトルとして使用する事を特徴
としている。

【００１６】入力ストリームの動きベクトルの値を基に
して探索の始点を決定し、動きベクトル探索を行うこと
で出力ストリームの動きベクトルを決定する事を特徴と
している。

【００１７】入力ストリームの動きベクトルが、フィル
タ処理を施された参照画像を使用して求められた動きベ
クトルの時、前記動きベクトルがフィルタ処理を施され
ていない参照画像を使用して求められた表現に変換し、
さらに、前記変換された動きベクトルを、前記入力スト
リームの参照画像と異なるフィルタ処理が施された参照
画像を使用して求められた表現に変換することにより出
力ストリームの動きベクトルを生成する事を特徴として
いる。

【００１８】入力ストリームがサブピクチャ毎に動きベ
クトルと動き予測誤差である差分情報とを有する時、差
分情報の大きさを求めて動きベクトル確度を計算し、前
記動きベクトル確度の大きさに応じて、前記入力ストリ
ームの動きベクトルの利用方法を変える事を特徴として
いる。

【００１９】動きベクトル確度の大きさに応じて動きベ
クトル探索処理の探索範囲を変える事を特徴としてい
る。

【００２０】動きベクトル確度の大きさに応じて、動き
ベクトル探索処理を行うか、動きベクトル探索処理を行
わないかを判断する事を特徴としている。

【００２１】動きベクトル確度の大きさに応じて、出力
ストリームの対応するサブピクチャの符号化方法を変え
る事を特徴としている。

【００２２】入力ストリームの１ピクチャ全体が入力さ
れる前に、サブピクチャ単位で出力ストリームを生成す
る映像符号化方法で、最初に、１ピクチャ全体がフレー
ム内圧縮されているイントラピクチャを検出する事を特
徴としている。

【００２３】イントラピクチャを検出するために、入力
ストリームの処理中のピクチャにおいて各サブピクチャ
がフレーム内符号化されているか否かを記録した情報で
あるイントラブロック情報を生成しながら、サブピクチ
ャ単位の圧縮形式変換処理を行い、入力ストリームより
１ピクチャ内のすべてのサブピクチャが入力された時点
で、前記イントラブロック情報を参照して、処理中のピ
クチャに含まれるサブピクチャがすべてフレーム内圧縮
されていることを検出することでイントラピクチャの検
出を行うことを、特徴としている。

【００２４】入力ストリームに含まれる直交変換係数
を、出力ストリームに逆直交変換する事なく含める方法
を有する事を特徴としている。

【００２５】入力ストリームに含まれる量子化された直
交変換係数を、出力ストリームに逆量子化および逆直交
変換する事なく含める方法を有する事を特徴としてい
る。

【００２６】入力ストリームのサブピクチャがフレーム
内符号化されている時、該サブピクチャを出力ストリー
ムの生成時にフレーム内符号化し、入力ストリームの該
サブピクチャの直交変換係数ないしは量子化された直交
変換係数を、出力ストリームの該サブピクチャの直交変
換係数ないしは量子化された直交変換係数として用いる
事を特徴としている。

【００２７】入力ストリームのサブピクチャが動き補償
を伴ってフレーム間符号化されている時、該サブピクチ
ャを出力ストリームの生成時に動き補償を伴ってフレー
ム間符号化し、入力ストリームの該サブピクチャの差分
情報である、交変換係数ないしは量子化された直交変換
係数を、出力ストリームの該サブピクチャの差分情報で
ある直交変換係数ないしは量子化された直交変換係数と
して用いる事を特徴としている。

【００２８】各直交変換係数の直交変換単位領域内での
位置と量子化値との関係を示す量子化マトリクスについ
て、入力ストリームの各サブピクチャの量子化マトリク
スと同一の量子化マトリクスを、出力ストリームの該当
するサブピクチャに設定し、出力ストリームの各直交変
換係数を、入力ストリームの該当する位置の直交変換係
数の量子化値と同一の量子化値で量子化する事を特徴と
している。

【００２９】出力ストリームの各サブピクチャの量子化
値を、該サブピクチャの低周波領域の直交変換係数に対
する量子化値と入力ストリームの該当する直交変換係数
に対する量子化値とが同一になるように、設定する事を
特徴としている。

【００３０】出力ストリームのサブピクチャに対応する
入力ストリームのサブピクチャが複数ある場合、前記出
力ストリームのサブピクチャの符号化モードを、前記対
応する入力ストリームのサブピクチャの少なくとも一つ
がフレーム内圧縮された場合、フレーム内圧縮モード候
補とし、前記フレーム内圧縮モード候補であるサブピク
チャが最後にフレーム内圧縮されてから過去連続してフ
レーム間圧縮された回数が、あらかじめ定めた閾値を超
えている場合に前記出力ストリームのサブピクチャの符
号化モードをフレーム内圧縮符号化モードをすることを
特徴としている。

【００３１】１ピクチャ内のサブピクチャの符号化順序
が、入力ストリームと出力ストリームとで異なる場合、
入力ストリームのサブピクチャを、出力ストリームの符
号化順で連続して符号化できる数だけ蓄積してから出力
ストリームを生成する事を特徴としている。

【００３２】

【発明の実施の形態】次に、本発明の実施の形態につい
て、図面を用いて説明する。

【００３３】（第１の実施の形態）第１の実施の形態で
は、H.261形式で圧縮された映像信号をMPEG4-visual形
式で圧縮された映像信号に変換する、映像信号変換装置
について説明する。なお、説明をより具体的にかつ簡潔
にするため、本実施の形態で用いる映像信号は、QCIF(Q
uarter Common Interface Format)として知られる縦144
画素横176画素の画像サイズを持つものと仮定するが、
この画像サイズおよび圧縮形式の仮定は本発明の適用範
囲を何ら限定するものではない。

【００３４】最初に本装置の構成を説明する。図１は本
装置の機能ブロック図である。本装置は、入力手段100
と、付加情報処理手段201と、入力バッファ202と、可変
長復号手段203と、伸長手段204と、符号化モード判定手
段205と、動き予測手段206と、直行変換手段207と、量
子化手段208と、可変長符号化手段209と、出力バッファ
210と、出力手段300とから構成される。

【００３５】次に、本装置の全体の処理について、基本
となる処理の流れを図2を用いて説明する。本装置は入
力される圧縮映像信号に含まれる情報を利用し、出力す
る圧縮形式に符号化する処理を高速化、あるいは高画質
化する事を特徴とするが、図2に示す処理には、この特
徴となる処理を含んでいない。この特徴となる処理の詳
細については、後で説明する。本装置は図2に示す通
り、次の流れで圧縮映像信号の変換処理を行う。

【００３６】ステップ1100：処理されていない入力スト
リームが存在すれば、ステップ1200：入力手段100が、入力バッファ202へ、未
処理のストリームを入力する。

【００３７】ステップ2100：可変長復号手段203が、入
力バッファより入力ストリームを順次取り出して入力ス
トリームの符号化規格に準じた方法で可変長復号し、ステップ2200：伸長手段204が、可変長復号された入力
ストリームを既知の一般的な方法により、非圧縮映像信
号に伸長する。

【００３８】ステップ3100：次に、符号化モード判定手
段205が、伸長手段204より取得した映像信号について、
ピクチャ単位、あるいはマクロブロック単位に、フレー
ム内圧縮かフレーム間圧縮か符号化しないかの判断を含
む、符号化モード判定を行い、ステップ3200：判定した結果がフレーム間圧縮であれ
ば、ステップ3300：動き予測手段206が動きベクトル探索を
行って各マクロブロックに対応する動きベクトルを求
め、ステップ3400：動き予測手段が、求められた動きベクト
ルに基づいた差分情報を求めるなどの動き補償処理を、
行う。

【００３９】ステップ3500：直交変換手段207は、フレ
ーム内圧縮された信号については信号を直接、フレーム
間圧縮された信号については差分情報を直交変換（DC
T）する。

【００４０】ステップ3600：次に量子化手段208が、直
交変換手段207により生成されたＤＣＴ係数を量子化す
る。

【００４１】ステップ3700：次に、動き予測手段206に
より生成された、動きベクトルなどの動き情報や、量子
化手段により量子化されたＤＣＴ係数や、符号化しない
ブロックについては該ブロックに符号がない旨の情報
を、可変長符号化手段209が可変長符号に符号化し、出
力バッファ210に出力する。

【００４２】ステップ3800：1ピクチャ分のマクロブロ
ックの変換処理がすべて終わるまで同様の処理を繰り返
し（ステップ1200へ戻る）、1ピクチャ分のマクロブロ
ックの変換処理が終了すれば、ステップ4000：動き予測手段206が、現ピクチャから次
ピクチャの動き予測に用いる参照画像を生成し、ステップ4100：最後に、出力手段300が、出力バッファ2
10より出力ストリームを取り出し、出力し、次のピクチ
ャの変換処理を行なう（ステップ1100に戻る）。

【００４３】次に、本装置の特徴である、付加情報処理
手段201の動作について説明する。付加情報処理手段201
は、入力ストリームの特徴量を利用して出力ストリーム
の生成処理、すなわち符号化処理を制御する。付加情報
処理手段201が利用することのできる、入力ストリーム
の特徴量の種類や、その入力ストリームの特徴量の利用
方法は複数種類あり、それらを個別に適用したり、任意
に組み合わせて適用したりすることが可能である。本実
施の形態では、以下にそれらの実施例を個別に説明す
る。

【００４４】（付加情報の利用例１）第１の付加情報の
利用例は、入力ストリームの符号化モードを利用して、
出力フレームの該当する個所の符号化モードを決定する
ものである。ここでいう符号化モードとは、フレーム内
圧縮（イントラ）・フレーム間圧縮（インター）や、フ
レーム間圧縮の際に差分情報や動きベクトルの使用の有
無など、符号化の方法を示すものである。

【００４５】図３は、入力ストリームの符号化モードを
利用する付加情報処理手段201の構成図であり、（Ａ）
マクロブロック単位の符号化モードの決定のみが可能な
構成図と、（Ｂ）マクロブロック単位、ピクチャ単位両
方の符号化モードの決定が可能な構成図を示している。
それぞれの構成における処理の流れを説明する。

【００４６】図４は、（Ａ）マクロブロック単位に符号
化モードを決定する処理のフローチャートと、（Ｂ）マ
クロブロック単位の符号化モードに加えて、ピクチャ単
位のインター、イントラ符号化の決定を行う処理のフロ
ーチャートである。図４の（Ａ）は図３（Ａ）の構成
に、図４の（Ｂ）は図３の（Ｂ）の構成に対応した処理
を示している。

【００４７】まず、図４（Ａ）の処理の流れを説明す
る。図４（Ａ）に示すとおり、マクロブロック単位の符
号化モードの決定処理は次に示す流れで行う。

【００４８】ステップ5101：まず、符号化モード分析手
段20101が、可変長復号手段203より、入力ストリームの
符号化モードに関する情報をマクロブロック単位に取得
し、ステップ5102：符号化モード分析手段20101は、取得し
た符号化モードの情報から、出力ストリームに有効な情
報を選択し、ステップ5103：符号化モード分析手段20101は、選択し
た値を出力ストリームの符号化モードとして決定し、符
号化モード判定手段205に決定した符号化モードを出力
する。

【００４９】上記の符号化モード分析処理（ステップ51
02）により選択される符号化モードの情報は、例えばイ
ントラかインターかの区別のみとすることも可能であ
る。この場合、非圧縮の動画像を符号化する際にイント
ラ符号化と判定するために必要となる処理、すなわち符
号化モード判定手段205が参照画像との差異を求めてそ
の差異が大きい場合にイントラ符号化と判定する、とい
う処理を省くことができ、処理の高速化を実現できる。

【００５０】また、イントラ、インターの区別に加え、
インターで前フレームの同じ位置のマクロブロックと同
じである、すなわち符号を持たないマクロブロック（符
号なしマクロブロック）であるという情報を選択・利用
することで符号化モード判定処理を軽減する事も可能で
ある。具体的に説明すると、非圧縮の動画像を符号化す
る際に符号無しマクロブロック符号化と判定するために
必要となる処理、すなわち符号化モード判定手段205が
前のフレームとの差異を求め、差異が十分小さい時に、
符号なしマクロブロックと判定する、という処理を省く
ことにより、符号化モード判定処理の軽減を実現するこ
とができる。

【００５１】次に、図４（Ｂ）の処理の流れを説明す
る。図４（Ｂ）に示すとおり、ピクチャ単位の符号化モ
ードの決定処理を含む符号化モードの決定処理は次に示
す流れで行う。

【００５２】ステップ5101：まず、符号化モード分析手
段20101が、可変長復号手段203より、入力ストリームの
符号化モードに関する情報をマクロブロック単位に取得
し、ステップ5104：符号化モード分析手段20101は、取得し
た符号化モードの情報から、出力ストリームに有効な情
報を選択し、選択した情報を符号化モード記憶手段2010
2が記憶し、ステップ5105：符号化モード分析手段20101は、選択し
た値を出力ストリームの該当するマクロブロックの符号
化モードとして決定し、符号化モード判定手段205に、
決定した符号化モードを出力する。

【００５３】ステップ5106：１ピクチャ分のマクロブロ
ック符号化モードを全て決定するまで上記の処理を繰り
返し、全て決定したら、ステップ5107：符号化モード記憶手段20102に記憶され
たマクロブロック符号化モードの情報の内、イントラ符
号化モードのマクロブロックの数を計数し、イントラ符
号化モードのマクロブロック数がある値（例えば１ピク
チャ中のマクロブロック全ての数）に満たない場合、ステップ5108：符号化モード分析手段20101は、ピクチ
ャ符号化モードをインター符号化として符号化モード判
定手段205に出力し、ステップ5109：イントラ符号化モードのマクロブロック
数がある値以上の場合、そのピクチャ符号化モードをイ
ントラ符号化として符号化モード判定手段205に出力す
る。

【００５４】以上の処理の中で、マクロブロック符号化
モードの取得から決定までの処理（ステップ5101〜ステ
ップ5106）は、図４（Ａ）の処理と比べて、符号化モー
ドを符号化モード記憶手段20102が記憶する以外は同じ
である。図４（Ｂ）の処理の特徴は、入力ストリームの
マクロブロック符号化モードを１ピクチャ分記憶してお
き、１ピクチャ分のマクロブロック符号化モードの傾向
から、出力ストリームのピクチャ符号化モードを決定す
る点にある。

【００５５】この処理により、ピクチャ単位のイントラ
・インターなどの符号化モードの情報を持たないH.261
から、ピクチャ単位のイントラ・インターの情報も持つ
MPEG4の符号化モードの決定を、より少ない処理で、的
確に行うことができる。

【００５６】（付加情報の利用例２）第２の付加情報の
利用例は、第１の付加情報の利用例と同じ、符号化モー
ドを利用するものである。第１の付加情報の利用例と大
きく異なる点は、第１の利用例が、出力ストリームのマ
クロブロック符号化モードを入力ストリームの符号化モ
ードと同じ値としていたのに対して、本利用例では、出
力ストリームの過去のフレームのマクロブロック符号化
モードにより、入力ストリームの符号化モード以外の符
号化モードにすることを可能にした点である。これによ
り、入出力ストリームの圧縮形式が異なるために圧縮効
率に差がある場合、符号化モードを的確に変更して、画
質の劣化を少なく保ちながら、必要な圧縮率を確保する
ことが可能となる。

【００５７】図５は本利用例における付加情報処理手段
201の構成を示す機能ブロック図である。図５に示すと
おり、本利用例の付加情報処理手段201は、第１の利用
例の付加情報処理手段201に比べて、符号化モード履歴
記憶手段20103を備える点が、構成上の相違点である。

【００５８】本利用例の付加情報処理手段201の処理
は、第１の付加情報処理手段201の処理（図３（Ａ））
と、符号化モード履歴記憶処理と、符号化モード履歴参
照処理とを加えたものである。この内、第１の利用例と
同様の処理は説明を省略し、符号化モード履歴記憶処理
と、符号化モード履歴参照処理とについて、ここで詳し
く説明する。

【００５９】まず、本利用例における符号化モード履歴
情報の例を説明する。符号化モード履歴情報は、１ピク
チャ内の各マクロブロックがイントラ符号化されてから
何ピクチャ分インター符号化されたかを示す情報であ
り、符号化モード履歴記憶手段20103に格納され、必要
に応じて参照される。図６に、符号化モード履歴情報の
例を示す。図６に示すとおり、符号化モード履歴情報
は、１ピクチャ内のマクロブロック数を要素数とする数
値情報の配列で構成されている。各数値は、対応する位
置のマクロブロックが、最後にイントラ符号化されてか
ら何ピクチャ分インター符号化されたかを示す。

【００６０】ここで、符号化モード履歴記憶処理につい
て説明する。

【００６１】本処理は、符号化モード取得・決定処理
（図３（Ａ）に示す処理）に続いて行われる処理であ
る。符号化モード取得・決定処理を含む本処理の流れを
図７（Ａ）に示す。図７（Ａ）に示すとおり、符号化モ
ード履歴記憶処理は、次の流れで行う。

【００６２】ステップ5201：まず符号化モード分析手段
20101が、図３（Ａ）に示される符号化モード取得・決
定処理を行って結果の符号化モードを符号化モード判定
手段205に出力する。

【００６３】ステップ5202：次に、符号化モード分析手
段20101が、符号化モード判定手段205によって出力スト
リームの実際の符号化時の符号化モードが決定した後に
その符号化モードをマクロブロック毎に取得し、ステップ5203：符号化モード分析手段20101が、インタ
ー符号化のマクロブロックに対しては、符号化モード履
歴情報の該当するマクロブロックの数値を１増加させ、
符号化モードがイントラのマクロブロックに対しては、
符号化モード履歴情報の該当するマクロブロックの数値
を０にする。

【００６４】以上の処理により、最後にイントラ符号化
されてから何ピクチャインター符号化されたかを、符号
化モード履歴情報として記憶することができる。

【００６５】次に、符号化モード履歴情報を参照する処
理について説明する。符号化モード履歴参照処理につい
て説明する。符号化モード履歴参照処理は、符号化モー
ド判定手段205の要求に応じて、符号化モード履歴情報
を符号化モード判定手段205に提供する処理である。図
７（Ｂ）は、符号化モード履歴参照処理の流れを示すフ
ローチャートである。図７（Ｂ）に示すとおり、符号化
モード履歴参照処理は、次の流れで行う。

【００６６】ステップ5204：符号化モード分析手段2010
1が、符号化モード判定手段205より、符号化モード履歴
情報の参照要求を、ピクチャ単位あるいはマクロブロッ
ク単位に受け付け、ステップ5205：符号化モード分析手段20101が、要求さ
れた箇所の符号化モード履歴情報を符号化モード履歴記
憶手段20103より取り出し、ステップ5206：符号化モード判定手段205に、符号化モ
ード履歴情報を提供する。

【００６７】ここで、符号化モード履歴情報を用いる効
果について説明する。例えば、入力ストリームのあるピ
クチャに、イントラ符号化されたマクロブロックがある
個数含まれていたとする。本装置が、入力ストリームで
イントラ符号化されたマクロブロックを、出力ストリー
ムでも全てイントラ符号化すると符号量が増大し、所定
のビットレートに収まらない場合、全体の量子化スケー
ルを大きくして圧縮率を高めることにより、符号量を所
定のビットレート内に納めることが、一般になされる。
しかしその場合、全体に圧縮率をあげるため、画像全体
の劣化が大きくなると言う問題がある。他方、イントラ
符号化するマクロブロックの数を減らし、一般的に圧縮
効率の高いインター符号化のマクロブロックの比率を多
くすることで、符号量を抑える方法がある。この方法は
一部の圧縮効率の低いマクロブロックの圧縮効率を高め
ることにより、符号量の減少を実現するので、対象とな
るピクチャ全体の画質は、先に述べた方法で符号化する
よりも一般的には良くなる。しかし、インター符号化は
長く連続すると、動き補償の誤差が累積し、大きな画質
の劣化を招くという問題がある。

【００６８】そこで、本利用例で生成した符号化モード
履歴情報を利用すれば、前回イントラ符号化されてか
ら、インター符号化されたピクチャ数の少ないマクロブ
ロックを選択してインター符号化に変更することが可能
となり、画質の向上を図ることができる。

【００６９】また、出力ストリームのピクチャの符号量
が所定のビットレートを大きく下回った場合、符号化モ
ード履歴情報を参照して、最後にイントラ符号化されて
からインター符号化されたピクチャ数が多いマクロブロ
ックを選択して、インター符号化からイントラ符号化に
符号化モードを変更することにより、動き補償による画
質劣化を抑え、画質の向上を図ることができる。

【００７０】以上説明したように、本利用例によれば、
入力ストリームの符号化モード情報を利用して符号化モ
ードを決定し、その結果を履歴情報として記憶すること
で、処理量を大きく増加させずに、出力ストリームの画
質を向上させることができる。

【００７１】なお、本利用例では、利用例１の内、マク
ロブロック単位のみの処理をする構成を基にして説明し
たが、本利用例と同様の方法を用いて、マクロブロック
単位とピクチャ単位の符号化モードの決定をすることも
可能である。

【００７２】（付加情報の利用例３）第３の利用例は、
付加情報として入力ストリームの動きベクトルを利用す
るものである。入力ストリームの動きベクトルを利用す
ることで、出力ストリームの符号化時に要する動き予測
処理の処理量を低減することができる。

【００７３】図８は、入力ストリームの動きベクトルを
付加情報として利用する、付加情報処理手段201の構成
を示す機能ブロック図である。図８で、動きベクトル分
析手段20104が、入力ストリームの動きベクトルを取得
し、動き予測手段206が利用できる情報に情報を選別・
加工する。

【００７４】図９は、本利用例での付加情報処理手段20
1の処理の流れを示すフローチャートである。図９に示
すとおり、本利用例では、次のような流れで動きベクト
ル情報を利用する。

【００７５】ステップ5301：まず、動きベクトル分析手
段20104が、可変長復号手段203より、マクロブロック毎
の動きベクトルを取得し、ステップ5302：動きベクトル分析手段20104は、取得し
た動きベクトルを、動き予測手段206が利用できる情報
に加工し、ステップ5303：加工した動きベクトル情報を動き予測手
段206に出力する。また同時に、該当するマクロブロッ
クがインター符号化モードである事を示す情報を、符号
化モード判定手段205に出力する。

【００７６】この処理の中で、動きベクトル分析手段20
104が行う動きベクトル加工処理（ステップ5302）は、
変換する入力ストリームと出力ストリームのフォーマッ
トにより、複数種類行う場合がある。

【００７７】例えば、H.261では、動き予測に、参照画
像に低域通過フィルタを施した画像を使用する、ループ
内フィルタ付き動き予測というモードがあるが、MPEG4
などMPEGにはそのモードがない。そのため、入力ストリ
ームがH.261で出力ストリームがMPEG4のとき、入力スト
リームのマクロブロックがループ内フィルタ付き動き予
測されていれば、動きベクトル分析手段は、取得した動
きベクトルを縦横とも半画素ずらした動きベクトルにし
て出力する。これは、MPEGにおける半画素単位の動きベ
クトルが、隣り合う画素を平均化して参照画像を生成し
て動き予測をした結果求まるものであるため、実質的に
H.261におけるループ内フィルタに近い効果を得ること
ができるためである。

【００７８】また、入力ストリームと出力ストリームの
画像サイズが異なる場合、入力ストリームの動きベクト
ルの値を直接用いると、全く意味のない値になってしま
う。この場合、入力ストリームの画像サイズに対する出
力ストリームの画像サイズの拡大・縮小比と同じ比率で
動きベクトルも拡大・縮小することにより、出力ストリ
ームの動き予測に利用できる値とすることができる。

【００７９】また、このようにして加工した動きベクト
ル情報が、出力ストリームの動きベクトルの範囲に収ま
らない場合も発生する。その場合本利用例では、該当す
る動きベクトル情報が直接利用不可能であることを示す
情報と共に、動きベクトル情報を出力する。

【００８０】このように動きベクトル分析手段20104
は、入出力ストリームの種類に応じて、取得した動きベ
クトルを加工する。

【００８１】このようにして動きベクトル分析手段2010
4より出力された動きベクトルの情報を利用して、動き
予測手段206は、出力ストリームの最終的な動きベクト
ルを決定するが、最終的な動きベクトルの決定方法に
は、次の２種類がある。

【００８２】１種類目は、新たに動きベクトル探索を行
わず、与えられた動きベクトル情報をそのまま動きベク
トルとして使用する方法である。この場合、直接利用不
可能な動きベクトル情報についてのみ、与えられた動き
ベクトルから最も距離の近い、範囲内の動きベクトルを
動きベクトルとして使用する。

【００８３】２種類目は、与えられた動きベクトル情報
の位置を基準として、動きベクトル探索を行い、最終的
な動きベクトルを求める方法である。この場合、直接利
用不可能な動きベクトル情報については、与えられた動
きベクトル情報から最も距離の近い、範囲内の点を基準
として、動きベクトル探索を行う。

【００８４】これら２種類の特徴として、１種類目は、
一般に符号化時に最も多くの処理量を必要とする動き予
測処理を完全に削減し、大幅な処理の低減を実現できる
という特徴がある。２種類目は、少ない動き探索の処理
で、より精度の高い動き予測を実現でき、画質の劣化を
招くことなく処理の軽減をはかることができるという特
徴がある。

【００８５】このように、本利用例では入力ストリーム
で動きベクトルを持つマクロブロックは、出力ストリー
ムでもインター符号化する方法を説明してきたが、先に
説明したような、取得・加工した動きベクトル情報が直
接利用できない場合、該当するマクロブロックの符号化
モードをイントラ符号化にする、ということも可能であ
る。一般に動きが非常に大きい場合、その予測誤差も大
きくなる事が多く、そのようなマクロブロックを、動き
予測することなくイントラ符号化すれば、処理を大幅に
削減でき、画質の劣化も少なく抑えることができる。

【００８６】（付加情報の利用例４）第４の利用例は、
第３の利用例と同様に、付加情報として動きベクトルを
利用して、符号化時の動き予測処理を軽減する物であ
る。第３の利用例と大きく異なる点は、動きベクトルの
加工時に、該当するマクロブロックの差分情報の大きさ
により、出力する動きベクトル情報の確からしさを、併
せて出力する点である。これにより、確からしさの高い
動きベクトルは、さらなる動き予測をせずに直接利用し
たり、確からしさの低い動きベクトルは探索範囲を広げ
て動きベクトル探索をしたりすることができ、処理量の
配分をより効果的に行うことができ、同じ処理量でより
高画質な変換を実現することができる。

【００８７】図１０は、本利用例の付加情報処理手段20
1の構成を示す、機能ブロック図である。図１０からわ
かるとおり、本利用例の付加情報処理手段201の構成
は、第３の利用例の付加情報処理手段に、差分情報分析
手段20105を加えた構成になっている。差分情報分析手
段20105は、取得した入力ストリームの動きベクトルに
対応した差分情報を取得し、その大きさを計算し、計算
結果に応じて動きベクトル分析手段20104に対応する動
きベクトルの確からしさを示す情報を出力する。

【００８８】図１１は、本利用例の付加情報処理手段20
1の処理の流れを示すフローチャートである。図１１に
示すとおり、本利用例では次に示す流れで動きベクトル
と差分情報を利用する。

【００８９】ステップ5401：まず、動きベクトル分析手
段20104が、可変長復号手段203より、マクロブロック毎
の動きベクトルを取得し、ステップ5402：動きベクトル分析手段20104は、取得し
た動きベクトルを、動き予測手段206が利用できる情報
に加工する。

【００９０】ステップ5403：差分情報分析手段20105
は、動きベクトル分析手段20104が取得した動きベクト
ルに対応する差分情報を取得し、ステップ5404：差分情報分析手段20105が、取得した差
分情報の大きさから、対応する動きベクトルの確からし
さ（確度）を計算し、動きベクトル分析手段20104に出
力する。

【００９１】ステップ5405：動きベクトル分析手段2010
4は、加工した動きベクトルと、対応する確度の情報と
を、動き予測手段206あるいは符号化モード判定手段205
に出力する。

【００９２】本利用例の特徴となるのは差分情報から動
きベクトルの確度を計算する処理（ステップ5404）であ
る。次にその計算処理の具体例を示す。入力ストリーム
に含まれる差分情報は、該当するマクロブロックの画素
値と、対応する動きベクトル分移動した位置の参照画像
のマクロブロックの画素値との差分をＤＣＴ変換した物
である。本利用例では、この差分情報を１つの値に変換
し、その値の大小で確度を決定する。１つの値として
は、マクロブロック内のＤＣＴ係数値の絶対値の総和を
利用する方法や、逆ＤＣＴ変換した後、絶対値や平均２
乗誤差を求める方法がある。このいずれの方法を用いた
場合でも、その結果の値が大きいほどベクトルの確度は
低く、逆に小さいほどベクトルの確度は高いことを示
す。

【００９３】このベクトルの確度の利用例を説明する。

【００９４】最初に、このベクトルの確度を、動き予測
手段206が利用する方法を説明する。動き予測手段206
は、ベクトルの確度に応じて、処理を２種類以上の段階
に分ける。図１２はベクトルの確度に応じた動き予測処
理の一例である。この例では、次に示すとおり、ベクト
ルの確度を利用する。

【００９５】ステップ5410：動き予測手段206が、付加
情報処理手段201より取得した動きベクトルの確度を、
閾値に従って４つのランクに分類し、ステップ5411：確度のランクが最も高い場合（取得した
確度の値が十分小さい場合）、ステップ5412：動きベクトル探索は行なわず、確度とあ
わせて取得した動きベクトルを実際の動きベクトルとし
て使用し、ステップ5413：確度のランクが2番目に高い場合、確度
とあわせて取得した動きベクトルを基準として、狭い探
索範囲で動きベクトル探索を行なって動きベクトルを求
め、ステップ5414：確度のランクが3番目に高い場合、確度
とあわせて取得した動きベクトルを基準として、広い探
索範囲で動きベクトル探索を行なって動きベクトルを求
め、ステップ5415：確度のランクが最も低い場合、確度とあ
わせて取得した動きベクトルは用いず、新たに動きベク
トル探索を行なって動きベクトルを求める。

【００９６】このような処理により、動きベクトルの確
度を用いることで、限られた演算量をより必要な処理に
振り分けることができ、同じ処理量で、高画質化を図る
ことができる。

【００９７】次に、このベクトルの確度を、符号化モー
ド判定手段205が利用する方法を説明する。符号化モー
ド判定手段205は、ベクトルの確度に応じて、符号化モ
ードを２種類以上に分ける。図１３はベクトルの確度に
応じた符号化モード判定処理の一例である。この例で
は、次に示すとおり、ベクトルの確度を利用する。

【００９８】ステップ5420：符号化モード判定手段205
が、付加情報処理手段201より取得した動きベクトルの
確度を、閾値に従って３つのランクに分類し、ステップ5421：確度のランクが最も高い場合（取得した
確度の値が十分小さい場合）、ステップ5422：符号化モード判定手段205は、対応する
マクロブロックの符号化モードを符号なしのインター符
号化モード（動きベクトルのみ持ち、差分情報を持たな
い）に決定し、ステップ5423：確度のランクが2番目に高い場合、符号
化モード判定手段205は、対応するマクロブロックの符
号化モードを符号付きのインター符号化モードに決定
し、ステップ5424：確度のランクが最も低い場合、符号化モ
ード判定手段205は、対応するマクロブロックの符号化
モードをイントラ符号化に決定する。

【００９９】このような処理により、動きベクトルの確
度を用いることで、処理をほとんど行なうことなく、的
確な符号化モード判定をすることができる。

【０１００】（付加情報の利用例５）第5の付加情報の
利用例では、付加情報を利用して、圧縮形式の変換処理
により発生する遅延を大きく削減する利用例について説
明する。

【０１０１】最初に、本利用例による遅延削減の原理に
ついて概要を説明する。

【０１０２】H.261、MPEG4を含む動画圧縮形式では、フ
レーム間圧縮が一般的に用いられている。これは、符号
化するピクチャの前あるいは後ろのピクチャから、動き
ベクトルにより類似している場所を示し、その画像との
差分をあわせて符号化するものである。このフレーム間
圧縮を行なうには、少なくとも最初に、すべてがフレー
ム内圧縮された、基準となるピクチャ（イントラピクチ
ャ）が必要となる。

【０１０３】一方、H.261などでは、フレーム間圧縮さ
れたピクチャ内に、部分的にイントラ符号化されたマク
ロブロックが混在する状態が多いが、このピクチャを符
号化する最初の基準のピクチャとして利用することはで
きない。H.261はそのシンタックス上、ピクチャ全体が
イントラ符号化されていることを示す符号は含まれてい
ないため、ピクチャ全体がイントラ符号化されているこ
とを知るには、ピクチャ内のすべてのマクロブロックの
符号化モードを取得して、そのすべてがイントラ符号化
モードであることを確認する必要がある。そのため、イ
ントラピクチャを検出してから符号化処理を開始するた
めには、少なくとも1ピクチャ分の符号を本装置がすべ
て取得した後でないと符号化を開始することはできな
い。そのため、原理的に最低でも1ピクチャ分の処理遅
延が発生する。

【０１０４】本利用例では、第2の利用例で使用した符
号化モード履歴情報を拡張して、次に説明する方法によ
り、原理的な処理遅延を１マクロブロック分にまで低減
する。これは、変換符号化すべき入力ストリームが本装
置に入力された時の最初のイントラピクチャを検出する
処理を、１ピクチャ分入力ストリームをためる事なく、
マクロブロック単位に行う事で実現する。すなわち、本
利用例では、入力ストリーム中最初のイントラピクチャ
が検出されるまで、入力ストリームの各マクロブロック
が実際にイントラ符号化されているか否かに関わらず、
出力ストリームのマクロブロックをすべてイントラ符号
化し、入力ストリームの実際の符号化モードを１ピクチ
ャ単位に記憶する。そして、1ピクチャ分の入力ストリ
ームの入力および出力ストリームの生成が終了した時
に、処理したピクチャがイントラピクチャであったか否
かを判断する。

【０１０５】以上のような処理を行う本利用例での付加
情報処理手段201の構成と動作について説明する。本利
用例の付加情報処理手段201の構成は第2の利用例と同様
であり、図5の機能ブロックで示される。また、通常の
符号化時の付加情報処理手段201の処理の流れも、第2の
利用例と同様であり、図４および図7で示される。その
ためここでは、本利用例の特徴である、イントラピクチ
ャ検出処理について、詳しく説明する。

【０１０６】本利用例で用いる符号化モード履歴情報の
データ構造は図６で示す、第2の利用例の符号化モード
履歴情報と同一である。第2の利用例と異なる点は、符
号化モード履歴情報の各要素の取りうる値が、第2の利
用例では正の数のみであったのに対し、本利用例では負
の数も利用する点である。ただし、負の数の場合、その
値は正の数と同様の意味を持つものではなく、各マクロ
ブロックの符号化モードの状態を示す一種の符号として
利用される。そのため、負の数としてはどのような値を
持つことも可能であるが、本利用例では、負の数として
−１と−２の２種類を用いる。

【０１０７】図１４は、本利用例でのイントラピクチャ
検出処理の流れを示すフローチャートである。図１４に
示すとおり、本利用例では次の流れでイントラピクチャ
の検出を行なう。

【０１０８】ステップ6101：まず、符号化モード分析手
段20101が、符号化モード履歴情報のすべての要素の値
を初期値（−２）に設定する。

【０１０９】ステップ6102：次に符号化モード分析手段
20101は、可変長復号手段203よりマクロブロック単位に
入力ストリームの符号化モードを取得し、ステップ6103：取得した符号化モードがイントラ符号化
モードならば、ステップ6104：符号化モード履歴情報の該当する要素の
値をイントラ符号化済み（−１）に設定し、ステップ6105：符号化モード判定手段205およびそれ以
降の符号化のための手段が、該当するマクロブロックを
イントラ符号化する。

【０１１０】ステップ6106：取得した符号化モードがイ
ントラ符号化モードでなければ、符号化モード判定手段
205およびそれ以降の符号化のための手段が、該当する
マクロブロックを、無信号（例えばマクロブロック全体
が黒色）のブロックとしてイントラ符号化する。

【０１１１】ステップ6107：1ピクチャ分の処理が終わ
っていなければ、次のマクロブロックについて同様の処
理を行ない（ステップ6102に戻る）、ステップ6108：1ピクチャ分の処理が終わっていれば、
符号化モード履歴情報の全要素の値がイントラ符号化済
み（−１）になっているかどうか確認し、なっていなけ
れば、次のピクチャについて、同様の処理を行なう．
（ステップ6101に戻る）ステップ6109：符号化モード履歴情報の全要素の値がイ
ントラ符号化済み（−１）になっていれば、処理したピ
クチャは入力ストリームでイントラピクチャであったこ
とになるため、符号化モード履歴情報の全要素の値を０
に設定して、通常の符号化処理を行なう。（図４および
図７に示す処理を行なう）なお、出力ストリームがMPEG4など、ピクチャ単位に符
号化モードを設定する必要がある場合、上記のイントラ
ピクチャ検出中は、すべてのマクロブロックをイントラ
符号化するため、ピクチャ符号化モードは常にイントラ
符号化モードにする。

【０１１２】以上説明した処理により、従来1ピクチャ
以上の処理遅延が発生する圧縮形式変換処理を、本利用
例では原理的に１マクロブロック分の処理遅延にまで、
短縮することが可能になる。

【０１１３】以上説明した通り、本実施の形態によれ
ば、入力ストリームの有する付加情報を利用して出力ス
トリームを生成する事により、・演算量の低減や、・出
力ストリーム生成時の画質劣化の低減や、・ストリーム
の変換処理に要する処理遅延の低減を、実現する事がで
きる。

【０１１４】なお、本実施の形態ではH.261形式を入力
ストリームとし、MPEG4形式を出力ストリームとした
が、本実施の形態の説明から明らかなように、本実施の
形態で示した処理および装置の構成は、入力ストリーム
および出力ストリームが他の形式により圧縮されている
場合でも、容易に適用する事ができる。

【０１１５】（第２の実施の形態）第２の実施の形態で
は、H.261形式で圧縮された映像信号をMPEG4-visual形
式で圧縮された映像信号に変換する、映像信号変換装置
について説明する。本実施の形態の装置は、第1の実施
の形態で説明した映像信号変換装置と、機能的には同等
である。本実施の形態の特徴は、入力ストリームに含ま
れるＤＣＴ係数を、逆ＤＣＴ変換することなく利用する
機能を有する点である。

【０１１６】最初に本装置の構成を説明する。図１５は
本装置の機能ブロック図である。図１５に示す本装置の
構成は、図1に示す第1の実施の形態の映像信号変換装置
のほぼ同じである。第1の実施の形態と異なる点は、本
装置の付加情報処理手段201が、新たに、伸長手段204、
量子化手段208、可変長符号化手段209にも接続している
点である。

【０１１７】次に、本装置の全体の処理について、基本
となる処理の流れを図１６を用いて説明する。図１６に
示す処理は、本装置の特徴となる、入力ストリームのＤ
ＣＴ係数の利用をを最大限行なった場合の処理であり、
ここで説明する処理と、第１の実施の形態で説明する映
像信号変換装置の諸々の処理とを組み合わせることが容
易に可能である。

【０１１８】本装置が最大限に入力ストリームのＤＣＴ
係数を再利用する場合、は本装置は、図16に示す通り、
次の流れで圧縮映像信号の変換処理を行う。

【０１１９】ステップ10100：処理されていない入力ス
トリームが存在すれば、ステップ10200：入力手段100が、入力バッファ202へ、
未処理のストリームを入力する。

【０１２０】ステップ10300：可変長復号手段203が、入
力バッファより入力ストリームを順次取り出して入力ス
トリームの符号化規格に準じた方法で可変長復号し、そ
のうちの符号化モードを、付加情報処理手段201に渡
す。

【０１２１】ステップ10400：付加情報処理手段201は、
可変長復号手段203より渡された符号化モードを参照
し、符号化モードがインター符号化であれば、ステップ10500：付加情報処理手段201は可変長復号手段
203より該当するマクロブロックの動きベクトルを取得
し、取得した動きベクトルが、出力ストリームに直接再
利用できる値でなければ、ステップ10600：伸長手段204がＤＣＴ係数の逆量子化、
逆ＤＣＴ、動き補償を含む伸長処理を行なって画像を復
元し、ステップ10700：動き予測手段206が新たに動き予測、動
き補償を行なって動きベクトルと差分情報を生成し、ステップ10800：直交変換手段207が、生成された差分情
報をＤＣＴ変換してＤＣＴ係数を生成する。

【０１２２】ステップ10900：入力ストリームのマクロ
ブロックがインター符号化で動きベクトルを直接再利用
できる場合や、イントラ符号化の場合は、入力ストリー
ムのマクロブロックの量子化値が直接再利用できるか値
か否かを判断し、再利用できなければ、ステップ11000：伸長手段204が量子化されているＤＣＴ
係数を逆量子化してＤＣＴ係数を復元し、ステップ11100：復元されたＤＣＴ係数を付加情報処理
手段201が取得して量子化手段208に渡し、量子化手段20
8が渡されたＤＣＴ係数を量子化し、ステップ11200：可変長符号化手段209が、量子化された
ＤＣＴ係数と、動きベクトルがある場合は動きベクトル
とを可変長符号化する。

【０１２３】ステップ11300：1ピクチャ分のマクロブロ
ックの変換処理がすべて終了するまで、同様の処理を繰
り返し（ステップ10200に戻る）、1ピクチャ分の変換処
理が終了すれば、ステップ11400：動き予測手段206が、次ピクチャの符号
化のために、符号化された現ピクチャから参照画像を生
成し、ステップ11500：最後に、出力手段300が、出力バッファ
210より出力ストリームを取り出し、出力する（ステッ
プ10100に戻る）。

【０１２４】次に、入力ストリームあるいは出力ストリ
ームが、ＤＣＴ係数の量子化をする際に、各ＤＣＴ係数
内のＤＣＴブロック内の位置により、異なる量子化値に
て量子化する場合の、本装置の処理について説明する。
Ｈ．２６１形式による係数の量子化では、１つのＤＣＴ
ブロック内のすべてのＤＣＴ係数が同じ量子化値で量子
化される。一方、ＭＰＥＧ１，ＭＰＥＧ２，ＭＰＥＧ４
形式では、１つのＤＣＴブロック内のＤＣＴ係数の量子
化値を違えて量子化する事ができる。ＭＰＥＧ形式で
は、量子化スケールに対する各ＤＣＴ係数に対する量子
化値の比を、量子化マトリクスとして表現する。そし
て、この量子化マトリクスは、符号化の際に任意に設定
する事ができる。

【０１２５】そのため、本装置では、出力がＭＰＥＧ形
式のように、任意に量子化マトリクス（あるいは量子化
マトリクスに相当する情報）を設定可能な場合、入力ス
トリームの量子化マトリクス（あるいは量子化マトリク
スに相当する情報）を再利用する事で、入力ストリーム
の量子化値をそのまま利用する事を可能にする。

【０１２６】図１７は、出力ストリームの量子化値と、
設定可能な場合は量子化マトリクスを決定するアルゴリ
ズムを示すフローチャートである。なお本実施の形態で
は、ＭＰＥＧ形式における量子化マトリクスと同等の情
報は、すべて量子化マトリクスと記述する。

【０１２７】図１７に示す通り、本装置は次に示す流れ
で、量子化値および量子化マトリクスを決定する。

【０１２８】ステップ12000：入力ストリームの量子化
マトリクスと出力ストリームの標準の量子化マトリクス
とが同一の内容であるか否かを比較し、同一の内容であ
れば、出力ストリームの量子化マトリクスは標準の物を
用いる。

【０１２９】ステップ12100：入力ストリームの量子化
マトリクスとと出力ストリームの標準の量子化マトリク
スとが同一の内容でない場合、出力の量子化マトリクス
を変更可能であれば、ステップ12200：出力ストリームの量子化マトリクス
を、入力ストリームの量子化マトリクスと同一の内容に
決定する。

【０１３０】ステップ12300：入力ストリームと出力ス
トリームの量子化マトリクスが同一の内容になった場
合、ブロック内のすべての係数に対する量子化値が同一
になるよう、ブロックの量子化値を決定する。

【０１３１】ステップ12400：入力ストリームと出力ス
トリームの量子化マトリクスが同一の内容にならなかっ
た場合、ＤＣＴ係数のうち、直流成分の量子化値が同等
になるよう、ブロックの量子化値を決定する。

【０１３２】なお、上記アルゴリズムで決定した量子化
マトリクスおよび量子化値で量子化・符号化した結果、
出力ストリームの符号量が目標符号量より多くなってし
まった場合などには、一般的な量子化値制御のアルゴリ
ズムにより、量子化値を変更する事も可能である。

【０１３３】以上説明したとおり、本装置は、ＤＣＴ、
逆ＤＣＴ、量子化、逆量子化の処理を大きく削減するこ
とができ、変換処理の高速化を実現することができる。
さらに、イントラ符号化されたマクロブロックに対し
て、中間で逆ＤＣＴ、ＤＣＴを行なわず、量子化につい
てもなるべく再度行なわないようにすることで、ＤＣＴ
や量子化などで発生する誤差を低減し、高画質化をも実
現することができる。

【０１３４】なお、本実施の形態ではH.261形式を入力
ストリームとし、MPEG4形式を出力ストリームとした
が、本実施の形態の説明から明らかなように、本実施の
形態で示した処理および装置の構成は、入力ストリーム
および出力ストリームが他の形式により圧縮されている
場合でも、容易に適用する事ができる。

【０１３５】（第３の実施の形態）第３の実施の形態で
は、H.261形式で圧縮された映像信号をMPEG4-visual形
式で圧縮された映像信号に変換する、映像信号変換装置
について説明する。特に本実施の形態では、入力ストリ
ームあるいは出力ストリームにCIF(Common Interface F
ormat)で知られる画像サイズの映像信号が用いられる場
合に特に有用な効果が得られる実施の形態について説明
する。本実施の形態の装置は、第1の実施の形態で説明
した映像信号変換装置と類似しているが、本実施の形態
では入力ストリームないしは出力ストリームのどちらか
一方あるいは両方がCIFの画像サイズを扱う点が、第１
の実施の形態の装置と異なる。

【０１３６】最初に、CIFの画像サイズの画像が、H.261
形式とMPEG4-visualシンプルプロファイル形式（MPEG4
形式と呼ぶ）で符号化される際の、１ピクチャ内のマク
ロブロック構造について説明する。

【０１３７】まず、MPEG4形式でのマクロブロック構造
について説明する。図１８は、MPEG4形式で符号化され
る場合の、CIFサイズの画像１ピクチャに含まれるマク
ロブロックと、その符号化順を示す図である。図１８に
おいて点線で囲まれる最小の領域が１つのマクロブロッ
クを示している。すなわち、CIFサイズの画像１ピクチ
ャ内に、縦２２マクロブロック、横１８マクロブロック
の３９６マクロブロックが含まれている。また、図１８
においてマクロブロック内の数字は、該当するマクロブ
ロックがそのピクチャ内で符号化される順番を示す。図
１８からわかる通り、MPEG4形式では、マクロブロック
が左上端から右方向へ順に符号化される。

【０１３８】次に、H.261形式でのマクロブロック構造
について説明する。図１９は、H.261形式で符号化され
る場合の、CIFサイズの画像１ピクチャに含まれるマク
ロブロックと、その符号化順を示す図である。H.261形
式においても、CIFサイズ１ピクチャ内に含まれるマク
ロブロック数はMPEG4形式と同じだが、符号化順が異な
る。図１９において、点線で囲まれる最小の領域が、一
つのマクロブロックを示している。また、ピクチャ内の
実線で囲まれる横長の領域は、GOB（Group Of Block）
を示している。図１９からわかるように、各GOBには３
３個のマクロブロックが含まれており、１ピクチャには
１２個のGOBが含まれている。H.261形式では、マクロブ
ロックはGOB単位で符号化される。すなわち１つのGOBに
含まれるマクロブロックを続けて符号化した後、次のGO
Bのマクロブロックを符号化する、という順序になる。
具体的には、図１９において、AのGOBからアルファベッ
ト順に符号化され、最後に符号化されるGOBはLとなる。
また、各GOB内でのマクロブロックの符号化順は、図１
９のAのGOBから明らかなように、左上から右に向かって
順に符号化され、右下のマクロブロックが最後に符号化
されるという順序となる。

【０１３９】このため、例えば入力および出力ストリー
ムの画像サイズがCIFサイズの場合、１マクロブロック
分の符号を入力すると同時にそのマクロブロックの圧縮
形式を変換し、出力することはできない。

【０１４０】本実施例では、以下に、上述したような特
徴を持つ、CIFサイズの画像データにおいて有効な、H.2
61形式からMPEG4形式への圧縮形式の変換における、付
加情報の利用例を示す。

【０１４１】（付加情報の利用例６）第６の利用例で
は、付加情報を利用して、圧縮形式の変換処理により発
生する遅延を大きく削減する映像符号化装置について説
明する。

【０１４２】本利用例における遅延量削減の原理は、第
１の実施の形態の第５の付加情報の利用例に示した装置
の処理遅延削減の原理と同じである。本装置が前述の装
置と異なる点は、本利用例ではピクチャ内のマクロブロ
ックの符号化順が入力ストリームと出力ストリームとの
間で異なる場合でも、１ピクチャより少ない処理遅延を
実現できるための処理および手段を備える点である。

【０１４３】最初に、本装置の構成について説明する。
図２０は、本装置の構成を示す機能ブロック図である。
図２０からわかるように、本装置の構成は、第１の実施
の形態に示す装置の構成に類似している。本装置が構成
上異なる点は、映像信号変換部２００に、画像バッファ
２１１を備える点である。画像バッファ２１１は、伸長
手段２０４あるいは付加情報処理手段２０１より与えら
れる、入力ストリームのマクロブロックの情報を蓄え、
出力ストリームの生成に必要となる順序で、符号化モー
ド判定手段２０５あるいは付加情報処理手段２０１に、
蓄えているマクロブロックの情報を提供する機能を有す
る。

【０１４４】次に、本装置の処理について説明する。本
装置の処理の多くは、第１の実施の形態の第５の付加情
報の利用例に示す装置の処理と同一であり、大きく異な
る点は、画像バッファ２１１の行う処理により、マクロ
ブロックの符号化順の相違を吸収する点である。そこ
で、本利用例では、画像バッファ２１１が入力ストリー
ムのマクロブロックの蓄積と出力を行う処理について、
詳細に説明する。

【０１４５】図２１は、本装置の画像バッファ２１１の
処理の流れを示すフローチャートである。図２１に示す
通り、画像バッファ２１１は、次に示す流れで処理を行
う。

【０１４６】ステップ13000：ある入力ストリームに対
して本装置が圧縮形式変換を開始する時、最初に画像バ
ッファ２１１は、付加情報処理手段２０１を介して、入
力ストリームの画像サイズを取得し、ステップ13100：画像サイズがCIFサイズであれば、ステップ13200：画像バッファ２１１は、出力ストリー
ムの生成を始める前にバッファリングするマクロブロッ
ク数（MBinit）を２３、すなわち１ピクチャ内の横方向
マクロブロック数に１を加えた数に決定し、ステップ13300：入力ストリームの画像サイズがCIFでな
くQCIFサイズであれば、画像バッファ２１１は、MBinit
を１と決定する。

【０１４７】ステップ13400：そして画像バッファ２１
１は、伸長手段２０４あるいは付加情報処理手段２０１
より与えられる入力ストリームの復号画像あるいは復号
途中の情報をマクロブロック単位に蓄積し、ステップ13500：画像バッファ２１１に蓄積されたマク
ロブロックの数が、MBinit以上になったら、ステップ13600：画像バッファ２１１は、蓄積したマク
ロブロックを、出力ストリームの符号化順に、付加情報
処理手段201あるいは符号化モード判定手段205に提供す
る。

【０１４８】ステップ13700：そして、画像バッファ２
１１は、入力ストリームが終了するまで、ステップ13800：入力ストリームの情報を、マクロブロ
ック単位にバッファリングし、提供する事を繰り返す。
（ステップ13600からの処理を繰り返す。）なお、本実施の形態では入力ストリームをH.261形式、
出力ストリームをMPEG4形式として説明しているが、上
記画像バッファ２１１の処理は、MBinitの値も含め、入
力と出力との圧縮形式が逆の場合でも同様に行う事がで
きる。

【０１４９】以上、本利用の形態によれば、マクロブロ
ックの符号化順序が異なる、圧縮形式間での形式変換に
おいても、原理的な処理遅延を、従来の１ピクチャより
大幅に短縮する事が可能となる。

【０１５０】（付加情報の利用例７）第６の利用例で
は、付加情報を利用して、各マクロブロックの符号化モ
ードの判定処理の処理量を削減する、映像符号化装置に
ついて説明する。

【０１５１】本利用例における符号化モードの判定方法
は、対応する入力マクロブロックの符号化モードを利用
して判定するものであり、第１の実施の形態の、第１な
いし第２の付加情報の利用例に類似したものである。第
１の実施の形態に述べた利用例と大きく異なる点は、本
利用例では、入力ストリームがCIFサイズ、出力ストリ
ームがQCIFサイズと、サイズの異なるストリーム間の圧
縮形式の変換でも、効果的な符号化モード判定が可能で
ある点である。そこで、本利用例では、入力ストリーム
がCIFサイズのH.261形式、出力ストリームがQCIFサイズ
のMPEG4形式として説明する。

【０１５２】本利用例の装置の構成について説明する。
図２２は、本装置の構成はを示す機能ブロック図であ
る。図２２からわかるように、本装置の構成は、図２０
に示す装置の構成と類似しており、図２０に示す装置の
構成に、画像変形手段２１２が加わっている。また、付
加情報処理手段２０１は、図５に示す構成と同様であ
る。

【０１５３】次に本装置の処理について説明する。本装
置全体の処理の流れは図２３に示すフローチャートの通
りである。図２３からわかるように、本装置の全体の処
理は、図２に示す処理に画像縮小処理（ステップ３０５
０）が加わっている点のみが異なる。この画像縮小処理
は、入力ストリームの画像をマクロブロック単位、４マ
クロブロック単位、１ピクチャ単位いずれかの単位で、
縦、横共２分の１の大きさに縮小する処理である。縮小
処理には既知の方法を使用する事ができ、本利用例の説
明の主題ではないため、詳細な説明は省く。また、画像
バッファの処理は図２１に示す処理を用いる事ができ
る。

【０１５４】本装置の処理の特徴は、付加情報処理手段
２０１および符号化モード判定手段２０５による、符号
化モード履歴情報の利用方法である。

【０１５５】入力ストリームがCIFサイズ、出力ストリ
ームがQCIFの場合、入力ストリームと出力ストリームと
に含まれるマクロブロックの数が異なるため、符号化モ
ードを一対一に対応させる事はできない。出力ストリー
ムの１マクロブロックは、入力ストリームの４マクロブ
ロックに対応する。

【０１５６】そのため、出力ストリームのあるマクロブ
ロックの符号化モードを決定する際、対応する入力スト
リームのマクロブロックの４つのうちいずれか一つがイ
ントラされている場合にイントラ符号化モードと決定す
ると、イントラ符号化されるマクロブロックの頻度が多
くなり、符号量の増加を招く可能性がある。

【０１５７】そこで、本利用例では符号化モード履歴情
報を用い、１つのマクロブロックがイントラ符号化され
る頻度を一定値以下に押さえる事で、符号量の増加を押
さえる。

【０１５８】図２４に、本利用例でのマクロブロック符
号化モード判定処理の流れを示す。なお、本利用例で
は、符号化モードとして、イントラかイントラ以外かの
判別のみを行う例を示すが、本利用例に加え、符号無し
モードなどの符号化モードの決定を加える事も容易に可
能である。

【０１５９】図２４に示す通り、本利用例では、次の流
れで、１つのマクロブロックに対する符号化モードを決
定する。

【０１６０】ステップ20000：符号化モード判定手段２
０５が、符号化モード履歴情報を参照し、対象とする出
力ストリームのマクロブロックが、最後にイントラ符号
化されてからインター符号化された回数を取得し、回数
が閾値以上ならばステップ20100：符号化モード判定手段２０５が付加情
報処理手段２０１から、対象マクロブロックに対応する
入力ストリームのマクロブロック内にイントラ符号化さ
れたマクロブロックがあるか否かの情報を取得し、ステップ20200：イントラ符号化されたマクロブロック
があれば、対象マクロブロックの符号化モードをイント
ラ符号化に決定し、ステップ20300：それ以外の場合は、対象マクロブロッ
クの符号化モードをインター符号化に決定する。

【０１６１】なお、ステップ20000の中で使用する、過
去にインター符号化された回数に対する閾値は、任意に
設定が可能であるが、例えば出力ストリーム１ピクチャ
に含まれるマクロブロック数（本利用例では９９）に設
定した場合、入力ストリーム内で１ピクチャにつき必ず
１マクロブロックが符号化順にイントラ符号化されてい
る場合など、出力ストリームにおいても各マクロブロッ
クが均等にイントラ符号化されるという有用な効果を得
る事ができる。また、この閾値の値を大きくすると、イ
ントラ符号化されるマクロブロックの出現頻度は低くな
り、統計的に出力ストリームの符号量は減少し、閾値の
値を小さくすると、逆に符号量は大きくなる。

【０１６２】この様に本利用例に依れば、サイズの異な
る画像間の変換においても、入力ストリームの符号化モ
ードを利用して出力ストリームの符号化モードを決定す
る事が可能となり、各マクロブロックで前ピクチャとの
差異を求めるなどの処理を行うことなく符号化モードの
判定をすることにより、処理量の軽減を図る事ができ
る。

【０１６３】以上説明した通り、本実施の形態によれ
ば、ＣＩＦサイズを含む圧縮形式の変換を、・マクロブロックの符号化順序が違っても1ピクチャよ
り少ない遅延量で変換する事ができ、・画像サイズの異なるストリーム間の変換でも、符号化
モード決定に要する処理量を削減できる、という有用な効果を得る事ができる。

【０１６４】

【発明の効果】以上説明した通り、本発明の映像符号化
方法によれば、入力ストリームの動きベクトルの再利用
時に、動き予測誤差が大きい動きベクトルを再利用する
事による画質の劣化を低減できるという、有用な効果を
有する。

【０１６５】さらに、入力ストリームに対する復号と出
力ストリームへの再符号化を削減して、これらの過程で
発生する画質劣化を低減し、変換に要する演算量を低減
できるという、有用な効果を有する。

【０１６６】さらに、圧縮形式の変換に要する処理遅延
を原理的に1マクロブロックの処理分だけまでに短縮で
きるという、有用な効果を有する。

【図面の簡単な説明】

【図１】映像符号化装置の機能ブロック図

【図２】映像符号化装置の全体の処理のフローチャート

【図３】入力ストリームの符号化モードを利用する付加
情報処理手段の機能ブロック図

【図４】入力ストリームの符号化モードを利用する付加
情報処理のフローチャート

【図５】符号化モード履歴情報の生成・提供機能を有す
る付加情報処理手段の機能ブロック図

【図６】符号化モード履歴情報の概念を説明するイメー
ジ図

【図７】符号化モード履歴情報の生成および参照処理の
フローチャート

【図８】入力ストリームの動きベクトルを利用する付加
情報処理手段の機能ブロック図

【図９】入力ストリームの動きベクトルを利用する付加
情報処理のフローチャート

【図１０】入力ストリームの動きベクトルとその確度を
利用する付加情報処理手段の機能ブロック図

【図１１】入力ストリームの動きベクトルとその確度を
利用する付加情報処理のフローチャート

【図１２】入力ストリームの動きベクトルの確度に適応
した動き予測処理のフローチャート

【図１３】入力ストリームの動きベクトルの確度に適応
した符号化モード決定処理のフローチャート

【図１４】低遅延処理を実現するイントラピクチャ検出
処理のフローチャート

【図１５】入力ストリームの直交変換係数を利用して符
号化する映像符号化装置の機能ブロック図

【図１６】入力ストリームの直交変換係数を利用して符
号化する映像符号化装置の処理のフローチャート

【図１７】入力ストリームの量子化値の利用方法を決定
するアルゴリズムを示すフローチャート

【図１８】ＣＩＦサイズのＭＰＥＧ４画像のマクロブロ
ックの構成と符号化順を示す図

【図１９】ＣＩＦサイズのＨ．２６１画像のマクロブロ
ックの構成と符号化順を示す図

【図２０】マクロブロックの符号化順の異なる形式間の
変換を低遅延で行う、映像符号化装置の機能ブロック図

【図２１】画像バッファの処理の流れを示すフローチャ
ート

【図２２】異なるサイズ間の変換を行う、映像符号化装
置の機能ブロック図

【図２３】異なるサイズ間の変換を行う、映像符号化装
置の処理フローチャート

【図２４】異なるサイズ間の変換で、入力ストリームの
符号化モードを利用した符号化モード決定処理のフロー
チャート

【符号の説明】

１００入力手段２００映像信号変換部２０１付加情報処理手段２０２入力バッファ２０３可変長復号手段２０４伸長手段２０５符号化モード判定手段２０６動き予測手段２０７直交変換手段２０８量子化手段２０９可変長符号化手段２１０出力バッファ２１１画像バッファ２１２画像変形手段３００出力手段２０１０１符号化モード分析手段２０１０２符号化モード記憶手段２０１０３符号化モード履歴記憶手段２０１０４動きベクトル分析手段２０１０５差分情報分析手段

フロントページの続き (72)発明者小宮大作大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者栄藤稔大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 5C059 MA04 MA05 MA23 ME01 NN03 RC38 RC40 UA02

Claims

【特許請求の範囲】

【請求項１】圧縮されたデジタル動画像である入力ス
トリームに対して、一部ないしは全部の過程の復号処理
を行い、前記入力ストリームと同一ないしは異なる圧縮
形式で符号化することにより、圧縮状態の異なるデジタ
ル動画像である出力ストリームを生成する方法で、前記
入力ストリームの復号された画素値以外の情報である付
加情報を利用して出力ストリームを生成する事を特徴と
する、映像符号化方法。
【請求項２】映像変換部を有し、前記映像変換部が、
圧縮されたデジタル動画像である入力ストリームに対し
て一部ないしは全部の過程の復号処理を行い、前記入力
ストリームと同一ないしは異なる圧縮形式で符号化する
ことにより、圧縮状態の異なるデジタル動画像である出
力ストリームを生成する機能を有し、前記入力ストリー
ムの復号された画素値以外の情報である付加情報を利用
して出力ストリームを生成する付加情報処理手段を有す
る事を特徴とする、映像符号化装置。
【請求項３】入力ストリームおよび出力ストリーム
が、画像の部分であるサブピクチャ毎に、符号化方法に
ついての情報である符号化モードを有する時、前記出力
ストリームの符号化モードを、前記入力ストリームの該
当するサブピクチャの符号化モードを基に決定すること
を特徴とする、請求項１に記載の映像符号化方法。
【請求項４】入力ストリームおよび出力ストリーム
が、画像の部分であるサブピクチャ毎に、符号化方法に
ついての情報である符号化モードを有する時、映像変換
部が前記出力ストリームの符号化モードを、前記入力ス
トリームの該当するサブピクチャの符号化モードを基に
決定する機能を有する事を特徴とする、請求項２に記載
の映像符号化装置。
【請求項５】出力ストリームがピクチャ毎に符号化モ
ードを有する時、前記出力ストリームの符号化モード
を、入力ストリームの対応するピクチャに含まれるサブ
ピクチャの符号化モードを基に決定する事を特徴とす
る、請求項１ないし３のいずれかに記載の映像符号化方
法。
【請求項６】出力ストリームがピクチャ毎に符号化モ
ードを有する時、映像変換部が、前記出力ストリームの
符号化モードを、入力ストリームの対応するピクチャに
含まれるサブピクチャの符号化モードを基に決定する機
能を有する事を特徴とする、請求項２ないし４のいずれ
かに記載の映像符号化装置。
【請求項７】出力ストリームの各サブピクチャが符号
化中のピクチャから数えて過去何ピクチャ分連続してフ
レーム間符号化されたかの情報を含む符号化モード履歴
情報を生成および参照する方法を有し、入力ストリーム
でフレーム間圧縮された複数のサブピクチャから出力ス
トリームの圧縮時にフレーム内圧縮するサブピクチャを
選択する時、前記符号化モード履歴情報を利用する事を
特徴とする、請求項１ないし５のいずれかに記載の、映
像符号化方法。
【請求項８】映像変換部が、出力ストリームの各サブ
ピクチャが符号化中のピクチャから数えて過去何ピクチ
ャ分連続してフレーム間符号化されたかの情報である符
号化モード履歴情報を生成および参照する機能を有し、
入力ストリームでフレーム間圧縮された複数のサブピク
チャから出力ストリームの圧縮時にフレーム内圧縮する
サブピクチャを選択する時、前記映像変換部が前記符号
化モード履歴情報を利用する機能を有する事を特徴とす
る、請求項２ないし６のいずれかに記載の、映像符号化
装置。
【請求項９】入力ストリームおよび出力ストリーム
が、サブピクチャ単位で動き補償可能な圧縮形式で圧縮
されている時、入力ストリームの動きベクトルを、出力
ストリームの動きベクトルとして使用可能な形式に変更
し、出力ストリームの動きベクトルとして使用する事を
特徴とする、請求項１ないし７のいずれかに記載の、映
像符号化方法。
【請求項１０】入力ストリームおよび出力ストリーム
が、サブピクチャ単位で動き補償可能な圧縮形式で圧縮
されている時、映像変換部が、入力ストリームの動きベ
クトルを、出力ストリームの動きベクトルとして使用可
能な形式に変更し、出力ストリームの動きベクトルとし
て使用する機能を有する事を特徴とする、請求項２ない
し８のいずれかに記載の、映像符号化装置。
【請求項１１】入力ストリームの動きベクトルの値を
基にして探索の始点を決定し、動きベクトル探索を行う
ことで出力ストリームの動きベクトルを決定する事を特
徴とする、請求項１ないし９のいずれかに記載の、映像
符号化方法。
【請求項１２】映像変換部が、入力ストリームの動き
ベクトルの値を基にして探索の始点を決定し、動きベク
トル探索を行う機能を有する事を特徴とする、請求項２
ないし１０のいずれかに記載の、映像符号化装置。
【請求項１３】入力ストリームの動きベクトルが、フ
ィルタ処理を施された参照画像を使用して求められた動
きベクトルの時、前記動きベクトルがフィルタ処理を施
されていない参照画像を使用して求められた表現に変換
し、さらに、前記変換された動きベクトルを、前記入力
ストリームの参照画像と異なるフィルタ処理が施された
参照画像を使用して求められた表現に変換することによ
り出力ストリームの動きベクトルを生成する事を特徴と
する、請求項１ないし１１のいずれかに記載の、映像符
号化方法。
【請求項１４】入力ストリームの動きベクトルが、フ
ィルタ処理を施された参照画像を使用して求められた動
きベクトルの時、映像変換部が、前記動きベクトルがフ
ィルタ処理を施されていない参照画像を使用して求めら
れた表現に変換し、さらに、前前記入力ストリームの参
照画像と異なるフィルタ処理が施された参照画像を使用
して求められた表現に変換して、出力ストリームの動き
ベクトルを生成する機能を有する事を特徴とする、請求
項２ないし１２のいずれかに記載の、映像符号化方法。
【請求項１５】入力ストリームがサブピクチャ毎に動
きベクトルと動き予測誤差である差分情報とを有する
時、差分情報の大きさを求めて動きベクトル確度を計算
し、前記動きベクトル確度の大きさに応じて、前記入力
ストリームの動きベクトルの利用方法を変える事を特徴
とする、請求項１ないし１３のいずれかに記載の、映像
符号化方法。
【請求項１６】入力ストリームがサブピクチャ毎に動
きベクトルと動き予測誤差である差分情報とを有する
時、映像変換部が、差分情報の大きさを求めて動きベク
トル確度を計算し、前記動きベクトル確度の大きさに応
じて、前記入力ストリームの動きベクトルの利用方法を
変える機能を有する事を特徴とする、請求項２ないし１
４のいずれかに記載の、映像符号化装置。
【請求項１７】動きベクトル確度の大きさに応じて動
きベクトル探索処理の探索範囲を変える事を特徴とす
る、請求項１５に記載の、映像符号化方法。
【請求項１８】映像変換部が、動きベクトル確度の大
きさに応じて動きベクトル探索処理の探索範囲を変える
機能を有する事を特徴とする、請求項１６に記載の、映
像符号化方法。
【請求項１９】動きベクトル確度の大きさに応じて、
動きベクトル探索処理を行うか、動きベクトル探索処理
を行わないかを判断する事を特徴とする、請求項１５な
いし１７のいずれかに記載の、映像符号化方法。
【請求項２０】映像変換部が、動きベクトル確度の大
きさに応じて、動きベクトル探索処理を行うか、動きベ
クトル探索処理を行わないかを判断する機能を有する事
を特徴とする、請求項１６ないし１８のいずれかに記載
の、映像符号化方法。
【請求項２１】動きベクトル確度の大きさに応じて、
出力ストリームの対応するサブピクチャの符号化方法を
変える事を特徴とする、請求項１５ないし１９のいずれ
かに記載の、映像符号化方法。
【請求項２２】映像変換部が、動きベクトル確度の大
きさに応じて、出力ストリームの対応するサブピクチャ
の符号化方法を変える機能を有する事を特徴とする、請
求項１６ないし２０のいずれかに記載の、映像符号化方
法。
【請求項２３】入力ストリームの１ピクチャ全体が入
力される前に、サブピクチャ単位で出力ストリームを生
成する映像符号化方法で、最初に、１ピクチャ全体がフ
レーム内圧縮されているイントラピクチャを検出する事
を特徴とする、請求項１ないし２１のいずれかに記載の
映像符号化方法。
【請求項２４】映像変換部が、入力ストリームの１ピ
クチャ全体が入力される前にサブピクチャ単位で出力ス
トリームを生成する機能を有し、最初に、１ピクチャ全
体がフレーム内圧縮されているイントラピクチャを検出
する機能を有する事を特徴とする、請求項２ないし２２
のいずれかに記載の、映像符号化装置。
【請求項２５】イントラピクチャを検出するために、
入力ストリームの処理中のピクチャにおいて各サブピク
チャがフレーム内符号化されているか否かを記録した情
報であるイントラブロック情報を生成しながら、サブピ
クチャ単位の圧縮形式変換処理を行い、入力ストリーム
より１ピクチャ内のすべてのサブピクチャが入力された
時点で、前記イントラブロック情報を参照して、処理中
のピクチャに含まれるサブピクチャがすべてフレーム内
圧縮されていることを検出することでイントラピクチャ
の検出を行う、請求項２３に記載の映像符号化方法。
【請求項２６】映像変換部が、入力ストリームの処理
中のピクチャに含まれるサブピクチャがフレーム内符号
化されているか否かを記録したイントラブロック情報を
生成する機能を有し、入力ストリームより１ピクチャ分
の映像信号の入力が完了した時に前記イントラブロック
情報を参照し、入力されたピクチャに含まれるすべての
サブピクチャがフレーム内符号化されていた場合に、該
当するピクチャをイントラピクチャとして検出する機能
を有する、請求項２４に記載の映像符号化装置。
【請求項２７】付加情報として、入力ストリームに含
まれる直交変換係数を利用する事を特徴とする、請求項
１ないし２５のいずれかに記載の、映像符号化方法。
【請求項２８】付加情報処理手段が、入力ストリーム
に含まれる直交変換係数を付加情報として利用する事を
特徴とする、請求項２ないし２６のいずれかに記載の、
映像符号化装置。
【請求項２９】付加情報として、入力ストリームに含
まれる、量子化された直交変換係数を利用する事を特徴
とする、請求項１ないし２７のいずれかに記載の、映像
符号化方法。
【請求項３０】付加情報処理手段が、入力ストリーム
に含まれる、量子化された直交変換係数を付加情報とし
て利用する事を特徴とする、請求項２ないし２８のいず
れかに記載の、映像符号化装置。
【請求項３１】入力ストリームのサブピクチャがフレ
ーム内符号化されている時、該サブピクチャを出力スト
リームの生成時にフレーム内符号化し、入力ストリーム
の該サブピクチャの直交変換係数ないしは量子化された
直交変換係数を、出力ストリームの該サブピクチャの直
交変換係数ないしは量子化された直交変換係数として用
いる事を特徴とする、請求項２７ないし２９のいずれか
に記載の、映像符号化方法。
【請求項３２】入力ストリームのサブピクチャがフレ
ーム内符号化されている時、映像変換部が、該サブピク
チャを出力ストリームの生成時にフレーム内符号化し、
入力ストリームの該サブピクチャの直交変換係数ないし
は量子化された直交変換係数を、出力ストリームの該サ
ブピクチャの直交変換係数ないしは量子化された直交変
換係数として用いる機能を有する事を特徴とする、請求
項２８ないし３０のいずれかに記載の、映像符号化装
置。
【請求項３３】入力ストリームのサブピクチャが動き
補償を伴ってフレーム間符号化されている時、該サブピ
クチャを出力ストリームの生成時に動き補償を伴ってフ
レーム間符号化し、入力ストリームの該サブピクチャの
差分情報である、交変換係数ないしは量子化された直交
変換係数を、出力ストリームの該サブピクチャの差分情
報である直交変換係数ないしは量子化された直交変換係
数として用いる事を特徴とする、請求項２７ないし３１
のいずれかに記載の、映像符号化方法。
【請求項３４】映像変換部が、入力ストリームのサブ
ピクチャが動き補償を伴ってフレーム間符号化されてい
る時、該サブピクチャを出力ストリームの生成時に動き
補償を伴ってフレーム間符号化し、入力ストリームの該
サブピクチャの差分情報である、交変換係数ないしは量
子化された直交変換係数を、出力ストリームの該サブピ
クチャの差分情報である直交変換係数ないしは量子化さ
れた直交変換係数として用いる機能を有する事を特徴と
する、請求項２８ないし３２のいずれかに記載の、映像
符号化装置。
【請求項３５】各直交変換係数の直交変換単位領域内
での位置と量子化値との関係を示す量子化マトリクスに
ついて、入力ストリームの各サブピクチャの量子化マト
リクスと同一の量子化マトリクスを、出力ストリームの
該当するサブピクチャに設定し、出力ストリームの各直
交変換係数を、入力ストリームの該当する位置の直交変
換係数の量子化値と同一の量子化値で量子化する事を特
徴とする、請求項１ないし３３のいずれかに記載の、映
像符号化方法。
【請求項３６】各直交変換係数の直交変換単位領域内
での位置と量子化値との関係を示す量子化マトリクスに
ついて、映像変換部が、入力ストリームの各サブピクチ
ャの量子化マトリクスと同一の量子化マトリクスを、出
力ストリームの該当するサブピクチャに設定し、出力ス
トリームの各直交変換係数を、入力ストリームの該当す
る位置の直交変換係数の量子化値と同一の量子化値で量
子化する機能を有する事を特徴とする、請求項２ないし
３４のいずれかに記載の、映像符号化装置。
【請求項３７】出力ストリームの各サブピクチャの量
子化値を、該サブピクチャの低周波領域の直交変換係数
に対する量子化値と入力ストリームの該当する直交変換
係数に対する量子化値とが同一になるように、設定する
事を特徴とする、請求項１ないし３５のいずれかに記載
の、映像符号化方法。
【請求項３８】出力ストリームの各サブピクチャの量
子化値を、該サブピクチャの低周波領域の直交変換係数
に対する量子化値と入力ストリームの該当する直交変換
係数に対する量子化値とが同一になるように、映像符号
化部が設定する事を特徴とする、請求項２ないし３６の
いずれかに記載の、映像符号化装置。
【請求項３９】出力ストリームのサブピクチャに対応
する入力ストリームのサブピクチャが複数ある場合、前
記出力ストリームのサブピクチャの符号化モードを、前
記対応する入力ストリームのサブピクチャの少なくとも
一つがフレーム内圧縮された場合、フレーム内圧縮モー
ド候補とし、前記フレーム内圧縮モード候補であるサブ
ピクチャが最後にフレーム内圧縮されてから過去連続し
てフレーム間圧縮された回数が、あらかじめ定めた閾値
を超えている場合に前記出力ストリームのサブピクチャ
の符号化モードをフレーム内圧縮符号化モードをするこ
とを特徴とする、請求項１ないし３７のいずれかに記載
の、映像符号化方法。
【請求項４０】出力ストリームのサブピクチャに対応す
る入力ストリームのサブピクチャが複数ある場合、映像
変換部が、前記出力ストリームのサブピクチャの符号化
モードを、前記対応する入力ストリームのサブピクチャ
の少なくとも一つがフレーム内圧縮された場合、フレー
ム内圧縮モード候補とし、前記フレーム内圧縮モード候
補であるサブピクチャが最後にフレーム内圧縮されてか
ら過去連続してフレーム間圧縮された回数が、あらかじ
め定めた閾値を超えている場合に前記出力ストリームの
サブピクチャの符号化モードをフレーム内圧縮符号化モ
ードをする機能を有することを特徴とする、請求項２な
いし３８のいずれかに記載の、映像符号化装置。
【請求項４１】１ピクチャ内のサブピクチャの符号化
順序が、入力ストリームと出力ストリームとで異なる場
合、入力ストリームのサブピクチャを、出力ストリーム
の符号化順で連続して符号化できる数だけ蓄積してから
出力ストリームを生成する事を特徴とする、請求項１な
いし３９のいずれかに記載の、映像符号化方法。
【請求項４２】１ピクチャ内のサブピクチャの符号化
順序が、入力ストリームと出力ストリームとで異なる場
合、映像変換部が、入力ストリームのサブピクチャを、
出力ストリームの符号化順で連続して符号化できる数だ
け蓄積してから出力ストリームを生成する事を特徴とす
る、請求項２ないし４０のいずれかに記載の、映像符号
化装置。