JP2004056677A - 画像情報符号化装置及び画像情報符号化方法 - Google Patents

Abstract

【課題】限られた容量の記録媒体にこの容量を超える容量のＭＰＥＧ画像情報を記録しなければならない場合に、更にその入力ＭＰＥＧ情報を圧縮する必要があるが、この際、単に圧縮をすると同一ＧＯＰ内でシーンチェンジが起こったところで最低限必要なバイト数を切る情報量しか割り当てられなくなる可能性があり、ここでレートコントロールが破綻する。本願発明はこの破綻を回避した圧縮を図るものである。
【解決手段】画像情報に含まれるＧＯＰを対象として、その中からシーンチェンジを伴う画像を検出し、上記シーンチェンジに伴う画像から同ＧＯＰ内でのシーンチェンジ位置の前後の画像枚数に基づいて上記画像群内の画像の目標情報量を割り振る。そして、その割り振られた目標情報量に基づいて圧縮動作を行い、再符号化を行う。
【選択図】　　　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、画像情報を符号化する画像情報符号化装置等に関する。詳しくは、複数の画像で構成された集合である画像グループにおいて、画像グループ内のそれぞれの画像に対する情報量の割り振りを適切に行う、並びにそれぞれの画像に対する情報量の圧縮を行う画像情報符号化装置等にかかるものである。そして、離散コサイン変換等の直交変換と動き補償によって圧縮されたＭＰＥＧ等の画像情報を衛星放送、ケーブルＴＶ、インターネット等のネットワークメディアを介して受信して、光、磁気ディスクのような記録メディアによって、さらに画像情報を圧縮して記録する際の記録装置として適用する等に好適なものである。尚、本願における説明では、「画像」を一枚の表示単位、「画像グループ」を連続する複数の画像の任意の集合、「画像群」を画像グループのサブセットであって、連続する少なくとも一つの画像の集合をいうものとする。
【０００２】
入力する画像情報がＭＰＥＧの場合、ここでいう画像グループはＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ以下同じ）とするのが望ましい。この場合、図７に示すような関係となる。
【０００３】
【従来の技術】
近年、画像情報をデジタルとして取り扱うことが多くなっている。この際、効率の高い情報の伝送、蓄積を目的とするために、画像情報特有の冗長性に着目し、離散コサイン変換等の直交変換並びに動き補償を伴う圧縮を行ういわゆるＭＰＥＧ等の方式に準拠した装置等が利用されてきた。そして、この手法による、放送局などからの情報配信、及び一般家庭における情報受信がそれぞれ普及しつつある。
【０００４】
たとえば従来のＭＰＥＧではＧＯＰと呼ばれる一連の複数の画像で構成された情報単位を基準に様々な処理が行われている。例えば、ＭＰＥＧ方式では、図７のようにＧＯＰは、Ｉピクチャ、ＰピクチャまたはＢピクチャの集合となっており、Ｉピクチャから次のＩピクチャの前ピクチャまでが１つのＧＯＰを構成している。そして通常、ＧＯＰ内の画像毎に情報量を割り振る場合には、その画像が持つ情報量にしたがってＧＯＰの情報量を割り振っていくことになる。
【０００５】
【発明が解決しようとする課題】
しかし、ＧＯＰ内でシーンが変わると、そのシーンチェンジをした位置の画像の前後で大きく情報量が変化する。その結果、ＧＯＰ内のシーンチェンジ後に流れる画像に対して、それぞれの画像に必要な情報量を分配できなくなり、その結果、画像の再生ができなくなるという問題点があった。
【０００６】
この問題点は、衛星放送、ケーブルＴＶ　などのネットワークメディアから出力される情報を、光ディスク、磁気ディスクのような記憶メディア等に圧縮して記録する際に顕著に現れる。
【０００７】
上述の状況について、図８の例を用いて説明する。
【０００８】
図８はＧＯＰ内での画像情報量の割り振りを示した図である。図８では、ＧＯＰが６枚の画像によって構成したものを示している。画像８００、８０１、８０２、８０３、８０４、８０５には、それぞれの画像情報量８１０、８１１、８１２、８１３、８１４、８１５を有している。画像８０３で画像８０２と大きく画像が変化したとき、即ち、ＧＯＰ内でシーンチェンジを伴う画像が現れたとき、画像情報量８１２と画像情報量８１３での画像情報量の変化が起こる。つまり、画像群の画像毎に画像情報量を振り分けたときシーンチェンジ位置前後で画像情報量が偏ってしまう。一般に１つの画像情報には、その画像を構成するための基礎情報が含まれており、振り分けられた情報量が定められた目標の情報量を下回ると、画像の再生ができなくなる。このような状況に陥ることを本明細書では、レートコントロールが破綻するということとする。
【０００９】
なお、上記の説明では、入力画像情報がＭＰＥＧの場合を代表して説明したが、これに限らず、入力画像情報が他のフォーマットを持ったものであったとしても同様の課題を有する場合がある。
【００１０】
【課題を解決するための手段】
本願記載の発明は、上述の実情に鑑みて提案されるものであって、その目的とするところは、下記請求項１乃至１０に記載の画像情報符号化装置とうにより、上記問題点の低減を図ったものである。
【００１１】
即ち、請求項１に記載の発明は、シーンチェンジ検出手段と目標情報量決定手段とを備えることを特徴とする画像情報符号化装置を提供する。即ち、シーンチェンジ検出手段は、画像情報に含まれる連続する複数の画像で構成される画像グループを対象として、シーンチェンジに伴う画像を検出するように作用する。また、目標情報量決定手段は、上記シーンチェンジ検出手段で検出された上記画像グループ内でのシーンチェンジ位置の前後の画像枚数に基づいて上記画像グループ内の画像の目標情報量を割り振るように作用する。
【００１２】
請求項２に記載の発明は、画像情報量取得手段と検出手段とを備えることを特徴とするシーンチェンジ検出手段を提供する。即ち、上記画像情報量取得手段は、画像グループの画像毎に情報量を取得するように利用する。また、上記検出手段は、上記画像情報量取得手段により取得した画像の情報量に基づいて上記画像グループ内での画像の情報量の変化を捉え、所定の変化があった画像をシーンチェンジ画像として検出するように利用する。
【００１３】
請求項３に記載の発明は、配分手段を備えることを特徴とする目標情報量決定手段を提供する。即ち、上記配分手段は、画像グループのうちシーンチェンジに伴う画像より前の手段分画像群と以後の手段分画像群に割り振られた総情報量を上記画像グループの画像毎の情報量に基づいて画像群毎に割り振られた情報量を各画像に配分するように利用する。
【００１４】
請求項４に記載の発明は、シーンチェンジ検出ステップと目標情報量決定ステップとを備えることを特徴とするプログラムを提供する。即ち、上記シーンチェンジ検出ステップは、画像情報に含まれる連続する複数の画像で構成される画像グループを対象として、シーンチェンジに伴う画像を検出するように利用する。また、上記目標情報量決定ステップは、上記シーンチェンジ検出ステップより検出された上記画像グループ内でのシーンチェンジ位置の前後の画像枚数に基づいて上記画像グループ内の画像の目標情報量を割り振るように利用する。
【００１５】
請求項５に記載の発明は、シーンチェンジ検出ステップと目標情報量決定ステップとを備えることを特徴とする画像情報符号化方法を提供する。即ち、上記シーンチェンジ検出ステップは、画像情報に含まれる連続する複数の画像で構成される画像グループを対象として、シーンチェンジを伴う画像を検出するように利用する。また、上記目標情報量決定ステップは、上記シーンチェンジ検出ステップより検出された上記画像グループ内でのシーンチェンジ位置の前後の画像枚数に基づいて上記画像グループ内の画像の目標情報量を割り振るように利用する。
【００１６】
請求項６に記載の発明は、画像情報量取得ステップと検出ステップとを備えることを特徴とするシーンチェンジ検出ステップを提供する。即ち、上記取得ステップは、画像グループの画像毎に情報量を取得するように利用する。また、上記検出ステップは、上記画像情報量取得ステップより取得した画像の情報量に基づいて上記画像グループ内での画像の情報量の変化を捉え、所定の変化があった画像をシーンチェンジ画像として検出するように利用する。
【００１７】
請求項７に記載の発明は、配分ステップを備えることを特徴とする目標情報量決定ステップを提供する。即ち、上記配分ステップは、画像グループのうちシーンチェンジに伴う画像より前の手段分画像群と以後の手段分画像群に割り振られた総情報量を上記画像グループの画像毎の情報量に基づいて割り振られた情報量を各画像に配分するように利用する。
【００１８】
請求項８に記載の発明は、シーンチェンジ検出ステップと目標情報量決定ステップとをコンピュータに実現させるプログラムを記録したコンピュータ取得を可能とする記録媒体を提供する。即ち、上記シーンチェンジ検出ステップは、画像情報に含まれる複数の画像で構成される画像グループを対象として、シーンチェンジを検出するように利用する。また、上記目標情報量決定ステップは、上記シーンチェンジ検出ステップより検出された上記画像グループ内でのシーンチェンジ位置の前後の画像枚数に基づいて上記画像グループ内の画像の目標情報量を割り振るように利用する。
【００１９】
請求項９に記載の発明は、画像情報量取得ステップと検出ステップとを備えることを特徴とするシーンチェンジ検出ステップを提供する。即ち、上記画像情報量取得ステップは、画像グループの画像毎に情報量を取得するように利用する。また、上記検出ステップは、上記画像情報量取得ステップより取得した画像の情報量に基づいて上記画像グループ内での画像の情報量の変化を捉え、所定の変化があった画像をシーンチェンジ画像として検出するように利用する。
【００２０】
請求項１０に記載の発明は、配分ステップを備えることを特徴とする目標情報量決定ステップを提供する。即ち、上記配分ステップは、画像グループのうちシーンチェンジに伴う画像より前の手段分画像群と以後の手段分画像群に割り振られた総情報量を上記画像グループの画像毎の情報量に基づいて画像群毎に割り振られた情報量を各画像に配分するように利用する。
【００２１】
上記の構成の画像情報符号化装置において、画像情報に含まれる連続する複数の画像で構成される画像グループを対象として、シーンチェンジを伴う画像を検出し、上記シーンチェンジが検出された上記画像グループ内でのシーンチェンジ位置の前後の画像枚数に基づいて上記画像グループ内の画像の目標情報量を割り振ることにより、レートコントロールの破綻を防ぐことができる。
【００２２】
つまり、本発明は、ＧＯＰ内のシーンチェンジ位置を境に適宜情報量を割り振ることにより、図１に見られるようなシーンチェンジ後の情報量が最低限の目標情報量より大きく設定できる点に着目したものである。また、その情報量の割り振りについてはシーンチェンジが起こった位置の画像インデックス（ＧＯＰ内の先頭画像からの枚数）に基づくものとした。
【００２３】
【発明の実施の形態】
（１．第１の発明の実施の形態）
【００２４】
本発明にかかる実施の形態について、
１．１．第１の実施の形態における背景
１．２．第１の実施の形態に係る構成
１．３．第１の実施の形態に係る動作
１．４．入力画像としてＭＰＥＧ信号を用いた場合の変形例
の順序で説明する。
【００２５】
（１．１．第１の実施の形態における背景）
インターネット等から得られる画像情報等を入力情報として記録媒体に記録する場合、その媒体容量が記録すべき容量より少ないとき、画像情報等を削減もしくは圧縮する必要がある。例えば、２時間まで記録できる容量しか持たない記録媒体に、２時間３０分の画像情報量を記録したい場合、そのままの画像情報量を記録媒体に記録することは不可能なので、画像情報量を削減もしくは圧縮して記録媒体に納まるような情報量に変換しなければならない。すなわち、記録媒体の容量がＲのものに総情報量Ｒｒｅａｌの情報を記録する場合（Ｒｒｅａｌ＞Ｒ）、少なくとも情報量の削減率もしくは圧縮率をαとすることによって、次の数式で表わされる条件を満たす必要がある。
【００２６】
【数１】

本発明に係る第１の実施の形態は、本式におけるαを操作者が指定して、又は計算により求めて決定したときに、もとの画像情報群の圧縮を行う画像情報符号化装置となっている。
【００２７】
（１．２．第１の実施の形態に係る構成）
次に、第１の実施の形態に係る画像情報符号化装置２０９の構成について、図２を用いて説明する。
【００２８】
本装置２０９は、少なくともシーンチェンジ検出手段２０１、目標情報量決定手段２０２、量子化手段２０３、符号化手段２０４及び符号バッファ２０５を具備する。
【００２９】
シーンチェンジ検出手段２０１は、画像情報を入力し、その画像毎の情報量に基づいて、シーンチェンジ位置を検出するようになっている。シーンチェンジとは、たとえば画像内にあるオブジェクトが画像グループ中の特定位置の画像から発現した場合など、一枚の画像を構成するシーンが直前位置の画像から連続性なく変化したことをいう。このような場合には、その画像を構成する情報量が直前位置の画像のそれと比して大きく変化するため、これを検出することで、シーンチェンジが検出できることになる。勿論、例えば、入力画像がＭＰＥＧによる場合には、マクロブロック毎の情報量を用いて検出するようにしても構わない。
【００３０】
目標情報量決定手段２０２は、少なくとも、シーンチェンジ検出手段２０１により検出されたシーンチェンジ位置、画像グループの全情報量、並びに圧縮率αに基づいて、その前後に係る画像群の情報量の配分を決定した上で、更に各画像群を構成する画像情報後との目標情報量を決定するようになっている。また、ここで決定した目標情報量の値は量子化手段２０３及び符号バッファ２０５に送っている。
【００３１】
量子化手段２０３は、画像を入力するとともに、目標情報量決定手段２０２によって決定された画像毎の情報量を目標として入力した画像情報を符号化するためのプリプロセスを行い、その結果である量子化情報を符号化手段２０４に出力するようになっている。ここで、プリプロセスとは、入力した画像に直接係る画像情報分を符号化手段２０４で容易に取り扱うことができる程度への量子化を行うことをいう。プリプロセスの例として、例えばＭＰＥＧの場合、画像情報をＤＣＴ（離散コサイン変換以下同じ）を行うことによりＤＣＴ係数を算出するなどがこれにあたる。
【００３２】
符号化手段２０４は、量子化手段２０３より得られた量子化情報を符号化するようになっている。ここで、符号化は、入力した量子化情報を所定のフォーマットに変換するように機能する。
【００３３】
符号バッファ２０５は、目標情報量決定手段２０２の動作に必要となる各部分画像毎の量子化情報の情報量や、画像の符号化タイプ等の情報を格納し、また目標情報量決定手段２０２からの制御に応じて蓄積するようになっている。そして、この情報を本実施の形態にかかる画像符号化装置２０９の出力とするようになっている。例えば、部分画像の単位は、ブロックやマクロブロックなどを用いている。
【００３４】
（１．３．第１の実施の形態に係る動作）
次に、第１の実施の形態について、動作を説明する。
【００３５】
まず、本装置２０９に入力された一連の画像情報は、シーンチェンジ検出手段２０１に送られる。シーンチェンジ検出手段２０１では、この画像情報を画像グループ毎に分け、その画像グループに含まれる画像毎の情報量を求める。そして、その情報量を用いて、画像グループ内の画像毎の情報量と基準値とを比較し、情報量が急激に変化した位置をシーンチェンジ位置として検出する。ここで、基準値として、例えば、画像グループの先頭画像の情報量を用いることが好適である。また、画像毎の情報量として、本画像が含んでいるオブジェクトを表現する情報量などで代表させることが好適である検出されたシーンチェンジ位置はシーンチェンジ位置情報として目標情報量決定手段２０２に送られる。目標情報量決定手段２０２では、その送られてきた情報に基づいて、画像グループ内の先頭画像からシーンチェンジ位置前までの画像並びにその後の画像をそれぞれ「画像群」とし、画像グループに含まれる全画像枚数と画像群毎の画像枚数の割合に応じて、画像群毎に情報量を割り振る。更に、画像群毎に割り振られた情報量に基づいて、画像毎に情報量を割り振る。
【００３６】
一方、量子化手段２０３は、目標情報量決定手段２０２から送られた各画像毎の目標情報量を用いて、入力された各画像情報をその目標情報量に納まるように量子化する。量子化された画像情報は、符号化手段２０４により符号化される。符号化された画像情報は、符号バッファ２０５に保存され、出力する。これにより、シーンチェンジによるレートコントロールの破綻を防ぐことができる。
【００３７】
（１．４．入力画像としてＭＰＥＧ信号を用いた場合の変形例）
上記第１の実施の形態に係る装置２０９は、入力信号としていかなるフォーマットのものについても適用可能であるが、ここでは、入力画像がＭＰＥＧ信号である場合に好適な一例について説明する。この場合、上記画像グループをＧＯＰとして取り扱うのが望ましい。画像中に現れるオブジェクト基準で圧縮されるＭＰＥＧでは、シーンチェンジのあった画像を検出し、演算することが容易にできることになるからである。
【００３８】
（１．４．１．シーンチェンジ検出のアルゴリズムの一例）
まず、シーンチェンジ検出手段におけるアルゴリズムの一例について説明する。
まず、ＧＯＰの先頭Ｉピクチャにおいて、マクロブロック毎に蓄積された量子化情報の情報量の平均値を次式によって算出する。
【００３９】
【数２】

ここで、Ｎは画像内のマクロブロックの総数及び、Ｑはマクロブロック毎の量子化情報の情報量を示している。
【００４０】
次に数式２によって算出された平均量子化スケールに当該画像の情報量を乗じ、コンプレキシティＸｉを算出する。ここで、コンプレキシティは、前述した画像の情報量、例えばその画像が含むオブジェクトを表現する情報量に対応することになる。
【００４１】
【数３】

Ｓは画像符号化時の発生符号情報量を示すものとする。
【００４２】
当該ＧＯＰの後続する画像においてもそれぞれ、数式３、量子化情報の平均情報量並びに画像情報量よりコンプレキシティＸｉ（ｉはＧＯＰ内の画像番号を示すものとする）を算出する。それぞれの後続画像においても、コンプレキシティＸｉを算出する。そして、これらとＸｓとを比較し、ＸｉがＸｓに対して急激に変化したときシーンチェンジと判定する。そして、シーンチェンジと判定された画像のコンプレキシティをＸｓとし、後続する画像においては上段の説明と同様にＸｉとＸｓを比較し、次なるＧＯＰ内のシーンチェンジを検出する。
【００４３】
即ち、シーンチェンジ検出アルゴリズムは、図３に示すステップにより実現することになる。
【００４４】
まず、ＧＯＰの先頭画像のコンプレキシティをＸｓと定める（ステップ３０１）。
【００４５】
そして、後続する画像を指定する（ステップ３０２）。
【００４６】
次に、ステップ３０１により記録されたコンプレキシティＸｓと、ステップ３０２より出力された後続するコンプレキシティＸｉとを比較する。Ｘｉ＞Ｘｓの条件が、整わなかったときには、後続する画像について同じ処理を続けるべくステップ３０２に戻る（ステップ３０３）。
【００４７】
一方、ステップ３０３で条件が整った場合は、その画像が、シーンチェンジであると定める（ステップ３０４）。
【００４８】
（１．４．２．目標情報量決定に係るアルゴリズム）
同じく、目標情報量決定手段２０２における代表例として、ＭＰＥＧを用いた場合のアルゴリズムの概要についての例を、図４を用いて説明する。ここでは、ＭＰＥＧを使うゆえ、量子化手段２０３と符号化手段２０４は、視覚特性をマクロブロック毎の適応量子化と各々符号化バッファを用いたレート制御という機能を追加して備えることが望ましい。これらの機能を含めて改めて動作を説明すると以下のようになる。
【００４９】
まず、入力したＭＰＥＧ情報のＧＯＰを画像グループとして取り扱う（ステップ４０１）。
【００５０】
次に、シーンチェンジ検出手段２０１は、前記ＧＯＰ内よりシーンチェンジ位置を検出する。そして、目標符号量決定手段２０２は、前記ＧＯＰの先頭画像から前記シーンチェンジ位置前までの画像で構成される画像群の画像枚数と、その後の画像群の画像枚数との情報と、ステップ４０１で求めたＧＯＰ毎に割り振られた情報量とを用いて、シーンチェンジ前後の画像群の枚数に応じて、それぞれ情報量を割り振る（ステップ４０２）。
【００５１】
更に、目標情報量決定手段２０２は、ステップ４０２で割り振られたシーンチェンジ前後の画像群の情報量と、これら画像群の枚数などから各画像の情報量を振り分ける（ステップ４０３）。
【００５２】
更に、目標情報量決定手段２０２は、ステップ４０３で求められた各画像に対する割り振り情報量を、実際の情報量と一致させるため、画像毎に独立に設定したＩ画像、Ｐ画像、Ｂ画像という画像の種類と、符号バッファ２０５の容量に基づいて、量子化情報の情報量を求める。更に、目標情報量へのあわせこみを行うべくフィードバック制御を行う。ここで、フィードバック制御は、目標情報量決定手段２０３が符号バッファ２０５の容量を随時把握し、その容量の情報により画像毎に割り振られた情報量を修正し、ＤＣＴ変換を行えばよい（ステップ４０４）。
【００５３】
量子化手段２０３は、ステップ４０４で求められた量子化情報の情報量を、視覚的に劣化の目立ちやすい平坦な部分でより細かく量子化し、劣化の比較的目立ちにくい絵柄の複雑な部分でより粗く量子化するようにマクロブロックのアクティビティによって変化させている（ステップ４０５）。
【００５４】
更に、量子化手段２０３は、入力となる画像情報における量子化情報の情報量をＱ１とし、量子化処理を行った場合に出力となる画像情報に対する量子化情報の情報量をＱ２とすると、Ｑ１＞Ｑ２である場合には、Ｑ１を出力し、そうでない場合には、Ｑ２を出力する。それにより、この一連の工程を終了する（ステップ４０６）。
【００５５】
ここで、量子化手段２０３は、Ｑ１＞Ｑ２となった場合には、一度粗く量子化されたマクロブロックを再量子化した結果より細かく量子化されたことになる。しかし、既に、粗く量子化されたことによる歪は、細かく再量子化されることでは低減されない。また、このマクロブロックに対して、情報量が多く使われることになるため、他のマクロブロックに振られた情報量の減少を招き、異なる画質劣化を引き起こすことになる。本装置２０９は、一つのマクロブロックについて、情報量を削減することについても目的の一つであるので、Ｑ１＞Ｑ２である場合には、Ｑ１＝Ｑ２とし、不要なビット数の増加と防いでいる。これにより、画質劣化の防止を図っている。
【００５６】
（１．４．２．１．目標情報量決定に係るアルゴリズムの例１）
記目標情報量決定に係るアルゴリズムの代表例について、より具体的に説明する。例えばＧＯＰのＮ枚目の画像でシーンチェンジが起きたと判定された場合、ＧＯＰの先頭からＮ−１枚目までの画像の枚数に応じてＧＯＰの情報量Ｒｏｕｔを数式４により算出する。
【００５７】
【数４】

ここで、ＭはＧＯＰ内の枚数、ＲはそのＧＯＰに係る目標総情報量である。
【００５８】
次に、この情報量Ｒ_ｏｕｔを画像毎の情報量配分する。
【００５９】
【数５】

ただし、Ｋは画像毎の量子化スケールコードの比率を、Ｔｉは画像毎の割り振り情報量を表す。
【００６０】
また、Ｉピクチャの量子化スケールコードを基準としたＰピクチャ並びにＢピクチャの量子化スケールコードの比率Ｋｐ、Ｋｂを数式６で表すと次のような比率である。
【００６１】
【数６】

これによりＧＯＰ内でシーンチェンジによる画像単位の情報量の極端な偏りを防止することが可能である。
【００６２】
（１．４．２．２．目標情報量決定に係るアルゴリズムの例２）
上記目標情報量決定に係るアルゴリズムの代表例について、固定長符号化を行う他の例を説明する。
【００６３】
入力画像の情報量に応じて出力画像の情報量を特定する。例えば７枚目の画像でシーンチェンジを検出した場合、入力画像の情報量ＲｉｎはＧＯＰの先頭から６枚目までの画像に配分する情報量である。情報量Ｒｉｎに対し、情報量の変動比率βをユーザーの設定等により決め、変動比率βを乗じ、出力画像情報に配分する情報量を算出する。
【００６４】
【数７】

以降は上記アルゴリズムの例１に同じく、数式７により求められた情報量Ｒｏｕｔを数式５に代入し、画像単位での情報量配分を行う。
【００６５】
これにより、シーンチェンジ検出により分けられた画像群単位で出力されるビットストリームにおいて、ビットレートを反映することが可能となる。今回は二つの方法について説明したが、他の方法を用いて情報量を割り振っても良い。
【００６６】
（２．第２の実施の形態）
本発明に係る第２の実施の形態について、
２．１．第２の実施の形態の概要
２．２．第２の実施の形態に係る構成
２．３．１．動き補償誤差補正手段の周辺部に係る構成
２．３．２．動き補償誤差補正手段の周辺部に係る動作
２．４．第２の実施の形態に係る動作
の順序で説明する。
【００６７】
（２．１．第２の実施の形態の概要）
前記第１の実施の形態のように動き補償を行なわずに符号化を行うとすると、入力となる画像圧縮情報の量子化幅と再符号化後の画像圧縮情報における量子化幅との相違に起因して、誤差が生じる。そしてＭＰＥＧフォーマットの画像を対象とする場合には、Ｉピクチャ及びＰピクチャで生じた画質劣化が後続のＰピクチャ、及びそれを参照とするＢピクチャに伝播し、更なる画質劣化に繋がり、好ましくない。また、ＭＰＥＧでは動き補償を行うことが符号化にあたっての前提となっており、これにより情報量の圧縮を図っているため、本願発明をＭＰＥＧフォーマットの画像情報の処理に適用するにはこの機能を設ける必要がある。
【００６８】
このような背景から、発明者らは第２の実施の形態を案出したのであり、第１の実施の形態に示した画像情報符号化装置に動き補償機能を加えることにより、更なる情報量削減を行うとともに、画像劣化による誤差を最小限に抑え、ひいては本願発明の情報量の振り分けにより破綻に対する耐性を更に向上させることができるようにしたものとなっている。
【００６９】
すなわち、本発明に係る第２の実施の形態は、ＭＰＥＧ画像を処理対象とした画像情報符号化装置に係るものとなっている。
【００７０】
（２．２．第２の実施の形態に係る構成）
第２の実施の形態に係る画像情報符号化装置５１５について、図５を用いて説明する。本装置５１５は、前述の第１の実施の形態に施し説明した装置２０９でも応用可能な事例と同じく、入力されたＭＰＥＧ画像情報量を再符号化して出力する画像情報符号化装置に関するものであるが、動き補償誤差補正手段５１４を備えることにより、更なる高能率符号化を図ったものである。そして少なくとも本装置５１５は、符号入力バッファ５０１、圧縮情報解析手段５０２、情報バッファ５０３、復号化手段５０４、第１の逆量子化手段５０５、加算手段５０６、帯域制限手段５０７、シーンチェンジ検出手段２０１、目標情報量決定手段２０２、量子化手段２０３、符号化手段２０４、符号出力バッファ２０５、並びに動き補償誤差補正手段５１４と、を具備するものである。尚、シーンチェンジ検出手段２０１乃至符号化手段２０４については第１の実施の形態と同じであり、また、符号出力バッファ２０５についても第１の実施の形態における符号バッファ２０５と同じであるので説明は省略する。
【００７１】
符号入力バッファ５０１は、入力となる画像圧縮情報（ビットストリーム以下同じ）を一時格納し、後段での処理速度の変化によって、オーバーフロー、アンダーフローを起こすことはないようになっている。
【００７２】
即ち、画像圧縮情報は、いわゆるＭＰＥＧ２で規定されているＶＢＶ（Ｖｉｄｅｏ　Ｂｕｆｆｅｒｉｎｇ　Ｖｅｒｉｆｉｅｒ）、すなわち符号バッファによる情報量の残量に対する拘束条件を満たすように符号化されているので、符号入力バッファ５０１もこれに従って構成する。
【００７３】
圧縮情報解析手段５０２は、第１の符号バッファ５０１に格納された画像圧縮情報を入力し、その情報から再符号化処理に必要なパラメータを抽出するようになっている。具体的には、例えば、パラメータとしてピクチャの符号化タイプ（ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）やブロック毎の量子化値（ｑ＿ｓｃａｌｅ）等を抽出する。
【００７４】
情報バッファ５０３は、圧縮情報解析手段５０２により抽出されたパラメータであって、目標情報量決定手段２０２の動作に必要となる、ピクチャの符号化タイプや、ブロック毎の量子化値等の情報を格納する。
【００７５】
復号化手段５０４は、圧縮情報解析手段５０２から出力された画像圧縮情報を復号化する。具体的には、復号化は、入力した画像圧縮情報に変換された所定のフォーマットを量子化情報に変換するように機能する。
【００７６】
逆量子化手段５０５は、復号化手段５０４により出力された画像情報を逆量子化する。
【００７７】
帯域制限手段５０７は、ブロック毎に水平方向高域成分係数の削減が行う。これにより、画像中過剰な情報量を必要とする高域成分を減衰させ、所定の情報量に収めるようになっている。なお、帯域制限手段５０７における処理については、図６に示すように輝度信号と色差信号とに分け、それぞれについて帯域制限処理をすることが望ましい。具体的には、輝度信号に関しては、図６（１）に示すように８×８ＤＣＴ係数のうち、水平方向低域成分である８×６係数のみの値を保存し、残りを０と置き換える。また、色差信号に関しては、図６（２）に示すように８×８ＤＣＴ係数のうち、水平方向低域成分である８×４係数のみの値を保存し、残りを０と置き換える。こうすることにより、劣化がより人間の目に付きやすい輝度信号に比べ、より人間の目に付きにくい色差信号に対して、より大きく帯域制限を行うこととなり、画質劣化を最小限に抑えながら、再量子化の歪みを低減することが期待できる。尚、帯域制限手段５０７における処理は上記に限られないことは言うまでもない。例えば０で置き換える代わりに、予め用意した重み係数をＤＣＴの水平方向高域成分に乗じることで同様の効果をもたらすことが出来る。
【００７８】
量子化手段２０３は、帯域制限手段５０７の出力となるＤＣＴ係数受け、これを量子化する。その際、用いられる量子化幅は、目標情報量決定手段２０２によって決定される。
【００７９】
（２．２．１．動き補償誤差補正手段の周辺部に係る構成）
次に、動き補償誤差補正手段５１４の内部構成について説明する。
【００８０】
動き補償誤差補正手段５１４は、少なくとも第２の逆量子化手段５０８、第１の加算手段５０６、第２の加算手段５０９、ＩＤＣＴ５１０、ビデオメモリ５１１、動き補償予測手段５１２、ＤＣＴ５１３と、を具備するものである。
【００８１】
第２の逆量子化手段５０８は、量子化手段２０３から出力された量子化された情報量を逆量子化することにより、再度、ＤＣＴ係数を抽出する。
【００８２】
第１の加算手段５０６は、第１の逆量子化手段５０５より出力されたＤＣＴ係数と、ＤＣＴ５１３より出力された動き補償予測を行なったＤＣＴ係数とを差分する。
【００８３】
第２の加算手段５０９は、第２の逆量子化手段５０８より出力されたＤＣＴ係数と、第１の加算手段５０６から出力されたＤＣＴ係数とを差分する。
【００８４】
ＩＤＣＴ５１０は、第２の加算手段５０９より出力されたＤＣＴ係数をＩＤＣＴすることにより差分画像情報に変換する。
【００８５】
ビデオメモリ５１１は、動き補償予測に用いるために、ＩＤＣＴ５１０により変換された差分画像情報を格納する。
【００８６】
動き補償予測手段５１２は、入力された画像情報内における動き補償予測モード情報及び、動きベクトル情報と、ビデオメモリ５１１に記録された差分画像情報に基づいて、現在の画像情報と、過去の画像情報、未来の画像情報又は、両方向の画像情報とを比較し、時間的経過による動きの予測を行う。
【００８７】
ＤＣＴ５１３は、動き補償予測手段５１２より出力された画像情報についてＤＣＴを行う。
【００８８】
（２．２．２．動き補償誤差補正手段の周辺部に係る動作）
第２の実施の形態においては、量子化手段２０３より量子化されたＤＣＴ係数とともに、量子化幅並びに量子化行列に関する情報も出力される。量子化幅と量子化行列に関する情報を含んだＤＣＴ係数は、符号化手段２０４に伝送されるとともに、第２の逆量子化手段５０８にも伝送される。ここで、量子化幅と量子化行列に関する情報をもとに逆量子化が施される。逆量子化手段５０８の出力となるＤＣＴ係数と、第１の逆量子化手段５０５の出力となるＤＣＴ係数との差分が第２の加算器５０９において行なわれる。この出力画像はＩＤＣＴ５１０に入力されて逆離散コサイン変換を施す。ＩＤＣＴ５１０から出力された画像は、動き補償誤差補正情報としてビデオメモリ５１１に格納される。入力となる画像圧縮情報内における動き補償予測モード情報（フィールド動き補償予測モード或いはフレーム動き補償予測モード、及び、前方向予測モード、後方向予測モード、或いは、双方向予測モード）及び、動きベクトル情報と、ビデオメモリ５１１内の誤差画像情報を基に、動き補償予測手段５１２において動き補償が行われ、これによって生成された画像情報が、空間領域での誤差補正値となる。この補正値を入力とし、ＤＣＴ５１３においてＤＣＴを施すことで、周波数領域での誤差補正値を得ることになる。
【００８９】
なお、ＤＣＴモードがフレームＤＣＴモードであり、入力となる画像圧縮情報の走査方式が飛び越し走査である場合には、垂直方向高域成分の誤差を無視することは大幅な画質劣化に繋がるものの、水平方向に関しては高域４成分を無視することによる画質劣化は殆どないので、この点に留意した処理をすることが望ましい。
【００９０】
このように本発明の適用は、上記第１の実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々の構成を採ることができる。
【００９１】
【発明の効果】
以上述べてきたように、本発明の画像情報を入力として符号化する画像情報符号化装置によれば、画像情報に含まれる連続する複数の画像で構成される画像群を対象として、シーンチェンジを伴う画像を検出し、上記シーンチェンジに伴う画像から上記画像群内でのシーンチェンジ位置の前後の画像枚数に基づいて上記画像群内の画像の目標情報量を割り振る。このことにより、ＧＯＰ内でシーンの変化に対して、画像を再生しても映像が映らなくなるという問題点を解決することができる。
【００９２】
また、本発明は、飛び越し走査のＭＰＥＧ２画像圧縮情報を入力として、復号化部から符号化部へのデータの受け渡しをＤＣＴ領域あるいは空間領域で行う画像情報符号化装置において、符号化部で、入力となるＭＰＥＧ２画像圧縮情報内での量子化情報の情報量、発生情報量等の情報から、シーンチェンジを検出し、出力となる、より少ない情報量（ビットレート）を持つＭＰＥＧ２画像圧縮情報内でのフレーム毎の情報量配分式に用いることにより、フレーム単位の割り振り情報量が最適化された状態で、より少ない情報量（ビットレート）を持つＭＰＥＧ２画像圧縮情報に変換して出力する手段を提供するものである。
【図面の簡単な説明】
【図１】本発明の装置により割り振られた情報量の変化を示す図である。
【図２】本発明の第１の実施例の画像情報量符号化装置を示した図である。
【図３】本発明の第１の実施例の画像情報量符号化装置のフロー図である。
【図４】本発明の第１の実施例の装置の目標情報量符号化手段における動作を示したフロー図である。
【図５】本発明の第２の実施例を示した図である。図１の装置で、目標情報量制御装置１２における動作を示したフロー図である。
【図６】図５に示した装置で、帯域制限装置７における動作の一例を示した図である。
【図７】画像をグループ毎に割り振ったＧＯＰを示す図である。
【図８】従来の装置により割り振られた情報量の変化を示す図である。

Claims (10)

1. 画像情報を符号化する画像情報符号化装置において、
   上記画像情報に含まれる連続する複数の画像で構成される画像グループを対象としてシーンチェンジを伴う画像を検出するシーンチェンジ検出手段と、
   上記シーンチェンジ検出手段で検出された上記画像グループ内でのシーンチェンジ位置の前後の画像枚数に基づいて上記画像グループ内の画像の目標情報量を割り振る目標情報量決定手段と、
   を備え、該目標情報量に基づいて各画像の符号化を行うことを特徴とする画像情報符号化装置。
2. 上記シーンチェンジ検出手段は、
   上記画像グループの画像毎に情報量を取得する画像情報量取得手段と、
   上記画像情報量取得手段により取得した画像の情報量に基づいて上記画像グループ内での画像の情報量の変化を捉え、所定の変化があった画像をシーンチェンジ画像として検出する検出手段とを備えることを特徴とする請求項１に記載の画像情報符号化装置。
3. 上記目標情報量決定手段は、
   上記画像グループのうちシーンチェンジに伴う画像より前の手段分画像群と以後の手段分画像群に割り振られた総情報量を上記画像グループの画像毎の情報量に基づいて画像群毎に割り振られた情報量を各画像に配分する配分手段とを備えることを特徴とする請求項１に記載の画像情報符号化装置。
4. 画像情報を符号化するプログラムにおいて、
   上記画像情報に含まれる連続する複数の画像で構成される画像グループを対象として、シーンチェンジを伴う画像を検出するシーンチェンジ検出ステップと、
   上記シーンチェンジ検出ステップより検出された上記画像グループ内でのシーンチェンジ位置の前後の画像枚数に基づいて上記画像グループ内の画像の目標情報量を割り振る目標情報量決定ステップとを備えることを特徴とするプログラム。
5. 画像情報を符号化する画像情報符号化方法において、
   上記画像情報に含まれる連続する複数の画像で構成される画像グループを対象として、シーンチェンジを伴う画像を検出するシーンチェンジ検出ステップと、
   上記シーンチェンジ検出ステップより検出された上記画像グループ内でのシーンチェンジ位置の前後の画像枚数に基づいて上記画像グループ内の画像の目標情報量を割り振る目標情報量決定ステップとを備えることを特徴とする画像情報符号化方法。
6. 上記シーンチェンジ検出ステップは、
   上記画像グループの画像毎に情報量を取得する画像情報量取得ステップと、
   上記画像情報量取得ステップにより取得した画像の情報量に基づいて上記画像グループ内での画像の情報量の変化を捉え、所定の変化があった画像をシーンチェンジ画像として検出する検出ステップとを備えることを特徴とする請求項５に記載の画像情報符号化方法。
7. 上記目標情報量決定ステップは、
   上記画像グループのうちシーンチェンジに伴う画像より前の手段分画像群と以後の手段分画像群に割り振られた総情報量を上記画像グループの画像毎の情報量に基づいて画像群毎に割り振られた情報量を各画像に配分する配分ステップとを備えることを特徴とする請求項５に記載の画像情報符号化方法。
8. 画像情報を符号化する記録媒体において、
   上記画像情報に含まれる連続する複数の画像で構成される画像グループを対象として、シーンチェンジを伴う画像を検出するシーンチェンジ検出ステップと、
   上記シーンチェンジ検出ステップより検出された上記画像グループ内でのシーンチェンジ位置の前後の画像枚数に基づいて上記画像グループ内の画像の目標情報量を割り振る目標情報量決定ステップと、
   をコンピュータに実現させるプログラムを記録したコンピュータ取得を可能とする記録媒体。
9. 上記シーンチェンジ検出ステップは、
   上記画像グループの画像毎に情報量を取得する画像情報量取得ステップと、
   上記画像情報量取得ステップにより取得した画像の情報量に基づいて上記画像グループ内での画像の情報量の変化を捉え、所定の変化があった画像をシーンチェンジ画像として検出する検出ステップとを備えることを特徴とする請求項８に記載の記録媒体。
10. 上記目標情報量決定ステップは、
    上記画像グループのうちシーンチェンジに伴う画像より前の手段分画像群と以後の手段分画像群に割り振られた総情報量を上記画像グループの画像毎の情報量に基づいて画像群毎に割り振られた情報量を各画像に配分する配分ステップとを備えることを特徴とする請求項８に記載の記録媒体。

Images