JP2004222142A - 映像信号の圧縮方法および復号方法 - Google Patents

Abstract

【課題】予測符号化を行わなくても、十分な圧縮を行うことが可能であると共に、復号時には、元の映像信号を完全に復号することが可能な可逆圧縮方式の映像信号の圧縮方法および復号方法を提供する。
【解決手段】静止画像フレームを時系列に配列したフレーム群として構成される映像信号を、完全に再現できるように圧縮するにあたり、フレームの各色プレーン間の相関演算、時系列に隣接するフレーム間の同一色プレーン同士の相関演算、各フレーム同一プレーンの画素値の変動が少ない信号平坦部の処理を順次行う。特に信号平坦部の処理として、各プレーンから画素値の変動が２ビット数以下に納まる矩形領域▲４▼を信号平坦部として抽出し（ｂ）、この信号平坦部を、矩形領域の左上（ｘ７，ｙ７）、右下（ｘ８，ｙ８）、矩形領域内の画素平均値、２ビット以下に納まる各画素の画素平均値との差分値で表現して信号平坦部データとして符号化する（ｃ）。
【選択図】 図５

Description

【０００１】
【産業上の利用分野】
本発明は、映像制作、映像データの素材保管、ロケ素材の中継など映像制作分野、特にＮＴＳＣ以上の品質の高い高精細映像制作を行う分野、ＤＶＤ等のデジタル記録媒体を用いた映像記録再生装置分野、遠隔医療における医用動画像の伝送等、データの改変が嫌われる分野等において好適なデータの可逆圧縮技術に関する。
【０００２】
【従来の技術】
従来より、映像信号の圧縮には様々な手法が用いられている。映像信号を圧縮して符号化する手法として、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などが実用化されている。このような圧縮符号化方式により、映像信号を小さいデータとして扱うことが可能となり、データの記録・伝送の効率化に貢献している。
【０００３】
上述のようなＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等はいずれもロッシー符号化方式といわれるものであり、効率的な圧縮が可能であるが、復号化にあたって、少なからず品質の劣化を伴い、原信号を完全に再現することはできない。そのため、映像制作、素材保管、ロケ素材の中継など映像制作分野では、これらの符号化方式を適用できず、非効率ではあるが、非圧縮で保存・伝送する方式がとられている。特に最近は高精細ＨＤＴＶ映像を扱うプロダクションが増え、素材容量が膨大になり、ワークディスクを管理する上で問題になっていた。
【０００４】
このような問題を解決するため、本出願人は、映像信号の各画像を構成する画素データに対して、三原色プレーン間、動画フレーム間における相関演算を行って、各画素データの値を小さくした後、予測符号化を利用してデータの圧縮を行う手法について提案している（特許文献１参照）。
【０００５】
【特許文献１】
特願２００２−２６５７２９号
【０００６】
【発明が解決しようとする課題】
しかしながら、上記出願で提案した手法では、三原色プレーン間、動画フレーム間における相関演算を行った後、予測誤差符号化を用いることにより大きな効果を発揮している。映像信号が複数の色信号で構成されるカラー映像信号である場合、色信号間相関がみられるのは局所的であるため、フレーム全体に対して差分処理を行うと、信号振幅が増大する箇所が発生し、その後に行う予測誤差を用いた符号化により、かえってデータ量が増えてしまうことがある。また、特に動きの速いシーンにおいて、フレーム間の差分処理を行うと、信号振幅が増大する箇所が発生し、その後に行う予測誤差を用いた符号化により、かえってデータ量が増えてしまうことがある。映像信号において、色信号間相関およびフレーム間相関が高い場合には、差分処理により信号の振幅が減少するが、予測不可能な雑音成分の割合が増大し、その後に行う予測誤差を用いた符号化によりかえってデータ量が増えてしまうことがある。また、各フレームの各プレーン上において、画素値が同一の画素が連続する部分を信号平坦部として分離し、データ量を削減するようにしているが、画素値が同一の画素が連続する映像素材はあまり多くないため、汎用的に利用できるものとなっていない。
【０００７】
上記のような点に鑑み、本発明は、予測符号化を行わなくても、十分な圧縮を行うことが可能であると共に、復号時には、元の映像信号を完全に復号することが可能な可逆圧縮方式の映像信号の圧縮方法および復号方法を提供することを課題とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明では、静止画像であるフレームを時系列に配列したフレーム群として構成される映像信号を、完全に再現できるように情報量を圧縮する方法として、前記フレームの各色別の画素情報の集合であるプレーン間の相関演算を行う色信号間演算段階、時系列に隣接するフレーム間の同一色プレーン同士の相関演算を行うフレーム間演算段階、各フレームにおいて、フレーム内の画素値の変動が少ない信号平坦部の処理を行う信号平坦部処理段階を有し、前記信号平坦部処理段階は、前記各フレームの各色プレーンに対して、画素値の変動が設定ビット数以下に納まる矩形領域を信号平坦部として抽出し、当該信号平坦部を、矩形領域の位置情報、および矩形領域内の画素平均値、および前記設定ビット数で設定された各画素の前記画素平均値との差分値で表現して信号平坦部データとして符号化するようにしたことを特徴とする。
【０００９】
本発明によれば、各色信号間の演算、各フレーム間の演算を行った後、各フレームにおいて、画素値の変動が少ない信号平坦部を矩形領域で抽出し、抽出した矩形領域の各画素の情報を、矩形領域内の平均値との差分で記録するようにしたので、各画素を少ないビット数で記録することができ、画素値の変動の少ない部分を効率的に圧縮符号化することが可能となる。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して詳細に説明する。
（デジタル映像信号の構造）
まず、本発明に係る映像信号の圧縮方法において可逆圧縮対象とするデジタル映像信号について説明しておく。本実施形態では、映像信号として三原色の色信号から構成されるカラー映像信号を適用した場合を例にとって説明していく。図１は、本発明において扱うデジタル映像信号を模式化して示した図である。図１において、左右方向は時系列方向であり、右側に行く程、時間が進むことになる。図１に示した映像信号は１フレームが光の三原色であるＲ・Ｇ・Ｂの３プレーンで構成されている。
【００１１】
図１に示したようなデジタル映像信号を得るには、まず、映像をＴＶカメラ等で撮影してデジタル化する。これにより、デジタル映像信号が得られる。このようなデジタル映像信号は、１秒間に複数フレーム（静止画像）を有し、各フレームがＲ、Ｇ、Ｂの３色の輝度値を有するものとなっている。なお、本実施形態では、１秒間に３０フレーム、各画素の各色に８ビットが割り当てられているものとして説明する。例えば、１０秒間に渡って記録したデジタル映像信号は、その３００フレーム、９００プレーンで構成されるフレーム群となる。
【００１２】
（本発明の圧縮方法）
続いて、本発明に係る映像信号の圧縮方法の概要について説明する。本発明の圧縮方法は、コンピュータ、およびコンピュータに搭載される専用のソフトウェアプログラムにより実行される。図２は、本発明に係る映像信号の圧縮方法の概要を示すフローチャートである。まず、図１に示したようなデジタル映像信号を、圧縮するための装置（専用のソフトウェアを搭載したコンピュータ等）に読み込ませる。すると、圧縮用の装置が処理を開始する。まず、デジタル映像信号の各フレームの各プレーンについて、色信号間の相関演算処理を行う（ステップＳ１）。相関演算としては、両プレーンに相関があることを求めることができれば、どのような手法でも良いが、本実施形態では、差分演算を行っている。具体的には、まず、Ｇプレーンを基準プレーンとし、ＲプレーンおよびＢプレーンを非基準プレーンとして、基準プレーンと非基準プレーンの同一座標の画素値の差分演算を行う。ここでは、ＧプレーンとＲプレーンの差分演算、ＧプレーンとＢプレーンの差分演算を行うことになる。その結果、差分が所定の閾値以下となるＲプレーン、Ｂプレーンの差分データを色信号間差分データとして別途記録する。ここで、Ｇプレーンを基準プレーンとするのは、輝度信号はＧを主体としており、Ｒ−Ｇ、Ｂ−Ｇの色差信号の空間分解能はＧ信号に対して１／２程度になるためである。すなわち、Ｒ、Ｂの２プレーンを差分信号にすると、隣接画素間の輝度差が小さくなり、圧縮に適したデータとなる。
【００１３】
なお、本実施形態では、所定の閾値として、下位２ビット以内を設定している。下位２ビット以内とは、正負の符号付きで表現した場合、１０進数で−２〜＋１の値となる。差分演算の結果、画素値が−２〜＋１の値をとる領域については、色信号間差分データとして記録されることになる。また、画素の差分値が前記設定ビット（本例では２ビット）以下に納まる画素の位置情報を全て色信号差分データとして記録すると、画素の位置情報を記録するためのデータ量が増えてしまう。画素の位置情報を効率的に記録するためには、ある矩形領域の左上端と右下端、もしくは右上端と左下端といったように２点で記録することが好ましい。そのため、ここでは、あらかじめ８画素×８画素の単位領域を設定し、この単位領域内の全ての差分値が設定ビット以内に納まる場合に、その領域を色信号差分データとして抽出する矩形領域の候補とする。そして、色信号差分データとする矩形領域の候補が隣接してより大きな矩形を構成する場合は、その矩形領域を色信号差分データとして抽出する。
【００１４】
ここで、色信号間差分演算の処理の様子を図３を用いて説明する。例えば、プレーン間において、単位領域ごとに差分演算を行った結果、単位領域内の全ての差分値が−２〜＋１に納まる単位領域として、図３（ａ）に示すように、単位領域Ｒ１、Ｒ２、Ｒ３が検出されたとする。この場合、これらは、色信号差分データを作成する候補となる。このうち、単位領域Ｒ１とＲ２は、隣接しているので、図３（ｂ）に示すように、１６画素×８画素の、より大きな矩形領域▲１▼が形成される。単位領域Ｒ３は、隣接する候補がないため、そのまま矩形領域▲２▼として色信号差分データを作成する。
【００１５】
色信号差分データの作成は、各画素を差分値として記録し、しかも各画素は、差分値が納まる必要最小限の２ビットで記録していくことにより行われる。作成された色信号差分データの一例を図３（ｃ）に示す。本実施形態では、色信号差分データは、矩形領域の左上のｘｙ座標、右下のｘｙ座標、各画素の差分値で構成されている。なお、図３（ｃ）において３行目の「ビット数」は各項目の情報を記録するために必要なビット数である。矩形領域の左上のｘｙ座標、右下のｘｙ座標は、非基準プレーン上において矩形領域の位置を特定するために必要な位置情報であり、それぞれ１６ビット割り当てている。ここで、色信号間演算前の、非基準プレーン上の元の領域▲１▼、▲２▼のデータの様子を図３（ｄ）に示す。図３（ｄ）に示すように、元の画像データには、矩形領域の座標は記録されておらず、各画素の値が０〜２５５の範囲で記録されている。領域▲１▼、▲２▼について、元の画素データと色信号差分データのデータ量を比較すると、領域▲１▼については、１０２４ビットから２８８ビットに削減され、領域▲２▼については、５１２ビットから１６０ビットに削減されていることがわかる。これは、元の映像信号の１画素では１色あたり８ビット必要なのに対して、色信号差分データでは、１色あたり２ビットで済むためである。色信号差分データとする矩形領域に含まれる画素数が多くなるほど、データ量を削減できることになる。
【００１６】
なお、復号時に色信号差分データを元のフレームの元のプレーンに復元するためには、領域▲１▼、領域▲２▼がどのフレームのどのプレーンであるかを示す情報も必要となる。このような情報は、色信号差分データとして持っていても良いし、圧縮データのヘッダー等に付与するようにしても良い。いずれにしてもフレーム番号とプレーンの種類を特定する情報をもつだけであるので、わずか数ビットの追加で済む。
【００１７】
また、色信号間差分データにおいて同一の値が、さらに小さな矩形領域として複数画素連続する場合は、連続する部分の左端の座標と、右端の座標と、画素値を記録することによりデータ量をさらに削減する処理を行う。各フレームのＲプレーン、Ｂプレーンにおいて、色信号間差分データとして分離された領域は、マスク領域としてマスクされることになる。例えば、図３（ｂ）の例では、非基準プレーン上の領域▲１▼、領域▲２▼がマスク領域となる。このマスク領域上の画素は後の処理において、その利用が制限されることになる。なお、入力されるデジタル映像信号がＹ・Ｐｂ・Ｐｒのように、輝度信号であるＹ信号と、色差信号であるＰｂ、Ｐｒの形式で入力される場合は、ステップＳ１による処理を行わず、直接ステップＳ２における処理を行う。
【００１８】
次に、色信号間演算されたデジタル映像信号に対して、時間的に隣接するフレーム間の相関演算を行う（ステップＳ２）。ここでも相関演算としては、連続するフレームの同一色プレーン同士に相関があることを求めることができれば、どのような手法でも良いが、本実施形態では、差分演算を行っている。具体的には、まず、隣接するフレーム間の同一色プレーン同士で同一座標の画素同士の差分演算を行う。その結果、差分が所定の閾値以下となる差分データをフレーム間差分データとして別途記録する。所定の閾値としては、上記ステップＳ１における色信号間演算の場合と同様に、下位２ビット以内を設定している。また、画素の差分演算の単位も上記ステップＳ１と同様に、８画素×８画素の単位領域ごとに行う。フレーム間差分データが記録された場合、後続するフレームのその領域はマスク領域としてマスクされることになる。なお、隣接するフレーム間とは、例えば、図１の例ではフレームＦ１とフレームＦ２のことであり、フレームＦ２が後続するフレームとなる。フレームＦ１とフレームＦ２間で相関演算を行う場合、フレームＦ１のＧプレーンとフレームＦ２のＧプレーン、フレームＦ１のＢプレーンとフレームＦ２のＢプレーン、フレームＦ１のＲプレーンとフレームＦ２のＲプレーンの３つの相関演算が行われる。
【００１９】
ここで、フレーム間差分演算の処理の様子を図４を用いて説明する。例えば、隣接するフレーム間の同一色プレーン同士で、単位領域ごとに差分演算を行った結果、単位領域内の全ての差分値が−２〜＋１に納まる単位領域として、図４（ａ）に示すように、単位領域Ｒ４、Ｒ５が検出されたとする。この場合、これらは、フレーム間差分データを作成する候補となる。単位領域Ｒ４とＲ５は、隣接しているので、図４（ｂ）に示すように、８画素×１６画素の、より大きな矩形領域▲３▼が形成される。なお、図４の例では、矩形領域は１つだけしか形成されていないが、複数箇所形成される可能性があることは当然である。
【００２０】
フレーム間差分データの作成は、各画素を差分値として記録し、しかも各画素は、差分値が納まる必要最小限の２ビットで記録していくことにより行われる。作成されたフレーム間差分データの一例を図４（ｃ）に示す。本実施形態では、フレーム間差分データは、矩形領域の左上のｘｙ座標、右下のｘｙ座標、各画素の差分値で構成されている。なお、図４（ｃ）において２行目の「ビット数」は各項目の情報を記録するために必要なビット数である。矩形領域の左上のｘｙ座標、右下のｘｙ座標は、後続フレームのプレーン上において矩形領域の位置を特定するために必要な位置情報であり、それぞれ１６ビット割り当てている。ここで、フレーム間演算前の、後続フレームのプレーン上の元の領域▲３▼のデータの様子を図４（ｄ）に示す。図４（ｄ）に示すように、元の画像データには、矩形領域の座標は記録されておらず、各画素の値が０〜２５５の範囲で記録されている。領域▲３▼について、元の画素データとフレーム間差分データのデータ量を比較すると、１０２４ビットから２８８ビットに削減されていることがわかる。これは、元の映像信号の１画素では１色あたり８ビット必要なのに対して、フレーム間差分データでは、１色あたり２ビットで済むためである。フレーム間差分データとする矩形領域に含まれる画素数が多くなるほど、データ量を削減できることになる。
【００２１】
なお、復号時にフレーム間差分データを元のフレームの元のプレーンに復元するために、領域▲３▼がどのフレームのどのプレーンであるかを示す情報も必要となるのは、色信号間差分データの場合と同様である。
【００２２】
このように、隣接する両フレーム間において、画素の差分演算を行うと、動きが早い部分については、当然画素値の差分が大きくなる。例えば、ある風景の中の特定の位置で物体が激しく動いているシーンなどでは、物体が存在する位置では、相関が低いことがあらかじめわかっているので、相関演算の処理を行うだけ無駄になる。このような場合、動きの速い部分だけをフレーム間演算の非適用領域として設定しておき、その他の領域についてのみフレーム間演算を行うようにすれば良い。そのため、本発明では、画像のフレームを表示手段などに表示させ、非適用領域のフレーム上の位置と、フレーム番号（時刻）をあらかじめ利用者に設定させるようにしている。このように、非適用領域が設定されたフレームについては、非適用領域を除いた領域について相関演算を行う。
【００２３】
続いて、信号平坦部の処理を行う（ステップＳ３）。信号平坦部とは、本来は信号レベルが均一な値になっている箇所をいう。コンピュータグラフィックス映像等を除き、均一な値として信号レベルの最小値「０」または信号レベルの最大値（例えば２５５）が通常候補になる。実写映像では、一般にこのような箇所はまれであるが、照明が全暗になりＡ／Ｄ変換器入力が零校正レベル以下であったり（カメラの校正により全暗時にはカメラ信号出力が負値になる場合もある）、映像が逆光照明になってＡ／Ｄ変換器が飽和したりすると、このような箇所が生じる。信号レベルが「０」および信号レベルが最大値のいずれであっても、信号平坦部は、同一の信号レベルが所定の領域（所定の画素数）連続して記録される。このため、この部分は圧縮し易いデータになっている。本実施形態では、信号平坦部の定義を、信号レベルが同一の値が連続する部分だけでなく、信号レベルの変化が少ない部分も含むものとする。すなわち、ステップＳ３においては、隣接する画素との値の差が所定の閾値以下である画素が連続する部分を、信号平坦部データとして別途記録することになる。所定の閾値としては、上記ステップＳ１、ステップＳ２の場合と同様に、下位２ビット以内を設定している。また、画素の差分演算の単位も上記ステップＳ１、ステップＳ２と同様に、８画素×８画素の単位領域ごとに行う。具体的には、ここでは、単位領域内の全画素の平均値を算出し、その単位領域内の全画素の値が平均値と２ビット以内の差である場合に、信号平坦部として抽出する候補とする。信号平坦部データが記録された場合、後続するフレームのその領域はマスク領域としてマスクされることになる。
【００２４】
ここで、信号平坦部処理の様子を図５を用いて説明する。例えば、各フレームの各プレーンにおいて、単位領域ごとに画素の平均値、平均値との各画素の差分を算出した結果、単位領域内の画素平均値との差分値が全て−２〜＋１に納まる単位領域として、図５（ａ）に示すように、単位領域Ｒ６、Ｒ７、Ｒ８が検出されたとする。この場合、これらは、信号平坦部データを作成する候補となる。単位領域Ｒ６、Ｒ７、Ｒ８は隣接しているので、図５（ｂ）に示すように、８画素×２４画素の、より大きな矩形領域▲４▼が形成される。なお、図５の例では、矩形領域は１つだけしか形成されていないが、複数箇所形成される可能性があることは当然である。
【００２５】
信号平坦部データの作成は、矩形領域内の画素の平均値を記録すると共に、各画素を平均値の差分値として記録し、しかも各画素は、差分値が納まる必要最小限の２ビットで記録していくことにより行われる。作成された信号平坦部データの一例を図５（ｃ）に示す。本実施形態では、信号平坦部データは、矩形領域の左上のｘｙ座標、右下のｘｙ座標、各画素の差分値で構成されている。なお、図５（ｃ）において２行目の「ビット数」は各項目の情報を記録するために必要なビット数である。矩形領域の左上のｘｙ座標、右下のｘｙ座標は、各プレーン上において矩形領域の位置を特定するために必要な位置情報であり、それぞれ１６ビット割り当てている。ここで、信号平坦部処理前の、プレーン上の元の領域▲４▼のデータの様子を図５（ｄ）に示す。図５（ｄ）に示すように、元の画像データには、矩形領域の座標は記録されておらず、各画素の値が０〜２５５の範囲で記録されている。図５に示すように、領域▲４▼の平均値が「１２５」であった場合、画素値が「１２６」の画素は、差分「１」で表現されることになる。領域▲４▼について、元の画素データと信号平坦部データのデータ量を比較すると、１５３６ビットから４２４ビットに削減されていることがわかる。これは、元の映像信号の１画素では１色あたり８ビット必要なのに対して、信号平坦部データでは、１色あたり２ビットで済むためである。信号平坦部データとする矩形領域に含まれる画素数が多くなるほど、データ量を削減できることになる。
【００２６】
なお、復号時に信号平坦部データを元のフレームの元のプレーンに復元するために、領域▲４▼がどのフレームのどのプレーンであるかを示す情報も必要となるのは、色信号間差分データ、フレーム間差分データの場合と同様である。
【００２７】
以上のようにして、デジタル映像信号のフレーム群から色信号差分データ、フレーム間差分データ、信号平坦部データが分離され、分離された各データの画素は１画素当り２ビットという少ないビット数で記録される。上記各データの分離により残ったフレーム群の各プレーンの画素データは、マスク領域を除いて８ビットで記録される。
【００２８】
（追加処理）
以上の処理で終了しても本発明による圧縮効果は十分にあるが、さらにデータ量を削減するため、上記特許文献１に記載した手法でもあるステップＳ４以降の処理を追加して行うようにしても良い。以下、フレーム群の各フレーム各プレーンにおいてマスクされていない領域（非マスク領域）に対して、圧縮を行う手順について説明する。まず、フレーム群の全フレーム全プレーンにおける非マスク領域の全画素について、各画素データの上位ビットと下位ビットの分離を行う（ステップＳ４）。本実施形態では、撮影映像をデジタル化する際に、各色について量子化ビット数８で量子化している。そのため、デジタルデータは各プレーンの各画素について８ビットが割り当てられている。この場合、本実施形態では、上位ビット６ビットと、下位ビット２ビットに分離する。この分離は、基本的に、Ａ／Ｄ変換機等、映像信号をデジタル化する際に用いる回路の熱雑音等に起因する量子化雑音（アナログからデジタル数値に変換する際の端数のゆらぎ成分）を分離するために行う。そのため、量子化雑音であると考えられる下位ビットを分離するのである。下位ビットとして、どの程度分離するかは、撮影環境や利用した回路の特性によっても変化するが、通常量子化ビット数の１／４程度とすることが望ましい。したがって、ここでは、８ビットの１／４にあたる２ビットを下位ビットとして分離しているのである。
【００２９】
ここで、上位ビットと下位ビットのデータ分離の様子を図６に模式的に示す。図６において、Ｈは上位ビットデータを示し、Ｌは下位ビットデータを示す。図６（ａ）は分離前の画素データである。ステップＳ４における処理により、各画素データは、図６（ｂ）に示す上位ビットデータと図６（ｃ）に示す下位ビットデータに分離されることになる。このようにして分離された画素データは、以降別々に処理されることになる。
【００３０】
上位ビットデータに対しては、まず、近傍の２つの画素を基に各画素の予測値と予測誤差の算出を行う（ステップＳ５）。ここで、予測誤差の算出手法について、図７を用いて説明する。ここでは、走査線方向（ｘ軸方向）に予測を行う場合を想定して、上位ビット値が図７（ａ）に示すような状態である場合を考えてみる。図７（ａ）において、横軸はプレーン上のｘ軸座標、縦軸は上位ビット値Ｇ（ｘ）である。また、各座標値における線分は、各座標における画素の上位ビット値Ｇ（ｘ）の値を示している。このような状態で、座標（ｘ，ｙ）の画素における予測誤差Ｅ（ｘ）を算出する場合、直前の画素ｘ−１における上位ビット値Ｇ（ｘ−１）および２つ前の画素ｘ−２における上位ビット値Ｇ（ｘ−２）を利用して以下の〔数式１〕により算出する。
【００３１】
〔数式１〕
Ｅ（ｘ）＝Ｇ（ｘ）−２×Ｇ（ｘ−１）＋Ｇ（ｘ−２）−Ｅ（ｘ−１）／２
【００３２】
上記〔数式１〕において、「２×Ｇ（ｘ−１）−Ｇ（ｘ−２）」は直前の２つの画素の上位ビット値に基づく線形予測成分である。すなわち、算出された線形予測成分、および、直前の画素において算出された予測誤差「Ｅ（ｘ−１）／２」（誤差フィードバック成分）を用いて座標ｘにおける予測誤差Ｅ（ｘ）を算出することになる。全画素について、予測誤差の算出を行い、画素データの上位ビット値の代わりに予測誤差が記録される。
【００３３】
これを図７（ａ）に示した画素データの上位ビット値を基に説明する。まず、誤差フィードバック成分を加えない状態で各予測誤差Ｅｏ（ｘ）を算出する。図７（ｂ）に示すように、画素ｘの予測誤差Ｅｏ（ｘ）を算出する場合、直前の画素ｘ−１における上位ビット値Ｇ（ｘ−１）および２つ前の画素ｘ−２における上位ビット値Ｇ（ｘ−２）を結ぶ予測線が座標ｘでとる値と、座標ｘにおける上位ビット値Ｇ（ｘ）の差分（図中太点線で示す）に基づいて予測誤差Ｅｏ（ｘ）が算出される。画素ｘ＋１以降も同様に行って予測誤差Ｅｏ（ｘ＋１）を算出する。算出された予測誤差Ｅｏ（ｘ）は、図７（ｃ）に示すようになる。図７（ａ）と図７（ｃ）を比較するとわかるように値が変動する範囲が大きく狭まり、データ圧縮に都合が良くなる。
【００３４】
続いて、〔数式１〕に基づいて予測誤差Ｅｏ（ｘ）に対して直前の画素ｘ−１における補正が加わった予測誤差Ｅ（ｘ−１）の５０％を減算させて、誤差フィードバック処理を加えた結果が図７（ｄ）である。図７（ｃ）と比べると、画素ｘ＋１およびｘ＋２における予測誤差の低減が顕著である。逆に画素ｘ＋３およびｘ＋４では予測誤差が増大しているが、平均的には予測誤差が低減し、図７（ａ）と比較すると値が変動する範囲が更に狭まり、データ圧縮効果が向上する。
【００３５】
上記のようにして予測誤差の算出が行われるが、図７の例では、画像のｘ軸方向すなわち走査線方向に従って予測を行った。本発明では、予測精度をさらに高めるため、複数の方向のうち、予測誤差の算出に最も適した方向を選定する処理を行っている。ここでは、図８（ａ）に示すような走査線方向、副走査線方向、対角線方向の３方向のうち、いずれが最適であるかを選定することになる。具体的には、画素（ｘ，ｙ）の予測誤差を求めるための方向を決定する場合、まず、走査線方向の直前の画素（ｘ−１，ｙ）のさらに直前の２画素による予測誤差Ｅｈ（ｘ−１，ｙ）、副走査線方向の直前の画素（ｘ，ｙ−１）のさらに直前の２画素による予測誤差Ｅｖ（ｘ，ｙ−１）、対角線方向の直前の画素（ｘ−１，ｙ−１）のさらに直前の２画素による予測誤差Ｅｄ（ｘ−１，ｙ−１）を求める。なお、走査線方向の予測誤差Ｅｈ（ｘ，ｙ）、副走査線方向の予測誤差Ｅｖ（ｘ，ｙ）、対角線方向の予測誤差Ｅｄ（ｘ，ｙ）はそれぞれ以下の〔数式２〕〜〔数式４〕で算出される。
【００３６】
〔数式２〕
Ｅｈ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）−２×Ｇ（ｘ−１，ｙ）＋Ｇ（ｘ−２，ｙ）−Ｅ（ｘ−１，ｙ）／２
【００３７】
〔数式３〕
Ｅｖ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）−２×Ｇ（ｘ，ｙ−１）＋Ｇ（ｘ，ｙ−２）−Ｅ（ｘ，ｙ−１）／２
【００３８】
〔数式４〕
Ｅｄ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）−２×Ｇ（ｘ−１，ｙ−１）＋Ｇ（ｘ−２，ｙ−２）−Ｅ（ｘ−１，ｙ−１）／２
【００３９】
そして、予測誤差が最小となる画素の方向を画素（ｘ，ｙ）の予測方向とする。例えば、Ｅｈ（ｘ−１，ｙ）、Ｅｖ（ｘ，ｙ−１）、Ｅｄ（ｘ−１，ｙ−１）のうち、Ｅｖ（ｘ，ｙ−１）が最小であった場合、副走査線方向について予測誤差を求めることになる。すなわち、画素（ｘ，ｙ）の予測誤差は、上記〔数式３〕に従って画素（ｘ，ｙ−１）、画素（ｘ，ｙ−２）の値を利用して、Ｅｖ（ｘ，ｙ）として算出される。同様にして全フレーム、全プレーンの全画素について、同様の処理を行って各画素の値を予測誤差値に置き換えていく。
【００４０】
なお、プレーン上の各画素データの中には、上記ステップＳ１の色信号間演算、ステップＳ２のフレーム間演算、ステップＳ３の信号平坦部処理においてマスクされたマスク領域が存在する。このマスク領域上の各画素については、予測誤差の算出は行わないが、マスク領域に属さない画素の予測誤差の算出のために利用される。例えば、図８（ｂ）に示すようなプレーンにおいて、マスク領域に属さない画素Ａの予測誤差を求めるにあたって、対角線方向が最適であると判断されたとする。この場合、マスク領域に属する画素Ｂ、画素Ｃの画素データ（上位ビット）および予測誤差が必要になる。このような場合、画素Ｂ、画素Ｃの基のデータを利用して画素Ａの予測誤差の算出を行う。
【００４１】
上記ステップＳ５の処理により、各画素の上位ビットが元の値から予測誤差値に置き換えられることになるが、各画素のビット構成は固定長６ビットのままである。ここからは、予測誤差値で記録された上位ビットデータをより少ないデータ量で表現するために、固定長の上位ビットを可変長のビット構成に変換していく。そのために、まず、ビット構成の変換に利用するルックアップテーブルの作成を行う（ステップＳ６）。具体的には、残っている全てのフレーム、全てのプレーンについて、各画素データのヒストグラムを算出する。予測誤差に置きかえられたことにより、画素データは正負の値をとるが、ここでは、その絶対値ごとにヒストグラムを算出する。その結果、出現頻度の高い画素値から順に、少ないビット数のビットパターンを割り当てていく。この際、割り当てるビットパターンには規則が有り、最上位ビットは必ず「１」とし、「０１」のビットパターンを含むビットパターンは禁止する。したがって、ビットパターンの最小値は１ビットの「１」となる。図９（ｃ）に作成されたルックアップテーブルの一例を示す。
【００４２】
上記のようにして作成されたルックアップテーブルを用いて、６ビット固定長の連続する上位ビットデータを、可変長のビットパターンに変換していく（ステップＳ７）。可変長になるため、変換後の各データの区切りを区別する必要が生じる。そのため、本実施形態では、各データ間に１ビットのセパレータビット「０」を挿入する。なお、ルックアップテーブルにおいて、「０１」を含むビットパターンを禁止するのは、セパレータビット「０」とそれに続くビットデータの最上位ビット「１」で構成される「０１」パターンでデータ間の区切りを判断するようにしているためで、ビットデータ中に「０１」パターンが存在すると区切りと誤判断してしまうためである。また、ルックアップテーブルにおいては、上位固定長ビットデータがとる値の絶対値で変換するため、正負の値を記録する必要が生じる。このため、ビットデータと重複しない値をもつ正負反転データを挿入する。例えば、正負反転データ以前の可変長ビットが正である場合は、それ以降の可変長ビットは負であるとして認識されることになる。図９（ａ）（ｂ）に、ステップＳ７によるデータ変換の様子を模式的に示す。図９（ａ）（ｂ）はいずれも画素データの上位ビット部分に対応しており、図９（ａ）は固定長の上位ビットデータが連続して記録されている様子を示している。図９（ａ）に示したような上位ビットデータは、図９（ｃ）に示したルックアップテーブルを用いて図９（ｂ）に示すように変換されることになる。
【００４３】
一方、下位ビットデータは、そのまま連続に配置される。具体的には、上記ステップＳ４において分離された下位２ビットのデータが連続に配置されていくことになる。
【００４４】
（符号データの記録）
以上のようにして得られた符号データは、図１０に示すようになる。すなわち、上位可変長ビットデータ、ルックアップテーブル、下位固定長ビットデータ、信号平坦部データ、フレーム間差分データ、色信号間差分データとなる。これらのデータを記録すべき記録媒体に合わせたフォーマットで記録する。なお、上記ステップＳ１からステップＳ３までで処理を終えた場合は、フレーム群（固定長ビットデータ）、信号平坦部データ、フレーム間差分データ、色信号間差分データが符号データとして記録される。
【００４５】
（復号方法）
次に、上記圧縮方法により圧縮された符号データを復号解凍する方法について説明する。復号は、コンピュータ、およびコンピュータに搭載される専用のソフトウェアプログラムにより実行される。復号方法の概要を図１１のフローチャートに示す。
【００４６】
まず、図１０に示したような符号データを記録した記録媒体を、復号するための装置（専用のソフトウェアを搭載したコンピュータ）に読み込ませる。続いて、読み込んだデータのうち、ルックアップテーブルを参照することにより、上位可変長ビットデータから固定長の上位固定長ビットデータすなわち線形予測誤差Ｅ（ｘ，ｙ）を復元していく（ステップＳ１１）。これにより、図９（ａ）に示したような上位固定長ビットデータが復元される。次に、上記〔数式１〕の左辺の項と右辺第１項を交換した式に基づいて、６ビット固定長の上位ビットデータＧ（ｘ，ｙ）を順次復元していく（ステップＳ１２）。ステップＳ１２においては、その処理の前後共に、各上位ビットデータは６ビット固定長のままであるが、その値が変化することになる。続いて、復元した上位固定長ビットデータと、読み込んだ下位固定長ビットデータを統合する（ステップＳ１３）。具体的には、上位ビットデータから６ビットを抽出し、下位ビットデータから２ビットを抽出して順次統合する処理を行う。
【００４７】
この時点で、各プレーンの画素データは、各画素が８ビットで表現された形式となっている。上記ステップＳ１１〜ステップＳ１３の処理は、圧縮符号化時に、ステップＳ４〜ステップＳ７の処理を行った場合にのみ行われる。そのため、ステップＳ１〜ステップＳ３までの処理しか行っていない場合には、符号データの記録媒体を読み込んだ後、以下の処理から行う。
【００４８】
上記のように、８ビット固定長の画素データで構成される各プレーンに対して信号平坦部データを挿入する（ステップＳ１４）。信号平坦部データの挿入は、プレーン上の信号平坦部データに対応したマスク領域に、信号平坦部データの各画素を割り当てていくことにより行う。この時点で、デジタル映像信号の各フレームの各プレーンは図５（ｂ）に示したような矩形領域がマスクされた状態から元に戻ることになる。
【００４９】
次に、フレーム間差分データを利用して元のフレーム間相関部を復元する（ステップＳ１５）。具体的には、フレーム間差分データの各画素の差分値と、直前のフレームの同一プレーン同一位置の画素値との和を求めることにより、元のプレーンの画素値を復元する。この時点でデジタル映像信号の各フレームの各プレーンは図４（ｂ）に示したような矩形領域がマスクされた状態から元に戻ることになる。
【００５０】
次に、色信号間差分データを利用して非基準プレーンの色信号相関部を復元する（ステップＳ１６）。具体的には、各フレームごとに、基準プレーンであるＧプレーンと、Ｂ−Ｇの色信号間差分データを用いてＢプレーンを復元し、Ｇプレーンと、Ｒ−Ｇの色信号間差分データを用いてＲプレーンを復元する。ステップＳ１６の処理の結果、デジタル映像信号の各フレームの非基準プレーンは図３（ｂ）に示したような矩形領域がマスクされた状態から元に戻ることになる。以上のようにして、図１に示したような、各フレームの各画素が２４ビット（各プレーンは８ビット）で、全ての画素の欠落がないデジタル映像信号が復元されることになる。なお、上述のように、元のデジタル映像信号が、Ｙ・Ｐｂ・Ｐｒのように、輝度信号であるＹ信号と、色差信号であるＰｂ、Ｐｒの形式で入力される場合は、ステップＳ１６の処理は行う必要がなく、ステップＳ１５の処理を終えた段階で、元のデジタル映像信号が復元されることになる。以上のようにして、アナログ信号をデジタル化した状態のデジタル映像信号がデータの欠落無く復元される。
【００５１】
【発明の効果】
以上、説明したように本発明によれば、静止画像であるフレームを時系列に配列したフレーム群として構成される映像信号を、完全に再現できるように情報量を圧縮するにあたり、フレームの各色別の画素情報の集合であるプレーン間の相関演算を行い、時系列に隣接するフレーム間の相関演算を行い、各フレームに対して、画素データの変動が設定ビット数以下に納まる矩形領域を信号平坦部として検出し、その信号平坦部を、矩形領域の位置情報、および矩形領域内の画素平均値、および前記設定ビット数で設定された各画素の前記画素平均値との差分値で表現した信号平坦部データとして符号化するようにしたので、各画素を少ないビット数で記録することができ、画素値の変動の少ない部分を効率的に圧縮符号化することが可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の映像信号の圧縮方法で圧縮対象とするデジタル映像信号の構造を示す模式図である。
【図２】本発明に係る映像信号の圧縮方法の概要を示すフローチャートである。
【図３】色信号間演算の様子を示す図である。
【図４】フレーム間演算の様子を示す図である。
【図５】信号平坦部処理の様子を示す図である。
【図６】各画素の各色を構成するビットデータの分離の様子を示す図である。
【図７】予測誤差算出処理の様子を示す図である。
【図８】予測誤差算出処理を行う際の各画素の位置関係を示す図である。
【図９】固定ビット長から可変ビット長へのデータ変換の様子を示す図である。
【図１０】本発明に係る映像信号の圧縮方法により得られる符号データを示す図である。
【図１１】本発明に係る映像信号の復号方法の概要を示すフローチャートである。
【符号の説明】
Ｒ１〜Ｒ８・・・単位領域
▲１▼〜▲４▼・・・矩形領域

Claims (13)

1. 静止画像であるフレームを時系列に配列したフレーム群として構成される映像信号に対して、当該映像信号を完全に再現できるように情報量を圧縮する方法であって、
   前記フレームの各色別の画素情報の集合であるプレーン間の相関演算を行う色信号間演算段階と、
   時系列に隣接するフレーム間の同一色プレーン同士の相関演算を行うフレーム間演算段階と、
   各フレームにおいて、フレーム内の画素値の変動が少ない信号平坦部の処理を行う信号平坦部処理段階と、を有し、
   前記信号平坦部処理段階は、
   前記各フレームの各色プレーンに対して、画素値の変動が設定ビット数以下に納まる矩形領域を信号平坦部として抽出し、
   当該信号平坦部を、矩形領域の位置情報、および矩形領域内の画素平均値、および前記設定ビット数で設定された各画素の前記画素平均値との差分値で表現して信号平坦部データとして符号化するものであることを特徴とする映像信号の圧縮方法。
2. 前記フレーム間演算段階は、
   隣接するフレーム間の同一色プレーンの同一位置の画素値の差分演算を行い、差分値が設定ビット数以下に納まる矩形領域の情報を抽出し、
   当該矩形領域の情報を、当該矩形領域の位置情報、および前記設定ビット数で設定された各画素の差分値で表現したフレーム間差分データとして符号化するものであると共に、
   前記後続するフレームのプレーン上における、フレーム間差分データに対応した矩形領域を、後段の処理において利用を制限するマスク領域として設定するものであることを特徴とする請求項１に記載の映像信号の圧縮方法。
3. 前記フレーム間演算段階における両フレームの同一色プレーン同士の差分演算は、あらかじめフレーム上に非適用領域が設定されている場合に、非適用領域を除いた領域に属する画素に対して行うものであることを特徴とする請求項２に記載の映像信号の圧縮方法。
4. 前記色信号間演算段階は、
   同一フレームにおける各色別の画素の集合であるプレーン間において、ある色のプレーンを基準プレーン、基準プレーン以外のプレーンを非基準プレーンとして、基準プレーンと非基準プレーンの同一位置の画素値の差分演算を行い、差分値が設定ビット数以下に納まる矩形領域の情報を抽出し、
   当該矩形領域の情報を、当該矩形領域の位置情報、および前記設定ビット数で設定された各画素の差分値で表現した色信号間差分データとして符号化するものであると共に、
   前記非基準プレーン上における、色信号間差分データに対応した矩形領域を、後段の処理において利用を制限するマスク領域として設定するものであることを特徴とする請求項１から請求項３のいずれかに記載の映像信号の圧縮方法。
5. 前記信号平坦部処理段階の後に、
   前記各フレーム各プレーンの非マスク領域に存在する各画素に対して、同一フレーム同一プレーン上の近傍２画素からの予測誤差を利用して符号化を行うようにした予測符号化段階を有することを特徴とする請求項１から請求項４のいずれかに記載の映像信号の圧縮方法。
6. 前記信号平坦部分離段階と前記予測符号化段階の間に、
   前記各画素データを表現する各ビットデータを所定のビット位置で分断し、画素データの上位ビットで構成される上位ビットデータと、画素データの下位ビットで構成される下位ビットデータとに分離する上下分離段階を有し、
   前記予測符号化段階は、前記上位ビットデータに対して、近傍２画素の上位ビットデータからの予測誤差を基に符号化を行うようにすることを特徴とする請求項５に記載の映像信号の圧縮方法。
7. 前記予測符号化段階は、
   各画素について近傍の２画素を用いて算出した予測誤差を新たな値として各画素の上位ビットデータを更新する予測誤差算出段階と、
   予測誤差値で記録された固定長の各上位ビットデータを可変長のビットデータに変換するビット長変換段階と、
   を有するものであることを特徴とする請求項６に記載の映像信号の圧縮方法。
8. 前記ビット長変換段階は、
   対象ビットデータのヒストグラムに基づいて、変換されたビットデータの最上位ビットが１になるような最小ビット長で記述したルックアップテーブルを作成するルックアップテーブル作成段階と、
   前記対象ビットデータに対して前記ルックアップテーブルを用いて変換を施すと共に、変換後のビットデータ間には所定のビット数の区分ビットデータを挿入するようにビットデータを符号化するビットデータ変換段階と、
   を有することを特徴とする請求項７に記載の映像信号の圧縮方法。
9. 与えられた映像信号に対して、請求項１から請求項８のいずれかに記載の映像信号の圧縮方法により得られたデータ群を記録した記録媒体。
10. 映像信号を圧縮符号化したデータ群を復号して、映像信号の全てのフレーム群を再現する復号方法であって、
    信号平坦部データを基に、フレーム群における各フレーム各プレーンに設定されたマスク領域の画素データを復元する信号平坦部データ復元段階と、
    フレーム間差分データを基に、フレーム群におけるあるフレームの後続フレームの各プレーンに設定されたマスク領域の画素データを復元するフレーム相関部復元段階と、
    色信号間差分データを基に、フレーム群における各フレームの非基準プレーンに設定されたマスク領域の画素データを復元する色信号相関部復元段階と、
    を有することを特徴とする映像信号の復号方法。
11. 前記信号平坦部データ復元段階の前段階として、
    予測誤差で記録された上位ビットデータから、各画素ごとの独立した上位ビットデータに復元したフレーム群を得る段階と、
    前記復元されたフレーム群の各画素を構成するビットデータと、下位ビットデータを統合する段階と、
    を有することを特徴とする請求項１０に記載の映像信号の復号方法。
12. 静止画像であるフレームを時系列に配列したフレーム群として構成される映像信号に対して、当該映像信号を完全に再現できるように情報量を圧縮するためのプログラムであって、
    コンピュータに、
    同一フレームにおける各色別の画素の集合であるプレーン間において、ある色のプレーンを基準プレーン、基準プレーン以外のプレーンを非基準プレーンとして、基準プレーンと非基準プレーンの同一位置の画素値の差分演算を行い、差分値が設定ビット数以下に納まる矩形領域の情報を抽出し、当該矩形領域の情報を、当該矩形領域の位置情報、および前記設定ビット数で設定された各画素の差分値で表現した色信号間差分データとして符号化するものであると共に、前記非基準プレーン上における、色信号間差分データに対応した矩形領域を、後段の処理においてその利用を制限するマスク領域として設定する色信号間演算段階、
    隣接するフレーム間の同一色プレーンの同一位置の画素値の差分演算を行い、差分値が設定ビット数以下に納まる矩形領域の情報を抽出し、当該矩形領域の情報を、当該矩形領域の位置情報、および前記設定ビット数で設定された各画素の差分値で表現したフレーム間差分データとして符号化するものであると共に、前記後続するフレームのプレーン上における、フレーム間差分データに対応した矩形領域を、後段の処理においてその利用を制限するマスク領域として設定するものであるフレーム間演算段階、
    前記各フレームの各色プレーンに対して、画素値の変動が設定ビット数以下に納まる矩形領域を信号平坦部として検出し、当該信号平坦部を、矩形領域の位置情報、および矩形領域内の画素平均値、および前記設定ビット数で設定された各画素の前記画素平均値との差分値で表現して信号平坦部データとして符号化するものである信号平坦部処理段階、
    を実行させるためのプログラム。
13. 映像信号を圧縮符号化したデータ群を復号して、映像信号の全てのフレーム群を再現する復号プログラムであって、
    コンピュータに、
    信号平坦部データを基に、フレーム群における各フレーム各プレーンに設定されたマスク領域の画素データを復元する信号平坦部データ復元段階、
    フレーム間差分データを基に、フレーム群におけるあるフレームの後続フレームの各プレーンに設定されたマスク領域の画素データを復元するフレーム相関部復元段階、
    色信号間差分データを基に、フレーム群における各フレームの非基準プレーンに設定されたマスク領域の画素データを復元する色信号相関部復元段階、
    を実行させるためのプログラム。

Images