JP2005012495A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】入力画像データの特徴を解析して、動的に符号化テーブルを更新して効率のよい符号化処理並びに復号化処理を行えるようにした画像処理装置、画像処理方法並びに画像処理プログラムを提供する。
【解決手段】画像データを記憶するメモリ手段２と、画像データと符号化データとの関係を表す画像データの出現頻度に基づく符号化テーブル４と、符号化テーブルを参照してメモリ手段に記憶された画像データを符号化する符号化手段３と、画像データの時間的又は空間的な特徴を解析する画像データ特徴解析手段５と、該画像データ特徴解析手段５による解析結果に基づいて符号化テーブルを更新する符号化テーブル更新手段６とで画像処理装置を構成する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
この発明は、画像データの符号を適応的に変えて圧縮した符号化データを生成したり、この圧縮された符号化データを復号化するための画像処理装置、画像処理方法及び画像処理プログラムに関する。
【０００２】
【従来の技術】
【特許文献１】特開平８−３１６８４８号公報
【０００３】
一般に、画像データを記録媒体に記録する場合などにおいては、データの圧縮処理がなされている。この圧縮処理の手法には種々の手法があるが、その中の代表的な手法として、例えば特開平８−３１６８４８号公報（特許文献１）に開示されているような、データの出現頻度を利用したハフマン符号化方式がある。この方式においては、出現頻度が高いデータをビット長の短い符号化データとし、逆に出現頻度が低いデータはビット長の長い符号化データとすることにより、統計的にデータの圧縮効率を高めようとしている。このハフマン符号化の際は、リアルタイムに演算して符号化することも可能であるが、通常は予め用意した符号化テーブルを参照する場合が多い。テーブル参照の場合、１つのテーブルを使い続ける方式や複数のテーブルから選択する方式があるが、中でも優れた方式の１つに、符号化対象データの発生頻度を値別に計数した結果を基に符号化テーブルを適宜更新する適応型ハフマン符号化方式がある。これによれば、符号化対象データの発生傾向が変化したとしても、それに応じたテーブルを用意できるため、更なる高効率圧縮が望める。
【０００４】
【発明が解決しようとする課題】
ところで、この符号化方式においては、一定の単位データを処理する毎に符号化テーブルを更新するようにしており、例えばフレーム単位で更新するような場合は、１フレームの画像データに対して１個の符号化テーブルを用いて符号化処理を行っている。しかしながら、このような符号化処理を行った場合、例えば、図３に示すような一様な背景に細かい多数の葉をもつ樹木が撮像された静止画においては、一様な背景部分では空間的な差分が殆ど零なので、空間差分値（符号化対象値）とその発生頻度を示すグラフ図は図４の（Ａ）のようになり、一方樹木部分では差分が大きくなるので、そのグラフ図は図４の（Ｂ）のようになる。
【０００５】
したがって、このような静止画の符号化処理を単一の符号化テーブルを用いて処理すると、一様な背景部分に対しては有効な符号化処理となっても、樹木部分には有効な符号化処理とはならなくなってしまうというような場合が生じる。
【０００６】
また、図５の（Ａ），（Ｂ）に示すような動画において動く物体がある場合、時間的な差分つまりフレーム差分をとると、動きのない背景部分では差分は殆ど零となり、そのフレーム差分値（符号化対象値）とその発生頻度を示すグラフ図は図６の（Ａ）のようになり、動く物体部分では物体から背景へ及び背景から物体に変わる領域があり、この領域では差分が大きくなり、そのフレーム差分値（符号化対象値）とその発生頻度を示すグラフ図は図６の（Ｂ）のようになる。したがって、図５の（Ａ），（Ｂ）に示すように動画で移動物体がある場合に、背景及び移動物体領域に単一の符号化テーブルを用いて符号化処理を行うと、いずれの領域をも有効な符号化処理をしようとすることは困難である。
【０００７】
このようにフレーム画像中あるいはフレーム画像間に、空間的あるいは時間的に、局所的にデータの出現パターンが急変する領域がある場合には、その領域に対して符号化テーブルを更新することなく単一の符号化テーブルを用いたのみでは、その領域に対して最適な符号化処理を行うことはできない。
【０００８】
本発明は、従来の符号化処理手法における上記問題点を解消するためになされたもので、入力画像データの特徴を解析して、動的に符号化テーブルを更新することにより効率のよい圧縮符号化処理並びに復号化処理を行えるようにした画像処理装置、画像処理方法並びに画像処理プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、画像データの出現頻度に基づいて作成された符号化テーブルを参照して前記画像データの符号化処理を行う画像処理装置であって、前記画像データを記憶する画像データ記憶手段と、前記画像データと符号化データとの関係を表す符号化テーブルと、該符号化テーブルを参照して前記画像データ記憶手段に記憶された画像データを符号化する符号化手段と、前記画像データの時間的又は空間的な特徴を解析する画像データ特徴解析手段と、該画像データ特徴解析手段による解析結果に基づいて前記符号化テーブルを更新する符号化テーブル更新手段とを有することを特徴とするものである。
【００１０】
請求項２に係る発明は、請求項１に係る画像処理装置において、前記画像データは動画に関するデータであることを特徴とするものである。
【００１１】
請求項３に係る発明は、請求項１に係る画像処理装置において、前記画像データ特徴解析手段は、前記画像データを所定のタイミングで複数種類の符号化テーブルにより符号化することにより、最も符号化効率のよい符号化テーブルを選択するものであることを特徴とするものである。
【００１２】
請求項４に係る発明は、請求項３に係る画像処理装置において、前記所定のタイミングはフレーム毎、ライン毎、又はキーフレーム毎であることを特徴とするものである。
【００１３】
請求項５に係る発明は、画像データの出現頻度に基づいて作成された符号化テーブルを参照して前記画像データの符号化処理を行う画像処理方法であって、前記画像データを記憶するステップと、前記記憶された画像データの時間的又は空間的な特徴を解析するステップと、前記解析結果に基づいて前記符号化テーブルを更新するステップと、前記更新された符号化テーブルを参照して前記記憶された画像データを符号化するステップとからなることを特徴とするものである。
【００１４】
請求項６に係る発明は、コンピュータに対して、画像データの出現頻度に基づいて作成された符号化テーブルを参照して前記画像データの符号化処理を実行させるための画像処理プログラムであって、前記画像データを記憶する手順と、前記記憶された画像データの時間的又は空間的な特徴を解析する手順と、前記解析結果に基づいて前記符号化テーブルを更新する手順と、前記更新された符号化テーブルを参照して前記記憶された画像データを符号化する手順とを実行させるように構成するものである。
【００１５】
請求項７に係る発明は、請求項１〜４のいずれか１項に係る画像処理装置において、前記画像データを符号化する際に用いた符号化テーブルのデータを符号化データに埋め込む符号化テーブルデータ埋め込み手段を更に備えていることを特徴とするものである。
【００１６】
請求項８に係る発明は、請求項７に係る画像処理装置において、前記符号化データに埋め込まれた符号化テーブルデータに基づいて符号化データを復号化する復号化手段を備えていることを特徴とするものである。
【００１７】
請求項９に係る発明は、請求項１〜４のいずれか１項に係る画像処理装置において、前記符号化データと復号化データとの関係を示す復号化テーブルと、前記復号化テーブルを参照して前記符号化データを復号化する復号化手段と、復号化データの復号値の発生状況を解析する復号化データ特徴解析手段と、該復号化データ特徴解析手段による解析結果に基づいて前記復号化テーブルを更新する復号化テーブル更新手段とを更に有することを特徴とするものである。
【００１８】
請求項１０に係る発明は、請求項５に係る画像処理方法において、更に、前記画像データを符号化する際に用いた符号化テーブルのデータを符号化データに埋め込むステップを有することを特徴とするものである。
【００１９】
請求項１１に係る発明は、請求項１０に係る画像処理方法において、更に、前記符号化データに埋め込まれた符号化テーブルデータに基づいて符号化データを復号化するステップを有することを特徴とするものである。
【００２０】
請求項１２に係る発明は、請求項５に係る画像処理方法において、前記符号化データと復号化データとの関係を示す復号化テーブルを参照して前記符号化データを復号化するステップと、前記復号化データの復号値の発生状況を解析するステップと、前記解析結果に基づいて前記復号化テーブルを更新するステップとを更に有することを特徴とするものである。
【００２１】
請求項１３に係る発明は、請求項６に係る画像処理プログラムにおいて、更に、前記画像データを符号化する際に用いた符号化テーブルのデータを符号化データに埋め込む手順を有することを特徴とするものである。
【００２２】
請求項１４に係る発明は、請求項１３に係る画像処理プログラムにおいて、更に、前記符号化データに埋め込まれた符号化テーブルデータに基づいて符号化データを復号化する手順を有することを特徴とするものである。
【００２３】
請求項１５に係る発明は、請求項６に係る画像処理プログラムにおいて、前記符号化データと復号化データとの関係を示す復号化テーブルを参照して前記符号化データを復号化する手順と、前記復号化データの復号値の発生状況を解析する手順と、前記解析結果に基づいて前記復号化テーブルを更新する手順とを更に有することを特徴とするものである。
【００２４】
【発明の実施の形態】
次に、実施の形態について説明する。図１は、本発明に係る画像処理装置の実施の形態を示す概略プロック構成図である。図１において、１は被写体像を光電変換変換して画像信号を生成する撮像素子、２は撮像素子１からの撮像信号を図示しないＡ／Ｄ変換器でＡ／Ｄ変換した画像データを記憶するメモリ手段、３は画像データを符号化する符号化手段、４は画像データと符号化データとの関係を示す符号化手段３で用いる符号化テーブルで、ハフマン・ラングレスなどのエントロピー符号化テーブルや、ルックアップテーブルなどが用いられる。５は画像データの時間的又は空間的な特徴を解析する画像データ特徴解析手段、６は画像データ特徴解析手段５による解析結果に基づいて符号化テーブル４を更新するテーブル更新手段で、符号化手段３と符号化テーブル４と画像データ特徴解析手段５とテーブル更新手段６で符号化部を構成している。
【００２５】
図１において、１１は符号化データを入力する符号化データ入力手段、１２は符号化データを復号化する復号化手段、１３は符号化データと復号化データとの関係を表す、復号化手段１２で用いる復号化テーブル、１４は復号化データの復号値の発生状況を解析する復号化データ特徴解析手段、１５は復号化データ特徴解析手段１４による解析結果に基づいて復号化テーブル１３を更新する復号化テーブル更新手段で、これらで復号化部を構成している。
【００２６】
次に、このように構成されている画像処理装置の動作について説明する。撮像素子１で生成されＡ／Ｄ変換された画像データは、一旦メモリ手段２に格納される。そして、メモリ手段２に格納された画像データは、符号化手段３に入力すると同時に画像データ特徴解析手段５にも入力する。この際、画像データはメモリ手段２に一旦格納することはせず、直接符号化手段３及び画像データ特徴解析手段５に入力させるようにしてもよい。また画像データの符号化手段３と画像データ特徴解析手段５への入力は同時でなく、ずらして入力させるようにしてもよい。すなわち、画像データ特徴解析手段５において画像データの特徴解析には時間を必要とし、解析結果に基づいて符号化テーブルを更新して、それが符号化手段３に反映されるまでタイムラグがあるので、符号化手段３への入力より画像データ特徴解析手段５への入力を先行させた方が、符号化手段３における符号化処理の際に、入力画像データに最適な符号化テーブルをリアルタイムに用意できるようになる。このように符号化手段３への入力を遅らすには、デレイバッファを介して画像データを入力させるようにすればよい。
【００２７】
画像データ特徴解析手段５では、入力画像が静止画の場合、空間的な特徴を解析するため、例えば１画素単位の輝度・色差の差分演算を行い、差分値（空間差分値）の大きさとその発生頻度の関係を求め、画像データの特徴を解析する。この際、図３に示したような静止画が入力された場合は、一様な背景部分では図４の（Ａ）に示したような発生頻度グラフが求められ、樹木部分では図４の（Ｂ）に示したような発生頻度グラフが求められる。これらの画像データの特徴を表す発生頻度グラフに対応する符号化テーブル（ハフマンテーブル等）は一義的に決まる。
【００２８】
そして、テーブル更新手段６において、画像データ特徴解析手段５で決められた符号化テーブルと現在選択されている符号化テーブルと対比し、画像データ特徴解析手段５で決められた符号化テーブルが現在選択されているものと異なる場合は、符号化テーブルの更新に適切なタイミングを見計らって、画像データ特徴解析手段５が決定した符号化テーブルに、符号化テーブルを更新する。符号化手段３は、画像データ特徴解析手段５で決定され更新された符号化テーブルを参照しながら符号化処理を行う。
【００２９】
前記画像データ特徴解析手段５は、求めた発生頻度グラフを基に、予め用意した数種類の符号化テーブルから最適なテーブルを選択する。また、前記符号化テーブルの更新タイミングの設定としては、種々の設定があるが、例えば１６画素とかの一定画素数毎や、ライン毎とかのタイミングで更新を行う。また、後述する符号化データ出力への符号化テーブルデータの埋め込みタイミングを監視するタイミング監視手段を設けておいて、その監視手段からのトリガーで更新させるようにしてもよい。
【００３０】
入力画像データが動画の場合は、画像データ特徴解析手段５では、一定の画素数、例えば１６画素を取り込み、各画素毎の前フレームとの差分の総和を求め、１画素当たりの差分値、つまり差分の中心値を求め、その中心差分値に対応する符号化テーブルを選択する。例えば、中心差分値が零に近い場合は、図６の（Ａ）に示すような発生頻度グラフに対応する符号化テーブルを、中心差分値が５程度の場合は、図６の（Ｂ）に示すような発生頻度グラフに対応する符号化テーブルを選択するようにする。
【００３１】
なお、ここでは１６画素単位での差分総和計算に基づく符号化テーブルの選択手法を示したが、１６画素単位に限らず、１画素単位や１ライン単位としてもよい。
【００３２】
また、入力画像データが動画の場合、符号化手段３において通常備えられている動きベクトル検出手段により、フレーム内での動きを検出し、動きが検出された部分で、それに対応した符号化テーブルに切り替え更新するようにしてもよい。
【００３３】
動画の場合には、テーブル更新のタイミングとしては、静止画と同様に一定画素毎やライン毎の他に、フレーム毎、あるいはキーフレーム（他のフレームの情報を用いずに圧縮処理するフレーム）毎のタイミングで、必要に応じて更新を行う。
【００３４】
また、画像データ特徴解析手段５は、入力画像データが静止画、動画のいずれの場合でも、次のように構成することもできる。すなわち、入力画像データのライン毎の特徴を解析していて、ある位置のラインで急激に変化しはじめるような場合、その位置のラインの情報に基づいて、次ラインの特徴を予測し符号化テーブルを更新するようにしてもよい。つまり、前ラインの発生頻度特性を利用して、次ラインの更新判断に使うようにすることも可能である。
【００３５】
また、画像データ特徴解析手段５は、入力画像データを直接解析するのではなく、複数の符号化テーブルで符号化処理された符号化データを比較し、符号化（圧縮）結果のよい方の符号化テーブルを選択使用するようにしてもよい。また、ある一つの符号化テーブルで処理していて、その処理結果を解析して、ある位置で急激に圧縮効率が悪化したことが検出されたような場合は、その時点でテーブル更新の判断をする。つまり、符号化処理結果をフィードバックして、その処理結果をテーブル更新に利用するように構成してもよい。
【００３６】
また、上記説明では、画像データ特徴解析手段５は、入力画像データの特徴を解析して、その解析結果から、予め用意されている符号化テーブルから最適な符号化テーブルを選択するものについて示したが、予め用意されている符号化テーブルから最適なものを選択するのではなく、入力画像データの解析結果から、符号化テーブルを再計算して再構築することができるように構成することもできる。
【００３７】
また、上記説明では、画像データ特徴解析手段５による解析結果に基づいて符号化テーブルを更新した場合、その時点で入力された画像データは更新された符号化テーブルで符号化処理されるものとして説明してきたが、更新された瞬間に符号化処理中あるいは符号化処理が終了した画像データは、更新前の符号化テーブルで処理されている可能性があるので、このような場合の入力画像データに対しては、更新した符号化テーブルで再度符号化処理を行うのが好適である。
【００３８】
以上のようにして更新した符号化テーブルを参照して符号化された符号化データは、記録媒体等に記録されるが、記録された符号化データを復号化する場合には、符号化テーブルの更新に対応した新たな復号化テーブルを用いて復号化する必要がある。したがって、上記実施の形態において示したように、符号化データ入力手段１１を介して入力され、復号化手段１２で復号化されたデータの特徴を、復号化データ特徴解析手段１４で解析し、復号値の発生状況から、復号化テーブルの更新の要否を自動的に検出し、更新の必要がある場合には、テーブル更新手段１５を介して最適な復号化テーブルを選択し、その復号化テーブルを参照して復号化手段１２で復号化処理を行う。
【００３９】
また、復号化の手法としては、次のような手法を用いてもよい。前記符号化手段３において符号化データを出力する際に、図２の（Ａ）に示すように、符号化データ列中に符号化手段３で用いた符号化テーブルのデータを埋め込んで、復号化のためのフォーマットで符号化データを構成する。つまり所定画素単位、ライン単位、あるいはフレーム単位などのタイミングで、符号化テーブルの更新を行うかどうかの判断が行われ、符号化テーブルの更新が必要なとき、符号化データ列中に符号化テーブルのデータが埋め込まれ、符号化データが構成される。なお、この際、埋め込まれる符号化テーブルデータとしては、任意の手段で圧縮されたデータを用いると、データサイズを無駄に増大させずに済む。
【００４０】
上記埋め込み手法により符号化テーブルデータを埋め込んだ符号化データでは、どこに符号化テーブルデータが挿入されているかデータフォーマット的にわかりずらいので、その点を考慮して、図２の（Ｂ）に示すように、フレーム単位で、フレームヘッダに、そのフレームの符号化データの符号化の際に用いた複数の符号化テーブルデータをまとめて書き込み、符号化データ列中には符号化テーブルの更新点を示す情報のみを挿入しておく手法もある。
【００４１】
更に、図２の（Ｃ）に示すように、フレームヘッダに複数の符号化テーブルデータをまとめて書き込むと同時に、符号化テーブルを更新する座標データを書き込んでおき、符号化データ列中には何も挿入せず連続的に出力させるように構成してもよい。
【００４２】
以上のように、符号化データ中に符号化テーブル情報を埋め込んだフォーマットで符号化データを構成した場合は、符号化データ中に埋め込まれた符号化テーブル情報やタイミング情報をもとに、復号化処理が行われる。
【００４３】
上記実施の形態に係る画像処理装置による画像データの符号化あるいは復号化処理は、ハードウェアによる処理に限らず、上記各処理手順をプログラム化し、コンピュータに実行させるソフトウェア処理とすることも、勿論可能である。
【００４４】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、入力画像データの特徴を解析して、動的に符号化テーブルを更新することにより、効率のよい圧縮符号化処理並びに復号化処理を行える画像処理装置、画像処理方法並びに画像処理プログラムを実現することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の実施の形態を示す概略ブロック構成図である。
【図２】図１に示した実施の形態における符号化手段から出力される符号化データのフォーマット例を示す図である。
【図３】符号化手段への静止画入力画像例を示す図である。
【図４】図３に示した静止画における空間差分値の発生頻度を示すグラフ図である。
【図５】符号化手段への動画入力画像例を示す図である。
【図６】図５に示した動画におけるフレーム差分値の発生頻度を示すすグラフ図である。
【符号の説明】
１ 撮像素子
２ メモリ手段
３ 符号化手段
４ 符号化テーブル
５ 画像データ特徴解析手段
６ テーブル更新手段
１１ 符号化データ入力手段
１２ 復号化手段
１３ 復号化テーブル
１４ 復号化データ特徴解析手段
１５ テーブル更新手段

Claims (15)

1. 画像データの出現頻度に基づいて作成された符号化テーブルを参照して前記画像データの符号化処理を行う画像処理装置であって、前記画像データを記憶する画像データ記憶手段と、前記画像データと符号化データとの関係を表す符号化テーブルと、該符号化テーブルを参照して前記画像データ記憶手段に記憶された画像データを符号化する符号化手段と、前記画像データの時間的又は空間的な特徴を解析する画像データ特徴解析手段と、該画像データ特徴解析手段による解析結果に基づいて前記符号化テーブルを更新する符号化テーブル更新手段とを有することを特徴とする画像処理装置。
2. 前記画像データは動画に関するデータであることを特徴とする請求項１に係る画像処理装置。
3. 前記画像データ特徴解析手段は、前記画像データを所定のタイミングで複数種類の符号化テーブルにより符号化することにより、最も符号化効率のよい符号化テーブルを選択するものであることを特徴とする請求項１に係る画像処理装置。
4. 前記所定のタイミングはフレーム毎、ライン毎、又はキーフレーム毎であることを特徴とする請求項３に係る画像処理装置。
5. 画像データの出現頻度に基づいて作成された符号化テーブルを参照して前記画像データの符号化処理を行う画像処理方法であって、前記画像データを記憶するステップと、前記記憶された画像データの時間的又は空間的な特徴を解析するステップと、前記解析結果に基づいて前記符号化テーブルを更新するステップと、前記更新された符号化テーブルを参照して前記記憶された画像データを符号化するステップとからなることを特徴とする画像処理方法。
6. コンピュータに対して、画像データの出現頻度に基づいて作成された符号化テーブルを参照して前記画像データの符号化処理を実行させるための画像処理プログラムであって、前記画像データを記憶する手順と、前記記憶された画像データの時間的又は空間的な特徴を解析する手順と、前記解析結果に基づいて前記符号化テーブルを更新する手順と、前記更新された符号化テーブルを参照して前記記憶された画像データを符号化する手順とを実行させることを特徴とする画像処理プログラム。
7. 前記画像データを符号化する際に用いた符号化テーブルのデータを符号化データに埋め込む符号化テーブルデータ埋め込み手段を更に備えていることを特徴とする請求項１〜４のいずれか１項に係る画像処理装置。
8. 前記符号化データに埋め込まれた符号化テーブルデータに基づいて符号化データを復号化する復号化手段を備えていることを特徴とする請求項７に係る画像処理装置。
9. 前記符号化データと復号化データとの関係を示す復号化テーブルと、前記復号化テーブルを参照して前記符号化データを復号化する復号化手段と、復号化データの復号値の発生状況を解析する復号化データ特徴解析手段と、該復号化データ特徴解析手段による解析結果に基づいて前記復号化テーブルを更新する復号化テーブル更新手段とを更に有することを特徴とする請求項１〜４のいずれか１項に係る画像処理装置。
10. 更に、前記画像データを符号化する際に用いた符号化テーブルのデータを符号化データに埋め込むステップを有することを特徴とする請求項５に係る画像処理方法。
11. 更に、前記符号化データに埋め込まれた符号化テーブルデータに基づいて符号化データを復号化するステップを有することを特徴とする請求項１０に係る画像処理方法。
12. 前記符号化データと復号化データとの関係を示す復号化テーブルを参照して前記符号化データを復号化するステップと、前記復号化データの復号値の発生状況を解析するステップと、前記解析結果に基づいて前記復号化テーブルを更新するステップとを更に有することを特徴とする請求項５に係る画像処理方法。
13. 更に、前記画像データを符号化する際に用いた符号化テーブルのデータを符号化データに埋め込む手順を有することを特徴とする請求項６に係る画像処理プログラム。
14. 更に、前記符号化データに埋め込まれた符号化テーブルデータに基づいて符号化データを復号化する手順を有することを特徴とする請求項１３に係る画像処理プログラム。
15. 前記符号化データと復号化データとの関係を示す復号化テーブルを参照して前記符号化データを復号化する手順と、前記復号化データの復号値の発生状況を解析する手順と、前記解析結果に基づいて前記復号化テーブルを更新する手順とを更に有することを特徴とする請求項６に係る画像処理プログラム。

Images