JP2012502536A - 画素のラスターイメージのブロックごとの符号化方法、そのコンピュータプログラムおよびその画像キャプチャ装置 - Google Patents

画素のラスターイメージのブロックごとの符号化方法、そのコンピュータプログラムおよびその画像キャプチャ装置 Download PDF

Info

Publication number
JP2012502536A
JP2012502536A JP2011525601A JP2011525601A JP2012502536A JP 2012502536 A JP2012502536 A JP 2012502536A JP 2011525601 A JP2011525601 A JP 2011525601A JP 2011525601 A JP2011525601 A JP 2011525601A JP 2012502536 A JP2012502536 A JP 2012502536A
Authority
JP
Japan
Prior art keywords
block
image
encoding method
pixels
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011525601A
Other languages
English (en)
Other versions
JP5534247B2 (ja
Inventor
アラコクエ,ラウレント
Original Assignee
コミサリアト ア レネルジー アトミクー エ オ エネルジーズ アルタナティヴズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コミサリアト ア レネルジー アトミクー エ オ エネルジーズ アルタナティヴズ filed Critical コミサリアト ア レネルジー アトミクー エ オ エネルジーズ アルタナティヴズ
Publication of JP2012502536A publication Critical patent/JP2012502536A/ja
Application granted granted Critical
Publication of JP5534247B2 publication Critical patent/JP5534247B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本符号化方法では、n画素を垂直方向に分割する1次元カーネルとp画素を水平方向に分割する1次元カーネルとを組み合わせて適用し、関数基底(LL1、HL1、LH1、HH1、L2、H2、L3、H3、L4、H4)でこの画像のブロックを連続的に2次元分割することによってラスターイメージをブロックごとに分割し、各ブロックの水平寸法Pは、pの倍数であるためP=k.pと決定し、解像度log(P)での分割を水平方向に分割するカーネルを用いて実行し、各ブロックの垂直寸法Nは、nの倍数であるためN=l.nと決定し、解像度log(N)での分割を垂直方向に分割するカーネルを用いて実行する。所与のnおよびpの値に対し、垂直寸法Nが水平寸法Pよりも厳密に小さくなるようにkおよびlの値を選択する。
【選択図】図2

Description

本発明は、画素のラスターイメージのブロックごとの符号化方法に関する。また、本発明はこのような符号化方法のステップを実行するようになっているプログラムコードのインストラクションおよび画像キャプチャ装置を有するコンピュータプログラムに関する。
さらに正確には、本発明は、複数の離れたブロックで構成される画素の画像ブロックごとの符号化方法であって、n画素を垂直方向に分割する1次元カーネルとp画素を水平方向に分割する1次元カーネルとを組み合わせて適用することによって、所定の離散関数基底でこの画像のブロックを連続的に2次元分割するステップを含み、ブロックの水平方向は、1行ずつ順に読み取るモードおよび/または伝送するモードでのラスターイメージの行の方向であると定義する方法において、
− 各ブロックの横の画素数を表す水平寸法Pは、pの倍数であるためP=k.pと定義し、解像度log(P)での分割を水平方向に分割する1次元カーネルを用いて実行し、
− 各ブロックの縦の画素数を表す垂直寸法Nは、nの倍数であるためN=l.nと定義し、解像度log(N)での分割を水平方向に分割する1次元カーネルを用いて実行する符号化方法に関する。
「カーネル」とは、従来の方法での基本的な離散関数であり、この関数を基に、特にカーネルの拡張(周波数偏差)および/または並進(空間偏差)による所定の離散関数基底を構築する。
また、画像の符号化では、基底のベクトルを形成する離散関数基底での画素ブロックの2次元分割は、水平方向および垂直方向に分離することができる。その結果、基底を構築する基となるカーネルは、水平方向の「ベクトルの一部」と垂直方向の「ベクトルの一部」を形成するための水平方向の1次元カーネルと垂直方向の1次元カーネルの組み合わせと考えることができる。
このほか、以下の説明文では、「射影」という語を特に「水平射影の1次元カーネル」、「垂直射影の1次元カーネル」または「射影次数〜」などの表現で使用する。
実際に、画像の符号化では、NP画素ブロックの2次元分割が基底のベクトルを形成するNP個の離散関数基底で実行されると、この分割で得られたNP個の係数は、実際にはNP個の離散関数基底で各ベクトルに対してNP画素ブロックを射影(数学用語での意味)した結果となる。
その結果、上記の観点から、ここでいう水平射影または垂直射影とは、水平方向または垂直方向の1次元分割(特許公報第US2004/136602号などの例)、あるいは水平方向または垂直方向のフィルタ演算(特許公報第EP0817494号などの例)のことである。実際に、信号処理、符号化、適用される数学の分野で用いられるさまざまな用語は、同じ演算を指す語として広く使用されている。
さらに正確には、射影次数log(P)またはlog(N)の概念を基に以下の説明文で用いる演算というのは、明らかに解像度log(P)またはlog(N)での分割演算(US2004/136602からの用語)のことであり、log(P)またはlog(N)での連続フィルタ演算(EP0817494からの用語)のことでもある。上記の原理に従って作動するブロック単位に行ういくつかの符号化方法は、特にDCT(英語の「Discrete Cosine Transform (離散コサイン変換)」)やウェーブレット基底での分割による符号化によって広く用いられている。
JPEG規格およびMPEG規格で用いられるDCTによる符号化は、一般に8×8画素のブロックに適用され、64個の離散的な無限長の正弦波関数基底でこれらの各ブロックを2次元分割することであると考えられている。この符号化技術を用いて実行した次数1の垂直射影および水平射影の1次元カーネルは、8画素に対する離散コサイン変換関数であり、k=l=1となる。したがって、画像信号はこのDCT符号化によって周波数空間で分割される。
JPEG2000規格で用いられる有限長ウェーブレット基底で分割する符号化も、一般に8×8画素のブロックに適用される。広く用いられている垂直射影および水平射影の1次元カーネルとは、2画素のハールカーネル(従来のハールマザー関数)のことである。このカールを水平方向および垂直方向に適用することにより、8×8のブロックを4つの4×4のサブブロックにする第1の分割を行う。次の第2の次数では、4×4の低周波サブブロックを4つの2×2のサブブロックに分割する。最後の第3の次数では、2×2の低周波サブブロックを4画素に分割し、そのうちの1つがブロックを構成する要素となる。
たとえば周波数サブバンドに分割するなど、別の分割原理を検討することも可能である。これは、初期画像を無相関化し、次の段階で損失の有無に関わらず符号化を、特にエントロピー符号を使用することにより容易にすることが目的である。
ブロックによるこのような符号化方法は、CMOSキャプチャなどの画像キャプチャのデジタル装置で使用することがあり、そのうちの光モジュールタイプの一例を図1に示す。
この図では、たとえばCMOSキャプチャなどの撮像装置の光モジュール10は、光ブロック12と感光性素子であるマトリクス14とを有し、この感光性ダイオードは電動の読み取り手段(図示せず)と協働して撮像する画像の画素を形成する。
画素マトリクス14は、シーケンス装置16およびアナログデジタル変換装置18と協働し、画素マトリクスでのデジタル画像を取得することができる。画素マトリクス14、シーケンス装置16およびアナログデジタル変換装置18は、取得したデジタル画像を伝送するインターフェース20とともに、一般に「イメージャ回路」またはCMOSキャプチャの「焦平面」と呼ぶ電子回路22を形成する。
イメージャ回路22のインターフェース20はこのほか、一般に物理的な電子的リンク24によってグラフィックスコプロセッサ回路28からデジタル画像を受信するインターフェース26に連結しており、この回路によって取得したデジタル画像の質を向上させるアルゴリズムをインプリメンテーションすることができ、前述したようなブロックごとの符号化方法を実践することができる場合もある。
CMOSキャプチャを備えるデジタルカメラやデジタルビデオカメラ、または携帯電話の光モジュールなどの一般大衆向けの画像取得装置には、多くの制約が課せられている。
特に、イメージャ回路22とグラフィックスコプロセッサ回路28との間にある物理的な電子的リンク24の伝送レートには限界がある。例を挙げると、多くのイメージャ回路で遵守されているSMIA規格のプロトコルは、伝送レートを400Mbits/秒に制限している。しかし、毎秒30画像で2メガピクセルの各画素を10ビットに符号化したイメージャ回路を圧縮していないビデオでは、600Mbits/秒の伝送レートが必要となる。この伝送レートの制限が、ビデオモードでの解像度が一般に制限されている理由の一つである。
さらに、電気消費量の削減が、画像キャプチャ装置などのモバイル機器に対する最大の制約となっている。このような画像キャプチャ装置の最大の電力消費源となっているのは、物理的な電子的リンク24によってイメージャ回路22とグラフィックスコプロセッサ回路28との間で行うデジタルデータの伝送であり、この消費量を削減する最良の方法が伝送するデータの量を減少させることであることは自明である。
最後に、グラフィックスコプロセッサ回路28に搭載することができる最新世代の画質向上フィルタは、連続する複数の画像を蓄積する必要がある。メモリのコストにかかる経済的理由および画像の総情報量が増加するという理由により、このようなアルゴリズムは安価な装置に組み入れることは不可能である。
上記の3つの制約から、取得したデジタルデータを確実に圧縮し、複雑なフィルタリングのアルゴリズムを使用できるようにグラフィックスコプロセッサ回路28に導入するか、好ましくは物理的な電子的リンク24によって伝送量を制限できるようにイメージャ回路に導入する可能性が見込めるような画像の符号化方法が必要であることがわかる。
このほか、イメージャ回路のメガピクセル数で量子化した画像キャプチャ装置の空間解像度を向上させることが、現在一般大衆に対する最大の革新基準となっている点を考慮する必要がある。集積回路のコストおよび光モジュールを小型化する試行の理由から、イメージング回路の寸法を縮小する必要があることは明らかである。その結果、イメージャ回路またはグラフィックスコプロセッサ回路に符号化アルゴリズムを導入することは、常に複雑性の点で非常に厳しい制約がある。
2005年5月、IEEE International Symposium on Circuits And Systems(回路およびシステムに関するIEEE国際シンポジウム)の第5巻、第5322〜5325ページに公表されたZhiqiang Linらによる文献「A CMOS image sensor for focal plane decomposition(焦平面分割のためのCMOSイメージセンサー」には、従来のウェーブレットへの変換による符号化プロセスを記憶する必要がないCMOSキャプチャのイメージャ回路周辺で取得する画素値の並列処理を想定したブロックごとの符号化方法が記載されている。
その代わりに、この並列処理を実行するには、画素が大きく複雑なものとなってしまい、これでは一般大衆用に製品を小型化するという要求と両立させることが困難になる。
2007年1月、IEEE Transactions on Circuits and Systems I(回路およびシステムに関するIEEEトランザクションI)の第54巻、第1号、第26〜34ページに公表されたAshkan Olyaeiらによる文献「Focal−plane spatially oversampling CMOS image compression sensor(焦平面への空間的オーバーサンプリングによるCMOS画像圧縮センサ」にも、イメージャ回路で実行するブロックごとの符号化方法が記載されている。ここで検討されている2次元カーネルは、2×2画素から8×8画素の範囲であり、この方法では分割前に1ブロックの全画素値を記憶する必要がある。
特許公報第US2004/136602号 特許公報第EP0817494号
「A CMOS image sensor for focal plane decomposition」, de Zhiqiang Lin et al, IEEE International Symposium on Circuits And Systems, vol. 5, pages 5322−5325, mai 2005 「Focal−plane spatially oversampling CMOS image compression sensor」, de Ashkan Olyaei et al., IEEE Transactions on Circuits and Systems I, vol. 54, n ° 1, pages 26−34, janvier 2007
さらに、上記の2つの文献に記載されているいずれの方法にも一般のCMOSキャプチャの特殊性が考慮されていない。一般のCMOSキャプチャでは、シーケンス装置16で画像の画素値を順に読み取るモードを使用するが、これは画像の最初の行から最後の行まで1行ずつ処理する電子シャッターモードである。連続的な電子シャッターによって行を読み取るこのモードは、特に低価格のCMOSキャプチャの感光性の欠点を補うことを目的としている。
しかし、サイズ、電気消費量、ビデオモードを確保する必要性という電子的な制約により、イメージング回路もこの読み取りモードで作動させなければならなくなる。このモードより、デジタル画像をやむなく1行ずつ読み取り、別々の2行の画素が一時的にコヒーレントでなくなるということが起こるが、これはこの画素が正確に1シーンの同じ瞬間を表してはいないためである。
この作動モードによって起こることは、前述した符号化の原理では、このモードを適用するデジタル画像の水平方向および垂直方向には共通のコヒーレンスがあることが前提となるが、異なる行同士では完全には相関関化されないということである。さらに、たとえば8×8画素サイズの画像ブロックごとの符号化を実行するには、処理を実施する前に必要な行全体を順に取得して蓄積する必要がある。一般にイメージャ回路でのメモリは限られていることから、この制約には問題が生じる。
したがって、前述の問題および制約を解消できる符号化方法を想定することが望ましい。
よって本発明は、複数の離れたブロックで構成される画素のラスターイメージのブロックごとの符号化方法であって、n画素を垂直方向に分割する1次元カーネルとp画素を水平方向に分割する1次元カーネルとを組み合わせて適用することによって所定の離散関数基底でこの画像のブロックを連続的に2次元分割するステップを含み、ブロックの水平方向は、1行ずつ順に読み取るモードおよび/または伝送するモードでのラスターイメージの行の方向であると定義する符号化方法において、
− 各ブロックの水平方向の画素数を表す水平寸法Pは、pの倍数であるためP=k.pと定義し、解像度log(P)での分割を水平方向に分割する1次元カーネルを用いて実行し、
− 各ブロックの垂直方向の画素数を表す垂直寸法Nは、nの倍数であるためN=l.nと定義し、解像度log(N)での分割を垂直方向に分割する1次元カーネルを用いて実行し、
所与のnおよびpの値に対し、垂直寸法Nが水平寸法Pよりも厳密に小さくなるようにkおよびlの値を選択する符号化方法を目的とする。
ブロックの行数を列数よりも少なくすると、画素値を1行ずつ順に取得する段階では、同一列の画素のコヒーレンスよりも大きい同一行の画素のコヒーレンスが正確に考慮される。よってこの方法は、有利なように広く一般大衆に使用できる安価な画像キャプチャ装置で使用される。さらに、ブロックの行数を列数よりもさらに少なくすると、この方法を用いる装置のメモリはさらに少なくて済むため、この方法をイメージャ回路に導入する案はさらに容易になる。
選択的に、水平方向および垂直方向に分割する1次元カーネルn=p=2が、ウェーブレットに分解するハール離散関数であってもよい。この場合、加算器および減算器を用いることによって、本発明による符号化方法のきわめて簡易なインプリメンテーションが可能となる。
同じく選択的に、ラスターイメージブロックの2次元分割が、解像度1での垂直方向の分割と、解像度log(k)+1での水平方向の分割との組み合わせを含み、垂直寸法がN=2画素で水平寸法がP=2.k画素のブロックに実行するようにしてもよい。この場合、この方法を用いる装置のメモリは少なくて済む。
同じく選択的に、各ブロックは、一辺が4画素の正方形となる互いに連続するk個のサブブロックで構成され、ラスターイメージブロックのいずれか1つの2次元分割が、垂直方法と水平方向に分割する1次元カーネルを組み合わせるハールの2次元カーネルを用いてk個のサブブロックをそれぞれ変換したのち、水平方向に分割する1次元カーネルを用いて解像度log(k)で水平方向に分割し、この分割をk個のサブブロックを変換して得られた強力なエントロピーを有するk個の要素に適用するようにしてもよい。
同じく選択的に、本発明による符号化方法がさらに
− 画像ブロックを連続的に2次元分割するステップに続いて、符号変換する語で構成される第1の2進データ列を供給するステップと、
− 所定の可変長符号のエントロピー符号を用いて、第1の2進データ列を圧縮した第2の2進データ列にエントロピー的に符号変換し、第1の2進データ列の各符号語を変換後の符号語に変換するステップ
とを含み、
第1の2進データ列の符号語のノイズレベルを表すものと考える重みの小さいビット数をBと表記する所定数をベースとして、第1の2進データ列の各符号語に、
− 符号語を第1および第2のサブ符号語に細分化して、第1のサブ符号語が符号語の重みの小さいBビットを有し、第2のサブ符号語が符号語の重みの大きい別のビットを有するようにするステップと、
− 所定のエントロピー符号を第2のサブ符号語に適用して変換後の第2のサブ符号語を得るステップと、
− 変換した第1のサブ符号語と第2のサブ符号語を連結させることによって前記変換後の符号語を得るステップとを適用する段階を含むことができるようにしてもよい。
同じく選択的に、本発明による符号化方法がさらに、最初の行から最終行まで1行ずつ画像の画素値を順に読み取り、N行とP列からなる少なくとも1つのブロックを有する連続するN行を読み取る間に、この少なくとも1つのブロックの2次元分割を実行するステップを含むようにしてもよい。
同じく選択的に、本発明による符号化方法がさらに、連続するN行を読み取る間に、
− 連続する最初のN−1行を読み取り、記憶するステップと、
− N番目の行のデータを取得する間に、この行の少なくとも1つのブロックの2次元分割を実行するステップ
とを含むようにしてもよい。
また、本発明は、最初の行から最後の行まで1行ずつ画像の画素値を順に読み取る手段と、上に定義したような符号化方法のステップを実行するように想定した符号化手段とを有する画像キャプチャ装置も目的とする。
選択的に、本発明による画像キャプチャ装置が、画像を取り込み、取り込んだこの画像をアナログデジタル変換するためのイメージャ回路と、このイメージャ回路とは別に、取り込んだ画像をデジタル処理するためにこのイメージ回路に電子的に連結しているコプロセッサ回路とを有することができ、符号化手段がイメージャ回路に搭載されるようにしてもよい。
この画像キャプチャ装置は、たとえばデジタルカメラやデジタルビデオカメラ、あるいは遠距離通信またはこのようなカメラや内蔵ビデオを備えるあらゆるデータ処理を行う携帯可能な装置である。
最後に、本発明は、通信ネットワークからダウンロード可能なコンピュータプログラムおよび/またはコンピュータでの読み取りが可能な媒体に保存されたコンピュータプログラムおよび/またはプログラムコードのインストラクションを含むプロセッサでの実行が可能なコンピュータプログラムで、このプログラムをコンピュータ上で実行する際に、前述した符号化方法のステップを実行するコンピュータプログラムも目的とする。
本発明は、添付の図を参照しながら例としてのみ挙げた以下の説明文を読めばさらによく理解できるであろう。以下、図面を説明する。
すでに説明したとおり、先行技術による画像キャプチャの光モジュールの一般的構造を示す概略図である。 本発明の一実施形態によるブロックごとの符号化方法の一連のステップ示す図である。 加算器および減算器を用いた図2の方法の一実施例を示す図である。 本発明の一実施形態による画像キャプチャの光モジュールの一般的構造を示す概略図である。 本発明のコード化装置による実践が可能なコード変換方法の一例を示す図である。 シフトレジスタ用いた図5の方法の一実施例を示す図である。
まず、本発明の第1の局面では、画素のラスターイメージの新たな情報源符号化方法を提案する。次に、本発明の第2の局面では、エントロピー符号化を提案する。エントロピー符号化は、情報源符号化によって得られるパラメータ値を有する符号語で構成される2進データ列に適用するのが有利である。
第1の局面 : 所定の離散関数基底で分割する情報源符号化
次に詳細に説明する符号化方法は、この画像の画素値を1行ずつ順に読み取るモード(たとえば、画像の最初の行から最後の行まで1行ずつ読み取る電子シャッターモード)を適用するキャプチャ装置で得られた画像に関する。画素マトリクスを完全に封鎖するメカニカルシャッターモードであっても、画素値の読み取りを1行ずつ順に行う瞬間からこの方法は別に適応される。
1行ずつ順に読み取るモードに符号を適応させるため、垂直寸法が水平寸法よりも厳密に小さい離れた矩形ブロックに画像を細分化する。ここでは、画像およびこの画像を構成するブロックの水平方向は、1行ずつ順に読み取るモードを選択した際の画像の行の方向であると定義する。よって、画像およびこの画像を構成するブロックの垂直方向は、画像の列の方向であると定義する。
さらに正確には、図2に非限定的に示した例では、各ブロックの横の画素数を表す水平寸法Pは16に設定され、各ブロックの縦の画素数を表す垂直寸法Nは2に設定されている。よって各ブロックは、連続する2行にわたる32画素を有する。
このようなブロックの2次元分割は、ハールの離散ウェーブレット基底で実行する。この基底では、垂直射影および水平射影の1次元カーネルはそれぞれn=p=2画素となることはよく知られている。このような分割の導入は単純に加算器および減算器を用いて行うことができるため、ハールのウェーブレット基底が選択される。これについてはこのあと図3を参照して明らかにする。
したがって、この例によれば、ブロックの2画素の各列に次数log(2)=1の射影を垂直方向に実行する。この射影次数1は、2画素を加算して低周波または強エントロピーの第1のパラメータを得て、そこから2画素を減算して高周波または弱エントロピーの第2のパラメータを得るというものである。
引き続きこの例によれば、ブロックの16画素の各行に次数log(16)=4の射影を水平方向に実行する。この射影次数4は、
− 対象となる行の16画素を2つずつ加算して次数1の低周波または強エントロピーの第1のパラメータを8個得て、それを2つずつ減算して次数1の高周波または弱エントロピーの第2のパラメータを8個得ることと、
− 次数1の低周波(または強エントロピー)のパラメータ8個を2つずつ加算して次数2の低周波または強エントロピーの第1のパラメータを4個得て、それを2つずつ減算して次数2の高周波または弱エントロピーの第2のパラメータを4個得ることと、
−次数2の低周波(または強エントロピー)のパラメータ4個を2つずつ加算して次数3の低周波または強エントロピーの第1のパラメータを2個得て、それを2つずつ減算して次数3の高周波または弱エントロピーの第2のパラメータを2個得ることと、
−次数3の低周波(または強エントロピー)のパラメータ2個を加算して次数4の低周波または強エントロピーの第1のパラメータを1個得て、それを減算して次数4の高周波または弱エントロピーの第2のパラメータを1個得ることからなる。
同様に、この例によれば、垂直射影、および水平射影の第1の次数は、ハールの2次元カーネルを用いて2次元射影の形態で同時に実行することができ、2×16画素の各ブロックが、2×2画素の正方形となる互いに連続する8個のサブブロックで構成されると考える。このような射影では低周波または強エントロピーのパラメータが1つ、およびサブブロックによって高周波または弱エントロピーのパラメータが3つ生成される。
次に、得られた低周波(または強エントロピー)のパラメータ8個に次数3の水平射影を適用する。
さらに正確には、第1の読み取りステップ100の段階では、イメージャ回路22は、たとえば1行ずつ取り込む電子シャッターモードで第1の行Aから順に読み取る。すると、この行の画素値が記憶される。第1の行Aの画素数は、有利なように16または16の倍数、つまりブロックの水平寸法の倍数とする。
次にイメージャ回路22は、たとえば1行ずつ取り込む電子シャッターモードで第2の行Bを順に読み取る。
この第2の行Bを読み取る間、読み取ったAおよびBの2行を1組とする各ブロックに2次元の射影を実行するステップ102に移る。図2に示す例では、簡略化することのみを目的として、各行が16画素を有すると考える。つまりこれは、この例では特に簡略化しているが、AおよびBの2行の組が単一のブロックを有するということである。行Aの画素はa、...、a15、行Bの画素はb、...、b15と表記する。
このa、...、a15およびb、...、b1532画素は、B(0≦i≦7)と表記する正方形のサブブロック8個で構成されると考える。この正方形のサブブロックBはそれぞれ4個の画素a2i、a2i+1、b2iおよびb2i+1を有する。
ステップ102では、4つのハールブロック(それぞれLL1、HL1、LH1およびHH1と表記)で構成される基底で正方形のサブブロックBをそれぞれ射影する。この4ブロックは、図2では斜線(減算した値)または白(加算した値)の4画素の正方形のブロックで示しており、わかりやすいようにステップ102の図の左部に配置し、その反対側には生成される係数を示している。
第1のハールブロックLL1は、低周波要素であることを示す。画像は基本的に局地の外縁によって1つ1つ分離されている同質の領域で構成されているため、画像の一般特性を考慮すると、この低周波要素も強エントロピーのパラメータである。その射影係数は、次の計算によって得られる。
LL1(B)=a2i+a2i+1+b2i+b2i+1
第2のハールブロックHL1は高周波要素であることを示し、さらに正確には、垂直方向に高周波かつ水平方向に低周波の要素である。画像は基本的に局地の外縁によって1つ1つ分離されている同質の領域で構成されているため、画像の一般特性を考慮すると、この高周波要素も弱エントロピーのパラメータである。その射影係数は、次の計算によって得られる。
HL1(B)=a2i+a2i+1−b2i−b2i+1
第3のハールブロックLH1は高周波で弱エントロピーの要素であることを示し、さらに正確には、水平方向に高周波かつ垂直方向に低周波の要素である。その射影係数は、次の計算によって得られる。
LH1(B)=a2i−a2i+1+b2i−b2i+1
第4のハールブロックHH1高周波で弱エントロピーの要素であることを示し、さらに正確には、水平方向に高周波かつ垂直方向に高周波の要素である。その射影係数は、次の計算によって得られる。
HH1(B)=a2i−a2i+1−b2i+b2i+1
前述のハールブロックの基底で正方形のサブブロックBすべてを射影すると、係数は4×8=32となる。高周波で弱エントロピーである24個の係数は保存され(8係数HL1(B)、8係数LH1(B)、8係数HH1(B))、低周波で強エントロピーである8係数LL1(B)は保存されずに次数3の水平射影を実行するステップ104で処理される。図2のステップ102の図では、保存される係数はグレーで示し、保存されない係数は白で示している。
ステップ104では、第1の次数で、L2およびH2で示す2つの1次元ハールブロックで構成される基底で係数{LL1(B2i);LL1(B2i+1)}の各ペアを射影する。図2にはブロックH2のみを、水平方向に配置される2つの「画素」の矩形ブロックで示し、一方を白(加算した値)、もう一方を斜線(減算した値)で示している。このブロックH2は、わかりやすいようにステップ104の左部に配置し、その反対側には生成されて保存される係数を示している。ブロックL2によって生成される係数は、保存されずに水平射影の第2の次数で処理される。これはステップ104を簡略化するために図示しておらず、ブロックL2も同様である。
第1の1次元ハールブロックL2は、低周波で強エントロピーの要素であることを示す。その射影係数は、次の計算によって得られる。
L2(i)=LL1(B2i)+LL1(B2i+1
第2の1次元ハールブロックH2は、高周波で弱エントロピーの要素であることを示す。その射影係数は、次の計算によって得られる。
H2(i)=LL1(B2i)−LL1(B2i+1
前述した1次元ハールブロックの基底で係数{LL1(B2i);LL1(B2i+1)}の4ペアを射影すると8つの係数が得られる。高周波で弱エントロピーの4係数は保存され(4係数H2(i))、低周波で強エントロピーの4係数L2(i)は水平射影の第2の次数で処理される。図2にある図では、保存される係数をグレーで示し、保存されない係数は示していない。
水平射影の第2の次数では、L3およびH3で表記されてL2およびH2と同じであるが2倍の規模で作動する2つの1次元ハールブロックで構成される基底で係数{L2(2i);L2(2i+1)}の各ペアを射影する。図2ではブロックH3のみを、水平方向に配置される2つの「画素」の矩形ブロックで示し、一方を白(加算した値)、もう一方を斜線(減算した値)で示している。このブロックH3は、わかりやすいようにステップ104の左部に配置し、その反対側には生成されて保存される係数を示している。ブロックL3によって生成される係数は、保存されずに水平射影の第3の次数で処理される。これはステップ104を簡略化するために図示しておらず、ブロックL3も同様である。
第1の1次元ハールブロックL3は、低周波で強エントロピーの要素であることを示す。その射影係数は、次の計算によって得られる。
L3(i)=L2(2i)+L2(2i+1)
第2の1次元ハールブロックH3は、高周波で弱エントロピーの要素であることを示す。その射影係数は、次の計算によって得られる。
H3(i)=L2(2i)−L2(2i+1)
前述した1次元ハールブロックの基底で係数{L2(2i);L2(2i+1)}の2ペアを射影すると、4つの係数が得られる。高周波で弱エントロピーの2係数は保存され(係数H3(i)2個)、低周波で強エントロピーの2係数L3(i)は水平射影の第3の次数で処理される。図2にある図では、保存される係数をグレーで示し、保存されない係数は示していない。
水平射影の第3の次数では、L4およびH4で表記されてL3およびH3と同じであるが2倍の規模で作動する2つの1次元ハールブロックで構成される基底で2つの係数L3(0)およびL3(1)を射影する。図2ではブロックH4を、水平方向に配置される2つの「画素」からなる矩形ブロックで示し、一方を白(加算した値)、もう一方を斜線(減算した値)で示している。このブロックH4は、わかりやすいようにステップ104の図の左部に配置し、その反対側には生成されて保存される係数を示している。図2ではブロックL4を、水平方向に配置される2つの白い「画素」からなる矩形ブロックで示している(加算した値)。このブロックL4は、わかりやすいようにステップ104の図の左部に配置し、その反対側には生成されて保存される係数を示している。
第1の1次元ハールブロックL4は、低周波で強エントロピーの要素であることを示す。その射影係数は、次の計算によって得られる。
L4(0)=L3(0)+L3(1)
第2の1次元ハールブロックH4は、高周波で弱エントロピーの要素であることを示す。その射影係数は、次の計算によって得られる。
H4(0)=L3(0)−L3(1)
前述した1次元ハールブロックの基底で2つの係数L3(0)およびL3(1)を射影すると、2つの係数H4(0)およびL4(0)となる。この2つの係数は保存され、図2ではグレーで示している。
結論として、8係数HH1(B)、8係数LH1(B)、8係数HL1(B)、4係数H2(i)、2係数H3(i)、1係数H4(0)および1係数L4(0)、すなわち32係数を保存する。このように、損失のない符号を形成する可逆変換を実行し、強エントロピーで単一の係数を供給し、係数L4(0)は該当するブロックの画素の平均を表す。
図3は、前述した方法を実践するのに考えられるアーキテクチャの一例を示す。
提案したアーキテクチャの第1のステップ40は、「+」のシンボルで示す加算器、「−」のシンボルで示す減算器、および記憶素子を有し、この各記憶素子は1つの係数のサイズを記憶し、「z−1」のシンボルで示している。この第1のステップ40は、前述したようなステップ102、104を実行し、行Bの画素を読み終わるたびに係数HH1(B)、LH1(B)、HL1(B)、H2(i)、H3(i)、H4(0)およびL4(0)(図3およびこれ以降の説明では簡略化のためHH1、LH1、HL1、H2、H3、H4およびL4と表記)を提供する。
従来のように、記憶素子「z−1」を使用する加算器および減算器、すなわち次数3の水平射影を実行し、いわば8つのパラメータに対してハールの水平変換を行う加算器および減算器で供給されるデータも、2次元分割した結果の係数が最終的にもとの画素と同じ係数となるように変換の各次数でサブサンプリングされることがわかる。
次に、各ブロックのこの2次元分割で得られた係数HH1、LH1、HL1、H2、H3、H4およびL4は、損失を伴う符号化を実行する量子化ブロック42で量子化される場合もある。
この量子化ブロック42を出たとき、つまり情報源符号化のステップ40の直後に、係数は、最初の画像を表す2進データ列のサイズの最適化を実行するエントロピー符号化ブロック44を用いて符号変換される。
さらに一般的には、前述の方法は、通信ネットワークからダウンロード可能なコンピュータプログラムおよび/またはコンピュータでの読み取りが可能な媒体に保存されたコンピュータプログラムおよび/またはプログラムコードのインストラクションを含むプロセッサでの実行が可能で、図2を参照しながら説明したステップを実行するコンピュータプログラムによって実践することができる。
この方法は、画像キャプチャ装置のさまざまな箇所に導入することができるが、特に、画像の蓄積を可能にする圧縮素子としてグラフィックスコプロセッサ回路28に導入したり、イメージャ回路22に導入したりすることができる。これは図4に示すように、情報源符号化器30の形態でイメージャ回路22に導入するのが有利である。実際に、この場合は、物理的な電子的リンク24で許容できる伝送レートは大幅に減少する。
図4では、情報源符号化器30は、アナログデジタル変換装置18を出たあとで、伝送用インターフェース20の直前にある。インプリメンテーションのさまざまな変形例によれば、アナログ分野でのインプリメンテーションも可能で、アナログデジタル変換装置18の上流に設置したり、変換装置18の前または後で、画素マトリクス14の列の下にある1つまたは複数の並列素子の状態で考案したりすることもできる。
図4に部分的に示している画像キャプチャ装置は、たとえばデジタルカメラやデジタルビデオカメラ、あるいは遠距離通信またはこのようなカメラや内蔵ビデオを備えるあらゆるデータ処理を行う携帯可能な装置であることがわかる。
前述したような符号化方法によって、1行ずつ順に読み取るモードを備える画像キャプチャ装置から利便性を引き出せることは明らかである。この方法は、このような装置のイメージャ回路22に容易に導入することができる。各ブロックが2行と多数の列を有し、このようなブロックごとに処理を行うには1行のみしか記憶する必要がないため、このイメージャ回路22の蓄積スペースが限られているとしても導入することができる。
ただし、本発明は上記の実施形態に限定されるわけではないことを述べておく。
実際に、さらに一般的には、イメージャ回路22の蓄積スペースが許せば、画素のN−1行を記憶してブロックごとの符号化を実行することが可能である限り、ブロックの行数Nを増加することは可能である。ブロックごとの列数Pを常にNよりも厳密に大きくなるように選択すると、1行ずつ順に読み取るモードに接続している画素の水平方向のコヒーレンスが最良となる利便性を引き出せるという利点が得られると同時に、メモリリソースの使用を最適化することもできる。
逆に、ブロックの垂直寸法を1画素のみに縮小することも可能である。この限られた事例では、垂直射影には恒等関数を適用する(射影次数0、1画素での1次元カーネル)。そのため、画像を圧縮するのに画素の垂直方向のコヒーレンスは使用しないが、さらに少ない蓄積スペースを使用する。
最後に、前述の例では、ハールのウェーブレットによってインプリメンテーションが簡易になるため、このウェーブレットを使用する符号化を提案したが、ほかのウェーブレットまたはDCTによる符号化や矩形ブロックに対してサブバンドでフィルタリングすることによる符号化を検討することも可能である。実際に、本発明はブロックごとに、特に離散関数基底での2次元分割による符号化に限定されるものではなく、各ブロックの所定の離散関数基底での(水平方向および垂直方向に分離可能な)2次元分割を使用する一般的な方法で、ブロックごとに行うあらゆる符号化に適用される。
第2の局面:情報源符号化で生じたパラメータのエントロピー符号化
前述したブロックごとの符号化は、各ブロックのN×P画素をN×P係数に変換する。その最大の目的は、あらゆる情報源符号化と同じく、画素の空間的冗長度を利用して統計的に偶発性の高いN×P画素を統計的に非常に予測しやすいN×P係数に変換することである。実際に、前述の例でみたとおり、情報源符号化のステップ40で供給された32の係数HH1、LH1、HL1、H2、H3、H4およびL4のうち、係数L4のみが高いエントロピーであった。エントロピー符号化器を用いることによって、損失があってもなくても画像の圧縮が可能となる。
エントロピー符号化の目的は、出現確率が変化する固定サイズの係数を可変サイズのデジタル語に変換することである。所定の方法では、最も出現確率の高い係数値は小さいビット数で符号化されるが、逆に最も出現確率の低い係数値は大きいビット数で符号化される。
次に、もとの信号を無相関化した情報源符号化に適応させたエントロピー符号化方法の例のなかでもとりわけ本発明によるブロックごとの符号化方法に適応させた例を詳細にみていく。
統計的に、現実世界の相関化したサンプルの差、たとえば画像、映像または音声の信号の連続するサンプル間の差から生じる信号は、ゼロに近い係数を供給することが多く、絶対値でゼロから離れることはさらに稀である。DCTタイプのブロックごとの符号化またはデジタル画像のウェーブレットによる符号化から生じる係数は、一般にこの特性を検証するものである。したがって、符号変換する係数の値がゼロに近いほど小さいビット数を割り当てるあらゆるタイプのエントロピー符号は、特にこのような信号に適応される。
再度図3を見ると、情報源符号化40のステップ、または場合によっては量子化ブロック42で供給される2進データ列は、一連の符号語で構成され、各語は符号ビットおよびあらかじめ定められた一定のビット数を有して対応する係数の値を決定する。
この2進データ列を変換するのに適応させたエントロピー符号の例を以下に示す。
− 符号語の値がゼロであれば、エントロピー符号は2つのビットを変換した符号語を割り当て、第1のビットに「1」、第2のビットに語の符号値に変換した語を割り当てる。
− 符号語の値がゼロでなければ、最も重みの大きい「1」のビットの位置を決定し、その結果エントロピー符号は、決定したこの位置に対応する「0」のビット数、「1」のビット、符号語の符号ビット、および最も重みの大きい「1」のビットよりも重みの小さい符号語のビットを連結することによって得られる変換後の符号語を割り当てる。
換言すると、このエントロピー符号化は、固定サイズの符号語に対して最も重みの大きい「1」のビットの位置およびその符号を可変サイズの符号を用いて符号化したのち、重みの大きいこの「1」のビットよりも重みの小さい符号語のビットを可変サイズの符号に連結させることである。
さらに具体的には、このエントロピー符号の原理は下表のようになり、表中Sは変換する2進符号語の符号ビットを表す。
Figure 2012502536
変換した各符号語に対し、最初の「1」の前にある「0」の数によって変換後の完全な符号語のサイズが決定されることが確認される。変換した符号語は、変換した2進データ列を続けて読み取ったものであれば分離することができる。
このエントロピー符号化は、2進符号語に対して実行される2進論理演算によるものである。したがって、当業者は、2進符号語のうちの2つの補数に対して補足的な2進論理演算を実行することからなるこの符号の変形例でも同じように作動することがわかるだろう。同じく、前述の例では、ビット数がこの位置に対応する「0」のビットを用いて最も重みの大きい「1」のビットの位置を符号化する規定によって選択した。当業者は、別の規定を選択することによって成り立つこの符号の変形例も同じように作動することがわかるだろう。
よって、このエントロピー符号は、
− 符号語が、すべて同一のビットで構成されていなければ、最も重みの小さいそのビット(基準ビット)を決定し、このビットを基点として符号語よりも重みの大きいビットはすべて同一であるため、エントロピー符号が、所定の同じ値を持つビット数(この数は決定した位置に対応)、所定の同じ値に追加した値を持つビット、符号語の符号に応じて定義されるビット、および基準ビットよりも重みの小さい符号語のビットを連結させることによって得られた変換後の符号語を割り当て、
− 符号語が、すべて同一のビットで構成されていれば、エントロピー符号が、2つのビットを変換した符号語を割り当て、第1のビットに追加の値、第2のビットには符号語の符号に応じて定義される値を割り当てる一般のステップを含む同等のエントロピー符号系の一部であると定義することができる。
本発明の第1の局面で紹介した符号化方法に特別に適用させたが、このエントロピー符号化は、特に、処理されていない実際の画像から得られた係数の重みの小さいビットに存在するノイズが原因で、実際の画像からとった統計の実際の可変性には対応しにくい。
エントロピー符号化の性能を向上させるため、ノイズに埋もれると考える重みの小さいビット数であるノイズBの閾値を定義し、無相関化した画像信号の最適な統計の検証は行わないパラメータBを使用する。
このパラメータBを基に、変換する符号語で構成される第1の2進データ列を、前述のエントロピー符号を使用して圧縮した第2の2進データ列に変換して第1の2進データ列の各語を変換後の符号語に変換するという新たなエントロピー的符号変換方法を定義する。第1の2進データ列の符号語のノイズレベルを表す重みの小さいビット数Bをベースに、第1の2進データ列の各符号語に、
− 符号語を第1のサブ符号語と第2のサブ符号語に細分化し、第1のサブ符号語がノイズに埋もれたと考えられる符号語の重みの小さいBビットを有し、第2のサブ符号語が符号語の重みの大きい別のビットを有するステップと、
− 変換後の第2のサブ符号語を得るために第2のサブ符号語に前述のエントロピー符号を適用するステップと、
−変換後の第1のサブ符号語と第2のサブ符号語の連結によって最終的に変換される符号語を得るステップとを適用する段階を含む。
したがって、各符号語の重みの小さい第1のビットBは、エントロピー符号の適用に適応させた統計を検証しないものとして考えられ、符号語の重みの大きい部分にしか適用されないこの符号化からは除外されてエントロピー符号の使用が最適化されるようになる。
B=3に対しては、例として上に挙げたエントロピー符号に対するこの改良を適用させると、具体的には下の符号変換表のようになり、表中のシンボルbは、ノイズに埋もれたと考えられるビットを示す。
Figure 2012502536
この改良は当然、画像、映像または音声からの実際の信号を無相関化して生じた1連の2進データの符号変換に適応させた別のエントロピー符号にも同じように適用させることができる。
Bの数は該当する2進データ列のそれぞれに対して、このデータ列の統計パラメータに応じて決定することが有利であるが、必ずしもそうする必要はない。こうすることによって符号変換を有利に適応させることになる。2進データ列を符号変換したのち、Bの数は変換したデータ列とともに供給されて信号の逆変換が可能になる。
たとえば、2進データ列の符号語のノイズレベルを表す重みの小さいビット数Bは、この2進データ列の符号語のうち最も重みの大きい「1」のビットの位置の平均の整数部分として選択される。
補足的または規定による2進論理では、Bは2進データ列の符号語のうち最も重みの大きい「0」のビットの位置の平均の整数部分として選択することができる。
したがって、さらに一般的に表現すると、Bはこの2進データ列の符号語のうち基準ビットの位置の平均の整数部分として選択される。
実際には、符号変換ブロック44は、図5に示したような方法を実践するようにすることができる。
第1のステップ200では、符号変換ブロック44は第1の2進データ列の形態で、ブロック42によって量子化した係数で構成される場合もある情報源符号化ステップ40で符号化したデジタル画像を受信する。
次のステップ202では、この第1の2進データ列の符号語に対して統計的計算を実行し、この符号語のうち最も重みの大きい「1」のビットの位置の平均の整数部分としてBの値を決定する。純粋に例として、Bはたとえば2と推算される。
次のステップ204では、第1の2進データ列の符号語全体に対して反復ループを開始し、各符号語を変換する。符号語はそれぞれ、たとえば1つの符号ビットsおよび1つの係数の値を定義する2つのビットなどで構成される。純粋に符号語「s0000010110」は例として考える。
次のステップ206では、この符号語は2つのサブ符号語に分割される。第1のサブ符号語は、ノイズに埋もれたと考えられる符号語の最も重みの小さいB=2ビットを有し、この場合は「10」となる。第2のサブ符号語は、符号語の重みの大きい別のビットおよび符号ビットsを有し、「s00000101」となる。
次のステップ208では、前述したエントロピー符号化を第2のサブ符号語に適用する。最も重みの大きい「1」のビットの位置は3であり、エントロピー符号化によって、「0」の3ビット、「1」のビット、符号ビットs、および最も重みの大きい「1」のビットよりも重みの小さい第2のサブ符号語の連結により得られた変換後の第2のサブ符号語が割り当てられる。これよって変換後の第2のサブ符号語は「0001s01」となる。
最後に、ステップ210では、符号語「s0000010110」に相当する変換後の符号語は、変換後の第2のサブ符号語と第1のサブ符号語の連結によって得られる。これは最終的に「0001s0110」となる。
第1の2進データ列の符号語がすべて変換されていない限り、ステップ204を再度繰り返す。
すべて変換されていれば、最終ステップ212に移り、変換後の符号語で構成される変換後の第2の2進データ列と、所定のビット数に対して符号化したBの値とを供給して符号変換を終了する。Bと変換後の第2の2進データ列を伝送すれば、無相関化した信号の係数を得ることができる。
図6は、前述のエントロピー符号を適用する場合に、符号変換ブロック44を使用するのに考えられるアーキテクチャの一例を示している。
提案しているアーキテクチャは、連なって配置される2つのシフトレジスタ50および52を有する。各シフトレジスタは、最初のセルを除いて、前のセルの出力部「out」に連結する入力部「in」を有するセルからなる。さらに、第2のシフトレジスタ52の最初のセルの入力部「in」は、第1のシフトレジスタ50の最後のセルの出力部に連結している。
各シフトレジスタの各セルはさらに、クロック信号供給回路54に連結し、この回路によって、out(k)=in(k−1)の関係に応じてクロックkごとに各セルの入力部に出力部に対する桁上げが生じてレジスタ50および52の内容を順に読み取る。最後に、元の方法により、各シフトレジスタの各セルは、このセルがたとえば「1」のときに短絡することが可能となる追加の制御入力部を有する。換言すると、この短絡が1つのセルに対して作動すると、out(k)=in(k)およびこのセルによってもたらされた値は読み取られない。
図6に示した特殊なアーキテクチャは、10ビットの符号語および1符号ビットの符号語の変換に適応される。このアーキテクチャは符号語「s0000010110」を処理する特殊な場合であり、その符号変換は前述のとおりである。
第1のシフトレジスタ50は、処理する符号語の値のビット数と同数のセル、つまり10個のセルを有する。このセルは符号語の値でロードされ、最初のセルは最も重みの小さいビットを有し、最後のセルは最も重みの大きいビットを有する。
第2のシフトレジスタ52は、第1のシフトレジスタのほかに2つのセルを有する。その最初の2つのセルはそれぞれ符号語の符号ビットおよび「1」でロードされる。あとの10個のセルは「0」でロードされる。
当然ながら、補足の論理または選択した規定では、使用したエントロピー符号化の変形例に応じてレジスタのセルの値を適応させる。
第1のシフトレジスタ50の10個のセルの制御入力部は、それぞれ第1の短絡の符号語M1から10ビットを取り込む。第2のシフトレジスタ52の「0」でロードされた10個のセルの制御入力部は、それぞれ第2の短絡の符号語M2から10ビットを取り込む。
第1および第2の符号語M1およびM2は、Bの値および変換する符号語の最も重みの大きい「1」のビットのnの位置を基に定義される。
そのため、第1の中間語Mi1を2進形式および10ビットで値2−1と定義する。たとえば、Bの値が2であれば、Mi1の値は「0000000011」となる。また、第2の中間語Mi2も2進形式および10ビットで値2−1と定義する。たとえば、符号語「s0000010110」に対しては、nの値は5である。よってMi2の値は「0000011111」となる。また、Mi2/2の値は「0000001111」であることもわかり、これはMi2の重みの小さいビットの方へ1つシフトさせたものに相当する。
実際には、第2の中間語Mi2は変換する符号語から容易に得られる。最も重みの大きいビットを、変換する符号語の最も重みの大きいビット値にし、変換する符号語のn番目のビットとn−1番目のビットとの間を論理和(OR)の関係を用いて重みの小さいビットに向かって繰り返し下がり、n−1番目のビット値を決定する。
第1の符号語M1は、次の論理的関係によって定義される。
M1=NOT(Mi2/2 OR Mi1)。
図6に示す例では、以下のようになる。
M1=NOT(「0000001111」OR「0000000011」)、
M1=NOT(「0000001111」)、M1=「1111110000」。
第2の符号語M2は、次の論理的関係によって定義される。
M2=(NOT Mi2)OR Mi1。
図6に示す例では、以下のようになる。
M2=(NOT「0000011111」)OR「0000000011」、
M2=「1111100000」OR「0000000011」、
M2=「1111100011」。
図6では、符号語M1およびM2は、左から右に向かってビットの重みが増加するように示している。「1」のビットがあるごとに、グレーで示した該当セルを短絡する。2つの連続するシフトレジスタによって伝送されていないグレーのセルの値は、第2のレジスタ52の最後のセルを第1のレジスタ50の最初のセルまで上げると、第2のシフトレジスタ52の出力部から順に供給された変換後の符号語は、この例では値「0001s0110」となることがわかる。
前述したようなエントロピー符号化を使用することによる符号語変換を改良した方法は、無相関化した値を持つがノイズの入っている2進データ列が存在するとしても、高性能を維持できることは明らかである。
さらに、Bの値が2進データ列を抽出した統計データを基に自動計算されると、この符号変換方法はそれに適応するようになり、これは特に有利な点である。パラメータBが十分小さい値を取るようにすると(つまり、ノイズレベルを先験的にノイズに埋もれたビット数に量子化する)、このパラメータをさらに小さいビット数(たとえば3)に対して符号化することができる。よって、この符号変換方法に適応特性を追加した分は問題にならない。また、Bの値は特別な統計計算をしなくても先験的に決定することができることもわかる。
つまり、重要な点は、図5および図6を参照して説明した本発明の第2の局面は、本発明によるブロックごとの符号化方法に適用され、特に図1〜図4(本発明の第1の局面)を参照して説明した実施形態に適用されることが有利であるという点である。
ただし、当業者は、本発明による第1の局面の方法によって必然的に符号化したデータを入力部に供給することなく実践することができる限り、本発明の第2の局面が第1の局面とは別のものであることは理解できるであろう。本方法は、ブロックごとに符号化するほかの方法にも有利なように適用することができ、たとえば先行技術に記載の方法など、最初に強く相関化していた画像、映像または音声の信号を最終的に無相関化する方法に適用することができる。
逆に、本発明の第1の局面に沿って説明した符号化方法は、必ずしもこの符号変換方法を含む必要はなく、周知の符号変換方法を使用してもよい。

Claims (10)

  1. 複数の離れたブロックで構成される画素のラスターイメージのブロックごとの符号化方法(14)であって、n画素を垂直方向に分割する1次元カーネルとp画素を水平方向に分割する1次元カーネルとを組み合わせて適用することによって所定の離散関数基底(LL1、HL1、LH1、HH1、L2、H2、L3、H3、L4、H4)でこの画像のブロックを連続的に2次元分割するステップ(100、102、104)を含み、前記ブロックの水平方向は、1行ずつ順に読み取るモードおよび/または伝送するモードでのラスターイメージの行の方向であると定義し、
    − 各ブロックの横の画素数を表す水平寸法Pは、pの倍数であるためP=k.pと定義し、解像度log(P)での分割を水平方向に分割する1次元カーネルを用いて実行し、
    − 各ブロックの縦の画素数をN表す垂直寸法Nは、nの倍数であるためN=l.nと定義し、解像度log(N)での分割を垂直方向に分割する1次元カーネルを用いて実行する符号化方法において、
    所与のnおよびpの値に対し、前記垂直寸法Nが前記水平寸法Pよりも厳密に小さくなるように前記kおよびlの値を選択することを特徴とする符号化方法。
  2. 水平方向および垂直方向に分割する1次元カーネルn=p=2が、ウェーブレットに分解するハール離散関数である、請求項1に記載の符号化方法。
  3. 前記ラスターイメージブロックの前記2次元分割が、解像度1での垂直方向の分割と、解像度log(k)+1での水平方向の分割との組み合わせを含み、前記垂直寸法がN=2画素で前記水平寸法がP=2.k画素のブロックに実行する、請求項2に記載の符号化方法。
  4. 前記各ブロックが、一辺が4画素の正方形となる互いに連続するk個のサブブロック(B)で構成され、前記ラスターイメージブロックのいずれか1つの2次元分割が、垂直方法と水平方向に分割する1次元カーネルを組み合わせるハールの2次元カーネルを用いてk個のサブブロックをそれぞれ変換したのち(102)、水平方向に分割する(104)1次元カーネルを用いて解像度log(k)で水平方向に分割し、該分割をk個のサブブロックを変換して得られた強力なエントロピーを有するk個の要素に適用する、請求項3に記載の符号化方法。
  5. 前記符号化方法がさらに
    − 画像ブロックを連続的に2次元分割する前記ステップ(100、102、104)に続いて、符号変換する語で構成される第1の2進データ列を供給するステップ(200)と、
    − 所定の可変長符号のエントロピー符号を用いて(208)、第1の2進データ列を圧縮した第2の2進データ列にエントロピー的に符号変換し(202、204、206、208、210、212)、前記第1の2進データ列の各符号語を変換後の符号語に変換するステップ
    とを含み、
    前記第1の2進データ列の符号語のノイズレベルを表すものと考える重みの小さいビット数をBと表記する所定数をベースとして、前記第1の2進データ列の各符号語に、
    − 符号語を第1および第2のサブ符号語に細分化して(206)、前記第1のサブ符号語が符号語の重みの小さいBビットを有し、前記第2のサブ符号語が符号語の重みの大きい別のビットを有するようにするステップと、
    − 所定のエントロピー符号を前記第2のサブ符号語に適用して変換後の第2のサブ符号語を得るステップ(208)と、
    − 前記変換した第1のサブ符号語と第2のサブ符号語を連結させることによって前記変換後の符号語を得るステップ(210)とを適用する段階を含む、請求項1〜4のいずれか一項に記載の符号化方法。
  6. 前記符号化方法がさらに、最初の行から最終行まで1行ずつ画像の画素値を順に読み取り、N行とP列からなる少なくとも1つのブロックを有する連続するN行を読み取る間に、この少なくとも1つのブロックの2次元分割(102、104)を実行するステップ(100)を含む、請求項1〜5のいずれか一項に記載の符号化方法。
  7. 前記符号化方法がさらに、連続するN行を読み取る間に、
    − 連続する最初のN−1行を読み取り、記憶するステップ(100)と、
    − N番目の行のデータを取得する間に、該行の少なくとも1つのブロックの2次元分割を実行するステップ(102、104)
    とを含む、請求項6に記載の符号化方法。
  8. 最初の行から最後の行まで1行ずつ画像の画素値を順に読み取る手段(22)を有する画像キャプチャ装置であって、請求項6または7に記載の符号化方法のステップを実行するように想定した符号化手段(30)を有することを特徴とする画像キャプチャ装置。
  9. 画像を取り込み、取り込んだこの画像をアナログデジタル変換するためのイメージャ回路(22)と、該イメージャ回路(22)とは別に、取り込んだ画像をデジタル処理するために前記イメージ回路に電子的に連結しているコプロセッサ回路(28)とを有することができ、符号化手段(30)が前記イメージャ回路(22)に搭載される、請求項8に記載の画像キャプチャ装置。
  10. 通信ネットワークからダウンロード可能なコンピュータプログラムおよび/またはコンピュータでの読み取りが可能な媒体に保存されたコンピュータプログラムおよび/またはプロセッサでの実行が可能なコンピュータプログラムであって、該プログラムをコンピュータ上で実行する際に、請求項1〜7のいずれか一項に記載の符号化方法のステップを実行するコンピュータプログラム。
JP2011525601A 2008-09-05 2009-09-04 画素のラスターイメージのブロックごとの符号化方法、そのコンピュータプログラムおよびその画像キャプチャ装置 Expired - Fee Related JP5534247B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0804892A FR2935864B1 (fr) 2008-09-05 2008-09-05 Procede de codage par blocs d'une image matricielle de pixels, programme d'ordinateur et dispositif de capture d'images correspondants
FR0804892 2008-09-05
PCT/FR2009/051677 WO2010026350A1 (fr) 2008-09-05 2009-09-04 Procede de codage par blocs d'une image matricielle de pixels, programme d'ordinateur et dispositif de capture d'images correspondants

Publications (2)

Publication Number Publication Date
JP2012502536A true JP2012502536A (ja) 2012-01-26
JP5534247B2 JP5534247B2 (ja) 2014-06-25

Family

ID=40622102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011525601A Expired - Fee Related JP5534247B2 (ja) 2008-09-05 2009-09-04 画素のラスターイメージのブロックごとの符号化方法、そのコンピュータプログラムおよびその画像キャプチャ装置

Country Status (5)

Country Link
US (1) US8531544B2 (ja)
EP (1) EP2327217B1 (ja)
JP (1) JP5534247B2 (ja)
FR (1) FR2935864B1 (ja)
WO (1) WO2010026350A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9270895B2 (en) 2013-07-31 2016-02-23 Massachusetts Institute Of Technology Methods and apparatus for true high dynamic range imaging
US9866770B2 (en) 2015-10-21 2018-01-09 Massachusetts Institute Of Technology Methods and apparatus for true high dynamic range (THDR) time-delay-and-integrate (TDI) imaging
KR20210046002A (ko) 2018-09-07 2021-04-27 주식회사 윌러스표준기술연구소 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
US11064219B2 (en) * 2018-12-03 2021-07-13 Cloudinary Ltd. Image format, systems and methods of implementation thereof, and image processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949912A (en) * 1996-06-28 1999-09-07 Oki Electric Industry Co., Ltd. Image coding method and apparatus
JP2004260801A (ja) * 2003-01-10 2004-09-16 General Electric Co <Ge> 非2進ウェーブレット変換を行う方法及び装置
JP2008028541A (ja) * 2006-07-19 2008-02-07 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
JP2012502537A (ja) * 2008-09-05 2012-01-26 コミサリアト ア レネルジー アトミクー エ オ エネルジーズ アルタナティヴズ 第1の2進データ列を圧縮した第2の2進データ列にエントロピー的に符号変換する方法、そのコンピュータプログラムおよびその画像キャプチャ装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757438B2 (en) * 2000-02-28 2004-06-29 Next Software, Inc. Method and apparatus for video compression using microwavelets
JP4618676B2 (ja) * 2005-04-28 2011-01-26 株式会社リコー 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
FR2887711A1 (fr) 2005-06-23 2006-12-29 Thomson Licensing Sa Procede de codage et decodage hierarchique

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949912A (en) * 1996-06-28 1999-09-07 Oki Electric Industry Co., Ltd. Image coding method and apparatus
JP2004260801A (ja) * 2003-01-10 2004-09-16 General Electric Co <Ge> 非2進ウェーブレット変換を行う方法及び装置
JP2008028541A (ja) * 2006-07-19 2008-02-07 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
JP2012502537A (ja) * 2008-09-05 2012-01-26 コミサリアト ア レネルジー アトミクー エ オ エネルジーズ アルタナティヴズ 第1の2進データ列を圧縮した第2の2進データ列にエントロピー的に符号変換する方法、そのコンピュータプログラムおよびその画像キャプチャ装置

Also Published As

Publication number Publication date
FR2935864A1 (fr) 2010-03-12
JP5534247B2 (ja) 2014-06-25
EP2327217A1 (fr) 2011-06-01
US20110141310A1 (en) 2011-06-16
US8531544B2 (en) 2013-09-10
WO2010026350A1 (fr) 2010-03-11
EP2327217B1 (fr) 2012-07-04
FR2935864B1 (fr) 2011-07-01

Similar Documents

Publication Publication Date Title
CN103891280B (zh) 用于确定视频数据的上下文模型的方法和系统
CN110612722B (zh) 对数字光场图像编码和解码的方法和设备
Zhao et al. Light field image compression based on deep learning
JP5534247B2 (ja) 画素のラスターイメージのブロックごとの符号化方法、そのコンピュータプログラムおよびその画像キャプチャ装置
Aulí-Llinàs et al. Lossy-to-lossless 3D image coding through prior coefficient lookup tables
US20240080481A1 (en) Sparse matrix representation using a boundary of non-zero coefficients
EP3456044B1 (en) Method and device for context-adaptive binary arithmetic coding or decoding a sequence of binary symbols representing a syntax element related to video data
US20180205962A1 (en) Method and apparatus for encoding and decoding images
CN108810534A (zh) 物联网下基于方向提升小波及改进spiht的图像压缩方法
JP2000341689A (ja) ウェーブレット逆変換装置及び方法、並びにウェーブレット復号装置及び方法
US20150156517A1 (en) Image encoding system and method thereof
JP5527556B2 (ja) 第1の2進データ列を圧縮した第2の2進データ列にエントロピー的に符号変換する方法、そのコンピュータプログラムおよびその画像キャプチャ装置
US8787686B2 (en) Image processing device and image processing method
Kim et al. A lossless color image compression method based on a new reversible color transform
WO2023197032A1 (en) Method, apparatus and system for encoding and decoding a tensor
US8861880B2 (en) Image processing device and image processing method
CN110710219B (zh) 用于系数代码化的上下文推导的方法和设备
CN109819251B (zh) 一种脉冲阵列信号的编解码方法
CN117321989A (zh) 基于神经网络的图像处理中的辅助信息的独立定位
CN113785565B (zh) 视频编解码的方法和系统
EP4294017A1 (en) Method for image encoding
US20110091119A1 (en) Coding apparatus and coding method
WO2023197031A1 (en) Method, apparatus and system for encoding and decoding a tensor
WO2023197029A1 (en) Method, apparatus and system for encoding and decoding a tensor
WO2023197030A1 (en) Method, apparatus and system for encoding and decoding a tensor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131210

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

R150 Certificate of patent or registration of utility model

Ref document number: 5534247

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140415

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees