JP2015053590A - 画像符号化装置および画像符号化方法 - Google Patents

画像符号化装置および画像符号化方法 Download PDF

Info

Publication number
JP2015053590A
JP2015053590A JP2013185124A JP2013185124A JP2015053590A JP 2015053590 A JP2015053590 A JP 2015053590A JP 2013185124 A JP2013185124 A JP 2013185124A JP 2013185124 A JP2013185124 A JP 2013185124A JP 2015053590 A JP2015053590 A JP 2015053590A
Authority
JP
Japan
Prior art keywords
pixel value
encoder
compressed
input
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013185124A
Other languages
English (en)
Inventor
慎太郎 中山
Shintaro Nakayama
慎太郎 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Display Co Ltd
Original Assignee
Samsung Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Display Co Ltd filed Critical Samsung Display Co Ltd
Priority to JP2013185124A priority Critical patent/JP2015053590A/ja
Priority to KR20140105340A priority patent/KR20150028716A/ko
Priority to US14/478,026 priority patent/US9319691B2/en
Publication of JP2015053590A publication Critical patent/JP2015053590A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】本発明はブロックノイズの影響を抑えつつ画像データを圧縮することを目的とする。
【解決手段】複数の入力画素値をブロック単位で圧縮して出力する第1ブロックエンコーダを有し、第1ブロックエンコーダは、ブロックの先頭の第1入力画素値を出力し、ブロックに含まれる第1入力画素値以外の第2入力画素値を第1入力画素値よりもビット数の少ない第2圧縮画素値に圧縮して出力する第1エンコーダと、を有することを特徴とする画像符号化装置。
【選択図】図2B

Description

本発明は、画像データを符号化する技術に関する。
表示パネルを駆動するときは、表示パネルの画素数および表示の階調数に応じた容量のフレームメモリが用いられる。表示パネルの表示品質を向上させるために、特に、携帯電話、スマートフォンなどに用いられる表示パネルにおいては、高精細化などが進んでいる。そのため、フレームメモリの容量についても増加することになり、コストの増加につながっていた。そこで、コスト低減のため、フレームメモリの容量を削減する試みがなされている。また、携帯電話、スマートフォンなどに用いられる表示パネルでは、部分的にフレームメモリを書き換える機能が要求されている。そのため、画像を固定長のブロックに分割して、ブロックごとに圧縮・展開を行う技術が開発されている。例えば、特許文献1では、ブロック毎の圧縮・展開を行う技術が開示されている。
特開2010−11386号公報
一方で、ブロックごとに圧縮・展開を行うと、画像劣化が発生しやすい問題があった。特に、ブロックの先頭の画素のデータが元のデータから大きくずれてしまうことに起因したブロックノイズの影響で、画像を拡大したときにブロック間の境界が目立ってしまう問題があった。そのため、ブロックノイズを低減し、画像データの圧縮率を高めつつブロックノイズの影響が小さい高品質の圧縮方法が望まれている。
本発明はブロックノイズの影響を抑えつつ画像データを圧縮することを目的とする。
本発明の一実施形態に係る画像符号化装置は、複数の入力画素値をブロック単位で圧縮して出力する第1ブロックエンコーダを有し、第1ブロックエンコーダは、ブロックの先頭の第1入力画素値を出力し、ブロックに含まれる第1入力画素値以外の第2入力画素値を第1入力画素値値よりもビット数の少ない第2圧縮画素値に値に圧縮して出力する第1エンコーダを有する。
複数の入力画素値をブロック単位で圧縮して出力する第1ブロックエンコーダを有し、第1ブロックエンコーダは、ブロックの先頭の第1入力画素値を第1圧縮画素値に圧縮して出力する第2エンコーダと、ブロックに含まれる第1入力画素値以外の第2入力画素値を第1圧縮画素値よりもビット数の少ない第2圧縮画素値に圧縮して出力する第1エンコーダと、を有する。
この画像符号化装置によれば、ブロックノイズの影響を抑えつつ画像データを圧縮することができる。
また、別の好ましい態様において、第2のエンコーダは、第2入力画素値と参照する画素値との差分を量子化してもよい。
また、別の好ましい態様において、参照する画素値はブロックの先頭の第1圧縮画素値が復号化された復号化画素値を含んでもよい。
また、別の好ましい態様において、第2のエンコーダは、第2入力画素値を直接量子化してもよい。
この画像符号化装置によれば、ブロックノイズの影響を抑えつつ、さらに劣化の小さい画像データを圧縮することができる。
また、別の好ましい態様において、第1ブロックエンコーダとは異なる方式で、複数の入力画素値をブロック単位で圧縮して出力する第2ブロックエンコーダと、第1ブロックエンコーダによって圧縮・復号化された復号化画素値と前記第1ブロックエンコーダに入力された入力画素値との誤差と、第2ブロックエンコーダによって圧縮・復号化された復号化画素値と前記第2ブロックエンコーダに入力された入力画素値との誤差と、を比較して、誤差が小さいブロックエンコーダから出力された圧縮画素値を選択して出力する第1マルチプレクサと、を有してもよい。
また、別の好ましい態様において、第1ブロックエンコーダは、第2入力画素値をそれぞれが異なる方法で第2圧縮画素値に圧縮して出力する複数の第1エンコーダと、第1エンコーダから出力された、第2圧縮画素値が復号化された第2復号化画素値と第2入力画素値との誤差を前記第1エンコーダ別に比較して、最も誤差が小さい前記第1エンコーダから出力された圧縮画素値を選択して出力する第2マルチプレクサに接続されてもよい。
また、別の好ましい態様において、第2ブロックエンコーダは、第3入力画素値をそれぞれが異なる方法で第3圧縮画素値に圧縮して出力する複数の第3エンコーダを有し、第3エンコーダから出力された複数の第3圧縮画素値が復号化された複数の第3復号化画素値と第3入力画素値との誤差を前記第3エンコーダ別に比較して、最も誤差が小さい前記第3エンコーダから出力された圧縮画素値を選択して出力する第3マルチプレクサに接続されてもよい。
この画像符号化装置によれば、多様な画像データに対しても、ブロックノイズの影響を抑えつつ、劣化の小さい画像データを圧縮することができる。
本発明の一実施形態に係る画像データの符号化方法は、複数の入力画素値をブロック単位で符号化する方法において、第1ブロックエンコーダによってブロックの先頭の第1入力画素値を出力し、第1エンコーダによってブロックに含まれる第1入力画素値以外の第2入力画素値を第1圧縮画素値よりもビット数の少ない第2圧縮画素値に圧縮して出力する。
本発明の一実施形態に係る画像データの符号化方法は、複数の入力画素値をブロック単位で符号化する方法において、第2エンコーダによってブロックの先頭の第1入力画素値を第1圧縮画素値に圧縮して出力し、第1エンコーダによってブロックに含まれる第1入力画素値以外の第2入力画素値を第1圧縮画素値よりもビット数の少ない第2圧縮画素値に圧縮して出力する。
この画像符号化装置によれば、ブロックノイズの影響を抑えつつ画像データを圧縮することができる。
本発明によれば、ブロックノイズの影響を抑えつつ画像データを圧縮することができる。
本発明の第1実施形態に係る表示装置1の構成を示す概略図である。 本発明の第1実施形態に係る圧縮器10の構成を示すブロック図である。 本発明の第1実施形態に係る1ブロック分の圧縮画素値を示す図である。 本発明の第1実施形態に係るノーマルエンコーダ120の構成を示すブロック図である。 本発明の第1実施形態に係るランダムエンコーダ130の構成を示すブロック図である。 本発明の第1実施形態に係る画像データの画素値の入力順の例を説明する図である。 本発明の第1実施形態に係るノーマルエンコーダ120におけるダイレクトモードエンコードの例を説明する図である。 本発明の第1実施形態に係るノーマルエンコーダ120におけるバックワードリファレンスモードエンコードの例を説明する図である。 本発明の第1実施形態に係るノーマルエンコーダ120におけるグレーモードエンコードの例を説明する図である。 本発明の第1実施形態に係るノーマルエンコーダ120におけるフォワードリファレンスモードエンコードの例を説明する図である。 本発明の第1実施形態に係るノーマルエンコーダ120におけるリニア2モードエンコードの例を説明する図である。 本発明の第1実施形態に係るノーマルエンコーダ120におけるパターン2モードエンコードの例を説明する図である。 本発明の第1実施形態に係るノーマルエンコーダ120におけるパターン3モードエンコードの例を説明する図である。 本発明の第1実施形態に係るノーマルエンコーダ120におけるリニア4モードエンコードの例を説明する図である。 本発明の第1実施形態に係るノーマルエンコーダ120におけるリセットリニア4モードエンコードの例を説明する図である。 本発明の第1実施形態に係るノーマルエンコーダ120におけるパターン4モードエンコードの例を説明する図である。 本発明の第1実施形態に係るノーマルエンコーダ120におけるターミナルモードエンコードの例を説明する図である。 本発明の第1実施形態に係るランダムエンコーダ130におけるダイレクトモードエンコードの例を説明する図である。 本発明の第1実施形態に係るランダムエンコーダ130におけるバックワードリファレンスモードエンコードの例を説明する図である。 本発明の第1実施形態に係る4ビットへの直接量子化において用いられる量子化テーブルの例を説明する図である。 本発明の第1実施形態に係る3ビットへの直接量子化において用いられる量子化テーブルの例を説明する図である。 本発明の第1実施形態に係るノーマルエンコーダにおける2ビットへの差分量子化において用いられる量子化テーブルの例を説明する図である。 本発明の第1実施形態に係るノーマルエンコーダにおける3ビットへの差分量子化において用いられる量子化テーブルの例を説明する図である。 本発明の第1実施形態に係るランダムエンコーダにおける2ビットへの差分量子化において用いられる量子化テーブルの例を説明する図である。 本発明の第1実施形態に係るランダムエンコーダにおける3ビットへの差分量子化において用いられる量子化テーブルの例を説明する図である。 本発明の第1実施形態に係るシフト演算の演算方法を示すブロック図である。 本発明の第1実施形態に係る伸長器30の構成を示すブロック図である。
以下、本発明の実施形態に係る表示装置について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。
<第1実施形態>
本発明の第1実施形態に係る表示装置について、図面を参照しながら詳細に説明する。
[全体構成]
図1は、本発明の第1実施形態に係る表示装置1の構成を示す概略図である。表示装置1は、スマートフォン、携帯電話、パーソナルコンピュータ、テレビなどにおいて画像を表示する装置であり、例えば有機ELディスプレイ、液晶ディスプレイなどである。表示装置1は、圧縮器10、フレームメモリ20、伸長器30、駆動部40および表示パネル50を有する。圧縮器10、伸長器30および駆動部40については、その一部または全部が、CPU(Central Processing Unit)などにより実行されるプログラムによりソフトウェア上で実現されてもよいし、ハードウェア上で実現されてもよい。
表示装置1に表示する画像の各画素の画像データを表す画素値が入力され、この入力画素値に基づく画像が表示パネル50に表示される。表示パネル50は複数の画素(例えば、m×nのマトリクス)を有する。この例では、各画素は、R(赤)、G(緑)、B(青)の3色のサブ画素により構成されている。入力画素値において各画素は24ビット(R、G、B各8ビット)で規定されている。なお、この例では24ビットとしているが、より少ないビット数(例えば18ビットなど)であってもよいし、多いビット数(例えば30ビット、48ビットなど)であってもよい。
図1に示すように、入力画素値が圧縮器10に入力されて圧縮され、圧縮された圧縮画素値がフレームメモリ20に記憶される。この例では、16画素の入力画素値を1ブロックとして、各ブロックで圧縮が行われる。24ビット×16画素=384ビットを1ブロック分の入力画素値として、192ビットに圧縮される。すなわち、半分の容量に圧縮される。フレームメモリ20に記憶された圧縮画素値は、1ブロック単位で伸長器30により復号化される。復号化された画素値を復号化画素値という。駆動部40は、復号化画素値を用いて表示パネル50を駆動して、各画素が復号化画素値に応じた階調になるように制御する駆動回路などである。これにより、表示パネル50に復号化画素値に応じた画像が表示される。以下、圧縮器10の構成について、詳述する。なお、この例では半分の容量に圧縮しているが、より小さい容量に圧縮してもよいし、逆にそれより大きい容量に圧縮してもよい。
[圧縮器10の構成]
図2Aは、本発明の第1実施形態に係る圧縮器10の構成を示すブロック図である。図2Aに示すように、圧縮器10は複数のエンコーダユニット11で構成される。本実施形態では、それぞれのエンコーダユニットに16画素ずつ画素値が入力されて、圧縮が行われる。
図2Aに示すように、それぞれの圧縮器10は、入力バッファ100、出力バッファ101、第1ブロックエンコーダ120(以下、ノーマルエンコーダという)、第2ブロックエンコーダ130(以下、ランダムエンコーダという)、誤差評価マルチプレクサ(以下、MUXという)140を有する。
まず、表示装置1の各画素の画像値が1画素単位で入力バッファ100に入力される。本実施例では、16画素を1ブロック単位として扱う。入力バッファは書き込み位置を示すポインタによって示される記憶領域に1ブロック分の入力画素値を順次格納し、読み出し位置を示すポインタによって示される記憶領域から入力画素値を次のエンコーダユニット11へとデータを転送する。携帯用機器の表示パネルでは、部分的にフレームメモリを書き換える機能が要求されるため、入力画素値を固定長のブロックに分割して、ブロック単位で圧縮と復号化を行う必要がある。本実施形態では、16画素を1ブロックとしてデータ処理しているが、これに限定されず、例えば8画素単位や4画素単位など、より少ない画素単位でもよく、逆に32画素単位のようにより多い画素単位でもよい。
通常、1ブロックがバッファに入力される時間よりも、エンコーダユニットで圧縮にかかる時間の方が長い。したがって、圧縮時間を短縮するために、複数のエンコーダユニットを配置して、並列にデータ処理することが望ましい。エンコーダユニットは一つの回路を使用して、時間を分けて全画素のデータ処理を行ってもよく、また、複数の回路を使用して、並列にデータ処理してもよい。
エンコーダユニット11は、ノーマルエンコーダ120とランダムエンコーダ130を含む。ノーマルエンコーダ120は画素間の相関性が高いブロックをデータ処理するのに適している。ランダムエンコーダ130は画素間の相関性がほとんどないブロックをデータ処理するのに適している。詳細は後述するが、誤差の評価方法及び選定方法を簡単に説明する。ノーマルエンコーダ120とランダムエンコーダ130は並列に動作し、それぞれのエンコーダで圧縮して1ブロック分の圧縮画素値を出力する。また、ノーマルエンコーダ120によって圧縮・復号化された復号化画素値とノーマルエンコーダ120に入力された入力画素値との誤差と、ランダムエンコーダ130によって圧縮・復号化された復号化画素値とランダムエンコーダ130に入力された入力画素値との誤差と、を比較して、誤差が小さい方のエンコーダから出力された圧縮画素値をその誤差と共に出力する。
図2Bに示すように、本実施形態の1ブロック分の圧縮画素値はエンコーダによって異なるが、いずれのエンコーダにおいても1ブロック分の圧縮画素値は192ビットで表現される。元の入力画素値は各画素がRGBそれぞれ8ビットで表現され、上記のように384ビットで表現されるので、50%の圧縮率となる。ここで、1ブロック分の圧縮画素値の最初の1ビットの値によって、その1ブロック分の圧縮画素値がノーマルエンコーダ、ランダムエンコーダのどちらによって圧縮されたものかを判別することができる。この例では、1ブロック分の最初の1ビットが“0”の場合はノーマルエンコーダによって圧縮された1ブロック分の圧縮画素値であることを意味し、1ブロック分の最初の1ビットが“1”の場合はランダムエンコーダによって圧縮された1ブロック分の圧縮画素値であることを意味する。
ノーマルエンコーダによって圧縮された1ブロック分の圧縮画素値は、ブロックの先頭の画素(pixel0)の第1画素値を24ビットで表現している。最初の画素値を24ビットで表現する、つまりブロックの先頭の入力画素値は圧縮されないためデータが劣化することはなく、ブロックノイズの影響を小さくすることができる。後続の画素値はそれぞれ11ビットで表現され、直接量子化されるモードや他の参照画素の復号化画素値を参照した複数のモードで量子化される。隣接する画素間の画素値の相関性が高い場合には、入力画素値と他の参照画素の復号化画素値との差分を量子化することで、少ないビット数で画質劣化を抑制することができる。なお、これらの複数のモードの量子化方法については、後で詳しく説明する。
一方、ランダムエンコーダによって圧縮された1ブロック分の圧縮画素値は、全ての画素値を12ビットで表現している。これは、画素間の相関性が低い場合には、一部の圧縮画素値に比重を大きくビットを割り当てるよりも、全ての圧縮画素値に平均的にビットを割り当てた方が画質劣化を抑制することができるためである。詳細は後述するが、この場合も入力画素値は複数のモードで圧縮される。
ノーマルエンコーダ120とランダムエンコーダ130との両方から出力された二つの1ブロック分の圧縮画素値と誤差とがMUX140に入力される。MUX140は、入力された1ブロック分の圧縮画素値から誤差が小さいエンコーダの出力を選定して、出力バッファに圧縮画素値を送る役割を持つ。ここで、バッファに出力される圧縮画素値は入力された入力画素値と同じ16画素単位に限定されず、任意に設定することができる。
なお、本実施形態における誤差の計算は以下の式で表される。以下の式(1)において、R、G、Bは圧縮前の入力画素値を示しており、R’、G’、B’は復号化後の復号化画素値を示す。式(1)では、16画素分の誤差の合計を計算している。
Figure 2015053590
図3は、ノーマルエンコーダ120の詳細な構成を示すブロック図である。図3に示すように、ノーマルエンコーダ120はエンコードモードA乃至エンコードモードNおよびエンコードモードXの圧縮を行う複数のエンコーダA121乃至エンコーダN123およびエンコーダX129で圧縮して出力する。本実施形態では、それぞれのエンコーダには1乃至4画素ずつデータが入力されて、それぞれデータの圧縮が行われる。各エンコーダについては、後で詳しく説明する。また、本実施例においてはエンコードモードXのエンコーダXでは圧縮せずに、24ビットのまま出力バッファへと出力するため、エンコーダXを設けなくてもよい。エンコーダXが設けられていない場合は、ノーマルエンコーダ120がブロックの先頭の入力画素値を出力すると表現する。ただし、本実施例に限定されず、エンコーダXで圧縮して出力してもよい。
図3に示すように、それぞれのノーマルエンコーダ120は、入力バッファ102、出力バッファ103、メモリ111、エンコーダA121、エンコーダB122、・・・、エンコーダN123、エンコーダX129、MUX141、デコーダA151、デコーダB152、・・・、デコーダN153、デコーダX159、を有する。
本実施形態では、ノーマルエンコーダ120はブロックの先頭の第1画素値を24ビットで表現し、第1画素値以外の画素値を1画素当たり11ビットで表現している(図2B「ノーマルブロックフォーマット」参照)。本実施形態では、ブロックの先頭の入力画素値はエンコーダX129に入力されているが、24ビットの画素値のまま出力される。もちろん、エンコーダXを介さずに、第1経路によってそのまま出力バッファに出力されてもよい。そして、それ以降の入力画素値はエンコーダA121乃至エンコーダN123でそれぞれエンコードされ、1画素当たり11ビットの圧縮画素値へ圧縮される。
このように、ブロックの先頭の第1画素値を24ビットで表現することによって、ブロックの先頭の圧縮画素値が入力画素値から大きくずれてしまうことに起因したブロックノイズの影響を抑制することが可能になる。本実施形態では、ブロックの先頭の画素値を24ビットで表現しているが、これに限定されず、ブロックの後続の圧縮画素値のビット数よりも比重が大きければよく、適宜設定することが可能である。
入力バッファ102は、記憶領域に1画素乃至4画素ずつ入力画素値を順次格納し、次の各エンコーダへと転送する。入力バッファ102から転送された入力画素値は複数のエンコーダによって並列で圧縮が行われる。これらのエンコーダで圧縮が行われる画素数はエンコードモードによって異なる。本実施形態では、1画素乃至4画素ずつ圧縮を行っているが、これに限定されず、もっと多くの画素を同時に圧縮してもよい。
メモリ111には、複数の画素に対応する復号化画素値が記憶されている。この複数の画素とは参照画素を含み、参照画素の復号化画素値が必要なエンコードモードにおいて、参照画素の復号化画素値がメモリに記憶されている。本実施形態では、対象画素が参照画素の復号化画素値と同じ値を取るように圧縮されるエンコードモードや、対象画素の入力画素値と参照画素の復号化画素値との差分を量子化するエンコードモードがあり、メモリ111にはそれぞれのモードで参照する画素の復号化画素値が記憶されている。この例では、参照画素の位置はエンコードモードによって異なる。
エンコーダA121乃至エンコーダN123の全てから出力された複数の圧縮画素値と、これらの圧縮画素値がそれぞれデコーダA151乃至デコーダN153によって復号化された複数の復号化画素値と、元の入力画素値とそれぞれの復号化画素値とを比較して算出された誤差と、がMUX141に入力される。MUX141は、入力された複数の圧縮画素値及び復号化画素値から誤差が最小のエンコーダの出力を選定して、選定された圧縮画素値を出力バッファ103に、選定された復号化画素値をメモリ111送る役割を持つ。ここで、バッファに出力される圧縮画素値は入力された入力画素値と同じ画素数に限定されず、任意に設定することができる。
なお、本実施形態におけるエンコードモードA乃至エンコードモードNの誤差の計算は以下の式で表される。ここで、式中のiは0乃至Nの任意のインデックスを表し、例えば4画素を同時にエンコードするエンコードモードにおいて、1番目(i=0)の画素から4番目(i=3)の画素までのそれぞれの誤差を計算し、その中で最大の誤差を出力する。以下の式(2)において、R、G,Bは量子化前の入力画素値を示しており、R’、G’,B’は復号化後の復号化画素値を示す。
Figure 2015053590
図4は、ランダムエンコーダ130の詳細な構成を示すブロック図である。ランダムエンコーダ130の構成及び動作方法はノーマルエンコーダ120と実質同一なので、異なる点について説明する。図4に示すように、ランダムエンコーダ130はエンコードモードO乃至エンコードモードPの圧縮を行う複数のエンコーダO131乃至エンコーダP132で圧縮される。また、ランダムエンコーダ130は1ブロック全ての圧縮画素値に対して各画素12ビットで表現されている。
入力バッファ104から入力された入力画素値はエンコーダO131とエンコーダP132の両方に送られ、両方のエンコーダで並列にデータの圧縮が行われる。ランダムエンコーダでは画素間の相関性が低い入力画素値を処理することが目的であるため、複数の画素を同時に処理せず、それぞれのエンコーダには1画素ずつデータが入力されて圧縮が行われる。それぞれのエンコーダで圧縮された圧縮画素値と、デコーダO161とデコーダP162によって復号化された復号化画素値と、元の入力画素値とそれぞれの復号化画素値とを比較して算出された誤差と、がMUX142に入力される。MUX142は、入力された圧縮画素値及び復号化画素値から誤差が小さいエンコーダの出力を選定して、選定された圧縮画素値を出力バッファ105に、選定された復号化画素値をメモリ112送る役割を持つ。ここでは、入力は1画素ずつ行われる例を示したが、もちろん複数の画素を同時に処理してもよい。また、バッファに出力される圧縮画素値は入力画素値と同じ画素数に限定されず、任意に設定することができる。
[参照画素]
図5は、本発明の第1実施形態に係る表示装置1に表示する画像の圧縮・復号化の例を説明する図である。この例では、図5に示すように1行1列目(1,1)からm列目(m,1)、2行1列目(1,2)からm列目(m,2)、・・・の画素の順に入力画素値を圧縮・復号化している。ここで、圧縮・復号化の対象画素は(x,y)と記している。以下の説明で、過去に圧縮・復号化した、という場合は(x−1,y)、(x−2,y)、・・・の画素を指す。この例では、線順次的に画素値が入力されているが、これに限定されず、例えばn×n画素単位で画素値を入力してもよい。例えば、16画素単位で処理する場合は、n=4として4×4画素単位で画素値を入力してもよい。
[圧縮画素値の構成]
図6〜16は、本発明の第1実施形態に係るノーマルエンコーダ120のエンコードモードA乃至エンコードモードNの各圧縮方法の圧縮画素値の構成を説明する図である。各画素の圧縮画素値は、この例では一つの画素に対して固定長の11ビットのデータであり、識別子、参照値(Ref)及びパターン値(Pattern)のデータと各RGBの量子化値のデータとに区分されている。また、圧縮は1つの画素毎に行われてもよく、また、複数の画素毎にまとめて行われてもよい。この場合は識別子、参照値及びパターン値のデータが先頭に表示され、後続のビットに1つ又は複数の画素に対応する量子化値が表示される。本実施例では、先頭のビットが識別子及び参照値に対応し、後続のビットが量子化値に対応していたが、どの部分が識別子及び参照値であるか量子化値であるかは予め決められていればよい。なお、この例では11ビットに圧縮する場合を説明するが、ビット数はより多くても少なくてもよい。以下に、複数のエンコーダの圧縮方法について図6〜16を用いて説明する。
(1)ダイレクトモード
図6にダイレクトモードによって圧縮された圧縮画素値の構成を示す。このモードでは、元の入力画素値のRGBがそれぞれ直接量子化される。ダイレクトモードにおいて生成される圧縮画素値の11ビットの内訳は、識別子が最初の1ビット、直接量子化によって得られた量子化値のGが4ビット、R、Bがそれぞれ3ビットである。この例における量子化値は、Gが4ビットであるが、これを3ビットとしてR又はBが4ビットになるようにしてもよい。ただし、人間にとっては、G、R、Bの順に明るさの変化の分解能が高いため、R、G、Bのいずれかを多い量子化ビット数にする必要があれば、分解能の高いGを多いビットに割り当てることが望ましい。ノーマルエンコーダにおける直接量子化の方法についての詳細は後述する(図22参照)。なお、このモードは隣接する画素間の相関性が低い場合に有効である。
(2)バックワードリファレンスモード
図7にバックワードリファレンスモードによって圧縮された圧縮画素値の構成を示す。バックワードリファレンスモードにおいて生成される圧縮画素値の11ビットの内訳は、識別子が最初の2ビット、参照値が続く2ビット、差分量子化によって得られた差分量子化値のDGが3ビット、DR、DBがそれぞれ2ビットである。このモードでは、過去に圧縮された4つの画素Q0〜Q3の復号化画素値と対象画素Pの入力画素値との差分値がそれぞれ量子化され、4つの画素Q0〜Q3に対する圧縮画素値がそれぞれ得られる。これらの圧縮画素値はデコーダによって復号化され、4つの画素Q0〜Q3に対する復号化画素値がそれぞれ得られる。得られた復号化画素値のうち、最も元の入力画素値との誤差が小さい画素が参照画素として選択される。具体的には、対象画素とQ0〜Q3との差分値の量子化は、例えばメモリ111に保存されたQ0の復号化画素値と対象画素Pの入力画素値との差分値を量子化する。続いて、Q1、Q2、Q3に対しても上記の方法でそれぞれの差分値が量子化され、Q0〜Q3のそれぞれに対しての圧縮画素値が得られる。そして、これらの圧縮画素値をデコードした復号化画素値と元の入力画素値との誤差が最も小さい画素が参照画素として選択され、対象画素と上記の選択された参照画素との圧縮画素値及び復号化画素値が出力される。参照画素の位置情報は、Refのビットに格納される。なお、参照画素との差分量子化の方法についての詳細は後述する(図20A,20B参照)。
ここで、差分値とは対象画素の入力画素値と参照画素の復号化画素値との間の差を示す。入力画素値は入力バッファに入力された対象画素の画素値であり、参照画素の復号化画素値は過去に圧縮された参照画素の圧縮画素値をデコーダによって復号化した値(例えば、図7のQ0〜Q3に該当)に該当する。なお、このモードは隣接する画素間の相関性が高い場合に有効である。
(3)グレーモード
図8にグレーモードによって圧縮された圧縮画素値の構成を示す。このモードは、G、R、Bが近い数値、つまりグレー表示されているケースを想定した場合の圧縮の方法である。グレーモードにおいて生成される圧縮画素値の11ビットの内訳は、識別子が最初の5ビット、グレーとしての量子化値が6ビットであり、R、G、Bはそれぞれ同じ値に直接量子化されると定義され、6ビットで表現される。例えば、Greyのビットの量子化値が「101100」である場合、R,G,Bのそれぞれの量子化値が「101100」であることを意味する。ノーマルエンコーダにおける直接量子化の方法についての詳細は後述する(図22参照)。なお、このモードは画素のR,G,Bが近いグレーモードの場合に有効である。
(4)フォワードリファレンスモード
図9にフォワードリファレンスモードによって圧縮された圧縮画素値の構成を示す。フォワードリファレンスモードにおいて生成される圧縮画素値は、2画素分を22ビットで表現される。その22ビットの内訳は、識別子が最初の7ビット、参照値が続く1ビット、第1対象画素及び第2対象画素それぞれの差分量子化値のDG0,DG1がそれぞれ3ビット、DR0,DR1、DB0,DB1がそれぞれ2ビットである。このモードでは、第2対象画素P1の入力画素値と過去に圧縮された2つの画素Q0、Q1の復号化画素値との差分値がそれぞれ量子化され、第1対象画素P0の入力画素値と第2対象画素P1の復号化画素値との差分値が量子化され、2画素分の圧縮画素値が得られる。2画素分の圧縮画素値は、過去に圧縮された2つの画素Q0、Q1のそれぞれに対して求められ、デコーダによって復号化され、Q0、Q1のそれぞれに対する2画素分の復号化画素値が得られる。2つの画素Q0、Q1のそれぞれに対する復号化画素値のうち、元の入力画素値との誤差が小さい結果となる方が参照画素として選択される。参照画素の位置情報は、Refのビットに格納される。具体的な差分値の量子化方法は、上記のバックワードリファレンスにおける量子化方法と同様にして行われる。このように、フォワードリファレンスモードでは2画素をまとめて圧縮する。なお、参照画素との差分量子化の方法についての詳細は後述する(図20A,20B参照)。なお、このモードは隣接する画素間の相関性が高い場合に有効である。
(5)リニア2モード
図10にリニア2モードによって圧縮された圧縮画素値の構成を示す。リニア2モードにおいて生成される圧縮画素値は、2画素分を22ビットで表現される。その22ビットの内訳は、識別子が最初の5ビット、第2対象画素P1の量子化値のG1、R1がそれぞれ6ビット、B1が5ビットであり、これらは直接量子化される。第1対象画素P0の復号化画素値は、過去に圧縮された参照画素Qの復号化画素値と第2対象画素P1の復号化画素値との中間値を取ると定義される。ノーマルエンコーダにおける直接量子化の方法についての詳細は後述する(図22参照)。なお、このモードは隣接する画素の色調が一定の割合で変化している場合に有効である。
(6)パターン2モード
図11にパターン2モードによって圧縮された圧縮画素値の構成を示す。パターン2モードにおいて生成される圧縮画素値は、2画素分を22ビットで表現される。その22ビットの内訳は、識別子が最初の5ビット、参照値が続く1ビット、第1対象画素P0の量子化値のG0が6ビット、B0、R0がそれぞれ5ビットであり、これらは直接量子化される。第2対象画素P1の復号化画素値は、過去に圧縮された参照画素Q又は第1対象画素P0の復号化画素値に等しい値を取ると定義され、Q,P0のそれぞれに対して得られた2画素分の復号化画素値のうち、P1の入力画素値との誤差が小さい方が参照画素として選択される。参照画素の位置情報は、Refのビットに格納される。ノーマルエンコーダにおける直接量子化の方法についての詳細は後述する(図22参照)。なお、このモードは隣接する画素の一つが同じ画素値である場合に有効である。
(7)パターン3モード
図12にパターン3モードによって圧縮された圧縮画素値の構成を示す。パターン3モードにおいて生成される圧縮画素値は、3画素分を33ビットで表現される。その33ビットの内訳は、識別子が最初の3ビット、パターン値が続く2ビット、対象の3画素のうち2画素の量子化値のG、Rがそれぞれ5ビット、Bが4ビットであり、これらは直接量子化される。ここで、上記の2画素の圧縮画素値をそれぞれX0、X1という。対象の3画素はX0及びX1の組み合わせによって表現され、パターン0〜3に示す4種類のパターンを有する。
参照画素Q及び第1画素P0〜第3画素P2の関係は以下の通りである。パターン0は、P0及びP1がX0に等しく、P2がX1に等しい場合である(P0=P1=X0,P2=X1)。パターン1は、P0及びP2がX0に等しく、P1がX1に等しい場合である(P0=P2=X0,P1=X1)。パターン2は、P0がX1に等しく、P1及びP2がX0に等しい場合である(P0=X1,P1=P2=X0)。パターン3は、P0がX0に等しく、P1がX1に等しく、P2がQに等しい場合である(P0=X0,P1=X1,P2=Q)。
この例では、パターン0〜3の処理が並列又は順に行われ、パターン0〜3に対する4パターンの圧縮画素値が得られる。得られた4つの圧縮画素値はデコーダによって復号化され、4つの復号化画素値が得られる。4つの復号化画素値のうち、元の入力画素値との誤差が最も小さい結果のパターンが選択される。ノーマルエンコーダにおける直接量子化の方法についての詳細は後述する(図22参照)。なお、このモードは隣接する画素がある一定のパターン性を有している場合に有効である。
(8)リニア4モード
図13にリニア4モードによって圧縮された圧縮画素値の構成を示す。リニア4モードにおいて生成される圧縮画素値は、4画素分を44ビットで表現される。その44ビットの内訳は、識別子が最初の7ビット、第4対象画素P3の量子化値のGが7ビット、B、Rがそれぞれ6ビットであり、これらは直接量子化される。また、過去に圧縮された参照画素Qの復号化画素値とP3の復号化画素値との線形補間値と、各画素の入力画素値と、の差分量子化値DR,DG,DBは各2ビットで表現され、合計18ビットで表現される。ここで、第1対象画素P0〜第3対象画素P2は、図13に示すようにD0〜D2が加算された線形補間によって値が決定される。これらのD0〜D2は線形補間値への加算値の量子化値と呼ばれ、QとP3との線形補間によって決定された値とP0〜P2のそれぞれの入力画素値との差分を量子化して得られる。具体的な差分量子化値の計算方法は、例えば(2)のバックワードリファレンスモードで示すような差分量子化の計算方法と同様にして行われる。また、ノーマルエンコーダにおける直接量子化の方法についての詳細は後述する(図22参照)。なお、このモードは隣接する画素の色調が一定の割合で変化している場合に有効である。
(9)リセットリニア4モード
図14にリセットリニア4モードによって圧縮された圧縮画素値の構成を示す。リセットリニア4モードにおいて生成される圧縮画素値は、4画素分を44ビットで表現される。その44ビットの内訳は、識別子が最初の8ビット、第1対象画素P0の画素値のR、G、Bはそれぞれ8ビットのまま出力される。また、第1対象画素P0の復号化画素値と第4対象画素P3の入力画素値との差分量子化値DR3,DG3,DB3は各3ビットで表現され、合計9ビットで表現される。第2対象画素P1及び第3対象画素P2は、それぞれ図14に示すようにP0とP3との線形補間によって値が決定される。具体的な差分量子化値の計算方法は、例えば(2)のバックワードリファレンスモードで示すような差分量子化の計算方法と同様にして行われる。なお、このモードは隣接する画素の色調が一定の割合で変化している場合に有効である。
(10)パターン4モード
図15にパターン4モードによって圧縮された圧縮画素値の構成を示す。パターン4モードにおいて生成される圧縮画素値は、4画素分を44ビットで表現される。その44ビットの内訳は、識別子が最初の8ビット、パターン値が続く2ビット、対象の4画素のうち2画素の量子化値のG0,G1、R0,R1がそれぞれ6ビット、B0,B1がそれぞれ5ビットであり、これらは直接量子化される。ここで、上記の2画素の圧縮画素値をそれぞれX0、X1という。対象の4画素はX0及びX1の組み合わせによって表現され、該パターンはパターン0〜2に示す3種類のパターンを有する。
第1画素P0〜第4画素P3の関係は以下の通りである。パターン0は、P0及びP1がX0に等しく、P2及びP3がX1に等しい場合である(P0=P1=X0,P2=P3=X1)。パターン1は、P0及びP2がX0に等しく、P1及びP3がX1に等しい場合である(P0=P2=X0,P1=P3=X1)。パターン2は、P0がX0に等しく、P1、P2及びP3がX1に等しい場合である(P0=X0,P1=P2=P3=X1)。
この例では、パターン0〜2の処理が並列又は順に行われ、パターン0〜2に対する3パターンの圧縮画素値が得られる。得られた3つの圧縮画素値はデコーダによって復号化され、3つの復号化画素値が得られる。3つの復号化画素値のうち、元の入力画素値との誤差が最も小さい結果のパターンが選択される。ノーマルエンコーダにおける直接量子化の方法についての詳細は後述する(図22参照)。なお、このモードは隣接する画素がある一定のパターン性を有している場合に有効である。
(11)ターミナルモード
図16にターミナルモードによって圧縮された圧縮画素値の構成を示す。ターミナルモードにおいて生成される圧縮画素値は、4画素分を44ビットで表現される。その44ビットの内訳は、識別子が最初の8ビット、対象の4画素のうち後半の2画素(第3対象画素P2、第4対象画素P3)の量子化値のR0,R1、G0,G1、B0,B1がそれぞれ6ビットであり、これらは直接量子化される。このモードでは、対象の4画素のうち前半の2画素(第1対象画素P0、第2対象画素P1)は、過去に圧縮された2つの画素Q0及びQ1を参照し、P0の復号化画素値はQ0の復号化画素値に等しく、P1の復号化画素値はQ1の復号化画素値に等しいと定義される。ノーマルエンコーダにおける直接量子化の方法についての詳細は後述する(図22参照)。なお、このモードは、単調色から他の色に切り替わる場合に有効である。
以上のように、本発明の第1実施形態に係るノーマルエンコーダ120のエンコーダA121乃至エンコーダN123に対応するエンコードモードA乃至エンコードモードNの圧縮方法として、(1)〜(11)に示すようなエンコードモードを採用することができる。これらのエンコードモードは並列に動作し、それぞれの圧縮によって得られた1つ又は複数の圧縮画素値、復号化画素値、入力画素値をそれぞれのエンコーダに対応するデコーダA151乃至デコーダN153に出力する。次に、それぞれのデコーダによって復号化された複数の復号化画素値と入力画素値とを比較することで誤差を算出する。そして、圧縮画素値、復号化画素値、誤差をそれぞれMUX141に出力する。MUX141は、入力された圧縮画素値及び復号化画素値から誤差が最小のエンコーダの出力を選定して、選定された圧縮画素値を出力バッファ103に、選定された復号化画素値をメモリ111送る役割を持つ。このとき、複数の画素を同時に圧縮するモードにおいては、各画素について誤差の計算を行い、各画素の誤差の最大値をそのモードの誤差値とする。ここで、出力される量子化値は入力と同じ画素数に限定されず、任意に設定することができる。
図17,18は、本発明の第1実施形態に係るランダムエンコーダ130のエンコードモードO乃至エンコードモードPの各圧縮方法の圧縮画素値の構成を説明する図である。各画素の圧縮画素値は、この例では一つの画素に対して固定長の12ビットのデータであり、識別子、参照値のデータと各RGBの量子化値のデータとに区分されている。本実施例では、先頭のビットが識別子に対応し、後続のビットが量子化値に対応していたが、どの部分が識別子であるか量子化値であるかは予め決められていればよい。なお、この例では12ビットである場合を説明するが、ビット数はより多くても少なくてもよい。以下に、複数のエンコーダの量子化方法について図17,18を用いて説明する。
(12)ダイレクトモード
図17にダイレクトモードによって圧縮された圧縮画素値の構成を示す。このモードでは、元の入力画素値のRGBがそれぞれ直接量子化される。ダイレクトモードにおいて生成される圧縮画素値の12ビットの内訳は、識別子が最初の1ビット、直接量子化によって得られた量子化値のR、Gがそれぞれ4ビット、Bが3ビットである。この例における量子化値は、R、Gが4ビットであるが、これらのいずれかを3ビットとしてBが4ビットになるようにしてもよい。ただし、人間にとっては、G、R、Bの順に明るさの変化の分解能が高いため、R、G、Bのいずれかを多い量子化ビット数にする必要があれば、分解能の高いGを多いビットに割り当てることが望ましい。ランダムエンコーダのダイレクトモードでは、1画素あたりのビット数が12ビットに増えて量子化値のRが4ビットになったことで、ノーマルエンコーダのダイレクトモードに比べて復号化画素値の再現性が向上している。また、本実施形態においては、ランダムエンコーダの直接量子化は図19A,図19Bに示す量子化テーブルを用いている。
(13)バックワードリファレンスモード
図18にバックワードリファレンスモードによって圧縮された圧縮画素値の構成を示す。バックワードリファレンスモードにおいて生成される圧縮画素値の12ビットの内訳は、識別子が最初の1ビット、参照値が続く2ビット、差分量子化によって得られた差分量子化値のDR、DG、DBがそれぞれ3ビットである。このモードでは、過去に圧縮された4つの画素Q0〜Q3の復号化画素値と対象画素Pの入力画素値との差分値がそれぞれ量子化され、4つの画素Q0〜Q3に対する圧縮画素値がそれぞれ得られる。これらの圧縮画素値はデコーダによって復号化され、4つの画素Q0〜Q3に対する復号化画素値がそれぞれ得られる。得られた復号化画素値のうち、最も元の入力画素値との誤差が小さい画素が参照画素として選択される。具体的には、対象画素とQ0〜Q3との差分値の量子化は、例えばメモリ112に保存されたQ0の復号化画素値と対象画素Pの入力画素値との差分値を量子化する。続いて、Q1、Q2、Q3に対しても上記の方法でそれぞれの差分値が量子化され、Q0〜Q3のそれぞれに対しての圧縮画素値が得られる。そして、これらの圧縮画素値をデコードした復号化画素値と元の入力画素値との誤差が最も小さい画素が参照画素として選択され、対象画素と上記の選択された参照画素との圧縮画素値及び復号化画素値が出力される。参照画素の位置情報は、Refのビットに格納される。なお、参照画素との差分量子化の方法についての詳細は後述する(図21A,21B参照)。バックワードリファレンスモードは、1画素あたりのビット数が12ビットに増えて、識別子が最初の1ビット、参照値が続く2ビット、となり差分量子化値DR,DG,DBが共に3ビットになることで、ノーマルエンコーダのバックワードリファレンスモードに比べて復号化画素値の再現性が向上している。
以上のように、本発明の第1実施形態に係るランダムエンコーダ130のエンコーダO131乃至エンコーダP132に対応するエンコードモードO乃至エンコードモードPの圧縮方法として、(12)、(13)に示すようなエンコードモードを採用することができる。これらのエンコードモードは並列に動作し、それぞれの圧縮によって得られた1つ又は複数の圧縮画素値、復号化画素値、入力画素値と復号化画素値との誤差をMUX142に出力する。MUX142は、入力された圧縮画素値及び復号化画素値から誤差が最小のエンコーダ出力を選定して、選定された圧縮画素値を出力バッファ105に、選定された復号化画素値をメモリ112送る役割を持つ。また、本実施形態では1ブロックの先頭の画素の画像データをダイレクトモードで処理した例を示した。
上記のように、ノーマルエンコーダとランダムエンコーダとのそれぞれで得られた1ブロック分の圧縮画素値と誤差とがMUX140に入力される。MUX140は、入力された1ブロック分の圧縮画素値から誤差が小さいエンコーダの出力を選定して出力バッファ101に出力する。
以上のように、入力された画素値は複数のエンコード方法によって並列に処理され、複数の圧縮画素値が誤差と共に並列で出力される。圧縮画素値と誤差は上記のような誤差評価マルチプレクサに入力され、最も誤差が小さい圧縮画素値をそのエンコード方法の1ブロック分の出力としてフレームメモリへと送信される。
[量子化テーブル]
この例では、ランダムエンコーダによる直接量子化及び両エンコーダによる差分量子化のそれぞれは、量子化を行うときに、図19〜21に示す量子化テーブルを用いている。なお、図19〜21に例示がない場合の量子化の際には、量子化テーブルを用いずに、例えば図22に示すようなシフト演算などの演算によって量子化してもよい。
図19A,図19Bは、本発明の第1実施形態に係るランダムエンコーダによる直接量子化において用いられる量子化テーブルの例を説明する図である。図17に示すように、ランダムエンコーダのダイレクトモードでは、各色8ビットの入力画素値は、R、Gが4ビット(量子化ステップサイズ=17)に量子化され、Bが3ビット(量子化ステップサイズ=36)に量子化される。例えば、入力画素値のRが「95」であれば、エンコーダによって量子化された量子化値は「6」となり、デコーダによって逆量子化された逆量子化値は「102」となる。一方、入力画素値のBが「95」であれば、量子化値は「3」となり、逆量子化値は「108」となる。
図20A,図20Bは、本発明の第1実施形態に係るノーマルエンコーダによる差分量子化において用いられる量子化テーブルの例を説明する図である。図20A,図20Bに示すように、2ビットに量子化する場合と3ビットに量子化する場合とで用いるテーブルが異なる。また、図20A,図20Bの差分量子化のテーブルでは入力レンジに偏りがある。言い換えると、差分値が小さいときに僅かな差分値の違いを区別できるように細かく入力レンジ範囲を設定している。これは、差分量子化は前後の画素の画像データと近い値になるケースを想定しているためである。
図21A,図21Bは、本発明の第1実施形態に係るランダムエンコーダによる差分量子化において用いられる量子化テーブルの例を説明する図である。図20A,図20Bと同様に、量子化する際に使用するテーブルは2ビットと3ビットとの場合で異なる。また、ノーマルエンコーダに比べて、ランダムエンコーダの量子化テーブルの入力レンジ範囲は広く設定されている。これは、ランダムエンコーダによる差分量子化はノーマルエンコーダによる差分量子化に比べると前後の画素の画像データの差が大きいケースを想定しているためである。
以上のように、ノーマルエンコーダ及びランダムエンコーダの差分量子化テーブルにおいて、小さい差分を精度良く近似し、大きい差分を粗く近似している。表示画像において、グラデーションのように画素値の変化が小さい部分では、近似の精度が粗いと圧縮前後の差異が容易に視認されてしまう。したがって、画素値の変化が小さい部分では精度良く近似する必要がある。一方、画素値の変化が大きい部分では、近似の精度が粗くても圧縮前後の差異が認識されにくいため、粗く近似して入力レンジを広げることができる。実際の表示画像では、画素値の変化の小さい領域が続いて、突然大きく変化し、また変化の小さい領域が続くことがある。このような場合、画素値の大きな変化を粗く近似し、小さな近似を精度良く近似することで、再現性良く圧縮することができる。
例えば、対象画素の入力画素値が「91」であり、参照画素の復号化画素値が「90」である場合、差分値は「1」となる。これをノーマルエンコーダにおいて2ビットに量子化する場合は、図20Aを参照して量子化値は「0」となり、デコーダで逆量子化されると逆量子化値は「0」として出力され、参照画素の復号化画素値と合わせて復号化画素値「90」を得る。また、ノーマルエンコーダにおいて3ビットに量子化する場合は、図20Bを参照して量子化値は「1」となり、デコーダで逆量子化されると逆量子化値も「1」として出力され、参照画素の復号化画素値と合わせて復号化画素値「91」を得る。一方、ランダムエンコーダにおいて2ビットに量子化する場合は、図21Aを参照して量子化値は「0」となり、デコーダで逆量子化されると逆量子化値は「0」として出力され、参照画素の復号化画素値と合わせて復号化画素値「90」を得る。また、ランダムエンコーダにおいて3ビットに量子化する場合は、図21Bを参照して量子化値は「0」となり、デコーダで逆量子化されると逆量子化値も「0」として出力され、参照画素の復号化画素値と合わせて復号化画素値「90」を得る。つまり、ノーマルエンコーダでは僅かな階調の違いを再現性良く表現する点において利点がある。一方、例示はしないが、ランダムエンコーダの場合は、比較的大きな階調の違いを再現性良く表現する点において利点がある。
[シフト演算]
この例では、直接量子化及び差分量子化のそれぞれは量子化を行うときに、図19〜21に例示がない場合の量子化方法について説明する。図22に示す量子化方法はシフト演算と呼ばれる演算方法である。
図22において、vは入力値、qはvを演算することで得られる量子化値、bは量子化後のビット数、wはqを逆量子化することで得られる逆量子化値をそれぞれ表している。
図22に示す量子化演算式60について説明する。入力値vに対してビット数bに量子化する場合、各画素の元のビット数と量子化後のビット数の差分(8−b)の下位ビットを無視して、その他の上位ビットを量子化値とする。例えば、8ビットの入力値v(11001010)を5ビットに圧縮する場合、(8−5)=3ビット分の下位ビットを除いた上位5ビットを量子化値とする。具体的には、量子化値qは(11001)となる。
次に、図22に示す逆量子化演算式70について説明する。ここで、逆量子化演算は本実施形態のデコーダによる復号化に該当する。1,2行目の演算式は、逆量子化された全てのビットが“0”の場合は逆量子化演算によって“0”が追加されることを意味している。また、3,4行目の演算式は、量子化された全てのビットが“1”の場合は逆量子化演算によって“1”が追加されることを意味している。この例では、8ビットに逆量子化するので、逆量子化値は255である。5,6行目の演算式は、上記の2つのケース以外では、演算前後の誤差を抑えるために中央値に相当するビットを追加している。上記の3つの例を具体的に示すと、5ビットから8ビットに逆量子化する場合、(00000)を逆量子化すると(00000000)となり、(11111)を逆量子化すると(11111111)となる(下3桁は追加されたビット)。また、(11001)を逆量子化すると(11001100)となる(下3桁は追加されたビット)。
[伸長器30の構成]
図23は、本発明の第1実施形態に係る伸長器30の構成を示すブロック図である。図23に示すように、伸長器30は複数のデコーダユニット31で構成される。デコーダユニット31はエンコーダユニット11に含まれていた各エンコーダに対応する複数のデコーダを有する。本実施形態では、デコーダAはエンコーダAに対応し、デコーダBはエンコーダBに対応し、・・・、デコーダXはエンコーダXに対応する。まず、フレームメモリ20からの出力が入力バッファ106に入力される。入力バッファ106は書き込み位置を示すポインタによって示される記憶領域にフレームメモリ20から出力された圧縮画素値を順次格納し、読み出し位置を示すポインタによって示される記憶領域から圧縮画素値を次のデコーダユニット31へとデータを転送する。エンコーダユニット11とは異なり、デコーダユニット31は全てのデコーダが入力バッファ106とMUX145との間に並列に接続されている。つまり、フレームメモリ20の圧縮画素値がデコーダA乃至P、Xに並列に供給され、圧縮画素値に含まれる識別子によって、各デコーダは復号化された復号化画素値と識別子が適正か否かのフラグを出力する。MUX145は出力されたフラグから正しい復号化画素値を選択して出力バッファ107に出力する。ここで、圧縮画素値が差分量子化値を含む場合、メモリ113に保存された参照画素の復号化画素値と合わせた復号化画素値がMUX145に出力される。
また、入力バッファ106に入力された画素値の識別子からデコーダを選定して、処理するデコーダを選定して単独で処理を行ってもよい。この場合、必要に応じたデコーダのみを動作させればよいので、低消費電力化には有利である。
上述した実施形態では、1画素をR,G,Bの3色のサブ画素に分けた例を示したが、単色でグレースケールの表示装置でもよい。この場合、上記のサブ画素が一つの画素としての役割を持つことになるので、精細度を3倍に向上させることができ、より高精細な表示装置を得ることができる。
以上のように、本発明の第1実施形態における表示装置1においては、上述した圧縮器10を用いて入力画素値を圧縮しているため、ブロックノイズの影響を抑えつつ入力画素値を圧縮することができる。したがって、表示パネル50に表示される画像の表示品質の低下を抑制しつつフレームメモリ20の容量を低減することができる。
なお、本発明は上記実施の形態に限られたものではなく、要旨を逸脱しない範囲で適宜変更することが可能である。
1…表示装置、 10…圧縮器、 11…エンコーダユニット、 20…フレームメモリ、 30…伸長器、 31…デコーダユニット、 40…駆動部、 50…表示パネル、 100,102,104,106…入力バッファ、 101,103,105,107…出力バッファ、 111,112,113…メモリ、 120…ノーマルエンコーダ、 130…ランダムエンコーダ、 121,122,123,129,131,132…エンコーダ、 140,141,142,145…誤差評価マルチプレクサ、 151,152,153,159,161,162,301,302,303,304,305,309…デコーダ、 60…シフト演算(量子化)、 70…シフト演算(逆量子化)

Claims (10)

  1. 複数の入力画素値をブロック単位で圧縮して出力する第1ブロックエンコーダを有し、
    前記第1ブロックエンコーダは、
    前記ブロックの先頭の第1入力画素値を出力し、
    前記ブロックに含まれる前記第1入力画素値以外の第2入力画素値を前記第1入力画素値よりもビット数の少ない第2圧縮画素値に圧縮して出力する第1エンコーダを有することを特徴とする画像符号化装置。
  2. 複数の入力画素値をブロック単位で圧縮して出力する第1ブロックエンコーダを有し、
    前記第1ブロックエンコーダは、
    前記ブロックの先頭の第1入力画素値を第1圧縮画素値に圧縮して出力する第2エンコーダと、
    前記ブロックに含まれる前記第1入力画素値以外の第2入力画素値を前記第1圧縮画素値よりもビット数の少ない第2圧縮画素値に圧縮して出力する第1エンコーダと、
    を有することを特徴とする画像符号化装置。
  3. 前記第1エンコーダは、前記第2入力画素値と参照する画素値との差分を量子化することを特徴とした請求項1又は請求項2に記載の画像符号化装置。
  4. 前記参照する画素値は前記ブロックの先頭の前記第1圧縮画素値が復号化された復号化画素値を含むことを特徴とした請求項3に記載の画像符号化装置。
  5. 前記第1エンコーダは、前記第2入力画素値を直接量子化することを特徴とした請求項1又は請求項2に記載の画像符号化装置。
  6. 前記第1ブロックエンコーダとは異なる方式で、前記複数の入力画素値をブロック単位で圧縮して出力し、前記第1ブロックエンコーダとは異なる第2ブロックエンコーダと、
    前記第1ブロックエンコーダによって圧縮・復号化された復号化画素値と前記第1ブロックエンコーダに入力された入力画素値との誤差と、前記第2ブロックエンコーダによって圧縮・復号化された復号化画素値と前記第2ブロックエンコーダに入力された入力画素値との誤差と、を比較して、誤差が小さいブロックエンコーダから出力された圧縮画素値を選択して出力する第1マルチプレクサと、を有することを特徴とした請求項1又は請求項2に記載の画像符号化装置。
  7. 前記第1ブロックエンコーダは、
    前記第2入力画素値をそれぞれが異なる方法で第2圧縮画素値に圧縮して出力する複数の第1エンコーダと、
    前記の第1エンコーダから出力された前記第2圧縮画素値が復号化された第2復号化画素値と前記第2入力画素値との誤差を前記第1エンコーダ別に比較して、最も誤差が小さい前記第1エンコーダから出力された圧縮画素値を選択して出力する第2マルチプレクサと、
    を有することを特徴とした請求項1又は請求項2に記載の画像符号化装置。
  8. 前記第2ブロックエンコーダは、
    第3入力画素値をそれぞれが異なる方法で第3圧縮画素値に圧縮して出力する複数の第3エンコーダを有し、
    前記第3エンコーダから出力された前記第3圧縮画素値が復号化された第3復号化画素値と前記第3入力画素値との誤差を前記第3エンコーダ別に比較して、最も誤差が小さい前記第3エンコーダから出力された圧縮画素値を選択して出力する第3マルチプレクサに接続されることを特徴とした請求項3に記載の画像符号化装置。
  9. 複数の入力画素値をブロック単位で符号化する方法において、
    第1ブロックエンコーダによって前記ブロックの先頭の第1入力画素値を出力し、
    第1エンコーダによって前記ブロックに含まれる前記第1入力画素値以外の第2入力画素値を前記第1圧縮画素値よりもビット数の少ない第2圧縮画素値に圧縮して出力することを特徴としたデータ符号化方法。
  10. 複数の入力画素値をブロック単位で符号化する方法において、
    第2エンコーダによって前記ブロックの先頭の第1入力画素値を第1圧縮画素値に圧縮して出力し、
    第1エンコーダによって前記ブロックに含まれる前記第1入力画素値以外の第2入力画素値を前記第1圧縮画素値よりもビット数の少ない第2圧縮画素値に圧縮して出力することを特徴としたデータ符号化方法。
JP2013185124A 2013-09-06 2013-09-06 画像符号化装置および画像符号化方法 Pending JP2015053590A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013185124A JP2015053590A (ja) 2013-09-06 2013-09-06 画像符号化装置および画像符号化方法
KR20140105340A KR20150028716A (ko) 2013-09-06 2014-08-13 영상 부호화 장치 및 영상 부호화 방법
US14/478,026 US9319691B2 (en) 2013-09-06 2014-09-05 Image coding device and image coding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013185124A JP2015053590A (ja) 2013-09-06 2013-09-06 画像符号化装置および画像符号化方法

Publications (1)

Publication Number Publication Date
JP2015053590A true JP2015053590A (ja) 2015-03-19

Family

ID=52625691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013185124A Pending JP2015053590A (ja) 2013-09-06 2013-09-06 画像符号化装置および画像符号化方法

Country Status (3)

Country Link
US (1) US9319691B2 (ja)
JP (1) JP2015053590A (ja)
KR (1) KR20150028716A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10367986B1 (en) * 2017-06-12 2019-07-30 Amazon Technologies, Inc. Feedback for a privacy indicator on a security camera
CN110113614B (zh) * 2019-05-13 2022-04-12 格兰菲智能科技有限公司 图像处理方法及图像处理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02264522A (ja) * 1989-04-04 1990-10-29 Matsushita Electric Ind Co Ltd 符号化装置
JPH11252563A (ja) * 1998-03-05 1999-09-17 Fuji Xerox Co Ltd 画像符号化装置、画像復号化装置および画像処理装置、並びに画像符号化方法、画像復号化方法および画像処理方法
JP2001506094A (ja) * 1996-12-12 2001-05-08 トムソン コンシューマ エレクトロニクス インコーポレイテッド メモリ管理システムのためのイメージ要素プロセッサ
JP2008227817A (ja) * 2007-03-12 2008-09-25 Seiko Epson Corp 画像データ符号化装置、画像データ復号化装置、画像処理装置及び電子機器
JP2009105700A (ja) * 2007-10-24 2009-05-14 Seiko Epson Corp 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置、及び半導体集積回路
JP2010056600A (ja) * 2008-08-26 2010-03-11 Victor Co Of Japan Ltd 映像信号符号化装置及び映像信号復号化装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3302246B2 (ja) 1995-03-14 2002-07-15 株式会社リコー 符号化装置
US6256347B1 (en) * 1996-12-17 2001-07-03 Thomson Licensing S.A. Pixel block compression apparatus in an image processing system
FR2760872B1 (fr) 1997-03-17 2000-06-09 Alsthom Cge Alcatel Procede d'optimisation de la compression de donnees d'image, a selection automatique de conditions de compression
US6690834B1 (en) * 1999-01-22 2004-02-10 Sigma Designs, Inc. Compression of pixel data
US7720999B2 (en) 2002-11-26 2010-05-18 Qualcomm Incorporated System and method for optimizing multimedia compression using plural encoders
JP4631629B2 (ja) 2004-09-15 2011-02-16 株式会社ニコン 電子カメラおよび画像処理プログラム
US7809200B2 (en) * 2005-11-15 2010-10-05 Teledyne Licensing, Llc Dynamic range compression of high dynamic range imagery
JP4507265B2 (ja) 2008-06-30 2010-07-21 ルネサスエレクトロニクス株式会社 画像処理回路、及びそれを搭載する表示パネルドライバ並びに表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02264522A (ja) * 1989-04-04 1990-10-29 Matsushita Electric Ind Co Ltd 符号化装置
JP2001506094A (ja) * 1996-12-12 2001-05-08 トムソン コンシューマ エレクトロニクス インコーポレイテッド メモリ管理システムのためのイメージ要素プロセッサ
JPH11252563A (ja) * 1998-03-05 1999-09-17 Fuji Xerox Co Ltd 画像符号化装置、画像復号化装置および画像処理装置、並びに画像符号化方法、画像復号化方法および画像処理方法
JP2008227817A (ja) * 2007-03-12 2008-09-25 Seiko Epson Corp 画像データ符号化装置、画像データ復号化装置、画像処理装置及び電子機器
JP2009105700A (ja) * 2007-10-24 2009-05-14 Seiko Epson Corp 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置、及び半導体集積回路
JP2010056600A (ja) * 2008-08-26 2010-03-11 Victor Co Of Japan Ltd 映像信号符号化装置及び映像信号復号化装置

Also Published As

Publication number Publication date
US9319691B2 (en) 2016-04-19
KR20150028716A (ko) 2015-03-16
US20150071559A1 (en) 2015-03-12

Similar Documents

Publication Publication Date Title
US8385668B2 (en) Image processing circuit, and display panel driver and display device mounting the circuit
US9640149B2 (en) Methods for fixed rate block based compression of image data
JP5548064B2 (ja) 表示システム及び表示デバイスドライバ
US8311352B2 (en) Lossless compression-encoding device
US10136139B2 (en) Display driver and method of operating image data processing device
JP2012109970A (ja) ディスプレー駆動装置及びその映像データ圧縮及び復元方法
CN101142821A (zh) 新压缩格式和用其在帧存储器中暂存图像数据的设备
CN101494788B (zh) 视频图像的压缩/解压缩方法与装置
US9986250B2 (en) Display driving apparatus and driving method thereof
JP2020008859A (ja) Rgbg形式の画像データ表示方法、rgbg形式画像データの色変換方法、表示装置およびプログラム
JP2014078860A (ja) 圧縮器、駆動装置、表示装置および圧縮方法
US8315459B2 (en) Lossless compression-encoding device and decoding device for image data
TW201817232A (zh) 影像處理方法及相關裝置
JP5375372B2 (ja) 圧縮符号化装置、および復号装置
JP2015053590A (ja) 画像符号化装置および画像符号化方法
CN107845358B (zh) 显示器驱动设备和显示器驱动方法
JP5988696B2 (ja) 画像圧縮回路、画像圧縮方法、半導体装置、およびスマートフォン
KR102666533B1 (ko) 표시 장치, 그 구동 방법 및 그 스트레스 보상 시스템
CN103262123B (zh) 图块编码和解码
US9020285B2 (en) Compressor, driving device, and display device
JP2005055825A (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP2009071472A (ja) 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置、及び半導体集積回路
US20240323407A1 (en) Image processing device and operating method thereof
JP2009111821A (ja) 画像符号化装置、画像復号化装置、画像データ処理装置、画像符号化方法、及び、画像復号化方法
JP2018164226A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180409

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180810

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180918

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181102