JP2005055825A - 画像表示装置、画像表示方法及び画像表示プログラム - Google Patents

Abstract

【課題】液晶表示パネル等の画像表示装置において、画像データのデータ量を削減して画像表示部に転送し、且つ、削減した画像データを逆変換することにより元画像に近づくように復元することを可能とする。
【解決手段】画像表示装置のＣＰＵ２１６では、まず、取得した画像データに対して元のイメージに近いままデータ量を削減する減色処理を行う。次に頻度算出部２３２、ハフマン木生成部２３４及び符号化処理部２３６にて、前記減色処理された画像データに対してハフマン符号化処理が行われる。以上の処理により、表示装置２１２に転送するデータ量が少なくなり、データ転送速度を速くすることができ、さらに消費電力低減も実現できる。また、表示装置２１２内の復号化処理部２３８にて符号化されたデータを復号する処理が行われ、減色処理された段階の画像まで復元される。これにより、表示される画像の画質が改善される。
【選択図】図１

Description

本発明は、液晶表示パネルその他の画像表示部を備える画像表示装置において、表示すべき画像データのデータ量を削減して画像表示部に転送する手法に関する。

近年では、携帯電話やＰＤＡ（Personal Digital Assistant）などの携帯端末装置に搭載する表示装置の大画面サイズ化、高解像度化が進んでおり、従来より画素数の多い高解像度の画像データをより大きな画面上に表示することが可能となっている。

しかし、そのような大画面表示又は高解像度表示に対応する高解像度画像データはそのデータ量が多い。表示装置へのデータ転送においては、データ線（データライン）数を増やせばクロック数を減らせるが、その分消費電力が大きくなるという欠点がある。

また、半導体回路である液晶ドライバＩＣは、その性質上動作クロック数の上限がある。例えば、データ線数が１本の場合で、解像度が１７６×２０８画素であるＱＣＩＦ（Quarter Common Intermediate Format）に従って１画素当りＲＧＢ各６ビット、計１８ビットの動画データを毎秒６０フレーム転送するためには、３９．５MHz（１７６×２０８×１８×６０）のドットクロックが必要である。一方、データ線数が３本である場合は、ドットクロックは上記の場合の１/３の１３．２MHzとなる。この程度ならば、現状の半導体プロセスで製作される液晶ドライバＩＣの内蔵回路、とくにＲＡＭの読み書きスピードが十分対応可能である。

しかし、解像度が３５２×４１６画素にもなるＣＩＦ（Common Intermediate Format）になると、上述したものと同様に１画素当りＲＧＢ各６ビット、計１８ビットの動画データを毎秒６０フレーム転送するためには、ドットクロックは１５８．１MHz必要になる。この場合、データ線数を３本にしてもドットクロックは５２．７MHzにもなり、現状のＲＡＭの読み書きスピードでは対応不能になる。また、さらに高画質な２４ビット（フルカラー：ＲＧＢ各８ビット）の画像データを転送する場合にはドットクロックは２１０MHzとなり、データ線数を３本にしても７０．３MHzにもなる。よって、現在の液晶ドライバＩＣの能力では対応できない。

また、上述のように、データ線数を増やすことによってドットクロックを低減することは理論的には可能であるが、携帯端末装置は実装面積に限度があり、液晶ドライバＩＣの信号入出力部は小さなコネクタや小さな接点にならざるを得ない。よって、データ線数を増加することは、携帯端末装置を携帯する際の衝撃や温度変化などによりコネクタの信頼性低下に繋がる可能性がある。つまり、データ線数の増大には限界がある。

このような問題に対処する手段として、表示装置に送る画像データのデータ量を削減するという方法がある。この方法の１つとして、転送する画像データを減色処理してデータ量を減らすというものが特許文献１にて報告されている。具体的には、減色処理に誤差拡散法を用い、下位ビットについては演算を省略するという方法が記載されている。その他にも、複数枚の画像を縮小し、合成してデータ量を削減した画像データを送信するという技術が、特許文献２に記載されている。

しかしながら、上述のデータ削減方法は、主に不可逆的画像変換を用いたものであるので、データ量を削減した画像そのものが表示パネルに表示されることになる。そのため、表示画像の画質の低下は避けられない。また、表示する際に、画像を補間する処理を行った場合には、処理に多くの計算を要してしまう。しかも、その補間処理による画質改善にも限度がある。

特開平９−１０１７７１号公報

特開２００３−１８４０１号公報

本発明は、上記のような問題を解決するためになされたもので、その目的とするところは、液晶表示パネルその他の画像表示部を備える画像表示装置において、表示すべき画像データのデータ量を削減して画像表示部に転送し、且つ、削減した画像データに対して逆変換を行うことにより元の画像に近づくように復元することが可能な画像表示装置、画像表示方法及び画像表示プログラムを提供することにある。

本発明の１つの観点では、画像処理部及び画像表示部を備える画像表示装置において、前記画像処理部は、表示すべき画像データを取得する画像データ取得手段と、取得した画像データを減色処理してデータ量を削減する減色処理手段と、減色処理された前記画像データを符号化して符号化画像データを生成する符号化手段と、前記符号化画像データ、及び、前記符号化手段による符号化方法を規定する符号化方法データを前記画像表示部へ転送する転送手段と、を備え、前記画像表示部は、前記符号化方法データに基づいて、前記符号化画像データを復号化する復号化手段と、復号化された画像データを表示する表示手段と、を備える。

上記の画像表示装置は、例えば画像表示部として液晶表示パネルを備える携帯電話、携帯型端末などの各種端末装置とすることができ、大別して表示すべき画像データの処理を行う画像処理部と、画像データを表示する画像表示部とから構成される。画像処理部において、画像データ取得手段は、例えば外部のサーバその他から画像データを取得する。この画像データは、静止画データと動画データの両方を含む。取得された画像データは、減色処理によりデータ量が削減され、さらに符号化処理によりデータ量が削減される。そうしてデータ量が削減された画像データ、及び、符号化方法を規定する符号化方法データが画像処理部から画像表示部へ転送される。画像表示部では、符号化方法データに基づいて、符号化画像データを復号化して表示する。よって、画像処理部から画像表示部への画像データの転送処理の負担を軽減し、転送を高速化することができる。

上記の画像表示装置の一態様では、前記符号化手段は、前記減色処理された画像データに対してハフマン符号化処理を行う。ハフマン符号化は可逆符号化であるので、画質を低下させることなく、データ量を削減することができる。

上記の画像表示装置の他の一態様では、前記符号化方法データは、前記減色処理された画像データの階調値の出現率を示す頻度表と、前記減色処理された画像データの階調値と当該階調値に対応する符号との対応を示すハフマン木と、を含むことができる。この場合、画像表示部側の復号化手段は、頻度表とハフマン木とに基づいて画像データを復号する。

上記の画像表示装置の他の一態様では、前記符号化方法データは、前記減色処理された画像データの階調値と、当該階調地に対応する符号との対応関係を示す符号表を含むことができる。この場合、画像表示部側の復号化手段は、符号表に基づいて画像データを復号する。

上記の画像表示装置の他の一態様では、前記符号化手段は、前記画像データの所定のブロック単位で前記符号化を行い、前記復号化手段は前記符号化手段による符号化と並行して、前記符号化手段にて以前行われたブロックに対応する符号化画像データの復号化を行う。これにより、画像処理部側における符号化と画像表示部側における復号化を並列処理により効率的に行うことができる。

好適な例では、前記減色処理手段は、前記画像データに対してディザ処理又は誤差拡散処理により減色処理を行うことができる。

本発明の他の観点では、画像処理部及び画像表示部を備える画像表示装置において実行される画像表示方法は、表示すべき画像データを取得する画像データ取得工程と、取得した画像データを減色処理してデータ量を削減する減色処理工程と、減色処理された前記画像データを符号化して符号化画像データを生成する符号化工程と、前記符号化画像データ、及び、前記符号化工程による符号化方法を規定する符号化方法データを、前記画像処理部から前記画像表示部へ転送する転送工程と、前記符号化方法データに基づいて、前記符号化画像データを復号化する復号化工程と、復号化された画像データを前記画像表示部上に表示する表示工程と、を備える。

また、本発明の他の観点では、画像表示プログラムは、画像処理部及び画像表示部を備える画像表示装置において実行されることにより、表示すべき画像データを取得する画像データ取得手段、取得した画像データを減色処理してデータ量を削減する減色処理手段、減色処理された前記画像データを符号化して符号化画像データを生成する符号化手段、前記符号化画像データ、及び、前記符号化手段による符号化方法を規定する符号化方法データを前記画像表示部へ転送する転送手段として前記画像処理部を機能させ、前記符号化方法データに基づいて、前記符号化画像データを復号化する復号化手段、復号化された画像データを表示する表示手段として前記画像表示部を機能させる。

上記の画像表示方法及び画像表示プログラムによっても、上記の画像表示装置と同様に画質を劣化させることなく、画像表示部への画像データの転送効率を向上させることができる。

以下、図面を参照して本発明の好適な実施の形態について説明する。

［第１実施形態］
図１に、本発明の第１実施形態に係る携帯端末装置の概略構成を示す。図１において、携帯端末装置２１０は、例えば携帯電話やＰＤＡなどの端末装置である。携帯端末装置２１０は、表示装置２１２と、送受信部２１４と、ＣＰＵ２１６と、入力部２１８と、プログラムＲＯＭ２２０と、ＲＡＭ２２４とを備える。また、表示装置２１２は、ドライバ２２６と表示パネル２２７などから構成されている。

送受信部２１４は、外部から画像データなどのコンテンツを受信する。以下では、主に、画像データを受信した場合の携帯端末装置２１０でのデータ処理について説明する。画像データの受信は、例えば利用者が携帯端末装置２１０を操作してコンテンツ提供サービスを行うサーバ装置などに接続し、所望の画像データをダウンロードする指示を入力することにより行われる。受信される画像データは、動画データと静止画データとを含む。ここでは、例えば１画素当りＲＧＢ２４ビットの画像データ（各色８ビット）が受信されるものとする。なお、送受信部２１４が受信した画像データＳ１１はＣＰＵ２１６などに供給され、さらに、ＲＡＭ２２４に保存することができる。

入力部２１８は、携帯電話であれば各種の操作ボタンなど、ＰＤＡであればタッチペンなどによる接触を検出するタブレットなどにより構成することができ、ユーザが各種の指示、選択を行う際に使用される。入力部２１８に対して入力された指示、選択などは、電気信号に変換されてＣＰＵ２１６へ送られる。

プログラムＲＯＭ２２０は、携帯端末装置２１０の各種機能を実行するための各種プログラムを記憶し、特に本実施形態では送受信部２１４から送られてきた画像データに対して減色処理を行うための減色処理プログラム、及び前記画像データを圧縮するハフマン符号化処理プログラムなどを記憶している。

ＲＡＭ２２４は、減色処理やハフマン符号化処理を行うプログラム等のプログラムに従って画像データを変換する際などに作業用メモリとして使用される。また、前述のように、送受信部２１４が受信した外部からの画像データ、又は、携帯端末装置２１０に備え付けられた図示しないカメラなどから取得した画像データを必要に応じて保存することもできる。

ＣＰＵ２１６は、プログラムＲＯＭ２２０内に記憶されている各種プログラムを実行することにより、携帯端末装置２１０の各種機能を実行する。本実施形態では、まず、プログラムＲＯＭ２２０内に記憶されている減色処理プログラムを読み出して実行することにより減色処理部２３０として機能する。減色処理部２３０では、受信装置２１４から供給される画像データＳ１１などに対して、減色処理が行われる。具体的には、取得した画像データに対して元のイメージに近いまま画像の階調値を削減する処理を行う。これにより、表示装置２１２に転送する画像データのデータ量を削減することができる。減色処理については、後に詳細に説明する。

次に、ＣＰＵ２１６は、同じくプログラムＲＯＭ２２０内に記憶されているハフマン符号化処理プログラムを読み出して実行することにより頻度算出部２３２、ハフマン木生成部２３４及び符号化処理部２３６として機能する。まず、頻度算出部２３２では、減色処理部２３０より入力された画像データに対して、階調値の頻度を算出する。次に、ハフマン木生成部２３４では、頻度算出部２３２にて算出された頻度に基づき、ハフマン符号を決定するためにハフマン木を生成する。次に、符号化処理部２３６では、ハフマン木生成部２３４にて決定された階調値とハフマン符合との対応関係に基づき、減色処理部２３０より供給される画像データを符号化する。なお、頻度算出部２３２にて算出された頻度表のデータＳ１２、ハフマン木生成部２３４にて生成されたハフマン木のデータＳ１３、及び符号化処理部２３６にて得られたハフマン符号化データＳ１４は、復号に用いられるために表示装置２１２内の復号化処理部２３８に入力される。以上の処理により、前述の減色処理と同様に、表示装置２１２に転送する画像データのデータ量を削減することができる。このハフマン符号化処理においては、実質的に画像データを削減していない。つまり、後に逆変換である復号処理を行って表示される画像データは減色処理のみが行われた画像となる。なお、上述の頻度算出部２３２、ハフマン木生成部２３４及び符号化処理部２３６にて実行される具体的なハフマン符号化処理については、詳細は後述する。

このようにＣＰＵ２１６において処理される減色処理とハフマン符号化処理により画像データのデータ量が削減されるので、表示装置２１２への画像データのデータ転送速度を速くすることができ、低消費電力も実現できる。なお、ＣＰＵ２１６は、これら以外に各種のプログラムを実行することにより携帯端末装置２１０の各種機能を実現するが、それらは本発明とは直接の関連を有しないので、説明を省略する。

表示装置２１２は、例えばＬＣＤ（Liquid Crystal Display：液晶表示装置）などの軽量、薄型の表示装置であり、液晶の表示パネル２２７や半導体であるドライバ２２６などから構成されている。また、表示装置２１２はＣＰＵ２１６から受け取った画像データに対する処理部として、復号化処理部２３８を備える。なお、復号化処理部２３８は、例えば表示装置内のプロセッサが所定の復号化プログラムを実行することにより実現することができ、ドライバ２２６の内部に設けることもできる。

復号化処理部２３８では、ＣＰＵ２１６内の符号化処理部２３６にて符号化された画像データＳ１４と、ハフマン木生成部２３４にて作成されたハフマン木のデータＳ１３と、頻度算出部２３２にて算出された頻度表のデータＳ１２と、に基づいて復号化処理を行う。これにより、画像データはドライバ２２６及び表示パネル２２７にて処理することが可能なデータ形式に変換される。この復号化処理が行われた画像データは、ドライバ２２６に供給される。そして、供給された画像データが表示パネル２２７の表示エリア内に表示される。このとき表示される画像は、ＣＰＵ２１６にて減色処理のみが行われた画像となっている。なお、表示装置２１２は、例えば横方向と縦方向の画素数が上述したような３５２×４１６画素（ＣＩＦサイズ）などの高解像度で表示することができる。

以上のように、本実施形態では、ＣＰＵ２１６内で減色処理やハフマン符号化処理などを行って元の画像データのデータ量を削減した後で、表示装置２１２へ供給する。よって、表示装置２１２への画像データのデータ転送速度を速くすることができ、低消費電力も実現できる。

（ＣＰＵでの画像処理）
次に、ＣＰＵ２１６で行われる減色処理及びハフマン符号化処理について、具体的に説明する。ＣＰＵ２１６では、表示装置２１２に転送する画像データ量を削減する処理が行われる。本発明では、データ量の削減方法として、不可逆変換である減色処理と、可逆変換であるハフマン符号化処理と、を採用している。すなわち、不可逆変換によってある程度データ量を削減し、さらにこのデータに対して可逆変換を行い、表示装置２１２転送するデータ量を少なくするという方法を用いている。表示装置２１２においては、符号化処理に対する逆変換である復号処理を行った画像データが表示される。言い換えると、ＣＰＵ２１６から表示装置２１２に供給される画像データ自体はかなり削減されているが、そのデータに対して逆変換の処理が行われるので、表示される画像は転送されてきたデータ量から想定されるよりも高画質なものとなる。

（１）減色処理
次に、ＣＰＵ２１６内の減色処理部２３０により行われる減色処理の詳細について説明する。本実施形態では、減色処理部２３０は、ディザ法又は誤差拡散法のいずれかにより減色処理を行う。

（ａ）ディザ法
まず初めに、本実施形態に係る減色処理について説明する。本実施形態では、減色処理としてディザ法又は誤差拡散法を用いている。この２つの処理は、取得した画像データに対して元のイメージに近いままデータ量を削減することができる処理である。つまり、ビットスライスなどの処理とは異なり、元のイメージを模擬した違和感のない画像を生成することができる。

まず、図２を用いて、ディザ法について説明する。ディザ法の処理は、例えば送受信部２１４が受信した元の画像データを、縦４画素×横４画素のブロックに分割し、分割した各ブロックごとに処理を行う。具体例を示すと、図２（ａ）は、元の画像データ中から任意に選んだ１つのブロックで、各数値はそれぞれの画素の階調値を表している。図２（ｂ）はディザ行列の１つの例で、０から１５までの階調値を表す数字が書かれており、この行列は元の画像データと比較するために用いられる（即ち、数字は閾値としての意味を持つ）。具体的に行う作業は、受信した画像データとディザ行例の対応する画素の数値を比較し、ディザ行列の数字よりも大きければ１５（白）、小さければ０（黒）とする。その結果、図２（ｃ）に示すような画像が得られる。

このように、上記の４×４画素のディザ行列を使用してディザ処理を行うことにより、０〜１５までの１６階調値を白又は黒の１階調で表現することができる。よって、元の画像データの階調値を１／１６に減らすこと、即ち階調値を４ビット分減らすことができることになる。

本実施形態では、図１に示す減色処理部２３０は、上述のディザ法を用いて、受信した画像データに減色処理を施す。ここでは、受信した画像データが例えば１画素当り２４ビットのＲＧＢ形式の画像データ（各色８ビット）であるとし、これに対してディザ処理を行うものとする。ＲＧＢ３原色のそれぞれの階調値に対して上述の４×４のディザ行列を用いたディザ処理が行われる。上述のように、４×４のディザ行列を適用すると、階調値を４ビット減少させることができる。よって、ＲＧＢ各色８ビットである元の画像データの各色についてそれぞれディザ処理を適用し、各色４ビット（１６階調）の画像データに変換する。これにより、ＲＧＢ形式の１画素２４ビット（各色８ビット）の画像データは、同じＲＧＢ形式の１画素１２ビット（各色４ビット）の画像データに変換することができる。つまり、もとの画像データ量の１／２にまでデータ量を削減することができる。

なお、上記の例では、ディザ法による変換で階調値を２値化したが、ディザ法で画像データを多値で表現することもできる。最も簡単な方法として、黒と白の中間のレベルが表現できる３値のディザ法について、図２（ｄ）を用いて説明する。この場合、与えられた画像データ中の一つの画素において、その輝度の１／２（例えば２５６階調のデータであれば、１２７となる。）を考え、０から１２７の間に存在する階調値の画素に対しては、０か１２７かを前述の２値のディザ法を用いて決定し、さらに１２７から２５５までの間に存在する階調値の画素は、ディザ法を用いて１２７か２５５かを決定する。これにより、０から２５５の階調値を持つ画像データを、０、１２７及び２５５の３値で表現することができる。なお、ディザ法による変換は、輝度の階調値に対して行ってもよいし、ＲＧＢの色データの階調値に対して行ってもよい。

（ｂ）誤差拡散法
次に、図３を用いて、誤差拡散法を説明する。最も単純な誤差拡散法では、注目している画素において２値化した際に生じる誤差を、全てその右のピクセルへ割り振る処理を行う。その処理の一例を図３に示す。図３（ａ）の上段は、減色処理がされていない元の画像データであり、各数値はそれぞれの画素の階調値を表している。まず、図３（ａ）の左に位置する階調値が２００である画像データを２値化すると、１２７（２５６階調の半値に当たる）よりも大きいので、階調値２５５（白）になる。このとき、元の画像とは階調値５５（＝２５５−２００）の誤差が生じる。この誤差を図３（ｂ）において、階調値が１６０である中央に位置する画像データに分配し、その画素値から５５を減算して階調値１０５となったデータに対して、さらに２値化処理を行う。これにより、階調値０（黒）に変換される。このときも、同様に階調値にして −１０５（＝０−（１６０−５５））の誤差が生じる。この誤差を図３（ｃ）において、階調値が１８０である画素に分配し、２値化すると階調値２５５（黒）に変換される。このように次々に誤差を隣の画素に分配していくことで、２値画像による擬似的な階調パターンを作成することができる。ここでは誤差を全て右の画素に分散させているが、誤差を割り振るピクセル数を増やし（例えば、右、右下、下に割り振る。）、又はその割り振る位置によってその比率を変化させることもできる。これにより、処理に要する計算量は増大するが、原画像をより正確に模擬した画像を作成することできる。

上記の誤差拡散法の例では、変換により階調値を２値化するものを示したが、本実施形態では、誤差拡散法で画像データを多値で表現する。例えば、受信した画像データが１画素当り２４ビットのＲＧＢ形式の画像データ（各色８ビット）のとき、これに対して多値誤差拡散法の処理を行って、ＲＧＢ形式の１画素当り１２ビット（各色４ビット）の画像データに変換することができる。つまり、もとの画像データ量の１／２にまでデータ量を削減することができる。

以下では、ディザ法の処理によって作成された画像と誤差拡散法によって作成された画像について、それぞれの特徴を説明する。前述のディザ法では、本来なら一繋がりの画像として処理すべきところを分割してしまったり、逆に分けて処理した方がよい画像をくっ付けてしまうという処理が行われる可能性がある。これにより、不自然な規則的模様が現われることがある。しかし、誤差拡散法では、各画素の階調値を元に、誤差を算出してから、その埋め合わせを近傍に割り振るので、全体として見たときには平均的に元の画像との誤差が少ない画像になっている。このため、ディザ法の処理により生じる不自然な規則的模様が現われることはない。ただし、誤差拡散法では、ディザ法のように決まった処理をパッチワークで繰り返すものではないので、計算に時間がかかってしまう。以上のことから、例えば、動画像のように、画像の質よりも処理速度の速さが要求される場合はディザ処理を用い、静止画像のように、処理速度よりも画質が要求される場合には誤差拡散法を用いることが好ましい。

以上のようにＣＰＵ２１６は、ディザ法又は誤差拡散法減色処理を行うことにより、表示装置２１２に転送する画像データ量が削減される。減色処理にてデータ量を削減したが、ビットスライスなどの処理とは異なり、元の画像を模擬する処理がなされているので、表示する画像に対して違和感を生じさせない。

（２）ハフマン符号化処理
以下では、ＣＰＵ２１６にて行われる本実施形態に係るハフマン符号化処理について説明する。一般的に、ハフマン符号化処理は、取得したデータに対して、よく発生するデータに対しては短い符号を当て、発生しにくいデータに対しては長い符号を与えるという符号化を行う処理である。つまり、元のデータを可変長にするというものである。この処理により、元のデータのデータ量を削減することができる。

その具体例について、図４を用いて説明する。図４（ａ）は、処理すべき元のデータで、「ａａｂｂｃｃｃｃｄｄｄｄｅｅｅｅｅｅｅｅｆｆｆｆ」という記号から成る文字列である。次に図４（ｂ）に示すように、この入力された記号の頻度を算出して頻度表を作成する。図４（ｂ）において、左列には入力された記号、右列にはその頻度（出現率とも呼ぶ）を示す。次に、このように算出された頻度表に基づいてハフマン木が生成される。ハフマン木は、図４（ｃ）に示すように、葉１０、枝１１、内部節点１２及び根１３から構成される。以下で、ハフマン木の作成手順について説明する。まず、各記号に対する葉１０を作り、それぞれの葉１０に記号とその頻度を書いておく。次に、頻度が最も小さい２枚の葉１０について内部節点１２を１つ作り、その内部節点１２と２枚の葉１０を枝１１で結ぶ。そして枝１１の一方には「０」、他方には「１」のラベルを付加する。この内部節点１２に２枚の葉１０の頻度の和を書き、この内部節点１２を新たな葉１０と考える。内部節点１０より下の枝１１と葉１０をないものと考え、上述の手順を繰り返す。葉１０(又は、内部節点１２)が１枚になったところでハフマン木が完成する。

以上の処理により、図４（ｄ）に示すように、元のデータはハフマン符号に変換される。すなわち、ａは「１１１０」、ｂは「１１１１」ｃは「１００」、ｄは「１０１」、ｅは「０」、ｆは「１１０」と表された符号表を作成することができる。この符号化されたデータ又はハフマン木に基づいて、元のデータは「１１１０ １１１０ １１１１ １１１１ １００ １００ １００ １００ １０１ １０１ １０１ １０１ ０ ０ ０ ０ ０ ０ ０ ０ １１０ １１０ １１０ １１０」と符号化することができる。

以下で、本実施形態において具体的に行われるハフマン符号化処理について説明する。まず、上述したように減色処理部２３０にて減色処理された画像に対して、頻度算出部２３２にて頻度表が算出される。このとき、本実施形態においては、図５（ａ）に示すようにブロック単位でハフマン符号化処理を行う。例えば画像の４行（４ライン）を１ブロックとして扱い、１つのブロックの符号化が終了すれば、次のブロックに移って処理を行うことができる。つまり、頻度算出部２３２では、図５（ｂ）に示すように、画像データの１ブロック分のデータに対して頻度表（以下、「頻度ヒストグラム」とも呼ぶ。）を算出していく。図５（ｂ）は、横軸は階調値を表しており（図５（ｂ）においては、１６階調のものを示している）、縦軸はその階調値を示す画素数がどれだけあるか、即ち各階調値を有する画素の出現頻度を表している。なお、頻度表算出の処理は、前述した減色処理の際に同時に行っても良い。このように算出された頻度表は、ハフマン木生成部２３４と表示装置２１２内の復号化処理部２３８に供給される。また、前述した一回に処理が行われる画像のブロック数の情報も（例えば４行）、復号化処理部２３８に供給される。復号化処理部２３８に供給される頻度表のデータＳ１２及び画像のブロック数は、復号化処理部２３８が後に符号化されたデータを復号する際に用いられる。

次に、ハフマン木生成部２３４では、供給された頻度表に基づいてハフマン木が生成される。生成されたハフマン木は、符号化処理部２３６と表示装置２１２内の復号化処理部２３８に供給される。復号化処理部２３８に供給されるハフマン木のデータＳ１３も、後に符号化されたデータを復号する際に用いられる。次に、符号化処理部２３６には、減色処理部２３０から減色処理された画像データと、ハフマン木生成部２３４よりハフマン木のデータが供給される。符号化処理部２３６では、これら供給されるデータに基づいて、減色処理された画像データをハフマン符号化する。こうして作成された符号化データＳ１４は、表示装置２１２内の復号化処理部２３８に転送される。

以上のＣＰＵ２１６内においてのハフマン符号化処理により、表示装置２１２に転送するデータ量が削減される。データ削減量は画像に依存するが、実験的には約１／２程度に削減されることがわかっている。すなわち、先に述べた減色処理と合わせると、元の画像データＳ１１のデータ量を約１／４に削減したものを表示装置２１２に転送することができる。以上のハフマン符号化処理は可逆符号化であり、符号化によりデータ量を削減しているだけで画像データ自体を欠損させてはいないため、復号して表示される画像の質は落ちることはない。

なお、ＣＰＵ２１６から表示装置２１２へは、画像データやその他関連するデータは、データバスとシリアルバスを用いて転送することができる。データ量が多い符号化データＳ１４は、データバスを経由して転送される。一方、頻度表のデータＳ１２、一回の処理で符号化する画像の行数及びハフマン木のデータＳ１３などは、このデータバスを用いて符号化データＳ１４と時分割で転送しても良いし、データ量が小さいためＣＬＫ信号やＳＤＡ信号などを送信する際に用いられるシリアルバスを経由して転送しても良い。

（表示装置での画像処理）
以下では、表示装置２１２で行われる復号化処理について説明する。復号化処理は表示装置２１２内の復号化処理部２３０にて行われる。復号化処理部２３０には、先に述べたように、頻度算出部２３２から頻度表のデータＳ１２、ハフマン木生成部２３４からハフマン木のデータＳ１３、及び符号化処理部から符号化データＳ１４が供給され、これらのデータに基づいて復号処理が行われる。具体的な復号方法について、図４（ｃ）を参照して説明する。例えば、「１０１」という符号が送られてきた場合、まず、根１３からビットが「１」である右の枝１１をたどる。次に、ビット「０」である左の枝１１をたどる。そして、ビット「１」である右の枝１１をたどると、「ｄ」を表す葉１０に到達する。これにより、「１０１」と符号化されたデータが「ｄ」という記号であると識別される。以上の手順で、符号化されたデータが復号される。

以上の復号化処理部２３０にて行われる復号処理により、復号化処理部２３８による復号処理後の画像データは、ＣＰＵ２１６の減色処理部２３０に減色処理された後の画像に戻ることになる。これにより、表示パネル２２７には、減色処理された入力画像を模擬した画像が表示されることになる。このように、ＣＰＵ２１６から表示装置２１２に供給される画像データ自体はかなり削減されているが、そのデータに対して可逆変換の処理が介在しているので、表示される画像は転送されてきたデータ量から想定されるよりも高画質なものを表示することができる。

なお、本実施形態においては、上述したようにＣＰＵ２１６ではブロック単位で処理を行うので、ＣＰＵ２１６にて行うハフマン符号化処理と、表示装置２１２にて行う復号化処理を並列して行うことができる。具体的に、図６を用いて説明する。図６（ａ）に示すように、ＣＰＵ２１６では、処理が画像の上から下に向かってなされており、ある時刻において図示する位置の画像データに対して符号化処理を行っているものとする。このとき、その処理を行っているブロックよりも上段の画像（符号化処理が完了している画像）は、既に表示装置２１２に転送されている。一方、表示装置２１２では、図６（ｂ）に示すように、上記の時刻においてＣＰＵ２１６で符号化している画像よりも上段のデータに対して復号化処理を行うことができる。これにより、ＣＰＵ２１６にて行うハフマン符号化処理と、表示装置２１２にて行う復号化処理を効率よく行うことができる。

［第２実施形態］
以下で、本発明の第２実施形態について説明する。第１実施形態では、ハフマン符号化したデータを復号処理部２３８にて復号処理するのに、頻度表とハフマン木に基づいて行った。第２実施形態においては、復号処理部２３８にて画像データを復号するのに、図４（ｄ）に示した符号表のみを用いて復号する方法を採用する。変換するデータ量が大きい場合には、符号表自体もデータ量が多くなってしまうが、変換するデータ量が小さい場合には、符号表のデータ量は小さくなる。本実施形態のように符号化すべき画像データが、例えば１６階調（４ビット）である場合には、符号表のデータ量は小さいので、符号表のみを転送する方が効率が良い。そのため、第２実施形態においては、第１実施形態にて述べたように頻度表とハフマン木を転送するのではなく、符号表のみを転送する方法を採用している。

図７は、本発明の第２実施形態に係る携帯端末装置の概略構成を示している。図７において、携帯端末装置２１０は、例えば携帯電話やＰＤＡなどの端末装置である。携帯端末装置２１０は、表示装置２１２と、送受信部２１４と、ＣＰＵ２１６と、入力部２１８と、プログラムＲＯＭ２２０と、ＲＡＭ２２４とを備える。また、表示装置２１２は、ドライバ２２６と表示パネル２２７などから構成されている。

送受信部２１４は、外部から画像データなどを受信する。受信される画像データは、動画データと静止画データとを含む。ここでは、例えば１画素当りＲＧＢ２４ビットの画像データ（各色８ビット）が受信されるものとする。なお、送受信部２１４が受信した画像データＳ１１はＣＰＵ２１６などに供給され、さらに、ＲＡＭ２２４に保存することができる。

入力部２１８は、携帯電話であれば各種の操作ボタンなど、ＰＤＡであればタッチペンなどによる接触を検出するタブレットなどにより構成することができ、ユーザが各種の指示、選択を行う際に使用される。入力部２１８に対して入力された指示、選択などは、電気信号に変換されてＣＰＵ２１６へ送られる。

プログラムＲＯＭ２２０は、携帯端末装置２１０の各種機能を実行するための各種プログラムを記憶し、特に本実施形態では送受信部２１４から送られてきた画像データに対して減色処理を行うための減色処理プログラム、及び前記画像データを圧縮するハフマン符号化処理プログラムなどを記憶している。

ＲＡＭ２２４は、減色処理を行うプログラム等のプログラムに従って画像データを変換する際などに作業用メモリとして使用される。また、前述のように、送受信部２１４が受信した外部からの画像データを必要に応じて保存することもできる。

ＣＰＵ２１６は、プログラムＲＯＭ２２０内に記憶されている各種プログラムを実行することにより、携帯端末装置２１０の各種機能を実行する。第２実施形態においては、まず、プログラムＲＯＭ２２０内に記憶されている減色処理プログラムを読み出して実行することにより減色処理部２３０として機能する。減色処理部２３０では、受信装置２１４から供給される画像データＳ１１などに対して、減色処理が行われる。これにより、表示装置２１２に転送する画像データのデータ量を削減することができる。また、取得した画像データに対して元のイメージに近いままデータ量を削減することができる。この減色処理については、先に説明したディザ法又は誤差拡散法を行う。

次に、ＣＰＵ２１６は、同じくプログラムＲＯＭ２２０内に記憶されているハフマン符号化処理プログラムを読み出して実行することにより頻度算出部２３２、符号表生成部２４０及び符号化処理部２３６として機能する。頻度算出部２３２では、減色処理部２３０より入力された画像データに対して、１ブロック単位で階調値の頻度を算出する。次に、符号表生成部２４０では、頻度算出部２３２にて算出された頻度に基づきハフマン木を生成して、図４（ｄ）に示したような所定の階調値がどの符号に当たるのかを示す符号表（以下、「固定符号表」とも呼ぶ）を生成する。次に、符号化処理部２３６では、符号表生成部２４０にて生成された固定符号表に基づき、画像データの階調値を符号化する。こうして、符号表生成部２４０にて生成された１ブロック単位の符号表のデータＳ２１、及び符号化処理部２３６にて得られたハフマン符号化データＳ１４は、表示装置２１２内の復号化処理部２３８に入力される。以上の処理により、前述の減色処理と同様に、表示装置２１２に転送する画像データのデータ量を削減することができる。このハフマン符号化処理においては、実質的に画像データを削減していないので、後に復号して表示される画像データの質が落ちてしまうことはない。なお、上述の頻度算出部２３２、符号表生成部２４０及び符号化処理部２３６にて実行される具体的なハフマン符号化処理については、図４を用いて説明したものと同様である。以上のように、第２実施形態に係るハフマン符号化処理では、固定符号表のデータＳ２１及びハフマン符号化データＳ１４のみを表示装置２１２に転送することができる。

このようにＣＰＵ２１６において処理される減色処理とハフマン符号化処理により画像データのデータ量が削減される。また、第２実施形態においては、頻度表の及びハフマン木の代わりに、固定符号表のみを転送するので、さらに転送するデータ量を少なくすることができる。

次に、表示装置２１２は、例えばＬＣＤ（Liquid Crystal Display：液晶表示装置）などの軽量、薄型の表示装置であり、液晶の表示パネル２２７や半導体であるドライバ２２６などから構成されている。また、表示装置２１２はＣＰＵ２１６から受け取った画像データに対する処理部として、復号化処理部２３８を備える。なお、復号化処理部２３８は、例えば表示装置内のプロセッサが所定の復号化プログラムを実行することにより実現することができ、ドライバ２２６の内部に設けることもできる。

復号化処理部２３８では、ＣＰＵ２１６の符号化処理部２３６にて符号化された画像データＳ１４と、符号表生成部２４０にて生成された符号表のデータＳ２１と、に基づいて復号化処理を行う。これにより、ドライバ２２６及び表示パネル２２７にて処理することが可能なデータ形式に変換される。なお、この復号化処理部２３８での復号化処理と、ＣＰＵ２１６の符号化処理部２３６でのハフマン符号化処理は、先に図６を用いて述べたように並列して処理を行うことができる。この復号化処理が行われた画像データは、ドライバ２２６に供給される。そして、供給された画像データが表示パネル２２７の表示エリア内に表示される。表示装置２１２は、例えば横方向と縦方向の画素数が上述したような３５２×４１６画素（ＣＩＦサイズ）などの高解像度表示が可能なものである。

以上のように、第２実施形態では、ＣＰＵ２１６から表示装置２１２へ符号化されたデータＳ１４に加えて符号表のデータＳ２１のみを転送するので、さらにデータ転送速度を速くすることができ、低消費電力も実現できる。また、転送するデータ量が少ないので、メモリも少なくすることができる。

本発明の第１実施形態に係る画像処理を適用した携帯端末装置の概略構成を示す。 ディザ法を説明するための図である。 誤差拡散法を説明するための図である。 ハフマン符号化処理を説明するための図である。 画像に対してハフマン符号化処理を行う具体例について示した図である。 符号化処理と復号化処理との並列処理を示す。 本発明の第２実施形態に係る画像処理を適用した携帯端末装置の概略構成を示す。

符号の説明

２１０ 携帯端末装置、 ２１２ 表示装置、 ２１４ 送受信部、 ２１６ ＣＰＵ、 ２１８ 入力部、 ２２０ プログラムＲＯＭ、 ２２４ ＲＡＭ、 ２３０ 減色処理部、 ２３２ 頻度算出部、 ２３４ ハフマン木生成部、 ２３６ 符号化処理部、 ２３８ 復号化処理部、 ２４０ 符号表生成部

Claims (9)

1. 画像処理部及び画像表示部を備える画像表示装置において、
   前記画像処理部は、
   表示すべき画像データを取得する画像データ取得手段と、
   取得した画像データを減色処理してデータ量を削減する減色処理手段と、
   減色処理された前記画像データを符号化して符号化画像データを生成する符号化手段と、
   前記符号化画像データ、及び、前記符号化手段による符号化方法を規定する符号化方法データを前記画像表示部へ転送する転送手段と、を備え、
   前記画像表示部は、
   前記符号化方法データに基づいて、前記符号化画像データを復号化する復号化手段と、
   復号化された画像データを表示する表示手段と、を備えることを特徴とする画像表示装置。
2. 前記符号化手段は、前記減色処理された画像データに対してハフマン符号化処理を行うことを特徴とする請求項１に記載の画像表示装置。
3. 前記符号化方法データは、前記減色処理された画像データの階調値の出現率を示す頻度表と、前記減色処理された画像データの階調値と当該階調値に対応する符号との対応を示すハフマン木と、を含むことを特徴とする請求項２に記載の画像表示装置。
4. 前記符号化方法データは、前記減色処理された画像データの階調値と当該階調値に対応する符号との対応関係を示す符号表を含むことを特徴とする請求項２に記載の画像表示装置。
5. 前記符号化手段は、前記画像データの所定のブロック単位で前記符号化を行い、
   前記復号化手段は前記符号化手段による符号化と並行して、前記符号化手段にて以前行われたブロックに対応する前記符号化画像データの復号化を行うことを特徴とする請求項１及至４のいずれかに記載の画像表示装置。
6. 前記減色処理手段は、前記画像データに対してディザ処理を行うことを特徴とする請求項１乃至５のいずれか一項に記載の画像表示装置。
7. 前記減色処理手段は、前記画像データに対して誤差拡散処理を行うことを特徴とする請求項１乃至５のいずれか一項に記載の画像表示装置。
8. 画像処理部及び画像表示部を備える画像表示装置において実行される画像表示方法において、
   表示すべき画像データを取得する画像データ取得工程と、
   取得した画像データを減色処理してデータ量を削減する減色処理工程と、
   減色処理された前記画像データを符号化して符号化画像データを生成する符号化工程と、
   前記符号化画像データ、及び、前記符号化工程による符号化方法を規定する符号化方法データを、前記画像処理部から前記画像表示部へ転送する転送工程と、
   前記符号化方法データに基づいて、前記符号化画像データを復号化する復号化工程と、
   復号化された画像データを前記画像表示部上に表示する表示工程と、を備えることを特徴とする画像表示方法。
9. 画像処理部及び画像表示部を備える画像表示装置において実行されることにより、
   表示すべき画像データを取得する画像データ取得手段、
   取得した画像データを減色処理してデータ量を削減する減色処理手段、
   減色処理された前記画像データを符号化して符号化画像データを生成する符号化手段、
   前記符号化画像データ、及び、前記符号化手段による符号化方法を規定する符号化方法データを前記画像表示部へ転送する転送手段として前記画像処理部を機能させ、
   前記符号化方法データに基づいて、前記符号化画像データを復号化する復号化手段、
   復号化された画像データを表示する表示手段として前記画像表示部を機能させることを特徴とする画像表示プログラム。

Images