JP2006013701A - 表示コントローラ、電子機器及び画像データ供給方法 - Google Patents

表示コントローラ、電子機器及び画像データ供給方法 Download PDF

Info

Publication number
JP2006013701A
JP2006013701A JP2004185155A JP2004185155A JP2006013701A JP 2006013701 A JP2006013701 A JP 2006013701A JP 2004185155 A JP2004185155 A JP 2004185155A JP 2004185155 A JP2004185155 A JP 2004185155A JP 2006013701 A JP2006013701 A JP 2006013701A
Authority
JP
Japan
Prior art keywords
format
image data
memory
yuv
host
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004185155A
Other languages
English (en)
Inventor
Atsushi Obinata
淳 小日向
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2004185155A priority Critical patent/JP2006013701A/ja
Priority to US11/157,012 priority patent/US20050285813A1/en
Publication of JP2006013701A publication Critical patent/JP2006013701A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/04Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using circuits for interfacing with colour displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/395Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

【課題】 画質を劣化させることなくビデオメモリの容量を削減できる表示コントローラ、電子機器及び画像データ供給方法を提供する。
【解決手段】 表示コントローラ20は、ホストからの第1のYUVフォーマットの画像データのフォーマットを、U成分及びV成分のサンプリングレートを変えて第2のYUVフォーマットに変換するUVサンプリングレート変換部24と、この変換された第2のYUVフォーマットの画像データが格納されるメモリ22と、メモリ22からの第2のYUVフォーマットの画像データに対して行った画像処理後の画像データをメモリ22に書き込む画像処理部26と、メモリ22からの第2のYUVフォーマットの画像データをRGBフォーマットに変換するフォーマット変換部28とを含む。表示コントローラ20は、このRGBフォーマットに変換された画像データを表示ドライバに供給する。
【選択図】 図2

Description

本発明は、表示コントローラ、電子機器及び画像データ供給方法に関する。
近年、液晶表示(Liquid Crystal Display:LCD)パネルに代表される表示パネルが、携帯電話機等の携帯機器(広義には、電子機器)に実装されることが多い。表示パネルは、画像データに基づいて表示ドライバにより駆動される。画像データは、例えばカメラモジュールにより取り込まれたものであったり、ホストによって生成又は加工されたものであったりする。表示ドライバは、このような画像データと表示同期信号とを受けて、表示パネルの駆動制御を行う。表示コントローラは、この画像データ及び表示同期信号の供給をホストに代わって行い、該ホストの処理負荷を軽減させることができる。
ところで、画像データには、種々のフォーマットが定義されている。中でも、YUVフォーマットやRGBフォーマットが用いられることが多い。
YUVフォーマットは、人間の目の特性を利用することで、RGBフォーマットに比べて画像データのデータサイズを小さくできると共にJPEG(Joint Photographic Experts Group)、MPEG(Moving Picture Experts Group)等の圧縮処理も効率化できる。例えばカメラモジュールからの画像データはYUVフォーマットである。
一方、RGBフォーマットは、画素単位で画像データを有するため、LCDパネルの表示用の画像データに適する。また画素単位で画像データを加工することが容易となり、ホスト等によって行われる3次元の画像処理等の画像処理にも適している。例えば、ホストとの間で入出力される画像データや表示ドライバに出力される画像データはRGBフォーマットである。
そこで、ホストに代わって設けられる表示コントローラには、YUVフォーマットやRGBフォーマットの画像データが入出力される。
特開2003−224862号公報
表示コントローラが携帯機器に実装される場合、低消費電力化が要求される。そのため、表示コントローラは、ビデオメモリを内蔵することが望ましい。
しかしながら、表示コントローラに内蔵したビデオメモリにRGBフォーマットの画像データを記憶させ、該ビデオメモリから読み出した画像データを用いてLCDパネルに表示させる場合、YUVフォーマットの画像データを記憶させる場合に比べてビデオメモリの容量が大きくなってしまう。従って、画質を劣化させることなく、RGBフォーマットの画像データより少ないデータサイズのYUVフォーマットの画像データをビデオメモリに記憶させることが望ましい。
そこで、ホストからのRGBフォーマットの画像データのフォーマットを、表示コントローラ内でYUVフォーマットに変換した後にビデオメモリに格納することが考えられる(特許文献1参照)。ところが、この場合には、ホストがYUVフォーマットよりデータサイズが大きくなるRGBフォーマットの画像データを用いてビデオメモリにアクセスすることになる。このため、LCDパネルの表示画面の拡大化により表示サイズが大きくなるほど、ホストがアクセスするデータサイズを大きくなってしまう。そして、YUVフォーマットの画像データのデータサイズの増加率と比較して、RGBフォーマットの画像データのデータサイズの増加率は著しく高い。
更に、ホストからビデオメモリに転送する画像データのデータサイズが大きくなればなるほど、画像データの転送時間も長くなる。そのため、画像データの書き込み時間が長くなり、所定の周期で更新される画像のちらつきが目立つようになったり、ビデオメモリからの画像データの読み出し制御が複雑になったりする。そして、連続的に静止画の画像データを書き換えたり、動画像の画像データを書き換えたりする場合に顕著に現れる。
また、このデータ転送の間は、ホストが他の処理をすることができなくなり、全体的なシステムのパフォーマンスを低下させることにもなる。
本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、画質を劣化させることなくビデオメモリの容量を削減できる表示コントローラ、電子機器及び画像データ供給方法を提供することにある。
上記課題を解決するために本発明は、表示パネルを駆動する表示ドライバに画像データを供給するための表示コントローラであって、ホストからの第1のYUVフォーマットの画像データのフォーマットを、該画像データのU成分及びV成分のサンプリングレートを変えて第2のYUVフォーマットに変換するUVサンプリングレート変換部と、前記UVサンプリングレート変換部によって変換された前記第2のYUVフォーマットの画像データが格納されるメモリと、前記メモリから読み出された前記第2のYUVフォーマットの画像データに対して所与の画像処理を行って、画像処理後の画像データを前記第2のYUVフォーマットのまま前記メモリに書き込む画像処理部と、前記メモリから読み出された前記第2のYUVフォーマットの画像データをRGBフォーマットに変換するフォーマット変換部とを含み、前記フォーマット変換部によってRGBフォーマットに変換された画像データを、前記表示ドライバに供給する表示コントローラに関係する。
また本発明に係る表示コントローラでは、前記UVサンプリングレート変換部が、前記メモリから読み出された前記第2のYUVフォーマットの画像データのフォーマットを、該画像データのU成分及びV成分のサンプリングレートを変えて前記第1のYUVフォーマットに変換し、前記UVサンプリングレート変換部によって変換された前記第1のYUVフォーマットの画像データを、前記ホストに供給することができる。
本発明によれば、RGBフォーマットの画像データをメモリに格納する場合や、YUVフォーマットの画像データをメモリに格納するがホストとの間でRGBフォーマットの画像データを転送する場合に比べて、メモリの容量を削減できる。
また、ホストが表示コントローラに対してアクセスする画像データのフォーマットをYUVフォーマットとしたので、ホストがアクセスする画像データのデータサイズの増加率を抑えることができる。従って、表示パネルの表示画面の拡大化により表示サイズが大きくなったとしても、画像データの転送時間の長時間化を最低限に抑えて、低消費電力化及び画像のちらつきの防止を実現できる。しかも、画像データの転送時間を短時間化できるので、その分ホストの処理に割り当てることができ、表示システムのパフォーマンスを低下させずに済む。
また本発明に係る表示コントローラでは、前記第1のYUVフォーマットが、YUV4:1:1フォーマット又はYUV4:2:0フォーマットであり、前記第2のYUVフォーマットが、YUV4:2:2フォーマットであってもよい。
また本発明に係る表示コントローラでは、前記ホストからの画像データの入力フォーマットを設定するための入力フォーマット設定レジスタを含み、前記第1のYUVフォーマットが、YUV4:1:1フォーマット、YUV4:2:0フォーマット又はYUV4:2:2フォーマットであり、前記第2のYUVフォーマットが、YUV4:2:2フォーマットであり、前記入力フォーマット設定レジスタの設定値に基づいて前記ホストからの画像データのフォーマットがYUV4:2:2フォーマットであると判断されたとき、前記UVサンプリングレート変換部が、前記ホストからの画像データをそのまま前記メモリに供給することができる。
画像処理部の処理対象の画像データにより表される画像の画質は、できるだけ劣化しないものが望ましく、且つ処理に当たって不要な処理が伴わないことが望ましい。画質の劣化が激しい画像に対して画像処理を行っても、既に失われたデータを復元することは不可能であり、より一層画質を劣化させる場合が多いからである。またメモリから読み出す毎に、余分な処理が伴うと、その分だけ画像処理部の処理負荷となって、処理速度の低下と消費電力の増大を招くからである。その一方で、画像処理部の処理対象の画像データはメモリに格納されるため、メモリの記憶容量が大きくなり過ぎないものであることが望ましい。
本発明によれば、メモリに格納される画像データのフォーマットをYUV4:2:2フォーマットにできるので、RGB8:8:8フォーマットの画像データと同程度の画質で画像処理を行うことができ、メモリの容量を節約するのと引き替えに画質を劣化させることを防止できる。
また本発明は、表示パネルを駆動する表示ドライバに画像データを供給するための表示コントローラであって、ホストからの第1のYUVフォーマットの画像データを入力するためのホストインタフェースと、前記ホストインタフェースを介して入力された前記第1のYUVフォーマットの画像データが格納されるメモリと、前記メモリから読み出された画像データに対して所与の画像処理を行って、画像処理後の画像データのフォーマットを変えることなく該画像データを前記メモリに書き込む画像処理部と、前記メモリから読み出された前記第1のYUVフォーマットの画像データをRGBフォーマットに変換するフォーマット変換部とを含み、前記フォーマット変換部によって変換された前記RGBフォーマットの画像データを、前記表示ドライバに供給する表示コントローラに関係する。
また本発明に係る表示コントローラでは、前記フォーマット変換部が、前記メモリから読み出された前記第1のYUVフォーマットの画像データのフォーマットを該画像データのU成分及びV成分のサンプリングレートを変えて第2のYUVフォーマットに変換した後、該画像データをRGBフォーマットに変換することができる。
本発明によれば、RGBフォーマットの画像データをメモリに格納する場合や、YUVフォーマットの画像データをメモリに格納するがホストとの間でRGBフォーマットの画像データを転送する場合に比べて、メモリの容量を削減できる。
また、ホストが表示コントローラに対してアクセスする画像データのフォーマットをYUVフォーマットとしたので、ホストがアクセスする画像データのデータサイズの増加率を抑えることができる。従って、表示パネルの表示画面の拡大化により表示サイズが大きくなったとしても、画像データの転送時間の長時間化を最低限に抑えて、低消費電力化及び画像のちらつきの防止を実現できる。しかも、画像データの転送時間を短時間化できるので、その分ホストの処理に割り当てることができ、表示システムのパフォーマンスを低下させずに済む。
また本発明に係る表示コントローラでは、前記フォーマット変換部によって変換されたRGBフォーマットの画像データを前記表示ドライバに供給するための表示ドライバインタフェースを含むことができる。
また本発明に係る表示コントローラでは、前記画像処理部が、前記メモリから読み出された画像データの画像サイズを拡大又は縮小させる処理を行うスケーリング回路、及び前記メモリから読み出された画像データに対して所定のエフェクト処理を行う画像エフェクト演算回路の少なくとも1つを含むことができる。
また本発明は、表示パネルと、上記のいずれか記載の表示コントローラと、前記表示コントローラによって供給される画像データに基づいて前記表示パネルを駆動する表示ドライバとを含む電子機器に関係する。
また本発明に係る電子機器では、前記表示コントローラとの間で画像データの入出力を行うホストを含むことができる。
本発明によれば、画質を劣化させることなく表示コントローラに内蔵するメモリの容量を削減し、ホストによる処理負荷を軽減してシステムのパフォーマンスを向上させることができる電子機器を提供できる。
また本発明は、表示パネルを駆動する表示ドライバに画像データを供給するための画像データ供給方法であって、ホストからの第1のYUVフォーマットの画像データのフォーマットを、該画像データのU成分及びV成分のサンプリングレートを変えて第2のYUVフォーマットに変換し、前記第2のYUVフォーマットの画像データをメモリに格納し、前記メモリから読み出した画像データのフォーマットをRGBフォーマットに変換して、前記表示ドライバに出力し、前記メモリに格納された画像データは、前記メモリから一旦読み出された後に所与の画像処理が施され、画像処理後に再び前記メモリに書き込まれる画像データ供給方法に関係する。
また本発明は、表示パネルを駆動する表示ドライバに画像データを供給するための画像データ供給方法であって、ホストからの第1のYUVフォーマットの画像データのフォーマットを変換することなくメモリに格納し、前記メモリから読み出された前記第1のYUVフォーマットの画像データのフォーマットをRGBフォーマットに変換して、前記表示ドライバに出力し、前記メモリに格納された画像データは、前記メモリから一旦読み出された後に所与の画像処理が施され、画像処理後に再び前記メモリに書き込まれる画像データ供給方法に関係する。
以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の必須構成要件であるとは限らない。
1. 表示コントローラ
図1に、本実施形態における表示コントローラが適用された表示システムの構成例を示す。例えば図1に示す表示システムが、電子機器に搭載される。
表示システム100は、ホスト10、表示コントローラ20、表示ドライバ40、表示パネル50を含む。ホスト10は、CPU(Central Processing Unit)及びメモリを有し、メモリに記憶されたプログラムを読み込んだCPUが該プログラムに対応した処理を実行することで所定の機能を実現する。ここでは、ホスト10が、表示パネル50に表示させる画像に対応した画像データを生成又は加工し、表示コントローラ20に供給する。
表示コントローラ20は、表示パネル50を駆動する表示ドライバ40にホスト10からの画像データを供給する。このとき、表示コントローラ20もまた、画像サイズを拡大又は縮小させるスケーリング処理や、画像エフェクト処理等の画像データの加工処理を行うことができる。
表示ドライバ40は、表示コントローラ20からの画像データに基づいて表示パネル50を駆動することができる。表示パネル50として、例えばアクティブマトリクス型或いは単純マトリクス型のLCDパネルを採用できる。
このように表示コントローラ20は、ホスト10及び表示ドライバ40の間に設けられ、ホスト10の処理負荷を軽減できる。
図2に、本実施形態における表示コントローラ20の構成例のブロック図を示す。
表示コントローラ20は、ビデオメモリとして機能するメモリ22を有し、ホスト10からのYUVフォーマットの画像データ(YUVデータ)をメモリ22に記憶させた後に、該画像データのフォーマットをRGBフォーマットに変換してRGBフォーマットの画像データ(RGBデータ)として表示ドライバ40に供給する。
このため表示コントローラ20は、UVサンプリングレート変換部(UVサンプリングレートコンバータ)24を含む。UVサンプリングレート変換部24は、ホスト10からの第1のYUVフォーマットの画像データのフォーマットを、該画像データのU成分及びV成分のサンプリングレートを変えて第2のYUVフォーマットに変換する。そして、メモリ22には、UVサンプリングレート変換部24によって変換された第2のYUVフォーマットの画像データが格納される。
また表示コントローラ20は、画像処理部(イメージプロセッサ)26を含む。画像処理部26は、メモリ22から読み出された第2のYUVフォーマットの画像データに対して所与の画像処理を行って、画像処理後の画像データを第2のYUVフォーマットのままメモリ22に書き込むことができるようになっている。
更に表示コントローラ20は、フォーマット変換部(フォーマットコンバータ)28を含む。フォーマット変換部28は、メモリ22から読み出された第2のYUVフォーマットの画像データをRGBフォーマットに変換する。そして表示コントローラ20は、フォーマット変換部28によって変換されたRGBフォーマットの画像データを、表示ドライバ40に供給する。
なおUVサンプリングレート変換部24は、更に、メモリ22から読み出された第2のYUVフォーマットの画像データのフォーマットを、該画像データのU成分及びV成分のサンプリングレートを変えて第1のYUVフォーマットに変換することもできる。そして、表示コントローラ20が、UVサンプリングレート変換部24によって変換された第1のYUVフォーマットの画像データを、ホスト10に供給することができる。
表示コントローラ20は、ホストインタフェース(InterFace:I/F)回路(広義には、ホストインタフェース)30、LCDI/F回路(広義には表示ドライバインタフェース)32を含む。ホストI/F回路30には、ホスト10からの第1のYUVフォーマットの画像データ(YUVデータ)が入力される。このとき、ホストI/F回路30は、インタフェース処理(ホストとの間の受信処理や、信号のバッファリング)を行い、インタフェース処理後の画像データをUVサンプリングレート変換部24に供給する。またUVサンプリングレート変換部24によって変換された第1のYUVフォーマットの画像データをホスト10に供給する場合、ホストI/F回路30には、UVサンプリングレート変換部24からの第1のYUVフォーマットの画像データが入力される。ホストI/F回路30は、インタフェース処理(ホストとの間の送信処理や、信号のバッファリング)を行い、インタフェース処理後の画像データをホスト10に出力する。
LCDI/F回路32は、フォーマット変換部28からのRGBフォーマットの画像データ(RGBデータ)を、表示ドライバ40に出力する。LCDI/F回路32は、画像データのインタフェース処理(表示ドライバとの間の送信処理や、信号のバッファリング)を行い、インタフェース処理後の画像データを表示ドライバ40に出力する。
更に表示コントローラ20は、制御部(コントローラ)34を含み、制御部34が表示コントローラ20の各部の制御を司る。
本実施形態では、画像処理部26が、メモリ22に記憶された画像データに対して所定の画像処理を行うことができるようになっている。画像処理部26は、画像データの画像サイズを拡大又は縮小させるスケーリング処理、及び所定のエフェクト処理の少なくとも1つの処理を行う。このエフェクト処理としては、画像のぼかしを表現するための平均化処理がある。
このため、画像処理部26の処理対象の画像データにより表される画像の画質は、できるだけ劣化しないものが望ましく、且つ処理に当たって不要な処理が伴わないことが望ましい。画質の劣化が激しい画像に対して画像処理を行っても、既に失われたデータを復元することは不可能であり、より一層画質を劣化させる場合が多いからである。またメモリ22から読み出す毎に、余分な処理が伴うと、その分だけ画像処理部26の処理負荷となって、処理速度の低下と消費電力の増大を招くからである。
その一方で、画像処理部26の処理対象の画像データはメモリ22に格納されるため、メモリ22の記憶容量が大きくなり過ぎないものであることが望ましい。
そこで、本実施形態では、メモリ22に格納される画像データのフォーマットをYUV4:2:2フォーマットにしている。
ここで、画像データのデータサイズ及び画質に影響を与える画像データのフォーマットについて説明する。
図3に、画像データのフォーマットの説明図を示す。
RGBフォーマットは、1画素を構成するRGBの各色成分毎に設けられたデータ群を1単位とする。RGBフォーマットには、RGB3:3:2フォーマット、RGB5:6:5フォーマット、RGB8:8:8フォーマット等がある。
RGB3:3:2フォーマットの画像データは、1画素当たり8ビットで構成される。即ち、各画素が、3ビットのR成分、3ビットのG成分、2ビットのB成分で表現される。RGB5:6:5フォーマットの画像データは、1画素当たり16ビットで構成される。即ち、各画素が、5ビットのR成分、6ビットのG成分、5ビットのB成分で表現される。RGB8:8:8フォーマットの画像データは、1画素当たり24ビットで構成される。即ち、各画素が、8ビットのR成分、8ビットのG成分、8ビットのB成分で表現される。
RGBフォーマットにおいて、1画素当たりのビット数が増えるほど、1画素を表現する色数が増える。ところがRGB8:8:8フォーマットは、3バイトを1単位とするため、RGB8:8:8フォーマットの画像データはソフトウェアやハードウェアにとって扱いにくく、ダミーの1バイトを加えて4バイトを1単位として扱われることが多い。このため、より一層、画像データのデータサイズが更に大きくなる。
YUVフォーマットは、画素の輝度成分と1又は複数の画素毎に設けられた2種類の色差成分とを有するデータ群を1単位とする。YUVフォーマットには、YUV4:4:4フォーマット、YUV4:2:2フォーマット、YUV4:1:1フォーマット、YUV4:2:0フォーマット等がある。
YUV4:4:4フォーマットの画像データは、1画素当たり24ビットで構成される。即ち、各画素は、8ビットの輝度成分Y、8ビットの色差成分U、8ビットの色差成分Vで表現される。YUV4:4:4フォーマットは、RGB8:8:8フォーマットの画像データにより表現される画質と同じ画質であり、1画素当たり24ビットで構成される点には変わりない。
YUV4:2:2フォーマットの画像データは、2画素当たり32ビットで構成される。即ち、画素毎に8ビットの輝度成分Yを有し、水平方向に隣接する2画素毎に8ビットの色差成分U及び8ビットの色差成分Vを有する。言い換えれば、各色差成分は、2つの画素で共有される。自然画像の場合、YUV4:2:2フォーマットの画質は、人間の目では区別できない程、RGB8:8:8フォーマットと同じレベルであるが、1画素当たり16ビットで済む。
YUV4:1:1フォーマットの画像データは、4画素当たり48ビットで構成される。即ち、画素毎に8ビットの輝度成分Yを有し、水平方向に隣接する4画素毎に8ビットの色差成分U及び8ビットの色差成分Vを有する。言い換えれば、各色差成分は、4つの画素で共有される。YUV4:1:1フォーマットは、YUV4:2:2フォーマットの画質より劣るが、YUV4:2:2フォーマットよりデータサイズを小さくできる。
YUV4:2:0フォーマットは、垂直方向に並ぶ偶数ライン及び奇数ラインの各ラインごとに異なる。偶数ラインの場合、YUV4:2:0フォーマットの画像データは、2画素当たり32ビットで構成される。即ち、画素毎に8ビットの輝度成分Yを有し、水平方向に隣接する2画素毎に8ビットの色差成分U及び8ビットの色差成分Vを有する。言い換えれば、各色差成分は、2つの画素で共有される。奇数ラインの場合、YUV4:2:0フォーマットの画像データは、画素毎に8ビットの輝度成分Yを有するのみで、各画素の色差成分U、Vとして偶数ラインの色差成分を用いる。この結果、1画面当たりのYUV4:2:0フォーマットとYUV4:1:1フォーマットのデータサイズは、等しくなる。
このような画像データのフォーマットの特性に着目し、本実施形態では、メモリ22に格納される画像データのフォーマットをYUV4:2:2フォーマットにしている。即ち、第2のYUVフォーマットとして、YUV4:2:2フォーマットを採用する。従って、ホスト10からの画像データのフォーマットである第1のYUVフォーマットとして、YUV4:1:1フォーマット又はYUV4:2:0フォーマットを採用できる。
なお、ホスト10からの画像データのフォーマットを、YUV4:2:2フォーマットとすることも可能である。この場合、ホスト10からの画像データの入力フォーマットを判別する手段を設け、該手段に基づいてホスト10からの画像データのフォーマットがYUV4:2:2フォーマットであると判断されたとき、UVサンプリングレート変換部24がホスト10からの画像データをそのままメモリ22に供給する(UVサンプリングレート変換部の処理を省略する)ようにすればよい。
次に、本実施形態の比較例との対比において、本実施形態を説明する。
図4に、本実施形態の第1の比較例における表示コントローラの構成の概要のブロック図を示す。但し、図2と同一部分には同一符号を付し、適宜説明を省略する。
第1の比較例における表示コントローラ60は、ホストI/F回路30、LCDI/F回路32、メモリ62、画像処理部64、制御部66を含む。画像処理部64は、図2の画像処理部26の機能を実現できる。
しかしながら第1の比較例では、ホストとの間でRGBフォーマットの画像データが入出力される。そして、メモリ62では、RGBフォーマットの画像データが格納される。そのため画像処理部64が、RGBフォーマットの画像データに対して上述の画像処理を行う。またLCDI/F回路32は、メモリ62から読み出した画像データに対してフォーマット変換を施すことなく表示ドライバに画像データを供給する。
制御部66は、このような表示コントローラ60の制御を司る。
図5に、本実施形態の第2の比較例における表示コントローラの構成の概要のブロック図を示す。但し、図2と同一部分には同一符号を付し、適宜説明を省略する。
第2の比較例における表示コントローラ70は、ホストI/F回路30、フォーマット変換部72、メモリ74、画像処理部76、フォーマット変換部78、LCDI/F回路32、制御部80を含む。画像処理部76は、図2の画像処理部26の機能を実現できる。
しかしながら第2の比較例では、ホストとの間でRGBフォーマットの画像データが入出力される。そして、フォーマット変換部72が、ホストI/F回路30及びメモリ74との間に設けられる。フォーマット変換部72は、YUVフォーマットとRGBフォーマットとの間のフォーマット変換を行う。その結果、メモリ74には、YUVフォーマットの画像データが格納される。ホストI/F回路30からホストにRGBフォーマットの画像データを出力する場合、メモリ74から読み出された画像データがフォーマット変換部72によってRGBフォーマットに変換される。
また画像処理部76は、メモリ74のYUVフォーマットの画像データに対して上述の画像処理を行う。
メモリ74のYUVフォーマットの画像データは、フォーマット変換部78によってRGBフォーマットに変換された後、LCDI/F回路32が表示ドライバに変換後の画像データを供給する。
制御部80は、このような変換を行う表示コントローラ70の制御を司る。
第1の比較例では、RGBフォーマットの画像データをメモリ62に格納するため、メモリ62の記憶容量が大きくならざるを得ない。一方、第2の比較例では、YUVフォーマットの画像データをメモリ74に格納するため、メモリ74の記憶容量の増大を、ある程度回避できるようになる。ところが第1及び第2の比較例では、ホストとの間でRGBフォーマットの画像データを転送するため、転送時間が長くなり、消費電力の増大及びシステムパフォーマンスの低下を招いてしまう。
これに対して本実施形態における表示コントローラ20では、YUVフォーマットの画像データを保持するようにしたので、第1及び第2の比較例に比べて、ビデオメモリとしてのメモリ22の容量を削減できる。
また、ホスト10が表示コントローラ20に対してアクセスする画像データのフォーマットをYUVフォーマットとしたので、第1及び第2の比較例に比べてホスト10がアクセスする画像データのデータサイズの増加率を抑えることができる。従って、表示パネル50の表示画面の拡大化により表示サイズが大きくなったとしても、画像データの転送時間の長時間化を最低限に抑えて、低消費電力化及び画像のちらつきの防止を実現できる。しかも、画像データの転送時間を短時間化できるので、その分ホストの処理に割り当てることができ、表示システムのパフォーマンスを低下させずに済む。
しかも本実施形態では、上述のようにメモリ22にYUV4:2:2フォーマットの画像データを格納するようにしたので、RGB8:8:8フォーマットの画像データと同程度の画質で画像処理を行うことができ、メモリ22の容量を節約するのと引き替えに画質を劣化させることを防止できる。
2. 表示コントローラの構成例
次に、本実施形態における表示コントローラの詳細なハードウェア構成例について説明する。
図6に、本実施形態における表示コントローラの詳細なハードウェア構成例のブロック図を示す。
表示コントローラ200では、図2のメモリ22の機能は、ビデオメモリ210によって実現される。また図2のUVサンプリングレート変換部24の機能は、UVサンプリングレート変換回路220によって実現される。図2の画像処理部26の機能は、画像処理回路240によって実現される。図2のフォーマット変換部28の機能は、フォーマット変換回路260によって実現される。更に図2のホストI/F回路30の機能はホストI/F回路270によって実現され、図2のLCDI/F回路32の機能はLCDI/F回路280によって実現される。また表示コントローラ200は、カメラI/F回路290(広義には画像データ入力インタフェース)を有する。カメラI/F回路290は、図示しない撮像部としてのカメラモジュールからの画像データを入力するためのインタフェース処理を行う。
また図2の制御部34の機能は、先入れ先出し記憶回路として機能するFIFO(First-In First-Out)292、カメラデータアドレス生成回路294、FIFO282、LCD表示アドレス生成回路284、LCD制御信号生成回路286、制御レジスタ272及びメモリアクセス調停回路300によって実現される。
FIFO292は、カメラI/F回路290に入力されたYUVフォーマットの画像データの受信バッファとして機能し、FIFO292に取り込まれた画像データを順次メモリアクセス調停回路300に出力する。カメラデータアドレス生成回路294は、FIFO292からメモリアクセス調停回路300に出力される画像データをビデオメモリ210に書き込むための書き込み要求信号WRReq、ライトアドレスを生成する。
FIFO282は、メモリアクセス調停回路300から出力された画像データの送信バッファとして機能し、FIFO282に取り込まれた画像データを順次LCDI/F回路280に出力する。LCD表示アドレス生成回路284は、ビデオメモリ210からの画像データを読み出してフォーマット変換回路260に出力するための読み出し要求信号RDReq、リードアドレスを生成する。フォーマット変換回路260は、ビデオメモリ210から読み出された画像データのフォーマットをRGBフォーマットに変換し、FIFO282に供給する。LCD制御信号生成回路286は、FIFO282から出力される画像データと共に表示ドライバに供給される垂直同期信号、水平同期信号及びドットクロック等の表示同期信号であるLCD制御信号を生成する。
制御レジスタ272には、表示コントローラ200を制御するための制御データが設定される。表示コントローラ200の各部は、制御レジスタ272の制御データ(設定値)に基づいて制御される。ホストが、ホストI/F回路270を介して制御レジスタ272に制御データを設定する。図6では、制御レジスタ272が、入力フォーマット設定レジスタ276を含む。入力フォーマット設定レジスタ276には、ホストが入力する画像データのフォーマットを指定するための制御データが設定される。UVサンプリングレート変換回路220が入力フォーマット設定レジスタ276に設定された制御データに応じて、画像データのU成分及びV成分のサンプリングレートを変化させる。この入力フォーマット設定レジスタ276が、ホストからの画像データの入力フォーマットを判別する手段として機能する。
画像処理回路240は、制御レジスタ272に設定された制御データに基づいて、ビデオメモリ210から画像データを読み出すための読み出し要求信号RDReq、該画像データが記憶されたビデオメモリ210のリードアドレス、画像処理後の画像データをビデオメモリ210に書き込むための書き込み要求信号WRReq、ライトアドレスを生成する。
そして、メモリアクセス調停回路300が、画像処理回路240、カメラI/F回路290、LCDI/F回路280及びホストI/F回路270(UVサンプリングレート変換回路220)のビデオメモリ210へのアクセスを調停する。メモリアクセス調停回路300は、複数の書き込み要求信号WRReq及び複数の読み出し要求信号RDReqを調停し、調停の結果アクセスが許可された回路に対して、要求信号に対応するアクノリッジ信号ACKでそのアクセスの終了を通知する。
図7に、メモリアクセス調停回路300に対する画像処理回路240のアクセスの動作例を示す。
画像処理回路240がメモリアクセス調停回路300を介してビデオメモリ210に出力する読み出し要求信号RDReq、リードアドレス、書き込み要求信号WRReq、ライトアドレスを生成する。画像処理回路240は、制御レジスタ272に設定されたリード開始アドレスを基準にリードアドレスを更新しながら、読み出し要求信号RDReqと共に該リードアドレスを出力する。そして、この読み出し要求によって開始されたアクセスの終了は、アクノリッジ信号ACKにより通知される。
また画像処理回路240は、制御レジスタ272に設定されたライト開始アドレスを基準にライトアドレスを更新しながら、書き込み要求信号WRReqと共に該ライトアドレスを出力して、画像処理回路240が行った画像処理後の画像データをビデオメモリ210に書き込む。そして、この書き込み要求によって開始されたアクセスの終了は、アクノリッジ信号ACKにより通知される。
メモリアクセス調停回路300に対してビデオメモリ210へのアクセス要求を行う他のカメラI/F回路290、LCDI/F回路280及びホストI/F回路270についても同様で、許可されたアクセスの終了はアクノリッジ信号ACKにより通知される。
以下、表示コントローラ200の要部について詳細に説明する。
2.1 UVサンプリングレート変換回路
図6のUVサンプリングレート変換回路220は、図2のUVサンプリングレート変換部24の機能を実現する。
図8に、図6のUVサンプリングレート変換回路220の構成要部の構成例を示す。図8では、入力フォーマット設定レジスタ276の制御データに基づいて生成されたフォーマット選択信号に対応して、入力されたYUVフォーマットの画像データ(画像データのY成分Yin、画像データのU成分Uin、画像データのV成分Vin)のU成分及びV成分のサンプリングレート変換後のYUVフォーマットの画像データ(画像データのY成分Yout、画像データのU成分Uout、画像データのV成分Vout)を生成する部分のみを示している。従って、ホストI/F回路270からの画像データをメモリアクセス調停回路300に供給するために図8のような構成を有し、メモリアクセス調停回路300からの画像データをホストI/F回路270に供給するために図8のような構成を有することができる。また、両方向に対して共通に図8のような構成を有してもよい。
図9(A)〜(C)及び図10(A)〜(C)に、UVサンプリングレート変換回路220の動作説明図を示す。
図8に示す構成では、YUV4:1:1フォーマット又はYUV4:2:0フォーマットの画像データをYUV4:2:2フォーマットに変換できる。また、YUV4:2:2フォーマットの画像データをYUV4:1:1フォーマット又はYUV4:2:0フォーマットに変換できる。
また図8に示す構成では、YUV4:2:2フォーマットとYUV4:4:4フォーマットのサンプリングレート変換も可能であり、図9(A)及び図10(A)にその動作説明図を図示している。しかしながら、UVサンプリングレート変換回路220は、この変換をサポートしなくてもよい。YUV4:2:2フォーマットでは画質をRGB8:8:8フォーマットと同程度に維持できる一方、画像データのサイズを小さく抑えることができるからである。そのため、YUV4:4:4フォーマットをサポートすると、ビデオメモリ210の容量の削減が困難となるからである。
また図8では図示していないが、YUV4:2:2フォーマットの画像データをフォーマット変換することなくそのまま出力する場合、UVサンプリングレート変換回路220をバイパスさせることも可能である。
YUV4:2:2フォーマットの画像データをYUV4:1:1フォーマットに変換する場合、変換後のU成分及びV成分を単純間引き或いは加算平均によって出力する。
単純間引きの場合、U成分及びV成分を1組とすると、変換後のU成分及びV成分を、連続する2組に1度の割り合いで間引きする。この場合、セレクタSEL1がU成分Uin、セレクタSEL2がV成分Vinを選択し、マスク回路MASKが2組に1度の割り合いでセレクタSEL1、SEL2の出力をマスクするように、UV選択信号生成回路Rconが制御信号を生成する。
加算平均の場合、変換後のU成分を、連続する2つのU成分の加算平均をとる。この場合、ラッチLATUで保持されたU成分と次のU成分とを加算器ADDUで加算し、その加算結果をシフト回路SFTUで2分の1にしたものをセレクタSEL1、マスク回路MASKから出力するように、UV選択信号生成回路Rconが制御信号を生成する。V成分についてもU成分と同様である。
YUV4:2:2フォーマットの画像データをYUV4:2:0フォーマットに変換する場合、偶数ラインについてはU成分及びV成分をそのまま出力し、奇数ラインについてはU成分及びV成分を削除する。
より具体的には、偶数ラインの場合にはセレクタSEL1、マスク回路MASKがU成分Uin、セレクタSEL2がV成分Vinを出力し、奇数ラインの場合にはマスク回路MASKがその出力をマスクするように、UV選択信号生成回路Rconが制御信号を生成する。
YUV4:1:1フォーマットの画像データをYUV4:2:2フォーマットに変換する場合、変換後のU成分及びV成分を単純補間或いは加算平均補間によって出力する。
単純補間の場合、U成分及びV成分を1組とすると、変換前の1組のU成分及びV成分で補間して、2組のU成分及びV成分とする。この場合、セレクタSEL1、SEL2、マスク回路MASKがU成分Uin、V成分Vinを出力し、次の画素についてはセレクタSEL1、SEL2、マスク回路MASKがラッチLATU、LATVに保持されたU成分及びV成分を出力するように、UV選択信号生成回路Rconが制御信号を生成する。
加算平均補間の場合、連続するU成分の平均値で変換後のU成分を補間し、連続するV成分の平均値で変換後のV成分を補間する。この場合、セレクタSEL1、マスク回路MASKがU成分Uinを出力し、次の画素については、ラッチLATUで保持されたU成分と次のU成分とを加算器ADDUで加算し、その加算結果をシフト回路SFTUで2分の1にしたものをセレクタSEL1、マスク回路MASKから出力するように、UV選択信号生成回路Rconが制御信号を生成する。V成分についてもU成分と同様である。
YUV4:2:0フォーマットの画像データをYUV4:2:2フォーマットに変換する場合、偶数ラインについてはU成分及びV成分をそのまま出力し、奇数ラインについては前のラインのU成分及びV成分を出力する。
より具体的には、偶数ラインの場合にはセレクタSEL1、SEL2、マスク回路MASKがU成分Uin、V成分Vinを出力し、奇数ラインの場合にはラインバッファBUFU、BUFVの出力をセレクタSEL1、SEL2、マスク回路MASKが出力するように、UV選択信号生成回路Rconが制御信号を生成する。
なおYUV4:4:4フォーマットとYUV4:2:2フォーマットの間の変換を行う場合には、図9(A)及び図10(A)に示すように同様に実現できる。
2.2 フォーマット変換回路
図6のフォーマット変換回路260は、図2のフォーマット変換部28の機能を実現する。
フォーマット変換回路260は、図11に示す変換行列式に従って変換処理を行う。変換係数を変数にすると、図11に示す変換行列式に従った変換処理を実現するハードウェアには積和演算回路が必要となり、回路規模を増大させる。本実施形態では、変換係数を固定値とし、乗算回路をシフト加算によって実現することで、回路規模の削減を図る。
図12に、図6のフォーマット変換回路260のハードウェア構成例のブロック図を示す。図12では、ビデオメモリ210から読み出されたYUV4:2:2フォーマットの画像データを、図10(A)に示すように単純補間してYUV4:4:4フォーマットに変換した後に、RGBフォーマットに変換している。
図12では、図11に示す変換係数が、ERY=1.000、ERU=0.000、ERV=1.402、EGY=1.000、EGU=−0.344、EGV=−0.714、EBY=1.000、EBU=1.772、EBV=0.000である場合のハードウェア構成例を示す。この場合、輝度成分Yの係数がすべて1であるため、乗算回路を不要にできる。また係数ERU、EBVが0であるため、乗算回路を不要にできる。更に係数EGU、EGVは負の値であるため、2の補数回路を設けている。
セレクタSEL10は、輝度成分Y又はラッチLATDの出力のいずれかを選択出力する。LATDは、加算器ADDの出力をラッチする。
セレクタSEL11は、EGU×U、EBU×U、ERV×V、EGV×Vのいずれかを選択出力する。EGU×Uの値は、乗算器MUL1及び2の補数回路CP1によって求められる。EBU×Uの値は、乗算器MUL2によって求められる。ERV×Vの値は、乗算器MUL3によって求められる。EGV×Vの値は、乗算器MUL4及び2の補数回路CP2によって求められる。
加算器ADDは、セレクタSEL10、SEL11の各出力を加算する。加算器ADDの出力は、ラッチLATD、LATR、LATGに保持される。ラッチLATRの出力が、RGBフォーマットの画像データのうちR成分のデータとなる。ラッチLATGの出力が、RGBフォーマットの画像データのうちG成分のデータとなる。
このようなフォーマット変換回路260の各部は、図示しないフォーマット変換制御部からの制御信号により制御される。
なお乗算器MUL1〜MUL4は、シフト加算回路で実現される。
図13に、シフト加算回路の動作説明図を示す。
ここでは、乗算器MUL3のシフト加算動作例を示す。図12に示すように、乗算器MUL3は、色差成分Vと係数ERV(=1.402)の積を求める。
係数ERVの値1.402は、次のように近似できる。
1.402=1+1/4+1/8+1/64+1/128
ここで、1/4は色差成分Vの左2ビットシフト動作、1/8は色差成分Vの左3ビットシフト動作、1/64は色差成分Vの左6ビットシフト動作、1/128は色差成分Vの左7ビットシフト動作によって得られる。
従って、8ビットの色差成分Vの各ビットをV7、V6、V5、・・・、V0とすると、図13に示すようになる。これにより、色差成分Vと、該色差成分Vの各シフト動作結果と加算することで、V×1.402の結果を求めることができる。
図14に、図12のフォーマット変換回路260の動作例のタイミング図を示す。
時刻t1において、セレクタSEL10は輝度成分Yを選択し、セレクタSEL11はERV×Vを選択する。従って、加算器ADDはY+ERV×Vを出力し、時刻t2において、この値がラッチLATRに取り込まれ、R成分のデータとして保持される。
続いて時刻t3において、セレクタSEL11はその出力をEGU×Uに切り替え、加算器ADDはY+EGU×Uを出力し、時刻t4において、この値がラッチLATDに取り込まれる。そして時刻t5において、セレクタSEL10はその出力をラッチLATDの出力に切り替え、セレクタSEL11はその出力をEGV×Vに切り替える。従って、加算器ADDはY+EGU×U+EGV×Vを出力し、時刻t6において、この値がラッチLATGに取り込まれ、G成分のデータとして保持される。
更に時刻t7において、セレクタSEL10はその出力を輝度成分Yに切り替え、セレクタSEL11はその出力をEBU×Uに切り替える。加算器ADDはY+EBU×Uを出力し、時刻t8において、この値がラッチLATDに取り込まれる。そして時刻t9において、セレクタSEL10はその出力をラッチLATDの出力に切り替え、セレクタSEL11はその出力をEBV×Vに切り替える。従って、加算器ADDはY+EBU×U+EBV×Vを出力し、この値がB成分のデータとして出力される。
2.3 画像処理回路
図6の画像処理回路240は、図2の画像処理部26の機能を実現する。
図15に、画像処理回路240の構成例のブロック図を示す。画像処理回路240は、画像エフェクト演算回路242、スケーリング回路244を含む。画像エフェクト演算回路242は、ビデオメモリ210から読み出された画像データに対して画素の平均化処理を行う。スケーリング回路244は、ビデオメモリ210から読み出された画像データの画像サイズを拡大又は縮小させる処理を行う。
図15では、画像処理回路240が画像エフェクト演算回路242及びスケーリング回路244を含むものとして示しているが、画像処理回路240がこれら回路の少なくとも1つを含む構成であってもよい。
画像エフェクト演算回路242は、係数レジスタ312、オフセットレジスタ314、DIV値レジスタ316の各設定値に基づいて、画像データに対して平均化処理を行う。係数レジスタ312、オフセットレジスタ314、DIV値レジスタ316は図6の制御レジスタ272に含まれ、各レジスタの設定値はホストI/F回路270を介してホストにより設定される。
スケーリング回路244は、水平方向スケーリング設定レジスタ318及び垂直方向スケーリング設定レジスタ320の各設定値に基づいて、画像データの画像サイズを拡大又は縮小させる処理を行う。水平方向スケーリング設定レジスタ318及び垂直方向スケーリング設定レジスタ320は図6の制御レジスタ272に含まれ、各レジスタの設定値はホストI/F回路270を介してホストにより設定される。
図16に、画像エフェクト演算回路242によって行われる画像データの平均化処理の説明図を示す。
平均化処理では、画像データにより表される画像PICの各画素の画素値(Y成分、U成分、V成分)を当該画素の周囲の8画素の画素値と共に平均した値に更新する。例えば、図16に示す画素Pの画素値に対して、画素Pの周囲の画素P、P、・・・、P、P、・・・、Pの各画素値P1〜P9(画素Pの画素値をP5)、係数レジスタ312の設定値(k1〜k9)、オフセットレジスタ314の設定値(offset)、DIV値レジスタ316の設定値(DIV)を用いて、次の式のように更新値を求める。
P5 = (offset+P1×k1+P2×k2+・・・+P5×k5+・・・+P9×k9)/DIV ・・・(1)
画素Pに対して、Y成分、U成分及びV成分のそれぞれに対して上式のように求められた更新値で更新する。こうして画像PICの各画素、若しくは所定の領域単位に同様に行うことで、画像のぼかしを表現するエフェクト画像を生成できる。
次に、スケーリング回路244の詳細な構成例について説明する。以下では、画像サイズを縮小させる場合についてのみ説明するが、画像サイズを拡大させる場合には公知の方法で画素を補間することで実現できる。
図17に、画像サイズを縮小させる処理を行うスケーリング回路244の構成例のブロック図を示す。図17では、ビデオメモリ210とスケーリング回路244との模式的な接続関係を示している。
スケーリング回路244には、ライト開始アドレス、水平縮小率及び垂直縮小率が入力される。これらの情報は、ホストによって設定される。ホストは、水平方向スケーリング設定レジスタ318、垂直方向スケーリング設定レジスタ320を含む制御レジスタ272に、これらの情報を設定する。
ライト開始アドレスは、ビデオメモリ210に画像データを書き込むための最初のライトアドレスである。水平縮小率は、画像の水平方向の縮小率であり、0より大きく1以下の小数値である。垂直縮小率は、画像の垂直方向の縮小率であり、0より大きく1以下の小数値である。
スケーリング回路244は、間引き回路360、ライトアドレスカウンタ370を含む。間引き回路360は、水平縮小率に応じて水平方向に並ぶ画素を間引くことで、水平方向にサイズを縮小した画像の画像データを生成する。また間引き回路360は、垂直縮小率に応じて垂直方向に並ぶ画素を間引くことで、垂直方向にサイズを縮小した画像の画像データを生成する。ライトアドレスカウンタ370は、間引き回路360からのアドレスリセットでライト開始アドレスを出力し、間引き回路360からのライトリクエストがHレベルの期間内の所定のタイミングで、ホストからのライト開始アドレスから順に1アドレスを加算していく。
間引き回路360は、水平方向間引き回路362、垂直方向間引き回路364、アドレスリセット生成回路366、タイミング調整回路368を含む。間引き回路360には、水平縮小率及び垂直縮小率の他に、ドットクロック、垂直同期信号、水平同期信号及びビデオメモリ210から読み出された画像データが入力される。
図18に、ドットクロック、垂直同期信号、水平同期信号及び画像データのタイミング関係の一例を示す。
ドットクロック、垂直同期信号及び水平同期信号等のLCD制御信号は、例えばLCD制御信号生成回路286によって生成される。垂直同期信号は、1垂直走査期間を規定する信号であり、垂直同期信号がHレベルの期間が1垂直走査期間となる。水平同期信号は、1水平走査期間を規定する信号であり、水平同期信号がHレベルの期間が1水平走査期間となる。1水平走査期間には、ドットクロックに同期して各画素の画像データが間引き回路360に順次入力されるようになっている。
図17において、水平方向間引き回路362は、水平同期信号により規定される1水平走査期間内に、水平縮小率に対応した期間だけHレベルとなる水平方向ライトリクエストWRqhを生成する。また垂直方向間引き回路364は、垂直同期信号により規定される1垂直走査期間内に、垂直縮小率に対応した期間だけHレベルとなる垂直方向ライトリクエストWRqvを生成する。ライトアドレスカウンタ370へのライトリクエストは、水平方向ライトリクエストWRqhと垂直方向ライトリクエストWRqvとの論理積演算により生成される。
アドレスリセット生成回路366は、立ち上がりエッジ検出回路により構成される。アドレスリセット生成回路366は、垂直同期信号の立ち上がりを検出し、アドレスリセットとして出力する。
タイミング調整回路368は、データラッチにより構成される。タイミング調整回路368は、ドットクロックに同期して画像データをラッチしてライトデータとして出力する。
図19に、水平方向間引き回路362の構成例のブロック図を示す。
水平方向間引き回路362の各部は、ドットクロックに同期して動作する。
減算器SUBは、入力Yから水平縮小率Nhを減算して小数値として求めた出力Z1を出力する。減算器SUBは、水平同期信号の立ち上がり検出信号に同期して出力Z1を0に初期化する。
ラッチLAT20は、減算器SUBの出力Z1をラッチする。ラッチLAT20の出力Z2は、セレクタSEL30と加算器ADD10に出力される。
加算器ADD10は、ラッチLAT20の出力Z2に1を加算して小数値として求めた出力Xを出力する。加算器ADD10の出力Xは、セレクタSEL30に出力される。
比較器CMPは、減算器SUBの出力Z1と水平縮小率Nhとを比較する。より具体的には、比較器CMPは、水平縮小率Nhが減算器SUBの出力Z1より小さく、且つ減算器SUBの出力Z1が0以上のとき、水平方向ライトリクエストWRqhをHレベルとし、それ以外のとき、水平方向ライトリクエストWRqhをLレベルとする。
比較器CMPの出力は、ラッチLAT21にも供給される。このラッチLAT21の出力は、セレクタSEL30の切り替え制御信号となる。ラッチLAT21の出力が1(Hレベル)のときセレクタSEL30は加算器ADD10の出力Xを出力し、ラッチLAT21の出力が0(Lレベル)のときセレクタSEL30はラッチLAT20の出力Z2を出力する。
図20に、水平縮小率Nhの説明図を示す。
水平方向間引き回路362の精度を8ビットとしたとき、水平縮小率Nhは、MSBを整数データ、残りを小数点以下のデータとして表すことができる。例えば水平縮小率Nhを1とすると、「10000000」となる。
以下では、水平縮小率Nhを0.781として、図19に示す水平方向間引き回路362の動作の一例を説明する。水平縮小率Nhが0.781のとき、0.781=1/2+1/4+1/32と近似でき、8ビットのデータ「01100100」と表すことができる。
図21に、図19の水平方向間引き回路362の動作例のタイミング図を示す。
時刻t11において水平同期信号がLレベルからHレベルに変化すると、減算器SUBの出力Z1が0に初期化される。このとき水平縮小率Nh(=0.781)は減算器SUBの出力Z1(=0)より大きいため、比較器CMPの出力WRqhは1(Hレベル)となる。
次のドットクロックの立ち下がり時刻t12で、ラッチLAT21の出力が1(Hレベル)となる。このとき、ラッチLAT20は、減算器SUBの出力Z1を取り込んで出力Z2として出力している。加算器ADD10の出力Xは1である。ラッチLAT21の出力が1であるため、セレクタSEL30の出力Yは、加算器ADD10の出力X(=1)となる。従って、減算器SUBの出力Z1は、0.219(=1−0.781)となる。このとき、水平縮小率Nh(=0.781)は、出力Z1より大きいため、比較器CMPの出力WRqhは1(Hレベル)のままである。
同様にして、次のドットクロックの立ち下がり時刻t13が経過したときも、加算器ADD10の出力Xが1.219となり、減算器SUBの出力Z1は、0.438(=1.219−0.781)となる。このとき、水平縮小率Nh(=0.781)は、出力Z1より大きいため、比較器CMPの出力WRqhは1(Hレベル)のままである。
また、次のドットクロックの立ち下がり時刻t14が経過したときも、減算器SUBの出力Z1は、0.657(=1.438−0.781)となる。このとき、水平縮小率Nh(=0.781)は、出力Z1より大きいため、比較器CMPの出力WRqhは1(Hレベル)のままである。
そして、次のドットクロックの立ち下がり時刻t15が経過したとき、減算器SUBの出力Z1は、0.876(=1.657−0.781)となる。このとき、水平縮小率Nh(=0.781)は、出力Z1より小さくなるため、比較器CMPの出力WRqhは0(Lレベル)に変化する。
そして、次のドットクロックの立ち下がり時刻t16が経過したとき、ラッチLAT21の出力が0(Lレベル)となる。このとき、ラッチLAT20は、減算器SUBの出力Z1を取り込んで出力Z2として出力している。加算器ADD10の出力Xは、1.876である。ラッチLAT21の出力が0であるため、セレクタSEL30の出力Yは、ラッチLAT20の出力Z2(=0.876)となる。従って、減算器SUBの出力Z1は、0.095(=0.876−0.781)となる。このとき、水平縮小率Nh(=0.781)は、出力Z1より大きいため、比較器CMPの出力WRqhは1(Hレベル)に再び変化する。
同様にして、時刻t17において比較器CMPの出力WRqhは0(Lレベル)に変化し、時刻t18において比較器CMPの出力WRqhが1(Hレベル)に変化する。
このように水平縮小率Nh(=0.781)に対応した期間、比較器CMPの出力WRqhをHレベルにすることができる。
ここまで図17の水平方向間引き回路362の構成及び動作について説明したが、図17の垂直方向間引き回路364も同様である。垂直方向間引き回路364の各部が、水平同期信号を基準に動作し、減算器が垂直同期信号の立ち上がりで初期化され、垂直縮小率Nvが入力される点が異なるのみで、垂直方向間引き回路364も同様に実現できるため、その説明を省略する。
3. 変形例
なお本発明は、上述の実施形態における構成に限定されるものではない。
図22に、本実施形態の変形例における表示コントローラの構成の概要のブロック図を示す。但し、図2に示す表示コントローラ20と同一部分には同一符号を付し、適宜説明を省略する。
変形例における表示コントローラ380のビデオメモリとして機能するメモリ382には、LCD/IF回路30を介して入力されたYUVフォーマットの画像データがそのまま入力される。この場合、ホストは、YUV4:2:2フォーマット、YUV4:1:1フォーマット、YUV4:2:0フォーマットのいずれかの画像データを供給する。従って、メモリ382には、これらフォーマットが混在した状態で画像データが保持される。
画像処理部384は、このようなメモリ382から画像データを読み出して、上述のような画像処理を行う。
フォーマット変換部386は、メモリ382から読み出されたYUVフォーマットの画像データをRGBフォーマットに変換する。即ち、ホストI/F回路30を介して入力された画像データのフォーマットを、RGBフォーマットに変換する。
図23に、フォーマット変換部386の構成例のブロック図を示す。
フォーマット変換部386は、UVサンプリングレート変換回路390、YUV−RGBフォーマット変換回路392を含む。UVサンプリングレート変換回路390は、YUV4:1:1フォーマット又はYUV4:2:0フォーマットの画像データのフォーマットを、YUV4:2:2フォーマットに変換する。このようなUVサンプリングレート変換回路390は、図10(B)、(C)に示したように動作することで実現できる。なおこのUVサンプリングレート変換回路390は、本実施形態のUVサンプリングレート変換部24と同様に、ホストからの画像データの入力フォーマットを判別する手段を設け、該手段に基づいてYUV4:2:2フォーマットの画像データをフォーマット変換することなくそのまま出力する場合、UVサンプリングレート変換回路390をバイパスさせる。
YUV−RGBフォーマット変換回路392は、UVサンプリングレート変換回路390によって変換されたYUV4:2:2フォーマットの画像データを、RGBフォーマットに変換する。このようなYUV−RGBフォーマット変換回路392は、図12に示した構成で実現できる。
このように、入力された画像データがYUV4:2:2フォーマットの場合、フォーマット変換部386が、RGBフォーマットに変換する。また入力された画像データがYUV4:1:1フォーマットの場合、フォーマット変換部386が、RGBフォーマットに変換する。更に入力された画像データがYUV4:2:0フォーマットの場合、フォーマット変換部386が、RGBフォーマットに変換する。そして、フォーマット変換部386によって変換されたRGBフォーマットの画像データが、LCDI/F回路32を介して表示ドライバに供給される。
本変形例では、制御部388が表示コントローラ380の各部の制御を司る。
このように本変形例では、フォーマット変換部386が入力される画像データのすべてのYUVフォーマットからRGBフォーマットへの変換ができる必要があるものの、メモリ382の容量を削減できるという効果が得られる。
4. 電子機器
図24に、本実施形態又はその変形例における表示コントローラが適用される電子機器の構成例のブロック図を示す。ここでは、電子機器として、携帯電話機の構成例のブロック図を示す。
携帯電話機400は、カメラモジュール410を含む。カメラモジュール410は、CCDカメラを含み、CCDカメラで撮像した画像のデータを、YUVフォーマットで表示コントローラ412に供給する。表示コントローラ412として、本実施形態における表示コントローラ20、200或いは本変形例における表示コントローラ380を採用できる。
携帯電話機400は、表示パネル420を含む。表示パネル420として、液晶表示パネルを採用できる。この場合、表示パネル420は、表示ドライバ430によって駆動される。表示パネル420は、複数の走査線、複数のデータ線、複数の画素を含む。表示ドライバ430は、複数の走査線の1又は複数本単位で走査線を選択する走査ドライバの機能を有すると共に、画像データに対応した電圧を複数のデータ線に供給するデータドライバの機能を有する。
表示コントローラ412は、表示ドライバ430に接続され、表示ドライバ430に対してRGBフォーマットの画像データを供給する。
ホスト440は、表示コントローラ412に接続される。ホスト440は、表示コントローラ412を制御する。またホスト440は、アンテナ460を介して受信された画像データを、変復調部450で復調した後、表示コントローラ412に供給できる。表示コントローラ412は、この画像データに基づき、表示ドライバ430により表示パネル420に表示させる。
ホスト440は、カメラモジュール410で生成された画像データを変復調部450で変調した後、アンテナ460を介して他の通信装置への送信を指示できる。
ホスト440は、操作入力部470からの操作情報に基づいて画像データの送受信処理、カメラモジュール410の撮像、表示パネルの表示処理を行う。
なお、図24では、表示パネル420として液晶表示パネルを例に説明したが、これに限定されるものではない。表示パネル420は、エレクトロクミネッセンス、プラズマディスプレイ装置であってもよく、これらを駆動する表示ドライバに画像データを供給する表示コントローラに適用できる。
なお、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の1の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
本実施形態における表示コントローラが適用された表示システムの構成例のブロック図。 本実施形態における表示コントローラの構成例のブロック図。 RGBフォーマットとYUVフォーマットの説明図。 本実施形態の第1の比較例の表示コントローラの構成例のブロック図。 本実施形態の第2の比較例の表示コントローラの構成例のブロック図。 本実施形態における表示コントローラのハードウェア構成例のブロック図。 メモリアクセス調停回路に対する画像処理回路のアクセスの動作例を示す図。 図6のUVサンプリングレート変換回路の構成要部の構成例のブロック図。 図9(A)〜(C)は、UVサンプリングレート変換回路の動作説明図 図10(A)〜(C)は、UVサンプリングレート変換回路の動作説明図 フォーマット変換回路の変換処理の変換行列式を示す図。 フォーマット変換回路の構成例のブロック図。 フォーマット変換回路におけるシフト加算動作の説明図。 フォーマット変換回路の動作例のタイミング図。 図6の画像処理回路の構成例のブロック図。 図15の画像エフェクト演算回路の動作説明図。 図15のスケーリング回路の構成例のブロック図。 垂直同期信号等の説明図。 図17の水平方向間引き回路の構成例のブロック図。 水平縮小率の説明図。 水平方向間引き回路の動作例のタイミング図。 本実施形態の変形例における表示コントローラの構成例のブロック図。 変形例における表示コントローラのフォーマット変換部の構成例のブロック図。 本実施形態における電子機器の構成例のブロック図。
符号の説明
10 ホスト、20、60、70、380 表示コントローラ、
22、62、74、382 メモリ、24 UVサンプリングレート変換部、
26、64、384 画像処理部、28、72、78、386 フォーマット変換部、
30 ホストI/F回路、32 LCDI/F回路、
34、66、80、388 制御部、40 表示ドライバ、50 表示パネル、
100 表示システム

Claims (12)

  1. 表示パネルを駆動する表示ドライバに画像データを供給するための表示コントローラであって、
    ホストからの第1のYUVフォーマットの画像データのフォーマットを、該画像データのU成分及びV成分のサンプリングレートを変えて第2のYUVフォーマットに変換するUVサンプリングレート変換部と、
    前記UVサンプリングレート変換部によって変換された前記第2のYUVフォーマットの画像データが格納されるメモリと、
    前記メモリから読み出された前記第2のYUVフォーマットの画像データに対して所与の画像処理を行って、画像処理後の画像データを前記第2のYUVフォーマットのまま前記メモリに書き込む画像処理部と、
    前記メモリから読み出された前記第2のYUVフォーマットの画像データをRGBフォーマットに変換するフォーマット変換部とを含み、
    前記フォーマット変換部によってRGBフォーマットに変換された画像データを、前記表示ドライバに供給することを特徴とする表示コントローラ。
  2. 請求項1において、
    前記UVサンプリングレート変換部が、
    前記メモリから読み出された前記第2のYUVフォーマットの画像データのフォーマットを、該画像データのU成分及びV成分のサンプリングレートを変えて前記第1のYUVフォーマットに変換し、
    前記UVサンプリングレート変換部によって変換された前記第1のYUVフォーマットの画像データを、前記ホストに供給することを特徴とする表示コントローラ。
  3. 請求項1又は2において、
    前記第1のYUVフォーマットが、YUV4:1:1フォーマット又はYUV4:2:0フォーマットであり、
    前記第2のYUVフォーマットが、YUV4:2:2フォーマットであることを特徴とする表示コントローラ。
  4. 請求項1又は2において、
    前記ホストからの画像データの入力フォーマットを設定するための入力フォーマット設定レジスタを含み、
    前記第1のYUVフォーマットが、YUV4:1:1フォーマット、YUV4:2:0フォーマット又はYUV4:2:2フォーマットであり、
    前記第2のYUVフォーマットが、YUV4:2:2フォーマットであり、
    前記入力フォーマット設定レジスタの設定値に基づいて前記ホストからの画像データのフォーマットがYUV4:2:2フォーマットであると判断されたとき、
    前記UVサンプリングレート変換部が、
    前記ホストからの画像データをそのまま前記メモリに供給することを特徴とする表示コントローラ。
  5. 表示パネルを駆動する表示ドライバに画像データを供給するための表示コントローラであって、
    ホストからの第1のYUVフォーマットの画像データを入力するためのホストインタフェースと、
    前記ホストインタフェースを介して入力された前記第1のYUVフォーマットの画像データが格納されるメモリと、
    前記メモリから読み出された画像データに対して所与の画像処理を行って、画像処理後の画像データのフォーマットを変えることなく該画像データを前記メモリに書き込む画像処理部と、
    前記メモリから読み出された前記第1のYUVフォーマットの画像データをRGBフォーマットに変換するフォーマット変換部とを含み、
    前記フォーマット変換部によって変換された前記RGBフォーマットの画像データを、前記表示ドライバに供給することを特徴とする表示コントローラ。
  6. 請求項5において、
    前記フォーマット変換部が、
    前記メモリから読み出された前記第1のYUVフォーマットの画像データのフォーマットを該画像データのU成分及びV成分のサンプリングレートを変えて第2のYUVフォーマットに変換した後、該画像データをRGBフォーマットに変換することを特徴とする表示コントローラ。
  7. 請求項1乃至6のいずれかにおいて、
    前記フォーマット変換部によって変換されたRGBフォーマットの画像データを前記表示ドライバに供給するための表示ドライバインタフェースを含むことを特徴とする表示コントローラ。
  8. 請求項1乃至7のいずれかにおいて、
    前記画像処理部が、
    前記メモリから読み出された画像データの画像サイズを拡大又は縮小させる処理を行うスケーリング回路、及び前記メモリから読み出された画像データに対して所定のエフェクト処理を行う画像エフェクト演算回路の少なくとも1つを含むことを特徴とする表示コントローラ。
  9. 表示パネルと、
    請求項1乃至8のいずれか記載の表示コントローラと、
    前記表示コントローラによって供給される画像データに基づいて前記表示パネルを駆動する表示ドライバとを含むことを特徴とする電子機器。
  10. 請求項9において、
    前記表示コントローラとの間で画像データの入出力を行うホストを含むことを特徴とする電子機器。
  11. 表示パネルを駆動する表示ドライバに画像データを供給するための画像データ供給方法であって、
    ホストからの第1のYUVフォーマットの画像データのフォーマットを、該画像データのU成分及びV成分のサンプリングレートを変えて第2のYUVフォーマットに変換し、
    前記第2のYUVフォーマットの画像データをメモリに格納し、
    前記メモリから読み出した画像データのフォーマットをRGBフォーマットに変換して、前記表示ドライバに出力し、
    前記メモリに格納された画像データは、前記メモリから一旦読み出された後に所与の画像処理が施され、画像処理後に再び前記メモリに書き込まれることを特徴とする画像データ供給方法。
  12. 表示パネルを駆動する表示ドライバに画像データを供給するための画像データ供給方法であって、
    ホストからの第1のYUVフォーマットの画像データのフォーマットを変換することなくメモリに格納し、
    前記メモリから読み出された前記第1のYUVフォーマットの画像データのフォーマットをRGBフォーマットに変換して、前記表示ドライバに出力し、
    前記メモリに格納された画像データは、前記メモリから一旦読み出された後に所与の画像処理が施され、画像処理後に再び前記メモリに書き込まれることを特徴とする画像データ供給方法。
JP2004185155A 2004-06-23 2004-06-23 表示コントローラ、電子機器及び画像データ供給方法 Pending JP2006013701A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004185155A JP2006013701A (ja) 2004-06-23 2004-06-23 表示コントローラ、電子機器及び画像データ供給方法
US11/157,012 US20050285813A1 (en) 2004-06-23 2005-06-20 Display controller, electronic equipment, and image data supplying method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004185155A JP2006013701A (ja) 2004-06-23 2004-06-23 表示コントローラ、電子機器及び画像データ供給方法

Publications (1)

Publication Number Publication Date
JP2006013701A true JP2006013701A (ja) 2006-01-12

Family

ID=35505140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004185155A Pending JP2006013701A (ja) 2004-06-23 2004-06-23 表示コントローラ、電子機器及び画像データ供給方法

Country Status (2)

Country Link
US (1) US20050285813A1 (ja)
JP (1) JP2006013701A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10504480B2 (en) 2016-02-28 2019-12-10 Google Llc Macro I/O unit for image processor

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724305B2 (en) * 2006-03-21 2010-05-25 Mediatek Inc. Video data conversion method and system for multiple receivers
TWI387325B (zh) * 2008-10-09 2013-02-21 Silicon Motion Inc 影像擷取裝置與影像前處理方法
CN111508038B (zh) 2020-04-17 2024-09-24 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN114302091A (zh) * 2021-12-15 2022-04-08 中国船舶重工集团公司第七0九研究所 一种将yuv格式图像转成rgb格式图像的方法及系统
CN115348432B (zh) * 2022-08-15 2024-05-07 上海壁仞科技股份有限公司 数据处理方法及装置、图像处理方法、电子设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3681528B2 (ja) * 1997-12-22 2005-08-10 株式会社ルネサステクノロジ グラフィックプロセッサ及びデータ処理システム
JP3470095B2 (ja) * 2000-09-13 2003-11-25 株式会社アドバンスト・ディスプレイ 液晶表示装置及びその駆動用回路装置
US6757429B2 (en) * 2001-02-21 2004-06-29 Boly Media Communications Inc. Method of compressing digital images
US20050062755A1 (en) * 2003-09-18 2005-03-24 Phil Van Dyke YUV display buffer

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10504480B2 (en) 2016-02-28 2019-12-10 Google Llc Macro I/O unit for image processor
US10733956B2 (en) 2016-02-28 2020-08-04 Google Llc Macro I/O unit for image processor

Also Published As

Publication number Publication date
US20050285813A1 (en) 2005-12-29

Similar Documents

Publication Publication Date Title
JP4200942B2 (ja) 表示コントローラ、電子機器及び画像データ供給方法
JP3620521B2 (ja) 画像処理装置、画像伝送装置、画像受信装置及び画像処理方法
US20060204139A1 (en) Image processing device, image processing method, display controller, and electronic instrument
JP5100312B2 (ja) 液晶表示装置及びlcdドライバ
WO2002035512A1 (fr) Dispositif d"affichage d"image
US5880741A (en) Method and apparatus for transferring video data using mask data
JP4007342B2 (ja) 表示コントローラ、電子機器及び画像データ供給方法
US20050285813A1 (en) Display controller, electronic equipment, and image data supplying method
JP5157419B2 (ja) 画像処理装置、画像処理方法及び電子機器
JP2006174334A (ja) 表示コントローラ、電子機器及び画像データ供給方法
CN111554248A (zh) 液晶显示芯片
US20030174138A1 (en) Image display circuitry and mobile electronic device
JP4710875B2 (ja) 表示コントローラ、電子機器及び画像データ供給方法
TWI413900B (zh) 用以垂直縮放像素資料之方法及設備
JP3613985B2 (ja) 画像処理装置および投写型表示装置
JP4735572B2 (ja) 画像データ符号化装置、画像データ復号化装置、画像処理装置及び電子機器
JP3253778B2 (ja) 表示システム、表示制御方法及び電子機器
JP4470762B2 (ja) 画像処理装置、表示コントローラ及び電子機器
US20030160748A1 (en) Display control circuit, semiconductor device, and portable device
JP2011097279A (ja) データ処理回路、集積回路装置及び電子機器
JP4670403B2 (ja) 画像処理装置、画像処理方法、表示コントローラ及び電子機器
JP2006011074A (ja) 表示コントローラ、電子機器及び画像データ供給方法
JP4397242B2 (ja) 画像処理装置及び画像処理方法
CN212461112U (zh) 一种液晶显示芯片
JP2007293148A (ja) 表示装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071109

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20071109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071204