JP2005316766A - 携帯電話機、並びに、画像変換装置、方法、及びプログラム - Google Patents

携帯電話機、並びに、画像変換装置、方法、及びプログラム Download PDF

Info

Publication number
JP2005316766A
JP2005316766A JP2004134511A JP2004134511A JP2005316766A JP 2005316766 A JP2005316766 A JP 2005316766A JP 2004134511 A JP2004134511 A JP 2004134511A JP 2004134511 A JP2004134511 A JP 2004134511A JP 2005316766 A JP2005316766 A JP 2005316766A
Authority
JP
Japan
Prior art keywords
image
color
pixel
unit
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004134511A
Other languages
English (en)
Other versions
JP4546141B2 (ja
Inventor
Hiroshige Cho
裕成 張
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2004134511A priority Critical patent/JP4546141B2/ja
Priority to CN200580013302A priority patent/CN100590657C/zh
Priority to US11/578,802 priority patent/US7840223B2/en
Priority to PCT/JP2005/007862 priority patent/WO2005106790A1/ja
Publication of JP2005316766A publication Critical patent/JP2005316766A/ja
Application granted granted Critical
Publication of JP4546141B2 publication Critical patent/JP4546141B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/005Statistical coding, e.g. Huffman, run length coding
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428Gradation resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Color Television Systems (AREA)

Abstract

【課題】 本発明は、特に携帯電話機等の比較的低速なプロセッサを用いて実現されるモバイル機器での実施に好適な簡素な疑似階調変換技術を提供する。
【解決手段】 目的画像の画素はn種類(nは自然数)の成分色についてそれぞれ(2Cn)階調(Cnは成分色ごとの自然数)で表される。画像情報取得部51は、変換対象となる原画像を表す画像情報をカメラフロントエンド部40及び変復調部61から取得する。色空間変換部55は、原画像が輝度色差情報で表される場合、それを成分色情報に変換する。量子化部54は、原画像を表す成分色情報を各成分色について(2(Cn+1)−1)階調に量子化する。色決定部56は、量子化値が偶数ならその値の半分を目的値とし、奇数ならその値の半分を挟む2つの整数値が市松模様状に並ぶように、画素位置に応じてそれらの整数値のうちの一方を目的値とする。
【選択図】 図1

Description

本発明は、原画像から疑似階調を用いて表現される目的画像を得る画像変換装置に関し、特に、携帯電話機等の比較的低速なプロセッサを用いて実現されるモバイル機器での実施に好適な画像変換技術に関する。
近年、携帯電話機の機能向上は目覚しく、本来の通話機能を提供するための構成に加えて、撮影用のカメラ装置や、高い色分解能を有する液晶表示装置を備えた携帯電話機が利用可能となっている。そのような携帯電話機は、例えば65536(216)色の色分解能を有する液晶表示装置を備え、前記カメラ装置で撮影された画像や通信を介して取得された画像等を高精彩に表示する。
色分解能が65536色である場合、色データは16ビットで表される。そのような色データは、16ビットを演算単位とするプロセッサや16ビットバスを用いて最適な効率で処理及び転送される。
ところが、この65536色の色分解能は表示する画像によっては必ずしも十分でない場合がある。例えば、壁や青空といった色の変化が少ない画像を表示した場合にはマッハバンドによる色むらが知覚されてしまい、視覚的に良好な画質が得られない。事実、利用者から、そのような色むらに関して改善を望む声が挙げられている。
画質を改善するための一つのアプローチとして、実際に表示できる65536色を用いて疑似階調で表現された画像を表示することが考えられる。
疑似階調とは、所定の領域に含まれる画素を複数の色で細かく塗り分けることによって、それらの中間的な実際には表示されていない色を遠目の観察者に疑似的に知覚させる周知技術である。その技術は、ディザ法と誤差拡散法とに大別され、例えば、非特許文献1の第8章「画像の階調変換技法」に詳しく解説されている。
疑似階調を用いて擬似的に表現される色数を増やせば、画像データの転送効率を最適に維持したまま、色むらの軽減又は解消が期待される。
ディザ法を用いて疑似階調を実現するための最も基本的な構成を示す従来技術が、例えば特許文献1、及び特許文献2に開示されている。
特開平6−125462号公報 特開平6−250621号公報 よくわかるディジタル画像処理、貴家仁志著、CQ出版社刊、2002年第9版
しかしながら、上記従来技術によれば、疑似階調表現された画像を得るためにディザ値行列を参照して実数演算を行うため計算量が嵩み、携帯電話機等のモバイル機器に用いられる比較的低速なプロセッサでソフトウェア処理した場合には実用的な時間で画像を表示できないという問題がある。
誤差拡散法を用いた場合には、近隣画素への誤差伝播を処理するためさらに多くの演算が必要となり、この問題は一層深刻なものとなる。
上記の問題に鑑み、本発明は、携帯電話機等のモバイル機器への適用に好適な簡素な画像変換技術、及び当該技術を用いた携帯電話機の提供を目的とする。
上記問題を解決するため、本発明の画像変換装置は、複数の画素で構成される原画像から、同数の画素で構成され疑似階調を用いて表現される目的画像を得る画像変換装置であって、前記目的画像の画素の色はn種類(nは自然数)の成分色についてそれぞれ(2Cn)階調(Cnは成分色ごとの自然数)で表され、前記原画像の画素の色を、各成分色について(2(Cn+1)−1)階調に量子化する量子化手段と、前記量子化によって得られた値、及び前記量子化によって得られた値に1を加えた値のうち前記画素の位置に応じた一方を2で割って得た商を前記目的画像の対応画素の同じ成分色の値とする色決定手段とを備える。
前記構成によれば、ビットシフト演算及び整数演算のみを用いて前記目的画像の対応画素の色を決定できるので、ディザ値行列を参照して実数演算を行う従来の技術よりも簡素に実現できる。
その結果、携帯電話機等の比較的低速なプロセッサを用いて実現されるモバイル機器に適用した場合に、そのようなプロセッサでソフトウェア処理しても十分に実用的な時間で前記目的画像を表示することができる。
そして、疑似階調を用いない場合に比べて、成分色ごとに約2倍、全部で約8倍の階調を擬似的に表現する結果、マッハバンドはほとんど知覚できない程度に軽減される。
この構成は簡素であるゆえに、DSPやASICへの搭載も容易である。
また、特定の画素を処理する際に、他の画素の情報を用いないので、誤差拡散法特有のモアレや、ノイズ付与による画質劣化が生じない。
また、前記目的画像の画素の色は成分色である赤、緑、青についてそれぞれ25、26、25階調で表され、前記量子化手段は、前記原画像の前記画素の色が赤、緑、青についてそれぞれ8ビット値であるR8、G8、B8で表される場合に、式
((R8<<6)−R8)>>8
((G8<<7)−G8)>>8
((B8<<6)−B8)>>8
ここで、<<は左ビットシフト演算、>>は右ビットシフト演算を表す
に従ってそれぞれ量子化値Rq、Gq、Bqを求め、前記色決定手段は、前記画素の位置を示すX座標値、及びY座標値がそれぞれX、及びYである場合に、式
(Rq+((X+Y)&0x01))>>1
(Gq+((X+Y)&0x01))>>1
(Bq+((X+Y)&0x01))>>1
ここで、<<は左ビットシフト演算、>>は右ビットシフト演算を表す
に従ってそれぞれ前記対応画素の赤、緑、青の値である5ビット値R5、6ビット値G6、5ビット値B5を求めてもよい。
また、前記量子化手段は、前記原画像の前記画素の色が輝度及び2つの色差についてそれぞれ8ビット値であるY、U、Vで表される場合に、U−128をU0、V−128をV0と置いて、式
Y+((V0*357)>>8)
Y−((U0*87)>>8)−((V0*182)>>8)
Y+((U0*451)>>8)
ここで、<<は左ビットシフト演算、>>は右ビットシフト演算を表す
に従ってそれぞれ前記赤、緑、青の値R8、G8、B8を求める色空間変換部を備え、当該色空間変換部によって求められたR8、G8、B8から前記量子化値R5、G6、B5を求めてもよい。
これらの構成によれば、実際の表示色を216(65536)色とし、最も一般的な16ビットバスによるデータ転送に最適化している。その216色のうちの隣接する2色を市松模様状に配して中間色を表現するので、72dpi(Dot Per Inch)以上の表示装置で目的画像を表示した場合、疑似色部分が2色で表現されていることはほとんど認識できない。そして、この場合には擬似的に約219(約52万)色の階調を表示する結果、マッハバンドはほとんど知覚できない程度に軽減される。
上記問題を解決するため、本発明の携帯電話機は、画像表示機能を有する携帯電話機であって、原画像を取得する取得手段と、取得された原画像から目的画像を得る請求項1乃至請求項3の何れかに記載の画像変換装置と、前記目的画像を表示する表示手段とを備える。
また、前記携帯電話機は、さらに、撮影手段を備え、前記取得手段は、前記撮影手段から前記原画像を取得してもよい。
また、前記携帯電話機において、前記画像変換装置は、請求項2又は請求項3に記載の画像変換装置であり、前記画像変換装置と前記表示手段とは16ビットデータを1単位として転送するバスで接続され、前記バスは、前記画像変換装置によって得られた1画素分の赤、緑、青の値を連結してなる16ビットデータを1単位として前記表示手段へ転送してもよい。
これらの構成によれば、携帯電話機において画像を表示するにあたって、前述と同様の効果を得ることができる。
上記問題を解決するため、本発明の方法は、複数の画素で構成される原画像から、同数の画素で構成され疑似階調を用いて表現される目的画像を得る画像変換方法であって、前記目的画像の画素の色はn種類(nは自然数)の成分色についてそれぞれ(2Cn)階調(Cnは成分色ごとの自然数)で表され、前記原画像の画素の色を、各成分色について(2(Cn+1)−1)階調に量子化する量子化ステップと、前記量子化によって得られた値、及び前記量子化によって得られた値に1を加えた値のうち前記画素の位置に応じた一方を2で割って得た商を前記目的画像の対応画素の同じ成分色の値とする色決定ステップとを含む。
また、前記目的画像の画素の色は成分色である赤、緑、青についてそれぞれ25、26、25階調で表され、前記量子化ステップは、前記原画像の前記画素の色が赤、緑、青についてそれぞれ8ビット値であるR8、G8、B8で表される場合に、式
((R8<<6)−R8)>>8
((G8<<7)−G8)>>8
((B8<<6)−B8)>>8
ここで、<<は左ビットシフト演算、>>は右ビットシフト演算を表す
に従ってそれぞれ量子化値Rq、Gq、Bqを求め、前記色決定ステップは、前記画素の位置を示すX座標値、及びY座標値がそれぞれX、及びYである場合に、式
(Rq+((X+Y)&0x01))>>1
(Gq+((X+Y)&0x01))>>1
(Bq+((X+Y)&0x01))>>1
ここで、<<は左ビットシフト演算、>>は右ビットシフト演算を表す
に従ってそれぞれ前記対応画素の赤、緑、青の値である5ビット値R5、6ビット値G6、5ビット値B5を求めてもよい。
また、前記量子化ステップは、前記原画像の前記画素の色が輝度及び2つの色差についてそれぞれ8ビット値であるY、U、Vで表される場合に、U−128をU0、V−128をV0と置いて、式
Y+((V0*357)>>8)
Y−((U0*87)>>8)−((V0*182)>>8)
Y+((U0*451)>>8)
ここで、<<は左ビットシフト演算、>>は右ビットシフト演算を表す
に従ってそれぞれ前記赤、緑、青の値R8、G8、B8を求める色空間変換サブステップを含み、当該色空間変換サブステップによって求められたR8、G8、B8から前記量子化値R5、G6、B5を求めてもよい。
これらの方法に従って画像変換を行うことにより、前述と同様の効果を得ることができる。
上記問題を解決するため、本発明の方法は、画像表示機能を有する携帯電話機の制御方法であって、原画像を取得する取得ステップと、取得された原画像を、請求項7乃至請求項9の何れかに記載の画像変換方法を用いて目的画像に変換する画像変換ステップと、前記目的画像を表示する表示ステップとを含む。
また、前記携帯電話機は、撮影機能を有し、前記取得ステップは、前記撮影機能を用いて前記原画像を取得してもよい。
また、前記携帯電話機は、16ビットデータを1単位として転送するバスで接続された表示装置を備え、前記画像変換ステップは、請求項8又は請求項9に記載の画像変換方法を用いて前記目的画像を画素あたり16ビットで表す画像データを生成し、前記制御方法は、さらに、前記生成された画像データを、1画素分の16ビットを1単位として前記バスを介して前記表示装置へ転送する転送ステップを含み、前記表示ステップは、前記転送された画像データによって表される目的画像を前記表示装置へ表示してもよい。
これらの方法に従って携帯電話機において画像を表示することにより、前述と同様の効果を得ることができる。
上記問題を解決するため、本発明のプログラムは、コンピュータ実行可能なプログラムであって、前述した各ステップをコンピュータに実行させる。
このプログラムを用いて画像変換を実行し、また携帯電話機を制御することにより、前述と同様の効果を得ることができる。
本発明の実施の形態に係る画像変換装置は携帯電話機に含まれ、当該携帯電話機が備えるカメラによって撮影された画像や、通信を介して取得された画像等の原画像から、疑似階調表現された目的画像を簡素な処理によって生成する。
当該携帯電話機は、生成された目的画像を表示することによって、マッハバンドによる色むらを知覚されない程度にまで軽減する。
以下、図面を参照しながら、当該画像変換装置、及び当該画像変換装置を含む携帯電話機について詳しく説明する。
<全体構成>
図1は、携帯電話機1の全体構成を示す機能ブロック図である。携帯電話機1は、アンテナ10、無線部20、カメラ部30、カメラフロントエンド部40、統合モデム部50、表示部70、レシーバ81、及びマイク82を含む。
統合モデム部50は、画像情報取得部51、JPEGデコード部52、画像変換部53、表示制御部57、変復調部61、通信制御部62、音声処理部63を含み、画像変換部53は、量子化部54、色空間変換部55、及び色決定部56を含む。
統合モデム部50に含まれる画像変換部53が、本発明の実施の形態に係る画像変換装置に相当する。
統合モデム部50は、CPU(Central Processing Unit)及びDSP(Digital Signal Processor)を含んで構成されるモデム用の集積回路装置によって実現されてもよい。その場合、統合モデム部50に含まれる各部は、それぞれの機能を実現するために当該CPU及びDSPによって実行されるプログラムモジュールに対応する。
無線部20はアンテナ10に受信された受信信号を増幅し、変復調部61は当該増幅された受信信号を制御信号及び受信情報信号に復調する。当該制御信号は、携帯電話機1に採用される通信方式、例えばCDMA(Code Division Multiple Access)やTDMA(Time Division Multiple Access)といった通信方式に従って通信を制御するために用いられる。通信制御部62は、当該制御信号に基づいて通信のタイミング等を制御し、音声処理部63は、当該受信情報信号を音声信号に変換してレシーバ81から発音する。
音声処理部63はマイク82から取得した音声信号を送信情報信号に変換する。変復調部61は、通信制御部62からの制御を受けて当該送信情報信号を送信信号に変調し、無線部20は当該送信信号を増幅してアンテナ10から送信する。
なお、前記受信情報信号は通話音声の他に画像を表すとしてもよい。そのような画像は、例えばJPEG(Joint Picture Expert Group)形式で表され、ウェブサイトから、又は電子メールの添付ドキュメントとして取得される。画像を表す受信情報信号は、変復調部61から画像情報取得部51へ出力される。
カメラ部30は、例えばCCD(Charge Coupled Device)型やMOS(Metal Oxide Semiconductor)型の固体撮像素子であり、カメラフロントエンド部40から露光や信号の出力を制御され撮影を行う。カメラフロントエンド部40は、例えばASIC(Application Specific Integrated Circuit)によって実現され、撮影された画像を表す画像情報を画像情報取得部51へ出力する。
当該画像情報は、成分色フォーマット及び輝度色差フォーマットで表される。成分色フォーマットの画像情報では、例えば、画素ごとの赤、緑、青の成分色それぞれが8ビットで表される。そのような情報をRGB888情報と表記する。輝度色差フォーマットの画像情報では、例えば、画素ごとの輝度と2画素ごとの2種類の色差とがそれぞれ8ビットで表される。そのような情報をYUV422情報と表記する。
カメラフロントエンド部40がJPEGエンコード回路を内蔵する場合には、さらにJPEGフォーマットで表される画像情報を得ることもできる。そのような画像情報をJPEG情報と表記する。
なお、画素ごとに色差を表すいわゆるYUV4:4:4フォーマットや、4画素ごとに色差を表すいわゆるYUV4:2:0フォーマットで表される画像情報を処理することも、もちろん可能である。
画像情報取得部51は、変復調部61及びカメラフロントエンド部40から、成分色フォーマット、輝度色差フォーマット、及びJPEGフォーマットで表される画像情報を取得する。
JPEGデコード部52は、画像情報取得部51からJPEG情報を与えられ、当該JPEG情報を変換して得たYUV422情報を画像変換部53へ出力する。
色空間変換部55は、YUV422情報をRGB888情報に変換する。
量子化部54は、画像情報取得部51から与えられるか、又は色空間変換部55によって求められたRGB888情報によって表される成分色ごとの8ビット値を、実際の表示に用いられる階調数の2倍から1を減じた段階数に量子化する。例えば、実際に表示される色が、赤、緑、青についてそれぞれ5ビット、6ビット、5ビットで表される場合、すなわちそれぞれ25(32)、26(64)、25(32)階調で表される場合には、RGB888情報によって表される赤、緑、青の値をそれぞれ63段階、127段階、63段階に量子化する。
色決定部56は、前記量子化によって得られた各色の量子化値から、目的画像の対応画素の対応色を表す目的値を算出し、表示制御部57へ出力する。具体的には、前記量子化値が偶数の場合、当該値の半分を目的値とする。前記量子化値が奇数の場合、隣接する画素が当該値の半分を挟む2つの整数値を交互に取るように、言い換えれば、それらの整数値が市松模様状に並ぶように、画素位置に応じてそれらの整数値のうちの一方を目的値とする。
表示制御部57は、色決定部56から与えられた赤、緑、青の目的値を連結することによって画素あたり16ビットで表されるRGB565情報を生成する。そして、16ビットバスを介して当該RGB565情報を画素単位に表示部70へ送信する。
表示部70は、当該RGB565情報によって表される画像を表示する。
<画像変換処理>
図2は、統合モデム部50によって実行される処理の詳細を示すフローチャートである。
画像情報取得部51は、変復調部61又はカメラフロントエンド部40から原画像を表す画像情報を取得する。当該画像情報がJPEG情報である場合、JPEGデコード部52は、当該画像情報をYUV422情報に変換する。この変換は、JPEGフォーマットで表される画像情報を画素ごとの輝度色差情報に変換するための周知の方法を用いて行われる(S11)。
画像変換部53は、画像情報取得部51又はJPEGデコード部52から、原画像を表すRGB888情報又はYUV422情報を取得し、画素ごとに前述した各成分色の目的値を算出する(S12〜S19)。
色空間変換部55は、原画像がYUV422情報で表される場合、当該YUV422情報の輝度及び2種類の色差をそれぞれY、U、Vとして、例えば、演算
0=U−128
0=V−128
8=Y+((V0*357)>>8)
8=Y−((U0*87)>>8)−((V0*182)>>8)
8=Y+((U0*451)>>8)
ここで、=は代入演算、<<は左ビットシフト演算、>>は右ビットシフト演算を表す
を行ってRGB888情報の赤、緑、青の値R8、G8、B8を求める。この演算において、U、Vには2画素ごとに同じ値を用いてもよく、また、近隣の複数のU、Vを補間して得た値を用いてもよい。
量子化部54は、画像情報取得部51から与えられるか、又は色空間変換部55によって求められたRGB888情報の赤、緑、青の値R8、G8、R8から、演算
q=R8*63/256
q=G8*127/256
q=B8*63/256
ここで、=は代入演算を表す
を行って、それぞれ63階調、127階調、63階調に量子化された量子化値Rq、Gq、Bqを求める。ここでは、前述したように、実際に表示される色が、赤、緑、青についてそれぞれ25、26、25階調で表されるものとしている。これらの量子化値を、具体的に、ビットシフト操作を用いた次の演算
q=((R8<<6)−R8)>>8
q=((G8<<7)−G8)>>8
q=((B8<<6)−B8)>>8
ここで、=は代入演算、<<は左ビットシフト演算、>>は右ビットシフト演算を表す
によって求めてもよい(S13)。
色決定部56は、処理対象の画素位置を表すX座標値及びY座標値の和が奇数である場合のみ(S14:YES)、前記量子化値Rq、Gq、Bqをそれぞれ1増やしてから(S15)、2で割って商を整数値で求め目的値R5、G6、B5とする。これらの目的値を、具体的に、処理対象の画素位置を表すX座標値及びY座標値をそれぞれX、Yとして、演算
5=(Rq+((X+Y)&0x01))>>1
6=(Gq+((X+Y)&0x01))>>1
5=(Bq+((X+Y)&0x01))>>1
ここで、=は代入演算、&は論理積演算、>>は右ビットシフト演算を表す
によって求めてもよい(S16)。ここで、目的値の本来の意味からは、前記量子化値の奇偶を判断して奇数の場合にのみ1増やす操作を行うべきであるが、無条件に1増やしても所望の結果が得られることを考慮し、前記判断を省略して演算量の削減を図っていることを注記する。
説明の便宜上、X+Yが奇数となる画素を奇数画素、X+Yが偶数となる画素を偶数画素と呼ぶことにする。
表示制御部57は、色決定部56で求められた目的値R5、G6、B5を連結して16ビットデータを得て、16ビットバスを介して表示部70へ出力する。
表示部70は、前記16ビットバスを介して表示制御部57から得た目的値R5、G6、B5によって表される目的画像を表示する。
なお、変換用の配列を予め用意しておき、当該配列を参照して得た目的値から前記16ビットデータを生成する方法も考えられる。その方法を、C言語の表記法に準じたプログラムコードを用いて説明する。
まず、次にようにして前記変換用の配列を用意する。
2次元配列t5[2][768]、t6[2][768]を確保する。t5[0][]は偶数画素における赤及び青の目的値、t5[1][]は奇数画素における赤及び青の目的値、t6[0][]は偶数画素における緑の目的値、t6[1][]は奇数画素における緑の目的値に関係する。
二次元目のインデクスiが0〜255の配列要素に次の値を代入する。
t5[0][i]=0x00
t5[1][i]=0x00
t6[0][i]=0x00
t6[1][i]=0x00
また、iが256〜511の配列要素に、RGB888情報の成分色の値(i-256)に対応する奇数画素及び偶数画素それぞれの目的値を代入する。具体的には、(i-256)に対応する63段階の量子化値((i<<6)−i)>>8をc5とし、127段階の量子化値((i<<7)−i)>>8をc6として、
t5[0][i]=c5>>1
t5[1][i]=(c5+1)>>1
t6[0][i]=c6>>1
t6[1][i]=(c6+1)>>1
また、iが512〜767の配列要素に次の値を代入する。
t5[0][i]=0x1F
t5[1][i]=0x1F
t6[0][i]=0x3F
t6[1][i]=0x3F
さらに、偶数画素、奇数画素を処理する際にそれぞれ参照される配列の先頭アドレスを指すための配列*T5[2]、*T6[2]を確保し、各要素に次のアドレスを代入する。
T5[0]=&t5[0][256]
T5[1]=&t5[1][256]
T6[0]=&t6[0][256]
T6[1]=&t6[1][256]
この処理によって、前述した変換用の配列が用意される。この処理は、画素ごとのループ処理に入る前に一度実行される。
次に、原画像がYUV422情報によって表される場合、前述した演算を行ってRGB888情報に変換する。
そして、RGB888情報の赤、緑、青それぞれの値R8、G8、B8に対応する配列要素を参照して目的値を求め、さらに求めた目的値を結合して16ビットデータであるRGB16を得る。具体的には、まず、奇数画素及び偶数画素を区別する値を
t#ix=(X+Y)&0x01
によって求め、当該値に応じて
RGB16=(*(T5[t#ix]+R8)<<11)|(*T6([t#ix]+G8)<<5)|*(T5[t#ix]+B8)
によってRGB16を得る。
この処理によって、一画素分の目的値が決定される。この処理は、各画素について実行される。
<まとめ>
以上説明したように、本発明の画像変換装置及び方法は、元のRGB値からビットシフト演算、論理積演算、及び整数加算減算のみを用いて目的値を決定するので、ディザ値行列の参照や実数演算を用いる従来の技術よりも簡素に実現できる。また、実際の表示色を216(65536)色とし、最も一般的な16ビットバスによるデータ転送に最適化している。
その結果、携帯電話機等の比較的低速なプロセッサを用いて実現されるモバイル機器に適用した場合に、そのようなプロセッサでソフトウェア処理しても十分に実用的な時間で目的画像を表示することができる。
そして、擬似的に約219(約52万)色の階調を表示する結果、マッハバンドはほとんど知覚できない程度に軽減される。
本発明の処理は簡素であるゆえに、DSPやASICへの搭載も容易である。
また、特定の画素を処理する際に、他の画素の情報を用いないので、誤差拡散法特有のモアレや、ノイズ付与による画質劣化が生じない。また、216(65536)色のうちの隣接する2色を市松模様状に配して中間色を表現するので、72dpi(Dot Per Inch)以上の表示装置で目的画像を表示した場合、疑似色部分が2色で表現されていることはほとんど認識できない。
<その他の変形例>
なお、本発明を上記の実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
実施の形態では、統合モデム部50が画像変換処理を実行するように説明したが、カメラフロントエンド部40が当該画像変換処理を実行してもよい。カメラフロントエンド部40が当該画像変換処理を行うように構成された携帯電話機も本発明に含まれる。
本発明は、実施の形態で説明したコンピュータプログラムを表すデジタル信号であるとしてもよい。
また、本発明は、前記プログラム又は前記デジタル信号を記録したコンピュータ読取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD、MO、DVD、BD、半導体メモリ等であるとしてもよい。
また、本発明は、電気通信回線、無線又は有線通信回線、若しくはインターネットに代表されるネットワーク等を経由して伝送される前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。
また、前記プログラム又は前記デジタル信号は、前記記録媒体に記録されて移送され、若しくは、前記ネットワーク等を経由して移送され、独立した他の携帯電話機において実施されるとしてもよい。
本発明に係る画像変換装置は、例えば携帯電話機等のモバイル機器に適用され、そのような装置が内蔵する比較的低速なCPUを用いて好適に実現される。
本発明の携帯電話機の全体構成を示す機能ブロック図である。 画像変換処理の一例を示すフローチャートである。
符号の説明
1 携帯電話機
10 アンテナ
20 無線部
30 カメラ部
40 カメラフロントエンド部
50 統合モデム部
51 画像取得部
52 JPEGデコード部
53 画像変換部
54 量子化部
55 色空間変換部
56 色決定部
57 表示制御部
61 変復調部
62 通信制御部
63 音声処理部
70 表示部
81 レシーバ
82 マイク

Claims (14)

  1. 複数の画素で構成される原画像から、同数の画素で構成され疑似階調を用いて表現される目的画像を得る画像変換装置であって、
    前記目的画像の画素の色はn種類(nは自然数)の成分色についてそれぞれ(2Cn)階調(Cnは成分色ごとの自然数)で表され、
    前記原画像の画素の色を、各成分色について(2(Cn+1)−1)階調に量子化する量子化手段と、
    前記量子化によって得られた値、及び前記量子化によって得られた値に1を加えた値のうち前記画素の位置に応じた一方を2で割って得た商を前記目的画像の対応画素の同じ成分色の値とする色決定手段と
    を備えることを特徴とする画像変換装置。
  2. 前記目的画像の画素の色は成分色である赤、緑、青についてそれぞれ25、26、25階調で表され、
    前記量子化手段は、前記原画像の前記画素の色が赤、緑、青についてそれぞれ8ビット値であるR8、G8、B8で表される場合に、式
    ((R8<<6)−R8)>>8
    ((G8<<7)−G8)>>8
    ((B8<<6)−B8)>>8
    ここで、<<は左ビットシフト演算、>>は右ビットシフト演算を表す
    に従ってそれぞれ量子化値Rq、Gq、Bqを求め、
    前記色決定手段は、前記画素の位置を示すX座標値、及びY座標値がそれぞれX、及びYである場合に、式
    (Rq+((X+Y)&0x01))>>1
    (Gq+((X+Y)&0x01))>>1
    (Bq+((X+Y)&0x01))>>1
    ここで、<<は左ビットシフト演算、>>は右ビットシフト演算を表す
    に従ってそれぞれ前記対応画素の赤、緑、青の値である5ビット値R5、6ビット値G6、5ビット値B5を求める
    ことを特徴とする請求項1に記載の画像変換装置。
  3. 前記量子化手段は、前記原画像の前記画素の色が輝度及び2つの色差についてそれぞれ8ビット値であるY、U、Vで表される場合に、U−128をU0、V−128をV0と置いて、式
    Y+((V0*357)>>8)
    Y−((U0*87)>>8)−((V0*182)>>8)
    Y+((U0*451)>>8)
    ここで、<<は左ビットシフト演算、>>は右ビットシフト演算を表す
    に従ってそれぞれ前記赤、緑、青の値R8、G8、B8を求める色空間変換部を備え、当該色空間変換部によって求められたR8、G8、B8から前記量子化値R5、G6、B5を求める
    ことを特徴とする請求項2に記載の画像変換装置。
  4. 画像表示機能を有する携帯電話機であって、
    原画像を取得する取得手段と、
    取得された原画像から目的画像を得る請求項1乃至請求項3の何れかに記載の画像変換装置と、
    前記目的画像を表示する表示手段と
    を備えることを特徴とする携帯電話機。
  5. 前記携帯電話機は、さらに、撮影手段を備え、
    前記取得手段は、前記撮影手段から前記原画像を取得する
    ことを特徴とする請求項4に記載の携帯電話機。
  6. 前記画像変換装置は、請求項2又は請求項3に記載の画像変換装置であり、
    前記画像変換装置と前記表示手段とは16ビットデータを1単位として転送するバスで接続され、
    前記バスは、前記画像変換装置によって得られた1画素分の赤、緑、青の値を連結してなる16ビットデータを1単位として前記表示手段へ転送する
    ことを特徴とする請求項4又は請求項5に記載の携帯電話機。
  7. 複数の画素で構成される原画像から、同数の画素で構成され疑似階調を用いて表現される目的画像を得る画像変換方法であって、
    前記目的画像の画素の色はn種類(nは自然数)の成分色についてそれぞれ(2Cn)階調(Cnは成分色ごとの自然数)で表され、
    前記原画像の画素の色を、各成分色について(2(Cn+1)−1)階調に量子化する量子化ステップと、
    前記量子化によって得られた値、及び前記量子化によって得られた値に1を加えた値のうち前記画素の位置に応じた一方を2で割って得た商を前記目的画像の対応画素の同じ成分色の値とする色決定ステップと
    を含むことを特徴とする画像変換方法。
  8. 前記目的画像の画素の色は成分色である赤、緑、青についてそれぞれ25、26、25階調で表され、
    前記量子化ステップは、前記原画像の前記画素の色が赤、緑、青についてそれぞれ8ビット値であるR8、G8、B8で表される場合に、式
    ((R8<<6)−R8)>>8
    ((G8<<7)−G8)>>8
    ((B8<<6)−B8)>>8
    ここで、<<は左ビットシフト演算、>>は右ビットシフト演算を表す
    に従ってそれぞれ量子化値Rq、Gq、Bqを求め、
    前記色決定ステップは、前記画素の位置を示すX座標値、及びY座標値がそれぞれX、及びYである場合に、式
    (Rq+((X+Y)&0x01))>>1
    (Gq+((X+Y)&0x01))>>1
    (Bq+((X+Y)&0x01))>>1
    ここで、<<は左ビットシフト演算、>>は右ビットシフト演算を表す
    に従ってそれぞれ前記対応画素の赤、緑、青の値である5ビット値R5、6ビット値G6、5ビット値B5を求める
    ことを特徴とする請求項7に記載の画像変換方法。
  9. 前記量子化ステップは、前記原画像の前記画素の色が輝度及び2つの色差についてそれぞれ8ビット値であるY、U、Vで表される場合に、U−128をU0、V−128をV0と置いて、式
    Y+((V0*357)>>8)
    Y−((U0*87)>>8)−((V0*182)>>8)
    Y+((U0*451)>>8)
    ここで、<<は左ビットシフト演算、>>は右ビットシフト演算を表す
    に従ってそれぞれ前記赤、緑、青の値R8、G8、B8を求める色空間変換サブステップを含み、当該色空間変換サブステップによって求められたR8、G8、B8から前記量子化値R5、G6、B5を求める
    ことを特徴とする請求項8に記載の画像変換方法。
  10. 画像表示機能を有する携帯電話機の制御方法であって、
    原画像を取得する取得ステップと、
    取得された原画像を、請求項7乃至請求項9の何れかに記載の画像変換方法を用いて目的画像に変換する画像変換ステップと、
    前記目的画像を表示する表示ステップと
    を含むことを特徴とする制御方法。
  11. 前記携帯電話機は、撮影機能を有し、
    前記取得ステップは、前記撮影機能を用いて前記原画像を取得する
    ことを特徴とする請求項10に記載の制御方法。
  12. 前記携帯電話機は、16ビットデータを1単位として転送するバスで接続された表示装置を備え、
    前記画像変換ステップは、請求項8又は請求項9に記載の画像変換方法を用いて前記目的画像を画素あたり16ビットで表す画像データを生成し、
    前記制御方法は、さらに、
    前記生成された画像データを、1画素分の16ビットを1単位として前記バスを介して前記表示装置へ転送する転送ステップを含み、
    前記表示ステップは、前記転送された画像データによって表される目的画像を前記表示装置へ表示する
    ことを特徴とする請求項10又は請求項11に記載の制御方法。
  13. 画像変換を行うためのコンピュータ実行可能なプログラムであって、
    請求項7乃至請求項9の少なくとも一つに記載の各ステップをコンピュータに実行させる
    ことを特徴とするプログラム
  14. 画像表示機能を有する携帯電話機を制御するためのコンピュータ実行可能なプログラムであって、
    請求項10乃至請求項12の少なくとも一つに記載の各ステップをコンピュータに実行させる
    ことを特徴とするプログラム。

JP2004134511A 2004-04-28 2004-04-28 携帯電話機、並びに、画像変換装置、方法、及びプログラム Expired - Fee Related JP4546141B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004134511A JP4546141B2 (ja) 2004-04-28 2004-04-28 携帯電話機、並びに、画像変換装置、方法、及びプログラム
CN200580013302A CN100590657C (zh) 2004-04-28 2005-04-26 便携式电话机、图像变换装置、控制方法以及程序
US11/578,802 US7840223B2 (en) 2004-04-28 2005-04-26 Portable telephone, image converter, control method and program
PCT/JP2005/007862 WO2005106790A1 (ja) 2004-04-28 2005-04-26 携帯電話機、画像変換装置、制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004134511A JP4546141B2 (ja) 2004-04-28 2004-04-28 携帯電話機、並びに、画像変換装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2005316766A true JP2005316766A (ja) 2005-11-10
JP4546141B2 JP4546141B2 (ja) 2010-09-15

Family

ID=35241881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004134511A Expired - Fee Related JP4546141B2 (ja) 2004-04-28 2004-04-28 携帯電話機、並びに、画像変換装置、方法、及びプログラム

Country Status (4)

Country Link
US (1) US7840223B2 (ja)
JP (1) JP4546141B2 (ja)
CN (1) CN100590657C (ja)
WO (1) WO2005106790A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110286663A1 (en) * 2010-05-20 2011-11-24 Wen-Lung Huang Method And Apparatus Of Color Image Rotation For Display And Recording Using JPEG
JP6511812B2 (ja) * 2013-01-04 2019-05-15 ソニー株式会社 送信装置、受信装置、送信方法、受信方法、及び送受信システム
CN103473747A (zh) * 2013-09-25 2013-12-25 云南大学 色彩传递的方法和装置
JP6418010B2 (ja) * 2015-03-02 2018-11-07 セイコーエプソン株式会社 画像処理装置、画像処理方法及び表示装置
DE102018106873B3 (de) * 2018-03-22 2019-07-04 Basler Ag Bestimmen von hinsichtlich einer Aufnahme mit einer inhomogenen Helligkeit korrigierten Farbwerten
TWI804263B (zh) * 2022-03-31 2023-06-01 大陸商北京集創北方科技股份有限公司 自發光顯示器的環境光補償方法、顯示驅動晶片、顯示裝置及資訊處理裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56100572A (en) * 1980-01-17 1981-08-12 Fuji Photo Film Co Ltd Signal processing system of variable density picture
JPS605691A (ja) * 1983-05-25 1985-01-12 アールシーエー トムソン ライセンシング コーポレイシヨン デジタルデイザを有するデジタル信号処理装置
JPH0818781A (ja) * 1994-06-30 1996-01-19 Hitachi Ltd 2値化装置及びこれを用いた装置
JPH1075376A (ja) * 1996-06-05 1998-03-17 Eastman Kodak Co マルチチャンネルディジタルカラー画像をハーフトーン化する方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3290716B2 (ja) 1992-10-13 2002-06-10 株式会社リコー 多階調処理装置
JPH06250621A (ja) 1993-02-22 1994-09-09 Daikin Ind Ltd 画像データ処理方法およびその装置
JP2000216974A (ja) * 1999-01-21 2000-08-04 Seiko Epson Corp 画像作成方法およびその装置
KR101038489B1 (ko) * 2003-03-05 2011-06-01 삼성테크윈 주식회사 Cdma 통신망을 이용한 영상 전송장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56100572A (en) * 1980-01-17 1981-08-12 Fuji Photo Film Co Ltd Signal processing system of variable density picture
JPS605691A (ja) * 1983-05-25 1985-01-12 アールシーエー トムソン ライセンシング コーポレイシヨン デジタルデイザを有するデジタル信号処理装置
JPH0818781A (ja) * 1994-06-30 1996-01-19 Hitachi Ltd 2値化装置及びこれを用いた装置
JPH1075376A (ja) * 1996-06-05 1998-03-17 Eastman Kodak Co マルチチャンネルディジタルカラー画像をハーフトーン化する方法

Also Published As

Publication number Publication date
US7840223B2 (en) 2010-11-23
WO2005106790A1 (ja) 2005-11-10
JP4546141B2 (ja) 2010-09-15
CN100590657C (zh) 2010-02-17
US20090305718A1 (en) 2009-12-10
CN1947147A (zh) 2007-04-11

Similar Documents

Publication Publication Date Title
KR101182943B1 (ko) 신호 처리 장치 및 방법과 기록 매체
US7808510B2 (en) Image processing apparatus, image transmission apparatus, display, image processing method, and image transmission method
JPH07184226A (ja) 改良された色処理のための画像圧縮フィードバックを使用した電子カメラ
KR100916104B1 (ko) 디지털 이미지 처리를 위한 루마 적응
JP2004301976A (ja) 映像信号処理装置
US20060050956A1 (en) Signal processing apparatus, signal processing method, and signal processing program
KR100730614B1 (ko) 오차 확산을 이용한 화상 데이터 처리 장치 및 방법
US7840223B2 (en) Portable telephone, image converter, control method and program
US8224103B2 (en) Image encoding method and device, image decoding method and device, and imaging device
JP4892869B2 (ja) 画像圧縮装置、画像圧縮プログラム、電子カメラ、画像伸張装置、及び画像伸張プログラム
EP0923052A2 (en) Image encoding/decoding technique
JP2000244935A (ja) 画像データ圧縮方法
US9030568B2 (en) Data processing apparatuses, data processing method, program, and camera system
JP4552400B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP2005278025A (ja) 輝度・色差信号生成装置、画像圧縮装置、及び画像処理システム
JPWO2003107684A1 (ja) 画像処理装置及び方法、画像出力装置、並びにこれらを用いたデジタルカメラ装置及び携帯情報端末
JP2004361497A (ja) 画像表示装置、画像表示方法及び画像表示プログラム
US8576246B2 (en) Image processing method and device
JP2004320301A (ja) 画像圧縮装置及び画像処理システム
JP3461247B2 (ja) 画像処理装置及び画像処理方法
JPH118765A (ja) 低階調化処理方法、低階調化処理装置、低階調化処理用集積回路および低階調化プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4522640B2 (ja) データ転送システムおよびデータ転送方法
JP3402325B2 (ja) 画像データ生成装置、画像処理装置及び画像処理システム、並びにプログラム
JP2020005067A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2005328338A (ja) 撮像装置及び撮像装置付き携帯端末

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070327

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080801

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100701

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees