JP2009300968A - 画像処理装置、画像信号処理方法、プログラム及び記憶媒体 - Google Patents

画像処理装置、画像信号処理方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
JP2009300968A
JP2009300968A JP2008158282A JP2008158282A JP2009300968A JP 2009300968 A JP2009300968 A JP 2009300968A JP 2008158282 A JP2008158282 A JP 2008158282A JP 2008158282 A JP2008158282 A JP 2008158282A JP 2009300968 A JP2009300968 A JP 2009300968A
Authority
JP
Japan
Prior art keywords
value
control amount
display
equivalent value
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008158282A
Other languages
English (en)
Other versions
JP4743232B2 (ja
Inventor
Ryuhei Sakagami
竜平 坂上
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008158282A priority Critical patent/JP4743232B2/ja
Priority to US12/473,716 priority patent/US8441504B2/en
Publication of JP2009300968A publication Critical patent/JP2009300968A/ja
Application granted granted Critical
Publication of JP4743232B2 publication Critical patent/JP4743232B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611Control of matrices with row and column drivers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/0646Modulation of illumination source brightness and image signal correlated to each other
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Liquid Crystal (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

【課題】入力される映像信号の信号レベルに応じて表示輝度に制限をかける表示デバイスでの表示状態を、表示輝度に対する制限を行わない表示デバイス上で再現する。
【解決手段】入力された映像信号の画素値に基づいて、映像信号による画像が表示部に表示される場合にかかるエネルギー量に相当する電力相当値を算出し、前記電力相当値が所定の値となるように、前記表示部における表示輝度を制御する制御量を算出する制御量算出部1と、制御量算出部1で算出された制御量に基づいて、表示輝度を制御する補正処理部2とを備えた。
【選択図】図1

Description

本発明は、画像表示装置、画像信号処理方法、プログラム及び記憶媒体に関し、特に、例えば、テレビジョン放送の放送側において、受信側で表示される画像をチェックする場合に用いられる画像表示装置、画像信号処理方法、プログラム及び記憶媒体に関する。
例えば、テレビジョン放送の放送局や、映像コンテンツの配信業者では、番組(コンテンツ)を放送又は配信する前に、その番組の画像を表示装置(モニタ)に表示して、画質等をチェックすることが行われる。
例えば特許文献1には、原画像とその原画像を処理した処理画像とを切り替えて表示可能な表示装置に、処理画像の画質を評価する画質評価手段を内蔵させ、表示装置の表示部に、画質評価手段から出力される画質評価結果を表示させる技術が記載されている。
特開2001−136548号公報
ところで、テレビジョン放送やコンテンツを受信する家庭等の受信側では、様々な種類の表示装置が使用されていることが想定される。現在家庭で使用されている表示装置としては、例えば、LCD(Liquid Crystal Display)やプラズマディスプレイ(以下、PDPと称する)、有機EL(Electro Luminescence)ディスプレイ、CRT(Cathode Ray Tube)等がある。
このうち、プラズマディスプレイやCRTは、放電による発光を利用して画面上に画像を表示させている。このため、表示デバイスの発熱を抑制したり、製品の寿命を延ばしたり、消費電力を抑える目的で、所定の信号レベル(画素値)以上の入力映像信号に対しては、信号レベルに制限をかけて表示デバイスに出力することが行われている。
図9に、出力信号レベルに対する制限処理の例を示してある。図9は、表示デバイスの前面から出射される光の輝度レベルと、白表示面積の比率との関係を示した図である。なお、以下の説明では、表示デバイスの前面から出射される光の輝度を「表示輝度」と称する。縦軸は表示輝度のレベルを示し、横軸は白表示面積の比率(%)を示す。横軸において、左端は白表示面積比率が0%、つまり全画面黒の映像が表示された状態を示し、右端は白表示面積比率100%、つまり全画面白の映像が表示された状態を示す。図中の破線はLCDにおける表示輝度を示し、実線はPDPにおける表示輝度を示している。
図9に示されているように、LCDにおいては、表示画面上で白表示面積が増大しても、表示輝度のレベルは一定であり、変化しない。これは、LCDの場合、表示パネルを背面から照明するバックライトの明るさが、白表示面積などの画像状態とは関係なく常に均一の明るさであるためである。
これに対してPDPでは、白色の高輝度のエリアが小面積の場合は輝度レベルが高く、白色のエリアが広くなるに従って輝度レベルが低くなっている。PDPにおいては、表示時に消費する電力を一定のレベルに抑える目的で、電力をより多く消費する輝度値の高い信号の信号レベルを制限することが行われるためである。PDPにおけるこのような特性は、ピーク輝度特性とも呼ばれている。
このように、表示装置の種類によって画像の表示手法が異なるため、同じ画像が入力されても、表示する表示装置の種類によって表示される画像の画質が変わってくる。このため、前述したような画質のチェックも、表示特性の異なる複数種類の表示装置を用意して、それらの表示装置に実際にチェック用の画像を表示させることにより行われる。
ところが、画質のチェックを行いたい表示装置の種類毎に、チェック用画像を表示させるための表示装置を実際に用意するのは手間であるという問題があった。このため、1台の表示装置で、複数の異なる表示装置における表示状態も確認できるようにする手段の実現が望まれていた。
例えば、PDPのような、映像信号の信号レベルの大きさに応じて表示輝度のレベルに制限をかけるようなデバイスでの表示状態を、LCDのように表示輝度に対する制限を行わないデバイス上で再現する場合を考えてみる。この場合は、図9に実線で示したようなPDPにおける輝度特性を、LCDの画面上で再現する必要がある。つまり、映像信号を表示する際にかかるエネルギーの量を特徴量として、表示輝度の制限を行う必要がある。
表示輝度に対する制限を行わない表示装置において、表示輝度のレベルを制御する技術が、特開平8−201812号公報に記載されている。ここには、入力映像信号の平均輝度レベル(APL:Average Picture Level)を算出し、算出したAPLの大きさ応じてLCDのバックライトの明るさを調整することにより、表示輝度を制御する技術が記載されている。ここでの表示輝度の制御は、画質の改善(高画質化)を目的として行われるものである。
しかし、このように輝度信号の値を特徴量とした場合には、PDPのような表示デバイスにおける輝度特性を再現することはできない。LCD等のカラー表示デバイスが、R,G,Bの3原色の光の強度を変化させることによって色調や明るさを表現しているためである。つまり、このような表示デバイスでの表示にかかるエネルギー量を算出するには、R,G,Bのそれぞれを表示させる際にかかるエネルギー量を個別に算出する必要があるが、輝度信号の情報のみでは、これらを算出することができない。
輝度信号をYとすると、Yは、例えば0.2×R+0.7×G+0.1×Bのような式で表現される。この式によれば、輝度信号Yに対する貢献度の低いBの信号が大きく変化したとしても、輝度信号Yの値は殆ど変化しないことになる。しかし実際には、Bの信号が大きく変化した場合には、Bの画素にかかる電圧が増大する。つまり、表示にかかるエネルギー量も大きく変化する。このため、輝度信号Yを表示デバイスにかかるエネルギーの特徴量とした場合には、PDPのような表示デバイスにおける輝度特性を厳密に再現することができないという問題があった。
そもそも、輝度信号Yは人間の視覚感度に合わせて生成されたものであり、表示デバイスにおいて画像表示時に要するエネルギーを示したものではない。つまり、前述した特開平8−201812に記載の技術のように、画質の改善を目的とする場合には、人の視覚に対する影響の大きい輝度信号の値に基づいて表示輝度の調整を行うことで、目的とする効果は得られることになる。
一方、PDPのような、映像信号を表示する際にかかるエネルギーの量を考慮して、表示輝度に制限をかける表示デバイスでの表示状態を、LCD等の表示装置上で再現するには、このような輝度信号に基づく制御では不十分である。
また、特開2001−27890には、入力映像信号のAPLや最大値、最小値を検出して、これらの値に基づいて表示輝度を調整することが記載されている。ところが、これらの値を用いても、映像信号の表示時にかかるエネルギーの量を正確に算出することはできない。つまり、入力映像信号のAPLや最大値、最小値等に基づく制御によっては、PDP等の表示デバイスにおける表示状態を、再現することができないという問題があった。
本発明はかかる点に鑑みてなされたものであり、入力される映像信号の信号レベルに応じて表示輝度に制限をかける表示デバイスでの表示状態を、表示輝度に対する制限を行わない表示デバイス上で再現することを目的とする。
本発明の画像表示装置は、入力された映像信号の画素値に基づいて、映像信号による画像が表示部に表示される場合にかかるエネルギー量に相当する電力相当値を算出し、電力相当値が所定の値となるように、表示部における表示輝度を制御する制御量を算出する制御量算出部を備えた。さらに、制御量算出部で算出された制御量に基づいて、表示輝度を制御する補正処理部とを備えたようにしたものである。
このようにしたことで、入力された映像信号の画素値に基づいて算出された電力相当値が、所定の値となるように制御される。
本発明によると、入力される映像信号の画素値の大きさに応じて表示輝度に制限をかける表示デバイスにおける消費許容電力量を所定の値と定めることで、前記入力された映像信号の画素値に基づいて算出された電力相当値が、所定の値となるように制御される。これにより、入力される映像信号の画素値の大きさに応じて表示輝度に制限をかける表示デバイスにおける表示状態が再現されるようになる。
以下、本発明の一実施の形態を、図1〜図8を参照して説明する。本実施の形態における画像表示装置はLCDで構成してあり、PDPでの表示状態を再現(エミュレート)するものである。
1.装置の全体構成例
図1に示す画像表示装置10は、レベル制御量算出部1と、レベル補正処理部2と、パネルドライバ3と、バックライト4と、液晶パネル5とより構成される。パネルドライバ3は、図示せぬゲート線駆動回路とデータ線駆動回路等よりなり、液晶パネル4内の所望の画素電極の選択及び画素電極に対する電圧の印加を行う。バックライト4は、図示せぬLED(Light Emitting Diode)や導光板、反射シートよりなり、液晶パネル5を背面から照射する。本実施の形態では、バックライト4における輝度の制御量を、E1(0.5)、E2(0.8)、1(制御なし)の3段階で調整できる構成としてある。なお、バックライト4の制御量はこれらに限定されるものではなく、制御の段階も、2段階や4段階等他の段階に設定するようにしてもよい。
1−1.レベル制御量算出部1の構成例
レベル制御量算出部1は、入力される映像信号の画素値に基づいて、表示輝度のレベルを制御する制御量を算出する。レベル制御量算出部1は、R入力電力量変換部11と、G入力電力量変換部11と、B入力電力量変換部11と、R積分処理部12と、G積分処理部12と、B積分処理部12とを含む。さらに、R演算処理部13と、G演算処理部13と、B演算処理部13と、総和算出部14と、制御量決定部15とを含む。
R入力電力量変換部11、G入力電力量変換部11、B入力電力量変換部11は、R,G,Bの各入力映像信号の画素値を電力量に換算する処理を行う。ここで算出する電力量は、表示輝度の制限を行わない場合に消費されるであろう電力量であり、以下では電力相当値vと称する。本例ではPDPにおける挙動をLCD上で再現することを目的としているため、電力相当値vを、PDPにおける、電気を光に変換するときの特性(以下、電気光変換特性と称する)に基づいて算出する。
PDPにおける電気光変換特性はリニア(線形)であるため、入力映像信号の画素値をxとすると、xに対する出力輝度値そのものが、画像表示時に要するエネルギー量(電力量)と比例関係にあることになる。このため、電力相当値vは、下記の式1に示すようなガンマ曲線で表現することができる。
Figure 2009300968
式1における係数a,b,c,γは、入力xに対する輝度変化特性を基に算出することが可能であり、輝度変化特性は、測定等により求めることが可能である。
求めた電力相当値vはR積分処理部12に、電力相当値vはG積分処理部12に、電力相当値vはB積分処理部12に出力する。
R積分処理部12、G積分処理部12、B積分処理部12は、R入力電力量変換部11、G入力電力量変換部11、B入力電力量変換部11から出力された電力相当値v,v,vを、フィールド単位あるいはフレーム単位等の一定の期間積分する。積分は下記の式2を用いて行う。
Figure 2009300968
そして、積分後の積分電力相当値VをR演算処理部13に、積分電力相当値VをG演算処理部13に、積分電力相当値VをB演算処理部13に出力する。
R演算処理部13、G演算処理部13、B演算処理部13は、積分電力相当値V,V,Vに、R,G,Bそれぞれの電気光変換効率を基に設定した補正係数λ、λ,λを掛け合わせる処理を行う。つまり、電気光変換効率はR,G,Bのそれぞれで異なるため、各電気光変換効率を基に算出した重み値としての補正係数λ、λ,λを用いて、積分電力相当値V,V,Vのそれぞれの関係を補正することを行っている。R演算処理部13は、補正処理後のλを総和算出部14に出力し、G演算処理部13は、補正処理後のλを総和算出部14に出力し、B演算処理部13は、補正処理後のλを総和算出部14に出力する。
総和算出部14は、R演算処理部13、G演算処理部13、B演算処理部13のそれぞれから出力された値を合計することで、総電力相当値Pを算出する。総電力相当値Pは、下記の式3を用いて算出する。
Figure 2009300968
そして、算出した総電力相当値Pを制御量決定部15に出力する。
制御量決定部15は、総和算出部14から出力された総電力相当値Pに基づいて、後述する遅延部21で映像信号に付加する遅延の量を算出する。さらに、液晶パネル5に表示させる映像信号の信号レベルを制御するための制御量(以下、信号レベル制御量と称する)と、バックライト4の輝度を制御するための制御量(以下、バックライト制御量と称する)も算出する。そして、算出した遅延量を遅延部21に、信号レベル制御量を、後述するレベル補正処理部2内のR補正処理部22とG補正処理部22とB補正処理部22に、バックライト制御量をパネルドライバ3に出力する。
ここで算出する遅延量とは、信号レベル制御量とバックライト制御量の算出に要した時間分、映像信号の出力を遅らせるための遅延量である。なお、遅延による表示遅れを回避する目的で、入力映像信号の時間的変化が一般的に急激でない特性を利用して、遅延量を設定(算出)しないようにしてもよい。この場合は、過去に入力された映像信号の情報のみを用いて各制御量を算出するようにする。
制御量決定部15は、信号レベル制御量とバックライト制御量を算出するにあたって、まず総和算出部14から出力された総電力相当量Pの値と、表示輝度に対する制限を行う閾値としての許容電力量Tとを比較する。そして、総電力相当量Pが許容電力量T以上である場合には、総電力相当量Pを許容電力量Tの範囲内に収めるための信号レベル制御量及びバックライト制御量を算出する。一方、総電力相当量Pが許容電力量T未満である場合には、元々許容電力量の範囲内であるため、いずれの制御量の算出も行わなくてもよい 。これにより、レベル補正処理部2に制御量が出力されなくなるため、パネルドライバ3には、入力映像信号の画素値xがそのまま出力されることになる。また、総電力相当量Pが許容電力量T未満である場合においても、表示に掛かる電力量に余裕があると解釈して制御が行われる場合は、総電力相当量Pに応じて制御量を算出して制御を行う。
なお、ここでいう許容電力量Tとは、PDPにおける発熱の許容電力量であり、この許容電力量Tは、パネルの寿命や消費電力、発熱量等に応じて、パネル毎に設定されているものである。
図2に、ある画素値が入力された場合における出力輝度値と、総電力相当値Pとの関係を示してある。図2の縦軸は出力輝度値を示し、横軸は総電力相当値Pを示す。入力映像信号の信号レベルに応じた表示輝度の制御を行わない表示装置では、実線及び破線よりなるL1に示されるように、出力輝度値は、総電力相当値Pの値に関わらず常に一定となる。これに対して、入力される映像信号の画素値の大きさに応じて出力輝度値の値に制限をかける表示装置においては、総電力相当値Pが許容電力量Tに達するまでの間は出力輝度値の値が一定であるが、総電力相当値Pが許容電力量Tを超えると、その値に応じて出力輝度値が下がっている。
図3には、総電力相当値PとPDPパネルにおける実際の消費電力量との関係を示してある。縦軸が実際の消費電力量を示し、横軸が総電力相当値Pを示す。例えば、画面上に表示する白の面積を徐々に増大させる場合を想定すると、電力量に応じた表示輝度の制御を行わない場合には、実線及び破線よりなるL3に示されるように、白表示面積が増大して総電力相当値Pが増加するにつれて、実際の消費電力量も増加する。
これに対して、総電力相当値Pの値が許容電力量Tを超えた場合には、図2にL2として示したように出力輝度値に制限を加えることで、図3に実線L4として示したように、実際の消費電力が許容電力量Tに抑えられる。この結果、同じ画素値が入力された場合にも、出力輝度値は入力時の輝度値とは異なる値となる。つまり制御量決定部15では、入力される映像信号の画素値の大きさに応じて表示輝度に制限をかける表示デバイスにおけるこのような挙動を、表示輝度への制限を行わない表示デバイス上で再現するために、総電力相当値PをPDPにおける許容電力量T内に収めるための制御量を算出する。
前述したように、本例ではバックライト4の輝度を3段階で制御可能としてあるため、信号レベルに対する制御量を、バックライト制御量の値に応じて調整するようにしている。つまり、許容電力量T/総電力相当値P/バックライト制御量Eを算出することで、信号レベル制御量を求めることができる。具体的には、許容電力量T/総電力相当値P(以下、T/Pと称する)が0.4である場合には、バックライトの制御量をE1(本例では0.5)とすることで、バックライト4の輝度をまず半分に下げることをおこなう。バックライトで輝度を調整された分だけ信号レベル制御量変更することになるが、これは信号レベル制御量T/Pを1/E1倍することに相当し、すなわちT/P/E1=0.4/0.5=0.8となり、信号レベル制御量T/Pを0.8とすることで、消費電力を許容電力量T内に抑えた表示状態と等しくなる。
図4に、制御量決定部15における信号レベル制御量とバックライト制御量の決定処理の例をフローチャートで示してある。制御量決定部15ではまず、T/Pが、バックライト4の制御量E1(本例では0.5)以下であるか否かの判断を行う(ステップS1)。T/Pが制御量E1以下であった場合には、バックライト制御量をE1に設定するとともに、信号レベル制御量をT/P/E1に設定する(ステップS2)。
T/Pが、バックライトの制御量E1より大きかった場合には、次にT/Pがバックライトの制御量E2(本例では0.8)以下であるか否かの判断を行う(ステップS3)。T/Pが制御量E2以下であった場合には、バックライト制御量をE2に設定するとともに、信号レベル制御量をT/P/E2に設定する(ステップS4)。T/Pがバックライトの制御量E2より大きかった場合には、バックライトの制御量を1(バックライトの制御なし)に設定し、信号レベル制御量をT/Pに設定する(ステップS5)。
1−2.レベル補正処理部2の構成例
レベル補正処理部2は、遅延部21と、R補正処理部22と、G補正処理部22とB補正処理部22とから成る。
遅延部21は、入力されるR,G,Bの各映像信号に対して、制御量決定部15から出力された遅延量を付加して、R補正処理部22、G補正処理部22、B補正処理部22に出力する。
R補正処理部22、G補正処理部22、B補正処理部22は、制御量決定部15から出力された信号レベル制御量と入力映像信号の画素値xを下記の式4に代入することにより、出力すべき信号レベルx′を算出する。出力すべき信号レベルx′とは、入力される映像信号の画素値の大きさに応じて表示輝度に制限をかける表示デバイスにおける、輝度特性を再現した場合の出力輝度値を示す。なお以下の説明では、出力すべき信号レベルx′を相当画素値x′とも称する。式4におけるγとbは、式1におけるものと同一である。
Figure 2009300968
図5に、相当信号画素値x′と総電力相当値Pとの関係を示してある。図5において、縦軸は相当画素値x′を示し、横軸は総電力相当値Pを示す。総電力相当値Pが許容電力量Tに達するまでの間は、制御量決定部5による制御量の算出が行われないため、入力映像信号における画素値xがそのまま相当画素値x′として、パネルドライバ3に出力される。
総電力相当値Pが許容電力量Tを超えた場合には、総電力相当値Pを許容電力量Tの範囲内に抑える処理が行われる。具体的には、式4で算出されたPに、T/Pを乗算することにより総電力相当値Pを許容電力量T内に収めることができる。このような処理が行われた総電力相当値PをP′とすると、総電力相当値P′は、下記の式5によって算出できる。
P′=(T/P)×P …式5
なお、ここでは説明を簡単にするため、バックライト制御量を考慮しない場合を例に挙げているが、バックライト制御量を考慮する場合は、(T/P)の部分が(T/P/E)となる。
ここで、式3における補正係数λ,λ,λに関係なく、各V,V,Vに対して(T/P)を乗算するものとすると、式5のPを各V(V,V,V)に置き換えることができる。さらに、式1に基づいて式5を変形すると、下記に示す式6になる。
Figure 2009300968
そしてさらに、係数cがa(x−bγ に対して十分に小さいことを考慮して式を変形すると、式7のようになる。
Figure 2009300968
式7をさらに変形したものが、式4に示した式となる。だだし、式4では変数の添え字iを省略している。この式4を用いて算出した相当画素値x′による曲線を、図5に実線で示してある。すなわち、総電力相当値Pが許容電力量Tを超えた場合に、式4を用いて相当画素値x′に制限をかけることにより、画像表示装置10において、入力される映像信号の画素値の大きさに応じて表示輝度に制限をかける表示デバイスでの表示状態が再現される。
2.装置の動作例
2−1.レベル制御量算出部1の動作例
次に、図6のフローチャートを参照して、レベル制御量算出部1における各種制御量の算出処理の例について説明する。まず、R入力電力量変換部11,G入力電力量変換部11,B入力電力量変換部11で、入力されたR,G,Bの各画素値が電力相当値v,v,vに変換される(ステップS11)。そして、R積分処理部12とG積分処理部12とB積分処理部12によって、電力相当値v,v,vのそれぞれが積分されて、積分電力相当値V,V,Vとされる(ステップS12)。
次に、所定の期間積分されたか否かが判断され(ステップS13)、積分された期間が所定の期間に達していない場合には、ステップS11に戻って処理が続けられる。所定の期間積分がされた場合には、R演算処理部13とG演算処理部13とB演算処理部13によって、積分電力相当値V,V,Vに、補正係数λ,λ,λが乗算される(ステップS14)。
そして、総和算出部14によって、補正処理されたVλ,Vλ,Vλが足し合わされ、総電力相当値Pが算出される(ステップS15)。最後に、総和算出部14で算出された総電力相当値Pに基づいて、制御量決定部15によって、遅延量、信号レベル制御量、バックライト制御量が決定されて、レベル補正処理部2に出力される(ステップS16)。
2−2.レベル補正処理部2の動作例
次に、図7のフローチャートを参照して、レベル補正処理部2におけるレベル補正処理の例について説明する。レベル補正処理部2では、まず遅延部21によって、R,G,Bそれぞれの入力映像信号に対して、制御量決定部15で決定された遅延量が追加される(ステップS21)。そして、所定の期間遅延されたか否かが判定され(ステップS22)、所定の期間遅延されていない場合にはステップS21に戻って処理が続けられる。
所定の期間遅延がされた場合には、制御量決定部15から出力された信号レベル制御量に基づいて、R,G,Bの各映像信号の画素値xが、画素相当値x′に変換されて(ステップS23)、パネルドライバ3に出力される(ステップS24)。さらに、制御量決定部15から出力されたバックライト制御量に基づいて、バックライト4の輝度が制御される(ステップS25)。
3.実施の形態の効果
上述した実施の形態によれば、入力映像信号の画素値xが、画像の表示にかかるエネルギー量としての総電力相当値Pに変換される。そして、総電力相当値Pの値が、PDPのようなピーク輝度特性を有する表示デバイスにおける許容電力値Tを超えた場合に、許容電力値Tの範囲内に収まる値に制御される。これにより、入力される映像信号の画素値の大きさに応じて表示輝度に制限をかけるPDPのような表示デバイスにおける表示状態が、本例の画像表示装置10のような、表示輝度に対する制限を必要としない表示デバイス上で再現されるようになる。
また、上述した実施の形態によれば、まずR,G,Bの各映像信号に基づいて、R,G,Bのそれぞれでの表示にかかるエネルギー量としての電力相当値v,v,vが算出される。そしてそれらの値に、R,G,Bのそれぞれにおける電気光変換効率に基づいて設定された補正係数λ,λ,λが掛け合わされた値に基づいて、総電力相当値Pが算出される。これにより、表示にかかるエネルギー量が厳密に算出されるため、PDPのような表示デバイスにおける挙動を、LCD等で構成した画像表示装置10において、より忠実に再現することができるようになる。
また、上述した実施の形態によれば、LCD等よりなる画像表示装置10によって、PDP等の、入力される映像信号の画素値の大きさに応じて表示輝度に制限をかける表示デバイスの表示状態を再現することができる。これにより、LCD等で構成した画像表示装置10を1台用意することで、入力される映像信号の画素値の大きさに応じて表示輝度に制限をかける表示デバイスの表示状態と、表示輝度への制限を必要としない表示デバイスでの表示状態との両方を確認できるようになる。従って、表示状態を確認したい表示デバイスの種類に対応させて、画質確認用の表示デバイスを複数種類用意する必要がなくなる。
また、上述した実施の形態によれば、バックライト4の輝度と映像信号の信号レベルとの両方によって表示輝度のレベルが制御される。映像信号の信号レベルの制御のみで表示輝度を制御しようとした場合には、輝度を大きく下げた場合に、表示画面での階調がつぶれてしまう可能性もある。これに対して本実施の形態による画像表示装置10では、表示輝度を大きく制限する場合には、バックライト4の方で調整を行うようなことも可能となる。これにより、階調つぶれを起こすことなく、PDPのような表示デバイスにおける表示状態を再現することができる。
なお、上述した実施の形態では、バックライト4の輝度と映像信号の信号レベルとの両方によって表示輝度のレベルを制御する構成としてあるが、映像信号の信号レベルのみで制御可能とする構成に適用してもよい。もしくは、バックライト4での輝度の制御段階をより細かく設定できるような場合には、バックライト4に対する制御のみで表示輝度を制御するようにしてもよい。
また、上述した実施の形態では、画面に表示される画像の色についての補正は行わない構成としてあるが、必要に応じて色の補正を行う構成としてもよい。つまり、バックライト4の輝度を変化させたことで、表示画像の色が変わってしまう場合に、バックライト制御量の値に応じて色補正値を算出し、算出した色補正値を用いて色補正を行うようにしてもよい。
また、上述した実施の形態では、式1に示した係数a,b,c,γの値を、R,G,Bで共通して使用する構成としてあるが、R,G,Bそれぞれで特性が大きく異なる場合などには、R,G,B毎に個別に係数a,b,c,γの値を設定するようにしてもよい。
また、上述した実施の形態では、PDPによる表示状態を再現する場合を例に挙げたが、入力される映像信号の画素値の大きさに応じて表示輝度に制限をかけることを行っている表示デバイスであれば、CRT等の表示デバイスによる表示状態を再現させるようにしてもよい。
なお、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図8に、上述した一連の処理を実行するプログラムがインストールされるパーソナルコンピュータ100の一実施の形態の構成例を示してある。
プログラムは、パーソナルコンピュータ100に内蔵されている記録媒体としてのハードディスク105やROM(Read Only Memory)103に予め記録しておくことができる。
あるいはプログラムは、外部記憶媒体111に、一時的あるいは永続的に格納(記録)しておくことができる。外部記憶媒体111は、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどで構成される。このような外部記憶媒体111は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したような外部記憶媒体111からパーソナルコンピュータ100にインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、パーソナルコンピュータ100に無線でも転送可能である。また、LAN(Local Area Network)、インターネット等のネットワークを介して、パーソナルコンピュータ100に有線で転送することもできる。パーソナルコンピュータ100では、そのようにして転送されてくるプログラムを、通信部108で受信し、内蔵するハードディスク105にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)102を内蔵しており、バス101を介して、入出力インタフェース110が接続されている。そしてCPU102には、入出力インタフェース110を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部107が操作等されることにより指令が入力される。CPU102では、それらの指令に従って、ROM(Read Only Memory)103に格納されているプログラムを実行する。
またCPU102は、プログラムを読み出してRAM(Random Access Memory)104にロードして実行する。ここで読み出されるプログラムは、ハードディスク105に格納されているプログラムや、通信部108で受信されてハードディスク105にインストールされたプログラム等である。または、ドライブ109に装着された外部記憶媒体111から読み出されて、ハードディスク105にインストールされたプログラムであってもよい。
CPU102は、上述した各フローチャートに従って処理、あるいは上述した各ブロック図の構成により行われる処理を行う。そしてCPU102は、必要に応じて、その処理結果を、入出力インタフェース110を介して、例えばLCD(Liquid Crystal Display)やスピーカ等で構成される出力部106から出力させる。あるいは、通信部108から送信、さらには、ハードディスク105に記録等させる。
本発明の一実施の形態による画像表示装置の内部構成例を示すブロック図である。 本発明の一実施の形態による総電力相当値とPDPの出力輝度値との関係の例を示す特性図である。 本発明の一実施の形態による総電力相当値とPDPの実際の消費電力量との関係の例を示す特性図である。 本発明の一実施の形態による信号レベル制御量とバックライト制御量との決定処理の例を示すフローチャートである。 本発明の一実施の形態による総電力相当値と相当画素値との関係の例を示す特性図である。 本発明の一実施の形態によるレベル制御量算出部による制御量の算出処理の例を示すフローチャートである。 本発明の一実施の形態によるレベル補正処理部による補正処理の例を示すフローチャートである。 パーソナルコンピュータの構成の例を示すブロック図である。 従来のPDPにおける白表示面積比率と表示輝度の関係を示す特性図である。
符号の説明
1…レベル制御量算出部、2…レベル補正処理部、3…パネルドライバ、4…バックライト、5…液晶パネル、11…R入力電力量変換部、11…G入力電力量変換部、11…B入力電力量変換部、12…R積分処理部、12…G積分処理部、12…B積分処理部、13…R演算処理部、13…G演算処理部、13…B演算処理部、14…総和算出部、15…制御量決定部、21…遅延部、22…R補正処理部、22…G補正処理部、22…B補正処理部、E,E1,E2…バックライト制御量、P…総電力相当値、T…許容電力値

Claims (15)

  1. 入力された映像信号の画素値に基づいて、前記映像信号による画像が表示部に表示される場合にかかるエネルギー量に相当する電力相当値を算出し、前記電力相当値が所定の値となるように、前記表示部における表示輝度を制御する制御量を算出する制御量算出部と、
    前記制御量算出部で算出された制御量に基づいて、前記表示輝度を制御する補正処理部とを備えた
    画像表示装置。
  2. 前記所定の値とは、前記入力された映像信号の画素値の大きさに応じて表示輝度に制限をかける処理を行う表示デバイスにおける消費許容電力値である
    請求項1記載の画像表示装置。
  3. 前記電力相当値は、前記入力された映像信号の画素値の大きさに応じて表示輝度に制限をかける処理を行う表示デバイスにおける電気光変換特性に基づいて算出される
    請求項2記載の画像表示装置。
  4. 前記制御量算出部は、R,G,Bの映像信号毎に前記電力相当値を算出し、前記電力相当値に、各R,G,B毎の電気光変換効率に基づいて設定した重み値を乗算して、前記映像信号の信号レベルに対する制御量を決定する
    請求項3記載の画像表示装置。
  5. 前記制御量算出部は、前記電力相当値と前記消費許容電力値とを比較し、前記電力相当値が前記消費許容電力値を超えた場合に前記制御量の算出を行う
    請求項4記載の画像表示装置。
  6. 前記制御量算出部は、前記電力相当値が前記消費許容電力値を超えた場合には、前記消費許容電力値を前記電力相当値で除算した値を用いて前記信号レベルに対する制御量を算出する
    請求項5記載の画像表示装置。
  7. 前記映像信号による画像を表示する表示部を備え、
    前記表示部は、前記画像を表示する各画素が配置された表示パネルと前記表示パネルを照射するバックライトとを含み、
    前記制御量算出部は、前記映像信号の信号レベルに対する制御量とともに、前記バックライトの輝度に対する制御量を算出する
    請求項6記載の画像表示装置。
  8. 前記制御量算出部は、前記映像信号の信号レベルに対する制御量と前記バックライトの輝度に対する制御量を、一方の制御量に応じて他方の制御量が求まるように算出する
    請求項7記載の画像表示装置。
  9. 前記制御量算出部は、前記電力相当値が前記消費許容電力値を超えた場合で、前記消費許容電力値を前記電力相当値で除算した値が、前記バックライトの最大制御レベルより大きい場合には、前記消費許容電力値を前記電力相当値で除算した値を、さらに前記バックライトの制御レベルで除算した値を、前記映像信号の信号レベルの制御量として決定する
    請求項8記載の画像表示装置。
  10. 前記制御量算出部は、Rの映像信号の画素値に基づいて前記電力相当値を算出するR入力電力量変換部と、Gの映像信号の画素値に基づいて前記電力相当値を算出するG入力電力量変換部と、Bの映像信号の画素値に基づいて前記電力相当値を算出するB入力電力量変換部と、前記Rの相当値を所定の期間積分するR積分処理部と、前記Gの相当値を所定の期間積分するG積分処理部と、前記Bの相当値を所定の期間積分するB積分処理部と、前記R積分処理部により積分されたRの積分電力相当値に、Rに対する重み値を乗算するR演算処理部と、前記Bの相当値を所定の期間積分するB積分処理部と、前記R積分処理部により積分されたRの積分電力相当値に、Rに対する重み値を乗算するR演算処理部と、前記G積分処理部により積分されたGの積分電力相当値に、Gに対する重み値を乗算するG演算処理部と、前記B積分処理部により積分されたBの積分電力相当値に、Bに対する重み値を乗算するB演算処理部と、前記Rの積分電力相当値と前記Gの積分電力相当値と前記Bの積分電力相当値とを合算して総電力相当値を算出する総和算出部と、前記総和電力相当値に基づいて制御量を決定する制御量決定部とを備える
    請求項4記載の画像表示装置。
  11. 前記所定の期間とは、1フィールド期間又は1フレーム期間で構成される期間である
    請求項10記載の画像表示装置。
  12. 前記制御量算出部は、前記所定の期間分に相当する遅延量を算出し、
    前記補正処理部は、前記R,G,Bの各映像信号に前記遅延量を付加する遅延部を備える
    請求項11記載の画像表示装置。
  13. 入力された映像信号の画素値に基づいて、前記映像信号による画像が表示部に表示される場合にかかるエネルギー量に相当する電力相当値を算出し、前記電力相当値が所定の値となるように、前記表示部における表示輝度を制御する制御量を算出するステップと、
    前記算出された制御量に基づいて、前記表示輝度を制御するステップとを含む
    画像信号処理方法。
  14. 入力された映像信号の画素値に基づいて、前記映像信号による画像が表示部に表示される場合にかかるエネルギー量に相当する電力相当値を算出し、前記電力相当値が所定の値となるように、前記表示部における表示輝度を制御する制御量を算出するステップと、
    前記算出された制御量に基づいて、前記表示輝度を制御するステップとをコンピュータに実行させるための
    プログラム。
  15. 入力された映像信号の画素値に基づいて、前記映像信号による画像が表示部に表示される場合にかかるエネルギー量に相当する電力相当値を算出し、前記電力相当値が所定の値となるように、前記表示部における表示輝度を制御する制御量を算出するステップと、
    前記算出された制御量に基づいて、前記表示輝度を制御するステップとをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な
    記録媒体。
JP2008158282A 2008-06-17 2008-06-17 画像処理装置、画像信号処理方法、プログラム及び記録媒体 Expired - Fee Related JP4743232B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008158282A JP4743232B2 (ja) 2008-06-17 2008-06-17 画像処理装置、画像信号処理方法、プログラム及び記録媒体
US12/473,716 US8441504B2 (en) 2008-06-17 2009-05-28 Image processing apparatus, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008158282A JP4743232B2 (ja) 2008-06-17 2008-06-17 画像処理装置、画像信号処理方法、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP2009300968A true JP2009300968A (ja) 2009-12-24
JP4743232B2 JP4743232B2 (ja) 2011-08-10

Family

ID=41414398

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008158282A Expired - Fee Related JP4743232B2 (ja) 2008-06-17 2008-06-17 画像処理装置、画像信号処理方法、プログラム及び記録媒体

Country Status (2)

Country Link
US (1) US8441504B2 (ja)
JP (1) JP4743232B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11521535B2 (en) 2016-08-26 2022-12-06 Samsung Electronics Co., Ltd. Display device and driving method therefor

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9478173B2 (en) * 2010-08-30 2016-10-25 Qualcomm Incorporated Adaptive color correction for display with backlight modulation
US10248146B2 (en) * 2015-10-14 2019-04-02 Honeywell International Inc. System for dynamic control with interactive visualization to optimize energy consumption
CN114283725B (zh) * 2021-12-28 2023-09-08 海宁奕斯伟集成电路设计有限公司 信号处理方法、显示装置、时序控制器和源极驱动器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022318A (ja) * 1998-09-18 2001-01-26 Matsushita Electric Ind Co Ltd 画像表示装置
JP2002099250A (ja) * 2000-09-21 2002-04-05 Toshiba Corp 表示装置
JP2006119465A (ja) * 2004-10-22 2006-05-11 Matsushita Toshiba Picture Display Co Ltd 自発光型表示装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08201812A (ja) 1995-01-27 1996-08-09 Sony Tektronix Corp 液晶表示装置
KR100505805B1 (ko) * 1998-09-18 2005-08-03 마츠시타 덴끼 산교 가부시키가이샤 플라즈마 디스플레이 패널 표시 장치
JP3215388B2 (ja) 1999-05-10 2001-10-02 松下電器産業株式会社 画像表示装置および画像表示方法
TWI285871B (en) * 1999-05-10 2007-08-21 Matsushita Electric Ind Co Ltd Image display device and method for displaying image
JP3622834B2 (ja) 1999-11-08 2005-02-23 Kddi株式会社 画像の客観評価用モニタ装置
US7106350B2 (en) * 2000-07-07 2006-09-12 Kabushiki Kaisha Toshiba Display method for liquid crystal display device
JP3724430B2 (ja) * 2002-02-04 2005-12-07 ソニー株式会社 有機el表示装置およびその制御方法
KR20040083188A (ko) * 2003-03-21 2004-10-01 엘지전자 주식회사 비대칭 셀 기반의 평균화상레벨 계산방법 및 장치
KR100680058B1 (ko) * 2003-11-13 2007-02-07 엘지.필립스 엘시디 주식회사 액정표시장치의 구동방법 및 구동장치
KR100525739B1 (ko) * 2003-12-22 2005-11-03 엘지.필립스 엘시디 주식회사 액정표시장치의 구동방법 및 구동장치
KR101030544B1 (ko) * 2003-12-29 2011-04-26 엘지디스플레이 주식회사 액정표시장치의 구동방법 및 구동장치
EP1785975A1 (en) * 2005-11-10 2007-05-16 Deutsche Thomson-Brandt Gmbh Method and apparatus for power control in a display device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022318A (ja) * 1998-09-18 2001-01-26 Matsushita Electric Ind Co Ltd 画像表示装置
JP2002099250A (ja) * 2000-09-21 2002-04-05 Toshiba Corp 表示装置
JP2006119465A (ja) * 2004-10-22 2006-05-11 Matsushita Toshiba Picture Display Co Ltd 自発光型表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11521535B2 (en) 2016-08-26 2022-12-06 Samsung Electronics Co., Ltd. Display device and driving method therefor

Also Published As

Publication number Publication date
JP4743232B2 (ja) 2011-08-10
US20090310022A1 (en) 2009-12-17
US8441504B2 (en) 2013-05-14

Similar Documents

Publication Publication Date Title
JP5374802B2 (ja) 画像表示装置、画像表示方法、画像表示プログラムおよび画像表示プログラムを記録した記録媒体
JP4974663B2 (ja) モバイル用表示デバイスの駆動装置及び駆動方法
JP6543442B2 (ja) 画像処理装置および画像処理方法
US8451299B2 (en) Controller, hold-type display device, electronic apparatus, and signal adjusting method for hold-type display device
JP5270730B2 (ja) 映像表示装置
JP5258396B2 (ja) 液晶表示装置制御回路及び液晶表示システム
JP6136030B2 (ja) 映像表示制御装置
KR20160125555A (ko) 표시 장치 및 표시 장치의 구동 방법
JPWO2009054223A1 (ja) 画像表示装置
JP2010262288A (ja) 光源駆動方法
KR20080081511A (ko) 입력 영상의 히스토그램에 기반한 디스플레이 장치의 전력제어 방법 및 장치 및 디스플레이 장치
KR101073006B1 (ko) 표시장치 및 표시장치의 이미지 밝기조절방법
JP2006319953A (ja) 画像形成装置及び画像形成方法
JP2006284972A (ja) 焼き付き現象補正方法、自発光装置、焼き付き現象補正装置及びプログラム
JP2009002976A (ja) 表示駆動回路
JP2009058566A (ja) 画像表示装置、画像表示方法、画像表示プログラム、および画像表示プログラムを記録した記録媒体
JP4743232B2 (ja) 画像処理装置、画像信号処理方法、プログラム及び記録媒体
JP2007065182A (ja) 表示装置
JP2006293328A (ja) トーンスケール調整および一定ハイパスゲインを用いてディスプレイ輝度を強化する方法およびシステム
JP5565997B2 (ja) 表示装置の電力レベル制御のための方法及び装置
JP2009192853A (ja) 自動調光システム
JP2006308631A (ja) 画像表示装置、画像表示方法、画像表示プログラムおよび画像表示プログラムを記録した記録媒体
JP2006268046A (ja) プラズマディスプレイパネル用駆動装置、その信号処理方法並びにその映像表示装置
CN112435636A (zh) 显示控制方法、装置、设备和存储介质
JP2007133406A (ja) 表示装置における電力制御のための方法及び装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100625

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110425

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees