JP2009187422A - 階調変調装置、画像処理装置、画像処理方法およびプログラム - Google Patents

階調変調装置、画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2009187422A
JP2009187422A JP2008028470A JP2008028470A JP2009187422A JP 2009187422 A JP2009187422 A JP 2009187422A JP 2008028470 A JP2008028470 A JP 2008028470A JP 2008028470 A JP2008028470 A JP 2008028470A JP 2009187422 A JP2009187422 A JP 2009187422A
Authority
JP
Japan
Prior art keywords
filter coefficient
viewing
display device
quantization
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008028470A
Other languages
English (en)
Other versions
JP4506847B2 (ja
Inventor
Naomasa Takahashi
巨成 高橋
Fumitaka Nishio
文孝 西尾
Jun Hirai
純 平井
Makoto Tsukamoto
信 塚本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008028470A priority Critical patent/JP4506847B2/ja
Priority to TW098101375A priority patent/TW200947353A/zh
Priority to EP09152148A priority patent/EP2088555B1/en
Priority to US12/322,822 priority patent/US8373697B2/en
Priority to CN2009100070677A priority patent/CN101505369B/zh
Publication of JP2009187422A publication Critical patent/JP2009187422A/ja
Application granted granted Critical
Publication of JP4506847B2 publication Critical patent/JP4506847B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/045Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial
    • G09G2370/047Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial using display data channel standard [DDC] communication
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • G09G3/2018Display of intermediate tones by time modulation using two or more time intervals
    • G09G3/2022Display of intermediate tones by time modulation using two or more time intervals using sub-frames
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • G09G3/2044Display of intermediate tones using dithering
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • G09G3/2059Display of intermediate tones using error diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

【課題】視聴条件に応じて最適なフィルタ係数を設定することにより、人間の視覚特性に対して十分感度が低い帯域に量子化誤差を変調させる。
【解決手段】階調変調器200は、ΔΣ変調器を構成しており、量子化誤差を高周波領域に変調した出力信号OUT(x、y)を出力するノイズシェーピング効果を有するフィルタである。フィルタ係数保持部270は、視聴条件(画素密度および視聴距離)に応じてそれぞれ対応付けられたフィルタ係数を保持する。視聴条件決定部280は、表示装置30から画面の縦の長さおよび画面の縦方向の画素数を受け取ってそれらに基づいて視聴条件を算出する。フィルタ係数設定部260は、フィルタ係数保持部270に保持されているフィルタ係数のうち、視聴条件決定部280から供給された視聴条件に基づいてフィルタ係数を選択して、そのフィルタ係数を階調変調器200に設定する。
【選択図】図4

Description

本発明は、画像処理装置に関し、特に画像信号の各画素の画素値を量子化する画像処理装置、その量子化における階調変調装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
デジタルカムコーダ、コンピュータグラフィックまたはアニメーションなどのデジタル映像表示においては、素材の持つ階調のビット数と、表示装置のビット数またはHDMI(High-Definition Multimedia Interface)やDVI(Digital Visual Interface)などのデジタル伝送インターフェース上のビット数とは必ずしも一致しない。また、デジタル映像信号を取り扱う機器内の信号処理においても、処理の計算過程と機器内での映像信号データの伝送ビット数とに違いが生じる場合がある。
図20は、表示装置にデジタル画像を表示させるまでの各構成部の処理ビット数とバス上のビット数とを例示するブロック図である。図20には、画像処理部811、画素密度変換部812、カラーモード変換部813、パネル制御部814および表示部815が示されており、画像処理部811に入力された画像信号は、順次処理されて最終的に表示部815で表示される。この場合、各構成部内における処理のビット数と各構成部の間を接続するバスの信号線のビット数とに相違があることがわかる。例えば、パネル制御部814においては、内部の計算は10ビットであるが、入力信号と出力信号は8ビットのRGB信号であり、入出力信号と内部計算とのビット数に違いがある。このよう場合には、階調変換としてビット数の変換が必要となり、一般的には、必要なビット数分だけ単純にビット数をシフトさせるビットシフトや、量子化ステップを等間隔に広げるために変換前のビット数で一旦除算して0から1の間に正規化した上で、必要なビット数分だけ掛けるなどの手法が用いられる。
図21は、ビットシフトによる10ビットから8ビットへの階調変換を示す図である。図21には、10ビット階調表現820およびビットシフト後の8ビット階調表現830が示されている。この場合、左から8ビット(上位8ビット)を右に2ビット移動させる(下位の2ビットを切り捨てる)ことにより、ビット数を10ビットから8ビットに変換している。
しかし、このように下位2ビットを切り捨ててしまうと、滑らかなグラデーションなどの画像や晴れた日の青空のような濃淡の変化が少ない平坦な画像などでは、人間の視覚特性も影響して、バンディング(Banding)やマッハバンドと呼ばれる階段状の段差が見えてしまう場合がある。
このようなビット数の削除に伴い発生する量子化誤差は、画像品質を劣化させる原因となる。この対策としては、ディザ法や誤差拡散法と呼ばれる手法が一般的に用いられ、これらは、バンディングの境目にPDM(Pulse Depth Modulation)調のノイズを付加することにより、階段状の段差を目立たなくさせる手法である。
図22は、10ビットから8ビットへのビットシフトに対しPDM調のノイズを付加した場合の画素値の変化を例示するグラフである。図22(a)乃至(c)では、横軸を画像における水平方向の座標とし、縦軸を各座標における画素値としている。なお、縦軸の画素値のレベルについては、便宜上、0から8までとしている。図22(a)は、10ビットに量子化されたグレースケール画像の画素値を示すグラフである。この図22(a)では、水平方向について、左から右に画素値のレベルが1ずつ徐々に増加している。図22(b)は、図22(a)に示した10ビットのグレースケール画像について、下位2ビットを切り捨てて、8ビットに量子化した画像の画素値の例を示すグラフである。この場合、画素値が階段状に大きく変化する様子がわかる。図22(c)は、図22(b)に示した8ビットにビット数変換された画像について、PDM調のノイズを付加した画像の画素値の変化を例示するグラフである。この場合、パルス的に画素値が増減するノイズが付加され、階段状の段差に近づくにつれてノイズ同士の間隔が狭くなっていることがわかる。このようにパルス的に画素値を変化させ、さらに、そのパルス間隔を変化させることにより、階段状の段差が見えにくくなる。ここで、実際のグレースケール画像を例にしてPDM調のノイズ付加による影響について次図を参照して説明する。
図23は、10ビットから8ビットへのビットシフトに対しPDM調のノイズを付加した場合における画像を例示する図である。図23(a)は、10ビットのグレースケールの画像である。垂直方向に対しては画素値が変わらないが、水平方向に対しては画素値が徐々に変化している。図23(b)は、10ビットのグレースケールの画像について、下位2ビットを切り捨てて、8ビットに変換した画像の例である。この場合、画素値が急峻に変化する様子がはっきりと読み取れる状態になっている。図23(c)および(d)は、図23(b)に示した8ビットに量子化したグレーススケールの画像にPDM調のノイズを付加した画像である。図23(c)および(d)ともに、階段状の段差が目立たなくなっていることがわかる。図23(c)は、ディザ法によるものであり、図23(d)は、誤差拡散法によるものである。このディザ法と誤差拡散法との違いとしては、ディザ法は、人間の視覚特性に関係なくノイズを付加するのに対し、誤差拡散法は、人間の視覚特性を考慮してノイズを付加する点に大きな違いがある。この誤差拡散法に用いられる代表的な2次元フィルタとしては、Jarvis,Judice&Ninkeのフィルタ(以下、Jarvisフィルタと称する。)や、Floyd&Steinbergのフィルタ(以下、Floydフィルタと称する。)が知られている(例えば、非特許文献1参照。)。
ここで、人間の視覚特性を表現するためには、横軸に空間周波数f[単位:cpd(cycle/degree)]、縦軸にコントラスト感度を表すコントラスト感度曲線が用いられる。空間周波数とは、視野角に対する単位角度(視野角1度)あたりで表示できる縞の本数を表す。この空間周波数の最高周波数は、表示装置の画素密度(単位長さあたりの画素数)と視聴距離によって定まる。
図24は、表示装置における空間周波数の最高周波数の算出に関する図である。図24(a)および(b)では、角度θが視野角1度を表しており、視聴距離Dが図24(b)に示すように表示装置と視聴者との間の距離を表している。角度θおよび視聴距離Dから次式の関係式を用いることにより視野角1度に対する表示画面上の幅dが求まる。
tan(θ/2)=(d/2)/D
次に、表示画面上の幅dを、表示画面の画素密度より求められる2画素あたりの長さ(2画素で1組の縞を構成する)で除算することにより、視野角1度あたりの表示画面上の縞の本数である空間周波数の最高周波数を求めることができる。
表示装置として例えば最高周波数が120cpd程度の解像度の高いプリンタを想定すると、図25(a)のようにJarvisフィルタ851およびFloydフィルタ852でも人間の視覚特性840において知覚しにくい周波数帯域に量子化誤差を変調することができる。なお、これらの代表的なフィルタの振幅特性は異なっている。一般に、低域を重視する場合にはJarvisフィルタが用いられ、より高い周波数を扱う場合にはFloydフィルタが用いられる。
しかしながら、表示装置として水平方向1920画素×垂直方向1080画素の高精細ディスプレイを想定すると、視野角に対する単位角度あたりの最高周波数は約30cpdとなり、図25(b)のようにJarvisフィルタ851およびFloydフィルタ852では、人間の視覚特性840に対して十分感度が低い帯域に量子化誤差を変調しきれていないことがわかる。このような事態は、表示装置の画素密度によってサンプリング周波数が決まってしまう一方で、人間の視覚特性は固有の値を有することに起因する。
貴家仁志著,「よくわかるディジタル画像処理」,第6版,CQ出版株式会社,2000年1月,p.196−213
上述の誤差拡散法を用いることで、画像処理装置内の処理またはデジタル伝送に伴う階調変換による量子化誤差を人間の視覚特性で知覚しにくい周波数帯域に変調することができる。しかしながら、誤差拡散法に用いられるフィルタ特性は一意に定められている。そのため、視聴する表示装置の性能や表示装置との間の視聴距離といった視聴条件が変われば、その表示装置における空間周波数の最高周波数も変わることから、一意に定められたフィルタ特性ではその表示装置に適した誤差拡散処理にならない場合がある。また、画像信号を表示するディスプレイ装置に対しては、上述のJarvisフィルタやFloydフィルタでは、量子化誤差を人間の視覚特性に対して十分感度が低い周波数帯域に変調しきれないという問題がある。
そこで、本発明では、視聴条件に応じて最適なフィルタ係数を設定することにより、人間の視覚特性に対して十分感度が低い帯域に量子化誤差を変調させることを目的とする。
本発明は、本発明は、上記課題を解決するためになされたものであり、表示装置の視野角に対する単位角度あたりに表示される縞の本数である空間周波数に応じてそれぞれ対応付けられたフィルタ係数を保持するフィルタ係数保持手段と、上記表示装置との間の視聴距離および上記表示装置の画素密度を視聴条件として決定する視聴条件決定手段と、上記保持されているフィルタ係数のうち上記視聴条件から算出された空間周波数に基づいて選択されたフィルタ係数を設定するフィルタ係数設定手段と、画像信号における所定の座標位置の画素値を量子化して上記所定の座標位置の量子化画素値として出力する量子化手段を含み、当該量子化手段で発生した量子化誤差に対して上記設定されたフィルタ係数を積和演算することにより上記量子化手段の入力側に帰還するようにして上記画像信号を階調変調する階調変調手段とを具備することを特徴とする画像処理装置である。これにより、視聴条件に応じて最適なフィルタ係数を設定することによって人間の視覚特性に対して十分感度が低い帯域に量子化誤差を変調させるという作用をもたらす。
また、この第1の側面において、上記視聴条件決定手段は、上記表示装置から当該表示装置の画素数および画面サイズを受け取ってこれらに基づいて上記視聴条件を決定するようにしてもよい。これにより、表示装置から画素数および画面サイズを受け取ってこれらに基づいて視聴条件を算出させるという作用をもたらす。
また、この第1の側面において、上記視聴条件決定手段は、上記表示装置から上記画素密度および上記表示装置の画面サイズを受け取ってこれらに基づいて上記視聴条件を決定するようにしてもよい。これにより、表示装置から画素密度および画面サイズを受け取ってこれらに基づいて視聴条件を算出させるという作用をもたらす。
また、この第1の側面において、上記フィルタ係数は、所定の空間周波数よりも低域成分の上記量子化誤差を減少させるように設定されるようにしてもよい。これにより、所定の空間周波数よりも低域成分の量子化雑音を減少させるという作用をもたらす。
この場合において、上記所定の空間周波数は、上記空間周波数における最高周波数の略3分の2となるようにしてもよい。これにより、空間周波数における最高周波数の略3分の2よりも低域成分の量子化雑音を減少させるという作用をもたらす。
また、この第1の側面において、上記階調変調手段は、上記所定の座標位置の上記量子化画素値を逆量子化して上記所定の座標位置の逆量子化画素値として出力する逆量子化手段と、上記所定の座標位置の上記量子化画素値と上記所定の座標位置の上記逆量子化画素値との差分値を上記所定の座標位置の量子化誤差として生成する差分生成手段と、上記所定の座標位置に対応する所定の領域内の上記量子化誤差のそれぞれに上記設定されたフィルタ係数を乗じて加算した値を上記所定の座標位置のフィードバック値として算出する演算手段と、上記所定の座標位置の上記修正画素値に上記所定の座標位置のフィードバック値を加算する加算手段とをさらに含むようにしてもよい。これにより、視聴条件に応じて最適なフィルタ係数を設定することによって人間の視覚特性に対して十分感度が低い帯域に量子化誤差を変調させるという作用をもたらす。
また、本発明の第2の側面において、表示装置と、当該表示装置の視野角に対する単位角度あたりに表示される縞の本数である空間周波数に応じてそれぞれ対応付けられたフィルタ係数を保持するフィルタ係数保持手段と、画像信号における所定の座標位置の画素値を量子化して上記所定の座標位置の量子化画素値として出力する量子化手段を含み、当該量子化手段で発生した量子化誤差に対して設定されたフィルタ係数を積和演算することにより上記量子化手段の入力側に帰還するようにして上記画像信号を階調変調する階調変調手段とを備える画像処理装置において、上記表示装置との間の視聴距離および上記表示装置の画素密度を視聴条件として決定する視聴条件決定手順と、上記フィルタ係数保持手段に保持されているフィルタ係数のうち上記視聴条件から算出された空間周波数に基づいて選択されたフィルタ係数を上記階調変調手段に設定するフィルタ係数設定手順とを具備することを特徴とする画像処理装置のフィルタ係数設定処理方法またはこれら手順をコンピュータに実行させることを特徴とするプログラムである。これにより、視聴条件に応じて最適なフィルタ係数を階調変調手段に設定させるという作用をもたらす。
本発明によれば、視聴条件に応じて最適なフィルタ係数を設定することにより、人間の視覚特性に対して十分感度が低い帯域に量子化誤差を変調させることができるという優れた効果を奏し得る。
次に本発明の実施の形態について図面を参照して詳細に説明する。
図1は、本発明の実施の形態における再生表示システムの一構成例を示す図である。この再生表示システムは、記録媒体に記録されたデータ信号やデジタル放送された放送信号を再生する再生装置10と、その再生された信号を表示する表示装置30とを備えている。これら再生装置10および表示装置30は、デジタル伝送信号線50により接続されている。再生装置10において信号処理された画像信号および音声信号は、デジタル伝送信号線50を介して表示装置30に伝送されて表示装置30の表示画面に表示される。
図2は、本発明の実施の形態における再生装置10の一構成例を示す図である。
再生装置10は、チューナ11と、デコーダ12と、プロセッサ15と、ROM(Read-Only Memory)16と、RAM(Random Access Memory)17と、デジタル伝送インターフェース(I/F)18と、ネットワークインターフェース(I/F)19と、記録制御部21と、記録媒体22と、操作受付部23と、バス24とを備える。この再生装置10は、デジタル伝送インターフェース18を介して信号処理を施した画像信号および音声信号を表示装置30に送信する。
チューナ11は、デジタル放送の電波を受信して、操作受付部23により指示されたチャンネルの変調波を復調するものである。このチューナ11は、復調した画像データおよび音声データをデコーダ12に供給する。
デコーダ12は、チューナ11により復調された画像データおよび音声データを復号するものである。このデコーダ12は、復号した画像信号および音声信号をプロセッサ15に供給する。
ROM16は、各種制御プログラム等を記憶するメモリである。RAM17は、プロセッサ15の作業領域を保持するメモリである。
デジタル伝送インターフェース18は、デジタル伝送信号線50に接続された表示装置30との間のデータ通信を行うものである。このデジタル伝送インターフェース18は、例えば、HDMI(High-Definition Multimedia Interface)やDVI(Digital Visual Interface)などのデジタル伝送インターフェースにより実現することができる。また、このデジタル伝送インターフェース18は、プロセッサ15により処理された画像信号および音声信号を表示装置30に送信する。具体的には、デジタル伝送インターフェース18は、視聴条件に関する画面情報を表示装置30から取得してプロセッサ15に供給する。ここにいう、視聴条件とは、表示装置30との間の視聴距離および表示装置30の画素密度のことであり、図24に示したように表示装置30における空間周波数の最高周波数を算出するためのパラメータとなる。また、視聴条件に関する画面情報とは、その視聴条件を求めるために必要となるパラメータである。本発明の実施の形態では、画素密度の算出のため、デジタル伝送インターフェース18は、画面情報として画面の縦の長さおよび画面の縦方向の画素数をそれぞれ表示装置30から取得する。また、視聴距離については、一般に16:9の表示画面においては、画面の縦の長さの2.5から3.0倍が最適な視聴距離とされていることから、画面の縦の長さを2.5倍または3.0倍にしたものを視聴距離とする。そのため、視長距離は、画面情報に含まれる画面の縦の長さを用いて求めることができる。
なお、ここでは一例として、視聴条件の1つである画素密度を画面の縦の長さおよび画面の縦方向の画素数から算出することにしているが、画面の横幅および画面の横方向の画素数から算出するようにしてもよい。また、もう一方の視聴条件である視聴距離については、画面の縦の長さに基づいて算出することにしているが、画面の縦の長さの代わりに画面の横幅を用いて算出するようにしてもよい。この場合には、例えば、次式に示す16:9の表示画面における画面の横幅と視聴距離との関係式を用いて算出することができる。
画面の横幅=視聴距離×0.650
ネットワークインターフェース19は、インターネットまたはLAN(Local Area Network)などに接続された外部装置とデータ通信を行うものである。
記録制御部21は、プロセッサ15の制御に基づいて記録媒体22に画像データを所定のフォーマットで記録し、または、記録媒体22に記録された画像データを読み出すものである。
記録媒体22は、映像データを保持するものである。この記録媒体22は、例えば、ハードディスクドライバやブルーレイディスクなどである。
操作受付部23は、再生装置10の使用者からのテレビチャンネル選択または記録媒体22に保持されている画像データの再生および停止等の操作入力を受け付けるものである。
プロセッサ15は、ROM16に記憶されている制御プログラムに基づいて再生装置10の各構成部を制御するものである。例えば、プロセッサ15は、デジタル伝送インターフェース18から供給された画面情報(画面の縦の長さおよび画面の縦方向の画素数)から視聴条件(画素密度および視聴距離)を算出し、図24に示したように視聴条件から表示装置30における空間周波数の最高周波数を求める。そして、プロセッサ15は、その空間周波数に基づいて、記録制御部21またはデコーダ12から供給された画像信号に対して量子化誤差(量子化ノイズ)を高周波領域に変調する階調変調を施し、デジタル伝送インターフェース18を介して表示装置30に送信するように制御する。
バス24は、プロセッサ15と各構成部とを相互に接続する再生装置10のシステムバスである。
なお、ここでは、視聴条件の1つである画素密度を、表示装置30から取得された画面の縦の長さおよび画面の縦方向の画素数から算出し、もう一方の視聴条件である視聴距離を、画面の縦の長さに基づいて算出することにしているが、表示装置30から画素密度および画面の縦の長さを取得して、視聴距離のみ画面の縦の長さから算出するようにしてもよい。さらに、視聴距離を画面の縦の長さに基づいて算出することにしているが、例えば、表示装置30において、UWB(Ultra Wide Band)などの技術を用いて表示装置30のリモコンと表示装置30の表示画面との間の距離を測定して、それを視聴距離として再生装置10に送信させるようにしてもよい。また、視聴条件の算出のためにデジタル伝送インターフェース18を介して表示装置30の画面情報を取得することにしているが、操作受付部23にて視聴条件(画素密度および視聴距離)を直接設定するようにしてもよい。
図3は、本発明の実施の形態における表示装置30の一構成例を示す図である。
表示装置30は、チューナ31と、デコーダ32と、表示制御部33と、表示部34と、プロセッサ35と、ROM36と、RAM37と、デジタル伝送インターフェース(I/F)38と、ネットワークインターフェース(I/F)39と、操作受付部43と、バス44とを備える。この表示装置30は、デジタル伝送インターフェース38を介して再生装置10により画像処理を施された画像信号を受信して表示画面に表示させる。なお、表示制御部33、表示部34、プロセッサ35およびデジタル伝送インターフェース38以外の他の構成機能は、上述の再生装置10のものと同様であるため、ここでの説明を省略する。
表示制御部33は、プロセッサ35の制御に基づいて画像信号を表示部34に表示させるものである。
表示部34は、表示制御部33の制御に基づいて画像信号を表示するものである。
デジタル伝送インターフェース38は、デジタル伝送信号線50に接続された再生装置10との間のデータ通信を行うものである。具体的には、デジタル伝送インターフェース38は、プロセッサ35の制御に基づいて上述の画面情報(画面の縦の長さおよび画面の縦方向の画素数)を再生装置10に送信する。また、このデジタル伝送インターフェース38は、再生装置10により処理された画像信号および音声信号を受信する。
プロセッサ35は、ROM36に記憶されている制御プログラムに基づいて表示装置30の各構成部を制御するものである。具体的には、例えば、プロセッサ35は、デジタル伝送インターフェース38を介して表示装置30の画面情報を再生装置10に送信させるように制御する。また、プロセッサ35は、デジタル伝送インターフェース38またはデコーダ32から供給された画像信号を表示部34に表示させるように制御する。
図4は、本発明の実施の形態における再生装置10の機能構成例を示す図である。この再生装置10は、階調変調器200と、フィルタ係数設定部260と、フィルタ係数保持部270と視聴条件決定部280とを備える。
階調変調器200は、信号線201から2次元画像信号を入力信号IN(x,y)として入力して、信号線209から出力信号OUT(x,y)を出力するものである。また、この階調変調器200は、ΔΣ変調器を構成しており、量子化誤差を高周波領域に変調するノイズシェーピング効果を有する。
量子化部210は、加算器250の出力を量子化する量子化器である。この量子化部210は、例えば加算器250から12ビット幅のデータが入力された場合、下位4ビットを切り捨てて、上位8ビットを出力信号OUT(x,y)として出力する。
逆量子化部220は、量子化部210によって量子化された出力信号OUT(x,y)を逆量子化する逆量子化器である。この逆量子化部220は、例えば量子化された出力信号OUT(x,y)が8ビット幅である場合、下位4ビットに「0000」を埋め込んで(padding)、12ビット幅データを出力する。
減算器230は、加算器250の出力と逆量子化部220の出力との差分を算出する減算器である。この減算器230は、加算器250の出力から逆量子化部220の出力を減算することにより、量子化部210において切り捨てられた量子化誤差Q(x,y)を信号線239に出力する。
フィードバック演算部240は、減算器230から出力された過去の量子化誤差Q(x,y)に対して、フィルタ係数設定部260により設定されたフィルタ係数を乗じてそれらを加算するものである。このフィードバック演算部240による積和演算によって算出された値は、フィードバック値として加算器250に供給される。
加算器250は、階調変調器200に入力された修正信号F(x,y)に対して、フィードバック演算部240によって算出されたフィードバック値をフィードバックするための加算器である。この加算器250は、階調変調器200に入力された修正信号F(x,y)と、フィードバック演算部240によって算出されたフィードバック値とを加算して、その結果を量子化部210および減算器230に出力する。
この画像処理装置において、階調変調器200は、以下のような入出力関係を有する。
OUT(x,y)=F(x,y)+(1−G)×Q(x,y)
すなわち、量子化誤差Q(x,y)は、「1−G」のノイズシェーピングにより、高域に変調されることがわかる。
フィルタ係数設定部260は、視聴条件決定部280から供給された視聴条件に基づいて、視聴条件から定まる空間周波数に対応付けられたフィルタ係数をフィルタ係数保持部270から選択するものである。そして、このフィルタ係数設定部260は、選択したフィルタ係数をフィードバック演算部240に設定する。このフィルタ係数設定部260は、プロセッサ15により実現することができる。
フィルタ係数保持部270は、空間周波数に応じてそれぞれ対応付けられたフィルタ係数を保持するものである。このフィルタ係数保持部270は、ROM16により実現することができる。
視聴条件決定部280は、表示装置30から画面情報を受け取って視聴条件を算出するものである。なお、画面情報を受け取ることができない場合には、予め定められた値を用いて視聴条件を算出してもよい。この視聴条件決定部280は、算出した視聴条件をフィルタ係数設定部260に供給する。この視聴条件決定部280は、デジタル伝送インターフェース18およびプロセッサ15によって実現することができる。
図5は、本発明の実施の形態における画像信号の各画素の処理順序を示す図である。ここでは、画像信号の各画素の配置として、左上を基準座標(0,0)として、横軸に水平方向X、縦軸に垂直方向Yをそれぞれ示している。
本発明の実施の形態における画像処理は、同図の矢印のように、左から右、上から下へ順次ラスタスキャンするように行われる。すなわち、入力信号については、IN(0,0)、IN(1,0)、IN(2,0)、・・・、IN(0,1)、IN(1,1)、IN(2,1)、・・・の順に入力される。
また、フィードバック演算部240では、他の画素を参照する際の所定の領域として、このラスタスキャンの順序が考慮される。例えば、フィードバック演算部240において修正信号F(x,y)に対応するフィードバック値を算出する際には、点線で囲まれた領域の12個の量子化誤差Q(x−2,y−2)、Q(x−1,y−2)、Q(x,y−2)、Q(x+1,y−2)、Q(x+2,y−2)、Q(x−2,y−1)、Q(x−1,y−1)、Q(x,y−1)、Q(x+1,y−1)、Q(x+2,y−1)、Q(x−2,y)およびQ(x−1,y)、すなわち過去の量子化誤差が参照される。
なお、輝度信号Y、色差信号CbおよびCr等からなるカラー画像信号の場合、各信号に対して階調変換処理が行われる。すなわち、輝度信号Yは単独で階調変換処理が行われ、色差信号CbおよびCrについても単独で階調変換処理が行われる。
図6は、本発明の実施の形態におけるフィードバック演算部240の一構成例を示す図である。このフィードバック演算部240は、量子化誤差供給部241と、乗算器2461乃至2472と、加算器248とを備えている。
量子化誤差供給部241は、量子化誤差Q(x,y)の過去の値を供給するものである。この例では、12個の量子化誤差Q(x−2,y−2)、Q(x−1,y−2)、Q(x,y−2)、Q(x+1,y−2)、Q(x+2,y−2)、Q(x−2,y−1)、Q(x−1,y−1)、Q(x,y−1)、Q(x+1,y−1)、Q(x+2,y−1)、Q(x−2,y)およびQ(x−1,y)が供給されることを想定する。
乗算器2461乃至2472は、量子化誤差供給部241から供給される量子化誤差Qと、フィルタ係数gとの乗算を行う乗算器である。この例では、12個のフィルタ係数を想定し、乗算器2461は量子化誤差Q(x−2,y−2)とフィルタ係数g(1,1)の乗算を、乗算器2462は量子化誤差Q(x−1,y−2)とフィルタ係数g(2,1)の乗算を、乗算器2463は量子化誤差Q(x,y−2)とフィルタ係数g(3,1)の乗算を、乗算器2464は量子化誤差Q(x+1,y−2)とフィルタ係数g(4,1)の乗算を、乗算器2465は量子化誤差Q(x+2,y−2)とフィルタ係数g(5,1)の乗算を、乗算器2466は量子化誤差Q(x−2,y−1)とフィルタ係数g(1,2)の乗算を、乗算器2467は量子化誤差Q(x−1,y−1)とフィルタ係数g(2,2)の乗算を、乗算器2468は量子化誤差Q(x,y−1)とフィルタ係数g(3,2)の乗算を、乗算器2469は量子化誤差Q(x+1,y−1)とフィルタ係数g(4,2)の乗算を、乗算器2470は量子化誤差Q(x+2,y−1)とフィルタ係数g(5,2)の乗算を、乗算器2471は量子化誤差Q(x−2,y)とフィルタ係数g(1,3)の乗算を、乗算器2472は量子化誤差Q(x−1,y)とフィルタ係数g(2,3)の乗算を、それぞれ行う。
加算器248は、乗算器2461乃至2472の出力を加算する加算器である。この加算器248による加算結果は、信号線249を介して加算器250の一方の入力にフィードバック値として供給される。
図7は、本発明の実施の形態における量子化誤差供給部241の一構成例を示す図である。この量子化誤差供給部241は、メモリ2411と、ライト部2414と、リード部2415および2416と、遅延素子2421乃至2432とを備える。
メモリ2411は、ラインメモリ#0(2412)および#1(2413)を備える。ラインメモリ#0(2412)は、垂直方向Y=(y−2)のラインの量子化誤差Qを保持するメモリである。ラインメモリ#1(2413)は、垂直方向Y=(y−1)のラインの量子化誤差Qを保持するメモリである。
ライト部2414は、メモリ2411に量子化誤差Q(x,y)を書き込むものである。リード部2415は、ラインメモリ#0(2412)から垂直方向Y=(y−2)のラインの量子化誤差Qを1つずつ読み出すものである。リード部2415の出力である量子化誤差Q(x+2,y−2)は、遅延素子2424に入力されるとともに、信号線2445を介して乗算器2465の一方の入力として供給される。また、リード部2416は、ラインメモリ#1(2413)から垂直方向Y=(y−1)のラインの量子化誤差Qを1つずつ読み出すものである。リード部2416の出力である量子化誤差Q(x+2,y−1)は、遅延素子2429に入力されるとともに、信号線2450を介して乗算器2470の一方の入力として供給される。
遅延素子2421乃至2424は、リード部2415の出力を遅延させるシフトレジスタを構成する。すなわち、遅延素子2424の出力である量子化誤差Q(x+1,y−2)は、遅延素子2423に入力されるとともに、信号線2444を介して乗算器2464の一方の入力として供給される。また、遅延素子2423の出力である量子化誤差Q(x,y−2)は、遅延素子2422に入力されるとともに、信号線2443を介して乗算器2463の一方の入力として供給される。また、遅延素子2422の出力である量子化誤差Q(x−1,y−2)は、遅延素子2421に入力されるとともに、信号線2442を介して乗算器2462の一方の入力として供給される。また、遅延素子2421の出力である量子化誤差Q(x−2,y−2)は、信号線2441を介して乗算器2461の一方の入力として供給される。
遅延素子2426乃至2429は、リード部2416の出力を遅延させるシフトレジスタを構成する。すなわち、遅延素子2429の出力である量子化誤差Q(x+1,y−1)は、遅延素子2428に入力されるとともに、信号線2449を介して乗算器2469の一方の入力として供給される。また、遅延素子2428の出力である量子化誤差Q(x,y−1)は、遅延素子2427に入力されるとともに、信号線2448を介して乗算器2468の一方の入力として供給される。また、遅延素子2427の出力である量子化誤差Q(x−1,y−1)は、遅延素子2426に入力されるとともに、信号線2447を介して乗算器2467の一方の入力として供給される。また、遅延素子2426の出力である量子化誤差Q(x−2,y−1)は、信号線2446を介して乗算器2466の一方の入力として供給される。
遅延素子2431および2432は、量子化誤差Q(x,y)を遅延させるシフトレジスタを構成する。すなわち、遅延素子2432の出力である量子化誤差Q(x−1,y)は、遅延素子2431に入力されるとともに、信号線2452を介して乗算器2472の一方の入力として供給される。また、遅延素子2431の出力である量子化誤差Q(x−2,y)は、信号線2451を介して比較器2471の一方の入力として供給される。
信号線239の量子化誤差Q(x,y)は、ラインメモリ#0(2412)のアドレスxに格納される。ラスタスキャンの順番で1ライン分の処理が終了すると、ラインメモリ#0(2412)とラインメモリ#1(2413)を交換することにより、ラインメモリ#0(2412)に格納される量子化誤差は垂直方向Y=(y−2)のラインに対応し、ラインメモリ#1(2413)に格納される量子化誤差は垂直方向Y=(y−1)のラインに対応するようになる。
図8は、空間周波数の最高周波数を30cpdとした場合の人間の視覚特性およびフィルタの振幅特性を示す図である。横軸は空間周波数f[cpd]を表しており、人間の視覚特性840については縦軸がコントラスト感度を表し、フィルタの振幅特性(851、852および860)については縦軸がフィルタのゲインを表している。
人間の視覚特性840は、空間周波数fが7cpd付近でピーク値となり、60cpd付近まで減衰していく。これに対し、本発明の実施の形態における再生装置による振幅特性860は、空間周波数fが12cpd付近までマイナス方向に減衰し、その後急峻に立ち上がる曲線となっている。すなわち、振幅特性860は空間周波数の最高周波数の略3分の2までの低域成分の量子化誤差を減少させるようになっており、人間の視覚特性840に対して十分感度が低い帯域に量子化誤差を変調している。
なお、従来のJarvisフィルタ851およびFloydフィルタ852では、人間の視覚特性840に対して十分感度が低い帯域に量子化誤差を変調しきれていないことがわかる。
図9は、本発明の実施の形態におけるデジタル伝送インターフェース18による画面情報取得についての概念構成例を示す図である。ここでは一例として、HDMI規格によるインターフェースを例にして示す。HDMI規格では、基本となる高速伝送ラインによる伝送方向を一方向に定めており、送信側の機器をソース機器、受信側の機器をシンク機器と呼んでいる。上述の図1の例では、再生装置10がソース機器に該当し、表示装置30がシンク機器に該当する。この例では、ソース機器310およびシンク機器320がHDMIケーブル330により接続されている。そして、ソース機器310には送信動作を行うトランスミッタ311が含まれ、シンク機器320には受信動作を行うレシーバ321が含まれている。なお、トランスミッタ311がデジタル伝送インターフェース18に、レシーバ321がデジタル伝送インターフェース38に対応する。
トランスミッタ311とレシーバ321との間の伝送には、TMDSシリアル伝送方式が用いられる。HDMI規格では、画像信号および音声信号は3つのTMDSチャンネル331乃至333を用いて伝送される。すなわち、ある垂直同期信号から次の垂直同期信号までの区間の内、水平帰線区間および垂直帰線区間を除いた区間である有効画像区間において、非圧縮の1画面分の画像の画素データに対応する差動信号が、TMDSチャンネル331乃至333により、シンク機器320に向けて一方向に送信される。また、水平帰線区間または垂直帰線区間においては、音声データ、制御データまたはその他の補助データ等に対応する差動信号が、TMDSチャンネル331乃至333により、シンク機器320に向けて一方向に送信される。
また、HDMI規格では、クロック信号がTMDSクロックチャンネル334により伝送される。TMDSチャンネル331乃至333の各々では、TMDSクロックチャンネル334により伝送される1クロックの間に、10ビット分の画素データを送信することができる。
また、HDMI規格では、ディスプレイデータチャンネル(DDC:Display Data Channel)335が設けられる。このディスプレイデータチャンネル335、シンク機器320におけるEDID(Extended Display Identification Data)情報をソース機器が読み出すために用いられる。EDID情報とは、シンク機器320がディスプレイ装置である場合に、その機種、画面サイズおよびタイミングなどの設定や性能に関する情報を示すものである。このEDID情報は、シンク機器320のEDID ROM322に保持される。
さらに、HDMI規格では、CEC(Consumer Electronics Control)ライン336が設けられる。CECライン336は、機器制御信号の双方向通信を行うためのラインである。ディスプレイデータチャンネル335が機器間を1対1に接続するのに対して、このCECライン336はHDMIに接続される全機器を直接接続する。
図10は、EDID情報の保持形式400を示す模式図である。EDID情報の保持形式400には、製造会社/製品(Vender / Product Identification)410、基本表示画面パラメータ(Basic Display Parameters)420および基準タイミング(Standard Timing Identification)430などの項目が含まれている。そして、製造会社/製品410には、製造会社名(ID Manufacturer Name)411、製造コード(ID Product Code)412およびシリアル番号(ID Serial Number)413の情報が含まれている。基本表示画面パラメータ420には、横幅(Max. Horizontal Image Size)421および縦の長さ(Max. Vertical Image Size)422などの情報が含まれている。標準タイミング430には、横方向の画素数431、縦方向の画素数432および走査周波数433などの情報が含まれている。
以上から、本発明の実施の形態では、視聴条件決定部280は、ディスプレイデータチャンネル335を介して、EDID情報のうち、縦の長さ422および縦方向の画素数432を画面情報として受け取る。そして、視聴条件決定部280は、視聴条件として縦の長さ422から視聴距離を、縦の長さ422および縦方向の画素数432から画素密度を算出する。また、視聴条件決定部280は、ディスプレイデータチャンネル335を介して画面情報を取得するが、EDID ROM322に縦の長さ422および縦方向の画素数432が保持されていない場合には、視聴条件決定部280は、CECライン336を介して画面情報を取得する。それでも、これらの画面情報の一方または両方が取得できない場合には、視聴条件決定部280は、予め定められた値を用いて視聴条件を算出する。
図11は、本発明の実施の形態におけるフィルタ係数保持部270の保持形式例を示す図である。図11(a)は、40インチの16:9の表示画面における視聴条件(画素密度および視聴距離)に対応する空間周波数を示す対応表である。図11(b)は、図11(a)の対応表から定められた空間周波数に対応するフィルタ係数を示す対応表である。図11(a)には、画素密度511乃至513と視聴距離521および522との関係から求められる空間周波数が格納されている。なお、画面の縦の長さをVで表しており、画素密度511乃至513は、画面の縦の長さVを画面の縦方向の画素数で除算することにより求まる。例えば、画素密度511は、表示装置30の画素数が1920×1080(横×縦)であることから、V/1080で表している。また、視聴距離521および522は、画面の縦の長さVをそれぞれ2.5倍および3.0倍にしたものであり、それぞれ2.5Vおよび3Vで表している。図11(b)には、図11(a)の対応表から定められた空間周波数531乃至533に対応するフィルタ係数Gが格納されている。
上述のように、フィルタ係数保持部270は、図11(a)に示す視聴条件と空間周波数との対応表および図11(b)に示す空間周波数とフィルタ係数との対応表を保持する構成となっている。これにより、フィルタ係数設定部260は、視聴条件決定部280から供給された視聴条件からフィルタ係数保持部270に保持されているフィルタ係数を取得してフィードバック演算部240に設定する。ここでは一例として、フィルタ係数保持部270では、視聴条件から空間周波数を特定した上で、その空間周波数に対応するフィルタ係数を取得する構成としたが、視聴条件から直接フィルタ係数を取得するような構成としてもよい。具体的なフィルタ係数の保持形式としては次図を参照して説明する。
図12は、本発明の実施の形態におけるフィルタ係数保持部270の保持形式の変形例を示す図である。図12には、40インチの16:9の表示画面における画素密度541乃至543と視聴距離551および552との関係から求められる空間周波数の代わりに、その空間周波数に対応するフィルタ係数Gが直接格納されている。なお、画素密度541乃至543と視聴距離551および552の項目については図11(a)と同様であるため、ここでの説明を省略する。
このように、フィルタ係数保持部270は、図12に示すような対応表を保持する構成としてもよい。ただし、このような構成では、空間周波数が同一となる視聴条件が複数存在する場合には、同一のフィルタ係数を重複して保持することになる。
図13は、本発明の実施の形態による画像処理方法の処理手順例を示すフローチャートである。本発明の実施の形態では、最初に、視聴条件決定部280から供給された視聴条件に基づいてフィルタ係数設定処理を行う(ステップS910)。次に、図5により説明したように、画像信号の左から右、上から下の方向に各画素について処理を行う(ステップS932)。次に、階調変調器200による階調変調処理を行う(ステップS950)。この処理は1画素ずつ行われ、画像信号の最後の画素の処理が終わると、その画像信号に関する処理は終了する(ステップS934)。
図14は、本発明の実施の形態によるフィルタ係数設定処理(ステップS910)の処理手順例を示すフローチャートである。デジタル伝送インターフェース18を介して表示装置30との間の通信が確立され、ディスプレイデータチャンネル335にて表示装置30のEDID情報を取得することができたか否かが判断される(ステップS911)。そして、EDID情報が取得されるまでステップS911の処理を繰り返す。一方、EDID情報が取得できた場合には、画面の縦の長さを示す情報を取得することができたか否かが判断され(ステップS912)、取得できない場合には、CECライン336の通信を確立させ、CECライン336にて画面の縦の長さを示す情報を取得することができたか否かが判断される(ステップS913)。CECライン336でも取得できない場合には、視聴条件決定部280により、画面の縦の長さのデフォルト値を用いて(ステップS914)視聴距離が算出される(ステップS915)。一方、ステップS912またはS913で、画面の縦の長さを示す情報が取得できた場合には、視聴条件決定部280により、その画面の縦の長さを示す情報を用いて視聴距離が算出される。
次に、画面の縦方向の画素数を示す情報を取得することができたか否かが判断され(ステップS916)、取得できない場合には、CECライン336の通信を確立させ、CECライン336にて画面の縦方向の画素数を示す情報を取得することができたか否かが判断される(ステップS917)。CECライン336でも取得できない場合には、視聴条件決定部280により、画面の縦方向の画素数のデフォルト値(ステップS918)およびステップS915で用いられた画面の縦の長さを示す情報から画素密度が算出される(ステップS919)。一方、ステップS916またはS917で、画面の縦の長さを示す情報が取得できた場合には、視聴条件決定部280により、その画面の縦の長さを示す情報およびステップS915で用いられた画面の縦の長さを示す情報から画素密度が算出される(ステップS919)。
次に、フィルタ係数設定部260により、フィルタ係数保持部270に保持されているフィルタ係数のうち、算出された視聴距離および画素密度に対応するフィルタ係数が取得される(ステップS921)。このようにして取得されたフィルタ係数が、フィルタ係数設定部260により、フィードバック演算部240に設定される(ステップS922)。
図15は、本発明の実施の形態による階調変調処理(ステップS950)の処理手順例を示すフローチャートである。加算器250の出力が量子化部210によって量子化され(ステップS951)、出力信号OUT(x、y)として出力される。そして、この量子化された出力信号OUT(x、y)は逆量子化部220によって逆量子化される(ステップS952)。
量子化部210による量子化前の信号と逆量子化部220によって逆量子化された信号との差分を、減算器230によって求めることによって、量子化誤差Q(x、y)が算出される(ステップS953)。
このようにして算出された量子化誤差Q(x、y)は蓄積され、図6により説明したように、フィードバック演算部240においてフィードバック値の演算に用いられる(ステップS954)。このようにして演算されたフィードバック値は、加算器250にフィードバックされる(ステップS955)。
次に、本発明の実施の形態の第1の変形例について図面を参照して説明する。図2では、デジタル伝送インターフェース18を介して視聴条件に関する画面情報を取得する例について説明したが、ここでは、ネットワークインターフェース19を介して画面情報を取得する例を示す。
図16は、本発明の実施の形態の第1の変形例としてコンテンツ提供システムの一構成例を示す図である。ここでは、コンテンツ視聴装置750が外部ネットワークを通じてコンテンツ提供装置700にアクセスしてコンテンツを視聴することを想定している。コンテンツ提供装置700は、管理サーバー710と、コンテンツサーバー731乃至734と、通信部741とを備える。また、コンテンツ視聴装置750は、通信部742と、表示機器760とを備える。
管理サーバー710は、コンテンツサーバー731乃至734を一元管理するものである。この管理サーバー710は、コンテンツ視聴装置750からの要求に応じてコンテンツサーバー731乃至734からコンテンツデータを取得して、コンテンツ視聴装置750に送信する。具体的には、管理サーバー710は、表示機器760から視聴条件に関する画面情報を取得し、図4で説明したように、画面情報から求めた視聴条件に基づいて選択されたフィルタ係数を階調変調器200に設定して階調変調処理を行う。そして、この管理サーバー710は、その他の所定の画像処理を施した画像信号をコンテンツ視聴装置750に送信する。
コンテンツサーバー731乃至734は、コンテンツデータを保持しているものであり、管理サーバー710の要求に応じて保持しているコンテンツデータを管理サーバー710に供給する。
通信部741および742は、インターネットなどのネットワークを介してコンテンツ視聴装置750とコンテンツ提供装置700との間の通信を行うものである。
表示機器760は、コンテンツ提供装置700から送信された画像信号を表示画面に表示するものである。
図17は、本発明の実施の形態の第1の変形例によるフィルタ係数設定処理の処理手順例を示すフローチャートである。なお、ステップS961およびS962以外の処理は、図14と同様の処理であるため、ここでの説明を省略する。また、この場合、ネットワークインターフェースを介した画面情報の取得の処理手順であるため、CECライン336による処理(ステップS913およびS917)が除かれている。ネットワークインターフェースを介して表示機器760との間の通信が確立できたか否かが判断され、確立できた場合には(ステップS961)、ステップS912に進む。
その後、ステップS922において、取得されたフィルタ係数をフィードバック演算部240に設定した後、階調変調処理を行い、その他所定の画像処理を施された画像信号が表示機器760に送信される(ステップS962)。
以上により、管理サーバー710は、インターネットなどのネットワークに接続された表示機器760に対して、表示機器760からの視聴条件に関する画面情報に基づいて階調変調処理を行った画像信号を表示機器760に送信することができる。
次に、本発明の実施の形態の第2の変形例について図面を参照して説明する。図16では、ネットワークインターフェースを介して視聴条件に関する画面情報を取得する例について述べたが、画面情報を取得できないことを想定して、表示機器の製造番号から画面情報を取得する例について示す。
図18は、本発明の実施の形態の第2の変形例としてコンテンツ提供システムの一構成例を示す図である。コンテンツ提供装置700は、図16のコンテンツ提供装置700に機器情報保持部720を加えた構成であり、管理サーバー710および機器情報保持部720以外の機能構成については図16と同様であるため、ここでの説明を省略する。
機器情報保持部720は、表示機器の製造番号と視聴条件に関する画面情報とを関連付けて保持するものである。
管理サーバー710は、表示機器760から視聴条件に関する画面情報の一方または両方を取得できない場合には、表示機器760から製造番号を受け取って、機器情報保持部720からその製造番号に対応する画面情報を取得するものである。なお、これ以外の機能については、図16で説明した管理サーバー710と同様であるため、ここでの説明を省略する。
図19は、本発明の実施の形態の第2の変形例における機器情報保持部720の保持形式例を示す図である。機器情報保持部720は、製造会社名781、製造番号782、画素数783および画面サイズ784の各フィールドを保持する。ここで、画素数783および画面サイズ784が画面情報に相当する。なお、ここでは、視聴条件に関する画面情報を製造番号と関連付けて保持する例を示したが、画面情報から算出した視聴条件を製造番号と関連付けて保持してもよい。
このように、機器情報保持部720を設けることにより、管理サーバー710は、表示機器760から視聴条件に関する画面情報を得ることができない場合には、表示機器760から製造番号を取得することで、その製造番号から画面情報を取得して表示機器760に適した階調変調処理を行うことができるようになる。
このように、本発明の実施の形態によれば、階調変調処理を行う際に、画像信号を表示する表示装置30からの画面情報によって算出された視聴条件に基づいてフィルタ係数を選択してフィードバック演算部240に設定することによって、人間の視覚特性に対して十分感度が低い帯域に量子化誤差を変調するように設定することができる。
これにより、例えば、テレビの液晶パネルの各画素値のビット幅が8ビットでも、12ビット相当の画質を表現することができる。テレビに対する入力信号が8ビットでも様々な画像処理によって、8ビット以上のビット長になる。例えば、ノイズリダクションにより8ビットの画像が12ビットに拡張される。液晶パネルの各画素値のビット幅が8ビットの場合、12ビットのデータを量子化して8ビットにする必要がある。このとき、本発明を適用することにより、8ビットの液晶パネルで12ビット相当の画質を表現することができる。また、伝送路においても同様に本発明を適用することができる。例えば、ビデオ機器からテレビへの伝送路が8ビット幅の場合、ビデオ機器にある12ビットの画像信号を本発明により8ビット化して、テレビに転送すれば、テレビ側では12ビット相当の画質で視聴することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
すなわち、請求項1において、フィルタ係数保持手段は例えばフィルタ係数保持部270に対応する。また、視聴条件決定手段は例えば視聴条件決定部280に対応する。また、フィルタ係数設定手段は例えばフィルタ係数設定部260に対応する。また、階調変調手段は例えば階調変調器200に対応する。また、量子化手段は例えば量子化部210に対応する。また、フィルタ係数は例えばフィルタ係数保持部270のフィルタ係数Gに対応する。
また、請求項2において、画素数は例えば縦方向の画素数432または画素数783に対応する。また、画面サイズは例えば縦の長さ422または画面サイズ784に対応する。
また、請求項6において、逆量子化手段は例えば逆量子化部220に対応する。また、差分生成手段は例えば減算器230に対応する。また、演算手段は例えばフィードバック演算部240に対応する。また、加算手段は例えば加算器250に対応する。
また、請求項7および8において、視聴条件決定手順は例えばステップS912乃至919に対応する。また、フィルタ係数設定手順は例えばステップS921およびS922に対応する。
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
本発明の実施の形態における再生表示システムの一構成例を示す図である。 本発明の実施の形態における再生装置10の一構成例を示す図である。 本発明の実施の形態における表示装置30の一構成例を示す図である。 本発明の実施の形態における再生装置10の機能構成例を示す図である。 本発明の実施の形態における画像信号の各画素の処理順序を示す図である。 本発明の実施の形態におけるフィードバック演算部240の一構成例を示す図である。 本発明の実施の形態における量子化誤差供給部241の一構成例を示す図である。 空間周波数の最高周波数を30cpdとした場合の人間の視覚特性およびフィルタの振幅特性を示す図である。 本発明の実施の形態におけるデジタル伝送インターフェース18による画面情報取得についての概念構成例を示す図である。 EDID情報の保持形式400を示す模式図である。 本発明の実施の形態におけるフィルタ係数保持部270の保持形式例を示す図である。 本発明の実施の形態におけるフィルタ係数保持部270の保持形式の変形例を示す図である。 本発明の実施の形態による画像処理方法の処理手順例を示すフローチャートである。 本発明の実施の形態によるフィルタ係数設定処理(ステップS910)の処理手順例を示すフローチャートである。 本発明の実施の形態による階調変調処理(ステップS950)の処理手順例を示すフローチャートである。 本発明の実施の形態の第1の変形例としてのコンテンツ提供システムの一構成例を示す図である。 本発明の実施の形態の第1の変形例によるフィルタ係数設定処理の処理手順例を示すフローチャートである。 本発明の実施の形態の第2の変形例としてのコンテンツ提供システムの一構成例を示す図である。 本発明の実施の形態の第2の変形例における機器情報保持部720の保持形式例を示す図である。 表示装置にデジタル画像を表示させるまでの各構成部の処理ビット数とバス上のビット数とを例示するブロック図である。 ビットシフトによる10ビットから8ビットへの階調変換を示す図である。 10ビットから8ビットへのビットシフトに対しPDM調のノイズを付加した場合の画素値の変化を例示するグラフである。 10ビットから8ビットへのビットシフトに対しPDM調のノイズを付加した場合における画像を例示する図である。 表示装置における空間周波数の最高周波数の算出に関する図である。 人間の視覚特性および従来のフィルタの振幅特性を示す図である。
符号の説明
10 再生装置
11、31 チューナ
12、32 デコーダ
15、35 プロセッサ
16、36 ROM
17、37 RAM
18、38 デジタル伝送インターフェース
19、39 ネットワークインターフェース
21 記録制御部
22 記録媒体
23、43 操作受付部
24、44 バス
30 表示装置
33 表示制御部
34 表示部
50 デジタル伝送信号線
200 階調変調器
210 量子化部
220 逆量子化部
230 減算器
240 フィードバック演算部
241 量子化誤差供給部
248、250 加算器
260 フィルタ係数設定部
270 フィルタ係数保持部
280 視聴条件決定部
310 ソース機器
311 トランスミッタ
320 シンク機器
321 レシーバ
322 EDID ROM
330 ケーブル
331〜333 TMDSチャンネル
334 クロックチャンネル
335 ディスプレイデータチャンネル
336 CECライン
700 コンテンツ提供装置
710 管理サーバー
720 機器情報保持部
731〜734 コンテンツサーバー
741、742 通信部
750 コンテンツ視聴装置
760 表示機器
2411 メモリ
2414 ライト部
2415、2416 リード部
2421〜2432 遅延素子
2461〜2472 乗算器

Claims (8)

  1. 表示装置の視野角に対する単位角度あたりに表示される縞の本数である空間周波数に応じてそれぞれ対応付けられたフィルタ係数を保持するフィルタ係数保持手段と、
    前記表示装置との間の視聴距離および前記表示装置の画素密度を視聴条件として決定する視聴条件決定手段と、
    前記保持されているフィルタ係数のうち前記視聴条件から算出された空間周波数に基づいて選択されたフィルタ係数を設定するフィルタ係数設定手段と、
    画像信号における所定の座標位置の画素値を量子化して前記所定の座標位置の量子化画素値として出力する量子化手段を含み、当該量子化手段で発生した量子化誤差に対して前記設定されたフィルタ係数を積和演算することにより前記量子化手段の入力側に帰還するようにして前記画像信号を階調変調する階調変調手段と
    を具備することを特徴とする画像処理装置。
  2. 前記視聴条件決定手段は、前記表示装置から当該表示装置の画素数および画面サイズを受け取ってこれらに基づいて前記視聴条件を決定することを特徴とする請求項1記載の画像処理装置。
  3. 前記視聴条件決定手段は、前記表示装置から前記画素密度および前記表示装置の画面サイズを受け取ってこれらに基づいて前記視聴条件を決定することを特徴とする請求項1記載の画像処理装置。
  4. 前記フィルタ係数は、所定の空間周波数よりも低域成分の前記量子化誤差を減少させるように設定されたことを特徴とする請求項1記載の画像処理装置。
  5. 前記所定の空間周波数は、前記空間周波数における最高周波数の略3分の2であることを特徴とする請求項4記載の画像処理装置。
  6. 前記階調変調手段は、
    前記所定の座標位置の前記量子化画素値を逆量子化して前記所定の座標位置の逆量子化画素値として出力する逆量子化手段と、
    前記所定の座標位置の前記量子化画素値と前記所定の座標位置の前記逆量子化画素値との差分値を前記所定の座標位置の量子化誤差として生成する差分生成手段と、
    前記所定の座標位置に対応する所定の領域内の前記量子化誤差のそれぞれに前記設定されたフィルタ係数を乗じて加算した値を前記所定の座標位置のフィードバック値として算出する演算手段と、
    前記所定の座標位置の前記修正画素値に前記所定の座標位置のフィードバック値を加算する加算手段と
    をさらに含むことを特徴とする請求項1記載の画像処理装置。
  7. 表示装置と、当該表示装置の視野角に対する単位角度あたりに表示される縞の本数である空間周波数に応じてそれぞれ対応付けられたフィルタ係数を保持するフィルタ係数保持手段と、画像信号における所定の座標位置の画素値を量子化して前記所定の座標位置の量子化画素値として出力する量子化手段を含み、当該量子化手段で発生した量子化誤差に対して設定されたフィルタ係数を積和演算することにより前記量子化手段の入力側に帰還するようにして前記画像信号を階調変調する階調変調手段とを備える画像処理装置におけるフィルタ係数設定処理方法であって、
    前記表示装置との間の視聴距離および前記表示装置の画素密度を視聴条件として決定する視聴条件決定手順と、
    前記フィルタ係数保持手段に保持されているフィルタ係数のうち前記視聴条件から算出された空間周波数に基づいて選択されたフィルタ係数を前記階調変調手段に設定するフィルタ係数設定手順と
    を具備することを特徴とするフィルタ係数設定処理方法。
  8. 表示装置と、当該表示装置の視野角に対する単位角度あたりに表示される縞の本数である空間周波数に応じてそれぞれ対応付けられたフィルタ係数を保持するフィルタ係数保持手段と、画像信号における所定の座標位置の画素値を量子化して前記所定の座標位置の量子化画素値として出力する量子化手段を含み、当該量子化手段で発生した量子化誤差に対して設定されたフィルタ係数を積和演算することにより前記量子化手段の入力側に帰還するようにして前記画像信号を階調変調する階調変調手段とを備える画像処理装置において、
    前記表示装置との間の視聴距離および前記表示装置の画素密度を視聴条件として決定する視聴条件決定手順と、
    前記フィルタ係数保持手段に保持されているフィルタ係数のうち前記視聴条件から算出された空間周波数に基づいて選択されたフィルタ係数を前記階調変調手段に設定するフィルタ係数設定手順と
    をコンピュータに実行させることを特徴とするプログラム。
JP2008028470A 2008-02-08 2008-02-08 階調変調装置、画像処理装置、画像処理方法およびプログラム Expired - Fee Related JP4506847B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008028470A JP4506847B2 (ja) 2008-02-08 2008-02-08 階調変調装置、画像処理装置、画像処理方法およびプログラム
TW098101375A TW200947353A (en) 2008-02-08 2009-01-15 Gradation converting device, image processing apparatus, image processing method, and computer program
EP09152148A EP2088555B1 (en) 2008-02-08 2009-02-05 Gradation converting device, image processing apparatus, image processing method, and computer program
US12/322,822 US8373697B2 (en) 2008-02-08 2009-02-06 Gradation converting device, image processing apparatus, image processing method, and computer program
CN2009100070677A CN101505369B (zh) 2008-02-08 2009-02-09 灰度级转换设备、图像处理装置以及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008028470A JP4506847B2 (ja) 2008-02-08 2008-02-08 階調変調装置、画像処理装置、画像処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010103024A Division JP4888581B2 (ja) 2010-04-28 2010-04-28 階調変調装置、画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2009187422A true JP2009187422A (ja) 2009-08-20
JP4506847B2 JP4506847B2 (ja) 2010-07-21

Family

ID=40577874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008028470A Expired - Fee Related JP4506847B2 (ja) 2008-02-08 2008-02-08 階調変調装置、画像処理装置、画像処理方法およびプログラム

Country Status (5)

Country Link
US (1) US8373697B2 (ja)
EP (1) EP2088555B1 (ja)
JP (1) JP4506847B2 (ja)
CN (1) CN101505369B (ja)
TW (1) TW200947353A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010103818A (ja) * 2008-10-24 2010-05-06 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2012133224A (ja) * 2010-12-22 2012-07-12 Canon Inc 画像形成装置及び画像処理装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100852515B1 (ko) * 2007-04-06 2008-08-18 주식회사 엘지화학 디스플레이 장치의 필터
JP5757446B2 (ja) * 2011-06-09 2015-07-29 ソニー株式会社 画像処理装置および方法
US9042605B2 (en) 2013-02-15 2015-05-26 Google Inc. Determining a viewing distance for a computing device
US9715863B2 (en) * 2013-09-30 2017-07-25 Microsoft Technology Licensing, Llc Scale factor based on viewing distance
WO2016122063A1 (ko) * 2015-01-26 2016-08-04 엘지전자(주) 방송 신호 송수신 장치 및 방법
CA3026257A1 (en) 2016-06-03 2017-12-07 Carmeuse North America Calcium oxide compositions
TWI639975B (zh) * 2017-06-30 2018-11-01 明基電通股份有限公司 影像增強方法及影像增強裝置
CN114743509B (zh) * 2022-03-31 2023-11-17 海宁奕斯伟集成电路设计有限公司 图像处理方法、装置和显示装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61201575A (ja) * 1985-03-05 1986-09-06 Canon Inc 受像機
JPH0440071A (ja) * 1990-06-05 1992-02-10 Mitsubishi Electric Corp 画像処理装置
JPH04356869A (ja) * 1991-01-30 1992-12-10 Mitsubishi Electric Corp 画像処理装置及び方法
JPH05103204A (ja) * 1991-05-28 1993-04-23 Internatl Business Mach Corp <Ibm> 正帰還の誤差拡散信号の処理方法および装置
JPH07312688A (ja) * 1994-05-18 1995-11-28 Mitsubishi Electric Corp 画像処理装置
JPH0832900A (ja) * 1994-07-14 1996-02-02 Nippon Telegr & Teleph Corp <Ntt> 画像表示装置
JPH09321987A (ja) * 1996-05-30 1997-12-12 Sharp Corp 中間調画像処理装置
JPH11239275A (ja) * 1998-02-24 1999-08-31 Sony Corp 画像処理方法および装置
JP2001257880A (ja) * 2000-03-10 2001-09-21 Fujitsu Ltd 画像処理方法、その装置及びその記憶媒体
JP2002221950A (ja) * 2000-11-21 2002-08-09 Matsushita Electric Ind Co Ltd 表示装置及び表示方法
JP2002281306A (ja) * 2001-03-16 2002-09-27 Ricoh Co Ltd 画像形成装置、画像形成方法および記録媒体
JP2003044847A (ja) * 2001-07-27 2003-02-14 Hitachi Ltd 画像処理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1106599A (en) * 1997-10-22 1999-05-10 Gateway 2000, Inc. Viewing distance sensor and method
US6847737B1 (en) * 1998-03-13 2005-01-25 University Of Houston System Methods for performing DAF data filtering and padding
US7081972B2 (en) * 2000-09-20 2006-07-25 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US7292733B2 (en) * 2002-10-16 2007-11-06 Matsushita Electric Industrial Co., Ltd. Image processing apparatus and image processing method
JP4105704B2 (ja) * 2004-05-18 2008-06-25 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、プログラム、および記録媒体
JP4521342B2 (ja) * 2005-09-29 2010-08-11 株式会社東芝 三次元画像表示装置、三次元画像表示方法および三次元画像表示プログラム
JP4769135B2 (ja) 2006-07-18 2011-09-07 日本無線株式会社 衛星受信装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61201575A (ja) * 1985-03-05 1986-09-06 Canon Inc 受像機
JPH0440071A (ja) * 1990-06-05 1992-02-10 Mitsubishi Electric Corp 画像処理装置
JPH04356869A (ja) * 1991-01-30 1992-12-10 Mitsubishi Electric Corp 画像処理装置及び方法
JPH05103204A (ja) * 1991-05-28 1993-04-23 Internatl Business Mach Corp <Ibm> 正帰還の誤差拡散信号の処理方法および装置
JPH07312688A (ja) * 1994-05-18 1995-11-28 Mitsubishi Electric Corp 画像処理装置
JPH0832900A (ja) * 1994-07-14 1996-02-02 Nippon Telegr & Teleph Corp <Ntt> 画像表示装置
JPH09321987A (ja) * 1996-05-30 1997-12-12 Sharp Corp 中間調画像処理装置
JPH11239275A (ja) * 1998-02-24 1999-08-31 Sony Corp 画像処理方法および装置
JP2001257880A (ja) * 2000-03-10 2001-09-21 Fujitsu Ltd 画像処理方法、その装置及びその記憶媒体
JP2002221950A (ja) * 2000-11-21 2002-08-09 Matsushita Electric Ind Co Ltd 表示装置及び表示方法
JP2002281306A (ja) * 2001-03-16 2002-09-27 Ricoh Co Ltd 画像形成装置、画像形成方法および記録媒体
JP2003044847A (ja) * 2001-07-27 2003-02-14 Hitachi Ltd 画像処理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010103818A (ja) * 2008-10-24 2010-05-06 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP4605283B2 (ja) * 2008-10-24 2011-01-05 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2012133224A (ja) * 2010-12-22 2012-07-12 Canon Inc 画像形成装置及び画像処理装置
US8964257B2 (en) 2010-12-22 2015-02-24 Canon Kabushiki Kaisha Image forming and processing apparatuses for requantizing quantized data using sigma-delta modulation and compensating for uneveness of exposure intensity

Also Published As

Publication number Publication date
CN101505369B (zh) 2012-05-23
EP2088555B1 (en) 2013-04-03
US8373697B2 (en) 2013-02-12
TW200947353A (en) 2009-11-16
CN101505369A (zh) 2009-08-12
JP4506847B2 (ja) 2010-07-21
EP2088555A1 (en) 2009-08-12
US20090201516A1 (en) 2009-08-13

Similar Documents

Publication Publication Date Title
JP4506847B2 (ja) 階調変調装置、画像処理装置、画像処理方法およびプログラム
US11297278B2 (en) Display system, display method, and display apparatus
JP5206276B2 (ja) 階調変換装置、階調変換方法、及び、プログラム
US8363167B2 (en) Image processing apparatus, image processing method, and communication system
US8463063B2 (en) Image processing apparatus, method and program for gradation conversion
JP5343458B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4577591B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP4888581B2 (ja) 階調変調装置、画像処理装置、画像処理方法およびプログラム
JP4605283B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2010068368A (ja) 画像処理装置、画像処理方法、及び、プログラム
EP2169941A1 (en) Gradation conversion device and gradation conversion method
KR20130082034A (ko) 프로이드 스테인버그 디더링을 이용한 16비트 이미지의 단층 현상 개선 방법, 그리고 프로이드 스테인버그 디더링을 이용한 16비트 이미지의 단층 현상 개선 프로그램을 기록한 컴퓨터로 판독가능한 기록매체

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100406

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100419

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4506847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees