JP2022109140A - 画像処理装置、画像表示システム、画像処理方法、プログラム、記憶媒体 - Google Patents
画像処理装置、画像表示システム、画像処理方法、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP2022109140A JP2022109140A JP2021004500A JP2021004500A JP2022109140A JP 2022109140 A JP2022109140 A JP 2022109140A JP 2021004500 A JP2021004500 A JP 2021004500A JP 2021004500 A JP2021004500 A JP 2021004500A JP 2022109140 A JP2022109140 A JP 2022109140A
- Authority
- JP
- Japan
- Prior art keywords
- image
- bit
- dither
- temporal
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 212
- 238000003672 processing method Methods 0.000 title claims 4
- 230000002123 temporal effect Effects 0.000 claims description 184
- 238000006243 chemical reaction Methods 0.000 claims description 40
- 230000005540 biological transmission Effects 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 21
- 239000012769 display material Substances 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 29
- 230000000694 effects Effects 0.000 description 11
- 230000009467 reduction Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
【課題】少ないビット数で表示を行う表示装置で、ビット数のより多いHDR画像を表示する場合に、フリッカーと疑似輪郭の発生を抑制できる画像処理装置を提供する。【解決手段】Aビット(Aは正の整数)の画像からCビット(Cは正の整数)を切り捨てる処理を行い、切り捨て処理されたB=(A-C)ビットの画像をMフレーム/秒(Mは正の実数)のフレームレートで表示手段に表示させるための画像処理装置であって、Aビットの画像における(A-C)ビットでの1ステップの中間値をとる画素値を、(A-C)ビットでの中間値を切り捨てた値と切り上げた値を中間値の1ステップ内での比率に応じて、Nフレーム(Nは正の整数)にわたって各フレームで選択的に出力することにより表現し、Aビットの画像をNフレームを最小単位とするディザパターンで疑似的に表現する時間ディザ部を備え、時間ディザ部は、M/Nが25以上となるように、Nの値を設定する。【選択図】 図2
Description
本発明は、画像データに対してディザ処理を行う技術に関するものである。
従来、テレビ、ディスプレイ、スマートフォンなどの映像表示機器では、輝度のダイナミックレンジとしてStandard Dynamic Range(以後、SDRと表記)が使われてきた。しかし、近年、より輝度のダイナミックレンジの広いHigh Dynamic Range(以後、HDRと表記)に対応した表示が可能なものが増えてきている。
RECOMMENDATION ITU-R BT.709(以後ITU-BT.709と表記)規格で定められたSDR処理は、8ビットでの量子化レベルの処理を前提としている。一方、SMPTE STANDARD 2084(以後SMPTE ST 2084と表記)の規格で定められたHDR処理は、最低でも10ビット以上の多ビット処理を前提としている。
この多ビット処理を前提とした画像表示システムでは、画像処理装置は10ビット以上の多ビット処理機能を有しているが、表示装置の入力部は10ビット未満である場合がある。この場合、表示装置への画像出力時に、画像のビット削減を行う必要があるが、画像のビット削減により、画像の階調が粗くなり、疑似輪郭が生じる場合がある。この課題に対して、疑似輪郭を解消する方法として、ディザ処理法が知られている。
特許文献1には、複数のディザマトリクスを用いた時間方向へのディザ処理(以後、時間ディザ処理と表記)及び空間方向へのディザ処理(以後、空間ディザ処理と表記)を行い、疑似的な階調を表現することで、疑似輪郭を抑制する技術が開示されている。
また、特許文献2には、乱数を用いた時間方向へのディザ処理や空間方向へのディザ処理により疑似輪郭を抑制する技術が開示されている。
しかしながら、時間ディザ処理は、高速に画像の輝度を変化させるため、この輝度の変化が画面のちらつき(フリッカー)として見える場合がある。特に、HDR画像に対して時間ディザ処理を行う場合、SDR画像よりもフリッカーが目立ちやすくなる。更に、時間ディザ処理を行う場合、必要なフレーム数が多く、フレームレートに対するディザの周波数(以後、ディザ周波数)が低くなるほど、画像表示においてフリッカーが目立ちやすくなる。
特許文献1における時間ディザ処理及び空間ディザ処理では、ディザマトリクスの面積を広げることと必要フレーム数を多くすることがトレードオフとなっているため、条件によってはディザ周波数を高めることが困難な場合がある。
また、特許文献2における時間ディザ処理では、乱数生成部を用い、時間ディザ処理での乱数加算を実施しているため、ディザ周波数を一意に定めることが困難である。
本発明は上述した課題に鑑みてなされたものであり、その目的は、少ないビット数で表示を行う表示装置で、ビット数のより多いHDR画像を表示する場合に、フリッカーと疑似輪郭の発生を抑制できる画像処理装置を提供することである。
本発明に係わる画像処理装置は、Aビット(Aは正の整数)の画像からCビット(Cは正の整数)を切り捨てる処理を行い、切り捨て処理されたB=(A-C)ビットの画像をMフレーム/秒(Mは正の実数)のフレームレートで表示手段に表示させるための画像処理装置であって、前記Aビットの画像における前記(A-C)ビットでの1ステップの中間値をとる画素値を、前記(A-C)ビットでの前記中間値を切り捨てた値と切り上げた値を前記中間値の前記1ステップ内での比率に応じて、Nフレーム(Nは正の整数)にわたって各フレームで選択的に出力することにより表現し、前記Aビットの画像を前記Nフレームを最小単位とするディザパターンで疑似的に表現する時間ディザ手段を備え、前記時間ディザ手段は、M/Nが25以上となるように、前記Nの値を設定することを特徴とする。
本発明によれば、少ないビット数で表示を行う表示装置で、ビット数のより多いHDR画像を表示する場合に、フリッカーと疑似輪郭の発生を抑制することが可能となる。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係る画像処理装置を含む画像表示システムの構成例を示すブロック図である。
図1は、本発明の第1の実施形態に係る画像処理装置を含む画像表示システムの構成例を示すブロック図である。
図1において、本実施形態の画像表示システムは、画像処理装置100、外部データ伝送路110、表示装置120を備えて構成される。なお、本実施形態の画像表示システムは、RGB画像データを入力画像とし、後述する表示部もRGB画素で構成されているものとする。
画像処理装置100は、OETF変換部101、時間ディザ部102、送信部103、制御部104、メモリ105を備える。OETF変換部101、時間ディザ部102、送信部103は、それぞれ独立した回路であってもよいし、制御部104がメモリ105に記憶されたプログラムを実行することにより実現されてもよい。
OETF(Optical-Electro Transfer Function)変換部101は、外部から入力されたデジタル画像データを、ITU BT.709やSMPTE ST 2084などの一般化されている規格に準拠したOETFに変換する。
時間ディザ部102は、取得した画像データにおける所定ビットの値に応じて、画像データを変更する時間ディザ処理を行う。時間ディザ処理とは、切り捨てられるビットの値に応じてデータを切り替えることで疑似的に階調を増加させる技術のことである。時間ディザ部102は、表示装置120の表示速度(フレームレート)及び入力画像の1画素毎の色情報に応じて画像データを変更する。詳細な処理については後述する。
送信部103は、外部データ伝送路110を介して、表示装置120の受信部121に画像データを送信する。
制御部104は、メモリ105に記憶されたプログラムを実行することにより、画像処理装置100の各構成要素の動作を制御する。
外部データ伝送路110は、画像データ専用のデータ伝送路であり、LVDS(Low Voltage Differential Signaling)、HDMI(登録商標)(High-Definition Multimedia Interface)、Display Port(登録商標)、SDI(Serial Digital Interface)、MIPI(Mobile Industry Processor Interface)等が想定される。本実施形態における外部データ伝送路110は、8ビット精度であるものとする。ビット精度とは、物理的なビット幅を意味するものではなく実質的なビット幅を意味する。例えば、10ビット幅の伝送路に8ビットデータと残り2ビットの0のデータを詰めた場合は、8ビット精度となる。
表示装置120は、受信部121、DA変換部122、EOTF変換部123、表示部124、制御部125、メモリ126を備える。受信部121、DA変換部122、EOTF変換部123は、それぞれ独立した回路であってもよいし、制御部125がメモリ126に記憶されたプログラムを実行することにより実現されてもよい。
受信部121は、外部データ伝送路110を介して、画像処理装置100から画像データを取得する。DA(Digital Analog)変換部122は、受信部121から取得したデジタル画像データをアナログ信号に変換する。
EOTF(Electro-Optical Transfer Function)変換部123は、DA変換部122から取得したアナログ画像信号に対してEOTF変換を行う。OETF変換とEOTF変換は、逆変換(逆特性)の関係になっている。EOTF変換された画像データは、後述する表示部124で表示される。
上記のデータフローにより、画像処理装置100が取得した画像データと同じ画像データが、表示部124に表示される。
表示部124は、ブラウン管、液晶、有機EL等から成る。表示部124は、材料や構成により独自の発光特性を有している。ブラウン管等の表示素材は、ITU BT.709で定義されているEOTFに近い発光特性を有していると言われている。
一方、表示素材の表示を人間の知覚に近づけるEOTFが、SMPTE ST 2084で定義されている。EOTF変換部123は、電気的な入力データを表示素材に依存した発光特性に変換する変換過程を表している。表示部に画像を表示する際、表示部124に基づくEOTF変換が画像に加えられる。そのため、OETF変換部101において、入力画像に対し、予めEOTFの逆変換となるOETF変換を加えることになる。
制御部125は、メモリ126に記憶されたプログラムを実行することにより、表示装置120の各構成要素の動作を制御する。
次に、時間ディザ部102について具体例を用いて説明する。まず、表示装置120のフレームレートを120Hz(Mフレーム/秒(Mは正の実数)))とし、10ビットのRGB画像データに対して、時間ディザ処理により8ビットの画像データを生成する場合について説明する。
図2は、フレームレートが120Hzの場合の、時間ディザ部102における時間ディザ処理の一例を表す模式図である。ここで、RGB画像データの画素200~204におけるGのデータは、2進数で「0110010000」、「0110010001」、「0110010010」、「0110010011」、「0110010100」であるとする。
10ビット(ビット幅Aビット(Aは正の整数))の画像データを8ビット(ビット幅B=(A-C)ビット)で出力する場合、切り捨てられるビットは2ビット(Cビット(Cは正の整数))である。画素200~203のデータの下位2ビットを切り捨て、8ビットで出力すると、全て画素210で示した「01100100」となる。同様に、画素204のデータは、画素210より1ビット大きな値(8ビットの1ステップの中間値)をとり、画素211で示した「01100101」となる。この場合、切り捨てられるビットの値は、画素200および204は「00」、画素201は「01」、画素202は「10」、画素203は「11」である。時間ディザ処理では、切り捨てられるビットの値に応じて出力データの値を画素毎に切り替える。
画素200は、1フレーム目で画素210-1-00を、2フレーム目で画素210-2-00を、3フレーム目で画素210-3-00を、4フレーム目で画素210-4-00を出力する。画素210-1-00、画素210-2-00、画素210-3-00及び画素210-4-00は全て画素210と同じ値の「01100100」である。即ち、画素200は、4フレーム全てで画素210の値を出力する。
画素201は、1フレーム目で画素210-1-01を、2フレーム目で画素211-2-01を、3フレーム目で画素210-3-01を、4フレーム目で画素210-4-01を出力する。画素210-1-01、画素210-3-01及び画素210-4-01は全て画素210と同じ値の「01100100」である。また、画素211-2-01は画素211と同じ値の「01100101」である。即ち、画素201は、4フレームに3回、画素210の値を出力し、4フレームに1回、画素211の値を出力する。すなわち、中間値「01」の1ステップ内での比率に応じた回数だけ、画素210の値または画素211の値を選択的に出力する。
画素202は、1フレーム目で画素211-1-10を、2フレーム目で画素210-2-10を、3フレーム目で画素210-3-10を、4フレーム目で画素211-4-10を出力する。画素210-2-10及び画素210-3-10はどちらも画素210と同じ値の「01100100」である。また、画素211-1-10及び画素211-4-10はどちらも画素211と同じ値の「01100101」である。即ち、画素202は、4フレームに2回、画素210の値を出力し、4フレームに2回、画素211の値を出力する。
画素203は、1フレーム目で画素211-1-11を、2フレーム目で画素210-2-11を、3フレーム目で画素211-3-11を、4フレーム目で画素211-4-11を出力する。画素210-2-11は、画素210と同じ値の「01100100」である。また、画素211-1-11、画素211-3-11及び画素211-4-11は全て画素211と同じ値の「01100101」である。即ち、画素203は、4フレームに1回、画素210の値を出力し、4フレームに3回、画素211の値を出力する。
画素204は、画素200と同様に、4フレーム全てで画素211の値を出力する。
ここで、複数の輝度の画像が素早く連続して表示された場合、人が認識する画像の輝度は表示された全画像の平均輝度になる。したがって、画素221~223に示した通り、疑似的に元の画素201~203の階調を表現することが可能となり、時間ディザ処理を行わない場合よりも滑らかな階調を知覚し、疑似輪郭の視認が抑制される。なお、上記ではGのデータに対して処理を行うように説明したが、RBのデータに対しても同様の処理が行われる。
図2に示した時間ディザ処理では、4フレーム(Nフレーム(Nは正の整数))を1周期(最小単位)として扱う。この場合、ディザ周波数は、フレームレート120Hz/4フレームで算出された30Hzとなる。ディザ周波数が30Hz以上(M/Nが30以上)の場合、フリッカーは殆ど目立たない。
図3は、表示装置120のフレームレートが60Hzの場合の、時間ディザ部102における時間ディザ処理の異なる一例を表す模式図である。なお、図2に示した時間ディザ処理と同様の箇所については、その説明を省略する。
図2に示した時間ディザ処理との差異は、Gのデータにおいて切り捨てられるビットの値が「01」の場合は、切り捨てられるビットの値が「00」の場合と同等の出力となり、切り捨てられるビットの値が「11」の場合は、切り捨てられるビットの値「10」と同等の出力となる点である。この場合、図3の時間ディザ処理では、2フレームを1周期として扱う。つまり、ディザ周波数は、フレームレート60Hz/2フレームで算出され、30Hzとなる。
図3の処理では、画素321~画素323に示した通り、図2の時間ディザ処理の出力結果から視認される疑似的な階調とは異なる階調を表現することが可能になる。図2の時間ディザ処理と比較して、疑似輪郭の抑制効果は弱まるが、副次的に発生するフリッカーの抑制効果は強まる。
図2及び図3では、時間ディザ処理における1ビット大きい画素値を出力するフレーム番号を、一意に定めたが、時間ディザ処理の1周期のフレーム数と1ビット大きい画素を出力するフレーム数が同じであれば、自由に定めてもよい。例えば、図2の下位2ビットの値が「01」である場合において、1ビット大きい画素211を出力するフレームは、2フレーム目では無く、1フレーム目、3フレーム目若しくは4フレーム目であってもよい。同様に、図3の切り捨てられるビットの値が「11」である場合、1ビット大きい画素311を出力するフレームは、2フレーム目では無く、1フレーム目であってもよい。
本実施形態では、表示装置120の表示フレームレートが60Hzまたは120Hzである場合において、10ビットから8ビットに変換する時間ディザ処理を例として説明したが、これに限定されるものではない。表示装置120の表示フレームレート、入力画像及び画像処理装置100内の処理ビット精度及び外部データ伝送路110のビット精度は可変である。そのため、上記のフレームレート及びビット精度に合わせて、ディザ周波数30Hzを維持した時間ディザ処理を適用すればよい。
外部データ伝送路110のビット幅が異なる例として、フレームレートが60Hzかつ10ビットから6ビットに変換する場合について説明する。ディザ周波数30Hzを維持し、疑似輪郭を抑制するには、図3に示した時間ディザ処理を適用し、下位4ビット目及び下位3ビット目の2ビットを参照した時間ディザ処理を用いればよい。
次に、表示フレームレート、入力画像及び画像処理装置100内の処理ビット精度及び外部データ伝送路110のビット精度の全てが異なる例として、フレームレートが240Hzかつ12ビットから8ビットに変換する場合について説明する。この場合、ディザ周波数30Hzを維持し、疑似輪郭の抑制を強めるためには、下位4ビット目から下位2ビット目までの3ビットを参照した、8フレームを必要とする時間ディザ処理を用いるとよい。
映像の規格によっては、時間ディザ処理によってディザ周波数30Hzにすることが難しい場合がある。この場合は、ディザ周波数を30Hzに近づけるような時間ディザ処理を適用する。例えば、表示フレームレートが59.94Hzの場合、図3に記載の時間ディザ処理を適用することにより、時間ディザ処理による周波数を29.97Hzにする。その他の例として、表示フレームレートが50Hzの場合、図3に記載の時間ディザ処理を適用することにより、時間ディザ処理による周波数を25Hz(M/Nが25以上)にする。
次に、時間ディザ部102について動画像データのように、フレーム毎に画像データが異なる場合について説明する。
図4は、表示フレームレートが60Hzの場合の、動画像データのある一画素に対する時間ディザ処理の適用方法の一例を示す図である。図4に示した時間ディザ処理では、時間ディザ周期の開始フレームは、入力画像の下位2ビットの値に応じて時間ディザ処理を行う。一方、開始フレーム以外のフレームでは、入力画像の所定ビットの値では無く、その時の時間ディザ周期の開始フレームの下位2ビットの値に応じて時間ディザ処理を行う。
例として、図4(a)内の各フレーム401~404内の座標(x,y)において、図3に記載の時間ディザ処理を用いて、10ビットから8ビットに変換する場合について説明する。また、座標(x,y)の画素値は、1フレーム目401の場合「0110010000」、2フレーム目402の場合「0110010010」、3フレーム目403の場合「0110010011」、4フレーム目404の場合「0110010001」であるものとする。
1フレーム目401の座標(x,y)の画素値の下位2ビットは、「00」である。また、1フレーム目401は、図3の時間ディザ周期における開始フレームである。従って、1フレーム目401の座標(x,y)に対しては、図3で示す画素310-1-00を出力する。つまり、1フレーム目401の座標(x,y)では、入力画素の上位8ビットである画素310の値が出力される。2フレーム目402の座標(x,y)の画素値の下位2ビットは、「10」である。また、2フレーム目402は、図3における時間ディザ周期の開始フレーム以外のフレームであり、この場合の時間ディザ周期の開始フレームの下位2ビットは「00」である。そのため、2フレーム目402の座標(x,y)に対しては、図3で示す画素310-2-00を出力する。つまり、2フレーム目402の座標(x,y)では、画素310の値が出力される。3フレーム目403の座標(x,y)の画素値の下位2ビットは、「11」である。3フレーム目403は、図3の時間ディザ周期における新しい開始フレームである。そのため、3フレーム目403の座標(x,y)に対しては、図3で示す画素310-1-11を出力する。つまり、3フレーム目403の座標(x,y)では、画素310の値が出力される。4フレーム目404の座標(x,y)に対しては、2フレーム目の場合と同様に、3フレーム目の下位2ビットの値を参照した時間ディザ処理を用いるため、図3で示す画素311-2-11を出力する。つまり、4フレーム目404の座標(x,y)では、画素311の値が出力される。上記の時間ディザ処理による、座標(x,y)の各フレームにおいて出力される画素値を図4(b)に示す。この場合、座標(x,y)において1フレーム目411、2フレーム目412、3フレーム目413で出力される画素値は、「01100100」となり、4フレーム目414で出力される画素値は、「01100101」となる。
図5は、動画像データのある一画素に対する時間ディザ処理の適用方法の異なる一例を示す図である。なお、図4に記載の時間ディザ処理と同様の箇所については、その説明を省略する。
図4に示す時間ディザ処理との差異は、座標(x,y)において、2フレーム目502の場合は、図3における下位2ビットが「10」かつフレーム番号2の時間ディザ処理を適用している点である。また、4フレーム目504の場合は、下位2ビットが「01」かつフレーム番号2の時間ディザ処理を適用している点である。ここで、図5(a)に示したとおり、2フレーム目502及び4フレーム目504は、座標(x,y)における、当該フレームの画素値の下位2ビットに応じた時間ディザ処理を適用している。上記の時間ディザ処理による、座標(x,y)の各フレームにおいて出力される画素値を図5(b)に示す。この場合、座標(x,y)において1フレーム目511、3フレーム目513、4フレーム目514で出力される画素値は、「01100100」となり、2フレーム目512で出力される画素値は、「01100101」となる。
ここで、図5に示す時間ディザ処理では、各画素のビットを毎フレーム参照しており、全てのフレームにおいて、フレーム毎の入力画素の下位2ビットに応じた時間ディザ処理が適用される。
図5の処理により、フレーム511~514に示した通り、図4の時間ディザ処理の適用方法から視認される疑似的な階調とは異なる階調を表現することが可能になる。図4に記載の時間ディザ処理の適用方法と比較して、フレームの画素値の下位2ビットを参照する回数は多くなるが、画素の出力は、本来の階調に近いものとなる。
以上説明したように、第1の実施形態では、表示フレームレートに応じてディザ周波数を30Hzに維持するように時間ディザ処理を変更する。これにより、表示部124に画像を表示する際に発生するフリッカーを抑制しつつ、疑似輪郭を抑制することが可能となる。同様に、ディザ周波数を30Hzにすることが難しい場合は、30Hzに近い周波数を維持するように時間ディザ処理を変更することで、表示部124に画像を表示する際に発生するフリッカーを抑制しつつ、疑似輪郭を抑制することが可能となる。
(第2の実施形態)
第1の実施形態における、図3に示した時間ディザ処理では、一部の画素の出力が同じ値となるため、図2に示した時間ディザ処理と比べて階調の表現能力は下がっている。第2の実施形態では、図3に示した時間ディザ処理を適用する場合に、階調の表現能力を向上させる方法について説明する。
第1の実施形態における、図3に示した時間ディザ処理では、一部の画素の出力が同じ値となるため、図2に示した時間ディザ処理と比べて階調の表現能力は下がっている。第2の実施形態では、図3に示した時間ディザ処理を適用する場合に、階調の表現能力を向上させる方法について説明する。
図6は、本発明の第2の実施形態に係る画像表示システムの構成例を示すブロック図である。なお、第1の実施形態に係る画像表示システムと同一箇所については、同一符号を付して説明を省略する。
第2の実施形態の画像表示システムは、画像処理装置600、外部データ伝送路110、表示装置120を備えて構成される。
空間ディザ部601は、取得した画像データにおける所定ビットの値に応じて、画像データを変更する空間ディザ処理を行う。空間ディザ処理とは、画像データにおいて、対象の画素及び隣接する画素の切り捨てられる有効ビット外の値に対して加算処理を行い、閾値を超えた画素のデータを変更することで疑似的に階調を増加させる技術のことである。 空間ディザ部601は、独立した回路であってもよいし、制御部104がメモリ105に記憶されたプログラムを実行することにより実現されてもよい。
次に、本実施形態における空間ディザ部601及び時間ディザ部102の具体的処理について説明する。まず、表示装置120のフレームレートを60Hzとし、10ビットのRGB画像データに対して、空間ディザ処理及び時間ディザ処理を施し、8ビットの画像データを生成する場合について説明する。
図7は、フレームレートが60Hzの場合の、空間ディザ部601及び時間ディザ部102におけるディザ処理を表す模式図である。
まず、10ビットの画像データ700が、空間ディザ部601に入力される。空間ディザ部601は、10ビットの画像データ700の最下位ビット710に対して空間ディザ処理を行う。この空間ディザ処理により、9ビットの画像データ701が出力される。このとき、空間ディザ処理によって、9ビットの画像データ701の最下位ビット711に、10ビットの入力データ700の最下位ビット710が反映される。空間ディザ部601から出力された9ビットの画像データ701は、時間ディザ部102に入力される。時間ディザ部102は、9ビットの画像データ701に対して時間ディザ処理を行う。この時間ディザ処理により、8ビットの画像データ702が出力される。このとき、8ビットの画像データ702の最下位ビット712に、9ビットの画像データ701の最下位ビット711が反映される。
図7に示すように、空間ディザ部601及び時間ディザ部102からは、有効ビット外の数値を有効ビットに全て反映した8ビットの画像データが出力される。また、この場合の時間ディザ処理は、2フレームを必要とする時間ディザ処理であるため、60Hzのフレームレートの表示装置120では、ディザ周波数は30Hzとなる。
次に、空間ディザ部601について説明する。まず、10ビットのRGB画像データに空間ディザ処理を行い、9ビットの画像データを生成する場合について説明する。
図8は、空間ディザ部601における空間ディザ処理の一例を表す模式図である。ここで、RGB画像データの画素800~807におけるGのデータは、2進数で「0110010100」、「0110010011」、「0110010011」、「0110010010」、「0110010010」、「0110010001」、「0110010001」、「0110010000」であるものとする。
画素800のデータの下位1ビットを切り捨て、9ビットで出力すると、画素810で示した「011001010」となる。同様に、画素801~804のデータは、画素811~814で示した「011001001」となり、画素805~807のデータは、画素815~817で示した「011001000」となる。この場合、切り捨てられるビットの値は、画素801、802、805及び806は「1」、画素800、803、804及び807は「0」である。
空間ディザ処理では切り捨てられるビットの値を隣接画素に加算して出力データの値を切り替える。画素802及び806では下位1ビットの値を加算した値が2となる。1ビットの有効数字は1であるため、画素802及び806では桁あふれとなる。ここで画素802及び806では1ビット大きい画素を出力する。つまり、画素802では「011001010」を、画素806では「011001001」を出力する。
上記の空間ディザ処理により、切り捨てられるビットが一部の画素の有効ビットに反映される。従って、画素820~827に示した通り、水平方向全体を通して、元の階調を表現することが可能となり、空間ディザ処理を行わない場合よりも、疑似輪郭が抑制される。この例ではGのデータに対して処理を行うように説明したが、RBのデータに対しても同様の処理が行われる。
次に、時間ディザ部102について説明する。まず、表示装置120のフレームレートを60Hzとし、9ビットのRGB画像データに対して、時間ディザ処理を施し、8ビットの画像データを生成する場合について説明する。
図9は、時間ディザ部102における時間ディザ処理の一例を表す模式図である。ここで、画素900~902におけるGのデータは、2進数で「011001000」、「011001001」、「011001010」であるとする。なお、図3に示した時間ディザ処理と同様の箇所については、その説明を省略する。
図3に示した時間ディザとの差異は、切り捨てられるビットが1ビットのみとなっている点である。ここで、切り捨てられるビットの値が「0」の場合は、図3における切り捨てられるビットの値が「00」若しくは「01」の場合と同じ出力をする。同様に、切り捨てられるビットの値が「1」の場合は、図3における切り捨てられるビットの値が「10」若しくは「11」の場合と同じ出力をする。このとき、図9に記載の時間ディザ処理では、2フレームを1周期として扱う。ここで、ディザ周波数はフレームレート60Hz/2フレームで算出された30Hzとなる。この例では、Gのデータに対して処理を行うように説明したが、RBのデータに対しても同様の処理が行われる。
図10は、本実施形態における空間ディザ処理及び時間ディザ処理を示すフローチャートである。このフローチャートの動作は、制御部104がメモリ105に記憶されたプログラムを実行することにより行われる。
まず、ステップS1001において、制御部104は、本フローを開始する。
ステップS1002において、制御部104の指示により、OETF変換部101は、入力された画像のフォーマットを検出する。
ステップS1003において、制御部104の指示により、空間ディザ部601は、入力された画像がHDR画像であるか否かを判定する。HDR画像でない場合、ステップS1010に進み、本フローを終了する。
入力画像がHDR画像である場合(ステップS1003:Yes)、ステップS1004において、制御部104の指示により、空間ディザ部601は、時間ディザ部102の出力ビット精度と外部データ伝送路110のビット精度を比較する。時間ディザ部102の出力ビット精度が外部データ伝送路110のビット精度以下の場合、ステップS1010に進み、本フローを終了する。
時間ディザ部102の出力ビット精度が外部データ伝送路110のビット精度より大きい場合(ステップS1004:Yes)、ステップS1005において、制御部104は、時間ディザ部102に対して、時間ディザ処理を行うか否かを指示する。本実施形態では、制御部104は、フレームレートが60Hz以上の場合に時間ディザ処理を行うと判断するものとする。フレームレートが60Hz未満の場合、ステップS1010に進み、本フローを終了する。なお、不図示のデータバスを介して、時間ディザ部102と空間ディザ部601は、相互に制御に用いる情報をやり取りするものとする。
フレームレートが60Hz以上の場合(ステップS1005:Yes)、ステップS1006において、制御部104の指示により、時間ディザ部102は、時間ディザ処理を行うビット(以下、時間ディザ対象ビットと表記)を選択する。本実施形態では、時間ディザ対象ビットは下位2ビット目であるとする。そして時間ディザ対象ビットを、データバスを介して空間ディザ部601に出力する。
ステップS1007において、制御部104の指示は、時間ディザ部102から取得した時間ディザ対象ビットを参照して、空間ディザ処理を行うか否かを判定する。空間ディザ処理を行うか否かは、有効ビット外のビットの内、時間ディザ処理対象ビット以外のビットが存在するか否かに基づいて判定する。時間ディザ処理対象ビット以外のビットが存在しない場合、ステップS1009に進む。
時間ディザ処理対象ビット以外のビットが存在する場合(ステップS1007:Yes)、ステップS1008に進み、制御部104の指示により、空間ディザ部601は、空間ディザ処理を行う。
ステップS1009において、制御部104の指示により、時間ディザ部102は、ステップS1006で選択したビットに対して時間ディザ処理を行い、ステップS1010に進み、本フローを終了する。
なお、上記の説明では、表示装置120の表示フレームレートが60Hzで、10ビットから8ビットに変換する場合について説明したが、これに限定されるものではない。例えば、表示装置120の表示フレームレートが120Hzで、入力画像及び画像処理装置内の処理ビット精度を10ビット、外部データ伝送路のビット精度を6ビットとした場合について以下説明する。
この場合、時間ディザ処理は、7ビット目及び8ビット目の2ビットに対して適用する。また、空間ディザ処理は、9ビット目に対して適用するか、9ビット目と10ビット目の両方に対して適用する。この場合、時間ディザ処理は4フレームを必要とし、ディザ周波数は30Hzになる。
従って、時間ディザ処理と空間ディザ処理のビット幅及び適用するビットの範囲は、以下の条件式で示される。
時間ディザ部102のフレーム数をN(Nは2以上の整数)、入力画像のビット幅をA、外部データ伝送路のビット幅をBとする。この場合、時間ディザ処理のビット幅はN/2、時間ディザ処理を行うビットの範囲は、最上位ビットをA-B-1、最下位ビットをA-B-(N/2)として表すことができる。
また、空間ディザ処理は、ビット幅であるA-B-(N/2)-1が0以上であれば処理を行う。この場合、空間ディザ処理を行うビットの範囲は、最上位ビットをA-B-(N/2)-1、最下位ビットを0として表すことができる。
本実施形態では、N=2、A=10、B=8であるため、時間ディザ処理のビット幅は1、時間ディザ処理を行うビットの範囲は下位2ビット目である。また、空間ディザ処理のビット幅は1、空間ディザ処理を行うビットの範囲は最下位ビットとなる。
また、図8において、空間ディザ処理は水平方向に対して適用していたが、垂直方向、斜め方向、若しくは上記の全ての方向に対して適用してもよい。
本実施形態では、空間ディザ処理の後に時間ディザ処理を適用したが、これに限定されるものでは無く、時間ディザ処理の後に空間ディザ処理を行ってもよい。例えば、図7において、10ビットのデータに対して、時間ディザ処理を適用し、9ビットの画像データを出力する。その後、9ビットの画像データに対して、空間ディザ処理を適用し、8ビットの画像データを出力するといった方法が考えられる。
図10では、ステップS1005において、表示装置のフレームレートが60Hz以上である場合を分岐条件としたが、映像の規格に沿うように条件と処理を変更してもよい。例えば、ステップS1005における分岐条件を、表示装置のフレームレートが59.94Hz以上であることとし、ディザ周波数として29.97Hzを維持するように時間ディザ処理を適用する。同様に、ステップS1005における分岐条件を、表示装置のフレームレートが50Hz以上であることとし、ディザ周波数として25Hzを維持するように時間ディザ処理を適用する。
以上説明したように、第2の実施形態では、表示装置のフレームレートに応じてディザ周波数として30Hzを維持するように時間ディザ処理を変更し、切り捨てられるビットの内、時間ディザ処理を適用していない任意のビットに、空間ディザ処理を適用する。時間ディザ処理と空間ディザ処理を組み合わせることにより、表示部124に画像を表示する際に発生するフリッカーを抑制しつつ、切り捨てられる任意のビットを表示ビットに反映させながら、疑似輪郭を抑制することが可能となる。
同様に、ディザ周波数を30Hzにすることが難しい場合は、ディザ周波数として30Hzに近い周波数を維持するように時間ディザ処理を変更し、切り捨てられるビットの内、時間ディザ処理を適用していない任意のビットに、空間ディザ処理を適用する。これにより、表示部124に画像を表示する際に発生するフリッカーを抑制しつつ、切り捨てられる任意のビットを表示ビットに反映させながら、疑似輪郭を抑制することが可能となる。
(第3の実施形態)
図11は、本発明の第3の実施形態に係る画像表示システムの構成例を示すブロック図である。なお、本発明の第1の実施形態及び第2の実施形態の画像表示システムと同一箇所については、同一符号を付して説明を省略する。
図11は、本発明の第3の実施形態に係る画像表示システムの構成例を示すブロック図である。なお、本発明の第1の実施形態及び第2の実施形態の画像表示システムと同一箇所については、同一符号を付して説明を省略する。
本実施形態の画像表示システムは、画像処理装置1100、外部データ伝送路110、表示装置1110を備えて構成される。
発光特性逆変換部1101は、表示部124に基づく発光特性変換部1111の逆変換の処理を行う。図12は、発光特性逆変換部1101の詳細ブロック図である。なお、発光特性逆変換部1101は、独立した回路であってもよいし、制御部104がメモリ105に記憶されたプログラムを実行することにより実現されてもよい。同様に、発光特性変換部1111は、独立した回路であってもよいし、制御部125がメモリ126に記憶されたプログラムを実行することにより実現されてもよい。
図12において、表示部124を構成するRGB画素は、それぞれ個別の発光特性を有しているため、発光特性逆変換部1101は、RGB各々の発光特性逆変換部1101-01、1101-02、1101-03を有する。発光特性逆変換が行われたRGB画像データは、ホワイトバランス調整部(以下、WB調整部)1101-04でホワイトバランスの調整が行われた後、出力される。発光特性逆変換とホワイトバランスの処理順序は、逆でもよく、また同時に行ってもよい。
発光特性変換部1111は、DA変換部122から取得したアナログ画像信号を、表示部124を構成するRGB画素に基づく発光特性に変換する。表示部124に表示させる画像には、DA変換前に発光特性の逆変換を施す必要がある。階調破綻しやすいHDR表示をする場合は、ビット精度が外部データ伝送路110以上であるOETF変換部101の出力データに、HDRのOETFに近似した発光特性の逆変換処理をする。これにより、量子化誤差や計算誤差を小さくし、表示画像の階調破綻を最小限にすることが可能となる。
なお、本実施形態では、画像処理装置1100内に空間ディザ部601が設けられているが、状況に応じて設けなくてもよい。
発光特性逆変換部1101は表示装置1110に設けてもよい。その場合、受信部121とDA変換部122の間に発光特性逆変換部1101を配置する。この場合は、発光特性逆変換部1101は、独立した回路であってもよいし、制御部125がメモリ126に記憶されたプログラムを実行することにより実現されてもよい。ブラウン管等の発光特性を想定してITU BT.709のようなEOTFが規格化されている一方、有機EL等の発光特性を想定したEOTFは、規格化されていない。発光特性は、表示素材の温度や印加する電圧等の環境差や表示素材自体の個体差により変化するため、それらの差を補正する必要が生じる。画像処理装置1100は、外部データ伝送路110を介して表示装置1110に接続されている。画像処理装置1100と表示装置1110は、それぞれ独立しており、複数の画像処理装置1100と複数の表示装置1110から選択し、組み合わせて使用することが想定される。この組み合わせを考慮した場合、表示部124に依存する発光特性の補正を同じ表示装置1110内で行うことで、制御が容易となる。従って、発光特性への逆変換は表示装置1110で行い、外部データ伝送路110の画像データは、一般化された規格に準拠したデータとする。この場合、有機EL等の発光特性に近似しているHDRのOETFとすることにより、表示装置1110の発光特性逆変換の量子化誤差や計算誤差を小さくし、表示画像の階調破綻を最小限にすることが可能となる。
(第4の実施形態)
第1の実施形態、第2の実施形態および第3の実施形態では、フリッカーを抑制するためにディザ周波数として約30Hzを維持した時間ディザ処理を行うため、表示装置のフレームレートは60Hzまたは50Hz以上を前提としていた。第4の実施形態では、図6や図11のブロック構成で、表示装置のフレームレートが60Hzや50Hz未満になる場合の制御方法について説明する。
第1の実施形態、第2の実施形態および第3の実施形態では、フリッカーを抑制するためにディザ周波数として約30Hzを維持した時間ディザ処理を行うため、表示装置のフレームレートは60Hzまたは50Hz以上を前提としていた。第4の実施形態では、図6や図11のブロック構成で、表示装置のフレームレートが60Hzや50Hz未満になる場合の制御方法について説明する。
図13(a)に、時間ディザ部102のフレーム数Nが「2」の場合の例を示す。表示フレームレートMを15Hz、30Hz、60Hz、120Hz、240Hzと変えた場合、時間ディザ周波数M/Nは7.5Hz、15Hz、30Hz、60Hz、120Hzとなる。
フリッカーを抑制できるのは、時間ディザ周波数が30Hz以上の場合であるため、時間ディザ周波数が30Hz未満になる表示フレームレート15Hzと30Hzでは、時間ディザ処理は実施しない。その代わりに疑似輪郭低減のために、表示フレームレート15Hzと30Hzでは空間ディザ処理を行う。また、表示フレームレート60Hz以上では、時間ディザ処理と空間ディザ処理を併用することによってフリッカーを抑制しながら、疑似輪郭低減効果を高める。
図13(b)に、時間ディザ部102のフレーム数Nを変更する場合の例を示す。表示フレームレートMが15Hz、30Hz、60HzではNは「2」とし、Mが120HzではNを「4」、Mが240HzではNを「8」とする。時間ディザ処理のフレーム数Nを大きくすることにより、階調表現能力を向上させて疑似輪郭低減効果を高めている。また、図13(a)と同様に、時間ディザ周波数が30Hz未満になる表示フレームレート15Hzと30Hzでは、時間ディザ処理は実施しない。その代わりに疑似輪郭低減のために、表示フレームレート15Hzと30Hzでは空間ディザ処理を行う。また、表示フレームレート60Hz以上では、時間ディザ処理と空間ディザ処理を併用することによってフリッカーを抑制しながら、疑似輪郭低減効果を高める。
図13(c)に、画像処理装置600,1100に入力する画像が動画の場合の例を示す。動画は静止画と比べてフリッカーが目立ちやすいため、時間ディザ周波数60Hz未満では時間ディザ処理を実施しない。表示フレームレートMが15Hz、30Hz、60Hz、120HzではNは「2」とし、Mが240HzではNは「4」とする。時間ディザ処理のフレーム数Nを大きくすることにより、階調表現能力を向上させて疑似輪郭低減効果を高めている。動画では、時間ディザ周波数が30Hz以下になる表示フレームレートである60Hz以下では、時間ディザ処理は実施しない。その代わりに疑似輪郭低減のために、表示フレームレート60Hz以下では空間ディザ処理を行う。また、表示フレームレート120Hz以上では、Nが小さいと時間ディザによる疑似輪郭低減効果が低いため、時間ディザ処理と空間ディザ処理を併用することによってフリッカーを抑制しながら、疑似輪郭低減効果を高める。
(第5の実施形態)
第5の実施形態では、入力画像データの色相により、時間ディザパターンを切り替える方法について説明する。
第5の実施形態では、入力画像データの色相により、時間ディザパターンを切り替える方法について説明する。
第5の実施形態に係る画像表示システムの構成は、第1の実施形態を示す図1のブロック図と同一である。なお、第1の実施形態の画像表示システムと同一箇所については、同一符号を付して説明を省略する。
図14は、本実施形態における時間ディザ部102の構成例を示すブロック図である。時間ディザ部102は、色相頻度取得部1400、頻度取得設定部1401、頻度閾値設定部1402、色相判定部1403、フレームメモリ1404、時間ディザ処理部1405を備えて構成される。
本実施形態では、表示装置120のフレームレートを60Hzとし、10ビットのRGB画像データに対し、緑成分または赤成分が多く含まれる画素が、1フレーム分の画像にどの程度存在するかという頻度情報を取得する。これにより、時間ディザ処理に用いるディザパターンを制御する。
色相頻度取得部1400は、入力された画像データ1画素毎のR、G、B値を比較し、緑成分を多く含む場合は緑成分の頻度としてカウントする。また、赤成分を多く含む場合は赤成分の頻度としてカウントする。緑または赤成分の頻度は、頻度取得設定部1401において設定された条件に基づいて、頻度情報としてカウント(判定結果をカウント)する。本実施形態では、下記の条件1に当てはまる場合、緑成分が多く含まれる画像として緑の頻度情報をカウントする。また、下記の条件2に当てはまる場合、赤成分が多く含まれる画像として赤の頻度情報をカウントする。
G>R かつ G>B …(条件1)
R>G かつ R>B …(条件2)
入力された画像データは、1フレーム分の画像データの色相頻度情報を取得するまでフレームメモリ1404に逐次記録される。
R>G かつ R>B …(条件2)
入力された画像データは、1フレーム分の画像データの色相頻度情報を取得するまでフレームメモリ1404に逐次記録される。
1フレーム分の画像データの頻度情報の取得を終了すると、色相判定部1403は得られた色相頻度情報と頻度閾値設定部1402において設定された閾値を用いて、入力画像の色相を判定する。本実施形態では、緑の頻度閾値=赤の頻度閾値=1フレーム分の画素数の半分の値とする。
緑の頻度情報が1フレーム分の画素数の半分以上であった場合、画像データは緑成分を多く含む画像と判定する。緑成分を多く含む画像(G成分を多く含む画像)では疑似輪郭が認識されやすいため、疑似輪郭の抑制効果が高い時間ディザパターンを適用する。具体的には、フレームメモリ1404から1フレーム分の画像を読み出し、時間ディザ処理部1405では4フレームを1周期として扱う時間ディザ処理を行う。この場合のディザ周波数は、フレームレート60Hz/4フレームで算出された15Hzとなる。
赤の頻度情報が1フレーム分の画素数の半分以上であった場合、画像データは赤成分を多く含む画像と判定する。赤成分を多く含む画像(R成分を多く含む画像)では疑似輪郭が認識されにくいため、疑似輪郭の抑制効果は弱まるが、副次的に発生するフリッカーの抑制効果が高い時間ディザパターンを適用する。具体的には、フレームメモリ1404から1フレーム分の画像を読み出し、時間ディザ処理部1405では2フレームを1周期として扱う時間ディザ処理を行う。この場合のディザ周波数は、フレームレート60Hz/2フレームで算出された30Hzとなる。
本実施形態では、1フレーム分の画像データの色相頻度を求めることにより、1フレーム毎にディザパターンの切り替えを行ったが、画像データの1画素毎に制御してもよい。また、1フレーム前の頻度情報や複数フレーム前の累計頻度情報を用いてもよい。その場合は図14に示されるフレームメモリ1404は不要となる。
また、直接ユーザーがモード設定などで、緑または赤成分が多い画像であることを指定することにより、時間ディザ部102で用いるディザパターンを切り替えてもよい。
上記の説明では、色相の頻度情報を色相頻度取得部1400で検出し、色相判定部1403で判定を行った。しかし、入力される画像データにあらかじめ画素に対応した色相情報が付加されている場合、これを用いて色相判定部1403によってディザパターンの切り替えを行ってもよい。
(第6の実施形態)
第6の実施形態では、入力画像データの明るさに応じて、時間ディザパターンを切り替える方法について説明する。
第6の実施形態では、入力画像データの明るさに応じて、時間ディザパターンを切り替える方法について説明する。
第6の実施形態に係る画像表示システムの構成は、第1の実施形態を示す図1のブロック図と同一である。なお、第1の実施形態の画像表示システムと同一箇所については、同一符号を付して説明を省略する。
図15は、本実施形態における時間ディザ部102の構成例を示すブロック図である。時間ディザ部102は、輝度検出部1500、輝度頻度取得部1501、頻度取得設定部1502、頻度閾値設定部1503、明るさ判定部1504、フレームメモリ1505、時間ディザ処理部1506を備えて構成される。
輝度検出部1500は、入力された画像データ1画素毎のR、G、B値から画像の明るさ(輝度)を取得し、明るい画素であれば輝度頻度としてカウントする。R、G、B値から明るさ(輝度値)の値Y(10bitとする)への変換は、(式1)によって算出される。
Y=(0.26270×R)+(0.67800×G)+(0.05930×B) …(式1)
輝度頻度は、頻度取得設定部1502において設定された条件に基づいてカウントする。本実施形態では、上記に示す式1で算出されたY値が、下記に示す条件3に当てはまる場合、明るい画素であるとして輝度頻度情報をカウントする。本実施形態ではYは10bitの精度を持ち、0≦Y≦1023であるものとする。
輝度頻度は、頻度取得設定部1502において設定された条件に基づいてカウントする。本実施形態では、上記に示す式1で算出されたY値が、下記に示す条件3に当てはまる場合、明るい画素であるとして輝度頻度情報をカウントする。本実施形態ではYは10bitの精度を持ち、0≦Y≦1023であるものとする。
Y>512 …(条件3)
入力された画像データは、1フレーム分の画像データの輝度頻度情報を取得するまでフレームメモリ1505に逐次記録される。
入力された画像データは、1フレーム分の画像データの輝度頻度情報を取得するまでフレームメモリ1505に逐次記録される。
1フレーム分の画像データの頻度情報の取得を終了すると、明るさ判定部1504は、得られた輝度頻度情報と頻度閾値設定部1503で設定された閾値を用いて、入力画像の明るさを判定する。本実施形態では、輝度の頻度閾値=1フレーム分の画素数の半分とする。
輝度頻度情報が1フレーム分の画素数の半分以上である場合、明るさ判定部1504は、画像データを明るい画像であると判定する。明るい画像では疑似輪郭は認識されにくいが、ディザ処理により発生するフリッカーは認識されやすい傾向がある。よって、疑似輪郭の抑制効果は弱まるが、副次的に発生するフリッカーの抑制効果が高い時間ディザパターンを適用する。具体的には、フレームメモリ1505から1フレーム分の画像を読み出し、時間ディザ処理部1506では2フレームを1周期として扱う時間ディザ処理を行う。この場合のディザ周波数は、フレームレート60Hz/2フレームで算出された30Hzとなる。
輝度頻度情報が1フレーム分の画素数の半分より少ない場合、明るさ判定部1504は、画像データを暗い画像であると判定する。暗い画像では疑似輪郭は認識されやすく、ディザ処理により発生するフリッカーは認識されにくい傾向がある。よって、疑似輪郭の抑制効果が高い時間ディザパターンを適用する。具体的には、フレームメモリ1505から1フレーム分の画像を読み出し、時間ディザ処理部1506では4フレームを1周期として扱う時間ディザ処理を行う。この場合のディザ周波数は、フレームレート60Hz/4フレームで算出された15Hzとなる。
本実施形態では、1フレーム分の画像データの明るさ頻度を求めることで、1フレーム毎におけるディザパターンの切り替えを行ったが、画像データの1画素毎に制御してもよい。また、1フレーム前の頻度情報や複数フレーム前の累計頻度情報を用いてもよい。その場合は図15に記載のフレームメモリ1505は不要となる。
直接ユーザーがモード設定などで、明るい画像または暗い画像であることを指定することにより、時間ディザ処理部1506で用いるディザパターンを切り替えてもよい。
上記の説明では、画像の明るさを輝度検出部1500で検出し、輝度頻度取得部1501で輝度頻度の検出を行った。しかし、入力される画像データにあらかじめ画素または画像1フレーム毎に対応した明るさ情報が付加されている場合、この明るさ情報を用いて時間ディザ処理部1506で用いるディザパターンの切り替えを行ってもよい。
(他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100,600,1100:画像処理装置、101:OETF変換部、102:時間ディザ部、103:送信部、104,125:制御部、105,126:メモリ、110:外部データ伝送路、120,1110:表示装置、121:受信部、122:DA変換部、123:EOTF変換部、124:表示部、601:空間ディザ部、1101:発光特性逆変換部、1111:発光特性変換部
Claims (17)
- Aビット(Aは正の整数)の画像からCビット(Cは正の整数)を切り捨てる処理を行い、切り捨て処理されたB=(A-C)ビットの画像をMフレーム/秒(Mは正の実数)のフレームレートで表示手段に表示させるための画像処理装置であって、
前記Aビットの画像における前記(A-C)ビットでの1ステップの中間値をとる画素値を、前記(A-C)ビットでの前記中間値を切り捨てた値と切り上げた値を前記中間値の前記1ステップ内での比率に応じて、Nフレーム(Nは正の整数)にわたって各フレームで選択的に出力することにより表現し、前記Aビットの画像を前記Nフレームを最小単位とするディザパターンで疑似的に表現する時間ディザ手段を備え、
前記時間ディザ手段は、M/Nが25以上となるように、前記Nの値を設定することを特徴とする画像処理装置。 - 前記時間ディザ手段は、M/Nが30以上となるように、前記Nの値を設定することを特徴とする請求項1に記載の画像処理装置。
- 入力画像を所定のOETF(Optical-Electro Transfer Function)を用いて変換し、前記Aビットの画像を得るOETF変換手段をさらに備えることを特徴とする請求項1または2に記載の画像処理装置。
- 前記時間ディザ手段は、前記Nフレームのディザパターンの開始フレームに対して、前記Aビットの画像の所定のビットの値に応じた時間ディザ処理を行い、前記Nフレームの開始フレーム以外のフレームに対して、前記開始フレームの所定のビットの値に応じた時間ディザ処理を行うことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記時間ディザ手段は、前記Nフレームの各フレームに対して、前記Aビットの画像の所定のビットの値に応じた時間ディザ処理を行うことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記(A-C)ビットでの1ステップの中間値をとる画素の値を、隣接する画素値に加算する空間ディザ手段をさらに備えることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記空間ディザ手段は、Aビットの画像の内、時間ディザ処理で使用しないビットの値に応じて空間ディザ処理を行うことを特徴とする請求項6に記載の画像処理装置。
- 前記空間ディザ手段は、最上位ビットをA-B-(N/2)-1、最下位ビットを0としたビット幅A-B-(N/2)-1が0以上であれば、空間ディザ処理を行うことを特徴とする請求項6または7に記載の画像処理装置。
- 前記時間ディザ手段は、最上位ビットをA-B-1、最下位ビットをA-B-(N/2)としたビット幅の範囲に対して時間ディザ処理を行うことを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
- 前記時間ディザ手段は、前記OETF変換手段が出力した画像のビット幅が、外部データ伝送路のビット幅より大きい場合に、M/Nが25以上となるように、前記Nの値を設定することを特徴とする請求項3に記載の画像処理装置。
- 前記時間ディザ手段は、入力された画像が緑成分または赤成分を多く含む場合に頻度をカウントする色相頻度取得手段と、前記色相頻度取得手段により頻度をカウントする条件を指定する頻度取得設定手段と、前記色相頻度取得手段により取得された頻度に応じて画像の色相を判定する色相判定手段とを有し、
前記色相判定手段の判定結果に応じて、使用するディザパターンを設定することを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。 - 前記時間ディザ手段は、入力された画像から輝度値を検出する輝度検出手段と、前記輝度検出手段により検出された輝度値から頻度をカウントする輝度頻度取得手段と、前記輝度頻度取得手段によりカウントする輝度値の範囲を指定する頻度取得設定手段と、前記輝度頻度取得手段により取得された頻度に応じて画像データの明るさを判定する明るさ判定手段とを有し、
前記明るさ判定手段の判定結果に応じて、使用するディザパターンを設定することを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。 - 請求項1乃至12のいずれか1項に記載の画像処理装置と、
画像を表示する表示装置と、
前記画像処理装置から前記表示装置に画像を伝送する外部データ伝送路と、を備え、
前記表示装置は、前記画像処理装置が有するOETF変換手段で用いたOETFの逆特性であるEOTFを用いて前記外部データ伝送路を通じて取得した画像を変換するEOTF変換手段を有することを特徴とする画像表示システム。 - 請求項1乃至12のいずれか1項に記載の画像処理装置と、
画像を表示する表示装置と、
前記画像処理装置から前記表示装置に画像を伝送する外部データ伝送路と、を備え、
前記画像処理装置は、OETF変換手段から取得した画像に対して、前記表示装置の表示素材に基づく発光特性の逆変換を行う発光特性逆変換手段を有し、
前記表示装置は、前記外部データ伝送路から取得した画像に対して、前記表示装置の表示素材に基づく発光特性の変換を行う発光特性変換手段を有することを特徴とする画像表示システム。 - 前記外部データ伝送路として、MIPIまたは、LVDSまたは、HDMIまたは、Display Portまたは、SDIを用いることを特徴とする請求項13または14に記載の画像表示システム。
- Aビット(Aは正の整数)の画像からCビット(Cは正の整数)を切り捨てる処理を行い、切り捨て処理されたB=(A-C)ビットの画像をMフレーム/秒(Mは正の実数)のフレームレートで表示手段に表示させるための画像処理方法であって、
前記Aビットの画像における前記(A-C)ビットでの1ステップの中間値をとる画素値を、前記(A-C)ビットでの前記中間値を切り捨てた値と切り上げた値を前記中間値の前記1ステップ内での比率に応じて、Nフレーム(Nは正の整数)にわたって各フレームで選択的に出力することにより表現し、前記Aビットの画像を前記Nフレームを最小単位とするディザパターンで疑似的に表現する時間ディザ工程を有し、
前記時間ディザ工程では、M/Nが25以上となるように、前記Nの値を設定することを特徴とする画像処理方法。 - 請求項16に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021004500A JP2022109140A (ja) | 2021-01-14 | 2021-01-14 | 画像処理装置、画像表示システム、画像処理方法、プログラム、記憶媒体 |
US17/567,265 US11637964B2 (en) | 2021-01-14 | 2022-01-03 | Image processing apparatus, image display system, image processing method having a time dithering process |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021004500A JP2022109140A (ja) | 2021-01-14 | 2021-01-14 | 画像処理装置、画像表示システム、画像処理方法、プログラム、記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022109140A true JP2022109140A (ja) | 2022-07-27 |
JP2022109140A5 JP2022109140A5 (ja) | 2024-01-15 |
Family
ID=82322209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021004500A Pending JP2022109140A (ja) | 2021-01-14 | 2021-01-14 | 画像処理装置、画像表示システム、画像処理方法、プログラム、記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11637964B2 (ja) |
JP (1) | JP2022109140A (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10261080A (ja) | 1997-03-14 | 1998-09-29 | Texas Instr Inc <Ti> | 画像の輪郭発生を減らす方法 |
EP1566957B1 (en) * | 2004-02-18 | 2007-09-26 | STMicroelectronics S.r.l. | Method of processing a digital image by means of ordered dithering technique |
EP1630772A1 (en) * | 2004-08-25 | 2006-03-01 | Deutsche Thomson-Brandt Gmbh | Method and device for dithering |
US8860750B2 (en) * | 2011-03-08 | 2014-10-14 | Apple Inc. | Devices and methods for dynamic dithering |
AU2015258334A1 (en) * | 2015-11-23 | 2017-06-08 | Canon Kabushiki Kaisha | Method, apparatus and system for dithering an image |
JP7063213B2 (ja) | 2018-09-25 | 2022-05-09 | 株式会社Jvcケンウッド | 映像信号処理装置、ディザパターン生成方法、及びディザパターン生成プログラム |
US11445211B1 (en) * | 2020-12-10 | 2022-09-13 | Amazon Technologies, Inc. | Psychovisually optimized dithering for image and video encoding |
-
2021
- 2021-01-14 JP JP2021004500A patent/JP2022109140A/ja active Pending
-
2022
- 2022-01-03 US US17/567,265 patent/US11637964B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20220224821A1 (en) | 2022-07-14 |
US11637964B2 (en) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4455513B2 (ja) | 画像処理方法、画像処理装置、及び画像表示装置 | |
US8326072B2 (en) | Image display apparatus, and method and apparatus for processing images | |
JP4613702B2 (ja) | ガンマ補正、画像処理方法及びプログラム、並びにガンマ補正回路、画像処理装置、表示装置 | |
KR100554580B1 (ko) | 화상 처리 장치, 화상 처리 방법, 화상 표시 장치, 및이동 전자 기기 | |
JP2000056726A (ja) | ディスプレイ装置及びその多階調化回路 | |
US9349173B2 (en) | Image processor and image processing method | |
JP3741212B2 (ja) | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および白黒伸張処理方法 | |
KR20040086600A (ko) | 작은 크기의 감마 보정 메모리를 구비한 비디오 프로세서 | |
JP2008015123A (ja) | 表示装置およびその駆動方法 | |
US9179163B2 (en) | Device and method for processing image | |
JP2022109140A (ja) | 画像処理装置、画像表示システム、画像処理方法、プログラム、記憶媒体 | |
JP2016142783A (ja) | 表示装置 | |
JP2004289746A (ja) | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 | |
JP2022172905A (ja) | 画像処理装置、画像処理方法、画像表示システム、画像表示システムの制御方法、プログラム、記憶媒体 | |
JP2000350054A (ja) | ガンマ処理装置 | |
JP3912079B2 (ja) | 表示装置の誤差拡散処理回路及び方法 | |
JP2004343560A (ja) | 画像処理方法、画像処理装置及びそれらを用いた液晶表示装置 | |
KR100508306B1 (ko) | 플라즈마 디스플레이에서의 시공간적 소수화소 분산기반의 오차 확산 방법 | |
JP2004120366A (ja) | 画像処理装置、および画像処理方法 | |
CN107591142B (zh) | 一种画面显示质量的调控方法、装置及存储介质 | |
US11756473B2 (en) | Digital gamma circuit and source driver including the same | |
JP4773739B2 (ja) | 画像処理方法 | |
KR20130063612A (ko) | 표시장치 및 이의 구동방법 | |
JPH08317321A (ja) | 画像表示装置 | |
JP2015111195A (ja) | 映像情報表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240104 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240104 |