JP2023107087A - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP2023107087A JP2023107087A JP2022008194A JP2022008194A JP2023107087A JP 2023107087 A JP2023107087 A JP 2023107087A JP 2022008194 A JP2022008194 A JP 2022008194A JP 2022008194 A JP2022008194 A JP 2022008194A JP 2023107087 A JP2023107087 A JP 2023107087A
- Authority
- JP
- Japan
- Prior art keywords
- color gamut
- compression
- image processing
- luminance
- gamut compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 84
- 238000003672 processing method Methods 0.000 title claims 3
- 230000006835 compression Effects 0.000 claims abstract description 166
- 238000007906 compression Methods 0.000 claims abstract description 166
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012886 linear function Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 27
- 238000003384 imaging method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
Abstract
【課題】 色域について望ましい圧縮を可能にするための技術を提供すること。【解決手段】 色域の圧縮前の最大の白色輝度、色域の圧縮後の最大の白色輝度、色域の圧縮前の基準の白色輝度、色域の圧縮後の基準の白色輝度、色域の圧縮前のグレーの輝度、をパラメータとして取得し、該パラメータに基づいて色域の圧縮特性を設定する。そして、画素値と、該画素値の色域を該圧縮特性に基づいて圧縮した画素値と、を対応付けた色域圧縮情報を生成する。【選択図】 図1
Description
本発明は、色域を圧縮するための技術に関するものである。
近年、通常のダイナミックレンジ(SDR)よりも高いダイナミックレンジ(HDR)の画像(HDR画像)を取得する機会が増えてきており、ライブ放送などで取得した画像を様々な出力機器に同時に出力するユースケースが出てきている。出力機器もHDRに対応したものが増えてきているが、まだSDR対応のみのものも多い。そのため、HDR画像をSDRの出力機器に出力する際、ダイナミックレンジの違いを吸収することが必須となる。
特許文献1には次のような技術が開示されている。入力機器の基準白色点と出力機器の基準白色点とを用いて順応白色点を算出する。そして、同じ場所で観察する場合には該算出した順応白色点を用いて画像変換を行い、別の場所で観察する場合には入力機器の基準白色点を用いて画像変換を行う。
特許文献2には次のような技術が開示されている。取得した画像データを構成する複数の画素について、該画素の輝度が所定輝度を超えるか否かを判定する。そして、判定の結果、該画素の輝度が所定輝度を超える場合と該画素の輝度が所定輝度以下の場合とで異なる方式で該画素の輝度を縮小するデュアルトーンマッピングを行い、表示装置に表示する。
特許文献1では、たとえば従来のSDRディスプレイとプリンタのように、最大再現できる白色輝度がほぼ同じ場合に、基準白色点のみを合わせることで、見た目を損なわずに色域の圧縮を行うことができた。しかし特許文献1では、最大再現できる白色輝度が大きく異なる場合には、ハイライト部の階調が飛んでしまう、シャドウ部の階調がつぶれてしまうなど、見た目を損なわずに色域を圧縮することはできない。
また特許文献2では、ハイライト部の階調やシャドウ部の階調を再現し、SDRの出力機器でHDR画像を出力することは可能であるが、画素毎に判定を行うためにリアルタイム処理が行えず、動画には適用できない。本発明では、色域について望ましい圧縮を可能にするための技術を提供する。
本発明の一様態は、色域の圧縮前の最大の白色輝度、色域の圧縮後の最大の白色輝度、色域の圧縮前の基準の白色輝度、色域の圧縮後の基準の白色輝度、色域の圧縮前のグレーの輝度、をパラメータとして取得する取得手段と、前記パラメータに基づいて色域の圧縮特性を設定する設定手段と、画素値と、該画素値の色域を前記圧縮特性に基づいて圧縮した画素値と、を対応付けた色域圧縮情報を生成する生成手段とを備えることを特徴とする。
本発明によれば、色域について望ましい圧縮を可能にするための技術を提供することができる。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[第1の実施形態]
本実施形態では、色域の圧縮前の最大の白色輝度、色域の圧縮後の最大の白色輝度、色域の圧縮前の基準の白色輝度、色域の圧縮後の基準の白色輝度、色域の圧縮前のグレーの輝度、をパラメータとして取得し、該パラメータに基づいて色域の圧縮特性を求め、画素値と、該画素値の色域を該圧縮特性に基づいて圧縮した画素値と、を対応付けた色域圧縮情報を生成する画像処理装置の一例について説明する。
本実施形態では、色域の圧縮前の最大の白色輝度、色域の圧縮後の最大の白色輝度、色域の圧縮前の基準の白色輝度、色域の圧縮後の基準の白色輝度、色域の圧縮前のグレーの輝度、をパラメータとして取得し、該パラメータに基づいて色域の圧縮特性を求め、画素値と、該画素値の色域を該圧縮特性に基づいて圧縮した画素値と、を対応付けた色域圧縮情報を生成する画像処理装置の一例について説明する。
本実施形態に係るシステムの構成例について、図1のブロック図を用いて説明する。図1に示す如く、本実施形態に係るシステムは、撮像装置1と、画像処理装置2と、表示装置3と、を有する。撮像装置1と画像処理装置2との間、画像処理装置2と表示装置3との間は、有線および/または無線のネットワークを介して互いにデータ通信が可能なように接続されている。このようなネットワークには、例えばLANやインターネットが適用可能である。なお、撮像装置1と画像処理装置2との間、画像処理装置2と表示装置3との間、におけるデータのやり取りの方法は特定の方法に限らない。例えば、一方の装置と他方の装置との間で直接データ通信を行っても良いし、1以上の装置を介してデータ通信を行っても良い。また、一方の装置から出力されたデータを保持したメモリ装置を他方の装置に接続して該データを該他方の装置に入力するようにしても良い。
先ず、撮像装置1について説明する。撮像装置1は、表示装置3が表示可能な色域よりも広い色域の画像(動画像や静止画像)を撮像可能な撮像装置であり、例えば、HDRの画像を撮像可能な撮像装置である。撮像装置1は、撮像した動画像を構成する各フレームや撮像した静止画像を撮像画像として、上記のネットワークを介して画像処理装置2に対して送信する。なお、撮像装置1は、画像処理装置2が処理対象とする画像(表示装置3が表示可能な色域よりも広い色域の画像)を画像処理装置2に供給可能なデバイスの一例である。よって、同様の機能を有するデバイスであれば、撮像装置1に代えてもしくは加えて画像処理装置2に接続するようにしても良い。「画像処理装置2が処理対象とする画像を画像処理装置2に供給可能なデバイス」には、例えば、サーバ装置、ハードディスクドライブ装置やUSBメモリなどのメモリ装置、を適用することができる。
次に、表示装置3について説明する。表示装置3は、液晶画面やタッチパネル画面を有する装置であり、画像処理装置2による処理結果を画像や文字などでもって表示することができる。表示装置3は、例えば、HDRの画像は表示できず、SDRの画像は表示可能な装置である。なお、表示装置3は、画像処理装置2が色域の圧縮を行った画像の出力先として適用可能なデバイスの一例であり、このようなデバイスであれば、表示装置3に代えて若しくは加えて画像処理装置2に接続するようにしても良い。
次に、画像処理装置2について説明する。画像処理装置2は、画像の色域を圧縮(変換)するために用いる色域圧縮情報を生成する。そして画像処理装置2は、撮像装置1から撮像画像を取得すると、該色域圧縮情報を用いて該撮像画像の色域を圧縮(変換)した色域圧縮画像を生成し、該生成した色域圧縮画像を表示装置3に表示させる。
次に、上記の色域圧縮情報を生成するために画像処理装置2が行う処理について、図2のフローチャートに従って説明する。ステップS1では、入力部201は、撮像装置1から送信された撮像画像を取得する。本実施形態では、撮像画像における各画素の画素値はRGB値(Rの画素値、Gの画素値、Bの画素値を有する)であるものとするが、撮像画像における各画素の画素値の色空間はRGBに限らない。
ステップS2では、設定部202は、図4に例示するGUI(グラフィカルユーザインターフェース)を表示装置3に表示させる。図4のGUIは、後述するダイナミックレンジ圧縮曲線を規定するパラメータをユーザに入力させるためのGUIであり、ユーザは不図示のユーザインターフェース(キーボード、マウス、タッチパネル画面など)を操作してこのようなパラメータを入力する。
領域401は、色域の圧縮前の最大の白色輝度を入力するための領域であり、領域402は、色域の圧縮後の最大の白色輝度を入力するための領域である。また、領域403は、色域の圧縮前の基準の白色輝度を入力するための領域であり、領域404は、色域の圧縮後の基準の白色輝度を入力するための領域である。領域405は、色域の圧縮前のグレーの輝度を入力するための領域である。
そして設定部202は、領域401~405に入力された値を用いてダイナミックレンジ圧縮曲線を設定する。領域401~405に入力された値を用いてダイナミックレンジ圧縮曲線を設定するために設定部202が行う処理について、図3のフローチャートに従って説明する。
ステップS201では、設定部202は、領域401に入力された値を「色域の圧縮前の最大の白色輝度」として取得し、領域402に入力された値を「色域の圧縮後の最大の白色輝度」として取得する。「色域の圧縮前の最大の白色輝度」の初期値は例えば、「撮像装置1によって撮像された撮像画像における最大輝度値」である。
ステップS202では、設定部202は、領域403に入力された値を「色域の圧縮前の基準の白色輝度」として取得し、領域404に入力された値を「色域の圧縮後の基準の白色輝度」として取得する。「色域の圧縮後の基準の白色輝度」の初期値は例えば、「表示装置3で表示可能な最大輝度」である。
ステップS203では、設定部202は、領域405に入力された値を「色域の圧縮前のグレーの輝度」として取得する。ステップS204では、設定部202は、領域401~405に入力された値(ダイナミックレンジ圧縮曲線のパラメータ)から、該ダイナミックレンジ圧縮曲線を設定することが可能であるか否かを判断する。
ダイナミックレンジ圧縮曲線は、色域の圧縮前の輝度をIx、色域の圧縮後の輝度をIy、とすると、Iy=f(Ix)で規定される関数fであり、以下の式(1)~式(3)で規定される関数である。
Iy=f(Ix)=αxI4/I3×Ix (Ix<I5の場合) … (1)
Iy=f(Ix)=I2-βx(I1-Ix)γ (Ix≧I5の場合)
… (2)
γ=(I1/I2-I5)/(1-I5)×I4/I3 … (3)
ここで、I1は色域の圧縮前の最大の白色輝度、I2は色域の圧縮後の最大の白色輝度、I3は色域の圧縮前の基準の白色輝度、I4は色域の圧縮後の基準の白色輝度、I5は色域の圧縮前のグレーの輝度である。また、α、βは予め設定されている定数である。
Iy=f(Ix)=I2-βx(I1-Ix)γ (Ix≧I5の場合)
… (2)
γ=(I1/I2-I5)/(1-I5)×I4/I3 … (3)
ここで、I1は色域の圧縮前の最大の白色輝度、I2は色域の圧縮後の最大の白色輝度、I3は色域の圧縮前の基準の白色輝度、I4は色域の圧縮後の基準の白色輝度、I5は色域の圧縮前のグレーの輝度である。また、α、βは予め設定されている定数である。
このようなダイナミックレンジ圧縮曲線は図5に示す如く、横軸に圧縮前の輝度、縦軸に圧縮後の輝度をとった座標系で規定される関数であり、圧縮前の輝度が0からグレー輝度(I5)までは線形関数で表される直線、グレー輝度(I5)から最大白色輝度(I1)までは指数関数で表される曲線となる。また、グレー輝度における直線と曲線の傾きは一致する。
しかし、色域の圧縮前のグレーの輝度未満の輝度に対応する色域の圧縮特性として線形関数をパラメータに基づいて求め、色域の圧縮前のグレーの輝度以上の輝度に対応する色域の圧縮特性として指数関数をパラメータに基づいて求めるのであれば、ダイナミックレンジ圧縮曲線の求め方は上記の式(1)~式(3)に限らない。
ここで、式(3)で求められるγの値が負の数になる場合には、ダイナミックレンジ圧縮曲線を設定することができない。ステップS204では、設定部202は、γの値が正の数であるのか負の数であるのかを判断する。そして設定部202は、γの値が正の値である場合には、ダイナミックレンジ圧縮曲線を設定することが可能であると判断し、γの値が負の値である場合には、ダイナミックレンジ圧縮曲線を設定することは可能ではないと判断する。
ダイナミックレンジ圧縮曲線を設定することは可能であると判断した場合には、処理はステップS205に進む。一方、ダイナミックレンジ圧縮曲線を設定することは可能ではないと判断した場合には、設定部202は、警告を出力し、処理はステップS201に進む。警告の出力形態は特定の出力形態に限らない。例えば、設定部202は、現在入力されているパラメータではダイナミックレンジ圧縮曲線を設定できない旨のメッセージや、パラメータの再入力を促すメッセージを、画像や文字などでもって表示装置3に表示させる。
ステップS205では、設定部202は、ステップS201~S203で取得したパラメータ(I1~I5)と上記の式(1)~式(3)とを用いてダイナミックレンジ圧縮曲線を設定(確定)する。
図2に戻って、次に、ステップS3では、生成部203は、それぞれの画素値について、該画素値と、該画素値における輝度成分をダイナミックレンジ圧縮曲線に基づいて圧縮した画素値と、を対応付けた3次元ルックアップテーブル(3DLUT)を生成する。そして生成部203は、該生成した3DLUTを保持部204に格納する。ステップS3における処理の詳細について、図6のフローチャートに従って説明する。
ステップS301では、生成部203は、3DLUTにおける複数の格子点(画素値)のうち未選択の1つを選択格子点として選択する。例えば、3DLUTが17グリッドの3DLUTの場合、以下の式(4)に示す4913(=17x17x17)個の格子点(画素値:RGB値)のうち未選択の1つを未選択格子点として選択する。
(R,G,B)=(0,0,0)、(0,0,64)…(0,0,1023)、
(0,64,0)、(0,64,64)…(0,64,1023)、
…
(1023,1023,0)、(1023,1023,64)…(1023,1023,1023) … (4)
ステップS302では、生成部203は、未選択格子点であるRGB値に対応するXYZ値を、以下の式(5)~式(7)を用いて求め、該求めたXYZ値に対応するICtCp値を以下の式(8)~式(10)を用いて求める。PQガンマのICtCp色空間は視覚的に線形性が高く、ダイナミックレンジ圧縮に適している。
(R,G,B)=(0,0,0)、(0,0,64)…(0,0,1023)、
(0,64,0)、(0,64,64)…(0,64,1023)、
…
(1023,1023,0)、(1023,1023,64)…(1023,1023,1023) … (4)
ステップS302では、生成部203は、未選択格子点であるRGB値に対応するXYZ値を、以下の式(5)~式(7)を用いて求め、該求めたXYZ値に対応するICtCp値を以下の式(8)~式(10)を用いて求める。PQガンマのICtCp色空間は視覚的に線形性が高く、ダイナミックレンジ圧縮に適している。
ステップS303では、生成部203は、ステップS302で求めたICtCp値のうちIの値を用いてダイナミックレンジ圧縮曲線の値f(I)、つまり、圧縮後のIの値を求める。
ステップS304では、生成部203は、ステップS303で求めた「圧縮後のIの値」と、ステップS302で求めたICtCp値のうちCtCpの値と、で構成されるICtCp値に対応するXYZ値を以下の式(11)~式(13)を用いて求める。
そして生成部203は、式(11)~式(13)を用いて求めたXYZ値から、上記の式(14)を用いてX’Y’Z’値を求め、該求めたX’Y’Z’値に対応するRGB値を、上記の式(15)~式(16)を用いて求める。そして生成部203は、未選択格子点であるRGB値と、該RGB値についてステップS304で求めたRGB値と、を対応付けて3DLUTに登録する。
ステップS305では、生成部203は、3DLUTにおける全ての格子点を選択格子点として選択したか否かを判断する。この判断の結果、3DLUTにおける全ての格子点を選択格子点として選択した場合には、処理はステップS306に進む。一方、3DLUTにおける格子点のうち未だ選択格子点として選択していない格子点が残っている場合には、尻はステップS301に進む。
ステップS306では、生成部203は、3DLUTを保持部204に格納する。なお、保持部204は画像処理装置2が有することに限らず、画像処理装置2がアクセス可能な外部装置であっても良い。
図2に戻って、次に、ステップS4では、画像処理部205は、保持部204に格納されている3DLUTを取得する。そして画像処理部205は、ステップS1で取得した撮像画像における各画素のRGB値を3DLUTを用いて変換する。例えば画像処理部205は、撮像画像における着目画素のRGB値を、3DLUTにおいて該RGB値に対応付けられているRGB値に変換する。このようにして画像処理部205は、撮像画像における各画素のRGB値が変換された変換撮像画像を生成する。
ステップS5では、出力部206は、ステップS5において生成された変換撮像画像(ステップS1で取得した撮像画像の色域を3DLUTを用いて圧縮した変換撮像画像)を表示装置3に表示させる。
このように、本実施形態によれば、入力と出力とで最大白色輝度が大きく異なる(例えば2000nit→100nit、最大10000nit→100nit)場合でも、ハイライト部およびシャドウ部の階調を再現しつつ、シャドウ部の輝度も必要以上に下げずに色域の圧縮を行うことができる。また、色域の圧縮はLUTを用いた処理であるため、リアルタイム処理が可能であり、例えば、動画像における各フレームを色域の圧縮対象とすることができる。
なお、本実施形態では、色域の圧縮特性としてダイナミックレンジ圧縮曲線を求めたが、色域の圧縮特性はダイナミックレンジ圧縮曲線に限らない。例えば、ダイナミックレンジ圧縮曲線上の複数の点をサンプリングし、サンプリングしたそれぞれの点に対応する横軸の値(圧縮前の輝度)および縦軸の値(圧縮後の輝度)が登録されたテーブルを色域の圧縮特性として求めても良い。
[第2の実施形態]
本実施形態を含む以下の各実施形態では、第1の実施形態との差分について説明し、以下で特に触れない限りは第1の実施形態と同様であるものとする。本実施形態では、ステップS2におけるダイナミックレンジ圧縮曲線の設定方法が第1の実施形態と異なる。本実施形態に係るステップS2について、図7のフローチャートに従って説明する。
本実施形態を含む以下の各実施形態では、第1の実施形態との差分について説明し、以下で特に触れない限りは第1の実施形態と同様であるものとする。本実施形態では、ステップS2におけるダイナミックレンジ圧縮曲線の設定方法が第1の実施形態と異なる。本実施形態に係るステップS2について、図7のフローチャートに従って説明する。
本実施形態に係るステップS2では、設定部202は、図8に例示するGUI800を表示装置3に表示させる。以下の説明では、GUI800の表示制御やユーザ操作に応じたGUI800における各種の処理は何れも設定部202が行っているものとするが、幾つかの機能部で処理を分散させても良い。
ユーザはユーザインターフェースを操作してスライダ802aを左右に移動させることで、色域の圧縮前の最大の白色輝度を増減させることができ、スライダ802aの現在位置に対応する「色域の圧縮前の最大の白色輝度」は領域802bに表示される。なお、ユーザがユーザインターフェースを操作して領域802bに値を入力した場合には、該値が色域の圧縮前の最大の白色輝度として設定される。
ユーザはユーザインターフェースを操作してスライダ803aを左右に移動させることで、色域の圧縮後の最大の白色輝度を増減させることができ、スライダ803aの現在位置に対応する「色域の圧縮後の最大の白色輝度」は領域803bに表示される。なお、ユーザがユーザインターフェースを操作して領域803bに値を入力した場合には、該値が色域の圧縮後の最大の白色輝度として設定される。
ユーザはユーザインターフェースを操作してスライダ804aを左右に移動させることで、色域の圧縮前の基準の白色輝度を増減させることができ、スライダ804aの現在位置に対応する「色域の圧縮前の基準の白色輝度」は領域804bに表示される。なお、ユーザがユーザインターフェースを操作して領域804bに値を入力した場合には、該値が色域の圧縮前の基準の白色輝度として設定される。
ユーザはユーザインターフェースを操作してスライダ805aを左右に移動させることで、色域の圧縮後の基準の白色輝度を増減させることができ、スライダ805aの現在位置に対応する「色域の圧縮後の基準の白色輝度」は領域805bに表示される。なお、ユーザがユーザインターフェースを操作して領域805bに値を入力した場合には、該値が色域の圧縮後の基準の白色輝度として設定される。
ユーザはユーザインターフェースを操作してスライダ806aを左右に移動させることで、色域の圧縮前のグレーの輝度を増減させることができ、スライダ806aの現在位置に対応する「色域の圧縮前のグレーの輝度」は領域806bに表示される。なお、ユーザがユーザインターフェースを操作して領域806bに値を入力した場合には、該値が色域の圧縮前のグレーの輝度として設定される。
またユーザがユーザインターフェースを操作してボタン807を指示すると、図8のGUIは閉じてダイナミックレンジ圧縮曲線の設定処理は終了する。領域801には、ステップS1で取得した撮像画像の色域を現在の3DLUTで変換した変換撮像画像が表示される。
ステップS211では、設定部202は、ユーザ操作に応じてボタン807が指示されたか否か(処理を継続するか否か)を判断する。この判断の結果、ボタン807が指示されている場合には、処理は継続しないものと判断し、図7のフローチャートに従った処理は終了する。一方、ボタン807が指示されていない場合には、処理は継続するものと判断し、処理はステップS212に進む。
ステップS212では、設定部202は、スライダ802a、803a、804a、805a、806aのいずれかが操作されたか否か(ダイナミックレンジ圧縮曲線の設定に変更があったか否か)を判断する。この判断の結果、スライダ802a、803a、804a、805a、806aのいずれかが操作された場合には、ダイナミックレンジ圧縮曲線の設定に変更があったと判断し、処理はステップS213に進む。一方、スライダ802a、803a、804a、805a、806aの何れも操作されていない場合には、ダイナミックレンジ圧縮曲線の設定に変更はないものと判断し、処理はステップS211に進む。
ステップS213では、設定部202は、操作されたスライダに対応する設定を変更する(反映させる)。上記の如く、ユーザがユーザインターフェースを操作してスライダ802aを操作した場合には、色域の圧縮前の最大の白色輝度が該操作に応じて変更される。ユーザがユーザインターフェースを操作してスライダ803aを操作した場合には、色域の圧縮後の最大の白色輝度が該操作に応じて変更される。ユーザがユーザインターフェースを操作してスライダ804aを操作した場合には、色域の圧縮前の基準の白色輝度が該操作に応じて変更される。ユーザがユーザインターフェースを操作してスライダ805aを操作した場合には、色域の圧縮後の基準の白色輝度が該操作に応じて変更される。ユーザがユーザインターフェースを操作してスライダ806aを操作した場合には、色域の圧縮前のグレーの輝度が該操作に応じて変更される。
そして設定部202は、現在の「色域の圧縮前の最大の白色輝度、色域の圧縮後の最大の白色輝度、色域の圧縮前の基準の白色輝度、色域の圧縮後の基準の白色輝度、色域の圧縮前のグレーの輝度」を用いて、上記の式(1)~式(3)に従ってダイナミックレンジ圧縮曲線を設定(確定)する。
ステップS214では、生成部203は、ステップS213で設定したダイナミックレンジ圧縮曲線を用いて上記のステップS3と同様の処理を行って3DLUTを生成し、該生成した3DLUTを保持部204に格納する。
ステップS215では、画像処理部205は上記のステップS4と同様の処理を行って変換撮像画像を生成する。そして出力部206は、該生成された変換撮像画像をGUI800における領域801に表示させる。ステップS216では、設定部202は、下記の式(17)を満たすI1、I4、I5(上記の式(3)におけるγを0にするI1、I4、I5)を求める。
(I1/I2-I5)/(1-I5)×I4/I3=0 … (17)
そして設定部202は、求めたI1、I4、I5をユーザに通知する。求めたI1、I4、I5をユーザに通知する方法は特定の通知方法に限らない。I1を例にとると、例えば設定部202は、スライダ802aの移動範囲において式(17)を満たすI1に対応する位置にマーカを表示し、スライダ802aが該位置に重ならないように制御するようにしても良い。また例えば、領域802bに式(17)を満たすI1が入力された場合には、他の値を入力するよう警告を表示し、該I1を受け付けない(該I1を用いたダイナミックレンジ圧縮曲線の算出は行わない)ようにしても良い。また例えば、設定部202は、式(17)を満たすI1、I4、I5を、式(17)を満たすI1、I4、I5の入力を行わないようにユーザに警告する旨のメッセージと共に表示しても良い。
そして設定部202は、求めたI1、I4、I5をユーザに通知する。求めたI1、I4、I5をユーザに通知する方法は特定の通知方法に限らない。I1を例にとると、例えば設定部202は、スライダ802aの移動範囲において式(17)を満たすI1に対応する位置にマーカを表示し、スライダ802aが該位置に重ならないように制御するようにしても良い。また例えば、領域802bに式(17)を満たすI1が入力された場合には、他の値を入力するよう警告を表示し、該I1を受け付けない(該I1を用いたダイナミックレンジ圧縮曲線の算出は行わない)ようにしても良い。また例えば、設定部202は、式(17)を満たすI1、I4、I5を、式(17)を満たすI1、I4、I5の入力を行わないようにユーザに警告する旨のメッセージと共に表示しても良い。
なお、設定部202は、下記の式(17-1)を満たすI1~I5の範囲(上記の式(3)におけるγが負の数になるようなI1~I5の範囲)、つまり、ダイナミックレンジ圧縮曲線の設定ができないI1~I5の範囲をユーザに通知するようにしても良い。
(I1/I2-I5)/(1-I5)×I4/I3<0 … (17-1)
Is(s=1~5)の範囲は、I1~I5のうちIs以外の4つの値を式(17-1)に代入して求める。求めたI1~I5の範囲をユーザに通知する方法は特定の通知方法に限らない。I1を例にとると、例えば設定部202は、スライダ802aの移動範囲において式(17-1)を満たすI1の範囲を示すバーを表示し、スライダ802aが該範囲に入らないように制御するようにしても良い。また例えば、領域802bに式(17-1)を満たすI1の範囲内の値が入力された場合には、他の値を入力するよう警告を表示し、該値を受け付けない(該値を用いたダイナミックレンジ圧縮曲線の算出は行わない)ようにしても良い。また例えば、設定部202は、式(17-1)を満たすI1~I5の範囲を、該範囲内の値の入力を行わないようにユーザに警告する旨のメッセージと共に表示しても良い。
Is(s=1~5)の範囲は、I1~I5のうちIs以外の4つの値を式(17-1)に代入して求める。求めたI1~I5の範囲をユーザに通知する方法は特定の通知方法に限らない。I1を例にとると、例えば設定部202は、スライダ802aの移動範囲において式(17-1)を満たすI1の範囲を示すバーを表示し、スライダ802aが該範囲に入らないように制御するようにしても良い。また例えば、領域802bに式(17-1)を満たすI1の範囲内の値が入力された場合には、他の値を入力するよう警告を表示し、該値を受け付けない(該値を用いたダイナミックレンジ圧縮曲線の算出は行わない)ようにしても良い。また例えば、設定部202は、式(17-1)を満たすI1~I5の範囲を、該範囲内の値の入力を行わないようにユーザに警告する旨のメッセージと共に表示しても良い。
このように、本実施形態によれば、入力と出力とで最大の白色輝度が大きく異なる(例えば2000nit→100nit、最大10000nit→100nit)場合でも、ハイライト部およびシャドウ部の階調を再現しつつ、シャドウ部の輝度も必要以上に下げずに色域の圧縮を行うことができる。また、LUTを用いた色域の圧縮の結果はすぐに確認できる。また、色域の変換はLUTを用いた処理であるため、リアルタイム処理が可能であり、例えば、動画像における各フレームを色域の変換対象とすることができる。
[第3の実施形態]
第1の実施形態では、ステップS303で求めた「圧縮後のIの値」と、ステップS302で求めたICtCp値のうちCtCpの値と、で構成されるICtCp値に対応するRGB値を、未選択格子点であるRGB値と対応付けて3DLUTに登録した。
第1の実施形態では、ステップS303で求めた「圧縮後のIの値」と、ステップS302で求めたICtCp値のうちCtCpの値と、で構成されるICtCp値に対応するRGB値を、未選択格子点であるRGB値と対応付けて3DLUTに登録した。
本実施形態では、ステップS303で求めた「圧縮後のIの値」と、彩度方向に圧縮したCtCpの値と、で構成されるICtCp値に対応するRGB値を、未選択格子点であるRGB値と対応付けて3DLUTに登録する。
本実施形態に係るステップS3における処理の詳細について、図9のフローチャートに従って説明する。図9において図6と同様の処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。
ステップS307では、生成部203は、ステップS302で求めたICtCp値のうちCtの値、Cpの値を以下の式(18)~式(21)を用いてそれぞれ圧縮し、圧縮後のCtの値、Cpの値を求める。図10に圧縮前後のCtCpの値の関係を示す。
ここで、Ct1、Cp1はそれぞれ、ステップS302で求めたICtCp値のうちCt、Cpであり、S1はCt1およびCp1から求められる圧縮前の彩度である。また、Ct2、Cp2はそれぞれ、圧縮後のCt、圧縮後のCpであり、S2はCt2およびCp2から求められる圧縮後の彩度である。
ステップS304では生成部203は、ステップS303で求めた「圧縮後のIの値」と、ステップS307で求めた「圧縮後のCtの値、圧縮後のCpの値」と、で構成されるICtCp値に対応するXYZ値を上記の式(11)~式(13)を用いて求める。そして生成部203は、式(11)~式(13)を用いて求めたXYZ値から、上記の式(14)を用いてX’Y’Z’値を求め、該求めたX’Y’Z’値に対応するRGB値を、上記の式(15)~式(16)を用いて求める。
このように、本実施形態によれば、入力と出力とで最大白色輝度が大きく異なる(例えば2000nit→100nit、最大10000nit→100nit)場合でも、ハイライト部およびシャドウ部の階調、彩度方向の階調を再現しつつ、シャドウ部の輝度も必要以上に下げずに色域の圧縮を行うことができる。また、色域の変換はLUTを用いた処理であるため、リアルタイム処理が可能であり、例えば、動画像における各フレームを色域の変換対象とすることができる。
[第4の実施形態]
図1に示した画像処理装置2の各機能部はハードウェアで実装しても良いし、保持部204を除く他の各機能部をソフトウェア(コンピュータプログラム)で実装しても良い。後者の場合、このようなソフトウェアを実行可能なコンピュータ装置は画像処理装置2に適用可能である。画像処理装置2に適用可能なコンピュータ装置のハードウェア構成例について、図11のブロック図を用いて説明する。
図1に示した画像処理装置2の各機能部はハードウェアで実装しても良いし、保持部204を除く他の各機能部をソフトウェア(コンピュータプログラム)で実装しても良い。後者の場合、このようなソフトウェアを実行可能なコンピュータ装置は画像処理装置2に適用可能である。画像処理装置2に適用可能なコンピュータ装置のハードウェア構成例について、図11のブロック図を用いて説明する。
CPU1101は、RAM1102やROM1103に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりCPU1101は、コンピュータ装置全体の動作制御を行うと共に、画像処理装置2が行うものとして説明した各種の処理を実行もしくは制御する。
RAM1102は、ROM1103や外部記憶装置1106からロードされたコンピュータプログラムやデータを格納するためのエリア、I/F1107を介して外部から受信したコンピュータプログラムやデータを格納するためのエリア、を有する。さらにRAM1102は、CPU1101が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM1102は、各種のエリアを適宜提供することができる。
ROM1103には、コンピュータ装置の設定データ、コンピュータ装置の起動に係るコンピュータプログラムやデータ、コンピュータ装置の基本動作に係るコンピュータプログラムやデータ、などが格納されている。
操作部1104は、キーボード、マウス、タッチパネルなどのユーザインターフェースであり、ユーザが操作することで各種の指示をCPU1101に対して入力することができる。例えばユーザは操作部1104を操作して図8のGUI800を操作することができる。
表示部1105は、液晶画面やタッチパネル画面を有し、CPU1101による処理結果を画像や文字などでもって表示する。表示部1105は上記の表示装置3であっても良いし、表示装置3とは別個の装置であっても良い。後者の場合、上記の説明において表示装置3に表示するものとして説明したものを表示部1105に表示させても良い。
外部記憶装置1106は、ハードディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置1106には、OS(オペレーティングシステム)、画像処理装置2が行うものとして説明した各種の処理をCPU1101に実行もしくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置1106に保存されているコンピュータプログラムやデータは、CPU1101におる制御に従って適宜RAM1102にロードされ、CPU1101による処理対象となる。なお、図1の保持部204は、RAM1102や外部記憶装置1106を用いて実装可能である。
I/F1107は、外部装置との間のデータ通信を行うための通信インターフェースである。例えばI/F1107は、撮像装置1を接続するためのI/Fと、表示装置3を接続するためのI/Fと、を有する。
CPU1101、RAM1102、ROM1103、操作部1104、表示部1105、外部記憶装置1106、I/F1107は何れもシステムバス1108に接続されている。なお、図11に示した構成は画像処理装置2に適用可能なコンピュータ装置のハードウェア構成の一例であり、適宜変更/変形が可能である。
また、上記の各実施形態で使用した数値、処理タイミング、処理順、処理の主体、データ(情報)の送信先/送信元/格納場所などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。
また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
201:入力部 202:設定部 203:生成部 204:保持部 205:画像処理部 206:出力部
Claims (12)
- 色域の圧縮前の最大の白色輝度、色域の圧縮後の最大の白色輝度、色域の圧縮前の基準の白色輝度、色域の圧縮後の基準の白色輝度、色域の圧縮前のグレーの輝度、をパラメータとして取得する取得手段と、
前記パラメータに基づいて色域の圧縮特性を設定する設定手段と、
画素値と、該画素値の色域を前記圧縮特性に基づいて圧縮した画素値と、を対応付けた色域圧縮情報を生成する生成手段と
を備えることを特徴とする画像処理装置。 - 前記設定手段は、色域の圧縮前のグレーの輝度未満の輝度に対応する色域の圧縮特性として線形関数を前記パラメータに基づいて求め、色域の圧縮前のグレーの輝度以上の輝度に対応する色域の圧縮特性として指数関数を前記パラメータに基づいて求めることを特徴とする請求項1に記載の画像処理装置。
- 前記設定手段は、Ixを色域の圧縮前の輝度、Iyを色域の圧縮後の輝度、I1を色域の圧縮前の最大の白色輝度、I2を色域の圧縮後の最大の白色輝度、I3を色域の圧縮前の基準の白色輝度、I4を色域の圧縮後の基準の白色輝度、I5を色域の圧縮前のグレーの輝度、α、βを定数とすると、
Ix<I5に対応する色域の圧縮特性としてIy=αxI4/I3×Ixを求め、
Ix≧I5に対応する色域の圧縮特性としてIy=I2-βx(I1-Ix)γ、γ=(I1/I2-I5)/(1-I5)×I4/I3を求める
ことを特徴とする請求項2に記載の画像処理装置。 - さらに、
前記γの値が負の値である場合には警告を出力する手段を備えることを特徴とする請求項3に記載の画像処理装置。 - さらに、
前記γを0にするI1、I4、I5をユーザに通知する手段を備えることを特徴とする請求項3に記載の画像処理装置。 - さらに、
前記γが負の数となるI1~I5の範囲をユーザに通知する手段を備えることを特徴とする請求項3に記載の画像処理装置。 - 前記生成手段は、画素値と、該画素値のICtCpにおけるIの色域を前記圧縮特性に基づいて圧縮した画素値と、を対応付けた色域圧縮情報を生成することを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。
- 前記生成手段は、画素値と、該画素値のICtCpにおけるIの色域を前記圧縮特性に基づいて圧縮し且つ該ICtCpにおけるCtCpの色域を彩度方向に圧縮した画素値と、を対応付けた色域圧縮情報を生成することを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。
- 前記取得手段は、ユーザ操作に応じて入力された前記パラメータを取得することを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。
- さらに、
入力された画像の色域を前記色域圧縮情報を用いて圧縮して出力する手段を備えることを特徴とする請求項1乃至9の何れか1項に記載の画像処理装置。 - 画像処理装置が行う画像処理方法であって、
前記画像処理装置の取得手段が、色域の圧縮前の最大の白色輝度、色域の圧縮後の最大の白色輝度、色域の圧縮前の基準の白色輝度、色域の圧縮後の基準の白色輝度、色域の圧縮前のグレーの輝度、をパラメータとして取得する取得工程と、
前記画像処理装置の設定手段が、前記パラメータに基づいて色域の圧縮特性を設定する設定工程と、
前記画像処理装置の生成手段が、画素値と、該画素値の色域を前記圧縮特性に基づいて圧縮した画素値と、を対応付けた色域圧縮情報を生成する生成工程と
を備えることを特徴とする画像処理方法。 - コンピュータを、請求項1乃至10の何れか1項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022008194A JP2023107087A (ja) | 2022-01-21 | 2022-01-21 | 画像処理装置、画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022008194A JP2023107087A (ja) | 2022-01-21 | 2022-01-21 | 画像処理装置、画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023107087A true JP2023107087A (ja) | 2023-08-02 |
Family
ID=87473427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022008194A Pending JP2023107087A (ja) | 2022-01-21 | 2022-01-21 | 画像処理装置、画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023107087A (ja) |
-
2022
- 2022-01-21 JP JP2022008194A patent/JP2023107087A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10694079B2 (en) | Imaging apparatus that outputs raw image data and associated metadata and image processing apparatus that uses same for further processing | |
JP4209439B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、画像処理プログラムおよび集積回路装置 | |
JP2003087591A (ja) | 画像処理方法及び画像処理装置 | |
JP2004219731A (ja) | 情報表示装置及び情報処理装置 | |
JP6700880B2 (ja) | 情報処理装置および情報処理方法 | |
JP2020074501A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2015070338A (ja) | 画像処理装置及びプログラム | |
US10152945B2 (en) | Image processing apparatus capable of performing conversion on input image data for wide dynamic range | |
JP6818284B1 (ja) | 画像処理装置、画像処理システム、及び画像処理方法 | |
JP2023107087A (ja) | 画像処理装置、画像処理方法 | |
JP2007208912A (ja) | 画像処理装置及び制御方法、コンピュータプログラム、記憶媒体 | |
JP5879120B2 (ja) | 映像信号処理装置、ベクトルスコープ、及びプログラム | |
JPH03139976A (ja) | トーンカーブ設定方法 | |
JP2019080156A (ja) | 画像処理方法および画像処理装置 | |
US11363245B2 (en) | Image processing device, image processing method, and image processing program | |
JP5605041B2 (ja) | 画像処理装置 | |
JP2004200938A (ja) | 画像処理装置及び画像処理方法 | |
JP2020088709A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2016045392A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2007158446A (ja) | 画像処理装置、画像処理方法、プログラム、記憶媒体 | |
JP2007094860A (ja) | 画像に応じたrawデータの現像 | |
JP2009239837A (ja) | 色変換装置および方法 | |
JP2020060626A (ja) | 画像処理装置、画像処理方法 | |
JP2018205592A (ja) | 情報処理装置および情報処理方法 | |
WO2018056065A1 (ja) | 画像データ表示システム、画像データ表示方法、および画像データ表示プログラム記録媒体 |