JP2018125884A - 画像処理装置、撮像装置およびプログラム - Google Patents
画像処理装置、撮像装置およびプログラム Download PDFInfo
- Publication number
- JP2018125884A JP2018125884A JP2018073077A JP2018073077A JP2018125884A JP 2018125884 A JP2018125884 A JP 2018125884A JP 2018073077 A JP2018073077 A JP 2018073077A JP 2018073077 A JP2018073077 A JP 2018073077A JP 2018125884 A JP2018125884 A JP 2018125884A
- Authority
- JP
- Japan
- Prior art keywords
- color
- signal
- value
- image
- saturation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
【課題】出力用の色空間において色域外の色についても、輝度や色相を変化させることなく、好適な色再現性を簡単な構成で実現すること。【解決手段】撮像素子から出力されるカラー画像から出力用画像を作成する画像処理装置であって、カラー画像の信号を取得する取得部と、カラー画像の信号を輝度信号および複数の色差信号に変換する信号変換部と、出力用画像の色空間で再現可能な色域の外に色座標が存在する注目画素において、輝度信号を維持するとともに、複数の色差信号の比を維持した状態で、複数の色差信号を調整することにより、注目画素の色相を維持しつつ彩度を調整する彩度調整部と、を備え、彩度調整部は、注目画素の第1の色成分と第2の色成分のうち、第1の色成分の処理に基づいて、第2の色成分の調整の処理を行う。【選択図】図1
Description
本発明は、画像処理装置、撮像装置およびプログラムに関する。
従来より、電子カメラなどにより撮影した画像から、モニタやプリンタなどに出力する画像を作成する様々な方法が考えられている。例えば、センサRGBから出力用の色空間の画像を作成する場合には、センサRGBを、より狭い色空間へ色空間変換することになる。このように、センサRGBをそのまま出力用の色空間(sRGBの他に、例えば、adobeRGBなど)へ3×3の色変換マトリクスを用いて変換すると、出力用の色空間では再現できない高彩度部において、マイナス値やオーバーフロー値が発生してしまう。さらに、これらの値を0値や表示最大値でクリップすると、輝度が低下して階調が失われてしまったり、色合いが変わってしまったりするという問題があった。そこで、特許文献1の発明では、3次元テーブルを用いて、再現可能な色域外の色を、色域内へ変換する技術が開示されている。
しかし、特許文献1の発明では、3次元テーブルのデータ量が増大するだけでなく、演算規模も増大するという問題があった。
本発明は、上記問題に鑑みてなされたものであり、出力用の色空間において色域外の色についても、輝度や色相を変化させることなく、好適な色再現性を簡単な構成で実現することを目的とする。
本発明の一例である画像処理装置は、撮像素子から出力されるカラー画像から出力用画像を作成する画像処理装置であって、前記カラー画像の信号を取得する取得部と、前記カラー画像の信号を輝度信号および複数の色差信号に変換する信号変換部と、前記出力用画像の色空間で再現可能な色域の外に色座標が存在する注目画素において、前記輝度信号を維持するとともに、前記複数の色差信号の比を維持した状態で、前記複数の色差信号を調整することにより、前記注目画素の色相を維持しつつ彩度を調整する彩度調整部と、を備え、前記彩度調整部は、前記注目画素の第1の色成分と第2の色成分のうち、前記第1の色成分の処理に基づいて、前記第2の色成分の調整の処理を行う。
なお、前記信号変換部は、前記カラー画像の信号をYCbCrの信号に変換し、前記彩度調整部は、前記YCbCrの信号のうち、Yの信号を維持するとともに、Cbの信号およびCrの信号の比を維持した状態で、前記Cbの信号および前記Crの信号を調整しても良い。
また、前記カラー画像の信号は、RGBの信号であり、前記彩度調整部は、前記注目画素の前記RGBの信号のうち、前記第1の色成分の前記色域へのクリップ処理に基づいて、前記色差信号を調整する第1の調整部と、前記注目画素の前記RGBの信号のうち、前記第1の色成分とは異なる前記第2の色成分の前記色域へのクリップ処理に基づいて、前記第1の調整部による調整後の前記色差信号を調整する第2の調整部と、前記注目画素の前記RGBの信号のうち、前記第1の色成分および前記第2の色成分とは異なる第3の色成分の前記色域へのクリップ処理に基づいて、前記第2の調整部による調整後の前記色差信号を調整する第3の調整部とを有しても良い。
本発明の一例である撮像装置は、カラー画像を撮像する撮像部と、上記の画像処理装置とを備える。
本発明の一例であるプログラムは、撮像素子から出力されるカラー画像から出力用画像を作成するプログラムであって、前記カラー画像の信号を取得する処理と、前記カラー画像の信号を輝度信号および複数の色差信号に変換する処理と、前記出力用画像の色空間で再現可能な色域の外に色座標が存在する注目画素において、前記輝度信号を維持するとともに、前記複数の色差信号の比を維持した状態で、前記複数の色差信号を調整することにより、前記注目画素の色相を維持しつつ彩度を調整する処理と、をそれぞれコンピュータに実行させ、前記彩度を調整する処理では、前記注目画素の第1の色成分と第2の色成分のうち、前記第1の色成分の処理に基づいて、前記第2の色成分の調整の処理を行う。
本発明によれば、出力用の色空間において色域外の色についても、輝度や色相を変化させることなく、好適な色再現性を簡単な構成で実現することができる。
<第1実施形態の説明>
図1は、画像処理装置、撮像装置の一例である第1実施形態の電子カメラの構成例を示す図である。
図1は、画像処理装置、撮像装置の一例である第1実施形態の電子カメラの構成例を示す図である。
電子カメラ11は、撮影光学系12と、撮像部13と、画像処理エンジン14と、第1メモリ15と、第2メモリ16と、記録I/F17と、表示部18と、操作部19とを備えている。ここで、撮像部13、第1メモリ15、第2メモリ16、記録I/F17、表示部18および操作部19は、それぞれ画像処理エンジン14と接続されている。
撮像部13は、撮影光学系12によって結像された被写体の像を撮像(撮影)するモジュールである。例えば、撮像部13は、光電変換を行う撮像素子と、撮像素子の出力にアナログ信号処理やA/D変換処理などを施す信号処理回路とを含んでいる。ここで、撮像素子の画素には、例えば公知のベイヤ配列に従ってRGBのカラーフィルタが配置されており、カラーフィルタでの色分解によって各色に対応する画像信号を出力する。これにより、撮像部13は、撮影時にカラーの画像を取得できる。なお、撮像部13で撮影された画像のデータは、画像処理エンジン14に入力される。
画像処理エンジン14は、電子カメラ11の動作を統括的に制御するプロセッサであって、画像のデータに対して、色補間、階調変換、ホワイトバランス補正、輪郭強調、ノイズ除去などの画像処理を施す。また、画像処理エンジン14は、プログラムの実行により、信号変換部21、彩度調整部22として機能する(信号変換部21、彩度調整部22の動作については後述する)。
第1メモリ15は、各画像のデータを一時的に記憶するメモリであって、例えば揮発性の記憶媒体であるSDRAMで構成される。また、第2メモリ16は、画像処理エンジン14で実行するプログラムや、このプログラムで使用される各種データを記憶するメモリであって、例えばフラッシュメモリ等の不揮発性メモリで構成される。
記録I/F17は、不揮発性の記憶媒体20を接続するためのコネクタを有している。そして、記録I/F17は、コネクタに接続された記憶媒体20に対して画像のデータの書き込み/読み込みを実行する。上記の記憶媒体20は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、図1では記憶媒体20の一例としてメモリカードを図示する。
表示部18は、各種画像を表示する表示装置である。表示部18は、例えば、撮像部13の出力による画像のライブビュー表示や、記憶媒体20からの出力による再生表示を行う。また、操作部19は、ユーザの各種操作(例えば被写体の撮影指示や、輝度調整の設定変更の指示など)を受け付けるスイッチを含む。
次に、図2および図3の流れ図を参照しつつ、第1実施形態の電子カメラの動作例を説明する。第1実施形態では、カラー画像の彩度を調整する例を説明する。なお、図2および図3の処理は、静止画像の撮像時に画像処理エンジン14がプログラムを実行することで開始される。
ステップ#101:画像処理エンジン14は、ユーザの撮影指示に応じて、記録用の静止画像を撮像部13に撮像させる。これにより、画像処理エンジン14は、処理対象のカラー画像を撮像部13から取得する。なお、#101の段階でのカラー画像は色補間前のRAW画像であって、各画素の信号値はRGBのいずれかの成分に対応する。
ステップ#102:画像処理エンジン14は、取得したカラー画像に対して、それぞれ公知のホワイトバランス調整および色補間(ベイヤ補間)を行う。なお、#102の色補間により、カラー画像の各画素でRGB全成分が揃う。
ステップ#103:画像処理エンジン14は、カラー画像のうち、彩度調整を行う注目画素を指定する。ここで、画像処理エンジン14は、カラー画像の全画素を順次注目画素として指定する。また、画像処理エンジン14は、注目画素を変更するときには、画像の左上隅を起点として1行ずつ左から右に注目画素を順番に指定するものとする。
ステップ#104:画像処理エンジン14は、注目画素の画素値に対して、標準のsRGBガンマの階調変換曲線G1(1/2.2乗相当)による第1の階調変換処理を施す。なお、第1の階調変換処理で適用される階調変換曲線G1を図4に示す。図4の横軸は、階調変換前の入力画素値(撮像素子の出力)であり、図4の縦軸は、階調変換後の出力画素値である。
ステップ#105:信号変換部21は、注目画素の色空間をRGBからYCbCrへ変換する。なお、#105の処理では、撮像素子の色空間(センサRGB)のままG1で階調変換を施した後のRGB信号値から輝度信号Yを生成している。そのため、上記の処理では、センサRGBからsRGBへのマトリックス変換で生じるような高彩度部での階調段差の発生はない。
例えば、#105での信号変換部21は、以下の式(1)〜式(3)により注目画素のRGBの信号値からYCbCrの信号値を求めればよい。
Y = kry*R+kgy*G+kby*B …(1)
Cb=-krcb*R-kgcb*G+kbcb*B …(2)
Cr= krcr*R-kgcr*G-kbcr*B …(3)
上記の式(1)から式(3)でのkry,kgy,kby,krcb,kgcb,kbcb,krcr,kgcr,kbcrは、色票を用いて最適化された係数が適用されている。
Y = kry*R+kgy*G+kby*B …(1)
Cb=-krcb*R-kgcb*G+kbcb*B …(2)
Cr= krcr*R-kgcr*G-kbcr*B …(3)
上記の式(1)から式(3)でのkry,kgy,kby,krcb,kgcb,kbcb,krcr,kgcr,kbcrは、色票を用いて最適化された係数が適用されている。
ところで、YCbCrの信号からなる画像は、出力用の色空間(例えば、表示系の色空間であるsRGB色空間)よりも広い範囲を再現可能である。そのため、処理対象の画像(#101で取得したカラー画像)の内容によっては、画素の一部が、出力用の色空間において、その色座標が色域外となってしまうことがある。そこで、後述する#108において、色座標が色域外の画素を色域内へ補正するための色域外クリップ処理を行う。
ステップ#106:画像処理エンジン14は、輝度信号Yに対して、階調変換曲線G2による第2の階調変換処理を施す。なお、第2の階調変換処理で適用される階調変換曲線G2を図5に示す。図5の横軸は、階調変換前の入力画素値であり、図5の縦軸は、階調変換後の出力画素値である。この階調変換曲線G2は、低輝度部分および高輝度部分での階調変化を小さくするS字状のカーブである。第2の階調変換処理では、画像のコントラスト強調や、低輝度部分の階調を圧縮する黒締めが行われる。
ステップ#107:画像処理エンジン14は、第2の階調変換処理後の画像に対して、それぞれ公知の輪郭強調処理およびノイズ低減処理を行う。
ステップ#108:彩度調整部22は、注目画素の輝度信号Yおよび色差信号(Cb,Cr)に基づいて、色域外クリップ処理を行う。色域外クリップ処理については、図3の流れ図を参照して説明する。なお、色域外クリップ処理においては、出力用の色空間としてsRGB色空間を例に挙げて説明する。YCbCrの色空間とsRGB色空間との関係は以下の式(4)から式(6)で示される。
Y=Kr*R+(1-Kr-Kb)*G+Kb*B …(4)
Cb=1/2*(B-Y)/(1-Kb) …(5)
Cr=1/2*(R-Y)/(1-Kr) …(6)
上記の式(4)から式(6)でのKrおよびKbは、色票を用いて最適化された係数が適用されている。
Y=Kr*R+(1-Kr-Kb)*G+Kb*B …(4)
Cb=1/2*(B-Y)/(1-Kb) …(5)
Cr=1/2*(R-Y)/(1-Kr) …(6)
上記の式(4)から式(6)でのKrおよびKbは、色票を用いて最適化された係数が適用されている。
さらに、以下の式(7)から式(9)は、上述した式(4)から式(6)を変換したものである。
B=2*Cb*(1-Kb)+Y …(7)
R=2*Cr*(1-Kr)+Y …(8)
G=(Y-Kr*R-Kb*B)/(1-Kr-Kb) …(9)
彩度調整部は、上述した式(4)から式(9)を用いて、色域外クリップ処理を行う。以下では、カラー画像の一例として、各色成分がそれぞれ8ビット(0〜255)で表現される画像データを例に挙げて説明する。
B=2*Cb*(1-Kb)+Y …(7)
R=2*Cr*(1-Kr)+Y …(8)
G=(Y-Kr*R-Kb*B)/(1-Kr-Kb) …(9)
彩度調整部は、上述した式(4)から式(9)を用いて、色域外クリップ処理を行う。以下では、カラー画像の一例として、各色成分がそれぞれ8ビット(0〜255)で表現される画像データを例に挙げて説明する。
ステップ#201:彩度調整部22は、色差信号Cbの値(以下Cb値と称する)および色差信号Crの値(以下Cr値と称する)の比率を算出する。Cb値とCr値との比cbcは以下の式(10)により求められる。
cbc=Cr/Cb …(10)
ステップ#202:彩度調整部22は、注目画素の輝度信号Yの値(以下Y値と称する)およびCr値と、上述した式(8)とを用いて、R値を求める。なお、上述した色票を用いて最適化された係数Kr=0.299である場合、式(8)に基づくR値は以下の式(11)のようになる。
R=Y+1.402*Cr …(11)
ステップ#203:彩度調整部22は、#202で算出したR値が負の値であるか(0未満の値であるか)否かを判断する。R値が負の値である場合には、彩度調整部22は、R値のクリップが必要と判断し、#204に処理が移行する。一方、R値が負の値でない場合には、彩度調整部22は、後述する#206に処理を移行する。
cbc=Cr/Cb …(10)
ステップ#202:彩度調整部22は、注目画素の輝度信号Yの値(以下Y値と称する)およびCr値と、上述した式(8)とを用いて、R値を求める。なお、上述した色票を用いて最適化された係数Kr=0.299である場合、式(8)に基づくR値は以下の式(11)のようになる。
R=Y+1.402*Cr …(11)
ステップ#203:彩度調整部22は、#202で算出したR値が負の値であるか(0未満の値であるか)否かを判断する。R値が負の値である場合には、彩度調整部22は、R値のクリップが必要と判断し、#204に処理が移行する。一方、R値が負の値でない場合には、彩度調整部22は、後述する#206に処理を移行する。
ステップ#204:彩度調整部22は、R値を0とし、注目画素のY値と、上述した式(6)とを用いて、R値をクリップした後のCr値を算出する。なお、輝度信号Yについては、元からのY値を維持したままとする。また、R=0、かつ、#202で例示したように係数Kr=0.299である場合、式(6)に基づくCr値は以下の式(12)のようになる。
Cr=-Y/1.402 …(12)
ステップ#205:彩度調整部22は、#201で算出した比cbcと、#204で算出したR値をクリップした後のCr値とに基づいて、以下の式(13)によりCb値を算出する。このようにR値をクリップした後のCb値を算出することにより、Cb値とCr値との比が維持されることになる。
Cb=Cr/cbc …(13)
ステップ#206:彩度調整部22は、#202で算出したR値が255を超えるか否かを判断する。R値が255を超える場合には、彩度調整部22は、R値が飽和しているためクリップが必要と判断し、#207に処理が移行する。一方、R値が255以下である場合には、彩度調整部22は、R値が0以上255以下であるためクリップは不要と判断し、後述する#209に処理を移行する。
Cr=-Y/1.402 …(12)
ステップ#205:彩度調整部22は、#201で算出した比cbcと、#204で算出したR値をクリップした後のCr値とに基づいて、以下の式(13)によりCb値を算出する。このようにR値をクリップした後のCb値を算出することにより、Cb値とCr値との比が維持されることになる。
Cb=Cr/cbc …(13)
ステップ#206:彩度調整部22は、#202で算出したR値が255を超えるか否かを判断する。R値が255を超える場合には、彩度調整部22は、R値が飽和しているためクリップが必要と判断し、#207に処理が移行する。一方、R値が255以下である場合には、彩度調整部22は、R値が0以上255以下であるためクリップは不要と判断し、後述する#209に処理を移行する。
ステップ#207:彩度調整部22は、R値を255とし、注目画素のY値と、上述した式(6)とを用いて、R値をクリップした後のCr値を算出する。なお、輝度信号Yについては、元からのY値を維持したままとする。また、R=255、かつ、#202で例示したように係数Kr=0.299である場合、式(6)に基づくCr値は以下の式(14)のようになる。
Cr=(255-Y)/1.402 …(14)
ステップ#208:彩度調整部22は、#201で算出した比cbcと、#207で算出したR値をクリップした後のCr値とに基づいて、#205で説明した式(13)によりCb値を算出する。このようにR値をクリップした後のCb値を算出することにより、Cb値とCr値との比が維持されることになる。
Cr=(255-Y)/1.402 …(14)
ステップ#208:彩度調整部22は、#201で算出した比cbcと、#207で算出したR値をクリップした後のCr値とに基づいて、#205で説明した式(13)によりCb値を算出する。このようにR値をクリップした後のCb値を算出することにより、Cb値とCr値との比が維持されることになる。
ステップ#209:彩度調整部22は、注目画素のY値およびCb値と、上述した式(7)とを用いて、B値を求める。なお、Y値については常に元からの値が用いられる。Cb値については、R値がクリップされた場合には#205または#208で算出された値が用いられ、R値がクリップされていない場合には元からの値が用いられる。また、上述した色票を用いて最適化された係数Kb=0.114である場合、式(7)に基づくB値は以下の式(15)のようになる。
B=Y+1.772*Cb …(15)
ステップ#210:彩度調整部22は、#209で算出したB値が負の値であるか(0未満の値であるか)否かを判断する。B値が負の値である場合には、彩度調整部22は、B値のクリップが必要と判断し、#211に処理が移行する。一方、B値が負の値でない場合には、彩度調整部22は、後述する#213に処理を移行する。
B=Y+1.772*Cb …(15)
ステップ#210:彩度調整部22は、#209で算出したB値が負の値であるか(0未満の値であるか)否かを判断する。B値が負の値である場合には、彩度調整部22は、B値のクリップが必要と判断し、#211に処理が移行する。一方、B値が負の値でない場合には、彩度調整部22は、後述する#213に処理を移行する。
ステップ#211:彩度調整部22は、B値を0とし、注目画素のY値と、上述した式(5)とを用いて、B値をクリップした後のCb値を算出する。なお、輝度信号Yについては、元からのY値を維持したままとする。また、B=0、かつ、#209で例示したようにKb=0.114である場合、式(5)に基づくCb値は以下の式(16)のようになる。
Cb=-Y/1.772 …(16)
ステップ#212:彩度調整部22は、#201で算出した比cbcと、#211で算出したB値をクリップした後のCb値とに基づいて、以下の式(17)によりCr値を算出する。このようにB値をクリップした後のCr値を算出することにより、Cb値とCr値との比が維持されることになる。
Cr=cbc*Cb …(17)
ステップ#213:彩度調整部22は、#209で算出したB値が255を超えるか否かを判断する。B値が255を超える場合には、彩度調整部22は、B値が飽和しているためクリップが必要と判断し、#214に処理が移行する。一方、B値が255以下である場合には、彩度調整部22は、B値が0以上255以下であるためクリップは不要と判断し、後述する#216に処理を移行する。
Cb=-Y/1.772 …(16)
ステップ#212:彩度調整部22は、#201で算出した比cbcと、#211で算出したB値をクリップした後のCb値とに基づいて、以下の式(17)によりCr値を算出する。このようにB値をクリップした後のCr値を算出することにより、Cb値とCr値との比が維持されることになる。
Cr=cbc*Cb …(17)
ステップ#213:彩度調整部22は、#209で算出したB値が255を超えるか否かを判断する。B値が255を超える場合には、彩度調整部22は、B値が飽和しているためクリップが必要と判断し、#214に処理が移行する。一方、B値が255以下である場合には、彩度調整部22は、B値が0以上255以下であるためクリップは不要と判断し、後述する#216に処理を移行する。
ステップ#214:彩度調整部22は、B値を255とし、注目画素のY値と、上述した式(5)とを用いて、B値をクリップした後のCb値を算出する。なお、輝度信号Yについては、元からのY値を維持したままとする。また、B=255、かつ、#209で例示したようにKb=0.114である場合、式(5)に基づくCb値は以下の式(18)のようになる。
Cb=(255-Y)/1.772 …(18)
ステップ#215:彩度調整部22は、#201で算出した比cbcと、#214で算出したB値をクリップした後のCb値とに基づいて、#212で説明した式(17)によりCr値を算出する。このようにB値をクリップした後のCr値を算出することにより、Cb値とCr値との比が維持されることになる。
Cb=(255-Y)/1.772 …(18)
ステップ#215:彩度調整部22は、#201で算出した比cbcと、#214で算出したB値をクリップした後のCb値とに基づいて、#212で説明した式(17)によりCr値を算出する。このようにB値をクリップした後のCr値を算出することにより、Cb値とCr値との比が維持されることになる。
ステップ#216:彩度調整部22は、注目画素のY値、Cb値およびCr値と、上述した式(7)から式(9)とを用いて、G値を求める。なお、Y値については常に元からの値が用いられる。Cb値については、B値がクリップされた場合には#211または#214で算出された値が用いられ、B値がクリップされてなく、かつ、R値がクリップされた場合には#205または#208で算出された値が用いられ、B値もR値もクリップされていない場合には元からの値が用いられる。Cr値については、B値がクリップされた場合には#212または#215で算出された値が用いられ、B値がクリップされてなく、かつ、R値がクリップされた場合には#204または#207で算出された値が用いられ、B値もR値もクリップされていない場合には元からの値が用いられる。また、上述した色票を用いて最適化された係数Kr=0.299かつ係数Kb=0.114である場合、式(7)から式(9)に基づくG値は以下の式(19)のようになる。
G=Y-0.3441*Cb-0.7141*Cr …(19)
ステップ#217:彩度調整部22は、#216で算出したG値が負の値であるか(0未満の値であるか)否かを判断する。G値が負の値である場合には、彩度調整部22は、G値のクリップが必要と判断し、#218に処理が移行する。一方、G値が負の値でない場合には、彩度調整部22は、後述する#220に処理を移行する。
G=Y-0.3441*Cb-0.7141*Cr …(19)
ステップ#217:彩度調整部22は、#216で算出したG値が負の値であるか(0未満の値であるか)否かを判断する。G値が負の値である場合には、彩度調整部22は、G値のクリップが必要と判断し、#218に処理が移行する。一方、G値が負の値でない場合には、彩度調整部22は、後述する#220に処理を移行する。
ステップ#218:彩度調整部22は、G値を0とし、#201で算出した比cbcと、注目画素のY値と、#204または#207でクリップしたR値(R値をクリップしていない場合には元からのR値)と、#211または#214でクリップしたB値(B値をクリップしていない場合には元からのB値)と、0にクリップしたG値と、上述した式(4)から式(6)とを用いて、G値をクリップした後のCb値を算出する。なお、輝度信号Yについては、元からのY値を維持したままとする。また、G=0、かつ、#216で例示したように係数Kr=0.299かつ係数Kb=0.114である場合、式(4)から式(6)に基づくCb値は以下の式(20)のようになる。
Cb=-Y/(-0.3441-0.7141*cbc) …(20)
ステップ#219:彩度調整部22は、#201で算出した比cbcと、#218で算出したG値をクリップした後のCb値とに基づいて、#212で説明した式(17)によりCr値を算出する。このようにG値をクリップした後のCr値を算出することにより、Cb値とCr値との比が維持されることになる。
Cb=-Y/(-0.3441-0.7141*cbc) …(20)
ステップ#219:彩度調整部22は、#201で算出した比cbcと、#218で算出したG値をクリップした後のCb値とに基づいて、#212で説明した式(17)によりCr値を算出する。このようにG値をクリップした後のCr値を算出することにより、Cb値とCr値との比が維持されることになる。
ステップ#220:彩度調整部22は、#216で算出したG値が255を超えるか否かを判断する。G値が255を超える場合には、彩度調整部22は、G値が飽和しているためクリップが必要と判断し、#221に処理が移行する。一方、G値が255以下である場合には、彩度調整部22は、G値が0以上255以下であるためクリップは不要と判断し、一連の処理を終了する。
ステップ#221:彩度調整部22は、G値を255とし、#201で算出した比cbcと、注目画素のY値と、#204または#207でクリップしたR値(R値をクリップしていない場合には元からのR値)と、#211または#214でクリップしたB値(B値をクリップしていない場合には元からのB値)と、255にクリップしたG値と、上述した式(4)から式(6)とを用いて、G値をクリップした後のCb値を算出する。なお、輝度信号Yについては、元からのY値を維持したままとする。また、G=255、かつ、#216で例示したように係数Kr=0.299かつ係数Kb=0.114である場合、式(4)から式(6)に基づくCb値は以下の式(21)のようになる。
Cb=(255-Y)/(-033441-0.7141*cbc) …(21)
ステップ#222:彩度調整部22は、#201で算出した比cbcと、#221で算出したG値をクリップした後のCb値とに基づいて、#212で説明した式(17)によりCr値を算出し、一連の処理を終了する。このようにG値をクリップした後のCr値を算出することにより、Cb値とCr値との比が維持されることになる。
Cb=(255-Y)/(-033441-0.7141*cbc) …(21)
ステップ#222:彩度調整部22は、#201で算出した比cbcと、#221で算出したG値をクリップした後のCb値とに基づいて、#212で説明した式(17)によりCr値を算出し、一連の処理を終了する。このようにG値をクリップした後のCr値を算出することにより、Cb値とCr値との比が維持されることになる。
以上説明した色域外クリップ処理について、図6および図7の模式図を参照して説明する。図6および図7は、YCbCr空間を示す。図6の横軸はCb値およびCr値を示し、縦軸はY値を示す。一方、図7の横軸はCb値を示し、縦軸はCr値を示す。図6中の四角形で囲まれた領域A1は、sRGB色空間で再現可能な色域を示す。
例えば、図6に示す画素P(1)は、色座標が上述した色域内であるため、上述した色域外クリップ処理においては何れの値も変化しない。また、例えば、図6に示す画素P(2)および画素P(3)は、色座標が色域外であるため、上述した色域外クリップ処理により、それぞれ画素P(2−a)および画素P(3−a)に調整される。この結果、図6に示すように、輝度を示すY値は維持された状態で、彩度が落とされることになる。また、色域外クリップ処理により、画素P(2)が画素P(2−a)に調整される際には、図7に示すように、Cb値とCr値との比が維持される。この結果、色相を維持しつつ彩度が調整されることになる。画素P(3)についても同様である。
なお、図3、図6、図7を参照して説明した色域外クリップ処理においては、B値、R値、G値の順に処理を実行する例を示したが、本発明はこの例に限定されない。
ステップ#109:画像処理エンジン14は、カラー画像の全画素の処理が終了したか否かを判定する。上記要件を満たす場合(YES側)には#110に処理が移行する。一方、上記要件を満たさない場合(NO側)には#103に戻って、画像処理エンジン14は上記の動作を繰り返す。
ステップ#110:画像処理エンジン14は、必要に応じて輪郭強調処理やノイズ除去処理、JPEG圧縮処理などをカラー画像に施した後、記録I/F17を介してカラー画像のデータを記憶媒体20に記録する。
第1実施形態の電子カメラは、撮像素子から出力されるカラー画像の信号を取得し、取得したカラー画像の信号を輝度信号および複数の色差信号に変換するとともに、出力用画像の色空間で再現可能な色域の外に色座標が存在する注目画素において、輝度信号を維持するとともに、複数の色差信号の比を維持した状態で、複数の色差信号を調整することにより、注目画素の色相を維持しつつ彩度を調整する。これにより、第1実施形態では、出力用の色空間において色域外の色についても、輝度や色相を変化させることなく、好適な色再現性を簡単な構成で実現することができる。特に、輝度が維持されることにより、従来のような単純なクリップ処理を行う場合に比べて、階調性が向上する。
<第2実施形態の説明>
図8は、第2実施形態での画像処理装置の構成例を示す図である。第2実施形態での画像処理装置は、入力画像に対して彩度調整処理を施すプログラムがインストールされたコンピュータである。
図8は、第2実施形態での画像処理装置の構成例を示す図である。第2実施形態での画像処理装置は、入力画像に対して彩度調整処理を施すプログラムがインストールされたコンピュータである。
図8に示すコンピュータ31は、データ読込部32、記憶装置33、CPU34、メモリ35および入出力I/F36、バス37を有している。データ読込部32、記憶装置33、CPU34、メモリ35および入出力I/F36は、バス37を介して相互に接続されている。さらに、コンピュータ31には、入出力I/F36を介して、入力デバイス38(キーボード、ポインティングデバイスなど)とモニタ39とがそれぞれ接続されている。なお、入出力I/F36は、入力デバイス38からの各種入力を受け付けるとともに、モニタ39に対して表示用のデータを出力する。
データ読込部32は、処理対象のカラー画像(色補間前のRAW画像)のデータや、プログラムを外部から読み込むときに用いられる。データ読込部32は、例えば、着脱可能な記憶媒体からデータを取得する読込デバイス(光ディスク、磁気ディスク、光磁気ディスクの読込装置など)や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス(USBインターフェース、LANモジュール、無線LANモジュールなど)である。
記憶装置33は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体である。この記憶装置33には、上記のプログラムや、プログラムの実行に必要となる各種データが記憶されている。なお、記憶装置33には、データ読込部32から読み込んだ画像のデータなどを記憶しておくこともできる。
CPU34は、コンピュータ31の各部を統括的に制御するプロセッサである。このCPU34は、プログラムの実行によって、第1実施形態または第2実施形態の画像処理エンジン14、信号変換部21、彩度調整部22として機能する。
メモリ35は、プログラムでの各種演算結果を一時的に記憶する。このメモリ35は、例えば揮発性のSDRAMである。
ここで、第2実施形態での画像処理装置では、CPU34が、データ読込部32または記憶装置33から処理対象のカラー画像を取得する。そして、CPU34は、第1実施形態の#102〜#109および#201〜#211の処理を実行する。かかる第2実施形態においても、第1実施形態とほぼ同様の効果を得ることができる。
<実施形態の補足事項>
(補足1):上記実施形態では、画像のYCbCrデータを用いて被写体抽出を行う例を説明した。しかし、本発明はYCbCr色空間に限定されず、他の色空間(L*a*b*など)の場合にも適用できる。
(補足1):上記実施形態では、画像のYCbCrデータを用いて被写体抽出を行う例を説明した。しかし、本発明はYCbCr色空間に限定されず、他の色空間(L*a*b*など)の場合にも適用できる。
(補足2):上記実施形態では、画像処理装置の各機能をプログラムによってソフトウェア的に実現する例を説明した。しかし、本発明の画像処理装置は、信号変換部21、彩度調整部22の各機能を、例えばASIC(Application Specific Integrated Circuit)
を用いてハードウェア的に実現するものであってもよい。
を用いてハードウェア的に実現するものであってもよい。
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
11…電子カメラ、12…撮影光学系、13…撮像部、14…画像処理エンジン、15…第1メモリ、16…第2メモリ、17…記録I/F、18…表示部、19…操作部、20…記憶媒体、21…信号変換部、22…彩度調整部、31…コンピュータ、32…データ読込部、33…記憶装置、34…CPU、35…メモリ、36…入出力I/F、37…バス、38…入力デバイス、39…モニタ
Claims (5)
- 撮像素子から出力されるカラー画像から出力用画像を作成する画像処理装置であって、
前記カラー画像の信号を取得する取得部と、
前記カラー画像の信号を輝度信号および複数の色差信号に変換する信号変換部と、
前記出力用画像の色空間で再現可能な色域の外に色座標が存在する注目画素において、前記輝度信号を維持するとともに、前記複数の色差信号の比を維持した状態で、前記複数の色差信号を調整することにより、前記注目画素の色相を維持しつつ彩度を調整する彩度調整部と、を備え、
前記彩度調整部は、前記注目画素の第1の色成分と第2の色成分のうち、前記第1の色成分の処理に基づいて、前記第2の色成分の調整の処理を行う画像処理装置。 - 請求項1に記載の画像処理装置において、
前記信号変換部は、前記カラー画像の信号をYCbCrの信号に変換し、
前記彩度調整部は、前記YCbCrの信号のうち、Yの信号を維持するとともに、Cbの信号およびCrの信号の比を維持した状態で、前記Cbの信号および前記Crの信号を調整する画像処理装置。 - 請求項1または請求項2に記載の画像処理装置において、
前記カラー画像の信号は、RGBの信号であり、
前記彩度調整部は、
前記注目画素の前記RGBの信号のうち、前記第1の色成分の前記色域へのクリップ処理に基づいて、前記色差信号を調整する第1の調整部と、
前記注目画素の前記RGBの信号のうち、前記第1の色成分とは異なる前記第2の色成分の前記色域へのクリップ処理に基づいて、前記第1の調整部による調整後の前記色差信号を調整する第2の調整部と、
前記注目画素の前記RGBの信号のうち、前記第1の色成分および前記第2の色成分とは異なる第3の色成分の前記色域へのクリップ処理に基づいて、前記第2の調整部による調整後の前記色差信号を調整する第3の調整部とを有する画像処理装置。 - カラー画像を撮像する撮像部と、
請求項1からに請求項3の何れか1項に記載の画像処理装置と
を備える撮像装置。 - 撮像素子から出力されるカラー画像から出力用画像を作成するプログラムであって、
前記カラー画像の信号を取得する処理と、
前記カラー画像の信号を輝度信号および複数の色差信号に変換する処理と、
前記出力用画像の色空間で再現可能な色域の外に色座標が存在する注目画素において、前記輝度信号を維持するとともに、前記複数の色差信号の比を維持した状態で、前記複数の色差信号を調整することにより、前記注目画素の色相を維持しつつ彩度を調整する処理と、をそれぞれコンピュータに実行させ、
前記彩度を調整する処理では、前記注目画素の第1の色成分と第2の色成分のうち、前記第1の色成分の処理に基づいて、前記第2の色成分の調整の処理を行うプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018073077A JP2018125884A (ja) | 2018-04-05 | 2018-04-05 | 画像処理装置、撮像装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018073077A JP2018125884A (ja) | 2018-04-05 | 2018-04-05 | 画像処理装置、撮像装置およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013171510A Division JP6318497B2 (ja) | 2013-08-21 | 2013-08-21 | 画像処理装置、撮像装置およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018125884A true JP2018125884A (ja) | 2018-08-09 |
Family
ID=63110402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018073077A Pending JP2018125884A (ja) | 2018-04-05 | 2018-04-05 | 画像処理装置、撮像装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018125884A (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06253138A (ja) * | 1993-02-12 | 1994-09-09 | Eastman Kodak Co | 入力色空間の入力色値を出力色空間の出力色値に変換するための方法、及び関連装置 |
JP2005252393A (ja) * | 2004-03-01 | 2005-09-15 | Canon Inc | 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
JP2009147463A (ja) * | 2007-12-11 | 2009-07-02 | Canon Inc | 撮像装置及びその制御方法 |
JP2012191362A (ja) * | 2011-03-09 | 2012-10-04 | Canon Inc | 画像処理装置及び画像処理方法 |
-
2018
- 2018-04-05 JP JP2018073077A patent/JP2018125884A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06253138A (ja) * | 1993-02-12 | 1994-09-09 | Eastman Kodak Co | 入力色空間の入力色値を出力色空間の出力色値に変換するための方法、及び関連装置 |
JP2005252393A (ja) * | 2004-03-01 | 2005-09-15 | Canon Inc | 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
JP2009147463A (ja) * | 2007-12-11 | 2009-07-02 | Canon Inc | 撮像装置及びその制御方法 |
JP2012191362A (ja) * | 2011-03-09 | 2012-10-04 | Canon Inc | 画像処理装置及び画像処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3668014B2 (ja) | 画像処理方法及び装置 | |
US8363125B2 (en) | Image processing apparatus, image processing method, and computer program product | |
JP4466378B2 (ja) | 履歴付加装置、電子カメラ、および画像処理プログラム | |
JP2007094742A (ja) | 画像信号処理装置及び画像信号処理プログラム | |
JP2001054013A (ja) | 撮像信号処理装置およびその処理方法 | |
JP2004312467A (ja) | 撮像システム、画像処理プログラム | |
JP6974156B2 (ja) | 画像色変換装置、画像色変換プログラム、画像色変換方法 | |
WO2015119271A1 (ja) | 画像処理装置、撮像装置、画像処理方法、コンピュータにより処理可能な一時的でない記憶媒体 | |
US8427560B2 (en) | Image processing device | |
JP4936686B2 (ja) | 画像処理 | |
JP2005354372A (ja) | 画像記録装置、画像記録方法、画像処理装置、画像処理方法、及び画像処理システム | |
JP2014033273A (ja) | 色域変換装置、デジタルカメラ、色域変換プログラムおよび色域変換方法 | |
US20020085750A1 (en) | Image processing device | |
JP5552795B2 (ja) | 撮像装置、画像処理装置およびプログラム | |
JP7296745B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4007964B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP6318497B2 (ja) | 画像処理装置、撮像装置およびプログラム | |
JP4004849B2 (ja) | 色補正回路と撮像装置 | |
JP5743456B2 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
JP4767525B2 (ja) | 撮像システム及び撮像処理プログラム | |
JP6413210B2 (ja) | 画像処理装置、撮像装置およびプログラム | |
JP2018125884A (ja) | 画像処理装置、撮像装置およびプログラム | |
JP7278096B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP4784097B2 (ja) | 信号処理方法、信号処理装置、信号処理手順を格納した記憶媒体 | |
JP2014033272A (ja) | 画像処理装置、デジタルカメラ、画像処理プログラムおよび画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190702 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190902 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200107 |