JP2018113524A - 画像処理装置及びプログラム - Google Patents

画像処理装置及びプログラム Download PDF

Info

Publication number
JP2018113524A
JP2018113524A JP2017001757A JP2017001757A JP2018113524A JP 2018113524 A JP2018113524 A JP 2018113524A JP 2017001757 A JP2017001757 A JP 2017001757A JP 2017001757 A JP2017001757 A JP 2017001757A JP 2018113524 A JP2018113524 A JP 2018113524A
Authority
JP
Japan
Prior art keywords
color
target color
target
image
specified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017001757A
Other languages
English (en)
Other versions
JP6403811B2 (ja
Inventor
賢嗣 木村
Masatsugu Kimura
賢嗣 木村
光浩 松尾
Mitsuhiro Matsuo
光浩 松尾
賢九 梁
Kenkyu Yana
賢九 梁
美希 金
Miki Kim
美希 金
昌隼 川島
Masatoshi Kawashima
昌隼 川島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brycen Co Ltd
Original Assignee
Brycen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brycen Co Ltd filed Critical Brycen Co Ltd
Priority to JP2017001757A priority Critical patent/JP6403811B2/ja
Priority to PCT/JP2017/029779 priority patent/WO2018131202A1/ja
Publication of JP2018113524A publication Critical patent/JP2018113524A/ja
Application granted granted Critical
Publication of JP6403811B2 publication Critical patent/JP6403811B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

【課題】色変換後の画像に違和感が生じることを防止する画像処理装置及びプログラムを提供する。【解決手段】UV平面での対象色を目標色に変換し,対象色を中心とした調整領域50内の色を,中心から調整領域50の境界に近づくほど,目標色から境界部分の色に近くなり,境界部分においては色変換が無くなるような色変換パラメータを生成する。ここで、色変換パラメータは、UV平面に対して垂直軸を考えたときに、その垂直軸での値を色空間において再配置するための移動量の比率とする。そのような色変換パラメータを用いて所望のカラー画像が色変換される。【選択図】図7

Description

この発明は,画像処理装置及びプログラムに関する。
一般的に電子カメラとして分類されるデジタル・カメラ,デジタル・ビデオ・カメラ,カメラ付き携帯端末(携帯電話,スマートフォン,タブレット端末など)には色再現処理が施されている。このような色再現処理においては,CMOS(Complementary metal oxide semiconductor)イメージ・センサなどの撮像素子から得られた画像信号に対して,自動露出補正,自動ホワイト・バランス調整,自動フォーカス,シェーディング補正などの画像処理をイメージ・シグナル・プロセッサにおいて行なうことが一般的である。色再現性を向上させるために色調整が行われるが,近年では実際の色を忠実に再現するよりも撮影シーンなどに応じて最終製品を製造するメーカによって独自の色調整を行うことが多くなってきている。たとえば,太陽光下での撮影シーン,様々な光源下での撮影シーンなどのほか被写体までの距離や被写体からの反射など様々な撮影シーンにより得られた画像が存在するので,それらの撮影シーンなどに応じて,空の青色に対する彩度の調整,色相の調整をすることにより,見栄えの良好な画像となるように色調整が行われる。
色調整が行われる場合,色空間の二軸を回転させることがあるが,その場合には調整させたい色以外の色も変化してしまう。このようなことを抑えるために,Cb軸,Cb−軸,Cr軸およびCr−軸の4軸を独立して回転および伸縮するものがある(特許文献1)。また,入力コンポーネント映像信号の色相および彩度のレベルを検出し,色調整後のそれぞれのレベルとの差を表す補正量を,入力コンポーネント映像信号に加算するものもある(特許文献2)。さらに,色差信号が色差信号平面内のどの領域に属するかを判定し,判定された領域に応じて色差信号を変換するものもある(特許文献3)。
WO/2005/112429パンフレット 特開2008-118392号公報 特開2002-176656号公報
指定した色を所望の色に変換する場合,その指定した色に近似した色についても指定した色から所望の色への色変換に応じた色変換が行われなければ,色変換後の画像について違和感が生じる。たとえば,紺色を指定し,その指定した紺色を所望の色として赤紫色に色変換する場合に,紺色に近似した青色についても青色から赤紫色に近い色に紺色の色変換に応じて色変換させなければ,色変換後の画像に違和感が生じてしまう。このような問題は,特許文献1から3のいずれにおいても全く考えられていない。
この発明は,色変換後の画像に違和感が生じるのを未然に防止することを目的とする。
この発明による画像処理装置は,目標色に色を変換する対象色を指定する対象色指定手段,上記目標色を指定する目標色指定手段,および上記対象色指定手段によって指定された対象色を,上記目標色指定手段によって指定された目標色に変換し,二次元によって色を表現する色空間において上記対象色指定手段によって指定された対象色を特定する位置を中心とした調整領域内の色を,上記中心から上記調整領域の境界に近づくほど上記目標色指定手段によって指定された目標色から上記調整領域の境界部分の色に近づく色に変換し,かつ上記調整領域の境界部分における色変換が無くなるような色変換パラメータを生成する画像処理手段と,上記色変換パラメータの頂点から調整領域の境界部分までの稜線を非線形の曲線で構成し、撮影された画像が、室内撮影か屋外撮影かと、明るいか暗いかとを判断して、該当する色変換パラメータを色温度によってパラメータ補間をする色空間の再配置方式による色調整処理を実行する色調整処理手段とを備える。
この発明は,画像処理方法も提供している。その方法は,対象色指定手段が,目標色に色を変換する対象色を指定し,目標色指定手段が,上記目標色を指定し,画像処理手段が,上記対象色指定手段によって指定された対象色を,上記目標色指定手段によって指定された目標色に変換し,二次元によって色を表現する色空間において上記対象色指定手段によって指定された対象色を特定する位置を中心とした調整領域内の色を,上記中心から上記調整領域の境界に近づくほど上記目標色指定手段によって指定された目標色から上記調整領域の境界部分の色に近づく色に変換し,かつ上記調整領域の境界部分における色変換が無くなるような色変換パラメータを生成し,色調整処理手段が,上記色変換パラメータの頂点から調整領域の境界部分までの稜線を非線形の曲線で構成し、撮影された画像が、室内撮影か屋外撮影かと、明るいか暗いかとを判断して、該当する色変換パラメータを色温度によってパラメータ補間をする色空間の再配置方式による色調整処理を実行するものである。
この発明は,上記画像処理方法を実施するためのコンピュータが読み取り可能なプログラムおよびそのプログラムを格納した記録媒体も提供している。
上記調整領域は,たとえば,上記対象色指定手段によって指定された対象色の位置を中心とし,上記目標色指定手段によって指定された目標色の位置が周縁部に規定される領域を含み,かつ上記領域よりも広い領域である。
第1のカラー画像を表示するように表示デバイスは制御装置から制御される。この場合,上記対象色指定手段は,上記の表示デバイスに表示されるカラー画像に含まれる色から上記対象色を指定し,上記目標色指定手段は,第2のカラー画像に含まれる色から上記目標色を指定することとなる。また,上記対象色指定手段によって指定された対象色の上記色空間における位置および上記目標色指定手段によって指定された目標色の上記色空間における位置を表示するように第3のカラー画像が表示デバイスに表示される。
第1のカラー画像,第2のカラー画像および第3のカラー画像のうち,少なくとも二つのカラー画像が同じものでもよいし,すべてが同じものでもよい。
この発明によると,色変換後の画像に違和感が生じるのを未然に防止することができる。
画像処理装置の電気的構成を示すブロック図である。 画像処理手順を示すフローチャートである。 第1のカラー画像の一例である。 電子カメラのイメージパイプの一部を示す。 第2のカラー画像の一例である。 対象色を示すマーク,目標色を示すマークなどである。 調整領域を示している。 色変換パラメータの一例である。 色変換パラメータの二次元表示の一例である。 色変換パラメータの一例である。 色変換パラメータの二次元表示の一例である。 色変換パラメータの二次元表示の一例である。 色空間の再配置手順を示すフローチャートである。 色温度パラメータと補間用閾値とを示している。 色変換後の画像の一例である。 色変換用の計算式の一例である。
図1は,この発明の実施例を示すもので,画像処理装置1の電気的構成を示すブロック図である。
画像処理装置1の全体の動作は,制御装置3によって統括される。
画像処理装置1には,画像などを表示する表示デバイス2が含まれている。画像処理装置1には,記憶媒体5が含まれている。記憶媒体5によって制御装置3に搭載されている内蔵メモリへのデータの書き込み,内蔵メモリからのデータの読み出しが行われる。内蔵メモリに記録されている画像データが読み出されることにより,表示デバイス2に読み出された画像データによって表される画像が表示される。
画像処理装置1には,各種データ,プログラムが記録されている記憶媒体5によって制御装置3に搭載されているハードディスクにアクセスされる。さらに,画像処理装置1には,キーボードやマウスなどのHID(HumanInterfaceDevice)4が含まれており,これらHID4からの入力は,制御装置3に与えられる。
画像処理装置1の記憶媒体5には,CD−ROM(Compact Disc-Read Only Memory)やメモリ・カード、USBメモリなどのコンピュータが読み取り可能な他の記録媒体に記録されていてもよい。そのような記録媒体からプログラムが読み取られ,画像処理装置1にインストールされる。
さらに,画像処理装置1の制御装置3には,インターネットなどのようなネットワークと通信するための通信手段を備えていてもよい。画像処理装置1の動作プログラムは,インターネットなどのようなネットワークを介して制御装置3によって受信し,画像処理装置1にインストールされるようにしてもよい。
図2は,画像処理装置1の処理手順を示すフローチャートである。
画像処理装置1は,目標色に色を変換する対象色および目標色をそれぞれ指定し,指定された対象色を指定された目標色に変換するものである。さらに,そのように指定された対象色を指定された目標色に変換するだけでなく,指定色に近似した色についても指定色から目標色への色変換に応じた色変換を行なうものである。
記憶媒体5に格納されている画像データが読み出され,その読み出された画像データによって表される多数の画像が表示デバイス2の表示画面に表示される。ユーザは,表示画面に表示されている多数の画像の中から所望の画像を選択する。表示デバイス2の表示画面には,ユーザの選択によって,図3に示す第1のカラー画像20が表示されたものとする。
図3の第1のカラー画像20に含まれている色のうち,所望の色を指定することにより,目標色に色を変換する対象色を指定する(S10)。たとえば,HID4を使ってユーザによって第1のカラー画像20のうち,空の一部の領域21が指定されたものとする。すると,その領域21内の色が対象色として指定されたこととなる。領域21内に複数の色が含まれている場合には,その平均の色を対象色としてもよいし,領域21の中心部の色を対象色としてもよい。また,領域21ではなく,一つの色を指定できる場合には,その色を対象色としてもよい。さらに,領域21は,矩形であるが矩形に限らず,円形その他の任意の形状であってもよい。もっとも,第1のカラー画像20を表示デバイス2の表示画面に表示せずにHID4などを利用して対象色を指定してもよい。
図4は,電子カメラの電気的構成の一部を示すブロック図である。
図4に示されるように,色空間変換処理部35によってYUV色空間におけるUV平面(二次元によって色を表現する色空間)における座標に変換される。YUV色空間は,輝度Yのほかに,B(青色成分)データから輝度Yを差し引いたデータ(B−Y)に所定の定数を乗じて得られる色成分UおよびR(赤色成分)データから輝度Yを差し引いたデータ(R−Y)に所定の定数を乗じて得られる色成分Vによって色を表すものである。式1から式3を用いることにより,Rデータ,GデータおよびBデータからYデータ,UデータおよびVデータに変換できる。
Y=0.299×R+0.587×G+0.114×B・・・式1
U=−0.14713×R−0.28886×G+0.436×B・・・式2
V=0.615×R−0.51499×G−0.10001×B・・・式3
指定された対象色がYUV色空間におけるUV平面における座標に変換されると,その座標位置が表示デバイス2の表示画面に表示される。
記憶媒体5から画像データが読み出され,表示デバイス2の表示画面には,再び多数の画像が表示される。その多数の画像の中から第2のカラー画像がユーザによって選択される。表示デバイス2の表示画面には,ユーザの選択によって,図5に示す第2のカラー画像40が表示されたものとする。第1のカラー画像20と第2のカラー画像40とは同じものでもよい。
図5を参照して,第2のカラー画像40も,第1のカラー画像20と同様に,YUV色空間での色表現によって表されている画像であり,ユーザは,表示デバイス2の表示画面に表示されている第2のカラー画像40に含まれている色のうち,所望の色を指定することにより,目標色を指定する。対象色の指定と同様に,たとえば,HID4を使ってユーザによって第2のカラー画像40のうち,空の一部の領域41が指定されたものとする。すると,その領域41内の色が目標色として指定されたこととなる。対象色の指定と同様に,領域41内に複数の色が含まれている場合には,その平均の色を目標色としてもよいし,領域41の中心部の色を目標色としてもよい。また,領域41ではなく,一つの色を指定できる場合には,その色を目標色としてもよい。さらに,領域41は,矩形であるが矩形に限らず,円形その他の任意の形状であってもよい。もっとも,第2のカラー画像40を表示デバイス2の表示画面に表示せずにHID4などを利用して目標色を指定してもよい。
図6は,表示デバイスの表示画面に表示されたUV平面における対象色、目標色の座標位置および調整領域を示している。
図6において,調整領域50は例えば第1のカラー画像20のうち,空の一部の領域21に相当する。白丸のマーク52がUV平面における目標色の座標位置を示している。図6においては,対象色の座標位置を示す黒丸のマーク51も同時に表示されており,対象色と目標色とのそれぞれのUV平面での座標位置が比較できる。このようにして,表示デバイス2によって,対象色の座標位置を示す黒丸のマーク51と目標色の座標位置を示す白丸のマーク52とが表示デバイス2の表示画面に表示される。もっとも,対象色の座標位置を示す黒丸のマーク51と目標色の座標位置を示す白丸のマーク52とを同時に表示しなくともよい。
図7は,調整領域50の一例である。
調整領域50は,色を変換する範囲を規定するものであり,調整領域50内に存在する色が後述する色変換パラメータによって変換させられる。
調整領域50は,UV平面において,指定された対象色の位置の座標を中心とし,黒丸のマーク51が中心座標となる。この実施例では,調整領域50のいずれも矩形であり,Modified Satよりも上方向にSat Range,Modified Satよりも下方向にSat Range,Modified Hueよりも右方向にHue Rangeおよび左方向にModifiedだけ,調整領域50が広く規定される。これらのSat Range,Hue Rangeは任意に決定できる。
UV平面での対象色の座標位置は調整基準となる特定色,目標色の座標位置は調整目標となる特定色で規定されている。調整領域50の上側境界線はTopLine60で規定され,下側境界線はBottomLine61で規定され,右側境界線はRightLine62で規定され,左側境界線はLeftLine63で規定される。調整領域50は,いずれも矩形領域とされているが,必ずしも矩形領域でなくともよく,円形など他の形状でもよい。
上述のようにして算出された調整領域50が,図7に示すように対象色を示す黒丸のマーク51および目標色を示す白丸のマーク52とともに,表示デバイス2の表示画面に表示される。もっとも,調整領域50を表示しなくともよいし,対象色を示す黒丸のマーク51または目標色を示す白丸のマーク52の少なくとも一方を表示しなくともよい。
つづいて,調整領域50内に存在する色を変換するための色変換パラメータが制御装置3(画像処理手段)によって生成される。色変換パラメータの生成方法については後述する。生成された色変換パラメータを示すデータは,記憶媒体5に記憶される。
図8は,色変換パラメータ70を表している。
色変換パラメータ70は,UV平面に対して垂直軸を考えたときに,その垂直軸での値を色空間を再配置するための移動量の比率とする。色変換パラメータ70は,山の形状として表されており,UV平面における調整領域50内のUV値を,UV平面に対して垂直な線が表面と交差する位置によって表される色空間を再配置するための移動量の比率を表す。その山の形状の表面が色変換後のUV値に相当している。UV平面における色変換パラメータ70は,図7に示したように,TopLine60,BottomLine61,RightLine62,LeftLine63を四辺にもつ調整領域50に対応して図示されている。
UV平面における調整領域50の中心である対象色の座標位置を示す黒丸のマーク51に対して,色変換後の座標,すなわち目標色の座標位置を示す白丸のマーク52が最大となるように色変換パラメータ70が規定されている。色変換パラメータ70の頂点が目標色を示す白丸のマーク52に対応する。色変換パラメータ70の表面は,その頂点であるマーク52から調整領域50におけるTopLine60,BottomLine61,RightLine62,LeftLine63に向かって徐々に低くなっており,調整領域50におけるTopLine60,BottomLine61,RightLine62,LeftLine63では高さが0となり,調整領域50におけるTopLine60,BottomLine61,RightLine62,LeftLine63のUデータおよびVデータならびに調整領域50よりも外側のUデータおよびVデータは色変換が行われないこととなる。
図9は,色変換パラメータ70における稜線71を示している。
稜線71は,図8に示すように,例えば非線形の曲線で色変換パラメータ70の頂点であるマーク52から例えばBottomLine61の中点(必ずしも中央でなくてもよい)までの色変換後のUV値の変化を示している。図9においては,横軸は色変換前のUV値(Uデータ,Vデータ)を示し,縦軸は色変換後のUV値を示している。
上述のように,UV空間における対象色の座標が色変換パラメータ70(稜線71)によって再配置されることにより,UV空間における目標色の座標となる。これにより,指定された対象色が指定された目標色に再配置されることとなる。調整領域50のBottomLine61の中点の色変換前の座標は,その座標が色変換パラメータ70(稜線71)によって再配置されても,再配置前後において座標は変わらない。中点以外の調整領域50の境界部分においても同様に,調整領域50における再配置は行われない。
また,再配置前の色の座標が調整領域50内において対象色の座標から調整領域50の境界に近づくほど,色変換後の色が調整領域50の境界の色に近づくように色変換パラメータ70(稜線71)が規定されている。たとえば黒丸のマーク51座標で規定される対象色は,白丸のマーク52座標で規定される目標色に変換され,BottomLine61で規定される中点の色は,色変換が行われない。黒丸のマーク51座標で規定される対象色から,白丸のマーク52座標で規定される中点の色の間の色は,調整領域50の境界にBottomLine61で規定されている中点の色に近づくほど,白丸のマーク52座標で規定される目標色から,BottomLine61で規定されている中点の色に近づくこととなる。たとえば,座標(UA,VA)で規定される色は,座標(UB,VB)で変換され,かつUV平面上において白丸のマーク52座標で規定される目標色とBottomLine61で規定される中点の色との間の色に変換される。このような色変換は,稜線71で規定される色変換パラメータ70の表面だけでなく,その他の部分においても同様である。
このように,色変換パラメータ70は,指定された対象色を指定された目標色に変換するだけでなく,指定された対象色を特定する位置を中心とした調整領域50内の色を,中心から調整領域50の境界に近づくほど,目標色から調整領域の境界部分の色に近づく色に変換する。指定色に近似した色についても指定色から目標色への色変換に応じた色変換が行われるようになる。たとえば,紺色を対象色として指定し,赤紫色を目標色に指定した場合において,紺色と青色とが近似する場合(紺色と青色とが調整領域50内に含まれる場合)には,紺色が赤紫色に変換されるだけでなく,青色も赤紫色に近い色に変換されることとなるので,色変換後の画像に違和感が生じなくなる。また,色変換パラメータ70は,調整領域50の境界部分における色変換が無くなるから,その境界部分において色変換パラメータ70を用いた色変換が行われた場合であっても色の段差が生じない。
図10は,色変換パラメータの他の例を表している。
色変換パラメータ80は,色変換パラメータ70と同様に,対象色を目標色に変換するように頂点81が規定され,かつ調整領域50の境界部分においては色変換が行われないように規定されている。しかしながら,色変換パラメータ80の表面の勾配は,色変換パラメータ70の表面の勾配と異なっている。これにより,対象色から調整領域50の境界部分によって示される色までの間において、変換前の色が同じであっても,図10の色変換パラメータ80を用いた場合の色の変換後の色は、色変換パラメータ70を用いた場合の色の変換後の色と比較して,異なる。
図11および図12は,図9に対応するもので,色変換パラメータによって規定される稜線72および73を示している。
図11および図12に示す例では,図9に示す例と同様に,色変換前の色が座標(UA,VA)で表され,色変換後の色が座標(UB,VB)で表されているが,図11に示す例での色変換後の色と図12に示す例での色変換後の色とは異なることとなる。これは,色変換パラメータの形状が異なることに起因するものであり,様々な形状の色変換パラメータを生成することにより,様々な色変換後の色が得られることとなる。もっとも,その色変換の範囲は,指定された目標色から,調整領域50の境界によって特定される色までの範囲であることはいうまでもない。
上述の実施例においては,図3に示す第1のカラー画像20,図5に示す第2のカラー画像40ならびに図6に示すマーク51,52および調整領域50は,同一の表示デバイス2に表示されているが,異なる表示デバイスに表示されるようにしてもよい。また,同一の表示デバイス2に表示される場合でも,図3に示す第1のカラー画像20を表示画面の第1の領域に表示し,図5に示す第2のカラー画像40を表示画面の第2の領域に表示し,図6に示すマーク51,52および調整領域50を第3の領域に表示するようにしてもよいし,それぞれを切替えて表示するようにしてもよい。
上述した色変換パラメータ70などを示すデータは図4の色空間再配置処理部36に含まれるメモリ(図示略)にあらかじめ記憶されている。
CMOS(Complementary metal-oxide-semiconductor)センサなどの撮像素子により被写体を撮像することにより,被写体像を表す画像データが撮像素子から出力される。撮像素子から出力した画像データが入力画像データとしてホワイト・バランス処理部31に入力し,ホワイト・バランス処理が行われる。ホワイト・バランス処理部31から出力した画像データは,色補間処理部32により色補間が行われ,色再現ゲイン処理部33に入力する。画像データは色再現ゲイン処理部33において所定のゲイン処理が行われ,ガンマ処理部34においてガンマ処理が行われる。
ガンマ処理部34から出力した画像データは,色空間変換処理部35においてRGB色空間での画像データから,YUV空間での画像データに色空間変換処理が行われる。色空間変換処理部35において色空間変換された画像データが色空間再配置処理部36において色空間の再配置が行われる。色空間の再配置について詳しくは後述する。
図13は,色空間再配置処理手順を示すフローチャートである。
この実施例では,分かりやすくするために図3に示した第1のカラー画像20が被写体像として撮像されたものとするが,他の画像が被写体像であってもよいのはいうまでもない。
色空間再配置処理部36において画像データ(UV画像データ)が読み取られると,ISPから得られる情報に基づいて,読み取られた画像データによって表される画像が室内撮影(In)により得られたものか,屋外撮影(Out)により得られたものかが色空間再配置処理部36により判定される(S90)。
室内撮影の場合には,画像が明るい(Nor)か暗い(Dark)かが画像データの輝度値から判断される(S91)。画像が明るい場合にはフラグPFに“In/Nor”がセットされ(S92),画像が暗い場合にはフラグPFに“In/Dark”がセットされる(S93)。同様に,屋外撮影の場合にも,画像が明るいか暗いかが画像データの輝度値から判断される(S94)。画像が明るい場合にはフラグPFに“Out/Nor”がセットされ(S95),画像が暗い場合にはフラグPFに“Out/Dark”がセットされる(S96)。
つづいて,画像の色温度が色空間再配置処理部36によって検出され,検出された色温度から色温度パラメータが決定される(S97)。
色空間再配置処理部36にはメモリ(図示略)が内蔵されており,そのメモリに,低色温度パラメータ,中色温度パラメータおよび高色温度パラメータが記憶されている。また,第1から第4の4種類の補間用閾値が規定されている。
図14は,色温度パラメータと補間用閾値との関係を示している。
画像の色温度が第1補間用閾値以上の場合には,高色温度パラメータに決定される。画像の色温度が第1補間用閾値と第2補間用閾値との間の場合には,高色温度パラメータと中色温度パラメータとから第1補間色温度パラメータが生成され,その第1補間色温度パラメータに決定される。画像の色温度が第2補間用閾値と第3補間用閾値との間の場合には,中色温度パラメータに決定される。画像の色温度が第3補間用閾値と第4補間用閾値との間の場合には中色温度パラメータと低色温度パラメータとから第2補間色温度パラメータが生成され,その第2補間色温度パラメータに決定される。画像の色温度が第4補間用閾値以下の場合には低色温度パラメータに決定される。
図13を参照して,このようにして色温度パラメータが決定すると,色空間再配置処理部36に入力された画像データ(S98)が調整領域50内の画像データか判断される(S99)。調整領域50内の画像データが色空間再配置処理部36に入力されると(S99でFlag=ON),前期フラグPFにセットされた値と決定した色温度パラメータとから,複数の色温度パラメータのうち使用する補正パラメータが決定される(S100)。この決定方法もユーザによって規定でき,画像の色温度と明るさとにもとづいて,ユーザの所望の色温度パラメータを決定でき,ユーザの所望の色変換を実現できる。上述のようにして生成された複数の色温度パラメータを表すデータが色空間再配置処理部36のメモリ(図示略)に記憶されており,その中から利用する補正パラメータが決定する。
補正パラメータが決定すると,決定した補正パラメータを用いて,調整領域50内の色について色空間の再配置が行われる(S101)。すべての画像データについて処理が終了するまで,S98からS101までの処理が繰り返される(S102)。
上記の補正パラメータに加え,図16に示すような計算式を組み合わせることも可能であり,計算式のみを用いて動的に色変換パラメータを生成してもよい。色変換パラメータを使用した場合は有効桁数に制限が生じたり,計算式を用いることで非線形の補正方法を柔軟に変更することが可能となり,さらに色変換パラメータの一部を計算式を用いて補間したり,色変換パラメータと数式の切り替え部分を他の計算式で補間することも可能である。
このような色空間の再配置処理により,図15に示すように,図3に示す領域21に対応する領域110内の色は,図5に示す領域41で特定される目標色に色変換されるとともに,図3に示す画像20に含まれる色のうちUV平面での調整領域50内の色については色変換された画像111が得られるようになる。
図3に示すように対象色を指定する領域21は一つであり,図5に示すように目標色を指定する領域41も一つであるが,それぞれ複数としてもよい。また,複数の対象色を指定したことにより,調整領域50が複数でき,それらの調整領域50が重なってしまう場合であっても,調整領域50ごとに色変換パラメータを規定し,いずれかの色変換パラメータを利用するか複数の色変換パラメータを補間するようにして利用すればよい。
上述の実施例では,二次元によって色を表現する色空間としてYUV色空間(UV平面)を利用しているが,YUV色空間だけでなく,YIQ色空間(IQ平面),YCbCr色空間(CrCb平面),HSV色空間(HS平面),Lab色空間(ab平面),HLS色空間(HS平面)のように,色を二次元で表現できる他の色空間を用いることができる。
以上本発明の一実施形態について説明したが,本発明は,上述の実施形態に限定されるものではなく,本発明の目的を達成できる範囲での変形,改良等は本発明に含まれるものである。
上述した一連の処理は,ハードウェアにより実行させることもできるし,ソフトウェアにより実行させることもできる。
一連の処理をソフトウェアにより実行させる場合には,そのソフトウェアを構成するプログラムが,コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは,専用のハードウェアに組み込まれているコンピュータであってもよい。また,コンピュータは,各種のプログラムをインストールすることで,各種の機能を実行することが可能なコンピュータ,例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は,ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく,装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。
なお,本明細書において,記録媒体に記録されるプログラムを記述するステップは,その順序に沿って時系列的に行われる処理はもちろん,必ずしも時系列的に処理されなくとも,並列的或いは個別に実行される処理をも含むものである。
換言すると,本発明が適用される画像処理装置は,上述の実施形態を含め,次のような構成を有する各種各様の実施形態を取ることができる。
即ち,本発明が適用される画像処理装置は,
目標色に色を再配置する対象色を指定する対象色指定手段と,
上記目標色を指定する目標色指定手段と,
上記対象色指定手段によって指定された対象色を,上記目標色指定手段によって指定された目標色に再配置し,二次元によって色を表現する色空間において上記対象色指定手段によって指定された対象色を特定する位置を中心とした調整領域内の色を,上記中心から上記調整領域の境界に近づくほど上記目標色指定手段によって指定された目標色から上記調整領域の境界部分の色に近づく色に再配置し,かつ上記調整領域の境界部分における色の差異が無くなるような色変換パラメータを生成する画像処理手段と,
上記色変換パラメータの頂点から調整領域の境界部分までの稜線を非線形の曲線で構成し、撮影された画像が、室内撮影か屋外撮影かと、明るいか暗いかとを判断して、該当する色変換パラメータを色温度によってパラメータ補間をする色空間の再配置方式による色調整処理を実行する色調整処理手段と,
を備えれば足りる。
このような画像処理装置は,中心から調整領域の境界に近づくほど目標色指定手段によって指定された目標色から調整領域の境界部分の色に近づく色に再配置するから,指定色に近似した色についても指定色から目標色への再配置に応じた再配置が行われるようになる。再配置後の画像に違和感が生じなくなる。また,色変換パラメータは,調整領域の境界部分における再配置が無くなるから,その境界部分において色変換パラメータを用いた再配置が行われた場合であっても色の段差が生じてしまうことが未然に防止される。
上記調整領域は,たとえば,上記対象色指定手段によって指定された対象色の位置を中心とし,上記目標色指定手段によって指定された目標色の位置が周縁部に規定される領域を含み,かつ上記領域よりも広い領域である。
第1のカラー画像を表示するように第1の表示デバイス,ならびに第2のカラー画像を表示するように第2の表示デバイスをさらに備えてもよい。この場合,上記対象色指定手段は,上記第1の表示デバイスに表示される第1のカラー画像に含まれる色から上記対象色を指定し,上記目標色指定手段は,上記第2の表示デバイスに表示される第2のカラー画像に含まれる色から上記目標色を指定することとなろう。また,上記対象色指定手段によって指定された対象色の上記色空間における位置および上記目標色指定手段によって指定された目標色の上記色空間における位置を表示するように第3の表示デバイスをさらに備えることが好ましい。
第1の表示デバイス,第2の表示デバイスおよび第3の表示デバイスのうち,少なくとも2つの表示デバイスが同じものでもよいし,すべてが同じものでもよい。また,第1のカラー画像と第2のカラー画像とは同じものでもよい。
1 画像処理装置
3 表示制御装置
14 CPU
15 CD−ROM

Claims (3)

  1. 目標色に色を変換する対象色を指定する対象色指定手段と,
    上記目標色を指定する目標色指定手段と,
    上記対象色指定手段によって指定された対象色を,上記目標色指定手段によって指定された目標色に変換し,二次元によって色を表現する色空間において上記対象色指定手段によって指定された対象色を特定する位置を中心とした調整領域内の色を,上記中心から上記調整領域の境界に近づくほど上記目標色指定手段によって指定された目標色から上記調整領域の境界部分の色に近づく色に変換し,かつ上記調整領域の境界部分における色変換が無くなるような色変換パラメータを生成する画像処理手段と,
    上記色変換パラメータの頂点から調整領域の境界部分までの稜線を非線形の曲線で構成し、撮影された画像が、室内撮影か屋外撮影かと、明るいか暗いかとを判断して、該当する色変換パラメータを色温度によってパラメータ補間をする色空間の再配置方式による色調整処理を実行する色調整処理手段と,
    を備える画像処理装置。
  2. 第1のカラー画像を表示するように表示デバイスを制御する制御手段を備え,
    上記対象色指定手段は,
    上記制御手段の制御により上記表示デバイスに表示される第1のカラー画像に含まれる色から上記対象色を指定し,
    上記目標色指定手段は,
    上記制御手段の制御により上記表示デバイスに表示される第2のカラー画像に含まれる色から上記目標色を指定し,
    上記対象色指定手段によって指定された対象色の上記色空間における位置および上記目標色指定手段によって指定された目標色の上記色空間における位置を表示するように上記制御手段の制御により上記表示デバイスに第3のカラー画像を表示する制御手段,
    をさらに備える,
    請求項1に記載の画像処理装置。
  3. 画像処理装置を制御するコンピュータを,
    目標色に色を変換する対象色を指定する対象色指定手段と,
    上記目標色を指定する目標色指定手段と,
    上記対象色指定手段によって指定された対象色を,上記目標色指定手段によって指定された目標色に変換し,二次元によって色を表現する色空間において上記対象色指定手段によって指定された対象色を特定する位置を中心とした調整領域内の色を,上記中心から上記調整領域の境界に近づくほど上記目標色指定手段によって指定された目標色から上記調整領域の境界部分の色に近づく色に変換し,かつ上記調整領域の境界部分における色変換が無くなるような色変換パラメータを生成する画像処理手段と,
    上記色変換パラメータの頂点から調整領域の境界部分までの稜線を非線形の曲線で構成し、撮影された画像が、室内撮影か屋外撮影かと、明るいか暗いかとを判断して、該当する色変換パラメータを色温度によってパラメータ補間をする色空間の再配置方式による色調整処理を実行する色調整処理手段と,
    として機能させるプログラム。
JP2017001757A 2017-01-10 2017-01-10 画像処理装置及びプログラム Active JP6403811B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017001757A JP6403811B2 (ja) 2017-01-10 2017-01-10 画像処理装置及びプログラム
PCT/JP2017/029779 WO2018131202A1 (ja) 2017-01-10 2017-08-21 画像処理装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017001757A JP6403811B2 (ja) 2017-01-10 2017-01-10 画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2018113524A true JP2018113524A (ja) 2018-07-19
JP6403811B2 JP6403811B2 (ja) 2018-10-10

Family

ID=62839423

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017001757A Active JP6403811B2 (ja) 2017-01-10 2017-01-10 画像処理装置及びプログラム

Country Status (2)

Country Link
JP (1) JP6403811B2 (ja)
WO (1) WO2018131202A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09214792A (ja) * 1996-01-31 1997-08-15 Fuji Xerox Co Ltd 色変換装置
JP2003125222A (ja) * 2001-10-15 2003-04-25 Canon Inc テーブルを調整する画像処理方法を実現するためのプログラム
JP2009188948A (ja) * 2008-02-08 2009-08-20 Canon Inc 画像処理装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09214792A (ja) * 1996-01-31 1997-08-15 Fuji Xerox Co Ltd 色変換装置
JP2003125222A (ja) * 2001-10-15 2003-04-25 Canon Inc テーブルを調整する画像処理方法を実現するためのプログラム
JP2009188948A (ja) * 2008-02-08 2009-08-20 Canon Inc 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
WO2018131202A1 (ja) 2018-07-19
JP6403811B2 (ja) 2018-10-10

Similar Documents

Publication Publication Date Title
US10397486B2 (en) Image capture apparatus and method executed by image capture apparatus
JP4304623B2 (ja) 撮像装置及び撮像装置における撮像結果の処理方法
EP3039864B1 (en) Automatic white balancing with skin tone correction for image processing
TWI538522B (zh) 使用雜訊最佳化準則以計算場景白色點
JP6006543B2 (ja) 画像処理装置および画像処理方法
JP5677113B2 (ja) 画像処理装置
EP2426928A2 (en) Image processing apparatus, image processing method and program
JP2009183010A (ja) 撮像装置、撮像装置のホワイトバランス処理方法、プログラム、及び記録媒体
WO2023016035A1 (zh) 视频处理方法、装置、电子设备和存储介质
CN113824914B (zh) 视频处理方法、装置、电子设备和存储介质
WO2023016037A1 (zh) 视频处理方法、装置、电子设备和存储介质
KR20150081153A (ko) 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
US20180025476A1 (en) Apparatus and method for processing image, and storage medium
KR20210078656A (ko) 화이트 밸런스를 제공하는 방법 및 이를 지원하는 전자 장치
JP2015005927A (ja) 画像処理装置およびその制御方法
JP2002281327A (ja) 画像処理のための装置、方法及びプログラム
JP2009004966A (ja) 撮像装置
JP2014168120A (ja) 画像処理装置および画像処理プログラム並びに電子カメラ
CN106875356A (zh) 一种图像处理的方法及终端
US20240236492A9 (en) Video Processing Method and Apparatus, Electronic Device, and Storage Medium
JP6403811B2 (ja) 画像処理装置及びプログラム
CN114286000B (zh) 图像色彩处理方法、装置和电子设备
JP2004194303A (ja) 撮像装置、撮像方法及びコンピュータ読み取り可能な記録媒体及びプログラム
JP5818515B2 (ja) 画像処理装置、画像処理方法およびそのプログラム
TW202304189A (zh) 執行場景相關鏡頭陰影校正的方法及系統

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180911

R150 Certificate of patent or registration of utility model

Ref document number: 6403811

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250