JP2017187994A - 画像処理装置、画像処理方法、画像処理システムおよびプログラム - Google Patents

画像処理装置、画像処理方法、画像処理システムおよびプログラム Download PDF

Info

Publication number
JP2017187994A
JP2017187994A JP2016077612A JP2016077612A JP2017187994A JP 2017187994 A JP2017187994 A JP 2017187994A JP 2016077612 A JP2016077612 A JP 2016077612A JP 2016077612 A JP2016077612 A JP 2016077612A JP 2017187994 A JP2017187994 A JP 2017187994A
Authority
JP
Japan
Prior art keywords
image
illumination light
light source
source color
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016077612A
Other languages
English (en)
Other versions
JP6786850B2 (ja
Inventor
山本 隆之
Takayuki Yamamoto
隆之 山本
佐々木 信
Makoto Sasaki
信 佐々木
翔太 鳴海
Shota Narumi
翔太 鳴海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2016077612A priority Critical patent/JP6786850B2/ja
Priority to US15/368,782 priority patent/US10244218B2/en
Priority to CN201710009795.6A priority patent/CN107274351B/zh
Publication of JP2017187994A publication Critical patent/JP2017187994A/ja
Application granted granted Critical
Publication of JP6786850B2 publication Critical patent/JP6786850B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6077Colour balance, e.g. colour cast correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】Retinex原理に基づく照明光成分を利用することで、より精度が高い照明光源色を求めることができる画像処理装置等を提供する。【解決手段】原画像を構成する各画素の画素値に基づく明度値から、明度値が少なくとも1つの平滑化度合いで平滑化された少なくとも1つの平滑化画像を用いて原画像の照明光成分を画素値とする照明光強度画像を求める照明光強度算出部13と、原画像と照明光強度画像とを基に照明光の光源色である照明光源色を求める光源色算出部141と、を備える画像処理装置10。【選択図】図2

Description

本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。
近年、デジタルカメラやスマートフォン、タブレット等の機器の普及によりデジタル画像を撮影・閲覧するユーザが増加している。そして画像の撮影機会の増加にともない、撮影環境も多様化している。この際、様々な照明光の環境下で撮影された画像の色味を調整する手法として、例えば、画像の光源色を白色光に近づける技術であるオートホワイトバランスに関する手法が知られている。従来の手法では画素値の特徴を利用して色味を調整する手法が一般的である。
またデジタルカメラ等で撮影した画像は、逆光や室内外が同時に写り込んだ場合など特に被写体の明暗の差が大きい場合に人が目で見た実際の光景とは異なるものとなることが多い。これを解決する方法の一つとして、1枚の画像からダイナミックレンジを調整し、被写体の視認性を向上させる技術としてRetinex(レティネックス)とよばれる原理に基づいた画像処理によって視認性を向上させる手法が考案されている。Retinexは、人間が反射率を知覚しているという考え方に基づいて、画像を照明光成分と反射率成分に分離したうえで反射率成分を強調することで被写体の視認性を向上させる。これによって人が実際に見た光景に近づけることができ、被写体の視認性が向上する。
特許文献1には、光源種類推定部は、被写体を撮像する撮像素子により生成された画像信号から、輝度と色との間の相関係数を算出する輝度−色相関算出部と、画像信号における画像全体のカラーバランスと、画像信号におけるニュートラルグレー領域のカラーバランスを算出するカラーバランス算出部と、相関係数と、画像全体のカラーバランスと、ニュートラルグレー領域のカラーバランスとに基づく特徴ベクトルを生成する特徴ベクトル生成部と、生成された特徴ベクトルに基づき、画像信号における光源の種類を判定する識別器とを備えることが記載されている。
また非特許文献1には、シングルスケールの中心/周辺レティネックスをマルチスケールに拡張すると良好な演色を作り出すことができなくなることから、色の一致における少量の希薄化を犠牲にしてこの欠陥を補正する色復元の方法が記載されている。
特開2012−134625号公報 Daniel J. Jobson, Zia-ur Rahman, and Glenn A. Woodell, 「A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes」, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 6, NO. 7, JULY 1997
しかしながら従来のRetinex原理による画像処理では、画像の明度コントラストを調整することを目的としており、色味に関しては調整を行っていなかった。
本発明は、Retinex原理に基づく照明光成分を利用することで、より精度が高い照明光源色を求めることができる画像処理装置等を提供することを目的とする。
請求項1に記載の発明は、原画像を構成する各画素の画素値に基づく明度値から、当該明度値が少なくとも1つの平滑化度合いで平滑化された少なくとも1つの平滑化画像を用いて当該原画像の照明光成分を画素値とする照明光強度画像を求める照明光強度算出部と、前記原画像と前記照明光強度画像とを基に照明光の光源色である照明光源色を求める光源色算出部と、を備える画像処理装置である。
請求項2に記載の発明は、前記光源色算出部は、前記原画像の画素値に対し、当該原画像の画素値に対応する前記照明光強度画像の画素値を重みとする重み付け平均を求めることで前記照明光源色を求めることを特徴とする請求項1に記載の画像処理装置である。
請求項3に記載の発明は、前記原画像から照明光成分の寄与分を取り出した照明光画像を生成する照明光画像生成部と、前記照明光画像を目標となる光源色である目標光源色に合わせ色調整を行なう照明光成分調整部と、前記原画像の反射率成分を画素値とする反射率成分画像を求める反射率成分算出部と、色調整後の前記照明光画像および前記反射率成分画像から、前記原画像を前記目標光源色に合わせた画像である出力画像を求める調整照明光反映部と、をさらに備えることを特徴とする請求項1または2に記載の画像処理装置である。
請求項4に記載の発明は、ユーザが指定する前記目標光源色を取得する目標光源色指定部をさらに備えることを特徴とする請求項3に記載の画像処理装置である。
請求項5に記載の発明は、前記照明光強度算出部および前記光源色算出部は、見本となる画像である見本画像について前記照明光強度画像および前記照明光源色をそれぞれ求め、当該見本画像についての当該照明光源色を前記目標光源色とすることを特徴とする請求項3に記載の画像処理装置である。
請求項6に記載の発明は、前記照明光成分調整部は、コントラスト調整をさらに行なうことを特徴とする請求項3に記載の画像処理装置である。
請求項7に記載の発明は、原画像を構成する各画素の画素値に基づく明度値から、当該明度値が少なくとも1つの平滑化度合いで平滑化された少なくとも1つの平滑化画像を用いて当該原画像の照明光成分を画素値とする照明光強度画像を求め、前記原画像と前記照明光強度画像とを基に照明光の光源色である照明光源色を求めることを特徴とする画像処理方法である。
請求項8に記載の発明は、前記原画像から照明光成分の寄与分を取り出した照明光画像を生成し、前記照明光画像を目標となる光源色である目標光源色に合わせ色調整を行ない、前記原画像の反射率成分を画素値とする反射率成分画像を求め、色調整後の前記照明光画像および前記反射率成分画像から、前記原画像を前記目標光源色に合わせた画像である出力画像を求めることを特徴とする請求項7に記載の画像処理方法である。
請求項9に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、を備え、前記画像処理装置は、原画像を構成する各画素の画素値に基づく明度値から、当該明度値が少なくとも1つの平滑化度合いで平滑化された少なくとも1つの平滑化画像を用いて当該原画像の照明光成分を画素値とする照明光強度画像を求める照明光強度算出部と、前記原画像と前記照明光強度画像とを基に照明光の光源色である照明光源色を求める光源色算出部と、を備える画像処理システムである。
請求項10に記載の発明は、コンピュータに、原画像を構成する各画素の画素値に基づく明度値から、当該明度値が少なくとも1つの平滑化度合いで平滑化された少なくとも1つの平滑化画像を用いて当該原画像の照明光成分を画素値とする照明光強度画像を求める照明光強度算出機能と、前記原画像と前記照明光強度画像とを基に照明光の光源色である照明光源色を求める光源色算出機能と、を実現させるプログラムである。
請求項11に記載の発明は、コンピュータに、前記原画像から照明光成分の寄与分を取り出した照明光画像を生成する照明光画像生成機能と、前記照明光画像を目標となる光源色である目標光源色に合わせ色調整を行なう照明光成分調整機能と、前記原画像の反射率成分を画素値とする反射率成分画像を求める反射率成分算出機能と、色調整後の前記照明光画像および前記反射率成分画像から、前記原画像を前記目標光源色に合わせた画像である出力画像を求める調整照明光反映機能と、をさらに実現させる請求項10に記載のプログラムである。
請求項1の発明によれば、Retinex原理に基づく照明光成分を利用することで、より精度が高い照明光源色を求めることができる画像処理装置を提供することができる。
請求項2の発明によれば、照明光源色の精度がより高くなる。
請求項3の発明によれば、予め用意された照明光源色に合わせ、原画像の色調整をすることができる。
請求項4の発明によれば、ユーザが指定する照明光源色に合わせ、原画像の色調整をすることができる。
請求項5の発明によれば、見本画像の照明光源色に合わせ、原画像の色調整をすることができる。
請求項6の発明によれば、原画像に対し照明光のコントラストも調整することができる。
請求項7の発明によれば、Retinex原理に基づく照明光成分を利用することで、より精度が高い照明光源色を求めることができる画像処理方法を提供することができる。
請求項8の発明によれば、予め用意された照明光源色に合わせ、原画像の色調整をすることができる。
請求項9の発明によれば、より高度な画像処理が行える画像処理システムが提供できる。
請求項10の発明によれば、Retinex原理に基づく照明光成分を利用することで、より精度が高い照明光源色を求めることができる機能をコンピュータにより実現できる。
請求項11の発明によれば、予め用意された照明光源色に合わせ、原画像の色調整をすることができる機能をコンピュータにより実現できる。
本実施の形態における画像処理システムの構成例を示す図である。 第1の実施形態における画像処理装置の機能構成例を表すブロック図である。 照明光強度算出部が行なう処理について説明した図である。 (a)〜(c)は、数2式における分散σを変化させたときのガウス関数の形状について示した概念図である。 第1の実施形態における画像処理装置の動作について説明したフローチャートである。 第2の実施形態における画像処理装置の機能構成例を表すブロック図である。 S(i、j)とwとの関係を示した図である。 第2の実施形態における画像処理装置の動作について説明したフローチャートである。 第3の実施形態における画像処理装置の機能構成例を表すブロック図である。 (a)〜(b)は、ユーザが目標光源色を指定するユーザインターフェースについて示した図である。 第3の実施形態における画像処理装置の動作について説明したフローチャートである。 第4の実施形態における画像処理装置の機能構成例を表すブロック図である。 第4の実施形態における画像処理装置の動作について説明したフローチャートである。 第5の実施形態における画像処理装置の動作について説明したフローチャートである。 画像処理装置のハードウェア構成を示した図である。
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
<画像処理システム全体の説明>
図1は、本実施の形態における画像処理システム1の構成例を示す図である。
図示するように本実施の形態の画像処理システム1は、表示装置20に表示される画像の画像情報に対し画像処理を行なう画像処理装置10と、画像処理装置10により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置20と、画像処理装置10に対しユーザが種々の情報を入力するための入力装置30とを備える。
画像処理装置10は、例えば、所謂汎用のパーソナルコンピュータ(PC)である。そして、画像処理装置10は、OS(Operating System)による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。
表示装置20は、表示画面21に画像を表示する。表示装置20は、例えばPC用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置20における表示方式は、液晶方式に限定されるものではない。なお、図1に示す例では、表示装置20内に表示画面21が設けられているが、表示装置20として例えばプロジェクタを用いる場合、表示画面21は、表示装置20の外部に設けられたスクリーン等となる。
入力装置30は、キーボードやマウス等で構成される。入力装置30は、画像処理を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行なう際に、ユーザが画像処理装置10に対し画像処理を行なうための指示を入力するのに使用する。
画像処理装置10および表示装置20は、DVI(Digital Visual Interface)を介して接続されている。なお、DVIに代えて、HDMI(登録商標)(High-Definition Multimedia Interface)やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置10と入力装置30とは、例えば、USB(Universal Serial Bus)を介して接続されている。なお、USBに代えて、IEEE1394やRS−232C等を介して接続されていてもよい。
このような画像処理システム1において、表示装置20には、まず最初に画像処理を行なう前の画像である原画像が表示される。そしてユーザが入力装置30を使用して、画像処理装置10に対し画像処理を行なうための指示を入力すると、画像処理装置10により原画像の画像情報に対し画像処理がなされる。この画像処理の結果は、例えば、表示装置20に表示される画像に反映され、画像処理後の画像が再描画されて表示装置20に表示される。この場合、ユーザは、表示装置20を見ながらインタラクティブに画像処理を行なうことができ、より直感的に、またより容易に画像処理の作業を行える。
なお本実施の形態における画像処理システム1は、図1の形態に限られるものではない。例えば、画像処理システム1としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置20および入力装置30として機能する。また同様に表示装置20および入力装置30を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置20の表示画面21としてタッチパネルを使用したものである。この場合、画像処理装置10により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行なうための指示を入力する。
<画像処理装置の説明>
[第1の実施形態]
次に画像処理装置10の第1の実施形態について説明を行なう。
第1の実施形態では、原画像を基にして原画像の照明光の光源色である照明光源色(照明光の色)を求める場合について説明を行なう。
図2は、第1の実施形態における画像処理装置10の機能構成例を表すブロック図である。なお図2では、画像処理装置10が有する種々の機能のうち第1の実施形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置10は、画像情報を取得する画像情報取得部11と、異なる色空間への色変換を行なう色空間変換部12と、照明光の強度を算出する照明光強度算出部13と、照明光の光源色を算出する光源色算出部141と、処理後のデータを出力する出力部18とを備える。
画像情報取得部11は、画像処理を行なう画像の画像情報(画像データ)を取得する。即ち、画像情報取得部11は、画像処理を行なう前の原画像の画像データを取得する。この画像データは、表示装置20で表示を行なうための、例えば、RGB(Red、Green、Blue)のビデオデータ(RGBデータ)である。
色空間変換部12は、原画像の画像データを原画像の色空間とは異なる色空間における画像データに変換する。本実施の形態では、RGB色空間における画像データであるRGBデータをHSV色空間における明度値であるVデータに変換する。またこの場合、色空間変換部12は、RGBデータからなる原画像を、Vデータからなる明度画像に変換する、と言うこともできる。
具体的には、例えば、次のようにして明度値を求める。
原画像を構成する各画素について座標(i、j)に位置する画素の画素値が、(R、G、B)=(I(i、j)、I(i、j)、I(i、j))であったとする。このとき色空間変換部12は、I(i、j)、I(i、j)、I(i、j)のうち最大値をHSV色空間における明度値V(i、j)とする。これは下記の数1式で表すことができる。即ち、この場合、明度値V(i、j)は、原画像の各画素I(i、j)、I(i、j)、I(i、j)に基づき求められたものである、と言うことができる。なお数1式でmaxは、I(i、j)、I(i、j)、I(i、j)のうち最大値を選択する関数である。
Figure 2017187994
なお画像情報取得部11で取得される画像データが、HSV色空間におけるHSVデータであった場合は、色空間変換部12は不要である。この場合、原画像の各画素に基づく明度値としてVデータがそのまま使用できる。
さらにここでは色空間変換部12では、原画像の画像データをHSV色空間における明度値であるVデータに変換したが、これに限られるものではない。例えば、原画像の画像データを、YCbCr色空間における明度値であるYデータやL色空間における明度値であるLデータ等に変換し、これを使用することもできる。
照明光強度算出部13は、明度値V(i、j)から、明度値V(i、j)が少なくとも1つの平滑化度合いで平滑化された少なくとも1つの平滑化画像を用いて原画像の照明光成分を画素値とする照明光強度画像を求める。つまり照明光画像は、Retinex原理に基づいた画像処理によって原画像を照明光成分と反射率成分に分離したときの照明光成分により構成される画像である。
図3は、照明光強度算出部13が行なう処理について説明した図である。
この処理を行なうのに、まず照明光強度算出部13は、明度画像を平滑化して平滑化画像(平滑化明度画像)を生成する。平滑化は、例えば、下記数2式で表されるガウス関数を用いる。
Figure 2017187994
図4(a)〜(c)は、数2式における分散σを変化させたときのガウス関数の形状について示した概念図である。
図4(a)は、分散σを小さくしたときのガウス関数の形状を示している。同様に図4(b)は、分散σを中程度にしたときのガウス関数の形状を示し、図4(c)は、分散σを大きくしたときのガウス関数の形状を示している。
図示するように分散σがより小さいほど、ガウス関数の形状は、よりシャープとなり、分散σがより大きいほど、ガウス関数の形状は、よりブロードとなる。
図3に戻り、照明光強度算出部13は、数2式で表されるガウス関数を使用し、明度画像に対して分散σを異ならせた複数のガウス関数で畳み込み演算を行なうことで、異なる平滑化度合いの平滑化画像(平滑化明度画像)を生成する。図3では、n通りの分散σによるガウス関数で畳み込み演算を行ない、n通りの平滑化画像(平滑化明度画像)を生成した場合を示している。図3では、これをスケール1、スケール2、 … 、スケールnのn層からなる多層平滑化明度画像として図示している。分散σを異ならせた複数のガウス関数で畳み込み演算を行なうことで平滑化画像(平滑化明度画像)の周波数が変化する。例えば、図4(a)のように分散σを小さくしたときは、平滑化画像(平滑化明度画像)の周波数は高周波となる。また図4(b)のように分散σを中程度にしたときは、平滑化画像(平滑化明度画像)の周波数は中程度となる。さらに図4(c)のように分散σを大きくしたときは、平滑化画像(平滑化明度画像)の周波数は低周波となる。
そして照明光強度算出部13は、生成した複数の平滑化画像(平滑化明度画像)に対し、画素毎に平均値を算出する。この平均値は、照明光成分L(i、j)となる。畳み込み演算および平均値(照明光成分L(i、j))の算出は、以下の数3式で表すことができる。数3式で○の中に×がある演算子は畳み込み(コンボリューション)を表す。これにより得られる画像は、原画像の照明光成分を画素値とする画像である照明光強度画像となる。
Figure 2017187994
なおここでは平滑化画像(平滑化明度画像)は複数求め、これに基づく平均値を算出したが、平滑化画像(平滑化明度画像)は少なくとも1つあれば、処理は可能である。平滑化画像(平滑化明度画像)が1つの場合、平均値の算出は不要となる。
またここでは生成した複数の平滑化画像(平滑化明度画像)の平均値を算出したが、それぞれの平滑化画像(平滑化明度画像)に対し重みを設定し、加重加算(重み付け和)を算出しこれをL(i、j)としてもよい。この場合、L(i、j)は、下記数4式で表すことができる。数4式でWは、それぞれの平滑化画像(平滑化明度画像)に対し設定される重みである。
Figure 2017187994
さらにここでは、平滑化画像(平滑化明度画像)を生成するのに数2式で表されるガウス関数を使用し、これを画像の平滑化を行なう平滑化フィルタとして使用していたが、これに限られるものではない。例えば、エッジ保存を行なう平滑化フィルタとして知られるバイラテラルフィルタ等を使用することもできる。
図2に戻り、光源色算出部141は、照明光強度画像を基に原画像における照明光の光源色である照明光源色を求める。
具体的には、光源色算出部141は、原画像の画素値に対し、原画像の画素値に対応する照明光強度画像の画素値を重みとする重み付け平均を求めることで照明光源色を求める。
照明光源色Cは、RGBデータであり、下記数5式、数6式で表すことができる。数6式において原画像の画素値は、I(i、j)、I(i、j)、I(i、j)である。そして原画像の画素値に対応する照明光強度画像の画素値として原画像と同じ座標に位置する照明光強度画像の画素値L(i、j)を重みとして使用して重み付け平均を求める。そして照明光源色Cとして、数5式で表されるRGBデータからなる色データを求める。
Figure 2017187994
Figure 2017187994
出力部18は、求められた照明光源色Cの情報を出力する。照明光源色Cの情報は、例えば、表示装置20(図1参照)で表示してもよく、他の画像処理を行なうための情報として使用してもよい。
次に第1の実施形態における画像処理装置10の動作について説明する。
図5は、第1の実施形態における画像処理装置10の動作について説明したフローチャートである。
まず画像情報取得部11が原画像の画像データを取得する(ステップ101)。原画像の画像データは、例えば、RGBデータである。
次に色空間変換部12が原画像の画像データであるRGBデータを、HSV色空間における明度値であるVデータに変換する(ステップ102)。これは、例えば、数1式を使用することで求めることができる。
次に照明光強度算出部13が、数2式で表されるガウス関数を用いてVデータにより構成された明度画像に対し畳み込み演算を行ない複数の平滑化画像(平滑化明度画像)を生成し、さらに複数の平滑化画像(平滑化明度画像)について画素毎に平均値を求め照明光強度画像を生成する(ステップ103)。これは、例えば、数3式により行なうことができる。
そして光源色算出部141が、照明光強度画像の画素値を重みとし、原画像の画素値に対し重み付け平均を求めることで照明光源色を求める(ステップ104)。これは、例えば、数5式、数6式を用いて行なうことができる。
最後に出力部18が、照明光源色の情報を出力する(ステップ105)。
第1の実施形態によれば、Retinex原理に基づく照明光成分を利用することで、より精度が高い照明光源色を求めることができる。
[第2の実施形態]
次に画像処理装置10の第2の実施形態について説明を行なう。
第2の実施形態では、求められた照明光源色を使用して、原画像の照明光の光源色を変更した出力画像を求める場合について説明を行なう。
図6は、第2の実施形態における画像処理装置10の機能構成例を表すブロック図である。
図示する画像処理装置10は、図2に示した第1の実施形態における画像処理装置10に比較して、画像情報取得部11と、色空間変換部12と、照明光強度算出部13と、出力部18とを備える点で同様である。一方、図示する画像処理装置10は、照明光成分算出部14と、照明光成分調整部15と、反射率成分算出部16と、調整照明光反映部17とを備える点で第1の実施形態と異なる。
画像情報取得部11、色空間変換部12、および照明光強度算出部13の機能は、第1の実施形態と同様である。よって以下、照明光成分算出部14、照明光成分調整部15、反射率成分算出部16、調整照明光反映部17、および出力部18について説明を行なう。
照明光成分算出部14は、上述した光源色算出部141とともに、照明光画像生成部142を備える。
光源色算出部141については、第1の実施形態と同様であり、原画像における照明光の光源色である照明光源色Cを求める。
照明光画像生成部142は、原画像から照明光成分の寄与分を取り出した照明光画像を生成する。
本実施の形態では、原画像と照明光強度画像から照明光画像を算出する。この場合、照明光画像は、RGBデータからなり、照明光画像の座標(i、j)に位置する画素の画素値が、(R、G、B)=(L(i、j)、L(i、j)、L(i、j))であるとする。このときL(i、j)、L(i、j)、L(i、j)は、同じ座標に位置する照明光強度画像の画素値L(i、j)と原画像の画素値(I(i、j)、I(i、j)、I(i、j))を使用して、下記数7式で表すことができる。
ここでFは、括弧内の画素値を変数とし、L(i、j)、L(i、j)、L(i、j)の値を、階調値0〜255の値となるようにする関数である。Fは、下記数8式で表すことができる。数8式においてnormalize(x、y)は、xとyの積を階調値0〜255に正規化する関数である。
Figure 2017187994
Figure 2017187994
照明光強度画像は、照明光成分を画素値とし、照明光成分はスカラー量であるため色の情報を有さない。対して本実施の形態の照明光画像は、原画像と照明光強度画像のそれぞれの画素値を乗算し、さらに規格化したものであり、3次元のベクトル量となる。照明光画像は色の情報を有し、原画像の中から照明光成分の寄与分を取り出したものであると捉えることができる。また照明光画像は、照明光強度画像をカラー化した画像であると捉えることもできる。
数7式および数8式で示した例では、原画像と照明光強度画像のそれぞれの画素値を単に乗算し、その値を基に照明光画像を求めていたが、これに限られるものではない。
例えば、以下の数9式のように、非線形な計算方法を用いてもよい。数9式では、原画像と照明光強度画像のそれぞれの画素値を乗算した後で、ガンマ補正を行なう場合を示している。数9式で、γは、ガンマ値であり、例えば、0.5である。即ち、この場合、原画像と照明光強度画像のそれぞれの画素値の相乗平均を求めている。またKは比例定数であり、例えば、0.8である。
Figure 2017187994
また以下の数10式のように、原画像と照明光強度画像のそれぞれの画素値に対しガンマ補正を行なった後に、乗算する方法でもよい。数10式でγおよびγは、ガンマ値であり、例えば、γ=0.8、γ=0.8である。
Figure 2017187994
照明光画像を生成するのに数7式〜数10式で示した何れの数式を用いるのが適しているかについては、画像により変化する。
照明光成分調整部15は、照明光画像を目標となる光源色である目標光源色に合わせ色調整を行なう。
ここでは、光源色算出部141で求められた照明光源色Cと目標となる光源色である目標光源色Cとを用いて、照明光画像の色調整を行ない、調整後の照明光画像を生成する。目標光源色Cは、RGBデータであり、ここでは、C=(LRt、LGt、LBt)であるとする。
具体的には、調整後の照明光画像の座標(i、j)に位置する画素の画素値(調整後の照明光成分)が、(R、G、B)=(L’(i、j)、L’(i、j)、L’(i、j))であるとすると、L’(i、j)、L’(i、j)、L’(i、j)は、以下の数11式で算出することができる。
Figure 2017187994
また以下の数12式のようにパラメータwを用いて補正を行なってもよい。パラメータwは、例えば、平滑化画像(平滑化明度画像)の画素値L(i、j)や彩度成分S(i、j)など画素位置によって異なる値となる値を含む重みパラメータである。このパラメータwにより画像中のどのような特性の画素の照明光成分を調整するかを決定することができる。
Figure 2017187994
例えば、以下の数13式を使用し、平滑化画像(平滑化明度画像)の画素値L(i、j)と彩度成分S(i、j)から重みパラメータwi、jを決定する。重みパラメータwi、jは、座標(i、j)の位置にある重みパラメータwを表す。これにより、物体そのものの色の影響が強い彩度の高い領域の色は、色調整の調整量が小さく、原画像の画素値が保存されやすい。対して、照明光の色の影響が強い明るくて彩度の低い領域ほどより色調整の調整量が大きくなる。
数13式で、k、B、γは、予め定められたパラメータであり、wは、0〜1の間となるように、例えば、以下の数14式に示したような関数N(x)により調整する。
Figure 2017187994
Figure 2017187994
図7は、S(i、j)とwとの関係を示した図である。
図7において横軸は、S(i、j)を表し、縦軸は、wを表す。
この場合、k、B、γをそれぞれ調整することにより、図示するようにS(i、j)とwとの関係を調整することができる。即ち、kを調整することでwの上限を定めることができる。またBを調整することでwの下限を定めることができる。さらにγを調整することでS(i、j)とwとの関係を表すカーブを変化させることができる。
なおここでは重みパラメータwi、jを得るため数14式に示す関数N(x)を使用する場合について示したが、同様の効果がある関数であればどのような関数を利用してもよい。また、wを求める際に同様の関数を使用してもよい。
目標光源色Cは、予め用意された値を用いてもよく、例えば、以下の数15式のように照明光源色Cから予め算出しておいてもよい。
Figure 2017187994
また照明光画像の画素値、照明光源色C、および目標光源色Cから、調整後の照明光画像の画素値を求める関数Fを定義し、以下の数16式のように調整後の照明光画像の画素値を算出してもよい。
Figure 2017187994
反射率成分算出部16は、原画像の反射率成分を画素値とする反射率成分画像を求める。
反射率成分画像は、Retinex原理に基づいた画像処理によって原画像を照明光成分と反射率成分に分離したときの反射率成分により構成される画像である。
本実施の形態では、明度画像と照明光強度画像とを用いて反射率成分画像を生成する。
本実施の形態では、明度画像における明度値V(i、j)と反射率成分R(i、j)との間に以下の数17式の関係が成り立つと仮定する。なお反射率成分R(i、j)は、座標(i、j)の位置にある画素の反射率成分を表す。
Figure 2017187994
そして数17式より導かれる下記数18式により反射率成分R(i、j)を求め、反射率成分R(i、j)により構成される反射率成分画像を生成する。
Figure 2017187994
調整照明光反映部17は、色調整後の照明光画像および反射率成分画像から、原画像を目標光源色に合わせた画像である出力画像を求める。
本実施の形態では、調整後の照明光画像の座標(i、j)に位置する画素の画素値(調整後の照明光成分)L’(i、j)、L’(i、j)、L’(i、j)と、同じ座標に位置する反射率成分R(i、j)とを、以下の数19式のように乗算し、出力画像の画像データとして、(R、G、B)=(I’(i、j)、I’(i、j)、I’(i、j))を求める。
つまり本実施の形態では、照明光画像生成部142および反射率成分算出部16により原画像を照明光画像と反射率成分画像とに分離していたが、調整照明光反映部17において調整後の照明光画像と反射率成分画像とを再合成し、元の原画像と同様の状態に戻す。ただし、調整照明光反映部17により生成される出力画像は、原画像に対し照明光源色が調整されたものとなる。
Figure 2017187994
出力部18は、出力画像の画像データを出力する。出力画像の画像データは、例えば、表示装置20(図1参照)で表示される。
次に第2の実施形態における画像処理装置10の動作について説明する。
図8は、第2の実施形態における画像処理装置10の動作について説明したフローチャートである。
ステップ201〜ステップ204は、図5のステップ101〜ステップ104と同様である。よってステップ205以降について説明を行なう。
ステップ204の後、照明光画像生成部142が、原画像から照明光成分の寄与分を取り出した照明光画像を生成する(ステップ205)。具体的には、照明光画像生成部142は、例えば、数7式〜数10式を使用し、原画像と照明光強度画像から照明光成分L(i、j)、L(i、j)、L(i、j)を算出する。
次に照明光成分調整部15が、照明光画像を目標となる光源色である目標光源色に合わせ色調整を行なう(ステップ206)。具体的には、照明光成分調整部15は、数11式〜数14式を使用し、照明光源色Cと目標光源色Cとを用いて照明光成分L(i、j)、L(i、j)、L(i、j)の色調整を行ない、調整後の照明光成分L’(i、j)、L’(i、j)、L’(i、j)を求める。
さらに反射率成分算出部16が、原画像の反射率成分を画素値とする反射率成分画像を求める(ステップ207)。本実施の形態では、例えば、数18式を使用し、明度値V(i、j)を用いて反射率成分R(i、j)を生成する。
次に調整照明光反映部17が、調整後の照明光画像および反射率成分画像から、原画像を目標光源色に合わせた画像である出力画像を求める(ステップ208)。本実施の形態では、例えば、数19式を使用し、調整後の照明光成分L’(i、j)、L’(i、j)、L’(i、j)と、反射率成分R(i、j)とを乗算し、出力画像の画像データとする。
最後に出力部18が、出力画像の画像データを出力する(ステップ209)。
第2の実施形態によれば、予め用意された照明光源色に合わせ、原画像の色調整をすることができる。これにより種々の照明光源色における画像を再現することができる。例えば、照明光源色を白色光とすれば、オートホワイトバランスの機能を実現することができる。
[第3の実施形態]
次に画像処理装置10の第3の実施形態について説明を行なう。
第3の実施形態では、目標光源色をユーザの指示に基づき設定する場合について説明を行なう。
図9は、第3の実施形態における画像処理装置10の機能構成例を表すブロック図である。
図示する画像処理装置10は、図6に示した第2の実施形態における画像処理装置10に比較して、目標光源色指定部19が付加される点で異なる。そして目標光源色指定部19以外の機能部については、第2の実施形態と同様である。よって以下、目標光源色指定部19について説明を行なう。
目標光源色指定部19は、ユーザが指定する目標光源色を取得する。
第2の実施形態では、目標光源色は、予め用意されていたり、予め算出していたが、第3の実施形態では、目標光源色指定部19が、目標光源色をユーザの指定に基づき設定する。
ユーザが指定する目標光源色は、例えばRGB値で指定することができる。またユーザは、表示装置20(図1参照)に表示された画面から入力装置30(図1参照)を操作することで、目標光源色を指定することもできる。
図10(a)〜(b)は、ユーザが目標光源色を指定するユーザインターフェースについて示した図である。
図10(a)〜(b)で示すユーザインターフェースは、「暖色」、「寒色」のような度合いとその間でスライドするスライダSからなる。そして「暖色」、「寒色」のような度合いと対応したRGB値を予め設定しておき、ユーザがスライダSを動かすと対応するRGB値が目標光源色として設定される。例えば暖色の目標光源色を、(R、G、B)=(200、180、180)とし、寒色の目標光源色を、(R、G、B)=(180、180、200)のように設定する。そしてこの間の目標光源色は、スライダSの位置に応じて補間により算出する。補間の方法は、例えば、線形補間でもよく、RGB値をCIELabなどの視覚特性を考慮した色空間に変換し、その上で線形補間した結果を再度RGB値に変換した値を用いてもよい。
また図10の場合は、ユーザの指定は、スライダSにより行なったがこれに限られるものではなく、タッチパネル上でのスワイプ操作等、同様のユーザ指示が可能なユーザインターフェースを利用する方法でもよい。
さらに図10の場合は、「暖色」と「寒色」との間でユーザが指定を行なったが、これに限られるものではない。例えば、目標光源色の見本色を並べたパレットを表示し、この中からユーザが指定を行なってもよく、ユーザが白色の色温度を入力するような方法でもよい。
次に第3の実施形態における画像処理装置10の動作について説明する。
図11は、第3の実施形態における画像処理装置10の動作について説明したフローチャートである。
ステップ301〜ステップ305は、図8のステップ201〜ステップ205と同様である。
ステップ305の後、目標光源色指定部19が、目標光源色をユーザの指定に基づき設定する(ステップ306)。
そして以後は、目標光源色指定部19が設定した目標光源色に基づき、原画像の照明光の光源色を変更する画像処理が行われる。ステップ307〜ステップ310は、ステップ206〜ステップ209と同様である。
第3の実施形態によれば、ユーザが指定する照明光源色に合わせ、原画像の色調整をすることができる。これにより例えば、原画像に対しカラーバランスを調整することができる。
[第4の実施形態]
次に画像処理装置10の第4の実施形態について説明を行なう。
第4の実施形態では、目標光源色を見本となる見本画像から取得する場合について説明を行なう。
図12は、第4の実施形態における画像処理装置10の機能構成例を表すブロック図である。
図示する画像処理装置10の機能部の構成は、図6に示した第2の実施形態における画像処理装置10の機能部の構成と同様である。
ただし画像情報取得部11は、原画像の画像データの他に、見本となる見本画像の画像データも取得する。この場合、見本画像は、ユーザが望む印象の画像を有し、原画像の画像処理を行うための見本となる画像である。
色空間変換部12、照明光強度算出部13、および光源色算出部141は、見本画像について原画像と同様の処理を行なう。その結果、光源色算出部141からは見本画像について照明光源色が出力される。そして見本画像について求められた照明光源色を目標光源色とする。これは、照明光強度算出部13および光源色算出部141は、見本となる画像である見本画像について照明光強度画像および照明光源色をそれぞれ求め、見本画像についての照明光源色を目標光源色とする、と言うこともできる。
次に第4の実施形態における画像処理装置10の動作について説明する。
図13は、第4の実施形態における画像処理装置10の動作について説明したフローチャートである。
まず画像情報取得部11が原画像の画像データとともに見本画像の画像データを取得する(ステップ401)。原画像および見本画像の画像データは、例えば、RGBデータである。
次に色空間変換部12が原画像および見本画像の画像データであるRGBデータを、HSV色空間における明度値であるVデータに変換する(ステップ402)。これは、例えば、数1式を使用することで求めることができる。
次に照明光強度算出部13が、Vデータにより構成された明度画像に対し、数2式で表されるガウス関数を用いて複数の平滑化画像(平滑化明度画像)を畳み込み演算を行ない、さらに複数の平滑化画像(平滑化明度画像)について画素毎に平均値を求め照明光強度画像を生成する(ステップ403)。これは、原画像を基に構成された明度画像および見本画像を基に構成された明度画像のそれぞれについて行なわれる。この処理は、例えば、数3式により行なうことができる。
そして光源色算出部141が、照明光強度画像の画素値を重みとし、原画像の画素値に対し重み付け平均を求めることで照明光源色を求める(ステップ404)。これは、例えば、数5式、数6式を用いて行なうことができる。そして光源色算出部141は、見本画像を基にして求められた照明光源色を目標光源色とする(ステップ405)。
以後のステップ406〜ステップ410は、図8のステップ205〜ステップ209と同様である。
第4の実施形態によれば、見本画像の照明光源色に合わせ、原画像の色調整をすることができる。これにより見本画像の照明光源色に合わせた画像を再現することができる。
[第5の実施形態]
次に画像処理装置10の第5の実施形態について説明を行なう。
第5の実施形態では、照明光成分調整部15において照明光画像の色調整に加え、コントラスト成分についても調整を行なう。
第5の実施形態における画像処理装置10の機能構成例は、図6に示した第2の実施形態における画像処理装置10の機能構成例と同様である。
第2の実施形態では、照明光成分調整部15が、例えば、数11式を使用して照明光画像の色調整を行ない、調整後の照明光画像を得たが、本実施の形態では、これに加え、例えば、画像の照明光コントラストパラメータCを用いて照明光成分のコントラストを調整する。
照明光コントラストパラメータCを用いた場合、数11式は、以下の数20式のようになる。
Figure 2017187994
なお照明光成分のコントラストを調整できる方法であれば、数20式の方法に限られるものではなく、他の関数を利用してもよい。
次に第5の実施形態における画像処理装置10の動作について説明する。
図14は、第5の実施形態における画像処理装置10の動作について説明したフローチャートである。
ステップ501〜ステップ505は、図8のステップ201〜ステップ205と同様である。
ステップ505の後は、照明光成分調整部15が、照明光画像を目標となる光源色である目標光源色に合わせ色調整を行なうとともに、コントラスト調整も行なう(ステップ506)。具体的には、照明光成分調整部15は、数20式を使用し、照明光源色C、目標光源色C、照明光コントラストパラメータCを用いて照明光成分L(i、j)、L(i、j)、L(i、j)の色調整およびコントラスト調整を行ない、調整後の照明光成分L’(i、j)、L’(i、j)、L’(i、j)を求める。
ステップ507〜ステップ509は、図8のステップ207〜ステップ209と同様である。
第5の実施形態によれば、原画像に対し照明光のコントラストも調整することができる。そしてこれにより照明光の強さを変化させた画像を再現するようなこともできる。種々の照明光源色における画像を再現する際に、より自然な再現画像が得られる。
<画像処理装置のハードウェア構成例>
次に、画像処理装置10のハードウェア構成について説明する。
図15は、画像処理装置10のハードウェア構成を示した図である。
画像処理装置10は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置10は、演算手段であるCPU(Central Processing Unit)91と、記憶手段であるメインメモリ92、およびHDD(Hard Disk Drive)93とを備える。ここで、CPU91は、OS(Operating System)やアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ92は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、HDD93は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置10は、外部との通信を行なうための通信インターフェース(以下、「通信I/F」と表記する)94を備える。
<プログラムの説明>
ここで以上説明を行った本実施の形態における画像処理装置10が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
よって第1の実施形態で画像処理装置10が行なう処理は、コンピュータに、原画像を構成する各画素の画素値に基づく明度値から、明度値が少なくとも1つの平滑化度合いで平滑化された少なくとも1つの平滑化画像を用いて原画像の照明光成分を画素値とする照明光強度画像を求める照明光強度算出機能と、原画像と照明光強度画像とを基に照明光の光源色である照明光源色を求める光源色算出機能と、を実現させるプログラムとして捉えることができる。
また第2の実施形態で画像処理装置10が行なう処理は、これに加え、コンピュータに、原画像から照明光成分の寄与分を取り出した照明光画像を生成する照明光画像生成機能と、照明光画像を目標となる光源色である目標光源色に合わせ色調整を行なう照明光成分調整機能と、原画像の反射率成分を画素値とする反射率成分画像を求める反射率成分算出機能と、色調整後の照明光画像および反射率成分画像から、原画像を目標光源色に合わせた画像である出力画像を求める調整照明光反映機能と、をさらに実現させるプログラムとして捉えることができる。
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD−ROM等の記録媒体に格納して提供することも可能である。
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
1…画像処理システム、10…画像処理装置、11…画像情報取得部、12…色空間変換部、13…照明光強度算出部、14…照明光成分算出部、15…照明光成分調整部、16…反射率成分算出部、17…調整照明光反映部、18…出力部、19…目標光源色指定部、20…表示装置、30…入力装置、141…光源色算出部、142…照明光画像生成部

Claims (11)

  1. 原画像を構成する各画素の画素値に基づく明度値から、当該明度値が少なくとも1つの平滑化度合いで平滑化された少なくとも1つの平滑化画像を用いて当該原画像の照明光成分を画素値とする照明光強度画像を求める照明光強度算出部と、
    前記原画像と前記照明光強度画像とを基に照明光の光源色である照明光源色を求める光源色算出部と、
    を備える画像処理装置。
  2. 前記光源色算出部は、前記原画像の画素値に対し、当該原画像の画素値に対応する前記照明光強度画像の画素値を重みとする重み付け平均を求めることで前記照明光源色を求めることを特徴とする請求項1に記載の画像処理装置。
  3. 前記原画像から照明光成分の寄与分を取り出した照明光画像を生成する照明光画像生成部と、
    前記照明光画像を目標となる光源色である目標光源色に合わせ色調整を行なう照明光成分調整部と、
    前記原画像の反射率成分を画素値とする反射率成分画像を求める反射率成分算出部と、
    色調整後の前記照明光画像および前記反射率成分画像から、前記原画像を前記目標光源色に合わせた画像である出力画像を求める調整照明光反映部と、
    をさらに備えることを特徴とする請求項1または2に記載の画像処理装置。
  4. ユーザが指定する前記目標光源色を取得する目標光源色指定部をさらに備えることを特徴とする請求項3に記載の画像処理装置。
  5. 前記照明光強度算出部および前記光源色算出部は、見本となる画像である見本画像について前記照明光強度画像および前記照明光源色をそれぞれ求め、当該見本画像についての当該照明光源色を前記目標光源色とすることを特徴とする請求項3に記載の画像処理装置。
  6. 前記照明光成分調整部は、コントラスト調整をさらに行なうことを特徴とする請求項3に記載の画像処理装置。
  7. 原画像を構成する各画素の画素値に基づく明度値から、当該明度値が少なくとも1つの平滑化度合いで平滑化された少なくとも1つの平滑化画像を用いて当該原画像の照明光成分を画素値とする照明光強度画像を求め、
    前記原画像と前記照明光強度画像とを基に照明光の光源色である照明光源色を求めることを特徴とする画像処理方法。
  8. 前記原画像から照明光成分の寄与分を取り出した照明光画像を生成し、
    前記照明光画像を目標となる光源色である目標光源色に合わせ色調整を行ない、
    前記原画像の反射率成分を画素値とする反射率成分画像を求め、
    色調整後の前記照明光画像および前記反射率成分画像から、前記原画像を前記目標光源色に合わせた画像である出力画像を求めることを特徴とする請求項7に記載の画像処理方法。
  9. 画像を表示する表示装置と、
    前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、
    を備え、
    前記画像処理装置は、
    原画像を構成する各画素の画素値に基づく明度値から、当該明度値が少なくとも1つの平滑化度合いで平滑化された少なくとも1つの平滑化画像を用いて当該原画像の照明光成分を画素値とする照明光強度画像を求める照明光強度算出部と、
    前記原画像と前記照明光強度画像とを基に照明光の光源色である照明光源色を求める光源色算出部と、
    を備える画像処理システム。
  10. コンピュータに、
    原画像を構成する各画素の画素値に基づく明度値から、当該明度値が少なくとも1つの平滑化度合いで平滑化された少なくとも1つの平滑化画像を用いて当該原画像の照明光成分を画素値とする照明光強度画像を求める照明光強度算出機能と、
    前記原画像と前記照明光強度画像とを基に照明光の光源色である照明光源色を求める光源色算出機能と、
    を実現させるプログラム。
  11. コンピュータに、
    前記原画像から照明光成分の寄与分を取り出した照明光画像を生成する照明光画像生成機能と、
    前記照明光画像を目標となる光源色である目標光源色に合わせ色調整を行なう照明光成分調整機能と、
    前記原画像の反射率成分を画素値とする反射率成分画像を求める反射率成分算出機能と、
    色調整後の前記照明光画像および前記反射率成分画像から、前記原画像を前記目標光源色に合わせた画像である出力画像を求める調整照明光反映機能と、
    をさらに実現させる請求項10に記載のプログラム。
JP2016077612A 2016-04-07 2016-04-07 画像処理装置、画像処理方法、画像処理システムおよびプログラム Active JP6786850B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016077612A JP6786850B2 (ja) 2016-04-07 2016-04-07 画像処理装置、画像処理方法、画像処理システムおよびプログラム
US15/368,782 US10244218B2 (en) 2016-04-07 2016-12-05 Image processing apparatus, image processing system, image processing method, and non-transitory computer readable medium
CN201710009795.6A CN107274351B (zh) 2016-04-07 2017-01-06 图像处理设备、图像处理系统和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016077612A JP6786850B2 (ja) 2016-04-07 2016-04-07 画像処理装置、画像処理方法、画像処理システムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2017187994A true JP2017187994A (ja) 2017-10-12
JP6786850B2 JP6786850B2 (ja) 2020-11-18

Family

ID=59998516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016077612A Active JP6786850B2 (ja) 2016-04-07 2016-04-07 画像処理装置、画像処理方法、画像処理システムおよびプログラム

Country Status (3)

Country Link
US (1) US10244218B2 (ja)
JP (1) JP6786850B2 (ja)
CN (1) CN107274351B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277806A (zh) * 2020-02-19 2020-06-12 北京优瀚康科技有限公司 一种图像处理方法及装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107342066B (zh) * 2017-06-19 2019-07-23 Oppo广东移动通信有限公司 屏幕亮度调节方法、装置及其设备
CN109919846B (zh) * 2017-12-12 2022-09-23 腾讯科技(深圳)有限公司 一种图像增强方法、装置及计算设备
RU2697627C1 (ru) * 2018-08-01 2019-08-15 Самсунг Электроникс Ко., Лтд. Способ корректировки освещенности объекта на изображении в последовательности изображений и вычислительное устройство пользователя, реализующее упомянутый способ
CN109118458A (zh) * 2018-11-06 2019-01-01 哈尔滨工程大学 一种低照度彩色图像增强方法
TWI754863B (zh) * 2019-11-29 2022-02-11 聯陽半導體股份有限公司 影像擷取裝置及方法
CN111918095B (zh) * 2020-08-05 2022-06-03 广州市百果园信息技术有限公司 一种暗光增强方法、装置、移动终端和存储介质
CN117337574A (zh) * 2021-05-20 2024-01-02 谷歌有限责任公司 电子设备的相机系统中的混合白平衡模式
CN114882040B (zh) * 2022-07-12 2022-09-06 山东中治环境工程设备有限公司 一种基于模板匹配的污水处理检测方法
CN115615938B (zh) * 2022-12-14 2023-03-28 天津中科谱光信息技术有限公司 基于反射光谱的水体水质分析方法、装置、电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09327024A (ja) * 1996-06-07 1997-12-16 Olympus Optical Co Ltd 画像処理装置
JP2003259392A (ja) * 2002-03-05 2003-09-12 Fuji Photo Film Co Ltd ホワイトバランス補正方法
US6791606B1 (en) * 2000-05-09 2004-09-14 Eastman Kodak Company Auto white balancing apparatus and method
JP2012108898A (ja) * 2010-10-29 2012-06-07 Jvc Kenwood Corp 画像処理装置、画像処理方法
JP2013042428A (ja) * 2011-08-18 2013-02-28 Fujifilm Corp 撮像装置及び画像処理方法
JP2015075794A (ja) * 2013-10-04 2015-04-20 富士ゼロックス株式会社 画像処理装置及びプログラム
JP2015122669A (ja) * 2013-12-24 2015-07-02 キヤノン株式会社 画像処理装置、その制御方法およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4081213B2 (ja) * 1999-10-04 2008-04-23 イーストマン コダック カンパニー オートホワイトバランス装置及び方法
US7602969B2 (en) * 2002-07-18 2009-10-13 Sony Corporation Imaging data processing method, imaging data processing device, and computer program
JP3767541B2 (ja) * 2002-11-12 2006-04-19 ソニー株式会社 光源推定装置、光源推定方法、撮像装置および画像処理方法
JP4677226B2 (ja) * 2004-12-17 2011-04-27 キヤノン株式会社 画像処理装置及び方法
CN100553345C (zh) * 2006-06-30 2009-10-21 佛山市顺德区顺达电脑厂有限公司 一种色温调整方法及系统
JP5178170B2 (ja) * 2007-12-11 2013-04-10 オリンパス株式会社 ホワイトバランス調整装置及びホワイトバランス調整方法
CN102572211B (zh) * 2010-12-20 2015-11-25 韩华泰科株式会社 估计光源的方法和设备
JP5740147B2 (ja) 2010-12-20 2015-06-24 三星テクウィン株式会社Samsung Techwin Co., Ltd 光源推定装置及び光源推定方法
JP2014053855A (ja) * 2012-09-10 2014-03-20 Sony Corp 画像処理装置および方法、並びにプログラム
US9418403B2 (en) * 2013-10-04 2016-08-16 Fuji Xerox Co., Ltd. Image processor and non-transitory computer readable medium for generating a reproduction image which is reproduced so that visibility of an original image is enhanced
JP6423625B2 (ja) * 2014-06-18 2018-11-14 キヤノン株式会社 画像処理装置および画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09327024A (ja) * 1996-06-07 1997-12-16 Olympus Optical Co Ltd 画像処理装置
US6791606B1 (en) * 2000-05-09 2004-09-14 Eastman Kodak Company Auto white balancing apparatus and method
JP2003259392A (ja) * 2002-03-05 2003-09-12 Fuji Photo Film Co Ltd ホワイトバランス補正方法
JP2012108898A (ja) * 2010-10-29 2012-06-07 Jvc Kenwood Corp 画像処理装置、画像処理方法
JP2013042428A (ja) * 2011-08-18 2013-02-28 Fujifilm Corp 撮像装置及び画像処理方法
JP2015075794A (ja) * 2013-10-04 2015-04-20 富士ゼロックス株式会社 画像処理装置及びプログラム
JP2015122669A (ja) * 2013-12-24 2015-07-02 キヤノン株式会社 画像処理装置、その制御方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277806A (zh) * 2020-02-19 2020-06-12 北京优瀚康科技有限公司 一种图像处理方法及装置

Also Published As

Publication number Publication date
US10244218B2 (en) 2019-03-26
JP6786850B2 (ja) 2020-11-18
CN107274351B (zh) 2022-04-22
US20170295351A1 (en) 2017-10-12
CN107274351A (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
JP6786850B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
Boitard et al. Temporal coherency for video tone mapping
US9020257B2 (en) Transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image
Reinhard et al. Calibrated image appearance reproduction.
Akyüz et al. Color appearance in high-dynamic-range imaging
KR101366596B1 (ko) 이차원 정지 화상에 대해 몰입감을 생성하는 방법 및시스템 그리고 상기 몰입감 생성을 위한 팩터 조절 방법,이미지 콘텐트 분석 방법 및 스케일링 파라미터 예측 방법
JP6623832B2 (ja) 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
AU2014268148B2 (en) Image processing apparatus, and program
JP6550138B2 (ja) 映像処理装置
Kwon et al. Luminance adaptation transform based on brightness functions for LDR image reproduction
US20120057785A1 (en) Method and system to modify a color lookup table
JP6617432B2 (ja) 画像処理装置及びプログラム
US8565523B2 (en) Image content-based color balancing
JP3673092B2 (ja) 画質調整装置及び画質調整方法、並びに画像調整用プログラムを記録した記録媒体
JP2016177500A (ja) 画像処理装置、画像処理システムおよびプログラム
Abebe et al. Evaluating the color fidelity of itmos and hdr color appearance models
JP2014192859A (ja) 色補正方法、プログラム及び装置
JP6160426B2 (ja) 画像処理装置及びプログラム
JP4359662B2 (ja) カラー画像の露出補正方法
CN110874816B (zh) 一种图像处理方法、装置、移动终端及存储介质
AU2017201441A1 (en) Image processing apparatus, program, and image processing method
JP2021089654A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6749504B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Dolhasz et al. Measuring observer response to object-scene disparity in composites
JP2016110354A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201012

R150 Certificate of patent or registration of utility model

Ref document number: 6786850

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350