JP2022076239A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 撮像画像間の色を効率よく合わせることを目的とする。
【解決手段】 上記課題を解決するために、本発明に係る画像処理装置は、ＲＡＷ画像データと、前記ＲＡＷ画像データを撮像した第一の撮像装置とは異なる第二の撮像装置で撮像された目標画像の目標画像データとを取得する第一取得手段と、ＲＡＷ画像データを現像するために用いる現像パラメータと、前記現像パラメータを用いて現像した画像との対応関係を学習した学習モデルを用いて、前記ＲＡＷ画像データの現像後の画像が前記目標画像の画像特性に近似するよう、前記第一の撮像装置の現像パラメータを推定する推定手段と、前記推定手段により推定した現像パラメータを用いて、前記ＲＡＷ画像データを現像する現像手段とを有することを特徴とする。
【選択図】 図２

Description

本発明は、撮像した画像を現像する画像処理技術に関する。

撮像時にデジタルカメラやデジタルシネマカメラの画像センサから得られるＲＡＷデータは、画像センサの出力値をＡ／Ｄ変換した値そのものを保持する。ＲＡＷデータに対して現像処理を行うことによって、撮像画像を表す画像データ（以降、現像後画像とも呼ぶ）が生成される。ここで現像処理とは、例えばベイヤー配列の画素データをＲＧＢ３チャンネルのピクセル値に変換するデモザイキング処理や、露出補正、ホワイトバランス補正、ノイズ除去処理などの単独または複数の画像処理から構成されている。現像処理に使用するパラメータは現像パラメータとも呼ばれ、撮像者はＲＡＷデータを保持しておけば撮像後に現像パラメータを調整することで好みの現像後画像を生成することができる。特許文献１には、ＲＡＷデータを現像するために用いる現像パラメータを画像の好ましさを表す審美性に基づいて取得することが記載されている。

ここで、異なる機種のカメラで撮像された画像間の色を合わせたい場合、同一の現像パラメータを適用しようとしても、カメラメーカーによって現像パラメータの項目が異なる、たとえ同一メーカーのカメラ間であってもセンサ出力値や現像処理が異なっている、ことなどにより適用できない場合がある。

特開２０１６－１６２４２１号公報

この場合、撮像者は色を合わせたいカメラで撮像された画像を参照しながら、所望の画像となるように調整可能な範囲の中で現像パラメータを手動調整する必要があり労力と時間を要する。また、カメラには色を合わせるために、３ＤＬＵＴによる色変換機能を有するカメラもあるが、３ＤＬＵＴを作成するためには専用の測定器や作成のための専門知識が必要となる。

本発明は、上記課題を鑑みてなされたものであり、撮像画像間の色を効率よく合わせることを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、ＲＡＷ画像データと、前記ＲＡＷ画像データを撮像した第一の撮像装置とは異なる第二の撮像装置で撮像された目標画像の目標画像データとを取得する第一取得手段と、ＲＡＷ画像データを現像するために用いる現像パラメータと、前記現像パラメータを用いて現像した画像との対応関係を学習した学習モデルを用いて、前記ＲＡＷ画像データの現像後の画像が前記目標画像の画像特性に近似するよう、前記第一の撮像装置の現像パラメータを推定する推定手段と、前記推定手段により推定した現像パラメータを用いて、前記ＲＡＷ画像データを現像する現像手段とを有することを特徴とする。

本発明によれば、現像パラメータと現像後画像の組み合わせを学習した結果から所望の画像と近い画像を現像する現像パラメータを推定することにより、撮像画像間の色を効率よく合わせることができる。

画像処理装置１のハードウェア構成の一例を示す図。 画像処理装置１の論理構成を示すブロック図。 画像処理装置１の処理の流れを示すフローチャート。 グラフィカルユーザインタフェースの一例を示す図。 学習用データ生成部２０３が実行する処理のフローチャート。 現像パラメータの一例を示す図。 学習用のデータセットの一例を示す図。 現像パラメータ推定部２０４が実行する処理のフローチャート。 現像パラメータ推定部２０４が実行する学習処理を説明する図。 学習用データ生成部３０３が実行する処理のフローチャート。 学習用データ生成部３０３が実行する処理のフローチャート。 学習用のデータセットの一例を示す図。

以下、本実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜画像処理装置１のハードウェア構成＞
図１は、画像処理装置１のハードウェア構成の一例を示す図である。画像処理装置１は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＶＣ（ビデオカード）１１１と、汎用Ｉ／Ｆ１１４と、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１１８と、を有する。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、外部記憶装置１１０などに格納されたＯＳや各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。汎用Ｉ／Ｆ１１４には、シリアルバス１１５を介して、マウスやキーボードなどの入力デバイス１１６や撮像装置１１７が接続される。ＳＡＴＡＩ／Ｆ１１８には、シリアルバス１１９を介して、外部記憶装置１１０が接続される。ＶＣ１１１には、シリアルバス１１２を介して、ディスプレイ１１３が接続される。ＣＰＵ１０１は、プログラムによって提供されるＵＩ（ユーザインタフェース）をディスプレイ１１３に表示し、入力デバイス１１６を介して得られたユーザの指示を表す入力情報を入力する。図１に示す画像処理装置１は、例えば、デスクトップ型のＰＣによって実現される。

また、外部記憶装置１１０はＨＤＤであったが、これに限られない。例えば、ＳＳＤ（ソリッドステートドライブ）であってもよい。また、外部記憶装置１１０は、メディア（記録媒体）と、当該メディアへのアクセスを行うための外部記憶ドライブとによっても実現される。メディアには、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリなどを用いることができる。

＜画像処理装置１の構成＞
図２は、画像処理装置１の構成を示すブロック図である。画像処理装置１は、ＣＰＵ１０１がＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３をワークメモリとして実行することによって、図２に示す構成として機能する。尚、以下に示す処理の全てが必ずしもＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように情報処理装置１が構成されていてもよい。

画像処理装置１は、画像取得部２０１と、現像項目取得部２０２と、学習用データ生成部２０３と、現像パラメータ推定部２０４と、現像処理部２０５と、表示制御部２０６を有する。画像取得部２０１は、色合わせの対象となる目標画像や補正対象のＲＡＷデータ、学習に使用するＲＡＷデータなどの画像データを撮像装置１１７やＲＯＭ１０２あるいは外部記憶装置１１０などから取得する。以降、ＲＡＷデータも画像データと呼ぶ場合がある。現像項目取得部２０２は、ＲＡＷデータに対してホワイトバランスやガンマカーブなど、現像処理を行う際の処理項目を取得する。以降、取得した処理項目を、現像項目または項目と呼ぶ場合がある。学習用データ生成部２０３は、現像項目取得部２０２で取得した項目について学習モデル生成に使用する学習用の画像データを生成する。現像パラメータ推定部２０４は、学習用データ生成部２０３で生成したデータに基づいて学習モデルを生成し、学習モデルに基づいて現像パラメータを推定する。現像処理部２０５は、画像取得部２０１で取得した補正元のＲＡＷデータを現像パラメータ推定部２０４で推定した現像パラメータに基づいて現像処理を行う。表示制御部２０６は、処理に必要な情報をユーザに入力してもらうためのユーザインタフェースや処理した画像の表示を制御する。

＜画像処理装置１が実行する処理＞
図３は、画像処理装置１が実行する処理の流れを示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ１１において表示制御部２０６は、処理に必要な情報をユーザに入力してもらうためのグラフィカルユーザインタフェース（以下、ＧＵＩ）を、ディスプレイ１１３に表示させる。また表示制御部２０６は、ＧＵＩを介してユーザからの指示を入力する。ここで図４にＧＵＩの例を示す。表示制御部２０６はまず、現像処理を行うためのＧＵＩをディスプレイ１１３に表示する。

図４において、目標画像データ選択ボタン１００１はユーザから色合わせの対象となる目標画像の選択を入力するためのボタンである。ＲＡＷ画像データ選択ボタン１００２はユーザからＲＡＷ画像データの選択を入力するためのボタンである。現像後画像保存ボタン１００３はユーザから現像後画像の保存先の選択を入力するためのボタンである。画像表示領域１００４は画像を表示する領域であり、目標画像データ選択ボタン１００１で選択された画像データを左側に、現像処理後の画像データを右側に表示する。

現像パラメータ推定ボタン１００５が押下されると現像パラメータを推定する処理が実行され、推定されたパラメータが後述の１００７から１０１５の各現像パラメータ設定部に設定される。現像処理実行ボタン１００６が押下すると設定された現像パラメータに基づいてＲＡＷ画像データ選択ボタン１００２で選択された画像の現像処理を行う。

黒レベル設定部１００７は画像の暗部の明るさレベルに影響する現像パラメータを設定する。黒ガンマ設定部１００８は画像の暗部のトーンカーブに影響する現像パラメータを設定する。黒色かぶり設定部１００９は画像の暗部の色みに影響する現像パラメータを設定する。ニーポイント設定部１０１０は高輝度領域の圧縮における圧縮の開始点に影響する現像パラメータを設定する。傾き設定部１０１１は高輝度領域の圧縮における圧縮カーブの傾きに影響する現像パラメータを設定する。ガンマカーブ設定部１０１２は画像全体の明るさの階調に影響する現像パラメータを設定する。ホワイトバランス設定部１０１３は画像全体の色みに影響する現像パラメータを設定する。カラーマトリクス設定部１０１４は画像全体の色みに影響する現像パラメータを設定する。カラーコレクション設定部１０１５は特定色相の色みに影響する現像パラメータを設定する。

ガンマカーブ表示領域１０１６は現像後画像の画素値の輝度ヒストグラムと、設定されたガンマカーブを表示する。

Ｓ１２において画像取得部２０１は、色合わせの対象となる目標画像を示す画像データ（以降、目標画像データとも呼ぶ）を入力画像として取得する。具体的には、画像取得部２０１は、ユーザ指示により目標画像として指定された画像を特定する情報を表示制御部２０６から入力すると、目標画像データが格納された場所を特定し、ＲＯＭ１０２から読み出す。目標画像データは、所定の現像処理によって既に現像されており、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）各色の画像データからなるものとする。なお、Ｓ１１とＳ１２とは、処理の順番が逆であってもよい。

Ｓ１３において現像項目取得部２０２は、現像処理に使用する現像パラメータの項目（以降、現像項目とも呼ぶ）を取得する。例えば、図４のＧＵＩの各項目においてユーザからの指示が入力された項目を取得する。なお、項目はユーザからの入力に限らず、予め定めた少なくとも一つの所定の項目を用いてもよい。取得する現像パラメータの項目については後述する。

Ｓ１４において学習用データ生成部２０３は、現像項目別に学習モデルを生成するための学習用のデータセットを生成する。尚、学習用データ生成部２０３における処理の詳細は後述する。

Ｓ１５において現像パラメータ推定部２０４は、Ｓ１３で取得した現像項目別に学習モデルを生成し、現像パラメータを推定する。尚、現像パラメータ推定部２０４における処理の詳細は後述する。

Ｓ１６において画像取得部２０１は、目標画像に対して画像特性を合わせる補正対象のＲＡＷデータを取得する。

Ｓ１７において画像処理装置１は、Ｓ１５で推定した現像パラメータを用いてＲＡＷデータの現像処理を行い、現像後画像データを保存して処理を終了する。

＜Ｓ１４における学習用データ生成部２０３の動作＞
図５はＳ１４において学習用データ生成部２０３が実行する処理の流れを示すフローチャートである。

Ｓ１４１において学習用データ生成部２０３は、Ｓ１３で取得した現像パラメータの現像項目を取得する。尚、本実施例では画像特性に影響する現像項目として、「黒レベル」、「黒ガンマ」、「黒色かぶり」、「ニーポイント」、「傾き」、「ガンマカーブ」、「ホワイトバランス」、「カラーマトリクス」、「カラーコレクション」、の９項目を扱う。しかしながら、これらに限らず、他の項目を用いてもよいし、これらの一部のみを用いてもよい。各項目における現像処理を説明する。

「ニーポイント」、「傾き」は白飛びを防ぐため、図６のように被写体の高輝度部分の入力信号値がカメラのダイナミックレンジに収まるよう、カメラ信号を圧縮するためのポイントとそのポイントにおける傾きを設定する。「傾き」をマイナス側に設定すると傾きは緩やかになり、表現できるダイナミックレンジは広がる一方で階調の表現力が低下する。一方で、「傾き」をプラス側に設定すると傾きは急になり、表現できるダイナミックレンジは狭くなる一方で階調の表現力が高まる。

「黒レベル」、「黒ガンマ」は黒の表現力を調整するパラメータであり、図６のように「黒レベル」は調整値をプラス側に設定すると黒が浮き上がり、調整値をマイナス側に設定すると黒がつぶれコントラストが強い画像となる。「黒ガンマ」は黒のガンマが効く明るさの範囲とレベルを設定し、レベルをプラス側に設定すると明るくなり、マイナス側に設定すると暗い画像になる。

「黒色かぶり」は黒に色みがついてしまう場合にＲ，Ｇ，Ｂの各信号値についてゲイン量を調整項目として設け、Ｒ，Ｇ，Ｂのゲイン比を調整することで画像の暗部の色かぶりを緩和する。

「ガンマカーブ」については入力信号値とカメラ出力信号値間の階調特性を設定し、画像の全体的な明るさを設定するパラメータである。

「ホワイトバランス」は画像のＲ，Ｇ，Ｂのゲイン比を調整することで画像全体の色みを設定するパラメータである。

「カラーマトリクス」は画像の特定色を目標色に変換させるための変換行列が目標色の数に合わせて複数格納されており、例えばｓＲＧＢやＡｄｏｂｅＲＧＢといった目標色に合わせて変換行列を用いて色変換を行う。「カラーコレクション」は特定色相の色みを調整するパラメータであり、色相角を色相環に従ってＲ／Ｇ，Ｒ／Ｂ，Ｇ／Ｒ，Ｇ／Ｂ，Ｂ／Ｒ，Ｂ／Ｇの６つに分けて明るさ、彩度、色相の値を調整する。

本実施例で説明した現像項目は一例であり、使用するカメラの現像処理アプリケーションで公開されている現像項目に合わせて項目を変更してもよい。

Ｓ１４２において学習用データ生成部２０３は、学習モデル生成に使用するための学習用の画像データとして予め準備したＲＡＷ画像データ群を取得する。尚、本実施例では人物や風景画像、スポーツや趣味、食品など多様なカテゴリのＲＡＷデータを１０００枚予め準備し保持させるが、ユーザの趣向に応じて特定のカテゴリの画像を保持させてもよいし、準備する画像の枚数もこれに限られない。

Ｓ１４３において学習用データ生成部２０３は、Ｓ１４２で取得したＲＡＷデータについて、Ｓ１４１で取得した項目に基づいて現像処理を行う。以下に現像設定の一例を示すが、設定値の範囲や刻み幅、数値はこれに限定されず、使用するカメラの現像処理アプリケーションで公開されている範囲の中で自由に設定してもよい。

まず、高輝度部の圧縮については「ニーポイント」を入力信号値の７５％～１００％の範囲で５％刻み、「傾き」を±側に５段階変化させた１２５通りの設定を使用して現像処理を行い、高輝度部の再現が異なる１２５の現像後画像を生成する。黒については「黒レベル」をＲＧＢカウント２刻みで±１０まで１０段階、「黒ガンマ」は明るさの範囲Ｌ＊＝０～１０、０～１５、０～２０の３つでガンマの強度が異なるカーブをプラス側に３段階、マイナス側に３段階設定する。また、「黒色かぶり」はＲＧＢ比率の異なる係数を７セット設定し、黒については「黒レベル」「黒ガンマ」「黒色かぶり」の３つの組み合わせで１４７０通りの設定で現像処理を行い、黒の再現が異なる１４７０の現像後画像を生成する。「ガンマカーブ」については明るさの階調特性の異なるカーブを１０通り設定し現像処理を行い、階調特性の異なる１０通りの現像後画像を生成する。「ホワイトバランス」についてはＲＧＢ比率の異なる係数を５０セット設定し現像処理を行い、白色色度の異なる５０通りの現像後画像を生成する。「カラーマトリクス」については所望の目標値となるように係数が予め演算された３ｘ３の行列式が１０通り準備され、それぞれ現像処理を行い、色再現の異なる１０通りの現像後画像を生成する。「カラーコレクション」は６つの色相角についてそれぞれ明るさの明暗を±２段階、彩度を±２段階、色相を±２段階変化させた計７５０通りの設定を使用して現像処理を行い、特定色相毎に色再現の異なる７５０の現像後画像を生成する。

Ｓ１４４において学習用データ生成部２０３は、Ｓ１４３で現像処理した現像後画像とその現像処理に使用した現像パラメータを対とするデータを学習用データとして保存する。

図７は学習用データを模式的に表した図であり、本実施例では現像パラメータとその現像パラメータで現像された現像後画像の対応関係を１対１でラベル付けする。これらのラベル付けを１０００枚のＲＡＷデータに対して現像項目毎に行う。

Ｓ１４５において学習用データ生成部２０３は、全ての現像項目について学習用データを生成したかどうかを判定し、生成していなければＳ１４３の処理へ戻り、生成していれば処理を終了する。

＜Ｓ１５における現像パラメータ推定部２０４の動作＞
図８は、Ｓ１５において現像パラメータ推定部２０４が実行する処理の流れを示すフローチャートである。

Ｓ１５１において現像パラメータ推定部２０４は、Ｓ１４で生成した学習モデル生成用の学習用のデータセットを取得する。

Ｓ１５２において現像パラメータ推定部２０４は、学習処理を行う。尚、本実施例で使用する学習処理は畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）を使用し、その処理概要を図９に示す。本処理で使用する畳み込み層及びプーリング層の構成は１６層からなるＶＧＧ１６を使用する。畳み込み層では入力画像のフィルタ処理（３ｘ３）と活性化関数を用いた非線形処理、プーリング層では畳み込み層で処理された特徴マップの縮小処理を行う。活性化関数は本実施例ではシグモイド関数を用いるが、ＲｅＬＵ関数など他の非線形処理を用いてもよい。分類器は畳み込み層とプーリング層で処理された特徴量マップをもとに現像パラメータのカテゴリの分類を行う。損失関数はクロスエントロピーを使用し、分類器の予測カテゴリと真のカテゴリを比較し、勾配法を用いて損失関数が最小となる重みパラメータを最適化する。入力画像にはＳ１４で生成した現像後画像を、正解データにはラベル付けした現像パラメータを設定し、設定した画像データとラベルとに基づいて入力画像の現像パラメータを類別する学習モデルを生成する。

Ｓ１５３において現像パラメータ推定部２０４は、全ての現像項目について学習モデルを生成したかどうかを判定し、生成していなければＳ１５２の処理へ戻り、生成していればＳ１５４の処理へ進む。

Ｓ１５４において現像パラメータ推定部２０４は、色を合わせる対象の目標画像を取得する。

Ｓ１５５において現像パラメータ推定部２０４は、Ｓ１５３で生成した学習モデルを用いて現像後の画像が目標画像の画像特性に近似するような現像パラメータを推定する。現像パラメータは現像項目別に生成した学習モデルを使用して現像項目別に推定される。推定された現像パラメータは１００７～１０１５の各現像パラメータの設定部に設定されて現像処理を行う際に現像パラメータが適用される。

Ｓ１５６において現像パラメータ推定部２０４は、Ｓ１５５で推定した現像パラメータを保存し、処理を終了する。

以上説明したように、本実施例によれば、現像パラメータと現像後画像の組み合わせを学習させ、その学習結果を用いることで、所望の画像と近い画像を現像する現像パラメータを推定する。これにより、所望の画像を撮像したカメラとその他のカメラとの色を効率よく自動で合わせることができる。

実施例１においては、現像項目の現像パラメータ毎に一つの学習モデルを生成し、これを現像パラメータの推定に適用する方法について説明した。

実施例１の方法では、個別に最適な現像パラメータを複数組み合わせたときに最適解とはならない可能性があるため、２実施例２では複数の現像パラメータを用いて学習モデルを生成する方法について説明する。

具体的には、現像パラメータの設定において実施例１においては、明度再現を調整する項目として、全体的な階調を調整する「ガンマカーブ」、暗部の階調を調整する「黒レベル」「黒ガンマ」、ハイライト部の階調を調整する「ニーポイント」、「傾き」がある。これらは画像の明るさの階調を決定し相互に作用するため、実施例２では個別での最適化は行わず、まず大まかな階調を「ガンマカーブ」の項目で調整し、その後、暗部とハイライト部について詳細な階調を決定させる処理を行う。

このため、実施例１で使用した１６層のネットワークの内、１３層までを「ガンマカーブ」のデータセットを用いて学習させ、残り３層を暗部とハイライト部の局所的な現像項目に対応するデータセットを用いて学習させる。

尚、本実施例における画像処理装置１のハードウェア構成は実施例１のものと同等であるため、説明を省略する。以下において、現像パラメータ推定部２０４の処理を、実施例１のＳ１５に代わり、実施例２では新たにＳ２５として説明する。また、第１実施形態と同一の構成については、同一の符号を付して説明する。

＜Ｓ２５における現像パラメータ推定部２０４の動作＞
図１０は、Ｓ２５において現像パラメータ推定部２０４が実行する処理の流れを示すフローチャートである。

Ｓ２５１において現像パラメータ推定部２０４は、Ｓ１４で生成した学習モデル生成用の学習用のデータセットの中から「ガンマカーブ」に対応する学習データを取得する。

Ｓ２５２において現像パラメータ推定部２０４は、学習処理を行う。ＣＮＮを使用しネットワークの構成は１６層からなるＶＧＧ１６を使用する。処理の詳細は実施例１で説明した方法と同様である。

Ｓ２５３において現像パラメータ推定部２０４は、ネットワークの第１層から第１３層までをＳ２５２で学習させたパラメータで固定し、第１４層から第１６層までの３層をまだパラメータが最適化されていない新規層に置き換える。

Ｓ２５４において現像パラメータ推定部２０４は、Ｓ１４で生成した学習モデル生成用の学習用のデータセットの中から黒の階調再現に関する「黒レベル」と「黒ガンマ」に対応する学習データを取得する。

Ｓ２５５において現像パラメータ推定部２０４は、Ｓ１４で生成した学習モデル生成用の学習用のデータセットの中から高輝度部の圧縮に関する「ニーポイント」と「傾き」に対応する学習データを取得する。

Ｓ２５６において現像パラメータ推定部２０４は、Ｓ２５４とＳ２５５で取得した学習データを用いて第１４層から第１６層までの３層を学習させる。

Ｓ２５７において現像パラメータ推定部２０４は、色を合わせる対象の目標画像を取得する。

Ｓ２５８において現像パラメータ推定部２０４は、Ｓ２５２及びＳ２５６で生成した学習モデルを用いて目標画像から現像パラメータを推定する。尚、本実施例では１３層までを固定し、１４層から１６層までをより詳細な階調再現を決定させるために新規層に置き換えて学習させたが、層の構成はこれに限定せず、例えば１２層から１６層までを置き換えて学習させてもよい。また、学習に使用するデータセットについてもこれに限定せず、例えば「カラーマトリクス」の項目が明るさの階調に寄与する場合は、これを新規層に置き換えて学習させてもよい。

Ｓ２５９において現像パラメータ推定部２０４は、Ｓ２５８で推定した現像パラメータを保存し、処理を終了する。

以上説明したように、実施例２では、相互に作用する現像パラメータについて複数の現像パラメータを用いて学習モデルを生成し、現像パラメータを推定する方法について説明した。複数の現像パラメータを用いることで、より現像後に近い画像を推定することが可能となり、カメラ間の色を効率よく合わせることができる。

実施例３においては、目標画像に対して色再現特性をより効率的に合わせる方法として、目標画像と現像後画像との差分値に基づいて学習用データセットを学習モデルに設定し、より最適な現像パラメータを導出する方法について説明する。尚、本実施例における画像処理装置１のハードウェア構成は実施例１のものと同等であるため、説明を省略する。以下において、現像パラメータ推定部２０４の処理を実施例１のＳ１５に代わり、実施例３では新たにＳ３５として説明する。また、実施例１と同一の構成については、同一の符号を付して説明する。

＜Ｓ３５における現像パラメータ推定部２０４の動作＞
図１１は、Ｓ３５において現像パラメータ推定部２０４が実行する処理の流れを示すフローチャートである。

Ｓ３５１において現像パラメータ推定部２０４は、Ｓ１３で取得した現像項目を取得する。

Ｓ３５２において現像パラメータ推定部２０４は、Ｓ１２で取得した目標画像に対応する現像処理前のＲＡＷデータを取得し、現像項目毎に現像パラメータを複数変化させて現像処理を行う。

Ｓ３５３において現像パラメータ推定部２０４は、目標画像とＳ３５２で現像した複数の現像後画像との画素値の差分値を算出する。尚、本実施例では画素値の差分値として座標位置毎にＲ，Ｇ，Ｂの各画素の差分値を算出し平均化した値を用いるが、中央値や最頻値など他の統計値を用いてもよい。また、画素値の差分値ではなく、画素値からｓＲＧＢやＡｄｏｂｅＲＧＢなどの所定の変換式で輝度値や、さらにＣＩＥ－Ｌａｂ変換式などを用いて色値を算出し、その差分値である輝度差や色差の値を用いてもよい。

Ｓ３５４において現像パラメータ推定部２０４は、Ｓ３５３で算出した目標画像との差分を表す統計値に基づいて、Ｓ３５２で現像パラメータを複数変えた枚数間の分散値を算出する。尚、本実施例では分散値を用いるが標準偏差など他の統計値を用いてもよい。分散が大きいほどその現像項目の現像パラメータは目標画像に対して寄与率が高く、分散が小さいほど寄与率が低いと見なし、学習モデルによる分類が寄与率の高い現像項目について重みが大きくなるように学習を行う。

Ｓ３５５において現像パラメータ推定部２０４は、全ての現像項目について現像項目毎に現像枚数間の分散を算出したかどうかを判定し、算出していればＳ３５６の処理へ進み、算出していなければＳ３５１の処理へ戻る。

Ｓ３５６において現像パラメータ推定部２０４は、学習処理を行う。ＣＮＮを使用しネットワークの構成は１６層からなるＶＧＧ１６を使用する。処理の詳細は実施例１で説明した方法と同様である。学習に使用するデータセットの設定方法として、現像パラメータの寄与度が小さい項目については学習モデルの下位層に、現像パラメータの寄与度が大きい項目についてはより学習の重みを強くするために上位層へ設定し学習を行う。

Ｓ３５７において現像パラメータ推定部２０４は、色を合わせる対象の目標画像を取得する。

Ｓ３５８において現像パラメータ推定部２０４は、Ｓ３５６で生成した学習モデルを用いて目標画像から現像パラメータを推定する。

Ｓ３５９において現像パラメータ推定部２０４は、Ｓ３５８で推定した現像パラメータを保存し、処理を終了する。

以上説明したように、実施例３によれば、目標画像に対して補正対象画像の寄与率が大きい現像項目の順にネットワークの重みが大きくなるように学習モデルを生成し、現像パラメータを推定する方法について説明した。現像項目の中で色再現への影響が大きい項目について最適化の重みを大きくすることで、カメラ間の色を効率よく合わせることができる。

〔その他の実施例〕
実施例１及び２においては、カメラ間の色を効率よく合わせる方法について色再現に関わる現像パラメータの推定方法について説明した。カメラの特性として色再現のほかにも鮮鋭度やノイズ感などあり、これらの特性を合わせるために例えば図１２に示すようにシャープネスやＮＲの現像項目に関する学習用のデータセットを生成し、これらの現像パラメータを推定させてもよい。シャープネスではシャープネスの強度を複数変えて現像した画像とそのシャープネスの設定値の対応関係を、ＮＲではＮＲの強度を複数変えて現像した画像とそのＮＲの現像パラメータをデータセットに保持させる。これらのデータセットを用いて上述の学習処理を行うことで色再現に限定せず、鮮鋭度やノイズに関する現像パラメータの推定を行うことができる。

また本実施例は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (8)

1. ＲＡＷ画像データと、前記ＲＡＷ画像データを撮像した第一の撮像装置とは異なる第二の撮像装置で撮像された目標画像の目標画像データとを取得する第一取得手段と、
   ＲＡＷ画像データを現像するために用いる現像パラメータと、前記現像パラメータを用いて現像した画像との対応関係を学習した学習モデルを用いて、前記ＲＡＷ画像データの現像後の画像が前記目標画像の画像特性に近似するよう、前記第一の撮像装置の現像パラメータを推定する推定手段と、
   前記推定手段により推定した現像パラメータを用いて、前記ＲＡＷ画像データを現像する現像手段と、
   を有することを特徴とする画像処理装置。
2. 前記学習モデルは、前記推定手段で用いられる現像パラメータの項目ごとに生成されたモデルであることを特徴とする請求項１に記載の画像処理装置。
3. 前記項目は、画像の色再現特性に関する現像項目であることを特徴とする請求項２に記載の画像処理装置。
4. さらに、前記項目を取得する第二取得手段と、
   前記第二取得手段により取得した項目について、前記現像パラメータ複数を用いて前記第一取得手段で取得されたＲＡＷ画像データを現像し、前記対応関係を生成する生成手段と
   を有することを特徴とする請求項２または請求項３に記載の画像処理装置。
5. 前記学習モデルは、画像全体の明度再現に関わる前記項目については学習モデルの下位層に設定して学習を行い、画像の局所的な明度再現に関わる前記項目については学習モデルの上位層に設定して学習を行ったモデルであることを特徴とする請求項２乃至請求項４の何れか一項に記載の画像処理装置。
6. 前記学習モデルは、前記項目毎に前記目標画像に対する色再現の寄与率を算出し、寄与率が高い項目の順番に学習モデルの上位層のネットワークの重みが大きくなるように学習用データを設定して学習されたモデルであることを特徴とする請求項２乃至請求項５の何れか一項に記載の画像処理装置。
7. コンピュータを、請求項１乃至請求項６の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
8. ＲＡＷ画像データと、前記ＲＡＷ画像データを撮像した第一の撮像装置とは異なる第二の撮像装置で撮像された目標画像の目標画像データとを取得する第一取得工程と、
   ＲＡＷ画像データを現像するために用いる現像パラメータと、前記現像パラメータを用いて現像した画像との対応関係を学習した学習モデルを用いて、前記ＲＡＷ画像データの現像後の画像が前記目標画像の画像特性に近似するよう、前記第一の撮像装置の現像パラメータを推定する推定工程と、
   前記推定工程により推定した現像パラメータを用いて、前記ＲＡＷ画像データを現像する現像工程と、
   を有することを特徴とする画像処理方法。

Images