JP2008060989A - 撮影画像補正方法及び撮影画像補正モジュール - Google Patents

Abstract

【課題】入力撮影画像の撮影シーンをニュートラルネットワークを用いて高い精度で推定し、その推定結果に基づいて前記入力撮影画像を精度よく補正することを可能とする撮影画像補正技術を提供する。
【解決手段】撮影画像補正モジュール６０は、入力撮影画像から複数種の画像特徴量を求める画像特徴量演算部６１と、前記複数種の画像特徴量から選択されるとともに少なくとも部分的には互いに異なる画像特徴量を含む複数の画像特徴量サブセットのそれぞれを入力として撮影シーンに関する出力を算出する複数のニューラルネットワーク部６２と、ニューラルネットワーク部からの出力を用いて撮影シーンを推定する推定値を算出する出力処理部６３とを備えている。
【選択図】図５

Description

本発明は、入力撮影画像の撮影シーンを考慮して前記入力撮影画像を補正するための撮影画像補正技術に関する。

現在、デジタルカメラによって取得されたデジタル撮影画像のみならず、ネガフィルム、リバーサルフィルム等の写真フィルムに形成された撮影画像もフィルムスキャナを通じてデジタル画像化され、デジタルデータに基づいてプリントヘッドから発せられる光ビームやインク滴を制御し、この制御された光ビームやインク滴によって感光材料や記録紙をプリント走査して画像を形成し、写真プリントを出力する写真プリント装置が広まっている。なお、ここでは、特別に区別する必要がある場合を除いて、デジタルデータとしての撮影画像データやこの撮影画像データに基づくプリント撮影画像やモニタ表示撮影画像を単に撮影画像という語句で総称している。このような写真プリント装置では、デジタルデータ化された撮影画像に対しては最終的に高品位な画像形成を実現するために濃度補正やコントラスト補正など補正処理が行われる。例えば、デジタル化され入力された撮影画像に対する濃度補正技術として、ＲＧＢ各色についての全画素の画素値（濃度値；輝度値）を平均したときにグレー（灰色）となるように、ＲＧＢ各色成分のヒストグラムを補正する方法が知られている。この方法は、「一般的な戸外の風景を撮影した場合に、その画像に記録されている色を全て混ぜ合わせると灰色に近くなる」というエバンスの定理に基づいている。しかしながらこの従来の撮影画像補正技術では、例えば、明るい背景に対してストロボを用いずに人物を撮影した画像や暗い背景に対してフラッシュを用いて人物を撮影した画像、あるいは逆光で人物を撮影した画像など、画面全体で濃度に偏りがある撮影画像を上記技術により濃度補正した場合、背景の影響を受けて主要被写体である人物が適正に補正されないと言う問題点が生じていた。

上記問題を解決するためには、補正対象としての撮影画像の撮影時の状況である撮影シーン（例えば、逆光撮影、ストロボ撮影など）を判定し、判定された撮影シーンに応じて適切な補正のやり方（補正度）を決定し、その決定された補正度に基づいて撮影画像を補正することで、逆光撮影であっても、あるいはストロボ撮影であっても主要被写体が適正に表現されることになる。このようなことから、複数の画素データで構成された画像データを用いてモニタ画面上に画像を再生する画像再生手段と、モニタ画面上に再生された画像のうち特定の範囲を選択する範囲選択手段と、モニタ画面上に再生された画像が逆光又は逆光に近い状態である場合に逆光条件を設定する逆光設定手段と、逆光条件が設定された場合に、選択された範囲に含まれる画素データのうち輝度の低い方から所定の割合の画素データを抽出し、逆光条件が設定されていない場合に、選択された範囲に含まれる画素データのうち輝度の高い方から所定の割合の画素データを抽出する画素データ抽出手段と、前記画素データ抽出手段により抽出された画素データを用いて、選択された範囲の輝度の平均値を演算する平均輝度演算手段と、求められた輝度の平均値をあらかじめ設定された所定の輝度値に補正するための補正量を演算により求める補正量演算手段と、求められた補正量を用いて全画素データを補正する画像データ補正手段と、補正された画像データを用いて画像を形成する画像形成手段とを備えた画像形成装置が知られている（例えば、特許文献１参照）。しかしながら、この従来技術では、前記逆光設定部は、マウスやキーボード、ＣＰＵ、ＲＯＭ、ＲＡＭなどで構成され、ディスプレイ上に再生されているプレスキャン画像が逆光又は逆光に近い状態であるとオペレータやユーザが判断した場合に、マウスやキーボードを操作して、逆光状態に対応する所定の信号を入力するものであり、撮影シーンの判定がオペレータやユーザの経験や知識に頼るものであり、取り扱いに熟練を要するという問題がある。

逆光撮影等の撮影シーンを自動判定するため、ニューラルネットワークを採用することも提案されている。例えば、入力層の各非線形素子に正規化された濃度分布ヒストグラムにおいて定められたサンプリング濃度値における頻度値（正規化された値）がそれぞれ入力されるとともに、出力パターンとして「適正露光」、「アンダー露光」、「オーバ露光」、「逆光」が設定されているニューラルネットワークを構築し、このニューラルネットワークの出力結果に基づき、画像補正演算処理の決定に利用される参照濃度値を適正に抽出することで、多階調画像の露光状態（撮影シーン）に拘わらず適正な画像処理が行なわれる画像処理装置が知られている（例えば、特許文献２参照）。しかしながら、ヒストグラムから得られる画像特徴量を入力として４つの撮影シーンを判定する単一のニューラルネットワークでは、同じ撮影シーンでも種々のヒストグラム形態が生じることや、人物を被写体とした場合には人物を最優先した画像補正が要求されることから、撮影画像によっては十分な出力精度が得られないという問題がある。

特開２００２−１８５７９３号公報（段落番号０００６、００２４、図３） 特開平１１−１５４２３５号公報（段落番号００５４−００５７、図７）

上記実状に鑑み、本発明の課題は、入力撮影画像の撮影シーンをニュートラルネットワークを用いて高い精度で推定し、その推定結果に基づいて前記入力撮影画像を精度よく補正することを可能とする撮影画像補正技術を提供することである。

入力撮影画像の撮影シーンを考慮して前記入力撮影画像を補正するための撮影画像補正方法において上記課題を解決するための、本発明による撮影画像補正方法は、前記入力撮影画像から複数種の画像特徴量を求めるステップと、前記複数種の画像特徴量から選択されるとともに少なくとも部分的には互いに異なる画像特徴量を含む複数の画像特徴量サブセットのそれぞれを入力とする複数のニューラルネットワーク部によって撮影シーンに関する出力を算出するステップと、前記複数のニューラルネットワーク部からの出力を用いて前記入力撮影画像の撮影シーンを推定する推定値を算出するステップとからなる。

また、入力撮影画像の撮影シーンを考慮して前記入力撮影画像を補正するための撮影画像補正モジュールにおいて上記課題を解決するための、本発明による撮影画像補正モジュールは、前記入力撮影画像から複数種の画像特徴量を求める画像特徴量演算部と、前記複数種の画像特徴量から選択されるとともに少なくとも部分的には互いに異なる画像特徴量を含む複数の画像特徴量サブセットのそれぞれを入力として撮影シーンに関する出力を算出する複数のニューラルネットワーク部と、前記複数のニューラルネットワーク部からの出力を用いて前記入力撮影画像の撮影シーンを推定する推定値を算出する出力処理部とを備えている。

このような本発明の特徴構成によれば、処理対象撮影画像から得られた複数種の画像特徴量を入力として処理対象撮影画像の撮影シーンを推定するための結論を出力する複数のニューラルネットワーク部が用意されることになり、しかもそれぞれのニューラルネットワーク部に入力される画像特徴量サブセットはその内容が少なくとも部分的には異なっているので、各ニューラルネットワーク部がそれぞれ独立したアルゴリズムで撮影シーンに関する結論を出力することができる。そして、この複数のニューラルネットワーク部から出力された複数の結論から最終的な撮影画像の撮影シーンを推定する推定値を算出するので、この推定値は一種の合議制による結論であり、かなり極端な撮影条件で撮影された撮影画像であっても極端に異なった推定値を算出するという不都合は抑制される。正確な撮影シーンの推定値が得られることにより、処理対象となっている入力撮影画像に対する正確な補正度を決定することが可能となる。

用いられるニューラルネットワーク部の数は、最終的な結論の信頼度とニューラルネットワーク部の構築コストなどの条件から決定されるが、好適な実施形態として、本発明では、３つの異なるニューラルネットワーク部を用意することが提案される。つまり、前記複数種の画像特徴量から選択された画像特徴量からなる第１画像特徴量サブセットを入力とする第１ニューラルネットワーク部によって撮影シーンに関する第１出力を算出し、前記複数種の画像特徴量から選択されるとともに少なくとも部分的には前記第１画像特徴量サブセットに含まれる画像特徴量とは異なる画像特徴量からなる第２画像特徴量サブセットを入力とする第２ニューラルネットワーク部によって撮影シーンに関する第２出力を算出し、前記複数種の画像特徴量から選択されるとともに少なくとも部分的には前記第１画像特徴量サブセット及び前記第２画像特徴量サブセットに含まれる画像特徴量とは異なる画像特徴量からなる第３画像特徴量サブセットを入力とする第３ニューラルネットワーク部によって撮影シーンに関する第３出力を算出するように構成される。このように３つのニューラルネットワーク構成は、それぞれの結論である第１・第２・第３出力から推定値を算出する際に、全一致の法則や多数決の法則を組み込むことができるという利点も得られる。

ニューラルネットワーク部の入力となる画像特徴量として、本発明の好適な実施形態では、前記入力撮影画像のヒストグラムから得られる種々のヒストグラム特徴量、前記入力撮影画像に設定された領域からこの領域に依存する種々の領域依存濃度特徴量、前記入力撮影画像から得られる種々の色特徴量が採用されており、前記各画像特徴量サブセットには必ずヒストグラム特徴量と領域依存濃度特徴量と色特徴量が含まれるようにすることにより、前記入力撮影画像を画像全体の濃度特性と画像特定領域の濃度特性と画像の色特性といった観点から入力撮影画像の撮影シーンを推定することができる。このことは、最重要な撮影シーンである逆光撮影シーンが画像全体の濃度値と中央領域の濃度値及び肌色の分布をパラメータとして良好な推測が可能であるということを考慮すると、効果的な画像特徴量の選択である。従って、逆光撮影シーンやストロボ撮影シーンを推定すべき撮影シーンとする場合、本発明の好適な実施形態では、前記画像特徴量であるヒストグラム特徴量として、濃度階調を複数の区域に分割して求められた各区域の平均濃度値が用いられ、かつ前記画像特徴量である領域依存濃度特徴量として、前記入力撮影画像の中央領域での平均濃度値である中央平均濃度値と、前記中央領域より拡大された拡大領域での平均濃度値である拡大中央平均濃度値と、全領域での平均濃度値である全域平均濃度値と、全領域での濃度値標準偏差である濃度標準偏差とが用いられ、かつ前記画像特徴量である色特徴量として、前記入力撮影画像の平均彩度と、前記入力撮影画像の平均濃度値以上の濃度値をもつ画素の平均彩度である高濃度平均彩度と、前記入力撮影画像の平均濃度値未満の濃度値をもつ画素の平均彩度である低濃度平均彩度と、前記入力撮影画像の平均濃度値以上の濃度値をもつ肌色の画素数である肌色画素数とが用いられる。

撮影時の撮影シーン（逆光撮影シーン、ストロボ撮影シーン、ノーマル撮影シーンなど）を考慮して入力撮影画像を補正、特に濃度調整補正をするために用いられる、本発明による撮影シーン別撮影画像補正モジュールの基本構成が図１に示されている。この撮影シーン別撮影画像補正モジュール６０の特徴は、複数のニューラルネットワーク部を有する又は複数のニューラルネットワーク部を作り出すニューラルネットワークモジュール６２を備えていることである。各ニューラルネットワーク部の入力層の素子群には、入力された撮影画像から画像特徴量演算部６１によって求められた複数種の画像特徴量から前もって選択されたいくつかの画像特徴量が入力される。その際、各ニューラルネットワーク部の入力層に与えられる画像特徴量のセット、つまり画像特徴量サブセットの中身の少なくとも１つは他のニューラルネットワーク部の入力層に与えられる画像特徴量サブセットとは異なる画像特徴量をもっている。さらに、撮影シーン別撮影画像補正モジュール６０は、各ニューラルネットワーク部からの出力を用いて入力撮影画像の撮影シーンを推定する推定値を算出する出力処理部６３と、この出力処理部６３によって算出された推定値に基づいて入力撮影画像に対する補正度を決定する補正度決定部６４とが備えられている。各ニューラルネットワーク部から出力される出力値は、入力撮影画像の撮影シーンが予め定義されている撮影シーンの１つである確度といった数値であるので、例えば出力処理部６３によって複数のニューラルネットワーク部から出力される出力値を単純平均したり、重み付き平均したりすることで、入力撮影画像に対して割り当てられた特定の撮影シーン毎の推定値が算出される。例えば、ある入力撮影画像に対して、その撮影シーンが逆光撮影シーンである確率が何パーセントで、ストロボ撮影シーンである確率が何パーセントであるといった推定値（推定ベクトル）が算出されるのである。後は、そのような推定値から、多くの実験結果等で得られた知識に基づいて補正度決定部６４が補正度を決定する。補正度決定部６４で決定された補正度は、従来からガンマ補正やコントラスト補正を行っている画像補正部７０で利用され、そこで撮影シーンも考慮した画像補正が行われる。

次に、上述した撮影シーン別撮影画像補正モジュール６０を搭載した写真プリント装置を説明する。図２はその写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Ｐに対して露光処理と現像処理とを行う写真プリンタとしてのプリントステーション１Ｂと、現像済み写真フィルム２ａやデジタルカメラ用メモリカード２ｂなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション１Ｂで使用されるプリントデータの生成・転送などを行う操作ステーション１Ａとから構成されている。

この写真プリント装置はデジタルミニラボとも称せられるものであり、図３からよく理解できるように、プリントステーション１Ｂは２つの印画紙マガジン１１に納めたロール状の印画紙Ｐを引き出してシートカッター１２でプリントサイズに切断すると共に、このように切断された印画紙Ｐに対し、バックプリント部１３で色補正情報やコマ番号などのプリント処理情報を印画紙Ｐの裏面に印字するとともに、プリント露光部１４で印画紙Ｐの表面に撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理槽を有した処理槽ユニット１５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア１６からソータ１７に送られた印画紙Ｐ、つまり写真プリントＰは、このソータ１７の複数のトレイにオーダ単位で仕分けられた状態で集積される（図２参照）。

上述した印画紙Ｐに対する各種処理に合わせた搬送速度で印画紙Ｐを搬送するために印画紙搬送機構１８が敷設されている。印画紙搬送機構１８は、印画紙搬送方向に関してプリント露光部１４の前後に配置されたチャッカー式印画紙搬送ユニット１８ａを含む複数の挟持搬送ローラ対から構成されている。

プリント露光部１４には、副走査方向に搬送される印画紙Ｐに対して、主走査方向に沿って操作ステーション１Ａからのプリントデータに基づいてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット１５は、発色現像処理液を貯留する発色現像槽１５ａと、漂白定着処理液を貯留する漂白定着槽１５ｂと、安定処理液を貯留する安定槽１５ｃを備えている。

前記操作ステーション１Ａのデスク状コンソールの上部位置には、写真フィルム２ａの撮影画像コマから撮影画像データ（以下単に画像データ又は撮影画像と略称する）を２０００ｄｐｉを超える解像度でもって取得することができるフィルムスキャナ２０が配置されており、デジタルカメラ等に装着される撮影画像記録媒体２ｂとして用いられている各種半導体メモリやＣＤ−Ｒなどから画像データを取得するメディアリーダ２１は、この写真プリント装置のコントローラ３として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ２３、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード２４やマウス２５も接続されている。

この写真プリント装置のコントローラ３は、ＣＰＵを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図４に示されているように、本発明に特に関係する機能部としては、フィルムスキャナ２０やメディアリーダ２１によって読み取られた画像データを取り込んで次の処理のために必要な前処理を行う画像入力部３１と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力（キーボード２４やマウス２５などによる）から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された画像データに対する画像処理等を行うプリント管理部３２と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した処理済み画像データに基づいてプリントステーション１Ｂに装備されているプリント露光部１４に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて生の画像データや画像処理が完了した処理済み画像データなどをＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７などが挙げられる。

画像入力部３１は、撮影画像記録媒体がフィルム２ａの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ３０に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード２ｂの場合取り込んだ画像データにサムネイル画像データ（低解像度データ）が含まれている場合はモニタ２３での一覧表示などの目的で使用するため撮影画像の本データ（高解像度データ）とは別にメモリ３０に送り込むが、もしサムネイル画像データが含まれていない場合は本データから縮小画像を作り出してサムネイル画像データとしてメモリ３０に送り込む。さらには、入力された撮影画像に対する各種補正条件や補正位置などを高速に求めるために入力された撮影画像をより小さな画像サイズをもつ補正処理用撮影画像（例えば、２５６×３８４画素）に変換する機能も有する。

プリント管理部３２は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット４０、メモリ３０に展開された撮影画像に対して各種画像処理を施す画像処理ユニット５０を備えている。

画像処理ユニット５０には、メモリ３０に展開された補正用撮影画像から特定の撮影シーン毎の推定値を算出するとともにその撮影シーン推定値から補正度を決定する撮影画像補正モジュール６０と、決定された補正度を利用してプリント目的に用いられる高解像度の撮影画像を補正する画像補正部７０と、それ自体は公知な画像処理アルゴリズムに従って撮影画像の部分的又は全面的な補正を行うフォトレタッチモジュール８０が基本的にはプログラムの形で実装されている。

この撮影画像補正モジュール６０に実装されている画像特徴量演算部６１は、図５に示すように、画像入力部３１によって適切な処理サイズに変換されメモリ３０に展開されている補正処理用撮影画像からヒストグラム特徴量を求めるヒストグラム特徴量演算部６１ａと、補正処理用撮影画像に設定された領域からこの領域に依存する種々の領域依存濃度特徴量を求める領域依存濃度特徴量演算部６１ｂと、補正処理用撮影画像から種々の色特徴量を求める色特徴量演算部６１ｃとを備えている。

この実施形態のヒストグラム特徴量演算部６１ａで求められるヒストグラム特徴量は、図６に示すように、濃度ヒストグラムの横軸である頻度を５つの区域（第１区域、第２区域、第３区域、第４区域、第５区域）に分割して求められた各区域の平均濃度値（第１区域平均濃度値：Ｄ1、第２区域平均濃度値：Ｄ2、第３区域平均濃度値：Ｄ3、第４区域平均濃度値：Ｄ4、第５区域平均濃度値：Ｄ5）である。また、図７から理解できるように、領域依存濃度特徴量演算部６１ｂで求められる領域依存濃度特徴量は、補正処理用撮影画像（２５６×３８４画素）の菱形中央領域（長径：１２８×短径：１９２画素程度）での平均濃度値である中央平均濃度値：Ｅ1と、前記菱形中央領域より拡大された拡大領域（長径：２５６×短径：３８４画素程度）での平均濃度値である拡大中央平均濃度値：Ｅ2と、全領域での平均濃度値である全域平均濃度値：Ｅ3と、全領域での濃度値標準偏差である濃度標準偏差：Ｅ4とである。

さらに、色特徴量演算部６１ｃで求められる色特徴量は、彩度と色相に関する特徴量であり、この特徴量を求めるために、前もってＲＧＢ色空間で表現されている補正処理用撮影画像をＰＱ色空間（色相円の一種）で表現される形に変換される。このＲＧＢ／ＰＱ変換を以下に説明する。
まず、Ｒ・Ｇ・Ｂ色空間の値からＰＱ色空間のＰＱ座標値への変換式は以下に示すマトリックス演算によって求めることができる。

このＲＧＢ／ＰＱ変換によって作り出されるＰＱ色空間は図８に示すように、縦軸がＱ軸で、横軸がＰ軸となっている。このＰＱ座標で決定されるＰＱ色空間は、極座標で考察すると理解し易い。極座標で考察すると、その角度で色相が表され、原点からの距離で彩度が表される。つまり、原点領域が無彩色領域となり、π／６の角度（位相角）がシアン、π／２の角度が青、５π／６の角度がマゼンタ、−５π／６の角度が赤、−π／２の角度が黄、−π／６の角度が緑となっているので、ＰＱ値から簡単に彩度と色相を求めることができる。例えば、写真撮影における重要な被写体である人物の肌色の領域は、図８で斜線で示しているように、角度が−５π／６〜−２π／３の領域となる。

この実施形態の色特徴量演算部６１ｃで求められる色特徴量は、撮影画像全体の平均彩度である全平均彩度：Ｓ1、平均濃度値以上の濃度値を有する画素の平均彩度である高濃度平均彩度：Ｓ2、平均濃度値未満の濃度値を有する画素の平均彩度である低濃度平均彩度：Ｓ3、平均濃度値以上の濃度値を有する肌色の画素数である肌色画素数：Ｓ4である。

ニューラルネットワークモジュール６２は、図５に示すように、この実施形態では、第１ニューラルネットワーク部６２ａと第２ニューラルネットワーク部６２ｂと第３ニューラルネットワーク部６２ｃの３つが稼働する。なお、各ニューラルネットワーク部自体はよく知られた構成を採用しており、教師信号はＧＵＩ部３３を介して与えられ、この教師信号を用いてニューラルネットワーク管理部６２ｚがそれ自体公知であるアルゴリズムを用いて各要素の重み係数を導出する。

第１ニューラルネットワーク部６２ａは、図９に示すように、９個の入力要素を有する入力層と５つの中間要素を有する中間層と３個の出力要素を有する出力層からなる。入力層の各要素には、ヒストグラム特徴量演算部６１ａから第１区域平均濃度値：Ｄ1と第２区域平均濃度値：Ｄ2と第３区域平均濃度値：Ｄ3と第４区域平均濃度値：Ｄ4と第５区域平均濃度値：Ｄ5とが与えられ、領域依存濃度特徴量演算部６１ｂから中央平均濃度値：Ｅ1と拡大中央平均濃度値：Ｅ2と全域平均濃度値：Ｅ3とが与えられ、色特徴量演算部６１ｃから全平均彩度：Ｓ1が与えられる。出力層の各要素からは、撮影シーンがストロボ撮影シーンである可能性を示すストロボ度：α1と、撮影シーンが逆光撮影シーンである可能性を示す逆光度：β1と、撮影シーンがノーマル撮影シーンである可能性を示すノーマル度：γ1とが出力される。α1、β1、γ1は０から１０までの数値で表され、数値が大きくなるほどその可能性が高いことを示している。

第２ニューラルネットワーク部６２ｂは、図１０に示すように、１０個の入力要素を有する入力層と５つの中間要素を有する中間層と３個の出力要素を有する出力層からなる。入力層の各要素には、ヒストグラム特徴量演算部６１ａから第１区域平均濃度値：Ｄ1と第２区域平均濃度値：Ｄ2と第３区域平均濃度値：Ｄ3と第４区域平均濃度値：Ｄ4と第５区域平均濃度値：Ｄ5とが与えられ、領域依存濃度特徴量演算部６１ｂから中央平均濃度値：Ｅ1と拡大中央平均濃度値：Ｅ2と全域平均濃度値：Ｅ3とが与えられ、色特徴量演算部６１ｃから全平均彩度：Ｓ1と肌色画素数：Ｓ4とが与えられる。出力層の各要素からは、第１ニューラルネットワーク部６２ａと同様で、ストロボ度：α2と逆光度：β2とノーマル度：γ2とが出力される。

第３ニューラルネットワーク部６２ｃは、図１１に示すように、１２個の入力要素を有する入力層と６つの中間要素を有する中間層と３個の出力要素を有する出力層からなる。入力層の各要素には、ヒストグラム特徴量演算部６１ａから第１区域平均濃度値：Ｄ1と第２区域平均濃度値：Ｄ2と第３区域平均濃度値：Ｄ3と第４区域平均濃度値：Ｄ4と第５区域平均濃度値：Ｄ5とが与えられ、領域依存濃度特徴量演算部６１ｂから中央平均濃度値：Ｅ1と拡大中央平均濃度値：Ｅ2と全域平均濃度値：Ｅ3と濃度標準偏差：Ｅ4とが与えられ、色特徴量演算部６１ｃから高濃度平均彩度：Ｓ2と低濃度平均彩度：Ｓ3と肌色画素数：Ｓ4とが与えられる。出力層の各要素からは、第１ニューラルネットワーク部６２ａと同様で、ストロボ度：α3と逆光度：β3とノーマル度：γ3とが出力される。

以上の説明から明らかなように、ニューラルネットワークモジュール６２からは、３つの演算結果、つまり第１演算結果（出力）として〔α1,β1,γ1〕、第２演算結果（出力）として〔α2,β2,γ2〕、第３演算結果（出力）として〔α3,β3,γ3〕が出力される。出力処理部６３は、これらの３つの演算結果に基づいて、最終的な入力撮影画像の撮影シーンを推定する推定値（推定ベクトル）〔α,β,γ〕を算出する。ここで、αはストロボ撮影シーンの推定値、βは逆光撮影シーンの推定値、γが逆光撮影シーンの推定値であり、０から１０までの数値をとる。例えば、〔9,1,1〕なら処理対象となっている撮影画像はほぼ１００％の確率でストロボ撮影シーンであると推定される。最も簡単には、３つの演算結果を算術平均することによって最終的な推定値を得ることができるが、より好ましくは、撮影画像の統計学的な画像特性（平均濃度値や濃度中間値など）に応じて設定された重みを用いた重み付け平均を行うことである。例えば、ストロボ撮影シーンを判定しにくいような平均濃度値をもつ撮影画像に対してはストロボ撮影シーンの演算結果であるαに対する重みを小さくしβやγに対する重みを大きくした重み平均を行うことになる。

このように算出された撮影シーン推定値〔α,β,γ〕を参照して、補正度決定部６４はこの撮影画像に対する補正度を決定する。補正度決定部６４で決定された補正度が画像補正部７０に送られると、画像補正部７０はこの補正度を利用して基準の補正曲線の傾きやシフトあるいは部分的な補正曲線の変形を行って、実際のプリントに用いられる高解像度の撮影画像を補正する。

このように、入力層に設定される画像特徴量が異なる複数のニューラルネットワーク部を用いてそれぞれから撮影シーンを推定する演算結果が出力され、これら複数の演算結果に基づいて、いわゆる合議制で、最終的な撮影シーン推定値を算出するので、従来技術より信頼性の高い撮影シーンの特定が可能となり、結果的に高品質の顧客に喜ばれる写真プリントを作り出すことができる撮影画像の補正が実現する。

上述した実施形態の説明では、本発明による撮影画像補正技術が、ＤＰショップに設置されているミニラボと呼ばれている写真プリント装置に組み込まれた例を取り上げたが、コンビニやＤＰショップの店頭に設置されているセルフサービス式の写真プリント装置など、種々の写真プリント装置に組み込んでもよいし、画像処理ソフトウエアの撮影画像補正機能の１つとして、この画像処理ソフトウエアのプログラムに組み込んでもよい。つまり、本発明の権利範囲は、上述した撮影画像補正方法をコンピュータに実行させる撮影画像補正プログラムにも及ぶものである。

なお、上述した実施の形態では、画像出力手段としてのプリントステーション１Ｂは、印画紙Ｐに対し、レーザ式露光エンジンを備えたプリント露光部１４で撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理する、いわゆる銀塩写真プリント方式を採用していたが、もちろん、本発明によって補正された撮影画像のプリント方式は、このような方式に限定されるわけではなく、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント方式にも及ぶものである。

本発明による撮影シーンを考慮して入力撮影画像を補正するための補正度を算出する撮影画像補正モジュールの原理を説明する説明図 本発明による撮影画像補正モジュールを搭載した写真プリント装置の外観図 写真プリント装置のプリントステーションの構成を模式的に示す模式図 写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図 本発明の撮影画像補正モジュールの１つの実施形態における機能構成を示す機能ブロック図 ヒストグラム特徴量を説明する説明図 領域依存濃度特徴量を説明する説明図 色特徴量を説明する説明図 第１ニューラルネットワーク部の構成を示す模式図 第２ニューラルネットワーク部の構成を示す模式図 第３ニューラルネットワーク部の構成を示す模式図

符号の説明

３１：画像入力部
６０：撮影画像補正モジュール
６１：画像特徴量演算部
６１ａ：ヒストグラム特徴量演算部
６１ｂ：領域依存濃度特徴量演算部
６１ｃ：色特徴量演算部
６２：ニューラルネットワークモジュール（ニューラルネットワーク部）
６２ａ：第１ニューラルネットワーク部
６２ｂ：第２ニューラルネットワーク部
６２ｃ：第３ニューラルネットワーク部
６３：出力処理部
６４：補正度決定部
７０：画像補正部

Claims (8)

1. 入力撮影画像の撮影シーンを考慮して前記入力撮影画像を補正するための撮影画像補正方法において、
   前記入力撮影画像から複数種の画像特徴量を求めるステップと、
   前記複数種の画像特徴量から選択されるとともに少なくとも部分的には互いに異なる画像特徴量を含む複数の画像特徴量サブセットのそれぞれを入力とする複数のニューラルネットワーク部によって撮影シーンに関する出力を算出するステップと、
   前記複数のニューラルネットワーク部からの出力を用いて前記入力撮影画像の撮影シーンを推定する推定値を算出するステップと、
   からなることを特徴とする撮影画像補正方法。
2. 前記撮影シーンに関する出力を算出するステップには、
   前記複数種の画像特徴量から選択された画像特徴量からなる第１画像特徴量サブセットを入力とする第１ニューラルネットワーク部によって撮影シーンに関する第１出力を算出するステップと、
   前記複数種の画像特徴量から選択されるとともに少なくとも部分的には前記第１画像特徴量サブセットに含まれる画像特徴量とは異なる画像特徴量からなる第２画像特徴量サブセットを入力とする第２ニューラルネットワーク部によって撮影シーンに関する第２出力を算出するステップと、
   前記複数種の画像特徴量から選択されるとともに少なくとも部分的には前記第１画像特徴量サブセット及び前記第２画像特徴量サブセットに含まれる画像特徴量とは異なる画像特徴量からなる第３画像特徴量サブセットを入力とする第３ニューラルネットワーク部によって撮影シーンに関する第３出力を算出するステップと、
   が含まれていることを特徴とする請求項１に記載の撮影画像補正方法。
3. 前記複数種の画像特徴量を求めるステップには、
   前記入力撮影画像のヒストグラムから種々のヒストグラム特徴量を求めるステップと、
   前記入力撮影画像に設定された領域からこの領域に依存する種々の領域依存濃度特徴量を求めるステップと、
   前記入力撮影画像から種々の色特徴量を求めるステップと、
   が含まれており、前記各画像特徴量サブセットにはヒストグラム特徴量と領域依存濃度特徴量と色特徴量が含まれていることを特徴とする請求項１又は２に記載の撮影画像補正方法。
4. 前記画像特徴量であるヒストグラム特徴量として、濃度階調を複数の区域に分割して求められた各区域の平均濃度値が用いられ、かつ
   前記画像特徴量である領域依存濃度特徴量として、前記入力撮影画像の中央領域での平均濃度値である中央平均濃度値と、前記中央領域より拡大された拡大領域での平均濃度値である拡大中央平均濃度値と、全領域での平均濃度値である全域平均濃度値と、全領域での濃度値標準偏差である濃度標準偏差とが用いられ、かつ
   前記画像特徴量である色特徴量として、前記入力撮影画像の平均彩度と、前記入力撮影画像の平均濃度値以上の濃度値をもつ画素の平均彩度である高濃度平均彩度と、前記入力撮影画像の平均濃度値未満の濃度値をもつ画素の平均彩度である低濃度平均彩度と、前記入力撮影画像の平均濃度値以上の濃度値をもつ肌色の画素数である肌色画素数とが用いられる、
   ことを特徴とする請求項３に記載の撮影画像補正方法。
5. 入力撮影画像の撮影シーンを考慮して前記入力撮影画像を補正するための撮影画像補正モジュールにおいて、
   前記入力撮影画像から複数種の画像特徴量を求める画像特徴量演算部と、
   前記複数種の画像特徴量から選択されるとともに少なくとも部分的には互いに異なる画像特徴量を含む複数の画像特徴量サブセットのそれぞれを入力として撮影シーンに関する出力を算出する複数のニューラルネットワーク部と、
   前記複数のニューラルネットワーク部からの出力を用いて前記入力撮影画像の撮影シーンを推定する推定値を算出する出力処理部と、
   からなることを特徴とする撮影画像補正モジュール。
6. 前複数のニューラルネットワーク部には、
   前記複数種の画像特徴量から選択された画像特徴量からなる第１画像特徴量サブセットを入力として撮影シーンに関する第１出力を算出する第１ニューラルネットワーク部と、
   前記複数種の画像特徴量から選択されるとともに少なくとも部分的には前記第１画像特徴量サブセットに含まれる画像特徴量とは異なる画像特徴量からなる第２画像特徴量サブセットを入力として撮影シーンに関する第２出力を算出する第２ニューラルネットワーク部と、
   前記複数種の画像特徴量から選択されるとともに少なくとも部分的には前記第１画像特徴量サブセット及び前記第２画像特徴量サブセットに含まれる画像特徴量とは異なる画像特徴量からなる第３画像特徴量サブセットを入力として撮影シーンに関する第３出力を算出する第３ニューラルネットワーク部と、
   が含まれていることを特徴とする請求項５に記載の撮影画像補正モジュール。
7. 前記画像特徴量演算部には、
   前記入力撮影画像のヒストグラムから種々のヒストグラム特徴量を求めるヒストグラム特徴量演算部と、
   前記入力撮影画像に設定された領域からこの領域に依存する種々の領域依存濃度特徴量を求める領域依存濃度特徴量演算部と、
   前記入力撮影画像から種々の色特徴量を求める色特徴量演算部と、
   が含まれており、前記各画像特徴量サブセットにはヒストグラム特徴量と領域依存濃度特徴量と色特徴量が含まれていることを特徴とする請求項５又は６に記載の撮影画像補正モジュール。
8. 前記画像特徴量であるヒストグラム特徴量として、濃度階調を複数の区域に分割して求められた各区域の平均濃度値が用いられ、かつ
   前記画像特徴量である領域依存濃度特徴量として、前記入力撮影画像の中央領域での平均濃度値である中央平均濃度値と、前記中央領域より拡大された拡大領域での平均濃度値である拡大中央平均濃度値と、全領域での平均濃度値である全域平均濃度値と、全領域での濃度値標準偏差である濃度標準偏差とが用いられ、かつ
   前記画像特徴量である色特徴量として、前記入力撮影画像の平均彩度と、前記入力撮影画像の平均濃度値以上の濃度値をもつ画素の平均彩度である高濃度平均彩度と、前記入力撮影画像の平均濃度値未満の濃度値をもつ画素の平均彩度である低濃度平均彩度と、前記入力撮影画像の平均濃度値以上の濃度値をもつ肌色の画素数である肌色画素数とが用いられる、
   ことを特徴とする請求項７に記載の撮影画像補正モジュール。

Images