JP2006031440A - 画像処理方法、画像処理装置、画像処理プログラム及び画像処理システム - Google Patents

Abstract

【課題】写真プリントに関する様々な嗜好に適合可能な画像処理を実現する。
【解決手段】画像処理装置２００は、画像情報取得部４で取得された画像情報から所定の特性値を算出し、その算出された特性値を入力信号とし、画像情報を階調変換するための階調補正パラメータを出力信号とする第１のニューラルネットワークを用いて階調補正パラメータを算出する。そして、算出された階調補正パラメータに基づいて画像情報を階調変換することによって補正画像を作成する。オペレータによる指示入力部９の操作により、作成された補正画像に対する補正が指示された場合、ニューロ学習部７において、当該作成された補正画像に対する補正量を教師データとして第１のニューラルネットワークの学習を実施し、学習された第１のニューラルネットワークを用いて、再度階調補正パラメータを算出する。
【選択図】図２

Description

本発明は、画像情報に対して画像処理を施す画像処理方法、画像処理装置、画像処理プログラム及び画像処理システムに関する。

近年、銀塩フィルムやデジタルスチルカメラ（以下、ＤＳＣという。）等の撮影手段により得られた画像情報（撮影画像）から、写真焼付機やデジタルプリンタを用いて写真プリントを得る手法が広く普及している。一般に、撮影画像は、そのままでは写真プリントとして好ましい画像品位を有するものではないため、撮影画像に対して様々な画質調整を施し、好ましい画像を生成する必要がある。

実際の画質調整は、例えば、写真焼付機の場合、印画紙に現像済みフィルムの画像を焼き付ける際の露光量（露光時間、露光強度、露光光源の色調）を調整し、その調整された露光量で印画紙に焼き付けることで行われる。また、ＤＳＣによる撮影で得られた撮影画像や、現像済み銀塩フィルムをフィルムスキャナで読み取って得られた撮影画像に、所定の画像処理を施すことによって、画質調整が行われる。画質調整が施された撮影画像は、デジタルプリンタ等でプリント出力されたり、メモリーカード等の記録メディアに保存されたりする。

画質調整に際し、どのように調整したら好ましい画像が得られるかの情報、即ち、画像調整条件を取得する必要がある。画像調整条件を自動的に取得するために、種々の方法が提案されている。例えば、特許文献１には、撮影画像から肌色領域に関する情報を取得し、その取得された肌色領域情報の中から人物の顔に相当する領域の検出を行って、その検出された顔に相当する領域の画像を所定の色調に仕上げるための階調変換を行う画像処理技術が開示されている。

以下、図２７のフローチャートを参照して、従来の画像処理について説明する。
まず、画像処理装置に入力された画像情報が取得される（ステップＴ１）。次いで、ステップＴ１で取得された画像情報から肌色領域が抽出され、その抽出された肌色領域により人物の顔が抽出される（ステップＴ２）。

次いで、ステップＴ２で抽出された人物の顔領域の特性値（例えば、画素信号値の平均、分散等の統計値）が算出され（ステップＴ３）、その算出された特性値に基づいて、入力された画像情報に対して階調補正が施される（ステップＴ４）。次いで、画像情報に対する追加補正値が設定される（ステップＴ５）。この追加補正値の初期値は０であり、オペレータによって入力された値が追加補正値として設定される。

次いで、ステップＴ５で設定された追加補正値に従って、補正画像が作成され（ステップＴ６）、作成された補正画像が表示部（モニタ）に表示される（ステップＴ７）。オペレータは、表示部に表示された補正画像を見て、補正結果が良好であるか否かを判断し、その判断結果を入力する。

補正画像の補正結果が良好であるという判断結果が入力された場合（ステップＴ８；ＹＥＳ）、本画像処理が終了する。補正画像の補正結果が良好ではない場合（ステップＴ８；ＮＯ）、オペレータにより追加補正値が入力され（ステップＴ９）、その入力された追加補正値が設定され（ステップＴ５）、ステップＴ６〜Ｔ８の処理が繰り返される。
特開平６−６７３２０号公報

しかしながら、従来の画像処理技術では、自動画像処理により、顔画像を均一の階調に仕上げることはできても、被写体のおかれた環境や、被写体個人の特徴を無視した画一的な仕上がり画像しか得られないという問題があった。特に、特許文献１に記載された技術を写真プリントサービスに適用した場合、写真プリントサービスを提供する店舗によって、好ましいプリントに関する嗜好が異なっているため、各店舗に適用した画像処理を行うのが困難であった。一方、画像処理の改良に伴って画像調整結果が劇的に変化する場合、写真プリントサービスを提供する店舗、顧客に混乱を招く恐れがあった。

本発明の課題は、写真プリントに関する様々な嗜好に適合可能な画像処理を実現することである。

上記課題を解決するため、請求項１に記載の発明は、入力された画像情報から所定の特性値を算出する特性値算出工程と、前記算出された特性値を入力信号とし、画像情報に対する階調変換の程度を示す階調補正パラメータを出力信号とする第１のニューラルネットワークを用いて階調補正パラメータを算出する補正パラメータ算出工程と、前記算出された階調補正パラメータに基づいて前記画像情報を階調変換することによって補正画像を作成する補正画像作成工程と、前記作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を教師データとして前記第１のニューラルネットワークの学習を実施する第１の学習工程と、を含むことを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像処理方法において、前記入力された画像情報から、人物の顔領域を検出する顔領域検出工程を含み、前記特性値算出工程では、前記検出された顔領域に関する特性値が算出されることを特徴としている。

請求項３に記載の発明は、請求項２に記載の画像処理方法において、前記入力された画像情報から、人物の顔の可能性がある顔候補領域を抽出する顔候補領域抽出工程を含み、前記顔領域検出工程では、人物の顔検出処理を学習した第２のニューラルネットワークを用いて、前記抽出された顔候補領域から顔領域が検出され、前記特性値算出工程では、前記抽出された顔候補領域が顔領域である可能性を示す、前記第２のニューラルネットワークの出力信号の反応強度及び／又は前記検出された顔領域の特性値が算出されることを特徴としている。

請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像処理方法において、前記第１のニューラルネットワークとは異なる構成を有する第３のニューラルネットワークを取得する取得工程と、前記第１のニューラルネットワークの出力信号を教師データとして前記第３のニューラルネットワークの学習を実施する第２の学習工程と、前記学習された第３のニューラルネットワークの学習結果が所定の条件を満たす場合に、前記第１のニューラルネットワークを当該第３のニューラルネットワークに置き換える置換工程と、を含むことを特徴としている。

請求項５に記載の発明は、請求項１〜３の何れか一項に記載の画像処理方法において、前記第１のニューラルネットワークとは異なる構成を有する第３のニューラルネットワークを取得する取得工程と、前記第１のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を更に補正するための第１の補正値を入力する入力工程と、前記第１の補正値に基づいて、第３のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を補正するための第２の補正値を算出する補正値算出工程と、前記算出された第２の補正値を教師データとして前記第３のニューラルネットワークの学習を実施する第２の学習工程と、前記第１の補正値と、前記学習された第３のニューラルネットワークを用いて算出された第２の補正値の関係が所定の条件を満たす場合に、前記第１のニューラルネットワークを当該第３のニューラルネットワークに置き換える置換工程と、を含むことを特徴としている。

請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像処理方法において、前記特性値算出工程では、前記入力された画像が撮影された時の配光条件を示す値が算出されることを特徴としている。

請求項７に記載の発明は、請求項６に記載の画像処理方法において、前記配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴としている。

請求項８に記載の発明は、請求項１〜７の何れか一項に記載の画像処理方法において、前記入力された画像情報はカラー画像であり、前記補正パラメータ算出工程において算出された階調補正パラメータを所定の比率で分割し、第１の補正パラメータ及び第２の補正パラメータを算出する分割パラメータ算出工程を含み、前記補正画像作成工程では、前記入力された画像情報を輝度−色差情報で表現した場合の輝度情報に対して前記第１の補正パラメータを作用させることによって当該輝度情報が階調変換されるとともに、前記入力された画像情報をＲＧＢ情報で表現した場合の各々の色情報に対して前記第２の補正パラメータを作用させることによって当該色情報が階調変換されることを特徴としている。

請求項９に記載の発明は、請求項１〜８の何れか一項に記載の画像処理方法において、前記補正画像作成工程では、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報が変換されることを特徴としている。

請求項１０に記載の発明は、請求項１〜８の何れか一項に記載の画像処理方法において、前記画像情報の属性情報を取得する属性情報取得工程と、前記取得された属性情報に基づいて、前記画像情報が、撮影により得られた自然画像であるか否かを判定する判定工程と、を含み、
前記判定工程において、前記画像情報が自然画像であると判定された場合、前記補正画像作成工程では、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報が変換されることを特徴としている。

請求項１１に記載の発明は、入力された画像情報から所定の特性値を算出する特性値算出手段と、前記算出された特性値を入力信号とし、画像情報に対する階調変換の程度を示す階調補正パラメータを出力信号とする第１のニューラルネットワークを用いて階調補正パラメータを算出する補正パラメータ算出手段と、前記算出された階調補正パラメータに基づいて前記画像情報を階調変換することによって補正画像を作成する補正画像作成手段と、前記作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を教師データとして前記第１のニューラルネットワークの学習を実施する第１の学習手段と、を備えることを特徴としている。

請求項１２に記載の発明は、請求項１１に記載の画像処理装置において、前記入力された画像情報から、人物の顔領域を検出する顔領域検出手段を備え、前記特性値算出手段は、前記検出された顔領域に関する特性値を算出することを特徴としている。

請求項１３に記載の発明は、請求項１２に記載の画像処理装置において、前記入力された画像情報から、人物の顔の可能性がある顔候補領域を抽出する顔候補領域抽出手段を備え、前記顔領域検出手段は、人物の顔検出処理を学習した第２のニューラルネットワークを用いて、前記抽出された顔候補領域から顔領域を検出し、前記特性値算出手段は、前記抽出された顔候補領域が顔領域である可能性を示す、前記第２のニューラルネットワークの出力信号の反応強度及び／又は前記検出された顔領域の特性値を算出することを特徴としている。

請求項１４に記載の発明は、請求項１１〜１３の何れか一項に記載の画像処理装置において、前記第１のニューラルネットワークとは異なる構成を有する第３のニューラルネットワークを取得する取得手段と、前記第１のニューラルネットワークの出力信号を教師データとして前記第３のニューラルネットワークの学習を実施する第２の学習手段と、前記学習された第３のニューラルネットワークの学習結果が所定の条件を満たす場合に、前記第１のニューラルネットワークを当該第３のニューラルネットワークに置き換える置換手段と、を備えることを特徴としている。

請求項１５に記載の発明は、請求項１１〜１３の何れか一項に記載の画像処理装置において、前記第１のニューラルネットワークとは異なる構成を有する第３のニューラルネットワークを取得する取得手段と、前記第１のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を更に補正するための第１の補正値を入力する入力手段と、前記第１の補正値に基づいて、第３のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を補正するための第２の補正値を算出する補正値算出手段と、前記算出された第２の補正値を教師データとして前記第３のニューラルネットワークの学習を実施する第２の学習手段と、前記第１の補正値と、前記学習された第３のニューラルネットワークを用いて算出された第２の補正値の関係が所定の条件を満たす場合に、前記第１のニューラルネットワークを当該第３のニューラルネットワークに置き換える置換手段と、を備えることを特徴としている。

請求項１６に記載の発明は、請求項１１〜１５の何れか一項に記載の画像処理装置において、前記特性値算出手段は、前記入力された画像が撮影された時の配光条件を示す値を算出することを特徴としている。

請求項１７に記載の発明は、請求項１６に記載の画像処理装置において、前記配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴としている。

請求項１８に記載の発明は、請求項１１〜１７の何れか一項に記載の画像処理装置において、前記入力された画像情報はカラー画像であり、前記補正パラメータ算出手段において算出された階調補正パラメータを所定の比率で分割し、第１の補正パラメータ及び第２の補正パラメータを算出する分割パラメータ算出手段を備え、前記補正画像作成手段は、前記入力された画像情報を輝度−色差情報で表現した場合の輝度情報に対して前記第１の補正パラメータを作用させることによって当該輝度情報を階調変換するとともに、前記入力された画像情報をＲＧＢ情報で表現した場合の各々の色情報に対して前記第２の補正パラメータを作用させることによって当該色情報を階調変換することを特徴としている。

請求項１９に記載の発明は、請求項１１〜１８の何れか一項に記載の画像処理装置において、前記補正画像作成手段は、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴としている。

請求項２０に記載の発明は、請求項１１〜１８の何れか一項に記載の画像処理装置において、前記画像情報の属性情報を取得する属性情報取得手段と、前記取得された属性情報に基づいて、前記画像情報が、撮影により得られた自然画像であるか否かを判定する判定手段と、を備え、前記判定手段により、前記画像情報が自然画像であると判定された場合、前記補正画像作成手段は、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴としている。

請求項２１に記載の発明は、画像処理を実行するコンピュータに、入力された画像情報から所定の特性値を算出する特性値算出機能と、前記算出された特性値を入力信号とし、画像情報に対する階調変換の程度を示す階調補正パラメータを出力信号とする第１のニューラルネットワークを用いて階調補正パラメータを算出する補正パラメータ算出機能と、前記算出された階調補正パラメータに基づいて前記画像情報を階調変換することによって補正画像を作成する補正画像作成機能と、前記作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を教師データとして前記第１のニューラルネットワークの学習を実施する第１の学習機能と、を実現させる。

請求項２２に記載の発明は、請求項２１に記載の画像処理プログラムにおいて、前記入力された画像情報から、人物の顔領域を検出する顔領域検出機能を実現させ、前記特性値算出機能を実現させる際に、前記検出された顔領域に関する特性値を算出することを特徴としている。

請求項２３に記載の発明は、請求項２２に記載の画像処理プログラムにおいて、前記入力された画像情報から、人物の顔の可能性がある顔候補領域を抽出する顔候補領域抽出機能を実現させ、前記顔領域検出機能を実現させる際に、人物の顔検出処理を学習した第２のニューラルネットワークを用いて、前記抽出された顔候補領域から顔領域を検出し、前記特性値算出機能を実現させる際に、前記抽出された顔候補領域が顔領域である可能性を示す、前記第２のニューラルネットワークの出力信号の反応強度及び／又は前記検出された顔領域の特性値を算出することを特徴としている。

請求項２４に記載の発明は、請求項２１〜２３の何れか一項に記載の画像処理プログラムにおいて、前記第１のニューラルネットワークとは異なる構成を有する第３のニューラルネットワークを取得する取得機能と、前記第１のニューラルネットワークの出力信号を教師データとして前記第３のニューラルネットワークの学習を実施する第２の学習機能と、前記学習された第３のニューラルネットワークの学習結果が所定の条件を満たす場合に、前記第１のニューラルネットワークを当該第３のニューラルネットワークに置き換える置換機能と、を実現させる。

請求項２５に記載の発明は、請求項２１〜２３の何れか一項に記載の画像処理プログラムにおいて、前記第１のニューラルネットワークとは異なる構成を有する第３のニューラルネットワークを取得する取得機能と、前記第１のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を更に補正するための第１の補正値を入力する入力機能と、前記第１の補正値に基づいて、第３のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を補正するための第２の補正値を算出する補正値算出機能と、前記算出された第２の補正値を教師データとして前記第３のニューラルネットワークの学習を実施する第２の学習機能と、前記第１の補正値と、前記学習された第３のニューラルネットワークを用いて算出された第２の補正値の関係が所定の条件を満たす場合に、前記第１のニューラルネットワークを当該第３のニューラルネットワークに置き換える置換機能と、を実現させる。

請求項２６に記載の発明は、請求項２１〜２５の何れか一項に記載の画像処理プログラムにおいて、前記特性値算出機能を実現させる際に、前記入力された画像が撮影された時の配光条件を示す値を算出することを特徴としている。

請求項２７に記載の発明は、請求項２６に記載の画像処理プログラムにおいて、前記配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴としている。

請求項２８に記載の発明は、請求項２１〜２７の何れか一項に記載の画像処理プログラムにおいて、前記入力された画像情報はカラー画像であり、前記補正パラメータ算出機能において算出された階調補正パラメータを所定の比率で分割し、第１の補正パラメータ及び第２の補正パラメータを算出する分割パラメータ算出機能を実現させ、前記補正画像作成機能を実現させる際に、前記入力された画像情報を輝度−色差情報で表現した場合の輝度情報に対して前記第１の補正パラメータを作用させることによって当該輝度情報を階調変換するとともに、前記入力された画像情報をＲＧＢ情報で表現した場合の各々の色情報に対して前記第２の補正パラメータを作用させることによって当該色情報を階調変換することを特徴としている。

請求項２９に記載の発明は、請求項２１〜２８の何れか一項に記載の画像処理プログラムにおいて、前記補正画像作成機能を実現させる際に、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴としている。

請求項３０に記載の発明は、請求項２１〜２８の何れか一項に記載の画像処理プログラムにおいて、前記画像情報の属性情報を取得する属性情報取得機能と、前記取得された属性情報に基づいて、前記画像情報が、撮影により得られた自然画像であるか否かを判定する判定機能と、を実現させ、前記補正画像作成機能を実現させる際に、前記判定機能により、前記画像情報が自然画像であると判定された場合、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴としている。

請求項３１に記載の発明は、画像処理対象の画像情報を入力する画像入力装置と、前記入力された画像情報に対して各種の画像処理を施す画像処理装置と、前記画像処理が施された画像情報を出力する画像出力装置から構成される画像処理システムであって、前記画像処理装置は、前記画像入力装置から入力された画像情報から所定の特性値を算出する特性値算出手段と、前記算出された特性値を入力信号とし、画像情報に対する階調変換の程度を示す階調補正パラメータを出力信号とする第１のニューラルネットワークを用いて階調補正パラメータを算出する補正パラメータ算出手段と、前記算出された階調補正パラメータに基づいて前記画像情報を階調変換することによって補正画像を作成する補正画像作成手段と、前記作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を教師データとして前記第１のニューラルネットワークの学習を実施する第１の学習手段と、を備えることを特徴としている。

請求項３２に記載の発明は、請求項３１に記載の画像処理システムにおいて、前記画像処理装置は、前記入力された画像情報から、人物の顔領域を検出する顔領域検出手段を備え、前記特性値算出手段は、前記検出された顔領域に関する特性値を算出することを特徴としている。

請求項３３に記載の発明は、請求項３２に記載の画像処理システムにおいて、前記画像処理装置は、前記入力された画像情報から、人物の顔の可能性がある顔候補領域を抽出する顔候補領域抽出手段を備え、前記顔領域検出手段は、人物の顔検出処理を学習した第２のニューラルネットワークを用いて、前記抽出された顔候補領域から顔領域を検出し、前記特性値算出手段は、前記抽出された顔候補領域が顔領域である可能性を示す、前記第２のニューラルネットワークの出力信号の反応強度及び／又は前記検出された顔領域の特性値を算出することを特徴としている。

請求項３４に記載の発明は、請求項３１〜３３の何れか一項に記載の画像処理システムにおいて、前記画像処理装置は、前記第１のニューラルネットワークとは異なる構成を有する第３のニューラルネットワークを取得する取得手段と、前記第１のニューラルネットワークの出力信号を教師データとして前記第３のニューラルネットワークの学習を実施する第２の学習手段と、前記学習された第３のニューラルネットワークの学習結果が所定の条件を満たす場合に、前記第１のニューラルネットワークを当該第３のニューラルネットワークに置き換える置換手段と、を備えることを特徴としている。

請求項３５に記載の発明は、請求項３１〜３３の何れか一項に記載の画像処理システムにおいて、前記画像処理装置は、前記第１のニューラルネットワークとは異なる構成を有する第３のニューラルネットワークを取得する取得手段と、前記第１のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を更に補正するための第１の補正値を入力する入力手段と、前記第１の補正値に基づいて、第３のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を補正するための第２の補正値を算出する補正値算出手段と、前記算出された第２の補正値を教師データとして前記第３のニューラルネットワークの学習を実施する第２の学習手段と、前記第１の補正値と、前記学習された第３のニューラルネットワークを用いて算出された第２の補正値の関係が所定の条件を満たす場合に、前記第１のニューラルネットワークを当該第３のニューラルネットワークに置き換える置換手段と、を備えることを特徴としている。

請求項３６に記載の発明は、請求項３１〜３５の何れか一項に記載の画像処理システムにおいて、前記特性値算出手段は、前記入力された画像が撮影された時の配光条件を示す値を算出することを特徴としている。

請求項３７に記載の発明は、請求項３６に記載の画像処理システムにおいて、前記配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴としている。

請求項３８に記載の発明は、請求項３１〜３７の何れか一項に記載の画像処理システムにおいて、前記入力された画像情報はカラー画像であり、前記画像処理装置は、前記補正パラメータ算出手段において算出された階調補正パラメータを所定の比率で分割し、第１の補正パラメータ及び第２の補正パラメータを算出する分割パラメータ算出手段を備え、前記補正画像作成手段は、前記入力された画像情報を輝度−色差情報で表現した場合の輝度情報に対して前記第１の補正パラメータを作用させることによって当該輝度情報を階調変換するとともに、前記入力された画像情報をＲＧＢ情報で表現した場合の各々の色情報に対して前記第２の補正パラメータを作用させることによって当該色情報を階調変換することを特徴としている。

請求項３９に記載の発明は、請求項３１〜３８の何れか一項に記載の画像処理システムにおいて、前記補正画像作成手段は、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴としている。

請求項４０に記載の発明は、請求項３１〜３８の何れか一項に記載の画像処理システムにおいて、前記画像処理装置は、前記画像情報の属性情報を取得する属性情報取得手段と、前記取得された属性情報に基づいて、前記画像情報が、撮影により得られた自然画像であるか否かを判定する判定手段と、を備え、前記判定手段により、前記画像情報が自然画像であると判定された場合、前記補正画像作成手段は、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴としている。

本発明によれば、作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を第１のニューラルネットワークの教師データとして学習するようにしたため、この学習した第１のニューラルネットワークを用いて画像情報を補正することにより、オペレータの嗜好に合った画像を得ることができる。

また、入力画像情報に含まれる人物の顔の検出処理を学習した第２のニューラルネットワークを用いて人物の顔領域の特性値及び第２のニューラルネットワークの反応強度を算出し、算出された顔領域の特性値及び反応強度を第１のニューラルネットワークの入力信号とすることにより、より高品質で、オペレータの嗜好に合った画像を得ることができる。

更に、新たな構成を有する第３のニューラルネットワークを使用する前に、オペレータの嗜好に合わせて学習された第１のニューラルネットワークの出力信号を用いて第３のニューラルネットワークの学習を実施するようにしたため、オペレータの嗜好に合った新しいニューラルネットワークへ円滑に移行することができる。

また、入力画像情報から画像撮影時の配光条件を判別し、判別結果を第１のニューラルネットワークへの入力信号の一つとすることにより、配光条件に適した階調補正パラメータを得ることができ、より一層高品質の画像を得ることができる。

更に、第１のニューラルネットワークにより算出された階調補正パラメータを２つの補正パラメータに分割し、第１の補正パラメータを補正対象画像の輝度情報に作用させて階調変換し、第２の補正パラメータを補正対象画像のＲＧＢ各々の色情報に対して作用させて階調変換することにより、階調変化に伴う彩度（画像の鮮やかさ）の変化が軽減され、オペレータの指示による追加補正が容易になる。

また、補正画像の作成処理では、ネガポジ方式におけるプリント焼付け時のシェーディング特性を再現する処理を行うことにより、ネガポジ方式のプリントに近似した補正画像を得ることができるため、オペレータによる追加補正が容易になる。

以下、図面を参照して、本発明の実施形態を詳細に説明する。
まず、本実施形態における構成について説明する。

図１に、本発明の実施形態に係る画像処理装置１００の構成を示す。画像処理装置１００は、フィルムに撮影され、現像された画像を印画紙に光学焼付けする写真プリントシステムであり、図１に示すように、光源部１、撮像部２、露光制御部３、画像情報取得部４、画像判定部５、追加補正データ記憶部６、ニューロ学習部７、画像処理部８、指示入力部９、表示部１０により構成される。

光源部１で発した光は、色調整フィルタ（Ｙ、Ｍ、Ｃ）を透過して色調の調整がなされ、光拡散部材の中を乱反射して均質化され、フィルムに照射される。フィルムを透過した光はレンズを通り、印画紙上にフィルム上の画像を結像し、露光制御部３の制御により露光される。露光された印画紙は、現像処理装置（図示略）で現像処理され、写真が出来上がる。フィルムを透過した光は、可動ミラーによって適宜撮像部２に導かれる。撮像部２は、可動ミラーから入力された光画像を採取し、フィルム画像情報として画像情報取得部４に出力する。

露光制御部３は、画像判定部５で算出された階調補正パラメータ（階調変換の程度を示すパラメータ）、指示入力部９により入力された追加補正値を画像処理部８から受け、これら階調補正パラメータ及び追加補正値に基づいてフィルムの露光時間、光源のカラーバランスを決定し、その決定された露光時間及びカラーバランスに従って、色調整フィルタ及びシャッタを制御する。

画像情報取得部４は、撮像部２から入力された画像情報を取得し、画像判定部５に出力する。

画像判定部５は、画像情報取得部４から取得された画像情報から各種の特性値（画素信号値の平均、分散等の統計値、レンズ焦点距離、合焦位置等の付加情報、配光条件等）を算出し、算出された特性値を入力信号とし、画像情報を階調変換するための階調補正パラメータを出力信号とする第１の階層型ニューラルネットワークをニューロ学習部７から取得し、当該第１の階層型ニューラルネットワークを用いて階調補正パラメータを算出する。画像判定部５において実行される処理については、後に図５を参照して詳細に説明する。

追加補正データ記憶部６は、指示入力部９により入力された追加補正値（補正量）を含む、ニューラルネットワークの学習に必要な教師データ（後述）を記憶する。

ニューロ学習部７は、追加補正データ記憶部６に記憶された追加補正値（補正量）を教師データとして第１の階層型ニューラルネットワークの学習を実施する。また、ニューロ学習部７は、第１の階層型ニューラルネットワークとは異なる構成の第３の階層型ニューラルネットワーク（後述）の学習を実施する。更に、ニューロ学習部７は、第１の階層型ニューラルネットワークを、新たな構成の第３の階層型ニューラルネットワークに置換するニューロ置換処理を実行する（図１８及び図１９参照）。本実施形態で適用される階層型ニューラルネットワークについては、後に図３及び図４を参照して説明する。

画像処理部８は、画像判定部５で算出された階調補正パラメータ及び／又は指示入力部９により入力された追加補正値に基づいて、補正対象の画像情報を階調変換することによって補正画像を作成し、作成された補正画像を表示部１０に出力する。また、補正画像のプリント出力指示があった場合、画像処理部８は、補正画像情報（階調補正パラメータ、追加補正値の情報等）を露光制御部３に出力する。補正画像の作成処理については、後に図２１〜図２５を参照して詳細に説明する。

指示入力部９は、キーボードやマウス等の入力デバイスを備え、入力デバイスの操作による操作信号を画像処理部８に出力する。なお、指示入力部９は、表示部１０の表示画面を覆うように重畳して設けられたタッチパネルを備えていてもよい。タッチパネルは、電磁誘導式、磁気歪式、感圧式等の読み取り原理によって、タッチ指示された座標を検出し、検出した座標を位置信号として画像処理部８に出力する。

表示部１０は、ＬＣＤ（Liquid Crystal Display）等の表示画面を有し、画像処理部８から入力される表示制御信号に従って、所要の表示を行う。

なお、本発明が適用される画像処理装置は、図１に示したような、光学焼付けする写真プリントシステムである画像処理装置１００に限定されるものではない。図２に、本発明が適用される画像処理装置の他の例として、画像処理装置２００の構成を示す。以下では、画像処理装置２００において、図１の画像処理装置１００と同一の構成要素には同一の符号を付し、機能が同一である構成要素については、その機能説明を省略する。

画像処理装置２００は、図２に示すように、画像情報取得部４、画像判定部５、追加補正データ記憶部６、ニューロ学習部７、画像処理部８、指示入力部９、表示部１０、縮小画像作成部１１、ＤＳＣ（デジタルスチルカメラ）１２、原稿スキャナ１３、記録メディアドライバ１４、通信制御部１５、画像情報出力部１６、プリンタ部１７、記録メディア書き込み部１８により構成される。

画像情報取得部４は、ＤＳＣ１２、原稿スキャナ１３、記録メディアドライバ１４、通信制御部１５を介して入力されたデジタル画像情報を取得し、縮小画像作成部１１又は画像処理部８に出力する。

画像処理部８は、画像判定部５で算出された階調補正パラメータ及び／又は指示入力部９により入力された追加補正値に基づいて、補正対象の画像情報を階調変換することによって補正画像を作成し、作成された補正画像を表示部１０に出力する。また、補正画像のプリント出力指示があった場合、画像処理部８は、指定された出力先に対応する補正画像を作成し、画像情報出力部１６に出力する。

縮小画像作成部１１は、必要に応じて（例えば、オペレータから指示があった場合に）画像情報取得部４から取得された画像情報から縮小画像（サムネイル画像）を作成し、画像判定部５に出力する。

ＤＳＣ１２は、フォーカシングレンズ、ズームレンズ、シャッタ、絞り等を含む撮影用の光学レンズユニット、ＣＣＤ（Charge Coupled Device）等の撮像素子を含む光電変換ユニット等により構成されており、被写体の撮影によって得られた撮影画像を光電変換してデジタル画像信号を取得し、取得されたデジタル画像信号を、画像情報取得部４に出力する。

原稿スキャナ１３は、光源、ＣＣＤ（Charge-Coupled Device）、Ａ／Ｄコンバータ等により構成され、原稿台に載置された写真プリント等の原稿に光源の光を照射し、その反射光をＣＣＤにより電気信号（アナログ信号）に変換し、Ａ／Ｄコンバータにより、このアナログ信号をデジタル信号に変換することによってデジタル画像信号を取得し、取得されたデジタル画像信号を画像情報取得部４に出力する。

記録メディアドライバ１４は、ＣＤ−Ｒ、メモリスティック（登録商標）、スマートメディア（登録商標）、コンパクトフラッシュ（登録商標）、マルチメディアカード（登録商標）、ＳＤメモリカード（登録商標）等の各種記録メディアが装着可能な構成となっており、これらの記録メディアに記録された画像信号を読み取り、読み取り結果を画像情報取得部４に出力する。

通信制御部１５は、ＬＡＮ（Local Area Network）、インターネット等の通信ネットワークＮに接続された外部装置と画像処理装置２００との間の通信を制御する。具体的には、通信制御部１５は、外部装置から受信された画像情報を画像情報取得部４に出力するための制御を行ったり、画像情報出力部１６から取得された画像情報を指定されたアドレスに送信するための制御を行う。

画像情報出力部１６は、画像処理部８で処理された画像情報を、指定された出力先（通信制御部１５、プリンタ部１７、記憶メディア書き込み部１８の何れか）に出力する。

プリンタ部１７は、画像情報出力部１６から入力された画像情報に基づいて感光材料に露光し、露光された感光材料を現像処理して乾燥し、写真プリントを作成する。
記憶メディア書き込み部１８は、各種の記録メディアが装着可能な構成となっており、画像処理部８で処理された画像情報を、装着された記録メディアに記録する。

〈ニューラルネットワーク〉
次に、本実施形態の画像処理において使用されるニューラルネットワークについて簡単に説明する。このニューラルネットワークは、図３に示すように、入力層、中間層、及び出力層を有する階層型のニューラルネットワーク（以下、単にニューラルネットワークという。）である。ニューラルネットワークは、デジタルニューラルネットワークチップを利用することが望ましいが、汎用のＤＳＰ（Digital Signal Processor）と専用のエミュレートプログラムを用いても実現することができるし、通常のＣＰＵとエミュレートプログラムを用いても構わない。

ニューラルネットワークの各層は、ニューロンと呼ばれる構成単位からなっている。入力層を除けば、任意のニューロンは図４に示すようにシナプスと呼ばれる入力を多数受け取り、各々の入力値ｘ_iに対して結合強度と呼ばれる所定の重みｗ_iを掛けてその総和を求め、それを所定の出力関数ｆで評価した結果を出力ｙとして与える機能素子として機能する。出力関数ｆは、式（１）のように表される。

ここで、ｆ（ｘ）は一般に式（２）に示すような非線形のシグモイド関数が用いられるが、必ずしもこれに限定されるわけではない。

ここで、各ニューロンの入力の重みｗ_iはニューラルネットワークの入力・出力の関係、言い替えればニューラルネットワークの動作を決定する重要な情報であり、ニューラルネットワークに対して学習作業を行うことによって決定する。なお、図３では中間層は１層のみ記してあるが、これは１以上の任意の階層の構成とすることができる。階層型ネットワークでは、中間層は１層あれば、合成可能な任意の関数を実現できることが知られているが、中間層を多くした方が学習効率や、ニューロンの個数の点から有利であることが知られている。

ニューラルネットワークは以下のような特徴を有している。
（１）比較的単純な構成でありながら、多入力・多出力の非線形システムを実現できる。（２）各層内の各ニューロンは独立して動作させることができ、並列処理によって高速な動作が期待できる。
（３）適切な教師データを与えて学習させることにより、任意の入出力関係を実現させることができる。
（４）系として汎化能力がある。すなわち、必ずしも教師データとして与えていない、未学習の入力パターンに対しても、おおむね正しい出力を与える能力がある。

ここで、教師データとは、入力パターンと、その入力パターンに対する望ましい出力パターンの対であり、通常複数個用意する。特定の入力パターンに対して望ましい出力パターンを決定する作業は、一般に熟練者の主観的な判断に頼って決定する。ニューラルネットワークの主な応用としては（ａ）非線形の関数近似、（ｂ）クラスタリング（識別、認識、分類）が挙げられる。

次に、ニューラルネットワークに対する教師データを用いた学習方法について説明する。ｐ番目の入力パターンに対する、第Ｌ層のi番目のニューロンの状態を式（３）及び式（４）のように表現する。

ここで、式（３）の関数ｆ（ｘ）は、式（２）に示した非線形のシグモイド関数、Ｙ_iLはニューロンの出力、Ｕ_iLはニューロンの内部状態、Ｙ_i＜Ｌ−１＞はL−１層のニューロンの出力＝Ｌ層のニューロンの入力、ｗ_ij＜Ｌ＞は結合強度である。

このように定義した場合に、広く用いられている誤差逆伝搬学習法（バックプロパゲーション学習法、以下ＢＰ法と略す。）では、誤差評価関数として平均自乗誤差を用いて、以下のようにエラーＥを定義する。

ただしｋは出力層の番号であり、Ｔ_i（ｐ）はｐ番目の入力パターンに対する望ましい出力パターンである。

この場合、ＢＰ法に基づく各結合強度の修正量Δｗは次式で定められる。

ここで、∂は偏微分記号（ラウンド）、ηは学習率を表す係数である。Δｗ_ij＜Ｌ＞を各々のｗ_ij＜Ｌ＞に加算することによって学習が進む。なお、この形式のＢＰ法では学習が進んだ結果、教師データとの誤差の絶対値が小さくなってくると、Δｗの絶対値も小さくなり、学習が進まなくなるという現象が指摘されており、その問題点を回避するために、種々の改良が提案されている。

例えば、Δｗの定義を次のように変更するという提案がある。

式（７）の第二項は慣性項（モーメンタム項）と呼ばれ、現在の修正量だけでなく、過去の修正量も考慮することで収束時の振動を抑え、学習を高速化する効果がある。安定化定数αは1．0以下の正の実数で、過去の修正量の考慮の度合いを規定する係数である。

あるいは、学習率ηを学習回数ｎに応じて、次式を満たすように動的に変化させるという提案もある。

更には、エラーの評価を平均自乗誤差ではなく、シグモイド関数の導関数を打ち消すような形式にするという提案もある。いずれにせよ、ＢＰ法を用いて十分な回数学習作業を施すことにより、教師データに対して近似した出力を得ることができるようになる。

次に、本実施形態における動作について説明する。
まず、図５のフローチャートを参照して、画像処理装置１００又は２００において実行される画像処理全体の流れを説明する。

まず、画像情報取得部４に入力された画像情報（以下、入力画像情報という。）が取得される（ステップＳ１）。次いで、画像判定部５において、ステップＳ１で取得された画像情報から、各種の特性値が算出されるとともに（ステップＳ２）、人物の顔候補領域（肌色色相領域）が抽出される（ステップＳ４）。ステップＳ２では、例えば、画素信号値の平均、分散等の統計値が算出されるとともに、レンズ焦点距離、合焦位置、撮影時の光源情報等の付加情報が取得される。

入力画像情報の特性値が算出されると、入力画像情報から、画像撮影時の配光条件（光源状態）を判別する配光条件判別処理が行われる（ステップＳ３）。撮影時の配光条件には、順光、逆光、ストロボ（フラッシュ光利用状態）が含まれる。ステップＳ３の配光条件判別処理については、後に図７を参照して詳細に説明する。

人物の顔候補領域が抽出されると、その顔候補領域を示す信号を入力信号として、人物の顔検出処理を学習した第２の階層型ニューラルネットワーク（以下、階層型ニューラルネットワークを「ニューロ」と略称する。）を用いることにより、当該抽出された顔候補領域から顔領域を検出するための処理が行われる（ステップＳ５）。顔検出のために、例えば、肌色色相領域の形態を表す［領域面積／周囲長］や、［最短径／最長径］、画素信号値の分散等の各種特性値が、ステップＳ４で抽出された各々の顔候補領域について算出される。また、ステップＳ５では、第２のニューロの反応強度も算出され、反応強度が所定値より大きい場合に「顔」であると判断される。

次いで、ステップＳ５で検出された顔領域の特性値が取得されるとともに（ステップＳ６）、その検出された顔領域に対する第２のニューロの反応強度が取得される（ステップＳ７）。

次いで、図６に示すように、ステップＳ２で算出された特性値、ステップＳ３の判別結果、ステップＳ６で取得された特性値、ステップＳ７で取得された反応強度を入力信号（入力パラメータ）とし、階調補正パラメータを出力信号とした第１のニューロを用いて階調補正パラメータが算出される（ステップＳ８）。

図６では、第１のニューロの出力信号である階調補正パラメータが、明るさ補正パラメータ及びコントラスト補正パラメータである場合を示している。図１に示す画像処理装置１００の場合、第１のニューロにより算出された明るさ補正パラメータにより、シャッタの開閉時間が制御される。また、図２に示す画像処理装置２００の場合は、第１のニューロにより算出された明るさ補正パラメータ及び／又はコントラスト補正パラメータに基づいて、後に図２０で説明するような信号値変換特性の制御がなされ、画像情報の階調補正が施される。

なお、第１のニューロで算出された階調補正パラメータは、明るさ補正パラメータ、コントラスト補正パラメータの何れか一方又は他の階調補正パラメータであってもよく、出力される階調補正パラメータの数に従って、出力層のニューロンの個数が調整される。

次いで、ステップＳ８で算出された階調補正パラメータに基づいて、入力画像情報に対する追加補正値が設定され（ステップＳ９）、その設定された補正値に基づいて入力画像情報に階調変換処理を施すことにより、補正画像が作成される（ステップＳ１０）。なお、追加補正値の初期設定は０である。ステップＳ１０の補正画像の作成処理（階調変換処理）については、後に図２０〜図２５を参照して詳細に説明する。

次いで、ステップＳ１０で作成された補正画像が表示部１０に表示される（ステップＳ１１）。オペレータは、表示部１０に表示された補正画像を観察し、補正結果が良好であるか否かを判断し、その判断結果を指示入力部９により入力する。

補正画像の補正結果が良好ではない場合（ステップＳ１２；ＮＯ）、オペレータによる指示入力部９の操作により、追加補正値が入力され（ステップＳ１３）、ステップＳ９に戻り、その入力された追加補正値が設定され（ステップＳ９）、ステップＳ１０〜Ｓ１２の処理が繰り返される。

補正画像の補正結果が良好であるという判断結果が入力された場合（ステップＳ１２；ＹＥＳ）、追加補正量が０であるか否かが判定される（ステップＳ１４）。ステップＳ１４において、追加補正量が０でないと判定された場合（ステップＳ１４；ＮＯ）、階調補正パラメータと追加補正量の加算値（仮に「補正量」と呼ぶ。）を教師データとして追加補正データ記憶部６に蓄積される（ステップＳ１５）。なお、上述のように、教師データは、ニューロ出力の望ましい値（即ち、ステップＳ１５における補正量）と、対応する入力信号群（即ち、ステップＳ２、Ｓ３、Ｓ６及びＳ７で算出される各種信号値）の対であり、ステップＳ１５においては、これら入力信号群も追加補正データ記憶部６に記憶される。

追加補正データ記憶部６に蓄積された教師データの数が所定数を超えた場合、これらの教師データを基に第１のニューロの学習が実施され（ステップＳ１６）、学習された第１のニューロを用いてステップＳ８の処理が行われる。ステップＳ１６における学習は、定期的に行うようにしてもよい。

ステップＳ１４において、追加補正量が０であると判定された場合（ステップＳ１４；ＹＥＳ）、本画像処理が終了する。

次に、図７のフローチャートを参照して、図５のステップＳ３に示した配光条件判別処理について説明する。

まず、撮影画像データが所定の画像領域に分割され、各分割領域が撮影画像データ全体に占める割合を示す占有率を算出する占有率算出処理が行われる（ステップＳ２０）。占有率算出処理については、後に図８及び図１４を参照して詳細に説明する。

次いで、ステップＳ２０において算出された占有率と、撮影条件に応じて予め設定された係数に基づいて、配光条件を特定する（光源状態を定量的に表す）指標（指標１〜５）が算出される（ステップＳ２１）。ステップＳ２１における指標算出処理は、後に詳細に説明する。

次いで、ステップＳ２１において算出された指標に基づいて撮影画像データの配光条件が判別され（ステップＳ２２）、本配光条件判別処理が終了する。配光条件の判別方法は、後に詳細に説明する。

次に、図８のフローチャートを参照して、図７のステップＳ２０に示した占有率算出処理について詳細に説明する。

まず、撮影画像データのＲＧＢ値がＨＳＶ表色系に変換される（ステップＳ３０）。図９は、ＲＧＢからＨＳＶ表色系に変換することにより色相値、彩度値、明度値を得る変換プログラム（ＨＳＶ変換プログラム）の一例を、プログラムコード（ｃ言語）により示したものである。図９に示すＨＳＶ変換プログラムでは、入力画像データであるデジタル画像データの値を、InR、InG、InBと定義し、算出された色相値をOutHとし、スケールを0〜360と定義し、彩度値をOutS、明度値をOutVとし、単位を0〜255と定義している。

次いで、撮影画像データが、所定の明度と色相の組み合わせからなる領域に分割され、分割領域毎に累積画素数を算出することにより２次元ヒストグラムが作成される（ステップＳ３１）。以下、撮影画像データの領域分割について詳細に説明する。

明度（V）は、明度値が0〜25(v1)、26-50(v2)、51〜84(v3)、85〜169(v4)、170〜199(v5)、200〜224(v6)、225〜255(v7)の７つの領域に分割される。色相(H)は、色相値が0〜39、330〜359の肌色色相領域（H1及びH2）、色相値が40〜160の緑色色相領域（H3）、色相値が161〜250の青色色相領域（H4）、赤色色相領域（H5）の４つの領域に分割される。なお、赤色色相領域（H5）は、配光条件の判別への寄与が少ないとの知見から、以下の計算では用いていない。肌色色相領域は、更に、肌色領域（H1）と、それ以外の領域（H2）に分割される。以下、肌色色相領域（H＝0〜39、330〜359）のうち、下記の式（９）を満たす色相'(H)を肌色領域（H1）とし、式（９）を満たさない領域を（H2）とする。
10 ＜ 彩度(S) ＜175、
色相'(H) = 色相(H) + 60 (0 ≦ 色相(H) < 300のとき)、
色相'(H) = 色相(H) - 300 (300 ≦ 色相(H) < 360のとき)、
輝度Y = InR × 0.30 + InG × 0.59 + InB × 0.11
として、
色相'(H)／輝度(Y) ＜ 3.0 ×(彩度(S)／255)＋0.7 （９）
従って、撮影画像データの分割領域の数は４×７＝２８個となる。なお、式（９）において明度(V)を用いることも可能である。

２次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素数（撮影画像全体）に占める割合を示す第１の占有率が算出され（ステップＳ３２）、本占有率算出処理が終了する。明度領域vi、色相領域Hjの組み合わせからなる分割領域において算出された第１の占有率をRijとすると、各分割領域における第１の占有率は表１のように表される。

次に、指標１及び指標２の算出方法について説明する。
表２に、判別分析により得られた、ストロボ撮影としての確度、即ち、ストロボ撮影時の顔領域の明度状態を定量的に示す指標１を算出するために必要な第１の係数を分割領域別に示す。表２に示された各分割領域の係数は、表１に示した各分割領域の第１の占有率Rijに乗算する重み係数である。

図１０に、明度（v）−色相（H）平面を示す。表２によると、図１０において高明度の肌色色相領域に分布する領域(r1)から算出される第１の占有率には、正(+)の係数が用いられ、それ以外の色相である青色色相領域(r2)から算出される第１の占有率には、負(-)の係数が用いられる。図１２は、肌色領域（H1）における第１の係数と、その他の領域（緑色色相領域（H3））における第１の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表２及び図１２によると、高明度（V＝170〜224）の領域では、肌色領域（H1）における第１の係数の符号は正(+)であり、その他の領域（例えば、緑色色相領域（H3））における第１の係数の符号は負(-)であり、両者の符号が異なっていることがわかる。

明度領域vi、色相領域Hjにおける第１の係数をCijとすると、指標１を算出するためのHk領域の和は、式（１０）のように定義される。

従って、H1〜H4領域の和は、下記の式(10-1)〜式(10-4)のように表される。
H1領域の和＝R11×(-44.0)＋R21×(-16.0)＋（中略）...＋R71×(-11.3) (10-1)
H2領域の和＝R12×0.0＋R22×8.6＋（中略）... ＋R72×(-11.1) (10-2)
H3領域の和＝R13×0.0＋R23×(-6.3)＋（中略）...＋R73×(-10.0) (10-3)
H4領域の和＝R14×0.0＋R24×(-1.8)＋（中略）...＋R74×(-14.6) (10-4)

指標１は、式(10-1）〜(10-4）で示されたH1〜H4領域の和を用いて、式（１１）のように定義される。
指標１＝H1領域の和＋H2領域の和＋H3領域の和＋H4領域の和＋4.424 （１１）

表３に、判別分析により得られた、逆光撮影としての確度、即ち、逆光撮影時の顔領域の明度状態を定量的に示す指標２を算出するために必要な第２の係数を分割領域別に示す。表３に示された各分割領域の係数は、表１に示した各分割領域の第１の占有率Rijに乗
算する重み係数である。

図１１に、明度（v）−色相（H）平面を示す。表３によると、図１１において肌色色相領域の中間明度に分布する領域(r4)から算出される占有率には負(-)の係数が用いられ、肌色色相領域の低明度（シャドー）領域(r3)から算出される占有率には正(+)の係数が用いられる。図１３は、肌色領域（H1）における第２の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表３及び図１３によると、肌色色相領域の、明度値が85〜169(v4)の中間明度領域の第２の係数の符号は負(-)であり、明度値が26〜84(v2,v3)の低明度（シャドー）領域の第２の係数の符号は正(+)であり、両領域での係数の符号が異なっていることがわかる。

明度領域vi、色相領域Hjにおける第２の係数をDijとすると、指標２を算出するためのHk領域の和は、式（１２）のように定義される。

従って、H1〜H4領域の和は、下記の式(12-1)〜式(12-4)のように表される。
H1領域の和＝R11×(-27.0)＋R21×4.5＋（中略）...＋R71×(-24.0) (12-1)
H2領域の和＝R12×0.0＋R22×4.7＋（中略）... ＋R72×(-8.5) (12-2)
H3領域の和＝R13×0.0＋R23×0.0＋（中略）...＋R73×0.0 (12-3)
H4領域の和＝R14×0.0＋R24×(-5.1)＋（中略）...＋R74×7.2 (12-4)

指標２は、式(12-1）〜(12-4）で示されたH1〜H4領域の和を用いて、式（１３）のように定義される。
指標２＝H1領域の和＋H2領域の和＋H3領域の和＋H4領域の和＋1.554 （１３）
指標１及び指標２は、撮影画像データの明度と色相の分布量に基づいて算出されるため、撮影画像データがカラー画像である場合の配光条件の判別に有効である。

次に、図１４のフローチャートを参照して、指標３を算出するための占有率算出処理（図７のステップＳ２０）について詳細に説明する。

まず、撮影画像データのＲＧＢ値がＨＳＶ表色系に変換される（ステップＳ４０）。次いで、撮影画像データが、撮影画像画面の外縁からの距離と明度の組み合わせからなる領域に分割され、分割領域毎に累積画素数を算出することにより２次元ヒストグラムが作成される（ステップＳ４１）。以下、撮影画像データの領域分割について詳細に説明する。

図１５（ａ）〜（ｄ）に、撮影画像データの画面の外縁からの距離に応じて分割された４つの領域ｎ１〜ｎ４を示す。図１５（ａ）に示す領域ｎ１が外枠であり、図１５（ｂ）に示す領域ｎ２が、外枠の内側の領域であり、図１５（ｃ）に示す領域ｎ３が、領域ｎ２の更に内側の領域であり、図１５（ｄ）に示す領域ｎ４が、撮影画像画面の中心部の領域である。また、明度は、上述のようにv1〜v7の７つの領域に分割するものとする。従って、撮影画像データを、撮影画像画面の外縁からの距離と明度の組み合わせからなる領域に分割した場合の分割領域の数は４×７＝２８個となる。

２次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素数（撮影画像全体）に占める割合を示す第２の占有率が算出され（ステップＳ４２）、本占有率算出処理が終了する。明度領域vi、画面領域njの組み合わせからなる分割領域において算出された第２の占有率をQijとすると、各分割領域における第２の占有率は表４のように表される。

次に、指標３の算出方法について説明する。
表５に、指標３を算出するために必要な第３の係数を分割領域別に示す。表５に示された各分割領域の係数は、表４に示した各分割領域の第２の占有率Qijに乗算する重み係数であり、判別分析により得られる。

図１６は、画面領域ｎ１〜ｎ４における第３の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。

明度領域vi、画面領域njにおける第３の係数をEijとすると、指標３を算出するためのnk領域（画面領域nk）の和は、式（１４）のように定義される。

従って、n1〜n4領域の和は、下記の式(14-1)〜式(14-4)のように表される。
n1領域の和＝Q11×40.1＋Q21×37.0＋（中略）...＋Q71×22.0 (14-1)
n2領域の和＝Q12×(-14.8)＋Q22×(-10.5)＋（中略）...＋Q72×0.0 (14-2)
n3領域の和＝Q13×24.6＋Q23×12.1＋（中略）...＋Q73×10.1 (14-3)
n4領域の和＝Q14×1.5＋Q24×(-32.9)＋（中略）...＋Q74×(-52.2) (14-4)

指標３は、式(14-1）〜(14-4）で示されたN1〜H4領域の和を用いて、式（１５）のように定義される。
指標３＝n1領域の和＋n2領域の和＋n3領域の和＋n4領域の和−12.6201 （１５）
指標３は、撮影画像データの明度の分布位置による構図的な特徴（撮影画像データの画面の外縁からの距離）に基づいて算出されるため、カラー画像だけでなくモノクロ画像の配光条件を判別するのにも有効である。

指標４は、指標１及び指標３を用いて式（１６）のように定義され、指標５は、指標１〜３を用いて式（１７）のように定義される。
指標４＝0.565×指標１＋0.565×指標３＋0.457 （１６）
指標５＝(-0.121)×指標１＋0.91×指標２＋0.113×指標３−0.072 （１７）
ここで、式（１６）及び式（１７）において各指標に乗算される重み係数は、撮影条件に応じて予め設定されている。

〈配光条件の判別方法〉
次に、配光条件の判別方法について説明する。
図１７は、順光、逆光、ストロボの各配光条件で６０枚ずつ撮影し、合計１８０枚のデジタル画像データについて、指標４、５を算出し、各光源条件での指標４、５の値をプロットしたものである。図１７によれば、指標４の値が０．５より大きい場合、ストロボシーンが多く、指標４の値が０．５以下で、指標５の値が−０．５より大きい場合、逆光シーンが多いことがわかる。表６に、指標４、５の値による配光条件の判別内容を示す。

このように指標４、５の値により配光条件を定量的に判別することができる。

次に、図１８及び図１９のフローチャートを参照して、第１のニューロ（以下、旧ニューロという。）を、第１のニューロとは異なる新たな構成の第３のニューロ（以下、新ニューロという。）に置き換えるニューロ置換処理について説明する。本実施形態では、二通りのニューロ置換処理について説明する。

まず、図１８のフローチャートを参照して、ニューロ学習部７において実行されるニューロ置換処理１について説明する。
まず、新ニューロが取得され（ステップＳ５０）、旧ニューロが取得される（ステップＳ５１）。次いで、新ニューロ及び旧ニューロの出力結果の判定に用いる判定用画像情報が取得される（ステップＳ５２）。

次いで、ステップＳ５２で取得された判定用画像情報について、新ニューロを用いて階調補正パラメータが取得されるとともに、旧ニューロを用いて階調補正パラメータが取得され、新ニューロと旧ニューロから出力された階調補正パラメータの差分情報が取得される（ステップＳ５３）。

次いで、過去所定シーン数の差分情報の平均値が算出され（ステップＳ５４）、前回算出された平均値と、今回算出された平均値の変化量が比較され（ステップＳ５５）、差分情報の平均値の変化量が収斂したか否かが判定される（ステップＳ５６）。

ステップＳ５６において、差分情報の平均値の変化量が収斂していないと判定された場合（ステップＳ５６；ＮＯ）、旧ニューロの階調補正パラメータを新ニューロの出力信号の望ましい値として用いた教師データを用いて、新ニューロの学習が実施される（ステップＳ５８）。そして、ステップＳ５８の学習実施により微修正された新ニューロがセットされ（ステップＳ５９）、ステップＳ５２に戻り、このセットされた新ニューロについて、ステップＳ５２〜Ｓ５６の処理が繰り返される。

ステップＳ５６において、差分情報の平均値の変化量が収斂したと判定された場合（ステップＳ５６；ＹＥＳ）、旧ニューロが新ニューロに置き換えられ（ステップＳ５７）、本ニューロ置換処理１が終了する。

次に、図１９のフローチャートを参照して、ニューロ学習部７において実行されるニューロ置換処理２について説明する。
まず、新ニューロが取得され（ステップＳ６０）、旧ニューロが取得される（ステップＳ６１）。次いで、新ニューロ及び旧ニューロの出力結果の判定に用いる判定用画像情報が取得される（ステップＳ６２）。

次いで、ステップＳ５２で取得された判定用画像情報について、新ニューロを用いて階調補正パラメータが取得されるとともに、旧ニューロを用いて階調補正パラメータが取得される（ステップＳ６３）。次いで、旧ニューロの階調補正パラメータを元に判定用画像情報が修正され（ステップＳ６４）、修正画像が表示部１０に表示される（ステップＳ６５）。

オペレータは、表示部１０に表示された修正画像を観察し、補正が必要であると判断した場合、指示入力部９の操作により、第１の補正値が入力される（ステップＳ６６）。次いで、式（１８）に示すように、旧ニューロの階調補正パラメータと第１の補正値を加算することにより、補正の正解値が算出される（ステップＳ６７）。
（補正の正解値）＝（旧ニューロの階調補正パラメータ）＋（第１の補正値） （１８）

次いで、補正の正解値、新ニューロの階調補正パラメータに基づいて、オペレータが入力する第２の補正値の予測値が算出される（ステップＳ６８）。第２の補正値の算出式を式（１９）に示す。
（第２の補正値）＝（補正の正解値）−（新ニューロの階調補正パラメータ） （１９）

次いで、過去所定シーン数の第１の補正値の平均値及び第２の補正値の平均値が算出され（ステップＳ６９）、第１の補正値の平均値が第２の補正値の平均値より大きいか否かが判定される（ステップＳ７０）。

ステップＳ７０において、第１の補正値の平均値が第２の補正値の平均値以下であると判定された場合（ステップＳ７０；ＮＯ）、補正の正解値を新ニューロの出力信号の望ましい値として用いた教師データを用いて、新ニューロの学習が実施される（ステップＳ７２）。そして、ステップＳ７２の学習実施により微修正された新ニューロがセットされ（ステップＳ７３）、ステップＳ６２に戻り、このセットされた新ニューロについて、ステップＳ６２〜Ｓ７０の処理が繰り返される。

ステップＳ７０において、第１の補正値の平均値が第２の補正値の平均値より大きいと判定された場合（ステップＳ７０；ＹＥＳ）、旧ニューロが新ニューロに置き換えられ（ステップＳ７１）、本ニューロ置換処理２が終了する。

なお、図１８のニューロ置換処理１と図１９のニューロ置換処理２を連結した処理を実行するようにしてもよい。この場合、図１８のステップＳ５６において、差分情報の平均値が収斂したら（ステップＳ５６；ＹＥＳ）、図１９のニューロ置換処理２に移行し、ニューロ置換処理２では、新ニューロとして、ニューロ置換処理１で学習済みの新ニューロが取得される。このように、ニューロ置換処理１とニューロ置換処理２を組み合わせると、ニューロ置換処理１で高速に大体の学習を終了し、ニューロ置換処理２では、僅かな量の、より高度な学習を実施すればよいため、ニューロ置換時の高度な学習を短時間で実施することができる。

〈補正画像作成処理〉
次に、図２０〜図２５を参照して、図５のステップＳ１０に示した補正画像作成処理（階調変換処理）について説明する。

デジタル画像では、例えば、図２０（ａ）に示すトーンカーブ（階調変換曲線）により、明るさが補正され、図２０（ｂ）に示すトーンカーブによりコントラストが補正される。表示部１０で画像を観察し、追加補正を指示するオペレータにとっては、追加補正を単純に行うことが好ましい。

例えば、コントラストの補正結果は、コントラストを確実に調整しているとともに、画像の鮮やかさ（彩度）等の他の要素には主観的な変化がないことが好ましい。しかしながら、実際の補正では、例えば、コントラストを高める補正を行った場合、ＲＧＢカラー画像のＲＧＢ各々の要素に、図２０（ｂ）の「コントラスト高く」のトーンカーブを適用すると、同時に彩度も高くなって観察されてしまい、更に彩度を調整する必要が生じる。同様に、例えば、Ｌ＊ａ＊ｂ＊カラー画像のＬ＊情報に、図２０（ｂ）の「コントラスト高く」のトーンカーブを適用すると、今度は彩度が低く観察されてしまい、更に彩度を調整する必要が生じる。

このような不具合により、オペレータの追加補正の精度が低下すると、ニューロの学習効率が低下し、オペレータの嗜好に適合した性能に達するまでの時間が長くなってしまうため、階調変化に伴う彩度の変化を軽減させる必要がある。このような階調変換処理の一例を図２１に示す。

まず、図５のステップＳ８で算出された階調補正パラメータ（例えば、コントラスト補正パラメータ）が取得される（ステップＳ８０）。次いで、その取得された階調補正パラメータが所定の比率で２つの補正パラメータ（第１の補正パラメータ、第２の補正パラメータ）に分割される（ステップＳ８１）。ステップＳ８０で取得された階調補正パラメータと、ステップＳ８１で分割された２つの補正パラメータには、下記の（２０−１）及び（２０−２）の関係が成り立つ。
（第１の補正パラメータ）＝Ｐ１×（階調補正パラメータ） （２０−１）
（第２の補正パラメータ）＝Ｐ２×（階調補正パラメータ） （２０−１）
ここで、Ｐ１＋Ｐ２＝１ （例えば、Ｐ１＝Ｐ２＝０．５）

また、補正対象の画像情報が取得され（ステップＳ８２）、当該画像情報がＬ＊ａ＊ｂ＊色空間に座標変換される（ステップＳ８３）。次いで、第１の補正パラメータをＬ＊情報に作用させることにより、Ｌ＊情報の階調変換が行われる（ステップＳ８４）。

次いで、補正対象の画像情報がＲＧＢ色空間に座標変換され（ステップＳ８５）、第２の補正パラメータをＲＧＢの各々の色情報に作用させることにより、各々の色情報の階調変換が行われ（ステップＳ８６）、本階調変換処理が終了する。なお、図２１では、Ｌ＊情報の階調変換の後に、ＲＧＢ情報の階調変換を行うようにしたが、これら２つの階調変換変換の順番はこれに限定されず、ＲＧＢ情報の階調変換の後にＬ＊情報の階調変換を行うようにしてもよい。

このように、各階調補正パラメータについて、図２１に示す階調変換処理を行うと、階調変化に伴う彩度の変化が軽減されるため、オペレータによる追加補正が容易になり、第１のニューロの学習効率が高くなる。

次に、図２２〜図２５を参照して、補正画像作成処理の他の例としてシェーディング補正について説明する。

デジタル画像情報のプリント出力は、目的に応じた専用のデジタルプリンタで行う場合が多いが、これらのプリンタはコンピュータグラフィックスなどのデジタル信号を正確にプリント出力するために、一般に高精度のシェーディング補正が行われている。図１に示す画像処理装置１００（光学焼付け装置）では、例えば、フィルム面の光源照射強度やレンズのシェーディング特性（Ｃｏｓ４乗則や、口径食による開口効率の変化）により、一般に、画像の中心から周辺に向かって緩やかなシェーディング誤差があり、印画紙への照射光量が周辺でなだらかに減少する特性を示す。

ネガポジ方式の一般的な写真では、周辺が明るくなり、画面の明るさ、軽さを演出し、ポジポジ方式では、周辺が暗くなり、画面が暗く、重厚感を演出し、効果的に作図にも用いられてきた。このような特性を再現すると、画像の見栄えが向上し、オペレータによる追加補正が容易になるものと期待される。以下、光学焼付けシェーディング特性の再現処理について二通りの方法（図２２及び図２４）を説明する。

まず、図２２のフローチャートを参照して、光学焼付けシェーディング特性の再現処理の一例を説明する。

まず、補正対象の画像情報が取得される（ステップＳ９０）。次いで、ステップＳ９０で取得された画像情報のうち、補正対象の１画素分の画素信号値ｘが取得される（ステップＳ９１）。次いで、ステップＳ９１で取得された画素信号値ｘの中心からの距離ｄが算出される（ステップＳ９２）。

次いで、ネガポジ方式におけるシェーディング特性に基づいて予め設定された第１の補正係数ｆ（ｄ）及び第２の補正係数ｇ（ｘ）を用いて、式（２１）に示すように、画素補正値が算出される（ステップＳ９３）。
（画素補正値）＝１／｛ｇ（ｘ）×ｆ（ｄ）＋（１−ｇ（ｘ））｝ （２１）
ここで、第１の補正係数ｆ（ｄ）は、中心からの距離ｄの関数であり、図２３（ａ）に示すような特性を有する。また、第２の補正係数ｇ（ｘ）は、画素信号値ｘの関数であり、図２３（ｂ）に示すような特性を有する。

次いで、ステップＳ９３で算出された画素補正値と画素信号値ｘの積をとることにより修正補正値（画素信号値ｘを修正した値）が算出される（ステップＳ９４）。次いで、ステップＳ９１〜Ｓ９４の処理が補正対象の全ての画素について行われたか否かが判定される（ステップＳ９５）。

ステップＳ９５において、全画素に対する処理が終了していないと判定された場合（ステップＳ９５；ＮＯ）、補正対象の次の画素の計算処理へ移行し（ステップＳ９６）、該当する画素についてステップＳ９１〜Ｓ９４の処理が繰り返される。ステップＳ９５において、全画素に対する処理が終了したと判定された場合（ステップＳ９５；ＹＥＳ）、本光学焼付けシェーディング特性の再現処理が終了する。

次に、図２４のフローチャートを参照して、光学焼付けシェーディング特性の再現処理の他の例を説明する。

まず、補正対象の画像情報から、画像属性情報が取得される（ステップＳ１００）。ここで、画像属性情報とは、画像の生成手段に関する情報や、利用目的、仕上がり嗜好に関する情報である。次いで、補正対象の画像情報が、撮影によって得られた自然画像であるか否かが判定される（ステップＳ１０１）。コンピュータグラフィックス画像やデザイン画像、テキスト画像等は、シェーディング特性の付加は不要であるため、自然画像でないものとみなされる。

ステップＳ１０１において、補正対象の画像情報が自然画像でないと判定された場合（ステップＳ１０１；ＮＯ）、本光学焼付けシェーディング特性の再現処理が終了する。ステップＳ１０１において、補正対象の画像情報が自然画像であると判定された場合（ステップＳ１０１；ＹＥＳ）、ネガプリント調が選択（指定）されているか否かが判定される（ステップＳ１０２）。

ステップＳ１０２において、ネガプリント調が選択されている場合（ステップＳ１０２；ＹＥＳ）、ネガプリント調の補正係数として、図２３に示す第１の補正係数ｆ（ｄ）及び第２の補正係数ｇ（ｘ）が選択され（ステップＳ１０３）、これらの補正係数を用いて、図２２に示す光学焼付けシェーディング特性の再現処理が実行される（ステップＳ１０５）。

ステップＳ１０２において、ポジプリント調が選択（指定）されている場合（ステップＳ１０２；ＮＯ）、ポジプリント調の補正係数としての第１の補正係数ｆ'（ｄ）及び第２の補正係数ｇ'（ｘ）が選択される（ステップＳ１０４）。この第１の補正係数ｆ'（ｄ）及び第２の補正係数ｇ'（ｘ）は、ポジポジ方式におけるシェーディング特性に基づいて予め設定されており、それぞれ、図２５（ａ）、（ｂ）に示すような特性を有する。第１の補正係数ｆ'（ｄ）は、ネガプリント調で適用される第１の補正係数ｆ（ｄ）とは異なり、中心からの距離が大きくなるにつれて１．０から増加する単調増加関数となっている。

ポジプリント調の補正係数が選択されると、その補正係数を用いて、図２２に示す光学焼付けシェーディング特性の再現処理が実行される（ステップＳ１０５）。この場合、式（２１）の画素補正値の算出式において、ｆ（ｄ）→ｆ'（ｄ）、ｇ（ｘ）→ｇ'（ｘ）のように置き換わる。

以上のように、本実施形態の画像処理装置によれば、オペレータにより指示された追加補正値を第１のニューロの教師データとして学習し、この学習した第１のニューロを用いて画像情報を補正するようにしたため、オペレータの嗜好に合った画像を得ることができる。

また、入力画像情報に含まれる人物の顔の検出処理を学習した第２のニューロを用いて人物の顔領域の特性値及び第２のニューロの反応強度を算出し、算出された顔領域の特性値及び反応強度を第１のニューロの入力信号とすることにより、より高品質で、オペレータの嗜好に合った画像を得ることができる。

更に、新たな構成を有する第３のニューロを使用する前に、オペレータの嗜好に合わせて学習された第１のニューロの出力信号を用いて第３のニューロの学習を実施するようにしたため、オペレータの嗜好に合った新しいニューロへ円滑に移行することができる。

また、入力画像情報から画像撮影時の配光条件を判別し、判別結果を第１のニューロへの入力信号の一つとすることにより、配光条件に適した階調補正パラメータを得ることができ、一層高品質の画像を得ることができる。

更に、補正対象の画像情報をＬ＊ａ＊ｂ＊色空間に座標変換するとともに、ＲＧＢ色空間に座標変換し、第１のニューロにより算出された階調補正パラメータを２つの補正パラメータに分割し、第１の補正パラメータを輝度情報（Ｌ＊）に作用させて階調変換し、第２の補正パラメータをＲＧＢの単位色の各々に対して作用させて階調変換することにより、階調変化に伴う彩度（画像の鮮やかさ）の変化が軽減され、オペレータの指示による追加補正が容易になる。

また、補正画像の作成処理では、ネガポジ方式におけるプリント焼付け時のシェーディング特性を再現する処理を行うことにより、ネガポジ方式のプリントに近似した補正画像を得ることができるため、オペレータによる追加補正が容易になる。

なお、本実施形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。

例えば、本実施形態の画像処理装置１００又は２００では、各構成要素が一つの筐体に収められているが、例えば、画像処理装置２００を複数のブロックに分割し、各ブロックが物理的に独立した装置（デバイス）となったシステムにおいても本実施形態を適用することが可能である。

図２６に、物理的に独立した複数の装置から構成される画像処理システム３００の構成を示す。画像処理システム３００は、図２６に示すように、画像入力装置２０、画像処理装置２１、画像出力装置２２、システム制御装置２３、通信制御部１５により構成される。なお、図２６において、図２の画像処理装置２００と同一の構成要素には同一の符号を付し、機能が同一の構成要素については、その機能説明を省略する。

画像入力装置２０は、画像情報取得部４、ＤＳＣ１２、原稿スキャナ１３、記録メディアドライバ１４により構成される。

画像処理装置２１は、画像判定部５、追加補正データ記憶部６、ニューロ学習部７、指示入力部９、表示部１０、縮小画像作成部１１、画像処理部２４により構成される。画像処理部２４は、画像判定部５で算出された階調補正パラメータ及び／又は指示入力部９から入力された追加補正値に基づいて、表示部１０に表示するための階調変換を行って補正画像を作成し、作成された補正画像を表示部１０に出力する。

画像出力装置２１は、画像情報出力部１６、プリンタ部１７、記録メディア書き込み部１８、画像処理部２５により構成される。画像処理部２５は、システム制御装置２３から入力された制御信号に従って、画像判定部５で算出された階調補正パラメータ及び／又は指示入力部９から入力された追加補正値に基づいて、指定された出力先に出力するための階調変換を行って補正画像を作成し、作成された補正画像を画像情報出力部１６に出力する。

システム制御装置２３は、通信制御部１５、画像入力装置２０、画像処理装置２１における各種処理を統括的に制御する。

なお、画像入力装置２０、画像処理装置２１、画像出力装置２の各々は、必要に応じて複数配置されていてもよい。例えば、システム全体の画像処理能力に対し、画像入力装置２０の処理能力が劣る場合には、画像入力装置２０を複数配置し、システム制御装置２３の制御の基で並列動作させることができる。

本発明の実施形態における画像処理装置の構成の一例を示すブロック図。 本発明の実施形態における画像処理装置の他の構成例を示すブロック図。 階層型ニューラルネットワークの構造を模式的に示す図。 ニューラルネットワークを構成するニューロンの構造を示す図。 本実施形態の画像処理装置において実行される画像処理を示すフローチャート。 本実施形態で適用される第１の階層型ニューラルネットワーク及び第３の階層型ニューラルネットワークを示す図。 配光条件判別処理を示すフローチャート。 明度・色相の領域毎に第１の占有率を算出する占有率算出処理を示すフローチャート。 ＲＧＢからＨＳＶ表色系に変換するプログラムの一例を示す図。 明度（Ｖ）−色相（Ｈ）平面と、Ｖ−Ｈ平面上の領域ｒ１及び領域ｒ２を示す図。 明度（Ｖ）−色相（Ｈ）平面と、Ｖ−Ｈ平面上の領域ｒ３及び領域ｒ４を示す図。 指標１を算出するための、第１の占有率に乗算する第１の係数を表す曲線を示す図。 指標２を算出するための、第１の占有率に乗算する第２の係数を表す曲線を示す図。 撮影画像データの構図に基づいて第２の占有率を算出する占有率算出処理を示すフローチャート。 撮影画像データの画面の外縁からの距離に応じて決定される領域ｎ１〜ｎ４を示す図。 指標３を算出するための、第２の占有率に乗算する第３の係数を表す曲線を領域別（ｎ１〜ｎ４）に示す図。 配光条件（順光、ストロボ、逆光）別に算出された指標４及び指標５のプロット図。 第１の階層型ニューラルネットワークを第３の階層型ニューラルネットワークに置き換えるニューロ置換処理１を示すフローチャート。 第１の階層型ニューラルネットワークを第３の階層型ニューラルネットワークに置き換えるニューロ置換処理２を示すフローチャート。 明るさ補正を示す階調変換曲線（ａ）と、コントラスト補正を示す階調変換曲線（ｂ）を示す図。 階調変換処理を示すフローチャート。 光学焼付けシェーディング特性の再現処理を示すフローチャート。 図２２の光学焼付けシェーディング特性の再現処理で用いる第１の補正係数ｆ（ｄ）及び第２の補正係数ｇ（ｘ）の特性を示す図。 画像属性に応じた光学焼付けシェーディング特性の再現処理を示す図。 撮影画像データがポジプリント調である場合に用いられる第１の補正係数ｆ'（ｄ）及び第２の補正係数ｇ'（ｘ）の特性を示す図。 図２の画像処理装置の変形例を示す図。 従来の画像処理を示すフローチャート。

符号の説明

１ 光源部
２ 撮像部
３ 露光制御部
４ 画像情報取得部
５ 画像判定部
６ 追加補正データ記憶部
７ ニューロ学習部
８ 画像処理部
９ 指示入力部
１０ 表示部
１１ 縮小画像作成部
１２ ＤＳＣ
１３ 原稿スキャナ
１４ 記録メディアドライバ
１５ 通信制御部
１６ 画像情報出力部
１７ プリンタ部
１８ 記録メディア書き込み部
２０ 画像入力装置
２１ 画像処理装置
２２ 画像出力装置
２３ システム制御装置
２４、２５ 画像処理部
１００、２００ 画像処理装置
３００ 画像処理システム
Ｎ 通信ネットワーク

Claims (40)

1. 入力された画像情報から所定の特性値を算出する特性値算出工程と、
   前記算出された特性値を入力信号とし、画像情報に対する階調変換の程度を示す階調補正パラメータを出力信号とする第１のニューラルネットワークを用いて階調補正パラメータを算出する補正パラメータ算出工程と、
   前記算出された階調補正パラメータに基づいて前記画像情報を階調変換することによって補正画像を作成する補正画像作成工程と、
   前記作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を教師データとして前記第１のニューラルネットワークの学習を実施する第１の学習工程と、
   を含むことを特徴とする画像処理方法。
2. 前記入力された画像情報から、人物の顔領域を検出する顔領域検出工程を含み、
   前記特性値算出工程では、前記検出された顔領域に関する特性値が算出されることを特徴とする請求項１に記載の画像処理方法。
3. 前記入力された画像情報から、人物の顔の可能性がある顔候補領域を抽出する顔候補領域抽出工程を含み、
   前記顔領域検出工程では、人物の顔検出処理を学習した第２のニューラルネットワークを用いて、前記抽出された顔候補領域から顔領域が検出され、
   前記特性値算出工程では、前記抽出された顔候補領域が顔領域である可能性を示す、前記第２のニューラルネットワークの出力信号の反応強度及び／又は前記検出された顔領域の特性値が算出されることを特徴とする請求項２に記載の画像処理方法。
4. 前記第１のニューラルネットワークとは異なる構成を有する第３のニューラルネットワークを取得する取得工程と、
   前記第１のニューラルネットワークの出力信号を教師データとして前記第３のニューラルネットワークの学習を実施する第２の学習工程と、
   前記学習された第３のニューラルネットワークの学習結果が所定の条件を満たす場合に、前記第１のニューラルネットワークを当該第３のニューラルネットワークに置き換える置換工程と、
   を含むことを特徴とする請求項１〜３の何れか一項に記載の画像処理方法。
5. 前記第１のニューラルネットワークとは異なる構成を有する第３のニューラルネットワークを取得する取得工程と、
   前記第１のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を更に補正するための第１の補正値を入力する入力工程と、
   前記第１の補正値に基づいて、第３のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を補正するための第２の補正値を算出する補正値算出工程と、
   前記算出された第２の補正値を教師データとして前記第３のニューラルネットワークの学習を実施する第２の学習工程と、
   前記第１の補正値と、前記学習された第３のニューラルネットワークを用いて算出された第２の補正値の関係が所定の条件を満たす場合に、前記第１のニューラルネットワークを当該第３のニューラルネットワークに置き換える置換工程と、
   を含むことを特徴とする請求項１〜３の何れか一項に記載の画像処理方法。
6. 前記特性値算出工程では、前記入力された画像が撮影された時の配光条件を示す値が算出されることを特徴とする請求項１〜５の何れか一項に記載の画像処理方法。
7. 前記配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴とする請求項６に記載の画像処理方法。
8. 前記入力された画像情報はカラー画像であり、
   前記補正パラメータ算出工程において算出された階調補正パラメータを所定の比率で分割し、第１の補正パラメータ及び第２の補正パラメータを算出する分割パラメータ算出工程を含み、
   前記補正画像作成工程では、前記入力された画像情報を輝度−色差情報で表現した場合の輝度情報に対して前記第１の補正パラメータを作用させることによって当該輝度情報が階調変換されるとともに、前記入力された画像情報をＲＧＢ情報で表現した場合の各々の色情報に対して前記第２の補正パラメータを作用させることによって当該色情報が階調変換されることを特徴とする請求項１〜７の何れか一項に記載の画像処理方法。
9. 前記補正画像作成工程では、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報が変換されることを特徴とする請求項１〜８の何れか一項に記載の画像処理方法。
10. 前記画像情報の属性情報を取得する属性情報取得工程と、
    前記取得された属性情報に基づいて、前記画像情報が、撮影により得られた自然画像であるか否かを判定する判定工程と、を含み、
    前記判定工程において、前記画像情報が自然画像であると判定された場合、前記補正画像作成工程では、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報が変換されることを特徴とする請求項１〜８の何れか一項に記載の画像処理方法。
11. 入力された画像情報から所定の特性値を算出する特性値算出手段と、
    前記算出された特性値を入力信号とし、画像情報に対する階調変換の程度を示す階調補正パラメータを出力信号とする第１のニューラルネットワークを用いて階調補正パラメータを算出する補正パラメータ算出手段と、
    前記算出された階調補正パラメータに基づいて前記画像情報を階調変換することによって補正画像を作成する補正画像作成手段と、
    前記作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を教師データとして前記第１のニューラルネットワークの学習を実施する第１の学習手段と、
    を備えることを特徴とする画像処理装置。
12. 前記入力された画像情報から、人物の顔領域を検出する顔領域検出手段を備え、
    前記特性値算出手段は、前記検出された顔領域に関する特性値を算出することを特徴とする請求項１１に記載の画像処理装置。
13. 前記入力された画像情報から、人物の顔の可能性がある顔候補領域を抽出する顔候補領域抽出手段を備え、
    前記顔領域検出手段は、人物の顔検出処理を学習した第２のニューラルネットワークを用いて、前記抽出された顔候補領域から顔領域を検出し、
    前記特性値算出手段は、前記抽出された顔候補領域が顔領域である可能性を示す、前記第２のニューラルネットワークの出力信号の反応強度及び／又は前記検出された顔領域の特性値を算出することを特徴とする請求項１２に記載の画像処理装置。
14. 前記第１のニューラルネットワークとは異なる構成を有する第３のニューラルネットワークを取得する取得手段と、
    前記第１のニューラルネットワークの出力信号を教師データとして前記第３のニューラルネットワークの学習を実施する第２の学習手段と、
    前記学習された第３のニューラルネットワークの学習結果が所定の条件を満たす場合に、前記第１のニューラルネットワークを当該第３のニューラルネットワークに置き換える置換手段と、
    を備えることを特徴とする請求項１１〜１３の何れか一項に記載の画像処理装置。
15. 前記第１のニューラルネットワークとは異なる構成を有する第３のニューラルネットワークを取得する取得手段と、
    前記第１のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を更に補正するための第１の補正値を入力する入力手段と、
    前記第１の補正値に基づいて、第３のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を補正するための第２の補正値を算出する補正値算出手段と、
    前記算出された第２の補正値を教師データとして前記第３のニューラルネットワークの学習を実施する第２の学習手段と、
    前記第１の補正値と、前記学習された第３のニューラルネットワークを用いて算出された第２の補正値の関係が所定の条件を満たす場合に、前記第１のニューラルネットワークを当該第３のニューラルネットワークに置き換える置換手段と、
    を備えることを特徴とする請求項１１〜１３の何れか一項に記載の画像処理装置。
16. 前記特性値算出手段は、前記入力された画像が撮影された時の配光条件を示す値を算出することを特徴とする請求項１１〜１５の何れか一項に記載の画像処理装置。
17. 前記配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴とする請求項１６に記載の画像処理装置。
18. 前記入力された画像情報はカラー画像であり、
    前記補正パラメータ算出手段において算出された階調補正パラメータを所定の比率で分割し、第１の補正パラメータ及び第２の補正パラメータを算出する分割パラメータ算出手段を備え、
    前記補正画像作成手段は、前記入力された画像情報を輝度−色差情報で表現した場合の輝度情報に対して前記第１の補正パラメータを作用させることによって当該輝度情報を階調変換するとともに、前記入力された画像情報をＲＧＢ情報で表現した場合の各々の色情報に対して前記第２の補正パラメータを作用させることによって当該色情報を階調変換することを特徴とする請求項１１〜１７の何れか一項に記載の画像処理装置。
19. 前記補正画像作成手段は、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴とする請求項１１〜１８の何れか一項に記載の画像処理装置。
20. 前記画像情報の属性情報を取得する属性情報取得手段と、
    前記取得された属性情報に基づいて、前記画像情報が、撮影により得られた自然画像であるか否かを判定する判定手段と、を備え、
    前記判定手段により、前記画像情報が自然画像であると判定された場合、前記補正画像作成手段は、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴とする請求項１１〜１８の何れか一項に記載の画像処理装置。
21. 画像処理を実行するコンピュータに、
    入力された画像情報から所定の特性値を算出する特性値算出機能と、
    前記算出された特性値を入力信号とし、画像情報に対する階調変換の程度を示す階調補正パラメータを出力信号とする第１のニューラルネットワークを用いて階調補正パラメータを算出する補正パラメータ算出機能と、
    前記算出された階調補正パラメータに基づいて前記画像情報を階調変換することによって補正画像を作成する補正画像作成機能と、
    前記作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を教師データとして前記第１のニューラルネットワークの学習を実施する第１の学習機能と、
    を実現させるための画像処理プログラム。
22. 前記入力された画像情報から、人物の顔領域を検出する顔領域検出機能を実現させ、
    前記特性値算出機能を実現させる際に、前記検出された顔領域に関する特性値を算出することを特徴とする請求項２１に記載の画像処理プログラム。
23. 前記入力された画像情報から、人物の顔の可能性がある顔候補領域を抽出する顔候補領域抽出機能を実現させ、
    前記顔領域検出機能を実現させる際に、人物の顔検出処理を学習した第２のニューラルネットワークを用いて、前記抽出された顔候補領域から顔領域を検出し、
    前記特性値算出機能を実現させる際に、前記抽出された顔候補領域が顔領域である可能性を示す、前記第２のニューラルネットワークの出力信号の反応強度及び／又は前記検出された顔領域の特性値を算出することを特徴とする請求項２２に記載の画像処理プログラム。
24. 前記第１のニューラルネットワークとは異なる構成を有する第３のニューラルネットワークを取得する取得機能と、
    前記第１のニューラルネットワークの出力信号を教師データとして前記第３のニューラルネットワークの学習を実施する第２の学習機能と、
    前記学習された第３のニューラルネットワークの学習結果が所定の条件を満たす場合に、前記第１のニューラルネットワークを当該第３のニューラルネットワークに置き換える置換機能と、
    を実現させる請求項２１〜２３の何れか一項に記載の画像処理プログラム。
25. 前記第１のニューラルネットワークとは異なる構成を有する第３のニューラルネットワークを取得する取得機能と、
    前記第１のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を更に補正するための第１の補正値を入力する入力機能と、
    前記第１の補正値に基づいて、第３のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を補正するための第２の補正値を算出する補正値算出機能と、
    前記算出された第２の補正値を教師データとして前記第３のニューラルネットワークの学習を実施する第２の学習機能と、
    前記第１の補正値と、前記学習された第３のニューラルネットワークを用いて算出された第２の補正値の関係が所定の条件を満たす場合に、前記第１のニューラルネットワークを当該第３のニューラルネットワークに置き換える置換機能と、
    を実現させる請求項２１〜２３の何れか一項に記載の画像処理プログラム。
26. 前記特性値算出機能を実現させる際に、前記入力された画像が撮影された時の配光条件を示す値を算出することを特徴とする請求項２１〜２５の何れか一項に記載の画像処理プログラム。
27. 前記配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴とする請求項２６に記載の画像処理プログラム。
28. 前記入力された画像情報はカラー画像であり、
    前記補正パラメータ算出機能において算出された階調補正パラメータを所定の比率で分割し、第１の補正パラメータ及び第２の補正パラメータを算出する分割パラメータ算出機能を実現させ、
    前記補正画像作成機能を実現させる際に、前記入力された画像情報を輝度−色差情報で表現した場合の輝度情報に対して前記第１の補正パラメータを作用させることによって当該輝度情報を階調変換するとともに、前記入力された画像情報をＲＧＢ情報で表現した場合の各々の色情報に対して前記第２の補正パラメータを作用させることによって当該色情報を階調変換することを特徴とする請求項２１〜２７の何れか一項に記載の画像処理プログラム。
29. 前記補正画像作成機能を実現させる際に、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴とする請求項２１〜２８の何れか一項に記載の画像処理プログラム。
30. 前記画像情報の属性情報を取得する属性情報取得機能と、
    前記取得された属性情報に基づいて、前記画像情報が、撮影により得られた自然画像であるか否かを判定する判定機能と、を実現させ、
    前記補正画像作成機能を実現させる際に、前記判定機能により、前記画像情報が自然画像であると判定された場合、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴とする請求項２１〜２８の何れか一項に記載の画像処理プログラム。
31. 画像処理対象の画像情報を入力する画像入力装置と、前記入力された画像情報に対して各種の画像処理を施す画像処理装置と、前記画像処理が施された画像情報を出力する画像出力装置から構成される画像処理システムであって、
    前記画像処理装置は、
    前記画像入力装置から入力された画像情報から所定の特性値を算出する特性値算出手段と、
    前記算出された特性値を入力信号とし、画像情報に対する階調変換の程度を示す階調補正パラメータを出力信号とする第１のニューラルネットワークを用いて階調補正パラメータを算出する補正パラメータ算出手段と、
    前記算出された階調補正パラメータに基づいて前記画像情報を階調変換することによって補正画像を作成する補正画像作成手段と、
    前記作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を教師データとして前記第１のニューラルネットワークの学習を実施する第１の学習手段と、
    を備えることを特徴とする画像処理システム。
32. 前記画像処理装置は、
    前記入力された画像情報から、人物の顔領域を検出する顔領域検出手段を備え、
    前記特性値算出手段は、前記検出された顔領域に関する特性値を算出することを特徴とする請求項３１に記載の画像処理システム。
33. 前記画像処理装置は、
    前記入力された画像情報から、人物の顔の可能性がある顔候補領域を抽出する顔候補領域抽出手段を備え、
    前記顔領域検出手段は、人物の顔検出処理を学習した第２のニューラルネットワークを用いて、前記抽出された顔候補領域から顔領域を検出し、
    前記特性値算出手段は、前記抽出された顔候補領域が顔領域である可能性を示す、前記第２のニューラルネットワークの出力信号の反応強度及び／又は前記検出された顔領域の特性値を算出することを特徴とする請求項３２に記載の画像処理システム。
34. 前記画像処理装置は、
    前記第１のニューラルネットワークとは異なる構成を有する第３のニューラルネットワークを取得する取得手段と、
    前記第１のニューラルネットワークの出力信号を教師データとして前記第３のニューラルネットワークの学習を実施する第２の学習手段と、
    前記学習された第３のニューラルネットワークの学習結果が所定の条件を満たす場合に、前記第１のニューラルネットワークを当該第３のニューラルネットワークに置き換える置換手段と、
    を備えることを特徴とする請求項３１〜３３の何れか一項に記載の画像処理システム。
35. 前記画像処理装置は、
    前記第１のニューラルネットワークとは異なる構成を有する第３のニューラルネットワークを取得する取得手段と、
    前記第１のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を更に補正するための第１の補正値を入力する入力手段と、
    前記第１の補正値に基づいて、第３のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を補正するための第２の補正値を算出する補正値算出手段と、
    前記算出された第２の補正値を教師データとして前記第３のニューラルネットワークの学習を実施する第２の学習手段と、
    前記第１の補正値と、前記学習された第３のニューラルネットワークを用いて算出された第２の補正値の関係が所定の条件を満たす場合に、前記第１のニューラルネットワークを当該第３のニューラルネットワークに置き換える置換手段と、
    を備えることを特徴とする請求項３１〜３３の何れか一項に記載の画像処理システム。
36. 前記特性値算出手段は、前記入力された画像が撮影された時の配光条件を示す値を算出することを特徴とする請求項３１〜３５の何れか一項に記載の画像処理システム。
37. 前記配光条件には、逆光状態及び／又はフラッシュ光利用状態が含まれることを特徴とする請求項３６に記載の画像処理システム。
38. 前記入力された画像情報はカラー画像であり、
    前記画像処理装置は、
    前記補正パラメータ算出手段において算出された階調補正パラメータを所定の比率で分割し、第１の補正パラメータ及び第２の補正パラメータを算出する分割パラメータ算出手段を備え、
    前記補正画像作成手段は、前記入力された画像情報を輝度−色差情報で表現した場合の輝度情報に対して前記第１の補正パラメータを作用させることによって当該輝度情報を階調変換するとともに、前記入力された画像情報をＲＧＢ情報で表現した場合の各々の色情報に対して前記第２の補正パラメータを作用させることによって当該色情報を階調変換することを特徴とする請求項３１〜３７の何れか一項に記載の画像処理システム。
39. 前記補正画像作成手段は、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴とする請求項３１〜３８の何れか一項に記載の画像処理システム。
40. 前記画像処理装置は、
    前記画像情報の属性情報を取得する属性情報取得手段と、
    前記取得された属性情報に基づいて、前記画像情報が、撮影により得られた自然画像であるか否かを判定する判定手段と、を備え、
    前記判定手段により、前記画像情報が自然画像であると判定された場合、前記補正画像作成手段は、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴とする請求項３１〜３８の何れか一項に記載の画像処理システム。

Images