JP2006031440A - 画像処理方法、画像処理装置、画像処理プログラム及び画像処理システム - Google Patents
画像処理方法、画像処理装置、画像処理プログラム及び画像処理システム Download PDFInfo
- Publication number
- JP2006031440A JP2006031440A JP2004209959A JP2004209959A JP2006031440A JP 2006031440 A JP2006031440 A JP 2006031440A JP 2004209959 A JP2004209959 A JP 2004209959A JP 2004209959 A JP2004209959 A JP 2004209959A JP 2006031440 A JP2006031440 A JP 2006031440A
- Authority
- JP
- Japan
- Prior art keywords
- image
- neural network
- correction
- information
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 160
- 238000003672 processing method Methods 0.000 title claims description 23
- 238000012937 correction Methods 0.000 claims abstract description 409
- 238000013528 artificial neural network Methods 0.000 claims abstract description 200
- 230000013016 learning Effects 0.000 claims abstract description 90
- 238000006243 chemical reaction Methods 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims description 96
- 230000006870 function Effects 0.000 claims description 67
- 230000008569 process Effects 0.000 claims description 61
- 238000004364 calculation method Methods 0.000 claims description 58
- 238000001514 detection method Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000012905 input function Methods 0.000 claims description 2
- 238000007639 printing Methods 0.000 abstract description 21
- 210000002569 neuron Anatomy 0.000 description 47
- 230000014509 gene expression Effects 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000013500 data storage Methods 0.000 description 8
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- HSRJKNPTNIJEKV-UHFFFAOYSA-N Guaifenesin Chemical compound COC1=CC=CC=C1OCC(O)CO HSRJKNPTNIJEKV-UHFFFAOYSA-N 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 2
- 241000723369 Cocculus trilobus Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036647 reaction Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】写真プリントに関する様々な嗜好に適合可能な画像処理を実現する。
【解決手段】画像処理装置200は、画像情報取得部4で取得された画像情報から所定の特性値を算出し、その算出された特性値を入力信号とし、画像情報を階調変換するための階調補正パラメータを出力信号とする第1のニューラルネットワークを用いて階調補正パラメータを算出する。そして、算出された階調補正パラメータに基づいて画像情報を階調変換することによって補正画像を作成する。オペレータによる指示入力部9の操作により、作成された補正画像に対する補正が指示された場合、ニューロ学習部7において、当該作成された補正画像に対する補正量を教師データとして第1のニューラルネットワークの学習を実施し、学習された第1のニューラルネットワークを用いて、再度階調補正パラメータを算出する。
【選択図】図2
【解決手段】画像処理装置200は、画像情報取得部4で取得された画像情報から所定の特性値を算出し、その算出された特性値を入力信号とし、画像情報を階調変換するための階調補正パラメータを出力信号とする第1のニューラルネットワークを用いて階調補正パラメータを算出する。そして、算出された階調補正パラメータに基づいて画像情報を階調変換することによって補正画像を作成する。オペレータによる指示入力部9の操作により、作成された補正画像に対する補正が指示された場合、ニューロ学習部7において、当該作成された補正画像に対する補正量を教師データとして第1のニューラルネットワークの学習を実施し、学習された第1のニューラルネットワークを用いて、再度階調補正パラメータを算出する。
【選択図】図2
Description
本発明は、画像情報に対して画像処理を施す画像処理方法、画像処理装置、画像処理プログラム及び画像処理システムに関する。
近年、銀塩フィルムやデジタルスチルカメラ(以下、DSCという。)等の撮影手段により得られた画像情報(撮影画像)から、写真焼付機やデジタルプリンタを用いて写真プリントを得る手法が広く普及している。一般に、撮影画像は、そのままでは写真プリントとして好ましい画像品位を有するものではないため、撮影画像に対して様々な画質調整を施し、好ましい画像を生成する必要がある。
実際の画質調整は、例えば、写真焼付機の場合、印画紙に現像済みフィルムの画像を焼き付ける際の露光量(露光時間、露光強度、露光光源の色調)を調整し、その調整された露光量で印画紙に焼き付けることで行われる。また、DSCによる撮影で得られた撮影画像や、現像済み銀塩フィルムをフィルムスキャナで読み取って得られた撮影画像に、所定の画像処理を施すことによって、画質調整が行われる。画質調整が施された撮影画像は、デジタルプリンタ等でプリント出力されたり、メモリーカード等の記録メディアに保存されたりする。
画質調整に際し、どのように調整したら好ましい画像が得られるかの情報、即ち、画像調整条件を取得する必要がある。画像調整条件を自動的に取得するために、種々の方法が提案されている。例えば、特許文献1には、撮影画像から肌色領域に関する情報を取得し、その取得された肌色領域情報の中から人物の顔に相当する領域の検出を行って、その検出された顔に相当する領域の画像を所定の色調に仕上げるための階調変換を行う画像処理技術が開示されている。
以下、図27のフローチャートを参照して、従来の画像処理について説明する。
まず、画像処理装置に入力された画像情報が取得される(ステップT1)。次いで、ステップT1で取得された画像情報から肌色領域が抽出され、その抽出された肌色領域により人物の顔が抽出される(ステップT2)。
まず、画像処理装置に入力された画像情報が取得される(ステップT1)。次いで、ステップT1で取得された画像情報から肌色領域が抽出され、その抽出された肌色領域により人物の顔が抽出される(ステップT2)。
次いで、ステップT2で抽出された人物の顔領域の特性値(例えば、画素信号値の平均、分散等の統計値)が算出され(ステップT3)、その算出された特性値に基づいて、入力された画像情報に対して階調補正が施される(ステップT4)。次いで、画像情報に対する追加補正値が設定される(ステップT5)。この追加補正値の初期値は0であり、オペレータによって入力された値が追加補正値として設定される。
次いで、ステップT5で設定された追加補正値に従って、補正画像が作成され(ステップT6)、作成された補正画像が表示部(モニタ)に表示される(ステップT7)。オペレータは、表示部に表示された補正画像を見て、補正結果が良好であるか否かを判断し、その判断結果を入力する。
補正画像の補正結果が良好であるという判断結果が入力された場合(ステップT8;YES)、本画像処理が終了する。補正画像の補正結果が良好ではない場合(ステップT8;NO)、オペレータにより追加補正値が入力され(ステップT9)、その入力された追加補正値が設定され(ステップT5)、ステップT6〜T8の処理が繰り返される。
特開平6−67320号公報
しかしながら、従来の画像処理技術では、自動画像処理により、顔画像を均一の階調に仕上げることはできても、被写体のおかれた環境や、被写体個人の特徴を無視した画一的な仕上がり画像しか得られないという問題があった。特に、特許文献1に記載された技術を写真プリントサービスに適用した場合、写真プリントサービスを提供する店舗によって、好ましいプリントに関する嗜好が異なっているため、各店舗に適用した画像処理を行うのが困難であった。一方、画像処理の改良に伴って画像調整結果が劇的に変化する場合、写真プリントサービスを提供する店舗、顧客に混乱を招く恐れがあった。
本発明の課題は、写真プリントに関する様々な嗜好に適合可能な画像処理を実現することである。
上記課題を解決するため、請求項1に記載の発明は、入力された画像情報から所定の特性値を算出する特性値算出工程と、前記算出された特性値を入力信号とし、画像情報に対する階調変換の程度を示す階調補正パラメータを出力信号とする第1のニューラルネットワークを用いて階調補正パラメータを算出する補正パラメータ算出工程と、前記算出された階調補正パラメータに基づいて前記画像情報を階調変換することによって補正画像を作成する補正画像作成工程と、前記作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を教師データとして前記第1のニューラルネットワークの学習を実施する第1の学習工程と、を含むことを特徴としている。
請求項2に記載の発明は、請求項1に記載の画像処理方法において、前記入力された画像情報から、人物の顔領域を検出する顔領域検出工程を含み、前記特性値算出工程では、前記検出された顔領域に関する特性値が算出されることを特徴としている。
請求項3に記載の発明は、請求項2に記載の画像処理方法において、前記入力された画像情報から、人物の顔の可能性がある顔候補領域を抽出する顔候補領域抽出工程を含み、前記顔領域検出工程では、人物の顔検出処理を学習した第2のニューラルネットワークを用いて、前記抽出された顔候補領域から顔領域が検出され、前記特性値算出工程では、前記抽出された顔候補領域が顔領域である可能性を示す、前記第2のニューラルネットワークの出力信号の反応強度及び/又は前記検出された顔領域の特性値が算出されることを特徴としている。
請求項4に記載の発明は、請求項1〜3の何れか一項に記載の画像処理方法において、前記第1のニューラルネットワークとは異なる構成を有する第3のニューラルネットワークを取得する取得工程と、前記第1のニューラルネットワークの出力信号を教師データとして前記第3のニューラルネットワークの学習を実施する第2の学習工程と、前記学習された第3のニューラルネットワークの学習結果が所定の条件を満たす場合に、前記第1のニューラルネットワークを当該第3のニューラルネットワークに置き換える置換工程と、を含むことを特徴としている。
請求項5に記載の発明は、請求項1〜3の何れか一項に記載の画像処理方法において、前記第1のニューラルネットワークとは異なる構成を有する第3のニューラルネットワークを取得する取得工程と、前記第1のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を更に補正するための第1の補正値を入力する入力工程と、前記第1の補正値に基づいて、第3のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を補正するための第2の補正値を算出する補正値算出工程と、前記算出された第2の補正値を教師データとして前記第3のニューラルネットワークの学習を実施する第2の学習工程と、前記第1の補正値と、前記学習された第3のニューラルネットワークを用いて算出された第2の補正値の関係が所定の条件を満たす場合に、前記第1のニューラルネットワークを当該第3のニューラルネットワークに置き換える置換工程と、を含むことを特徴としている。
請求項6に記載の発明は、請求項1〜5の何れか一項に記載の画像処理方法において、前記特性値算出工程では、前記入力された画像が撮影された時の配光条件を示す値が算出されることを特徴としている。
請求項7に記載の発明は、請求項6に記載の画像処理方法において、前記配光条件には、逆光状態及び/又はフラッシュ光利用状態が含まれることを特徴としている。
請求項8に記載の発明は、請求項1〜7の何れか一項に記載の画像処理方法において、前記入力された画像情報はカラー画像であり、前記補正パラメータ算出工程において算出された階調補正パラメータを所定の比率で分割し、第1の補正パラメータ及び第2の補正パラメータを算出する分割パラメータ算出工程を含み、前記補正画像作成工程では、前記入力された画像情報を輝度−色差情報で表現した場合の輝度情報に対して前記第1の補正パラメータを作用させることによって当該輝度情報が階調変換されるとともに、前記入力された画像情報をRGB情報で表現した場合の各々の色情報に対して前記第2の補正パラメータを作用させることによって当該色情報が階調変換されることを特徴としている。
請求項9に記載の発明は、請求項1〜8の何れか一項に記載の画像処理方法において、前記補正画像作成工程では、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報が変換されることを特徴としている。
請求項10に記載の発明は、請求項1〜8の何れか一項に記載の画像処理方法において、前記画像情報の属性情報を取得する属性情報取得工程と、前記取得された属性情報に基づいて、前記画像情報が、撮影により得られた自然画像であるか否かを判定する判定工程と、を含み、
前記判定工程において、前記画像情報が自然画像であると判定された場合、前記補正画像作成工程では、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報が変換されることを特徴としている。
前記判定工程において、前記画像情報が自然画像であると判定された場合、前記補正画像作成工程では、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報が変換されることを特徴としている。
請求項11に記載の発明は、入力された画像情報から所定の特性値を算出する特性値算出手段と、前記算出された特性値を入力信号とし、画像情報に対する階調変換の程度を示す階調補正パラメータを出力信号とする第1のニューラルネットワークを用いて階調補正パラメータを算出する補正パラメータ算出手段と、前記算出された階調補正パラメータに基づいて前記画像情報を階調変換することによって補正画像を作成する補正画像作成手段と、前記作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を教師データとして前記第1のニューラルネットワークの学習を実施する第1の学習手段と、を備えることを特徴としている。
請求項12に記載の発明は、請求項11に記載の画像処理装置において、前記入力された画像情報から、人物の顔領域を検出する顔領域検出手段を備え、前記特性値算出手段は、前記検出された顔領域に関する特性値を算出することを特徴としている。
請求項13に記載の発明は、請求項12に記載の画像処理装置において、前記入力された画像情報から、人物の顔の可能性がある顔候補領域を抽出する顔候補領域抽出手段を備え、前記顔領域検出手段は、人物の顔検出処理を学習した第2のニューラルネットワークを用いて、前記抽出された顔候補領域から顔領域を検出し、前記特性値算出手段は、前記抽出された顔候補領域が顔領域である可能性を示す、前記第2のニューラルネットワークの出力信号の反応強度及び/又は前記検出された顔領域の特性値を算出することを特徴としている。
請求項14に記載の発明は、請求項11〜13の何れか一項に記載の画像処理装置において、前記第1のニューラルネットワークとは異なる構成を有する第3のニューラルネットワークを取得する取得手段と、前記第1のニューラルネットワークの出力信号を教師データとして前記第3のニューラルネットワークの学習を実施する第2の学習手段と、前記学習された第3のニューラルネットワークの学習結果が所定の条件を満たす場合に、前記第1のニューラルネットワークを当該第3のニューラルネットワークに置き換える置換手段と、を備えることを特徴としている。
請求項15に記載の発明は、請求項11〜13の何れか一項に記載の画像処理装置において、前記第1のニューラルネットワークとは異なる構成を有する第3のニューラルネットワークを取得する取得手段と、前記第1のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を更に補正するための第1の補正値を入力する入力手段と、前記第1の補正値に基づいて、第3のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を補正するための第2の補正値を算出する補正値算出手段と、前記算出された第2の補正値を教師データとして前記第3のニューラルネットワークの学習を実施する第2の学習手段と、前記第1の補正値と、前記学習された第3のニューラルネットワークを用いて算出された第2の補正値の関係が所定の条件を満たす場合に、前記第1のニューラルネットワークを当該第3のニューラルネットワークに置き換える置換手段と、を備えることを特徴としている。
請求項16に記載の発明は、請求項11〜15の何れか一項に記載の画像処理装置において、前記特性値算出手段は、前記入力された画像が撮影された時の配光条件を示す値を算出することを特徴としている。
請求項17に記載の発明は、請求項16に記載の画像処理装置において、前記配光条件には、逆光状態及び/又はフラッシュ光利用状態が含まれることを特徴としている。
請求項18に記載の発明は、請求項11〜17の何れか一項に記載の画像処理装置において、前記入力された画像情報はカラー画像であり、前記補正パラメータ算出手段において算出された階調補正パラメータを所定の比率で分割し、第1の補正パラメータ及び第2の補正パラメータを算出する分割パラメータ算出手段を備え、前記補正画像作成手段は、前記入力された画像情報を輝度−色差情報で表現した場合の輝度情報に対して前記第1の補正パラメータを作用させることによって当該輝度情報を階調変換するとともに、前記入力された画像情報をRGB情報で表現した場合の各々の色情報に対して前記第2の補正パラメータを作用させることによって当該色情報を階調変換することを特徴としている。
請求項19に記載の発明は、請求項11〜18の何れか一項に記載の画像処理装置において、前記補正画像作成手段は、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴としている。
請求項20に記載の発明は、請求項11〜18の何れか一項に記載の画像処理装置において、前記画像情報の属性情報を取得する属性情報取得手段と、前記取得された属性情報に基づいて、前記画像情報が、撮影により得られた自然画像であるか否かを判定する判定手段と、を備え、前記判定手段により、前記画像情報が自然画像であると判定された場合、前記補正画像作成手段は、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴としている。
請求項21に記載の発明は、画像処理を実行するコンピュータに、入力された画像情報から所定の特性値を算出する特性値算出機能と、前記算出された特性値を入力信号とし、画像情報に対する階調変換の程度を示す階調補正パラメータを出力信号とする第1のニューラルネットワークを用いて階調補正パラメータを算出する補正パラメータ算出機能と、前記算出された階調補正パラメータに基づいて前記画像情報を階調変換することによって補正画像を作成する補正画像作成機能と、前記作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を教師データとして前記第1のニューラルネットワークの学習を実施する第1の学習機能と、を実現させる。
請求項22に記載の発明は、請求項21に記載の画像処理プログラムにおいて、前記入力された画像情報から、人物の顔領域を検出する顔領域検出機能を実現させ、前記特性値算出機能を実現させる際に、前記検出された顔領域に関する特性値を算出することを特徴としている。
請求項23に記載の発明は、請求項22に記載の画像処理プログラムにおいて、前記入力された画像情報から、人物の顔の可能性がある顔候補領域を抽出する顔候補領域抽出機能を実現させ、前記顔領域検出機能を実現させる際に、人物の顔検出処理を学習した第2のニューラルネットワークを用いて、前記抽出された顔候補領域から顔領域を検出し、前記特性値算出機能を実現させる際に、前記抽出された顔候補領域が顔領域である可能性を示す、前記第2のニューラルネットワークの出力信号の反応強度及び/又は前記検出された顔領域の特性値を算出することを特徴としている。
請求項24に記載の発明は、請求項21〜23の何れか一項に記載の画像処理プログラムにおいて、前記第1のニューラルネットワークとは異なる構成を有する第3のニューラルネットワークを取得する取得機能と、前記第1のニューラルネットワークの出力信号を教師データとして前記第3のニューラルネットワークの学習を実施する第2の学習機能と、前記学習された第3のニューラルネットワークの学習結果が所定の条件を満たす場合に、前記第1のニューラルネットワークを当該第3のニューラルネットワークに置き換える置換機能と、を実現させる。
請求項25に記載の発明は、請求項21〜23の何れか一項に記載の画像処理プログラムにおいて、前記第1のニューラルネットワークとは異なる構成を有する第3のニューラルネットワークを取得する取得機能と、前記第1のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を更に補正するための第1の補正値を入力する入力機能と、前記第1の補正値に基づいて、第3のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を補正するための第2の補正値を算出する補正値算出機能と、前記算出された第2の補正値を教師データとして前記第3のニューラルネットワークの学習を実施する第2の学習機能と、前記第1の補正値と、前記学習された第3のニューラルネットワークを用いて算出された第2の補正値の関係が所定の条件を満たす場合に、前記第1のニューラルネットワークを当該第3のニューラルネットワークに置き換える置換機能と、を実現させる。
請求項26に記載の発明は、請求項21〜25の何れか一項に記載の画像処理プログラムにおいて、前記特性値算出機能を実現させる際に、前記入力された画像が撮影された時の配光条件を示す値を算出することを特徴としている。
請求項27に記載の発明は、請求項26に記載の画像処理プログラムにおいて、前記配光条件には、逆光状態及び/又はフラッシュ光利用状態が含まれることを特徴としている。
請求項28に記載の発明は、請求項21〜27の何れか一項に記載の画像処理プログラムにおいて、前記入力された画像情報はカラー画像であり、前記補正パラメータ算出機能において算出された階調補正パラメータを所定の比率で分割し、第1の補正パラメータ及び第2の補正パラメータを算出する分割パラメータ算出機能を実現させ、前記補正画像作成機能を実現させる際に、前記入力された画像情報を輝度−色差情報で表現した場合の輝度情報に対して前記第1の補正パラメータを作用させることによって当該輝度情報を階調変換するとともに、前記入力された画像情報をRGB情報で表現した場合の各々の色情報に対して前記第2の補正パラメータを作用させることによって当該色情報を階調変換することを特徴としている。
請求項29に記載の発明は、請求項21〜28の何れか一項に記載の画像処理プログラムにおいて、前記補正画像作成機能を実現させる際に、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴としている。
請求項30に記載の発明は、請求項21〜28の何れか一項に記載の画像処理プログラムにおいて、前記画像情報の属性情報を取得する属性情報取得機能と、前記取得された属性情報に基づいて、前記画像情報が、撮影により得られた自然画像であるか否かを判定する判定機能と、を実現させ、前記補正画像作成機能を実現させる際に、前記判定機能により、前記画像情報が自然画像であると判定された場合、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴としている。
請求項31に記載の発明は、画像処理対象の画像情報を入力する画像入力装置と、前記入力された画像情報に対して各種の画像処理を施す画像処理装置と、前記画像処理が施された画像情報を出力する画像出力装置から構成される画像処理システムであって、前記画像処理装置は、前記画像入力装置から入力された画像情報から所定の特性値を算出する特性値算出手段と、前記算出された特性値を入力信号とし、画像情報に対する階調変換の程度を示す階調補正パラメータを出力信号とする第1のニューラルネットワークを用いて階調補正パラメータを算出する補正パラメータ算出手段と、前記算出された階調補正パラメータに基づいて前記画像情報を階調変換することによって補正画像を作成する補正画像作成手段と、前記作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を教師データとして前記第1のニューラルネットワークの学習を実施する第1の学習手段と、を備えることを特徴としている。
請求項32に記載の発明は、請求項31に記載の画像処理システムにおいて、前記画像処理装置は、前記入力された画像情報から、人物の顔領域を検出する顔領域検出手段を備え、前記特性値算出手段は、前記検出された顔領域に関する特性値を算出することを特徴としている。
請求項33に記載の発明は、請求項32に記載の画像処理システムにおいて、前記画像処理装置は、前記入力された画像情報から、人物の顔の可能性がある顔候補領域を抽出する顔候補領域抽出手段を備え、前記顔領域検出手段は、人物の顔検出処理を学習した第2のニューラルネットワークを用いて、前記抽出された顔候補領域から顔領域を検出し、前記特性値算出手段は、前記抽出された顔候補領域が顔領域である可能性を示す、前記第2のニューラルネットワークの出力信号の反応強度及び/又は前記検出された顔領域の特性値を算出することを特徴としている。
請求項34に記載の発明は、請求項31〜33の何れか一項に記載の画像処理システムにおいて、前記画像処理装置は、前記第1のニューラルネットワークとは異なる構成を有する第3のニューラルネットワークを取得する取得手段と、前記第1のニューラルネットワークの出力信号を教師データとして前記第3のニューラルネットワークの学習を実施する第2の学習手段と、前記学習された第3のニューラルネットワークの学習結果が所定の条件を満たす場合に、前記第1のニューラルネットワークを当該第3のニューラルネットワークに置き換える置換手段と、を備えることを特徴としている。
請求項35に記載の発明は、請求項31〜33の何れか一項に記載の画像処理システムにおいて、前記画像処理装置は、前記第1のニューラルネットワークとは異なる構成を有する第3のニューラルネットワークを取得する取得手段と、前記第1のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を更に補正するための第1の補正値を入力する入力手段と、前記第1の補正値に基づいて、第3のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を補正するための第2の補正値を算出する補正値算出手段と、前記算出された第2の補正値を教師データとして前記第3のニューラルネットワークの学習を実施する第2の学習手段と、前記第1の補正値と、前記学習された第3のニューラルネットワークを用いて算出された第2の補正値の関係が所定の条件を満たす場合に、前記第1のニューラルネットワークを当該第3のニューラルネットワークに置き換える置換手段と、を備えることを特徴としている。
請求項36に記載の発明は、請求項31〜35の何れか一項に記載の画像処理システムにおいて、前記特性値算出手段は、前記入力された画像が撮影された時の配光条件を示す値を算出することを特徴としている。
請求項37に記載の発明は、請求項36に記載の画像処理システムにおいて、前記配光条件には、逆光状態及び/又はフラッシュ光利用状態が含まれることを特徴としている。
請求項38に記載の発明は、請求項31〜37の何れか一項に記載の画像処理システムにおいて、前記入力された画像情報はカラー画像であり、前記画像処理装置は、前記補正パラメータ算出手段において算出された階調補正パラメータを所定の比率で分割し、第1の補正パラメータ及び第2の補正パラメータを算出する分割パラメータ算出手段を備え、前記補正画像作成手段は、前記入力された画像情報を輝度−色差情報で表現した場合の輝度情報に対して前記第1の補正パラメータを作用させることによって当該輝度情報を階調変換するとともに、前記入力された画像情報をRGB情報で表現した場合の各々の色情報に対して前記第2の補正パラメータを作用させることによって当該色情報を階調変換することを特徴としている。
請求項39に記載の発明は、請求項31〜38の何れか一項に記載の画像処理システムにおいて、前記補正画像作成手段は、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴としている。
請求項40に記載の発明は、請求項31〜38の何れか一項に記載の画像処理システムにおいて、前記画像処理装置は、前記画像情報の属性情報を取得する属性情報取得手段と、前記取得された属性情報に基づいて、前記画像情報が、撮影により得られた自然画像であるか否かを判定する判定手段と、を備え、前記判定手段により、前記画像情報が自然画像であると判定された場合、前記補正画像作成手段は、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴としている。
本発明によれば、作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を第1のニューラルネットワークの教師データとして学習するようにしたため、この学習した第1のニューラルネットワークを用いて画像情報を補正することにより、オペレータの嗜好に合った画像を得ることができる。
また、入力画像情報に含まれる人物の顔の検出処理を学習した第2のニューラルネットワークを用いて人物の顔領域の特性値及び第2のニューラルネットワークの反応強度を算出し、算出された顔領域の特性値及び反応強度を第1のニューラルネットワークの入力信号とすることにより、より高品質で、オペレータの嗜好に合った画像を得ることができる。
更に、新たな構成を有する第3のニューラルネットワークを使用する前に、オペレータの嗜好に合わせて学習された第1のニューラルネットワークの出力信号を用いて第3のニューラルネットワークの学習を実施するようにしたため、オペレータの嗜好に合った新しいニューラルネットワークへ円滑に移行することができる。
また、入力画像情報から画像撮影時の配光条件を判別し、判別結果を第1のニューラルネットワークへの入力信号の一つとすることにより、配光条件に適した階調補正パラメータを得ることができ、より一層高品質の画像を得ることができる。
更に、第1のニューラルネットワークにより算出された階調補正パラメータを2つの補正パラメータに分割し、第1の補正パラメータを補正対象画像の輝度情報に作用させて階調変換し、第2の補正パラメータを補正対象画像のRGB各々の色情報に対して作用させて階調変換することにより、階調変化に伴う彩度(画像の鮮やかさ)の変化が軽減され、オペレータの指示による追加補正が容易になる。
また、補正画像の作成処理では、ネガポジ方式におけるプリント焼付け時のシェーディング特性を再現する処理を行うことにより、ネガポジ方式のプリントに近似した補正画像を得ることができるため、オペレータによる追加補正が容易になる。
以下、図面を参照して、本発明の実施形態を詳細に説明する。
まず、本実施形態における構成について説明する。
まず、本実施形態における構成について説明する。
図1に、本発明の実施形態に係る画像処理装置100の構成を示す。画像処理装置100は、フィルムに撮影され、現像された画像を印画紙に光学焼付けする写真プリントシステムであり、図1に示すように、光源部1、撮像部2、露光制御部3、画像情報取得部4、画像判定部5、追加補正データ記憶部6、ニューロ学習部7、画像処理部8、指示入力部9、表示部10により構成される。
光源部1で発した光は、色調整フィルタ(Y、M、C)を透過して色調の調整がなされ、光拡散部材の中を乱反射して均質化され、フィルムに照射される。フィルムを透過した光はレンズを通り、印画紙上にフィルム上の画像を結像し、露光制御部3の制御により露光される。露光された印画紙は、現像処理装置(図示略)で現像処理され、写真が出来上がる。フィルムを透過した光は、可動ミラーによって適宜撮像部2に導かれる。撮像部2は、可動ミラーから入力された光画像を採取し、フィルム画像情報として画像情報取得部4に出力する。
露光制御部3は、画像判定部5で算出された階調補正パラメータ(階調変換の程度を示すパラメータ)、指示入力部9により入力された追加補正値を画像処理部8から受け、これら階調補正パラメータ及び追加補正値に基づいてフィルムの露光時間、光源のカラーバランスを決定し、その決定された露光時間及びカラーバランスに従って、色調整フィルタ及びシャッタを制御する。
画像情報取得部4は、撮像部2から入力された画像情報を取得し、画像判定部5に出力する。
画像判定部5は、画像情報取得部4から取得された画像情報から各種の特性値(画素信号値の平均、分散等の統計値、レンズ焦点距離、合焦位置等の付加情報、配光条件等)を算出し、算出された特性値を入力信号とし、画像情報を階調変換するための階調補正パラメータを出力信号とする第1の階層型ニューラルネットワークをニューロ学習部7から取得し、当該第1の階層型ニューラルネットワークを用いて階調補正パラメータを算出する。画像判定部5において実行される処理については、後に図5を参照して詳細に説明する。
追加補正データ記憶部6は、指示入力部9により入力された追加補正値(補正量)を含む、ニューラルネットワークの学習に必要な教師データ(後述)を記憶する。
ニューロ学習部7は、追加補正データ記憶部6に記憶された追加補正値(補正量)を教師データとして第1の階層型ニューラルネットワークの学習を実施する。また、ニューロ学習部7は、第1の階層型ニューラルネットワークとは異なる構成の第3の階層型ニューラルネットワーク(後述)の学習を実施する。更に、ニューロ学習部7は、第1の階層型ニューラルネットワークを、新たな構成の第3の階層型ニューラルネットワークに置換するニューロ置換処理を実行する(図18及び図19参照)。本実施形態で適用される階層型ニューラルネットワークについては、後に図3及び図4を参照して説明する。
画像処理部8は、画像判定部5で算出された階調補正パラメータ及び/又は指示入力部9により入力された追加補正値に基づいて、補正対象の画像情報を階調変換することによって補正画像を作成し、作成された補正画像を表示部10に出力する。また、補正画像のプリント出力指示があった場合、画像処理部8は、補正画像情報(階調補正パラメータ、追加補正値の情報等)を露光制御部3に出力する。補正画像の作成処理については、後に図21〜図25を参照して詳細に説明する。
指示入力部9は、キーボードやマウス等の入力デバイスを備え、入力デバイスの操作による操作信号を画像処理部8に出力する。なお、指示入力部9は、表示部10の表示画面を覆うように重畳して設けられたタッチパネルを備えていてもよい。タッチパネルは、電磁誘導式、磁気歪式、感圧式等の読み取り原理によって、タッチ指示された座標を検出し、検出した座標を位置信号として画像処理部8に出力する。
表示部10は、LCD(Liquid Crystal Display)等の表示画面を有し、画像処理部8から入力される表示制御信号に従って、所要の表示を行う。
なお、本発明が適用される画像処理装置は、図1に示したような、光学焼付けする写真プリントシステムである画像処理装置100に限定されるものではない。図2に、本発明が適用される画像処理装置の他の例として、画像処理装置200の構成を示す。以下では、画像処理装置200において、図1の画像処理装置100と同一の構成要素には同一の符号を付し、機能が同一である構成要素については、その機能説明を省略する。
画像処理装置200は、図2に示すように、画像情報取得部4、画像判定部5、追加補正データ記憶部6、ニューロ学習部7、画像処理部8、指示入力部9、表示部10、縮小画像作成部11、DSC(デジタルスチルカメラ)12、原稿スキャナ13、記録メディアドライバ14、通信制御部15、画像情報出力部16、プリンタ部17、記録メディア書き込み部18により構成される。
画像情報取得部4は、DSC12、原稿スキャナ13、記録メディアドライバ14、通信制御部15を介して入力されたデジタル画像情報を取得し、縮小画像作成部11又は画像処理部8に出力する。
画像処理部8は、画像判定部5で算出された階調補正パラメータ及び/又は指示入力部9により入力された追加補正値に基づいて、補正対象の画像情報を階調変換することによって補正画像を作成し、作成された補正画像を表示部10に出力する。また、補正画像のプリント出力指示があった場合、画像処理部8は、指定された出力先に対応する補正画像を作成し、画像情報出力部16に出力する。
縮小画像作成部11は、必要に応じて(例えば、オペレータから指示があった場合に)画像情報取得部4から取得された画像情報から縮小画像(サムネイル画像)を作成し、画像判定部5に出力する。
DSC12は、フォーカシングレンズ、ズームレンズ、シャッタ、絞り等を含む撮影用の光学レンズユニット、CCD(Charge Coupled Device)等の撮像素子を含む光電変換ユニット等により構成されており、被写体の撮影によって得られた撮影画像を光電変換してデジタル画像信号を取得し、取得されたデジタル画像信号を、画像情報取得部4に出力する。
原稿スキャナ13は、光源、CCD(Charge-Coupled Device)、A/Dコンバータ等により構成され、原稿台に載置された写真プリント等の原稿に光源の光を照射し、その反射光をCCDにより電気信号(アナログ信号)に変換し、A/Dコンバータにより、このアナログ信号をデジタル信号に変換することによってデジタル画像信号を取得し、取得されたデジタル画像信号を画像情報取得部4に出力する。
記録メディアドライバ14は、CD−R、メモリスティック(登録商標)、スマートメディア(登録商標)、コンパクトフラッシュ(登録商標)、マルチメディアカード(登録商標)、SDメモリカード(登録商標)等の各種記録メディアが装着可能な構成となっており、これらの記録メディアに記録された画像信号を読み取り、読み取り結果を画像情報取得部4に出力する。
通信制御部15は、LAN(Local Area Network)、インターネット等の通信ネットワークNに接続された外部装置と画像処理装置200との間の通信を制御する。具体的には、通信制御部15は、外部装置から受信された画像情報を画像情報取得部4に出力するための制御を行ったり、画像情報出力部16から取得された画像情報を指定されたアドレスに送信するための制御を行う。
画像情報出力部16は、画像処理部8で処理された画像情報を、指定された出力先(通信制御部15、プリンタ部17、記憶メディア書き込み部18の何れか)に出力する。
プリンタ部17は、画像情報出力部16から入力された画像情報に基づいて感光材料に露光し、露光された感光材料を現像処理して乾燥し、写真プリントを作成する。
記憶メディア書き込み部18は、各種の記録メディアが装着可能な構成となっており、画像処理部8で処理された画像情報を、装着された記録メディアに記録する。
記憶メディア書き込み部18は、各種の記録メディアが装着可能な構成となっており、画像処理部8で処理された画像情報を、装着された記録メディアに記録する。
〈ニューラルネットワーク〉
次に、本実施形態の画像処理において使用されるニューラルネットワークについて簡単に説明する。このニューラルネットワークは、図3に示すように、入力層、中間層、及び出力層を有する階層型のニューラルネットワーク(以下、単にニューラルネットワークという。)である。ニューラルネットワークは、デジタルニューラルネットワークチップを利用することが望ましいが、汎用のDSP(Digital Signal Processor)と専用のエミュレートプログラムを用いても実現することができるし、通常のCPUとエミュレートプログラムを用いても構わない。
次に、本実施形態の画像処理において使用されるニューラルネットワークについて簡単に説明する。このニューラルネットワークは、図3に示すように、入力層、中間層、及び出力層を有する階層型のニューラルネットワーク(以下、単にニューラルネットワークという。)である。ニューラルネットワークは、デジタルニューラルネットワークチップを利用することが望ましいが、汎用のDSP(Digital Signal Processor)と専用のエミュレートプログラムを用いても実現することができるし、通常のCPUとエミュレートプログラムを用いても構わない。
ニューラルネットワークの各層は、ニューロンと呼ばれる構成単位からなっている。入力層を除けば、任意のニューロンは図4に示すようにシナプスと呼ばれる入力を多数受け取り、各々の入力値xiに対して結合強度と呼ばれる所定の重みwiを掛けてその総和を求め、それを所定の出力関数fで評価した結果を出力yとして与える機能素子として機能する。出力関数fは、式(1)のように表される。
ここで、f(x)は一般に式(2)に示すような非線形のシグモイド関数が用いられるが、必ずしもこれに限定されるわけではない。
ここで、各ニューロンの入力の重みwiはニューラルネットワークの入力・出力の関係、言い替えればニューラルネットワークの動作を決定する重要な情報であり、ニューラルネットワークに対して学習作業を行うことによって決定する。なお、図3では中間層は1層のみ記してあるが、これは1以上の任意の階層の構成とすることができる。階層型ネットワークでは、中間層は1層あれば、合成可能な任意の関数を実現できることが知られているが、中間層を多くした方が学習効率や、ニューロンの個数の点から有利であることが知られている。
ニューラルネットワークは以下のような特徴を有している。
(1)比較的単純な構成でありながら、多入力・多出力の非線形システムを実現できる。(2)各層内の各ニューロンは独立して動作させることができ、並列処理によって高速な動作が期待できる。
(3)適切な教師データを与えて学習させることにより、任意の入出力関係を実現させることができる。
(4)系として汎化能力がある。すなわち、必ずしも教師データとして与えていない、未学習の入力パターンに対しても、おおむね正しい出力を与える能力がある。
(1)比較的単純な構成でありながら、多入力・多出力の非線形システムを実現できる。(2)各層内の各ニューロンは独立して動作させることができ、並列処理によって高速な動作が期待できる。
(3)適切な教師データを与えて学習させることにより、任意の入出力関係を実現させることができる。
(4)系として汎化能力がある。すなわち、必ずしも教師データとして与えていない、未学習の入力パターンに対しても、おおむね正しい出力を与える能力がある。
ここで、教師データとは、入力パターンと、その入力パターンに対する望ましい出力パターンの対であり、通常複数個用意する。特定の入力パターンに対して望ましい出力パターンを決定する作業は、一般に熟練者の主観的な判断に頼って決定する。ニューラルネットワークの主な応用としては(a)非線形の関数近似、(b)クラスタリング(識別、認識、分類)が挙げられる。
次に、ニューラルネットワークに対する教師データを用いた学習方法について説明する。p番目の入力パターンに対する、第L層のi番目のニューロンの状態を式(3)及び式(4)のように表現する。
ここで、式(3)の関数f(x)は、式(2)に示した非線形のシグモイド関数、YiLはニューロンの出力、UiLはニューロンの内部状態、Yi<L−1>はL−1層のニューロンの出力=L層のニューロンの入力、wij<L>は結合強度である。
このように定義した場合に、広く用いられている誤差逆伝搬学習法(バックプロパゲーション学習法、以下BP法と略す。)では、誤差評価関数として平均自乗誤差を用いて、以下のようにエラーEを定義する。
ただしkは出力層の番号であり、Ti(p)はp番目の入力パターンに対する望ましい出力パターンである。
この場合、BP法に基づく各結合強度の修正量Δwは次式で定められる。
ここで、∂は偏微分記号(ラウンド)、ηは学習率を表す係数である。Δwij<L>を各々のwij<L>に加算することによって学習が進む。なお、この形式のBP法では学習が進んだ結果、教師データとの誤差の絶対値が小さくなってくると、Δwの絶対値も小さくなり、学習が進まなくなるという現象が指摘されており、その問題点を回避するために、種々の改良が提案されている。
例えば、Δwの定義を次のように変更するという提案がある。
式(7)の第二項は慣性項(モーメンタム項)と呼ばれ、現在の修正量だけでなく、過去の修正量も考慮することで収束時の振動を抑え、学習を高速化する効果がある。安定化定数αは1.0以下の正の実数で、過去の修正量の考慮の度合いを規定する係数である。
更には、エラーの評価を平均自乗誤差ではなく、シグモイド関数の導関数を打ち消すような形式にするという提案もある。いずれにせよ、BP法を用いて十分な回数学習作業を施すことにより、教師データに対して近似した出力を得ることができるようになる。
次に、本実施形態における動作について説明する。
まず、図5のフローチャートを参照して、画像処理装置100又は200において実行される画像処理全体の流れを説明する。
まず、図5のフローチャートを参照して、画像処理装置100又は200において実行される画像処理全体の流れを説明する。
まず、画像情報取得部4に入力された画像情報(以下、入力画像情報という。)が取得される(ステップS1)。次いで、画像判定部5において、ステップS1で取得された画像情報から、各種の特性値が算出されるとともに(ステップS2)、人物の顔候補領域(肌色色相領域)が抽出される(ステップS4)。ステップS2では、例えば、画素信号値の平均、分散等の統計値が算出されるとともに、レンズ焦点距離、合焦位置、撮影時の光源情報等の付加情報が取得される。
入力画像情報の特性値が算出されると、入力画像情報から、画像撮影時の配光条件(光源状態)を判別する配光条件判別処理が行われる(ステップS3)。撮影時の配光条件には、順光、逆光、ストロボ(フラッシュ光利用状態)が含まれる。ステップS3の配光条件判別処理については、後に図7を参照して詳細に説明する。
人物の顔候補領域が抽出されると、その顔候補領域を示す信号を入力信号として、人物の顔検出処理を学習した第2の階層型ニューラルネットワーク(以下、階層型ニューラルネットワークを「ニューロ」と略称する。)を用いることにより、当該抽出された顔候補領域から顔領域を検出するための処理が行われる(ステップS5)。顔検出のために、例えば、肌色色相領域の形態を表す[領域面積/周囲長]や、[最短径/最長径]、画素信号値の分散等の各種特性値が、ステップS4で抽出された各々の顔候補領域について算出される。また、ステップS5では、第2のニューロの反応強度も算出され、反応強度が所定値より大きい場合に「顔」であると判断される。
次いで、ステップS5で検出された顔領域の特性値が取得されるとともに(ステップS6)、その検出された顔領域に対する第2のニューロの反応強度が取得される(ステップS7)。
次いで、図6に示すように、ステップS2で算出された特性値、ステップS3の判別結果、ステップS6で取得された特性値、ステップS7で取得された反応強度を入力信号(入力パラメータ)とし、階調補正パラメータを出力信号とした第1のニューロを用いて階調補正パラメータが算出される(ステップS8)。
図6では、第1のニューロの出力信号である階調補正パラメータが、明るさ補正パラメータ及びコントラスト補正パラメータである場合を示している。図1に示す画像処理装置100の場合、第1のニューロにより算出された明るさ補正パラメータにより、シャッタの開閉時間が制御される。また、図2に示す画像処理装置200の場合は、第1のニューロにより算出された明るさ補正パラメータ及び/又はコントラスト補正パラメータに基づいて、後に図20で説明するような信号値変換特性の制御がなされ、画像情報の階調補正が施される。
なお、第1のニューロで算出された階調補正パラメータは、明るさ補正パラメータ、コントラスト補正パラメータの何れか一方又は他の階調補正パラメータであってもよく、出力される階調補正パラメータの数に従って、出力層のニューロンの個数が調整される。
次いで、ステップS8で算出された階調補正パラメータに基づいて、入力画像情報に対する追加補正値が設定され(ステップS9)、その設定された補正値に基づいて入力画像情報に階調変換処理を施すことにより、補正画像が作成される(ステップS10)。なお、追加補正値の初期設定は0である。ステップS10の補正画像の作成処理(階調変換処理)については、後に図20〜図25を参照して詳細に説明する。
次いで、ステップS10で作成された補正画像が表示部10に表示される(ステップS11)。オペレータは、表示部10に表示された補正画像を観察し、補正結果が良好であるか否かを判断し、その判断結果を指示入力部9により入力する。
補正画像の補正結果が良好ではない場合(ステップS12;NO)、オペレータによる指示入力部9の操作により、追加補正値が入力され(ステップS13)、ステップS9に戻り、その入力された追加補正値が設定され(ステップS9)、ステップS10〜S12の処理が繰り返される。
補正画像の補正結果が良好であるという判断結果が入力された場合(ステップS12;YES)、追加補正量が0であるか否かが判定される(ステップS14)。ステップS14において、追加補正量が0でないと判定された場合(ステップS14;NO)、階調補正パラメータと追加補正量の加算値(仮に「補正量」と呼ぶ。)を教師データとして追加補正データ記憶部6に蓄積される(ステップS15)。なお、上述のように、教師データは、ニューロ出力の望ましい値(即ち、ステップS15における補正量)と、対応する入力信号群(即ち、ステップS2、S3、S6及びS7で算出される各種信号値)の対であり、ステップS15においては、これら入力信号群も追加補正データ記憶部6に記憶される。
追加補正データ記憶部6に蓄積された教師データの数が所定数を超えた場合、これらの教師データを基に第1のニューロの学習が実施され(ステップS16)、学習された第1のニューロを用いてステップS8の処理が行われる。ステップS16における学習は、定期的に行うようにしてもよい。
ステップS14において、追加補正量が0であると判定された場合(ステップS14;YES)、本画像処理が終了する。
次に、図7のフローチャートを参照して、図5のステップS3に示した配光条件判別処理について説明する。
まず、撮影画像データが所定の画像領域に分割され、各分割領域が撮影画像データ全体に占める割合を示す占有率を算出する占有率算出処理が行われる(ステップS20)。占有率算出処理については、後に図8及び図14を参照して詳細に説明する。
次いで、ステップS20において算出された占有率と、撮影条件に応じて予め設定された係数に基づいて、配光条件を特定する(光源状態を定量的に表す)指標(指標1〜5)が算出される(ステップS21)。ステップS21における指標算出処理は、後に詳細に説明する。
次いで、ステップS21において算出された指標に基づいて撮影画像データの配光条件が判別され(ステップS22)、本配光条件判別処理が終了する。配光条件の判別方法は、後に詳細に説明する。
次に、図8のフローチャートを参照して、図7のステップS20に示した占有率算出処理について詳細に説明する。
まず、撮影画像データのRGB値がHSV表色系に変換される(ステップS30)。図9は、RGBからHSV表色系に変換することにより色相値、彩度値、明度値を得る変換プログラム(HSV変換プログラム)の一例を、プログラムコード(c言語)により示したものである。図9に示すHSV変換プログラムでは、入力画像データであるデジタル画像データの値を、InR、InG、InBと定義し、算出された色相値をOutHとし、スケールを0〜360と定義し、彩度値をOutS、明度値をOutVとし、単位を0〜255と定義している。
次いで、撮影画像データが、所定の明度と色相の組み合わせからなる領域に分割され、分割領域毎に累積画素数を算出することにより2次元ヒストグラムが作成される(ステップS31)。以下、撮影画像データの領域分割について詳細に説明する。
明度(V)は、明度値が0〜25(v1)、26-50(v2)、51〜84(v3)、85〜169(v4)、170〜199(v5)、200〜224(v6)、225〜255(v7)の7つの領域に分割される。色相(H)は、色相値が0〜39、330〜359の肌色色相領域(H1及びH2)、色相値が40〜160の緑色色相領域(H3)、色相値が161〜250の青色色相領域(H4)、赤色色相領域(H5)の4つの領域に分割される。なお、赤色色相領域(H5)は、配光条件の判別への寄与が少ないとの知見から、以下の計算では用いていない。肌色色相領域は、更に、肌色領域(H1)と、それ以外の領域(H2)に分割される。以下、肌色色相領域(H=0〜39、330〜359)のうち、下記の式(9)を満たす色相'(H)を肌色領域(H1)とし、式(9)を満たさない領域を(H2)とする。
10 < 彩度(S) <175、
色相'(H) = 色相(H) + 60 (0 ≦ 色相(H) < 300のとき)、
色相'(H) = 色相(H) - 300 (300 ≦ 色相(H) < 360のとき)、
輝度Y = InR × 0.30 + InG × 0.59 + InB × 0.11
として、
色相'(H)/輝度(Y) < 3.0 ×(彩度(S)/255)+0.7 (9)
従って、撮影画像データの分割領域の数は4×7=28個となる。なお、式(9)において明度(V)を用いることも可能である。
10 < 彩度(S) <175、
色相'(H) = 色相(H) + 60 (0 ≦ 色相(H) < 300のとき)、
色相'(H) = 色相(H) - 300 (300 ≦ 色相(H) < 360のとき)、
輝度Y = InR × 0.30 + InG × 0.59 + InB × 0.11
として、
色相'(H)/輝度(Y) < 3.0 ×(彩度(S)/255)+0.7 (9)
従って、撮影画像データの分割領域の数は4×7=28個となる。なお、式(9)において明度(V)を用いることも可能である。
2次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素数(撮影画像全体)に占める割合を示す第1の占有率が算出され(ステップS32)、本占有率算出処理が終了する。明度領域vi、色相領域Hjの組み合わせからなる分割領域において算出された第1の占有率をRijとすると、各分割領域における第1の占有率は表1のように表される。
次に、指標1及び指標2の算出方法について説明する。
表2に、判別分析により得られた、ストロボ撮影としての確度、即ち、ストロボ撮影時の顔領域の明度状態を定量的に示す指標1を算出するために必要な第1の係数を分割領域別に示す。表2に示された各分割領域の係数は、表1に示した各分割領域の第1の占有率Rijに乗算する重み係数である。
表2に、判別分析により得られた、ストロボ撮影としての確度、即ち、ストロボ撮影時の顔領域の明度状態を定量的に示す指標1を算出するために必要な第1の係数を分割領域別に示す。表2に示された各分割領域の係数は、表1に示した各分割領域の第1の占有率Rijに乗算する重み係数である。
図10に、明度(v)−色相(H)平面を示す。表2によると、図10において高明度の肌色色相領域に分布する領域(r1)から算出される第1の占有率には、正(+)の係数が用いられ、それ以外の色相である青色色相領域(r2)から算出される第1の占有率には、負(-)の係数が用いられる。図12は、肌色領域(H1)における第1の係数と、その他の領域(緑色色相領域(H3))における第1の係数を、明度全体に渡って連続的に変化する曲線(係数曲線)として示したものである。表2及び図12によると、高明度(V=170〜224)の領域では、肌色領域(H1)における第1の係数の符号は正(+)であり、その他の領域(例えば、緑色色相領域(H3))における第1の係数の符号は負(-)であり、両者の符号が異なっていることがわかる。
明度領域vi、色相領域Hjにおける第1の係数をCijとすると、指標1を算出するためのHk領域の和は、式(10)のように定義される。
従って、H1〜H4領域の和は、下記の式(10-1)〜式(10-4)のように表される。
H1領域の和=R11×(-44.0)+R21×(-16.0)+(中略)...+R71×(-11.3) (10-1)
H2領域の和=R12×0.0+R22×8.6+(中略)... +R72×(-11.1) (10-2)
H3領域の和=R13×0.0+R23×(-6.3)+(中略)...+R73×(-10.0) (10-3)
H4領域の和=R14×0.0+R24×(-1.8)+(中略)...+R74×(-14.6) (10-4)
H1領域の和=R11×(-44.0)+R21×(-16.0)+(中略)...+R71×(-11.3) (10-1)
H2領域の和=R12×0.0+R22×8.6+(中略)... +R72×(-11.1) (10-2)
H3領域の和=R13×0.0+R23×(-6.3)+(中略)...+R73×(-10.0) (10-3)
H4領域の和=R14×0.0+R24×(-1.8)+(中略)...+R74×(-14.6) (10-4)
指標1は、式(10-1)〜(10-4)で示されたH1〜H4領域の和を用いて、式(11)のように定義される。
指標1=H1領域の和+H2領域の和+H3領域の和+H4領域の和+4.424 (11)
指標1=H1領域の和+H2領域の和+H3領域の和+H4領域の和+4.424 (11)
表3に、判別分析により得られた、逆光撮影としての確度、即ち、逆光撮影時の顔領域の明度状態を定量的に示す指標2を算出するために必要な第2の係数を分割領域別に示す。表3に示された各分割領域の係数は、表1に示した各分割領域の第1の占有率Rijに乗
算する重み係数である。
算する重み係数である。
図11に、明度(v)−色相(H)平面を示す。表3によると、図11において肌色色相領域の中間明度に分布する領域(r4)から算出される占有率には負(-)の係数が用いられ、肌色色相領域の低明度(シャドー)領域(r3)から算出される占有率には正(+)の係数が用いられる。図13は、肌色領域(H1)における第2の係数を、明度全体に渡って連続的に変化する曲線(係数曲線)として示したものである。表3及び図13によると、肌色色相領域の、明度値が85〜169(v4)の中間明度領域の第2の係数の符号は負(-)であり、明度値が26〜84(v2,v3)の低明度(シャドー)領域の第2の係数の符号は正(+)であり、両領域での係数の符号が異なっていることがわかる。
明度領域vi、色相領域Hjにおける第2の係数をDijとすると、指標2を算出するためのHk領域の和は、式(12)のように定義される。
従って、H1〜H4領域の和は、下記の式(12-1)〜式(12-4)のように表される。
H1領域の和=R11×(-27.0)+R21×4.5+(中略)...+R71×(-24.0) (12-1)
H2領域の和=R12×0.0+R22×4.7+(中略)... +R72×(-8.5) (12-2)
H3領域の和=R13×0.0+R23×0.0+(中略)...+R73×0.0 (12-3)
H4領域の和=R14×0.0+R24×(-5.1)+(中略)...+R74×7.2 (12-4)
H1領域の和=R11×(-27.0)+R21×4.5+(中略)...+R71×(-24.0) (12-1)
H2領域の和=R12×0.0+R22×4.7+(中略)... +R72×(-8.5) (12-2)
H3領域の和=R13×0.0+R23×0.0+(中略)...+R73×0.0 (12-3)
H4領域の和=R14×0.0+R24×(-5.1)+(中略)...+R74×7.2 (12-4)
指標2は、式(12-1)〜(12-4)で示されたH1〜H4領域の和を用いて、式(13)のように定義される。
指標2=H1領域の和+H2領域の和+H3領域の和+H4領域の和+1.554 (13)
指標1及び指標2は、撮影画像データの明度と色相の分布量に基づいて算出されるため、撮影画像データがカラー画像である場合の配光条件の判別に有効である。
指標2=H1領域の和+H2領域の和+H3領域の和+H4領域の和+1.554 (13)
指標1及び指標2は、撮影画像データの明度と色相の分布量に基づいて算出されるため、撮影画像データがカラー画像である場合の配光条件の判別に有効である。
次に、図14のフローチャートを参照して、指標3を算出するための占有率算出処理(図7のステップS20)について詳細に説明する。
まず、撮影画像データのRGB値がHSV表色系に変換される(ステップS40)。次いで、撮影画像データが、撮影画像画面の外縁からの距離と明度の組み合わせからなる領域に分割され、分割領域毎に累積画素数を算出することにより2次元ヒストグラムが作成される(ステップS41)。以下、撮影画像データの領域分割について詳細に説明する。
図15(a)〜(d)に、撮影画像データの画面の外縁からの距離に応じて分割された4つの領域n1〜n4を示す。図15(a)に示す領域n1が外枠であり、図15(b)に示す領域n2が、外枠の内側の領域であり、図15(c)に示す領域n3が、領域n2の更に内側の領域であり、図15(d)に示す領域n4が、撮影画像画面の中心部の領域である。また、明度は、上述のようにv1〜v7の7つの領域に分割するものとする。従って、撮影画像データを、撮影画像画面の外縁からの距離と明度の組み合わせからなる領域に分割した場合の分割領域の数は4×7=28個となる。
2次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素数(撮影画像全体)に占める割合を示す第2の占有率が算出され(ステップS42)、本占有率算出処理が終了する。明度領域vi、画面領域njの組み合わせからなる分割領域において算出された第2の占有率をQijとすると、各分割領域における第2の占有率は表4のように表される。
次に、指標3の算出方法について説明する。
表5に、指標3を算出するために必要な第3の係数を分割領域別に示す。表5に示された各分割領域の係数は、表4に示した各分割領域の第2の占有率Qijに乗算する重み係数であり、判別分析により得られる。
図16は、画面領域n1〜n4における第3の係数を、明度全体に渡って連続的に変化する曲線(係数曲線)として示したものである。
表5に、指標3を算出するために必要な第3の係数を分割領域別に示す。表5に示された各分割領域の係数は、表4に示した各分割領域の第2の占有率Qijに乗算する重み係数であり、判別分析により得られる。
明度領域vi、画面領域njにおける第3の係数をEijとすると、指標3を算出するためのnk領域(画面領域nk)の和は、式(14)のように定義される。
従って、n1〜n4領域の和は、下記の式(14-1)〜式(14-4)のように表される。
n1領域の和=Q11×40.1+Q21×37.0+(中略)...+Q71×22.0 (14-1)
n2領域の和=Q12×(-14.8)+Q22×(-10.5)+(中略)...+Q72×0.0 (14-2)
n3領域の和=Q13×24.6+Q23×12.1+(中略)...+Q73×10.1 (14-3)
n4領域の和=Q14×1.5+Q24×(-32.9)+(中略)...+Q74×(-52.2) (14-4)
n1領域の和=Q11×40.1+Q21×37.0+(中略)...+Q71×22.0 (14-1)
n2領域の和=Q12×(-14.8)+Q22×(-10.5)+(中略)...+Q72×0.0 (14-2)
n3領域の和=Q13×24.6+Q23×12.1+(中略)...+Q73×10.1 (14-3)
n4領域の和=Q14×1.5+Q24×(-32.9)+(中略)...+Q74×(-52.2) (14-4)
指標3は、式(14-1)〜(14-4)で示されたN1〜H4領域の和を用いて、式(15)のように定義される。
指標3=n1領域の和+n2領域の和+n3領域の和+n4領域の和−12.6201 (15)
指標3は、撮影画像データの明度の分布位置による構図的な特徴(撮影画像データの画面の外縁からの距離)に基づいて算出されるため、カラー画像だけでなくモノクロ画像の配光条件を判別するのにも有効である。
指標3=n1領域の和+n2領域の和+n3領域の和+n4領域の和−12.6201 (15)
指標3は、撮影画像データの明度の分布位置による構図的な特徴(撮影画像データの画面の外縁からの距離)に基づいて算出されるため、カラー画像だけでなくモノクロ画像の配光条件を判別するのにも有効である。
指標4は、指標1及び指標3を用いて式(16)のように定義され、指標5は、指標1〜3を用いて式(17)のように定義される。
指標4=0.565×指標1+0.565×指標3+0.457 (16)
指標5=(-0.121)×指標1+0.91×指標2+0.113×指標3−0.072 (17)
ここで、式(16)及び式(17)において各指標に乗算される重み係数は、撮影条件に応じて予め設定されている。
指標4=0.565×指標1+0.565×指標3+0.457 (16)
指標5=(-0.121)×指標1+0.91×指標2+0.113×指標3−0.072 (17)
ここで、式(16)及び式(17)において各指標に乗算される重み係数は、撮影条件に応じて予め設定されている。
〈配光条件の判別方法〉
次に、配光条件の判別方法について説明する。
図17は、順光、逆光、ストロボの各配光条件で60枚ずつ撮影し、合計180枚のデジタル画像データについて、指標4、5を算出し、各光源条件での指標4、5の値をプロットしたものである。図17によれば、指標4の値が0.5より大きい場合、ストロボシーンが多く、指標4の値が0.5以下で、指標5の値が−0.5より大きい場合、逆光シーンが多いことがわかる。表6に、指標4、5の値による配光条件の判別内容を示す。
このように指標4、5の値により配光条件を定量的に判別することができる。
次に、配光条件の判別方法について説明する。
図17は、順光、逆光、ストロボの各配光条件で60枚ずつ撮影し、合計180枚のデジタル画像データについて、指標4、5を算出し、各光源条件での指標4、5の値をプロットしたものである。図17によれば、指標4の値が0.5より大きい場合、ストロボシーンが多く、指標4の値が0.5以下で、指標5の値が−0.5より大きい場合、逆光シーンが多いことがわかる。表6に、指標4、5の値による配光条件の判別内容を示す。
次に、図18及び図19のフローチャートを参照して、第1のニューロ(以下、旧ニューロという。)を、第1のニューロとは異なる新たな構成の第3のニューロ(以下、新ニューロという。)に置き換えるニューロ置換処理について説明する。本実施形態では、二通りのニューロ置換処理について説明する。
まず、図18のフローチャートを参照して、ニューロ学習部7において実行されるニューロ置換処理1について説明する。
まず、新ニューロが取得され(ステップS50)、旧ニューロが取得される(ステップS51)。次いで、新ニューロ及び旧ニューロの出力結果の判定に用いる判定用画像情報が取得される(ステップS52)。
まず、新ニューロが取得され(ステップS50)、旧ニューロが取得される(ステップS51)。次いで、新ニューロ及び旧ニューロの出力結果の判定に用いる判定用画像情報が取得される(ステップS52)。
次いで、ステップS52で取得された判定用画像情報について、新ニューロを用いて階調補正パラメータが取得されるとともに、旧ニューロを用いて階調補正パラメータが取得され、新ニューロと旧ニューロから出力された階調補正パラメータの差分情報が取得される(ステップS53)。
次いで、過去所定シーン数の差分情報の平均値が算出され(ステップS54)、前回算出された平均値と、今回算出された平均値の変化量が比較され(ステップS55)、差分情報の平均値の変化量が収斂したか否かが判定される(ステップS56)。
ステップS56において、差分情報の平均値の変化量が収斂していないと判定された場合(ステップS56;NO)、旧ニューロの階調補正パラメータを新ニューロの出力信号の望ましい値として用いた教師データを用いて、新ニューロの学習が実施される(ステップS58)。そして、ステップS58の学習実施により微修正された新ニューロがセットされ(ステップS59)、ステップS52に戻り、このセットされた新ニューロについて、ステップS52〜S56の処理が繰り返される。
ステップS56において、差分情報の平均値の変化量が収斂したと判定された場合(ステップS56;YES)、旧ニューロが新ニューロに置き換えられ(ステップS57)、本ニューロ置換処理1が終了する。
次に、図19のフローチャートを参照して、ニューロ学習部7において実行されるニューロ置換処理2について説明する。
まず、新ニューロが取得され(ステップS60)、旧ニューロが取得される(ステップS61)。次いで、新ニューロ及び旧ニューロの出力結果の判定に用いる判定用画像情報が取得される(ステップS62)。
まず、新ニューロが取得され(ステップS60)、旧ニューロが取得される(ステップS61)。次いで、新ニューロ及び旧ニューロの出力結果の判定に用いる判定用画像情報が取得される(ステップS62)。
次いで、ステップS52で取得された判定用画像情報について、新ニューロを用いて階調補正パラメータが取得されるとともに、旧ニューロを用いて階調補正パラメータが取得される(ステップS63)。次いで、旧ニューロの階調補正パラメータを元に判定用画像情報が修正され(ステップS64)、修正画像が表示部10に表示される(ステップS65)。
オペレータは、表示部10に表示された修正画像を観察し、補正が必要であると判断した場合、指示入力部9の操作により、第1の補正値が入力される(ステップS66)。次いで、式(18)に示すように、旧ニューロの階調補正パラメータと第1の補正値を加算することにより、補正の正解値が算出される(ステップS67)。
(補正の正解値)=(旧ニューロの階調補正パラメータ)+(第1の補正値) (18)
(補正の正解値)=(旧ニューロの階調補正パラメータ)+(第1の補正値) (18)
次いで、補正の正解値、新ニューロの階調補正パラメータに基づいて、オペレータが入力する第2の補正値の予測値が算出される(ステップS68)。第2の補正値の算出式を式(19)に示す。
(第2の補正値)=(補正の正解値)−(新ニューロの階調補正パラメータ) (19)
(第2の補正値)=(補正の正解値)−(新ニューロの階調補正パラメータ) (19)
次いで、過去所定シーン数の第1の補正値の平均値及び第2の補正値の平均値が算出され(ステップS69)、第1の補正値の平均値が第2の補正値の平均値より大きいか否かが判定される(ステップS70)。
ステップS70において、第1の補正値の平均値が第2の補正値の平均値以下であると判定された場合(ステップS70;NO)、補正の正解値を新ニューロの出力信号の望ましい値として用いた教師データを用いて、新ニューロの学習が実施される(ステップS72)。そして、ステップS72の学習実施により微修正された新ニューロがセットされ(ステップS73)、ステップS62に戻り、このセットされた新ニューロについて、ステップS62〜S70の処理が繰り返される。
ステップS70において、第1の補正値の平均値が第2の補正値の平均値より大きいと判定された場合(ステップS70;YES)、旧ニューロが新ニューロに置き換えられ(ステップS71)、本ニューロ置換処理2が終了する。
なお、図18のニューロ置換処理1と図19のニューロ置換処理2を連結した処理を実行するようにしてもよい。この場合、図18のステップS56において、差分情報の平均値が収斂したら(ステップS56;YES)、図19のニューロ置換処理2に移行し、ニューロ置換処理2では、新ニューロとして、ニューロ置換処理1で学習済みの新ニューロが取得される。このように、ニューロ置換処理1とニューロ置換処理2を組み合わせると、ニューロ置換処理1で高速に大体の学習を終了し、ニューロ置換処理2では、僅かな量の、より高度な学習を実施すればよいため、ニューロ置換時の高度な学習を短時間で実施することができる。
〈補正画像作成処理〉
次に、図20〜図25を参照して、図5のステップS10に示した補正画像作成処理(階調変換処理)について説明する。
次に、図20〜図25を参照して、図5のステップS10に示した補正画像作成処理(階調変換処理)について説明する。
デジタル画像では、例えば、図20(a)に示すトーンカーブ(階調変換曲線)により、明るさが補正され、図20(b)に示すトーンカーブによりコントラストが補正される。表示部10で画像を観察し、追加補正を指示するオペレータにとっては、追加補正を単純に行うことが好ましい。
例えば、コントラストの補正結果は、コントラストを確実に調整しているとともに、画像の鮮やかさ(彩度)等の他の要素には主観的な変化がないことが好ましい。しかしながら、実際の補正では、例えば、コントラストを高める補正を行った場合、RGBカラー画像のRGB各々の要素に、図20(b)の「コントラスト高く」のトーンカーブを適用すると、同時に彩度も高くなって観察されてしまい、更に彩度を調整する必要が生じる。同様に、例えば、L*a*b*カラー画像のL*情報に、図20(b)の「コントラスト高く」のトーンカーブを適用すると、今度は彩度が低く観察されてしまい、更に彩度を調整する必要が生じる。
このような不具合により、オペレータの追加補正の精度が低下すると、ニューロの学習効率が低下し、オペレータの嗜好に適合した性能に達するまでの時間が長くなってしまうため、階調変化に伴う彩度の変化を軽減させる必要がある。このような階調変換処理の一例を図21に示す。
まず、図5のステップS8で算出された階調補正パラメータ(例えば、コントラスト補正パラメータ)が取得される(ステップS80)。次いで、その取得された階調補正パラメータが所定の比率で2つの補正パラメータ(第1の補正パラメータ、第2の補正パラメータ)に分割される(ステップS81)。ステップS80で取得された階調補正パラメータと、ステップS81で分割された2つの補正パラメータには、下記の(20−1)及び(20−2)の関係が成り立つ。
(第1の補正パラメータ)=P1×(階調補正パラメータ) (20−1)
(第2の補正パラメータ)=P2×(階調補正パラメータ) (20−1)
ここで、P1+P2=1 (例えば、P1=P2=0.5)
(第1の補正パラメータ)=P1×(階調補正パラメータ) (20−1)
(第2の補正パラメータ)=P2×(階調補正パラメータ) (20−1)
ここで、P1+P2=1 (例えば、P1=P2=0.5)
また、補正対象の画像情報が取得され(ステップS82)、当該画像情報がL*a*b*色空間に座標変換される(ステップS83)。次いで、第1の補正パラメータをL*情報に作用させることにより、L*情報の階調変換が行われる(ステップS84)。
次いで、補正対象の画像情報がRGB色空間に座標変換され(ステップS85)、第2の補正パラメータをRGBの各々の色情報に作用させることにより、各々の色情報の階調変換が行われ(ステップS86)、本階調変換処理が終了する。なお、図21では、L*情報の階調変換の後に、RGB情報の階調変換を行うようにしたが、これら2つの階調変換変換の順番はこれに限定されず、RGB情報の階調変換の後にL*情報の階調変換を行うようにしてもよい。
このように、各階調補正パラメータについて、図21に示す階調変換処理を行うと、階調変化に伴う彩度の変化が軽減されるため、オペレータによる追加補正が容易になり、第1のニューロの学習効率が高くなる。
次に、図22〜図25を参照して、補正画像作成処理の他の例としてシェーディング補正について説明する。
デジタル画像情報のプリント出力は、目的に応じた専用のデジタルプリンタで行う場合が多いが、これらのプリンタはコンピュータグラフィックスなどのデジタル信号を正確にプリント出力するために、一般に高精度のシェーディング補正が行われている。図1に示す画像処理装置100(光学焼付け装置)では、例えば、フィルム面の光源照射強度やレンズのシェーディング特性(Cos4乗則や、口径食による開口効率の変化)により、一般に、画像の中心から周辺に向かって緩やかなシェーディング誤差があり、印画紙への照射光量が周辺でなだらかに減少する特性を示す。
ネガポジ方式の一般的な写真では、周辺が明るくなり、画面の明るさ、軽さを演出し、ポジポジ方式では、周辺が暗くなり、画面が暗く、重厚感を演出し、効果的に作図にも用いられてきた。このような特性を再現すると、画像の見栄えが向上し、オペレータによる追加補正が容易になるものと期待される。以下、光学焼付けシェーディング特性の再現処理について二通りの方法(図22及び図24)を説明する。
まず、図22のフローチャートを参照して、光学焼付けシェーディング特性の再現処理の一例を説明する。
まず、補正対象の画像情報が取得される(ステップS90)。次いで、ステップS90で取得された画像情報のうち、補正対象の1画素分の画素信号値xが取得される(ステップS91)。次いで、ステップS91で取得された画素信号値xの中心からの距離dが算出される(ステップS92)。
次いで、ネガポジ方式におけるシェーディング特性に基づいて予め設定された第1の補正係数f(d)及び第2の補正係数g(x)を用いて、式(21)に示すように、画素補正値が算出される(ステップS93)。
(画素補正値)=1/{g(x)×f(d)+(1−g(x))} (21)
ここで、第1の補正係数f(d)は、中心からの距離dの関数であり、図23(a)に示すような特性を有する。また、第2の補正係数g(x)は、画素信号値xの関数であり、図23(b)に示すような特性を有する。
(画素補正値)=1/{g(x)×f(d)+(1−g(x))} (21)
ここで、第1の補正係数f(d)は、中心からの距離dの関数であり、図23(a)に示すような特性を有する。また、第2の補正係数g(x)は、画素信号値xの関数であり、図23(b)に示すような特性を有する。
次いで、ステップS93で算出された画素補正値と画素信号値xの積をとることにより修正補正値(画素信号値xを修正した値)が算出される(ステップS94)。次いで、ステップS91〜S94の処理が補正対象の全ての画素について行われたか否かが判定される(ステップS95)。
ステップS95において、全画素に対する処理が終了していないと判定された場合(ステップS95;NO)、補正対象の次の画素の計算処理へ移行し(ステップS96)、該当する画素についてステップS91〜S94の処理が繰り返される。ステップS95において、全画素に対する処理が終了したと判定された場合(ステップS95;YES)、本光学焼付けシェーディング特性の再現処理が終了する。
次に、図24のフローチャートを参照して、光学焼付けシェーディング特性の再現処理の他の例を説明する。
まず、補正対象の画像情報から、画像属性情報が取得される(ステップS100)。ここで、画像属性情報とは、画像の生成手段に関する情報や、利用目的、仕上がり嗜好に関する情報である。次いで、補正対象の画像情報が、撮影によって得られた自然画像であるか否かが判定される(ステップS101)。コンピュータグラフィックス画像やデザイン画像、テキスト画像等は、シェーディング特性の付加は不要であるため、自然画像でないものとみなされる。
ステップS101において、補正対象の画像情報が自然画像でないと判定された場合(ステップS101;NO)、本光学焼付けシェーディング特性の再現処理が終了する。ステップS101において、補正対象の画像情報が自然画像であると判定された場合(ステップS101;YES)、ネガプリント調が選択(指定)されているか否かが判定される(ステップS102)。
ステップS102において、ネガプリント調が選択されている場合(ステップS102;YES)、ネガプリント調の補正係数として、図23に示す第1の補正係数f(d)及び第2の補正係数g(x)が選択され(ステップS103)、これらの補正係数を用いて、図22に示す光学焼付けシェーディング特性の再現処理が実行される(ステップS105)。
ステップS102において、ポジプリント調が選択(指定)されている場合(ステップS102;NO)、ポジプリント調の補正係数としての第1の補正係数f'(d)及び第2の補正係数g'(x)が選択される(ステップS104)。この第1の補正係数f'(d)及び第2の補正係数g'(x)は、ポジポジ方式におけるシェーディング特性に基づいて予め設定されており、それぞれ、図25(a)、(b)に示すような特性を有する。第1の補正係数f'(d)は、ネガプリント調で適用される第1の補正係数f(d)とは異なり、中心からの距離が大きくなるにつれて1.0から増加する単調増加関数となっている。
ポジプリント調の補正係数が選択されると、その補正係数を用いて、図22に示す光学焼付けシェーディング特性の再現処理が実行される(ステップS105)。この場合、式(21)の画素補正値の算出式において、f(d)→f'(d)、g(x)→g'(x)のように置き換わる。
以上のように、本実施形態の画像処理装置によれば、オペレータにより指示された追加補正値を第1のニューロの教師データとして学習し、この学習した第1のニューロを用いて画像情報を補正するようにしたため、オペレータの嗜好に合った画像を得ることができる。
また、入力画像情報に含まれる人物の顔の検出処理を学習した第2のニューロを用いて人物の顔領域の特性値及び第2のニューロの反応強度を算出し、算出された顔領域の特性値及び反応強度を第1のニューロの入力信号とすることにより、より高品質で、オペレータの嗜好に合った画像を得ることができる。
更に、新たな構成を有する第3のニューロを使用する前に、オペレータの嗜好に合わせて学習された第1のニューロの出力信号を用いて第3のニューロの学習を実施するようにしたため、オペレータの嗜好に合った新しいニューロへ円滑に移行することができる。
また、入力画像情報から画像撮影時の配光条件を判別し、判別結果を第1のニューロへの入力信号の一つとすることにより、配光条件に適した階調補正パラメータを得ることができ、一層高品質の画像を得ることができる。
更に、補正対象の画像情報をL*a*b*色空間に座標変換するとともに、RGB色空間に座標変換し、第1のニューロにより算出された階調補正パラメータを2つの補正パラメータに分割し、第1の補正パラメータを輝度情報(L*)に作用させて階調変換し、第2の補正パラメータをRGBの単位色の各々に対して作用させて階調変換することにより、階調変化に伴う彩度(画像の鮮やかさ)の変化が軽減され、オペレータの指示による追加補正が容易になる。
また、補正画像の作成処理では、ネガポジ方式におけるプリント焼付け時のシェーディング特性を再現する処理を行うことにより、ネガポジ方式のプリントに近似した補正画像を得ることができるため、オペレータによる追加補正が容易になる。
なお、本実施形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
例えば、本実施形態の画像処理装置100又は200では、各構成要素が一つの筐体に収められているが、例えば、画像処理装置200を複数のブロックに分割し、各ブロックが物理的に独立した装置(デバイス)となったシステムにおいても本実施形態を適用することが可能である。
図26に、物理的に独立した複数の装置から構成される画像処理システム300の構成を示す。画像処理システム300は、図26に示すように、画像入力装置20、画像処理装置21、画像出力装置22、システム制御装置23、通信制御部15により構成される。なお、図26において、図2の画像処理装置200と同一の構成要素には同一の符号を付し、機能が同一の構成要素については、その機能説明を省略する。
画像入力装置20は、画像情報取得部4、DSC12、原稿スキャナ13、記録メディアドライバ14により構成される。
画像処理装置21は、画像判定部5、追加補正データ記憶部6、ニューロ学習部7、指示入力部9、表示部10、縮小画像作成部11、画像処理部24により構成される。画像処理部24は、画像判定部5で算出された階調補正パラメータ及び/又は指示入力部9から入力された追加補正値に基づいて、表示部10に表示するための階調変換を行って補正画像を作成し、作成された補正画像を表示部10に出力する。
画像出力装置21は、画像情報出力部16、プリンタ部17、記録メディア書き込み部18、画像処理部25により構成される。画像処理部25は、システム制御装置23から入力された制御信号に従って、画像判定部5で算出された階調補正パラメータ及び/又は指示入力部9から入力された追加補正値に基づいて、指定された出力先に出力するための階調変換を行って補正画像を作成し、作成された補正画像を画像情報出力部16に出力する。
システム制御装置23は、通信制御部15、画像入力装置20、画像処理装置21における各種処理を統括的に制御する。
なお、画像入力装置20、画像処理装置21、画像出力装置2の各々は、必要に応じて複数配置されていてもよい。例えば、システム全体の画像処理能力に対し、画像入力装置20の処理能力が劣る場合には、画像入力装置20を複数配置し、システム制御装置23の制御の基で並列動作させることができる。
1 光源部
2 撮像部
3 露光制御部
4 画像情報取得部
5 画像判定部
6 追加補正データ記憶部
7 ニューロ学習部
8 画像処理部
9 指示入力部
10 表示部
11 縮小画像作成部
12 DSC
13 原稿スキャナ
14 記録メディアドライバ
15 通信制御部
16 画像情報出力部
17 プリンタ部
18 記録メディア書き込み部
20 画像入力装置
21 画像処理装置
22 画像出力装置
23 システム制御装置
24、25 画像処理部
100、200 画像処理装置
300 画像処理システム
N 通信ネットワーク
2 撮像部
3 露光制御部
4 画像情報取得部
5 画像判定部
6 追加補正データ記憶部
7 ニューロ学習部
8 画像処理部
9 指示入力部
10 表示部
11 縮小画像作成部
12 DSC
13 原稿スキャナ
14 記録メディアドライバ
15 通信制御部
16 画像情報出力部
17 プリンタ部
18 記録メディア書き込み部
20 画像入力装置
21 画像処理装置
22 画像出力装置
23 システム制御装置
24、25 画像処理部
100、200 画像処理装置
300 画像処理システム
N 通信ネットワーク
Claims (40)
- 入力された画像情報から所定の特性値を算出する特性値算出工程と、
前記算出された特性値を入力信号とし、画像情報に対する階調変換の程度を示す階調補正パラメータを出力信号とする第1のニューラルネットワークを用いて階調補正パラメータを算出する補正パラメータ算出工程と、
前記算出された階調補正パラメータに基づいて前記画像情報を階調変換することによって補正画像を作成する補正画像作成工程と、
前記作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を教師データとして前記第1のニューラルネットワークの学習を実施する第1の学習工程と、
を含むことを特徴とする画像処理方法。 - 前記入力された画像情報から、人物の顔領域を検出する顔領域検出工程を含み、
前記特性値算出工程では、前記検出された顔領域に関する特性値が算出されることを特徴とする請求項1に記載の画像処理方法。 - 前記入力された画像情報から、人物の顔の可能性がある顔候補領域を抽出する顔候補領域抽出工程を含み、
前記顔領域検出工程では、人物の顔検出処理を学習した第2のニューラルネットワークを用いて、前記抽出された顔候補領域から顔領域が検出され、
前記特性値算出工程では、前記抽出された顔候補領域が顔領域である可能性を示す、前記第2のニューラルネットワークの出力信号の反応強度及び/又は前記検出された顔領域の特性値が算出されることを特徴とする請求項2に記載の画像処理方法。 - 前記第1のニューラルネットワークとは異なる構成を有する第3のニューラルネットワークを取得する取得工程と、
前記第1のニューラルネットワークの出力信号を教師データとして前記第3のニューラルネットワークの学習を実施する第2の学習工程と、
前記学習された第3のニューラルネットワークの学習結果が所定の条件を満たす場合に、前記第1のニューラルネットワークを当該第3のニューラルネットワークに置き換える置換工程と、
を含むことを特徴とする請求項1〜3の何れか一項に記載の画像処理方法。 - 前記第1のニューラルネットワークとは異なる構成を有する第3のニューラルネットワークを取得する取得工程と、
前記第1のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を更に補正するための第1の補正値を入力する入力工程と、
前記第1の補正値に基づいて、第3のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を補正するための第2の補正値を算出する補正値算出工程と、
前記算出された第2の補正値を教師データとして前記第3のニューラルネットワークの学習を実施する第2の学習工程と、
前記第1の補正値と、前記学習された第3のニューラルネットワークを用いて算出された第2の補正値の関係が所定の条件を満たす場合に、前記第1のニューラルネットワークを当該第3のニューラルネットワークに置き換える置換工程と、
を含むことを特徴とする請求項1〜3の何れか一項に記載の画像処理方法。 - 前記特性値算出工程では、前記入力された画像が撮影された時の配光条件を示す値が算出されることを特徴とする請求項1〜5の何れか一項に記載の画像処理方法。
- 前記配光条件には、逆光状態及び/又はフラッシュ光利用状態が含まれることを特徴とする請求項6に記載の画像処理方法。
- 前記入力された画像情報はカラー画像であり、
前記補正パラメータ算出工程において算出された階調補正パラメータを所定の比率で分割し、第1の補正パラメータ及び第2の補正パラメータを算出する分割パラメータ算出工程を含み、
前記補正画像作成工程では、前記入力された画像情報を輝度−色差情報で表現した場合の輝度情報に対して前記第1の補正パラメータを作用させることによって当該輝度情報が階調変換されるとともに、前記入力された画像情報をRGB情報で表現した場合の各々の色情報に対して前記第2の補正パラメータを作用させることによって当該色情報が階調変換されることを特徴とする請求項1〜7の何れか一項に記載の画像処理方法。 - 前記補正画像作成工程では、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報が変換されることを特徴とする請求項1〜8の何れか一項に記載の画像処理方法。
- 前記画像情報の属性情報を取得する属性情報取得工程と、
前記取得された属性情報に基づいて、前記画像情報が、撮影により得られた自然画像であるか否かを判定する判定工程と、を含み、
前記判定工程において、前記画像情報が自然画像であると判定された場合、前記補正画像作成工程では、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報が変換されることを特徴とする請求項1〜8の何れか一項に記載の画像処理方法。 - 入力された画像情報から所定の特性値を算出する特性値算出手段と、
前記算出された特性値を入力信号とし、画像情報に対する階調変換の程度を示す階調補正パラメータを出力信号とする第1のニューラルネットワークを用いて階調補正パラメータを算出する補正パラメータ算出手段と、
前記算出された階調補正パラメータに基づいて前記画像情報を階調変換することによって補正画像を作成する補正画像作成手段と、
前記作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を教師データとして前記第1のニューラルネットワークの学習を実施する第1の学習手段と、
を備えることを特徴とする画像処理装置。 - 前記入力された画像情報から、人物の顔領域を検出する顔領域検出手段を備え、
前記特性値算出手段は、前記検出された顔領域に関する特性値を算出することを特徴とする請求項11に記載の画像処理装置。 - 前記入力された画像情報から、人物の顔の可能性がある顔候補領域を抽出する顔候補領域抽出手段を備え、
前記顔領域検出手段は、人物の顔検出処理を学習した第2のニューラルネットワークを用いて、前記抽出された顔候補領域から顔領域を検出し、
前記特性値算出手段は、前記抽出された顔候補領域が顔領域である可能性を示す、前記第2のニューラルネットワークの出力信号の反応強度及び/又は前記検出された顔領域の特性値を算出することを特徴とする請求項12に記載の画像処理装置。 - 前記第1のニューラルネットワークとは異なる構成を有する第3のニューラルネットワークを取得する取得手段と、
前記第1のニューラルネットワークの出力信号を教師データとして前記第3のニューラルネットワークの学習を実施する第2の学習手段と、
前記学習された第3のニューラルネットワークの学習結果が所定の条件を満たす場合に、前記第1のニューラルネットワークを当該第3のニューラルネットワークに置き換える置換手段と、
を備えることを特徴とする請求項11〜13の何れか一項に記載の画像処理装置。 - 前記第1のニューラルネットワークとは異なる構成を有する第3のニューラルネットワークを取得する取得手段と、
前記第1のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を更に補正するための第1の補正値を入力する入力手段と、
前記第1の補正値に基づいて、第3のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を補正するための第2の補正値を算出する補正値算出手段と、
前記算出された第2の補正値を教師データとして前記第3のニューラルネットワークの学習を実施する第2の学習手段と、
前記第1の補正値と、前記学習された第3のニューラルネットワークを用いて算出された第2の補正値の関係が所定の条件を満たす場合に、前記第1のニューラルネットワークを当該第3のニューラルネットワークに置き換える置換手段と、
を備えることを特徴とする請求項11〜13の何れか一項に記載の画像処理装置。 - 前記特性値算出手段は、前記入力された画像が撮影された時の配光条件を示す値を算出することを特徴とする請求項11〜15の何れか一項に記載の画像処理装置。
- 前記配光条件には、逆光状態及び/又はフラッシュ光利用状態が含まれることを特徴とする請求項16に記載の画像処理装置。
- 前記入力された画像情報はカラー画像であり、
前記補正パラメータ算出手段において算出された階調補正パラメータを所定の比率で分割し、第1の補正パラメータ及び第2の補正パラメータを算出する分割パラメータ算出手段を備え、
前記補正画像作成手段は、前記入力された画像情報を輝度−色差情報で表現した場合の輝度情報に対して前記第1の補正パラメータを作用させることによって当該輝度情報を階調変換するとともに、前記入力された画像情報をRGB情報で表現した場合の各々の色情報に対して前記第2の補正パラメータを作用させることによって当該色情報を階調変換することを特徴とする請求項11〜17の何れか一項に記載の画像処理装置。 - 前記補正画像作成手段は、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴とする請求項11〜18の何れか一項に記載の画像処理装置。
- 前記画像情報の属性情報を取得する属性情報取得手段と、
前記取得された属性情報に基づいて、前記画像情報が、撮影により得られた自然画像であるか否かを判定する判定手段と、を備え、
前記判定手段により、前記画像情報が自然画像であると判定された場合、前記補正画像作成手段は、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴とする請求項11〜18の何れか一項に記載の画像処理装置。 - 画像処理を実行するコンピュータに、
入力された画像情報から所定の特性値を算出する特性値算出機能と、
前記算出された特性値を入力信号とし、画像情報に対する階調変換の程度を示す階調補正パラメータを出力信号とする第1のニューラルネットワークを用いて階調補正パラメータを算出する補正パラメータ算出機能と、
前記算出された階調補正パラメータに基づいて前記画像情報を階調変換することによって補正画像を作成する補正画像作成機能と、
前記作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を教師データとして前記第1のニューラルネットワークの学習を実施する第1の学習機能と、
を実現させるための画像処理プログラム。 - 前記入力された画像情報から、人物の顔領域を検出する顔領域検出機能を実現させ、
前記特性値算出機能を実現させる際に、前記検出された顔領域に関する特性値を算出することを特徴とする請求項21に記載の画像処理プログラム。 - 前記入力された画像情報から、人物の顔の可能性がある顔候補領域を抽出する顔候補領域抽出機能を実現させ、
前記顔領域検出機能を実現させる際に、人物の顔検出処理を学習した第2のニューラルネットワークを用いて、前記抽出された顔候補領域から顔領域を検出し、
前記特性値算出機能を実現させる際に、前記抽出された顔候補領域が顔領域である可能性を示す、前記第2のニューラルネットワークの出力信号の反応強度及び/又は前記検出された顔領域の特性値を算出することを特徴とする請求項22に記載の画像処理プログラム。 - 前記第1のニューラルネットワークとは異なる構成を有する第3のニューラルネットワークを取得する取得機能と、
前記第1のニューラルネットワークの出力信号を教師データとして前記第3のニューラルネットワークの学習を実施する第2の学習機能と、
前記学習された第3のニューラルネットワークの学習結果が所定の条件を満たす場合に、前記第1のニューラルネットワークを当該第3のニューラルネットワークに置き換える置換機能と、
を実現させる請求項21〜23の何れか一項に記載の画像処理プログラム。 - 前記第1のニューラルネットワークとは異なる構成を有する第3のニューラルネットワークを取得する取得機能と、
前記第1のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を更に補正するための第1の補正値を入力する入力機能と、
前記第1の補正値に基づいて、第3のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を補正するための第2の補正値を算出する補正値算出機能と、
前記算出された第2の補正値を教師データとして前記第3のニューラルネットワークの学習を実施する第2の学習機能と、
前記第1の補正値と、前記学習された第3のニューラルネットワークを用いて算出された第2の補正値の関係が所定の条件を満たす場合に、前記第1のニューラルネットワークを当該第3のニューラルネットワークに置き換える置換機能と、
を実現させる請求項21〜23の何れか一項に記載の画像処理プログラム。 - 前記特性値算出機能を実現させる際に、前記入力された画像が撮影された時の配光条件を示す値を算出することを特徴とする請求項21〜25の何れか一項に記載の画像処理プログラム。
- 前記配光条件には、逆光状態及び/又はフラッシュ光利用状態が含まれることを特徴とする請求項26に記載の画像処理プログラム。
- 前記入力された画像情報はカラー画像であり、
前記補正パラメータ算出機能において算出された階調補正パラメータを所定の比率で分割し、第1の補正パラメータ及び第2の補正パラメータを算出する分割パラメータ算出機能を実現させ、
前記補正画像作成機能を実現させる際に、前記入力された画像情報を輝度−色差情報で表現した場合の輝度情報に対して前記第1の補正パラメータを作用させることによって当該輝度情報を階調変換するとともに、前記入力された画像情報をRGB情報で表現した場合の各々の色情報に対して前記第2の補正パラメータを作用させることによって当該色情報を階調変換することを特徴とする請求項21〜27の何れか一項に記載の画像処理プログラム。 - 前記補正画像作成機能を実現させる際に、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴とする請求項21〜28の何れか一項に記載の画像処理プログラム。
- 前記画像情報の属性情報を取得する属性情報取得機能と、
前記取得された属性情報に基づいて、前記画像情報が、撮影により得られた自然画像であるか否かを判定する判定機能と、を実現させ、
前記補正画像作成機能を実現させる際に、前記判定機能により、前記画像情報が自然画像であると判定された場合、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴とする請求項21〜28の何れか一項に記載の画像処理プログラム。 - 画像処理対象の画像情報を入力する画像入力装置と、前記入力された画像情報に対して各種の画像処理を施す画像処理装置と、前記画像処理が施された画像情報を出力する画像出力装置から構成される画像処理システムであって、
前記画像処理装置は、
前記画像入力装置から入力された画像情報から所定の特性値を算出する特性値算出手段と、
前記算出された特性値を入力信号とし、画像情報に対する階調変換の程度を示す階調補正パラメータを出力信号とする第1のニューラルネットワークを用いて階調補正パラメータを算出する補正パラメータ算出手段と、
前記算出された階調補正パラメータに基づいて前記画像情報を階調変換することによって補正画像を作成する補正画像作成手段と、
前記作成された補正画像に対する補正が指示された場合、当該作成された補正画像に対する補正量を教師データとして前記第1のニューラルネットワークの学習を実施する第1の学習手段と、
を備えることを特徴とする画像処理システム。 - 前記画像処理装置は、
前記入力された画像情報から、人物の顔領域を検出する顔領域検出手段を備え、
前記特性値算出手段は、前記検出された顔領域に関する特性値を算出することを特徴とする請求項31に記載の画像処理システム。 - 前記画像処理装置は、
前記入力された画像情報から、人物の顔の可能性がある顔候補領域を抽出する顔候補領域抽出手段を備え、
前記顔領域検出手段は、人物の顔検出処理を学習した第2のニューラルネットワークを用いて、前記抽出された顔候補領域から顔領域を検出し、
前記特性値算出手段は、前記抽出された顔候補領域が顔領域である可能性を示す、前記第2のニューラルネットワークの出力信号の反応強度及び/又は前記検出された顔領域の特性値を算出することを特徴とする請求項32に記載の画像処理システム。 - 前記画像処理装置は、
前記第1のニューラルネットワークとは異なる構成を有する第3のニューラルネットワークを取得する取得手段と、
前記第1のニューラルネットワークの出力信号を教師データとして前記第3のニューラルネットワークの学習を実施する第2の学習手段と、
前記学習された第3のニューラルネットワークの学習結果が所定の条件を満たす場合に、前記第1のニューラルネットワークを当該第3のニューラルネットワークに置き換える置換手段と、
を備えることを特徴とする請求項31〜33の何れか一項に記載の画像処理システム。 - 前記画像処理装置は、
前記第1のニューラルネットワークとは異なる構成を有する第3のニューラルネットワークを取得する取得手段と、
前記第1のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を更に補正するための第1の補正値を入力する入力手段と、
前記第1の補正値に基づいて、第3のニューラルネットワークで算出された階調補正パラメータに基づいて作成された補正画像を補正するための第2の補正値を算出する補正値算出手段と、
前記算出された第2の補正値を教師データとして前記第3のニューラルネットワークの学習を実施する第2の学習手段と、
前記第1の補正値と、前記学習された第3のニューラルネットワークを用いて算出された第2の補正値の関係が所定の条件を満たす場合に、前記第1のニューラルネットワークを当該第3のニューラルネットワークに置き換える置換手段と、
を備えることを特徴とする請求項31〜33の何れか一項に記載の画像処理システム。 - 前記特性値算出手段は、前記入力された画像が撮影された時の配光条件を示す値を算出することを特徴とする請求項31〜35の何れか一項に記載の画像処理システム。
- 前記配光条件には、逆光状態及び/又はフラッシュ光利用状態が含まれることを特徴とする請求項36に記載の画像処理システム。
- 前記入力された画像情報はカラー画像であり、
前記画像処理装置は、
前記補正パラメータ算出手段において算出された階調補正パラメータを所定の比率で分割し、第1の補正パラメータ及び第2の補正パラメータを算出する分割パラメータ算出手段を備え、
前記補正画像作成手段は、前記入力された画像情報を輝度−色差情報で表現した場合の輝度情報に対して前記第1の補正パラメータを作用させることによって当該輝度情報を階調変換するとともに、前記入力された画像情報をRGB情報で表現した場合の各々の色情報に対して前記第2の補正パラメータを作用させることによって当該色情報を階調変換することを特徴とする請求項31〜37の何れか一項に記載の画像処理システム。 - 前記補正画像作成手段は、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴とする請求項31〜38の何れか一項に記載の画像処理システム。
- 前記画像処理装置は、
前記画像情報の属性情報を取得する属性情報取得手段と、
前記取得された属性情報に基づいて、前記画像情報が、撮影により得られた自然画像であるか否かを判定する判定手段と、を備え、
前記判定手段により、前記画像情報が自然画像であると判定された場合、前記補正画像作成手段は、ネガポジ方式におけるシェーディング特性に基づいて予め設定された補正係数を用いて、前記画像情報を変換することを特徴とする請求項31〜38の何れか一項に記載の画像処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004209959A JP2006031440A (ja) | 2004-07-16 | 2004-07-16 | 画像処理方法、画像処理装置、画像処理プログラム及び画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004209959A JP2006031440A (ja) | 2004-07-16 | 2004-07-16 | 画像処理方法、画像処理装置、画像処理プログラム及び画像処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006031440A true JP2006031440A (ja) | 2006-02-02 |
Family
ID=35897699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004209959A Pending JP2006031440A (ja) | 2004-07-16 | 2004-07-16 | 画像処理方法、画像処理装置、画像処理プログラム及び画像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006031440A (ja) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008306365A (ja) * | 2007-06-06 | 2008-12-18 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
JP2009004888A (ja) * | 2007-06-19 | 2009-01-08 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
JP2009027254A (ja) * | 2007-07-17 | 2009-02-05 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
JP2009134433A (ja) * | 2007-11-29 | 2009-06-18 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
JP2009151350A (ja) * | 2007-12-18 | 2009-07-09 | Nec Corp | 画像補正方法および画像補正装置 |
CN101916366A (zh) * | 2010-08-09 | 2010-12-15 | 黑龙江八一农垦大学 | 上孵前无精蛋识别方法及装置 |
JP2011090413A (ja) * | 2009-10-20 | 2011-05-06 | Canon Inc | 画像認識装置、その処理方法及びプログラム |
JP2011159207A (ja) * | 2010-02-03 | 2011-08-18 | Canon Inc | 画像処理装置、およびプログラム |
JP2014153866A (ja) * | 2013-02-07 | 2014-08-25 | Canon Inc | 画像処理装置、その制御方法、および制御プログラム |
JP2015087826A (ja) * | 2013-10-28 | 2015-05-07 | 大日本印刷株式会社 | 情報処理プログラム、携帯端末、及びホストサーバ |
WO2018084473A1 (ko) * | 2016-11-07 | 2018-05-11 | 삼성전자 주식회사 | 신경망 학습에 기반한 입력 처리 방법 및 이를 위한 장치 |
CN110929756A (zh) * | 2019-10-23 | 2020-03-27 | 广物智钢数据服务(广州)有限公司 | 基于深度学习的钢材尺寸和数量的识别方法、智能设备和存储介质 |
JP2020098453A (ja) * | 2018-12-18 | 2020-06-25 | セイコーエプソン株式会社 | 学習装置、印刷制御装置及び学習済モデル |
CN112132172A (zh) * | 2020-08-04 | 2020-12-25 | 绍兴埃瓦科技有限公司 | 基于图像处理的模型训练方法、装置、设备和介质 |
US10963738B2 (en) | 2016-11-07 | 2021-03-30 | Samsung Electronics Co., Ltd. | Method for processing input on basis of neural network learning and apparatus therefor |
US11074479B2 (en) | 2019-03-28 | 2021-07-27 | International Business Machines Corporation | Learning of detection model using loss function |
US11257189B2 (en) | 2019-05-02 | 2022-02-22 | Samsung Electronics Co., Ltd. | Electronic apparatus and image processing method thereof |
-
2004
- 2004-07-16 JP JP2004209959A patent/JP2006031440A/ja active Pending
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008306365A (ja) * | 2007-06-06 | 2008-12-18 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
JP2009004888A (ja) * | 2007-06-19 | 2009-01-08 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
JP2009027254A (ja) * | 2007-07-17 | 2009-02-05 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
JP2009134433A (ja) * | 2007-11-29 | 2009-06-18 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
JP2009151350A (ja) * | 2007-12-18 | 2009-07-09 | Nec Corp | 画像補正方法および画像補正装置 |
JP2011090413A (ja) * | 2009-10-20 | 2011-05-06 | Canon Inc | 画像認識装置、その処理方法及びプログラム |
JP2011159207A (ja) * | 2010-02-03 | 2011-08-18 | Canon Inc | 画像処理装置、およびプログラム |
CN101916366A (zh) * | 2010-08-09 | 2010-12-15 | 黑龙江八一农垦大学 | 上孵前无精蛋识别方法及装置 |
JP2014153866A (ja) * | 2013-02-07 | 2014-08-25 | Canon Inc | 画像処理装置、その制御方法、および制御プログラム |
JP2015087826A (ja) * | 2013-10-28 | 2015-05-07 | 大日本印刷株式会社 | 情報処理プログラム、携帯端末、及びホストサーバ |
WO2018084473A1 (ko) * | 2016-11-07 | 2018-05-11 | 삼성전자 주식회사 | 신경망 학습에 기반한 입력 처리 방법 및 이를 위한 장치 |
US10963738B2 (en) | 2016-11-07 | 2021-03-30 | Samsung Electronics Co., Ltd. | Method for processing input on basis of neural network learning and apparatus therefor |
JP2020098453A (ja) * | 2018-12-18 | 2020-06-25 | セイコーエプソン株式会社 | 学習装置、印刷制御装置及び学習済モデル |
US11074479B2 (en) | 2019-03-28 | 2021-07-27 | International Business Machines Corporation | Learning of detection model using loss function |
US11120305B2 (en) | 2019-03-28 | 2021-09-14 | International Business Machines Corporation | Learning of detection model using loss function |
US11257189B2 (en) | 2019-05-02 | 2022-02-22 | Samsung Electronics Co., Ltd. | Electronic apparatus and image processing method thereof |
US11861809B2 (en) | 2019-05-02 | 2024-01-02 | Samsung Electronics Co., Ltd. | Electronic apparatus and image processing method thereof |
CN110929756A (zh) * | 2019-10-23 | 2020-03-27 | 广物智钢数据服务(广州)有限公司 | 基于深度学习的钢材尺寸和数量的识别方法、智能设备和存储介质 |
CN110929756B (zh) * | 2019-10-23 | 2022-09-06 | 广物智钢数据服务(广州)有限公司 | 基于深度学习的钢材尺寸和数量的识别方法、智能设备和存储介质 |
CN112132172A (zh) * | 2020-08-04 | 2020-12-25 | 绍兴埃瓦科技有限公司 | 基于图像处理的模型训练方法、装置、设备和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006031440A (ja) | 画像処理方法、画像処理装置、画像処理プログラム及び画像処理システム | |
JP2006301779A (ja) | 画像処理システム、画像処理方法及び画像処理プログラム | |
CN102984448B (zh) | 利用颜色数字图像对动作如锐度修改进行控制的方法 | |
CN106165390A (zh) | 图像处理装置、摄影装置、图像处理方法及程序 | |
US20110043666A1 (en) | Image processing apparatus, image processing method, and computer program storage medium | |
CN101527860A (zh) | 白平衡控制设备及其控制方法和摄像设备 | |
CN107534727A (zh) | 图像处理装置、摄像装置、图像处理方法及图像处理程序 | |
CN105453539B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
CN107563976A (zh) | 美颜参数获取方法、装置、可读存储介质和计算机设备 | |
CN109005343A (zh) | 控制方法、装置、成像设备、电子设备及可读存储介质 | |
JP2009151350A (ja) | 画像補正方法および画像補正装置 | |
JP7443030B2 (ja) | 学習方法、プログラム、学習装置、および、学習済みウエイトの製造方法 | |
JP2007311895A (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
JP2007221678A (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
JP2007293686A (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
JP2007312294A (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
JP2006039666A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
JP2007094787A (ja) | 人物画像補正装置、人物画像補正方法および人物画像補正プログラム | |
JP4449619B2 (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
JP2007081550A (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
WO2006077703A1 (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
JP2008278333A (ja) | 画像処理装置及び方法 | |
JPH10136298A (ja) | カメラ及びプリンタ | |
JP2006203571A (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
JP2007235204A (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム |