JP2009010853A - 画像補正方法と画像補正装置 - Google Patents
画像補正方法と画像補正装置 Download PDFInfo
- Publication number
- JP2009010853A JP2009010853A JP2007172166A JP2007172166A JP2009010853A JP 2009010853 A JP2009010853 A JP 2009010853A JP 2007172166 A JP2007172166 A JP 2007172166A JP 2007172166 A JP2007172166 A JP 2007172166A JP 2009010853 A JP2009010853 A JP 2009010853A
- Authority
- JP
- Japan
- Prior art keywords
- image
- spatial filter
- input
- correction
- small region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003702 image correction Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims description 41
- 238000007639 printing Methods 0.000 claims abstract description 32
- 238000012937 correction Methods 0.000 claims description 32
- 238000013528 artificial neural network Methods 0.000 claims description 26
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 53
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000015654 memory Effects 0.000 description 10
- 238000001914 filtration Methods 0.000 description 9
- 238000009499 grossing Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000002068 genetic effect Effects 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000007723 transport mechanism Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000007641 inkjet printing Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】被写体の内容にかかわらず入力撮影画像を写真プリントに適した適正画像に補正することができる空間フィルタを作成して、適正な画像補正を実現する技術を提供する。
【解決手段】用意されたサンプル画像から区分けされた小領域画像に含まれる画素の画素値を入力値として、この小領域画像を適正画像にする空間フィルタのパラメータを教師値として学習させることにより統計的学習則を構築し、入力撮影画像を複数の小領域画像に区分けし、この小領域画像に含まれている画素の画素値を統計的学習則に入力して出力されたパラメータに基づいて作成された空間フィルタを用いて小領域画像を補正する。このような処理を、区分けされた小領域画像の全てに対して施し、補正された小領域画像の全てから入力撮影画像のための適正画像を生成する。
【選択図】図2
【解決手段】用意されたサンプル画像から区分けされた小領域画像に含まれる画素の画素値を入力値として、この小領域画像を適正画像にする空間フィルタのパラメータを教師値として学習させることにより統計的学習則を構築し、入力撮影画像を複数の小領域画像に区分けし、この小領域画像に含まれている画素の画素値を統計的学習則に入力して出力されたパラメータに基づいて作成された空間フィルタを用いて小領域画像を補正する。このような処理を、区分けされた小領域画像の全てに対して施し、補正された小領域画像の全てから入力撮影画像のための適正画像を生成する。
【選択図】図2
Description
本発明は、画像デジタル化によって取得された入力撮影画像を空間フィルタを用いて写真プリントに適した適正画像に補正する画像補正技術に関する。
近年のデジタル画像処理の発展に伴い、写真プリント業界を始め、ほとんどのプリント出力はデジタル画像処理を施された画像に基づいて行われる。このデジタル画像処理としてよく使われているものに、画像内に含まれているノイズを除いたり、画像のもつある特徴、例えば線やエッジや粒状感などを強調したりする操作であるフィルタ処理があり、デジタル画像空間において直接フィルタ処理を行うために空間フィルタが用いられる。一般的に、空間フィルタは、中心画素とその周辺画素の画素値に重み付けを行い、積和演算又は非線形演算によって求めた値をその中心画素の値とする機能を有し、処理対象とする周辺画素の数はフィルタサイズによって決定され(フィルタサイズ3×3の周辺画素数は8となる)、その重み付けの数値の選び方で、雑音を低減する平滑(平均)化フィルタ、メディアンフィルタ、エッジ・線を強調する微分フィルタ、ラプラシアンフィルタ、明るい領域と暗い領域の収縮・膨張を行う最大値フィルタ・最小値フィルタなどに分類される。従って、適正な画像を得るためフィルタ処理を行う場合、この重み付けの数値やフィルタサイズなどのフィルタパラメータの選び方が重要となる。
例えば、フィルムカメラによる撮影済みフィルムをフィルムスキャナを用いて間接的に、あるいはデジタルカメラを用いて直接的に取得した高解像度の撮影画像に対して鮮鋭化処理を施す場合、撮影画像の輪郭だけではなく、写真フィルムの粒子に起因する粒状性までもが強調されてしまうと粒状ノイズとなってしまい、特に人肌領域で粒状ノイズが生じると写真画像品質として大きなマイナスとなる。このような粒状ノイズを低減させるには、平滑化処理を行うことになるが、今度は、粒状ノイズの低減とともに輪郭もぼやけることになり、せっかく行った鮮鋭化処理の効果も失われてしまうという問題が生じる。この問題を解決するため、撮像画像の色成分データをYCC変換、つまり輝度(濃度)データ;Yと色差データ:C1,C2とに分離し、2次元座標空間における輝度データの変化に対応して、色差データの平滑化処理と輝度データの平滑化処理との割合を変化させ、その際画像の輪郭情報は色差データより輝度データの方に多く含まれていることを考慮して、撮影画像の平坦部から輪郭部に近づく程、輝度ノイズ除去の割合を徐々に0に近づけるとともに色ノイズ除去より早めに輝度ノイズ除去を止めるようにする技術が知られている(例えば、特許文献1参照。)。この画像処理技術は、撮影画像の平坦な部分を選択的に平滑化し、この後処理として一般的な鮮鋭化を行うことで粒状ノイズを抑えた輪郭部分のメリハリを得ようとするものであり、輝度データの分散から輪郭形成度合いを推定して、平滑化の補正係数を調整しているので、自然風景などを被写体とした撮影画像に対しては有効かもしれないが、特に看板などの人工構造物が被写体の一部である撮影画像において、輝度分散からは信頼よく輪郭形成度合いが推定できず、看板の文字などに極度のぼかしが施されて不自然となる不具合が生じる。
また、平滑化フィルタ処理におけるフィルタサイズ決定の問題に関して、デジタル画像データに対して、互いにサイズが異なる複数の移動平均フィルタを用いてフィルタ処理を行うことにより、複数のぼかし画像データを生成し、この複数のぼかし画像データの互いに対応する各着目画素に関してぼかし画像データごとに重みを与えて各ぼかし画像データの加重平均値を合成ぼかし画像データとする画像処理方法が知られており、その際、ぼかし画像データごとに与えられる各重みは各ぼかし画像データを生成する各移動平均フィルタのサイズとの間で負の相関関係、所定の切片から各移動平均フィルタのサイズのべき乗を減算した関数が成立するように設定されている(例えば、特許文献2参照。)。しかしながら、処理対象となる画像データに対してサイズが異なる複数の移動平均フィルタによるぼかし(平滑化)処理を施し、さらにこの処理によって得られた複数の処理済み画像データを重み計算するという画像処理は、演算負荷が大きいだけではなく、種々の画像に対して重みの設定を適切に行うことは非常に困難である。
また工業製品の表面欠陥を画像処理で検出する場合にも、欠陥の特徴を強調するために空間フィルタを使用したフィルタ処理が行われる。欠陥を効率よく、かつ選択的に検出するような構成数値や形状を有する空間フィルタを作り出すために遺伝的アルゴリズムを用い、この遺伝的アルゴリズムをベースとして自動計算された構成数値が実数となっている空間フィルタが提案されている(例えば、特許文献3参照。)。この従来技術は、その空間フィルタの適用が液晶画面の欠陥といった予め予想された欠陥を対象とする限りは有効であるかもしれないが、処理対象となる画像が撮影画像のような場合では、1つの撮影画像の中に自然風景や人工構造物さらには文字なども含まれることもあるので、そのような空間フィルタを用いても画像全体が適正となるような処理結果を得ることは困難である。
上記実情に鑑み、本発明の課題は、被写体の内容にかかわらず入力撮影画像を写真プリントに適した適正画像に補正することができる空間フィルタを作成して、適正な画像補正を実現する技術を提供することである。
画像デジタル化によって取得された入力撮影画像を空間フィルタを用いて写真プリントに適した適正画像に補正する画像補正方法において、上記課題を解決するため、本発明による方法は、用意されたサンプル画像から区分けされた小領域画像に含まれる画素の画素値を入力値とするとともに前記小領域画像を適正画像にする空間フィルタのパラメータを教師値として学習させることを繰り返すことにより統計的学習則を構築するステップと、前記入力撮影画像を複数の小領域画像に区分けする区分けステップと、前記小領域画像に含まれている画素の画素値を前記統計的学習則に入力することで空間フィルタのパラメータを出力するパラメータ出力ステップと、出力された前記パラメータに基づいて作成された空間フィルタを用いて前記小領域画像を補正する小領域補正ステップと、前記区分けされた小領域画像の全てに対して前記パラメータ出力ステップと前記小領域補正ステップを実行する繰り返しステップと、補正された全ての小領域画像から前記入力撮影画像のための適正画像を得るステップとからなる。
本発明による画像補正方法では、補正すべき画像を複数の小領域画像に区分けし、その区分けされた各小領域画像毎に、統計的学習則を用いて当該小領域画像が適正なものになるようなフィルタ処理を実現するパラメータを有する空間フィルタを作成し、この作成された空間フィルタで当該小領域画像を補正している。つまり、入力撮影画像全体の画像特徴を解析して最適なパラメータを有する空間フィルタを作成するのではなく、撮影画像全体から見れば微小な領域である小領域に限定してその画像特徴を解析して、適正なフィルタ処理を行う。従って、1つの撮影画像に空や海などのフラットな画像領域や看板や人物などの多くの境界線を有する空間周波数の高い画像領域が含まれていても、それぞれの領域に応じた適正なフィルタ処理、つまり画像補正が可能となる。また、空間フィルタのパラメータを決定する統計的学習則の入力値としては、その対象となる画像領域が小領域であるため、この小領域画像に含まれている画素の画素値をそのまま用いることができ、統計的学習則の入力値を得るために複雑で時間のかかる演算を行う必要はない。このため、統計的学習則の構築は、用意されたサンプル画像から区分けされた小領域画像に含まれる画素の画素値を入力値とするとともに当該小領域画像を適正画像にする空間フィルタのパラメータを教師値として学習させることを繰り返すとよい。なお、この明細書では、特別に区別する必要がある場合を除いて、デジタルデータとしての画像データやこの画像データに基づくプリント画像やモニタ表示画像も単に画像という語句で総称している。
画像処理の分野で用いられる統計的学習則としては、共役勾配法、遺伝的アルゴリズム、ニューラルネットワークなどが挙げられるが、ハードウエア又はソフトウエアのモジュール化が進んでおり、扱いやすいこと、及び1万を超えるような多数のサンプル数から作成された教師値を用いて学習させることも容易であることを考慮すると、ニューラルネットワークが好都合である。
さらに、フィルタ処理に用いられるフィルタの種類は多いので、その種類を特定することによりパラメータのとる範囲を限定することで、その統計的学習則の精度を高めることができる。このため、本発明の好適な実施形態では、統計的学習則からの出力に基づいて作成される空間フィルタが撮影画像に対するフィルタ処理として撮影画像の適正なシャープ感や粒状感を得る輪郭強調フィルタとされている。
画像デジタル化によって取得された入力撮影画像を空間フィルタを用いて写真プリントに適した適正画像に補正する画像補正装置において、上記課題を解決するため、本発明による装置は、用意されたサンプル画像から区分けされた小領域画像に含まれる画素の画素値を入力値とするとともに前記小領域画像を適正画像にする空間フィルタのパラメータを教師値として学習させることを繰り返すことにより構築された統計的学習則を有する統計的学習則部と、前記入力撮影画像を複数の小領域画像に区分けする画像区分け部と、前記小領域画像に含まれている画素の画素値を前記統計的学習則部に入力することで出力される空間フィルタのパラメータに基づいて空間フィルタを作成する空間フィルタ作成部と、前記空間フィルタ作成部によって作成された空間フィルタを用いて対応する前記小領域画像を補正する部分補正実行部と、前記部分補正実行部を用いて前記区分けされた小領域画像を順次補正して前記入力撮影画像のための適正画像を作り出す補正管理部とからなる。当然ながら、この画像補正装置も上記画像補正方法で述べたすべての作用効果を得ることができる。さらに、この画像補正装置においても、統計的学習則部をニューラルネットワーク部で構築することや、統計的学習則部からの出力に基づいて作成される空間フィルタを輪郭強調フィルタとすることは、好適な実施形態として提案される。
まず、本発明による画像補正処理の基本原理を図1と図2を用いて説明する。なお、ここでは、統計的学習則として空間フィルタ(以下単にフィルタと略称する)のパラメータを出力するニューラルネットワークが採用されているとする。図1は、サンプル画像を用いた学習過程を通じてニューラルネットワークが構築される流れを模式的に示している。
種々の条件で取得された画像をサンプル画像として多数用意し、これらのサンプル画像を元画像として順次指定し、以下の作業を行う。まず、指定した元画像を所定のサイズ(例えば、10×10画素から20×20画素程度)の小領域画像に区分けする(#01)。次に、区分けされた小領域画像毎にマニュアルで調整しながらのフィルタ処理を行う(#02)。このようにフィルタ処理された全ての小領域画像を組み合わせることで元画像の適正画像を作り出す(#03)。適正画像が作り出されると、その構成要素である小領域画像の元の画素値群:A1・・・An(例えばN=100)と(#04)、この小領域画像に施されたフィルタ処理のフィルタパラメータ群:M1,1・・・Mk,m(例えば、k=3,m=3)を取り出す(#05)。このようにして、全てのサンプル画像を通じて得られた多数の小領域画像の画素値群:A1・・・Anを入力値とし、当該小領域画像に施されたフィルタ処理のフィルタパラメータ群(M1,1・・・Mk,m)を教師値として、ニューラルネットワークを学習させる(#06)。数千回以上の反復学習を行うことにより、安定した出力が保証されるニューラルネットワークが構築される。
このようにして構築されたニューラルネットワークを用いて適正なフィルタを作成し、このフィルタを用いてフィルタ処理、つまり画像補正を入力画像に施し、入力画像を適正画像に補正することができる。この画像補正の原理が図2に模式的に示されている。まず、補正目的で入力された画像を、所定のサイズの小領域画像に区分けする(#10)。各小領域画像に対して以下の処理を行う。区分けされた入力画像から選択された小領域画像からその画素値群:A1・・・Anをニューラルネットワークに入力すると(#11)、ニューラルネットワークからこの小領域画像のフィルタ処理に適したフィルタのフィルタパラメータ群(M1,1・・・Mk,m)が出力される(#12)。出力されたフィルタパラメータ群を用いてフィルタが作成され(#13)、このフィルタを用いて前記入力画像から選択された小領域画像に対するフィルタ処理が行われ、補正された小領域画像が得られる(#14)。入力画像を構成する全ての小領域画像に対してステップ#11〜#14の処理が行われると、得られた全ての小領域画像を統合することで入力画像の適正補正画像が得られる(#15)。さらに、この補正画像に対して必要に応じた更なる補正を施した後、プリントデータを生成し、このプリントデータをプリント部に転送することにより、画像プリントが出力される(#16)。
上述した統計的学習則の一例としてのニューラルネットワークへの入力値として、小領域画像の画素値群を採用しているが、対象となる画像がカラー画像の場合、各画素値には、3つの色成分値、つまりR値、G値、B値がセットとなっている。その際、演算を簡単にするためには、色成分値毎にニューラルネットワークに入力して、色成分毎の小領域画像のフィルタを作成することや、3つの色成分値から輝度値を算出して、その輝度値をその画素値の代表値としてニューラルネットワークに入力して小領域画像のフィルタを作成することも本発明の枠内に入るものである。また、ニューラルネットワークへの入力値として画素値群から直接算出できる平均値や最大・最小値を付加してもよい。
次に、図1と図2を用いて説明した適正フィルタ作成、つまり適正補正技術を用いた画像補正装置を搭載し、入力された撮影画像から写真プリントを出力する写真プリント装置を説明する。図3はその写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Pに対して露光処理と現像処理とを行う写真プリント部としてのプリントステーション1Bと、現像済み写真フィルム2aやデジタルカメラ用メモリカード2bなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション1Bで使用されるプリントデータの生成・転送などを行う操作ステーション1Aとから構成されている。
この写真プリント装置はデジタルミニラボとも称せられるものであり、図4からよく理解できるように、プリントステーション1Bは2つの印画紙マガジン11に納めたロール状の印画紙Pを引き出してシートカッター12でプリントサイズに切断すると共に、このように切断された印画紙Pに対し、バックプリント部13で色補正情報やコマ番号などのプリント処理情報を印画紙Pの裏面に印字するとともに、プリント露光部14で印画紙Pの表面に撮影画像の露光を行い、この露光後の印画紙Pを複数の現像処理槽を有した処理槽ユニット15に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア16からソータ17に送られた印画紙P、つまり写真プリントPは、このソータ17の複数のトレイにオーダ単位で仕分けられた状態で集積される(図3参照)。
上述した印画紙Pに対する各種処理に合わせた搬送速度で印画紙Pを搬送するために印画紙搬送機構18が敷設されている。印画紙搬送機構18は、印画紙搬送方向に関してプリント露光部14の前後に配置されたチャッカー式印画紙搬送ユニット18aを含む複数の挟持搬送ローラ対から構成されている。
プリント露光部14には、副走査方向に搬送される印画紙Pに対して、主走査方向に沿って操作ステーション1Aからのプリントデータに基づいてR(赤)、G(緑)、B(青)の3原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット15は、発色現像処理液を貯留する発色現像槽15aと、漂白定着処理液を貯留する漂白定着槽15bと、安定処理液を貯留する安定槽15cを備えている。
前記操作ステーション1Aのデスク状コンソールの上部位置には、写真フィルム2aの撮影画像コマから撮影画像データ(以下単に撮影画像と略称する)を2000dpiを超える解像度でもって取得することができるフィルムスキャナ20が配置されており、デジタルカメラ等に装着される画像記録媒体2bとして用いられている各種半導体メモリやCD−Rなどから撮影画像を取得するメディアリーダ21は、この写真プリント装置のコントローラ3として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ23、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード24やマウス25も接続されている。
この写真プリント装置のコントローラ3は、CPUを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図5に示されているように、本発明に特に関係する機能部としては、フィルムスキャナ20やメディアリーダ21によって読み取られた撮影画像を取り込んで次の処理のために必要な前処理を行う画像入力部31と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力(キーボード24やマウス25などによる)から制御コマンドを生成するグラフィックユーザインターフェース(以下GUIと略称する)を構築するGUI部33と、GUI部33から送られてきた制御コマンドや直接キーボード24等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部31からメモリ30に転送された撮影画像に対する画像処理等を行うプリント管理部32と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはGUI部33から送られてきたグラフィックデータをモニタ23に表示させるためのビデオ信号を生成するビデオ制御部35と、画像処理が完了した処理済み撮影画像に基づいてプリントステーション1Bに装備されているプリント露光部14に適したプリントデータを生成するプリントデータ生成部36と、顧客の要望に応じて生の撮影画像や画像処理が完了した処理済み撮影画像などをCD−Rに書き込むための形式にフォーマットするフォーマッタ部37などが挙げられる。
画像入力部31は、撮影画像記録媒体がフィルム2aの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ30に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード2bの場合取り込んだ撮影画像にサムネイル画像(低解像度データ)が含まれている場合はモニタ23での一覧表示などの目的で使用するため撮影画像の本データ(高解像度データ)とは別にメモリ30に送り込むが、もしサムネイル画像が含まれていない場合は本データから縮小画像を作り出してサムネイル画像としてメモリ30に送り込む。
プリント管理部32は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット40、メモリ30に展開された撮影画像に対して各種画像処理を施す画像処理ユニット50を備えている。
画像処理ユニット50には、メモリ30に展開された撮影画像に対して濃度階調補正や画像解像度(サイズ)変換などの基本的な画像処理などを行う第1画像補正ユニット60と、前述したようなニューラルネットワークを用いて作成された適正なフィルタ、ここでは一例としての輪郭強調フィルタによるフィルタ処理をメモリ30に展開された入力撮影画像に対して行う第2画像補正ユニット70とが実質的にはプログラムの形で組み込まれている。
図6で示されているように、本発明による画像補正装置としての機能を有する第2画像補正ユニット70には、図1を用いて説明した基本原理に基づいた学習を経て構築されたニューラルネットワーク部71と、メモリ30に展開された入力撮影画像を、場合によっては入力撮影画像を所定サイズに縮小して生成された補正演算用撮影画像を、所定サイズ(例えば10×10画素)の小領域画像に区分けする画像区分け部72と、区分けられた小領域画像に含まれている画素の画素値を読み取り、その画素値を直接、あるいは当該小領域画像に含まれる画素値から算出された平均値や最大・最小値など副次的な値を付加して入力画素値群としてニューラルネットワーク部71に入力する入力値処理部73と、ニューラルネットワーク部71から出力されるフィルタパラメータに基づいて当該小領域画像のためのフィルタを作成する空間フィルタ作成部74と、前記空間フィルタ作成部74によって作成されたフィルタを用いて入力撮影画像における対応する小領域画像を補正する部分補正実行部75と、この部分補正実行部75を用いて前記画像区分け部72によって区分けされた小領域画像を順次補正して入力撮影画像のための適正補正画像を作り出す補正管理部76とが備えられている。
以上のように構成された写真プリント装置における写真プリント処理を図7のフローチャートを用いて説明する。まず、写真プリント出力を行うために入力された撮影画像を読み込み(#50)、その入力撮影画像に対して、またその入力撮影画像から画像サイズを低減した補正演算用撮影画像を作り出して利用する場合にはその補正演算用撮影画像に対しても、所定の区分け数で区分けを行い、多数の小領域画像を規定する(#51)。補正演算用撮影画像を利用する場合には、補正演算用撮影画像における小領域画像の画像サイズは入力撮影画像の画像サイズに較べて小さいものとなる。いずれにせよ、ニューラルネットワーク部71の入力源となる小領域画像の画像サイズは、ここでは10×10画素とする。区分けされた多数の小領域画像の中から順番に処理対象となる注目小領域画像を指定する(#52)。指定された注目小領域画像の画素(100個)の画素値を読み出し、ニューラルネットワーク部71へ入力する画素値群として確保する(#53)。確保した画素値群の各値をニューラルネットワーク部71の所定の入力層に与える(#54)。入力層に注目小領域画像からの画素値群が与えられることにより出力される出力値、つまりフィルタパラメータを用いて注目小領域画像に適した、ここでは3×3のフィルタサイズをもつ輪郭強調フィルタが作成される(#55)。作成された輪郭強調フィルタを用いて入力撮影画像における注目小領域画像に対してフィルタ処理(補正処理)を行う(#56)。区分けされた全ての小領域画像が注目小領域画像として指定されたかどうかをチェックし、残っている小領域画像があれば(#57No分岐)、ステップ#52〜#56の処理を繰り返す。全ての注目小領域画像として指定されておれば、つまり全ての小領域画像に対するフィルタ処理が終了しておれば、入力撮影画像に対するフィルタ処理が終了したことになるので、フィルタ処理が完了した全ての小領域画像を統合することで補正済みの撮影画像が得られる(#58)。なお、メモリ30に展開された入力撮影画像に対して直接その小領域画像にフィルタ処理を施す場合には、全ての小領域画像に対するフィルタ処理が終了した時点で補正済みの撮影画像が得られることになる。この補正済みの撮影画像からプリントデータ生成部36がプリントデータを生成する(#59)。プリントデータがプリントステーション1Bに転送されることによりプリント処理が行われ(#60)、写真プリントが出力される(#61)。なお、フィルタ処理を施された各小領域画像を統合して補正済みの撮影画像を作成する際に、その統合時に接続端となる周辺画素の平均化などの統合時調整を施してもよい。
上述した適正フィルタ作成のためのニューラルネットワーク部71は、処理対象となる入力撮影画像における極めて小さな領域における画素値を解析情報として用いているので、一般的に画像処理に用いられているニューラルネットワークの入力値群として採用されている解析データ群に較べ、非常に容易かつ高速に得ることができる。従って、多数の小領域画像に対して個別のフィルタを作成して、フィルタ処理を施すとしても、そのトータルの演算時間は短いものとなる。
上述した実施形態の説明では、空間フィルタとして輪郭強調フィルタを例としてしてたが、平滑化フィルタなど、その他の種類のフィルタであってもよい。また、フィルタ種別のニューラルネットワーク部を組み込んで、複数のフィルタを作成して、複数のフィルタ処理を実行するような形態を採用してもよい。
さらに、上述した実施形態の説明では、本発明による画像補正技術が、DPショップに設置されているミニラボと呼ばれている写真プリント装置に組み込まれた例を取り上げたが、コンビニやDPショップの店頭に設置されているセルフサービス式の写真プリント装置など、種々の写真プリント装置に組み込んでもよいし、画像処理ソフトウエアの撮影画像補正機能の1つとして、この画像処理ソフトウエアのプログラムに組み込んでもよい。
また、上述した実施の形態では、画像プリント出力部としてのプリントステーション1Bは、印画紙Pに対し、レーザ式露光エンジンを備えたプリント露光部14で撮影画像の露光を行い、この露光後の印画紙Pを現像処理する、いわゆる銀塩写真プリント方式を採用していたが、もちろん、本発明によって補正された撮影画像のプリント方式は、このような方式に限定されるわけではなく、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント方式を含む。
1B:プリントステーション(プリント部)
31:画像入力部
36:プリントデータ生成部
70:第2画像補正ユニット(画像補正装置)
71:ニューラルネットワーク部
72:画像区分け部
73:入力値処理部
74:空間フィルタ作成部
75:部分補正実行部
76:補正管理部
31:画像入力部
36:プリントデータ生成部
70:第2画像補正ユニット(画像補正装置)
71:ニューラルネットワーク部
72:画像区分け部
73:入力値処理部
74:空間フィルタ作成部
75:部分補正実行部
76:補正管理部
Claims (4)
- 画像デジタル化によって取得された入力撮影画像を空間フィルタを用いて写真プリントに適した適正画像に補正する画像補正方法において、
用意されたサンプル画像から区分けされた小領域画像に含まれる画素の画素値を入力値とするとともに前記小領域画像を適正画像にする空間フィルタのパラメータを教師値として学習させることを繰り返すことにより統計的学習則を構築するステップと、
前記入力撮影画像を複数の小領域画像に区分けする区分けステップと、
前記小領域画像に含まれている画素の画素値を前記統計的学習則に入力することで空間フィルタのパラメータを出力するパラメータ出力ステップと、
出力された前記パラメータに基づいて作成された空間フィルタを用いて前記小領域画像を補正する小領域補正ステップと、
前記区分けされた小領域画像の全てに対して前記パラメータ出力ステップと前記小領域補正ステップを実行する繰り返しステップと、
補正された全ての小領域画像から前記入力撮影画像のための適正画像を得るステップと、
からなる画像補正方法。 - 前記統計的学習則がニューラルネットワークであることを特徴とする請求項1による画像補正方法。
- 前記空間フィルタが撮影画像のシャープ感や粒状感を引き立たせる輪郭強調フィルタであることを特徴とする請求項1又は2による画像補正方法。
- 画像デジタル化によって取得された入力撮影画像を空間フィルタを用いて写真プリントに適した適正画像に補正する画像補正装置において、
用意されたサンプル画像から区分けされた小領域画像に含まれる画素の画素値を入力値とするとともに前記小領域画像を適正画像にする空間フィルタのパラメータを教師値として学習させることを繰り返すことにより構築された統計的学習則を有する統計的学習則部と、
前記入力撮影画像を複数の小領域画像に区分けする画像区分け部と、
前記小領域画像に含まれている画素の画素値を前記統計的学習則部に入力することで出力される空間フィルタのパラメータに基づいて空間フィルタを作成する空間フィルタ作成部と、
前記空間フィルタ作成部によって作成された空間フィルタを用いて前記小領域画像を補正する部分補正実行部と、
前記部分補正実行部を用いて前記区分けされた小領域画像を順次補正して前記入力撮影画像のための適正画像を作り出す補正管理部と、
からなる画像補正装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007172166A JP2009010853A (ja) | 2007-06-29 | 2007-06-29 | 画像補正方法と画像補正装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007172166A JP2009010853A (ja) | 2007-06-29 | 2007-06-29 | 画像補正方法と画像補正装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009010853A true JP2009010853A (ja) | 2009-01-15 |
Family
ID=40325443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007172166A Withdrawn JP2009010853A (ja) | 2007-06-29 | 2007-06-29 | 画像補正方法と画像補正装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009010853A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019124652A1 (en) * | 2017-12-18 | 2019-06-27 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
US11074671B2 (en) | 2017-12-18 | 2021-07-27 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
RU2779609C2 (ru) * | 2017-12-18 | 2022-09-12 | Самсунг Электроникс Ко., Лтд. | Электронное устройство и способ управления им |
-
2007
- 2007-06-29 JP JP2007172166A patent/JP2009010853A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019124652A1 (en) * | 2017-12-18 | 2019-06-27 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
US10650283B2 (en) | 2017-12-18 | 2020-05-12 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
US11074671B2 (en) | 2017-12-18 | 2021-07-27 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
RU2779609C2 (ru) * | 2017-12-18 | 2022-09-12 | Самсунг Электроникс Ко., Лтд. | Электронное устройство и способ управления им |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4780374B2 (ja) | 粒状ノイズ抑制のための画像処理方法及びプログラム及びこの方法を実施する粒状抑制処理モジュール | |
JP4998794B2 (ja) | 画像補正方法と画像補正装置 | |
JP2006011685A (ja) | 写真画像処理方法及びその装置 | |
JP5157678B2 (ja) | 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 | |
JP2005141477A (ja) | 画像鮮鋭化処理方法とこの方法を実施する画像処理装置 | |
JP4366634B2 (ja) | ノイズ画素マップ作成方法とその方法を実施する装置とプログラム及び写真プリント装置 | |
JP2007249802A (ja) | 画像処理装置及び画像処理方法 | |
JP5125954B2 (ja) | 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 | |
JP2010034713A (ja) | 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 | |
JP4591784B2 (ja) | 撮影画像補正用変換テーブル作成方法とこの方法を実施する写真プリント装置 | |
JP2009010853A (ja) | 画像補正方法と画像補正装置 | |
JP4798446B2 (ja) | 撮影画像補正方法及び撮影画像補正モジュール | |
JP5157760B2 (ja) | 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 | |
JP2005159387A (ja) | 濃度特性曲線を決定する方法及びこの方法を実施する濃度補正管理装置 | |
JP4793648B2 (ja) | 画像補正ユニットと画像補正プログラム | |
JP2008079196A (ja) | 画像補正方法と画像補正プログラムと画像補正モジュール | |
JP5157677B2 (ja) | 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 | |
JP4655211B2 (ja) | コントラスト補正に用いられる補正特性の生成方法と生成プログラムと生成モジュール | |
JP2005275900A (ja) | 粒子状ノイズ抑制のための画像処理方法及びプログラム及びこの方法を実施する画像処理装置 | |
JP4324870B2 (ja) | 画像処理方法、画像処理プログラム及びその画像処理方法を実施する装置 | |
JP4496856B2 (ja) | 写真画像処理方法及びその装置 | |
JP4775289B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5245715B2 (ja) | 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 | |
JP2009016940A (ja) | フレーム画像の揃い補正処理装置及び揃い補正処理方法 | |
JP2005159388A (ja) | コントラスト調整方法及びこの方法を実施するコントラスト調整装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100423 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20110105 |