JP2004120480A

JP2004120480A - 画像処理方法および画像処理装置

Info

Publication number: JP2004120480A
Application number: JP2002282522A
Authority: JP
Inventors: Hiroaki Nakamura; 中村　博明
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2002-09-27
Filing date: 2002-09-27
Publication date: 2004-04-15

Abstract

【課題】撮影レンズに起因した画像の収差に対し、レンズの収差特性情報無しに、入力画像データから、自動で高速かつ高精度の収差補正を行う。
【解決手段】撮影レンズを用いて光学的に撮影された画像から入力画像データを得、この入力画像データに所定の画像処理を施して、出力画像データを得るための画像処理方法であって、入力画像の撮影に関する撮影情報を取得し、撮影情報により入力画像を所定の群に分類し、各群の各入力画像に対する撮影レンズに起因する収差を補正する収差補正量を撮影情報とともに記憶し、各群毎に当該群に分類された入力画像データに対する収差補正量の最適値を算出し、収差補正量の最適値によって当該群に分類された入力画像データの収差補正を行うことにより、上記課題を解決する。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルの画像処理方法の技術分野に属し、詳しくは、フィルムに撮影された画像を光電的に読み取り、または、撮影により直接デジタル画像データを得、このデジタル画像データに基づいて画像が再現されたプリント（写真）を得るデジタルフォトプリンタ等において、カメラやデジタルカメラ、レンズ付きフィルム等で撮影された画像で発生するレンズ起因の収差を補正する画像処理方法に関する。
【０００２】
【従来の技術】
従来、ネガフィルム、リバーサルフィルム等の写真フィルム（以下、単にフィルムとする）に撮影された画像の感光材料（印画紙）への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光（アナログ露光）が主流である。
これに対し、近年では、デジタル露光を利用する焼付装置、すなわちフィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、（仕上がり）プリントとするデジタルフォトプリンタが実用化されている。
【０００３】
デジタルフォトプリンタでは、画像をデジタルの画像データとして、画像データ処理によって焼付時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやつぶれの補正、シャープネス（鮮鋭化）処理、カラーあるいは濃度フェリアの補正等を好適に行って、従来の直接露光では得られなかった高品位のプリントを得ることができる。また、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行うことができ、用途に応じて自由に編集／処理したプリントを出力可能である。しかも、デジタルフォトプリンタによれば、画像をプリント（写真）として出力するのみならず、画像データをそのまま記録媒体に出力して写真以外の様々な用途に利用することができる。
【０００４】
このようなデジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的に読み取るスキャナ（画像読取装置）、および読み取った画像を画像処理して出力用の画像データ（露光条件）とする画像処理装置を有する画像入力装置と、画像入力装置から出力された画像データに応じて感光材料を走査露光して潜像を記録するプリンタ（画像記録装置）、および露光済の感光材料に現像処理を施してプリントとするプロセサ（現像装置）を有する画像出力装置とを有して構成される。
【０００５】
ところで、フィルムに撮影された画像をプリントに再生した際の画質劣化の原因として、カメラのレンズ性能に起因する、いわゆる収差が挙げられる。
例えば、適正な撮影画像を得るためには、光軸に対して垂直な平面は、結像面でそれに対応して結像される必要があるが、通常のレンズでは、結像面が光軸方向にズレを生じ、結像画像に歪み、いわゆる歪曲収差（ディストーション）を生じ、フィルムに撮影された画像を再生すると、得られた画像が歪んだものとなってしまう。
【０００６】
このような、レンズ性能による撮影画像の収差を補正し、高品質な画像（プリント）を得る様々な方法が従来から提案されている。
例えば、撮影に用いたレンズの情報を取得し、この情報からレンズの収差特性を得て、歪曲収差等の補正を行う画像処理方法（例えば、特許文献１参照）や、画像中の本来直線であると考えられる被写体（例えば、柱など）を抽出し、この被写体の本来あるべき直線からの歪みから歪曲収差等の収差特性を検出し、その被写体があるべき直線となるように収差補正を行う画像処理方法（例えば、特許文献２参照）、および、歪んだ画像が、歪んでいない画像に対して高調波成分の振幅が大きくなるという特徴を利用して、予め想定される収差を補正しながら高調波成分が最小になる収差補正量を求める方法（例えば、非特許文献１参照）等が知られている。
【０００７】
【特許文献１】
特開平１１−２３９２７０号公報
【特許文献２】
特開平１１−２６１８３２号公報
【非特許文献１】
Ｈａｎｙ　Ｆａｒｉｄ，Ａｌｉｎ　Ｃ．Ｐｏｐｅｓｃｕ著，「Ｂｌｉｎｄ　ｒｅｍｏｖａｌ　ｏｆ　ｌｅｎｓ　ｄｉｓｔｏｒｔｉｏｎ」，Ｏｐｔｉｃａｌ　Ｓｏｃｉｅｔｙ　ｏｆ　Ａｍｅｒｉｃａ，（米国），２００１年９月，Ｖｏｌ．１８，Ｎｏ．９，ｐ．２０７２−２０７７
【０００８】
【発明が解決しようとする課題】
しかしながら、特許文献１（特開平１１−２３９２７０号公報）に開示される画像処理方法では、全ての撮影画像に対して適正な補正を行うためには、あらゆる種類のレンズについてのレンズ情報、および各レンズ情報に対応するレンズの収差特性が予め設定されている必要があり、新機種のカメラや新しいレンズが発売される度にこれらの情報を収集し更新する必要があるため、非常に手間が掛かる。さらに、レンズの収差特性は撮影倍率（焦点距離）によっても異なるため、ズームレンズについては、各撮影倍率での収差特性を予め求めておく必要があるが、これは非常に困難である。
また、特許文献２（特開平１１−２６１８３２号公報）に開示される画像処理方法では、１つ１つの入力画像データ毎に収差特性の検出処理および収差補正を行うため、処理に膨大な時間が掛かる。また、非特許文献３（Ｈａｎｙ　Ｆａｒｉｄら、「Ｂｌｉｎｄ　ｒｅｍｏｖａｌ　ｏｆ　ｌｅｎｓ　ｄｉｓｔｏｒｔｉｏｎ」）による方法でも、各処理対象の画像データの収差の傾向や強度が分かっていないため、全画像データに対して十分広い範囲で演算を行わなければならず、処理時間を長く要する。さらに、これらの方法では、各画像の画像特性（ベタ領域が多い、濃度分布が偏っている等）によっては、収差をうまく補正できない可能性が高いという問題があった。
【０００９】
本発明は、前記従来の問題に鑑みてなされたものであり、撮影レンズに起因した画像の収差に対し、レンズの収差特性情報無しに、入力画像データから、自動で高速かつ高精度の収差補正を行うことができる画像処理方法および画像処理装置を提供することを課題とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するために、本発明は、撮影レンズを用いて光学的に撮影された画像から入力画像データを得、この入力画像データに所定の画像処理を施して、出力画像データを得るための画像処理方法であって、前記入力画像の撮影に関する撮影情報を取得し、前記撮影情報により前記入力画像を所定の群に分類し、各群の各入力画像に対する前記撮影レンズに起因する収差を補正する収差補正量を前記撮影情報とともに記憶し、前記各群毎に当該群に分類された前記入力画像データに対する収差補正量の最適値を算出し、前記収差補正量の最適値によって前記当該群に分類された前記入力画像データの収差補正を行うことを特徴とする画像処理方法を提供するものである。
【００１１】
ここで、前記各群において算出された前記収差補正量の最適値を記憶し、新たに入力された入力画像データに対して算出された収差補正量を、前記新たな入力画像データが属すべき前記分類の群における前記収差補正量の最適値と合わせて新たな収差補正量の最適値を算出し、前記新たな収差補正量の最適値で前記新たな入力画像データの収差補正を行うのが好ましい。
【００１２】
また、前記新たな入力画像データの収差補正量を算出するための演算領域を、前記新たな入力画像データが属すべき前記分類の群における収差の型、収差の強度および前記収差補正量の最適値の算出に用いられた画像データ数の少なくとも１つに応じて設定するのが好ましく、前記撮影情報は、カメラ機種判別情報もしくはレンズ種判別情報、および焦点距離情報であるのが好ましい。
【００１３】
また、本発明は、撮影レンズを用いて光学的に撮影された画像から入力画像データを得、この入力画像データに所定の画像処理を施して、出力画像データを得る画像処理装置であって、前記入力画像の撮影に関する撮影情報を取得する取得手段と、前記撮影情報により前記入力画像を所定の群に分類し、各群の各入力画像に対する前記撮影レンズに起因する収差を補正する収差補正量を、前記撮影情報とともに記憶する記憶手段と、前記各群毎に、当該群に分類された前記入力画像データに対する収差補正量の最適値を算出する演算手段と、前記収差補正量の最適値によって前記当該群に分類された前記入力画像データの収差補正を行う収差補正手段とを有することを特徴とする画像処理装置を提供するものである。
【００１４】
【発明の実施の形態】
本発明に係る画像処理方法および画像処理装置について、添付の図面に示す好適実施形態を基に以下詳細に説明する。
【００１５】
図１は、本発明に係る画像処理方法を実施する本発明の画像処理装置を利用したデジタルフォトプリンタの一例のブロック図である。
図１において、デジタルフォトプリンタ（以下単にフォトプリンタとする）１０は、基本的にフィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１１と、各種の記録媒体から画像データを読み出すメディアドライバ１２と、コンピュータネットワークを介して画像データを受信する画像データ受信装置１３と、読み取られた、あるいは受信した画像データに対する画像処理やフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して仕上がりプリントとして出力するプリンタ１６とを有する。
また、画像処理装置１４には、様々な条件の入力や設定、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１１、メディアドライバ１２または画像データ受信装置１３から入力された画像、各種の操作指示、様々な条件の設定／登録画面等を表示するディスプレイ２０とが接続される。
【００１６】
スキャナ１１は、フィルムＦ等に撮影された画像を１コマずつ光電的に読み取る装置で、光源２２と、可変絞り２４と、画像をＲ（赤）、Ｇ（緑）およびＢ（青）の三原色に分解するためのＲ、ＧおよびＢの３枚の色フィルタを有し、回転して任意の色フィルタを光路に作用する色フィルタ板２６と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２８と、結像レンズユニット３２と、フィルムの１コマの画像を読み取る画像読取センサであるＣＣＤセンサ（ここではエリアセンサである）３４と、アンプ（増幅器）３６と、Ａ／Ｄ変換器３７とを有する。
【００１７】
図示例のフォトプリンタ１０においては、ＡＰＳの２４０サイズのネガフィルムや、１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムＦの種類やサイズ、ストリップスやスライド等のフィルムＦの形態、トリミング等の処理の種類に応じて、スキャナ１１の本体に装着自在な専用のキャリアが用意されており、キャリアを交換することにより、各種のフィルムや処理に対応することができる。フィルムＦに撮影され、プリント作成に供される撮影画像（コマ）は、このキャリアによって所定の読取位置に搬送され、保持される。なお、ＡＰＳのフィルム等では、フィルムＦのエッジに磁気トラックが設けられており、情報を磁気的に記録することが可能である。この磁気トラックに記録される情報としては、カメラ機種判別情報、レンズ種判別情報、撮影倍率を示すズーム情報（焦点距離情報）、絞り値、撮影日時等の撮影情報が例示される。このようにフィルムの磁気トラックに情報が磁気的に記録されている場合には、このフィルムに対応するキャリアにこれらの磁気情報を読み取る手段が配置され、フィルムＦが読取位置に搬送される際に磁気情報が読み取られて、この磁気情報が画像処理装置１４に送られる。
【００１８】
このようなスキャナ１１においては、光源２２から射出され、可変絞り２４によって光量調整され、色フィルタ板２６を通過して色調整され、拡散ボックス２８で拡散された読取光が、キャリアによって所定の読取位置に保持されたフィルムＦの１コマに入射して透過することにより、フィルムＦに撮影されたこのコマの画像を担持する投影光を得る。フィルムＦの投影光は、結像レンズユニット３２によってＣＣＤセンサ３４の受光面に結像され、ＣＣＤセンサ３４によって光電的に読み取られ、その出力信号がアンプ３６で増幅され、Ａ／Ｄ変換器３７でデジタルの画像データ信号に変換されて、画像処理装置１４に送られる。
【００１９】
図示例のスキャナ１１においては、ＣＣＤセンサ３４はエリアセンサであるので、色フィルタ板２６のＲ，Ｇ，Ｂの各色フィルタを順次光路に挿入して３回の画像読取を行うことにより、１コマの画像をＲ，Ｇ，Ｂの３原色に分解して読み取る。なお、ＣＣＤセンサ７８は、エリアセンサに限定されず、例えば、フィルムＦの搬送方向と直交する方向に１次元的に受光素子が延在するように配置されたラインＣＣＤセンサであってもよい。
【００２０】
スキャナ１１は、プリント出力用の画像データを得るための画像読取（ファインスキャン）に先立ち、画像を低解像度で読み取るプレスキャンを行い、ファインスキャンでの読み取り条件、すなわち、可変絞り２４による光量の絞り値やＣＣＤセンサ３４で読み取る際の蓄積時間を定めてファインスキャンを行う。
【００２１】
メディアドライバ１２は、デジタルカメラに装填可能なＰＣカードやスマートメディア（登録商標）、ＩＣカード、メモリースティック等、あるいは、フレキシブルディスク（ＦＤ）、Ｚｉｐ^ＴＭ等の磁気ディスク、ＣＤ−Ｒ等の光ディスク、光磁気ディスク（ＭＯ）等の各種の記録媒体の何れかがセットされ、セットされた記録媒体に記憶されているデジタルの画像データを読み出して画像処理装置１４に出力する。また、必要に応じて、画像処理装置１４から出力された画像データをこれらの記録媒体に記録する。
【００２２】
画像データ受信装置１３は、インターネット等のコンピュータネットワークに接続されており、コンピュータネットワークを介して情報処理装置（例えばパソコン）からデジタルの画像データを受信し、受信した画像データを画像処理装置１４に出力する。
多くのデジタルカメラでは、カメラ機種判別情報、撮影倍率を示すズーム情報、絞り値、撮影日時等の撮影情報が、Ｅｘｉｆ情報等として撮影した画像データと共に記録される。メディアドライバ１２または画像データ受信装置１３から入力された画像データに伴って撮影情報が得られていた場合には、この撮影情報は画像データと共に画像処理装置１４に出力される。
【００２３】
画像処理装置１４は、スキャナ１１、メディアドライバ１２または画像データ受信装置１３から入力された画像データに対して所定の画像処理を施す。
図２に、画像処理装置１４の概略構成を表すブロック図を示す。画像処理装置１４は、データ処理部３８、プレスキャンメモリ４０、ファインスキャンメモリ４２、プレスキャン画像処理部４４、ファインスキャン画像処理４６、条件設定部４８および収差補正設定部６０を有する。
【００２４】
データ処理部３８は、スキャナ１１から出力された画像データ信号に対し、Ｌｏｇ変換、ＤＣオフセット補正、暗時補正、シェーディング補正、欠陥画素補正等を行い、プレスキャンデータはプレスキャンメモリ４０に、ファインスキャンデータはファインスキャンメモリ４２に、それぞれ記憶（格納）する。なお、プレスキャンデータとファインスキャンデータとは、解像度（画素密度）と信号レベルが異なる以外は、基本的に同じデータである。また、スキャナ１１においてフィルムの磁気トラックから撮影情報が読み取られていた場合には、この撮影情報は該当するプレスキャンデータに伴ってプレスキャンメモリ４０に記憶される。
【００２５】
また、データ処理部３８は、メディアドライバ１２または画像データ受信装置１３から出力された画像データに対しては、圧縮されていた画像データ（例えばＪＰＥＧ形式の画像データ）の解凍や、鮮鋭度向上等の処理を行い、プレスキャンメモリ４０およびファインスキャンメモリ４２にそれぞれ記憶（格納）するが、このうちプレスキャンメモリ４０には、プレスキャンデータと同程度の低解像度に変換した画像データを記憶する。画像データに伴って撮影情報が得られていた場合には、この撮影情報は該当する低解像度データに伴ってプレスキャンメモリ４０に記憶される。
【００２６】
プレスキャンメモリ４０に記憶されたプレスキャンデータおよび低解像度データはプレスキャン画像処理部４４において処理され、ファインスキャンメモリ４２に記憶されたファインスキャンデータおよび高解像度データはファインスキャン画像処理４６において処理される。また、プレスキャンメモリ４０に記憶されたプレスキャンデータおよび低解像度データと、その撮影情報は、プレスキャン画像処理部４４およびファインスキャン画像処理部４６における画像処理条件の設定のために、条件設定部４８に供される。
【００２７】
プレスキャン画像処理部４４は、画像処理ユニット５０および画像データ変換部５２を有する。他方、ファインスキャン画像処理部４６は、画像処理ユニット５４および画像データ変換部５８を有する。プレスキャン画像処理部４４の画像処理ユニット５０（以下、処理部５０とする）と、ファインスキャン画像処理部４６の画像処理ユニット５４（以下、処理部５４とする）は、共に、後述する条件設定部４８が設定した画像処理条件に応じて、スキャナ１１によって読み取られた画像（画像データ）、またはメディアドライバ１２もしくは画像データ受信装置１３から入力された画像データに所定の画像処理を施す部位である。両処理部５０および５４は、処理する画像データの画素密度が異なる以外には、基本的に同様の処理を行う。処理部５０および５４における画像処理としては、一般的に、色バランス調整、コントラスト補正（階調処理）、明るさ補正、覆い焼き処理（濃度ダイナミックレンジの圧縮／伸長）、彩度補正、シャープネス（鮮鋭化）処理等が、また、これらの処理に加え、収差補正、電子変倍処理等が例示される。
【００２８】
これらは、演算、ＬＵＴ（ルックアップテーブル）による処理、マトリクス（ＭＴＸ）演算、フィルタによる処理等を適宜組み合わせた、公知の方法で行われるものであり、図示例においては、色バランス調整明るさ補正およびコントラスト補正がＬＵＴで行われ、彩度補正がＭＴＸで行われる。また、収差補正および電子変倍処理が収差補正部５１および収差補正部５６で行われる。これ以外のシャープネス処理や覆い焼き処理等は、オペレータによる指示や画像データ等に応じて、ブロック５０Ａおよびブロック５４Ａで行われる。
【００２９】
処理部５０および５４で処理された画像データは、それぞれ画像データ変換部５２および５８に送られる。プレスキャン画像処理部４４の画像データ変換部５２は、処理部５０によって処理された画像データを、３次元ＬＵＴ等を用いてディスプレイ２０による表示に対応する画像データに変換する。他方、ファインスキャン画像処理部４６の画像データ変換部５８は、処理部５４によって処理された画像データを３次元ＬＵＴを用いてプリンタ１６による画像記録に対応する出力画像データに変換してプリンタ１６に供給する部位である。
【００３０】
条件設定部４８は、プレスキャン画像処理部４４およびファインスキャン画像処理部４６による各種の処理条件を設定するものであり、画像処理条件設定部７２、キー補正部７４およびパラメータ統合部７６を有する。また、画像処理条件設定部７２には、収差補正処理条件を設定するための収差補正設定部６０が接続されている。
画像処理条件設定部７２（以下、設定部７２とする）は、処理部５０および５４で施される画像処理を選択すると共に、プレスキャンデータまたは低解像度データを用いて、これらの画像処理における画像処理条件を設定し、パラメータ統合部７６に供給する。具体的には、設定部７２は、プレスキャンデータまたは低解像度データから、濃度ヒストグラムの作成や、平均濃度、ＬＡＴＤ（大面積透過濃度）、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出等を行い、加えて、オペレータが必要に応じて操作系１８を用いて行う指示に応じて、グレイバランス調整、明るさ補正、およびコントラスト補正のＬＵＴの作成、彩度補正を行うマトリクス演算の作成等や、プレフィルタ処理、覆い焼き処理、シャープネス処理、収差補正処理、電子変倍処理等の画像処理条件を決定または設定する。
【００３１】
キー補正部７４は、キーボード１８ａに設定された明るさ、色、彩度、コントラスト、シャープネス等を調整するキーやマウス１８ｂで入力された各種の指示等に応じて、画像処理条件の調整量（例えば、ＬＵＴの補正量等）を算出し、パラメータ統合部７６に供給するものである。パラメータ統合部７６は、設定部７２が設定した画像処理条件を受け取り、供給された画像処理条件をプレスキャン画像処理部４４の処理部５０およびファインスキャン画像処理部４６の処理部５４に設定し、さらに、キー補正部７４で算出された調整量に応じて、各部位に設定した画像処理条件を補正（調整）し、あるいは画像処理条件を再設定する。
【００３２】
収差補正設定部６０は、プレスキャンデータまたは低解像度データを用いて、処理部５０および５４の収差補正部５１および５６において実施される収差補正処理の条件設定を行うものであり、演算部６２、管理部６４および記憶部６６を有する。これらの作用は後に詳述する。収差補正設定部６０で設定された収差補正条件（収差補正量）は条件設定部４８の設定部７２に出力され、パラメータ統合部７６によってプレスキャン画像処理部４４の処理部５０およびファインスキャン画像処理部４６の処理部５４に設定される。
【００３３】
以下、本実施形態におけるフォトプリンタ１０の作用を説明する。
コンパクトカメラや一眼レフカメラ、ＡＰＳカメラ、レンズ付きフィルム等で撮影されたフィルムからプリントを作成する際、スキャナ１１によってフィルムの画像が読み取られ画像データが取得されると共に、撮影に用いられたカメラの機種判別情報、レンズ交換式カメラの場合にはレンズ種判別情報、撮影倍率を示すズーム情報、絞り値、撮影日時等の撮影情報が取得される。ＡＰＳカメラ等によって撮影されたフィルムで、撮影情報がフィルムの磁気トラックに記録されていた場合には、スキャナ１１で画像と共に撮影情報が読み出される。それ以外のカメラやレンズ付フィルム等で撮影されたフィルムの場合には、プリント注文の受付時に、カメラ機種や、レンズ種（一眼レフカメラ等のレンズ交換式カメラの場合）、撮影倍率等の情報をプリント注文者（顧客）から入手し、オペレータが操作系１８から入力すること等により撮影情報が作成される。また、撮影日時が光学的にフィルムに記録されていた場合には、文字認識手段を用いてこれを読み取り、撮影情報としてもよい。
【００３４】
また、デジタルカメラや携帯電話に搭載されたデジタルカメラ等で撮影された画像のプリントを作成する際には、メディアドライバ１２または画像データ受信装置１３から画像データが取得される。多くの場合、デジタルカメラで撮影された画像データには、カメラ機種判別情報、ズーム情報、絞り値、撮影日時等の撮影情報が、Ｅｘｉｆ情報等として画像データと共に記録されているので、画像データ取得時に撮影情報も取得される。そうでない場合は、顧客から入手したカメラ機種等の情報をオペレータが操作系１８から入力すること等により撮影情報を作成する。
なお、撮影情報としてカメラ機種判別情報もしくはレンズ種判別情報、およびズーム情報が得られていない場合には、プリント注文者や注文日時を含む注文情報を操作系１８から入力して撮影情報とする。また、画像の濃度や色の分布等の画像特徴量から判別される画像の類似性等（設定部７２で算出される画像特徴量等）を撮影情報に含めてもよい。
【００３５】
スキャナ１１、メディアドライバ１２または画像データ受信装置１３により取得された画像データならびに撮影情報、および操作系１８から入力された撮影情報は、画像処理装置１４のデータ処理部３８に送られる。データ処理部３８は、プレスキャンデータまたは低解像度データと撮影情報をプレスキャンメモリ４０に、ファインスキャンデータまたは高解像度データをファインスキャンメモリ４２に記憶（格納）する。プレスキャンメモリ４０に記憶されたプレスキャンデータまたは低解像度データは、撮影情報と合わせて条件設定部４８に読み出され、さらに収差補正設定部６０へ送られる。
【００３６】
上述のように、収差補正設定部６０の演算部６２、管理部６４および記憶部６６は、プレスキャン画像処理部４４の収差補正部５１およびファインスキャン画像処理部４６の収差補正部５６で実行される収差補正の条件（収差補正量）を設定する部分である。収差補正設定部６０の収差補正量設定処理の流れを図３のフローチャートを参照して説明する。
【００３７】
本発明の収差補正処理は、撮影レンズに起因する収差がレンズの種類およびズームレンズの撮影倍率によって異なることに着目し、同じカメラ機種もしくはレンズ種、および同等の撮影倍率で撮影された画像が同一の群となるように複数の画像を分類し、各群の画像を、それらに最適な同一の収差補正量で補正するものである。これにより、従来、単一の画像から収差補正量を求めて補正した場合に起こっていた補正の失敗が無くなり、高精度な収差補正が可能となる。すなわち、単一の画像から収差補正量を求める場合、その画像の画像特性（例えば、ベタ領域が非常に多い、濃度分布や色分布が極端に偏っている等）により、適切な収差補正量を算出できず、補正に失敗する可能性があるが、同様の収差を持つと推定される複数の画像から算出された収差補正量の平均値を用いてこれらの全画像を補正することにより、このような失敗を避けることができる。
また、本発明の収差補正処理は、上記分類の群およびその群の画像に最適な収差補正量が設定された後に得られた、この群に分類されるべき画像については、この群の収差の型（例えば、歪曲収差のたる型や糸巻き型等）や強度に応じた演算により収差補正量を算出することで、処理装置における演算負荷を軽減し、高速な画像処理を実現可能とするものである。
ここで、収差補正量とは、収差の補正方法および補正強度等を含む補正処理量であり、補正量そのものでなくともよく、補正量を算出する補正式の形で与えられていてもよいし、補正係数でもよい。
【００３８】
収差補正処理においては、まず、ステップ１００で、演算部６２が各画像データに対し収差補正量を自動的に演算する。収差補正量の演算方法としては、従来用いられている各種の方法を使用することができる。歪曲収差に対しては、例えば、Ｈａｎｙ　ＦａｒｉｄおよびＡｌｉｎ　Ｃ．Ｐｏｐｅｓｃｕによる論文「Ｂｌｉｎｄ　ｒｅｍｏｖａｌ　ｏｆ　ｌｅｎｓ　ｄｉｓｔｏｒｔｉｏｎ」（Ｏｐｔｉｃａｌ　Ｓｏｃｉｅｔｙ　ｏｆ　Ａｍｅｒｉｃａ／Ｖｏｌ．１８，Ｎｏ．９／Ｓｅｐｔｅｍｂｅｒ　２００１　、非特許文献１）に開示される方法、すなわち、画像の高調波成分が最小になる収差補正量を求める方法が好適に使用可能である。また例えば、特開平１１−２６１８３２号公報（特許文献２）に開示される方法、すなわち、画像データをディスプレイ２０に表示させ、表示された画像中の本来直線であると考えられる被写体（例えば、柱など）を抽出し、この被写体の本来あるべき直線からの歪みを補正するような補正式を算出する方法を用いてもよい。
【００３９】
ステップ１０２では、算出された各画像データの収差補正量およびその画像の撮影情報が、演算部６２から管理部６４に送られる。以下、その画像の収差補正量および撮影情報を収差補正情報と称する。
ステップ１０４では、管理部６４が、各画像データの収差補正情報が所定数になるまでそれらを一時的に保管する。ステップ１０６では、これが所定数に達したか否かを判定し、達していなければステップ１００に戻ってさらに収差補正情報の保管を続行し、所定数に達したらステップ１０８へ進む。
【００４０】
ステップ１０８では、管理部６４が、各収差補正情報を撮影情報のカメラ機種判別情報およびズーム情報、または、レンズ種判別情報およびズーム情報により分類し、記憶部６６に記憶する。例えば、図４に示すように、Ａ社製コンパクトカメラの広角モードで撮影された画像に関するデータ群Ａ、Ａ社製コンパクトカメラの望遠モードで撮影された画像に関するデータ群Ｂ、Ｂ社製レンズ付きフィルムで撮影された画像に関するデータ群Ｃ、といったように、各画像に関する収差補正情報が、同種の撮影情報を有する群に分類される。
【００４１】
ここで、コンパクトカメラやレンズ付きフィルム、デジタルカメラ等は、撮影レンズが交換されることがないため、カメラ機種からレンズ種を特定することができる。一眼レフ等のレンズ交換式カメラの場合には、レンズ種情報が前述のように取得される。また、画像の収差特性は同一の撮影レンズで撮影された場合でも撮影倍率によって異なるため、カメラ機種判別情報もしくはレンズ種判別情報に併せてズーム情報が得られていることが重要である。なお、撮影情報としてカメラ機種判別情報およびレンズ種判別情報が無く、注文情報が入力されていた場合は、この情報により分類してもよい。プリント注文者、注文日時等が同一であれば、概ね同一のカメラで撮影されたものと推定できるからである。
【００４２】
次に、ステップ１１０において、管理部６４は、各群における収差補正量の平均値を算出し、その群の収差補正量の最適値とする。ここで、収差補正量の平均値は、単純平均もしくは重み付き平均の値である。なお、単一の画像から収差補正量を求める場合、その画像の画像特性に起因して、適切なデータが求められないことがある。ステップ１１０においては、標準偏差を取り、極端に外れているデータを無視する等の方法により、ステップ１００において適切なデータが得られていなかった場合の影響を低減するようにしてもよい。このようにして求められた収差補正量の最適値は、該当する群の撮影情報と関連付けて記憶部６６に記憶される。
【００４３】
ステップ１１２では、その画像データが属する群の収差補正量の最適値が、管理部６４から演算部６２を介して条件設定部４８へ出力される。
以上のようにして、収差補正量が条件設定部４８に出力されると、条件設定部４８は、この収差補正量およびその他各種の画像処理条件をプレスキャン画像処理部４４の処理部５０に設定する。処理部５０は、プレスキャンメモリ４０から読み出したプレスキャンデータまたは低解像度データに対し、設定された処理条件に従って、収差補正その他各種の画像処理を実行する。この時、収差補正部５１では、収差補正設定部６０で設定された収差補正量により、画像データの収差補正処理が行われる。
【００４４】
処理部５０で処理を施された画像データは画像データ変換部５２に出力され、ディスプレイ２０に表示される。ディスプレイ２０に表示された画像はオペレータによる検定に用いられ、操作系１８からの指示によって、ファインスキャン画像処理部４６における処理条件が決定される。ここで、収差補正量の調整がなされた場合には、調整されたデータが、該当する画像データの収差補正量のみならず、管理部６４に記憶されている該当する群の収差補正量の最適値にも反映されるようにしてもよい。
【００４５】
収差補正およびその他の画像処理条件が決定されると、ファインスキャン画像処理部４６において、ファインスキャンメモリ４２に記憶されたファインスキャンデータまたは高解像度データに対し設定された条件で画像処理が施される。この時、収差補正部５６では収差補正処理が施される。ファインスキャン画像処理部４６における全ての処理を終えた画像データは、プリンタ１６に出力されて、プリントが作成される。
【００４６】
なお、上述の例では、収差補正情報を一時的に保管し、所定数の収差補正情報を一度に分類して、１つの群に分類された複数の画像データに対する収差補正量の平均値を算出しているが、図３のフローチャートにおいてステップ１０４および１０６の無い形態とし、入力された収差補正情報を逐次分類して、各群においてその都度収差補正量の平均値を算出し、入力された画像の収差補正量としてもよい。
【００４７】
次に、記憶部６６に所定の群およびその群の収差補正量の最適値が既に記憶されていた場合の、収差補正処理について、図３を参照して説明する。
上述の例と同様にして、記憶部６６に複数の群が設定され、各群における収差補正量の最適値が記憶された状態で、新たに画像データおよび撮影情報が画像処理装置１４に入力されると、この画像のプレスキャンデータまたは低解像度データに対し、演算部６２において収差補正量の演算が行われる（ステップ１００）。
【００４８】
ここで、演算部６２は、収差補正量の演算に先立って、該画像データの撮影情報を用いて、この画像データの属する群を管理部６４を介して記憶部６６に問い合わせ、該当する群が既に設定されていた場合にはその群の収差の型や強度に応じて、演算部６２における収差補正量の演算の範囲を設定する。例えば、この画像データの属する群の収差の型がたる型であれば、たる型の収差を補正する処理範囲で演算を行えばよいし、糸巻き型であれば、糸巻き型の収差補正の処理範囲で演算を行えばよい。また、一眼レフカメラの群などで収差の強度の範囲が狭い群に属するのであれば、この狭い範囲での演算を行えばよい。これにより、演算部６２の演算負荷を低減し、処理の高速化を図ることができる。
【００４９】
また、記憶部６６において、１つの群における収差補正量の最適値を求めるのに使用された画像データ数（収差補正量の数）を記憶し、使用画像データ数が所定数に達したら、その収差補正量の最適値の精度が十分高まったと見なし、演算部６２において新たな画像データの収差補正量を演算する際の範囲を、さらに狭く設定するのも好ましい。これにより、演算部６２における演算負荷をさらに低減することができる。
【００５０】
このように、ステップ１００で、演算負荷が低減された方法により収差補正量が算出されると、ステップ１０２で、収差補正情報が管理部６４に出力され、ステップ１０２からステップ１０８へ移行する。ステップ１０８では、管理部６４が、収差補正情報を撮影情報によって所定の群に分類し、この画像データの収差補正量と分類された群の収差補正量の最適値との平均値を新たな収差補正量の最適値として（ステップ１１０）、以後、上述の例と同様にして収差補正処理を行うことにより、演算のより一層の高精度化および高速化を図ることができる。
【００５１】
なお、新たに入力された画像データの撮影情報としてカメラ機種判別情報もしくはレンズ種判別情報、およびズーム情報が得られていて、分類される群が一意的に決まる場合であり、なおかつ記憶部６６に記憶されている該当する群の収差補正量の最適値の精度が十分高い場合には、ステップ１００において収差補正量の演算をすることなくステップ１０２、ステップ１０８へと移行した後、ステップ１１０で収差補正量の最適値を演算することなくステップ１１２へ移行して、既に記憶部６６に記憶されている収差補正量の最適値を管理部６４が読み出し、新たに入力された画像データの収差補正量として条件設定部４８に出力してもよい。
【００５２】
また、収差補正設定部６０に入力されたカメラ機種判別情報やレンズ判別情報が新しいタイプのもの（新機種）であった場合で、記憶部６６に既に設定されている群のカメラと同一のメーカで製造された同じシリーズのカメラ等であって、収差特性が近いことが収差補正設定部６０において判断された場合、あるいはオペレータにより操作系１８から入力されていた場合には、この群の収差の型や強度に応じて収差補正量の演算の範囲を設定するのが好ましい。これにより、新しく発売されたカメラやレンズにも迅速かつ容易に対応することができる。
【００５３】
また、記憶部６６をインターネット等のネットワークに接続する形態とし、フォトプリンタ１０と同種の画像処理装置とこれらの管理サーバをネットワーク上に配置して、各所に設置された複数の画像処理装置において生成された収差補正情報を管理サーバにアップロードし、管理サーバにおいてより最適な収差補正情報を生成し、最適化された収差補正情報を各所の画像処理装置にダウンロードして使用することにより、収差補正処理の更なる高精度化を図ることも可能である。
【００５４】
なお、カメラ機種判別情報もしくはレンズ種判別情報、およびズーム情報とそれに対応する収差補正量からなる収差補正情報が、別の手段により予め得られていた場合には、これらを操作系１８により設定するか、あるいは記憶部６６が外部からアクセス可能な形態とし、外部から記憶部６６に設定して用いてもよい。例えば、インターネット等のネットワーク上の管理サーバ等に収差補正情報が保管されていれば、操作系１８等からの指示により、管理サーバ等から収差補正情報をダウンロードし、記憶部６６に設定して用いてもよい。このような形態とした場合には、新機種のカメラや新しいレンズの発売時に、カメラメーカーやレンズメーカーから収差補正情報の提供を受け、この収差補正情報を管理サーバに保管することで、新製品の発売にも容易に対応することができる。
【００５５】
また、１つの群に分類される画像についての収差補正方式を複数用意し、第１の収差補正方式では本発明に係る画像処理方法によって収差を補正し、第２の収差補正方式では予め設定された収差補正情報によって収差補正を行う等とし、これらの収差補正方式を記憶部６６に記憶しておき、画像の特性、撮影レンズの特性、処理画像の用途等により、収差補正方式を適宜選択可能な形態としてもよい。
【００５６】
なお、本実施例では、収差補正設定部６０において、演算部６２で収差補正量を算出した後、管理部６４で収差補正情報（収差補正量および撮影情報）を分類し、記憶部６６には収差補正情報のみを記憶するものとしたが、収差補正情報と共に画像データを分類し、分類の後に収差補正量を算出してもよいし、画像データも合わせて記憶部６６に記憶してもよい。
【００５７】
本実施例においては、主として歪曲収差の補正について説明したが、本発明はこれには限定されず、色収差（軸上色収差、倍率色収差）等の収差や、撮影レンズ起因の画質劣化である周辺減光、フレア等の補正にも適用可能である。
【００５８】
以上詳細に説明したように、本実施形態によれば、入力された複数の画像を、同じカメラ機種もしくは同じレンズ種、および同等の撮影倍率で撮影された画像の群に分類し、同一の群の画像にとって最適な収差補正量を求めて、この最適値により同一の群の全画像を収差補正するので、撮影レンズの収差特性を予め用意しなくとも、高精度の収差補正を行うことができる。また、群が設定された後に入力された画像の収差補正量演算に際しては、各群の収差の型や強度に応じて演算範囲が設定されるので、演算に要する時間を短縮し、処理の高速化を図ることができる。
【００５９】
以上、本発明の画像処理方法および画像処理装置について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【００６０】
【発明の効果】
以上説明した通り、本発明の画像処理方法および画像処理装置によれば、各種のレンズを用いて異なる撮影倍率で撮影された画像に対し、レンズの収差特性情報を用意することなく、自動で高精度の収差補正を行うことができ、かつ、処理の高速化を図ることができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置を利用したデジタルフォトプリンタの概略構成を示すブロック図である。
【図２】図１の画像処理装置の概略構成を示すブロック図である。
【図３】収差補正処理の内容を示すフローチャートである。
【図４】収差補正情報の分類方法の説明図である。
【符号の説明】
１０　フォトプリンタ
１１　スキャナ
１２　メディアドライバ
１３　画像データ受信装置
１４　画像処理装置
１６　プリンタ
１８　操作系
２０　ディスプレイ
２２　光源
２４　可変絞り
２６　色フィルタ板
２８　拡散ボックス
３２　結像レンズユニット
３４　ＣＣＤセンサ
３６　アンプ
３７　Ａ／Ｄ変換器
３８　データ処理部
４０　プレスキャンメモリ
４２　ファインスキャンメモリ
４４　プレスキャン画像処理部
４６　ファインスキャン画像処理部
４８　条件設定部
５０，５４　処理部
５０Ａ，５４Ａ　ブロック
５１，５６　収差補正部
５２，５８　画像データ変換部
６０　収差補正設定部
６２　演算部
６４　管理部
６６　記憶部
７２　（画像処理条件）設定部
７４　キー補正部
７６　パラメータ統合部

Claims

撮影レンズを用いて光学的に撮影された画像から入力画像データを得、この入力画像データに所定の画像処理を施して、出力画像データを得るための画像処理方法であって、
前記入力画像の撮影に関する撮影情報を取得し、前記撮影情報により前記入力画像を所定の群に分類し、各群の各入力画像に対する前記撮影レンズに起因する収差を補正する収差補正量を前記撮影情報とともに記憶し、前記各群毎に当該群に分類された前記入力画像データに対する収差補正量の最適値を算出し、前記収差補正量の最適値によって前記当該群に分類された前記入力画像データの収差補正を行うことを特徴とする画像処理方法。
前記各群において算出された前記収差補正量の最適値を記憶し、新たに入力された入力画像データに対して算出された収差補正量を、前記新たな入力画像データが属すべき前記分類の群における前記収差補正量の最適値と合わせて新たな収差補正量の最適値を算出し、前記新たな収差補正量の最適値で前記新たな入力画像データの収差補正を行う請求項１に記載の画像処理方法。
前記新たな入力画像データの収差補正量を算出するための演算領域を、前記新たな入力画像データが属すべき前記分類の群における収差の型、収差の強度および前記収差補正量の最適値の算出に用いられた画像データ数の少なくとも１つに応じて設定する請求項２に記載の画像処理方法。
前記撮影情報は、カメラ機種判別情報もしくはレンズ種判別情報、および焦点距離情報である請求項１〜３のいずれかに記載の画像処理方法。
撮影レンズを用いて光学的に撮影された画像から入力画像データを得、この入力画像データに所定の画像処理を施して、出力画像データを得る画像処理装置であって、
前記入力画像の撮影に関する撮影情報を取得する取得手段と、
前記撮影情報により前記入力画像を所定の群に分類し、各群の各入力画像に対する前記撮影レンズに起因する収差を補正する収差補正量を、前記撮影情報とともに記憶する記憶手段と、
前記各群毎に、当該群に分類された前記入力画像データに対する収差補正量の最適値を算出する演算手段と、
前記収差補正量の最適値によって前記当該群に分類された前記入力画像データの収差補正を行う収差補正手段とを有することを特徴とする画像処理装置。