JP2004086747A - Method for measuring distortion aberration and image processing device - Google Patents

Method for measuring distortion aberration and image processing device Download PDF

Info

Publication number
JP2004086747A
JP2004086747A JP2002249340A JP2002249340A JP2004086747A JP 2004086747 A JP2004086747 A JP 2004086747A JP 2002249340 A JP2002249340 A JP 2002249340A JP 2002249340 A JP2002249340 A JP 2002249340A JP 2004086747 A JP2004086747 A JP 2004086747A
Authority
JP
Japan
Prior art keywords
distortion
correction coefficient
image data
coefficient
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002249340A
Other languages
Japanese (ja)
Inventor
Haruki Furuta
古田 治樹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kodak Digital Product Center Japan Ltd
Original Assignee
Kodak Digital Product Center Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kodak Digital Product Center Japan Ltd filed Critical Kodak Digital Product Center Japan Ltd
Priority to JP2002249340A priority Critical patent/JP2004086747A/en
Publication of JP2004086747A publication Critical patent/JP2004086747A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To estimate distortion aberration from picture data and to correct the distortion aberration. <P>SOLUTION: Photographed picture data are processed by edge extraction processing and thinning processing to obtain many segments. Respective segments are identified and the distortion aberration coefficient of each segment is calculated while supposing that a part of a straight line of each segment is distorted. These distortion aberration coefficients are statistically processed to estimate a distortion correction coefficient. Projection conversion processing is applied to the picture data by using the distortion correction coefficient to obtain corrected picture data. Even in the case of the picture data of a general natural image in which the characteristics of a photographing lens 21 are unknown, the distortion aberration of the picture data can be corrected. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、画像データの歪曲収差を測定し補正可能とする歪曲収差測定方法及び画像処理装置に関する。
【0002】
【従来の技術】
従来、例えば撮影レンズで撮影した四角い物体が糸巻き状あるいは樽状に変形する収差がある撮影レンズの歪曲収差について、画像データを電気的に補正する方法が知られている。
【0003】
例えば、電子スチルカメラの撮影レンズの歪曲収差について、予め記録したデータに基づき、画像を電気的に補正する方法が知られている(例えば、特許文献1参照。)。
【0004】
この特許文献1記載の構成では、画像データを記録するメモリ(RAM)、再生時の補正処理を行うマイクロコンピュータとともに、レンズ歪曲処理用のデータを予め記録したROMを備えている。そして、この構成では、各画像データとともに撮影レンズの歪み情報を記録させておき、画像データの再生時に歪み情報に基づいて補正するようになっている。
【0005】
しかしながら、この構成では、予め撮影レンズの歪み情報を測定して記録させておく必要性があり、特定の撮影レンズのみに適用可能であり、汎用性が低い問題を有している。
【0006】
この点、レンズの歪曲補正処理用のデータを予め測定してROMなどに記録せず、基準となる特定の対象物を撮影し、この画像データから歪曲係数を算出して補正を行うテレビカメラとデータ処理装置の構成が知られている(例えば、特許文献2参照。)。
【0007】
この特許文献2記載の構成では、マスターワークと称する対象物を撮影し、撮影した画像データから撮影レンズの中心座標を算出し、さらに、この中心座標に基づいて、撮影レンズの歪曲率を補正する歪曲補正係数を算出するようになっている。
【0008】
しかしながら、この構成では、基準となる特定の対象物を撮影して歪曲補正係数を算出する煩雑な作業の必要があり、汎用性が低い問題を有している。
【0009】
【特許文献1】
特公平5−15111号公報 (表1−3、第5図)
【0010】
【特許文献2】
特開平7−15647号公報 (図1−図5)
【0011】
【発明が解決しようとする課題】
上記従来のように、レンズ歪曲処理用のデータを用いる構成では、予め撮影レンズの歪み情報を測定して記録させておく必要性があり、汎用性が低い問題を有している。また、基準となる特定の対象物を撮影し、この画像データから歪曲係数を算出して補正を行う構成では、基準となる特定の対象物を撮影する必要があり、汎用性が低い問題を有している。
【0012】
本発明は、このような点に鑑みなされたもので、歪曲収差を容易に補正可能な歪曲収差測定方法及び画像処理装置を提供することを目的とする。
【0013】
【課題を解決するための手段】
請求項1記載の歪曲収差測定方法は、画像データの境界成分を線分として抽出する境界抽出工程と、抽出した複数の前記線分を個々に識別する線分識別工程と、識別した前記各線分について直線の一部が歪曲されたものと仮定してそれぞれ歪曲収差係数を算出する歪曲係数算出工程と、算出された前記各歪曲収差係数を統計的に処理して、前記画像データの歪曲収差を補正する歪曲補正係数を推定する補正係数推定工程とを具備したものである。
【0014】
そして、この構成では、画像データから、この画像データの歪曲収差を補正する歪曲補正係数が推定される。そして、この歪曲補正係数を用いて、自動的にあるいは手動により歪曲収差を補正することが可能になる。歪曲収差を補正する係数を予め測定しておく必要がなく、歪曲収差が容易に補正される。
【0015】
請求項2記載の歪曲収差測定方法は、請求項1記載の歪曲収差測定方法において、補正係数推定工程の統計的処理には、平均値算出、分散算出、及びヒストグラム作成の少なくとも一を用いるものである。
【0016】
そして、この構成では、平均値算出、分散算出、及びヒストグラム作成のいずれか一あるいは複数を組み合わせて用いることにより、歪曲補正係数が推定される。
【0017】
請求項3記載の歪曲収差測定方法は、請求項1または2記載の歪曲収差測定方法において、線分識別工程で個々に識別された複数の線分のうち、相対的に短い線分は歪曲係数算出工程における歪曲収差係数の算出の対象から除外するフィルタ工程を具備したものである。
【0018】
そして、この構成では、有効な情報を持っていない可能性が大きいか、または計算誤差が大きくなる線分である相対的に短い線分を歪曲収差係数の算出の対象から除外することにより、歪曲補正係数が精度良く推定される。
【0019】
請求項4記載の画像処理装置は、画像データの境界成分を線分として抽出する境界抽出手段と、抽出した複数の前記線分を個々に識別する線分識別手段と、識別した前記各線分について直線の一部が歪曲されたものと仮定してそれぞれ歪曲収差係数を算出する歪曲係数算出手段と、算出された前記各歪曲収差係数を統計的に処理して、前記画像データの歪曲収差を補正する歪曲補正係数を推定する補正係数推定手段とを具備したものである。
【0020】
そして、この構成では、画像データから、この画像データの歪曲収差を補正する歪曲補正係数が推定される。そして、この歪曲補正係数を用いて、自動的にあるいは手動により歪曲収差を補正することが可能になる。歪曲収差を補正する係数を予め測定しておく必要がなく、歪曲収差が容易に補正される。
【0021】
請求項5記載の画像処理装置は、請求項4記載の画像処理装置において、推定された歪曲補正係数に基づき、画像データの歪曲収差を補正する射影変換手段を具備したものである。
【0022】
そして、この構成では、射影変換手段により、画像データの歪曲収差が自動的に補正される。
【0023】
請求項6記載の画像処理装置は、請求項4記載の画像処理装置において、推定された歪曲補正係数を表示する補正係数表示手段と、画像データの歪曲収差を補正する歪曲補正係数を任意に設定可能な補正係数設定手段と、設定された歪曲補正係数に基づき、画像データの歪曲収差を補正する射影変換手段を具備したものである。
【0024】
そして、この構成では、表示された歪曲補正係数を参考として、任意の程度で歪曲収差が補正される。
【0025】
請求項7記載の画像処理装置は、請求項4ないし6いずれか一記載の画像処理装置において、補正係数推定手段は、複数の統計的処理を実行可能であり、これら統計的処理を任意に選択可能な統計的処理選択手段を具備したものである。
【0026】
そして、この構成では、画像データの性質などに基づき、統計的処理を任意に選択することにより、歪曲補正係数が精度良く推定され、あるいは高速な処理が可能になる。
【0027】
請求項8記載の画像処理装置は、請求項4ないし7いずれか一記載の画像処理装置において、画像データを表示する表示手段及び画像データを印刷する印刷手段の少なくとも一方を備えた出力手段を具備したものである。
【0028】
そして、この構成では、出力手段で出力する画像データについて、歪曲補正係数を推定し、歪曲収差の補正が可能になる。歪曲収差を補正する係数を予め測定しておく必要がなく、歪曲収差が容易に補正される。
【0029】
請求項9記載の画像処理装置は、請求項4ないし8いずれか一記載の画像処理装置において、撮影レンズを有する光学系を備え、画像データを撮像して出力可能な撮像機構を具備したものである。
【0030】
そして、この構成では、撮影レンズで撮影した画像データについて、歪曲補正係数を推定し、歪曲収差の補正が可能になる。歪曲収差を補正する係数を予め測定しておく必要がなく、歪曲収差が容易に補正される。
【0031】
【発明の実施の形態】
以下、本発明の画像処理装置の一実施の形態を図面を参照して説明する。
【0032】
なお、本明細書においては、線分とは、直線の一部であるものの他、曲線も含むものとして説明する。
【0033】
図1及び図2において、10は画像処理装置で、この画像処理装置10は、カメラである撮像機構11、データ処理装置12、出力手段を構成する表示装置13、出力手段を構成する印刷装置14、及び、図示しない記録手段、操作手段などが、一体に、あるいは別体として組み合わされて、デジタルスチルカメラが構成されている。
【0034】
そして、この画像処理装置10は、図1に示すように、風景などの撮影対象物Sを撮像機構11で撮影し、一般自然画像となるデジタルの画像データをデータ処理装置12に入力する。すると、このデータ処理装置12は、データを一時的に保存し、適宜の補正を加え、表示装置13に表示し、印刷装置14で印刷し、また、記録手段に格納するようになっている。
【0035】
そして、図2に示すように、撮像機構11は、光学結像系である光学系を構成する撮影レンズ21、図示しない絞り、撮像手段であるCCDなどの撮像素子22、及び画像信号処理回路23などを備えている。そして、この撮像機構11では、撮影対象物Sの画像(一般自然画像)は、撮影レンズ21により撮像素子22に結像する。そして、この撮像素子22から出力されるアナログの画像データは、画像信号処理回路23にて、信号増幅処理すなわちゲイン調整、サンプリング処理、アナログデジタル(A/D)変換処理、補間処理、色処理などの前処理がなされ、デジタル変換処理された画像データを出力する。
【0036】
また、データ処理装置12は、CPUなどにて構成され、画像バッファメモリ31、境界抽出手段32、線分識別手段33、歪曲係数算出手段34、補正係数推定手段35、及び射影変換手段37などを備えている。そして、画像バッファメモリ31は、撮像機構11から出力された画像データを、未補正画像として一時的に記録し、また、歪曲補正した画像データを、記録手段、表示装置13、あるいは印刷装置14に出力する前に一時的に記録するものである。また、境界抽出手段32は、画像バッファメモリ31に記録された画像データに対し、画像データの境界成分を線分として抽出するもので、以降の処理が円滑に進むように、エッジ抽出処理、細線化処理を行い線分を得るものである。また、線分識別手段33は、抽出した複数の線分を個々に識別するもので、処理が重複するのを防ぐために、境界抽出手段32で得られた線分に対してラベリング処理を行うものである。また、歪曲係数算出手段34は、識別(ラベリング)した各線分について直線の一部が歪曲されたものと仮定してそれぞれ歪曲収差係数を算出するものである。また、補正係数推定手段35は、算出された各歪曲収差係数を統計的に処理して、画像データの歪曲収差を補正する歪曲補正係数を推定するもので、すなわち、統計処理を行い、この統計処理の結果から、各歪曲収差係数の傾向を把握し、歪曲補正係数を推定するものである。ここで、統計処理は、例えば、平均値の算出、あるいはヒストグラム作成処理などがある。さらに、射影変換手段37は、推定された歪曲補正係数に基づき、画像データの歪曲収差を補正するものである。さらに、図示しないが、操作手段には、データ処理装置12について、画像データを自動補正するか手動補正するかを選択する選択スイッチなどが設けられている。
【0037】
また、表示装置13は例えば液晶表示パネルを備え、印刷装置14は、カラーのインクジェットプリンタなどを備えている。
【0038】
次に、図3及び図4のフローチャートを参照して、データ処理装置12の動作を説明する。
【0039】
まず、未補正画像である画像データ(元画像データ)B0を、撮像機構11から画像バッファメモリ31に取り込む(ステップ1)。次いで、自動補正するか手動補正するかを選択する選択手段としての選択スイッチの状態に従い(ステップ2)、自動補正あるいは手動補正の処理を行う。
【0040】
そして、選択スイッチが自動補正の場合には、撮影した一般自然画像の画像データに対して、一般的に行われている方法を用いて、境界抽出工程すなわちエッジ抽出処理、細線化処理を行い、多数の線分を得る(ステップ3)。なぜなら、撮影レンズ21で撮影された未補正画像は、注目する情報以外にも多くの情報を含み、そのままでは扱いにくいからである。そこで、以降の計算処理が円滑に行われるように、画像バッファメモリ31に記録した未補正の画像データB0に対して、微分フィルタ処理、2値化フィルタ処理、孤立点除去フィルタ処理、連結点探索処理などの一般的な画像処理手法を使用して、画像データB0の境界成分を線分として抽出するエッジ抽出細線化処理を行う。
【0041】
次いで、抽出された画像データ内の線分に対して、歪曲係数算出処理が同じ線分に重複して適用されることを防ぐため、線分識別工程すなわちラベリング処理を行う(ステップ4)。そして、このラベリング処理などの際、相対的に短い線分は、ラベリングから除外し、以降の処理の対象から除外するフィルタ工程を行うこともできる(ステップ5)。ここで、相対的に短い線分とは、有効な情報を持っていない可能性が大きいか、あるいは、計算誤差が大きくなるような線分を言う。そして、このフィルタ工程を行うことにより、歪曲補正係数の推定の精度を向上し、また、処理を高速化することが可能になる。
【0042】
そして、ラベリング処理を行った線分に対して、歪曲収差係数を算出する歪曲係数算出工程を行い(ステップ6)、ラベリングした全ての線分に対して歪曲収差係数を算出したか確認する(ステップ7)。そして、この歪曲係数算出工程及び以下の工程では、識別した各線分について直線の一部が歪曲されたものと仮定し、すなわち、画像データの線分は、撮影対象物Sにおいて全て直線の一部であると仮定し、3次あるいは3次以上の次数の歪曲収差係数を算出する。そして、この歪曲収差係数の算出方法は、従来知られている方法により、例えば、撮影レンズに歪曲収差がある状態を実際状態、撮影レンズに歪曲収差がない状態を理想状態、画像データ上の特定の画像の位置を像点と呼ぶとすると、実際状態の像点と理想状態の像点との距離である歪曲量は、撮影レンズの光軸中心から理想状態の像点までの距離の3乗(3次の場合)に比例し、この比例定数を歪曲収差係数(歪曲補正係数)とするものである。
【0043】
なお、歪曲収差係数を算出する際には、撮影レンズの光軸中心の位置は画像に対して既知でなければならないので、画像の中心を撮影レンズの光軸中心と仮定して歪曲収差係数の算出を行う。また、画像データに複数対の平行線がある場合など画像データから精度良く光軸中心位置を算出できる場合や、明らかに画像の中心と撮影レンズの光軸中心とがずれている場合などには、撮影レンズの光軸中心位置を画像データから何らかの方法で算出して利用することもできる。
【0044】
ここで、一般自然画像を撮影した時に、上記の手法で歪曲収差係数を算出した場合、各線分に対応した複数の歪曲収差係数が得られてしまう。すなわち、線分は撮影対象物Sにおいて直線の一部と仮定したが、一般自然画像には直線ではない線分も含まれているからである。
【0045】
そこで、一般自然画像を撮影した撮影レンズ21に対する歪曲補正係数を推定するため、歪曲係数算出工程で算出された複数の歪曲収差係数群に対して、一般自然画像の性質や、撮影レンズ21の特性を利用して、統計的な手法を用いる統計的処理(統計処理)を行い、一般自然画像に対する歪曲補正係数の補正係数推定処理とする。ここで、統計的処理とは、平均値の算出、分散の算出、及びヒストグラムの作成などを単独であるいは複数を組み合わせた処理により、複数の歪曲収差係数群から歪曲補正係数を推定するために必要な処理を言う。
【0046】
ここで、次のような一般自然画像の性質を統計的処理により利用できることが期待される。すなわち、一般自然画像において、被写体は直線の一部である線分を有することが一般に多いと考えられる。例えば、ビルディングの外形や窓枠などの人工物を被写体に選んだ時には、被写体が直線を含むことが多いものと想定できる。また、このように直線を含む被写体については、人間はより歪曲を認識しやすいため、歪曲の補正を行うことが有効である。なお、この歪曲収差係数群の傾向が得られない場合は、被写体において直線部分が少ないものと考えられる。そして、このように直線部分が少ない被写体の画像データについては、人間は歪曲を感じにくいと考えられるため、補正を行わないようにすることもできる。
【0047】
そして、このような統計的処理の結果を用いて、歪曲補正係数を推定する補正係数推定工程すなわち補正係数推定処理を行い、すなわち、多数の歪曲収差係数に対する統計的処理の結果により、適切とされる係数を採用して、画像データを撮影した撮影レンズ21に対する歪曲補正係数とする。そして、補正係数推定処理として、本実施の形態では、以下の3個の処理を行い、3個の歪曲補正係数a,b,cを得ることができる。
【0048】
まず、歪曲補正係数aは、歪曲係数算出工程で得られた複数の歪曲収差係数の平均の値を採用するものである(ステップ8,9)。また、歪曲補正係数bは、歪曲補正係数aの方法すなわち平均の値を算出する際に、図7に示す歪曲収差係数の値と頻度との関係を示すヒストグラムを作成して閾値fを決定し、この閾値fを超えない、すなわち頻度の低い歪曲収差係数は統計計算すなわち平均の算出から除外するものである(ステップ12〜15)。さらに、歪曲補正係数cは、図7に示す歪曲収差係数の値と頻度との関係を示すヒストグラムを作成し、頻度が最大となる歪曲収差係数を歪曲補正係数として採用するものである(ステップ18〜20)。
【0049】
そして、この補正係数推定処理で推定された歪曲補正係数a,b,cを用いて、画像データ(元画像データ)B0に対して射影変換工程で射影変換処理を行い(ステップ10,16,21)、それぞれ補正した画像データBa,Bb,Bcを画像バッファメモリ31に書き込む(ステップ11,17,22)。
【0050】
次いで、補正前の画像データB0及び補正した画像データBa,Bb,Bcについて、使用者が選択手段としての操作手段を操作して選択することにより(ステップ23)、画像データを表示装置13に表示する(ステップ24)。また、表示装置13に、歪曲補正係数a,b,cを表示する(ステップ25)。
【0051】
一方、ステップ2で選択スイッチが手動補正とされた場合には、使用者が操作手段を操作することにより、任意の歪曲補正係数を入力し(ステップ26)、入力された歪曲補正係数に基づき射影変換処理し(ステップ27)、射影変換処理した画像データを画像バッファメモリ31に書き込み(ステップ28)、画像データを表示装置13に表示する(ステップ24)。
【0052】
なお、手動補正の場合にも、この手動補正に先だって、ステップ3〜22に示す自動補正処理を行って歪曲補正係数a,b,cを求めておくことにより、表示装置13に、これら歪曲補正係数a,b,cを表示して(ステップ25)、手動補正時の参考値として用いることもできる。
【0053】
そして、使用者の操作手段の操作により、表示装置13に表示した画像データを記録手段に記録し、また、印刷装置14から印刷する。
【0054】
このように、本実施の形態の撮影画像の歪曲収差補正方法によれば、光学結像系により撮影された任意の一般自然画像の画像データを画像処理して、撮影レンズ21の持つ歪曲収差補正係数を推定し、この歪曲収差補正係数を使って撮影レンズ21の歪曲収差補正を電気的に行い、原画像に近似した再生画像(補正画像)を得ることができる。そこで、任意の一般自然画の撮影に使用された撮影レンズ21の特性が未知の場合にも、撮影に使用された撮影レンズ21の特性を推定することが可能になり、歪曲収差を補正する係数を予め測定しておく必要がなく、自動補正も可能になり、歪曲収差補正を格段に容易にすることができる。
【0055】
すなわち、画像バッファメモリ31に記録した画像データを用いて、エッジ抽出細線化処理、ラベリング処理、歪曲係数算出処理、統計処理を用いた補正係数推定処理を行うことにより、自動的に歪曲補正係数を推定でき、さらに、射影変換処理を行うことにより、歪曲補正した再生用画像データを自動的に得ることができる。
【0056】
また、歪曲収差について自動補正と手動補正とを選択する選択手段を備えたため、使用者の要望に広く応えることができる。
【0057】
また、歪曲収差を手動補正とする場合にも、自動補正の処理で歪曲補正係数を算出して表示することにより、手動補正の際の参考とすることができる。
【0058】
また、補正係数推定処理において、複数の処理方法を選択可能とする選択手段を備えたため、歪曲補正係数が精度良く推定され、あるいは高速な処理などが可能になり、使用者の要望に広く応えることができる。
【0059】
なお、上記の第1の実施の形態では、補正係数推定処理において、複数の処理方法を順次実行してそれぞれ画像データを記録したが、使用者の操作により、あるいは自動的に、選択した1個の処理方法のみを実行することにより、処理時間を短縮できる。
【0060】
また、補正係数推定処理において、各統計的処理が成功したかどうかを自動的に判定し、成功とは認められない場合は、射影変換処理を行わないこともできる。
【0061】
次に、第2の実施の形態を図5及び図6に示すフローチャートを参照して説明する。
【0062】
これら図5及び図6に示すフローチャートにおいて、図3及び図4に示すフローチャートと同一のステップ番号を付したステップ1〜7、及びステップ26〜28は、第1の実施の形態と同一の処理を行うものである。
【0063】
そして、本実施の形態では、歪曲補正係数を推定する補正係数推定処理の方法(統計処理モード)を、操作手段により使用者が選択可能になっている。そこで、歪曲係数算出工程(ステップ6,7)に続き、この統計処理モードの選択に従い(ステップ50)、ステップ8と同様に歪曲係数算出工程で得られた複数の歪曲収差係数の平均の値を採用し(ステップ51)、あるいは、ステップ12ないし14と同様に、平均の値を算出する際に、図7に示す歪曲収差係数の値と頻度との関係を示すヒストグラムを作成して閾値fを決定し、この閾値fを超えない、すなわち頻度の低い歪曲収差係数は統計計算すなわち平均の算出から除外した値を採用し(ステップ52〜54)、あるいは、ステップ18及び19と同様に、図7に示す歪曲収差係数の値と頻度との関係を示すヒストグラムを作成し、頻度が最大となる歪曲収差係数を歪曲補正係数として採用し(ステップ55,56)、これら採用した値を歪曲補正係数eとする(ステップ57)。そして、ステップ21〜25と同様に、歪曲補正係数eに基づき画像データに射影変換処理を行い(ステップ59)、補正した画像データBeを画像バッファメモリ31に書き込み(ステップ60)、画像データを表示装置13に表示する(ステップ61)とともに、表示装置13に歪曲補正係数eを表示する(ステップ62)。
【0064】
さらに、この第2の実施の形態では、ステップ57に続き、選択した補正係数推定処理の方法が成功したかどうかを、例えば歪曲補正係数eの分散値などを利用して、歪曲補正係数eの頻度にピークが認められるか否かで判断し、歪曲補正係数eの頻度にピークが認められない場合には、選択した補正係数推定処理の方法が有効ではなかったものとして、射影変換処理を行わないようになっている(ステップ58)。
【0065】
なお、上記の実施の形態では、デジタルスチルカメラについて説明したが、この構成に限られず、カメラやスキャナなどにおいて撮影レンズを用いて電子的に撮影された画像を扱う機器などに適用することができる。例えば、歪曲を有する印刷画像をスキャナで読み込んだ場合のように、撮像機器を直接には備えない構成でも、同様の効果を実現できる。
【0066】
また、再生用画像データの出力手段として、表示装置13及び印刷装置14の両方を備えたが、いずれか一方でも良く、あるいは、いずれも備えないこともできる。
【0067】
また、カメラ部である撮像機構11も一体に備える他、備えないこともできる。
【0068】
【発明の効果】
請求項1記載の歪曲収差測定方法によれば、画像データから、この画像データの歪曲収差を補正する歪曲補正係数を推定できる。そして、この歪曲補正係数を用いて、自動的にあるいは手動により歪曲収差を補正できる。歪曲収差を補正する係数を予め測定しておく必要がなく、歪曲収差を容易に補正できる。
【0069】
請求項2記載の歪曲収差測定方法によれば、請求項1記載の効果に加え、平均値算出、分散算出、及びヒストグラム作成のいずれか一あるいは複数を組み合わせて用いることにより、歪曲補正係数を推定できる。
【0070】
請求項3記載の歪曲収差測定方法によれば、請求項1または2記載の効果に加え、有効な情報を持っていない可能性が大きいか、または計算誤差が大きくなる線分である相対的に短い線分を歪曲収差係数の算出の対象から除外することにより、歪曲補正係数を精度良く推定できる。
【0071】
請求項4記載の画像処理装置によれば、画像データから、この画像データの歪曲収差を補正する歪曲補正係数を推定できる。そして、この歪曲補正係数を用いて、自動的にあるいは手動により歪曲収差を補正できる。歪曲収差を補正する係数を予め測定しておく必要がなく、歪曲収差を容易に補正できる。
【0072】
請求項5記載の画像処理装置によれば、請求項4記載の効果に加え、射影変換手段により、画像データの歪曲収差を自動的に補正できる。
【0073】
請求項6記載の画像処理装置によれば、請求項4記載の効果に加え、表示された歪曲補正係数を参考として、任意の程度で歪曲収差を補正できる。
【0074】
請求項7記載の画像処理装置によれば、請求項4ないし6いずれか一記載の効果に加え、画像データの性質などに基づき、統計的処理を任意に選択することにより、歪曲補正係数を精度良く推定でき、あるいは高速に処理できる。
【0075】
請求項8記載の画像処理装置によれば、請求項4ないし7いずれか一記載の効果に加え、出力手段で出力する画像データについて、歪曲補正係数を推定し、歪曲収差を補正できる。歪曲収差を補正する係数を予め測定しておく必要がなく、歪曲収差を容易に補正できる。
【0076】
請求項9記載の画像処理装置によれば、請求項4ないし8いずれか一記載の効果に加え、撮影レンズで撮影した画像データについて、歪曲補正係数を推定し、歪曲収差を補正できる。歪曲収差を補正する係数を予め測定しておく必要がなく、歪曲収差を容易に補正できる。
【図面の簡単な説明】
【図1】本発明の画像処理装置の一実施の形態を示す一部のブロック図である。
【図2】同上画像処理装置を示すブロック図である。
【図3】同上第1の実施の形態を示すフローチャートである。
【図4】同上図3に続くフローチャートである。
【図5】同上第2の実施の形態を示すフローチャートである。
【図6】同上図5に続くフローチャートである。
【図7】同上第1及び第2の実施の形態に用いるヒストグラムを示す説明図である。
【符号の説明】
10  画像処理装置
11  撮像機構
13  出力手段としての表示装置
14  出力手段としての印刷装置
21  撮影レンズ
32  境界抽出手段
33  線分識別手段
34  歪曲係数算出手段
35  補正係数推定手段
37  射影変換手段
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a distortion aberration measuring method and an image processing apparatus capable of measuring and correcting distortion of image data.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been known a method of electrically correcting image data with respect to a distortion of a photographing lens having an aberration in which a square object photographed by a photographing lens is deformed into a pin shape or a barrel shape.
[0003]
For example, there is known a method of electrically correcting an image based on data recorded in advance with respect to distortion of a photographing lens of an electronic still camera (for example, see Patent Document 1).
[0004]
The configuration described in Patent Document 1 includes a memory (RAM) for recording image data, a microcomputer for performing correction processing during reproduction, and a ROM in which data for lens distortion processing is recorded in advance. In this configuration, distortion information of the photographing lens is recorded together with each image data, and correction is performed based on the distortion information when reproducing the image data.
[0005]
However, in this configuration, it is necessary to measure and record distortion information of the photographing lens in advance, and it is applicable only to a specific photographing lens, and has a problem of low versatility.
[0006]
In this regard, a television camera that measures a lens distortion correction process in advance and does not record the data in a ROM or the like, shoots a specific reference target object, calculates a distortion coefficient from this image data, and performs correction. A configuration of a data processing device is known (for example, refer to Patent Document 2).
[0007]
In the configuration described in Patent Document 2, an object called a master work is photographed, the center coordinates of the photographing lens are calculated from the photographed image data, and the distortion rate of the photographing lens is corrected based on the center coordinates. A distortion correction coefficient is calculated.
[0008]
However, in this configuration, it is necessary to perform a complicated operation of photographing a specific target object as a reference and calculating a distortion correction coefficient, and has a problem of low versatility.
[0009]
[Patent Document 1]
Japanese Patent Publication No. 5-15111 (Table 1-3, Fig. 5)
[0010]
[Patent Document 2]
JP-A-7-15647 (FIGS. 1 to 5)
[0011]
[Problems to be solved by the invention]
In the configuration using the data for the lens distortion processing as in the conventional case, it is necessary to measure and record the distortion information of the photographing lens in advance, and there is a problem of low versatility. In addition, in a configuration in which a specific reference object is photographed and a distortion coefficient is calculated from the image data to perform correction, it is necessary to photograph the specific reference object, which has a problem of low versatility. are doing.
[0012]
The present invention has been made in view of such a point, and an object of the present invention is to provide a distortion aberration measuring method and an image processing apparatus capable of easily correcting distortion.
[0013]
[Means for Solving the Problems]
2. The distortion aberration measuring method according to claim 1, wherein: a boundary extraction step of extracting a boundary component of the image data as a line segment; a line segment identification step of individually identifying the plurality of extracted line segments; A distortion coefficient calculating step of calculating a distortion aberration coefficient assuming that a part of a straight line is distorted, and statistically processing the calculated distortion aberration coefficients to calculate a distortion of the image data. And a correction coefficient estimating step of estimating a distortion correction coefficient to be corrected.
[0014]
In this configuration, a distortion correction coefficient for correcting the distortion of the image data is estimated from the image data. The distortion can be corrected automatically or manually using the distortion correction coefficient. There is no need to measure the coefficient for correcting the distortion in advance, and the distortion is easily corrected.
[0015]
According to a second aspect of the present invention, in the distortion aberration measuring method of the first aspect, the statistical processing in the correction coefficient estimation step uses at least one of average value calculation, variance calculation, and histogram creation. is there.
[0016]
In this configuration, the distortion correction coefficient is estimated by using one or a combination of the average value calculation, the variance calculation, and the histogram creation.
[0017]
According to a third aspect of the present invention, in the distortion aberration measuring method according to the first or second aspect, among the plurality of line segments individually identified in the line segment identifying step, a relatively short line segment has a distortion coefficient. The method includes a filter step of excluding from the calculation target of the distortion aberration coefficient in the calculation step.
[0018]
In this configuration, a relatively short line segment, which is likely to have no valid information or a line segment in which a calculation error becomes large, is excluded from the calculation of the distortion aberration coefficient. The correction coefficient is accurately estimated.
[0019]
5. The image processing apparatus according to claim 4, wherein: a boundary extracting unit that extracts a boundary component of the image data as a line segment; a line segment identifying unit that individually identifies the plurality of extracted line segments; Distortion coefficient calculating means for respectively calculating a distortion coefficient assuming that a part of the straight line is distorted, and statistically processing the calculated distortion coefficients to correct the distortion of the image data Correction coefficient estimating means for estimating the distortion correction coefficient to be performed.
[0020]
In this configuration, a distortion correction coefficient for correcting the distortion of the image data is estimated from the image data. The distortion can be corrected automatically or manually using the distortion correction coefficient. There is no need to measure the coefficient for correcting the distortion in advance, and the distortion is easily corrected.
[0021]
An image processing apparatus according to a fifth aspect of the present invention is the image processing apparatus according to the fourth aspect, further comprising a projection conversion unit that corrects distortion of image data based on the estimated distortion correction coefficient.
[0022]
In this configuration, the distortion of the image data is automatically corrected by the projective transformation means.
[0023]
According to a sixth aspect of the present invention, in the image processing apparatus of the fourth aspect, a correction coefficient display means for displaying an estimated distortion correction coefficient and a distortion correction coefficient for correcting distortion of image data are arbitrarily set. It comprises a possible correction coefficient setting means and a projection conversion means for correcting distortion of image data based on the set distortion correction coefficient.
[0024]
In this configuration, the distortion is corrected to an arbitrary degree with reference to the displayed distortion correction coefficient.
[0025]
According to a seventh aspect of the present invention, in the image processing apparatus according to any one of the fourth to sixth aspects, the correction coefficient estimating means can execute a plurality of statistical processes, and any of the statistical processes can be selected. It is provided with possible statistical processing selection means.
[0026]
In this configuration, the distortion correction coefficient can be accurately estimated or high-speed processing can be performed by arbitrarily selecting the statistical processing based on the properties of the image data.
[0027]
An image processing apparatus according to an eighth aspect is the image processing apparatus according to any one of the fourth to seventh aspects, further comprising an output unit including at least one of a display unit that displays image data and a printing unit that prints the image data. It was done.
[0028]
In this configuration, the distortion correction coefficient is estimated for the image data output by the output unit, and the distortion can be corrected. There is no need to measure the coefficient for correcting the distortion in advance, and the distortion is easily corrected.
[0029]
An image processing apparatus according to a ninth aspect is the image processing apparatus according to any one of the fourth to eighth aspects, further comprising an optical system having a photographing lens, and an imaging mechanism capable of capturing and outputting image data. is there.
[0030]
In this configuration, the distortion correction coefficient is estimated for the image data captured by the imaging lens, and the distortion can be corrected. There is no need to measure the coefficient for correcting the distortion in advance, and the distortion is easily corrected.
[0031]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of an image processing apparatus according to the present invention will be described with reference to the drawings.
[0032]
In addition, in this specification, a line segment is described as including not only a part of a straight line but also a curve.
[0033]
1 and 2, reference numeral 10 denotes an image processing apparatus. The image processing apparatus 10 includes an imaging mechanism 11, which is a camera, a data processing apparatus 12, a display device 13 that forms output means, and a printing apparatus 14 that forms output means. A digital still camera is configured by combining recording means, operating means, and the like (not shown) integrally or separately.
[0034]
Then, as shown in FIG. 1, the image processing apparatus 10 captures an imaging target S such as a landscape with an imaging mechanism 11, and inputs digital image data as a general natural image to a data processing apparatus 12. Then, the data processing device 12 temporarily stores the data, makes an appropriate correction, displays the data on the display device 13, prints the data with the printing device 14, and stores the data in the recording means.
[0035]
As shown in FIG. 2, the imaging mechanism 11 includes an imaging lens 21 that forms an optical system that is an optical imaging system, an aperture (not shown), an imaging device 22 such as a CCD that is an imaging unit, and an image signal processing circuit 23. And so on. Then, in the imaging mechanism 11, an image (a general natural image) of the imaging target S is formed on the imaging element 22 by the imaging lens 21. The analog image data output from the image sensor 22 is subjected to signal amplification processing, that is, gain adjustment, sampling processing, analog-digital (A / D) conversion processing, interpolation processing, color processing, and the like in an image signal processing circuit 23. Is performed, and the digitally converted image data is output.
[0036]
The data processing device 12 includes a CPU and the like, and includes an image buffer memory 31, a boundary extraction unit 32, a line segment identification unit 33, a distortion coefficient calculation unit 34, a correction coefficient estimation unit 35, a projection conversion unit 37, and the like. Have. Then, the image buffer memory 31 temporarily records the image data output from the imaging mechanism 11 as an uncorrected image, and stores the distortion-corrected image data in a recording unit, the display device 13, or the printing device 14. This is temporarily recorded before output. The boundary extracting means 32 extracts a boundary component of the image data as a line segment from the image data recorded in the image buffer memory 31, and performs edge extraction processing and thin line processing so that the subsequent processing proceeds smoothly. A line segment is obtained by performing a conversion process. The line segment identification unit 33 individually identifies a plurality of extracted line segments, and performs a labeling process on the line segment obtained by the boundary extraction unit 32 in order to prevent overlapping of the processes. It is. Further, the distortion coefficient calculating means 34 calculates a distortion aberration coefficient on the assumption that each of the identified (labeled) line segments is partially distorted. The correction coefficient estimating means 35 statistically processes the calculated distortion aberration coefficients to estimate a distortion correction coefficient for correcting the distortion of the image data. From the processing result, the tendency of each distortion aberration coefficient is grasped, and the distortion correction coefficient is estimated. Here, the statistical processing includes, for example, calculation of an average value or histogram creation processing. Further, the projection conversion means 37 corrects the distortion of the image data based on the estimated distortion correction coefficient. Further, although not shown, the operation means is provided with a selection switch or the like for selecting whether to automatically or manually correct the image data of the data processing device 12.
[0037]
The display device 13 includes, for example, a liquid crystal display panel, and the printing device 14 includes, for example, a color inkjet printer.
[0038]
Next, the operation of the data processing device 12 will be described with reference to the flowcharts of FIGS.
[0039]
First, image data (original image data) B0, which is an uncorrected image, is fetched from the imaging mechanism 11 into the image buffer memory 31 (step 1). Next, automatic correction or manual correction is performed according to the state of a selection switch as selection means for selecting whether to perform automatic correction or manual correction (step 2).
[0040]
Then, when the selection switch is an automatic correction, the image data of the photographed general natural image is subjected to a boundary extraction step, that is, an edge extraction processing, a thinning processing using a generally performed method, Obtain a number of line segments (step 3). This is because an uncorrected image captured by the imaging lens 21 includes a lot of information in addition to the information of interest and is difficult to handle as it is. Therefore, in order to smoothly perform the subsequent calculation processing, the uncorrected image data B0 recorded in the image buffer memory 31 is subjected to differential filter processing, binarization filter processing, isolated point removal filter processing, and connection point search. An edge extraction thinning process for extracting a boundary component of the image data B0 as a line segment is performed using a general image processing technique such as a process.
[0041]
Next, a line segment identification process, that is, a labeling process is performed on the line segment in the extracted image data in order to prevent the distortion coefficient calculation process from being applied to the same line segment redundantly (step 4). In the labeling process or the like, a relatively short line segment may be excluded from the labeling, and a filtering process may be performed to exclude the line segment from the target of the subsequent processes (step 5). Here, a relatively short line segment refers to a line segment that has a high possibility that it does not have valid information or that has a large calculation error. By performing this filtering step, it is possible to improve the accuracy of estimating the distortion correction coefficient and to speed up the processing.
[0042]
Then, a distortion coefficient calculating step of calculating a distortion coefficient is performed on the line segment on which the labeling process has been performed (step 6), and it is confirmed whether the distortion coefficient has been calculated on all the labeled line segments (step 6). 7). In the distortion coefficient calculation step and the following steps, it is assumed that a part of the straight line is distorted for each of the identified line segments, that is, all the line segments of the image data are part of the straight line in the photographing target S. , And the third-order or third-order or higher order distortion aberration coefficient is calculated. The method of calculating the distortion coefficient is based on a conventionally known method. For example, a state in which the imaging lens has distortion is an actual state, a state in which the imaging lens is free from distortion is an ideal state, and a method in which image data is specified. If the position of the image is called an image point, the amount of distortion, which is the distance between the image point in the actual state and the image point in the ideal state, is the cube of the distance from the optical axis center of the taking lens to the image point in the ideal state. (The third order), and this proportionality constant is used as a distortion aberration coefficient (distortion correction coefficient).
[0043]
When calculating the distortion aberration coefficient, since the position of the center of the optical axis of the taking lens must be known with respect to the image, it is assumed that the center of the image is the center of the optical axis of the taking lens. Perform the calculation. Also, when the optical axis center position can be calculated with high accuracy from the image data, such as when there are a plurality of pairs of parallel lines in the image data, or when the optical axis center of the photographing lens is clearly shifted from the center of the image, Alternatively, the center position of the optical axis of the photographing lens can be calculated and used from image data by some method.
[0044]
Here, when the distortion coefficient is calculated by the above method when a general natural image is captured, a plurality of distortion coefficients corresponding to each line segment are obtained. That is, it is assumed that the line segment is a part of a straight line in the photographing target S, but the general natural image includes a line segment that is not a straight line.
[0045]
Therefore, in order to estimate the distortion correction coefficient for the photographing lens 21 that has photographed the general natural image, the characteristics of the general natural image and the characteristics of the photographing lens 21 are calculated for a plurality of distortion aberration coefficient groups calculated in the distortion coefficient calculating step. , A statistical process (statistical process) using a statistical method is performed, and a correction coefficient estimation process of a distortion correction coefficient for a general natural image is performed. Here, the statistical processing is necessary for estimating a distortion correction coefficient from a plurality of distortion aberration coefficient groups by a processing of calculating an average value, calculating a variance, and creating a histogram, singly or in combination. Processing.
[0046]
Here, it is expected that the following properties of general natural images can be used by statistical processing. That is, in general natural images, it is generally considered that a subject often has a line segment that is a part of a straight line. For example, when an artificial object such as an outer shape of a building or a window frame is selected as a subject, it can be assumed that the subject often includes a straight line. In addition, for a subject including such a straight line, distortion is more easily recognized by a human, and therefore, it is effective to correct the distortion. If the tendency of the distortion aberration coefficient group cannot be obtained, it is considered that the subject has few linear portions. Since it is considered that the image data of the subject having a small number of straight lines is unlikely to be distorted by humans, it is possible not to perform the correction.
[0047]
Then, using the result of such statistical processing, a correction coefficient estimation step of estimating the distortion correction coefficient, that is, a correction coefficient estimation processing is performed, that is, it is determined that the distortion correction coefficient is appropriate according to the result of the statistical processing on a large number of distortion aberration coefficients. Is used as a distortion correction coefficient for the photographing lens 21 that has photographed the image data. In the present embodiment, as the correction coefficient estimation processing, the following three processings are performed, and three distortion correction coefficients a, b, and c can be obtained.
[0048]
First, as the distortion correction coefficient a, an average value of a plurality of distortion aberration coefficients obtained in the distortion coefficient calculation step is adopted (steps 8 and 9). In addition, the distortion correction coefficient b is determined by calculating the method of the distortion correction coefficient a, that is, when calculating the average value, by creating a histogram showing the relationship between the distortion aberration coefficient value and the frequency shown in FIG. The distortion coefficient which does not exceed the threshold value f, that is, the infrequent distortion coefficient is excluded from the statistical calculation, that is, the calculation of the average (steps 12 to 15). Further, as the distortion correction coefficient c, a histogram showing the relationship between the value of the distortion aberration coefficient and the frequency shown in FIG. 7 is created, and the distortion aberration coefficient having the maximum frequency is adopted as the distortion correction coefficient (step 18). -20).
[0049]
Then, using the distortion correction coefficients a, b, and c estimated in the correction coefficient estimation processing, the projection conversion processing is performed on the image data (original image data) B0 in the projection conversion step (steps 10, 16, 21). ), And writes the corrected image data Ba, Bb, and Bc into the image buffer memory 31 (steps 11, 17, and 22).
[0050]
Next, the user operates the operation means as the selection means to select the image data B0 before correction and the corrected image data Ba, Bb, Bc (step 23), and the image data is displayed on the display device 13. (Step 24). Further, the distortion correction coefficients a, b, and c are displayed on the display device 13 (step 25).
[0051]
On the other hand, if the selection switch is set to manual correction in step 2, the user operates the operating means to input an arbitrary distortion correction coefficient (step 26), and project based on the input distortion correction coefficient. The conversion processing is performed (Step 27), the image data subjected to the projection conversion processing is written in the image buffer memory 31 (Step 28), and the image data is displayed on the display device 13 (Step 24).
[0052]
Also, in the case of manual correction, prior to this manual correction, the automatic correction processing shown in steps 3 to 22 is performed to obtain the distortion correction coefficients a, b, and c. The coefficients a, b, and c are displayed (step 25) and can be used as reference values at the time of manual correction.
[0053]
Then, the image data displayed on the display device 13 is recorded in the recording device by the user's operation of the operation device, and is printed from the printing device 14.
[0054]
As described above, according to the distortion correction method of the captured image of the present embodiment, image data of an arbitrary general natural image captured by the optical imaging system is image-processed to correct the distortion of the imaging lens 21. The coefficient is estimated, the distortion of the photographing lens 21 is electrically corrected using the distortion aberration correction coefficient, and a reproduced image (corrected image) similar to the original image can be obtained. Therefore, even when the characteristics of the photographing lens 21 used for photographing an arbitrary general natural image are unknown, it is possible to estimate the characteristics of the photographing lens 21 used for photographing, and a coefficient for correcting distortion. Does not need to be measured in advance, automatic correction is also possible, and distortion correction can be greatly facilitated.
[0055]
That is, by performing edge extraction thinning processing, labeling processing, distortion coefficient calculation processing, and correction coefficient estimation processing using statistical processing using image data recorded in the image buffer memory 31, the distortion correction coefficient is automatically determined. By performing the projection conversion process, it is possible to automatically obtain distortion-corrected image data for reproduction.
[0056]
In addition, since there is provided a selection unit for selecting automatic correction or manual correction for distortion, it is possible to widely meet the needs of the user.
[0057]
Also, when the distortion is manually corrected, the distortion correction coefficient is calculated and displayed in the automatic correction process, so that it can be used as a reference in the manual correction.
[0058]
In addition, in the correction coefficient estimation processing, since a selection unit that can select a plurality of processing methods is provided, the distortion correction coefficient can be accurately estimated, or high-speed processing can be performed, and the demands of users can be widely met. Can be.
[0059]
In the above-described first embodiment, in the correction coefficient estimation processing, a plurality of processing methods are sequentially executed to record the image data, respectively. By executing only the processing method of (1), the processing time can be reduced.
[0060]
In the correction coefficient estimation processing, it is automatically determined whether or not each statistical processing is successful. If it is not determined that the statistical processing is successful, the projection transformation processing may not be performed.
[0061]
Next, a second embodiment will be described with reference to the flowcharts shown in FIGS.
[0062]
In the flowcharts shown in FIGS. 5 and 6, steps 1 to 7 and steps 26 to 28 assigned the same step numbers as those in the flowcharts shown in FIGS. 3 and 4 carry out the same processing as in the first embodiment. Is what you do.
[0063]
In the present embodiment, the user can select the method (statistical processing mode) of the correction coefficient estimation processing for estimating the distortion correction coefficient by the operation means. Therefore, following the distortion coefficient calculating step (steps 6 and 7), according to the selection of the statistical processing mode (step 50), the average value of the plurality of distortion aberration coefficients obtained in the distortion coefficient calculating step is calculated in the same manner as in step 8. (Step 51) or, similarly to Steps 12 to 14, when calculating the average value, create a histogram showing the relationship between the value of the distortion coefficient and the frequency shown in FIG. It is determined that the distortion coefficient does not exceed the threshold value f, that is, the infrequently used distortion aberration coefficient adopts a value excluded from the statistical calculation, that is, the calculation of the average (steps 52 to 54). A histogram showing the relationship between the value of the distortion aberration coefficient and the frequency shown in (1) is created, and the distortion aberration coefficient with the highest frequency is adopted as the distortion correction coefficient (steps 55 and 56). The values and the distortion correction coefficient e (step 57). Then, similarly to steps 21 to 25, the image data is subjected to the projection conversion processing based on the distortion correction coefficient e (step 59), and the corrected image data Be is written to the image buffer memory 31 (step 60), and the image data is displayed. The information is displayed on the device 13 (step 61), and the distortion correction coefficient e is displayed on the display device 13 (step 62).
[0064]
Further, in the second embodiment, following step 57, whether or not the selected correction coefficient estimating method is successful is determined by using, for example, a variance value of the distortion correction coefficient e or the like. Judgment is made based on whether or not a peak is found in the frequency. If no peak is found in the frequency of the distortion correction coefficient e, it is determined that the selected correction coefficient estimating method is not effective, and the projection conversion processing is performed. (Step 58).
[0065]
In the above embodiment, a digital still camera has been described. However, the present invention is not limited to this configuration, and the present invention can be applied to a device such as a camera or a scanner that handles images electronically captured using a capturing lens. . For example, a similar effect can be realized even in a configuration in which an imaging device is not directly provided, such as when a printed image having distortion is read by a scanner.
[0066]
In addition, although both the display device 13 and the printing device 14 are provided as output means of image data for reproduction, either one of them may be provided, or neither may be provided.
[0067]
In addition, the image pickup mechanism 11 as a camera unit may be integrally provided or may not be provided.
[0068]
【The invention's effect】
According to the distortion aberration measuring method of the first aspect, a distortion correction coefficient for correcting distortion of the image data can be estimated from the image data. The distortion can be corrected automatically or manually using the distortion correction coefficient. There is no need to measure the coefficient for correcting the distortion in advance, and the distortion can be easily corrected.
[0069]
According to the distortion aberration measuring method of the second aspect, in addition to the effect of the first aspect, the distortion correction coefficient is estimated by using one or a combination of the average value calculation, the variance calculation, and the histogram creation. it can.
[0070]
According to the distortion aberration measuring method of the third aspect, in addition to the effect of the first or second aspect, a line segment which is more likely to have no valid information or has a relatively large calculation error. By excluding short line segments from the object of calculating the distortion coefficient, the distortion correction coefficient can be estimated with high accuracy.
[0071]
According to the image processing device of the fourth aspect, a distortion correction coefficient for correcting distortion of the image data can be estimated from the image data. The distortion can be corrected automatically or manually using the distortion correction coefficient. There is no need to measure the coefficient for correcting the distortion in advance, and the distortion can be easily corrected.
[0072]
According to the image processing apparatus of the fifth aspect, in addition to the effect of the fourth aspect, the distortion of the image data can be automatically corrected by the projective transformation means.
[0073]
According to the image processing apparatus of the sixth aspect, in addition to the effect of the fourth aspect, the distortion can be corrected to an arbitrary degree with reference to the displayed distortion correction coefficient.
[0074]
According to the image processing apparatus of the seventh aspect, in addition to the effect of any one of the fourth to sixth aspects, the distortion correction coefficient can be accurately determined by arbitrarily selecting a statistical process based on the properties of the image data. Estimation can be performed well or processing can be performed at high speed.
[0075]
According to the image processing apparatus of the eighth aspect, in addition to the effect of any one of the fourth to seventh aspects, it is possible to estimate a distortion correction coefficient for image data output by the output unit and correct the distortion. There is no need to measure the coefficient for correcting the distortion in advance, and the distortion can be easily corrected.
[0076]
According to the image processing apparatus of the ninth aspect, in addition to the effects of any one of the fourth to eighth aspects, it is possible to estimate a distortion correction coefficient for image data captured by a photographic lens and correct the distortion. There is no need to measure the coefficient for correcting the distortion in advance, and the distortion can be easily corrected.
[Brief description of the drawings]
FIG. 1 is a partial block diagram illustrating an embodiment of an image processing apparatus according to the present invention.
FIG. 2 is a block diagram showing the image processing apparatus according to the first embodiment;
FIG. 3 is a flowchart showing the first embodiment.
FIG. 4 is a flowchart following FIG.
FIG. 5 is a flowchart showing a second embodiment of the present invention.
FIG. 6 is a flowchart following FIG. 5;
FIG. 7 is an explanatory diagram showing a histogram used in the first and second embodiments.
[Explanation of symbols]
10 Image processing device
11 Imaging mechanism
13. Display device as output means
14 Printing device as output means
21 Shooting lens
32 Boundary extraction means
33 line segment identification means
34 means for calculating distortion coefficient
35 Correction coefficient estimation means
37 Projection conversion means

Claims (9)

画像データの境界成分を線分として抽出する境界抽出工程と、
抽出した複数の前記線分を個々に識別する線分識別工程と、
識別した前記各線分について直線の一部が歪曲されたものと仮定してそれぞれ歪曲収差係数を算出する歪曲係数算出工程と、
算出された前記各歪曲収差係数を統計的に処理して、前記画像データの歪曲収差を補正する歪曲補正係数を推定する補正係数推定工程と
を具備したことを特徴とする歪曲収差測定方法。
A boundary extraction step of extracting a boundary component of the image data as a line segment;
A line segment identification step of individually identifying the plurality of extracted line segments,
A distortion coefficient calculating step of calculating a distortion aberration coefficient assuming that a part of the straight line is distorted for each of the identified line segments,
A correction coefficient estimating step of statistically processing the calculated distortion aberration coefficients and estimating a distortion correction coefficient for correcting distortion of the image data.
補正係数推定工程の統計的処理には、平均値算出、分散算出、及びヒストグラム作成の少なくとも一を用いる
ことを特徴とする請求項1記載の歪曲収差測定方法。
2. The distortion aberration measuring method according to claim 1, wherein at least one of average value calculation, variance calculation, and histogram creation is used in the statistical processing in the correction coefficient estimation step.
線分識別工程で個々に識別された複数の線分のうち、相対的に短い線分は歪曲係数算出工程における歪曲収差係数の算出の対象から除外するフィルタ工程を具備した
ことを特徴とする請求項1または2記載の歪曲収差測定方法。
A filter step for excluding a relatively short line segment from a target of calculation of a distortion aberration coefficient in the distortion coefficient calculation step among a plurality of line segments individually identified in the line segment identification step. Item 3. The distortion aberration measuring method according to item 1 or 2.
画像データの境界成分を線分として抽出する境界抽出手段と、
抽出した複数の前記線分を個々に識別する線分識別手段と、
識別した前記各線分について直線の一部が歪曲されたものと仮定してそれぞれ歪曲収差係数を算出する歪曲係数算出手段と、
算出された前記各歪曲収差係数を統計的に処理して、前記画像データの歪曲収差を補正する歪曲補正係数を推定する補正係数推定手段と
を具備したことを特徴とする画像処理装置。
A boundary extracting means for extracting a boundary component of the image data as a line segment,
Line segment identification means for individually identifying the plurality of extracted line segments,
Distortion coefficient calculation means for calculating a distortion aberration coefficient, respectively, assuming that a part of a straight line is distorted for each of the identified line segments,
An image processing apparatus comprising: a correction coefficient estimating unit configured to statistically process the calculated distortion aberration coefficients and to estimate a distortion correction coefficient for correcting the distortion of the image data.
推定された歪曲補正係数に基づき、画像データの歪曲収差を補正する射影変換手段を具備した
ことを特徴とする請求項4記載の画像処理装置。
5. The image processing apparatus according to claim 4, further comprising a projection conversion unit that corrects distortion of the image data based on the estimated distortion correction coefficient.
推定された歪曲補正係数を表示する補正係数表示手段と、
画像データの歪曲収差を補正する歪曲補正係数を任意に設定可能な補正係数設定手段と、
設定された歪曲補正係数に基づき、画像データの歪曲収差を補正する射影変換手段を具備した
ことを特徴とする請求項4記載の画像処理装置。
Correction coefficient display means for displaying the estimated distortion correction coefficient,
Correction coefficient setting means for arbitrarily setting a distortion correction coefficient for correcting distortion of image data,
5. The image processing apparatus according to claim 4, further comprising a projection conversion unit that corrects distortion of the image data based on the set distortion correction coefficient.
補正係数推定手段は、複数の統計的処理を実行可能であり、これら統計的処理を任意に選択可能な統計的処理選択手段を具備した
ことを特徴とする請求項4ないし6いずれか一記載の画像処理装置。
7. The correction coefficient estimating unit is capable of executing a plurality of statistical processes, and includes a statistical process selecting unit capable of arbitrarily selecting one of the statistical processes. Image processing device.
画像データを表示する表示手段及び画像データを印刷する印刷手段の少なくとも一方を備えた出力手段を具備した
ことを特徴とする請求項4ないし7いずれか一記載の画像処理装置。
The image processing apparatus according to claim 4, further comprising an output unit including at least one of a display unit that displays image data and a printing unit that prints the image data.
撮影レンズを有する光学系を備え、画像データを撮像して出力可能な撮像機構を具備した
ことを特徴とする請求項4ないし8いずれか一記載の画像処理装置。
9. The image processing apparatus according to claim 4, further comprising an optical system having a photographing lens, and an image capturing mechanism capable of capturing and outputting image data.
JP2002249340A 2002-08-28 2002-08-28 Method for measuring distortion aberration and image processing device Pending JP2004086747A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002249340A JP2004086747A (en) 2002-08-28 2002-08-28 Method for measuring distortion aberration and image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002249340A JP2004086747A (en) 2002-08-28 2002-08-28 Method for measuring distortion aberration and image processing device

Publications (1)

Publication Number Publication Date
JP2004086747A true JP2004086747A (en) 2004-03-18

Family

ID=32056488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002249340A Pending JP2004086747A (en) 2002-08-28 2002-08-28 Method for measuring distortion aberration and image processing device

Country Status (1)

Country Link
JP (1) JP2004086747A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012120561A1 (en) * 2011-03-08 2012-09-13 三菱電機株式会社 Moving object periphery image correction apparatus
KR101239671B1 (en) 2011-05-25 2013-03-11 (주)에이딕 Method and apparatus for correcting distortion of image by lens
JPWO2012049795A1 (en) * 2010-10-12 2014-02-24 パナソニック株式会社 Display processing apparatus, display method, and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2012049795A1 (en) * 2010-10-12 2014-02-24 パナソニック株式会社 Display processing apparatus, display method, and program
WO2012120561A1 (en) * 2011-03-08 2012-09-13 三菱電機株式会社 Moving object periphery image correction apparatus
US20130258047A1 (en) * 2011-03-08 2013-10-03 Mitsubishi Electric Corporation Moving object periphery image correction apparatus
US10178314B2 (en) 2011-03-08 2019-01-08 Mitsubishi Electric Corporation Moving object periphery image correction apparatus
KR101239671B1 (en) 2011-05-25 2013-03-11 (주)에이딕 Method and apparatus for correcting distortion of image by lens

Similar Documents

Publication Publication Date Title
TWI268096B (en) Image processing apparatus for correcting distortion of image, image shooting apparatus for correcting distortion of shot image and recordable medium
EP1779322B1 (en) A digital image acquisition system having means for determining a camera motion blur function
CN101297545B (en) Imaging device and image processing device
JP4898761B2 (en) Apparatus and method for correcting image blur of digital image using object tracking
US20090273685A1 (en) Foreground/Background Segmentation in Digital Images
US7675546B2 (en) Imaging device having function for correcting image shake of acquired image
US20090046161A1 (en) Method and Apparatus for Initiating Subsequent Exposures Based On Determination Of Motion Blurring Artifacts
US20060098890A1 (en) Method of determining PSF using multiple instances of a nominally similar scene
JP5126344B2 (en) Imaging apparatus, imaging method, and program
JP2004214756A (en) Image noise reduction
JP2002209147A (en) Digital camera and operation control method therefor
JP2000251060A (en) Image synthesizing processing method and recording medium
JP2000020691A (en) Image processing device and method, image-pickup device, control method, and storage medium therefor
US20110128415A1 (en) Image processing device and image-shooting device
JP2009060385A (en) Image processor, image processing method, and image processing program
TWI469085B (en) Image processing apparatus, image processing method and computer readable storage medium
JP2008092299A (en) Electronic camera
JP2016076851A (en) Imaging apparatus, image processing method, and program
JP2009088935A (en) Image recording apparatus, image correcting apparatus, and image pickup apparatus
JP2008236672A (en) Camera, and image correction value calculation method
JP4104904B2 (en) Image processing method, apparatus, and program
US7522189B2 (en) Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon
JP2004086747A (en) Method for measuring distortion aberration and image processing device
JP4800724B2 (en) Person image correction apparatus, person image correction method, and person image correction program
JP4831941B2 (en) Imaging processing system, program, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050704

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080718

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080930