JP2019205154A - 収差を補正するためにカメラの補正モデルを生成するための方法 - Google Patents

収差を補正するためにカメラの補正モデルを生成するための方法 Download PDF

Info

Publication number
JP2019205154A
JP2019205154A JP2019050670A JP2019050670A JP2019205154A JP 2019205154 A JP2019205154 A JP 2019205154A JP 2019050670 A JP2019050670 A JP 2019050670A JP 2019050670 A JP2019050670 A JP 2019050670A JP 2019205154 A JP2019205154 A JP 2019205154A
Authority
JP
Japan
Prior art keywords
camera
correction
aberration
setting
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2019050670A
Other languages
English (en)
Inventor
アンドレアス・ヴァルドル
Waldl Andreas
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
B&R Industrial Automation GmbH
Original Assignee
B&R Industrial Automation GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by B&R Industrial Automation GmbH filed Critical B&R Industrial Automation GmbH
Publication of JP2019205154A publication Critical patent/JP2019205154A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611Correction of chromatic aberration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

【課題】収差に影響する選択された可変のカメラ設定値の変更時にカメラの画面内の収差を可能な限り速く且つ簡単に補正できるようにする。【解決手段】画像処理システム1において、収差に影響する選択された可変のそれぞれのカメラ設定値に対して、補正対象物3の複数個の特徴点Miが、カメラ2によって撮影され、空間内の既知の異なる特徴点位置とカメラ2の画面4内の対応する画像位置との関係が、既知の少なくとも1つの数学的方法を用いて特定され、予め設定されている少なくとも1つの数学補正モデルの補正パラメータが、少なくとも1つの収差を補正するために前記関係の特定から特定され、カメラ2内に格納される。【選択図】図2

Description

本発明は、カメラの画面内の選択された可変の幾つかのカメラ設定値によって影響される少なくとも1つの収差を補正(較正)するためにカメラの補正モデルを生成するための方法と、カメラを補正するための方法の使用とに関する。
産業用画像処理システムでは、ビジョンシステムプロセスを、映し出された風景内の対象物又は表面上で実行するため、1つ又は複数の画像取得装置、特にカメラが使用され得る。このプロセスは、例えば、検査作業、画像復号化若しくは符号復号化、対象物の方向の測定、対象物の測定又はその他の様々なタスクを含み得る。例えば、タスクを高い精度で且つ高い信頼性で再現可能に実行することを画像処理システムに可能にさせるためには、一般に、カメラを補正することが必要である。
産業用画像処理のために使用する場合に、必要な測定結果を提供しようとして、カメラの光学部品の選択時に当該カメラの収差に対する影響に関して特別な注意を払ったとしても、照明及び/又は当該部品の特性から発生する収差に起因して、精度が損なわれ、当該必要な測定結果は提供不可能である。
産業用画像処理システムの個々の部品間のばらつきが、生産技術的に常に必要な程度に最小限にされ得ないので、用途によっては、当該ばらつきに起因する収差を後続する補正によって最小限に低下させることが必要になり得る。
要求の厳しい画像処理に基づくタスクを適切に完了できるようにするためには、画像処理システムの既知で且つ再現可能な特性が必須である。特に画像処理システムの特性及び/又は境界条件が、異なる場所で使用するごとに個々の部品を交換することによって、又は所定のカメラ設定値を変更することによって変化し得るときに、当該変化は、多くの場合にカメラの収差を引き起こす。
当該収差は、複合的な性質であり得る。したがって、カメラの光学特性又は機械設計によって引き起こされる口径食(画像のエッジを暗くすること)と同様に、物体に照明を当てるときの不均一性も問題になり得る。使用されるレンズも、別の多くの収差を引き起こし、後続する画像処理時の問題及び偏差を引き起こす。しかしながら、十分な量のデータが、補正のために存在するならば、多くの場合、一部の収差は、著しい情報損失なしに補正され得る。コマ収差、非点収差、球面収差又は画面歪曲のような、知られている収差に対しては、より複雑な数学的方法が必要である一方で、例えば幾何学歪み又は色収差のような同様に知られている幾何収差の補正が、良好に制御可能であり、広い用途を有する。
例えば焦点幅、光学系の使用される絞り、焦点距離、及び対象物を照らすために使用される光の波長のような、所定の可変のカメラ設定値が、当該幾何収差に著しい影響を及ぼす。
R. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 2nd edition, 2003. Ryuji Matsuoka, Kazuyoshi Asonuma, Genki Takahashi, Takuya Danjo, and Kayoko Hirana. Evaluation of correction methods of chromatic aberration in digital camera images. ISPRS Photogrammetric image analysis, 3:25, 2012.
それ故に、本発明の課題は、カメラの画面内の収差が、当該収差に影響する選択された可変のカメラ設定値の変更時に可能な限り速く且つ簡単に補正され得る方法を提供することにある。
本発明によれば、この課題は、空間内の既知の異なる特徴点位置を有する複数個の特徴点が設けられ、少なくとも2つの所定の設定仕様が、それぞれの前記カメラ設定値を変更するために前記収差に影響する選択された可変のそれぞれの前記カメラ設定値に対して予め設定され、当該予め設定されている少なくとも2つの設定仕様のそれぞれの設定仕様に対して、前記複数個の特徴点が、前記カメラによって撮影され、前記特徴点の画像位置が、前記カメラによって前記画面内の撮影される前記特徴点から特定され、前記空間内の既知の異なる特徴点位置と前記カメラの前記画面内の対応する前記画像位置との関係が、既知の少なくとも1つの数学的方法を用いて特定され、選択された前記可変のカメラ設定値の予め設定されている少なくとも2つの設定仕様のそれぞれの設定仕様に対して、予め設定されている少なくとも1つの数学補正モデルの補正パラメータが、前記少なくとも1つの収差を補正するために前記関係の特定から特定され、少なくとも1つの補正モデルが、特定された前記補正パラメータと一緒に前記カメラ内に格納されることによって解決される。
好ましくは、幾何学歪み及び/又は色収差及び/又は口径食が、収差として含まれる。これらの収差は、カメラの選択された可変のカメラ設定値によって影響され、本発明の方法によって補正され得る。
好ましくは、焦点幅及び/又は焦点距離及び/又は絞り値及び/又は前記特徴点を照らす光の波長が、前記収差に影響する可変のカメラ設定値として含まれる。したがって、1つ又は複数の収差に影響を及ぼす重要な可変のカメラ設定値が考慮される。
前記画面から同じカメラ距離が、全ての特徴点に対して設けられることが好ましい。この場合、前記特徴点は、好ましくは二次元の補正板上に配置され、能動的な又は受動的な、特に円形の特徴点が、特徴点として設けられる。この場合、前記カメラ距離が、少なくとも2回変更され、予め設定されている少なくとも2つの前記設定仕様のそれぞれの設定仕様に対する特徴点が、それぞれのカメラ距離ごとに前記カメラによって撮影されることが好ましい。本発明の方法の実際の使用が、特に可変のカメラ距離で二次元の補正板を使用することによって容易になる。
別の好適な実施の形態によれば、少なくとも2つの特徴点が、異なるカメラ距離によって設けられる。この場合、前記特徴点は、特に三次元の補正対象物上に配置され、能動的な又は受動的な、特に円形の特徴点が、特徴点として設けられる。これにより、複数の特徴点が異なるカメラ距離ごとに配置されている三次元の補正対象物も使用され得る。これにより、当該方法は、さらに簡略化され得る。例えば、二次元の補正板のカメラ距離の特定及び変更が、ほとんど不可能であるか又は不正確であるとき、当該構成は有益である。
好ましくは、少なくとも10個、特に少なくとも20個、特に好ましくは少なくとも30個の特徴点が設けられる。この場合、これらの特徴点は、特に三次元の補正対象物上か又は二次元の補正板上に配置される。これにより、十分な特徴点が存在し、収差の補正の良好な特性が達成される。
好ましくは、ハートリー(Hartley)及びチマーマン(Zisserman)によるピンホールカメラモデルが、前記空間内の既知の異なる特徴点位置と前記カメラの前記画面内の前記画像位置との関係を特定するための数学的方法として使用される。ブラウン−コンラディー(Brown−Conrady)による半径・接線モデルが、幾何学歪み及び/又は色収差に対する補正モデルとして使用され、好ましくは、口径食パラメータと画素強度とによる半径口径食関数が、口径食に対する補正モデルとして使用される。これらのモデルは、従来の技術において既に問題なく使用され、良好な結果を提供している。
本発明の方法の好適な使用によれば、前記収差に影響する選択された複数のカメラ設定値のうちの1つのカメラ設定値の、少なくとも2つの所定の設定仕様とは異なる1つの設定仕様の場合に、前記少なくとも1つの収差を補正するための補正モデルの補正パラメータが、異なるこの設定仕様の場合に前記少なくとも2つの所定の設定仕様の特定された補正パラメータから演算され、当該異なる設定仕様のための当該演算された補正パラメータが、当該異なる設定仕様の場合に前記少なくとも1つの収差を補正するために前記カメラの前記補正モデル内に格納され、前記少なくとも2つの所定の設定仕様とは異なる1つの設定仕様の場合に、前記カメラの画面内の前記少なくとも1つの収差を補正するため、当該演算され格納された補正パラメータを有する補正モデルが使用されることが提唱されている。これにより、カメラが、その稼働中に要求される境界条件に適合され得、収差が、補正パラメータの特定中に考慮されなかった設定仕様で補正され得る。
特に、当該異なる設定仕様に対する補正パラメータは、双曲線関数及び線形補間又は線形回帰を用いて前記少なくとも2つの所定の設定仕様の補正パラメータから演算される。これにより、十分に良好な結果を簡単な数学的方法によって取得することが可能である。
以下に、本発明を、本発明の例示的で図式的で且つ限定されない好適な構成を示す図1〜4を参照して詳しく説明する。
産業用画像処理システムを例示的に示す。 カメラと補正対象物とを有する産業用画像処理システムの、カメラを補正するための配置を示す。 幾何学歪みの収差の例を示す。 幾何学歪みの収差の例を示す。 カメラの収差を補正するための補正モデルの使用を示す。
図1は、対象物Oを測定する用途における産業用画像処理システム1を例示的に示す。画像処理システム1は、カメラ2と、このカメラ2内に組み込まれた又は外部の1つ若しくは複数の照明装置6とを有する。当該照明装置6は、空間内に、例えば適切な(図示されていない)保持装置上に固定配置されている。カメラ2は、測定すべき対象物Oがこのカメラ2の撮影範囲内に存在するように位置決めされている。特に測定すべき対象物Oの測定結果を提供するため、画像が、例えば適切な評価装置8内で処理される。測定の目的は、例えば、対象物O上の測定面E1内の特定の特徴点点の認識でもよく、又は物体O若しくは物体O上に配置された構成要素等の実際測定でもよい。
照明装置6は、カメラ2の撮影範囲内の測定すべき対象物Oを照らす。この場合、産業用画像処理システムでは、特に白黒イメージセンサを有するカメラ2が使用されるが、本発明の方法は、カラーセンサを有するカメラ2に対しても使用可能である。当該照明光Lは、特定の特性、例えば特定の波長λ、特定の光強度等を有する。必須でないものの、一般に、単色光Lは、可視領域内で又は紫外線(UV)若しくは赤外線(IR)領域内で当該照明のために使用される。単色は、光Lの波長λが特定の1つの波長λを中心とした可能な限り狭い波長帯域に、理想的には特定の1つの波長λに、例えば紫外線光又は単色の可視光Lに限定されていることを意味する。白色光L、すなわち様々な波長λを有する光が、当該照明のために使用される場合、カメラ2のカラーセンサ又はマルチセンサ若しくはハイパースペクトルセンサによる専ら画素での白黒誤差が、対応するフィルタを用いて補正可能である。
以下に、本発明を、白黒イメージセンサを有するカメラ2に基づいて説明する。画像処理システム1全体、照明装置6又は照明装置6に配置された発光手段の周囲状況に応じて、通常は、均一な照明が常に保証され得ない。その結果、場合によっては、カメラの収差が発生し得る。カメラ2の光学系自体も、収差、例えば、幾何学歪み、色収差又は口径食を引き起こし得る。例えば、光強度の変動を相殺するため、又は、フラッシュライトを実現するため、照明装置6は、適切な発光制御装置9によって制御されてもよい。収差の結果として、カメラ2によって撮影される対象物Oの比率が、この対象物Oの実際の比率と一致しないか、又は、当該対象物が、実際と同じに映し出されない。特に正確な測定を目的とする場合、収差の大きさに応じて、もはや使用不可能である程度に、測定結果を悪くする測定精度になる。
この場合、当該照明又は当該光学系だけが問題になるのではなくて、例えば、カメラ2と測定すべき対象物Oとの間の距離及び角度、又はカメラ2若しくはレンズ7の、例えば絞り値若しくは焦点幅の設定値も問題になる。例えば、対象物Oの位置が、第1測定位置Pから第2測定位置Pに変化し得るか、又は、より大きい対象物Oが使用さる。このため、図示された例では、対象物Oの測定面E又は対象物Oの測定面Eからカメラ2までの角度及び距離も変化し得る。その結果、場合によっては、収差、例えば幾何学歪みも発生し得る。
したがって、通常は、特に測定の目的の場合、画像処理システム1の境界条件(角度、距離、光強度、光の波長、絞り値(設定)、焦点幅等)を可能な限り一定に保持すること、及び、収差が可能な限り引き起こされないか、又は、収差が最小限にされるように、カメラ2を補正することが試みられる。この場合、補正は、所定の境界条件が設けられること、及びカメラ2が当該予め設定されている境界条件に成果に調整されることを意味する。例えば、当該補正は、例えばカメラ2の制御装置又はカメラ2の評価装置8で実行される既知のアルゴリズムによって実行され得る。
一般に、当該補正は、収差を相殺するために使用される所定の境界条件に対する補正データに基づいている。一般に、補正は非常に面倒であり、特に補正は、その補正に基づく境界条件に対してだけ正確に有効であるので、このような画像処理システム1の柔軟性が、例えばロボットアームへの取り付け時に著しく制限されている。したがって、このような従来の画像処理システム1の場合、正確な測定結果を保証できるようにするため、カメラ2の新たな補正が、当該境界条件のそれぞれの変更に応じて実行される。この欠点を解消するため、図2に基づいて以下で詳しく説明するような本発明の方法が提唱されている。
図2は、レンズ7付きカメラ2と補正対象物3とを有する産業用画像処理システム1を、X軸とY軸とZ軸とによって形成された空間座標系で示す。カメラ2によって捕捉され評価され得る所定数の特徴点点Mが、補正対象物3上に配置されている。必要な空間の奥行きを確保するため、図示された例では、カメラ2が、その補正のために補正対象物3に対してZ方向に直角に並進するように可変に配置されていて、この補正対象物3が固定配置されている。
したがって、補正対象物3からカメラ2までのカメラ距離Iが変化され得る。しかし、反対に、カメラ2が固定され、補正対象物3が、Z方向に並進するように可変な位置にあってもよい。二次元の補正対象物3である所謂二次元補正板が、可変のカメラ距離Iによって使用され得る。カメラ2をZ方向に移動させるため、カメラ2は、例えば(図示されていない)リニアレール上に固定され得る。特に、カメラ2から当該補正板までのカメラ距離Iが最小であっても、当該補正板の全体が、全ての特徴点点Mを用いて依然として網羅されるように、当該補正板の寸法が設定される。
カメラ2の開始点は、任意に選択され得るものの、カメラ2のZ方向の並進が再現可能であり、個々のカメラ距離Iの間隔差が、可能な限り正確に既知であり、これは、多大な労力なしで実現可能である点が重要である。さらに、所定のカメラ距離Iのときのカメラ2から複数の特徴点点MまでのZ方向の複数の距離を異ならせないことを保証するため、補正板が、カメラに対して可能な限り正確に直角に指向されている点が重要である。これは、補正配置を構成することによって保証され得る。当該補正板は、適切な照明装置6、特に単色光Lによって可能な限り均一に照らされる。
画像をカメラ2によって撮影する場合、対応する像点PB(X,Y)が、空間内の実際の点、いわゆる世界点PW(X,Y,Z)によって生成される。カメラ2は、例えば焦点幅、焦点距離F、焦点幅B又は照明の光Lの既知の波長λのような所定数の可変のカメラ設定値を有する。映し出すべき対象物、具体的には補正対象物3、ここでは補正板が、当該照明によって照らされる。しかし、能動的な補正板の場合、特徴点点M自体が、既知の波長λの光Lで発光してもよい。これらの可変のカメラ設定値は、特にカメラ2の光学要素の物理的な挙動のためにカメラ2の画面4内の収差を引き起こす。このような収差は、例えば幾何学歪み、口径食又は色収差である。これらの収差の特性、原因及び作用は既知である。それ故に、ここでは、これに関しては、詳しく説明しない。例えば、幾何学歪みの結果として、カメラ2の画面4内の撮影される像点の位置PB(X,Y)が、世界点PW(X,Y)の実際の位置に比率的に一致しない。これにより、図3aのようなクッション状に歪んだ画像又は図3bのような樽状に歪んだ画像が発生する。
例えば従来の写真撮影のような一部の用途の場合、このような収差は、ある程度までは許容されるか、又は例えばアートフォトグラフィーのように、それどころか好まれる。しかし、産業用画像処理システム1の場合、特に測定の用途では、カメラ2の画面4内に映し出された対象物Oが歪んでいる結果、測定結果が悪くなるので、収差は、通常は望まれない。例えば、測定される距離又は測定される位置が、対象物Oに対して測定すべき実際の距離又は対象物Oの実際の位置に一致しない。
それ故に、これらの収差を可能な限り少ない労力で且つ可能な限り簡単に最小にすること、又はそれどころか相殺することが望ましい。当該収差を補正するための数学的方法は、従来の技術において基本的に知られていて、予め設定されている所定のカメラ設定値又は複数のカメラ設定値の予め設定されている組み合わせに対してカメラ2を補正するために使用され得る。しかしながら、特にカメラ2の1つ又は複数のカメラ設定値が変更されるとき、例えばカメラ2の焦点距離Fの設定値が変わるとき、又は照明の光Lの波長λが変わるとき、当該実際の使用は、問題を含んでいる。適切な測定結果を提供できるようにするためには、カメラ2が、カメラ設定値のそれぞれの変更後に従来の補正方法によって新たに補正される必要がある。これは、時間を要し、それ故に望ましくない。
図2に示された例では、補正対象物3が、受動的な二次元補正平板として構成されていて、複数のi個の特徴点点Mを有する。これらの特徴点点Mは、既知の特徴点点位置PMi(X,Y)を有する所定の格子状に当該補正板上に配置されている。受動的は、補正板は、例えば適切な照明装置6によって照らされる必要があることを意味する。当該照明は、当該補正板の面の全体にわたって可能な限り均一に実行されなければならない。能動的な補正板の場合、個々の特徴点点M自体が、所定の波長λの光Lで可能な限り均一に発光しなければならない。
これに関係して、複数は、1よりも大きい数を常に意味する。図示された例では、例えば20個の特徴点点Mが、当該補正板上に設けられている。基本的には、特徴点Mの数が多いほど、本発明の方法の精度が向上される。しかしながら、これらの特徴点の数は、非常に大きく選択されてはならない。何故なら、これにより、方法の実行期間が長くなるからである。これは、望ましくない。しかし、特に、20個の特徴点M、特に好ましくは30個の特徴点が、当該補正板上に設けられている。何故なら、主にこの数を使用することで、良好な結果が得られ、特徴点Mの数をさらに増やしても、もはや精度があまり向上しないからである。
高いコントラストを保証するため、特に、特徴点Mは、図示された例のように、明るい複数の円として可能な限り反射しない暗い背景上に形成されている。これらの円は、一定の間隔m,mで互いに離間して補正板上に配置されている。しかし、これらの特徴点Mは、例えば市松模様状の別の形で配置され、別の間隔を互いに有してもよい。当該補正板上の平面内の個々の特徴点Mの特徴点位置PMi(X,Y)は、可能な限り正確に既知である点が重要である(インデックスiは、特徴点Mの数に関する)。
空間内の特徴点位置PMi(X,Y、Z)を規定するためには、第3座標、ここではZ方向のカメラ距離Iを正確に測定することが必要である。反射しない暗い背景上の明るい複数の円には、これらの円、すなわち複数の特徴点位置PMi(X,Y、Z)の位置が、不鮮明な画像の場合でも確実に特定され得るという利点がある。それ故に、当該利点は重要である。何故なら、カメラ2が、対応する可変のカメラ設定値(可変の焦点距離F)を有する場合、不変のカメラ距離Iに対する鮮明度の異なる設定値も、(以下で説明するような)補正パラメータを決定するために使用され得るからである。これらの円は、照明装置6によって可能な限り均一に照らされなければならない。
受動的な補正板の場合、特徴点Mが、適切な照明装置6によって能動的に照らされることが必要である。しかし、代わりに、能動的な特徴点Mを有する能動的な補正板又は能動的な三次元の補正対象物3が使用されてもよい。能動的な特徴点Mは、その位置を示すために照明装置6によって照らされるのではなくて、能動的な光を放射する。能動的な特徴点Mは、例えば点状の発光ダイオード(LED)として構成され得る。この場合、それぞれの発光ダイオードに対して、均一で明るい、特に円形の画像が、視野内で達成され得ることが重要である。このため、当該発光ダイオードは、例えば、補正板上の凹部内に埋設され、当該凹部の上に散乱スクリーンが配置されてもよい。しかし、当該光源は、ディスプレイの開発時に使用されるような、液晶ディスプレイ、薄膜トランジスタから構成されてもよく、又はその他の受動素子若しくは能動素子から構成されてもよい。例えば、単色発光する有機発光ダイオード(OLED)には、面にわたって非常に均一に発光する光源であるという利点がある。
しかし、二次元補正板を補正対象物3として使用することは、オプションにすぎない。特徴点Mが配置されている三次元の補正対象物3が使用されてもよい。この場合、少なくとも2つの特徴点Mが、異なるカメラ距離Iを有する。しかし、空間内でのその位置が変更可能であるただ1つの特徴点Mが使用されてもよい。三次元の補正対象物3には、例えば、三次元の補正対象物3に対するカメラ2の位置(又はカメラ2に対する三次元の補正対象物3の位置)(=カメラ距離I)が変更される必要がないという利点がある。
以下に、本発明の方法を、異なる3つのカメラ距離Iの場合の、可変の2つのカメラ設定値に対する3つの収差を補正するための補正モデルの決定に基づいて説明する。当該3つの収差は、幾何学歪み、色収差及び口径食であり、当該可変の2つのカメラ設置値は、照明装置の光Lの波長λと焦点距離Fである。しかし、当然に、当該方法は、図示された実施の形態に限定されず、ただ1つのカメラ設置値(例えば、絞り値Bだけ又は焦点距離Fだけ)の変化時のただ1つの収差を補正することも可能であり、複数のカメラ設定値の同時の変化時の複数の収差を補正することも可能である。一般に、より多くのカメラ設定値が変更され、より多くの収差が補正されなければならない程、本発明の方法を実行するための労力もより大きくなる。
本発明によれば、少なくとも2つの所定の設定仕様が、それぞれのカメラ設定値を変更するために設けられ、空間内の既知の異なる特徴点位置PMi(X,Y)を有する複数の特徴点の画像が、カメラ2の予め設定されているそれぞれの設定仕様に対して撮影される。具体的な例では、光Lの波長λが、3回変更され、焦点距離Fが、3回変更される。さらに、図示された例では、カメラ距離Iが、3回変更され、図1で明らかなように、それぞれのカメラ距離Ik1,Ik2,Ik3と、それぞれの波長λ,λ,λと、それぞれの焦点距離F,F,Fとに対して、補正板上に配置された複数の特徴点Mのそれぞれ1つの画像が、カメラ2によって撮影される。したがって、ここでは、当該設定仕様は、波長λの異なる3つの値と、焦点距離Fの異なる3つの値とに関する。例えば、緑色光が、波長λとして使用され、青色光が、波長λとして使用され、赤色光が、λとして使用される。当該光は、適切な単色照明によって生成される。しかし、必ずしも可視光Lが使用される必要はない。同様に、紫外線(UV)光L又は赤外線(IR)光Lが使用されてもよい。
したがって、この例では、全体では、それぞれ20個の特徴点Mの27個の画像が、焦点距離Fによって撮影される。例えば、第1カメラ距離Ik1は、焦点距離Fの3分の2に選択され(焦点の前方の1/3)、第3カメラ距離Ik3は、焦点距離Fの3分の5に選択され(焦点の後方の2/3)、第2カメラ距離Ik2は、これらの両カメラ距離Ik1,Ik3間の中心に選択される。この配置には、画像が不鮮明にならないという利点がある。その結果、照明条件がより簡素化され、画像がより鮮明になる。一方では、画面4内の特徴点位置PMi(X,Y、Z)の正確な特定が容易になる。
特に、それぞれ少なくとも2つの設定仕様が、それぞれのカメラ設定値に対して選択されるが、図示された実施の形態のように、特に好ましくはそれぞれ3つの設定仕様が選択される。3つよりも多い焦点距離Fが使用されるならば、当該結果は、例えば僅かだけ改善される。特徴点Mの数と同様に、基本的には、1つのカメラ設定値の設定仕様の数が多い程、(僅かだけの改善によってではあるが)補正の結果がより正確になる一方で、時間的労力も増える。実際の用途では、精度要件が満たされ、且つ、時間制限が守られるように、特徴点Mの数と設定仕様の数とが有益に選択される。好ましくは、丁度3つの設定仕様が、可変のカメラ設定値ごとに使用され、20個〜40個の特徴点Mが使用される。
カメラ2が、例えばカメラ2内に組み込まれたか又は外部に配置された演算装置5によって、撮影された画像から画面4内の特徴点位置PMi(X,Y、Z)、すなわち像点PBiを特定する。このため、図示された例では、円形の特徴点Mの中心点が特定される。既知の少なくとも1つの数学的方法を使用することで、空間内の既知の異なる特徴点位置PMi(X,Y、Z)、すなわち世界点PWiと対応する画像点PBi(X,Y)、すなわち測定特徴点位置PMi(X,Y)との間の関係、いわゆる点対応が特定される。空間内の特徴点位置PMi(X,Y、Z)は、説明されるように、補正板上の特徴点Mの既知の配置によってと、Z方向のカメラ距離IKjとによって規定されている(インデックスjは、可変のカメラ距離Iの数を示す)。特に、当該関係の特定に対しては、以下で引用される既知のHartley&Zissermanによるピンホールカメラモデルが使用されるか、又は、その他の適切な数学モデルが使用される。
Figure 2019205154
ここで、投影行列
Figure 2019205154
が、3×3の補正行列
Figure 2019205154
と、3×3の回転行列Rと、並進ベクトル
Figure 2019205154
とに分解され得る。補正行列Kのパラメータは、水平焦点距離f,垂直焦点距離f、(場合によっては起こり得る直角に対する平面4の偏差を考慮する)スキューs及び主点の座標(C,C)である。ピンホールカメラモデルの場合、光学軸が、画面4に対して直角のピンホール(投影中心)を突き抜けて描かれる。当該主点は、当該光学軸が画面4を貫く位置に存在する。レンズ7を貫く光学軸が規定されていても、この簡単な関係は、レンズ7を有するカメラ2でも使用される。レンズ7が、不完全に製造される場合、光学軸が、画面4に対して正確に直角でないことが起こり得る。その結果、画像座標系の(90°から外れる)アフィン変換が実行され、補正行列Kでは、パラメータの、理想的には零でなければならないスキューsによってモデル化される。補正行列Kは、カメラ2の線形の全ての内部パラメータを表し、カメラ2の内部定位とも呼ばれる。回転行列R及び並進ベクトル
Figure 2019205154
は、外部パラメータの「外部定位」、すなわちカメラ2の画面4内のカメラ座標と補正板(X,Y軸)上の平面内又は空間(Z軸)内の特徴点Mの世界座標との間の並進及び回転を表す。すなわち、投影行列Pは、一義的な1つの画像点PBi(X,Y)を1つの世界点PWi(X,Y,Z)に割り当てる。しかし、留意すべきは、その反対の場合はない点である。1つの画像点PBi(X,Y)が、1つの視線を常に示す。補正されたカメラ2の場合には、確かに、複数の視線の方向が測定されるが、すなわち視線と視線との成す角度も測定されるが、カメラ2からそれぞれの世界点PWi(X,Y,Z)までの実際の距離に関する情報は入手されない。ピンホールカメラモデルは、従来の技術において知られているので、これに関しては詳しく説明せず、例えば刊行物[R. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 2nd edition, 2003.]を参照のこと。
図示された例では、下記のBrown−Conradyによる半径・接線補正モデル(radial−tangentiale Korrekturmodell)が、歪みを補正するために使用される。しかし、その他の適切なモデルが使用されてもよい。
Figure 2019205154
は、歪んだ画像点PBiの座標を示し、
Figure 2019205154
は、歪まなかった画像点PBiの座標を示し、
Figure 2019205154
は、画面4内の主点の座標を示す。当該演算は、半径r、半径パラメータr,r,r及び接線パラメータt及びtを用いて実行される。最初に、画像座標系の原点が、主点Cに移動される。主点Cには、歪み(及び色収差)がない。このとき、当該歪みは、主点Cに対する距離(半径r)によってモデル化される。半径パラメータrは、画像点PBiの半径方向の移動をモデル化する。当該画像点PBiは、主点Cの非常に近くからか又は主点Cから非常に離れて映し出される。このとき、当該補正され歪んでいない画像点Biは、非常に正確に存在する。これと同様に、接線パラメータtは、画像点PBiの接線方向の移動をモデル化する。半径パラメータrと接線パラメータtとの双方に対して、より高い次数を追加することも可能であるが、その影響は小さいので、当該より高い次数は省略する。
Figure 2019205154
全てのカメラパラメータ(補正行列K、半径パラメータr、接線パラメータt)の完全で幾何学的に正確な特定は、誤差の程度、ここでは逆投影誤差の程度を最初に評価し、引き続き当該誤差の反復最小化を実行することを必要とする。
カメラ2が補正されていて、補正対象物3に対する特徴点Mの位置が既知である場合(世界点PWi(X,Y,Z))、これらの世界点世界点PWi(X,Y,Z)が、画面4内に数学的に映し出され得る。しかしながら、良好な補正でも、偏差が、画面4内に映し出された世界点Wi(X,Y,Z)(画像点PBi)と現実のカメラ画像内の世界点Wi(X,Y,Z)の実際の像との間に発生する。当該現実の世界点と映し出された世界点Wi(X,Y,Z)(画像点PBi)との間の距離が、逆投影誤差である。
当該反復最小化では、多数の点に対する誤差が全体として最小にされる。これにより、カメラ2の補正が、反復して改善される。主点C(C,C)の座標とレンズ歪みの接線パラメータtとの間の相互の影響を回避するため、接線パラメータtを省略することが好ましい。一方では、幾何学歪みに対する接線パラメータtの影響が、半径パラメータrの当該影響よりも著しく小さく、他方では、主点Cのロバスト推定が、色収差と口径食との補正のために必要とされ、カメラ設定値の所定の設定仕様とは異なる設定仕様に関する(具体例では、照明の光Lの波長λ及び焦点距離Fである)複数のパラメータの補間のために必要とされる。スキューパラメータsの影響は、一般に小さいが、考慮することができ、追加の1つの乗算だけが要求される。
色収差を補正するため、図示された例では、補正板が、単色の赤色光と緑色光と青色光とでそれぞれ照らされる(波長λ、λ、λ)。単色照明に関する知識が、色収差を補正するために適切に使用され得る。当該補正は、例えば、Hartley&Zissermanによるモデルから得られる点対応によって実行されるか、又は幾何学歪みの補正モデル(ここでは、Brown−Conradyによる半径・接線モデル)によって実行され、すなわち赤色照明(λ)と緑色照明(λ)と青色照明(λ)とのそれぞれに対する独立した3組の内部カメラパラメータ(K、r及びオプションのt)の演算によって実行される。当該方法は、基本的に既知であるので、これに関しては、刊行物[Ryuji Matsuoka, Kazuyoshi Asonuma, Genki Takahashi, Takuya Danjo, and Kayoko Hirana. Evaluation of correction methods of chromatic aberration in digital camera images. ISPRS Photogrammetric image analysis, 3:25, 2012.]を参照のこと。
口径食の効果が、様々な影響の結果として発生する。口径食は、一般に(入射角による)通常の口径食と(カメラセンサによる)画素の口径食と(光学系内の遮断された光路による)光学的な口径食と(その他のカメラ構成要素、例えばフィルタによって遮断された光路による)機械的な口径食とに分類される。当該口径食は、半径特性(radiale Characteristik)を有し、主点Cに基づく半径補正モデル(radiales Korrekturmodell)によって処理され得る。その結果、半径rに依存する口径食関数V(r)の作成が可能になる。半径rも、当該歪みの場合と同様に特定される。当該口径食を補正するための新たに補正された画素強度Ikorrが、画素の強度Iを当該口径食関数V(r)の結果と乗算することによって得られる。
Figure 2019205154
1つの補正行列Kが、それぞれのカメラ設置値のそれぞれの設定仕様ごとに、及びそれぞれのカメラ距離Iごとに、それぞれの特徴点Mに対して、当該特定された点対応から特定され得る。すなわち、図示された例では、1つの補正行列Kが、3つのカメラ距離Ik1,Ik2,Ik3のそれぞれごとに、及び単色照明の3つの波長λ,λ,λのそれぞれごとに、及び3つの焦点距離F,F,Fのそれぞれごとに、20個の特徴点Mのそれぞれに対して特定され得る。当該補正行列Kは、例えば公知の直接線形変換(DLT)アルゴリズムを用いて特定され得る。この場合、特にその結果を改善するため、補正行列Kが、例えば公知のレーベンバーグ・マーカートアルゴリズムを用いて反復して最適化される。さらに、ここでは、当該歪みの非線形パラメータr及びrの特定を、当該補正行列Kのパラメータに加える必要がある。
単色照明を使用すると、当該特定されたパラメータが、1つの波長λ,λ,λに一義的に割り当て可能である。それぞれの波長λ,λ,λごとに幾何学歪みを補正することによって、色収差も補正される。一般に、色収差に起因する測定可能な誤差は、幾何学歪みの誤差よりも遥かに小さい。それ故に、第3項の(r )は省略され得る。しかしながら、通常は多くの場合に、色収差の誤差は、明確に目視可能であり、当該第3項の(r )の省略は、ここでは著しく重大であり得る。特に、補正が、第1ステップで当該第3項なしに実行される一方で、より高い補正精度が望ましい場合は、当該第3項が適合され得るか、又は、選択された複数の波長λ間の異なる複数の点間隔を最小にする適切な最適化方法が使用され得る。
口径食を補正するためには、パラメータαが、上記の式から特定される。これらのパラメータは、例えば絞り値Bのようなカメラ設定値の変化と共に変化する。図示された例では、絞り値Bは一定である。それ故に、異なるカメラ距離IK1−K3での撮影が必要である。画像を撮影するためには、特に、特徴点Mを、明るくて一様な単色光で照らす必要がある。当該照明が均一でない場合、複数の画像が撮影され、引き続き平均値が作成されてもよい。理論的には、主点Cからの半径r1−と主点Cに対する画素強度Iとを用いて、3つの画素強度I1−からパラメータαを演算することも可能である。このため、小さい誤差が、大きい影響を結果に及ぼすので、当該補正は、この場合のように、特に強く制約された連立方程式によって実行される。
説明されている様々な収差の個々の補正モデルは、例えばカメラ2の演算装置5内に別々に格納され得るか又は統合して補正モデル全体として演算装置5内に格納され得る。当該補正モデルは、主に、演算装置5の具体的な構成と、特に適切なソフトウェアとして実行される当該演算装置5の実行とに依存する。
収差のそれぞれの補正は、可変のカメラ設定値に依存する。したがって、所定のカメラ設定値に対して所定の設定仕様によって特定された補正パラメータK,r,t,αは、カメラ設定値と設定仕様のこの組み合わせだけに対して有効である。一組の補正パラメータK,r,t,αが、1つ以上のカメラ設定値の全ての別の設定仕様に使用される場合、当該補正パラメータは、非常に大きい収差を引き起こすであろう。本発明では、カメラ距離Iは、上述したように、可変のカメラ設定値でない。何故なら、このカメラ距離Iは、収差に影響しないからである。しかし、それにもかかわらず、当該収差の補正に加えて、鮮明な画像をカメラ2によって撮影することも可能にする補正モデルを入手するためには、補正モデルの特定時のカメラ距離Iの変更は有益である。
しかし、それぞれのカメラ設置値のそれぞれの設定仕様に対して、及びオプションとして可能なそれぞれのカメラ距離Iに対して、補正パラメータK,r,t,αを特定することは不可能であるので、又は、当該特定は、許容できない時間的に大きい労力につながるので、カメラ設置値の異なる設定仕様に対する補正パラメータK,r,t,αと、オプションとしての選択されたカメラ距離Iとは異なるカメラ距離Iに対する補正パラメータK,r,t,αとは、予め特定された補正パラメータK,r,t,αから演算される。特に、選択された設定仕様に対する特定された補正パラメータK,r,t,αと、オプションとしての選択されたカメラ距離Iに対する補正パラメータK,r,t,αとは、例えば製造工程中のカメラ2の製造時に又は製造工程に続く補正時に、カメラ2の演算装置5内に格納される。例えばユーザによるカメラ2の使用時に、収差を補正するためにカメラ設定値の所定の設定仕様で必要な補正パラメータが、演算装置5によって当該格納された補正パラメータK,r,t,αから演算される。
補間が、当該補正パラメータを演算するために使用される。この場合、特に双曲線関数
Figure 2019205154
と、線形補間
Figure 2019205154
とを用いることで、当該補正パラメータが、当該格納された補正パラメータK,r,t,αから特定される。2つよりも多い点が、線形に補間すべき領域内で提供される場合、1つの直線を、線形回帰を用いて特定することが好ましい。誤差が最小になるように、この直線が配列されるので、当該線形回帰(法線距離の最小二乗法)は、当該線形補間とは異なる。特に、双曲線関数は、焦点距離fに対して使用され、線形補間は、全ての別のパラメータに対して使用される。
しかし、留意すべきは、全てのカメラ2又は特にカメラレンズ7が同様に挙動しない点である。或るレンズ7は、例えばより近い焦点範囲内では遠い範囲内とは著しく異なる挙動をとる。それ故に、使用される補間範囲を適切に構成するためには、レンズ7のそれぞれのモデルの挙動が、意図する動作範囲内で検査されなければならない。
本発明の補正モデルを生成するための方法を、図示された例において2つの可変のカメラ設定値(波長λ、焦点距離F)と3つのカメラ距離Iとに基づいて説明する。しかし、当然に、より多いか又はより少ない可変のカメラ設定値及び距離Iが使用されてもよい。例えば、絞り値Bが、追加の可変のカメラ設定値として使用される場合、絞り値B用の少なくとも2つの異なる設定仕様を使用する必要があり、絞り値B(異なる絞り開口部)のそれぞれの設定仕様ごとに、及び別の可変の両カメラ設定値(ここでは、波長λ、焦点距離F)と選択されたカメラ距離Iとのそれぞれの設定仕様ごとに、補正板上に配置された特徴点Mの画像を撮影することが必要である。したがって、それぞれ3つの設定仕様による2つの異なるカメラ設定値と、3つのカメラ距離Iとの場合、図示されているように、当該補正板の27個の画像が、この補正板上に配置された複数の特徴点Mと一緒に発生し、3つの可変のカメラ設定値と、3つのカメラ距離Iとの場合、81個の画像が発生する、等々。包括すると、b個の画像では、b=s・L,
Figure 2019205154
が成立する。この場合、Kは、可変のカメラ設定値(例えば、焦点距離F、絞り値B等)の数であり、sは、設定仕様の数であり、Lは、カメラ距離Iの数である。既に説明されているように、少なくとも2つの設定仕様が使用される。この場合、3つの設定仕様(s=3)が有益であると実証されている。すなわち、ただ1つの可変のカメラ設定値(K=1)、2つの設定仕様(s=2)及び1つのカメラ距離(L=1)の場合、複数の画像の最小数bminは、2つである。
カメラ2の使用時の収差を補正するための、予め実行された補正中に生成された補正モデルの使用を、図4に基づいて例示する。
図4は、対象物Oの測定面E内の特徴点Miを測定するための産業用画像処理システム1を示す。調整可能な絞り値Bを有するカメラ2が、空間内に、例えば天井11又は別の適切な保持装置に固定配置されている。測定面E内に存在する測定すべき特徴点Mを有するこの測定面Eが、カメラ2の撮影範囲内に存在するように、このカメラ2は、対象物Oの上方に配置されている。カメラ2の画面4が、所定の既知のカメラ距離Iで対象物Oの測定面Eから離間していて、特に測定面Eに対して平行に指向されている。照明装置6が、撮影範囲Aを既知の波長λを有する光Lで照らす。所定の絞り値Bが、絞り設定値として選択される。収差を補正するための補正モデルが、カメラ2の記憶装置5内に格納されている。この補正モデルは、例えばカメラ2の製造時の補正中に本発明の方法によって予め生成されたものである。
具体例では、まず、説明したような補正モデルは、例えば、15個の特徴点Mを有する1つの補正板と、絞り値B〜Bと波長λ〜λと3つのカメラ距離IK1〜IK3との それぞれ3つの設定仕様とを用いて、可変のカメラ距離Iと、可変の絞り値Bと、可変の波長λの光Lとに対して生成される。図面4に示された用途の設定仕様(絞り値B
の値、焦点距離Fの値、カメラ距離IKxの値)は、補正の設定仕様(B〜B,λ〜λ,IK1〜IK3)とは異なり、したがって主に当該補正の複数の設定仕様間に存在する値(例えば、B<B<B;B≠B)を有する。
当該補正の設定仕様とは異なる図4における用途の設定仕様に起因して発生する収差を補正するため、カメラ2内に格納された補正モデルの補正パラメータが速く且つ簡単に適合される。当該適合は、例えばカメラ2の演算装置5内で実行されるが、外部の演算装置内で実行されてもよい。このため、既知の設定仕様(具体的には、波長λ及び絞り値B)及びカメラ距離IKxが、例えば適切なインターフェース10によって演算装置5に送信される。次いで、演算装置5は、当該補正中に特定された補正パラメータに基づいて、新しい設定仕様(波長λ及び絞り値B)とカメラ距離IKxとに対するカメラモデルの補正パラメータを演算する。説明したように、この演算は、好ましくは、当該既知の補正パラメータに由来する双曲関数、線形補間又は線形回帰を用いて実行される。
したがって、産業用画像処理システム1は、変化する境界条件に速く且つ簡単に適合され得る。例えば、絞り値Bの設定が、図4における使用中に変化すると、従来の技術におけるシステムの場合に必要であったように、カメラ2を新たに補正することが必要ではなくて、絞り値Bの新しい設定が、インターフェース11を通じてこのカメラ2の演算装置5に送信され、この演算装置5が、この演算装置5に属する補正モデルの補正パラメータを演算する。
1 画像処理システム
2 カメラ
3 補正対象物
4 画面
5 演算装置、記憶装置
6 照明装置
7 レンズ
8 評価装置
9 発光制御装置
10 インターフェース
11 天井

Claims (14)

  1. カメラ(2)の画面(4)内の選択された可変の幾つかのカメラ設定値によって影響される少なくとも1つの収差を補正するために前記カメラ(2)の補正モデルを生成するための方法において、
    空間内の既知の異なる特徴点位置(PMi(X,Y、Z))を有する複数(i)個の特徴点(M)が設けられ、
    少なくとも2つの所定の設定仕様が、それぞれの前記カメラ設定値を変更するために前記収差に影響する選択された可変のそれぞれの前記カメラ設定値に対して予め設定され、
    当該予め設定されている少なくとも2つの設定仕様のそれぞれの設定仕様に対して、前記複数(i)個の特徴点(M)が、前記カメラ(2)によって撮影され、
    前記特徴点(M)の画像位置(PBi(X,Y))が、前記カメラ(2)によって前記画面(4)内の撮影される前記特徴点(M)から特定され、
    前記空間内の既知の異なる特徴点位置(PMi(X,Y、Z))と前記カメラ(2)の前記画面(4)内の対応する前記画像位置(PBi(X,Y))との関係が、既知の少なくとも1つの数学的方法を用いて特定され、
    選択された前記可変のカメラ設定値の予め設定されている少なくとも2つの設定仕様のそれぞれの設定仕様に対して、予め設定されている少なくとも1つの数学補正モデルの補正パラメータが、前記少なくとも1つの収差を補正するために前記関係の特定から特定され、
    少なくとも1つの補正モデルが、特定された前記補正パラメータと一緒に前記カメラ(2)内に格納されることを特徴とする方法。
  2. 幾何学歪み及び/又は色収差及び/又は口径食が、収差として含まれることを特徴とする請求項1に記載の方法。
  3. 焦点幅及び/又は焦点距離(F)及び/又は絞り値(B)及び/又は前記特徴点(M)を照らす光(L)の波長(λ)が、前記収差に影響する可変のカメラ設定値として含まれることを特徴とする請求項1又は2に記載の方法。
  4. 前記画面(4)から同じカメラ距離(IK)が、全ての特徴点(M)に対して設けられることを特徴とする請求項1〜3のいずれか1項に記載の方法。
  5. 前記特徴点(M)は、二次元の補正板上に配置され、
    能動的な又は受動的な、特に円形の特徴点(M)が、特徴点(M)として設けられることを特徴とする請求項4に記載の方法。
  6. 前記カメラ距離(IK)は、少なくとも2回変更され、
    予め設定されている少なくとも2つの前記設定仕様のそれぞれの設定仕様に対する特徴点(M)が、それぞれのカメラ距離(IK)ごとに前記カメラ(2)によって撮影されることを特徴とする請求項5に記載の方法。
  7. 少なくとも2つの特徴点(M)が、異なるカメラ距離(IK)によって設けられることを特徴とする請求項1〜3のいずれか1項に記載の方法。
  8. 前記特徴点(M)は、三次元の補正対象物(3)上に配置され、
    能動的な又は受動的な、特に円形の特徴点(M)が、特徴点(M)として設けられることを特徴とする請求項7に記載の方法。
  9. 少なくとも10個、特に少なくとも20個、特に好ましくは少なくとも30個の特徴点(M)が設けられることを特徴とする請求項1〜8のいずれか1項に記載の方法。
  10. ハートリー(Hartley)及びチマーマン(Zisserman)によるピンホールカメラモデルが、前記空間内の既知の異なる特徴点位置(PMi(X,Y、Z))と前記カメラ(2)の前記画面(4)内の前記画像位置(PBi(X,Y))との関係を特定するための数学的方法として使用されることを特徴とする請求項1〜9のいずれか1項に記載の方法。
  11. ブラウン−コンラディー(Brown−Conrady)による半径・接線モデルが、幾何学歪み及び/又は色収差に対する補正モデルとして使用されることを特徴とする請求項2〜10のいずれか1項に記載の方法。
  12. 口径食パラメータ(α)と画素強度(I)とによる半径口径食関数が、口径食に対する補正モデルとして使用されることを特徴とする請求項2〜11のいずれか1項に記載の方法。
  13. カメラ(2)の画面(4)内の選択された可変の幾つかのカメラ設定値によって影響される少なくとも1つの収差を補正するための請求項1〜12のいずれか1項に記載の方法の使用において、
    前記収差に影響する選択された複数のカメラ設定値のうちの1つのカメラ設定値の、少なくとも2つの所定の設定仕様とは異なる1つの設定仕様の場合に、前記少なくとも1つの収差を補正するための補正モデルの補正パラメータが、異なるこの設定仕様の場合に前記少なくとも2つの所定の設定仕様の特定された補正パラメータから演算され、
    当該異なる設定仕様のための当該演算された補正パラメータが、当該異なる設定仕様の場合に前記少なくとも1つの収差を補正するために前記カメラ(2)の前記補正モデル内に格納され、
    前記少なくとも2つの所定の設定仕様とは異なる1つの設定仕様の場合に、前記カメラ(2)の画面内の前記少なくとも1つの収差を補正するため、当該演算され格納された補正パラメータを有する補正モデルが使用されることを特徴とする使用。
  14. 当該異なる設定仕様に対する補正パラメータは、双曲線関数及び線形補間又は線形回帰を用いて前記少なくとも2つの所定の設定仕様の補正パラメータから演算されることを特徴とする請求項13に記載の使用。
JP2019050670A 2018-04-18 2019-03-19 収差を補正するためにカメラの補正モデルを生成するための方法 Withdrawn JP2019205154A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18168054.7A EP3557523B1 (de) 2018-04-18 2018-04-18 Verfahren zur erzeugung eines korrekturmodells einer kamera zur korrektur eines abbildungsfehlers
EP18168054.7 2018-04-18

Publications (1)

Publication Number Publication Date
JP2019205154A true JP2019205154A (ja) 2019-11-28

Family

ID=62063318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019050670A Withdrawn JP2019205154A (ja) 2018-04-18 2019-03-19 収差を補正するためにカメラの補正モデルを生成するための方法

Country Status (6)

Country Link
US (1) US10931924B2 (ja)
EP (1) EP3557523B1 (ja)
JP (1) JP2019205154A (ja)
KR (1) KR20190121689A (ja)
CN (1) CN110392252B (ja)
CA (1) CA3040673A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI680436B (zh) * 2018-12-07 2019-12-21 財團法人工業技術研究院 深度相機校正裝置及其方法
DE102020131808A1 (de) * 2019-12-05 2021-06-10 Denso Wave Incorporated Vorrichtung zur Unterstützung von Kalibrierungsvorgängen bei Industriekameras
EP3848900A1 (en) * 2020-01-10 2021-07-14 Aptiv Technologies Limited Methods and systems for calibrating a camera
CN111323751B (zh) * 2020-03-25 2022-08-02 苏州科达科技股份有限公司 声源定位方法、装置及存储介质
CN113655678B (zh) * 2020-04-29 2023-05-26 西门子(深圳)磁共振有限公司 医学影像系统中3d相机的安装引导方法和装置
CN112254674B (zh) * 2020-10-15 2022-02-15 天目爱视(北京)科技有限公司 一种近距离智能视觉3d信息采集设备
CN113379846B (zh) * 2021-05-28 2022-08-09 上海汇像信息技术有限公司 基于方向指示标志点标定模板的转台转轴标定方法
CN114167663B (zh) * 2021-12-02 2023-04-11 浙江大学 一种包含渐晕去除算法的编码光圈光学成像系统
AT525579B1 (de) * 2022-03-09 2023-05-15 Vexcel Imaging Gmbh Verfahren und Kamera zur Korrektur eines geometrischen Abbildungsfehlers in einer Bildaufnahme
EP4296950A1 (en) * 2022-06-24 2023-12-27 TuSimple, Inc. System for intrinsic calibration of cameras
CN116913206B (zh) * 2023-09-05 2023-12-12 长春希达电子技术有限公司 一种led箱体显示屏幕平场校正方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4147059B2 (ja) * 2002-07-03 2008-09-10 株式会社トプコン キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
JP4487952B2 (ja) * 2006-02-27 2010-06-23 ソニー株式会社 カメラ装置及び監視システム
DE102006030670A1 (de) * 2006-07-04 2008-01-10 Carl Zeiss Sms Gmbh Verfahren zur Auswertung von Bildern bzw. Bildstapeln
US11403739B2 (en) * 2010-04-12 2022-08-02 Adobe Inc. Methods and apparatus for retargeting and prioritized interpolation of lens profiles
US8368762B1 (en) * 2010-04-12 2013-02-05 Adobe Systems Incorporated Methods and apparatus for camera calibration based on multiview image geometry
JP5742179B2 (ja) * 2010-11-05 2015-07-01 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
KR101666959B1 (ko) * 2015-03-25 2016-10-18 ㈜베이다스 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
US11070793B2 (en) * 2015-07-31 2021-07-20 Cognex Corporation Machine vision system calibration
US20170070731A1 (en) * 2015-09-04 2017-03-09 Apple Inc. Single And Multi-Camera Calibration
PT3513382T (pt) * 2016-09-14 2020-11-20 Fraunhofer Ges Forschung Deteção de padrão
CN109215082B (zh) * 2017-06-30 2021-06-22 杭州海康威视数字技术股份有限公司 一种相机参数标定方法、装置、设备及系统
JP6933072B2 (ja) * 2017-09-22 2021-09-08 富士通株式会社 カメラ制御方法、カメラ制御装置およびカメラ制御プログラム

Also Published As

Publication number Publication date
EP3557523A1 (de) 2019-10-23
CN110392252B (zh) 2023-11-10
KR20190121689A (ko) 2019-10-28
CA3040673A1 (en) 2019-10-18
US20190327454A1 (en) 2019-10-24
EP3557523B1 (de) 2021-07-28
US10931924B2 (en) 2021-02-23
CN110392252A (zh) 2019-10-29

Similar Documents

Publication Publication Date Title
JP2019205154A (ja) 収差を補正するためにカメラの補正モデルを生成するための方法
US9560345B2 (en) Camera calibration
US7893393B2 (en) System and method for calibrating an image projection system
US10209202B1 (en) Optical characterization system for wide field of view diffractive optical elements
US20150049345A1 (en) Three-dimensional measuring apparatus, three-dimensional measuring method, and three-dimensional measuring program
US9137526B2 (en) Image enhancement via calibrated lens simulation
JP2016186421A (ja) 画像処理方法
TW201337211A (zh) 形狀反射器及表面輪廓映射
EP3531116B1 (en) Image inspection apparatus and image inspection method
JP2018151832A (ja) 情報処理装置、情報処理方法、および、プログラム
CN106415198B (zh) 图像记录方法和执行该方法的坐标测量机
JP2015059849A (ja) 色と三次元形状の計測方法及び装置
US10753726B2 (en) System and method for 3D profile determination using model-based peak selection
US10935377B2 (en) Method and apparatus for determining 3D coordinates of at least one predetermined point of an object
KR20200032442A (ko) 자기보정이 가능한 3차원 정보 생성 장치 및 방법
CN109754365B (zh) 一种图像处理方法及装置
TW202113344A (zh) 外觀檢查裝置及其校正方法、及電腦可讀取的記錄媒體
JP7459525B2 (ja) 三次元形状計測装置、三次元形状計測方法及びプログラム
JP2019144183A (ja) 三次元座標計測装置及びその方法
JP2017026519A (ja) 処理装置、その制御方法、及びキャリブレーション装置
JP2018044863A (ja) 計測装置、計測方法、システム及び物品の製造方法
CN107945236B (zh) 一种适于通用光学系统的亚像素级非线性标定方法
US12002230B2 (en) Measurement method and measurement system
KR102676819B1 (ko) 광학 특성 측정 방법 및 광학 특성 측정 시스템
JP2018159603A (ja) 投影装置、計測装置、システム、および物品の製造方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200703

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211104

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20211207