JP2021522719A - カメラ内部パラメータのオンライン評価 - Google Patents

カメラ内部パラメータのオンライン評価 Download PDF

Info

Publication number
JP2021522719A
JP2021522719A JP2020559383A JP2020559383A JP2021522719A JP 2021522719 A JP2021522719 A JP 2021522719A JP 2020559383 A JP2020559383 A JP 2020559383A JP 2020559383 A JP2020559383 A JP 2020559383A JP 2021522719 A JP2021522719 A JP 2021522719A
Authority
JP
Japan
Prior art keywords
camera
original image
control module
camera system
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020559383A
Other languages
English (en)
Other versions
JP7448484B2 (ja
Inventor
シルヴァ・カルロス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive GmbH
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Publication of JP2021522719A publication Critical patent/JP2021522719A/ja
Application granted granted Critical
Publication of JP7448484B2 publication Critical patent/JP7448484B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026Windows, e.g. windscreen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、車両2用のカメラシステム1に関する。カメラシステム1は、車両2の周囲の画像データを取得するように構成され、カメラ10と制御モジュール20とを備える。制御モジュール20は、画像データの逆投影、順投影、および/または再投影における誤差を決定することにより、ならびに誤差が既定の閾値を超えるかどうかを決定することにより、カメラシステム1の内部パラメータの較正が必要かどうかを決定するように構成されている。

Description

本発明は、車両用のカメラシステム、カメラシステムを備える車両、カメラの内部パラメータを評価するための方法、プログラム要素、およびコンピュータ可読媒体に関する。
現代の車両では、走行中に車両の運転手をサポートするため、複数のセンサが車両に設置または搭載されている。センサの適正な機能を達成するため、これらのセンサを較正しうる。較正は、センサ、例えばカメラの内部パラメータおよび外部パラメータを含む。一般に、内部パラメータは、再較正されないか、または一定の時間もしくは動作間隔で再較正される。さらに、再較正は、多大なる演算能力および/または時間を必要としうる。
効率的なカメラ較正を提供することが目的になりうる。
本発明の目的は、独立クレームの主題で解決され、さらなる実施形態は、従属クレームに組み込まれる。
第1の態様は、車両用のカメラシステムを提供する。カメラシステムは、車両の周囲の画像データを取得するように構成され、カメラと制御モジュールとを備える。制御モジュールは、画像データの逆投影、順投影、および/または再投影における誤差を決定することにより、ならびに誤差が既定の閾値を超えるかどうかを決定することにより、カメラシステムの内部パラメータの較正が必要かどうかを決定するように構成されている。
カメラレイと原画像との間の投影は、カメラの内部パラメータを用いて実行してもよく、その逆もまた同様である。従って、有効でない、または不正確な内部パラメータにより、カメラレイと原画像との間の投影が正しくないものとなり、その逆もまた同様となる。
本発明は、現実の場面における直線が単位球面の表面上の単位円に投影され、原画像における曲線に投影されるという原理に依拠している。
カメラシステムは、カメラおよび制御モジュールを備えうる。制御モジュールは、カメラの実際の内部パラメータがまだ有効かつ正確であるかどうかを評価するように構成しうる。このため、制御モジュールは、逆投影、順投影、および/または再投影のうちの少なくとも1つを分析する。さらに、制御モジュールは、これらの投影のそれぞれにおける誤差を計算してもよく、誤差が既定の閾値を超える場合、内部パラメータの再較正が必要となり、かかる再較正を任意で始動してもよい。制御モジュールは、再較正をオンラインで行いうる。従って、カメラシステムの動作の最中に、制御モジュールは、再較正を行うためのサービス停車を開始しうる。従って、カメラの再較正を必要なときに行うことができ、カメラシステムのサービス時間に加え演算能力または時間が削減される。
原画像における直線を検出するために用いうる種々の方法がある。これらの直線の点を、エッジ点と表記しうる。制御モジュールは、カメラシステムまたは車両の他の機能により検出され用いられる直線を用いうる。このため、演算負荷をさらに削減しうる。
さらにその上、(現実における)直線は、単位球面における円として、および原画像におけるコニック曲線として現れるはずであるため、決定されたエッジ点を通じて、(カメラレイであるか原画像であるかにより)円および/またはコニック曲線を適合しうる。より正確な結果のため、エッジ点に対する内座層点(エッジ点のサブセット)を決定し、円および/またはコニック曲線を適合するために用いうる。
各投影における誤差、すなわち、内部パラメータの評価および検証は、原画像と単位球面との両方における適合関数からの誤差により測定しうる。
カメラの内部パラメータは、焦点距離、画像中心のx値、画像中心のy値、x方向における画素スケーリング、およびy方向における画素スケーリングであってもよく、かかるパラメータの全ては、デカルト座標において定義される。
逆投影は、原画像から単位球面への投影変換として定義しうる。原画像において適合しうる、コニック曲線に対する内座層点であるエッジ点を、選択しうる。エッジ点から単位球面において定義される円への距離を測定しうる。この距離の二乗平均平方根が、逆投影の誤差を表しうる。
順投影は、単位球面から原画像への投影変換として定義しうる。単位球面において適合しうる、円に対する内座層点であるエッジ点を、選択しうる。決定された内座層点の指標を用いて、原画像における対応する点を識別しうる。エッジ点から原画像における曲線への距離を測定しうる。この距離の二乗平均平方根が、順投影の誤差を表しうる。
再変換は、逆投影と順投影との組み合わせとして定義しうる。原画像におけるエッジ点および内座層点を単位球面に投影してもよく、原画像に逆投影してもよい。再変換の誤差は、再投影された点と原画像における(内座層点を通じて)適合されたコニック曲線との間の距離の二乗平均平方根でありうる。
実施形態によれば、カメラが魚眼カメラである。
カメラシステムのカメラは、魚眼レンズを備えうる。魚眼レンズを用いるカメラにおける歪みは大きくなりうるため、画像データの正しい分析、例えば取得された画像データ内での距離の測定や物体の認識などが可能でありうるように、内部パラメータは正確であるべきである。特に、取得された画像データが自動化および/または自動運転機能に用いられる場合にそれが当てはまる。
別の実施形態によれば、カメラは、原画像を取得するように構成されている。さらに、制御モジュールは、原画像におけるエッジ点を決定するように構成されている。
制御モジュールは、現実における直線を決定するように構成してもよく、かかる直線は、カメラにより取得された原画像において曲線として表される。現実または場面における直線は、柱、壁、天井、および/または標識でありうる。これらの種類の物体は、通常、直線を備え、認識アルゴリズムがこれらの物体を検出し、取得された画像における直線を決定しうる。決定されたエッジ点は、カメラの内部パラメータの評価のための開始基準となりうる。エッジの検出は、例えば、Cannyエッジ検出器により行いうる。
実施形態によれば、制御モジュールは、エッジ点を含む原画像を、カメラの内部パラメータを用いることによりカメラレイに投影するように構成されている。カメラレイは、半径1の単位球面を備え、現実における直線が単位球面の表面上の円の一部として表される。制御モジュールは、さらに、カメラレイにおけるエッジ点を通じて円を適合させるように構成されている。
次のステップでは、カメラの内部投影を用いて、検出または決定されたエッジ点を単位球面に投影しうる。場面における直線は、単位球面の表面上の円の一部となる。単位球面に適合する直線は、次式のようになりうる。
Figure 2021522719
実施形態によれば、制御モジュールは、カメラレイにおける適合された円の内座層点を決定するように構成され、内座層点は、決定されたエッジ点の一部である。
内座層点は、エッジ点を通じて円を適合させることによりカメラにおいて決定してもよく、かかるエッジ点は、原画像において決定し、カメラレイに投影してもよい。内座層点は、残留エッジ点として散らばりが小さいエッジ点でありうる。従って、内座層点は、エッジ点の導出により決定しうる。
別の実施形態によれば、制御モジュールは、原画像における内座層点を通じてコニック曲線を適合させるように構成されている。
決定された内座層点を用いて、それらを通じてコニック曲線を適合しうる。さらに、内座層点の指標を用いて、原画像における対応するエッジ点を識別しうる。従って、カメラレイの内座層点を原画像に投影する必要はないかもしれない。
実施形態によれば、制御モジュールは、コニック適合アルゴリズムを用いて、原画像における内座層点を通じてコニック曲線を適合させるように構成されている。
現実における直線は、原画像におけるコニック曲線に対応する。後者は、カメラシステムおける、例えばカメラのレンズにおける歪みに基づいている。特に、レンズが魚眼レンズの場合にそれが当てはまる。さらに、決定された内座層点を通じてコニック曲線を適合するため、コニック適合アルゴリズムを用いうる。
場面における直線は、原画像におけるコニック曲線に対応する。コニック曲線は、次式により表しうる。
Figure 2021522719
楕円のFitzgibbon直接最小二乗適合は、次式により表される。
Figure 2021522719
従って、コニック曲線は、次式により表しうる。
Figure 2021522719
別の実施形態によれば、適合アルゴリズムは、Fitzgibbonコニック適合アルゴリズムでありうる。
別の実施形態によれば、制御モジュールは、原画像におけるエッジ点と適合されたコニック曲線との間の誤差を決定するように構成されている。
エッジ点と適合されたコニック曲線との間の誤差または距離は、カメラの実際の内部パラメータおよび/またはカメラシステムの最近の較正の正確性に相当しうる。従って、適合されたコニック曲線と単独のエッジ点との間の誤差または平均距離が大きいほど、内部パラメータはより不正確である。取得された画像を確実に評価または分析するため、用いられるカメラの内部パラメータは、現実的で正確な必要がある。従って、カメラの内部パラメータの再較正が長時間にわたり必要となりうる。しかし、演算能力および時間を削減するため、再較正は、必要な場合にのみ行われるべきである。このため、逆投影、順投影、および/または再投影の1つにおける誤差を分析しうる。
実施形態によれば、制御モジュールは、二乗平均平方根法により、原画像におけるエッジ点と適合されたコニック曲線との間の誤差を決定するように構成されている。
例として、エッジ点と適合されたコニック曲線との間の誤差または距離は、二乗平均平方根法により決定しうる。
実施形態によれば、制御モジュールは、既定の閾値が超えられる場合、内部パラメータの較正を始動するように構成されている。
従って、正しく作動するカメラシステムを保証するため、コニック曲線とエッジ点との間の決定された誤差が一定の閾値を超える場合、内部パラメータを再較正しうる。較正は、オンラインで行いうる。従って、運転中に制御モジュールを介して、または作業場におけるサービス停車中に、行いうる。上記および以下に記載の方法は、特に、最近の較正の正確性の評価を扱うものである。
本発明の別の態様によれば、余剰のオフデューティ時間間隔を決定するための運転手補助システムを備える車両が提供される。
車両は、例えば、自動車、バス、またはトラックなどの自動車両、また、船舶、ボート、航空機、またはヘリコプタでありうる。
さらに別の態様によれば、カメラの内部パラメータを評価するための方法が提供される。本方法は、以下のステップを備える:
カメラにより原画像を取得するステップと、
原画像におけるエッジ点を決定するステップと、
エッジ点をカメラレイに投影するステップであって、カメラレイは、半径1の単位球面を備え、現実における直線は、単位球面の表面上の円の一部として投影される、ステップと、
カメラレイにおけるエッジ点を通じて円を適合するステップと、
カメラレイにおける適合された円の内座層点を決定するステップであって、内座層点は、決定されたエッジ点の一部である、ステップと、
内座層点を原画像に投影するステップと、
原画像における内座層点を通じてコニック曲線を適合するステップと、
原画像におけるエッジ点とコニック曲線との間の誤差を決定するステップと、
決定された誤差を既定の閾値と比較し、閾値が超えられる場合、カメラの内部パラメータの較正を始動するステップ。
方法は、別の順序で行われうることに留意すべきである。さらに、誤差は、カメラレイにおいて決定しうる。さらにその上、内座層点の指標を決定し、それを用いて原画像またはカメラレイにおける対応する点を識別しうる。従って、内座層点の逆投影を回避しうる。
別の態様によれば、前述の装置を制御するコンピュータプログラム要素が提供され、かかるコンピュータプログラム要素は、処理ユニットにより実行され、前述の方法ステップを行うように適合されている。
また、前述のコンピュータ要素を記憶したコンピュータ可読媒体も提供される。
上記態様のいずれにより提供される利点も、その他の全ての態様に等しく適用され、その逆もまた同様であると有益である。
上記の態様および例は、以下に記載の実施形態から明らかとなり、それらの実施形態を参照して説明される。
以下の図面を参照して、例示的実施形態を以下で説明する。
実施形態による車両用のカメラシステムの概略図を示す。 実施形態によるカメラシステムの検出されたエッジを含む取得された原画像を示す。 実施形態による単位球面の表面上の円上に投影された直線を有する単位球面を示す。 実施形態による、単位球面の表面上の円上に直線が投影されている、カメラレイにおける取得された画像を示す。 実施形態によるカメラの内部パラメータを評価するための流れ図を示す。 実施形態による、検出されたエッジ点、エッジ点に対する決定された内座層点、適合したコニック曲線、および適合した曲線とエッジ点との間の誤差を示す。 実施形態による、検出されたエッジ点、エッジ点に対する決定された内座層点、適合したコニック曲線、および適合した曲線とエッジ点との間の誤差を示す。 実施形態による、検出されたエッジ点、エッジ点に対する決定された内座層点、適合したコニック曲線、および適合した曲線とエッジ点との間の誤差を示す。 実施形態による、検出されたエッジ点、エッジ点に対する決定された内座層点、適合したコニック曲線、および適合した曲線とエッジ点との間の誤差を示す。 実施形態による、エッジ点を通じて適合したコニック曲線を含む取得された原画像を示す。 実施形態によるカメラシステムを有する車両を示す。 実施形態によるカメラの内部パラメータを評価するための方法の流れ図を示す。
図1は、カメラシステム1を示す。カメラシステム1は、カメラ10および制御モジュール20を備える。制御モジュール20は、カメラシステム1の内部パラメータの再較正が必要かどうかを決定するように構成しうる。このため、制御モジュール20は、取得された画像データの逆投影、順投影、および/または再投影における誤差を決定するように構成しうる。後者の投影は、カメラの内部パラメータの支援により実行される。特に、制御モジュール20は、逆投影、順投影、および/または再投影における誤差を既定の閾値と比較するように構成してもよく、誤差が閾値を超える場合、カメラ10の内部パラメータの再較正を始動してもよい。この方法は、魚眼レンズを有するカメラに特に有用でありうる。
カメラ10は、現実の環境または場面の原画像を取得する。カメラ10のレンズにより生じる歪みにより、現実における直線は、原画像において曲線として現れる。制御モジュール20は、原画像における壁、木、尖塔、標識、看板、またはドアなどのエッジの一部である、原画像におけるエッジ点を決定するように構成しうる。代替として、または加えて、これらのエッジ点は、別のモジュールまたはアルゴリズムにより決定しうる。制御モジュール20は、さらに、決定されたエッジ点を含む原画像を、内部パラメータを用いることによりカメラレイに投影するように構成しうる。カメラレイは、半径1の単位球面を備え、現実における直線が単位球面の表面上の円の一部として表される。制御モジュール20は、また、カメラレイにおけるエッジ点を通じて単位球面の表面上の円を適合させるように構成しうる。続いて、制御モジュール20は、エッジ点のサブセットまたは一部である、内座層点を決定しうる。さらに、制御モジュール20は、Fitzgibbonによるコニック適合アルゴリズムなどのコニック適合アルゴリズムの使用により、原画像における内座層点を通じてコニック曲線を適合させるように構成しうる。エッジ点とコニック曲線との間の誤差および/または距離に基づいて、制御モジュール20は、カメラの内部パラメータの較正がまだ有効であるか否かを決定することが可能である。特に、決定された誤差を既定の閾値と比較することにより決定する。代替として、または加えて、内座層点の指標を決定し、それを用いてコニック曲線を計算し、誤差を決定しうる。誤差は、二乗平均平方根法を用いることにより決定しうる。制御モジュール20は、さらに、誤差が既定の閾値を超える場合、カメラ10の内部パラメータの再較正を始動するように構成しうる。
図2は、取得された原画像30を示す。取得された原画像30において、取得された場面のエッジが検出される。現実における直線35が原画像30においてはコニック曲線として表されるため、これらの検出されたエッジは、異なる陰影および形状のコニック曲線により示される。図2の場合、駐車場が示され、場面では直線35である柱、天井、および路面標識を用いて、カメラの内部パラメータを評価しうる。
図3は、カメラレイ40の単位球面45を示す。単位球面45の半径nは、1である。現実における直線35は、単位球面45の表面上に投影され、単位球面45の表面上の円の一部を表す。従って、直線35は、カメラレイ40における円の一部として現れる。
図4は、カメラレイ40を示し、図2の原画像がカメラレイ40に変換され、カメラレイ40における単位球面45の表面上に投影される。図2の印字された直線35は、原画像のその他の直線と同様に、カメラレイ40における円の一部として表される。
図5は、カメラの内部パラメータを評価するための方法の流れ図を示す。取得された画像または映像において、直線に対応するエッジが検出される。原画像のエッジ点がカメラレイに投影される。カメラレイでは、エッジ点が単位球面の表面上の円上にある。エッジ点を通じて円を適合した後、内座層点を決定しうる。この内座層点により、コニック曲線を原画像において適合、計算、または決定しうる。このため、内座層点を原画像に逆投影してもよく、内座層点の指標を決定し、内座層点の指標を用いて原画像における対応するエッジ点を識別する。さらに、適合されたコニック曲線とエッジ点との間の誤差を決定しうる。誤差が既定の閾値を超える場合、カメラの内部パラメータがもはや有効または正確でなく、カメラの内部パラメータを再較正する必要がある。
図6a〜6dは、検出されたエッジ点、決定された内座層点、コニック曲線の適合、および誤差の決定を示す。
図6aにおける点は、原画像における(現実の)場面における直線のエッジ点36を表す。図6aに示すように、エッジ点は、正確に1本の曲線上にあるのでなく、これは、エッジ検出アルゴリズムの使用および取得された画像における画素サイズによる結果でありうる。さらに、エッジ点36は、中央値の周辺に散在し、いくつかのエッジ点は、他のものよりも大きく散らばっていることが示されている。
図6bは、内座層点36aの定義を示し、これらの点は、「外側の」エッジ点36の間にある。図6bにおいて、エッジ点36は濃色ドットとして、内座層点36aはグレー色ドットとして表されている。さらに、上側バリアおよび下側バリアが図6bに示され、黒線として表されている。点線は、内座層点36aが位置する曲線を表す。
図6cは、適合されたコニック曲線38を示し、かかる曲線は、内座層点36aに基づいて計算され、および/またはそれらを通じて適合されている。さらに、内座層点36aは、コニック曲線38上に位置することが示されている。
図6dは、適合されたコニック曲線38およびエッジ点36を示す。コニック曲線38とエッジ点36との間の距離は、カメラレイと原画像との間の逆投影における誤差を表す。エッジ点36とコニック曲線38との間の矢印は、誤差を示す。誤差が既定の閾値を超える場合、カメラの内部パラメータがもはや有効でなく、再較正する必要がある。
図7は、複数の適合されたコニック曲線38を有する原画像30を示す。適合されたコニック曲線38は、場面における直線のエッジ点の内座層点を通じて適合されている。図7には、教会の原画像が示されている。教会の尖塔およびドアは、多数の直線および/またはエッジを備える。これらの線および/またはエッジの点が原画像30において決定され、決定されたエッジ点を通じてコニック曲線38が適合されうる。エッジ点と適合されたコニック曲線38との間の誤差により、内部パラメータおよびそれらの正確性についての情報が提供される。コニック曲線38とエッジ点との間の誤差を決定するため、二乗平均平方根を考慮しうる。誤差が既定の閾値を超える場合、カメラの内部パラメータを再較正しうる。
図8は、カメラシステム1を有する車両2を示す。カメラシステム1のカメラは、車両2の走行方向に面する車両2のフロントガラスの後方に搭載しうる。代替として、または加えて、カメラシステム1のカメラは、車両2の側方、サイドミラー、または車両2の後方エリアに面する車両2の後端に配置しうる。カメラシステム1のカメラおよび制御モジュールは、車両2内の同じ場所に配置してもよいが、離間配置してバスシステムまたはワイヤで接続してもよい。
図9は、カメラの内部パラメータを評価するための方法の流れ図を示す。ステップS1において、カメラは原画像を取得し、カメラは魚眼レンズを備えうる。ステップS2において、取得された原画像においてエッジのエッジ点を決定する。ステップS3において、決定されたエッジ点をカメラレイに投影し、カメラレイは、半径1の単位球面を備え、現実における直線が単位球面の表面上の円の一部として投影される。続いて、ステップS4において、カメラレイにおけるエッジ点を通じて円を適合する。ステップS5において、カメラレイにおける適合された円の支援によりエッジ点の内座層点を決定する。ステップS6において、内座層点を原画像に投影する。ステップS7において、原画像における内座層点を通じてコニック曲線を適合する。続くステップS8において、エッジ点とコニック曲線との間の誤差を、原画像において決定する。ステップS9において、決定された誤差を既定の閾値と比較し、誤差が既定の閾値を超える場合、カメラの内部パラメータの較正を始動する。

Claims (14)

  1. 車両(2)の周囲の画像データを取得するように構成された、車両(2)用のカメラシステム(1)であって、
    カメラ(10)と、
    制御モジュール(20)とを備え、
    前記制御モジュール(20)は、前記画像データの逆投影、順投影、および/または再投影における誤差を決定することにより、ならびに前記誤差が既定の閾値を超えるかどうかを決定することにより、前記カメラシステム(1)の内部パラメータの較正が必要かどうかを決定するように構成されているカメラシステム(1)。
  2. 前記カメラ(10)が魚眼カメラであることを特徴とする請求項1に記載のカメラシステム(1)。
  3. 前記カメラ(10)は、原画像(30)を取得するように構成され、前記制御モジュール(20)は、前記原画像(30)におけるエッジ点(36)を決定するように構成されていることを特徴とする請求項1および2に記載のカメラシステム(1)。
  4. 前記制御モジュール(20)は、前記エッジ点(36)を有する前記原画像(30)をカメラレイ(40)に投影するように構成され、前記カメラレイ(40)は、半径1の単位球面(45)を備え、現実における直線(35)は、前記単位球面(45)の表面上の円の一部として表され、
    前記制御モジュール(20)は、さらに、前記カメラレイ(40)における前記エッジ点(36)を通じて円を適合させるように構成されていることを特徴とする請求項3に記載のカメラシステム(1)。
  5. 前記制御モジュール(20)は、前記カメラレイ(40)における前記適合された円の内座層点(36a)を決定するように構成され、
    前記内座層点(36a)は、前記決定されたエッジ点(36)の一部であることを特徴とする、請求項4に記載のカメラシステム(1)。
  6. 前記制御モジュール(20)は、前記原画像における前記内座層点(36a)を通じてコニック曲線(38)を適合させるように構成されていることを特徴とする、請求項5に記載のカメラシステム(1)。
  7. 前記制御モジュール(20)は、コニック適合アルゴリズムを用いて、前記原画像(30)における前記内座層点(36a)を通じて前記コニック曲線(38)を適合させるように構成されていることを特徴とする請求項6に記載のカメラシステム(1)。
  8. 前記制御モジュール(20)は、前記原画像(30)における前記エッジ点(36)と前記適合されたコニック曲線(38)との間の前記誤差を決定するように構成されていることを特徴とする請求項6および7に記載のカメラシステム(1)。
  9. 前記制御モジュール(20)は、二乗平均平方根法により、前記原画像(30)における前記エッジ点(36)と前記適合されたコニック曲線(38)との間の前記誤差を決定するように構成されていることを特徴とする請求項8に記載のカメラシステム(1)。
  10. 前記制御モジュール(20)は、前記既定の閾値が超えられる場合、前記内部パラメータの較正を始動するように構成されていることを特徴とする前記請求項のいずれか1項に記載のカメラシステム(1)。
  11. 請求項1〜10のいずれか1項に記載のカメラシステム(1)を備える車両(2)。
  12. カメラの内部パラメータを評価するための方法であって、
    カメラにより原画像を取得するステップ(S1)と、
    前記原画像におけるエッジ点を決定するステップ(S2)と、
    前記エッジ点をカメラレイに投影するステップ(S3)であって、前記カメラレイは、半径1の単位球面を備え、現実における直線は、前記単位球面の表面上の円の一部として投影されるステップと、
    前記カメラレイにおける前記エッジ点を通じて円を適合するステップ(S4)と、
    前記カメラレイにおける前記適合された円の内座層点を決定するステップ(S5)であって、前記内座層点は、前記決定されたエッジ点の一部であるステップと、
    前記内座層点を前記原画像に投影するステップ(S6)と、
    前記原画像における前記内座層点を通じてコニック曲線を適合するステップ(S7)と、
    前記原画像における前記エッジ点と前記コニック曲線との間の誤差を決定するステップ(S8)と、
    前記決定された誤差を既定の閾値と比較し、前記閾値が超えられる場合、前記カメラの前記内部パラメータの較正を始動するステップ(S9)とを含む当該方法。
  13. プロセッサにより実行されると請求項12に記載の方法を行うように構成されている、請求項1〜10のいずれか1項に記載のカメラシステムおよび/または請求項11に記載の車両用のコンピュータプログラム要素。
  14. 請求項13に記載のコンピュータプログラム要素を格納したコンピュータ可読媒体。
JP2020559383A 2018-04-26 2019-04-15 カメラ内部パラメータのオンライン評価 Active JP7448484B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18169389.6A EP3561773B1 (en) 2018-04-26 2018-04-26 Online evaluation for camera intrinsic parameters
EP18169389.6 2018-04-26
PCT/EP2019/059690 WO2019206723A1 (en) 2018-04-26 2019-04-15 Online evaluation for camera intrinsic parameters

Publications (2)

Publication Number Publication Date
JP2021522719A true JP2021522719A (ja) 2021-08-30
JP7448484B2 JP7448484B2 (ja) 2024-03-12

Family

ID=62067424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020559383A Active JP7448484B2 (ja) 2018-04-26 2019-04-15 カメラ内部パラメータのオンライン評価

Country Status (5)

Country Link
US (1) US11562503B2 (ja)
EP (1) EP3561773B1 (ja)
JP (1) JP7448484B2 (ja)
KR (1) KR20210005605A (ja)
WO (1) WO2019206723A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11600023B2 (en) * 2020-08-31 2023-03-07 Gopro, Inc. Optical center calibration
CN114445266B (zh) * 2022-01-08 2023-06-23 桂林理工大学 鱼眼图像特征点伪邻域提取方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016001181A (ja) * 2009-12-24 2016-01-07 コグネックス・コーポレイション カメラのミスキャリブレーションの実行時決定のためのシステムと方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100386090B1 (ko) * 2001-04-02 2003-06-02 한국과학기술원 동심원 패턴을 이용한 카메라 내부변수 보정시스템 및카메라 보정방법
DE102005061952B4 (de) * 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
DE102007049821A1 (de) * 2007-10-16 2009-04-23 Daimler Ag Verfahren zum Kalibrieren einer Anordnung mit mindestens einer omnidirektionalen Kamera und einer optischen Anzeigeeinheit
EP2523163B1 (en) * 2011-05-10 2019-10-16 Harman Becker Automotive Systems GmbH Method and program for calibrating a multicamera system
CN103827917B (zh) * 2011-07-25 2017-06-09 科英布拉大学 用于使用棋盘图案的一幅或多幅图像的自动相机校准的方法和装置
JP5728372B2 (ja) * 2011-11-30 2015-06-03 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US10083376B2 (en) * 2015-10-19 2018-09-25 Honeywell International Inc. Human presence detection in a home surveillance system
US9959625B2 (en) * 2015-12-29 2018-05-01 The United States Of America As Represented By The Secretary Of The Air Force Method for fast camera pose refinement for wide area motion imagery
GB2552648B (en) * 2016-07-22 2020-09-16 Imperial College Sci Tech & Medicine Estimating dimensions for an enclosed space using a multi-directional camera
US10504244B2 (en) * 2017-09-28 2019-12-10 Baidu Usa Llc Systems and methods to improve camera intrinsic parameter calibration
US11288412B2 (en) * 2018-04-18 2022-03-29 The Board Of Trustees Of The University Of Illinois Computation of point clouds and joint display of point clouds and building information models with project schedules for monitoring construction progress, productivity, and risk for delays
CN109816733B (zh) * 2019-01-14 2023-08-18 京东方科技集团股份有限公司 相机参数初始化方法及装置、相机参数标定方法及设备、图像采集系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016001181A (ja) * 2009-12-24 2016-01-07 コグネックス・コーポレイション カメラのミスキャリブレーションの実行時決定のためのシステムと方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIANGHUA YING ET AL.: ""Fisheye Lenses Calibration Using Straight-Line Spherical Perspective Projection Constraint"", COMPUTER VISION - ACCV 2006, JPN6023013071, 2006, pages 61 - 70, ISSN: 0005028987 *

Also Published As

Publication number Publication date
WO2019206723A1 (en) 2019-10-31
JP7448484B2 (ja) 2024-03-12
EP3561773A1 (en) 2019-10-30
EP3561773B1 (en) 2022-03-02
US20210233274A1 (en) 2021-07-29
KR20210005605A (ko) 2021-01-14
US11562503B2 (en) 2023-01-24

Similar Documents

Publication Publication Date Title
CN107784672B (zh) 用于获取车载相机的外部参数的方法和装置
JP7045816B2 (ja) 検査ステーションに配置された車両の最外寸法を測定するための方法及びシステム
US10218961B2 (en) Calibration method, calibration device, and computer program product
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
WO2019000945A1 (zh) 车载摄像机测距方法及装置、存储介质和电子设备
JP2020064046A (ja) 車両位置決定方法及び車両位置決定装置
US9536173B2 (en) Method and device for image-based visibility range estimation
JP6571424B2 (ja) 故障診断装置
CN109532662B (zh) 一种车距及碰撞时间计算方法及装置
CN112489136B (zh) 标定方法、位置确定方法、装置、电子设备及存储介质
US11132530B2 (en) Method for three-dimensional graphic reconstruction of a vehicle
JP7448484B2 (ja) カメラ内部パラメータのオンライン評価
US20140160005A1 (en) Apparatus and method for controlling gaze tracking
CN105809669A (zh) 一种用于校准图像检测设备的方法和装置
US20200039434A1 (en) Method and system for determining and displaying a wading situation
KR101276073B1 (ko) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
CN110827337B (zh) 确定车载相机的姿态的方法、装置和电子设备
CN111626078A (zh) 识别车道线的方法及装置
JP4462533B2 (ja) 路面走行レーン検出装置
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
KR102565603B1 (ko) 긴급 제동 시스템의 성능평가 장치 및 방법
KR20230039155A (ko) 자율 주행중 실시간 자율주행 센서 캘리브레이션 장치 및 방법
US11792356B2 (en) Validation of infrared (IR) camera distortion accuracy
CN118004035B (zh) 一种基于车载投影仪的辅助驾驶方法、装置及电子设备
WO2020246202A1 (ja) 計測システム、計測方法、及び計測プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240229

R150 Certificate of patent or registration of utility model

Ref document number: 7448484

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150