JP2021108191A - 車載カメラ外部パラメータのキャリブレーション方法、装置、システム及び記憶媒体 - Google Patents

車載カメラ外部パラメータのキャリブレーション方法、装置、システム及び記憶媒体 Download PDF

Info

Publication number
JP2021108191A
JP2021108191A JP2021067168A JP2021067168A JP2021108191A JP 2021108191 A JP2021108191 A JP 2021108191A JP 2021067168 A JP2021067168 A JP 2021067168A JP 2021067168 A JP2021067168 A JP 2021067168A JP 2021108191 A JP2021108191 A JP 2021108191A
Authority
JP
Japan
Prior art keywords
vehicle
camera
coordinate system
vehicle camera
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021067168A
Other languages
English (en)
Other versions
JP7152554B2 (ja
Inventor
シュン チョウ
Xun Zhou
シュン チョウ
ユアンファン シエ
Yuanfan Xie
ユアンファン シエ
シールイ リー
Shirui Li
シールイ リー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021108191A publication Critical patent/JP2021108191A/ja
Application granted granted Critical
Publication of JP7152554B2 publication Critical patent/JP7152554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

【課題】車載カメラ外部パラメータのキャリブレーション方法、装置、システム及び記憶媒体を提供する。【解決手段】方法は、車載カメラによって収集された前後２つのフレームの画像を前処理し、前処理された２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得、マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定し、運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定し、車体に対する車載カメラの外部パラメータを得る。【効果】車載カメラによって収集された自然シーン画像に基づいて車載カメラの外部パラメータを自動的にキャリブレーションすることができ、キャリブレーション速度がより早くなり、追加のキャリブレーションオブジェクトが必要なく、車載カメラ外部パラメータキャリブレーションの効率と汎用性を向上させる。【選択図】図３

Description

本願は、データ処理技術分野における自動運転技術に関し、特に、車載カメラ外部パラメータのキャリブレーション方法、装置、システム及び記憶媒体に関する。
移動ロボット、自動車用電子機器、自動運転などの分野において、通常に、車体座標系における車載カメラの姿勢をキャリブレーションする必要がある。
従来のカメラ外部パラメータキャリブレーション方法は、カスタマイズされたキャリブレーションスペース、又は特定のキャリブレーションシーンで、キャリブレーションオブジェクト又はシーンで既知位置の特徴点を抽出してマッチし、カメラ外部パラメータをキャリブレーションする方法１、レーンラインの特性を利用して反復して外部パラメータを求め、またはレーンラインの交点を計算して消失点を求め、ひいては、カメラの外部パラメータを取得する方法２、自然シーンの前後フレームのマッチング特徴点を連結して交点を求める方式を利用して画像消失点を確定し、消失点に基づいてキャリブレーションし、カメラの外部パラメータを取得する方法３という３種類の方法がある。
しかし、方法１は、特定のキャリブレーションオブジェクトを追加使用する必要があり、又は特定のキャリブレーションシーンでキャリブレーションする必要があり、キャリブレーション使用条件が制限される。方法２は、レーンラインの真直度及び明瞭さに依存し、レーンライン検出の精度と安定性に依存して、ｐｉｔｃｈ角のみをキャリブレーションできる。方法３は、自動車が走行過程で厳密に直行する必要があり、前後のフレームの間に何のターンも許可されなくて、ターンデータを取り除してアルゴリズム安定性を向上させることができなくて、カメラのｐｉｔｃｈ角とｙａｗ角のみをキャリブレーションでき、ｒｏｌｌ角をキャリブレーションできない。
本願は、車載カメラ外部パラメータのキャリブレーション方法、装置、システム及び記憶媒体を提供し、車載カメラによって収集された自然シーン画像に基づいて車載カメラの外部パラメータを自動的にキャリブレーションすることができ、キャリブレーション速度がより早くなり、追加のキャリブレーションオブジェクトが必要なく、車載カメラ外部パラメータキャリブレーションの効率と汎用性は向上させる。
第１の態様では、本願の実施例は、車載カメラ外部パラメータのキャリブレーション方法を提供し、前記方法は、
車載カメラによって収集された前後２つのフレームの画像を前処理するステップと、
前処理された２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得るステップと、
前記マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定するステップと、
前記運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定し、車体に対する前記車載カメラの外部パラメータを得るステップと、を含む。
本実施例において、車載カメラによって収集された前後２つのフレームの画像を前処理し、前処理された２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得、前記マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定し、前記運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定し、車体に対する前記車載カメラの外部パラメータを得るようになっている。したがって、車載カメラによって収集された自然シーン画像に基づいて車載カメラの外部パラメータを自動的にキャリブレーションすることができ、キャリブレーション速度がより早くなり、追加のキャリブレーションオブジェクトが必要なく、車載カメラ外部パラメータキャリブレーションの効率と汎用性は向上させる。
第２の態様では、本願の実施例は、車載カメラ外部パラメータのキャリブレーション装置を提供し、前記装置は、
車載カメラによって収集された前後２つのフレームの画像を前処理するために使用される収集モジュールと、
前処理された２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得るために使用されるマッチングモジュールと、
前記マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定するために使用される確定モジュールと、
前記運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定し、車体に対する前記車載カメラの外部パラメータを得るために使用される処理モジュールと、を含む。
本実施例において、車載カメラによって収集された前後２つのフレームの画像を前処理し、前処理された２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得、前記マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定し、前記運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定し、車体に対する前記車載カメラの外部パラメータを得るようになっている。したがって、車載カメラによって収集された自然シーン画像に基づいて車載カメラの外部パラメータを自動的にキャリブレーションすることができ、キャリブレーション速度がより早くなり、追加のキャリブレーションオブジェクトが必要なく、車載カメラ外部パラメータキャリブレーションの効率と汎用性は向上させる。
第３の態様では、本願は、車載カメラ外部パラメータのキャリブレーションシステムを提供し、プロセッサとメモリを含み、メモリには、前記プロセッサによって実行可能な命令が記憶されており、そのうち、前記プロセッサが、前記実行可能な命令を実行することにより第１の態様のいずれか１項に記載の車載カメラ外部パラメータのキャリブレーション方法を実行するように構成されている。
第４の態様では、本願は、コンピュータ可読記憶媒体を提供し、コンピュータプログラムが記憶されており、該プログラムがプロセッサによって実行されるとき、第１の態様のいずれか１項に記載の車載カメラ外部パラメータのキャリブレーション方法を実現する。
第５の態様では、本願の実施例は、コンピュータプログラムを提供し前記コンピュータプログラムが可読記憶媒体に記憶され、コンピュータの少なくとも１つのプロセッサは、前記可読記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも１つのプロセッサが前記コンピュータプログラムを実行することにより、コンピュータは、第１の態様のいずれに記載の車載カメラ外部パラメータのキャリブレーション方法を実行するようになる。
第６の態様では、本願の実施例は、車載カメラ外部パラメータのキャリブレーション方法提供し、前記方法は、
車載カメラによって収集された前後２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得るステップと、
前記マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定するステップと、
前記運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定し、車体に対する前記車載カメラの外部パラメータを得るステップとを含む。
本実施例において、車載カメラによって収集された前後２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得て、前記マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定し、前記運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定し、車体に対する前記車載カメラの外部パラメータを得ることができる。したがって、車載カメラによって収集された自然シーン画像に基づいて車載カメラの外部パラメータを自動的にキャリブレーションすることができ、キャリブレーション速度がより早くなり、追加のキャリブレーションオブジェクトが必要なく、車載カメラ外部パラメータキャリブレーションの効率と汎用性は向上させる。
上記の出願における１つの実施例は、以下のような利点又は有益な効果がある。車載カメラによって収集された自然シーン画像に基づいて車載カメラの外部パラメータを自動的にキャリブレーションすることができ、キャリブレーション速度がより早くなり、追加のキャリブレーションオブジェクトが必要なく、車載カメラ外部パラメータキャリブレーションの効率と汎用性は向上させる。車載カメラによって収集された前後２つのフレームの画像を前処理し、前処理された２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得、前記マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定し、前記運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定し、車体に対する前記車載カメラの外部パラメータを得る技術的手段を用いるため、従来の車載カメラ外部パラメータキャリブレーションにおける、特徴シーン、キャリブレーションオブジェクトに依存する必要があり、汎用性が劣り、キャリブレーション効率が低い技術的問題が克服され、車載カメラによって収集された自然シーン画像をもって車載カメラの外部パラメータを自動的にキャリブレーションし、キャリブレーション速度がより早くなり、追加のキャリブレーションオブジェクトが必要なく、車載カメラ外部パラメータキャリブレーションの効率と汎用性を向上させる技術的効果がある。
上記の選択的な方式に係る他の効果は、以下、具体的な実施例に合わせて説明する。
図面は、本解決手段をよりよく理解するために使用されるものであり、本願に対する限定を構成しない。そのうち、
カメライメージングモデル概略図である。 本願の実施例の車載カメラ外部パラメータのキャリブレーション方法を実現できる原理概略図である。 本願の第１の実施例に基づく概略図である。 本願に基づく特徴点マッチングの原理概略図である。 本願の第２の実施例に基づく概略図である。 本願の実施例の車載カメラ外部パラメータのキャリブレーションシステムを実現するためのブロック図である。 本願の第３の実施例に基づく概略図である。
以下、本願の示範的な実施例を図面に合わせて説明する。理解に寄与するための本願の実施例の様々な詳細が含まれるが、これらは、示範的なものにすぎないと考えるべきである。よって、当業者は、ここに記述した実施例に対する様々な変化や修正が可能であり、本願の範囲や趣旨から逸脱されないと認識するべきである。同様に、明確や簡潔のため、以下の記述では、周知の機能や構造に関するものを省略するようにしている。
本発明の明細書と特許請求の範囲及び上記図面中の用語「第１」、「第２」、「第３」、「第４」など（あれば）は、類似の対象を区別するためのものであり、特定の手順又は順番を説明するためのものである必要はない。本明細書で説明する本発明の実施例を、ここで図示又は説明するもの以外の順序で実施することができるように、このように使用するデータは適切な場合に交換可能であることが理解されるべきである。なお、用語「含む」及び「有する」及びそれらの任意の変形は、非排他的包含をカバーすることを意図し、例えば一連のステップ又はユニットを含むプロセス、方法、システム、製品、又はデバイスは、必ずしも明確に列記されていたステップ又はユニットに限定される必要がなく、明確に列記されていなかった又はこれらのプロセス、方法、製品、又はデバイスに固有したそのほかのステップ又はユニットを含んでもよい。
以下、本願の技術的解決手段について具体的な実施例をもって詳細に説明する。以下のいくつかの具体的な実施例は、相互に組み合わせることができ、同様又は類似の概念又はプロセスについて、実施例の一部で繰り返して説明しないようにする場合もある。
移動ロボット、自動車用電子機器、自動運転などの分野において、通常に、車体座標系における車載カメラの姿勢をキャリブレーションする必要がある。従来のカメラ外部パラメータキャリブレーション方法は、カスタマイズされたキャリブレーションスペース、又は特定のキャリブレーションシーンで、キャリブレーションオブジェクト又はシーンで既知位置の特徴点を抽出してマッチし、カメラ外部パラメータをキャリブレーションする方法１、レーンラインの特性を利用して反復して外部パラメータを求め、またはレーンラインの交点を計算して消失点を求め、ひいては、カメラの外部パラメータを取得する方法２、自然シーンの前後フレームのマッチング特徴点を連結して交点を求める方式を利用して画像消失点を確定し、消失点に基づいてキャリブレーションし、カメラの外部パラメータを取得する方法３という３種類の方法がある。しかし、方法１は、特定のキャリブレーションオブジェクトを追加使用する必要があり、又は特定のキャリブレーションシーンでキャリブレーションする必要があり、キャリブレーション使用条件が制限される。方法２は、レーンラインの真直度及び明瞭さに依存し、レーンライン検出の精度と安定性に依存して、ｐｉｔｃｈ角のみをキャリブレーションできる。方法３は、自動車が走行過程で厳密に直行する必要があり、前後のフレームの間に何のターンも許可されなくて、ターンデータを取り除してアルゴリズム安定性を向上させることができなくて、カメラのｐｉｔｃｈ角とｙａｗ角のみをキャリブレーションでき、ｒｏｌｌ角をキャリブレーションできない。
本願は、上記の技術的問題に対し、車載カメラ外部パラメータのキャリブレーション方法、装置、システム及び記憶媒体を提供し、車載カメラによって収集された自然シーン画像に基づいて車載カメラの外部パラメータを自動的にキャリブレーションすることができ、キャリブレーション速度がより早くなり、追加のキャリブレーションオブジェクトが必要なく、車載カメラ外部パラメータキャリブレーションの効率と汎用性は向上させる。
図１は、カメライメージングモデル概略図であり、図１に示すように、Ｏがカメラ焦点で、Ｃがイメージング平面の主点で、ＯＣが焦点距離ｆである。図２は、本願の実施例の車載カメラ外部パラメータのキャリブレーション方法を実現できる原理概略図であり、図２に示すように、自動車座標系に、ｘ方向が前へ、ｙ方向が左へ、ｚ方向が下へ、カメラ座標系に、ｘ方向が右へ、ｙ方向が縦に下へ、ｚ方向が前（カメラ自身に対する）へ向きと定義し、図２に示すように、自動車走行の過程で、ｔ０時刻の位置からｔ１時刻の位置に運動する。一つのカメラが車の先頭の前端に取り付けられており（車両の任意位置に取り付けられてもよい）、車体中心軸との間の角度がθで、自動車がｔ０時刻からｔ１時刻まで運動し、Ｏ０Ｏ１が自動車走行過程でのカメラ移動方向で、ＡＦが車体中心軸であり、
１）前後フレームの特徴点マッチング、エピポーラジオメトリ原理を利用してｔ０時刻とｔ１時刻のカメラ間の本質行列を求めることができ、ＳＶＤ分解により、カメラの回転行列と平行移動単位ベクトルを求めることができ、カメラの回転角度に基づいて自動車が直行しているか、ターンしているかを判断することができる。
２）自動車が直行しているとき、即ち、自動車がｔ０時刻とｔ１時刻の位置の連結線Ｏ０Ｏ１ベクトルが車体中心軸方向と重ね合う（過程でジッターとたわみが発生する可能性がある）、即ち、Ｏ０Ｏ１ベクトルが自動車座標系のＸ軸方向である。第１のステップから、分解して得られた平行移動ベクトルが即ち、Ｏ０Ｏ１ベクトルの単位ベクトルで、即ち、カメラ座標系での自動車Ｘ軸の単位ベクトルの表現を求めるようになる。
３）自動車がターンしているとき、理解されるものとして、自動車が地面と垂直する回転軸ｚ’を回ってを回転し、ｚ’は自動車座標系Ｚ軸と平行し、第１のステップから、分解して得られた回転行列が、回転角と回転軸表示に変換し、定義から分かれるように、当該回転軸は該回転が回る回転軸ｚ’である。
４）すでに確定されたＸ軸とＺ軸により、ベクトル外積を利用してＹ軸を求めることができ、ここまで来て、カメラ座標系に基づく自動車座標系の３つの座標軸ベクトル記述が求められたため、カメラの自動車座標系までの外部パラメータを得ることができる。
上記の方法を応用して従来の車載カメラ外部パラメータキャリブレーションは特徴シーン、キャリブレーションオブジェクトに依存する必要があり、汎用性が劣り、キャリブレーション効率が低い技術的問題が克服され、車載カメラによって収集された自然シーン画像をもって車載カメラの外部パラメータを自動的にキャリブレーションし、キャリブレーション速度がより早くなり、追加のキャリブレーションオブジェクトが必要なく、車載カメラ外部パラメータキャリブレーションの効率と汎用性を向上させる技術的効果がある。
図３は、本願の第１の実施例に基づく概略図であり、図３に示すように、本実施例における車載カメラ外部パラメータのキャリブレーション方法は、
Ｓ１０１、車載カメラによって収集された前後２つのフレームの画像を前処理するステップと、
Ｓ１０２、前処理された２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得るステップと、
Ｓ１０３、マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定するステップと、
Ｓ１０４、運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定し、車載カメラ車体に対する外部パラメータを得るステップと、を含むことができる。
本実施例において、車載カメラによって収集された前後２つのフレームの画像を前処理し、前処理された２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得て、マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定し、運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定することにより、車体に対する車載カメラの外部パラメータを得る。したがって、車載カメラによって収集された自然シーン画像に基づいて車載カメラの外部パラメータを自動的にキャリブレーションすることができ、キャリブレーション速度がより早くなり、追加のキャリブレーションオブジェクトが必要なく、車載カメラ外部パラメータキャリブレーションの効率と汎用性は向上させる。
例示的に、ステップＳ１０１にて、車載カメラによって収集された前後２つのフレームの画像に対して歪み補正処理とエンハンスメント処理を行って、前処理された２つのフレームの画像を得ることができる。
本実施例において、車載カメラによって収集された前後２つのフレームの画像を前処理し、例えば歪み補正処理とエンハンスメント処理を行うことにより、画像の品質を向上させ、後続に、画像における特徴点に対して検出とマッチングを行うことができるようになる。
具体的に、カメラによって、ｔ０時刻とｔ１時刻の画像Ｉ０と画像Ｉ１をそれぞれ収集することができる。動力車走行中に、路面の凹凸またはスピードバンプなどの様々な原因で、車体又は車載カメラはジッターまたはたわみなどが発生する可能性がある。これにより、車載カメラによって収集された前後２つのフレームの画像Ｉ０と画像Ｉ１に歪み、ブレなどの現象が存在するようにある可能性がある。したがって、画像に対して、歪み補正処理とエンハンスメント処理を含む前処理することにより、前処理された２つのフレームの画像を得ることができ、画像の品質を向上させ、後続に、画像における特徴点に対して検出とマッチングを行うことができるようになる。
例示的に、ステップＳ１０２にて、前処理された２つのフレームの画像からそれぞれ特徴点を抽出し、特徴点に対して２つずつマッチング検出を行って、Ｎグループのマッチングする特徴点を得ることができる、そのうち、Ｎは５より大きい自然数である。
本実施例において、ｔ０時刻とｔ１時刻に、カメラが画像Ｉ０と画像Ｉ１をそれぞれ収集したと仮定する。画像特徴点検出アルゴリズムと特徴点マッチングアルゴリズムを利用して画像Ｉ０とＩ１画像からＮ（Ｎ＞＝５）グループのマッチング特徴点を検出し、これにより、後続のステップに、Ｎグループのマッチングする特徴点に基づいて車載カメラの運動姿勢を確定することができる。
具体的に、図４は、本願に基づく特徴点マッチングの原理概略図であり、図４に示すように、世界座標系での点Ｘは、２台のカメラ（又は一つのカメラの異なる時刻）における像がそれぞれｘ１とｘ２である。よって、画像特徴点検出アルゴリズムと特徴点マッチングアルゴリズムを利用して画像Ｉ０と画像Ｉ１からｘ１とｘ２が１グループのマッチング特徴点で、いずれも世界座標系での点の画像での投影であると検出する。同様に、画像Ｉ０と画像Ｉ１で、複数グループのマッチング特徴点を検出することができる。本実施例の計算過程で、少なくとも５グループのマッチング特徴点があるように要求されている。
例示的に、ステップＳ１０３にて、エピポーラジオメトリ原理に基づいて、マッチングする特徴点によって本質行列をソルビングし、本質行列を分解することにより、回転行列と平行移動ベクトルを得て、回転行列と平行移動ベクトルに基づいて、車載カメラの運動姿勢を確定することができ、運動姿勢は、回転姿勢と平行移動姿勢を含む。
本実施例において、エピポーラジオメトリ原理により、マッチングする特徴点によって本質行列をソルビングし、本質行列を分解することにより、回転行列と平行移動ベクトルを得て、回転行列と平行移動ベクトルに基づいて、車載カメラの運動姿勢を確定し、これにより、自動車走行中の状態を直行とターンという２種類の場合に分けて、後続に、異なる姿勢での自動車状態に対し、自動車座標系の座標軸方向を計算することができるようになる。
具体的に、図４における１グループのマッチング特徴点ｘ１とｘ２を例として、エピポーラジオメトリ原理に基づいて分かれるように、ｘ１とｘ２がｘ２ ＴＦｘ１＝０を満たし、そのうち、Ｆが基本行列で、Ｆ＝Ｋ２ −ＴＢＫ１ −１、そのうち、Ｂが本質行列で、Ｋがカメラ内部パラメータである。２つの画像が同一カメラの異なる時刻の画像であるため、Ｋ１＝Ｋ２＝Ｋ、
Figure 2021108191
 である。Ｓ１０２によって、Ｎ＞＝５ペアの特徴点が検出され、ソルビング行列を構築してＢを解くことができ、そのうち、例えば５点法、６点法など利用可能な方法は多くある。ソリューションについては、ここで繰り返して説明しないようにする。本質行列Ｂには、回転と平行移動情報が含まれて、
Figure 2021108191
 、そのうち、ｔが平行移動ベクトルで、Ｒが回転行列である。よって、Ｂを解いた後に、また、行列分解によって回転行列Ｒと平行移動ベクトルｔを得て、座標軸ベクトルを計算することができる。回転行列Ｒと平行移動ベクトルはまた、車載カメラの運動姿勢が回転姿勢であるか、平行移動姿勢であるかを判断するためにも使用されうる。
例示的に、ステップＳ１０４にて、運動姿勢に基づいて、自動車が直行条件またはターン条件を満たすか否かを確定することができ、直行条件が満たされた場合、車載カメラの極座標により、自動車座標系のＸ軸方向を確定し、ターン条件が満たされた場合、回転行列により、自動車座標系のＺ軸方向を確定し、自動車座標系のＸ軸方向、Ｚ軸方向に基づいて、ベクトル外積演算により、自動車座標系のＹ軸方向を確定し、自動車座標系のＸ軸方向、Ｚ軸方向、Ｙ軸方向、および車載カメラ座標系に基づいて、車体に対する車載カメラの外部パラメータを確定する。
本実施例において、自動車運動姿勢の影響を受けずに、自動車座標系のＸ軸方向、Ｚ軸方向、Ｙ軸方向を正確的に取得することができ、これにより、既知のカメラ座標系に基づいて換算してカメラの外部パラメータを得ることができ、キャリブレーション速度がより早くなり、追加のキャリブレーションオブジェクトが必要なく、車載カメラ外部パラメータキャリブレーションの効率と汎用性を向上させる。
具体的に、カメラ運動の運動姿勢を利用して自動車が直行条件とターン条件を満たすか否かを判定することができ、直行している場合、極座標を利用し、自動車座標系Ｘ軸方向を取得し；ターンしている場合、回転行列を利用して角度軸表現に変換し、回転軸が、即ち、Ｚ軸方向である。そして、統計方法に基づいてプロセスを複数回循環させてＸ軸とＺ軸の座標の統計値を計算する。最後に、Ｘ軸とＺ軸を利用してｙ軸を求めて、ここまで来て、カメラ座標系に基づく自動車座標系の３つの座標軸ベクトル記述を求められたため、因此自動車座標系までのカメラの外部パラメータを得ることができる。
一可能な状況では、直行条件が満たされた場合、車載カメラ極座標により、自動車座標系のＸ軸方向を確定するステップは、前処理された２つのフレームの画像での、車載カメラの極座標の連結線ベクトルを取得するステップと、連結線ベクトルが自動車の車体中心軸方向と重ね合う場合、直行条件が満たされたと確定し、連結線ベクトルに対応する単位ベクトルを自動車座標系のＸ軸方向とするステップと、を含む。
本実施例において、自動車が直行状態であると確定するとき、車載カメラの極座標によって自動車座標系のＸ軸方向を確定し、即ち、連結線ベクトルに対応する単位ベクトルを自動車座標系のＸ軸方向とすることができ、これにより、自動車座標のＸ軸方向を迅速に確定することができるようになる。
他の可能な状況では、ターン条件が満たされた場合、回転行列により、自動車座標系のＺ軸方向を確定するステップは、前処理された２つのフレームの画像での、車載カメラの極座標の連結線ベクトルを取得するステップと、連結線ベクトルが自動車の車体中心軸方向と重ね合わない場合、ターン条件が満たされたと確定するステップと、回転行列が変換されて得られた回転軸方向を自動車座標系のＺ軸方向とするステップと、を含む。
本実施例において、自動車がターン状態であると確定するとき、回転行列が変換されて得られた回転軸方向を自動車座標系のＺ軸方向とすることができる。これにより、自動車走行中姿勢の変化による車載カメラのキャリブレーションに対する影響を解消し、外部パラメータキャリブレーションの汎用性を向上させることができるようになる。
具体的に、自動車のｔ０時刻とｔ１時刻の位置連結線Ｏ０Ｏ１ベクトルが車体中心軸方向と重ね合う（過程でジッターとたわみが発生する可能性がある）、即ち、Ｏ０Ｏ１ベクトルが自動車座標系のＸ軸方向であると、自動車が直行していると確定し、そうではないと、ターンと確定することができる。直行条件が満たされた場合、連結線ベクトルを分解して得られた平行移動ベクトルが即ち、Ｏ０Ｏ１ベクトルの単位ベクトルで、即ち、自動車Ｘ軸のカメラ座標系での単位ベクトルの表現を求めるようになる。ターン条件が満たされた場合、理解されるものとして、自動車が地面と垂直する回転軸ｚ’を回ってを回転し、ｚ’が自動車座標系Ｚ軸と平行し、以上によって分解して得られた回転行列が、回転角と回転軸表示に変換し、定義から分かれるように、この回転軸は該回転が回る回転軸ｚ’である。
本実施例において、車載カメラによって収集された前後２つのフレームの画像を前処理し、前処理された２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得て、マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定し、運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定し、車体に対する車載カメラの外部パラメータを得ることができる。したがって、従来の車載カメラ外部パラメータキャリブレーションは、特徴シーン、キャリブレーションオブジェクトに依存する必要があり、汎用性が劣り、キャリブレーション効率が低い技術的問題が克服され、車載カメラによって収集された自然シーン画像をもって車載カメラの外部パラメータを自動的にキャリブレーションし、キャリブレーション速度がより早くなり、追加のキャリブレーションオブジェクトが必要なく、車載カメラ外部パラメータキャリブレーションの効率と汎用性を向上させる技術的効果がある。
図５は、本願の第２の実施例に基づく概略図であり、図５に示すように、本実施例における装置は、
車載カメラによって収集された前後２つのフレームの画像を前処理するために使用される収集モジュール４１と、
前処理された２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得るために使用されるマッチングモジュール４２と、
マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定するために使用される確定モジュール４３と、
運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定し、車体に対する車載カメラの外部パラメータを得るために使用される処理モジュール４４と、を含むことができる。
本実施例において、車載カメラによって収集された前後２つのフレームの画像を前処理し、前処理された２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得て、マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定し、運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定し、車体に対する車載カメラの外部パラメータを得ることができる。したがって、車載カメラによって収集された自然シーン画像に基づいて車載カメラの外部パラメータを自動的にキャリブレーションすることができ、キャリブレーション速度がより早くなり、追加のキャリブレーションオブジェクトが必要なく、車載カメラ外部パラメータキャリブレーションの効率と汎用性は向上させる。
一可能な設計において、収集モジュール４１は、具体的に、
車載カメラによって収集された前後２つのフレームの画像に対して歪み補正処理とエンハンスメント処理を行って、前処理された２つのフレームの画像を得るために使用される。
本実施例において、車載カメラによって収集された前後２つのフレームの画像を前処理し、例えば歪み補正処理とエンハンスメント処理を行うことにより、画像の品質を向上させ、後続に、画像における特徴点に対して検出とマッチングを行うことができるようになる。
一可能な設計において、マッチングモジュール４２は、具体的に、
前処理された２つのフレームの画像からそれぞれ特徴点を抽出するために使用され、
特徴点に対して２つずつマッチング検出を行って、Ｎグループのマッチングする特徴点を得るために使用され、そのうち、Ｎは５より大きい自然数である。
本実施例において、ｔ０時刻とｔ１時刻に、カメラが画像Ｉ０と画像Ｉ１をそれぞれ収集したと仮定する。画像特徴点検出アルゴリズムと特徴点マッチングアルゴリズムを利用して画像Ｉ０と画像Ｉ１からＮ（Ｎ＞＝５）グループのマッチング特徴点を検出し、これにより、後続のステップにおいて、Ｎグループのマッチングする特徴点に基づいて車載カメラの運動姿勢を確定することができる。
一可能な設計において、確定モジュール４３は、具体的に、
エピポーラジオメトリ原理に基づいて、マッチングする特徴点によって本質行列を求めることと、
本質行列を分解することにより、回転行列と平行移動ベクトルを得ることと、
回転行列と平行移動ベクトルに基づいて、車載カメラの運動姿勢を確定することとに使用され、運動姿勢は、回転姿勢と平行移動姿勢を含む。
本実施例において、エピポーラジオメトリ原理により、マッチングする特徴点によって本質行列を求め、本質行列を分解することにより、回転行列と平行移動ベクトルを得て、回転行列と平行移動ベクトルに基づいて、車載カメラの運動姿勢を確定するこれにより、自動車走行中の状態を直行とターンという２種類の場合に分けて、後続に、異なる姿勢での自動車状態に対し、自動車座標系の座標軸方向を計算することができるようになる。
一可能な設計において、処理モジュール４４は、具体的に、
運動姿勢に基づいて、自動車が直行条件またはターン条件を満たすか否かを確定することと、
直行条件が満たされた場合、車載カメラの極座標により、自動車座標系のＸ軸方向を確定することと、
ターン条件が満たされた場合、回転行列により、自動車座標系のＺ軸方向を確定することと、
自動車座標系のＸ軸方向、Ｚ軸方向に基づいて、ベクトル外積演算により、自動車座標系のＹ軸方向を確定することと、
自動車座標系のＸ軸方向、Ｚ軸方向、Ｙ軸方向、および車載カメラ座標系に基づいて、車体に対する車載カメラの外部パラメータを確定することに使用される。
本実施例において、自動車運動姿勢の影響を受けずに、自動車座標系のＸ軸方向、Ｚ軸方向、Ｙ軸方向を正確的に取得することができ、これにより、既知のカメラ座標系に基づいて換算してカメラの外部パラメータを得ることができ、キャリブレーション速度がより早くなり、追加のキャリブレーションオブジェクトが必要なく、車載カメラ外部パラメータキャリブレーションの効率と汎用性を向上させる。
一可能な設計において、処理モジュール４４は、具体的に、
前処理された２つのフレームの画像での、車載カメラの極座標の連結線ベクトルを取得することと、
連結線ベクトルが自動車の車体中心軸方向と重ね合う場合、直行条件が満たされたと確定し、連結線ベクトルに対応する単位ベクトルを自動車座標系のＸ軸方向とすることとに使用される。
本実施例において、自動車が直行状態であると確定したとき、車載カメラの極座標によって自動車座標系のＸ軸方向を確定し、即ち、連結線ベクトルに対応する単位ベクトルを自動車座標系のＸ軸方向とすることができる。
一可能な設計において、処理モジュール４４は、具体的に、
前処理された２つのフレームの画像での、車載カメラの極座標の連結線ベクトルを取得することと、
連結線ベクトルが自動車の車体中心軸方向と重ね合わない場合、ターン条件が満たされたと確定することと、
回転行列が変換されて得られた回転軸方向を自動車座標系のＺ軸方向とすることとに使用される。
本実施例において、自動車がターン状態であると確定したとき、回転行列が変換されて得られた回転軸方向を自動車座標系のＺ軸方向とすることができる。これにより、自動車走行中姿勢の変化による車載カメラのキャリブレーションに対する影響を解消し、外部パラメータキャリブレーションの汎用性を向上させることができるようになる。
本実施例の車載カメラ外部パラメータのキャリブレーション装置は、図３に示すような方法における技術的解決手段を実行することができ、その具体的な実現プロセスや技術的原理は、図３に示すような方法における関連記述を参照し、ここで繰り返して説明しないようにする。
本実施例において、車載カメラによって収集された前後２つのフレームの画像を前処理し、前処理された２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得て、マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定し、運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定し、車体に対する車載カメラの外部パラメータを得ることができる。したがって、従来の車載カメラ外部パラメータのキャリブレーションは、特徴シーン、キャリブレーションオブジェクトに依存する必要があり、汎用性が劣り、キャリブレーション効率が低い技術的問題が克服され、車載カメラによって収集された自然シーン画像をもって車載カメラの外部パラメータを自動的にキャリブレーションし、キャリブレーション速度がより早くなり、追加のキャリブレーションオブジェクトが必要なく、車載カメラ外部パラメータキャリブレーションの効率と汎用性を向上させる技術的効果を実現する。
図６は、本願の実施例の車載カメラ外部パラメータのキャリブレーションシステムを実現するためのブロック図であり、図６に示すように、本願の実施例に基づく車載カメラ外部パラメータのキャリブレーションシステムのブロック図である。システムは、ラップトップコンピュータ、デスクトップコンピュータ、作業台、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及びその他の適切なコンピュータなどのような、様々な形のデジタルコンピュータを表すことを主旨とする。システムは、また、パーソナルデジタルアシスタント、セルラーテレフォン、スマートフォーン、ウェアラブルデバイス及びその他の類似するコンピューティングデバイスなどのような、様々な形のモバイル装置を表すこともできる。本明細書に示したコンポーネント、それらの連結や関係、及び、それらの機能は、あくまで例示的なものにすぎず、本明細書に記載の及び／又は本文が求める本願の実現を制限することを意図しない。
図６に示すように、該車載カメラ外部パラメータのキャリブレーションシステムは、１つ又は複数のプロセッサ５０１、メモリ５０２、及び各コンポーネントを連結するためのインタフェースを含み、該インタフェースは、高速インタフェースと低速インタフェースとを含む。個々のコンポーネントは、異なるバスを使用して互いに接続され、パブリックメインボードにインストールされるか、又は、必要に応じて他の方式でインストールされることができる。プロセッサは、システム内で実行される命令を処理することができ、外部の入力／出力装置（インタフェースにカップリングされたディスプレイデバイスなど）でＧＵＩのグラフィクス情報がディスプレイされるための、メモリ内又はメモリ上に記憶されている命令まで含まれている。他の実施形態において、必要に応じて、複数のプロセッサ及び／又は複数のバスや複数のメモリを一緒に使用してもよい。同様に、複数の電子機器に接続し、個々のシステムにより、必要な操作を一部提供（例えば、サーバアレイ、一揃いのブレードサーバ、または、マルチプロセッサシステムとする）してもよい。図６には、１つのプロセッサ５０１を例としている。
メモリ５０２は、本願に係る非一時的なコンピュータ可読記憶媒体である。そのうち、前記メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記少なくとも１つのプロセッサが本願に係る図６の車載カメラ外部パラメータのキャリブレーション方法を実行するようになる。本願の非一時的なコンピュータ可読記憶媒体は、コンピュータ命令を記憶しており、該コンピュータ命令は、コンピュータが本願に係る図６の車載カメラ外部パラメータのキャリブレーション方法を実行するようにさせるためのものである。
メモリ５０２は、非一時的なコンピュータ可読記憶媒体として、本願の実施例における図６の車載カメラ外部パラメータのキャリブレーション方法に対応するプログラム命令／モジュールなどの非一時的なソフトウェアプログラム、非一時的なコンピュータによる実行可能なプログラムおよびモジュールを記憶するために使用されるものであってもよい。プロセッサ５０１は、メモリ５０２に記憶された非一時的なソフトウェアプログラム、命令およびモジュールを実行に移すことにより、システムの様々な機能アプリケーションおよびデータ処理を実行し、即ち、上記の方法の実施例における図６の車載カメラ外部パラメータのキャリブレーション方法を実現するようになる。
メモリ５０２は、プログラム記憶エリアとデータ記憶エリアとを含むことができ、そのうち、プログラム記憶エリアは、操作システム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶エリアは、図６の車載カメラ外部パラメータのキャリブレーションシステムの使用によって新規されるデータなどを記憶することができる。また、メモリ５０２は、高速ランダムアクセスメモリを含むことができ、また、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の非一時的なソリッドステートストレージデバイスなどの非一時的なメモリを含むこともできる。いくつかの実施例において、メモリ５０２は、プロセッサ５０１に対して遠隔に設置されているメモリを選択的に含むことができ、それらの遠隔メモリは、ネットワークを介し、図６の車載カメラ外部パラメータのキャリブレーションシステムに接続されることができる。上記のネットワークの実例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせを含むが、これらに限定されない。
図６の車載カメラ外部パラメータのキャリブレーションシステムは、さらに、入力装置５０３及び出力装置５０４を含むことができる。プロセッサ５０１や、メモリ５０２、入力装置５０３及び出力装置５０４は、バス又はその他の方式によって接続されてもよく、図６では、バスによって接続される方式を例としている。
入力装置５０３は、入力された数字又はキャラクタ情報を受信し、図６の車載カメラ外部パラメータのキャリブレーションシステムのユーザ設定、および機能制御に関連する鍵信号の入力を発生することができ、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インディケータロッド、１つ又は複数のマウスボタン、トラックボール、操縦ハンドルなどの入力装置が挙げられる。出力装置５０４は、ディスプレイデバイス、補助照明装置（ＬＥＤなど）や触感フィードバック装置（振動モータなど）などを含むことができる。該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイやプラズマディスプレイを含むことができるが、それらに限定されない。いくつかの実施形態では、ディスプレイデバイスはタッチスクリーンであってもよい。
本願の実施例により、コンピュータプログラムをさらに提供し、前記コンピュータプログラムは、コンピュータ可読記憶媒体に記憶され、電子機器の少なくとも１つのプロセッサは、コンピュータ可読記憶媒体からコンピュータプログラムを読み取ることができ、少なくとも１つのプロセッサは、コンピュータプログラムを実行することによって、電子機器に上記実施例に記載の方法を実行させる。
ここに記載のシステムや技術的様々な実施形態は、デジタル電子回路、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現されてよい。それらの様々な実施形態は、１つ又は複数のコンピュータプログラムに実施される形態を含むことができ、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／又は解釈されることができ、該プログラマブルプロセッサは、特定用途向け、または、汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置から、データや命令を受信し、そして、データや命令を該記憶システム、該少なくとも１つの入力装置や、該少なくとも１つの出力装置に伝送することができる。
これらコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、または、コードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、これらのコンピュータプログラムをアドバンスプロセス及び／又はオブジェクト指向型プログラミング言語、及び／又はアセンブリ言語／機械言語を利用して実施することができる。例えば、本明細書に使用される用語「機械可読媒体」や「コンピュータ可読媒体」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、デバイス、及び／又は装置（磁気ディスク、光ディスク、メモリ、プログラマブルロジック装置（ＰＬＤ）など）のことを指し、機械可読信号としての機械命令を受信する機械可読媒体を含む。用語「機械可読信号」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号のことを指す。
ユーザとのインタラクションを提供するために、ここに記載のシステムや技術をコンピュータで実施することができ、該コンピュータは、ユーザへ情報をディスプレイするためのディスプレイ装置（ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニターなど）、及びキーボードやポインティングデバイス（マウス又はトラックボールなど）があり、ユーザは、該キーボードや該ポインティングデバイスを通じ、入力をコンピュータに提供することができる。その他の種類の装置は、ユーザとのインタラクションを提供するために使用されることができ、例えば、ユーザに提供されるフィードバックは、任意の形の感覚フィードバック（視覚フィードバック、聴覚フィードバック、または触感フィードバックなど）であってもよく、ユーザからの入力を任意の形（音入力、音声入力又は触感入力を含む）で受信することができる。
ここに記載のシステムや技術は、バックグランドコンポーネントを含むコンピュータシステム（データサーバとして作用するなど）に、または、ミドルウェアコンポーネントを含むコンピュータシステム（アプリケーションサーバなど）に、または、フロントエンドコンポーネントを含むコンピュータシステム（図形式のユーザインタフェース、またはネットワークブラウザを備えるユーザコンピュータなど、ユーザは、該図形式のユーザインタフェース、または該ネットワークブラウザを通じてここに記載のシステムや技術に係る実施形態とインタラクションをすることができる）に、またはこのようなバックグランドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組み合わせを含むコンピュータシステムに実施されてもよい。システムのコンポーネントは、任意の形、または媒体のデジタルデータ通信（通信ネットワークなど）を通じて相互に接続することができる。通信ネットワークは、例示的に、ローカルエリアネットワーク（ＬＡＮ）や、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。
コンピュータシステムは、クライアント端末やサーバを含むことができる。クライアント端末やサーバは、一般的に、互いに遠く離れており、通信ネットワークを通じてインタラクションをしている。対応するコンピュータでの実行、および、互いにクライアント端末・サーバという関係を有するコンピュータプログラムにより、クライアント端末とサーバとの関係を築き上げる。
図７は、本願の第３の実施例に基づく概略図である。図７に示すように、本実施例の車載カメラ外部パラメータのキャリブレーション方法は、
Ｓ２０１、車載カメラによって収集された前後２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得るステップと、
Ｓ２０２、前記マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定するステップと、
Ｓ２０３、前記運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定し、車体に対する前記車載カメラの外部パラメータを得るステップとを含むことができる。
上記に示した様々な形のフローを使用し、ステップを改めて並べ替えたり、増加したり、又は削除したりすることができると理解するべきである。例えば、本願に記載の各ステップは、本願に開示された技術的解決手段による所期結果さえ実現されれば、並行して実行されてもよく、順に沿って実行されてもよく、又は順番を変えて実行されてもよいから、本明細書では限定されない。
上記の具体的な実施形態は、本願の保護範囲に対する制限を構成しない。当業者であれば、設計要件やその他の要素に基づいた様々な修正、組み合わせ、下位組み合わせや代替が可能であると理解するべきである。本願の精神や原則の範囲内に行われるすべての修正、等価置換や改善は、いずれも本願の保護範囲に含まれるべきである。

Claims (12)

  1. 車載カメラによって収集された前後２つのフレームの画像を前処理するステップと、
    前処理された２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得るステップと、
    前記マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定するステップと、
    前記運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定し、車体に対する前記車載カメラの外部パラメータを得るステップとを含む、ことを特徴とする車載カメラ外部パラメータのキャリブレーション方法。
  2. 車載カメラによって収集された前後２つのフレームの画像を前処理する前記ステップは、
    車載カメラによって収集された前後２つのフレームの画像に対して歪み補正処理とエンハンスメント処理を行って、前処理された２つのフレームの画像を得るステップを含む、ことを特徴とする請求項１に記載の車載カメラ外部パラメータのキャリブレーション方法。
  3. 前処理された２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得る前記ステップは、
    前処理された２つのフレームの画像からそれぞれ特徴点を抽出するステップと、
    前記特徴点に対して２つずつマッチング検出を行って、Ｎグループのマッチングする特徴点を得、そのうち、Ｎは５より大きい自然数であるステップとを含む、ことを特徴とする請求項１に記載の車載カメラ外部パラメータのキャリブレーション方法。
  4. 前記マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定する前記ステップは、
    エピポーラジオメトリ原理に基づいて、マッチングする特徴点によって本質行列を求めるステップと、
    前記本質行列を分解することにより、回転行列と平行移動ベクトルを得るステップと、
    前記回転行列と前記平行移動ベクトルに基づいて、前記車載カメラの運動姿勢を確定するステップと、を含み、前記運動姿勢は、回転姿勢と平行移動姿勢を含む、ことを特徴とする請求項１に記載の車載カメラ外部パラメータのキャリブレーション方法。
  5. 前記運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定する前記ステップは、
    前記運動姿勢に基づいて、自動車が直行条件またはターン条件を満たすか否かを確定するステップと、
    直行条件が満たされた場合、車載カメラの極座標により、自動車座標系のＸ軸方向を確定するステップと、
    ターン条件が満たされた場合、回転行列により、自動車座標系のＺ軸方向を確定するステップと、
    自動車座標系のＸ軸方向、Ｚ軸方向に基づいて、ベクトル外積演算により、自動車座標系のＹ軸方向を確定するステップと、
    自動車座標系のＸ軸方向、Ｚ軸方向、Ｙ軸方向、および車載カメラ座標系に基づいて、車体に対する前記車載カメラの外部パラメータを確定するステップと、を含む、ことを特徴とする請求項１〜請求項４のいずれか１項に記載の車載カメラ外部パラメータのキャリブレーション方法。
  6. 直行条件が満たされた場合、車載カメラ極座標により、自動車座標系のＸ軸方向を確定する前記ステップは、
    前処理された２つのフレームの画像での、車載カメラの極座標の連結線ベクトルを取得するステップと、
    前記連結線ベクトルが自動車の車体中心軸方向と重ね合う場合、直行条件が満たされたと確定し、前記連結線ベクトルに対応する単位ベクトルを前記自動車座標系のＸ軸方向とするステップと、を含む、ことを特徴とする請求項５に記載の車載カメラ外部パラメータのキャリブレーション方法。
  7. ターン条件が満たされた場合、回転行列により、自動車座標系のＺ軸方向を確定する前記ステップは、
    前処理された２つのフレームの画像での、車載カメラの極座標の連結線ベクトルを取得するステップと、
    前記連結線ベクトルが自動車の車体中心軸方向と重ね合わない場合、ターン条件が満たされたと確定するステップと、
    回転行列が変換されて得られた回転軸方向を前記自動車座標系のＺ軸方向とするステップと、を含む、ことを特徴とする請求項５に記載の車載カメラ外部パラメータのキャリブレーション方法。
  8. 車載カメラによって収集された前後２つのフレームの画像を前処理するために使用される収集モジュールと、
    前処理された２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得るために使用されるマッチングモジュールと、
    前記マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定するために使用される確定モジュールと、
    前記運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定し、車体に対する前記車載カメラの外部パラメータを得るために使用される処理モジュールと、を含む、ことを特徴とする車載カメラ外部パラメータのキャリブレーション装置。
  9. 少なくとも１つのプロセッサ、および
    前記少なくとも１つのプロセッサと通信するように接続されたメモリを含み、そのうち、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行されることで、前記少なくとも１つのプロセッサは、請求項１〜請求項７のいずれか１項に記載の車載カメラ外部パラメータのキャリブレーション方法を実行することができるようになる、ことを特徴とする車載カメラ外部パラメータのキャリブレーションシステム。
  10. コンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ命令は、コンピュータに請求項１〜請求項７のいずれか１項に記載の車載カメラ外部パラメータのキャリブレーション方法を実行させるためのものである、ことを特徴とする可読記憶媒体。
  11. 車載カメラによって収集された前後２つのフレームの画像に対して特徴点マッチングを行って、マッチングする特徴点を得るステップと、
    前記マッチングする特徴点に基づいて、車載カメラの運動姿勢を確定するステップと、
    前記運動姿勢に基づいて、自動車座標系と車載カメラ座標系との変換関係を確定し、車体に対する前記車載カメラの外部パラメータを得るステップと、を含む、ことを特徴とする車載カメラ外部パラメータのキャリブレーション方法。
  12. コンピュータプログラムであって、前記コンピュータプログラムがプロセッサで実行されると、コンピュータに請求項１〜請求項７のいずれか１項に記載の車載カメラ外部パラメータのキャリブレーション方法を実行させる、コンピュータプログラム。
JP2021067168A 2020-04-20 2021-04-12 車載カメラ外部パラメータのキャリブレーション方法、装置、システム及び記憶媒体 Active JP7152554B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010309665.6 2020-04-20
CN202010309665.6A CN111524192B (zh) 2020-04-20 2020-04-20 车载相机外参的标定方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
JP2021108191A true JP2021108191A (ja) 2021-07-29
JP7152554B2 JP7152554B2 (ja) 2022-10-12

Family

ID=71903060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021067168A Active JP7152554B2 (ja) 2020-04-20 2021-04-12 車載カメラ外部パラメータのキャリブレーション方法、装置、システム及び記憶媒体

Country Status (5)

Country Link
US (1) US11587332B2 (ja)
EP (1) EP3901914B1 (ja)
JP (1) JP7152554B2 (ja)
KR (1) KR102498439B1 (ja)
CN (1) CN111524192B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785653A (zh) * 2020-12-30 2021-05-11 中山联合汽车技术有限公司 车载相机姿态角标定方法
CN112927303B (zh) * 2021-02-22 2023-01-24 中国重汽集团济南动力有限公司 一种基于车道线的自动驾驶车载相机位姿估计方法及系统
CN113838145B (zh) * 2021-09-24 2024-04-30 重庆长安汽车股份有限公司 一种车载相机外参自动标定方法
CN117036505B (zh) * 2023-08-23 2024-03-29 长和有盈电子科技(深圳)有限公司 车载摄像头在线标定方法及系统
CN117315048B (zh) * 2023-11-22 2024-04-12 深圳元戎启行科技有限公司 车载相机的外参自标定方法、电子设备和存储介质
CN117523010B (zh) * 2024-01-05 2024-04-09 深圳市欧冶半导体有限公司 车辆的相机位姿确定方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110228101A1 (en) * 2010-03-19 2011-09-22 Sony Corporation Method and device for determining calibration parameters of a camera
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム
JP2012138876A (ja) * 2010-12-28 2012-07-19 Fujitsu Ten Ltd 画像生成装置、画像表示システム及び画像表示方法
JP2014101075A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 画像処理装置、画像処理方法及びプログラム
US20150036885A1 (en) * 2012-01-20 2015-02-05 Esg Elektroniksystem-Und Logistik-Gmbh Method and device for online calibration of vehicle cameras

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5811327B2 (ja) * 2011-06-11 2015-11-11 スズキ株式会社 カメラキャリブレーション装置
CN102435172A (zh) 2011-09-02 2012-05-02 北京邮电大学 一种球形机器人视觉定位系统及视觉定位方法
CN110148177A (zh) * 2018-02-11 2019-08-20 百度在线网络技术（北京）有限公司 用于确定相机的姿态角的方法、装置、计算设备、计算机可读存储介质以及采集实体
CN110488234B (zh) * 2019-08-30 2021-09-10 北京百度网讯科技有限公司 车载毫米波雷达的外参标定方法、装置、设备及介质
CN110910453B (zh) * 2019-11-28 2023-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN111780763B (zh) * 2020-06-30 2022-05-06 杭州海康机器人技术有限公司 一种基于视觉地图的视觉定位方法、装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110228101A1 (en) * 2010-03-19 2011-09-22 Sony Corporation Method and device for determining calibration parameters of a camera
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム
JP2012138876A (ja) * 2010-12-28 2012-07-19 Fujitsu Ten Ltd 画像生成装置、画像表示システム及び画像表示方法
US20150036885A1 (en) * 2012-01-20 2015-02-05 Esg Elektroniksystem-Und Logistik-Gmbh Method and device for online calibration of vehicle cameras
JP2014101075A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 画像処理装置、画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
原岡 昌平 外２名: "ヒヤリハットデータベース解析のための車載単眼カメラ映像からのピッチ角推定", 第２５回 画像センシングシンポジウム, JPN6022018894, 2019, ISSN: 0004774413 *

Also Published As

Publication number Publication date
US11587332B2 (en) 2023-02-21
CN111524192B (zh) 2023-10-03
JP7152554B2 (ja) 2022-10-12
EP3901914A1 (en) 2021-10-27
CN111524192A (zh) 2020-08-11
KR20210040876A (ko) 2021-04-14
KR102498439B1 (ko) 2023-02-09
US20210326605A1 (en) 2021-10-21
EP3901914B1 (en) 2022-12-21

Similar Documents

Publication Publication Date Title
JP2021108191A (ja) 車載カメラ外部パラメータのキャリブレーション方法、装置、システム及び記憶媒体
EP3869399A2 (en) Vehicle information detection method and apparatus, electronic device, storage medium and program
CN111612852B (zh) 用于验证相机参数的方法和装置
CN111739005B (zh) 图像检测方法、装置、电子设备及存储介质
EP3989116A1 (en) Method and apparatus for detecting target object, electronic device and storage medium
KR102463891B1 (ko) 포지셔닝 방법, 포지셔닝 장치 및 전자 기기
EP4050562A1 (en) Method and device for detecting vehicle pose
CN112270669B (zh) 人体3d关键点检测方法、模型训练方法及相关装置
JP7228608B2 (ja) ビデオフレームの処理方法及び処理装置、電子機器、記憶媒体並びにコンピュータプログラム
KR20210038486A (ko) 이미지 조절방법, 장치, 전자기기, 저장매체 및 프로그램
CN111767853B (zh) 车道线检测方法和装置
JP7189270B2 (ja) 三次元物体検出方法、三次元物体検出装置、電子機器、記憶媒体及びコンピュータプログラム
US11828606B2 (en) Method and apparatus for updating point cloud
KR20210108906A (ko) 점군 데이터 처리방법, 장치, 전자기기 및 판독 가능 기록매체
CN116645649B (zh) 车辆位姿及尺寸估计方法、设备及存储介质
US20210304371A1 (en) Three-dimensional reconstruction method, electronic device and storage medium
KR20210035787A (ko) 키포인트 위치결정 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN112528931B (zh) 用于生成位置预测信息的方法、装置以及自动驾驶车辆
CN112749701B (zh) 车牌污损分类模型的生成方法和车牌污损分类方法
US20210335008A1 (en) Method and apparatus for processing video frame
JP2022014921A (ja) 路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器
EP3901908A1 (en) Method and apparatus for tracking target, device, medium and computer program product
CN112102417B (zh) 确定世界坐标的方法和装置
KR20210037633A (ko) 장애물 속도를 결정하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN111833239B (zh) 图像的翻译方法和装置、图像翻译模型的训练方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220929

R150 Certificate of patent or registration of utility model

Ref document number: 7152554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150