JP2022014921A - 路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器 - Google Patents

路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器 Download PDF

Info

Publication number
JP2022014921A
JP2022014921A JP2021178763A JP2021178763A JP2022014921A JP 2022014921 A JP2022014921 A JP 2022014921A JP 2021178763 A JP2021178763 A JP 2021178763A JP 2021178763 A JP2021178763 A JP 2021178763A JP 2022014921 A JP2022014921 A JP 2022014921A
Authority
JP
Japan
Prior art keywords
camera
rotation matrix
image
sensing information
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021178763A
Other languages
English (en)
Other versions
JP7321231B2 (ja
Inventor
立彬 苑
li bin Yuan
金讓 賈
Jin Rang Jia
光啓 易
Guangqi Yi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2022014921A publication Critical patent/JP2022014921A/ja
Application granted granted Critical
Publication of JP7321231B2 publication Critical patent/JP7321231B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Figure 2022014921000001
【課題】コンピュータ技術における自動運転、スマート交通及びコンピュータビジョンに関する路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器を提供する。
【解決手段】路側カメラにより収集される画像における三次元感知情報を効果的且つ迅速に得る方法であって、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成し、第１の回転行列と第２の回転行列に基づき、第３の回転行列を生成する。第２の回転行列は、第２のカメラのワールド座標系での回転行列を表し、第３の回転行列は、第１のカメラのワールド座標系での回転行列を表す。第３の回転行列に基づき、第１のカメラにより収集される画像の三次元感知情報を生成する。第１のカメラと、第２のカメラの間には、共通視認領域を有する。
【選択図】図２

Description

本願は、コンピュータ技術における自動運転、スマート交通及びコンピュータビジョンに関し、特に、路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器に関する。
路側感知システムにおいては、車両のために三次元感知情報を提供する必要があり、交差点に路側カメラを設け、路側カメラを介して画像を取得し、路側カメラにより取得される画像に基づいて三次元感知情報を取得することができる。路側カメラにより取得される画像に基づいて三次元感知情報を取得する際に、路側カメラのワールド座標系での回転行列を得る必要がある。
従来技術において、予め高精度マップまたは人工リアルタイムキネマティック（ｒｅａｌ－ｔｉｍｅ ｋｉｎｅｍａｔｉｃ，略称ＲＴＫ）機器によりドットする方法で、路側カメラのワールド座標系での回転行列を得て、さらに、三次元感知情報を生成することができる。
しかしながら、従来技術において、高精度マップの製造コストが高く、且つ、車線ラインがないと高精度マップを使用することができないため、路側カメラのワールド座標系での回転行列を決定するコストが高くなり、人工ＲＴＫ機器によりドットする方法は、効率が低く、人的危険の問題が存在し、路側カメラのワールド座標系での回転行列を即時且つ効果的に得ることができない。以上の方法により、効果的且つ迅速に三次元感知情報を得ることができない。
本願は、効果的且つ迅速に三次元感知情報を得るための路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器を提供する。
本願の第１の態様によれば、路側カメラの外部パラメータに基づく三次元感知情報取得方法を提供し、前記路側カメラは、第１のカメラと第２のカメラを含み、前記第１のカメラと前記第２のカメラの間には、共通視認領域を有し、前記方法は、
第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得し、前記第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成するステップと、
第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得し、前記第１の回転行列と前記第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成するステップと、
前記第３の回転行列に基づき、前記第１のカメラにより収集される画像の三次元感知情報を生成するステップと、を含む。
本願の第２の態様によれば、路側カメラの外部パラメータに基づく三次元感知情報取得装置を提供し、前記路側カメラは、第１のカメラと第２のカメラを含み、前記第１のカメラと前記第２のカメラの間には、共通視認領域を有し、前記装置は、
第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得するための第１の取得ユニットと、
前記第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成するための第１の生成ユニットと、
第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得するための第２の取得ユニットと、
前記第１の回転行列と前記第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成するための第２の生成ユニットと、
前記第３の回転行列に基づき、前記第１のカメラにより収集される画像の三次元感知情報を生成するための第３の生成ユニットと、を含む。
本願の第３の態様によれば、電子機器を提供し、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を含み、前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが上記方法を実行できるように、前記少なくとも１つのプロセッサにより実行される。
本願の第４の態様によれば、コンピュータ命令が記憶された非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、コンピュータに上記方法を実行させるために用いられる。
本願の第５の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムが読み取り可能な記憶媒体に記憶されており、電子機器の少なくとも１つのプロセッサは、前記読み取り可能な記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも１つのプロセッサは、電子機器が第１の態様に記載の方法を実行するように、前記コンピュータプログラムを実行する。
本願の第６の態様によれば、路側機器を提供し、第３の態様により提供される電子機器を含む。
本願の第７の態様によれば、クラウド制御プラットフォームを提供し、第３の態様により提供される電子機器を含む。
本願の技術案によれば、第１のカメラにより収集される画像の三次元感知情報を生成する際に、高精度マップ又は人工ＲＴＫ機器によりドットする方法を採用する必要がなく、これにより、コストが削減され、且つ、効率が向上し、人の安全が確保され、さらに、効果的に第１のカメラにより収集される画像における三次元感知情報を得る。また、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであると、リアビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得ることができ、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであると、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得ることができる。
なお、この一部に記載されている内容は、本願の実施例の主要な又は重要な特徴を特定することを意図しておらず、本願の範囲を限定するものでもない。本願の他の特徴は、以下の説明を通じて容易に理解される。
図面は、本技術案をよりよく理解するために使用され、本願を限定するものではない。
魚眼カメラにより撮影される画像である。 本願の第１の実施例による概略図である。 本願の第２の実施例による概略図である。 本願の実施例により提供される第１の歪み除去画像の概略図である。 本願の第３の実施例による概略図である。 本願の第４の実施例による概略図である。 本願の第５の実施例による概略図である。 本願の第６の実施例による概略図である。 本願の第７の実施例による概略図である。 本願の第８の実施例による概略図である。 本願の第９の実施例による概略図である。 本願の実施例を実施するための例示的な電子機器１２００の概略ブロック図を示している。
以下、図面を組み合わせて本願の例示的な実施例を説明し、理解を容易にするために、その中には本願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。
路側感知システムにおいて車両のために三次元感知情報を提供する必要があり、交差点のポールに路側カメラを設けることができ、路側カメラは、魚眼カメラ、リアビューガン型カメラ及びフロントビューガン型カメラを含み、一般的に、各交差点のポールに魚眼カメラ、リアビューガン型カメラ及びフロントビューガン型カメラを同時に設ける。路側カメラを介して画像を取得し、各路側カメラにより取得される画像に基づいて各路側カメラにより収集される画像の三次元感知情報を取得する。
路側カメラにより取得される画像に基づいて三次元感知情報を取得する際に、路側カメラのワールド座標系での回転行列を得、そして、路側カメラのワールド座標系での回転行列に基づき、路側カメラにより収集される画像の三次元感知情報を得る必要がある。例を挙げて説明すると、図１は、魚眼カメラにより撮影された画像であり、魚眼カメラにより収集された画像は歪んだ画像であり、魚眼カメラのワールド座標系での回転行列を得ることにより、魚眼カメラにより収集される画像の三次元感知情報を得る必要がある。
従来技術において、予め高精度マップまたはＲＴＫ機器によりドットする方法で、各路側カメラのワールド座標系での回転行列を得て、さらに、各路側カメラにより収集される画像の三次元感知情報を生成することができる。１つの例示では、予め高精度マップまたはＲＴＫ機器によりドットする方法で、マークポイントのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）三次元座標を取得することができ、そして、各路側カメラは、画像を収集し、画像上のマークポイントの二次元座標を決定し、各路側カメラに対し、マークポイントの三次元座標及びマークポイントの二次元座標に基づき、ＰＮＰ（ｐｅｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔ，略称ＰＮＰ）レゾリューション処理を行い、各路側カメラのワールド座標系での回転行列を得る。
しかしながら、上記方法において、高精度マップの製造コストが高く、且つ、車線ラインがないと高精度マップを使用することができないため、路側カメラのワールド座標系での回転行列を決定するコストが高くなり、人工ＲＴＫ機器によりドットする方法は、効率が低く、人的危険の問題が存在し、路側カメラのワールド座標系での回転行列を即時且つ効果的に得ることができない。
本願は、路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器を提供し、コンピュータ技術における自動運転、スマート交通及びコンピュータビジョンに適用され、路側カメラのワールド座標系での回転行列を正確且つ迅速に得、さらに、三次元感知情報を効果的且つ迅速に得ることを達成する。
図２は、本願の第１の実施例による概略図であり、図２に示すように、本実施例により提供される路側カメラの外部パラメータに基づく三次元感知情報取得方法は、以下のステップを含む。
ステップ２０１では、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得し、第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成する。
例示的に、本実施例では、路側カメラは、第１のカメラと第２のカメラを含み、第１のカメラと第２のカメラとの間には、共通視認領域を有する。１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであるか、または、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラである。
本実施例の実行主体は、電子機器であってもよく、電子機器は、端末機器であるか、または、サーバであるか、または、本実施例の方法を実行可能なその他の装置又は機器であってもよい。または、本願における各実施例の実行主体は、さまざまな路側機器であってもよく、路側機器として、例えば、計算機能を持つ路側感知機器、路側感知機器に接続される路側計算機器がある。本願における各実施例の実行主体は、路側計算機器に接続されるサーバ機器、又は、路側感知機器に直接に接続されるサーバ機器などであってもよく、本願において、サーバ機器として、例えば、クラウド制御プラットフォーム、車両道路コラボレーション管理プラットフォーム、セントラルサブシステム、エッジコンピューティングプラットフォーム、クラウドコンピューティングプラットフォームなどがある。スマート交通車両道路コラボレーションのシステムアーキテクチャにおいて、路側機器は路側感知機器及び路側計算機器を含み、路側感知機器（例えば、路側カメラ）が路側計算機器（例えば、路側計算ユニットＲＳＣＵ）に接続され、路側計算機器がサーバ機器に接続され、サーバ機器は、さまざまな方法を用いて自動運転又は補助運転車両と通信することができ、他のシステムアーキテクチャにおいて、路側感知機器自身が計算機能を持つと、路側感知機器は、前記サーバ機器に直接に接続される。上記の接続は、有線又は無線の接続であってもよく、本願において、サーバ機器として、例えば、クラウド制御プラットフォーム、車両道路コラボレーション管理プラットフォーム、セントラルサブシステム、エッジコンピューティングプラットフォーム、クラウドコンピューティングプラットフォームなどがある。
まず、以下の概念について説明する。「リアビューガン型カメラ座標系」とは、リアビューガン型カメラにより収集される画像が使用する座標系のことである。「フロントビューガン型カメラ座標系」とは、フロントビューガン型カメラにより収集される画像が使用する座標系のことである。「魚眼カメラ座標系」とは、魚眼カメラにより収集される画像が使用する座標系のことである。
第１のカメラと第２のカメラは、共通視認領域を有するため、共通視認領域に対し、第１のカメラにより収集される画像における当該共通視認領域と第２のカメラにより収集される画像における当該共通視認領域との間の第１のマッチングポイントペアを生成することができ、第１のマッチングポイントペアは、Ｎペアの画像点を含み、各ペアの画像点は、第１のカメラに対応する歪み除去画像上の１つの画像点と第２のカメラに対応する歪み除去画像上の１つの画像点を含み、Ｎは１より大きいか、又は等しい正の整数である。第１のマッチングポイントペアにおける各画像点は、いずれも二次元の画像点である。
そして、エピポーラジオメトリアルゴリズムを採用して第１のマッチングポイントペアを処理し、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を得ることができる。
ステップ２０２では、第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得し、第１の回転行列と第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成する。
例示的に、高精度マップまたはＲＴＫ機器によりドットする方法で、第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得することができる。
そして、第１の回転行列と第２の回転行列に対して行列乗算処理を行い、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を得る。
ステップ２０３では、第３の回転行列に基づき、第１のカメラにより収集される画像の三次元感知情報を生成する。
例示的に、第１のカメラにより収集される画像に含まれるのは二次元感知情報であり、第三回転行列は第１のカメラのワールド座標系での回転行列を表すため、第３の回転行列に基づき、第１のカメラにより収集される画像における二次元感知情報をワールド座標系に変換し、さらに、第１のカメラにより収集される画像の三次元感知情報を得ることができる。
ただし、二次元感知情報とは、二次元画像における物体の画素座標のことである。１つの例示では、二次元感知情報は、画像における物体の二次元感知情報であってもよく、物体は、動力車、軽車両、歩行者及び車線ラインなどを含むが、それらに限定されない。
１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであると、リアビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得ることができる。これにより、「リアビューガン型カメラのワールド座標系での回転行列」及び「魚眼カメラのワールド座標系での回転行列」を得、高精度マップまたは人工ＲＴＫ機器によりドットする方法を採用して魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得る必要がなく、コストを削減し、効率を向上させ、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を効果的且つ迅速に得て、さらに、魚眼カメラにより収集される画像の三次元感知情報を効果的且つ迅速に得ることができる。
第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであると、魚眼カメラとリアビューガン型カメラは共通視認領域を有し、これにより、共通視認領域に対し、魚眼カメラにより収集される画像における当該共通視認領域とリアビューガン型カメラにより収集される画像における当該共通視認領域との間の第１のマッチングポイントペアを生成することができ、第１のマッチングポイントペアは、Ｎペアの画像点を含み、各ペアの画像点は、魚眼カメラに対応する歪み除去画像上の１つの画像点とリアビューガン型カメラに対応する歪み除去画像上の１つの画像点を含む。
そして、エピポーラジオメトリアルゴリズムを採用して第１のマッチングポイントペアを処理し、第１の回転行列を得ることができ、第１の回転行列は、魚眼カメラのリアビューガン型カメラ座標系での回転行列を表す。「リアビューガン型カメラ座標系」とは、リアビューガン型カメラにより収集される画像が使用する座標系のことである。
高精度マップまたはＲＴＫ機器によりドットする方法で、リアビューガン型カメラのワールド座標系での回転行列を表す第２の回転行列を取得することができる。
そして、第１の回転行列と第２の回転行列に対して行列乗算処理を行い、魚眼カメラのワールド座標系での回転行列を表す第３の回転行列を得る。第３の回転行列に基づき、魚眼カメラにより収集される画像における二次元感知情報をワールド座標系に変換し、さらに、魚眼カメラにより収集される画像の三次元感知情報を得る。
他の例では、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであると、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得ることができる。これにより、「フロントビューガン型カメラのワールド座標系での回転行列」及び「魚眼カメラのワールド座標系での回転行列」を得、高精度マップまたは人工ＲＴＫ機器によりドットする方法を採用して魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得る必要がなく、コストを削減し、効率を向上させ、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を効果的且つ迅速に得、さらに、魚眼カメラにより収集される画像の三次元感知情報を効果的且つ迅速に得ることができる。
第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであると、魚眼カメラとフロントビューガン型カメラは共通視認領域を有し、これにより、共通視認領域に対し、魚眼カメラにより収集される画像における当該共通視認領域とフロントビューガン型カメラにより収集される画像における当該共通視認領域との間の第１のマッチングポイントペアを生成することができ、第１のマッチングポイントペアは、Ｎペアの画像点を含み、各ペアの画像点は、魚眼カメラに対応する歪み除去画像上の１つの画像点とフロントビューガン型カメラに対応する歪み除去画像上の１つの画像点を含む。
そして、エピポーラジオメトリアルゴリズムを採用して第１のマッチングポイントペアを処理し、第１の回転行列を得ることができ、第１の回転行列は、魚眼カメラのフロントビューガン型カメラ座標系での回転行列を表す。「フロントビューガン型カメラ座標系」とは、フロントビューガン型カメラにより収集される画像が使用する座標系のことである。
高精度マップまたはＲＴＫ機器によりドットする方法で、フロントビューガン型カメラのワールド座標系での回転行列を表す第２の回転行列を取得する。
そして、第１の回転行列と第２の回転行列に対して行列乗算処理を行い、魚眼カメラのワールド座標系での回転行列を表す第３の回転行列を得る。第３の回転行列に基づき、魚眼カメラにより収集される画像における二次元感知情報をワールド座標系に変換し、さらに、魚眼カメラにより収集される画像の三次元感知情報を得る。
本実施例では、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアに基づき、第１の回転行列を生成し、第１の回転行列と第２の回転行列に基づき、第３の回転行列を生成し、第１の回転行列は、第１のカメラの第２のカメラ座標系での回転行列を表し、第２の回転行列は、第２のカメラのワールド座標系での回転行列を表し、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を得ることにより、第１のカメラのワールド座標系での回転行列を得、そして、第３の回転行列に基づき、第１のカメラにより収集される画像における二次元感知情報を三次元感知情報に変換することができる。第１のカメラにより収集される画像の三次元感知情報を生成する際に、高精度マップ又は人工ＲＴＫ機器によりドットする方法を採用する必要がなく、これにより、コストが削減され、且つ、効率が向上し、人の安全が確保され、さらに、効果的に第１のカメラにより収集される画像における三次元感知情報を得る。また、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであると、リアビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得ることができ、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであると、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得ることができる。
図３は、本願の第２の実施例による概略図であり、図３に示すように、本実施例により提供される路側カメラの外部パラメータに基づく三次元感知情報取得方法は、以下のステップを含む。
ステップ３０１では、第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、第２のカメラにより収集される画像に基づいて第２の歪み除去画像を生成し、第１の歪み除去画像と第２の歪み除去画像は、それぞれ共通視認領域に位置する画像領域を有する。
１つの例示では、ステップ３０１は、第１のカメラにより収集される画像を球面に投影し、球面画像を得るステップと、球面画像に対して歪み除去処理を行い、第１の歪み除去画像を得るステップと、歪み除去関数を採用して第２のカメラにより収集される画像を調整し、第２の歪み除去画像を得るステップと、を含む。
例示的に、本実施例では、路側カメラは、第１のカメラと第２のカメラを含み、第１のカメラと第２のカメラとの間には、共通視認領域を有する。１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであるか、または、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラである。
本実施例の実行主体は、電子機器であってもよく、電子機器は、端末機器であるか、または、サーバであるか、または、本実施例の方法を実行可能なその他の装置又は機器であってもよい。
まず、第１のカメラにより収集される画像及び第２のカメラにより収集される画像を取得し、第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、第２のカメラにより収集される画像に基づいて第２の歪み除去画像を生成する。１つの例示では、第１のカメラと第２のカメラが、共通視認領域を有するため、第１のカメラにより収集される画像と第２のカメラにより収集される画像は、共通視認領域（即ち、同一の領域に対していずれも当該領域の画像が撮影される）を有し、これにより、第１の歪み除去画像と第２の歪み除去画像は、それぞれ共通視認領域に位置する画像領域を有する。
１つの例示では、第１のカメラが魚眼カメラである。第１のカメラにより収集される画像を球面に投影して、球面画像を得、図４は、本願の実施例により提供される第１の歪み除去画像の概略図であり、図４に示すように、球面画像に対して歪み除去処理を行い、第１の歪み除去画像を得る。このプロセスは、既存の歪み除去画像の生成方法を参照することができる。第１の歪み除去画像は、同等のガンカメラでの画像である。「同等のガンカメラ」とは、異なる路側カメラ（魚眼カメラ、リアビューガン型カメラ、フロントビューガン型カメラ）により収集される画像が１つガンカメラ（即ち、ガン型カメラ）にマッピングされることができるとき、当該ガンカメラは、同等のガンカメラと称されることができる。
第２のカメラはリアビューガン型カメラであるか、またはフロントビューガン型カメラである。第２のカメラにより収集される画像も歪みの問題があり、第２のカメラにより収集される画像を調整し、第２のカメラの第２の歪み除去画像を得ることができる。１つの例示では、ｏｐｅｎｃｖにおける歪み除去関数を採用し、第２のカメラにより収集される画像を調整して、第２の歪み除去画像を得ることができる。
例を挙げて説明すると、ｏｐｅｎｃｖの歪み除去関数を採用し、リアビューガン型カメラにより収集される画像に対して歪み除去処理を行い、リアビューガン型カメラの第２の歪み除去画像を得ることができる。
以上の方法で第１のカメラにより収集される画像を調整し、第１の歪み除去画像を得、第２のカメラにより収集される画像を調整し、第２の歪み除去画像を得ることができ、これにより、第１のマッチングポイントペアを得ることが容易になる。
ステップ３０２では、第１の歪み除去画像における、共通視認領域に位置する画像領域の第１の画像特徴を抽出し、第２の歪み除去画像における、共通視認領域に位置する画像領域の第２の画像特徴を抽出する。
例示的に、第１の歪み除去画像と第２の歪み除去画像は、同一の共通視認領域での画像領域を有するため、共通視認領域に対し、第１の歪み除去画像の第１の画像特徴を抽出し、第２の歪み除去画像の第２の画像特徴を抽出する。第１の画像特徴として、例えば、コーナーポイントスケール不変特徴変換（ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ，略称ＳＩＦＴ）特徴、ＯＲＢ（ｏｒｉｅｎｔｅｄ ｆａｓｔ ａｎｄ ｒｏｔａｔｅｄ ｂｒｉｅｆ、略称ＯＲＢ）特徴があり、第２の画像特徴として、例えば、コーナーポイントＳＩＦＴ特徴、ＯＲＢ特徴がある。
ステップ３０３では、第１の画像特徴と第２の画像特徴に基づき、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを決定する。
１つの例示では、ステップ３０３は、第１の画像特徴と第２の画像特徴に基づき、第１の歪み除去画像と第２の歪み除去画像に対して特徴マッチングを行って、第１のマッチングポイントペアを得る。
例示的に、第１の画像特徴と第２の画像特徴に基づき、第１の歪み除去画像における共通視認領域での画像と第２の歪み除去画像の共通視認領域での画像に対して特徴マッチング処理を行って、第１のマッチングポイントペアを得る。第１のマッチングポイントペアは、Ｎペアの画像点を含み、各ペアの画像点は、第１のカメラに対応する第１の歪み除去画像上の１つの画像点と第２のカメラに対応する第２の歪み除去画像上の１つの画像点を含み、Ｎは１より大きいか、又は等しい正の整数である。第１のマッチングポイントペアにおける各画像点は、いずれも二次元の画像点である。
第１のカメラと第２のカメラは共通視認領域を有し、第１の歪み除去画像には、当該共通視認領域での画像を有し、第２の歪み除去画像には、当該共通視認領域での画像を有するため、共通視認領域に対し、第１の歪み除去画像における共通視認領域での画像と第２の歪み除去画像の共通視認領域での画像に対して特徴マッチング処理を行い、これにより、得られる第１のマッチングポイントペアにおける各ペアの画像点は、共通視認領域に対するものであって、この後の回転行列の分析を容易にする。
ステップ３０４では、第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成する。
１つの例示では、ステップ３０４は、第１のマッチングポイントペアに基づき、第２のカメラの同等のカメラ座標系での回転行列を表す第４の回転行列を生成する第１のステップと、第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列を取得する第２のステップと、第４の回転行列と第５の回転行列に基づき、第１の回転行列を生成する第３のステップと、を含む。
１つの例示では、上記第２のステップは、具体的に、所定のピッチ角とヨー角に基づき、第１のカメラにより収集される画像が位置する第１のカメラ座標系を変換し、第５の回転行列を得る。
例示的に、エピポーラジオメトリアルゴリズムを採用して第１のマッチングポイントペアを処理し、第２のカメラの同等のカメラ座標系での回転行列を表す第４の回転行列Ｒ＿ｔｍｐを得る。
このとき、第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列Ｒを１つ得る必要がある。１つの例示では、第１のカメラにより収集される画像に対してピッチ角とヨー角の歪み除去処理を行い、即ち、ピッチ角とヨー角に基づいて第１のカメラにより収集される画像が位置する第１のカメラ座標系に対して回転変換を行い、第５の回転行列を得ることができる。例を挙げて説明すると、第１のカメラが魚眼カメラであり、魚眼カメラにより収集される画像が円形画像であり、魚眼カメラにより収集される円形画像に対してピッチ角（例えば５８度）とヨー角（例えば９０度）の歪み除去を行い、このとき、第５の回転行列Ｒを得ることができ（即ち、ピッチ角とヨー角に基づいて魚眼カメラ座標系を回転し、それにより、第５の回転行列Ｒを得ることができる）、このとき、第５の回転行列は、魚眼カメラの同等のカメラ座標系での回転行列である。「魚眼カメラ座標系」とは、魚眼カメラにより収集される画像が使用する座標系のことである。「同等のカメラ座標系」とは、同等のガンカメラにより収集される画像が使用する座標系のことである。上記のプロセスでは、所定のピッチ角と所定のヨー角に基づき、第１のカメラにより収集される画像が位置する第１のカメラ座標系を変換し、第５の回転行列を正確に得ることができる。
そして、第４の回転行列Ｒ＿ｔｍｐと第５の回転行列Ｒに対して行列乗算処理を行い、第１の回転行列Ａ＝Ｒ＊Ｒ＿ｔｍｐ－１を生成する。
上記のプロセスでは、第４の回転行列は、第２のカメラの同等のカメラ座標系での回転行列を表し、第５の回転行列は、第１のカメラの同等のカメラ座標系での回転行列を表し、これにより、この２つの行列に基づき、第１の回転行列を得ることができる（第１の回転行列は、第１のカメラの第２のカメラ座標系での回転行列を表す）。
ステップ３０５では、マークポイントの三次元座標情報を取得し、第２のカメラにより収集される画像に基づき、第２のカメラにより収集される画像上のマークポイントの二次元座標情報を決定し、マークポイントの三次元座標情報と第２のカメラにより収集される画像上のマークポイントの二次元座標情報に対してレゾリューション処理を行い、第２の回転行列を得る。第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す。
例示的に、第２の回転行列（第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す）を取得する際に、高精度マップまたは人工ＲＴＫ機器によりドットする方法で、マークポイントの三次元座標情報を得、そして、第２のカメラにより収集される画像を用いて当該画像上のマークポイントの二次元座標情報を決定し、マークポイントの三次元座標情報とマークポイントの二次元座標情報に基づき、ｐｎｐレゾリューション処理を行い、第２の回転行列を得ることができ、第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す。
このとき、高精度マップまたは人工ＲＴＫ機器によりドットする方法に基づき、第２の回転行列（第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す）を得たが、第２の回転行列（第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す）に基づき、第３の回転行列（第３の回転行列は、第１のカメラのワールド座標系での回転行列を表す）を得ることは、第１のカメラに対し、高精度マップまたは人工ＲＴＫ機器によりドットする方法を採用して第３の回転行列（第３の回転行列は、第１のカメラのワールド座標系での回転行列を表す）を得る必要がないため、コストや時間は、ある程度で節約される。
ステップ３０６では、第１の回転行列と第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成する。
例示的に、第１の回転行列Ａと第２の回転行列Ｂに対して行列乗算処理を行い、第１のカメラのワールド座標系での回転行列を表す第３の回転行列Ｒ＿ｆｉｓｈｅｙｅ＝Ａ*Ｂを得ることができる。
ステップ３０７では、第３の回転行列に基づき、第１のカメラにより収集される画像における二次元感知情報をワールド座標系に変換し、第１のカメラにより収集される画像の三次元感知情報を生成する。
例示的に、第１のカメラにより収集される画像の三次元感知情報を生成する際に、第３の回転行列は、第１のカメラのワールド座標系での回転行列を表し、第１のカメラにより収集される画像における感知情報は二次元感知情報であるため、第３の回転行列に基づき、第１のカメラにより収集される画像における二次元感知情報をワールド座標系での情報に変換することができ、第１のカメラにより収集される画像の三次元感知情報を生成することができる。これにより、第１のカメラにより収集される画像の三次元感知情報を迅速且つ正確的に得る。
ステップ３０８では、第２の回転行列に基づき、第２のカメラにより収集される画像における二次元感知情報をワールド座標系に変換し、第２のカメラにより収集される画像の三次元感知情報を生成する。
１つの例示では、第１のカメラにより収集される画像の三次元感知情報は、自動運転車両の三次元感知位置決めのために用いられる。第２のカメラにより収集される画像の三次元感知情報は、自動運転車両の三次元感知位置決めのために用いられる。
１つの例示では、第２の回転行列は、第２のカメラのパラメータをキャリブレーションするために用いられ、第３の回転行列は、第１のカメラのパラメータをキャリブレーションするために用いられる。
例示的に、上記のプロセスでは、さらに、第２の回転行列を得、第２の回転行列は、第２のカメラのワールド座標系での回転行列を表し、第２のカメラにより収集される画像における感知情報は二次元感知情報であるため、第２の回転行列に基づき、第２のカメラにより収集される画像における二次元感知情報をワールド座標系での情報に変換することができ、第２のカメラにより収集される画像の三次元感知情報を生成することができる。これにより、第２のカメラにより収集される画像の三次元感知情報を迅速且つ正確的に得る。
本実施例では、第１のカメラにより収集される画像の三次元感知情報と第２のカメラにより収集される画像の三次元感知情報を正確的且つ迅速に生成することができる。第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであるか、または、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラである。
得られる各三次元感知情報は、自動運転車両の三次元感知位置決めのために用いられる。１つの例示では、自動運転車両は、自動運転中に、三次元感知情報に基づき、自動運転中に三次元感知位置決めを行う必要があり、本実施例を介して魚眼カメラの三次元感知情報、リアビューガン型カメラの三次元感知情報、及びフロントビューガン型カメラの三次元感知情報を得ることができ、さらに、自動運転車両は、これらの三次元感知情報を得ることができ、そして、自動運転車両は、これらの三次元感知情報に基づいて三次元感知位置決めを完了し、これにより、自動運転車両の自動走行が容易になる。
三次元感知位置決めを行う際に、自動運転車両は、同時に路側カメラのワールド座標系での回転行列と並進行列に基づき、三次元感知位置決めを完了することができる。１つの例示では、ＲＴＫ機器を採用して各路側カメラ（フロントビューガン型カメラ、リアビューガン型カメラ及び魚眼カメラ）に対してドットを行い、各路側カメラのワールド座標系での並進パラメータ行列を得ることができ、並進パラメータ行列が路側カメラのワールド座標系での位置（即ち、並進）を表し、そして、本実施例の上記のプロセスにより、各路側カメラのワールド座標系での回転行列（第２のカメラのワールド座標系での回転行列を表す第２の回転行列、及び第１のカメラのワールド座標系での回転行列を表す第３の回転行列を含む。第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであるか、または、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラである）を得て、さらに、各路側カメラのワールド座標系での回転行列に基づき、各路側カメラにより収集される画像の三次元感知情報を得、そして、自動運転車両は、各路側カメラのワールド座標系での並進パラメータ行列と各路側カメラにより収集される画像の三次元感知情報に基づき、三次元感知位置決めを行うことができる。
また、本実施例では、さらに、第２の回転行列（第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す）と第３の回転行列（第３の回転行列は、第１のカメラのワールド座標系での回転行列を表す）を得、第２の回転行列を採用して第２のカメラのパラメータをキャリブレーションし、第３の回転行列を採用して第１のカメラのパラメータをキャリブレーションすることができる。これにより、路側カメラのパラメータ（即ち、外部パラメータ）を校正する。
１つの例示では、風や振動などの外力要素により、路側カメラがわずかに回転すると、路側カメラの外部パラメータを再度キャリブレーションする必要があり、まず、「画像安定化アルゴリズム」または「画像マッチング検出アルゴリズム」を用いて位置ずれがある路側カメラ及び位置ずれがない路側カメラを検出してから、位置ずれがない路側カメラの外部パラメータに基づき、位置ずれがある路側カメラの外部パラメータを得、そして、位置ずれがある路側カメラのワールド座標系での回転行列に基づき、位置ずれがある路側カメラの外部パラメータをキャリブレーションすることができる。例えば、第１のカメラが魚眼カメラであり、魚眼カメラに位置ずれがあったと決定された場合、第３の回転行列（第３の回転行列は、第１のカメラのワールド座標系での回転行列を表す）に基づき、魚眼カメラの外部パラメータをキャリブレーションすることができる。
本実施例の以上のプロセスでは、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであり、さらに、リアビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得ることができる。さらに、リアビューガン型カメラにより収集される画像の三次元感知情報と魚眼カメラにより収集される画像の三次元感知情報を得る。
第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであり、それにより、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得ることができる。さらに、フロントビューガン型カメラにより収集される画像の三次元感知情報と魚眼カメラにより収集される画像の三次元感知情報を得る。
本実施例のプロセスにより、魚眼カメラにより収集される画像の三次元感知情報、リアビューガン型カメラにより収集される画像の三次元感知情報、及びフロントビューガン型カメラにより収集される画像の三次元感知情報を得ることができることがわかる。さらに、自動運転の三次元感知位置決め、または、路側カメラの外部パラメータに対するキャリブレーションに適用されることができる。
本実施例では、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアに基づき、第４の回転行列（第４の回転行列は、第２のカメラの同等のカメラ座標系での回転行列を表す）を生成し、第４の回転行列と第５の回転行列（第５の回転行列は、第１のカメラの同等のカメラ座標系での回転行列を表す）に基づき、第１の回転行列（第１の回転行列は、第１のカメラの第２のカメラ座標系での回転行列を表す）を生成し、そして、第１の回転行列は、第１のカメラの第２のカメラ座標系での回転行列を表し、第２の回転行列は、第２のカメラのワールド座標系での回転行列を表すため、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を得、これにより、第１のカメラのワールド座標系での回転行列を得、そして、第３の回転行列に基づき、第１のカメラにより収集される画像における二次元感知情報を三次元感知情報に変換し、第２の回転行列に基づき、第２のカメラにより収集される画像の三次元感知情報を生成することができる。第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであるか、または、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラである。さらに、各路側カメラにより収集される画像の三次元感知情報を得ることができる。高精度マップ又は人工ＲＴＫ機器によりドットする方法を採用して三次元感知情報を得る必要がなく、これにより、コストは削減され、且つ、効率が向上し、人の安全が確保される。魚眼カメラにより収集される画像の三次元感知情報、リアビューガン型カメラにより収集される画像の三次元感知情報、及びフロントビューガン型カメラにより収集される画像の三次元感知情報を得ることができる。さらに、自動運転の三次元感知位置決め、または、路側カメラの外部パラメータに対するキャリブレーションに適用されることができる。
図５は、本願の第３の実施例による概略図であり、図５に示すように、本実施例により提供される路側カメラの外部パラメータに基づく三次元感知情報取得方法は、以下のステップを含む。
ステップ５０１では、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得し、第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成する。
ステップ５０２では、第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得し、第１の回転行列と第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成する。
ステップ５０３では、第３の回転行列に基づき、第１のカメラにより収集される画像の三次元感知情報を生成する。
例示的に、本実施例では、路側カメラは、第１のカメラ、第２のカメラ及び第３のカメラを含み、第１のカメラと第２のカメラとの間には、共通視認領域を有し、第１のカメラと第３のカメラとの間には、共通視認領域を有する。１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであり、第３のカメラがフロントビューガン型カメラであるか、または、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであり、第３のカメラがリアビューガン型カメラである。
本実施例の実行主体は、電子機器であってもよく、電子機器は、端末機器であるか、または、サーバであるか、または、本実施例の方法を実行可能なその他の装置又は機器であってもよい。
ステップ５０１－５０３を実行し、第２の回転行列（第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す）に基づき、第３の回転行列（第３の回転行列は、第１のカメラのワールド座標系での回転行列を表す）を得ることができ、このプロセスは、上記いずれの実施例を参照することができ、繰り返して説明しない。
ステップ５０４では、第１のカメラにより収集される画像と第３のカメラにより収集される画像との間の第２のマッチングポイントペアを取得し、第２のマッチングポイントペアに基づき、第３のカメラの第１のカメラ座標系での回転行列を表す第６の回転行列を生成する。
例示的に、ステップ５０３の後に、第１のカメラと第３のカメラは、共通視認領域を有するため、共通視認領域に対し、第１のカメラにより収集される画像における当該共通視認領域と第３のカメラにより収集される画像における当該共通視認領域との間の第２のマッチングポイントペアを生成することができ、第２のマッチングポイントペアは、Ｎペアの画像点を含み、各ペアの画像点は、第１のカメラに対応する歪み除去画像上の１つの画像点と第３のカメラに対応する歪み除去画像上の１つの画像点を含み、Ｎは１より大きいか、又は等しい正の整数である。第２のマッチングポイントペアにおける各画像点は、いずれも二次元の画像点である。
そして、エピポーラジオメトリアルゴリズムを採用して第２のマッチングポイントペアを処理し、第３のカメラの第１のカメラ座標系での回転行列を表す第６の回転行列を得ることができる。
ステップ５０５では、第３の回転行列と第６の回転行列に基づき、第３のカメラのワールド座標系での回転行列を表す第７の回転行列を生成する。
例示的に、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成したため、第３の回転行列と第６の回転行列に対して行列乗算処理を行い、第３のカメラのワールド座標系での回転行列を表す第７の回転行列を得ることができる。
ステップ５０６では、第７の回転行列に基づいて第３のカメラにより収集される画像の三次元感知情報を生成する。
例示的に、第３のカメラにより収集される画像に含まれるのは二次元感知情報であり、第７の回転行列は、第３のカメラのワールド座標系での回転行列を表すため、第７の回転行列に基づき、第３のカメラにより収集される画像における二次元感知情報をワールド座標系に変換して、第３のカメラにより収集される画像の三次元感知情報を得ることができる。
二次元感知情報とは、二次元画像における物体の画素座標である。１つの例示では、二次元感知情報は、画像における物体の二次元感知情報であってもよく、物体は、動力車、軽車両、歩行者及び車線ラインなどを含むが、それらに限定されない。
１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであり、第３のカメラがフロントビューガン型カメラであり、さらに、リアビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得、そして、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）に基づき、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第７の回転行列）を得ることができる。
他の例では、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであり、第３のカメラがリアビューガン型カメラであり、さらに、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得、そして、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）に基づき、リアビューガン型カメラのワールド座標系での回転行列（即ち、第７の回転行列）を得ることができる。
本実施例では、第３の回転行列（第３の回転行列は、第１のカメラのワールド座標系での回転行列を表す）を得た後に、第３の回転行列と第６の回転行列（第６の回転行列は、第３のカメラの第１のカメラ座標系での回転行列を表す）に基づき、第７の回転行列を得ることができ、第７の回転行列は、第３のカメラのワールド座標系での回転行列を表す。これにより、第２の回転行列（第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す）に基づき、次第に第３の回転行列（第３の回転行列は、第１のカメラのワールド座標系での回転行列を表す）と第７の回転行列（第７の回転行列は、第３のカメラのワールド座標系での回転行列を表す）を得ることができる。これにより、１つの路側カメラのワールド座標系での回転行列に基づき、他の２つの路側カメラのワールド座標系での回転行列を得る。そして、各路側カメラにより収集される画像の三次元感知情報を得る。各路側カメラに対して高精度マップ又は人工ＲＴＫ機器によりドットする方法を採用して、路側カメラのワールド座標系での回転行列を得る必要がなく、さらに、各路側カメラのワールド座標系での回転行列を効果的且つ迅速に得、各路側カメラにより収集される画像の三次元感知情報を得ることが容易になる。
図６は、本願の第４の実施例による概略図であり、図６に示すように、本実施例により提供される路側カメラの外部パラメータに基づく三次元感知情報取得方法は、以下のステップを含む。
ステップ６０１では、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得し、第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成する。
ステップ６０２では、第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得し、第１の回転行列と第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成する。
ステップ６０３では、第３の回転行列に基づき、第１のカメラにより収集される画像の三次元感知情報を生成する。
１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラである場合、第３のカメラはフロントビューガン型カメラであるが、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラである場合、第３のカメラはリアビューガン型カメラである。
例示的に、本実施例では、路側カメラは、第１のカメラ、第２のカメラ及び第３のカメラを含み、第１のカメラと第２のカメラとの間には、共通視認領域を有し、第１のカメラと第３のカメラとの間には、共通視認領域（第１のカメラと第２のカメラとの間の共通視認領域、及び第１のカメラと第３のカメラとの間の共通視認領域とは異なる）を有する。１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであり、第３のカメラがフロントビューガン型カメラであるか、または、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであり、第３のカメラがリアビューガン型カメラである。
本実施例の実行主体は、電子機器であってもよく、電子機器は、端末機器であるか、または、サーバであるか、または、本実施例の方法を実行可能なその他の装置又は機器であってもよい。
ステップ６０１－６０３を実行し、第２の回転行列（第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す）に基づき、第３の回転行列（第３の回転行列は、第１のカメラのワールド座標系での回転行列を表す）を得ることができ、このプロセスは、上記いずれの実施例を参照することができ、繰り返して説明しない。
ステップ６０４では、第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、第３のカメラにより収集される画像に基づいて第３の歪み除去画像を生成し、第１の歪み除去画像と第３の歪み除去画像は、それぞれ共通視認領域に位置する画像領域を有する。
１つの例示では、ステップ６０４における「第３のカメラにより収集される画像に基づいて第３の歪み除去画像を生成する」ステップは、歪み除去関数を採用して第３のカメラにより収集される画像を調整し、第３の歪み除去画像を得る。
例示的に、第１のカメラと第３のカメラとの間には、共通視認領域を有する。上記の実施例で、すでに第１の歪み除去画像が取得されており、また、第３のカメラにより収集される画像に基づいて第３の歪み除去画像を生成する必要がある。１つの例示では、第１のカメラと第３のカメラは、共通視認領域を有するため、第１のカメラにより収集される画像と第３のカメラにより収集される画像は、共通視認領域（即ち、同一の領域に対していずれも当該領域の画像が撮影される）を有し、これにより、第１の歪み除去画像と第３の歪み除去画像は、それぞれ共通視認領域に位置する画像領域を有する。
第３のカメラにより収集される画像も歪みの問題があり、第３のカメラにより収集される画像を調整し、第３のカメラの第３の歪み除去画像を得ることができる。１つの例示では、ｏｐｅｎｃｖにおける歪み除去関数を採用し、第３のカメラにより収集される画像を調整し、さらに、第３の歪み除去画像を得ることができる。
例を挙げて説明すると、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであり、第３のカメラがフロントビューガン型カメラであり、ｏｐｅｎｃｖの歪み除去関数を採用して、フロントビューガン型カメラにより収集される画像に対して歪み除去処理を行い、リアビューガン型カメラの第３の歪み除去画像を得ることができる。
以上の方法で第３のカメラにより収集される画像を調整し、第３の歪み除去画像を得、さらに、第２のマッチングポイントペアを得ることを容易にさせることができる。
ステップ６０５では、第１の歪み除去画像における、共通視認領域に位置する画像領域の第１の画像特徴を抽出し、第３の歪み除去画像における、共通視認領域に位置する画像領域の第３の画像特徴を抽出する。
例示的に、第１の歪み除去画像と第３の歪み除去画像は、同一の共通視認領域での画像領域を有するため、共通視認領域に対し、第１の歪み除去画像の第１の画像特徴を抽出し、第３の歪み除去画像の第３の画像特徴を抽出する。第１の画像特徴として、例えば、ＳＩＦＴ特徴、ＯＲＢ特徴があり、第３の画像特徴として、例えば、コーナーポイントＳＩＦＴ特徴、ＯＲＢ特徴がある。
ステップ６０６では、第１の画像特徴と第３の画像特徴に基づき、第１のカメラにより収集される画像と第３のカメラにより収集される画像との間の第２のマッチングポイントペアを決定する。
１つの例示では、ステップ６０６は、第１の画像特徴と第３の画像特徴に基づき、第１の歪み除去画像と第３の歪み除去画像に対して特徴マッチングを行い、第２のマッチングポイントペアを得るステップを含む。
例示的に、第１の画像特徴と第３の画像特徴に基づき、第１の歪み除去画像における共通視認領域での画像と第３の歪み除去画像の共通視認領域での画像に対して特徴マッチング処理を行い、第２のマッチングポイントペアを得る。第２のマッチングポイントペアは、Ｎペアの画像点を含み、各ペアの画像点は、第１のカメラに対応する第１の歪み除去画像上の１つの画像点と第３のカメラに対応する第３の歪み除去画像上の１つの画像点を含み、Ｎは１より大きいか、又は等しい正の整数である。第２のマッチングポイントペアにおける各画像点は、いずれも二次元の画像点である。
第１のカメラと第３のカメラは共通視認領域を有し、第１の歪み除去画像には、当該共通視認領域での画像を有し、第３の歪み除去画像には、当該共通視認領域での画像を有するため、共通視認領域に対し、第１の歪み除去画像における共通視認領域での画像と第３の歪み除去画像の共通視認領域での画像に対して特徴マッチング処理を行い、これにより、得られる第２のマッチングポイントペアにおける各ペアの画像点は、共通視認領域に対するものであり、この後の回転行列の分析を容易にさせる。
ステップ６０７では、第２のマッチングポイントペアに基づき、第３のカメラの第１のカメラ座標系での回転行列を表す第６の回転行列を生成する。
１つの例示では、ステップ６０７は、具体的に、第２のマッチングポイントペアに基づき、第３のカメラの同等のカメラ座標系での回転行列を表す第８の回転行列を生成し、第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列を取得し、第５の回転行列と第８の回転行列に基づき、第６の回転行列を生成する。
例示的に、エピポーラジオメトリアルゴリズムを採用して第２のマッチングポイントペアを処理し、第３のカメラの同等のカメラ座標系での回転行列を表す第８の回転行列Ｍを得る。
上記実施例のステップ３０４を採用して、第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列Ｒを得ることができる。そして、第５の回転行列Ｒと第８の回転行列Ｍに基づき、第６の回転行列Ｐ＝Ｒ*Ｍ－１を生成する。
上記プロセスでは、第８の回転行列は、第３のカメラの同等のカメラ座標系での回転行列を表し、第５の回転行列は、第１のカメラの同等のカメラ座標系での回転行列を表し、これにより、この２つの行列に基づき、第６の回転行列（第６の回転行列は、第３のカメラの第１のカメラ座標系での回転行列を表す）を得ることができる。
ステップ６０８では、第３の回転行列と第６の回転行列基づき、第３のカメラのワールド座標系での回転行列を表す第７の回転行列を生成する。
例示的に、ステップ６０２で第３の回転行列が得られ、第３の回転行列Ｋと第６の回転行列Ｐに対して行列乗算処理を行い、第３のカメラのワールド座標系での回転行列を表す第７の回転行列Ｑ＝Ｋ*Ｐを得ることができる。
ステップ６０９では、第７の回転行列に基づいて、第３のカメラにより収集される画像の三次元感知情報を生成する。
１つの例示では、第３のカメラにより収集される画像の三次元感知情報は、自動運転車両の三次元感知位置決めのために用いられる。第７の回転行列は、第３のカメラのパラメータをキャリブレーションするために用いられる。
例示的に、第３のカメラにより収集される画像の三次元感知情報を生成する際に、第７の回転行列は、第３のカメラのワールド座標系での回転行列を表し、第３のカメラにより収集される画像における感知情報は二次元感知情報であるため、第７の回転行列に基づき、第３のカメラにより収集される画像における二次元感知情報をワールド座標系での情報に変換することができ、第３のカメラにより収集される画像の三次元感知情報を生成することができる。さらに、第３のカメラにより収集される画像の三次元感知情報を迅速且つ正確的に得る。
１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであり、第３のカメラがフロントビューガン型カメラであり、さらに、リアビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得、そして、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）に基づき、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第７の回転行列）を得ることができる。
他の例では、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであり、第３のカメラがリアビューガン型カメラであり、さらに、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得、そして、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）に基づき、リアビューガン型カメラのワールド座標系での回転行列（即ち、第７の回転行列）を得ることができる。
得られる各三次元感知情報は、自動運転車両の三次元感知位置決めのために用いられる。１つの例示では、自動運転車両は、自動運転中に、三次元感知情報に基づき、自動運転中に三次元感知位置決めを行う必要があり、本実施例を介して魚眼カメラの三次元感知情報、リアビューガン型カメラの三次元感知情報、及びフロントビューガン型カメラの三次元感知情報を得ることができ、さらに、自動運転車両は、これらの三次元感知情報を得ることができ、そして、自動運転車両は、これらの三次元感知情報に基づいて三次元感知位置決めを完了し、これにより、自動運転車両の自動走行が容易になる。
また、本実施例では、さらに、第７の回転行列（第７の回転行列は、第３のカメラのワールド座標系での回転行列を表す）が得られ、第７の回転行列を採用して第３のカメラのパラメータをキャリブレーションし、路側カメラのパラメータ（即ち、外部パラメータ）を校正することができる。
１つの例示では、風や振動などの外力要素により、路側カメラがわずかに回転すると、路側カメラの外部パラメータを再度キャリブレーションする必要があり、まず、「画像安定化アルゴリズム」または「画像マッチング検出アルゴリズム」を用いて位置ずれがある路側カメラ及び位置ずれがない路側カメラを検出してから、位置ずれがない路側カメラの外部パラメータに基づき、位置ずれがある路側カメラの外部パラメータを得、そして、位置ずれがある路側カメラのワールド座標系での回転行列に基づき、位置ずれがある路側カメラの外部パラメータをキャリブレーションすることができる。例えば、第３のカメラがフロントビューガン型カメラ座標系であり、もしフロントビューガン型カメラ座標系が位置ずれがあったと決定される場合、第７の回転行列（第７の回転行列は、第３のカメラのワールド座標系での回転行列を表す）に基づき、フロントビューガン型カメラ座標系の外部パラメータをキャリブレーションすることができる。
本実施例では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであり、第３のカメラがフロントビューガン型カメラであり、さらに、リアビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得、そして、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）に基づき、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第７の回転行列）を得ることができる。第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであり、第３のカメラがリアビューガン型カメラであり、さらに、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得、そして、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）に基づき、リアビューガン型カメラのワールド座標系での回転行列（即ち、第７の回転行列）を得ることができる。これにより、各路側カメラにより収集される画像の三次元感知情報を得る。高精度マップ又は人工ＲＴＫ機器によりドットする方法を採用して三次元感知情報を得る必要がなく、これにより、コストが削減され、且つ、効率が向上し、人の安全が確保される。魚眼カメラにより収集される画像の三次元感知情報、リアビューガン型カメラにより収集される画像の三次元感知情報、及びフロントビューガン型カメラにより収集される画像の三次元感知情報を得ることができる。さらに、自動運転の三次元感知位置決め、または、路側カメラの外部パラメータに対するキャリブレーションに適用されることができる。
図７は、本願の第５の実施例による概略図であり、図７に示すように、本実施例により提供される路側カメラの外部パラメータに基づく三次元感知情報取得方法は、以下のステップを含む。
ステップ７０１では、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第３のマッチングポイントペアを取得し、第３のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成する。
例示的に、本実施例の実行主体は、電子機器であってもよく、電子機器は、端末機器であるか、または、サーバであるか、または、本実施例の方法を実行可能なその他の装置又は機器であってもよい。
本実施例により提供されるステップ７０１－７０４は、第１の実施例又は第２の実施例に基づいて実行されてもよく、単独に実行されてもよい。
ステップ７０１－７０４において、第１のカメラが魚眼カメラであり、第２のカメラはリアビューガン型カメラであるか、またはフロントビューガン型カメラである。
第１のカメラと第２のカメラは共通視認領域を有するため、共通視認領域に対し、第１のカメラにより収集される画像における当該共通視認領域と第２のカメラにより収集される画像における当該共通視認領域との間の第３のマッチングポイントペアを生成することができ、第３のマッチングポイントペアは、Ｎペアの画像点を含み、各ペアの画像点は、第１のカメラに対応する歪み除去画像上の１つの画像点と第２のカメラに対応する歪み除去画像上の１つの画像点を含み、Ｎは１より大きいか、又は等しい正の整数である。第３のマッチングポイントペアにおける各画像点は、いずれも二次元の画像点である。
そして、エピポーラジオメトリアルゴリズムを採用して第３のマッチングポイントペアを処理し、第１の回転行列を得ることができ、第１の回転行列は、第１のカメラの第２のカメラ座標系での回転行列を表す。
１つの例示では、第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、第２のカメラにより収集される画像に基づいて第２の歪み除去画像を生成することができ、第１の歪み除去画像と第２の歪み除去画像は、それぞれ共通視認領域に位置する画像領域を有する。そして、第１の歪み除去画像における、共通視認領域に位置する画像領域の第１の画像特徴を抽出し、第２の歪み除去画像における、共通視認領域に位置する画像領域の第２の画像特徴を抽出する。第１の画像特徴と第２の画像特徴に基づき、第１の歪み除去画像における共通視認領域での画像と第２の歪み除去画像の共通視認領域での画像に対して特徴マッチング処理を行い、第３のマッチングポイントペアを得る。本実施例では、第３のマッチングポイントペアは、上記第１のマッチングポイントペアと同じであってもよい。
そして、第３のマッチングポイントペアに基づき、第２のカメラの同等のカメラ座標系での回転行列を表す第４の回転行列を生成する。第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列を取得する。第４の回転行列と第５の回転行列に基づき、第１の回転行列を生成する。このプロセスは、上記実施例におけるステップ３０４を参照することができ、繰り返して説明しない。
ステップ７０２では、第１のカメラのワールド座標系での回転行列を表す第９の回転行列を取得する。
１つの例示では、ステップ７０２は、マークポイントの三次元座標情報を取得し、第１のカメラにより収集される画像に基づき、第１のカメラにより収集される画像上のマークポイントの二次元座標情報を決定するステップと、マークポイントの三次元座標情報と第１のカメラにより収集される画像上のマークポイントの二次元座標情報に対してレゾリューション処理を行い、第９の回転行列を得るステップを含む。
例示的に、高精度マップまたはＲＴＫ機器によりドットする方法で、第１のカメラのワールド座標系での回転行列を表す第９の回転行列を取得する。
１つの例示では、第９の回転行列（第９の回転行列は、第１のカメラのワールド座標系での回転行列を表す）を取得する際に、高精度マップまたは人工ＲＴＫ機器によりドットする方法で、マークポイントの三次元座標情報を得、そして、第１のカメラにより収集される画像を介して当該画像上のマークポイントの二次元座標情報を決定し、マークポイントの三次元座標情報と第１のカメラにより収集される画像上のマークポイントの二次元座標情報に基づき、ｐｎｐレゾリューション処理を行い、第１のカメラのワールド座標系での回転行列を表す第９の回転行列を得ることができる。
このとき、高精度マップまたは人工ＲＴＫ機器によりドットする方法に基づき、第９の回転行列（第９の回転行列は、第１のカメラのワールド座標系での回転行列を表す）を得たが、第９の回転行列（第９の回転行列は、第１のカメラのワールド座標系での回転行列を表す）に基づき、第１０の回転行列（第１０の回転行列は、第２のカメラのワールド座標系での回転行列を表す）を得、第２のカメラに対し、高精度マップまたは人工ＲＴＫ機器によりドットする方法を採用して第１０の回転行列（第１０の回転行列は、第２のカメラのワールド座標系での回転行列を表す）を得る必要がなく、コストや時間がある程度で節約される。
ステップ７０３では、第１の回転行列と第９の回転行列に基づき、第２のカメラのワールド座標系での回転行列を表す第１０の回転行列を生成する。
例示的に、第１の回転行列と第９の回転行列に対して行列乗算処理を行い、第２のカメラのワールド座標系での回転行列を表す第１０の回転行列を得る。
ステップ７０４では、第９の回転行列に基づいて第１のカメラの三次元感知情報を生成し、第１０の回転行列に基づいて第２のカメラにより収集される画像の三次元感知情報を生成する。
１つの例示では、第９の回転行列は、第１のカメラのパラメータをキャリブレーションするために用いられ、第１０の回転行列は、第２のカメラのパラメータをキャリブレーションするために用いられる。
例示的に、第９の回転行列は、第１のカメラのワールド座標系での回転行列を表し、第１のカメラにより収集される画像における感知情報は二次元感知情報であるため、第９の回転行列に基づき、第１のカメラにより収集される画像における二次元感知情報をワールド座標系での情報に変換することができ、第１のカメラにより収集される画像の三次元感知情報を生成することができる。さらに、第１のカメラにより収集される画像の三次元感知情報を迅速且つ正確的に得る。
また、第１０の回転行列は、第２のカメラのワールド座標系での回転行列を表し、第２のカメラにより収集される画像における感知情報は二次元感知情報であるため、第１０の回転行列に基づき、第２のカメラにより収集される画像における二次元感知情報をワールド座標系での情報に変換することができ、それにより、第２のカメラにより収集される画像の三次元感知情報を生成することができる。そのため、第２のカメラにより収集される画像の三次元感知情報を迅速且つ正確的に得る。各三次元感知情報は、自動運転車両が三次元感知位置決めを行うために用いられることができる。
また、本実施例では、さらに、第９の回転行列（第９の回転行列は、第１のカメラのワールド座標系での回転行列を表す）と第１０の回転行列（第１０の回転行列は、第２のカメラのワールド座標系での回転行列を表す）が得られ、第９の回転行列を採用して第１のカメラのパラメータをキャリブレーションし、第１０の回転行列を採用して第２のカメラのパラメータをキャリブレーションすることができる。これにより、路側カメラのパラメータ（即ち、外部パラメータ）を校正する。
本実施例の以上のプロセスでは、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであり、さらに、魚眼カメラのワールド座標系での回転行列（即ち、第９の回転行列）に基づき、リアビューガン型カメラのワールド座標系での回転行列（即ち、第１０の回転行列）を得ることができる。第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであり、さらに、魚眼カメラのワールド座標系での回転行列（即ち、第９の回転行列）に基づき、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第１０の回転行列）を得ることができる。
本実施例では、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第３のマッチングポイントペアに基づき、第１の回転行列（第１の回転行列は、第１のカメラの第２のカメラ座標系での回転行列を表す）を生成し、第１の回転行列と第９の回転行列（第９の回転行列は、第１のカメラのワールド座標系での回転行列を表す）に基づき、第１０の回転行列（第１０の回転行列は、第２のカメラのワールド座標系での回転行列を表す）を生成する。これにより、第９の回転行列に基づいて第１のカメラの三次元感知情報を生成し、第１０の回転行列に基づいて第２のカメラにより収集される画像の三次元感知情報を生成することができる。第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであり、さらに、魚眼カメラのワールド座標系での回転行列（即ち、第９の回転行列）に基づき、リアビューガン型カメラのワールド座標系での回転行列（即ち、第１０の回転行列）を得ることができる。第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであり、さらに、魚眼カメラのワールド座標系での回転行列（即ち、第９の回転行列）に基づき、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第１０の回転行列）を得ることができる。さらに、各路側カメラにより収集される画像の三次元感知情報を得ることができる。高精度マップ又は人工ＲＴＫ機器によりドットする方法を採用して三次元感知情報を得る必要がなく、これにより、コストが削減され、且つ、効率が向上し、人の安全が確保される。魚眼カメラにより収集される画像の三次元感知情報、リアビューガン型カメラにより収集される画像の三次元感知情報、及びフロントビューガン型カメラにより収集される画像の三次元感知情報を得ることができる。さらに、自動運転の三次元感知位置決め、または、路側カメラの外部パラメータに対するキャリブレーションに適用されることができる。
図８は、本願の第６の実施例による概略図であり、図８に示すように、本実施例は、路側カメラの外部パラメータに基づく三次元感知情報取得装置８００を提供し、路側カメラは、第１のカメラと第２のカメラを含み、第１のカメラと第２のカメラとの間には、共通視認領域を有し、当該装置８００は、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得するための第１の取得ユニット８０１と、第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成するための第１の生成ユニット８０２と、第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得するための第２の取得ユニット８０３と、第１の回転行列と第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成するための第２の生成ユニット８０４と、第３の回転行列に基づき、第１のカメラにより収集される画像の三次元感知情報を生成するための第３の生成ユニット８０５と、を含む。
本実施例の装置は、上記方法における技術案を実行することができ、その具体的な実現プロセス及び技術的原理は同じであるため、ここで繰り返して説明しない。
図９は、本願の第７の実施例による概略図であり、図９に示すように、本実施例は、路側カメラの外部パラメータに基づく三次元感知情報取得装置９００を提供し、路側カメラは、第１のカメラと第２のカメラを含み、第１のカメラと第２のカメラとの間には、共通視認領域を有し、当該装置９００は、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得するための第１の取得ユニット９０１と、第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成するための第１の生成ユニット９０２と、第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得するための第２の取得ユニット９０３と、第１の回転行列と第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成するための第２の生成ユニット９０４と、第３の回転行列に基づき、第１のカメラにより収集される画像の三次元感知情報を生成するための第３の生成ユニット９０５と、を含む。
１つの例示では、第１の取得ユニット９０１は、第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、第２のカメラにより収集される画像に基づいて第２の歪み除去画像を生成するための第１の生成モジュール９０１１であって、第１の歪み除去画像と第２の歪み除去画像は、それぞれ共通視認領域に位置する画像領域を有する、第１の生成モジュール９０１１と、第１の歪み除去画像における、共通視認領域に位置する画像領域の第１の画像特徴を抽出し、第２の歪み除去画像における、共通視認領域に位置する画像領域の第２の画像特徴を抽出するための第１の抽出モジュール９０１２と、第１の画像特徴と第２の画像特徴とに基づき、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを決定するための第１の決定モジュール９０１３と、を含む。
１つの例示では、第１の決定モジュール９０１３は、具体的に、第１の画像特徴と第２の画像特徴に基づき、第１の歪み除去画像と第２の歪み除去画像に対して特徴マッチングを行い、第１のマッチングポイントペアを得るために用いられる。
１つの例示では、第１の生成モジュール９０１１は、第１のカメラにより収集される画像を球面に投影し、球面画像を得るために用いられ、球面画像に対して歪み除去処理を行い、第１の歪み除去画像を得るための投影サブモジュール９０１１１と、歪み除去関数を採用して第２のカメラにより収集される画像を調整し、第２の歪み除去画像を得るための調整サブモジュール９０１１２と、を含む。
１つの例示では、第１の生成ユニット９０２は、第１のマッチングポイントペアに基づき、第２のカメラの同等のカメラ座標系での回転行列を表す第４の回転行列を生成するための第２の生成モジュール９０２１と、第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列を取得するための第１の取得モジュール９０２２と、第４の回転行列と第５の回転行列に基づき、第１の回転行列を生成するための第２の生成モジュール９０２３と、を含む。
１つの例示では、第１の取得モジュール９０２２は、具体的に、所定のピッチ角とヨー角に基づき、第１のカメラにより収集される画像が位置する第１のカメラ座標系を変換し、第５の回転行列を得るために用いられる。
１つの例示では、第２の取得ユニット９０３は、マークポイントの三次元座標情報を取得し、第２のカメラにより収集される画像に基づき、第２のカメラにより収集される画像上のマークポイントの二次元座標情報を決定するための第２の決定モジュール９０３１と、マークポイントの三次元座標情報と第２のカメラにより収集される画像上のマークポイントの二次元座標情報に対してレゾリューション処理を行い、第２の回転行列を得るための第１のレゾリューションモジュール９０３２と、を含む。
１つの例示では、第３の生成ユニット９０５は、具体的に、第３の回転行列に基づき、第１のカメラにより収集される画像における二次元感知情報をワールド座標系に変換し、第１のカメラにより収集される画像の三次元感知情報を生成するために用いられる。
１つの例示では、本実施例により提供される装置９００は、さらに、第２の回転行列に基づき、第２のカメラにより収集される画像における二次元感知情報をワールド座標系に変換し、第２のカメラにより収集される画像の三次元感知情報を生成するための第４の生成ユニット９０６を含む。
１つの例示では、三次元感知情報は、自動運転車両の三次元感知位置決めのために用いられる。
１つの例示では、第２の回転行列は、第２のカメラのパラメータをキャリブレーションするために用いられ、第３の回転行列は、第１のカメラのパラメータをキャリブレーションするために用いられる。
１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであるか、または、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラである。
本実施例の装置は、上記方法における技術案を実行することができ、その具体的な実現プロセス及び技術的原理は同じであるため、ここで繰り返して説明しない。
図１０は、本願の第８の実施例による概略図であり、図１０に示すように、本実施例は、路側カメラの外部パラメータに基づく三次元感知情報取得装置１０００を提供し、路側カメラは、第１のカメラと第２のカメラを含み、第１のカメラと第２のカメラとの間には、共通視認領域を有し、当該装置１０００は、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得するための第１の取得ユニット１００１と、第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成するための第１の生成ユニット１００２と、第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得するための第２の取得ユニット１００３と、第１の回転行列と第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成するための第２の生成ユニット１００４と、第３の回転行列に基づき、第１のカメラにより収集される画像の三次元感知情報を生成するための第３の生成ユニット１００５と、を含む。
１つの例示では、路側カメラは、さらに、第３のカメラを含み、第１のカメラと第３のカメラとの間には、共通視認領域を有し、本実施例により提供される装置１０００は、さらに、第３の生成ユニットが第３の回転行列に基づき、第１のカメラにより収集される画像の三次元感知情報を生成した後に、第１のカメラにより収集される画像と第３のカメラにより収集される画像との間の第２のマッチングポイントペアを取得するための第３の取得ユニット１００６と、第２のマッチングポイントペアに基づき、第３のカメラの第１のカメラ座標系での回転行列を表す第６の回転行列を生成するための第４の生成ユニット１００７と、第３の回転行列と第６の回転行列に基づき、第３のカメラのワールド座標系での回転行列を表す第７の回転行列を生成するための第５の生成ユニット１００８と、第７の回転行列に基づいて第３のカメラにより収集される画像の三次元感知情報を生成するための第６の生成ユニット１００９と、を含む。
１つの例示では、第３の取得ユニット１００６は、第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、第３のカメラにより収集される画像に基づいて第３の歪み除去画像を生成するための第３の生成モジュールであって、第１の歪み除去画像と第３の歪み除去画像は、それぞれ共通視認領域における画像領域を有する、第３の生成モジュールと、第１の歪み除去画像における、共通視認領域に位置する画像領域の第１の画像特徴を抽出し、第３の歪み除去画像における、共通視認領域に位置する画像領域の第３の画像特徴を抽出するための第２の抽出モジュールと、第１の画像特徴と第３の画像特徴に基づき、第１のカメラにより収集される画像と第３のカメラにより収集される画像との間の第２のマッチングポイントペアを決定するための第３の決定モジュールと、を含む。
１つの例示では、第３の決定モジュールは、具体的に、第１の画像特徴と第３の画像特徴に基づき、第１の歪み除去画像と第３の歪み除去画像に対して特徴マッチングを行い、第２のマッチングポイントペアを得るために用いられる。
１つの例示では、第３の生成モジュールは、第３のカメラにより収集される画像に基づいて第３の歪み除去画像を生成するとき、具体的に、歪み除去関数を採用して第３のカメラにより収集される画像を調整し、第３の歪み除去画像を得るために用いられる。
１つの例示では、第５の生成ユニット１００８は、第２のマッチングポイントペアに基づき、第３のカメラの同等のカメラ座標系での回転行列を表す第８の回転行列を生成するための第４の生成モジュールと、第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列を取得するための第２の取得モジュールと、第５の回転行列と第８の回転行列に基づき、第６の回転行列を生成するための第５の生成モジュールと、を含む。
１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラである場合、第３のカメラがフロントビューガン型カメラであるが、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラである場合、第３のカメラがリアビューガン型カメラである。
１つの例示では、第３のカメラにより収集される画像の三次元感知情報は、自動運転車両の三次元感知位置決めのために用いられ、第７の回転行列は、第３のカメラのパラメータをキャリブレーションするために用いられる。
本実施例の装置は、上記方法における技術案を実施することができ、その具体的な実現プロセス及び技術的原理は同じであるため、ここで繰り返して説明しない。
図１１は、本願の第９の実施例による概略図であり、図１１に示すように、本実施例は、路側カメラの外部パラメータに基づく三次元感知情報取得装置１１００を提供し、路側カメラは、第１のカメラと第２のカメラを含み、第１のカメラと第２のカメラとの間には、共通視認領域を有し、当該装置１１００は、まず、本実施例により提供される装置１１００は、図８又は図９の各ユニット及びモジュールを含んでもよく、図８又は図９の各ユニット及びモジュール（図８又は図９の各ユニット及びモジュールは、図１１に示されていない）を含まなくてもよい。当該装置１１００は、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第３のマッチングポイントペアを取得するための第４の取得ユニット１１０１と、第３のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成するための第７の生成ユニット１１０２と、第１のカメラのワールド座標系での回転行列を表す第９の回転行列を取得するための第５の取得ユニット１１０３と、第１の回転行列と第９の回転行列に基づき、第２のカメラのワールド座標系での回転行列を表す第１０の回転行列を生成するための第８の生成ユニット１１０４と、第９の回転行列に基づいて第１のカメラの三次元感知情報を生成し、第１０の回転行列に基づいて第２のカメラにより収集される画像の三次元感知情報を生成するための第９の生成ユニット１１０５と、を含む。
１つの例示では、第５の取得ユニット１１０３は、マークポイントの三次元座標情報を取得し、第１のカメラにより収集される画像に基づき、第１のカメラにより収集される画像上のマークポイントの二次元座標情報を決定するための第４の決定モジュールと、マークポイントの三次元座標情報と第１のカメラにより収集される画像上のマークポイントの二次元座標情報とに対してレゾリューション処理を行い、第９の回転行列を得るための第２のレゾリューションモジュールと、を含む。
１つの例示では、第９の回転行列は、第１のカメラのパラメータをキャリブレーションするために用いられ、第１０の回転行列は、第２のカメラのパラメータをキャリブレーションするために用いられる。
本実施例の装置は、上記方法における技術案を実行することができ、その具体的な実現プロセス及び技術的原理は同じであるため、ここで繰り返して説明しない。
本願の実施例によれば、本願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。
本願の実施例によれば、本願は、さらに、コンピュータプログラムを提供し、コンピュータプログラムが読み取り可能な記憶媒体に記憶されており、電子機器の少なくとも１つのプロセッサは、読み取り可能な記憶媒体からコンピュータプログラムを読み取ることができ、少なくとも１つのプロセッサは、電子機器が上記いずれの実施例により提供される技術案を実行するように、コンピュータプログラムを実行する。
図１２は、本願の実施例を実施可能な例示的な電子機器１２００の概略ブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、セルラ電話、スマートフォン、ウェアラブルデバイス、他の類似する計算デバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本開示の実施を制限することを意図したものではない。
図１２に示すように、電子機器１２００は計算ユニット１２０１を含んでよく、読み取り専用メモリ（ＲＯＭ）１２０２に記憶されたコンピュータプログラム、または、記憶ユニット１２０８からランダムアクセスメモリ（ＲＡＭ）１２０３にロードされたコンピュータプログラムに基づき、さまざまな、適当な動作及び処理を実行することができる。ＲＡＭ １２０３には、さらに、機器１２００の操作に必要なさまざまなプログラム及びデータが記憶されることができる。計算ユニット１２０１、ＲＯＭ １２０２およびＲＡＭ １２０３は、バス１２０４を介して接続される。入力／出力（Ｉ／Ｏ）インタフェース１２０５も、バス１２０４に接続される。
機器１２００における複数のコンポーネントは、Ｉ／Ｏインタフェース１２０５に接続され、キーボードやマウスなどの入力ユニット１２０６と、さまざまなタイプのモニタやスピーカーなどの出力ユニット１２０７と、磁気ディスクや光ディスクなどの記憶ユニット１２０８と、ネットワークカードや、モデム、無線通信トランシーバーなどの通信ユニット１２０９と、を含む。通信ユニット１２０９は、機器１２００がインターネットなどのコンピュータネットワーク及び／又はさまざまな電気通信デットワークを介して他の機器と情報／データを交換することを可能にさせる。
計算ユニット１２０１は、処理能力や計算能力を有するさまざまな汎用及び／又は専用処理コンポーネントであってもよい。計算ユニット１２０１のいくつかの例は、中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、さまざまな専用な人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行するさまざまな計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、および任意の適当なプロセッサ、コントローラー、マイクロコントローラーなどを含むが、それらに限定されない。計算ユニット１２０１は、路側カメラの外部パラメータに基づく三次元感知情報取得などの上記に記載の各方法や処理を実行する。例えば、いくつかの実施例では、路側カメラの外部パラメータに基づいて三次元感知情報を取得することは、コンピュータソフトウェアプログラムとして実現されることができ、記憶ユニット１２０８などの機械読み取り可能な媒体に有形的に含まれている。いくつかの実施例では、コンピュータプログラムの一部またはすべては、ＲＯＭ １２０２及び／又は通信ユニット１２０９を介して機器１２００にロード及び／又はインストールされることができる。コンピュータプログラムは、ＲＡＭ １２０３にロードされて計算ユニット１２０１により実行されると、上記に記載の路側カメラの外部パラメータに基づく三次元感知情報取得の１つ又は複数のステップを実行することができる。選択的に、他の実施例では、計算ユニット１２０１は、他の任意の適当な手段（例えば、ファームウェアに頼る）を用いて路側カメラの外部パラメータに基づく三次元感知情報取得を実行するように構成されることができる。
本明細書において、上記に記載のシステム及び技術的さまざまな実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップのシステム（ＳＯＣ）、複雑プログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにより実施されることができる。これらのさまざまな実施形態は、１つまたは複数のコンピュータプログラムに実施され、当該１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサが含まれるプログラマブルシステムで実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、専用または汎用プログラマブルプロセッサであってもよく、記憶システムや、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータや命令を受信し、且つ、データや命令を当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。
本開示に係る方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせを採用してプログラミングすることができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又はその他のプログラマブルデータ処理装置のプロセッサ又はコントローラーに提供されることができ、これにより、プログラムコードは、プロセッサ又はコントローラーにより実行されると、フロー図及び／又はブロック図に示される機能／操作が実施される。プログラムコードは、完全に機械で実行され、部分的に機械で実行されてもよく、独立したソフトウェアパッケージとして部分的に機械で実行され、且つ、部分的にリモートマシンで実行されるか、又は完全にリモートマシン又はサーバで実行されることができる。
本開示のコンテキストでは、機械読み取り可能な媒体は、有形的な媒体であってもよく、命令実行システム、装置又は機器に使用されるプログラム、または、命令実行システム、装置又は機器と組み合わせて使用されるプログラムを含むか又は記憶することができる。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的なもの、磁気的なもの、光学的なもの、電磁気的なもの、赤外線的なもの、又は半導体システム、装置又は機器、または上記に記載の任意の適合な組み合わせを含むが、それらに限定されない。機械読み取り可能な記憶媒体のより具体的な例として、１つ又は複数の配線に基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学的記憶デバイス、磁気的記憶デバイス、又は上記に記載の任意の適合な組み合わせを含む。
ユーザとのインタラクションを提供するために、コンピュータ上で、ここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形態（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドコンポーネントを含む計算システム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含む計算システム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含む計算システム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含む計算システムで実施することができる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。
コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント－サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。
本実施例は、さらに、路側機器を提供し、当該路側機器には、上記実施例により提供される電子機器が含まれている。
路側機器として、例えば、計算機能を持つ路側感知機器、路側感知機器に接続される路側計算機器がある。
スマート交通車両道路コラボレーションのシステムアーキテクチャにおいて、路側機器は、路側感知機器及び路側計算機器を含み、路側感知機器（例えば、路側カメラ）が路側計算機器（例えば、路側計算ユニットＲＳＣＵ）に接続され、路側計算機器がサーバ機器に接続され、サーバ機器は、さまざまな方法を用いて自動運転又は補助運転車両に通信することができ、他のシステムアーキテクチャにおいて、路側感知機器自身は、計算機能を持つと、路側感知機器は、前記サーバ機器に直接に接続される。以上接続は、有線又は無線の接続であってもよく、本願において、サーバ機器として、例えば、クラウド制御プラットフォーム、車両道路コラボレーション管理プラットフォーム、セントラルサブシステム、エッジコンピューティングプラットフォーム、クラウドコンピューティングプラットフォームなどがある。
本実施例は、さらに、クラウド制御プラットフォームを提供し、当該クラウド制御プラットフォームには、上記実施例により提供される電子機器が含まれている。
上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができる。例えば、本願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定しない。
上記の発明を実施するための形態は、本願の保護範囲を制限するものではない。当業者が理解すべきものとして、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本願の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本願の保護範囲内に含まれるべきである。

Claims (15)

  1. 路側カメラの外部パラメータに基づく三次元感知情報取得方法であって、前記路側カメラは、第１のカメラと第２のカメラを含み、前記第１のカメラと前記第２のカメラの間には、共通視認領域を有し、前記路側カメラの外部パラメータに基づく三次元感知情報取得方法は、
    第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得し、前記第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成するステップと、
    第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得し、前記第１の回転行列と前記第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成するステップと、
    前記第３の回転行列に基づき、前記第１のカメラにより収集される画像の三次元感知情報を生成するステップと、を含む、路側カメラの外部パラメータに基づく三次元感知情報取得方法。
  2. 前記第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得するステップは、
    前記第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、前記第２のカメラにより収集される画像に基づいて第２の歪み除去画像を生成するステップであって、前記第１の歪み除去画像と前記第２の歪み除去画像は、それぞれ前記共通視認領域に位置する画像領域を有するステップと、
    前記第１の歪み除去画像における、前記共通視認領域に位置する画像領域の第１の画像特徴を抽出し、前記第２の歪み除去画像における、前記共通視認領域に位置する画像領域の第２の画像特徴を抽出するステップと、
    前記第１の画像特徴と前記第２の画像特徴に基づき、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを決定するステップと、を含む、請求項１に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
  3. 前記第１の画像特徴と前記第２の画像特徴に基づき、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを決定するステップは、
    前記第１の画像特徴と前記第２の画像特徴に基づき、前記第１の歪み除去画像と前記第２の歪み除去画像に対して特徴マッチングを行い、前記第１のマッチングポイントペアを得るステップを含み、
    前記第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、前記第２のカメラにより収集される画像に基づいて第２の歪み除去画像を生成するステップは、
    前記第１のカメラにより収集される画像を球面に投影して球面画像を得、前記球面画像に対して歪み除去処理を行い、前記第１の歪み除去画像を得るステップと、
    歪み除去関数を採用して前記第２のカメラにより収集される画像を調整し、前記第２の歪み除去画像を得るステップと、を含む、請求項２に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
  4. 前記第１のマッチングポイントペアに基づき、第１の回転行列を生成するステップは、
    前記第１のマッチングポイントペアに基づき、第２のカメラの同等のカメラ座標系での回転行列を表す第４の回転行列を生成するステップと、
    第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列を取得し、前記第４の回転行列と前記第５の回転行列に基づき、前記第１の回転行列を生成するステップと、を含み、
    前記第５の回転行列を取得するステップは、
    所定のピッチ角とヨー角に基づき、前記第１のカメラにより収集される画像が位置する第１のカメラ座標系を変換し、前記第５の回転行列を得るステップを含む、請求項１－３のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
  5. 前記第２の回転行列を取得するステップは、
    マークポイントの三次元座標情報を取得し、前記第２のカメラにより収集される画像に基づき、前記第２のカメラにより収集される画像上の前記マークポイントの二次元座標情報を決定するステップと、
    前記マークポイントの三次元座標情報と前記第２のカメラにより収集される画像上の前記マークポイントの二次元座標情報に対してレゾリューション処理を行い、前記第２の回転行列を得るステップと、を含む、請求項１－４のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
  6. 前記第３の回転行列に基づき、前記第１のカメラにより収集される画像の三次元感知情報を生成するステップは、
    前記第３の回転行列に基づき、前記第１のカメラにより収集される画像における二次元感知情報をワールド座標系に変換して、第１のカメラにより収集される画像の三次元感知情報を生成するステップを含む、請求項１－５のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
  7. 前記路側カメラの外部パラメータに基づく三次元感知情報取得方法は、さらに、
    前記第２の回転行列に基づき、前記第２のカメラにより収集される画像における二次元感知情報をワールド座標系に変換し、第２のカメラにより収集される画像の三次元感知情報を生成するステップを含む、請求項１－６のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
  8. 前記三次元感知情報は、自動運転車両の三次元感知位置決めのために用いられ、
    前記第２の回転行列は、前記第２のカメラのパラメータをキャリブレーションするために用いられ、前記第３の回転行列は、前記第１のカメラのパラメータをキャリブレーションするために用いられる、請求項１－７のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
  9. 前記第１のカメラが魚眼カメラであり、前記第２のカメラがリアビューガン型カメラであるか、
    または、前記第１のカメラが魚眼カメラであり、前記第２のカメラがフロントビューガン型カメラである、請求項１－８のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
  10. 前記路側カメラは、さらに、第３のカメラを含み、前記第１のカメラと前記第３のカメラとの間には、共通視認領域を有し、前記第３の回転行列に基づき、前記第１のカメラにより収集される画像の三次元感知情報を生成した後に、さらに、
    第１のカメラにより収集される画像と第３のカメラにより収集される画像との間の第２のマッチングポイントペアを取得し、前記第２のマッチングポイントペアに基づき、第３のカメラの第１のカメラ座標系での回転行列を表す第６の回転行列を生成するステップと、
    前記第３の回転行列と前記第６の回転行列に基づき、第３のカメラのワールド座標系での回転行列を表す第７の回転行列を生成するステップと、
    前記第７の回転行列に基づいて前記第３のカメラにより収集される画像の三次元感知情報を生成するステップと、を含む、請求項１－９のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
  11. 前記第１のカメラにより収集される画像と第３のカメラにより収集される画像との間の第２のマッチングポイントペアを取得するステップは、
    前記第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、前記第３のカメラにより収集される画像に基づいて第３の歪み除去画像を生成するステップであって、前記第１の歪み除去画像と前記第３の歪み除去画像は、それぞれ前記共通視認領域に位置する画像領域を有するステップと、
    前記第１の歪み除去画像における、前記共通視認領域に位置する画像領域の第１の画像特徴を抽出し、前記第３の歪み除去画像における、前記共通視認領域に位置する画像領域の第３の画像特徴を抽出するステップと、
    前記第１の画像特徴と前記第３の画像特徴に基づき、第１のカメラにより収集される画像と第３のカメラにより収集される画像との間の第２のマッチングポイントペアを決定するステップと、を含み、
    前記第１の画像特徴と前記第３の画像特徴に基づき、第１のカメラにより収集される画像と第３のカメラにより収集される画像との間の第２のマッチングポイントペアを決定するステップは、
    前記第１の画像特徴と前記第３の画像特徴に基づき、前記第１の歪み除去画像と前記第３の歪み除去画像に対して特徴マッチングを行って、前記第２のマッチングポイントペアを得るステップを含み、
    前記第３のカメラにより収集される画像に基づいて第３の歪み除去画像を生成するステップは、
    歪み除去関数を採用して前記第３のカメラにより収集される画像を調整し、前記第３の歪み除去画像を得るステップを含む、請求項１０に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
  12. 前記第２のマッチングポイントペアに基づき、第６の回転行列を生成するステップは、
    前記第２のマッチングポイントペアに基づき、第８の回転行列を生成し、前記第８の回転行列は、第３のカメラの同等のカメラ座標系での回転行列を表すステップと、
    第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列を取得し、前記第５の回転行列と前記第８の回転行列に基づき、前記第６の回転行列を生成するステップと、を含み、
    第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラである場合、第３のカメラがフロントビューガン型カメラであり、
    第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラである場合、前記第３のカメラがリアビューガン型カメラであり、
    前記第３のカメラにより収集される画像の三次元感知情報は、自動運転車両の三次元感知位置決めのために用いられ、
    前記第７の回転行列は、前記第３のカメラのパラメータをキャリブレーションするために用いられる、請求項１０に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
  13. 前記路側カメラの外部パラメータに基づく三次元感知情報取得方法は、さらに、
    第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第３のマッチングポイントペアを取得し、前記第３のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成するステップと、
    第１のカメラのワールド座標系での回転行列を表す第９の回転行列を取得し、前記第１の回転行列と前記第９の回転行列に基づき、第２のカメラのワールド座標系での回転行列を表す第１０の回転行列を生成するステップと、
    前記第９の回転行列に基づいて第１のカメラの三次元感知情報を生成し、前記第１０の回転行列に基づいて第２のカメラにより収集される画像の三次元感知情報を生成するステップと、を含み、
    前記第９の回転行列を取得するステップは、
    マークポイントの三次元座標情報を取得し、前記第１のカメラにより収集される画像に基づき、前記第１のカメラにより収集される画像上の前記マークポイントの二次元座標情報を決定するステップと、
    前記マークポイントの三次元座標情報と前記第１のカメラにより収集される画像上の前記マークポイントの二次元座標情報に対してレゾリューション処理を行い、前記第９の回転行列を得るステップと、を含み、
    前記第９の回転行列は、前記第１のカメラのパラメータをキャリブレーションするために用いられ、前記第１０の回転行列は、前記第２のカメラのパラメータをキャリブレーションするために用いられる、請求項１－９のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
  14. 路側カメラの外部パラメータに基づく三次元感知情報取得装置であって、前記路側カメラは、第１のカメラと第２のカメラを含み、前記第１のカメラと前記第２のカメラの間には、共通視認領域を有し、前記路側カメラの外部パラメータに基づく三次元感知情報取得装置は、請求項１－１３のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法を実行するための用いられる、路側カメラの外部パラメータに基づく三次元感知情報取得装置。
  15. コンピュータ命令が記憶された非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、コンピュータに請求項１－１３のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法を実行させるために用いられる、非一時的なコンピュータ読み取り可能な記憶媒体。
JP2021178763A 2020-12-30 2021-11-01 路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器 Active JP7321231B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011630696.8A CN112668505A (zh) 2020-12-30 2020-12-30 基于路侧相机的外参的三维感知信息获取方法和路侧设备
CN202011630696.8 2020-12-30

Publications (2)

Publication Number Publication Date
JP2022014921A true JP2022014921A (ja) 2022-01-20
JP7321231B2 JP7321231B2 (ja) 2023-08-04

Family

ID=75412940

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021178763A Active JP7321231B2 (ja) 2020-12-30 2021-11-01 路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器

Country Status (5)

Country Link
US (1) US11893884B2 (ja)
EP (1) EP3940636A3 (ja)
JP (1) JP7321231B2 (ja)
KR (1) KR102571066B1 (ja)
CN (1) CN112668505A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742897B (zh) * 2022-03-31 2023-02-28 阿波罗智联(北京)科技有限公司 路侧感知系统的相机安装信息的处理方法、装置及设备
CN115564877A (zh) * 2022-10-13 2023-01-03 美的集团(上海)有限公司 虚拟人的驱动方法、装置、存储介质和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003331383A (ja) * 2002-05-14 2003-11-21 Seiwa Electric Mfg Co Ltd 画像処理方法及び物体表示装置
JP2008299458A (ja) * 2007-05-30 2008-12-11 Hitachi Ltd 車両監視装置および車両監視方法
JP2012526995A (ja) * 2009-05-15 2012-11-01 パーデュー・リサーチ・ファウンデーション 大規模カメラネットワークの較正
JP2013092871A (ja) * 2011-10-25 2013-05-16 Secom Co Ltd カメラ姿勢算出装置
JP2013168757A (ja) * 2012-02-15 2013-08-29 Hitachi Ltd 映像監視装置、監視システム、監視システム構築方法
JP2015232442A (ja) * 2012-10-04 2015-12-24 アルプス電気株式会社 画像処理装置及び車両前方監視装置
JP2018180860A (ja) * 2017-04-11 2018-11-15 株式会社デンソー 交通情報システム
WO2019049331A1 (ja) * 2017-09-08 2019-03-14 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3608305B2 (ja) 1996-08-14 2005-01-12 株式会社明電舎 カメラ姿勢の検出装置
US7853038B2 (en) * 2007-01-04 2010-12-14 Industrial Technology Research Institute Systems and methods for object dimension estimation
US20090110267A1 (en) * 2007-09-21 2009-04-30 The Regents Of The University Of California Automated texture mapping system for 3D models
CN101894366B (zh) * 2009-05-21 2014-01-29 北京中星微电子有限公司 一种获取标定参数的方法、装置及一种视频监控系统
CN104361603B (zh) * 2014-11-28 2017-04-26 苏州科达科技股份有限公司 枪机图像目标标定方法及其系统
EP3057062A1 (en) 2015-02-16 2016-08-17 Application Solutions (Electronics and Vision) Limited Method and device for stabilization of a surround view image
WO2017217411A1 (ja) 2016-06-17 2017-12-21 日本電気株式会社 画像処理装置、画像処理方法、及び記憶媒体
CN107886547B (zh) 2017-11-10 2020-04-28 长沙全度影像科技有限公司 一种鱼眼相机标定方法及系统
CN108447095A (zh) 2018-01-31 2018-08-24 潍坊歌尔电子有限公司 一种鱼眼相机标定方法和装置
CN108711166B (zh) * 2018-04-12 2022-05-03 浙江工业大学 一种基于四旋翼无人机的单目相机尺度估计方法
CN108989796A (zh) * 2018-08-09 2018-12-11 浙江大华技术股份有限公司 一种图像采集设备选择方法及装置
CN109509226B (zh) * 2018-11-27 2023-03-28 广东工业大学 三维点云数据配准方法、装置、设备及可读存储介质
TWI745653B (zh) * 2019-02-18 2021-11-11 宏碁股份有限公司 顧客行為分析方法與顧客行為分析系統
CN110988947B (zh) 2019-02-20 2020-09-22 以见科技(上海)有限公司 一种基于实时动态载波相位差分技术的增强现实定位方法
CN109859314B (zh) * 2019-03-12 2023-08-29 上海曼恒数字技术股份有限公司 三维重建方法、装置、电子设备和存储介质
CN110060304B (zh) * 2019-03-31 2022-09-30 南京航空航天大学 一种生物体三维信息采集方法
CN111783502A (zh) * 2019-04-03 2020-10-16 长沙智能驾驶研究院有限公司 基于车路协同的视觉信息融合处理方法、装置及存储介质
KR102235951B1 (ko) 2019-06-20 2021-04-05 주식회사 아이닉스 차량용 영상 생성 장치 및 방법
CN110473262A (zh) * 2019-08-22 2019-11-19 北京双髻鲨科技有限公司 多目相机的外参标定方法、装置、存储介质及电子设备
CN110599546A (zh) * 2019-08-28 2019-12-20 贝壳技术有限公司 一种获取三维空间数据的方法、系统、装置和存储介质
CN111223038B (zh) * 2019-12-02 2023-06-09 上海赫千电子科技有限公司 一种车载环视图像的自动拼接方法及显示装置
CN111462029B (zh) * 2020-03-27 2023-03-03 阿波罗智能技术(北京)有限公司 视觉点云与高精地图融合方法、装置和电子设备
CN111612760B (zh) * 2020-05-20 2023-11-17 阿波罗智联(北京)科技有限公司 用于检测障碍物的方法和装置
CN111932627B (zh) * 2020-09-15 2021-01-05 蘑菇车联信息科技有限公司 一种标识物绘制方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003331383A (ja) * 2002-05-14 2003-11-21 Seiwa Electric Mfg Co Ltd 画像処理方法及び物体表示装置
JP2008299458A (ja) * 2007-05-30 2008-12-11 Hitachi Ltd 車両監視装置および車両監視方法
JP2012526995A (ja) * 2009-05-15 2012-11-01 パーデュー・リサーチ・ファウンデーション 大規模カメラネットワークの較正
JP2013092871A (ja) * 2011-10-25 2013-05-16 Secom Co Ltd カメラ姿勢算出装置
JP2013168757A (ja) * 2012-02-15 2013-08-29 Hitachi Ltd 映像監視装置、監視システム、監視システム構築方法
JP2015232442A (ja) * 2012-10-04 2015-12-24 アルプス電気株式会社 画像処理装置及び車両前方監視装置
JP2018180860A (ja) * 2017-04-11 2018-11-15 株式会社デンソー 交通情報システム
WO2019049331A1 (ja) * 2017-09-08 2019-03-14 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法

Also Published As

Publication number Publication date
US20220028260A1 (en) 2022-01-27
EP3940636A3 (en) 2022-04-27
JP7321231B2 (ja) 2023-08-04
US11893884B2 (en) 2024-02-06
KR20210132624A (ko) 2021-11-04
KR102571066B1 (ko) 2023-08-25
CN112668505A (zh) 2021-04-16
EP3940636A2 (en) 2022-01-19

Similar Documents

Publication Publication Date Title
KR102581429B1 (ko) 장애물을 탐지하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN107223269B (zh) 三维场景定位方法和装置
US11715238B2 (en) Image projection method, apparatus, device and storage medium
KR102051889B1 (ko) 스마트 글래스에서 ２ｄ 데이터를 기반으로 ３ｄ 증강현실을 구현하는 방법 및 시스템
JP2022014921A (ja) 路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器
CN110675635B (zh) 相机外参的获取方法、装置、电子设备及存储介质
CN113989450A (zh) 图像处理方法、装置、电子设备和介质
JP7351892B2 (ja) 障害物検出方法、電子機器、路側機器、及びクラウド制御プラットフォーム
CN111721281B (zh) 位置识别方法、装置和电子设备
CN112967345A (zh) 鱼眼相机的外参标定方法、装置以及系统
CN112184914A (zh) 目标对象三维位置的确定方法、装置和路侧设备
CN112150595A (zh) 一种点云数据处理方法、装置、设备及介质
JP7425169B2 (ja) 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム
US12125221B2 (en) Method and system for detecting a three-dimensional object in a two-dimensional image
CN115661493A (zh) 一种对象位姿的确定方法及装置、设备及存储介质
CN116129422A (zh) 单目3d目标检测方法、装置、电子设备和存储介质
CN115578432A (zh) 图像处理方法、装置、电子设备及存储介质
CN116129087A (zh) 定位方法、视觉地图的生成方法及其装置
CN112417924A (zh) 一种标志杆的空间坐标获取方法及装置
CN117095131B (zh) 物体运动关键点的三维重建方法、设备及存储介质
CN117078752B (zh) 车辆位姿估计方法、装置、车辆及存储介质
CN113312979B (zh) 图像处理方法、装置、电子设备、路侧设备及云控平台
US20240331197A1 (en) Method and apparatus for calibrating extrinsic parameters of surround-view cameras on a vehicle, vehicle and storage media
CN113129437B (zh) 一种标志物的空间坐标确定方法及装置
CN116596994A (zh) 一种基于三目视觉的目标位姿确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230725

R150 Certificate of patent or registration of utility model

Ref document number: 7321231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150