JP2018191275A - カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置 - Google Patents
カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置 Download PDFInfo
- Publication number
- JP2018191275A JP2018191275A JP2018071946A JP2018071946A JP2018191275A JP 2018191275 A JP2018191275 A JP 2018191275A JP 2018071946 A JP2018071946 A JP 2018071946A JP 2018071946 A JP2018071946 A JP 2018071946A JP 2018191275 A JP2018191275 A JP 2018191275A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- parameter set
- camera parameter
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 224
- 238000011156 evaluation Methods 0.000 claims abstract description 146
- 238000000034 method Methods 0.000 claims description 138
- 230000008569 process Effects 0.000 claims description 95
- 238000012545 processing Methods 0.000 claims description 77
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000003384 imaging method Methods 0.000 description 51
- 150000001875 compounds Chemical class 0.000 description 48
- 230000006870 function Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 27
- 238000005259 measurement Methods 0.000 description 27
- 230000014509 gene expression Effects 0.000 description 24
- 230000008859 change Effects 0.000 description 20
- 238000003860 storage Methods 0.000 description 17
- 238000012986 modification Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 9
- 239000002131 composite material Substances 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 239000000470 constituent Substances 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000032683 aging Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012804 iterative process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- UNPLRYRWJLTVAE-UHFFFAOYSA-N Cloperastine hydrochloride Chemical compound Cl.C1=CC(Cl)=CC=C1C(C=1C=CC=CC=1)OCCN1CCCCC1 UNPLRYRWJLTVAE-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Cameras In General (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明者らは、「背景技術」の欄において記載したカメラ校正に関し、以下の問題が生じることを見出した。具体的には、自動車の安全運転支援システム、移動ロボットの遠隔操作システム、又は不審者等を検出する監視カメラシステムなどにおいて、ユーザ及びシステムが判断及び制御を行うためには、システムの周辺の画像及び画像に対応する3次元座標の情報が必要となる。特に、人及び車等のように監視対象が移動する場合、並びに、システムを搭載する自動車、ロボット等と共にシステム自身が移動する場合、より広い視野角の画像及び画像に対応する3次元座標の取得が重要である。
例えば、複眼カメラで撮影された画像から、ステレオ視により被写体の3次元座標を取得するためには、各カメラのカメラパラメタセットが必要である。カメラパラメタセットとは、カメラのモデル及び当該モデルに応じた複数のパラメタである。カメラのモデル及び当該モデルに応じた複数のパラメタは、撮影空間内のある点の3次元座標と撮影によって得られた画像上での当該点の2次元座標(画素座標とも呼ばれる)との関係を表す。このカメラパラメタセットを算出することをカメラ校正と呼ぶ。
[1−1.複眼カメラシステムの構成]
[1−1−1.複眼カメラシステムの全体構成]
本開示の実施の形態1に係るカメラパラメタセット算出装置111を備える複眼カメラシステム10を説明する。これに限定するものではないが、本実施の形態では、複眼カメラシステム10は、カメラパラメタセット算出装置111を用いた車載用の複眼カメラシステムであるとして、説明する。図2を参照すると、実施の形態1に係るカメラパラメタセット算出装置111を備える複眼カメラシステム10の機能的な構成を示すブロック図が示されている。図2に示されるように、複眼カメラシステム10は、撮像部100と、画像処理部110と、ディスプレイ120とを備える。
図3Aを参照すると、複眼カメラシステム10の撮像部100の構成の一例が模式的に示されている。図3Aでは、2つのカメラ101を一体として固定した構成の撮像部100の例が示されている。図3Aにおいて、撮像部100は、(a)の正面図、(b)の側面図、及び、(c)の断面図で示されている。上記断面図は、撮像部100の2つのカメラ101の2つのレンズの中心を通る断面で、撮像部100を切断した図である。撮像部100を構成する2つのカメラ101それぞれのレンズは魚眼レンズであるものとする。
図2を参照して、画像処理部110の構成を説明する。上述したように、画像処理部110は、カメラパラメタセット算出装置111、位置算出部112、画像生成部113及びカメラパラメタ記憶部114を備える。
複眼カメラシステム10の動作を説明する。具体的には、複眼カメラシステム10における、画像生成時の動作と、自己校正時の動作とを、順に説明する。
複眼カメラシステム10における画像生成時の動作を、図5を用いて説明する。なお、図5は、複眼カメラシステム10の画像処理部110における、画像生成時の動作の一例を表すフローチャートである。図5に示されるように、画像生成時の動作は、カメラパラメタセット読み出しのステップS401の処理と、位置算出のステップS402の処理と、画像生成のステップS403の処理とを含む。図5に示される各動作は、図4のコンピュータ300で実行されてもよい。
上述した複眼カメラシステム10は、予め記録しておいたカメラパラメタセットを用いて被写体の3次元座標の算出をしている。一方、このカメラパラメタセットは、経年変化、外力又は温度変化等の影響を受けた場合に、変形等を生じて変わる場合がある。このような場合、カメラの校正が必要になる。以下、複眼カメラシステム10における自己校正時の動作について、図10及び図11を用いて説明する。なお、図10は、図2の複眼カメラシステム10のカメラパラメタセット算出装置111の詳細な構成を示した機能的な構成図である。図11は、実施の形態1に係る複眼カメラシステム10の画像処理部110における自己校正処理S111の一例を表すフローチャートである。自己校正処理S111は、自己校正動作の際の画像処理部110の処理である。
以下、上述したカメラパラメタセット算出装置111の自己校正処理S111が、カメラ101a及び101bのカメラパラメタを正確に算出することが可能であることを、シミュレーションによる実験結果をもとに検証し説明する。
(i)カメラパラメタが正解値である場合に、評価値Jも最小であること
(ii)カメラパラメタの正解値の近傍で、評価関数が下に凸の線形を形成すること
実験条件1では、カメラのカメラパラメタの1つを変更しつつ評価値を算出し、評価値の算出結果と、予め既知であるカメラパラメタの正解値とを比較する実験を行った。各カメラ101a及び101bのカメラパラメタセットのうち、内部パラメタセットは、上記の式4の等距離射影モデルに従って、カメラの光軸中心の画素座標(cu,cv)、カメラの焦点距離f、カメラの撮像素子1画素分のx方向及びy方向それぞれの長さdpx及びdpyの計5個のパラメタを含む。外部パラメタセットMは、上記の式1及び式2と同様の下記の式16のように示される。外部パラメタセットMは、カメラ座標系の世界座標系に対する具体的な変位量として、X、Y及びZの各軸周りの回転量RX、RY及びRZと、X、Y及びZの各軸方向の並進量TX、TY及びTZの計6個のパラメタを含む。2台のカメラ101a及び101bのカメラパラメタセットには、合計22個のパラメタが含まれる。なお、X軸、Y軸及びZ軸は、世界座標系の基準軸である。
上記の実験条件1による実験結果1を説明する。具体的には、9個のカメラパラメタについて、正解値近傍での評価値が、図13A〜図15Bに示すように得られた。各図中の横軸が各カメラパラメタの値を示し、縦軸が評価値Jを示す。変化させるカメラパラメタはそれぞれ、図13Aではcu、図13Bではcv、図13Cではf、図13Dではdpx、図14AではRX、図14BではRY、図14CではRZ、図15AではTY、図15BではTZである。
実験条件2では、本開示のカメラパラメタセット算出装置111を用いて自己校正処理S111を実施することにより、誤差を小さくするようにカメラパラメタを算出し、算出結果を検証する実験を行った。
上記の実験条件2による実験結果2を説明する。具体的には、実験結果2の例が、図16A及び図16Bに示すように得られた。図16Aでは、横軸が試行回数を示し、縦軸が式14の評価値Jを示す。つまり、図16Aは、横軸の回数での試行を実施して得られたカメラパラメタを用いて算出した評価値が、縦軸の値で示されている。図16Bでは、横軸が試行回数を示し、縦軸が再投影誤差のRMS値を示す。再投影誤差とは、算出したカメラパラメタが、式1と式3とを満たす度合いを表す。具体的には、カメラ101bのカメラ画像Ibに映った被写体上の3次元座標とその画素座標との組の正解値が既知である場合に、算出したカメラ101bのカメラパラメタを用いて、正解の3次元座標をカメラ画像Ib上に投影した画素座標を算出し、算出した画素座標と正解の画素座標との差を、再投影誤差と呼ぶ。すなわち、再投影誤差が小さいほど、式1及び式3を満たすような、正解との誤差が小さいカメラパラメタであることを表す。図16A及び図16Bのいずれにおいても、試行回数が増えるほど評価値が小さくなる。よって、2つのカメラ画像の投影点における画素値の差が小さくなる。同時に、試行回数が増えるほど再投影誤差も小さくなっている。
実施の形態2に係る複眼カメラシステム20は、そのカメラパラメタセット算出装置211が、実施の形態1における対応点算出部902の代わりに3次元点群算出部906を備える点で、実施の形態1と異なる。以下、実施の形態2に係る複眼カメラシステム20について、実施の形態1と異なる点を中心に説明する。
実施の形態1及び2に係るカメラパラメタセット算出装置は、ユーザによる入力を、自己校正処理S111及びS211の開始のトリガとしていたが、これに限定されない。カメラパラメタセット算出装置は、自己校正処理S111及びS211の開始を、他のトリガによって自動的に開始してもよい。例えば、カメラパラメタセット算出装置は、温度センサ、衝撃センサ、タイマ等のセンサからの入力をトリガとして、自動的に自己校正を開始してもよい。
実施の形態1及び2に係るカメラパラメタセット算出装置は、自己校正処理において、カメラ画像Ia及びIbに基づき3次元座標を算出した測距点の全てを用いて評価値Jを算出した。しかしながら、評価値Jの算出に測距点を全て用いる必要はない。
実施の形態及び変形例に係る自己校正処理において、カメラパラメタセット算出装置の自己校正処理で用いる評価値Jに、上記の式14に示すように、複数の測距点それぞれに対応する画素値の差の絶対値の和に基づく評価関数が適用された。しかしながら、評価関数は、上記に限定されるものではなく、測距点に対応する2つのカメラ画像の画素値の差に基づく関数であれば、他の関数であってもよい。例えば、評価関数は、複数の測距点それぞれに対応する2つのカメラ画像の2つの画素値の差の2乗の総和を用いる評価関数でもよい。具体的には、測距点をカメラ画像Iaに投影した投影点での画素値と同一の測距点をカメラ画像Ibに投影した投影点での画素値との差の2乗を各測距点について求めて、求めた値を加算する評価関数の例を、下記の式17に示す。
以上、本開示の1つ以上の態様に係るカメラパラメタセット算出装置等について、実施の形態等に基づいて説明したが、本開示は、実施の形態等に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態等に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の1つ以上の態様の範囲内に含まれてもよい。
100 撮像部
101,101a,101b カメラ
110,210,310 画像処理部
111,211,311 カメラパラメタセット算出装置
112 位置算出部
113 画像生成部
114 カメラパラメタ記憶部
120 ディスプレイ
300 コンピュータ
301 CPU
302 ROM
303 RAM
304 HDD
305 ビデオ入力I/F
306 ビデオカード
901 取得部
902 対応点算出部
903 評価値算出部
904 カメラパラメタ決定部
905 カメラパラメタ出力部
906 3次元点群算出部
907 センサ情報取得部
Claims (14)
- (a1)第1カメラで撮影された第1画像と、第2カメラで撮影された第2画像とを取得し、
(a2)前記第1カメラの1つ以上のカメラパラメタを含む第1カメラパラメタセットと、前記第2カメラの1つ以上のカメラパラメタを含む第2カメラパラメタセットとを取得し、
(a3)前記第1画像から、仮定の3次元位置情報が設定された所定部分を抽出し、
(a4)前記3次元位置情報、前記第1画像及び前記第1カメラパラメタセットに基づいて、前記所定部分の3次元座標を算出し、
(a5)前記所定部分の3次元座標及び前記第1カメラパラメタセットに基づいて前記第1画像における前記所定部分の第1画素座標を決定し、前記3次元座標及び前記第2カメラパラメタセットに基づいて前記第2画像における前記所定部分の第2画素座標を決定し、
(a6)前記第1画素座標での前記第1画像の画素値と前記第2画素座標での前記第2画像の画素値とに基づいて評価値を算出し、
(a7)前記評価値に基づいて、前記第1カメラパラメタセット及び前記第2カメラパラメタセットを更新し、
(a8)更新された前記第1カメラパラメタセット及び前記第2カメラパラメタセットを出力し、
処理(a1)〜処理(a8)の少なくとも1つがプロセッサによって実行される
カメラパラメタセット算出方法。 - (b1)前記第1画像から、前記所定部分以外の部分である所定外部分を抽出し、
(b2)前記第1画像、前記第2画像、前記第1カメラパラメタセット及び前記第2カメラパラメタセットに基づいて、前記所定外部分に含まれる被写体上の3次元座標を算出し、
(b3)前記第1カメラパラメタセットに基づいて前記所定外部分における前記3次元座標を前記第1画像に投影した点の第1対象画素座標を決定し、前記第2カメラパラメタセットに基づいて前記所定外部分における前記3次元座標を第2画像に投影した点の第2対象画素座標を決定し、
処理(a6)では、前記第1画素座標での前記第1画像の画素値及び前記第2画素座標での前記第2画像の画素値の関係と、前記第1対象画素座標での前記第1画像の画素値及び前記第2対象画素座標での前記第2画像の画素値の関係とに基づいて評価値を算出し、
処理(a1)〜処理(a8)及び処理(b1)〜処理(b3)の少なくとも1つがプロセッサによって実行される
請求項1に記載のカメラパラメタセット算出方法。 - 処理(b2)では、前記所定外部分と前記第2画像との間の対応点の組を推定する処理を含み、前記対応点の組に前記所定外部分における前記3次元座標が対応する
請求項2に記載のカメラパラメタセット算出方法。 - 処理(a6)では、前記評価値の算出に、画素値の差異を用いる
請求項1〜3のいずれか一項に記載のカメラパラメタセット算出方法。 - 処理(a3)では、前記第1画像から、前記仮定の3次元位置情報と異なる他の仮定の3次元位置情報が設定された、前記所定部分と異なる他の所定部分を抽出し、
処理(a4)では、前記他の3次元位置情報、前記第1画像及び前記第1カメラパラメタセットに基づいて、前記他の所定部分の他の3次元座標を算出し、
処理(a5)では、前記他の3次元座標及び前記第1カメラパラメタセットに基づいて前記第1画像における前記他の所定部分の他の第1画素座標を決定し、前記他の3次元座標及び前記第2カメラパラメタセットに基づいて前記第2画像における前記他の所定部分の他の第2画素座標を決定し、
処理(a6)では、前記第1画素座標での前記第1画像の画素値と前記第2画素座標での前記第2画像の画素値との第1の差と、前記他の第1画素座標での前記第1画像の画素値と前記他の第2画素座標での前記第2画像の画素値との第2の差との和に基づいて前記評価値を算出する
請求項4に記載のカメラパラメタセット算出方法。 - 処理(a6)では、前記第1の差は絶対値の差であり、前記第2の差は絶対値の差である
請求項5に記載のカメラパラメタセット算出方法。 - 前記所定部分は、空の像を示し、
前記3次元位置情報は、前記空と前記第1カメラとの仮定の3次元距離の情報を含み、
前記空と前記第1カメラとの仮定の3次元距離は、前記第1カメラと前記第2カメラとの3次元距離と比較して大幅に大きい値に設定されている
請求項1〜6のいずれか一項に記載のカメラパラメタセット算出方法。 - 前記所定部分は、被写体が3次元空間内で形成する平面の像を示し、
前記3次元位置情報は、前記平面の仮定の3次元位置の情報を含む
請求項1〜7のいずれか一項に記載のカメラパラメタセット算出方法。 - 前記平面は、路面である
請求項8に記載のカメラパラメタセット算出方法。 - 前記平面は、構造物の天井面である
請求項8または9に記載のカメラパラメタセット算出方法。 - 前記平面は、構造物の壁面である
請求項8〜10のいずれか一項に記載のカメラパラメタセット算出方法。 - 測距器から現在の位置情報を取得し、
前記現在の位置情報は、前記第1カメラの周辺の前記所定部分の位置情報を含む
請求項1〜11のいずれか一項に記載のカメラパラメタセット算出方法。 - コンピュータに実行させるカメラパラメタセット算出プログラムであって、
(a1)第1カメラで撮影された第1画像と、第2カメラで撮影された第2画像とを取得し、
(a2)前記第1カメラの1つ以上のカメラパラメタを含む第1カメラパラメタセットと、前記第2カメラの1つ以上のカメラパラメタを含む第2カメラパラメタセットとを取得し、
(a3)前記第1画像から、仮定の3次元位置情報が設定された所定部分を抽出し、
(a4)前記3次元位置情報、前記第1画像及び前記第1カメラパラメタセットに基づいて、前記所定部分の3次元座標を算出し、
(a5)前記所定部分の3次元座標及び前記第1カメラパラメタセットに基づいて前記第1画像における前記所定部分の第1画素座標を決定し、前記3次元座標及び前記第2カメラパラメタセットに基づいて前記第2画像における前記所定部分の第2画素座標を決定し、
(a6)前記第1画素座標での前記第1画像の画素値と前記第2画素座標での前記第2画像の画素値とに基づいて評価値を算出し、
(a7)前記評価値に基づいて、前記第1カメラパラメタセット及び前記第2カメラパラメタセットを更新し、
(a8)更新された前記第1カメラパラメタセット及び前記第2カメラパラメタセットを出力することを、
前記コンピュータに実行させるカメラパラメタセット算出プログラム。 - 少なくとも2つのカメラのカメラパラメタを算出する処理回路を備え、
前記処理回路は、
(a1)前記少なくとも2つのカメラの第1カメラで撮影された第1画像と、前記少なくとも2つのカメラの第2カメラで撮影された第2画像とを取得し、
(a2)前記第1カメラの1つ以上のカメラパラメタを含む第1カメラパラメタセットと、前記第2カメラの1つ以上のカメラパラメタを含む第2カメラパラメタセットとを取得し、
(a3)前記第1画像から、仮定の3次元位置情報が設定された所定部分を抽出し、
(a4)前記3次元位置情報、前記第1画像及び前記第1カメラパラメタセットに基づいて、前記所定部分の3次元座標を算出し、
(a5)前記所定部分の3次元座標及び前記第1カメラパラメタセットに基づいて前記第1画像における前記所定部分の第1画素座標を決定し、前記3次元座標及び前記第2カメラパラメタセットに基づいて前記第2画像における前記所定部分の第2画素座標を決定し、
(a6)前記第1画素座標での前記第1画像の画素値と前記第2画素座標での前記第2画像の画素値とに基づいて評価値を算出し、
(a7)前記評価値に基づいて、前記第1カメラパラメタセット及び前記第2カメラパラメタセットを更新し、
(a8)更新された前記第1カメラパラメタセット及び前記第2カメラパラメタセットを出力する
カメラパラメタセット算出装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017090854 | 2017-04-28 | ||
JP2017090854 | 2017-04-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018191275A true JP2018191275A (ja) | 2018-11-29 |
JP7016058B2 JP7016058B2 (ja) | 2022-02-04 |
Family
ID=63917627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018071946A Active JP7016058B2 (ja) | 2017-04-28 | 2018-04-03 | カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10757395B2 (ja) |
JP (1) | JP7016058B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020150077A1 (en) * | 2019-01-18 | 2020-07-23 | Nec Laboratories America, Inc. | Camera self-calibration network |
CN115575407A (zh) * | 2022-12-07 | 2023-01-06 | 浙江众合科技股份有限公司 | 一种应用于轨道与隧道的检测方法 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6900609B2 (ja) * | 2016-12-06 | 2021-07-07 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 広角画像を修正するシステム及び方法 |
JP7054803B2 (ja) * | 2017-07-21 | 2022-04-15 | パナソニックIpマネジメント株式会社 | カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム |
JP6962372B2 (ja) * | 2017-08-25 | 2021-11-05 | 株式会社ソシオネクスト | 補正装置、補正プログラム及び記録媒体 |
CA3026667C (en) * | 2017-08-25 | 2020-09-15 | Beijing Didi Infinity Technology And Development Co., Ltd. | Methods and systems for detecting environmental information of a vehicle |
US10906184B2 (en) | 2019-03-29 | 2021-02-02 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
US10399227B1 (en) * | 2019-03-29 | 2019-09-03 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
CN111833404B (zh) * | 2019-04-23 | 2023-10-31 | 富联精密电子(天津)有限公司 | 摄像机校正系统及摄像机校正方法 |
GB2587216B (en) | 2019-09-18 | 2021-11-17 | Milestone Systems As | Method, device, and computer program for setting parameters values of a video source device |
CN114581532A (zh) | 2019-10-09 | 2022-06-03 | 阿波罗智能技术(北京)有限公司 | 多相机外参的联合标定方法、装置、设备和介质 |
TWI720869B (zh) * | 2020-04-15 | 2021-03-01 | 致伸科技股份有限公司 | 相機模組之對位方法 |
CN111968074A (zh) * | 2020-07-14 | 2020-11-20 | 北京理工大学 | 融合双目相机和imu的收割机倒伏作物检测与收获方法 |
KR20220026422A (ko) * | 2020-08-25 | 2022-03-04 | 삼성전자주식회사 | 카메라 캘리브레이션 장치 및 이의 동작 방법 |
CN112489118B (zh) * | 2020-12-15 | 2022-06-14 | 中国人民解放军国防科技大学 | 一种无人机机载传感器组外参快速标定方法 |
CN113822249B (zh) * | 2021-11-23 | 2022-05-17 | 山东信通电子股份有限公司 | 一种监测架空线路隐患位置的方法、设备 |
CN114821497A (zh) * | 2022-02-24 | 2022-07-29 | 广州文远知行科技有限公司 | 目标物位置的确定方法、装置、设备及存储介质 |
CN117576228B (zh) * | 2024-01-16 | 2024-04-16 | 成都合能创越软件有限公司 | 基于实时场景的相机坐标标定方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005233639A (ja) * | 2004-02-17 | 2005-09-02 | Mitsubishi Electric Corp | ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法 |
JP2012075060A (ja) * | 2010-09-30 | 2012-04-12 | Hitachi Automotive Systems Ltd | 画像処理装置及びそれを用いた撮像装置 |
WO2013145025A1 (ja) * | 2012-03-30 | 2013-10-03 | 株式会社日立製作所 | ステレオカメラシステム及び移動体 |
JP2015133691A (ja) * | 2013-12-13 | 2015-07-23 | パナソニックIpマネジメント株式会社 | 撮像装置、画像処理装置、撮像方法および記録媒体 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2611173B2 (ja) | 1992-06-11 | 1997-05-21 | 運輸省船舶技術研究所長 | 魚眼レンズを用いた測位方法およびその装置 |
JP4849757B2 (ja) | 2000-03-23 | 2012-01-11 | スナップ − オン テクノロジーズ,インコーポレイテッド | 自己校正するマルチカメラ機械視覚測定システム |
JP3827912B2 (ja) | 2000-03-31 | 2006-09-27 | 山本 和彦 | 全方向ステレオ画像撮影装置及びステレオ画像撮影装置 |
JP4825971B2 (ja) | 2005-07-14 | 2011-11-30 | 国立大学法人岩手大学 | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 |
TWI420066B (zh) * | 2010-03-18 | 2013-12-21 | Ind Tech Res Inst | 物件量測方法與系統 |
CA2961921C (en) * | 2016-03-29 | 2020-05-12 | Institut National D'optique | Camera calibration method using a calibration target |
-
2018
- 2018-04-03 JP JP2018071946A patent/JP7016058B2/ja active Active
- 2018-04-24 US US15/961,011 patent/US10757395B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005233639A (ja) * | 2004-02-17 | 2005-09-02 | Mitsubishi Electric Corp | ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法 |
JP2012075060A (ja) * | 2010-09-30 | 2012-04-12 | Hitachi Automotive Systems Ltd | 画像処理装置及びそれを用いた撮像装置 |
WO2013145025A1 (ja) * | 2012-03-30 | 2013-10-03 | 株式会社日立製作所 | ステレオカメラシステム及び移動体 |
JP2015133691A (ja) * | 2013-12-13 | 2015-07-23 | パナソニックIpマネジメント株式会社 | 撮像装置、画像処理装置、撮像方法および記録媒体 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020150077A1 (en) * | 2019-01-18 | 2020-07-23 | Nec Laboratories America, Inc. | Camera self-calibration network |
JP2022510237A (ja) * | 2019-01-18 | 2022-01-26 | エヌイーシー ラボラトリーズ アメリカ インク | カメラ自己校正ネットワーク |
JP7166459B2 (ja) | 2019-01-18 | 2022-11-07 | エヌイーシー ラボラトリーズ アメリカ インク | カメラ自己校正ネットワーク |
CN115575407A (zh) * | 2022-12-07 | 2023-01-06 | 浙江众合科技股份有限公司 | 一种应用于轨道与隧道的检测方法 |
Also Published As
Publication number | Publication date |
---|---|
US10757395B2 (en) | 2020-08-25 |
JP7016058B2 (ja) | 2022-02-04 |
US20180316905A1 (en) | 2018-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7016058B2 (ja) | カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置 | |
JP7054803B2 (ja) | カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム | |
CN108734742B (zh) | 摄像头参数组算出方法、程序及装置 | |
JP7002007B2 (ja) | カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム | |
CA3027921C (en) | Integrated sensor calibration in natural scenes | |
US11474247B2 (en) | Methods and systems for color point cloud generation | |
CN107636679B (zh) | 一种障碍物检测方法及装置 | |
JP6645492B2 (ja) | 撮像装置および撮像方法 | |
US20200177867A1 (en) | Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium | |
JP2018189636A (ja) | 撮像装置、画像処理方法及びプログラム | |
JP2004354257A (ja) | キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム | |
JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
JP6803570B2 (ja) | カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム | |
WO2016063545A1 (ja) | ステレオカメラ装置及びステレオカメラ装置を備える車両 | |
JP2011024079A (ja) | 周辺表示装置 | |
CN113256728B (zh) | Imu设备参数的标定方法及装置、存储介质、电子装置 | |
CN113252066B (zh) | 里程计设备参数的标定方法及装置、存储介质、电子装置 | |
CN112016568B (zh) | 一种目标对象的图像特征点的跟踪方法及装置 | |
CN113052974A (zh) | 物体三维表面的重建方法和装置 | |
CN112639864B (zh) | 用于测距的方法和装置 | |
AU2018102199A4 (en) | Methods and systems for color point cloud generation | |
CN115147475B (zh) | 目标位置定位方法、装置、设备及存储介质 | |
JP2020056627A (ja) | 撮像装置 | |
CN111862211A (zh) | 定位方法、装置、系统、存储介质和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220111 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7016058 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |