JP2017161245A - ラインセンサカメラのステレオキャリブレーション装置及びステレオキャリブレーション方法 - Google Patents
ラインセンサカメラのステレオキャリブレーション装置及びステレオキャリブレーション方法 Download PDFInfo
- Publication number
- JP2017161245A JP2017161245A JP2016043472A JP2016043472A JP2017161245A JP 2017161245 A JP2017161245 A JP 2017161245A JP 2016043472 A JP2016043472 A JP 2016043472A JP 2016043472 A JP2016043472 A JP 2016043472A JP 2017161245 A JP2017161245 A JP 2017161245A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- line sensor
- marker
- calibration
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000003550 marker Substances 0.000 claims abstract description 105
- 238000005259 measurement Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims description 30
- 230000036544 posture Effects 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 description 7
- 238000009434 installation Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
大きさが既知である白色領域及び黒色領域が交互に配されたキャリブレーションマーカと、二台のラインセンサカメラと、前記二台のラインセンサカメラによって撮影した前記キャリブレーションマーカの画像に基づいて前記ラインセンサカメラの校正に用いるパラメータを求める画像処理部とを備えるラインセンサカメラのステレオキャリブレーション装置において、
前記画像処理部が、
前記キャリブレーションマーカを二通り以上の位置・姿勢で二台の前記ラインセンサカメラによって撮影した画像を入力する画像入力部と、
各前記画像について前記キャリブレーションマーカの真値座標が既知であるマーカ点の画像上の座標を3箇所以上算出するとともに、全ての前記画像から前記マーカ点の画像上の座標を更に合計3箇所以上算出し、計測座標として出力する計測座標算出部と、
前記計測座標、前記ラインセンサカメラの内部パラメータ及び前記マーカ点の真値座標に基づいて、前記ラインセンサカメラと前記キャリブレーションマーカとの間の位置姿勢関係を表すカメラマーカ間外部パラメータ及び前記ラインセンサカメラ間の位置姿勢関係を表すカメラ間外部パラメータを算出する外部パラメータ算出部と、
前記計測座標、前記内部パラメータ、前記真値座標、前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータに基づいて非線形最適化により前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータの最適化を行う非線形最適化部と
を有することを特徴とする。
前記計測座標算出部が、全ての前記画像から合計13箇所以上の座標を算出して計測座標として出力し、
前記非線形最適化部が、前記計測座標、前記内部パラメータ、前記真値座標、及び前記外部パラメータに基づいて非線形最適化により前記内部パラメータの最適化を行う
ことを特徴とする。
大きさが既知である白色領域及び黒色領域を交互に配されたキャリブレーションマーカを二通り以上の姿勢で二台のラインセンサカメラによって撮影し、
各前記画像について前記キャリブレーションマーカの真値座標が既知であるマーカ点の画像上の座標を3箇所以上算出するとともに、全ての前記画像から前記マーカ点の画像上の座標を更に合計3箇所以上算出して計測座標として出力し、
前記計測座標、前記ラインセンサカメラの内部パラメータ及び前記マーカ点の真値座標に基づいて、前記ラインセンサカメラと前記キャリブレーションマーカとの間の位置姿勢関係を表すカメラマーカ間外部パラメータ及び前記ラインセンサカメラ間の位置姿勢関係を表すカメラ間外部パラメータを算出し、
前記計測座標、前記内部パラメータ、前記真値座標、前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータに基づいて非線形最適化により前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータの最適化を行う
ことを特徴とする。
全ての前記画像から合計13箇所以上の座標を算出して計測座標として出力し、
前記計測座標、前記内部パラメータ、前記真値座標、前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータに基づいて非線形最適化により前記内部パラメータの最適化を行う
ことを特徴とする。
まず、得られた画像から画像処理若しくは手動によりキャリブレーションマーカ1のマーカ点の座標を算出する。キャリブレーションマーカ1の白黒帯の実座標上での幅が既知のものを利用することで、キャリブレーションマーカ1から画像への変換パラメータ(焦点距離、歪み係数等の内部パラメータと、外部パラメータ)および二台のラインセンサカメラ2A,2B間の外部パラメータの最適な値を求めることができる。
また、本実施例ではL字マーカを用いて説明するが、I字マーカであっても基本的には同じである。
すなわち、上式(1),(2)を展開すると、それぞれ下式(3),(4)となる。
すなわち、カメラ間外部パラメータφ,τ1,τ2については一つのラインセンサカメラ2Bで撮られた画像のみを使って求めているため、最終的な評価として両方のラインセンサカメラ2A,2Bで得られた画像でカメラ間外部パラメータφ,τ1,τ2の最適な値を得られている確証がない。
なお実際には湾曲収差があるため、補正を行う必要がある。すなわち、歪みのある正規化画像座標をxd,xd'、歪みのない正規化画像座標をx,x'とするとき、正規化画像座標をx,x'及びラインセンサカメラ2A,2Bの画像座標u,u'は、下式(8),(8)',(9),(9)'のように表すことができる。
なお最適化するパラメータはカメラ間外部パラメータφ,τ1,τ2と撮影回数M分のカメラマーカ間外部パラメータθ,t1,t2の合計3M+3個である。これを解くにはキャリブレーションマーカ1を少なくとも二通りの位置・姿勢で撮影し、且つ、各画像についてマーカ点の画像上の座標を3箇所以上算出するとともに、全ての画像からマーカ点の画像上の座標を更に合計3箇所以上(すなわち、3M+3箇所以上)算出する必要がある。
図5に示すように、本実施例ではまず、キャリブレーションマーカ1を二台のラインセンサカメラ2A,2Bからみて様々な(二通り以上の)位置・姿勢になるように設置し、各位置・姿勢に設置されたキャリブレーションマーカ1をそれぞれラインセンサカメラ2A,2Bにより撮影する(ステップS11)。取得したキャリブレーション画像は画像入力部3aにより入力し、記憶部3eに保管される。
続いて、計測座標算出部3bによりキャリブレーション画像上のキャリブレーションマーカ1のマーカ点の座標を計測座標として算出する(ステップS12)。
その後、外部パラメータ算出部3cにより、線形解法を用いて、撮影ごとのカメラマーカ間外部パラメータθ,t1,t2、及びカメラ間外部パラメータφ,τ1,τ2を算出する(ステップS13)。
最後に、非線形最適化部3dによりカメラマーカ間パラメータθ,t1,t2及びカメラ間外部パラメータφ,τ1,τ2を初期値として非線形最適化手法を用い、最適なカメラマーカ間パラメータθ,t1,t2及びカメラ間外部パラメータφ,τ1,τ2を算出する(ステップS14)。
以上により、画像からラインセンサカメラ2A,2Bとキャリブレーションマーカ1との位置関係を正確に求めることができ、キャリブレーションマーカ1の設置位置に依存しないキャリブレーションを実現することができる。
また、線形解法だけでなく誤差関数を最小化する非線形解法を用いることで、二台のラインセンサカメラ2A,2Bで得られる画像両方に対応した最適な外部パラメータを算出することが可能になる。
また、カメラマーカ間外部パラメータθ,t1,t2を画像から算出するため、キャリブレーションマーカ1の位置座標を事前に与える必要がなく、従来に比較してキャリブレーションマーカ1の設置誤差の問題を考慮する必要がなくなる。
すなわち、本実施例によれば、簡易な手法で高精度にラインセンサカメラのキャリブレーションを行うことが可能となる。
続いて、計測座標算出部3bによりキャリブレーション画像上のキャリブレーションマーカ1のマーカ点の座標を計測座標として算出する(ステップS22)。
その後、外部パラメータ算出部3cにより、線形解法を用いた撮影ごとのカメラマーカ間外部パラメータθ,t1,t2及びカメラ間外部パラメータφ,τ1,τ2を算出する(ステップS23)。
最後に、非線形最適化部3dにより、カメラマーカ間パラメータθ,t1,t2、カメラ間外部パラメータφ,τ1,τ2及び各ラインセンサカメラ2A,2Bの内部パラメータf,c,k1,k2,k3,f',c',k1',k2',k3'を初期値として、非線形最適化手法により最適なカメラマーカ間パラメータθ,t1,t2、カメラ間外部パラメータφ,τ1,τ2及び各ラインセンサカメラ2A,2Bの内部パラメータf,c,k1,k2,k3,f',c',k1',k2',k3'を算出する(ステップS24)。
以上により、画像からラインセンサカメラ2A,2Bとキャリブレーションマーカ1との位置関係を正確に求めることができ、キャリブレーションマーカ1の設置位置に依存しないキャリブレーションを実現することができる。
1a 白帯(白色領域)
1b 黒帯(黒色領域)
2A,2B ラインセンサカメラ
3 画像処理部
3a 画像入力部
3b 計測座標算出部
3c 外部パラメータ算出部
3d 非線形最適化部
3e 記憶部
Claims (4)
- 大きさが既知である白色領域及び黒色領域が交互に配されたキャリブレーションマーカと、二台のラインセンサカメラと、前記二台のラインセンサカメラによって撮影した前記キャリブレーションマーカの画像に基づいて前記ラインセンサカメラの校正に用いるパラメータを求める画像処理部とを備えるラインセンサカメラのステレオキャリブレーション装置において、
前記画像処理部が、
前記キャリブレーションマーカを二通り以上の位置・姿勢で二台の前記ラインセンサカメラによって撮影した画像を入力する画像入力部と、
各前記画像について前記キャリブレーションマーカの真値座標が既知であるマーカ点の画像上の座標を3箇所以上算出するとともに、全ての前記画像から前記マーカ点の画像上の座標を更に合計3箇所以上算出し、計測座標として出力する計測座標算出部と、
前記計測座標、前記ラインセンサカメラの内部パラメータ及び前記マーカ点の真値座標に基づいて、前記ラインセンサカメラと前記キャリブレーションマーカとの間の位置姿勢関係を表すカメラマーカ間外部パラメータ及び前記ラインセンサカメラ間の位置姿勢関係を表すカメラ間外部パラメータを算出する外部パラメータ算出部と、
前記計測座標、前記内部パラメータ、前記真値座標、前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータに基づいて非線形最適化により前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータの最適化を行う非線形最適化部と
を有することを特徴とするラインセンサカメラのステレオキャリブレーション装置。 - 前記計測座標算出部が、全ての前記画像から合計13箇所以上の座標を算出して計測座標として出力し、
前記非線形最適化部が、前記計測座標、前記内部パラメータ、前記真値座標、及び前記外部パラメータに基づいて非線形最適化により前記内部パラメータの最適化を行う
ことを特徴とする請求項1記載のラインセンサカメラのステレオキャリブレーション装置。 - 大きさが既知である白色領域及び黒色領域を交互に配されたキャリブレーションマーカを二通り以上の姿勢で二台のラインセンサカメラによって撮影し、
各前記画像について前記キャリブレーションマーカの真値座標が既知であるマーカ点の画像上の座標を3箇所以上算出するとともに、全ての前記画像から前記マーカ点の画像上の座標を更に合計3箇所以上算出して計測座標として出力し、
前記計測座標、前記ラインセンサカメラの内部パラメータ及び前記マーカ点の真値座標に基づいて、前記ラインセンサカメラと前記キャリブレーションマーカとの間の位置姿勢関係を表すカメラマーカ間外部パラメータ及び前記ラインセンサカメラ間の位置姿勢関係を表すカメラ間外部パラメータを算出し、
前記計測座標、前記内部パラメータ、前記真値座標、前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータに基づいて非線形最適化により前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータの最適化を行う
ことを特徴とするラインセンサカメラのステレオキャリブレーション方法。 - 全ての前記画像から合計13箇所以上の座標を算出して計測座標として出力し、
前記計測座標、前記内部パラメータ、前記真値座標、前記カメラマーカ間外部パラメータ及び前記カメラ間外部パラメータに基づいて非線形最適化により前記内部パラメータの最適化を行う
ことを特徴とする請求項3記載のステレオキャリブレーション方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016043472A JP6696230B2 (ja) | 2016-03-07 | 2016-03-07 | ラインセンサカメラのステレオキャリブレーション装置及びステレオキャリブレーション方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016043472A JP6696230B2 (ja) | 2016-03-07 | 2016-03-07 | ラインセンサカメラのステレオキャリブレーション装置及びステレオキャリブレーション方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017161245A true JP2017161245A (ja) | 2017-09-14 |
JP6696230B2 JP6696230B2 (ja) | 2020-05-20 |
Family
ID=59853992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016043472A Active JP6696230B2 (ja) | 2016-03-07 | 2016-03-07 | ラインセンサカメラのステレオキャリブレーション装置及びステレオキャリブレーション方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6696230B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020038550A (ja) * | 2018-09-05 | 2020-03-12 | 株式会社明電舎 | ラインセンサカメラのキャリブレーション装置及び方法 |
JP2020134181A (ja) * | 2019-02-14 | 2020-08-31 | コニカミノルタ株式会社 | データ処理装置、データ処理方法及びプログラム |
CN111784783A (zh) * | 2020-08-14 | 2020-10-16 | 支付宝(杭州)信息技术有限公司 | 相机外参标定的系统和方法 |
CN112470188A (zh) * | 2018-05-25 | 2021-03-09 | 艾奎菲股份有限公司 | 用于多相机放置的系统和方法 |
CN112907677A (zh) * | 2019-12-04 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | 一种单帧图像的相机标定方法、装置及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6425003A (en) * | 1987-07-21 | 1989-01-27 | Kurashiki Boseki Kk | Measuring instrument of shape in three-dimensional object |
US6101455A (en) * | 1998-05-14 | 2000-08-08 | Davis; Michael S. | Automatic calibration of cameras and structured light sources |
JP2009288165A (ja) * | 2008-05-30 | 2009-12-10 | Jfe Steel Corp | ラインセンサカメラの較正方法、較正装置及びプログラム |
WO2010116683A1 (ja) * | 2009-03-30 | 2010-10-14 | シャープ株式会社 | 撮像装置および撮像方法 |
JP2012202694A (ja) * | 2011-03-23 | 2012-10-22 | Canon Inc | カメラ校正方法 |
-
2016
- 2016-03-07 JP JP2016043472A patent/JP6696230B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6425003A (en) * | 1987-07-21 | 1989-01-27 | Kurashiki Boseki Kk | Measuring instrument of shape in three-dimensional object |
US6101455A (en) * | 1998-05-14 | 2000-08-08 | Davis; Michael S. | Automatic calibration of cameras and structured light sources |
JP2009288165A (ja) * | 2008-05-30 | 2009-12-10 | Jfe Steel Corp | ラインセンサカメラの較正方法、較正装置及びプログラム |
WO2010116683A1 (ja) * | 2009-03-30 | 2010-10-14 | シャープ株式会社 | 撮像装置および撮像方法 |
JP2012202694A (ja) * | 2011-03-23 | 2012-10-22 | Canon Inc | カメラ校正方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112470188A (zh) * | 2018-05-25 | 2021-03-09 | 艾奎菲股份有限公司 | 用于多相机放置的系统和方法 |
US12010431B2 (en) | 2018-05-25 | 2024-06-11 | Packsize Llc | Systems and methods for multi-camera placement |
JP2020038550A (ja) * | 2018-09-05 | 2020-03-12 | 株式会社明電舎 | ラインセンサカメラのキャリブレーション装置及び方法 |
JP7044016B2 (ja) | 2018-09-05 | 2022-03-30 | 株式会社明電舎 | ラインセンサカメラのキャリブレーション装置及び方法 |
JP2020134181A (ja) * | 2019-02-14 | 2020-08-31 | コニカミノルタ株式会社 | データ処理装置、データ処理方法及びプログラム |
US10972615B2 (en) * | 2019-02-14 | 2021-04-06 | Konica Minolta, Inc. | Data processing apparatus, data processing method, and storage medium |
JP7180432B2 (ja) | 2019-02-14 | 2022-11-30 | コニカミノルタ株式会社 | データ処理装置、データ処理方法及びプログラム |
CN112907677A (zh) * | 2019-12-04 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | 一种单帧图像的相机标定方法、装置及存储介质 |
CN112907677B (zh) * | 2019-12-04 | 2023-07-25 | 杭州海康威视数字技术股份有限公司 | 一种单帧图像的相机标定方法、装置及存储介质 |
CN111784783A (zh) * | 2020-08-14 | 2020-10-16 | 支付宝(杭州)信息技术有限公司 | 相机外参标定的系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6696230B2 (ja) | 2020-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6696230B2 (ja) | ラインセンサカメラのステレオキャリブレーション装置及びステレオキャリブレーション方法 | |
RU2601421C2 (ru) | Способ и система калибровки камеры | |
JP6041513B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6079333B2 (ja) | 校正装置、方法及びプログラム | |
JP2013122434A (ja) | レーザーを用いた単眼カメラによる3次元形状位置計測装置,3次元形状位置計測処理方法および3次元形状位置計測処理プログラム | |
JP6324025B2 (ja) | 情報処理装置、情報処理方法 | |
TWI420066B (zh) | 物件量測方法與系統 | |
US10771776B2 (en) | Apparatus and method for generating a camera model for an imaging system | |
JP5070435B1 (ja) | 3次元相対座標計測装置およびその方法 | |
JP7173285B2 (ja) | カメラ校正装置、カメラ校正方法、及びプログラム | |
JP2016218815A (ja) | ラインセンサカメラのキャリブレーション装置及び方法 | |
JP6645140B2 (ja) | 画像のキャリブレーション装置及びキャリブレーション方法 | |
JP2015031601A (ja) | 3次元計測装置及び方法並びにプログラム | |
JP2012198031A (ja) | 画像補正方法及び画像補正装置 | |
JP5235842B2 (ja) | 光学系パラメータ校正装置、光学系パラメータ校正方法、プログラム、及び記録媒体 | |
JP7044016B2 (ja) | ラインセンサカメラのキャリブレーション装置及び方法 | |
JP2011130290A (ja) | カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置 | |
Ricolfe-Viala et al. | Optimal conditions for camera calibration using a planar template | |
JP5648159B2 (ja) | 3次元相対座標計測装置およびその方法 | |
CN112241984A (zh) | 双目视觉传感器标定方法、装置、计算机设备和存储介质 | |
JP4775541B2 (ja) | 撮影画像における歪曲収差補正方法 | |
JP2015210081A (ja) | タイヤ形状解析装置およびタイヤ形状解析方法 | |
KR101239671B1 (ko) | 렌즈에 의한 왜곡 영상 보정방법 및 그 장치 | |
JP2022112695A (ja) | ラインセンサカメラのキャリブレーション装置及びキャリブレーション方法 | |
JP2006349443A (ja) | カメラ校正装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190219 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190524 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190605 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190529 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6696230 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |