JP2013109416A - カメラキャリブレーション装置、乗員支援装置、カメラキャリブレーション用歪み係数生成方法 - Google Patents
カメラキャリブレーション装置、乗員支援装置、カメラキャリブレーション用歪み係数生成方法 Download PDFInfo
- Publication number
- JP2013109416A JP2013109416A JP2011251984A JP2011251984A JP2013109416A JP 2013109416 A JP2013109416 A JP 2013109416A JP 2011251984 A JP2011251984 A JP 2011251984A JP 2011251984 A JP2011251984 A JP 2011251984A JP 2013109416 A JP2013109416 A JP 2013109416A
- Authority
- JP
- Japan
- Prior art keywords
- distortion
- distortion coefficient
- imaging position
- weight
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000012937 correction Methods 0.000 claims abstract description 23
- 238000011156 evaluation Methods 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims description 51
- 238000005259 measurement Methods 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 34
- 230000015654 memory Effects 0.000 abstract description 17
- 238000001514 detection method Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 19
- 230000008859 change Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000000994 depressogenic effect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
【解決手段】カメラ50と歪み校正用被写体の相対位置情報から歪みのない理想結像位置を算出する理想結像位置算出手段12と、校正用被写体が撮影された画像からレンズの歪みを含んだ実測結像位置を検出する実測結像位置検出手段11と、結像位置に応じた重みを生成するための重み関数を決定する重み関数決定手段14と、歪み係数を用いて算出される歪み量が含まれる理想結像位置と実測結像位置、及び、結像位置に応じて前記重み関数が生成した重みを、歪み係数の評価関数に入力して、評価関数の演算結果から歪み係数を決定する歪み係数決定手段13と、を有することを特徴とするカメラキャリブレーション装置を提供する。
【選択図】図1
Description
図1(b)は、TELE領域(狭画角)の重み付けを大きくした場合を説明する図の一例である。狭画角の重み付けを広画角よりも大きくすることで、狭画角の画像の歪みを精度よく補正できる歪み係数が得られる。このため、ステレオカメラの場合、狭画角にある被写体に対し高精度な測距が可能となる。
図1(c)は、WIDE領域(広画角)の重み付けを大きくした場合の歪み係数を説明する図の一例である。広画角の重み付けを狭画角よりも大きくすることで、広画角の画像の歪みを精度よく補正できる歪み係数が得られる。このため、ステレオカメラの場合、広画角にある被写体に対し高精度な測距が可能となる。
図2(a)は、ステレオカメラ50の歪み係数を算出するキャリブレーション装置100、及び、ステレオカメラ50を有するキャリブレーションシステムのシステム構成例を示す図の一例である。キャリブレーション装置100は、例えばコンピュータや情報処理装置として構成される。キャリブレーション装置100はステレオカメラ50と接続されているが、ステレオカメラ50が撮影した画像データを取得できればよく、必ずしも接続されている必要はない。逆に、キャリブレーション装置100と、一台以上のステレオカメラ50をネットワークを介して接続し、一台以上のステレオカメラ50に対し一台のサーバ(キャリブレーション装置)で歪み係数を算出するように構成してもよい。
<実測結像位置、理想結像位置の算出>
実測結像位置算出部11は実測結像位置を算出し、理想結像位置算出部12は理想結像位置を算出する。実測結像位置と理想結像位置の違いはレンズの歪みにより生じるものである。
1/F=1/a + 1/b
a、b、Fが既知なら格子の座標から撮像素子上の結像位置が求められる。
ステレオカメラ50でレンズの歪みが生じると、視差に直接影響を及ぼすため、歪みがあるまま撮像した画像を相関演算してしまうと測距結果は非常に精度の悪いものとなってしまう。
式(1)はある温度における歪み量なので、好ましくは温度に応じて歪みを補正する。特に車載用途であると車内は100度近くになるため、温度による歪み量変化は無視できず、相関演算する前に補正する必要がある。
Cx、Cy:画像中心、
δx、δy:式(1)(2)で示したx,yと歪み係数で表された歪み量
u、v:実測結像位置
w:重み式
Fx:x方向の焦点距離
Fy:y方向の焦点距離
評価関数Hのルート内は、画像中心を原点として、
「実測位置u」と、「理想正規化座標x + あるfの時の歪み量δx」を焦点距離Fxに乗じた値の差、
「実測位置v」と、「理想正規化座標y + あるgの時の歪み量δy」を焦点距離Fyに乗じた値の差、
をそれぞれ二乗した値の和である。
図8は、キャリブレーション装置100の動作手順の一例を示すフローチャート図の一例である。
図9は、ステレオカメラシステム200の機能ブロック図の一例を示す。ステレオカメラシステム200は、歪み係数選択部21、前処理部22、相関演算部23、認識部24、表示・警報・制御部25、外部パラメータ変化量算出部26、及び、メモリ1〜3を有する。このうちメモリ1に、上記の複数の歪み係数及び式(1)又は式(2)が記憶されている。ステレオカメラ50の場合、レンズ毎に複数の歪み係数が記憶されている。
・車両の全周囲を監視するように設置する
・ドアの開閉時に周囲の物体にぶつかる可能性があるかを認識するために側方に設置する・後続車との距離を認識するために後方に設置する
・前方の対象物の距離を認識するために前方に設置する
などが考えられる。このように配置することで、カメラを組み合わせた多様なアプリケーションを実現できる。
歪み係数選択部21は、画角の広い範囲で測距を均一に行えるような歪み係数を選択するように前処理部22へ出力する。
歪み係数選択部21は、車が周囲の物にぶつからないかを把握する目的で広範囲の領域の測距をする一方、実際にそこに駐車した際に物にぶつからずにドアの開閉が行えるかどうかを把握するために狭い領域を高精度で測距できるようにもしたい。そこで、フレームごと(1フレームごと又は数フレームごと)に高精度に測距する範囲(重み)を変えた歪み係数を選択する事が有効になる。
ステレオカメラシステム200は、乗員が車から降りようとドアを開ける際に対向車線などから近づいてくる車や自転車にぶつからないように支援する。このため、W1, W2, W3, W4の領域の物の距離を測定する。
図13は、車両状況の判定を説明する図の一例である。
(1)ドアロックが解除されていない
a.運転席のドアロックが解除されていないので、運転者は駐車を含む運転を継続すると予想される。このため、画像選択部20は「運転支援・駐車支援」を行うと判断する。
(2)ドアロックが解除されており、車速がゼロでなく、ブレーキペダルを踏む頻度が閾値a以下でない
b.ブレーキペダルを踏む頻度がaより多いため、運転者は駐車中又は駐車する直前であると予想される。ドアロックが解除されているのはロックし忘れているためと考える。
(3)ドアロックが解除されており、車速がゼロでなく、ブレーキペダルを踏む頻度が閾値a以下である
c.ブレーキペダルをほとんど踏まないため、運転者は運転中である予想される。ドアロックが解除されているのはロックし忘れているためと考える。
(4)ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングである
d.シフトポジションがパーキングなので、運転者が降車することが予想される。
(5)ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングでなく、ブレーキペダルを踏む頻度が閾値b(>a)以上でなく、ブレーキペダルを踏む頻度が閾値a以下でない
e.ブレーキペダルをa〜bの間の頻度で踏むため、運転者は駐車操作中であると予想される。
(6)ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングでなく、ブレーキペダルを踏む頻度が閾値b(>a)以上でなく、ブレーキペダルを踏む頻度が閾値a以下である
f.ほとんどブレーキペダルを踏んでいないのでサイドブレーキを引いて停止していると考えられ、運転者は運転を終了させており、搭乗者や運転者が降車すると予想される。
(7)ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングでなく、ブレーキペダルを踏む頻度が閾値b(>a)以上であり、画像認識で特徴物体を検知した
g.信号機や横断歩道の手前で停止していると考えられ、マイクロスイッチ及び焦電センサでドア開閉を感知する以外は運転支援する
(8)ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングでなく、ブレーキペダルを踏む頻度が閾値b(>a)以上であり、画像認識で特徴物体を検知せず、移動物体が横切るのを検知しない
h.信号機や横断歩道、及び、歩行者の横切りも検知されないので、搭乗者や運転者が降車すると予想される(ドア開閉支援)
(9)ドアロックが解除されており、車速がゼロであり、シフトポジションがパーキングでなく、ブレーキペダルを踏む頻度が閾値b(>a)以上であり、画像認識で特徴物体を検知せず、移動物体が横切るのを検知した
i.歩行者の通過待ちをしていると考えられ、マイクロスイッチ30又は焦電センサでドア開閉を感知する以外は運転支援する
このように、画像選択部20は、車両情報から車両状況を適切に判定できる。車両状況が定まると、ステレオカメラ1〜3から選択すべき画像データ及び歪み係数を特定できる。すなわち、広角領域若しくは狭角領域の歪みをより高精度に測距したい、又は、画像全体で同じレベルの精度で歪み補正したい、という目的に応じて一つの多項式の歪み係数を選択できる。ステレオカメラの使用状況に応じて歪み係数を切り替えることで、一つのステレオカメラで広角から狭角領域までの高精度な測距が実現できる。
12 理想結像位置算出部
13 歪み係数算出部
14 重み関数選択部
20 画像選択部
21 歪み係数選択部
22 前処理部
23 相関演算部
24 認識部
25 表示・警報・制御部
26 外部パラメータ変化量算出部
27 センサ類
100 キャリブレーション装置
200 ステレオカメラシステム
Claims (9)
- カメラと歪み校正用被写体の相対位置情報から歪みのない理想結像位置を算出する理想結像位置算出手段と、
校正用被写体が撮影された画像からレンズの歪みを含んだ実測結像位置を検出する実測結像位置検出手段と、
結像位置に応じた重みを生成するための重み関数を決定する重み関数決定手段と、
歪み係数を用いて算出される歪み量が含まれる理想結像位置と実測結像位置、及び、結像位置に応じて前記重み関数が生成した重みを、歪み係数の評価関数に入力して、評価関数の演算結果から歪み係数を決定する歪み係数決定手段と、
を有することを特徴とするカメラキャリブレーション装置。 - 前記重み関数は、画像中心からの距離に応じて異なる重みを生成する関数であり、画像中心からの距離に応じて歪み補正の補正精度を変更する、
ことを特徴とする請求項1記載のカメラキャリブレーション装置。 - 前記歪み係数決定手段が決定した歪み係数を、結像位置と歪み係数から歪み量を算出する算出式に適用して得られた歪み量が閾値以上となる画像領域がある場合、
前記重み係数決定手段は結像位置に関係なく略均一な重みを生成する前記重み関数に変更して、再度、歪み係数を決定する、
ことを特徴とする請求項1記載のカメラキャリブレーション装置。 - 前記重み関数は、画像中心からの距離が大きくなるほど一様に小さくなる重みを生成する関数、又は、画像中心からの距離が大きくなるほど一様に大きくなる重みを生成する関数である、
ことを特徴とする請求項1〜3いずれか1項記載のカメラキャリブレーション装置。 - 前記評価関数は、前記実測結像位置と、結像位置と歪み係数を用いて算出された前記理想結像位置との差の二乗の平方根に、結像位置に応じて前記重み関数が生成した重みを乗じる関数であり、
前記歪み係数決定手段は、画像全体の前記評価関数の演算結果の絶対値和又は二乗和が最小になる場合の歪み係数を求める、
ことを特徴とする請求項1記載のカメラキャリブレーション装置。 - 複数のステレオカメラを備え、運転支援又はドア開閉支援を提供する乗員支援装置であって、
車載されたセンサにより車両状況又は乗員の行動を予測して複数のステレオカメラから一つのステレオカメラの画像を選択すると共に、他の領域よりも高精度に測距したい領域選択を行う画像選択手段と、
歪み係数を係数とする歪み量の算出式、及び、1レンズ毎に複数の前記歪み係数を記憶する歪み係数記憶手段と、
前記歪み係数記憶手段から読み出した、選択された領域用の前記歪み係数を前記算出式に適用して歪み量を算出し、画像選択部によって選択された画像に歪み補正を施す前処理部と、
前記前処理部によって補正された2つの画像に相関演算を施す相関演算手段と、
前記相関演算手段の出力結果に基づいて対象物までの距離情報を検出する距離情報検出手段と、
有することを特徴とする乗員支援装置。 - 前記前処理部は、所定数の画像毎に、前記歪み係数記憶手段から読み出す前記歪み係数を切り換え、前記算出式に適用する、
ことを特徴とする請求項6記載の乗員支援装置。 - 前記歪み係数記憶手段が記憶する複数の前記歪み係数は、請求項1〜4いずれか1項記載のカメラキャリブレーション装置が算出したものである、ことを特徴とする請求項6又は7記載の乗員支援装置。
- 理想結像位置算出手段が、カメラと歪み校正用被写体の相対位置情報から歪みのない理想結像位置を算出するステップと、
実測結像位置検出手段が、校正用被写体が撮影された画像からレンズの歪みを含んだ実測結像位置を検出するステップと、
重み関数決定手段が、結像位置に応じた重みを生成するための重み関数を決定するステップと、
歪み係数決定手段が、歪み係数を用いて算出される歪み量が含まれる理想結像位置と実測結像位置、及び、結像位置に応じて前記重み関数が生成した重みを、歪み係数の評価関数に入力して、評価関数の演算結果から歪み係数を決定するステップと
を有することを特徴とするカメラキャリブレーション用歪み係数生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011251984A JP5834810B2 (ja) | 2011-11-17 | 2011-11-17 | カメラキャリブレーション装置、乗員支援装置、カメラキャリブレーション用歪み係数生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011251984A JP5834810B2 (ja) | 2011-11-17 | 2011-11-17 | カメラキャリブレーション装置、乗員支援装置、カメラキャリブレーション用歪み係数生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013109416A true JP2013109416A (ja) | 2013-06-06 |
JP5834810B2 JP5834810B2 (ja) | 2015-12-24 |
Family
ID=48706133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011251984A Active JP5834810B2 (ja) | 2011-11-17 | 2011-11-17 | カメラキャリブレーション装置、乗員支援装置、カメラキャリブレーション用歪み係数生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5834810B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2937753A1 (de) * | 2014-04-24 | 2015-10-28 | Siemens Aktiengesellschaft | Verfahren zum Vermessen von Werkstücken und nach dem Verfahren arbeitende Produktions- und/oder Werkzeugmaschine |
JP2016005190A (ja) * | 2014-06-18 | 2016-01-12 | 日本放送協会 | 画像補正装置、光学補正装置および画像補正用プログラム |
JP2016212417A (ja) * | 2015-05-07 | 2016-12-15 | コニカミノルタ株式会社 | 結像光学素子の評価方法および結像光学素子の製造方法 |
CN107527336A (zh) * | 2016-06-22 | 2017-12-29 | 北京疯景科技有限公司 | 镜头相对位置标定方法及装置 |
JP2018503915A (ja) * | 2015-01-15 | 2018-02-08 | 江▲蘇▼南大五▲維▼▲電▼子科技有限公司 | 船舶補助ドッキング方法およびシステム |
CN111260870A (zh) * | 2018-11-30 | 2020-06-09 | 北京国基科技股份有限公司 | 一种目标精确定位方法 |
JP2020149473A (ja) * | 2019-03-14 | 2020-09-17 | 株式会社東芝 | 画像処理装置、及び、歪み補正係数算出方法 |
WO2022153593A1 (ja) * | 2021-01-15 | 2022-07-21 | 日立Astemo株式会社 | ステレオ画像処理装置及び画像補正手段 |
DE112022001700T5 (de) | 2021-07-27 | 2024-01-11 | Hitachi Astemo, Ltd. | Fahrzeuginterne kamera und kalibrierungsverfahren der fahrzeuginternen kamera |
-
2011
- 2011-11-17 JP JP2011251984A patent/JP5834810B2/ja active Active
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2937753A1 (de) * | 2014-04-24 | 2015-10-28 | Siemens Aktiengesellschaft | Verfahren zum Vermessen von Werkstücken und nach dem Verfahren arbeitende Produktions- und/oder Werkzeugmaschine |
JP2016005190A (ja) * | 2014-06-18 | 2016-01-12 | 日本放送協会 | 画像補正装置、光学補正装置および画像補正用プログラム |
JP2018503915A (ja) * | 2015-01-15 | 2018-02-08 | 江▲蘇▼南大五▲維▼▲電▼子科技有限公司 | 船舶補助ドッキング方法およびシステム |
JP2016212417A (ja) * | 2015-05-07 | 2016-12-15 | コニカミノルタ株式会社 | 結像光学素子の評価方法および結像光学素子の製造方法 |
CN107527336A (zh) * | 2016-06-22 | 2017-12-29 | 北京疯景科技有限公司 | 镜头相对位置标定方法及装置 |
CN107527336B (zh) * | 2016-06-22 | 2021-02-19 | 北京疯景科技有限公司 | 镜头相对位置标定方法及装置 |
CN111260870B (zh) * | 2018-11-30 | 2021-05-07 | 北京国基科技股份有限公司 | 一种目标精确定位方法 |
CN111260870A (zh) * | 2018-11-30 | 2020-06-09 | 北京国基科技股份有限公司 | 一种目标精确定位方法 |
JP2020149473A (ja) * | 2019-03-14 | 2020-09-17 | 株式会社東芝 | 画像処理装置、及び、歪み補正係数算出方法 |
JP7210337B2 (ja) | 2019-03-14 | 2023-01-23 | 株式会社東芝 | 画像処理装置、及び、歪み補正係数算出方法 |
WO2022153593A1 (ja) * | 2021-01-15 | 2022-07-21 | 日立Astemo株式会社 | ステレオ画像処理装置及び画像補正手段 |
JP7436400B2 (ja) | 2021-01-15 | 2024-02-21 | 日立Astemo株式会社 | ステレオ画像処理装置及び画像補正手段 |
DE112022001700T5 (de) | 2021-07-27 | 2024-01-11 | Hitachi Astemo, Ltd. | Fahrzeuginterne kamera und kalibrierungsverfahren der fahrzeuginternen kamera |
Also Published As
Publication number | Publication date |
---|---|
JP5834810B2 (ja) | 2015-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5834810B2 (ja) | カメラキャリブレーション装置、乗員支援装置、カメラキャリブレーション用歪み係数生成方法 | |
US10116873B1 (en) | System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle | |
JP6675448B2 (ja) | 車両位置検出方法及び装置 | |
JP6603094B2 (ja) | キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム | |
JP6611353B2 (ja) | 画像処理装置、外界認識装置 | |
JP6197291B2 (ja) | 複眼カメラ装置、及びそれを備えた車両 | |
US20150109444A1 (en) | Vision-based object sensing and highlighting in vehicle image display systems | |
JP6307895B2 (ja) | 車両用周辺監視装置 | |
WO2019123840A1 (ja) | 撮像装置、撮像システム、および表示システム | |
JP2013093013A (ja) | 画像処理装置、車両 | |
JP4271720B1 (ja) | 車両周辺監視装置 | |
JP2009037622A (ja) | 画像を評価するための方法および装置 | |
KR101986734B1 (ko) | 차량 운전 보조 장치 및 이의 안전 운전 유도 방법 | |
CN112349144A (zh) | 一种基于单目视觉的车辆碰撞预警方法及系统 | |
JP2007249841A (ja) | 画像認識装置 | |
JP6253467B2 (ja) | 画像処理装置および画像処理プログラム | |
JP2020071537A (ja) | 運転支援装置 | |
JP2017220760A (ja) | 車両用画像処理装置 | |
WO2009101660A1 (ja) | 車両周辺監視装置、車両、車両周辺監視プログラム | |
WO2009130828A1 (ja) | 車両周辺監視装置 | |
CN114913506A (zh) | 一种基于多视角融合的3d目标检测方法及装置 | |
JP5516561B2 (ja) | 車両用運転支援装置 | |
KR101278654B1 (ko) | 차량의 주변 영상 디스플레이 장치 및 방법 | |
JP2018528514A (ja) | 後方交差交通のクイックルック | |
KR20130015326A (ko) | 카메라 시스템 및 이를 이용한 거리 인식 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151019 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5834810 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |