JP2008131250A - 車載カメラの校正装置及び当該装置を用いた車両の生産方法 - Google Patents
車載カメラの校正装置及び当該装置を用いた車両の生産方法 Download PDFInfo
- Publication number
- JP2008131250A JP2008131250A JP2006312991A JP2006312991A JP2008131250A JP 2008131250 A JP2008131250 A JP 2008131250A JP 2006312991 A JP2006312991 A JP 2006312991A JP 2006312991 A JP2006312991 A JP 2006312991A JP 2008131250 A JP2008131250 A JP 2008131250A
- Authority
- JP
- Japan
- Prior art keywords
- calibration
- camera
- calibration point
- vehicle
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
【課題】簡単な構成で、短時間で精度良く車載カメラの校正が可能、且つ校正の成否を迅速に判定可能な車載カメラの校正装置を提供する。
【解決手段】車載カメラの校正装置は、各部が以下のように回転行列を求めることによって、車両に取り付けられた車載カメラを校正し、その成否を判定する。
第１行列演算部２１が、少なくとも異なる２箇所に配置された校正指標の校正点の基準座標系における座標に基づいて第１行列を演算する。校正点特定部１５が車載カメラの撮影画像から校正点を特定する。第２行列演算部２２が車載カメラの撮影画像上の校正点の座標に基づいて第２行列を演算する。第３行列演算部２３が第１行列と第２行列とに基づいて車載カメラの回転状態を示す回転行列を演算する。成否判定部は、車載カメラの撮影画像に基づいて車載カメラの校正の成否を判定する。
【選択図】図６
【解決手段】車載カメラの校正装置は、各部が以下のように回転行列を求めることによって、車両に取り付けられた車載カメラを校正し、その成否を判定する。
第１行列演算部２１が、少なくとも異なる２箇所に配置された校正指標の校正点の基準座標系における座標に基づいて第１行列を演算する。校正点特定部１５が車載カメラの撮影画像から校正点を特定する。第２行列演算部２２が車載カメラの撮影画像上の校正点の座標に基づいて第２行列を演算する。第３行列演算部２３が第１行列と第２行列とに基づいて車載カメラの回転状態を示す回転行列を演算する。成否判定部は、車載カメラの撮影画像に基づいて車載カメラの校正の成否を判定する。
【選択図】図６
Description
本発明は、車両に取り付けられた車載カメラを校正する車載カメラの校正装置に関する。
近年、車両の運転者が車両の側方や後方などの情景を車内のモニタ装置を介して視認できるようにカメラが搭載された車両が増加している。さらに、このカメラの撮影画像を利用して画像処理などを行い、駐車などの運転を支援する装置も開発されている。特に、このような画像処理を伴う画像を撮影するカメラの車両への搭載に際しては、比較的高い組み付け精度が要求される。そこで、車両へのカメラの搭載精度を向上するための種々の取り組みがなされている。
下記に出典を示す特許文献１には、そのようなカメラを校正する技術が記載されている。これは、調整ボタンの操作により、ディスプレイ画面上で、カメラにより撮影された校正指標と、画面上に重畳された調整用ウィンドゥとを一致させて校正を行うものである。調整用ウィンドゥは、三次元直交座標の３軸に対応するパン・チルト・ロールに対応して３種設けられる。順次、これらの調整用ウィンドゥ内に校正指標が収まるように調整ボタンを操作することによって、カメラパラメータが変更される。３軸に対する調整が完了すると、変更されたカメラパラメータが、ＥＥＰＲＯＭに書き込まれる。
特許文献１に記載された技術は、簡単な構成でカメラの校正が可能な優れたものである。しかし、ディスプレイ画面を見ながら手動で調整ボタンを操作する必要があるため、校正に時間を要する。また、カメラの回転に対応して３軸に対する調整が必要なため、校正に時間を要する。また、手動による校正では作業者によって校正精度が安定せず、校正が不十分な製品が後工程に送られる可能性もある。さらに、校正では対応できないようなカメラの取り付け誤差や画質の悪化が生じていた場合であっても校正作業を継続するために、生産時間のロスを生じる場合がある。
本願発明は、このような課題に鑑みて創案されたもので、簡単な構成で、短時間で精度良く車載カメラの校正が可能、且つ校正の成否を迅速に判定可能な車載カメラの校正装置を提供することを目的とする。
上記目的を達成するため、車両に取り付けられた車載カメラを校正するための本発明に係る車載カメラの校正装置は、以下の構成、
少なくとも異なる２箇所に配置された校正指標を視界内に含む前記車載カメラの撮影画像を受け取る画像受け取り部と、
前記撮影画像において前記校正指標の中のそれぞれの校正点を特定する校正点特定部と、
基準座標系における前記校正指標の前記校正点の座標に基づいて、前記車載カメラの光学中心から見た前記校正点及び前記校正点を通る直線に関するベクトルを示す第１行列を演算する第１行列演算部と、
前記校正点特定部により特定された前記撮影画像上の前記校正点の座標に基づいて、前記車載カメラの光学中心から見た当該校正点及び当該校正点を通る直線に関するベクトルを示す第２行列を演算する第２行列演算部と、
前記第１行列及び前記第２行列に基づいて、前記基準座標系における前記車載カメラの回転状態を示す回転行列を演算する第３行列演算部と、
前記撮影画像に基づいて前記車載カメラの校正の成否を判定する成否判定部と、を有する。
少なくとも異なる２箇所に配置された校正指標を視界内に含む前記車載カメラの撮影画像を受け取る画像受け取り部と、
前記撮影画像において前記校正指標の中のそれぞれの校正点を特定する校正点特定部と、
基準座標系における前記校正指標の前記校正点の座標に基づいて、前記車載カメラの光学中心から見た前記校正点及び前記校正点を通る直線に関するベクトルを示す第１行列を演算する第１行列演算部と、
前記校正点特定部により特定された前記撮影画像上の前記校正点の座標に基づいて、前記車載カメラの光学中心から見た当該校正点及び当該校正点を通る直線に関するベクトルを示す第２行列を演算する第２行列演算部と、
前記第１行列及び前記第２行列に基づいて、前記基準座標系における前記車載カメラの回転状態を示す回転行列を演算する第３行列演算部と、
前記撮影画像に基づいて前記車載カメラの校正の成否を判定する成否判定部と、を有する。
基準座標系（一般にワールド座標系）におけるカメラの回転状態を表す回転行列は、回転前後の２つの画像から求めることが可能である。しかし、ある回転状態で車両に取り付けられた車載カメラでは、回転状態が固定されているので、回転前後の画像を扱うことができない。これに対し、本構成では、基準座標系における校正指標の校正点の座標に基づいて第１行列が演算される。この第１行列は、車載カメラが回転を伴わず並進のみをした場合のカメラ状態を示すものである。一方、第２行列は、車両に取り付けられ、何らかの回転状態を有する車載カメラのカメラ状態を示すものである。第１行列を回転前、第２行列を回転後と考えれば、第１行列と第２行列とに基づいて、基準座標系における車載カメラの回転状態を示す回転行列を得ることができる。
第１行列は、校正指標の配置から幾何学的計算によって求めることが可能である。また、第２行列は、車載カメラの撮影画像を画像処理することによって求めることが可能である。従って、本構成によれば、ディスプレイ画面を見ながら手動で調整ボタンを操作することなく、自動的に車載カメラの回転状態を示す回転行列を得ることができる。その結果、簡単な構成で、短時間で精度良く車載カメラの校正が可能な車載カメラの校正装置を提供することができる。
さらに、撮影画像に基づいて車載カメラの校正の成否を判定する成否判定部を有しているので、校正の成否を迅速に判定することができる。
第１行列は、校正指標の配置から幾何学的計算によって求めることが可能である。また、第２行列は、車載カメラの撮影画像を画像処理することによって求めることが可能である。従って、本構成によれば、ディスプレイ画面を見ながら手動で調整ボタンを操作することなく、自動的に車載カメラの回転状態を示す回転行列を得ることができる。その結果、簡単な構成で、短時間で精度良く車載カメラの校正が可能な車載カメラの校正装置を提供することができる。
さらに、撮影画像に基づいて車載カメラの校正の成否を判定する成否判定部を有しているので、校正の成否を迅速に判定することができる。
本発明に係る車載カメラの校正装置は、前記成否判定部が、前記校正点特定部で特定された前記校正点が所定の座標範囲内に存在するか否かに基づいて成否を判定するものとすることができる。
校正点特定部によって特定される校正点の座標は、車載カメラが正常に取り付けられていれば、所定の座標範囲内に収まる。逆に、特定された校正点がこの座標範囲内に収まっていなければ、それ以降、校正を継続しても成功しない可能性が高くなる。従って、特定された校正点が所定の座標範囲内に存在するか否かに基づけば、校正の成否を迅速に判定することができる。
本発明に係る車載カメラの校正装置は、前記撮影画像上において前記校正点が含まれる領域を設定する領域設定部を有し、前記校正点特定部が、設定された前記領域に対して輪郭線検出を行い、検出された輪郭線情報に基づいて前記校正点を特定するものとすることができる。
そして、前記成否判定部が、検出された輪郭線の画素数が所定の許容範囲内か否かに基づいて成否を判定するものとすることができる。
そして、前記成否判定部が、検出された輪郭線の画素数が所定の許容範囲内か否かに基づいて成否を判定するものとすることができる。
輪郭線の画素数が多いと、正しい輪郭線情報を得られなくなり、その結果校正点の特定の妨げとなる可能性がある。輪郭線の画素数が少ないと、輪郭線情報を得られない場合もあり、その結果校正点の特定ができない可能性がある。
正しい輪郭線情報を得るためには、輪郭線の画素数の適正な範囲、即ち所定の許容範囲が存在する。従って、検出された輪郭線の画素数が所定の許容範囲内か否かに基づけば、車載カメラの校正の成否を迅速に判定することができる。
画素数の判定は、領域設定部１３で設定された領域において実施されるので、精度のよい判定が可能である。
正しい輪郭線情報を得るためには、輪郭線の画素数の適正な範囲、即ち所定の許容範囲が存在する。従って、検出された輪郭線の画素数が所定の許容範囲内か否かに基づけば、車載カメラの校正の成否を迅速に判定することができる。
画素数の判定は、領域設定部１３で設定された領域において実施されるので、精度のよい判定が可能である。
本発明に係る車載カメラの校正装置は、前記撮影画像上において前記校正点が含まれる領域を設定する領域設定部を有し、前記校正点特定部が、設定された前記領域に対して輪郭線検出を行い、検出された輪郭線情報に基づいて前記校正点を特定するものとすることができる。
そして、前記成否判定部が、検出された輪郭線の画素の前記領域内における分布に基づいて成否を判定するものとすることができる。
そして、前記成否判定部が、検出された輪郭線の画素の前記領域内における分布に基づいて成否を判定するものとすることができる。
校正点特定部によって検出される輪郭線は、車載カメラが正常に取り付けられていれば、領域設定部によって設定された領域内に適正に分布する。逆に、適正に分布せず、偏っていれば、それ以降、校正を継続しても成功しない可能性が高くなる。従って、検出された輪郭線の画素の領域内における分布に基づけば、校正の成否を迅速に判定することができる。
偏り（分布）の判定は、領域設定部１３で設定された領域において実施されるので、精度のよい判定が可能である。
偏り（分布）の判定は、領域設定部１３で設定された領域において実施されるので、精度のよい判定が可能である。
本発明に係る車載カメラの校正装置は、前記撮影画像上において前記校正点が含まれる領域を設定する領域設定部を有し、前記校正点特定部が、設定された前記領域に対して輪郭線検出を行い、検出された輪郭線情報に基づいて前記校正点を特定するものとすることができる。
そして、前記成否判定部が、設定された領域内において輪郭線が検出されると想定される想定領域を設定すると共に、当該想定領域外で検出された輪郭線の画素数に基づいて成否を判定するものとすることができる。
そして、前記成否判定部が、設定された領域内において輪郭線が検出されると想定される想定領域を設定すると共に、当該想定領域外で検出された輪郭線の画素数に基づいて成否を判定するものとすることができる。
校正点特定部によって検出される輪郭線の画素は、車載カメラが正常に取り付けられていれば、想定領域内に多く存在することになる。逆に、想定領域の外の領域に多くの画素が存在する場合には、車載カメラの校正が成功しない可能性が高くなる。従って、想定領域の外で検出された輪郭線の画素数に基づけば、校正の成否を迅速に判定することができる。
画素数の判定は、領域設定部１３で設定された領域において実施されるので、精度のよい判定が可能である。
画素数の判定は、領域設定部１３で設定された領域において実施されるので、精度のよい判定が可能である。
本発明に係る車載カメラの校正装置は、前記撮影画像上において前記校正点が含まれる領域を設定する領域設定部を有することができる。
そして、前記成否判定部が、当該領域内の平均濃度が所定の許容範囲内であるか否かに基づいて成否を判定するものとすることができる。
そして、前記成否判定部が、当該領域内の平均濃度が所定の許容範囲内であるか否かに基づいて成否を判定するものとすることができる。
校正点特定部によって検出される輪郭線の画素に変化が生じる場合には、輪郭線を検出する前の画像にも変化が生じている可能性が高い。従って、平均濃度に基づいて車載カメラの成否を判定するとより迅速な判定が可能となる。
濃度の判定は、領域設定部１３で設定された領域において実施されるので、精度のよい判定が可能である。
濃度の判定は、領域設定部１３で設定された領域において実施されるので、精度のよい判定が可能である。
本発明に係る車載カメラの校正装置は、前記成否判定部による判定結果を少なくとも視覚的又は聴覚的に報知する報知部を有することができる。
この構成によれば、判定結果が確実に作業者に報知されるので、作業者は校正のやり直しや、車載カメラの再取り付け、交換などの対策を迅速に実施することができる。
本発明に係る車載カメラの校正装置を用いて前記車載カメラの校正を行う組立調整工程を含む複数の組立調整工程を順次行う、本発明に係る車両の生産方法は、前記成否判定部による判定結果が否であった場合に、前記車載カメラの校正の次の組立調整作業への移行を制限する制限工程を有することを特徴とする。
この構成によれば、車載カメラの校正が達成されない場合に作業者がそれを見逃したとしても、生産工程を進めることができなくなる。従って、校正が不十分な製品が後工程に送られる可能性を抑制することができ、作業者は校正のやり直しなどの対策を迅速に実施することができる。
以下、本発明の実施形態を図面に基づいて説明する。
図１は、校正用のマーカ８０（校正指標）と車両９０との配置関係の一例を示す説明図である。カメラ１（車載カメラ）は、車両９０の後方のナンバープレートの上方に車軸から側方へオフセットした位置に、光軸を下方（例えば水平から３０°下方）に向けて設置される。カメラ１は、例えば水平方向の視野角１１０〜１２０°の広角カメラであり、後方約８ｍ程度までの領域を撮影可能である。このカメラ１は、車両の生産工場等で車両９０に取り付けられる際に取り付け誤差を吸収するべく校正される。また、修理工場などにおいて、走行による振動の累積や衝撃などによるカメラ１のずれを修正するべく校正される。以下、生産工場における校正を例として説明する。
図１は、校正用のマーカ８０（校正指標）と車両９０との配置関係の一例を示す説明図である。カメラ１（車載カメラ）は、車両９０の後方のナンバープレートの上方に車軸から側方へオフセットした位置に、光軸を下方（例えば水平から３０°下方）に向けて設置される。カメラ１は、例えば水平方向の視野角１１０〜１２０°の広角カメラであり、後方約８ｍ程度までの領域を撮影可能である。このカメラ１は、車両の生産工場等で車両９０に取り付けられる際に取り付け誤差を吸収するべく校正される。また、修理工場などにおいて、走行による振動の累積や衝撃などによるカメラ１のずれを修正するべく校正される。以下、生産工場における校正を例として説明する。
〔校正指標配置工程〕
図１に示すように、カメラ１の校正は、車両９０を所定位置に停車させた状態で行われる。例えば、車両９０をバックまたは前進させ、所定位置に設けられたタイヤ溝やタイヤ止めによって車輪が停止するようにすれば、正確な位置で停止させることが可能である。図１に示す例では、２つのマーカ８０（８０ａ、８０ｂ）が床面上に配置されている。図１において、車両９０は、後端部中央の床面がワールド座標系（基準座標系、ＸW，ＹW，ＺW）の原点ＯWとなるように停車されている。カメラ１の光学中心ＯCを中心とするカメラ座標系（ＸC，ＹC，ＺC）は、ワールド座標系に対して各軸が平行とは限らない。ワールド座標系、カメラ座標系共に右手系の座標系であり、図中では、紙面に対して鉛直方向のＸW軸、及びほぼ鉛直方向のＸC軸は図示していない。ワールド座標系とカメラ座標系との立体的な関係については図１４に示す。
図１に示すように、カメラ１の校正は、車両９０を所定位置に停車させた状態で行われる。例えば、車両９０をバックまたは前進させ、所定位置に設けられたタイヤ溝やタイヤ止めによって車輪が停止するようにすれば、正確な位置で停止させることが可能である。図１に示す例では、２つのマーカ８０（８０ａ、８０ｂ）が床面上に配置されている。図１において、車両９０は、後端部中央の床面がワールド座標系（基準座標系、ＸW，ＹW，ＺW）の原点ＯWとなるように停車されている。カメラ１の光学中心ＯCを中心とするカメラ座標系（ＸC，ＹC，ＺC）は、ワールド座標系に対して各軸が平行とは限らない。ワールド座標系、カメラ座標系共に右手系の座標系であり、図中では、紙面に対して鉛直方向のＸW軸、及びほぼ鉛直方向のＸC軸は図示していない。ワールド座標系とカメラ座標系との立体的な関係については図１４に示す。
マーカ８０は、カメラ１の視野範囲内において少なくとも２箇所に配置される。また、マーカ８０は、ワールド座標系においてその座標が既知となるように配置される。本例において、マーカ８０は、図２に示すように白黒の市松模様のパターンを有している。パターン中央の点Ｑが校正点であり、カメラ１の校正の基準となる。つまり、この校正点Ｑの座標がワールド座標系においてその座標が既知となるように配置される。尚、ここでは白の矩形２個、黒の矩形２個の計４個の矩形の例を示したが、計４個以上であっても良く、その数を限定するものではない。
図１に示す例では、２つのマーカ８０は床上に車両の主軸（ワールド座標系のＺW軸）に対して左右対称に配置されている（Ｄ1＝Ｄ2、Ｗ1＝Ｗ2）。ただし、常に左右対称である必要はなく、カメラ１の視野内であって、座標値が既知であればその配置は自由である。つまり、工場において確保できる広さや他の設備との関係によってマーカ８０の配置を任意に設定することが可能である。
マーカ８０の寸法は、カメラ１の分解能や校正装置が備える画像処理機能の性能、マーカの配置位置などに応じて、精度良く校正点Ｑを検出できるように適切に定められる。一例として、Ｄｉが１〜２ｍ、Ｗｉが１．５ｍ程度である場合には、各白黒が１０〜１５ｃｍ四方、全体が２０〜３０ｃｍ四方のマーカ８０が利用される。
マーカ８０は、図３及び図４に示すように、壁面上や衝立８５上に設置されてもよい。この場合、校正点Ｑのワールド座標（ＸW，ＹW，ＺW）は、例えば（Ｈ3，Ｗ3，Ｄ3）となり、正確に把握可能である。つまり、マーカ８０は、カメラ１の視野内であれば、床面及び壁面を含む任意の面に配置可能である。本実施形態では、カメラ１を下方に向けて車両に搭載しているため、天井面にマーカ８０を配置することは適切ではない。しかし、天井面がカメラ１の視野に入る場合には勿論天井面に配置されてもよい。
マーカ８０は、車両９０の中心軸（ＺW軸）に対して直角である必要はない。例えば、図３に示すようにカメラ１に対して対面するように配置されてもよい。また、当然他の軸（ＹW軸及びＸW軸）に対して直角である必要もない。当然、２つのマーカ８０の一方が床面上、他方が衝立上に配置されるなど、異なる面上に配置されてもよい。重要であるのは校正点Ｑであり、マーカ８０はどのような面に配置されても構わない。つまり、ワールド座標系において校正点Ｑが正確に配置され、カメラ１の撮影画像から校正点Ｑが良好に検出可能であればマーカ８０の設置方向は任意である。
〔システム構成〕
図５は、本発明の車載カメラの校正装置の構成を模式的に示すブロック図である。図に示すように、校正装置は、画像受け取り部２と、画像出力部３と、システム制御部５と、入力Ｉ／Ｆ部６と、出力Ｉ／Ｆ部７と、画像処理部１０と、を有している。
画像受け取り部２は、デジタルビデオカメラであるカメラ１による撮影画像をバッファ２ａ、同期分離部２ｂ、クロック生成部２ｃ、Ａ／Ｄコンバー２ｃなどの公知の画像Ｉ／Ｆを介して受け取り、フレームメモリ２ｅに格納する（画像受け取り工程）。画像処理部１０に備えられた画像データ制御部１１は、画像受け取り部２を制御する。例えば、フレームメモリ２ｅへの撮影画像の格納や、フレームメモリ２ｅからの撮影画像の読み出しを制御する。
図５は、本発明の車載カメラの校正装置の構成を模式的に示すブロック図である。図に示すように、校正装置は、画像受け取り部２と、画像出力部３と、システム制御部５と、入力Ｉ／Ｆ部６と、出力Ｉ／Ｆ部７と、画像処理部１０と、を有している。
画像受け取り部２は、デジタルビデオカメラであるカメラ１による撮影画像をバッファ２ａ、同期分離部２ｂ、クロック生成部２ｃ、Ａ／Ｄコンバー２ｃなどの公知の画像Ｉ／Ｆを介して受け取り、フレームメモリ２ｅに格納する（画像受け取り工程）。画像処理部１０に備えられた画像データ制御部１１は、画像受け取り部２を制御する。例えば、フレームメモリ２ｅへの撮影画像の格納や、フレームメモリ２ｅからの撮影画像の読み出しを制御する。
画像処理部１０は、さらに、歪補正部１２と、領域設定部１３と、校正点特定部１５と、回転量演算部１７と、応用機能処理部１９とを有している。図６は、図５の回転量演算部１７の構成を模式的に示すブロック図である。回転量演算部１７は、第１行列演算部２１と、第２行列演算部２２と、第３行列演算部２３と、回転角演算部２５とを有している。各部の詳細な機能については後述するが、これら各部の働きにより、カメラ１の回転量が算出される。
また、図７は、図５の応用機能処理部１９の構成を模式的に示すブロック図である。応用機能処理部１９は、投影パラメータ演算部３１と、座標変換部３３と、限界領域演算部３５と、成否判定部３７とを有している。各部の詳細な機能については後述するが、これら各部の働きにより、カメラ１の投影パラメータなどが算出され、校正結果の精度検証などが行われる。
また、図７は、図５の応用機能処理部１９の構成を模式的に示すブロック図である。応用機能処理部１９は、投影パラメータ演算部３１と、座標変換部３３と、限界領域演算部３５と、成否判定部３７とを有している。各部の詳細な機能については後述するが、これら各部の働きにより、カメラ１の投影パラメータなどが算出され、校正結果の精度検証などが行われる。
画像出力部３は、求められたカメラ１の回転量や投影パラメータに基づいて、撮影画像をディスプレイ等に表示するための画像信号を生成する。画像出力部３は、表示コントローラ３ａと描画部３ｂとを有している。描画部３ｂは画像処理の結果に基づいて校正精度の検証結果などのスーパーインポーズなどを描画する。表示コントローラ３ａは撮影画像にこのスーパーインポーズを重畳させて画像信号を出力する。画像出力部３は、本発明の重畳部や報知部としても機能する。
入力Ｉ／Ｆ部６は、カメラ１の校正開始の指示などの入力信号をカメラ１の校正装置よりも上位のシステムから受け取り、システム制御部５に伝達する。ここで、上位のシステムとは、車両９０の組み立て調整システムや、車両９０のバックモニタシステムなどである。システム制御部５は、カメラ１の校正装置の全般を制御するものであり、校正開始の指示などに基づいて画像処理部１０などを制御する。出力制御部７はシステム制御部５を介して画像処理結果などを受け取り、上位のシステムや、校正装置の報知部などに出力信号を出力する。
尚、画像処理部１０の各部は、機能としての分担を示すものであり、必ずしも独立して設けられる必要はない。マイクロコンピュータなどのハードウェアと、ハードウェア上で実行されるプログラムなどのソフトウェアとの協働によって各機能が実現されるものでも勿論構わない。
以下、画像処理部１０による画像処理の手順について説明する。
以下、画像処理部１０による画像処理の手順について説明する。
〔歪補正工程〕
上述したように、カメラ１は広角カメラである。従って、カメラ１による撮影画像は、図８に示すように歪みを有した画像Ｕ１となる。画像Ｕ１において、下方には車両９０のバンパー部９１が映っており、上方及び側方には車両９０が停車されている部屋の壁面が映っている。カメラ１の内部パラメータ（焦点距離など）は既知であるので、歪補正部１２において歪みが補正される。図９に補正後の画像Ｕ２を示す。
上述したように、カメラ１は広角カメラである。従って、カメラ１による撮影画像は、図８に示すように歪みを有した画像Ｕ１となる。画像Ｕ１において、下方には車両９０のバンパー部９１が映っており、上方及び側方には車両９０が停車されている部屋の壁面が映っている。カメラ１の内部パラメータ（焦点距離など）は既知であるので、歪補正部１２において歪みが補正される。図９に補正後の画像Ｕ２を示す。
〔領域設定工程〕
マーカ８０は、ワールド座標系の既知の座標に配置されている。また、カメラ１のワールド座標系における詳細な回転状態（外部パラメータ）は当然未知であるが、おおまかな光軸方向（図１のＺC方向）は既知である。つまり、カメラ１は所定の公差の範囲内で車両９０に取り付けられるので、カメラ１の光軸方向のおおまかな方向は既知である。従って、撮影画像Ｕ１、及び歪みを補正された撮影画像Ｕ２におけるマーカ８０の位置は予測可能である。そこで、画像Ｕ２（あるいはＵ１）において、校正点Ｑを含むマーカ８０が収まる領域をＯＲＩ（関心領域：Region of Interest）として設定する。ＯＲＩは、公差の平均値による画像上の位置を基準として、公差の範囲と画像処理のためのマージンを考慮して定められた位置とサイズに基づいて設定される。従って、理想的には、校正点ＱがＯＲＩの中心部に収まることとなる。
図１０に、ＯＲＩの一例を示す。図１０（ａ）は図１のマーカ８０ａ、（ｂ）は図１のマーカ８０ｂに対して設定されたＯＲＩを示す。
マーカ８０は、ワールド座標系の既知の座標に配置されている。また、カメラ１のワールド座標系における詳細な回転状態（外部パラメータ）は当然未知であるが、おおまかな光軸方向（図１のＺC方向）は既知である。つまり、カメラ１は所定の公差の範囲内で車両９０に取り付けられるので、カメラ１の光軸方向のおおまかな方向は既知である。従って、撮影画像Ｕ１、及び歪みを補正された撮影画像Ｕ２におけるマーカ８０の位置は予測可能である。そこで、画像Ｕ２（あるいはＵ１）において、校正点Ｑを含むマーカ８０が収まる領域をＯＲＩ（関心領域：Region of Interest）として設定する。ＯＲＩは、公差の平均値による画像上の位置を基準として、公差の範囲と画像処理のためのマージンを考慮して定められた位置とサイズに基づいて設定される。従って、理想的には、校正点ＱがＯＲＩの中心部に収まることとなる。
図１０に、ＯＲＩの一例を示す。図１０（ａ）は図１のマーカ８０ａ、（ｂ）は図１のマーカ８０ｂに対して設定されたＯＲＩを示す。
〔校正点特定工程〕
次に、校正点特定部１５においてマーカ８０の中心点である校正点Ｑの撮影画像上における座標を検出する。本実施形態のように、マーカ８０として市松模様が使用される場合、公知のコーナ検出器を用いて校正点Ｑを検出ことが可能である。コーナ検出器としては、Tomasi-Kanade検出器や、ハリス検出器を利用することができる。
ただし、カメラ１が安価なカメラの場合、アパーチャリングやコアリング手法によって画像情報に修飾が加えられている場合がある。その場合には、画像品質の低さに起因して上記コーナ検出器を用いても正しい交点位置（校正点Ｑ）が検出できない可能性が生じる。車載カメラの校正装置は、種々の車種、種々のカメラに対応可能であることが望ましい。従って、本実施形態では、さらに汎用的な手法によって校正点Ｑを検出する。以下、マーカ８０の水平・垂直の境界線を検出してその交点である校正点Ｑの座標を求める校正点特定工程について、輪郭線（エッジ）検出工程、直線当てはめ工程、交点演算工程に分けて説明する。
次に、校正点特定部１５においてマーカ８０の中心点である校正点Ｑの撮影画像上における座標を検出する。本実施形態のように、マーカ８０として市松模様が使用される場合、公知のコーナ検出器を用いて校正点Ｑを検出ことが可能である。コーナ検出器としては、Tomasi-Kanade検出器や、ハリス検出器を利用することができる。
ただし、カメラ１が安価なカメラの場合、アパーチャリングやコアリング手法によって画像情報に修飾が加えられている場合がある。その場合には、画像品質の低さに起因して上記コーナ検出器を用いても正しい交点位置（校正点Ｑ）が検出できない可能性が生じる。車載カメラの校正装置は、種々の車種、種々のカメラに対応可能であることが望ましい。従って、本実施形態では、さらに汎用的な手法によって校正点Ｑを検出する。以下、マーカ８０の水平・垂直の境界線を検出してその交点である校正点Ｑの座標を求める校正点特定工程について、輪郭線（エッジ）検出工程、直線当てはめ工程、交点演算工程に分けて説明する。
〔校正点特定工程／輪郭線（エッジ）検出工程〕
本実施形態では、ガウシアンフィルタ（Gaussian filter）が組み込まれたCannyエッジ検出器を利用する。Cannyエッジ検出器は、エッジ特徴を保存すると共に、画像に含まれるノイズを除去する働きがあり、安定したエッジ検出が可能である。Cannyエッジ検出器に関しては、J.F.Canny "Finding edge and lines in images". Master's thesis, AITR-720. MIT, Cambridge, USA, 1983や、J.F.Canny "A computational approach to edge detection". IEEE Trans. on Pattern Analysis and Machine Intelligence, 8(6):679-698, November 1986に詳しいので、ここでは詳細な説明を省略する。尚、当然ながら、Cannyエッジ検出器に限らず、他の方法を用いてエッジ検出を行ってもよい。
図１０に示すＲＯＩ領域の画像に対して、エッジ検出処理を行うと、図１１に示すようにほぼマーカ８０の水平・垂直の境界線に対応するエッジ点群Ｅ（輪郭線の画素）が検出される。
本実施形態では、ガウシアンフィルタ（Gaussian filter）が組み込まれたCannyエッジ検出器を利用する。Cannyエッジ検出器は、エッジ特徴を保存すると共に、画像に含まれるノイズを除去する働きがあり、安定したエッジ検出が可能である。Cannyエッジ検出器に関しては、J.F.Canny "Finding edge and lines in images". Master's thesis, AITR-720. MIT, Cambridge, USA, 1983や、J.F.Canny "A computational approach to edge detection". IEEE Trans. on Pattern Analysis and Machine Intelligence, 8(6):679-698, November 1986に詳しいので、ここでは詳細な説明を省略する。尚、当然ながら、Cannyエッジ検出器に限らず、他の方法を用いてエッジ検出を行ってもよい。
図１０に示すＲＯＩ領域の画像に対して、エッジ検出処理を行うと、図１１に示すようにほぼマーカ８０の水平・垂直の境界線に対応するエッジ点群Ｅ（輪郭線の画素）が検出される。
〔校正点特定工程／直線当てはめ工程〕
次にこれらエッジ点群Ｅに対して、直線当てはめ処理が実施される。この直線当てはめ処理には、最小自乗法やハフ変換などを利用することも可能であるが、演算負荷が大である。本実施形態では、これらより遙かに演算量の少ないRANSAC（RANdom SAmple Consensus）手法を用いて直線当てはめを行う。RANSAC手法では、直線や曲線のフィッティングに必要な最小点数の点がエッジ点群Ｅから選択され、フィッティングモデルが設定される。直線の場合の最小点数は２点であり、ランダムに選択された２点を結ぶ直線が直線モデルとして設定される。そして、エッジ点群Ｅの他の点がこの直線モデルに対してどの程度フィットするかが評価される。順次、２点を選んで評価を繰り返し、最もフィットした直線モデルが直線として決定される。図１２は、図１１に示すエッジ点群Ｅに対して直線Ｇを当てはめた例を示している。
次にこれらエッジ点群Ｅに対して、直線当てはめ処理が実施される。この直線当てはめ処理には、最小自乗法やハフ変換などを利用することも可能であるが、演算負荷が大である。本実施形態では、これらより遙かに演算量の少ないRANSAC（RANdom SAmple Consensus）手法を用いて直線当てはめを行う。RANSAC手法では、直線や曲線のフィッティングに必要な最小点数の点がエッジ点群Ｅから選択され、フィッティングモデルが設定される。直線の場合の最小点数は２点であり、ランダムに選択された２点を結ぶ直線が直線モデルとして設定される。そして、エッジ点群Ｅの他の点がこの直線モデルに対してどの程度フィットするかが評価される。順次、２点を選んで評価を繰り返し、最もフィットした直線モデルが直線として決定される。図１２は、図１１に示すエッジ点群Ｅに対して直線Ｇを当てはめた例を示している。
〔校正点特定工程／交点演算工程〕
直線Ｇが当てはめられると、まず、その直線Ｇがマーカ８０の水平・垂直の境界線として著しく想定と異なるものでないことが確認される。直線Ｇは撮影画像の座標系、つまりカメラ座標系において一次関数で表されている。従って、簡単な計算により、当てはめられた直線を評価することができる。
次に、当てはめられた直線Ｇの交点の座標が算出される。直線Ｇは一次関数であるから簡単な計算により、カメラ座標系における交点座標（校正点Ｑ）を得ることができる（図１３参照）。
直線Ｇが当てはめられると、まず、その直線Ｇがマーカ８０の水平・垂直の境界線として著しく想定と異なるものでないことが確認される。直線Ｇは撮影画像の座標系、つまりカメラ座標系において一次関数で表されている。従って、簡単な計算により、当てはめられた直線を評価することができる。
次に、当てはめられた直線Ｇの交点の座標が算出される。直線Ｇは一次関数であるから簡単な計算により、カメラ座標系における交点座標（校正点Ｑ）を得ることができる（図１３参照）。
〔変形例〕
上記説明においては、歪補正工程、領域設定工程、輪郭線（エッジ）検出工程の順に処理を行ったが、領域設定工程、輪郭線（エッジ）検出工程を先に行ってもよい。つまり、直線当てはめを行う前までは画像に歪みを生じていても良いので、演算の負荷を考慮して順序を入れ替えても問題ない。
上記説明においては、歪補正工程、領域設定工程、輪郭線（エッジ）検出工程の順に処理を行ったが、領域設定工程、輪郭線（エッジ）検出工程を先に行ってもよい。つまり、直線当てはめを行う前までは画像に歪みを生じていても良いので、演算の負荷を考慮して順序を入れ替えても問題ない。
校正点Ｑのワールド座標系における座標値は、マーカ８０を配置する時点で既知である。また、カメラ座標系における座標値は、上述したように演算で求められた。以下、これらの座標値を用いて、カメラ１の回転状態を示すカメラ１の外部パラメータを求める手順について説明する。
〔原理〕
車両のバックモニタ装置や運転支援装置のように、二次元画像と三次元空間との間の変換を必要とする装置では、その変換のためにカメラパラメータの全てを知る必要がある。上述したように特許文献１では、カメラパラメータの内、内部パラメータと、外部パラメータの並進成分は既知として、組み付け公差の大きい回転成分のみを手動で校正していた。本発明では、この回転成分を自動検出するが、始めにその原理を説明し、その後具体的な手順を説明する。
車両のバックモニタ装置や運転支援装置のように、二次元画像と三次元空間との間の変換を必要とする装置では、その変換のためにカメラパラメータの全てを知る必要がある。上述したように特許文献１では、カメラパラメータの内、内部パラメータと、外部パラメータの並進成分は既知として、組み付け公差の大きい回転成分のみを手動で校正していた。本発明では、この回転成分を自動検出するが、始めにその原理を説明し、その後具体的な手順を説明する。
図１４は、ワールド座標系とカメラ座標系との関係を示す説明図である。図１や図３に示したように車両９０及びマーカ８０は原点をＯWとするワールド座標系（ＸW，ＹW，ＺW）で定義される座標に配置されている。以降、２つのマーカ８０の校正点Ｑは、空間上の２つの点Ｐ1及びＰ2で表す。カメラ１は、ワールド座標系において並進成分Ｔ（ＴX，ＴY，ＴZ）を有して配置される。また、カメラ１は、ワールド座標系に対して回転成分Ｒを有して配置される。つまり、ワールド座標系において並進成分Ｔを伴った位置を原点ＯCとして、さらに回転成分Ｒを伴ったカメラ座標系（ＸC，ＹC，ＺC）が存在する。
ワールド座標系、カメラ座標系共にここでは右手系の直交座標系を用いている。右手座標系とは右手の親指、人差し指、中指を開いた向きの順にＸ、Ｙ、Ｚ軸を定める方式である。また、右手系においては、図１５に示すように軸が右ねじの方向に進む場合の回転方向を、回転の正の方向と定義する。ここで、Ｘ軸を中心とする回転をパン（pan）、Ｙ軸を中心とする回転をチルト（Tilt）、Ｚを中心とする回転を（Roll）と称する。
図１６は、Ｎベクトルを示す説明図である。始めにＮベクトルについて説明する。直交座標系を持つ画像面を二次元射影空間（射影面）とみなすと、点や直線は、全てがゼロではない３個の実数からなる同次座標で表される。同次座標は、画像処理における計算上の問題を解決する上で好適なものである。解決のための最も簡単な手段は、同次座標の３要素が常に単位ベクトルとなるようにしておくことである。正規化した同次座標の組を単位ベクトルとして表したものをＮベクトルと称する。
点Ｐは、射影面上の点であり、ｆは視点Ｏから射影面までの距離（焦点距離とほぼ等価。）を示す。三次元直交座標のＺ軸はｆと一致し、Ｚ軸は射影面に直交し、ＸＹ平面は射影面と平行である。Ｎベクトルｍは、視点Ｏを始点として点Ｐを指し示す単位ベクトルである。Ｎベクトルｎは、点Ｐを通る直線Ｌと、視点Ｏとによって定まる平面に垂直な単位法線ベクトルである。つまり、Ｎベクトルｎは、直線Ｌを表すベクトルである。尚、ベクトルｌは、Ｎベクトルではなく、直線Ｌの向きを表す単位ベクトルである。
ここで、カメラの光学中心（図１６の視点Ｏ）を固定してカメラが回転したと仮定する。カメラの回転により、射影面上の点Ｐ及び直線Ｌの座標は変化し、Ｎベクトルも変化する。つまり、回転前の射影面上の点Ｐ及び点Ｐを通る直線Ｌと、回転後の射影面上の点Ｐ’及び点Ｐ’を通る直線Ｌ’とが与えられる。この時、点Ｐ’を点Ｐに一致させ、直線Ｌ’を直線Ｌに向きを含めて一致させるようなカメラ回転行列Ｒは下記の式(1)のように一意的に定まる。
Ｒ＝（ｌ’ｍ’ｎ’）（ｌｍｎ）T ・・・(1)
ここで、ｌ’は直線Ｌ’の向きを表す単位ベクトル、ｍ’は点Ｐ’を表すＮベクトル、ｎ’は直線Ｌ’を表すＮベクトルである。
式(1)は、Ｒ1＝（ｌｍｎ）、Ｒ2＝（ｌ’ｍ’ｎ’）とおくと、下記式(2)と表すことができる。
式(1)は、Ｒ1＝（ｌｍｎ）、Ｒ2＝（ｌ’ｍ’ｎ’）とおくと、下記式(2)と表すことができる。
Ｒ＝Ｒ2Ｒ1 T ・・・(2)
つまり、図１７に示すように、ワールド座標系を基準とした回転前後の２つの画像から車両に搭載されたカメラ１の回転ベクトルＲを求めることができる。ただし、本発明の校正装置では、車両９０及びカメラ１は固定されるので、カメラ１から入力される画像は１つである。複数の画像を得るために車両９０やカメラ１を動かすことは、校正時間を増やし、また校正精度の上からも好ましくない。
しかし、上記原理の本質は、｛ｌ，ｍ，ｎ｝による定まる座標系から、｛ｌ’，ｍ’，ｎ’｝により定まる座標系の回転行列を求めれば、それがカメラ１の回転行列と一致することにある。つまり、｛ｌ，ｍ，ｎ｝を回転前の座標系から求め、｛ｌ’，ｍ’，ｎ’｝を回転後の座標系から求めれば足りる。
そこで、回転前の座標系は、ワールド座標系において、カメラ１の光学中心ＯCまで純粋に並進したのみのカメラ座標系（第１のカメラ座標系）と考える。また、回転後の座標系は、第１のカメラ座標系が光学中心ＯCを中心として回転したカメラ座標系（第２のカメラ座標系）と考える。
そこで、回転前の座標系は、ワールド座標系において、カメラ１の光学中心ＯCまで純粋に並進したのみのカメラ座標系（第１のカメラ座標系）と考える。また、回転後の座標系は、第１のカメラ座標系が光学中心ＯCを中心として回転したカメラ座標系（第２のカメラ座標系）と考える。
〔第１行列演算工程〕
第１のカメラ座標系は、ワールド座標系の原点ＯWを基準として純粋並進した回転成分のない座標系である。図１８に示すように光学中心ＯCからマーカ８０の校正点Ｑを示す点Ｐ1、Ｐ2へのＮベクトルを求める。尚、当然ながら第１行列演算工程では、カメラ１による撮影画像及び撮影画像から得られる各種情報は不要である。本工程は、図６に示す第１行列演算部２１において実行されるが、カメラ１による撮影画像は用いられていない。
第１のカメラ座標系は、ワールド座標系の原点ＯWを基準として純粋並進した回転成分のない座標系である。図１８に示すように光学中心ＯCからマーカ８０の校正点Ｑを示す点Ｐ1、Ｐ2へのＮベクトルを求める。尚、当然ながら第１行列演算工程では、カメラ１による撮影画像及び撮影画像から得られる各種情報は不要である。本工程は、図６に示す第１行列演算部２１において実行されるが、カメラ１による撮影画像は用いられていない。
本実施形態では、マーカ８０が床面上に配置されているので、ＸW軸方向の座標は実質ゼロであるが、点Ｐ1の座標をＰ1（Ｘ1，Ｙ1，Ｚ1）、点Ｐ2の座標をＰ2（Ｘ2，Ｙ2，Ｚ2）とする。直線Ｌは、点Ｐ1から点Ｐ2へ向かう直線とする。光学中心ＯCから点Ｐ1の方向にはＮベクトルｍ1がある。光学中心ＯCから点Ｐ2の方向にはＮベクトルｍ2がある。説明を容易にするために図１８にはＮベクトルｍ1で代表させている。この結果、Ｎベクトルｍは、下記の式(3)のようになる。
また、Ｎベクトルｎは面ＯCＰ1Ｐ2の単位法線ベクトルとして、次の式(4)のようになる。
直線Ｌの向きｌは、下記の式(5)のようにｍとｎとの外積として得られる。
ｌ＝ｍ×ｎ ・・・(5)
その結果、回転行列Ｒ1は下記の式(6)のようになる。
Ｒ1＝（ｌｍｎ） ・・・(6)
このようにして、第１行列演算部２１は、ワールド座標系（基準座標系）におけるマーカ８０の校正点Ｑ（Ｐ1、Ｐ2）の座標に基づいて、カメラ１の光学中心ＯCから見た校正点Ｐ1、Ｐ2及び校正点Ｐ1、Ｐ2を通る直線Ｌに関するベクトルを示す第１行列Ｒ1を演算する。
〔第２行列演算工程〕
第２のカメラ座標系は、第１のカメラ座標系が光学中心ＯCを中心として回転した回転成分のある座標系である。第１行列演算工程とは異なり、カメラ１による撮影画像が用いられる。図１９に示すように、床面上に配置された校正点Ｑ（Ｐ1、Ｐ2）は、射影面上の点ｐ1、ｐ2に相当する。点ｐ1、ｐ2の射影面上での座標値は、既に説明したように、校正点特定部１５において特定されている。従って、図６に示すように、本工程は校正点特定部１５の結果を受けて第２行列演算部２２において実行される。
第２のカメラ座標系は、第１のカメラ座標系が光学中心ＯCを中心として回転した回転成分のある座標系である。第１行列演算工程とは異なり、カメラ１による撮影画像が用いられる。図１９に示すように、床面上に配置された校正点Ｑ（Ｐ1、Ｐ2）は、射影面上の点ｐ1、ｐ2に相当する。点ｐ1、ｐ2の射影面上での座標値は、既に説明したように、校正点特定部１５において特定されている。従って、図６に示すように、本工程は校正点特定部１５の結果を受けて第２行列演算部２２において実行される。
ここで、光学中心ＯCから射影面上の点ｐ1（ｘ1，ｙ1）、ｐ2（ｘ2，ｙ2）へのＮベクトルを考える。尚、（ｘi，ｙi）は射影面上（撮影画像上）の座標である。直線Ｌに相当する直線ｌは、点ｐ1から点ｐ2へ向かう直線とする。光学中心ＯCから点ｐ1の方向にはＮベクトルｍ1’がある。光学中心ＯCから点ｐ2の方向にはＮベクトルｍ2’がある。説明を容易にするために図１９にはＮベクトルｍ1’で代表させている。この結果、Ｎベクトルｍ’は、下記の式(7)のようになる。
また、Ｎベクトルｎ’は面ＯCｐ1ｐ2の単位法線ベクトルとして、次の式(8)のようになる。
直線Ｌの向きｌ’は、下記の式(9)のようにｍ’とｎ’との外積として得られる。
ｌ’＝ｍ’× ｎ’ ・・・(9)
その結果、回転行列Ｒ2は下記の式(10)のようになる。
Ｒ2＝（ｌ’ｍ’ｎ’） ・・・(10)
このようにして、第２行列演算部２２は、校正点特定部１５により特定された射影面（撮影画像）上の校正点Ｑ（ｐ1、ｐ2）の座標に基づいて、車載カメラの光学中心ＯCから見た校正点ｐ1、ｐ2及び校正点ｐ1、ｐ2を通る直線ｌに関するベクトルを示す第２行列Ｒ2を演算する
〔第３行列演算工程〕
第３行列演算部２３は、上記のようにして得られた第１行列Ｒ1及び第２行列Ｒ2に基づいて、ワールド座標系におけるカメラ１の回転状態を示す回転行列Ｒを演算する。つまり、上述した式(2)と同様に下記に示す式(11)に従って回転行列Ｒを演算する。
第３行列演算部２３は、上記のようにして得られた第１行列Ｒ1及び第２行列Ｒ2に基づいて、ワールド座標系におけるカメラ１の回転状態を示す回転行列Ｒを演算する。つまり、上述した式(2)と同様に下記に示す式(11)に従って回転行列Ｒを演算する。
Ｒ＝Ｒ2Ｒ1 T＝（ｌ’ｍ’ｎ’）（ｌｍｎ）T ・・・(11)
〔回転角演算工程〕
カメラ１は、ピンホールカメラに代表される透視カメラモデル（perspective camera model）である。透視カメラモデルのカメラ行列は、カメラの内部パラメータ行列と、外部パラメータ行列とから構成される。内部パラメータ行列は、焦点距離などのカメラ内部のパラメータ行列である。外部パラメータ行列は、並進行列Ｔ及び上記で求めた回転行列Ｒである。射影カメラモデル（projective camera model）は、透視カメラモデルのカメラ行列を一般化して表したものである。射影カメラモデルでは、上記で求めた回転行列Ｒが得られれば、三次元空間からの投影が可能である。しかし、透視カメラモデルでは、回転行列Ｒをさらに三次元直交座標の各軸の回転角パン・チルト・ロールに分解する必要がある。回転角演算部２５は、以下に示す手順で各軸の回転角を演算する。
カメラ１は、ピンホールカメラに代表される透視カメラモデル（perspective camera model）である。透視カメラモデルのカメラ行列は、カメラの内部パラメータ行列と、外部パラメータ行列とから構成される。内部パラメータ行列は、焦点距離などのカメラ内部のパラメータ行列である。外部パラメータ行列は、並進行列Ｔ及び上記で求めた回転行列Ｒである。射影カメラモデル（projective camera model）は、透視カメラモデルのカメラ行列を一般化して表したものである。射影カメラモデルでは、上記で求めた回転行列Ｒが得られれば、三次元空間からの投影が可能である。しかし、透視カメラモデルでは、回転行列Ｒをさらに三次元直交座標の各軸の回転角パン・チルト・ロールに分解する必要がある。回転角演算部２５は、以下に示す手順で各軸の回転角を演算する。
式(11)で求めた回転行列Ｒは、次式(12)のように書くことができる。ここで、θはチルト角、φはロール角、ψはパン角である。
r11 2 + r21 2 = cosφcosθ2 + sinφcosθ2 = cos2θ ・・・(13)
式(13)により、φが消去できるので、式(14)を得る。
式(14)には解が２つ存在する。「-r31」が「-sinθ」であるので、θは式(15)のようになる。
また、ｋを正の定数とすると式(16)である。
tan-1(a/b) = tan-1(ka/kb) ・・・(16)
ここで、cosθ≠０と置ける場合には、ロール角φとパン角ψは、それぞれ式(17)、式(18)のようになる。
ここで、カメラ１の搭載方法（下向き約３０度＝−３０度）に基づいて、式(19)の拘束条件を適用する。
-90[deg] ＜ チルト角θ ＜ +90[deg] ・・・(19)
式(19)の拘束条件より、チルト角θのcosの値がゼロとなる場合を無視することができるので、一意の回転角θ、φ、ψを求めることができる。
まず、式(19)より、「cosθ＞０」なので、負の値を考慮することなく、式(15)は次式(20)となり、チルト角θが定まる。
まず、式(19)より、「cosθ＞０」なので、負の値を考慮することなく、式(15)は次式(20)となり、チルト角θが定まる。
同様に「cosθ＞０」であるので、ロール角φとパン角ψは式(12)より、式(21)、式(22)に示すように容易に得られる。
〔投影パラメータ演算工程〕
以上、説明したようにカメラ１の外部パラメータとしての三次元直交座標の各軸に対する回転成分が求められた。外部パラメータの内の並進成分Ｔ（ＴX，ＴY，ＴZ）は、光軸中心ＯCの座標としてワールド座標系において既知である。また、内部パラメータはカメラ１の特性として既知である。従って、応用機能処理部１９の投影パラメータ演算部３１は、カメラ１の投影パラメータの全てを整えることができる。
以上、説明したようにカメラ１の外部パラメータとしての三次元直交座標の各軸に対する回転成分が求められた。外部パラメータの内の並進成分Ｔ（ＴX，ＴY，ＴZ）は、光軸中心ＯCの座標としてワールド座標系において既知である。また、内部パラメータはカメラ１の特性として既知である。従って、応用機能処理部１９の投影パラメータ演算部３１は、カメラ１の投影パラメータの全てを整えることができる。
〔座標変換工程〕
カメラ１の投影パラメータの全てが整うと、座標変換部３３は、校正点Ｑ（Ｐ1、Ｐ2）のワールド座標系の三次元座標値を二次元の射影面上の座標値に変換する。つまり、図２０に示すような理論上の校正点Ｖの座標値を演算する。
カメラ１の投影パラメータの全てが整うと、座標変換部３３は、校正点Ｑ（Ｐ1、Ｐ2）のワールド座標系の三次元座標値を二次元の射影面上の座標値に変換する。つまり、図２０に示すような理論上の校正点Ｖの座標値を演算する。
〔限界領域演算工程〕
図２０に示すように、限界領域演算部３５は、座標変換により求められた理論上の校正点Ｖを基準として各回転角度の許容誤差を加味した射影面上の限界領域Ｃを演算する。射影面上には、実際にカメラ１で撮影されたマーカ８０が映っている。また、校正点特定部１５によって特定された校正点Ｑ（Ｐ1、Ｐ2）の射影面上の座標も明らかである。ここで、校正点Ｑが限界領域Ｃの中に入っていれば、所定の精度でカメラ１が校正されたことになる。図２０に示すように、校正点Ｑが限界領域Ｃの外にある場合には、カメラ１の校正が成功していないことになる。
図２０に示すように、限界領域演算部３５は、座標変換により求められた理論上の校正点Ｖを基準として各回転角度の許容誤差を加味した射影面上の限界領域Ｃを演算する。射影面上には、実際にカメラ１で撮影されたマーカ８０が映っている。また、校正点特定部１５によって特定された校正点Ｑ（Ｐ1、Ｐ2）の射影面上の座標も明らかである。ここで、校正点Ｑが限界領域Ｃの中に入っていれば、所定の精度でカメラ１が校正されたことになる。図２０に示すように、校正点Ｑが限界領域Ｃの外にある場合には、カメラ１の校正が成功していないことになる。
描画部３ｂは、座標変換部３３で算出された理論上の校正点Ｖをカメラ１の撮影画像に重畳可能なように描画する。また、限界領域演算部３５で算出された限界領域Ｃをカメラ１の撮影画像に重畳可能なように描画する。さらに、校正点特定部１５によって特定された校正点Ｑの中心座標を強調する強調表示を描画する。そして、これらを表示コントローラ３ａを介して撮影画像上に重畳させて、画像信号として出力する。出力された画像信号は、ディスプレイ装置上で表示される。このように、描画部３ｂ及び表示コントローラ３ａは、本発明の重畳部に相当する。
尚、実際には図８に示したような撮影画像に限界領域Ｃ、校正点Ｖ及びＱが、例えば色分けされて重畳されるが、図示の視認性を考慮して図２０では、マーカ８０は省略している。
尚、実際には図８に示したような撮影画像に限界領域Ｃ、校正点Ｖ及びＱが、例えば色分けされて重畳されるが、図示の視認性を考慮して図２０では、マーカ８０は省略している。
〔成否判定工程〕
図２１は、カメラ１の校正装置を含む車両９０の組み立て調整制御装置のディスプレイ装置の表示画面の一例である。上述した理論上の校正点Ｖ、限界領域Ｃ、実際に撮影された画像から求めた校正点Ｑが、表示される。本例では、一方の校正点Ｑ２は限界領域Ｃ内であるが、他方の校正点Ｑ１が限界領域Ｃ外となった場合を示している。例えば、車両９０の組み立て調整を行う作業者は、この画面により校正の成否を判定することができる。
また、作業者の目視に依らず、自動的に成否を判定することもできる。射影面上での各座標値は上述したように既に算出されているので、成否判定部３７は、校正の成否を自動的に判定する。
図２１は、カメラ１の校正装置を含む車両９０の組み立て調整制御装置のディスプレイ装置の表示画面の一例である。上述した理論上の校正点Ｖ、限界領域Ｃ、実際に撮影された画像から求めた校正点Ｑが、表示される。本例では、一方の校正点Ｑ２は限界領域Ｃ内であるが、他方の校正点Ｑ１が限界領域Ｃ外となった場合を示している。例えば、車両９０の組み立て調整を行う作業者は、この画面により校正の成否を判定することができる。
また、作業者の目視に依らず、自動的に成否を判定することもできる。射影面上での各座標値は上述したように既に算出されているので、成否判定部３７は、校正の成否を自動的に判定する。
〔報知工程〕
成否判定部３７による判定結果は、描画部３ｂ及び表示コントローラ３ａを介してディスプレイ装置に表示される。図２１に示した例では、「光軸調整ＮＧ（Ｓ１）」とのスーパーインポーズが表示される。また、ディスプレイ装置がタッチパネルなど、入力を受け付ける機能を有している場合には、「再調整（Ｓ２）」や「戻る（Ｓ３）」という操作ボタンが設けられる。これらの入力は、入力信号となって入力Ｉ／Ｆ部６からシステム制御部５へと伝達される。
また、このような視覚的な表示に限らず、ブザーやチャイム、音声などにより、聴覚的に報知してもよい。システム制御部５、出力Ｉ／Ｆ部７を介して、校正結果を外部に出力するようにしてもよい。
成否判定部３７による判定結果は、描画部３ｂ及び表示コントローラ３ａを介してディスプレイ装置に表示される。図２１に示した例では、「光軸調整ＮＧ（Ｓ１）」とのスーパーインポーズが表示される。また、ディスプレイ装置がタッチパネルなど、入力を受け付ける機能を有している場合には、「再調整（Ｓ２）」や「戻る（Ｓ３）」という操作ボタンが設けられる。これらの入力は、入力信号となって入力Ｉ／Ｆ部６からシステム制御部５へと伝達される。
また、このような視覚的な表示に限らず、ブザーやチャイム、音声などにより、聴覚的に報知してもよい。システム制御部５、出力Ｉ／Ｆ部７を介して、校正結果を外部に出力するようにしてもよい。
〔制限工程〕
一方、「次へ（Ｓ４）」の操作ボタンは、他のスーパーインポーズに比べて淡く表示され、選択できないようにその機能が制限される。カメラ１の校正は、車両９０の組み立て調整作業の中で実施される。カメラ１の校正が不成功である場合に、組み立て調整作業を継続すれば、校正が不十分な製品が後工程に送られる可能性がある。しかし、次の組み立て校正作業への移行を制限すれば、そのような問題を未然に防止することができる。また、作業者は校正のやり直しなどの対策を迅速に実施することができる。
このような制限処理は応用機能処理部１９やシステム制御部５で実行し、画像出力部３に伝達する。また、出力Ｉ／Ｆ回路７を介して校正結果を受け取った組み立て調整システムなどで実行してもよい。その場合は、制限の指示が入力Ｉ／Ｆ回路６を介して画像出力部３に与えられる。
一方、「次へ（Ｓ４）」の操作ボタンは、他のスーパーインポーズに比べて淡く表示され、選択できないようにその機能が制限される。カメラ１の校正は、車両９０の組み立て調整作業の中で実施される。カメラ１の校正が不成功である場合に、組み立て調整作業を継続すれば、校正が不十分な製品が後工程に送られる可能性がある。しかし、次の組み立て校正作業への移行を制限すれば、そのような問題を未然に防止することができる。また、作業者は校正のやり直しなどの対策を迅速に実施することができる。
このような制限処理は応用機能処理部１９やシステム制御部５で実行し、画像出力部３に伝達する。また、出力Ｉ／Ｆ回路７を介して校正結果を受け取った組み立て調整システムなどで実行してもよい。その場合は、制限の指示が入力Ｉ／Ｆ回路６を介して画像出力部３に与えられる。
〔成否判定工程（別実施形態）〕
図７に示すように、合否判定部３７は、校正点特定部１５からの出力に基づいてカメラ１の校正の合否を判定することもできる。つまり、最終的な投影パラメータの算出を待つことなく、校正の途中の工程において当該校正の合否を迅速に判定することができる。
図７に示すように、合否判定部３７は、校正点特定部１５からの出力に基づいてカメラ１の校正の合否を判定することもできる。つまり、最終的な投影パラメータの算出を待つことなく、校正の途中の工程において当該校正の合否を迅速に判定することができる。
校正点特定部１５によって特定される校正点Ｑの座標は、カメラ１が正常に取り付けられていれば、ある程度の座標範囲内に収まる。逆に、特定された校正点Ｑがこの座標範囲内に収まっていなければ、それ以降、校正を継続しても成功しない可能性が高くなる。従って、特定された校正点Ｑが所定の座標範囲内に存在するか否かに基づいて校正の成否を判定すると迅速な判定が可能となる。
図２２は、エッジ検出後の画像の一例を示す図である。図１１と対比すると、図２２（ａ）はエッジ点群Ｅの数が多く、（ｂ）はエッジ点群Ｅの数が少ない。エッジ点群Ｅの数が多いと、直線当てはめ工程において無駄な直線を当てはめたり、誤った直線を当てはめてしまったりする可能性が生じる。その結果、直線が誤った座標で交差して校正点の特定ができなくなる。また、エッジ点群Ｅの数が少ないと、直線当てはめ工程において直線を当てはめることができなかったり、誤った直線を当てはめたりしてしまう可能性が生じる。その結果、やはり校正点の特定ができなくなる。
このように、エッジ点群Ｅの数が適正な範囲、即ち所定の許容範囲内でなければ、校正点の特定ができず、カメラ１の校正が成功しない可能性が高くなる。従って、成否判定部３７は、検出された輪郭線の画素数が所定の許容範囲内か否かに基づいてカメラ１の校正の成否を判定する。
画素数の判定は、領域設定部１３で設定された領域において実施されるので、精度のよい判定が可能である。
画素数の判定は、領域設定部１３で設定された領域において実施されるので、精度のよい判定が可能である。
図２３は、エッジ検出後の画像の別の例を示す図である。図２３において破線で挟まれた領域は、領域設定工程において設定された領域内において輪郭線が検出されると想定される想定領域Ａである。図２３では、この想定領域Ａにエッジ点群Ｅが存在せず（又は少なく）、想定領域Ａの外に多くのエッジ点群Ｅが存在する。つまり、領域設定工程において設定された領域内においてエッジ点群Ｅの分布に偏りが生じている。このような場合には、領域設定工程において正しい領域が設定されていないことも考えられる。そして、その場合には、車両９０が正しい位置に停止していなかったり、カメラ１が著しく外れた位置に取り付けられたりしていることも考えられる。いずれにせよカメラ１の校正を継続しても正しい結果は得られない。
このように、領域設定工程において設定された領域内において、エッジ点群Ｅ（輪郭線の画素）の分布が偏っていればカメラ１の校正が成功しない可能性が高くなる。従って、成否判定部３７は、検出された輪郭線の画素の分布に基づいてカメラ１の校正の成否を判定する。
画素の偏りの判定は、領域設定部１３で設定された領域において実施されるので、精度のよい判定が可能である。
画素の偏りの判定は、領域設定部１３で設定された領域において実施されるので、精度のよい判定が可能である。
図２４は、エッジ検出後の画像の別の例を示す図である。図２３とは異なり、想定領域Ａ内にエッジ点群Ｅが多く存在する。しかし、想定領域Ａの外の領域Ｂにも多くのエッジ点群Ｅが存在する。このため、直線当てはめ工程において無駄な直線を当てはめたり、誤った直線を当てはめてしまったりする可能性が生じる。その結果、直線が誤った座標で交差して校正点の特定ができなくなる。このような場合には、カメラ１の撮影画像にノイズが多いなどの理由が考えられる。
このように、想定領域Ａの外の領域Ｂにも多くのエッジ点群Ｅが存在する場合には、カメラ１の校正が成功しない可能性が高くなる。従って、成否判定部３７は、想定領域Ａの外で検出された輪郭線の画素数に基づいてカメラ１の校正の成否を判定する。
画素数の判定は、領域設定部１３で設定された領域において実施されるので、精度のよい判定が可能である。
画素数の判定は、領域設定部１３で設定された領域において実施されるので、精度のよい判定が可能である。
また、輪郭線が検出される前の画像（図１０参照）の平均濃度に基づいてカメラ１の校正の成否を判定してもよい。上述したようにエッジ点群Ｅに変化が生じる場合には、輪郭線を検出する前の画像にも変化が生じている可能性が高い。従って、平均濃度に基づいてカメラ１の成否を判定するとより迅速な判定が可能となる。
濃度の判定は、領域設定部１３で設定された領域において実施されるので、精度のよい判定が可能である。
濃度の判定は、領域設定部１３で設定された領域において実施されるので、精度のよい判定が可能である。
図２５は、エッジ検出が適正でない場合の組み立て調整画面の一例を示す説明図である。図２１に対応する画面であるが、カメラ１の投影パラメータを演算する前に校正の成否を判定しているので、図２１とは異なった報知、例えば「マーカ未検出（Ｓ５）」との表示がなされる。
以上、説明したように、本発明によって、簡単な構成で、短時間で精度良く車載カメラの校正が可能、且つ校正の成否を迅速に判定可能な車載カメラの校正装置を提供することができる。
１：カメラ（車載カメラ）
２：画像受け取り部
３：画像出力部（重畳部）
１０：画像処理部
１３：領域設定部
１５：校正点特定部
２１：第１行列演算部
２２：第２行列演算部
２３：第３行列演算部
２５：回転角演算部
３１：投影パラメータ演算部
３３：座標変換部
３５：限界領域設定部
３７：成否判定部
８０：マーカ（校正指標）
９０：車両
Ｃ：限界領域
Ｅ：エッジ点（輪郭線の画素）
Ｑ：校正点
２：画像受け取り部
３：画像出力部（重畳部）
１０：画像処理部
１３：領域設定部
１５：校正点特定部
２１：第１行列演算部
２２：第２行列演算部
２３：第３行列演算部
２５：回転角演算部
３１：投影パラメータ演算部
３３：座標変換部
３５：限界領域設定部
３７：成否判定部
８０：マーカ（校正指標）
９０：車両
Ｃ：限界領域
Ｅ：エッジ点（輪郭線の画素）
Ｑ：校正点
Claims (8)
- 車両に取り付けられた車載カメラを校正する車載カメラの校正装置であって、
少なくとも異なる２箇所に配置された校正指標を視界内に含む前記車載カメラの撮影画像を受け取る画像受け取り部と、
前記撮影画像において前記校正指標の中のそれぞれの校正点を特定する校正点特定部と、
基準座標系における前記校正指標の前記校正点の座標に基づいて、前記車載カメラの光学中心から見た前記校正点及び前記校正点を通る直線に関するベクトルを示す第１行列を演算する第１行列演算部と、
前記校正点特定部により特定された前記撮影画像上の前記校正点の座標に基づいて、前記車載カメラの光学中心から見た当該校正点及び当該校正点を通る直線に関するベクトルを示す第２行列を演算する第２行列演算部と、
前記第１行列及び前記第２行列に基づいて、前記基準座標系における前記車載カメラの回転状態を示す回転行列を演算する第３行列演算部と、
前記撮影画像に基づいて前記車載カメラの校正の成否を判定する成否判定部と、を有する車載カメラの校正装置。 - 前記成否判定部は、前記校正点特定部で特定された前記校正点が所定の座標範囲内に存在するか否かに基づいて成否を判定する請求項１に記載の車載カメラの校正装置。
- 前記撮影画像上において前記校正点が含まれる領域を設定する領域設定部を有し、
前記校正点特定部は、設定された前記領域に対して輪郭線検出を行い、検出された輪郭線情報に基づいて前記校正点を特定するものであり、
前記成否判定部は、検出された輪郭線の画素数が所定の許容範囲内か否かに基づいて成否を判定する請求項１に記載の車載カメラの校正装置。 - 前記撮影画像上において前記校正点が含まれる領域を設定する領域設定部を有し、
前記校正点特定部は、設定された前記領域に対して輪郭線検出を行い、検出された輪郭線情報に基づいて前記校正点を特定するものであり、
前記成否判定部は、検出された輪郭線の画素の前記領域内における分布に基づいて成否を判定する請求項１に記載の車載カメラの校正装置。 - 前記撮影画像上において前記校正点が含まれる領域を設定する領域設定部を有し、
前記校正点特定部は、設定された前記領域に対して輪郭線検出を行い、検出された輪郭線情報に基づいて前記校正点を特定するものであり、
前記成否判定部は、設定された領域内において輪郭線が検出されると想定される想定領域を設定すると共に、当該想定領域外で検出された輪郭線の画素数に基づいて成否を判定する請求項１に記載の車載カメラの校正装置。 - 前記撮影画像上において前記校正点が含まれる領域を設定する領域設定部を有し、
前記成否判定部は、当該領域内の平均濃度が所定の許容範囲内であるか否かに基づいて成否を判定する請求項１に記載の車載カメラの校正装置。 - 前記成否判定部による判定結果を少なくとも視覚的又は聴覚的に報知する報知部を有する請求項１〜６の何れか一項に記載の車載カメラの校正装置。
- 請求項１〜６の何れか一項に記載の車載カメラの校正装置を用いて前記車載カメラの校正を行う組立調整工程を含む複数の組立調整工程を順次行う車両の生産方法であって、
前記成否判定部による判定結果が否であった場合に、前記車載カメラの校正の次の組立調整作業への移行を制限する制限工程を有する車両の生産方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006312991A JP4803450B2 (ja) | 2006-11-20 | 2006-11-20 | 車載カメラの校正装置及び当該装置を用いた車両の生産方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006312991A JP4803450B2 (ja) | 2006-11-20 | 2006-11-20 | 車載カメラの校正装置及び当該装置を用いた車両の生産方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008131250A true JP2008131250A (ja) | 2008-06-05 |
| JP4803450B2 JP4803450B2 (ja) | 2011-10-26 |
Family
ID=39556686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006312991A Expired - Fee Related JP4803450B2 (ja) | 2006-11-20 | 2006-11-20 | 車載カメラの校正装置及び当該装置を用いた車両の生産方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4803450B2 (ja) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010016379A1 (ja) | 2008-08-05 | 2010-02-11 | アイシン精機株式会社 | ターゲット位置特定装置 |
| JP2010085186A (ja) * | 2008-09-30 | 2010-04-15 | Aisin Seiki Co Ltd | 車載カメラの校正装置 |
| JP2010087743A (ja) * | 2008-09-30 | 2010-04-15 | Aisin Seiki Co Ltd | 車載カメラの校正装置 |
| JP2010109447A (ja) * | 2008-10-28 | 2010-05-13 | Toyota Motor Corp | カメラの光軸調整方法 |
| JP2010109883A (ja) * | 2008-10-31 | 2010-05-13 | Toyota Motor Corp | カメラの光軸調整方法 |
| EP2237223A1 (en) * | 2009-03-31 | 2010-10-06 | Aisin Seiki Kabushiki Kaisha | Calibrating apparatus for on-board camera of vehicle |
| EP2237224A1 (en) * | 2009-03-31 | 2010-10-06 | Aisin Seiki Kabushiki Kaisha | Calibrating apparatus for on-board camera of vehicle |
| WO2010113672A1 (ja) | 2009-03-31 | 2010-10-07 | アイシン精機株式会社 | 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、当該校正指標を用いた車載カメラの校正装置のためのプログラム |
| WO2010113673A1 (ja) | 2009-03-31 | 2010-10-07 | アイシン精機株式会社 | 車載カメラの校正装置、方法、及びプログラム |
| JP2010258897A (ja) * | 2009-04-27 | 2010-11-11 | Fujitsu Ltd | 判定プログラムおよびキャリブレーション装置 |
| JP2011087308A (ja) * | 2010-11-25 | 2011-04-28 | Aisin Seiki Co Ltd | 車載カメラの校正装置、方法、及びプログラム |
| JP2011155687A (ja) * | 2011-04-06 | 2011-08-11 | Aisin Seiki Co Ltd | 車載カメラの校正装置 |
| WO2012001793A1 (ja) * | 2010-06-30 | 2012-01-05 | 富士通株式会社 | 画像処理プログラムおよび画像処理装置 |
| JP2012023758A (ja) * | 2011-09-12 | 2012-02-02 | Aisin Seiki Co Ltd | 車載カメラの校正装置と、車載カメラの校正方法と、車載カメラの校正装置のためのプログラム |
| WO2012023370A1 (ja) | 2010-08-19 | 2012-02-23 | アイシン精機株式会社 | ターゲット位置決定装置 |
| KR101175628B1 (ko) | 2011-12-05 | 2012-08-22 | 주식회사 미디어네이처 | 3ｄ 데이터 획득 방법 |
| CN103079902A (zh) * | 2010-09-06 | 2013-05-01 | 爱信精机株式会社 | 驾驶支援装置 |
| JP2014230215A (ja) * | 2013-05-24 | 2014-12-08 | 京セラ株式会社 | カメラ較正装置、およびカメラ較正方法 |
| JP2015200586A (ja) * | 2014-04-09 | 2015-11-12 | パナソニックＩｐマネジメント株式会社 | 車両評価装置 |
| JP2016100887A (ja) * | 2014-11-26 | 2016-05-30 | 株式会社デンソー | 画像変換装置および画像変換方法 |
| JP2019028456A (ja) * | 2017-07-27 | 2019-02-21 | 大日本印刷株式会社 | 回折光学素子、光照射装置、光照射システム、投影パターンの補正方法 |
| US10304210B2 (en) * | 2017-05-25 | 2019-05-28 | GM Global Technology Operations LLC | Method and apparatus for camera calibration |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001116515A (ja) * | 1999-10-21 | 2001-04-27 | Matsushita Electric Ind Co Ltd | キャリブレーション方法 |
| JP2001187552A (ja) * | 1999-10-19 | 2001-07-10 | Toyota Autom Loom Works Ltd | 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法 |
| JP2001245326A (ja) * | 1999-12-24 | 2001-09-07 | Aisin Seiki Co Ltd | 車載カメラの校正装置および校正方法、並びに校正指標 |
| JP2002262156A (ja) * | 2000-12-26 | 2002-09-13 | Matsushita Electric Ind Co Ltd | カメラ装置、カメラシステムおよび画像処理方法 |
| JP2004037270A (ja) * | 2002-07-03 | 2004-02-05 | Topcon Corp | キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置 |
| JP2005077107A (ja) * | 2003-08-29 | 2005-03-24 | Toyota Motor Corp | 車載カメラのキャリブレーション方法及びキャリブレーション装置 |
| JP2005249729A (ja) * | 2004-03-08 | 2005-09-15 | Matsushita Electric Ind Co Ltd | 設置ズレ検出システム |
| JP2006148745A (ja) * | 2004-11-24 | 2006-06-08 | Aisin Seiki Co Ltd | カメラの校正方法及びカメラの校正装置 |
-
2006
- 2006-11-20 JP JP2006312991A patent/JP4803450B2/ja not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001187552A (ja) * | 1999-10-19 | 2001-07-10 | Toyota Autom Loom Works Ltd | 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法 |
| JP2001116515A (ja) * | 1999-10-21 | 2001-04-27 | Matsushita Electric Ind Co Ltd | キャリブレーション方法 |
| JP2001245326A (ja) * | 1999-12-24 | 2001-09-07 | Aisin Seiki Co Ltd | 車載カメラの校正装置および校正方法、並びに校正指標 |
| JP2002262156A (ja) * | 2000-12-26 | 2002-09-13 | Matsushita Electric Ind Co Ltd | カメラ装置、カメラシステムおよび画像処理方法 |
| JP2004037270A (ja) * | 2002-07-03 | 2004-02-05 | Topcon Corp | キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置 |
| JP2005077107A (ja) * | 2003-08-29 | 2005-03-24 | Toyota Motor Corp | 車載カメラのキャリブレーション方法及びキャリブレーション装置 |
| JP2005249729A (ja) * | 2004-03-08 | 2005-09-15 | Matsushita Electric Ind Co Ltd | 設置ズレ検出システム |
| JP2006148745A (ja) * | 2004-11-24 | 2006-06-08 | Aisin Seiki Co Ltd | カメラの校正方法及びカメラの校正装置 |
Cited By (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4725821B2 (ja) * | 2008-08-05 | 2011-07-13 | アイシン精機株式会社 | ターゲット位置特定装置 |
| KR101205428B1 (ko) | 2008-08-05 | 2012-11-27 | 아이신세이끼가부시끼가이샤 | 타겟 위치 특정 장치 |
| WO2010016379A1 (ja) | 2008-08-05 | 2010-02-11 | アイシン精機株式会社 | ターゲット位置特定装置 |
| JPWO2010016379A1 (ja) * | 2008-08-05 | 2012-01-19 | アイシン精機株式会社 | ターゲット位置特定装置 |
| US8077199B2 (en) | 2008-08-05 | 2011-12-13 | Aisin Seiki Kabushiki Kaisha | Target position identifying apparatus |
| JP2010085186A (ja) * | 2008-09-30 | 2010-04-15 | Aisin Seiki Co Ltd | 車載カメラの校正装置 |
| JP2010087743A (ja) * | 2008-09-30 | 2010-04-15 | Aisin Seiki Co Ltd | 車載カメラの校正装置 |
| US8280665B2 (en) | 2008-09-30 | 2012-10-02 | Aisin Seiki Kabushiki Kaisha | Calibration device for on-vehicle camera |
| JP2010109447A (ja) * | 2008-10-28 | 2010-05-13 | Toyota Motor Corp | カメラの光軸調整方法 |
| JP2010109883A (ja) * | 2008-10-31 | 2010-05-13 | Toyota Motor Corp | カメラの光軸調整方法 |
| WO2010113672A1 (ja) | 2009-03-31 | 2010-10-07 | アイシン精機株式会社 | 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、当該校正指標を用いた車載カメラの校正装置のためのプログラム |
| WO2010113673A1 (ja) | 2009-03-31 | 2010-10-07 | アイシン精機株式会社 | 車載カメラの校正装置、方法、及びプログラム |
| JP2010239411A (ja) * | 2009-03-31 | 2010-10-21 | Aisin Seiki Co Ltd | 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、当該校正指標を用いた車載カメラの校正装置のためのプログラム |
| KR101245906B1 (ko) * | 2009-03-31 | 2013-03-20 | 도요타지도샤가부시키가이샤 | 차량 탑재 카메라의 교정에 사용할 수 있는 교정 지표와, 교정 지표를 사용한 차량 탑재 카메라의 교정 방법, 및 교정 지표를 사용한 차량 탑재 카메라의 교정 장치를 위한 프로그램 |
| JP4636346B2 (ja) * | 2009-03-31 | 2011-02-23 | アイシン精機株式会社 | 車載カメラの校正装置、方法、及びプログラム |
| US8908037B2 (en) | 2009-03-31 | 2014-12-09 | Aisin Seiki Kabushiki Kaisha | Calibration device, method, and program for on-board camera |
| JP4690476B2 (ja) * | 2009-03-31 | 2011-06-01 | アイシン精機株式会社 | 車載カメラの校正装置 |
| JP2010239409A (ja) * | 2009-03-31 | 2010-10-21 | Aisin Seiki Co Ltd | 車載カメラの校正装置 |
| US8866904B2 (en) | 2009-03-31 | 2014-10-21 | Aisin Seiki Kabushiki Kaisha | Calibrating apparatus for on-board camera of vehicle |
| JP2010239412A (ja) * | 2009-03-31 | 2010-10-21 | Aisin Seiki Co Ltd | 車載カメラの校正装置、方法、及びプログラム |
| EP2237223A1 (en) * | 2009-03-31 | 2010-10-06 | Aisin Seiki Kabushiki Kaisha | Calibrating apparatus for on-board camera of vehicle |
| JP2010239408A (ja) * | 2009-03-31 | 2010-10-21 | Aisin Seiki Co Ltd | 車載カメラの校正装置 |
| CN102342088A (zh) * | 2009-03-31 | 2012-02-01 | 爱信精机株式会社 | 用于校正车载照相机的校正指标、利用该校正指标的车载照相机的校正方法以及用于使用该校正指标的车载照相机的校正装置的程序 |
| US8717442B2 (en) | 2009-03-31 | 2014-05-06 | Aisin Seiki Kabushiki Kaisha | Calibration index for use in calibration of onboard camera, method of onboard camera calibration using the calibration index and program for calibration apparatus for onboard camera using the calibration index |
| KR101265012B1 (ko) | 2009-03-31 | 2013-05-24 | 아이신세이끼가부시끼가이샤 | 차량 탑재 카메라의 교정 장치, 방법 및 프로그램 |
| US8248471B2 (en) | 2009-03-31 | 2012-08-21 | Aisin Seiki Kabushiki Kaisha | Calibrating apparatus for on-board camera of vehicle |
| EP2237224A1 (en) * | 2009-03-31 | 2010-10-06 | Aisin Seiki Kabushiki Kaisha | Calibrating apparatus for on-board camera of vehicle |
| JP2010258897A (ja) * | 2009-04-27 | 2010-11-11 | Fujitsu Ltd | 判定プログラムおよびキャリブレーション装置 |
| JP5472463B2 (ja) * | 2010-06-30 | 2014-04-16 | 富士通株式会社 | 画像処理プログラムおよび画像処理装置 |
| WO2012001793A1 (ja) * | 2010-06-30 | 2012-01-05 | 富士通株式会社 | 画像処理プログラムおよび画像処理装置 |
| US8675959B2 (en) | 2010-06-30 | 2014-03-18 | Fujitsu Limited | Computer-readable recording medium and image processing apparatus |
| WO2012023370A1 (ja) | 2010-08-19 | 2012-02-23 | アイシン精機株式会社 | ターゲット位置決定装置 |
| JP5252247B2 (ja) * | 2010-08-19 | 2013-07-31 | アイシン精機株式会社 | ターゲット位置決定装置 |
| EP2614997A4 (en) * | 2010-09-06 | 2016-11-23 | Aisin Seiki | DRIVER ASSISTING DEVICE |
| US9294733B2 (en) | 2010-09-06 | 2016-03-22 | Aisin Seiki Kabushiki Kaisha | Driving assist apparatus |
| CN103079902A (zh) * | 2010-09-06 | 2013-05-01 | 爱信精机株式会社 | 驾驶支援装置 |
| JP5561566B2 (ja) * | 2010-09-06 | 2014-07-30 | アイシン精機株式会社 | 運転支援装置 |
| JP2011087308A (ja) * | 2010-11-25 | 2011-04-28 | Aisin Seiki Co Ltd | 車載カメラの校正装置、方法、及びプログラム |
| JP2011155687A (ja) * | 2011-04-06 | 2011-08-11 | Aisin Seiki Co Ltd | 車載カメラの校正装置 |
| JP2012023758A (ja) * | 2011-09-12 | 2012-02-02 | Aisin Seiki Co Ltd | 車載カメラの校正装置と、車載カメラの校正方法と、車載カメラの校正装置のためのプログラム |
| KR101175628B1 (ko) | 2011-12-05 | 2012-08-22 | 주식회사 미디어네이처 | 3ｄ 데이터 획득 방법 |
| JP2014230215A (ja) * | 2013-05-24 | 2014-12-08 | 京セラ株式会社 | カメラ較正装置、およびカメラ較正方法 |
| JP2015200586A (ja) * | 2014-04-09 | 2015-11-12 | パナソニックＩｐマネジメント株式会社 | 車両評価装置 |
| JP2016100887A (ja) * | 2014-11-26 | 2016-05-30 | 株式会社デンソー | 画像変換装置および画像変換方法 |
| WO2016084308A1 (ja) * | 2014-11-26 | 2016-06-02 | 株式会社デンソー | 画像変換装置および画像変換方法 |
| DE112015005317B4 (de) | 2014-11-26 | 2022-01-27 | Denso Corporation | Bildumwandlungsvorrichtung und bildumwandlungsverfahren |
| US10304210B2 (en) * | 2017-05-25 | 2019-05-28 | GM Global Technology Operations LLC | Method and apparatus for camera calibration |
| JP2019028456A (ja) * | 2017-07-27 | 2019-02-21 | 大日本印刷株式会社 | 回折光学素子、光照射装置、光照射システム、投影パターンの補正方法 |
| JP7230358B2 (ja) | 2017-07-27 | 2023-03-01 | 大日本印刷株式会社 | 回折光学素子、光照射装置、光照射システム、投影パターンの補正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4803450B2 (ja) | 2011-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4803450B2 (ja) | 車載カメラの校正装置及び当該装置を用いた車両の生産方法 | |
| JP4803449B2 (ja) | 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法 | |
| JP4690476B2 (ja) | 車載カメラの校正装置 | |
| JP4751939B2 (ja) | 車載カメラの校正装置 | |
| JP4636346B2 (ja) | 車載カメラの校正装置、方法、及びプログラム | |
| US9361687B2 (en) | Apparatus and method for detecting posture of camera mounted on vehicle | |
| JP5081313B2 (ja) | 車載カメラの校正装置 | |
| EP3100234B1 (en) | Data-processing system and method for calibration of a vehicle surround view system | |
| JP5240527B2 (ja) | 車載カメラの校正装置、方法、及びプログラム | |
| JP6354425B2 (ja) | 車載カメラの取り付け姿勢検出方法およびその装置 | |
| JP4861034B2 (ja) | 車載カメラのキャリブレーションシステム | |
| US11407363B2 (en) | Method for calculating a tow hitch position | |
| US20130002861A1 (en) | Camera distance measurement device | |
| JP6565769B2 (ja) | 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム | |
| US9892519B2 (en) | Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle | |
| WO2016146559A1 (en) | Method for determining a position of an object in a three-dimensional world coordinate system, computer program product, camera system and motor vehicle | |
| JP6202356B2 (ja) | 画像処理装置及び方法、並びに撮像装置 | |
| JP2013005032A (ja) | 車載カメラ姿勢検出装置 | |
| EP3629292A1 (en) | Reference point selection for extrinsic parameter calibration | |
| JP6855254B2 (ja) | 画像処理装置、画像処理システム、及び、画像処理方法 | |
| JP2010232852A (ja) | カメラ校正装置 | |
| CN116823963A (zh) | 一种基于车载倒车影像系统的外参标定方法和装置 | |
| JPH01121975A (ja) | 視覚センサのための光軸補正方式 | |
| JP2013229692A (ja) | 車載カメラ取付角検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091015 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110714 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110727 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4803450 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140819 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |