JP2020113908A - 乗り物用カメラの校正方法及び校正用マーカのセット - Google Patents

Abstract

【課題】乗り物に取り付けられたカメラの校正工程に必要な時間を短縮する。【解決手段】乗り物用カメラの校正方法において、校正用マーカが複数並べて配置され、乗り物に取り付けられたカメラにより撮像可能な前記校正用マーカを選択的に用いて校正を行う。【選択図】図１

Description

本発明は、車両などの乗り物用カメラ装置の校正方法、及び校正用マーカのセットに関する。

車両に取り付けられたカメラで周辺環境を撮像し、運転者に各種情報を提示する、運転者支援技術が存在する。車両を上から俯瞰したトップビューを運転者に提示するシステムや、車両の後退を支援するためのリアビューを提示するシステム等である。かかる運転者支援技術において、撮像を精確に行う為に、カメラの校正（キャリブレーション）が必須である。

車載カメラの校正を簡易な設備で実施するために、例えば特許文献１は、車の形状に対応した２点と交わる線を含み、カメラ撮像範囲内に少なくとも２本配置される参照線ＲＬと、この参照線ＲＬの間に予め定められたパターン形状を有する校正用パターンとを有する測定領域と、画像処理部とを備え、画像処理部が、カメラで校正用パターン及び参照線が配置される測定領域ＭＡを撮影することで測定用画像を生成し、前記２本の前記参照線に基づいて車の停車位置と前記パターン形状との座標関係を停車誤差として算出し、当該停車誤差をキャンセルした状態で前記パターン形状に基づいて前記カメラの取付姿勢に対応する外部パラメータを算出することを記載している。

特開２０１３−００２８２０号公報

車両の生産工場はこれまで、軽自動車、普通車、大型車などの車両サイズ毎に異なる生産ラインを用いていた。そして、生産する車両のサイズに応じたカメラ校正用マーカ（ターゲット）を生産工場内に固定的に設置することにより、車載カメラの校正工程を行っていた。

ところが近年、異なるサイズの車両を同一の生産ラインで製造する混流生産が増加してきた。生産ラインの数を減らして製造コストを下げるためである。かかる混流生産においては、異なるサイズの車両に取り付けられたカメラを校正する際に、校正用マーカの移動を必要としていた。

例えば、小型車の為の生産ラインを、大型車の生産に用いようとした場合、大型車のリアカメラによって校正用マーカを適切な位置、角度で撮像することができない。これは、固定されている校正用マーカに対する車載カメラの相対的位置が、車両のサイズによって変わるためである。また、校正用マーカが大型車の車体の死角に入り、そもそもその校正用マーカを撮像できなくなることもある。

そのため、１つの生産ラインで異なるサイズの車両を生産する混流生産の場合には、固定設置されていた校正用マーカを、車両に応じて移動する必要があった。この校正用マーカの移動には時間がかかり、結果として、当該生産ラインで行われる校正工程に必要な時間が長くなるという、潜在的な問題点が存在していた。

本発明はかかる問題点に鑑みてなされたものであり、乗り物に取り付けられたカメラの校正工程に必要な時間を短縮することを目的とする。

乗り物用カメラの校正方法において、校正用マーカが複数並べて配置され、乗り物に取り付けられたカメラにより撮像可能な前記校正用マーカを選択的に用いて校正を行う。また、乗り物用カメラの校正のために、校正用マーカを複数並べて配置した、校正用マーカのセットにおいて、複数の前記校正用マーカが、前記乗り物のサイズの可変方向に沿うように、並べて配置されている。前記構成により、校正用マーカを移動せずとも、サイズの異なる乗り物に取り付けられたカメラの校正が可能となり、校正工程にかかる時間を短縮することができる。

本発明によれば、乗り物に取り付けられたカメラの校正工程に必要な時間を短縮することができる。

小型車についての、本発明の一実施形態に係る校正方法を示す概念図。 大型車についての、本発明の一実施形態に係る校正方法を示す概念図。 本発明の一実施形態に係る校正方法を実施するための、校正システム２の構成図。 校正工程中に、車両αの後方カメラＣＡＭ４によって撮像された画像を示す模式図。 優先度に従った校正処理例を示すフロー図。 校正用マーカの差別化についての説明図。 立体マーカの説明図。 未使用の校正用マーカの消灯を示す図。 後退補助機能についての本発明の一実施形態に係る校正方法を示す図。

以下、乗り物は自動車であり、該自動車に取り付けられた全周囲カメラの校正を行うという前提で、適宜図面を参照しながら詳細に説明する。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図１は、小型車についての、本発明の一実施形態に係る校正方法を示す概念図である。同図において、車両αは例えば軽自動車等の小型車である。車両α内の矢印は、車両αの進行方向を示している。車両αは、前方カメラＣＡＭ１、右方カメラＣＡＭ２、左方カメラＣＡＭ３、後方カメラＣＡＭ４を備えている。一般的に、前方カメラＣＡＭ１は車両αのフロント部分に、右方カメラＣＡＭ２および左方カメラＣＡＭ３は車両αのドアミラー部分に、後方カメラＣＡＭ４は車両αのリア部分に、それぞれ設けられている。

車両αは、校正を行うために、図示を省略する正対装置等の位置決め手段により、一定精度以内での位置決めが行われる。例えば、車両αの前輪軸を所定の位置へと固定してもよいし、車両αの後輪軸を所定の位置へと固定してもよい。

車両αの進行方向に沿うように、複数の校正用マーカが、車両αを挟んで二列、並べて配置されている。図１においては、車両αの右側（図の上側）に６つのマーカＭＲ１〜ＭＲ６が、車両αの左側（図の下側）に６つの校正用マーカＭＬ１〜ＭＬ６が、それぞれ並べて配置されている。なお、並べて配置された校正用マーカの数は左右６つずつとは限らず、例えば左右に８つずつ等であってもよい。また、複数の校正用マーカを一列、もしくは三列以上並べて配置することを排除する意図ではない。

校正工程に先立って、事前の検証作業が行われる。すなわち、生産ラインに車両を固定し、車両が備える各カメラから、上述のように並んで配置されている複数の校正用マーカのうちのどれが撮像可能であり、どれが校正の精度が担保できるマーカであるかを前もって検証しておく。この検証作業により、前記校正用マーカのうち、適切なものをあらかじめ絞り込んでおくことができる。

絞り込みは、例えば以下のように行われる。車両αの後方カメラＣＡＭ４が撮像可能な校正用マーカは、ＭＲ５、ＭＲ６、ＭＬ５、ＭＬ６であるので、後方カメラＣＡＭ４の校正に用いる校正用マーカの候補を、これら４つの校正用マーカに絞り込む。同様に、前方カメラＣＡＭ１が撮像可能な校正用マーカは、ＭＲ１、ＭＲ２、ＭＬ１、ＭＬ２であるので、前方カメラＣＡＭ１の校正に用いる校正用マーカの候補を、これら４つの校正用マーカに絞り込む。右方カメラＣＡＭ２が撮像可能な校正用マーカは、ＭＲ３、ＭＲ４であるので、右方カメラＣＡＭ２の校正に用いる校正用マーカの候補を、これら２つの校正用マーカに絞り込む。左方カメラＣＡＭ３が撮像可能な校正用マーカは、ＭＬ３、ＭＬ４であるので、左方カメラＣＡＭ３の校正に用いる校正用マーカの候補を、これら２つの校正用マーカに絞り込む。

全周囲カメラシステムの場合、１つのカメラにつき、２つのマーカを対にして用いて校正を行う。そのため、本発明の一実施形態に係る校正方法においては、撮像可能な校正用マーカを、例えば以下のように選択的に用いて校正を行う。すなわち、前方カメラＣＡＭ１については、撮像可能なマーカはＭＲ１、ＭＲ２、ＭＬ１、ＭＬ２であるところ、撮像した画像のより両端に映り込む校正用マーカＭＲ２とＭＬ２を用いる。右方カメラＣＡＭ２については、撮像可能なマーカはＭＲ３、ＭＲ４であるので、当該校正用マーカＭＲ３とＭＲ４を用いる。左方カメラＣＡＭ３については、撮像可能なマーカはＭＬ３、ＭＬ４であるので、当該校正用マーカＭＬ３とＭＬ４を用いる。後方カメラＣＡＭ４については、撮像可能なマーカはＭＲ５、ＭＲ６、ＭＬ５、ＭＬ６であるところ、撮像した画像のより両端に映り込む校正用マーカＭＲ５とＭＬ５を用いる。

図２は、大型車についての、本発明の一実施形態に係る校正方法を示す概念図である。生産ライン自体は図１と同じであり、車両Βが前方カメラＣＡＭ１、右方カメラＣＡＭ２、左方カメラＣＡＭ３、後方カメラＣＡＭ４を備えている点も、図１と同じである。校正用マーカＭＲ１〜ＭＲ６、ＭＬ１〜ＭＬ６が、図１と同じ位置に並んで配置されている。校正工程に先立って、事前の検証作業が行われている点も同様である。

図２においては、車両Βは３列シート車等の大型車である。大型車である車両Βの場合、その全長が小型車である車両αよりも長い為、校正用マーカＭＲ５及びＭＬ５は、後方カメラＣＡＭ４の視野に収まりきらず、後方カメラＣＡＭ４の校正に用いることができない。しかし、これらの校正用マーカＭＲ５及びＭＬ５を後方カメラＣＡＭ４の校正に用いるために車両Βの後方の方向へと移動させようとすると、作業時間の増大を招く。

その為、本発明の一実施形態に係る校正方法においては、上述のように配置された校正用マーカを移動しない。その代わりに、撮像可能な校正用マーカを、例えば以下のように選択的に用いて校正を行う。すなわち、前方カメラＣＡＭ１については、撮像可能な校正用マーカはＭＲ１、ＭＬ１であるので、当該校正用マーカＭＲ１とＭＬ１を用いる。右方カメラＣＡＭ２については、撮像可能なマーカはＭＲ２、ＭＲ３、ＭＲ４、ＭＲ５であるところ、撮像した画像のより両端に映り込む校正用マーカＭＲ２とＭＲ５を用いる。左方カメラＣＡＭ３については、撮像可能なマーカはＭＬ２、ＭＬ３、ＭＬ４、ＭＬ５であるところ、撮像した画像のより両端に映り込む校正用マーカＭＬ２とＭＬ５を用いる。後方カメラＣＡＭ４については、撮像可能なマーカはＭＲ６、ＭＬ６であるので、当該校正用マーカＭＲ６とＭＬ６を用いる。

ここで、小型車についての図１と、大型車についての図２を併せて参照すると、本発明の一実施形態に係る校正方法は、小型車であっても、大型車であっても、校正用マーカを移動せずに校正が可能となることが理解できる。校正用マーカを多数並べた上で、撮像可能な前記校正用マーカを選択的に用いて校正を行うからである。例えば、小型車（図１）の後方カメラＣＡＭ４の校正に用いられるのは、校正用マーカＭＲ５、ＭＲ５であるのに対し、大型車（図２）の後方カメラＣＡＭ４の校正に用いられるのは、校正用マーカＭＲ６、ＭＬ６である。このように本発明の一実施形態に係る校正方法であれば、小型車と大型車のサイズの違いを吸収し、柔軟な校正を行うことが可能である。

図３は、本発明の一実施形態に係る校正方法を実施するための、校正システム２の構成図である。校正システム２は、入力である撮像装置２７と、処理を行う処理装置２１と、出力である表示装置２９とを備えている。処理装置２１は、例えば車両α、Βに備えられたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）であってよい。処理装置２１は、揮発性メモリ２２と、画像処理部２３と、不揮発性メモリ２４と、制御部２５とを備えており、これらがデータバス２６を介して接続されている。撮像装置２７は第１〜第４撮像装置を備えており、第１撮像装置２７１、第２撮像装置２７２、第３撮像装置２７３、第４撮像装置２７４はそれぞれ、車両α、Βにおける前方カメラＣＡＭ１、右方カメラＣＡＭ２、左方カメラＣＡＭ３、後方カメラＣＡＭ４に対応する。表示装置２９は、例えば、車両α、Βのフロントパネルに据え付けられたモニタであってよい。

撮像装置２７によって撮像された、校正用マーカを含んだ画像は、処理装置２１内の揮発性メモリ２２に蓄積された後、制御部２５による制御の下で、画像処理部２３によって適宜画像処理がなされ、表示装置２９によって表示される。すなわち、カメラＣＡＭ１〜ＣＡＭ４が撮像した画像を加工して、例えば全周囲システムのトップビューを構成し、それをモニタに表示して運転者に提示することができる。

なお、制御部２５は、外部からのキャリブレーション開始要求２８を、車両信号として受信することができ、この開始要求２８をトリガとして、本発明の一実施形態に係る校正方法を実施することができる。

不揮発性メモリ２４には、各種プログラムが記憶されている。また、図４に基づき後述する、校正用マーカ撮像位置を示すデータを不揮発性メモリ２４内に記憶してもよい。

次に、校正用マーカの優先度について説明する。図４は、校正工程中に、車両αの後方カメラＣＡＭ４によって撮像された画像を示す模式図である。なお、車両αは、図１に示した小型車であるとして説明する。この図に示された撮像画像には、校正用マーカＭＲ４〜ＭＲ６、ＭＬ４〜ＭＬ６が映り込んでいる。校正用マーカＭＲ５、ＭＲ６、ＭＬ５、ＭＬ６についてはその全体が映り込んでいるため、校正に用いる校正用マーカの候補となる。校正用マーカＭＲ４、ＭＬ４は、その全体が映り込んではいないので、校正に用いる校正用マーカの候補とはならない。

全周囲カメラシステムの場合、１つのカメラにつき、２つのマーカを対にして用いて校正を行うが、校正用マーカの候補ＭＲ５、ＭＲ６、ＭＬ５、ＭＬ６のうち、後方カメラＣＡＭ４のより両端側に映っている校正用マーカは、校正用マーカＭＲ５及びＭＬ５である。そこで、校正用マーカＭＲ５及びＭＬ５を優先度１とする。一方で、校正用マーカＭＲ６及びＭＬ６は、優先度２とする。

上記のように、校正に使用可能な校正用マーカに優先順位をつけておく利点は以下の通りである。図４の例における、優先度１の校正用マーカＭＲ５及びＭＬ５の、画像処理部２３による検知が、何らかの原因で失敗する事があり得る。また、当該校正用マーカＭＲ５及びＭＬ５の検知に成功しても、画像処理の結果、校正の精度に問題が生じる事もあり得る。このような場合であっても、その次の優先度２である校正用マーカＭＲ６及びＭＬ６を用いて校正処理を続行することができる。そのため、校正工程におけるエラー率を減らすことができる。すなわち、校正工程のやり直し作業が減り、校正工程に必要な時間の不必要な増大を防止することができる。

なお、図４において、校正用マーカＭＲ５、ＭＲ６、ＭＬ５、ＭＬ６を取り囲む四角い枠は、車両αが使用し得る校正用マーカ撮像位置を示している。車両αの一定精度以内での位置決めがなされているのであれば、該車両αが備える後方カメラＣＡＭ４が撮像した画像の、校正用マーカ撮像位置が示す枠内に、校正用マーカが映り込んでいるはずである。従って、図５に基づき後述するように、この枠内に含まれる校正用マーカを画像内から探索して、校正に用いることができる。

図５は、上述の優先度に従った校正処理例を示すフロー図である。校正処理の処理主体は、図３に示した校正システム２である。当該フロー図は、１つのカメラが撮像した画像の中に、校正に使用可能な校正用マーカの候補が２つ（２組）ある場合を想定した例である。しかし、校正に使用可能な校正用マーカの候補が３つ（３組）以上あっても良く、当業者であれば処理フローを適宜変更して実装可能であろう。

以下、図５の処理フローを、図３のシステム構成図、図４の模式図も参照しつつ説明する。ステップＳ１において、校正システム２内の制御部２５がキャリブレーション開始要求８を受信し、校正処理がスタートする。ステップＳ２において、画像処理部２３は、不揮発性メモリ２４から、自車両が使用する校正用マーカ撮像位置を読み出す。使用可能な校正用マーカは、撮像した画像の、校正用マーカ撮像位置内に映り込んでいるはずである。ステップＳ３において、画像処理部２３が、読み出した校正用マーカ撮像位置に応じて、撮像した画像の中から優先度１のマーカを探索する。図４の例では、画像処理部２３が、優先度１である校正用マーカＭＲ５及びＭＬ５を探索する。この探索処理は、一般的な画像認識技術を用いてよい。

ステップＳ４において、画像処理部２３による優先度１の校正用マーカの検出に成功した場合は、校正量の算出であるステップＳ５へと分岐する。ステップＳ４において、画像処理部２３による優先度１の校正用マーカの検出に失敗した場合は、優先度２の校正用マーカを探索するステップＳ８へと分岐する。

ステップＳ５において、画像処理部２３が、検出に成功した校正用マーカを用いて校正量を算出する。ステップＳ６において、画像処理部２３が校正の成否判定を行う。成功した場合はステップＳ７へと分岐し、失敗した場合はステップＳ１０へと分岐する。ステップＳ７においては、校正量が適切に算出済みであるので、画像処理部２３がこの結果を適用し、校正処理を終了する。

ステップＳ８は、優先度１の校正用マーカの検出に失敗した場合に行われる処理であり、画像処理部２３が優先度２の校正用マーカを探索する。図４の例では、画像処理部２３が、優先度２である校正用マーカＭＲ６及びＭＬ６を探索する。この探索処理は、一般的な画像認識技術を用いてよい。

ステップＳ９において、画像処理部２３による優先度２の校正用マーカの検出に成功した場合は、校正量の算出を行うステップＳ５へと分岐する。ステップＳ９において、画像処理部２３による優先度２の校正用マーカの検出に失敗した場合は、ステップＳ１０へと分岐する。

ステップＳ１０は、優先度１及び優先度２の校正用マーカの両方の探索に失敗した（ステップＳ４、Ｓ９）か、あるいは校正の成否判定（ステップＳ６）において失敗した場合に行われる。この場合、校正用マーカに対する車両の位置決めの不整合や、カメラの不具合など、様々な失敗要因が考えられる。そのため、操作者が原因を除外する。そして、再度ステップＳ１へと戻る。

例えば以上のような処理によって、カメラの校正処理を、校正用マーカＭＲ１〜ＭＲ６、ＭＬ１〜ＭＬ６の移動を伴わずに実施することが可能になる。

図６は、校正用マーカの差別化についての説明図である。１つのカメラで撮像した画像に、複数の校正用マーカが映り込むことがある。画像処理時に、隣接する校正用マーカを誤認識しないように、隣接する校正用マーカ同士の間で、マーカ表示の差別化を行う。
かかる差別化の具体例として、図６に示すように、隣接する校正用マーカ同士の間で、表示を白黒反転させる。前記構成によれば、隣接する校正用マーカを誤認識することを防止できる。

なお、マーカ表示の差別化は、上記の白黒反転には限られない。例えば校正用マーカに含まれる丸形の数や大きさや形を隣接する校正用マーカごとに変える等、画像処理時の誤認識防止ができるような他の手段によって差別化してもよい。

校正用マーカは、図６に示すような平面マーカではなく、図７に示すような立体マーカであってもよい。立体マーカの説明図である図７において、立体マーカＭは、第一の面１Ａと第二の面１Ｂを有している。第一の面１Ａと第二の面１Ｂは、図７において、立体マーカＭを上から見た時に逆Ｌ字状となるように接しており、角度θが９０度として角度付けされている。ただし、第一の面１Ａと第二の面１Ｂとのなす角度θは９０度でなくともよい。

立体マーカＭが第一の面１Ａと第二の面１Ｂとを有することにより、この校正用マーカを複数のカメラの校正に用いる事ができる。例えば、車両の前方に配置された前方カメラＣＡＭ１に対しては、立体マーカＭの第一の面１Ａがより正対に近い状態となる。よって、前方カメラＣＡＭ１はこの第一の面１Ａを検知しやすい。一方、ドアミラーに配置された右方カメラＣＡＭ２に対しては、マーカＭの第二の面１Ｂがより正対に近い状態となる。よって、右方カメラＣＡＭ２はこの第二の面１Ｂを検知しやすい。このように、立体マーカを用いることにより、複数のカメラから当該マーカを共通して用いることができる。

なお、図７において、誤認識を防止するために、第一の面１Ａと第二の面１Ｂは白黒反転されている。例えば校正用マーカに含まれる丸形の数や大きさや形を第一の面１Ａと第二の面１Ｂとの間で変える等、画像処理時の誤認識防止ができるような他の手段によって差別化してもよい。

次に、校正用マーカを複数並べて配置した場合、車両と校正用マーカとの位置関係にもよるが、校正用マーカが密集することで、天井からの照明が各校正用マーカに当たりづらくなることがある。すると、画像に含まれる校正用マーカの輝度が下がり、カメラによる当該マーカの検知に支障が出るおそれがある。この不都合を是正するために、自発光式の校正用マーカを用いてもよい。

自発光式の校正用マーカとしては、例えばブラスト加工をした透明なアクリル板にＬＥＤバックライトを付加して、ＬＥＤバックライトを点灯することにより自発光させることができる。ただし自発光の方式はこれには限られず、例えば有機ＥＬ液晶等、種々の発光方式を用いることが可能である。自発光式とすることで、校正用マーカを複数配置しても、校正用マーカの輝度を維持して、カメラによる良質なマーカの検知を行うことができる。

図８は、未使用の校正用マーカの消灯を示す図である。この図にあるように、複数並べられている校正用マーカのうち、カメラの校正には不要である校正用マーカを消灯してもよい。消灯した校正用マーカは、マーカ内の輝度差が無くなり、カメラ側でこれを検知しなくなる。不要な校正用マーカをそもそも検知しないことにより、校正に係る画像処理の量を減らすことができるため、校正工程に必要な時間を抑えることができる。

また、校正用マーカが自発光式のものである場合、各校正用マーカの発光強度をそれぞれ、車両ごとに予め定められた発光強度で発光するようにしてもよい。

すでに述べたように、１つの生産ラインで生産される車両のサイズは異なることがある。すなわち、車載カメラからみた校正用マーカの相対位置、相対角度は、車両ごとに異なるものとなり得る。そのような場合であっても、上記構成により、車両ごとに適した発光強度で校正用マーカを自発光させることで、車載カメラからのマーカの検知効率を上げることができる。

次に、自動車工場の生産ラインなどの乗り物の製造設備における、本発明の一実施形態に係る校正方法の使用例を説明する。まず、乗り物、ここでは車両を校正工程へと移動する。校正用マーカが例えば図１のように複数並べて配置されており、図５に示したような処理フローにより、カメラの校正処理を行う。この校正処理が成功した場合は、校正処理の完了した車両を次の工程へと移動させる。この校正処理が失敗した場合は、操作者が失敗原因を除外して、校正処理をやり直す。

なお、自発光式の校正用マーカを用いる場合は、校正処理を開始する前に、校正用マーカを自発光させる、車両ごとに予め定められた発光強度で校正用マーカを発光させる、等の追加処理を行ってよい。

例えば上述のように、本発明の実施形態に係る校正方法を用いて、乗り物の製造工程に含まれる校正工程を行う。すると、製造設備に異なるサイズの車両が移動してきた場合であっても、校正用マーカの位置を移動せずに校正処理を続行できる。すなわち、生産ラインを止めずに校正を行い得るので、校正工程に必要な時間を短縮することができる。

なお、上記の例は、車両を上から俯瞰したトップビューを運転者に提示すべく、全周囲カメラを校正することを前提としている。すなわち、車両の両側に校正用マーカを複数並べて配置して、前記車両の前方カメラＣＡＭ１、右方カメラＣＡＭ２、左方カメラＣＡＭ３、後方カメラＣＡＭ４のそれぞれについて校正を行うものであった。一方、車両の後退を支援するためのリアビューを運転者に提示する目的であれば、後方カメラＣＡＭ４の校正のみでよい。

図９は、かかる後退補助機能についての本発明の一実施形態に係る校正方法を示す図である。後退補助の場合、１つのカメラあたり、通常１つの校正用マーカを用いて校正を行う。校正用マーカＭ１及びＭ２が、乗り物のサイズの可変方向である車両の進行方向に沿うように、一列、床面に並べて配置されている。ただし、複数の校正用マーカを二列以上並べて配置することを排除する意図ではない。車両は、この床面に配置された校正用マーカをまたいで走行し、校正工程へと入る。図示を省略する正対装置等の位置決め手段により、一定精度以内での車両の位置決めが行われ、後方カメラＣＡＭ４の校正が行われる。

この時、図９に示したように、小型車の後方カメラＣＡＭ４からは、校正用マーカＭ１もＭ２も撮像できる。そのため、後方カメラＣＡＭ４からの距離がより近い校正用マーカＭ１を、校正に用いるマーカとして選択できる。校正用マーカＭ１を優先度１、校正用マーカＭ２を優先度２として、優先度付きで選択してもよい。

一方、大型車のカメラＣＡＭ４からは、校正用マーカＭ１は撮像できない。校正用マーカＭ１が大型車の車体の下に入ってしまうからである。そこで、大型車については、校正に用いる校正用マーカとしてマーカＭ２を選択する。

このように、後退補助機能についても、校正用マーカの位置を移動せずに校正を行うことができる。

また、上述と同様に、校正用マーカＭ１とＭ２との間で色を白黒反転する等して表示の差別化を行い、画像処理時に発生し得る誤認識を防止してもよい。

以上のように、乗り物用カメラの校正方法において、校正用マーカが複数並べて配置され、乗り物に取り付けられたカメラにより撮像可能な前記校正用マーカを選択的に用いて校正を行う。また、乗り物用カメラの校正のために、校正用マーカを複数並べて配置した、校正用マーカのセットにおいて、複数の前記校正用マーカが、前記乗り物のサイズの可変方向に沿うように、少なくとも一列、並べて配置されている。

上記構成により、校正用マーカを移動せずとも、サイズの異なる乗り物に取り付けられたカメラの校正が可能となり、校正工程にかかる時間を短縮することができる。

上記構成において、複数の前記校正用マーカは、前記乗り物のサイズの可変方向に沿うように、少なくとも一列、並べて配置される。このことにより、乗り物のサイズが変わっても、カメラによって撮像可能な校正用マーカを確実に備えることができる。なお、前記乗り物のサイズの可変方向は、前記乗り物の進行方向であってよい。

運転者にトップビューを提供する全周囲カメラシステムを提供するには、１つのカメラにつき、２つのマーカを対にして用いて校正を行う。そのため、複数の前記校正用マーカは、前記乗り物のサイズの可変方向に沿うように、前記乗り物を挟んで二列、並べて配置される。

上記構成において、１つのカメラによって撮像可能な校正用マーカであって、校正の精度も担保できる校正用マーカが複数ある場合、校正用マーカ毎に優先度をあらかじめ決定しておき、該優先度に従って前記校正用マーカを用いて校正を行ってもよい。

上記構成によれば、仮に何らかの原因で優先度の高い校正用マーカの検知に失敗した場合や、当該校正用マーカでは校正の精度に問題が生じた場合であっても、その次の優先度の校正用マーカを用いて校正を行うことができる。そのため、校正工程におけるエラー率を減らすことができる。すなわち、校正工程のやり直し作業が減り、校正工程に必要な時間の増大を防止することができる。

上記構成において、前記乗り物は車両であってよい。前記車両の後方カメラについて校正を行うことで、後退補助機能のためのリアビューを運転者に提示することができる。また、前記車両の前方カメラ、右方カメラ、左方カメラ、後方カメラについて校正を行うことで、車両を上から俯瞰したトップビューを運転者に提示することができる。

上記構成においては、校正用マーカを複数並べて配置しているため、１つのカメラに複数の校正用マーカが映り込むことがあり得る。この時、隣接する校正用マーカ同士で、マーカ表示の差別化を行うことができる。例えば、隣接する校正用マーカ同士の間で、表示を白黒反転させる。

上記構成によれば、隣接する校正用マーカの誤認識を防止することができる。

また、上記構成において、校正用マーカ同士が密集することで、生産ラインが備える天井照明が各校正用マーカに当たりづらくなることがある。その結果、画像に含まれる校正用マーカの輝度が下がり、前記カメラによる校正用マーカの検知に支障が出るおそれがある。前記の不都合を是正するために、校正用マーカのセットが、自発光式の校正用マーカを含んでいてもよい。

上記構成であれば、校正用マーカの輝度を維持して、校正用マーカの良好な検知を行うことができる。

また、複数並べられた校正用マーカのセットの中には、校正対象となるカメラについて、用いなくてもよいものが含まれうる。このような場合、自発光式の前記校正用マーカのうち、前記乗り物用カメラの校正には不要なものを消灯してよい。

上記構成であれば、乗り物に取り付けられたカメラの校正について不要なマーカを、そもそも検知できないようにすることができる。不要なマーカをそもそも検知しないことにより、校正に係る画像処理量を減らすことができるため、校正工程にかかる時間を抑えることができる。

また、自発光式の校正用マーカが、前記乗り物について予め定められた発光強度で発光するようにしてもよい。

上記構成の利点は以下の通りである。既に述べたように、混流生産においては、１つの生産ラインで生産される乗り物のサイズは異なることがある。すなわち、乗り物に取り付けられたカメラからみた校正用マーカの相対位置、相対角度は、乗り物ごとに異なるものとなり得る。そのような場合であっても、上記構成により、その乗り物に適した発光強度で校正用マーカを自発光させることで、カメラによる校正用マーカの検知精度を上げることができる。

また、校正用マーカとして、平面マーカではなく立体マーカを用いることも可能である。立体マーカは、第一の面と第二の面とを有しており、前記第一の面と前記第二の面とが、所定の角度で角度付けされている。

上記構成であれば、立体マーカの第一の面を、あるカメラに対してより正対するように位置付けつつ、第二の面を、別のカメラに対してより正対するように位置付けることが可能となる。このことにより、立体マーカを複数のカメラの校正に用いる事ができる。

本発明は、上述の校正方法によって乗り物用カメラを校正するステップを有する、乗り物の製造方法も対象とする。また、上述のように並べられた校正用マーカのセットを備える、乗り物の製造設備も対象とする。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。

本発明は、搭載するカメラの校正が必要な乗り物や電子機器等であって、同一の製造設備に異なるサイズのものが流入する製造設備において、適用が可能である。また、そのような乗り物や電子機器等の製造方法にも適用が可能である。

α、Β 車両
２ 校正システム
２１ 処理装置
２２ 揮発性メモリ
２３ 画像処理部
２４ 不揮発性メモリ
２５ 制御部
２６ データバス
２７ 撮像装置
２９ 表示装置
ＣＡＭ１〜ＣＡＭ４ カメラ
ＭＲ１〜ＭＲ６ 校正用マーカ
ＭＬ１〜ＭＬ６ 校正用マーカ
Ｍ１、Ｍ２ 校正用マーカ

Claims (18)

1. 乗り物用カメラの校正方法であって、
   校正用マーカが複数並べて配置され、
   乗り物に取り付けられたカメラにより撮像可能な前記校正用マーカを選択的に用いて校正を行う、
   乗り物用カメラの校正方法。
2. 請求項１に記載の校正方法であって、
   複数の前記校正用マーカは、前記乗り物のサイズの可変方向に沿うように、少なくとも一列、並べて配置されている、
   乗り物用カメラの校正方法。
3. 請求項２に記載の校正方法であって、
   前記乗り物のサイズの可変方向は、前記乗り物の進行方向である、
   乗り物用カメラの校正方法。
4. 請求項２または請求項３に記載の校正方法であって、
   複数の前記校正用マーカは、前記乗り物のサイズの可変方向に沿うように、前記乗り物を挟んで二列、並べて配置されている、
   乗り物用カメラの校正方法。
5. 請求項１から請求項４のいずれか１項に記載の校正方法であって、
   前記カメラについて、前記校正用マーカ毎に優先度があらかじめ決定されており、該優先度に従って前記校正用マーカを用いて校正を行う、
   乗り物用カメラの校正方法。
6. 請求項１から請求項５のいずれか１項に記載の校正方法であって、
   前記乗り物は車両であり、
   前記車両の後方カメラについて校正を行う、
   乗り物用カメラの校正方法。
7. 請求項６に記載の校正方法であって、
   前記車両の前方カメラ、右方カメラ、左方カメラ、後方カメラについて校正を行う、
   乗り物用カメラの校正方法。
8. 乗り物用カメラの校正のために、校正用マーカを複数並べて配置した、校正用マーカのセットであって、
   複数の前記校正用マーカが、前記乗り物のサイズの可変方向に沿うように、少なくとも一列、並べて配置されている、
   校正用マーカのセット。
9. 請求項８に記載の校正用マーカのセットあって、
   前記乗り物のサイズの可変方向は、前記乗り物の進行方向である、
   校正用マーカのセット。
10. 請求項８または請求項９に記載の校正用マーカのセットあって、
    複数の前記校正用マーカは、前記乗り物のサイズの可変方向に沿うように、前記乗り物を挟んで二列、並べて配置されている、
    校正用マーカのセット。
11. 請求項８から請求項１０のいずれか１項に記載の校正用マーカのセットであって、
    隣接する前記校正用マーカ同士の間で、マーカ表示の差別化が行われている、
    校正用マーカのセット。
12. 請求項１１に記載の校正用マーカのセットであって、
    前記マーカ表示の差別化は、隣接する前記校正用マーカ同士の間で、表示を白黒反転させることである、
    校正用マーカのセット。
13. 請求項８から請求項１２のいずれか１項に記載のマーカのセットあって、
    自発光式の校正用マーカを含んでいる、
    校正用マーカのセット。
14. 請求項１３に記載の校正用マーカのセットであって、
    自発光式の前記校正用マーカのうち、前記乗り物用カメラの校正には不要なものを消灯可能である、
    校正用マーカのセット。
15. 請求項１３または請求項１４に記載の校正用マーカのセットであって、
    自発光式の前記校正用マーカが、前記乗り物について予め定められた発光強度で発光する、
    校正用マーカのセット。
16. 請求項８から請求項１５のいずれか１項に記載の校正用マーカのセットであって、
    第一の面と第二の面を有する立体マーカを含み、
    前記立体マーカの前記第一の面と前記第二の面とが、所定の角度で角度付けされている、
    校正用マーカのセット。
17. 乗り物の製造方法であって、
    請求項１から請求項７のいずれか１項に記載の校正方法によって乗り物用カメラを校正するステップを有する、
    乗り物の製造方法。
18. 請求項８から請求項１６のいずれか１項に記載の校正用マーカのセットを備える、乗り物の製造設備。