JP2020098151A - センサ校正方法およびセンサ校正装置 - Google Patents

Abstract

【課題】実体物の校正マーカを用いることなくセンサの校正が可能なセンサ校正方法等を提供する。【解決手段】センサ校正方法は、車載ＥＣＵ１００によって実施され、車両Ａに搭載されたカメラ１０についての校正を行う。光センサ校正方法は、少なくとも１つのプロセッサ６１上において、車両に搭載されて光を投影する照明装置２０から、校正マーカを表す光像をカメラ１０の撮像範囲に投影させるステップを含む。さらに光センサ校正方法は、カメラ１０によって撮像されたマーカ画像データを取得し、マーカ画像データに基づいてカメラ１０の校正値を算出する、というステップを含む。【選択図】図３

Description

この明細書における開示は、車両に搭載されたセンサについての校正を行うセンサ校正方法およびセンサ校正装置に関する。

特許文献１には、車両に搭載されたカメラまたはライダの校正を行う校正システムが開示されている。この校正システムでは、ターンテーブルによって回転する車両の周囲に、カメラまたはライダによって検出される校正マーカが設置されている。校正システムは、校正マーカの検出情報に基づき、カメラまたはライダの校正値の算出を行う。

米国特許出願公開第２０１７／０３４３６５４号明細書

特許文献１に開示されている校正システムでは、校正マーカの設置された設備が必要となる。しかし、校正マーカを実体物として設置する場合、設置スペースや設置作業等が必要となるため、カメラまたはライダ等の校正を行うための環境を整備するコストが増加し得た。

開示される目的は、実体物の校正マーカを用いることなくセンサの校正が可能なセンサ校正方法およびセンサ校正装置を提供することである。

この明細書に開示された複数の態様は、それぞれの目的を達成するために、互いに異なる技術的手段を採用する。また、特許請求の範囲およびこの項に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示す一例であって、技術的範囲を限定するものではない。

開示されたセンサ校正方法のひとつは、コンピュータ（１００）によって実施され、車両（Ａ）に搭載されたセンサ（１０；１２）についての校正を行うセンサ校正方法であって、少なくとも１つのプロセッサ（６１）上において、車両に搭載されて光を投影する投影装置（２０；１２）を用いて、校正マーカを表す光像をセンサの検出範囲に投影し、センサによって検出された光像情報を取得し、光像情報に基づいてセンサの校正値を算出する、というステップを含む。

開示されたセンサ校正装置のひとつは、車両（Ａ）に搭載されたセンサ（１０；１２）についての校正を行うセンサ校正装置であって、車両に搭載されて光を投影する投影装置（２０；１２）から、校正マーカを表す光像をセンサの検出範囲に投影させる投影指示部（５１）と、センサによって検出された光像情報を取得する光像情報取得部（５３）と、光像情報に基づいてセンサの校正値を算出する算出部（５４）と、を備える。

これらの開示によれば、センサの校正値を算出するための校正マーカが、投影装置から光像として投影される。このため、実体物としての校正マーカが設置された設備が不要となる。以上により、実体物の校正マーカを用いることなくセンサの校正が可能なセンサ校正方法およびセンサ校正装置を提供することができる。

第１実施形態のセンサ校正方法に関連する構成を示す概要図である。 図１の構成を上から見た図である。 車載ＥＣＵのブロック図である。 校正マーカの投影態様を示す図である。 車載ＥＣＵが実行する処理の一例を示すフローチャートである。 図５における校正処理の詳細を示すフローチャートである。 第２実施形態の車載ＥＣＵのブロック図である。 他の実施形態における校正マーカの投影態様を示す図である。

（第１実施形態）
第１実施形態のセンサ校正装置について、図１〜図６を参照しながら説明する。第１実施形態において、センサ校正装置の機能は、車載ＥＣＵ（Electronic Control Unit）１００に実装されている。車載ＥＣＵ１００は、車両Ａに搭載された複数の電子制御ユニットのうちの１つであり、車両Ａの自動運転を可能にする車載コンピュータである。車載ＥＣＵ１００の搭載された車両Ａは、人、荷物の自動輸送や、カーシェアリング、ライドシェアリング等のモビリティサービスを提供する無人運転車両である。車載ＥＣＵ１００は、車載ネットワーク４５のバス、および複数の車載センサ等と直接的または間接的に電気接続されている。

車載ネットワーク４５の通信バスには、多数の車載機器が直接的または間接的に電気接続されている。車載ネットワーク４５は、通信バスに出力された種々の車両情報を、車載ＥＣＵ１００に提供可能である。車載ネットワーク４５は、後述する校正処理に必要な情報として、例えば車両Ａの走行速度を示す車速情報、車両Ａの現在地を示す自車位置情報等を車載ＥＣＵ１００に提供する。

車載センサは、車両Ａに搭載されて、自動運転または高度運転支援に必要な種々の情報を取得する検出構成である。車載センサには、カメラ１０、ライダ１２等の光センサ、ミリ波レーダ１３、ソナー１４が含まれている。各車載センサは、相互に異なる位置に、相互に異なる姿勢で設置されている。

カメラ１０、ライダ１２、ミリ波レーダ１３、およびソナー１４は、車両Ａの周囲環境を認識する自律センサである。これらの自律センサは、歩行者および他車両等の移動物体、並びに交通信号、道路標識および区画線や横断歩道のような道路標示物等の静止物体を検出する。各自律センサは、移動物体および静止物体の検出結果を含んだ計測情報を、車載ＥＣＵ１００に逐次出力する。尚、各自律センサは、それぞれ複数であってもよい。また、一部の自律センサは、省略されていてもよい。

カメラ１０は、可視光領域の波長において車両Ａの周囲を撮影し、画像を生成する撮像装置である。カメラ１０は、ＣＭＯＳセンサ等の撮像素子と、撮像素子の検出情報を画像処理する制御回路とを備える。カメラ１０は、制御回路にて検出情報から画像をデータとして生成し、車載ＥＣＵ１００に逐次出力する。または、カメラ１０は、画像解析処理により検出情報から特定の情報を抽出し、この抽出した情報を車載ＥＣＵ１００に出力してもよい。カメラ１０は、例えば複数搭載され、それぞれ車両Ａの周囲の異なる領域を撮像範囲（検出範囲）とする。

ライダ１２は、車両Ａの進行方向または左右前方へ向けてレーザ光を照射し、照射方向に存在する移動物体および静止物体等で反射されたレーザ光を受信する処理により、検出結果を点群情報として取得する装置である。また、ライダ１２は、レーザ光以外の外乱光を受信することで、レーザ光以外の光源から投影された光による明暗を検出することができる。ライダ１２は、これらの検出結果を点群情報として車載ＥＣＵ１００に出力する。ライダ１２は、回転鏡方式、ＭＥＭＳ方式、およびフェーズドアレイ方式等の走査型であってもよく、またはフラッシュ方式等の非走査型であってもよい。

ミリ波レーダ１３は、車両Ａの進行方向へ向けてミリ波を照射し、進行方向に存在する移動物体および静止物体等で反射されたミリ波を受信する処理により、検出結果を取得する。ソナー１４は、車両Ａの周囲へ向けて超音波を照射し、照射方向に存在する移動物体および静止物体等で反射された超音波を受信する処理により、検出情報を取得する。

照明装置２０は、車両Ａに設けられて車両Ａの周囲を照明光の照射により照明する光源である。照明装置２０は、例えば車両Ａの前方に照明光を照射するヘッドライトおよび車両Ａの後方に照明光を照射するテールライトを含む。

照明装置２０は、車載ＥＣＵ１００から出力された後述の投影用データを光像として投影可能に構成されている。照明装置２０は、例えばレーザ光源、ＭＥＭＳミラーおよび制御回路を備え、レーザ光をＭＥＭＳミラーにより走査制御することで、投影用データに基づく光像を投影面に生成する。照明装置２０は、ＭＥＭＳミラーの制御により、車両Ａの側方に対して光像を投影することも可能である。「照明装置２０」は、「投影装置」の一例である。

車載ＥＣＵ１００は、各車載センサから取得する自車位置情報および計測情報を組み合わせて、走行環境の認識を行う演算装置である。車載ＥＣＵ１００は、自車位置を特定する処理および自車周囲の物体までの相対距離を算出する処理等を継続的に繰り返す。車載ＥＣＵ１００は、プロセッサ６１、ＲＡＭ６２、メモリ装置６３および入出力インターフェース６４等を含む制御回路を主体に構成されている。

プロセッサ６１は、ＲＡＭ６２と結合された演算処理のためのハードウエアであって、種々のプログラムを実行可能である。メモリ装置６３は、不揮発性の記憶媒体を含む構成であり、プロセッサ６１によって実行される種々のプログラムを格納している。メモリ装置６３には、カメラ１０の校正に関連するカメラ校正プログラムが少なくとも記憶されている。

車載ＥＣＵ１００は、データベース５５に各車載センサについての外部パラメータを記憶している。外部パラメータは、２つの車載センサの間に設定される数値群であり、２つの車載センサにて取得される２つの計測情報を幾何学的に対応付ける。具体的に、外部パラメータは、各車載センサの搭載位置および搭載姿勢（向き）に対応した６軸（ｘ，ｙ，ｚ，ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ）の形式で規定されている。本実施形態では、複数の車載センサのうちの１つが、外部パラメータを設定するうえで基準となるマスタセンサとされている。データベース５５は、マスタセンサを除く各車載センサについて、マスタセンサに対する相対的な外部パラメータを記憶している。車載センサの計測情報に外部パラメータを適用する処理によれば、当該車載センサの座標系における検出物体の位置座標は、マスタセンサの座標系における位置座標に変換可能となる。

車載ＥＣＵ１００は、カメラ１０の外部パラメータの校正を実施する。特に第１実施形態の車載ＥＣＵ１００は、カメラ１０とライダ１２との間に設定される外部パラメータの校正処理を実行する。車載ＥＣＵ１００は、校正した外部パラメータを用いてカメラ１０とライダ１２とのセンサフュージョンを行い、幾何学的に同一点を示す座標を対応付けて光センサによる検出精度を向上させる。

図３に示すように、車載ＥＣＵ１００は、カメラ１０の校正の開始判定処理に関わる機能ブロックとして、センサ情報比較部４１、および校正開始判定部４２を備える。車載ＥＣＵ１００は、カメラ１０の校正処理に関わる機能ブロックとして、投影指示部５１、点群情報取得部５２、マーカ画像取得部５３、および算出部５４を備える。

センサ情報比較部４１は、カメラ１０の撮像した所定の検出物体の検出結果と、カメラ１０とは異なる車載センサの検出した検出物体の検出結果とを比較し、比較結果に基づいてカメラ１０の校正処理が必要か否かを判断する。カメラ１０とは異なる車載センサは、ライダ１２、ミリ波レーダ１３、およびソナー１４等である。例えばセンサ情報比較部４１は、カメラ１０の検出結果とライダ１２の検出結果とを比較することで、カメラ１０とライダ１２との間に設定された外部パラメータに校正が必要か否かをより確実に判断できる。センサ情報比較部４１は、比較対象とするセンサの検出結果に対して、カメラ１０の検出結果にずれが生じている場合には、校正処理が必要であると判断し、カメラ１０の校正が必要である旨のフラグ（校正必要フラグ）を設定する。

例えば、センサ情報比較部４１は、検出物体（他車両や道路設置物等）のトラッキングを、画像データおよび点群情報のそれぞれを用いて行い、各データから算出される検出物体の座標が実質的に一致するか否かを判定する。センサ情報比較部４１は、検出物体の座標が実質的に一致する場合、カメラ１０の校正が不要であると判断する。一方で検出物体の座標が実質的に一致しない場合、センサ情報比較部４１は、カメラ１０の校正が必要と判断する。センサ情報比較部４１は、例えば所定の走行支援処理の実行のために取得される画像データおよび点群情報を利用して、上述の比較を実施する。

校正開始判定部４２は、校正必要フラグが設定されている場合に、校正処理を開始可能か否か判定する。校正開始判定部４２は、後述の校正マーカを投影可能な状態である場合に、校正処理を開始可能であると判定する。具体的には、校正開始判定部４２は、車両Ａが校正マーカを投影可能な位置に到着している到着条件と、車両Ａが停車状態である停車条件とが成立しているか否かを判定する。校正開始判定部４２は、到着条件および停車条件の両方が成立している場合に、校正処理を開始可能であると判定する。

到着条件は、例えば自車位置情報に基づき、予め設定された施設の所定位置に車両Ａが到着した場合に、成立したと判定される。この施設は、実質的に歪みなく校正マーカを投影可能な、比較的平坦な壁、床等を備える施設であり、例えばサービス提供者の車庫や駐車場である。「施設の所定位置」は、「所定の場所」の一例である。なお、投影面からの距離が製造時や工場出荷時等に予め設定されていてもよい。この場合、サービス提供者は校正のための好ましい車両Ａの環境に関する情報を提供され、その情報に基づいて車両Ａを駐車させる施設の所定位置を設定する。停車条件は、例えば車速情報に基づき、車両Ａの車速がゼロとなった場合に、成立したと判定される。または停車条件は、車両Ａの走行駆動源が停止した場合に成立したと判定されてもよい。

投影指示部５１は、校正開始判定部４２における校正処理の開始可能判定に基づいて、照明装置２０に対して校正マーカの投影を指示する信号と投影用データとを出力する。投影指示部５１は、予めメモリ装置６３等に記憶された複数の校正マーカの投影用データを逐次読み出して照明装置２０に出力し、投影態様の異なる複数の校正マーカの光像を投影させる。図１に示す例では、投影指示部５１は、照明装置２０に、車両Ａの前方の壁面に対して校正マーカを投影させている。また、図２に示す例では、投影指示部５１は、照明装置２０により車両Ａの側方の壁面および側方の床面に校正マーカを投影させている。

校正マーカは、画像の解析処理によって抽出可能な複数の特徴点を有する図柄である。校正マーカは、所定の形状の図形が規則的に配置された幾何学模様として表され、規則的に並んだ特徴点を呈する。一例として、校正マーカは、図４に示すような白色の矩形と黒色の矩形とが二次元的に交互に配置された格子状の幾何学模様である。このような模様は、チェスボードパターンまたはチェッカーボードパターン等と称される。この校正マーカの場合、矩形の交点が特徴点として抽出される。なお、図４のパターンは、白色の矩形部分が光の照射された部分として表され、黒色の矩形部分が、光の照射されない部分として表される。

投影する校正マーカの情報は、例えば形状、大きさの異なる複数の投影用データとして記憶されている。例えば、矩形のチェスボードパターンを正面視した形状の校正マーカを基本形状とすると、形状の異なる投影用データとして、この基本形状と、基本形状を斜めから見た斜視形状とが記憶されている。すなわち、基本形状に加えて、投影面に対する傾きが基本形状と異なる形状が記憶されている。換言すれば、斜視形状は、基本形状をアフィン変換によって変形した形状である。斜視形状には、例えば正面視に対して基本形状を上下左右の４方向から斜視した４形状が少なくとも含まれている。また、基本形状および斜視形状のそれぞれに関して、大きさの異なる複数の投影用データが記憶されている。投影用データは、例えば２０パターン程度記憶されている。

投影指示部５１は、上述した複数の投影用データを逐次選択して照明装置２０へと出力し、校正マーカを投影させる。また、投影指示部５１は、校正の対象となるカメラ１０の撮像範囲に校正マーカの全体が含まれるように、投影方向を照明装置２０に対して指定する。指定する投影方向は、例えば各カメラ１０の撮像範囲に基づいて予め設定されている。または、投影指示部５１が、実際の投影時の画像データに基づいて適宜調整する構成であってもよい。

点群情報取得部５２は、校正マーカの点群情報をライダ１２から取得し、算出部５４に逐次出力する。マーカ画像取得部５３は、カメラ１０によって撮像された校正マーカの画像データ（マーカ画像データ）を、光像情報として取得する。マーカ画像取得部５３は、取得した画像データを算出部５４に逐次出力する。「マーカ画像取得部５３」は、「光像情報取得部」の一例である。

算出部５４は、マーカ画像データおよび点群情報に基づいて、カメラ１０のライダ１２に対する外部パラメータを生成する。例えば、算出部５４は、点群情報から抽出された校正マーカの特徴点の位置座標を実質的に真値として扱う。そして算出部５４は、マーカ画像データから抽出された校正マーカの特徴点の位置座標を真値に近付ける外部パラメータを生成する。

算出部５４は、異なる投影態様の複数の校正マーカそれぞれについて、外部パラメータを生成する。算出部５４は、生成した複数の外部パラメータの平均化等の処理により、最終的にカメラ１０の校正に適用する校正値を算出する。算出部５４は、校正値を現在の外部パラメータに対するオフセット値として算出する。または、算出部５４は、校正値として外部パラメータそのものを算出してもよい。算出部５４は、算出した校正値をデータベース５５に保存する。保存された校正値は、カメラ１０から出力された画像データの補正に用いられる。または、校正値は、カメラ１０の制御回路へと出力され、カメラ１０における画像データ生成時の補正処理に用いられてもよい。

次に、第１実施形態の車載ＥＣＵ１００が実行する処理の一例について、図５および図６のフローチャートを参照して説明する。まず図５に示す校正を開始するための判定処理を説明する。車載ＥＣＵ１００は、図５に示す処理を、車両Ａの走行中に開始する。

車載ＥＣＵ１００は、まずステップＳ１０にてカメラ１０による車両Ａの周囲の検出物体の画像データを取得する。ステップＳ２０では、カメラ１０以外の車載センサによる検出物体のセンシングデータ（例えばライダ１２の点群情報）を取得する。次にステップＳ３０では、画像データとセンシングデータとをマッチングし、２つのデータによる検出結果を比較する。ステップＳ４０では、ステップＳ３０での比較結果に基づき、画像データから検出した検出物体と、センシングデータから検出した検出物体とのそれぞれの位置座標が実質的に一致するか否かを判定する。ステップＳ４０にて検出結果が一致したと判定すると、カメラ１０の校正が必要ないため、フローチャートの処理を終了する。

一方で、検出結果が一致しないと判定すると、ステップＳ５０へと進む。ステップＳ５０では、車両Ａが施設の所定位置に到着したか否かを判定する。所定位置に到着していないと判定した場合には、到着するまでこの判定処理を繰り返す。到着した場合には、ステップＳ５５へと進み、車両Ａが停車したか否かを判定する。停車していないと判定した場合には、停車するまでこの判定処理を繰り返す。停車したと判定した場合には、ステップＳ６０へと進み、カメラ１０の校正処理を実行した後、図５のフローチャートの処理を終了する。

次に、上述のステップＳ６０における校正処理の詳細について、図６のフローチャートを参照して説明する。まずステップＳ６１では、複数の投影用データのうち任意のデータを選択して照明装置２０に出力し、照明装置２０に当該投影用データの投影を指示する。

ステップＳ６２では、マーカ画像データをカメラ１０から取得する。次に、ステップＳ６３では、ライダ１２から校正マーカの点群情報を取得する。次にステップＳ６４では、取得したマーカ画像データおよび点群情報のそれぞれから、校正マーカの特徴点を抽出する。次にステップＳ６５では、抽出した特徴点の位置座標に基づいて、外部パラメータを生成する。生成した外部パラメータは、ＲＡＭ６２に一時的に保存する。

次にステップＳ６６では、全ての校正マーカの投影用データを投影したか否かを判定する。全ての投影用データを投影していないと判定した場合には、ステップＳ６７へと進み、設定された投影用データを投影済みでないものへと変更してステップＳ６２へと戻る。

一方ステップＳ６６で全ての校正マーカの投影用データを投影したと判定すると、ステップＳ６８へと進む。ステップＳ６８では、生成した複数の外部パラメータから、校正値を算出する。ステップＳ６９では、算出した校正値をデータベース５５に記憶し、校正処理を終了する。

次に第１実施形態の車載ＥＣＵ１００の構成および作用効果について説明する。

車載ＥＣＵ１００は、車両Ａに搭載されて光を投影する照明装置２０から、校正マーカを表す光像をカメラ１０の撮像範囲に投影させる投影指示部５１を備える。車載ＥＣＵ１００は、カメラ１０によって撮像された校正マーカのマーカ画像データを取得するマーカ画像取得部５３と、マーカ画像データに基づいてカメラ１０の校正値を算出する算出部５４とを備える。

これによれば、カメラ１０の校正値を算出するための校正マーカが、照明装置２０から光像として投影される。このため、実体物としての校正マーカが設置された設備が不要となる。以上により、実体物の校正マーカを用いることなくセンサの校正が可能なセンサ校正方法および車載ＥＣＵ１００を提供することができる。

またこれによれば、車載ＥＣＵ１００は、特に車両Ａの出荷後において、サービス提供者の担当者が自ら校正のために施設を整備したり、あるいは外部の施設へと車両Ａを移動させたりする手間を抑制できる。このため、車両Ａの出荷後における継続的なカメラ１０の校正を、より低コストで実施することが可能となる。

投影指示部５１は、車両Ａの周囲を照明する照明装置２０から校正マーカを投影させる。これによれば、校正マーカを投影するための追加の光源を不要とすることができる。また、照明装置２０は、通常車体に対する光軸を調整された状態で取り付けられているため、車両座標系に対する軸ずれを比較的抑制した状態で、カメラ１０の校正を実行することができる。

車載ＥＣＵ１００は、校正マーカを表す光像を投影させる際に、投影態様が異なる複数の光像を投影させる。これによれば、車載ＥＣＵ１００は、投影態様の異なる複数のマーカ画像データを用いて校正値を算出できる。したがって、車載ＥＣＵ１００は、算出する校正値の精度をより高めることが可能となる。

車載ＥＣＵ１００は、投影される大きさが異なる複数の校正マーカを投影させる。これによれば、実体物の校正マーカの車両Ａに対する距離を変化させた場合と同様のマーカ画像データを取得することができる。このため、車載ＥＣＵ１００は、実体物の校正マーカを用いる場合と比べて、より校正のためのスペースを抑制することができる。

車載ＥＣＵ１００は、基本形状と、基本形状を斜視した斜視形状とを含む複数の校正マーカを投影させる。これによれば、実体物の校正マーカの車両Ａに対する傾き角度を変化させた場合と同様のマーカ画像データを取得することができる。このため、車載ＥＣＵ１００は、実体物の校正マーカを用いる場合と比べて、より校正のためのスペースを抑制することができる。

車載ＥＣＵ１００は、車両Ａが停車したか否かを判定する校正開始判定部４２をさらに備える。車載ＥＣＵ１００は、車両Ａが停車したと判定した場合に、校正マーカの投影を開始させる。これによれば、車載ＥＣＵ１００は、車両Ａの停車時に校正マーカの投影を開始させることで、校正マーカの撮像時に投影面の状態が経時的に変化して、校正値の精度が低下してしまうことを抑制できる。

校正開始判定部４２は、予め設定された施設の所定位置に到着したか否かを判定する。投影指示部５１は、所定位置に到着したと判定された場合に、校正マーカの投影を開始させる。これによれば、車載ＥＣＵ１００は、予め設定された場所にて校正マーカを投影させることができるので、投影に適さない投影面に校正マーカを投影させることを回避し得る。このため、車載ＥＣＵ１００は、校正値の精度が低下してしまうことを抑制できる。

車載ＥＣＵ１００は、カメラ１０が検出物体を撮像した画像データおよびカメラ１０以外の車載センサが検出物体を検出した検出情報を取得し、これらの比較に基づいてカメラ１０の校正が必要か否かを判定するセンサ情報比較部４１を有する。車載ＥＣＵ１００は、カメラ１０の校正が必要と判定している場合に、校正マーカの投影を開始させる。これによれば、車載ＥＣＵ１００は、カメラ１０の検出結果と他の車載センサの検出結果とからカメラ１０の校正の必要性を判断し、校正が必要な場合に校正処理を実行できる。このため、車載ＥＣＵ１００は、カメラ１０の検出精度が低下したタイミングで校正処理を実行でき、カメラ１０の検出精度が低下した状態が継続することを回避できる。

（第２実施形態）
第２実施形態では、第１実施形態におけるセンサ校正方法の変形例について説明する。図７において第１実施形態の図面中と同一符号を付した構成要素は、同様の構成要素であり、同様の作用効果を奏するものである。

第２実施形態の投影指示部５１は、ライダ１２から校正マーカを投影させる。第２実施形態においてライダ１２は、レーザ光の照射により所定の形状の光像を車両Ａの周囲に投影可能に構成されている。例えば走査型のライダ１２の場合、投影用データを取得し、このデータに基づいて照射するレーザ光の走査制御を行うことで、光像を投影できる。またこの場合、カメラ１０は、ライダ１２のレーザ光の反射光を検出可能とするための波長フィルタを有している。第２実施形態の「ライダ１２」は、「投影装置」の一例である。

車載ＥＣＵ１００は、機能ブロックとして基準推定部２５２を備える。基準推定部２５２は、校正マーカの基準特徴点の位置座標を推定する。基準特徴点は、投影面に投影された校正マーカの特徴点の、ライダ１２の座標系における位置座標である。すなわち、基準特徴点の位置座標は、カメラ１０によって検出される後述の検出特徴点に対する基準となる情報である。基準推定部２５２は、基準特徴点の位置座標を、投影面の状態に基づいて推定する。投影面の状態には、例えば投影面の形状、車両Ａからの距離、車両Ａに対する角度等が含まれる。投影面の状態は、例えば投影の直前または直後にライダ１２によって検出される。

または、基準推定部２５２は、予めメモリ装置６３に記憶された基準特徴点の位置座標を読み出して取得してもよい。この場合、基準特徴点の位置座標は、上述した施設の所定位置にて予め校正マーカを投影、撮像し、その撮像データから取得される初期値である。

または、基準特徴点の位置座標は、製造時や工場出荷時等に予め設定されている値でもよい。この場合、サービス提供者は校正のための好ましい車両Ａの環境に関する情報を提供され、その情報に基づいて車両Ａを駐車させる施設の所定位置を設定する。

算出部５４は、基準推定部２５２およびマーカ画像取得部５３から提供された情報に基づいて、カメラ１０のライダ１２に対する外部パラメータを生成する。算出部５４は、基準推定部２５２から提供された基準特徴点の位置座標を実質的に真値として扱う。算出部５４は、マーカ画像データから特徴点の位置を検出特徴点として検出し、検出特徴点の位置座標を真値に近付ける外部パラメータを生成する。

算出部５４は、基準推定部２５２およびマーカ画像取得部５３から提供された情報に基づいて、カメラ１０のライダ１２に対する外部パラメータを生成する。算出部５４は、基準推定部２５２から提供された基準特徴点の位置座標を実質的に真値として扱う。算出部５４は、マーカ画像データから特徴点の位置を検出特徴点として検出し、検出特徴点の位置座標を真値に近付ける外部パラメータを生成する。

車載ＥＣＵ１００は、第１実施形態の図５に示す処理と同様の処理により、校正処理の開始判定を実施する。また、車載ＥＣＵ１００は、第１実施形態の図６に示す処理と同様の処理により、校正処理を実施する。ただし第２実施形態の車載ＥＣＵ１００は、ステップＳ６１において照明装置２０の代わりにライダ１２に校正マーカの投影を指示する。また、ステップＳ６４では、マーカ画像データから特徴点を抽出するとともに、取得した点群情報から基準特徴点を推定する。

第２実施形態の車載ＥＣＵ１００は、ライダ１２に校正マーカを投影させる。これによれば、校正マーカを投影するための追加の光源を不要とすることができる。また、車載ＥＣＵ１００は、ライダ１２によって投影面の状態を検出するので、校正マーカを投影する場所を限定されない。特に、ライダ１２によって投影面の状態を検出し、ライダ１２から校正マーカを投影することで、他の光源から投影する場合と比較して基準特徴点の位置座標の誤差を抑制できる。

（第３実施形態）
第３実施形態では、第１実施形態における光センサ校正方法の変形例について説明する。第１実施形態では、車載ＥＣＵ１００は、照明装置２０の投影する校正マーカによってカメラ１０とライダ１２との間の外部パラメータを校正するとした。これに代えて、またはこれに加えて、車載ＥＣＵ１００は、カメラ１０と車両Ａとの間の外部パラメータを校正してもよい。

この場合、車載ＥＣＵ１００は、照明装置２０により投影される校正マーカの基準特徴点の位置座標を推定する。そして、車載ＥＣＵ１００は、推定した基準特徴点と、マーカ画像データから抽出した検出特徴点とに基づいて、外部パラメータを生成する。基準特徴点は、予め施設の所定位置にて撮像されたマーカ画像データから検出された初期値である。または、基準特徴点は、ライダ１２によって検出された投影面の点群情報に基づき算出されてもよい。

照明装置２０は、通常車体に対する光軸を調整された状態で取り付けられている。このため、照明装置２０から投影された校正マーカに基づいてカメラ１０の外部パラメータを校正することで、カメラ１０と車両Ａとの間の外部パラメータを校正することができる。

（他の実施形態）
この明細書における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および／または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および／または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および／または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。

上述の実施形態において、車載ＥＣＵ１００の搭載される車両Ａは、モビリティサービスを提供する無人運転車両であるとしたが、特定のユーザによって個人所有される車両であってもよいし、高度運転支援を提供する有人運転車両であってもよい。

上述の実施形態において、照明装置２０またはライダ１２が校正マーカを投影するとしたが、校正マーカの投影装置はこれに限定されない。例えば、校正マーカの投影用の光源を、追加的に車両Ａに設けてもよい。

上述の実施形態において、チェスボードパターンの校正マーカが投影されるとしたが、特徴点の抽出可能な図柄であれば、校正マーカの図柄はこれに限定されない。例えば図８に示すように、校正マーカは、複数の円形のドットが行列状に配置された図柄であってもよい。このような図柄の場合、特徴点は、ドットの重心点として抽出される。

上述の実施形態において、車載ＥＣＵ１００は、センサ情報比較部４１にてカメラ１０と他のセンサとの検出情報が一致しなくなった場合に、校正処理が必要と判断する。これに代えて、車載ＥＣＵ１００は、前回の校正処理から一定の期間が経過した際に校正処理が必要と判断する構成であってもよい。この場合、校正処理を行う間隔は、車両Ａの提供するサービス内容により規定される、カメラ１０へ要求される検出精度などに基づき、任意に設定される。

上述の実施形態において、車載ＥＣＵ１００は、車両Ａが停止状態である場合に校正マーカの投影を開始するとしたが、投影面の状態が実質的に変化しないのであれば、走行中に校正マーカの投影を開始してもよい。例えば、車載ＥＣＵ１００は、施設内の壁面と平行に車両Ａが走行している際に、校正マーカの投影を開始してよい。この場合、校正マーカを壁面に投影させることで、車両Ａの側方を撮像範囲とするカメラ１０の校正を実施できる。または、車載ＥＣＵ１００は、実質的に平坦な路面の走行中に、校正マーカを路面に投影させて校正処理を実行してもよい。この場合、車載ＥＣＵ１００は、路面が実質的に平坦か否かを、車載センサの検出結果や高精度地図データ等から取得した情報に基づき判定すればよい。

上述の実施形態において、車載ＥＣＵ１００は、基準に対するカメラ１０の外部パラメータを算出するとしたが、外部パラメータだけでなくカメラ１０の内部パラメータの校正値を算出してもよい。また、車載ＥＣＵ１００は、ステレオカメラ等の撮像範囲が少なくとも一部重複する複数のカメラ１０同士の間の外部パラメータを算出してもよい。また、車載ＥＣＵ１００は、基準に対するライダ１２の外部パラメータを算出してもよい。

上述の実施形態のプロセッサは、１つまたは複数のＣＰＵ（Central Processing Unit）を含む処理部である。こうしたプロセッサは、ＣＰＵに加えて、ＧＰＵ（Graphics Processing Unit）およびＤＦＰ（Data Flow Processor）等を含む処理部であってよい。さらにプロセッサは、ＦＰＧＡ（Field-Programmable Gate Array）、並びにＡＩの学習及び推論等の特定処理に特化したＩＰコア等を含む処理部であってもよい。こうしたプロセッサの各演算回路部は、プリント基板に個別に実装された構成であってもよく、またはＡＳＩＣ（Application Specific Integrated Circuit）およびＦＰＧＡ等に実装された構成であってもよい。

センサ校正プログラム等を記憶するメモリ装置には、フラッシュメモリ及びハードディスク等の種々の非遷移的実体的記憶媒体（non-transitory tangible storage medium）が採用可能である。こうした記憶媒体の形態も、適宜変更されてよい。例えば記憶媒体は、メモリカード等の形態であり、車載ＥＣＵに設けられたスロット部に挿入されて、制御回路に電気的に接続される構成であってよい。

本開示に記載の制御部およびその手法は、コンピュータプログラムにより具体化された１つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置およびその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置およびその手法は、コンピュータプログラムを実行するプロセッサと１つ以上のハードウエア論理回路との組み合わせにより構成された１つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

１００ 車載ＥＣＵ（光センサ校正装置、コンピュータ）、 １０ カメラ（光センサ）、 １２ ライダ（センサ、投影装置、ライダ装置、車載センサ）、 ２０ 照明装置（投影装置）、 ５１ 投影指示部、 ５３ マーカ画像取得部（光像情報取得部）、 ５４ 算出部、 ６１ プロセッサ、 Ａ 車両。

Claims (10)

1. コンピュータ（１００）によって実施され、車両（Ａ）に搭載されたセンサ（１０；１２）についての校正を行うセンサ校正方法であって、少なくとも１つのプロセッサ（６１）上において、
   前記車両に搭載されて光を投影する投影装置（２０；１２）を用いて、校正マーカを表す光像を前記センサの検出範囲に投影し、
   前記センサによって検出された光像情報を取得し、
   前記光像情報に基づいて前記センサの校正値を算出する、
   というステップを含むセンサ校正方法。
2. 前記投影装置には、前記車両の周囲を照明する照明装置（２０）が含まれており、
   前記光像を投影するステップでは、前記照明装置の照明光により、前記検出範囲に前記校正マーカを投影する請求項１に記載のセンサ校正方法。
3. 前記投影装置には、レーザ光を照射し、前記レーザ光の反射光に基づいて前記車両の周囲の物体を検出するライダ装置（１２）が含まれており、
   前記光像を投影するステップでは、前記ライダ装置の前記レーザ光により、前記検出範囲に前記校正マーカを投影する請求項１または請求項２に記載のセンサ校正方法。
4. 前記光像を投影するステップでは、投影態様が異なる複数の前記光像を投影する請求項１から請求項３のいずれか１項に記載のセンサ校正方法。
5. 前記光像を投影するステップでは、投影される大きさが異なる複数の前記光像を投影する請求項４に記載のセンサ校正方法。
6. 前記光像を投影するステップでは、基本形状と、前記基本形状を斜視した斜視形状とを含む複数の前記光像を投影する請求項４または請求項５に記載のセンサ校正方法。
7. 前記車両が停車したか否かを判定するステップをさらに含み、
   前記車両が停車したと判定した場合に、前記光像の投影を開始する請求項１から請求項６のいずれか１項に記載のセンサ校正方法。
8. 前記車両が予め設定された所定の場所に到着したか否かを判定するステップをさらに含み、
   前記所定の場所に到着したと判定した場合に、前記光像の投影を開始する請求項１から請求項７のいずれか１項に記載のセンサ校正方法。
9. 前記センサによる検出物体の検出情報を取得し、
   前記センサとは異なる車載センサ（１２）による前記検出物体の検出情報を取得し、
   前記センサおよび前記車載センサの各前記検出情報の比較に基づいて前記センサの校正が必要か否かを判定し、
   前記センサの校正が必要と判定している場合に、前記光像の投影を開始する請求項１から請求項８のいずれか１項に記載のセンサ校正方法。
10. 車両（Ａ）に搭載されたセンサ（１０；１２）についての校正を行うセンサ校正装置であって、
    前記車両に搭載されて光を投影する投影装置（２０；１２）から、校正マーカを表す光像を前記センサの検出範囲に投影させる投影指示部（５１）と、
    前記センサによって検出された光像情報を取得する光像情報取得部（５３）と、
    前記光像情報に基づいて前記センサの校正値を算出する算出部（５４）と、
    を備えるセンサ校正装置。

Images