JP2022154840A - 検出装置、車両システム、検出方法、およびプログラム - Google Patents

Abstract

【課題】水平方向に対する撮像装置のピッチ角度とロール角度の両方を同時かつ精度よく検出することができる検出装置、車両システム、検出方法、およびプログラムを提供すること。【解決手段】車両に取り付けられた撮像装置から、前記車両の進行方向に存在する複数の物標の検出結果を取得する取得部と、前記取得部によって取得された前記検出結果に基づいて、前記車両の移動に伴って検出された前記複数の物標が同一物標であるか否かを判定し、前記複数の物標のそれぞれの座標を時系列で算出する算出部と、前記算出部によって時系列で算出された前記座標に基づき、水平方向に対する前記撮像装置のピッチ角度およびロール角度を検出する検出部と、を備える検出装置。【選択図】図３

Description

本発明は、検出装置、車両システム、検出方法、およびプログラムに関する。

近年、車両を自動的に制御することについて研究が進められている。車両の自動制御では、車両に取り付けられるライダー（LIDAR: Light Detection and Ranging）などの撮像装置を用いて、車両周辺の物体の位置を検出することが行われる。このため、撮像装置が水平方向に対して傾いて取り付けられると、物体の位置が誤って検出されてしまう可能性がある。そこで、特許文献１には、車両に取り付けられた撮像装置のピッチ角度を検出する技術が記載されている。

特許第３８０８２８７号公報

しかしながら、特許文献１に記載の技術では、撮像装置がピッチ方向だけでなくロール方向にも傾いている場合、水平方向に対する撮像装置のピッチ角度およびロール角度の両方を同時かつ精度よく検出することができない場合があった。

本発明は、このような事情を考慮してなされたものであり、水平方向に対する撮像装置のピッチ角度とロール角度の両方を同時かつ精度よく検出することができる検出装置、車両システム、検出方法、およびプログラムを提供することを目的の一つとする。

この発明に係る検出装置、車両システム、検出方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る検出装置は、車両に取り付けられた撮像装置から、前記車両の進行方向に存在する複数の物標の検出結果を取得する取得部と、前記取得部によって取得された前記検出結果に基づいて、前記車両の移動に伴って検出された前記複数の物標が同一物標であるか否かを判定し、前記複数の物標のそれぞれの座標を時系列で算出する算出部と、前記算出部によって時系列で算出された前記座標に基づき、水平方向に対する前記撮像装置のピッチ角度およびロール角度を検出する検出部と、を備えるものである。

（２）：上記（１）の態様において、前記複数の物標は、前記車両の進行方向の右側に存在する第１物標と、前記車両の進行方向の左側に存在する第２物標とを含み、前記算出部は、前記第１物標の座標を示す第１座標を時系列で算出するとともに、前記第２物標の座標を示す第２座標を時系列で算出し、前記検出部は、前記算出部によって算出された前記第１座標および前記第２座標に基づき、前記ピッチ角度および前記ロール角度を検出するものである。

（３）：上記（１）または（２）の態様において、前記検出部によって検出された前記ピッチ角度および前記ロール角度に基づき、前記複数の物標のそれぞれの前記座標を補正する補正部を更に備えるものである。

（４）：上記（３）の態様において、前記補正部は、前記検出部によって検出された前記ピッチ角度および前記ロール角度のうちの少なくとも一方が予め設定された閾値を超える場合、前記複数の物標のそれぞれの前記座標を補正せずに、前記複数の物標のそれぞれの前記座標を補正するための補正値を前記撮像装置に出力するものである。

（５）：上記（１）から（４）のいずれかの態様において、前記取得部は、前記車両に取り付けられたヨーレートセンサから、前記車両の鉛直軸回りの角速度の検出結果を取得し、前記検出部は、前記取得部によって取得された前記ヨーレートセンサの検出結果が所定範囲内にない場合、前記ピッチ角度および前記ロール角度を検出しないものである。

（６）：上記（１）から（５）のいずれかの態様において、前記撮像装置は、前記車両から前記複数の物標の各々までの距離を検出するライダーである。

（７）：この発明の一態様に係る車両システムは、（１）から（６）のいずれかの態様の検出装置と、前記複数の物標のそれぞれの前記座標に応じて前記車両を制御する制御装置とを備えるものである。

（８）：この発明の一態様に係る検出方法は、コンピュータが、車両に取り付けられた撮像装置から、前記車両の進行方向に存在する複数の物標の検出結果を取得し、前記検出結果に基づいて、前記車両の移動に伴って検出された前記複数の物標が同一物標であるか否かを判定し、前記複数の物標のそれぞれの座標を時系列で算出し、時系列で算出された前記座標に基づき、水平方向に対する前記撮像装置のピッチ角度およびロール角度を検出するものである。

（９）：この発明の一態様に係るプログラムは、コンピュータに、車両に取り付けられた撮像装置から、前記車両の進行方向に存在する複数の物標の検出結果を取得させ、前記検出結果に基づいて、前記車両の移動に伴って検出された前記複数の物標が同一物標であるか否かを判定させ、前記複数の物標のそれぞれの座標を時系列で算出させ、時系列で算出された前記座標に基づき、水平方向に対する前記撮像装置のピッチ角度およびロール角度を検出させるものである。

（１）～（９）の態様によれば、水平方向に対する撮像装置のピッチ角度とロール角度の両方を同時かつ精度よく検出することができる。

実施形態に係る車両制御装置を利用した車両システム１の構成図である。 第１制御部１２０および第２制御部１６０の機能構成図である。 検出装置１５の機能構成図である。 ライダー１４が水平方向に対して傾いていない状態で車両Ｍに取り付けられている様子を表す図である。 図４のライダー１４の位置を基準としたときの、物標３００の相対的な移動を示す図である。 ライダー１４がピッチ方向にのみ傾いた状態で車両Ｍに取り付けられている様子を表す図である。 図６のライダー１４の位置を基準としたときの、物標３００の相対的な移動を示す図である。 ライダー１４がピッチ方向にのみ傾いた状態で車両Ｍに取り付けられている場合の、ＸＹＺ座標系における物標３００の移動を示す図である。 ライダー１４がロール方向にのみ傾いた状態で車両Ｍに取り付けられている場合の、ＸＹＺ座標系における物標３００の移動を示す図である。 ライダー１４がピッチ方向およびロール方向に傾いた状態で車両Ｍに取り付けられている場合の、ＸＹＺ座標系における物標３００の移動を示す図である。 ライダー１４の位置を基準としたときの、複数の物標３０１および３０２の相対的な移動を示す図である。 検出装置１５によって実行される処理の流れを示すフローチャートである。

以下、図面を参照し、本発明の認識装置、車両システム、認識方法、およびプログラムの実施形態について説明する。

［全体構成］
図１は、実施形態に係る車両制御装置を利用した車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ライダー（LIDAR）１４と、検出装置１５と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子８０と、自動運転制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両Ｍの任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ライダー１４は、車両Ｍの周辺に光（或いは光に近い波長の電磁波）を照射し、散乱光を測定する。ライダー１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ライダー１４は、車両Ｍの任意の箇所に取り付けられる。なお、ライダー１４は、車両Ｍの進行方向に対して横方向及び縦方向にスキャンすることにより、車両Ｍから対象までの距離を検出する。

検出装置１５は、ライダー１４の検出結果に基づいて、水平方向に対するライダー１４の取り付け角度のずれを検出する。具体的に、検出装置１５は、水平方向に対するライダー１４のピッチ角度とロール角度の両方を検出する。なお、検出装置１５によって行われる検出方法の詳細については後述する。検出装置１５は、検出したピッチ角度およびロール角度に基づいてライダー１４の検出結果を補正し、補正された検出結果を物体認識装置１６に出力する。なお、検出装置１５の機能をライダー１４に組み込み、車両システム１から検出装置１５を省略してもよい。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびライダー１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御装置１００に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２、およびライダー１４の検出結果をそのまま自動運転制御装置１００に出力してよい。なお、物体認識装置１６の機能を自動運転制御装置１００に組み込み、車両システム１から物体認識装置１６を省略してもよい。

通信装置２０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。

車両センサ４０は、車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両Ｍの向きを検出する方位センサ等を含む。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤやフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、車両Ｍの位置を特定する。車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。地図上経路は、ＭＰＵ６０に出力される。ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。

自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０とを備える。第１制御部１２０と第２制御部１６０は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで自動運転制御装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。

図２は、第１制御部１２０および第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１４０とを備える。第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。

認識部１３０は、カメラ１０、レーダ装置１２、およびライダー１４から物体認識装置１６（および検出装置１５）を介して入力された情報に基づいて、車両Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

また、認識部１３０は、例えば、車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１３０は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、認識部１３０は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界（道路境界）を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置５０から取得される車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。また、認識部１３０は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。

認識部１３０は、走行車線を認識する際に、走行車線に対する車両Ｍの位置や姿勢を認識する。認識部１３０は、例えば、車両Ｍの基準点の車線中央からの乖離、および車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１３０は、走行車線のいずれかの側端部（道路区画線または道路境界）に対する車両Ｍの基準点の位置などを、走行車線に対する車両Ｍの相対位置として認識してもよい。

行動計画生成部１４０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、更に、車両Ｍの周辺状況に対応できるように、車両Ｍが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。

行動計画生成部１４０は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベントなどがある。行動計画生成部１４０は、起動させたイベントに応じた目標軌道を生成する。

第２制御部１６０は、行動計画生成部１４０によって生成された目標軌道を、予定の時刻通りに車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。

第２制御部１６０は、例えば、取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。取得部１６２は、行動計画生成部１４０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。操舵制御部１６６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［検出装置の機能構成］
図３は、検出装置１５の機能構成図である。検出装置１５は、例えば、取得部１５０と、算出部１５２と、検出部１５４と、補正部１５６とを備える。取得部１５０、算出部１５２、検出部１５４、および補正部１５６は、それぞれ、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ、またはＧＰＵなどのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め検出装置１５のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで検出装置１５のＨＤＤやフラッシュメモリにインストールされてもよい。

取得部１５０は、ライダー１４から、車両Ｍの進行方向に存在する複数の物標の検出結果を取得する。物標は、反射率の高い、路側の反射板、エリミネータ、看板（標識）などの静止対象物である。算出部１５２は、取得部１５０によって取得された検出結果に基づいて、車両Ｍの移動に伴って検出された複数の物標が同一物標であるか否かを判定し、複数の物標のそれぞれの座標を時系列で算出する。検出部１５４は、算出部１５２によって時系列で算出された座標に基づき、水平方向に対するライダー１４のピッチ角度およびロール角度を検出する。補正部１５６は、検出部１５４によって検出されたピッチ角度およびロール角度に基づき、複数の物標のそれぞれの座標を補正する。この点について、以下詳細に説明する。

［ピッチ角度およびロール角度の検出］
図４は、ライダー１４が水平方向に対して傾いていない状態で車両Ｍに取り付けられている様子を表す図である。図４において、車両Ｍの進行方向をＺ方向、水平な路面３１０に垂直な方向をＹ方向、Ｚ方向とＹ方向に垂直な方向をＸ方向とする。路面３１０には、静止対象物である物標３００が設けられている。ライダー１４は、水平方向に対して傾いていない状態で車両Ｍに取り付けられているため、ライダー１４の光軸は路面３１０に対して平行である。

時刻Ｔ＝０のときの車両Ｍの位置をＰ（０）とし、時刻Ｔ＝１のときの車両Ｍの位置をＰ（１）とする。なお、時刻Ｔ＝１は時刻Ｔ＝０よりも後の時刻である。このとき、Ｐ（１）の方がＰ（０）よりも物標３００に近い位置となっている。

図５は、図４のライダー１４の位置を基準としたときの、物標３００の相対的な移動を示す図である。図４に示されるように、車両ＭがＰ（０）からＰ（１）に移動すると、図５に示されるように、ライダー１４からは物標３００がＰ１（０）からＰ１（１）に移動したように見える。

図５において、ライダー１４の位置を原点、原点を通過するＸ方向の軸をＸ軸、原点を通過するＹ方向の軸をＹ軸、原点を通過するＺ方向の軸をＺ軸とする。この座標系において、Ｐ１（０）＝（Ｘ１（０），Ｙ１（０），Ｚ１（０））、Ｐ１（１）＝（Ｘ１（１），Ｙ１（１），Ｚ１（１））とする。Ｖ１は、Ｐ１（０）からＰ１（１）までの物標３００の移動ベクトルである。ライダー１４は、水平方向に対して傾いていない状態で車両Ｍに取り付けられているため、移動ベクトルＶ１はＺ軸に平行である。

図６は、ライダー１４がピッチ方向にのみ傾いた状態で車両Ｍに取り付けられている様子を表す図である。ピッチ方向はＸ軸を中心として回転する方向である。図６において、Ｐｉｔｃｈは、水平方向に対するライダー１４のピッチ角度である。ライダー１４は、ピッチ方向にＰｉｔｃｈだけ傾いた状態で車両Ｍに取り付けられており、ライダー１４の光軸と水平方向とのなす角はＰｉｔｃｈとなっている。図６においても図４と同様に、時刻Ｔ＝０のときの車両Ｍの位置をＰ（０）とし、時刻Ｔ＝１のときの車両Ｍの位置をＰ（１）とする。

図７は、図６のライダー１４の位置を基準としたときの、物標３００の相対的な移動を示す図である。図６に示されるように、車両ＭがＰ（０）からＰ（１）に移動すると、図７に示されるように、ライダー１４からは物標３００がＰ１（０）からＰ１（１）に移動したように見える。Ｖ２は、Ｐ１（０）からＰ１（１）までの移動ベクトルである。ライダー１４は、ピッチ方向にＰｉｔｃｈだけ傾いた状態で車両Ｍに取り付けられているため、移動ベクトルＶ２とＺ軸方向とのなす角はＰｉｔｃｈとなっている。

ライダー１４がピッチ方向にのみ傾いて車両Ｍに取り付けられている場合には、座標Ｐ１（０）および座標Ｐ１（１）に基づいてＰｉｔｃｈを求めることができる。前述したように、Ｐ１（０）＝（Ｘ１（０），Ｙ１（０），Ｚ１（０））、Ｐ１（１）＝（Ｘ１（１），Ｙ１（１），Ｚ１（１））である。このため、Ｐｉｔｃｈは下記の式（１）に基づいて算出することができる。

しかしながら、ライダー１４がピッチ方向およびロール方向に傾いた状態で車両Ｍに取り付けられている場合には、ロール方向の傾きがピッチ成分として検出されてしまうため、ピッチ角度およびロール角度を同時かつ精度よく算出できない場合がある。ロール方向は、Ｚ軸を中心として回転する方向である。以下、この点について説明する。

図８は、ライダー１４がピッチ方向にのみ傾いた状態で車両Ｍに取り付けられている場合の、ＸＹＺ座標系における物標３００の移動を示す図である。図８において、ライダー１４の位置を原点Ｏとしている。Ｐ１（０）は時刻Ｔ＝０における物標３００の座標であり、Ｐ１´（１）は時刻Ｔ＝１における物標３００の座標である。Ｐ１（０）とＰ１´（１）とを結ぶ直線と、水平面（ＸＺ平面）とのなす角度は、ライダー１４のピッチ角度（Ｐｉｔｃｈ）と等しい。

図９は、ライダー１４がロール方向にのみ傾いた状態で車両Ｍに取り付けられている場合の、ＸＹＺ座標系における物標３００の移動を示す図である。図９において、Ｒｏｌｌはライダー１４のロール角度である。Ｐ１（０）は時刻Ｔ＝０における物標３００の座標であり、Ｐ１´´（１）は時刻Ｔ＝１における物標３００の座標である。Ｐｒ１は、ライダー１４のロール方向の傾きによって発生するピッチ成分の角度である。

図１０は、ライダー１４がピッチ方向およびロール方向に傾いた状態で車両Ｍに取り付けられている場合の、ＸＹＺ座標系における物標３００の移動を示す図である。図１０において、ライダー１４のピッチ角度は図８に示されるＰｉｔｃｈと等しく、ライダー１４のロール角度は図９に示されるＲｏｌｌと等しい。Ｐ１（０）は時刻Ｔ＝０における物標３００の座標であり、Ｐ１（１）は時刻Ｔ＝１における物標３００の座標である。この場合、Ｐ１（１）＝Ｐ１´（１）＋Ｐ１´´（１）となる。

点Ａは、Ｐ１（１）の位置を示す点である。点Ｂは、点Ａを通過するＸＺ平面に垂直な直線と、ＸＺ平面との交点である。言い換えると、点Ｂは、点ＡのＹ座標を０とした点である。点Ｃは、Ｐ１（０）の位置を示す点である。点Ｅは、図８におけるＰ１´（１）の位置を示す点である。点Ｄは、点Ｃを通過するＸＺ平面に垂直な直線と、点Ｅを含むＸＺ平面と平行な平面との交点である。言い換えると、点Ｄは、点ＣのＹ座標を点ＥのＹ座標と等しくした点である。

図１０において、ライダー１４のロール角度（Ｒｏｌｌ）は小さい値であるため、Ｐｒ１の値も小さい。このため、∠ＡＣＥ＝Ｐｒ１、∠ＡＤＥ＝Ｐｒ１と近似する。三角形ＡＢＣにおいて、∠ＡＣＢは式（２）のように表すことができる。

三角形ＡＥＦにおいて、ＡＥ＝ＦＥ・ｔａｎ（Ｒｏｌｌ）である。また、三角形ＡＥＤにおいて、ＡＥ≒ＤＥ・ｔａｎ（Ｐｒ１）である。この式に式（２）を代入すると、ＡＥ＝ＤＥ・ｔａｎ（∠ＡＣＢ－Ｐｉｔｃｈ）となる。このことから、式（３）が得られる。

また、Ｒｏｌｌ、Ｐｉｔｃｈ、および∠ＡＣＢは小さい値であることから、式（３）を変形することにより、式（４）が得られる。

更に、式（４）を変形することにより、式（５）が得られる。

前述したように、Ｐ１（０）＝（Ｘ１（０），Ｙ１（０），Ｚ１（０））、Ｐ１（１）＝（Ｘ１（１），Ｙ１（１），Ｚ１（１））であるため、式（６）が得られる。

式（６）における係数を、式（７）に示される係数α１および式（８）に示される係数β２のように規定すると、式（９）が得られる。

図１１は、ライダー１４の位置を基準としたときの、複数の物標３０１および３０２の相対的な移動を示す図である。図１１において、第１物標３０１は、車両Ｍの進行方向（Ｚ方向）の右側に存在する静止対象物である。第２物標３０２は、車両Ｍの進行方向（Ｚ方向）の左側に存在する静止対象物である。

Ｐ１（０）は時刻Ｔ＝０のときの第１物標３０１の座標であり、Ｐ１（１）は時刻Ｔ＝１のときの第１物標３０１の座標である。また、Ｐ２（０）は時刻Ｔ＝０のときの第２物標３０２の座標であり、Ｐ２（１）は時刻Ｔ＝１のときの第２物標３０２の座標である。これらの座標は、下記のように表される。
Ｐ１（０）＝（Ｘ１（０），Ｙ１（０），Ｚ１（０））
Ｐ１（１）＝（Ｘ１（１），Ｙ１（１），Ｚ１（１））
Ｐ２（０）＝（Ｘ２（０），Ｙ２（０），Ｚ２（０））
Ｐ２（１）＝（Ｘ２（１），Ｙ２（１），Ｚ２（１））

前述したように、第１物標３０１の座標Ｐ１（０）およびＰ１（１）を求めることで、前述の式（７）～（９）を得ることができる。これと同様に、第２物標３０２の座標Ｐ２（０）およびＰ２（１）を求めることで、式（１０）～（１２）を得ることができる。

また、式（９）および式（１２）から、式（１３）および式（１４）が得られる。

したがって、検出装置１５は、式（１３）を用いて水平方向に対するライダー１４のピッチ角度（Ｐｉｔｃｈ）を算出することができ、式（１４）を用いて水平方向に対するライダー１４のロール角度（Ｒｏｌｌ）を算出することができる。このように、検出装置１５は、車両Ｍの進行方向に存在する複数の物標の検出結果から、水平方向に対するライダー１４のピッチ角度およびロール角度を検出することができる。

［検出装置のフローチャート］
図１２は、検出装置１５によって実行される処理の流れを示すフローチャートである。まず、検出装置１５の取得部１５０は、車両Ｍに取り付けられたライダー１４から、車両Ｍの進行方向に存在する複数の物標の検出結果を取得する（Ｓ１０１）。複数の物標は、例えば図１１に示される第１物標３０１および第２物標３０２である。

次に、検出装置１５の算出部１５２は、取得部１５０によって取得されたライダー１４の検出結果に基づいて、車両Ｍの移動に伴って検出された複数の物標が同一物標であるか否かを判定し、複数の物標のそれぞれの座標を時系列で算出する（Ｓ１０２）。具体的に、算出部１５２は、時刻Ｔ＝０において検出された第１物標３０１と時刻Ｔ＝１において検出された第１物標３０１とが同一物標であると判定し、第１物標３０１の座標Ｐ１（０）およびＰ１（１）を算出する。また、算出部１５２は、時刻Ｔ＝０において検出された第２物標３０２と時刻Ｔ＝１において検出された第２物標３０２とが同一物標であると判定し、第２物標３０２の座標Ｐ２（０）およびＰ２（１）を算出する。

次に、検出装置１５の検出部１５４は、算出部１５２によって時系列で算出された複数の物標のそれぞれの座標に基づき、水平方向に対するライダー１４のピッチ角度およびロール角度を検出する（Ｓ１０３）。具体的に、検出部１５４は、前述の式（１３）および式（１４）を用いてＰｉｔｃｈおよびＲｏｌｌを算出し、Ｐｉｔｃｈの値を水平方向に対するライダー１４のピッチ角度として検出し、Ｒｏｌｌの値を水平方向に対するライダー１４のロール角度として検出する。これによって、検出装置１５は、水平方向に対するライダー１４のピッチ角度とロール角度の両方を同時かつ精度よく検出することができる。

次に、検出装置１５の補正部１５６は、検出部１５４によって検出されたピッチ角度（Ｐｉｔｃｈ）およびロール角度（Ｒｏｌｌ）に基づき、複数の物標のそれぞれの座標を補正する（Ｓ１０４）。具体的に、補正部１５６は、算出部１５２によって算出された第１物標３０１の座標および第２物標３０２の座標（ライダー１４の光軸を基準とする座標系の座標）を、車両Ｍの進行方向を基準とする実座標系の座標に変換する。例えば、補正部１５６は、ピッチ角度（Ｐｉｔｃｈ）およびロール角度（Ｒｏｌｌ）に応じた回転行列を用いて、第１物標３０１の座標および第２物標３０１の座標を変換する。これによって、検出装置は、ライダー１４が水平方向に対して傾いて車両Ｍに取り付けられた場合であっても、車両Ｍの周辺に存在する物標の位置を正確に検出することができる。

検出装置１５は、補正部１５６によって補正された複数の物標のそれぞれの座標を、物体認識装置１６を介して自動運転制御装置１００に送信する。自動運転制御装置１００は、補正部１５６によって補正された複数の物標のそれぞれの座標に応じて車両Ｍを制御する。これによって、自動運転制御装置１００は、正確な物標の位置に基づいて適切な自動運転制御を行うことができる。

以上の通り説明した本実施形態によれば、検出装置１５は、ライダー１４の検出結果に基づいて複数の物標のそれぞれの座標を時系列で算出し、時系列で算出された座標に基づき、水平方向に対するライダー１４のピッチ角度およびロール角度を検出する。これにより、水平方向に対するライダー１４のピッチ角度とロール角度の両方を同時かつ精度よく検出することができる。

なお、補正部１５６は、検出部１５４によって検出されたピッチ角度およびロール角度のうちの少なくとも一方が予め設定された閾値を超える場合、複数の物標のそれぞれの座標を補正せずに、複数の物標のそれぞれの座標を補正するための補正値をライダー１４に出力してもよい。この場合、ライダー１４は、検出装置１５から入力された補正値に基づいて、複数の物標のそれぞれの座標を補正してもよい。これによって、検出装置１５の処理負荷を軽減することができる。

また、検出装置１５によるピッチ角度およびロール角度の検出処理は、車両Ｍが直進している際に実行されることが好ましい。このため、取得部１５０は、車両Ｍに取り付けられたヨーレートセンサから、車両Ｍの鉛直軸回りの角速度の検出結果を取得してもよく、検出部１５４は、取得部１５０によって取得されたヨーレートセンサの検出結果が所定範囲内にない場合（言い換えると、車両Ｍがカーブを走行している場合）、ピッチ角度およびロール角度を検出しないようにしてもよい。これによって、ピッチ角度およびロール角度の誤検出を低減することができる。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
車両に取り付けられた撮像装置から、前記車両の進行方向に存在する複数の物標の検出結果を取得し、
前記検出結果に基づいて、前記複数の物標のそれぞれの座標を時系列で算出し、
時系列で算出された前記座標に基づき、水平方向に対する前記撮像装置のピッチ角度およびロール角度を検出する
検出装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１ 車両システム
１４ ライダー
１５ 検出装置
１６ 物体認識装置
４０ 車両センサ
１００ 自動運転制御装置
１５０ 取得部
１５２ 算出部
１５４ 検出部
１５６ 補正部

Claims (9)

1. 車両に取り付けられた撮像装置から、前記車両の進行方向に存在する複数の物標の検出結果を取得する取得部と、
   前記取得部によって取得された前記検出結果に基づいて、前記車両の移動に伴って検出された前記複数の物標が同一物標であるか否かを判定し、前記複数の物標のそれぞれの座標を時系列で算出する算出部と、
   前記算出部によって時系列で算出された前記座標に基づき、水平方向に対する前記撮像装置のピッチ角度およびロール角度を検出する検出部と、
   を備える検出装置。
2. 前記複数の物標は、前記車両の進行方向の右側に存在する第１物標と、前記車両の進行方向の左側に存在する第２物標とを含み、
   前記算出部は、前記第１物標の座標を示す第１座標を時系列で算出するとともに、前記第２物標の座標を示す第２座標を時系列で算出し、
   前記検出部は、前記算出部によって算出された前記第１座標および前記第２座標に基づき、前記ピッチ角度および前記ロール角度を検出する
   請求項１記載の検出装置。
3. 前記検出部によって検出された前記ピッチ角度および前記ロール角度に基づき、前記複数の物標のそれぞれの前記座標を補正する補正部を更に備える
   請求項１または２に記載の検出装置。
4. 前記補正部は、前記検出部によって検出された前記ピッチ角度および前記ロール角度のうちの少なくとも一方が予め設定された閾値を超える場合、前記複数の物標のそれぞれの前記座標を補正せずに、前記複数の物標のそれぞれの前記座標を補正するための補正値を前記撮像装置に出力する
   請求項３記載の検出装置。
5. 前記取得部は、前記車両に取り付けられたヨーレートセンサから、前記車両の鉛直軸回りの角速度の検出結果を取得し、
   前記検出部は、前記取得部によって取得された前記ヨーレートセンサの検出結果が所定範囲内にない場合、前記ピッチ角度および前記ロール角度を検出しない
   請求項１から４のいずれか一項に記載の検出装置。
6. 前記撮像装置は、前記車両から前記複数の物標の各々までの距離を検出するライダーである
   請求項１から５のいずれか一項に記載の検出装置。
7. 請求項１から６のうちのいずれか一項に記載の検出装置と、
   前記複数の物標のそれぞれの前記座標に応じて前記車両を制御する制御装置と
   を備える車両システム。
8. コンピュータが、
   車両に取り付けられた撮像装置から、前記車両の進行方向に存在する複数の物標の検出結果を取得し、
   前記検出結果に基づいて、前記車両の移動に伴って検出された前記複数の物標が同一物標であるか否かを判定し、前記複数の物標のそれぞれの座標を時系列で算出し、
   時系列で算出された前記座標に基づき、水平方向に対する前記撮像装置のピッチ角度およびロール角度を検出する
   検出方法。
9. コンピュータに、
   車両に取り付けられた撮像装置から、前記車両の進行方向に存在する複数の物標の検出結果を取得させ、
   前記検出結果に基づいて、前記車両の移動に伴って検出された前記複数の物標が同一物標であるか否かを判定させ、前記複数の物標のそれぞれの座標を時系列で算出させ、
   時系列で算出された前記座標に基づき、水平方向に対する前記撮像装置のピッチ角度およびロール角度を検出させる
   プログラム。

Images