JP2020017170A - 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体 - Google Patents

Abstract

【課題】連結具から被連結具までの距離を精度良く測定すること。【解決手段】車両に搭載され、車両に設けられた連結具と被牽引車両に設けられた被連結具との位置関係を識別する識別装置であって、被牽引車両に設けられたマーカを含む画像の入力を受け付ける入力部と、画像に基づいてマーカの位置を推定し、マーカの位置から被連結具の位置を識別する識別部と、識別部での識別結果を出力する出力部と、を備える、識別装置。【選択図】図４

Description

本開示は、識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体に関する。

従来、車両として、トレーラ等の被牽引車両を連結するため、後部に連結具を取り付けたものがある。牽引車両側の連結具に被牽引車両側の被連結具を連結する際、牽引車両側の連結具が被牽引車両側の被連結具に一致するように車両を後進させるが、この連結作業は大変な困難を伴う。

特開２００２−３１２７６８号公報

そこで、センサを用いて連結具と被連結具とを自動連結することが望まれている。しかしながら、例えば従来のカメラを用いた方式では、連結具から被連結具までの距離を精度良く推定することが困難であった。

ところで、光飛行時間測距法（以下、「ＴＯＦ（Time of Flight）方式」という）を用いた測距法が知られている。

しかしながら、被連結具の形状が例えば球状である場合、被連結具での反射断面積が小さく、ＴＯＦ方式で連結具から被連結具までの距離を精度良く推定することが困難であるという問題があった。

本開示の目的は、連結具から被連結具までの距離を精度良く推定することである。

本開示の一形態は、車両に搭載され、前記車両に設けられた連結具と被牽引車両に設けられた被連結具との位置関係を識別する識別装置であって、前記被牽引車両に設けられたマーカを含む画像の入力を受け付ける入力部と、前記画像に基づいて前記マーカの位置を推定し、前記マーカの位置から前記被連結具の位置を識別する識別部と、前記識別部での識別結果を出力する出力部と、を備える、識別装置である。

なお、本開示の一形態は、方法、プログラムおよびプログラムを記録した一時的でない有形の記録媒体のいずれかであってもよい。

本開示によれば、連結具から被連結具までの距離を精度良く推定することができる。

図１は、本開示の一実施形態に係る識別装置が搭載された周辺監視システムの垂直視野を示す模式図である。 図２は、本開示の一実施形態に係る識別装置が搭載された周辺監視システムの水平視野を示す模式図である。 図３は、本開示の一実施形態に係る識別装置が搭載された周辺監視システムの構成を示すブロック図である。 図４は、識別部において行われる処理を示すフローチャートである。 図５は、被牽引車両が牽引車両に対して正対している場合の撮像画像の一例を示す図である。 図６は、被牽引車両が牽引車両に対して所定のヨー角を有して対向している場合の撮像画像の一例を示す図である。 図７は、被牽引車両が牽引車両に対して所定のロール角を有して対向している場合の撮像画像の一例を示す図である。 図８は、被牽引車両が牽引車両に対して所定のピッチ角を有して対向している場合の撮像画像の一例を示す図である。 図９は、測距処理の第一具体例を示すフローチャートである。 図１０は、出射光および戻り光の状態を示す模式図である。 図１１は、光飛行時間測距法の概念を示す模式図である。 図１２は、測距処理の第二具体例を示すフローチャートである。 図１３は、マーカの第１変形例を示す図である。 図１４は、マーカの第２変形例を示す図である。 図１５は、マーカの第３変形例を示す図である。 図１６は、各部の機能をプログラムにより実現するコンピュータのハードウェア構成の一例を示す図である。

以下、本開示の一実施形態に係る識別装置１００が搭載された周辺監視システム１について、図面を参照して詳細に説明する。なお、以下に説明する実施形態は一例であり、本開示はこの実施形態により限定されるものではない。

図１および図２には、互いに直交するｘ軸、ｙ軸およびｚ軸が示される。本開示では、ｘ軸は、車両Ｖの前部から後部に向かう方向（以下、「前後方向ｘ」という）を示す。ｙ軸は、車両Ｖの左側から右側に向かう方向（以下、「左右方向ｙ」という）を示す。ｚ軸は、車両Ｖの下部から上部に向かう方向（以下、「上下方向ｚ」という）を示す。また、本開示では、便宜上、ｘｙ平面は路面であり、ｚｘ平面は車両Ｖの縦中心面である。また、ｘ軸は、上下方向ｚからの平面視で縦中心線である。

図１および図２は、車両Ｖおよび被牽引車両Ｔの垂直視野および水平視野を示す模式図である。車両Ｖの後部の中央下部には、トレーラやキャンピングカー等の被牽引車両Ｔを連結するための連結具６が固定されている。連結具６は、略球状の部品である。車両Ｖにおける連結具６の上方位置には、撮像装置２００が取り付けられている。

被牽引車両Ｔの前部の中央下部には、車両Ｖの連結具６と連結される被連結具５が固定されている。被連結具５は、略半球状の部品である。被連結具５が連結具６を上方から覆うことで、連結具６と被連結具５とが連結され、車両Ｖと被牽引車両Ｔとが連結される。

図１および図２に示すように、周辺監視システム１は車両Ｖに搭載される。周辺監視システム１は、図３に示すように、光源２１０および画像センサ２２０を一体化した撮像装置２００と、識別装置１００とを備える。

撮像装置２００は、図１に示すように、車両Ｖの背面上で、路面から離れた場所Ｏに取り付けられる。光源２１０は、撮像範囲に向けて、パルスや正弦波等の周期をもった不可視光（例えば、赤外光や近赤外光）を出射可能に取り付けられている。

画像センサ２２０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであって、光源２１０と概ね同じ場所に、自身の光軸Ａが概ね車両Ｖの後方へ延在するように取り付けられる。なお、画像センサ２２０は、ＣＣＤ（Charged-coupled devices）でもよい。

識別装置１００は、例えばＥＣＵ（Electronic Control Unit）であって、車両Ｖの後方監視を制御するために、制御基板上に実装された入力端子、出力端子、プロセッサ、プログラムメモリおよびメインメモリを含む。

プロセッサは、プログラムメモリに格納されたプログラムを、メインメモリを用いて実行して、入力端子を介して受け取った各種信号を処理するとともに、出力端子を介して光源２１０および画像センサ２２０に各種制御信号を出力する。

識別装置１００は、プロセッサがプログラムを実行することで、図３に示すように、撮像制御部１１０、入力部１２０、識別部１３０、記憶部１４０、出力部１５０等として機能する。

撮像制御部１１０は、光源２１０からの出射光の諸条件（具体的には、パルス幅、パルス振幅、パルス間隔、パルス数等）を制御すべく、光源２１０に対して制御信号を出力する。

また、撮像制御部１１０は、画像センサ２２０における戻り光の受光の諸条件（具体的には、露光時間、露光タイミング、露光回数等）を制御すべく、画像センサ２２０に含まれる周辺回路に対して制御信号を出力する。

上記露光制御等により、画像センサ２２０は、所定周期（所定フレームレート）で、撮像範囲に関する赤外画像信号および距離画像信号を識別装置１００に出力することになる。なお、画像センサ２２０から可視画像信号を出力するようにしてもよい。

また、本実施形態では、画像センサ２２０は、隣接する複数の画素の情報を加算して画像情報を生成する、いわゆる格子変換を行う。ただし、本開示において、隣接する複数の画素の情報を加算して画像情報を生成することは必須ではない。

入力部１２０は、画像センサ２２０から出力された画像信号の入力を受け付ける。

識別部１３０は、入力部１２０に入力された画像（図５を参照）から、被牽引車両Ｔにおいて車両Ｖと対向する前面に設けられた第１マーカ２および第２マーカ３と、被連結具５の近傍に設けられた第３マーカ４とを検出する。

第２マーカ３は、第１マーカ２から水平方向に離れて設けられている。また、第３マーカ４は、第１マーカ２から鉛直方向に離れて設けられている。第１マーカ２、第２マーカ３および第３マーカ４については後述する。

また、識別部１３０は、第１マーカ２、第２マーカ３および第３マーカ４までの距離を導出し、第１マーカ２、第２マーカ３および第３マーカ４までの距離に基づいて、第１マーカ２、第２マーカ３および第３マーカ４の３次元座標を算出する。

さらに、識別部１３０は、第１マーカ２、第２マーカ３および第３マーカ４の３次元座標に基づいて、被牽引車両Ｔの状態（ヨー、ロールおよびピッチ）を推定し、第１マーカ２、第２マーカ３および第３マーカ４の３次元座標に基づいて、被連結具５の３次元座標を算出する。

記憶部１４０は、識別部１３０で行われる各種処理で用いられる各種情報を記憶する。

出力部１５０は、識別部１３０での識別結果を出力する。このような情報は、例えばＡＤＡＳ（Advanced Driver Assistance System） ＥＣＵ（「運転支援装置」の一例）３００に送信される。ＡＤＡＳ ＥＣＵ３００は、これらの情報を用いて、車両Ｖの自動運転等を行う。

識別部１３０において行われる処理について、図４のフローチャートを参照して詳細に説明する。なお、図４に示す一連の処理は、車両Ｖと被牽引車両Ｔとを連結する際に少なくとも一度行われる。

まず、ステップＳ１で、識別部１３０は、画像センサ２２０から受け取った赤外画像または距離画像を用いて、第１マーカ２、第２マーカ３および第３マーカ４に対応する領域をそれぞれ抽出し、クラスタ化する。なお、クラスタ化は、隣接する画素に対してのみ行われるのではなく、分散した画素に対しても行われ得る。

例えば、赤外画像を用いる場合、識別部１３０は、輝度が所定範囲内にある複数の画素を抽出し、これら複数の画素をクラスタ化する。本実施形態では、第１マーカ２の反射率、第２マーカ３の反射率、および第３マーカ４の反射率をそれぞれ異ならせている。

そのため、第１マーカ２の輝度、第２マーカ３の輝度、および第３マーカ４の輝度がそれぞれ異なるので、赤外画像を用いて、第１マーカ２、第２マーカ３および第３マーカ４を区別することができる。

なお、本実施形態では、各マーカの反射率は、画像センサ２２０が各マーカを正しく認識できる程度の所定の範囲内とされている。マーカの反射率が高すぎると、画像センサ２２０で受光する戻り光が飽和してしまい、各マーカを正しく認識できないおそれがある。

本実施形態では、各マーカの反射率を適切な範囲に設定しているため、画像センサ２２０によって各マーカを正しく認識することができる。また、本実施形態では、各マーカの反射率は、被牽引車両Ｔの前面および被連結具５の反射率よりも所定値以上高い。そのため、各マーカを確実に認識することができる。

識別部１３０は、輝度が第１の所定範囲内にある複数の画素を抽出し、これら複数の画素を、第１マーカ２に対応する画素としてクラスタ化する。また、識別部１３０は、輝度が第１の所定範囲とは異なる第２の所定範囲内にある複数の画素を抽出し、これら複数の画素を、第２マーカ３に対応する画素としてクラスタ化する。さらに、識別部１３０は、輝度が第１および第２の所定範囲とは異なる第３の所定範囲内にある複数の画素を抽出し、これら複数の画素を、第３マーカ４に対応する画素としてクラスタ化する。

また、例えば、距離画像を用いる場合、識別部１３０は、距離情報が所定範囲内にある複数の画素を抽出し、これら複数の画素をクラスタ化する。本実施形態では、第１マーカ２および第２マーカ３は、いずれも被牽引車両Ｔの前面に設けられている。

そのため、撮像装置２００に対して被牽引車両Ｔが正対している場合、第１マーカ２までの距離と、第２マーカ３までの距離とは、どちらも所定範囲内となることが考えられる。そのような場合には、距離情報が所定範囲内にある複数の画素の中から、左右方向に互いに離間している２つの領域を抽出する。

そして、左右方向に互いに離間している２つの領域のうち、右側の領域に含まれる画素を第１マーカ２に対応する画素としてクラスタ化し、左側の領域に含まれる画素を第２マーカ３に対応する画素としてクラスタ化する。

続くステップＳ２で、識別部１３０は、第１マーカ２までの距離ｄ２、第２マーカ３までの距離ｄ３、および第３マーカ４までの距離ｄ４を、それぞれ導出する。ステップＳ２で行われる処理については、後述する。

続くステップＳ３で、識別部１３０は、第１マーカ２の３次元座標（Ｘ_２、Ｙ_２、Ｚ_２）、第２マーカ３の３次元座標（Ｘ_３、Ｙ_３、Ｚ_３）、および第３マーカ４の３次元座標（Ｘ_４、Ｙ_４、Ｚ_４）を、それぞれ算出する。

第１マーカ２の３次元座標（Ｘ_２、Ｙ_２、Ｚ_２）は、例えば、撮像画像における第１マーカ２に対応する画素と、距離ｄ２と、撮像装置２００の３次元座標とを用いて算出することができる。第２マーカ３の３次元座標（Ｘ_３、Ｙ_３、Ｚ_３）および第３マーカ４の３次元座標（Ｘ_４、Ｙ_４、Ｚ_４）についても同様である。

続くステップＳ４で、識別部１３０は、被牽引車両Ｔの状態を推定する。ここで、図５、図６、図７および図８を用いて、ステップＳ４で行われる被牽引車両Ｔの状態の推定について説明する。

図５、図６、図７および図８は、撮像装置２００によって得られた撮像画像（赤外画像）を模式的に示したものである。なお、被牽引車両Ｔの前面には、濃色系の塗装が施されている。赤外画像では、被牽引車両Ｔの前面に設けられた第１マーカ２および第２マーカ３と、被連結具５のすぐ後側に設けられた第３マーカ４とが、「輝度の高い領域」となる。

逆に、被牽引車両Ｔの前面は、濃色系の塗装が施されているため、「輝度の低い領域」となる。また、被連結具５は、上述のとおり、略半球状の部品である。そのため、撮像装置２００から出射され、被連結具５で反射した光の大部分は、撮像装置２００には戻らない。したがって、赤外画像において、被連結具５は、「輝度の低い領域」となる。

図５は、車両Ｖに対して被牽引車両Ｔが正対しており、被牽引車両Ｔのヨー角、ロール角およびピッチ角がすべて０度の状態を示している。

図５に示すように、各マーカの大きさは、車両Ｖを被牽引車両Ｔの近くに移動させ、撮像装置２００による撮像を行った場合に、各マーカに対応する画素の数が所定数以上となるような、所定の寸法以上とされる。

具体的には、各マーカの大きさは、車両Ｖと被牽引車両Ｔとの距離が３〜５ｍのときに、ＴＯＦ方式によって十分な測距精度を確保できる程度の大きさとされる。このようにすることで、ＴＯＦ方式による測距の精度を確保することが可能となる。

例えば撮像装置２００のＦＯＶ（Field of View）を９０度、画像センサ２２０の画素数をＶＧＡ（６４０ピクセル×４８０ピクセル）、撮像装置２００からマーカまでの距離を５メートルとすると、１画素あたり１．２センチメートルである。

この場合、ＴＯＦ方式によって十分な測距精度を確保できる画素数が５ピクセルであるとすると、ＴＯＦ方式による十分な測距精度を確保できるマーカの寸法は、６センチメートル以上となる。

なお、上述のマーカの寸法はあくまでも一例である。撮像装置２００のＦＯＶが狭くなれば、マーカに要求される寸法は小さくなる。また、撮像装置２００からマーカまでの距離が近くなれば、マーカに要求される寸法は小さくなる。さらに、画像センサ２２０の画素数が多くなれば、マーカに要求される寸法は小さくなる。さらにまた、検知に必要な画素数が少なければ、マーカに要求される寸法は小さくなる。

図５の状態では、第１マーカ２のＸ座標Ｘ_２と、第２マーカ３のＸ座標Ｘ_３とは、等しい（Ｘ_２＝Ｘ_３）。また、第１マーカ２のＺ座標Ｚ_２と、第２マーカ３のＺ座標Ｚ_３とは、等しい（Ｚ_２＝Ｚ_３）。

さらに、ピッチ角が０度の場合の第１マーカ２のＺ座標Ｚ_２と第３マーカ４のＺ座標Ｚ_４との差をＺ_Ｃとすると、図５の状態では、第１マーカ２のＺ座標Ｚ_２と第３マーカ４のＺ座標Ｚ_４との差は、Ｚ_Ｃに等しい（Ｚ_２−Ｚ_４＝Ｚ_Ｃ）。

図６は、車両Ｖに対して被牽引車両Ｔが所定のヨー角を有している状態を示している。図６の状態では、第１マーカ２のＸ座標Ｘ_２は、第２マーカ３のＸ座標Ｘ_３より大きい。識別部１３０は、例えば、第１マーカ２のＸ座標Ｘ_２、第２マーカ３のＸ座標Ｘ_３、および、第１マーカ２と第２マーカ３との距離から、ヨー角を推定する。

図７は、車両Ｖに対して被牽引車両Ｔが所定のロール角を有している状態を示している。図７の状態では、第１マーカ２のＺ座標Ｚ_２は、第２マーカ３のＺ座標Ｚ_３より小さい。識別部１３０は、例えば、第１マーカ２のＺ座標Ｚ_２、第２マーカ３のＺ座標Ｚ_３、および、第１マーカ２と第２マーカ３との距離から、ロール角を推定する。

図８は、車両Ｖに対して被牽引車両Ｔが所定のピッチ角を有している状態を示している。図８の状態では、第１マーカ２のＺ座標Ｚ_２と第３マーカ４のＺ座標Ｚ_４との差は、Ｚ_Ｃより小さい。識別部１３０は、例えば、第１マーカ２のＺ座標Ｚ_２と第３マーカ４のＺ座標Ｚ_４との差（Ｚ_２−Ｚ_４）、上述のＺ_Ｃ、および、第１マーカ２または第３マーカ４の３次元座標から、ピッチ角を推定する。

図４の説明に戻る。ステップＳ４に続くステップＳ５で、識別部１３０は、被連結具５の３次元座標（Ｘ_６、Ｙ_６、Ｚ_６）を算出する。記憶部１４０には、第１マーカ２、第２マーカ３および第３マーカ４と、被連結具５との相対位置関係が規定されたルックアップテーブル（ＬＵＴ）が記憶されている。

識別部１３０は、第１マーカ２、第２マーカ３および第３マーカ４のそれぞれの３次元座標（Ｘ_２、Ｙ_２、Ｚ_２）、（Ｘ_３、Ｙ_３、Ｚ_３）および（Ｘ_４、Ｙ_４、Ｚ_４）と、ＬＵＴから読み出された相対位置関係とから、被連結具５の３次元座標を算出する。ステップＳ５の後、処理は終了する。

上述のステップＳ２の処理の第一具体例について、図９のフローチャートを参照して詳細に説明する。まず、ステップＳ１１で、識別部１３０は、クラスタ化された領域のそれぞれの画素における物標までの距離を、ＴＯＦ方式で導出する。

ここで、ＴＯＦ方式による測距について簡単に説明する。図１０に示すように、ＴＯＦ方式による物標Ｔまでの測距は、光源２１０、画像センサ２２０および識別部１３０の組み合わせにより実現される。識別部１３０は、光源２１０からの出射光の出射タイミングと、画像センサ２２０における戻り光の受光タイミングとの時間差または位相差に基づいて、図９に示す物標Ｔまでの距離ｄｔを導出する。なお、図１０は、物標Ｔまでの距離ｄｔを導出する際の出射光および戻り光の状態を示す模式図である。

ここで、ＴＯＦ方式による測距の一例について説明する。光源２１０からの出射光は、図１１に示すように、単位周期において、第一パルスＰａと、第二パルスＰｂとを少なくとも一組含む。これらのパルス間隔（すなわち、第一パルスＰａの立ち下がりエッジから第二パルスＰｂの立ち上がりエッジまでの時間）は、Ｇａである。また、これらのパルス振幅は互いに等しくＳａとし、これらのパルス幅は互いに等しくＷａとする。

画像センサ２２０は、撮像制御部１１０により、第一パルスＰａおよび第二パルスＰｂの出射タイミングに基づくタイミングで露光するように制御される。具体的には、画像センサ２２０は、図１１に例示するように、光源２１０からの出射光が撮像範囲の物標Ｔで反射されて戻ってきた不可視光に対して、第一露光、第二露光および第三露光を行う。

第一露光は、第一パルスＰａの立ち上がりと同時に始まり、光源２１０からの出射光との関係で予め設定される露光時間Ｔｘ後に終了する。このような第一露光は、第一パルスＰａに対する戻り光成分を受光することを目的としている。

第一露光による画像センサ２２０の出力Ｏａは、斜格子状のハッチングを付した戻り光成分Ｓ_０と、ドットのハッチングを付した背景成分ＢＧとを含む。戻り光成分Ｓ_０の振幅は、第一パルスＰａの振幅よりも小さい。

ここで、第一パルスＰａおよびその戻り光成分Ｓ_０の各立ち上がりエッジの時間差をΔｔとする。Δｔは、撮像装置２００から物標Ｔまでの距離ｄｔを、不可視光が往復するのに要する時間である。

第二露光は、第二パルスＰｂの立ち下がりと同時に始まり、露光時間Ｔｘ後に終了する。このような第二露光は、第二パルスＰｂに対する戻り光成分を受光することを目的としている。

第二露光による画像センサ２２０の出力Ｏｂは、全ての戻り光成分ではなく部分的な戻り光成分Ｓ_１（斜格子状のハッチング部分を参照）と、ドットのハッチングを付した背景成分ＢＧとを含む。

なお、上記成分Ｓ_１は、次の式（１）で表せる。
Ｓ_１＝Ｓ_０×（Δｔ／Ｗａ） …（１）

第三露光は、第一パルスＰａおよび第二パルスＰｂの戻り光成分を含まないタイミングで始まり、露光時間Ｔｘ後に終了する。このような第三露光は、戻り光成分と無関係な不可視光成分である背景成分ＢＧのみを受光することを目的としている。

第三露光による画像センサ２２０の出力Ｏｃは、ドットのハッチングを付した背景成分ＢＧのみを含む。

上記のような出射光と戻り光との関係から、撮像装置２００から路面までの距離ｄｔは、次の式（２）〜（４）により導出することができる。
Ｓ_０＝Ｏａ−ＢＧ …（２）
Ｓ_１＝Ｏｂ−ＢＧ …（３）
ｄｔ＝ｃ×（Δｔ／２）＝｛（ｃ×Ｗａ）／２｝×（Δｔ／Ｗａ）＝｛（ｃ×Ｗａ）／２｝×（Ｓ_１／Ｓ_０） …（４）
ここで、ｃは光速である。

なお、上述したＴＯＦ方式はあくまでも一例であり、直接時間領域で計測する直接ＴＯＦ方式や、位相差等の物理量の変化とそれを時間的変化に換算するための時間基準を用いて計測する間接ＴＯＦ方式のいずれを用いても距離情報を導出することが可能であることは言うまでもない。

ステップＳ１１に続くステップＳ１２で、識別部１３０は、ステップＳ１１で導出したそれぞれの画素における物標までの距離を加算平均して、第１マーカ２、第２マーカ３および第３マーカ４までの距離として出力する。

このように、マーカまでの距離を導出する際に、マーカに対応する複数の画素の情報を用いることで、マーカまでの測距精度を向上させることができる。

ステップＳ２の処理の第二具体例について、図１２のフローチャートを参照して詳細に説明する。上述の第一具体例では、マーカに対応する複数の画素における物標までの距離をそれぞれ導出した後に加算平均して、マーカまでの距離を導出した。これに対して、以下に説明する例では、マーカに対応する複数の画素における戻り光成分を積算し、積算した戻り光成分を用いて、マーカまでの距離を導出する。

まず、ステップＳ２１で、識別部１３０は、距離画像信号を用いて、マーカに対応する複数の画素における戻り光成分Ｓ_０およびＳ_１を上述の式（２）および（３）を用いて算出する。

続くステップＳ２２で、識別部１３０は、マーカに対応する複数の画素における戻り光成分Ｓ_０およびＳ_１を積算して、戻り光成分の積算値ΣＳ_０およびΣＳ_１を得る。

続くステップＳ２３で、識別部１３０は、次式（５）を用いて、マーカまでの距離ｄｔを導出する。
ｄｔ＝｛ｃ×Ｗａ｝／２｝×（ΣＳ_１／ΣＳ_０） …（５）

以上、ステップＳ２の処理の第一具体例および第二具体例について説明した。

識別部１３０で識別された被連結具５の３次元座標および被牽引車両Ｔの状態に関する情報は、出力部１５０からＡＤＡＳ ＥＣＵ３００に出力される。

ＡＤＡＳ ＥＣＵ３００は、被連結具５の３次元座標および被牽引車両Ｔの状態に関する情報に基づいて、車両Ｖを後退させて被牽引車両Ｔと連結させるための（すなわち、連結具６の３次元座標と被連結具５の３次元座標とを一致させるための）車両Ｖの軌跡を算出する。

そして、ＡＤＡＳ ＥＣＵ３００は、車両Ｖのドライバーのステアリング操作のための案内を表示部に表示させる。具体的には、ＡＤＡＳ ＥＣＵ３００は、車両Ｖを後退させて被牽引車両Ｔと連結させるための車両Ｖの軌跡（ガイドライン）を、車内Ｖのモニタ（例えば、バックモニタ）に表示させる。車両Ｖのドライバーは、モニタに表示された軌跡を通るようにステアリング操作を行うことで、車両Ｖを適切に被牽引車両Ｔと連結させることができる。また、この際に、ＡＤＡＳ ＥＣＵ３００は、連結具６から被連結具５までの距離を表示部に表示させてもよい。

ＡＤＡＳ ＥＣＵ３００を用いて、算出された軌跡を通って車両Ｖが走行するように、車両Ｖの走行および操舵を制御して車両Ｖを自動走行させることもできる。この場合、「自動走行」は、アクセル操作、ステアリング操作およびブレーキ操作の全てを自動で行うものに限られず、例えばステアリング操作のみを自動で行い、残りの操作をドライバーが行うものを含む概念である。

以上説明したように、本実施形態に係る識別装置は、車両に搭載され、前記車両に設けられた連結具と被牽引車両に設けられた被連結具との位置関係を識別する識別装置であって、前記被牽引車両に設けられたマーカを含む画像の入力を受け付ける入力部と、前記画像に基づいて前記マーカの位置を推定し、前記マーカの位置から前記被連結具の位置を識別する識別部と、前記識別部での識別結果を出力する出力部と、を備える。

そのため、連結具から被連結具までの距離を精度良く推定することができる。

なお、上述の実施形態では、被牽引車両Ｔの前面に設けられた第１マーカ２および第２マーカ３と、被連結具５の近傍に設けられた第３マーカ４とを用いるものを例に説明を行ったが、これに限定されない。

具体的には、例えば、被連結具５にマーカを設ければ、ＴＯＦ方式により被連結具５の３次元座標を導出することが可能である。その場合、上述のＬＵＴが必須ではないことは言うまでもない。

また、各マーカを貼り直したり、新たに貼付する等して、各マーカおよび被連結具５の相対位置関係が変化した場合には、被連結具５を検出し、各マーカと被連結具５との相対位置関係を改めて規定してＬＵＴに保存すればよい。そして、次回以降、このようにして新たに保存されたデータを用いればよい。

また、被牽引車両Ｔの状態を識別するのに用いるマーカは、２つでもよい。２つのマーカを、それぞれＸ座標が異なるように設けることで、被牽引車両Ｔのヨー角およびピッチ角を推定することができる。２つのマーカを、それぞれＹ座標が異なるように設けることで（第２マーカを、第１マーカから水平方向に離れた位置に設けることで）、被牽引車両Ｔのヨー角およびロール角を推定することができる。

２つのマーカを、それぞれＺ座標が異なるように設けることで（第２マーカを、第１マーカから鉛直方向に離れた位置に設けることで）、被牽引車両Ｔのロール角およびピッチ角を推定することができる。また、例えば、２つのマーカを、それぞれＹ座標およびＺ座標が異なるように設けることで、ヨー角、ロール角およびピッチ角を推定することができる。

また、上述の実施形態では、距離画像に基づき、ＴＯＦ方式により各マーカまでの距離を導出するものを例に説明を行ったが、これに限定されない。可視画像や赤外画像を用いて、例えばＳｆＭ（Structure from Motion）等を用いてマーカまでの距離を導出してもよい。また、ステレオカメラを用いて各マーカまでの距離を導出してもよい。

また、上述の実施形態では、被連結車両Ｔに対して車両Ｖを連結させようとするタイミングで、識別を行うものを例に説明を行ったが、これに限定されない。

例えば、水辺や未舗装の悪路での連結作業では、ロール角やピッチ角が所定の角度以上となる状況が起こり得る。このような場合、最初に算出した軌跡どおりに車両Ｖを走行させるのが困難な場合がある。そのため、連結のために車両Ｖを移動させている途中で、複数回、識別処理を行い、その都度、軌跡の修正を実施することが好ましい。

さらに、車両Ｖと被牽引車両Ｔとを連結した状態で、車両Ｖを後進させることが考えられる。このような場合、被牽引車両Ｔの状態を識別して、被牽引車両Ｔの並行度をモニタし、ＡＤＡＳ ＥＣＵ３００が、被牽引車両Ｔの並行度を考慮して後進軌跡を予測するようにしてもよい。

また、車両Ｖと被牽引車両Ｔとを連結した状態で、車両Ｖを後進させる場合、路面の傾き等によりヨー、ロールおよびピッチのいずれかが大きくなると、後進の途中で連結部分に無理な力がかかり、連結具や被連結具を破損させてしまうおそれがある。

そこで、被牽引車両Ｔの状態を識別して、所定範囲を超えるヨー、ロールまたはピッチ状態が検出された場合に、ドライバーに対して警告をするようにしてもよい。このようにすれば、連結状態での後進の途中で連結部分に無理な力がかかり、連結具や被連結具を破損させてしまうという事態を防止することができる。

また、上述の実施形態では、マーカの反射率を所定の範囲内とすることで、マーカを確実に認識できるようにしたものを例に説明を行ったが、これに限定されない。撮像装置２００の制御により、マーカの認識精度を向上させることも可能である。

具体的には、例えば、撮像制御部１１０により光源２１０を制御して、出射光の出力を、被連結具の識別を行う場合と、その他の場合とで異ならせてもよい。例えば、撮像制御部１１０は、被連結具の位置を識別する場合、被連結具の位置を識別する場合以外よりも出射光の出力を低くする。

出射光の出力を、数十メートル先の物標までの距離を測距する際に用いるような出力とすると、マーカでの反射が強すぎて、画像センサ２２０によってマーカを正確に認識できないおそれがある。これに対して、車両Ｖを被連結車両Ｔに対して近づけた状態では出射光の出力を抑えることにより、マーカを正確に認識できないという問題の発生を抑制することが可能となる。

また、例えば、撮像制御部１１０により画像センサ２２０を制御して、戻り光の受光感度（ゲイン）を、被連結具の識別を行う場合と、その他の場合とで異ならせてもよい。例えば、撮像制御部１１０は、被連結具の位置を識別する場合、被連結具の位置を識別する場合以外よりも戻り光の受光感度を低くする。

車両Ｖを被連結車両Ｔに対して近づけた状態では戻り光の受光感度を抑えることにより、マーカを正確に認識できないという問題の発生を抑制することが可能となる。

また、上述の実施形態では、各マーカを「輝度の高い領域」とし、「輝度の高い領域」を検出するものを例に説明を行ったが、これに限定されない。例えば、光源２１０の出力が高い場合、輝度の高い領域は飽和することがある。

このような場合には、各マーカを「輝度の低い領域」として、「輝度の低い領域」を検出するようにすることで、測距精度の低下を抑制することが可能であることは、言うまでもない。

また、上述の実施形態では、第１マーカ２、第２マーカ３、および第３マーカ４の反射率がそれぞれ異なるものを例に説明を行ったが、これに限定されない。各マーカにおける反射率を領域ごとに異ならせるようにしてもよい。以下、各マーカにおける反射率を領域ごとに異ならせるものについて説明する。

図１３は、マーカの第１変形例を示す図である。図１３に示すように、マーカ４００は、最外周領域４０１に低反射材を用い、内側領域４０２に高反射材を用いたものである。このようにすることで、マーカの輪郭を精度良く検出することができる。

図１４は、マーカの第２変形例を示す図である。図１４に示すように、マーカ５００は、縦長の低反射片５０１と高反射片５０２とを横方向に交互に並べて配置したものである。すなわち、マーカ５００は、縦縞構造である。なお、低反射片５０１と高反射片５０２との並び順は交互には限定されず、周期的に並んでいればよい。

この場合、高反射片５０２の配置周期が規定値であるため、マーカ５００の横方向の長さを容易に推定することができる。また、高反射片５０２の長軸の向き（傾き）から被牽引車両のロール角を容易に推定することができる。

図１５は、マーカの第３変形例を示す図である。図１５に示すように、マーカ６００は、横長の低反射片６０１と高反射片６０２とを縦方向に交互に並べて配置したものである。すなわち、マーカ６００は、横縞構造である。なお、低反射片６０１と高反射片６０２との並び順は交互には限定されず、周期的に並んでいればよい。

この場合も、高反射片６０２の配置周期が規定値であるため、マーカ６００の縦方向の長さを容易に推定することができる。また、高反射片６０２の長軸の向き（傾き）から被牽引車両のロール角を容易に推定することができる。

なお、各マーカの構造を変更してもよい。例えば、第１マーカ２および第２マーカ３を横縞構造とし、第３マーカ４を縦縞構造としてもよいし、第１マーカ２および第２マーカ３を縦縞構造とし、第３マーカ４を横縞構造としてもよい。

図１６は、上述した実施の形態および変形例における各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。

図１６に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。

そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。

そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。

本開示に係る識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体によれば、連結具から被連結具までの距離を精度良く推定することができ、車載用途に好適である。

１ 周辺監視システム
２ 第１マーカ
３ 第２マーカ
４ 第３マーカ
５ 被連結具
６ 連結具
１００ 識別装置
１１０ 撮像制御部
１２０ 入力部
１３０ 識別部
１４０ 記憶部
１５０ 出力部
２００ 撮像装置
２１０ 光源
２２０ 画像センサ
３００ ＡＤＡＳ ＥＣＵ
４００、５００、６００ マーカ
４０１ 最外周領域
４０２ 内側領域
５０１、６０１ 低反射片
５０２、６０２ 高反射片
２１００ コンピュータ
２１０１ 入力装置
２１０２ 出力装置
２１０３ ＣＰＵ
２１０４ ＲＯＭ
２１０５ ＲＡＭ
２１０６ 記憶装置
２１０７ 読取装置
２１０８ 送受信装置
２１０９ バス

Claims (17)

1. 車両に搭載され、前記車両に設けられた連結具と被牽引車両に設けられた被連結具との位置関係を識別する識別装置であって、
   前記被牽引車両に設けられたマーカを含む画像の入力を受け付ける入力部と、
   前記画像に基づいて前記マーカの位置を推定し、前記マーカの位置から前記被連結具の位置を識別する識別部と、
   前記識別部での識別結果を出力する出力部と、を備える、
   識別装置。
2. 前記マーカの位置と前記被連結具の位置との関係が規定されたテーブルを記憶する記憶部をさらに備え、
   前記識別部は、前記テーブルを用いて、前記マーカの位置から前記被連結具の位置を識別する、
   請求項１に記載の識別装置。
3. 前記マーカは、第１マーカと、前記第１マーカから水平方向に離れて設けられた第２マーカとを含み、
   前記識別部は、前記第１マーカおよび前記第２マーカの位置関係に基づいて、前記被牽引車両のロール状態およびヨー状態の少なくとも一方をさらに識別する、
   請求項１または２に記載の識別装置。
4. 前記マーカは、第１マーカと、前記第１マーカから鉛直方向に離れて設けられた第３マーカとを含み、
   前記識別部は、前記第１マーカおよび前記第３マーカの位置関係に基づいて、前記被牽引車両のロール状態およびピッチ状態の少なくとも一方をさらに識別する、
   請求項１または２に記載の識別装置。
5. 前記マーカは、第１マーカと、前記第１マーカから水平方向に離れて設けられた第２マーカと、前記第１マーカから鉛直方向に離れて設けられた第３マーカとを含み、
   前記識別部は、前記第１マーカ、前記第２マーカおよび前記第３マーカの位置関係に基づいて、前記被牽引車両のヨー状態、ロール状態およびピッチ状態の少なくともいずれかをさらに識別する、
   請求項１または２に記載の識別装置。
6. 前記被連結具は、前記被牽引車両において前記車両と対向する前面から前側へ突出して設けられており、
   前記第１マーカおよび前記第２マーカは、前記被牽引車両の前面に設けられており、
   前記第３マーカは、前記被連結具の近傍に設けられている、
   請求項５に記載の識別装置。
7. 前記マーカの反射率は、前記被牽引車両の前面および前記被連結具の反射率よりも所定値以上高い、
   請求項１ないし６のいずれか一項に記載の識別装置。
8. 前記画像は、赤外画像または距離画像である、
   請求項１ないし７のいずれか一項に記載の識別装置。
9. 前記識別部は、
   前記距離画像に基づいて、前記マーカまでの距離を光飛行時間測距法によって導出し、
   導出された前記マーカまでの距離に基づいて、前記マーカの位置を推定する、
   請求項８に記載の識別装置。
10. 前記識別部は、
    前記赤外画像または前記距離画像に基づいて、前記マーカに対応する領域をクラスタ化し、
    前記距離画像に基づいて、前記クラスタ化された領域における複数の画素の情報に基づいて、光飛行時間測距法により前記マーカまでの距離を導出し、
    導出された前記マーカまでの距離に基づいて、前記マーカの位置を推定する、
    請求項８に記載の識別装置。
11. 撮像装置の光源から出射される出射光の出射条件を制御する撮像制御部をさらに備え、
    前記撮像制御部は、
    前記被連結具の位置を識別する場合、前記被連結具の位置を識別する場合以外よりも前記出射光の出力を低くする、
    請求項８ないし１０のいずれか一項に記載の識別装置。
12. 撮像装置の画像センサで受光する戻り光の受光条件を制御する撮像制御部をさらに備え、
    前記撮像制御部は、
    前記被連結具の位置を識別する場合、前記被連結具の位置を識別する場合以外よりも前記戻り光の受光感度を低くする、
    請求項８ないし１０のいずれか一項に記載の識別装置。
13. 前記出力部は、前記識別結果を、前記車両の運転者のステアリング操作のための案内を表示させる運転支援装置に出力する、
    請求項１ないし１２のいずれか一項に記載の識別装置。
14. 前記出力部は、前記識別結果を、前記車両の自動運転を行う運転支援装置に出力する、
    請求項１ないし１２のいずれか一項に記載の識別装置。
15. 車両に設けられた連結具と被牽引車両に設けられた被連結具との位置関係を識別する識別方法であって、
    前記被牽引車両に設けられたマーカを含む画像の入力を受け付ける入力ステップと、
    前記画像に基づいて前記マーカの位置を推定し、前記マーカの位置から前記被連結具の位置を識別する識別ステップと、
    前記識別ステップでの識別結果を出力する出力ステップと、を備える、
    識別方法。
16. コンピュータに、
    被牽引車両に設けられたマーカを含む画像の入力を受け付ける入力処理と、
    前記画像に基づいて前記マーカの位置を推定し、前記マーカの位置から前記被牽引車両に設けられた被連結具の位置を識別する識別処理と、
    前記識別処理での識別結果を出力する出力処理と、を実行させる、
    識別プログラム。
17. 請求項１６に記載の識別プログラムを記録した一時的でない有形の記録媒体。

Images