JP2019160003A - 障害物認識システム、障害物認識方法及びデータベース構築方法 - Google Patents

Abstract

【課題】移動装置の進行方向における障害物を認識する精度を向上させる。【解決手段】障害物認識システム１０は、車両１００の進行方向の障害物が存在する尤度を算出する尤度算出部４０と、尤度に基づいて暫定的障害物があるか判断する判断部５０と、を備える障害物認識装置６０と、進行方向の障害物検出結果と算出した尤度に基づいて判断部の結果を修正する修正部２２０と、検出結果と修正結果とを教師あり学習のためのデータとして格納する格納部２４０と、格納されたデータを用いて教師あり学習を行い、暫定的障害物ありが障害物なしに修正された場合に、尤度算出部の算出結果が修正部の修正結果に対応するように、尤度算出ロジックを再構築する学習部２３０と、尤度算出部の尤度算出ロジックを更新する更新部２４５と、を備えるサーバ２５０とを備える。【選択図】図１

Description

本開示は、移動装置の進行方向における障害物を認識する技術に関する。

特許文献１には、車両の運転が自動運転モードから手動運転モードへ切り替えられたことをトリガとして、車両の位置情報及びドライバの運転操作の特徴量を取得して、これらを用いて自動運転モードにおける運転操作の補正量を判定し、補正量を用いて自動運転モードにおける運転操作を補正することが記載されている。

国際公開第２０１５／１５９３４１号

車両の周囲の状況をセンサにより検出し、検出結果を用いて車両との衝突を回避すべき障害物を認識して自動運転を行う場合には、障害物の認識精度が高いことが好ましい。障害物の認識精度を向上させるために、例えば、手動運転モード時のドライバの運転操作とセンサの検出結果との関係を用いて、自動運転モード時のセンサの検出結果が障害物を示すか否かを判断することも考えられる。しかし、例えば、ドライバの運転が行われない場合など、上記関係を取得できない場合には、センサの検出結果が障害物を示すか否かを判断することはできない。そのため、障害物の認識精度を向上させることが可能な、新規の技術が求められていた。

本開示は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。

本開示の一形態によれば、移動機能を有する移動装置（１００）に搭載される障害物認識装置（６０）と、前記障害物認識装置と通信可能なサーバ（２５０）と、を備える障害物認識システム（１０）が提供される。前記障害物認識装置は；前記移動装置の進行方向における物標の検出結果を取得して、前記進行方向に前記移動装置との衝突回避が必要な障害物が存在する尤度を、予め定められた尤度算出ロジックを用いて算出する尤度算出部（４０）と；前記尤度が予め定められた第１閾値（Ｘ）以下である場合に前記障害物なしと判断し、前記尤度が前記第１閾値よりも大きい第２閾値（Ｙ）以上である場合に前記障害物ありと判断し、前記尤度が前記第１閾値よりも大きく前記第２閾値よりも小さい場合に、暫定的に前記障害物ありと判断することである暫定的障害物ありと判断する、判断部（５０）と、を備え；前記サーバは；前記暫定的障害物ありに対応する、前記進行方向の撮像結果と前記尤度算出部の算出結果とを取得し、物標と前記障害物との対応関係と、前記撮像結果に現れる物標と、の類似度を用いて、前記暫定的障害物ありを、前記障害物なし又は前記障害物ありに修正する修正部（２２０）と；前記暫定的障害物ありに対応する、前記検出結果と前記尤度算出部の算出結果と、前記修正部による前記暫定的障害物ありの修正結果と、を教師あり学習のためのデータとして格納する格納部（２４０）と；前記格納部に格納された前記教師あり学習のためのデータを用いて教師あり学習を行い、前記暫定的障害物ありが前記障害物なしに修正された場合に、前記暫定的障害物ありに対応する前記尤度算出部の算出結果が前記第１閾値以下となり、前記暫定的障害物ありが前記障害物ありに修正された場合に、前記暫定的障害物ありに対応する前記尤度算出部の算出結果が前記第２閾値以上となるように、前記尤度算出ロジックを再構築する学習部（２３０）と；前記尤度算出部の前記尤度算出ロジックを、前記再構築された前記尤度算出ロジックに更新する更新部（２４５）と、を備える。

この形態によれば、尤度が第１閾値よりも大きく第２閾値よりも小さい場合に暫定的障害物ありと判断するので、障害物の認識における安全性を高めることができ、暫定的障害物ありと判断された場合の撮像結果及び尤度算出結果を取得して修正するので、撮像結果及び尤度算出結果の全てを取得する場合と比べて、障害物認識装置とサーバとの通信負荷を軽減することができる。また、格納部には、暫定的障害物ありと判断された場合の検出結果と尤度算出結果と、暫定的障害物ありの修正結果と、が格納されるので、障害物の認識精度を向上させるための学習データを効率的に収集することができる。さらに、暫定的障害物ありと判断された場合のデータを用いて教師あり学習を行うので、疑わしいデータ、例えば発生頻度が低いために、尤度算出部における初期の尤度算出ロジックに考慮されていなかったシーンのデータを効率的に学習することができる。また、再構築された尤度算出ロジックによって、障害物認識装置の尤度算出ロジックが更新されるので、障害物認識装置において暫定的障害物ありと判断される頻度を減少させて、障害物の認識精度を向上させることができる。

障害物認識システムの構成を説明するための図。 障害物認識処理のうち、主に車両側の処理について示す図。 障害物認識処理のうち、主にサーバ側の処理について示す図。 第１センサの検出結果を示すイメージ図。 第１尤度算出部が第１尤度を算出する過程のイメージ図。 第２尤度算出部が第２尤度を算出する過程のイメージ図。 第３尤度算出部が第３尤度を算出する過程のイメージ図。 センサ部の検出範囲を示すイメージ図。 尤度合成結果を示すイメージ図。 修正部の修正結果を示す図。 学習処理について示す図。 学習による効果を示すイメージ図。 学習による効果を示すイメージ図。

・実施形態
＜障害物認識システムの構成＞
図１に基づき、障害物認識システム１０の構成を説明する。障害物認識システム１０は、障害物認識装置６０と、サーバ２５０と、を備える。障害物認識装置６０は、移動機能を有する移動装置に搭載される。本実施形態では、移動装置は車両１００である。本実施形態では、サーバ２５０は、複数の車両１００を管理する運転支援センター２００に設けられており、複数の車両１００と通信可能に構成されている。

車両１００は、障害物認識装置６０に加え、センサ部３０と、運転支援制御部２０と、を備える。

センサ部３０は、車両１００の進行方向における物標を検出する。進行方向とは、車両１００の移動する方向及びその周囲を含む。進行方向は、車両１００が前方に移動する場合には、前方方向及びその周囲を含み、車両１００が後方に移動する場合には、後方方向及びその周囲を含む。例えば、センサ部３０は、車両１００の走行レーンに隣接するレーンに存在する車両を検出可能である。本実施形態において、センサ部３０は、第１センサ３１と、第２センサ３２と、第３センサ３３と、を備える。第１センサ３１は、車両１００の周囲を撮像する撮像装置であり、本実施形態では、単眼カメラである。他の実施形態では、撮像装置はステレオカメラであってもよい。第２センサ３２はＬＩＤＡＲ（Light Detection And Ranging又はLaser Imaging Detection And Ranging）であり、レーザを用いて車両１００の進行方向における物標の存否等を検出する。第３センサ３３はミリ波センサであり、ミリ波帯の電波を用いて、車両１００の進行方向における物標の存否、かかる物標と車両１００との距離、物標の位置、物標の大きさ、物標の形状及び物標の車両１００に対する相対速度を検出する。他の実施形態において、センサ部３０は、第１センサ３１のみから構成されていてもよいし、第１センサ３１、第２センサ３２、第３センサ３３以外のセンサを備えていてもよい。

障害物認識装置６０は、ＣＰＵとメモリと信号の送受信を行う入出力インターフェースとを備えるＥＣＵ（Electronic Control Unit）により構成されている。ＣＰＵは、メモリに記憶された尤度算出プログラムを展開して実行することにより、尤度算出部４０として機能する。また、ＣＰＵは、メモリに記憶された判断プログラムを展開して実行することにより、判断部５０として機能する。

尤度算出部４０は、センサ部３０の検出結果を取得し、尤度算出ロジックにより、車両１００の進行方向に障害物が存在する尤度を算出する。「障害物」とは、車両１００との衝突回避が必要な物標をいう。本実施形態において、尤度算出部４０は、第１尤度算出部４１と、第２尤度算出部４２と、第３尤度算出部４３とを備える。第１尤度算出部４１は、第１センサ３１の検出結果と尤度との関係が規定された尤度算出ロジックを用いて、第１尤度を算出する。同様に第２尤度算出部４２は、第２センサ３２の検出結果と尤度との関係が規定された尤度算出ロジックを用いて、第２尤度を算出する。第３尤度算出部４３は、第３センサ３３の検出結果と尤度との関係が規定された尤度算出ロジックを用いて、第３尤度を算出する。尤度算出部４０は、第１尤度と第２尤度と第３尤度を、予め定められた合成尤度算出ロジックを用いて尤度を算出する。尤度算出部４０が合成した尤度を、「合成尤度」とも呼ぶ。

判断部５０は、尤度算出部４０により算出された尤度を取得する。判断部５０は、尤度が予め定められた第１閾値Ｘ以下である場合に「障害物なし」と判断し、尤度が第１閾値Ｘよりも大きい第２閾値Ｙ以上である場合に「障害物あり」と判断し、尤度が第１閾値Ｘよりも大きく第２閾値Ｙよりも小さい場合に、暫定的に障害物ありと判断することである「暫定的障害物あり」と判断する。第１閾値Ｘよりも大きく第２閾値Ｙよりも小さい値を、「中間値」ともいう。本実施形態において、判断部５０が判断の対象とする尤度は、合成尤度である。

障害物認識装置６０は、障害物認識装置６０による認識結果を運転支援制御部２０に送信する。障害物認識装置６０は、障害物の位置を、センサ部３０の検出結果から取得可能に構成されており、「障害物あり」と判断した場合には、「障害物あり」を示す信号と当該障害物の位置とを、運転支援制御部２０へ送信する。本実施形態では、障害物認識装置６０は、「暫定的障害物あり」と判断した場合には、「障害物あり」を示す信号と、当該障害物の位置とを、運転支援制御部２０へ送信する。障害物認識装置６０は、「障害物なし」と判断した場合には、運転支援制御部２０に対し、信号を送信しなくともよいし、「障害物なし」を示す信号と障害物がない範囲とを送信してもよい。

運転支援センター２００は、サーバ２５０と、サーバ２５０に接続された表示部２１０とを備える。サーバ２５０は、ＣＰＵとメモリと信号の送受信を行う入出力インターフェースと、格納部２４０と、を備える。ＣＰＵは、メモリに記憶されたプログラムを展開して実行することにより、修正部２２０、学習部２３０、更新部２４５として機能する。

表示部２１０は、サーバ２５０から出力される種々の画像やテキスト等を表示する。また、表示部２１０は、指やペンによる運転支援センター２００の管理者等からのタッチ操作を受け付ける受付部としても機能する。表示部２１０の受け付け結果は、サーバ２５０に送信される。

修正部２２０は、「暫定的障害物あり」に対応する、撮像装置の撮像結果と尤度算出部４０の算出結果とを取得する。修正部２２０は、「暫定的障害物あり」を、「障害物なし」又は「障害物あり」に修正する。修正は、メモリに記憶された物標と障害物との対応関係と、撮像結果に現れる物標と、の類似度を用いて行われる。修正部２２０は、撮像結果に現れる物標と、上記対応関係における障害物を示す物標と、の類似度を判断可能に構成されており、類似度が予め定められた閾値以上である場合に、撮像結果に現れる物標を障害物であると判断する。修正部２２０は、判断部５０による「暫定的障害物あり」の判断を修正すると、修正結果を障害物認識装置６０に送信する。

格納部２４０は、「暫定的障害物あり」に対応する、センサ部３０の検出結果と尤度算出部４０の算出結果と、修正部２２０による「暫定的障害物あり」を修正した修正結果と、を教師あり学習のためのデータとして格納する。格納部２４０は、教師あり学習のためのデータを蓄積するデータベースでもある。

学習部２３０は、格納部２４０のデータを用いて教師あり学習を実行することで、合成尤度算出ロジックを再構築する。更新部２４５は、学習の結果を用いて、尤度算出部４０の合成尤度算出ロジックを更新する。

＜障害物認識処理＞
図２及び図３に示す障害物認識処理は、障害物認識システム１０がオンである間、繰り返し実行される。

まず、車両１００側の処理について説明する。図２に示すように、尤度算出部４０は、センサ部３０の検出結果を用いて、車両１００の進行方向に障害物が存在する尤度を算出する（ステップＳ１０）。

図４に示すように、第１センサ３１は、物標Ｓ１、Ｓ２、Ｓ３、Ｓ４と、白線、白破線、黄線などのレーンマーカの位置ｍ１と、を検出する。図５に示すように、第１尤度算出部４１は、第１センサ３１の検出結果を複数の領域にわけて、領域ごとに第１尤度を算出する。具体的には、第１尤度算出部４１は、検出結果における各画素を分割格子に割り当てて格子ごとに第１尤度を算出する、セマンティックセグメンテーションを実行する。格子の数は、センサ部３０の検出感度に応じて定められてもよい。ここで、物標Ｓ１は紙であり、物標Ｓ２、Ｓ４は車両であり、物標Ｓ３は人物であるが、第１尤度算出部４１の尤度算出ロジックでは、物標Ｓ２、Ｓ４についてその形状から車両と認識し、第１尤度を第１閾値Ｘ以上と算出し、物標Ｓ１、Ｓ３の存在する格子については第１尤度を中間値とするものとする。

同様に、第２尤度算出部４２は、第２センサ３２の検出結果を図６に示すように格子分割して、格子ごとに第２尤度を算出する。第３尤度算出部４３は、第３センサ３３の検出結果を図７に示すように格子分割して、格子ごとに第３尤度を算出する。

センサ部３０は、図８に示すように、車両１００の進行方向の所定範囲における物標Ｓ１、Ｓ２、Ｓ３、Ｓ４を検出可能であり、第１尤度算出部４１、第２尤度算出部４２、第３尤度算出部４３により算出される第１尤度、第２尤度、第３尤度は、車両１００の進行方向の所定範囲における尤度である。本実施形態では、尤度算出部４０は、図８に矢印で示す進行方向における垂直断面のうち、物標が検出された１つの垂直断面において、合成尤度を算出する。本実施形態では、尤度算出部４０は、物標Ｓ１、Ｓ２、Ｓ３が存在する距離Ｄｓｔ＿１における垂直断面において合成尤度を算出する。距離Ｄｓｔ＿１における垂直断面は、物標が検出された垂直断面のうち、車両１００に最も近い垂直断面である。尤度算出部４０は、距離Ｄｓｔ＿１における垂直断面の合成尤度を算出した後、物標Ｓ４が存在する距離Ｄｓｔ＿２における垂直断面の合成尤度を算出してもよい。

判断部５０は、尤度算出部４０により算出された合成尤度を取得し、合成尤度が第１閾値Ｘ以下である場合に「障害物なし」と判断し、合成尤度が第２閾値Ｙ以上である場合に「障害物あり」と判断し、合成尤度が中間値である場合に「暫定的障害物あり」と判断する（図２、ステップＳ１５）。

図９に示すように、尤度算出部４０は、第１尤度算出部４１、第２尤度算出部４２、第３尤度算出部４３により算出された各尤度を、距離Ｄｓｔ＿１における垂直断面で合成する。尤度算出部４０は、各センサの検出時における車両１００の状況と、各尤度算出部の各尤度に乗算される係数と、の関係を規定する、予め定められた合成尤度算出ロジックを用いて合成尤度を算出する。各センサの検出時における車両１００の状況とは、例えば、時間、天候である。合成尤度算出ロジックは、例えば、ある時間帯や天候において検出感度が低下するセンサについて、当該センサの検出結果に対応する尤度が、他のセンサの検出結果に対応する尤度よりも重み付けが小さくなるように規定されていてもよい。

図９に示す格子Ｓ２ｂは、距離Ｄｓｔ＿１における物標Ｓ２に対応しており、「障害物あり」と判断されている。格子Ｓ１ｂ、Ｓ３ｂは、物標Ｓ１、Ｓ３にそれぞれ対応しており、「暫定的障害物あり」と判断されている。それ以外の格子については、「障害物なし」と判断されている。なお、図４〜８に示す物標Ｓ４は、距離Ｄｓｔ＿２における垂直断面に位置するので、図９には現れていない。

尤度中間値の格子がある場合、すなわち、判断部５０により「暫定的障害物あり」と判断された格子がある場合には（図２、ステップＳ２０）、障害物認識装置６０は、サーバ２５０へ接続要求を示す信号を送信する（ステップＳ４０）。

運転支援制御部２０は、障害物認識装置６０により「暫定的障害物あり」と判断がされて、「障害物あり」を示す信号と当該障害物の位置とを受信した場合に、運転支援が継続可能か否かを判断する（ステップＳ５０）。運転支援が継続可能な場合とは、例えば、障害物として判断された物標の予め定められた期間経過後までの挙動が、当該物標の向きや車両１００に対する相対速度から予測できる場合である。運転支援継続が不可能である場合とは、例えば、障害物として判断された物標の予め定められた期間経過後までの挙動が予測できない場合である。障害物認識装置６０により「暫定的障害物あり」と判断がされて、「障害物あり」を示す信号と当該障害物の位置とを運転支援制御部２０が受信した場合には、ステップＳ５０が否定判定される可能性がある。ステップＳ５０がＮＯである場合、運転支援制御部２０は、運転支援継続が不可能であることを示す信号を障害物認識装置６０に送信する。

運転支援継続が不可能である信号を受信すると、障害物認識装置６０は、サーバ２５０の修正部２２０による修正結果を受信するまで待機する（ステップＳ６０、ＮＯ）。運転支援制御部２０は、待機中は、車両１００を停車させてもよい。あるいは、運転支援制御部２０は、自動運転機能を一時的にオフして、自動運転機能のオフを車両１００の乗員に報知してもよい。

障害物認識装置６０は、サーバ２５０から修正結果を受信した場合には、その修正結果に従い、「障害物あり」又は「障害物なし」を示す信号と当該障害物の位置とを、運転支援制御部２０に送信する。尤度中間値の格子がない場合や（ステップＳ２０、ＮＯ）、尤度中間値の格子があっても運転支援が継続可能な場合（ステップＳ５０、ＹＥＳ）、あるいは、修正結果を受信した場合には（ステップＳ６０、ＹＥＳ）、運転支援制御部２０は、障害物認識装置６０から送信された、例えば、「障害物あり」を示す情報と、当該障害物の位置情報と、を用いて運転支援制御を実行する（ステップＳ８０）。

次に、サーバ２５０側の処理について説明する。図３に示すように、サーバ２５０は、障害物認識装置６０から接続要求があった場合には（ステップＳ１００、ＹＥＳ）、修正準備を実行する（ステップＳ１１０）。修正準備とは、例えば、障害物認識装置６０から、「暫定的障害物あり」に対応する、撮像装置の撮像結果と尤度算出部４０の算出結果とを取得することである。ステップＳ１１０において、サーバ２５０は、さらに、運転支援センター２００の監視員を呼び出してもよい。

修正部２２０は、物標と障害物との対応関係を用いて、判断部５０による「暫定的障害物あり」を修正する（ステップＳ１２０）。修正部２２０は、撮像結果と図９に示す位置ｍ１が一致するように、撮像結果と合成尤度とを重ね合わせる。修正部２２０は、「暫定的障害物あり」と判断された格子の物標と上記の対応関係における物標との類似度が予め定められた閾値以上である場合に、「暫定的障害物あり」と判断された格子を「障害物あり」に修正する。修正部２２０は、当該類似度が閾値未満である場合に、「暫定的障害物あり」と判断された格子を「障害物なし」に修正する。

なお、修正部２２０は、撮像結果と、図９に示す合成尤度とを重ね合わせた画像を、表示部２１０に表示してもよい。監視員は、予め定められた物標と障害物との対応関係と、撮像結果に現れる物標と、の類似度を判断し、「暫定的障害物あり」と判断された格子について、表示部２１０を用いて修正してもよい。修正部２２０は監視員による修正結果を取得して、監視員による修正結果を修正部２２０による修正結果と位置づけてもよい。

図９に示された尤度合成結果と、図１０に示された修正部２２０による修正結果とを比較すると、「暫定的障害物あり」と判断された格子Ｓ１ｂは、修正部２２０により「障害物なし」に修正され、「暫定的障害物あり」と判断された格子Ｓ３ｂは、「障害物あり」に修正されている。格子Ｓ３ｂについては、修正部２２０により、さらに、「第１挙動」を示す属性が付与されている。第１挙動とは、予め定められた期間経過後の障害物の挙動予測が、他の障害物に比べて困難な挙動である。例えば、障害物が車両である場合には、当該車両の向き、車両の速度等から、予め定められた期間経過後の位置予測が可能である。しかし、障害物が人や動物、走行中の自転車である場合には、向きや速度から、予め定められた期間経過後の位置予測が車両よりも困難である。修正部２２０は、メモリに記憶された障害物と属性との対応関係を参照し、このような障害物に対しては、解釈が特に必要な障害物として属性を付与する。

修正が完了すると、修正部２２０は、修正の結果を障害物認識装置６０に送信する（ステップＳ１３０）。障害物認識装置６０では、修正の結果を受信すると、上述したステップＳ６０〜ステップＳ８０（図２）の処理が実行される。

また、修正が完了すると、格納部２４０は、センサ部３０の検出結果と尤度算出部４０の算出結果と、修正部２２０による「暫定的障害物あり」の修正結果と、を教師あり学習のためのデータとして格納する（ステップＳ１４０）。

＜学習処理＞
次に、障害物認識システム１０において実行される学習処理について説明する。学習処理は、上記の障害物認識処理と平行して繰り返し実行される。図１１に示すように、学習部２３０は、学習のタイミングであるか否かを判断する（ステップＳ２００）。学習のタイミングとは、例えば、格納部２４０に新たに格納されたデータが所定数以上となったタイミングや、前回の学習から所定時間経過したタイミングである。学習のタイミングは、属性が付与されたデータが格納されたタイミングであってもよい。

学習のタイミングである場合には（ステップＳ２００、ＹＥＳ）、学習部２３０は、格納部２４０のデータを用いて教師あり学習を実行する（ステップＳ２１０）。具体的には、学習部２３０は、「暫定的障害物あり」が「障害物なし」に修正された場合に、「暫定的障害物あり」に対応する尤度算出部４０の算出結果が第１閾値Ｘ以下となるように、また、「暫定的障害物あり」が「障害物あり」に修正された場合に、「暫定的障害物あり」に対応する尤度算出部４０の算出結果が第２閾値Ｙ以上となるように、合成尤度算出ロジックを再構築する。

学習部２３０により学習が行われると、更新部２４５は、更新のタイミングであるか否かを判断する（ステップＳ２２０）。更新のタイミングは、例えば、サーバ２５０が障害物認識装置６０と通信可能なタイミングである。更新のタイミングは、運転支援制御部２０による運転支援機能がオフであるタイミングであってもよい。あるいは、運転支援制御部２０による運転支援機能がオンであり、車両１００が停車しているタイミングであってもよい。

更新のタイミングである場合には（ステップＳ２２０、ＹＥＳ）、更新部２４５は、学習部２３０により再構築された合成尤度算出ロジックを障害物認識装置６０に配信して、尤度算出部４０の合成尤度算出ロジックを更新する（ステップＳ２３０）。サーバ２５０と通信可能な車両１００が複数存在する場合には、更新部２４５は、複数の車両１００に対し更新結果を配信してもよい。

学習タイミングでない場合や（ステップＳ２００、ＮＯ）、更新タイミングでない場合には（ステップＳ２２０、ＮＯ）、サーバ２５０は、学習（ステップＳ２１０）、あるいは、更新（ステップＳ２３０）を行わず、処理をステップＳ２００に戻す。

学習による効果について説明する。図１２の縦軸は合成尤度であり、横軸は格子位置である。図１２に示すように、ある位置において検出された物標について、学習前は、第１閾値Ｘより大きく第２閾値Ｙより小さい合成尤度が算出されていても、学習が進むにつれ、第１閾値Ｘ以下の合成尤度、あるいは、第２閾値Ｙ以上の合成尤度が算出されるようになる。

図１３の縦軸は合成尤度であり、横軸は合成尤度出現率である。図１３に示すように、学習が進むにつれ、第１閾値Ｘより大きく第２閾値Ｙより小さい合成尤度の出現率は減少し、第１閾値Ｘ以上、あるいは、第２閾値Ｙ以上の合成尤度の出現率が増加する。

この形態によれば、尤度が第１閾値Ｘよりも大きく第２閾値Ｙよりも小さい場合に暫定的障害物ありと判断するので、障害物の認識における安全性を高めることができる。また、暫定的障害物ありと判断された場合の撮像結果及び尤度算出結果を取得して修正するので、撮像結果及び尤度算出結果の全てを取得する場合と比べて、障害物認識装置６０とサーバ２５０との通信負荷を軽減することができる。また、格納部２４０には、暫定的障害物ありと判断された場合の検出結果と尤度算出結果と、暫定的障害物ありの修正結果と、が格納されるので、障害物の認識精度を向上させるための学習データを効率的に収集することができる。さらに、暫定的障害物ありと判断された場合のデータを用いて教師あり学習を行うので、疑わしいデータ、例えば発生頻度が低いために、尤度算出部４０における初期の尤度算出ロジックに考慮されていなかったシーンのデータを効率的に学習することができる。また、再構築された尤度算出ロジックによって、障害物認識装置６０の尤度算出ロジックが更新されるので、障害物認識装置６０において暫定的障害物ありと判断される頻度を減少させて、障害物の認識精度を向上させることができる。

また、上記形態によれば、各センサの尤度から合成尤度を算出し、合成尤度を用いて判断を行うので、障害物認識装置６０における障害物の認識精度を向上させることができる。

また、上記形態によれば、修正部２２０は、分割された領域のうち、「暫定的障害物あり」と判断された領域について修正を行うので、修正にかかる負荷を軽減することができる。

また、上記形態によれば、尤度算出ロジックを構築するための教師ありデータを格納するデータベースを、効率的に構築することができる。

・他の実施形態１
上記形態において、学習部２３０は、格納部２４０に格納されたデータのうち、属性が付与されたデータに重み付けを行って教師あり学習を行ってもよい。

この形態によれば、例えば、第１挙動である障害物については重み付けがされて教師あり学習がされるので、挙動予測がしづらい障害物についての学習効率を向上させることができ、障害物認識装置６０における障害物の認識精度を向上させることができる。

・他の実施形態２
上記形態において、センサ部３０は複数のセンサから構成され、尤度算出部４０は各センサの尤度を合成し、判断部５０は合成尤度を用いて上記判断を行っている。これに対し、センサ部３０が１つのセンサから構成される場合には、判断部５０は１つの尤度を用いて上記判断を行ってもよい。学習部２３０は、合成尤度算出ロジックに代え、尤度算出ロジックを再構築してもよい。

・他の実施形態３
上記形態において、学習部２３０は、合成尤度算出ロジックと各センサの尤度算出ロジックとを再構築してもよい。

・他の実施形態４
上記形態において、運転支援センター２００では、学習部２３０により再構築された尤度算出ロジックを障害物認識装置６０に送信する前に、再構築された尤度算出ロジックで障害物認識を行う場合の安全性を確認するための試験が実行されてもよい。試験は、シミュレーション装置や、尤度算出ロジックが更新された障害物認識装置６０を備える試験用車両を用いて行ってもよい。

・他の実施形態５
上記形態では、移動装置として車両１００を挙げたが、移動機能を有すれば、他の車両（例えば、二輪車）でもよいし、ドローンやロボットでもよい。ロボットの場合、例えば、自動車のように車輪で路面に接地してもよいし、２足歩行するタイプでもよい。

・他の実施形態６
上記形態では、尤度算出部４０は、車両１００の進行方向に対する垂直断面のうち、物標が検出された１つの垂直断面において尤度を算出している。これに対し、尤度算出部４０は、進行方向の所定の距離範囲における尤度を算出し、修正部２２０は、撮像装置の撮像結果を用いて垂直断面を選択し、尤度算出部４０の算出結果のうち、垂直断面に対応する尤度を取得して、「暫定的障害物あり」を修正してもよい。

本開示は、障害物認識システム１０以外の種々の形態で実現することも可能である。例えば、障害物認識装置６０、障害物認識方法、教師あり学習を行うためのデータを格納するデータベース構築方法、かかる方法を実現するためのコンピュータプログラム、かかるコンピュータプログラムを記憶した記憶媒体、障害物認識装置６０を搭載した移動装置等の形態で実現することができる。また、上記実施形態において、ソフトウエアによって実現された機能及び処理の一部又は全部は、ハードウエアによって実現されてもよい。また、ハードウエアによって実現された機能及び処理の一部又は全部は、ソフトウエアによって実現されてもよい。ハードウエアとしては、例えば、集積回路、ディスクリート回路、又は、それらの回路を組み合わせた回路モジュールなど、各種回路を用いてもよい。

１０ 障害物認識システム、３０ センサ部、４０ 尤度算出部、５０ 判断部、６０ 障害物認識装置、１００ 車両、２２０ 修正部、２３０ 学習部、２４０ 格納部、２４５ 更新部、２５０ サーバ

Claims (6)

1. 移動機能を有する移動装置（１００）に搭載される障害物認識装置（６０）と、前記障害物認識装置と通信可能なサーバ（２５０）と、を備える障害物認識システム（１０）であって、
   前記障害物認識装置は、
   前記移動装置の進行方向における物標の検出結果を取得して、前記進行方向に前記移動装置との衝突回避が必要な障害物が存在する尤度を、予め定められた尤度算出ロジックを用いて算出する尤度算出部（４０）と、
   前記尤度が予め定められた第１閾値（Ｘ）以下である場合に前記障害物なしと判断し、前記尤度が前記第１閾値よりも大きい第２閾値（Ｙ）以上である場合に前記障害物ありと判断し、前記尤度が前記第１閾値よりも大きく前記第２閾値よりも小さい場合に、暫定的に前記障害物ありと判断することである暫定的障害物ありと判断する、判断部（５０）と、を備え、
   前記サーバは、
   前記暫定的障害物ありに対応する、前記進行方向の撮像結果と前記尤度算出部の算出結果とを取得し、物標と前記障害物との対応関係と、前記撮像結果に現れる物標と、の類似度を用いて、前記暫定的障害物ありを、前記障害物なし又は前記障害物ありに修正する修正部（２２０）と、
   前記暫定的障害物ありに対応する、前記検出結果と前記尤度算出部の算出結果と、前記修正部による前記暫定的障害物ありの修正結果と、を教師あり学習のためのデータとして格納する格納部（２４０）と、
   前記格納部に格納された前記教師あり学習のためのデータを用いて教師あり学習を行い、前記暫定的障害物ありが前記障害物なしに修正された場合に、前記暫定的障害物ありに対応する前記尤度算出部の算出結果が前記第１閾値以下となり、前記暫定的障害物ありが前記障害物ありに修正された場合に、前記暫定的障害物ありに対応する前記尤度算出部の算出結果が前記第２閾値以上となるように、前記尤度算出ロジックを再構築する学習部（２３０）と、
   前記尤度算出部の前記尤度算出ロジックを、前記再構築された前記尤度算出ロジックに更新する更新部（２４５）と、を備える、障害物認識システム。
2. 請求項１に記載の障害物認識システムであって、
   前記対応関係は、さらに、予め定められた期間経過後の前記障害物の挙動が予め定められた第１挙動であるか否かを含み、
   前記修正部は、さらに、前記暫定的障害物ありを前記障害物ありに修正した場合であって、かつ、前記暫定的障害物ありに対応する前記障害物の挙動が前記第１挙動である場合に、前記第１挙動を前記障害物の属性として付与し、
   前記格納部は、さらに、前記属性が付与された前記教師あり学習のためのデータを格納し、
   前記学習部は、前記属性が付与された前記教師あり学習のためのデータに重み付けをして前記教師あり学習を行う、障害物認識システム。
3. 請求項１又は請求項２に記載の障害物認識システムであって、
   前記検出結果は、前記進行方向における物標を検出する複数のセンサ（３１、３２、３３）の検出結果であり、
   前記尤度算出部は、前記複数のセンサごとに算出した前記尤度を合成し、
   前記判断部は、合成された前記尤度を用いて前記判断を行う、障害物認識システム。
4. 請求項１から請求項３までのいずれか一項に記載の障害物認識システムであって、
   前記尤度算出部は、前記進行方向に対する垂直断面のうち、物標が検出された垂直断面において、前記検出結果を分割して、分割された領域ごとに前記尤度を算出し、
   前記判断部は、前記領域ごとに前記判断を行い、
   前記修正部は、前記領域のうち、前記暫定的障害物ありと判断された前記領域について、前記修正を行う、障害物認識システム。
5. 障害物認識方法であって、
   移動装置の進行方向における物標の検出結果を用いて、前記進行方向に、前記移動装置との衝突回避が必要な障害物が存在する尤度を、予め定められた尤度算出ロジックを用いて算出し（Ｓ１０）、
   前記尤度が予め定められた第１閾値以下である場合に前記障害物なしと判断し、前記尤度が前記第１閾値よりも大きい第２閾値以上である場合に前記障害物ありと判断し、前記尤度が前記第１閾値よりも大きく前記第２閾値よりも小さい場合に、暫定的に前記障害物ありと判断することである暫定的障害物ありと判断し（Ｓ１５）、
   前記暫定的障害物ありに対応する、前記進行方向の撮像結果と前記尤度の算出結果とを取得し、物標と前記障害物との対応関係と、前記撮像結果に現れる物標と、の類似度を用いて、前記暫定的障害物ありを、前記障害物なし又は前記障害物ありに修正し（Ｓ１２０）、
   前記暫定的障害物ありに対応する、前記検出結果と前記尤度の算出結果と、前記暫定的障害物ありの修正結果と、を教師あり学習のためのデータとして格納し（Ｓ１４０）、
   前記格納された前記教師あり学習のためのデータを用いて教師あり学習を行い、前記暫定的障害物ありが前記障害物なしに修正された場合に、前記暫定的障害物ありに対応する前記尤度の算出結果が前記第１閾値以下となり、前記暫定的障害物ありが前記障害物ありに修正された場合に、前記暫定的障害物ありに対応する前記尤度の算出結果が前記第２閾値以上となるように、前記尤度算出ロジックを再構築し（Ｓ２１０）、
   前記尤度算出ロジックを、前記再構築された前記尤度算出ロジックに更新する（Ｓ２３０）、方法。
6. 尤度算出ロジックを構築するための教師ありデータを格納するデータベースを構築する方法であって、
   移動装置の進行方向における物標の検出結果を用いて、前記進行方向に前記移動装置との衝突回避が必要な障害物が存在する尤度を、予め定められた尤度算出ロジックを用いて算出し、
   前記尤度が予め定められた第１閾値以下である場合に前記障害物なしと判断し、前記尤度が前記第１閾値よりも大きい第２閾値以上である場合に前記障害物あり判断し、前記尤度が前記第１閾値よりも大きく前記第２閾値よりも小さい場合に、暫定的に前記障害物ありと判断することである暫定的障害物ありと判断し、
   前記暫定的障害物ありに対応する、前記進行方向の撮像結果と前記尤度の算出結果とを取得し、物標と前記障害物との予め定められた対応関係と、前記撮像結果に現れる物標と、の類似度を用いて、前記暫定的障害物ありを、前記障害物なし又は前記障害物ありに修正し、
   前記暫定的障害物ありに対応する、前記検出結果と前記尤度の算出結果と、前記暫定的障害物ありの修正結果と、を教師あり学習のためのデータとして格納する、方法。