JP2022078409A - シミュレーション用のデータ生成装置、方法及びコンピュータプログラム - Google Patents

Abstract

【課題】運転支援または自動運転のシミュレーションに要する計算コストの低減を可能とするシミュレーション用データ生成装置を提供する。【解決手段】データ生成装置は、少なくともオブジェクト情報及び車両情報の中から、指定時刻と許容範囲内で同一の時刻のタイムスタンプをもつ複数の概念要素を探し出す探索処理を行う情報探索部と、当該探し出された複数の概念要素を複数のクラスに分類し、前記複数のクラスのうちの各クラスと当該各クラスに分類された概念要素との間の関係を示すクラスデータを生成する多クラス分類部と、前記多クラス分類部により前記複数のクラスについてそれぞれ生成された複数個のクラスデータを相互に関係付けることによって、タイムスタンプをもつ構造化データセットを生成する構造化データ生成部とを備える。【選択図】図１

Description

本開示は、自動車などの車両の運転支援または自動運転のシミュレーションに使用されるデータを生成する技術に関する。

近年、自動車や鉄道車両などの車両の運転支援技術及び自動運転技術の研究開発が活発に進められている。運転支援用システムは、たとえば運転者の安全及び快適さを実現するために、ブレーキを自動的に作動させたり、ステアリングを自動的に制御したりして対象車両（運転者自らが運転する車両）の挙動を制御するシステムである。たとえば、先進運転支援システム（ＡＤＡＳ：Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）と呼ばれる運転支援用システムが知られている。

一方、一般に自動運転用システムは、各種センサを用いた認知機能、判断機能及び操作機能により実現される。たとえば、認知機能は、対象車両に搭載された各種センサで検出された結果と、対象車両の現在位置及びその周辺領域を示す地図データとを用いて、対象車両の位置の推定、対象車両の周辺領域における他車両や歩行者などの周辺オブジェクトの検出といった認知処理を行う。判断機能は、その認知処理の結果に基づいて、対象車両の運転行動計画の生成及び対象車両の軌道候補の生成を行う。操作機能は、判断機能で生成された運転行動計画及び軌道候補に基づいて対象車両の挙動を制御することができる。近年の運転支援用及び自動運転用システムの中には、人工ニューラルネットワーク（ＡＮＮ：Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの学習モデルを採用しているものも開発されている。

このような運転支援用または自動運転用システムの信頼性及び安全性を検証するためには、当該システムを搭載した車両を実際に走行させる実走行テストが必要である。しかしながら、実走行テストだけでは、システムの製品化までに多大な時間がかかる。そこで、現実の環境を模した仮想的なシミュレーション環境下で運転支援または自動運転を計算機を用いてシミュレーションするテストも行われている。このようなシミュレーションの技術は、たとえば、特許文献１（再表２０１９／０２１８９８号公報）に開示されている。

再表２０１９／０２１８９８号公報

運転支援用または自動運転用のシステムの信頼性及び安全性を計算機シミュレーションにより十分に検証するためには、多種多様なシミュレーション環境を示す大量のデータが必要となる。このようなデータは、たとえば、実際の車両に搭載されたセンサから取得された映像データを中心とするセンシングデータの解析処理（たとえば他車両などの周辺オブジェクトの検出）を行うことにより生成できる。

しかしながら、大量のセンシングデータの解析に要する計算コストは非常に大きいことから、これがシステムの開発コストの上昇あるいは開発期間の長大化を招くという課題がある。

上記に鑑みて本開示の目的は、運転支援または自動運転のシミュレーションに要する計算コストの低減を可能とするシミュレーション用データを生成するデータ生成装置、方法及びコンピュータプログラムを提供する点にある。

本開示の第１の態様によるデータ生成装置は、実空間における車両の状態を示すタイムスタンプ付き車両情報が格納されている車両情報格納部と、前記車両の周辺領域における周辺オブジェクトに関するタイムスタンプ付きオブジェクト情報が格納されているオブジェクト情報格納部とを参照してシミュレーション用データを生成するデータ生成装置であって、少なくとも前記オブジェクト情報及び前記車両情報の中から、指定時刻と許容範囲内で同一の時刻のタイムスタンプをもつ複数の概念要素を探し出す探索処理を行う情報探索部と、当該探し出された複数の概念要素を複数の概念クラスに分類し、前記複数の概念クラスのうちの各概念クラスと当該各概念クラスに分類された概念要素との間の関係を示すクラスデータを生成する多クラス分類部と、前記多クラス分類部により前記複数の概念クラスについてそれぞれ生成された複数個のクラスデータを相互に関係付けることによって、前記タイムスタンプをもつ構造化データセットを生成する構造化データ生成部とを備える。

本開示の第２の態様による方法は、実空間における車両の状態を示すタイムスタンプ付き車両情報が格納されている車両情報格納部と、前記車両の周辺領域における周辺オブジェクトに関するタイムスタンプ付きオブジェクト情報が格納されているオブジェクト情報格納部とを参照してシミュレーション用データを生成する方法であって、少なくとも前記オブジェクト情報及び前記車両情報の中から、指定時刻と許容範囲内で同一の時刻のタイムスタンプをもつ複数の概念要素を探し出す探索処理を行うステップと、当該探し出された複数の概念要素を複数の概念クラスに分類するステップと、前記複数の概念クラスのうちの各概念クラスと当該各概念クラスに分類された概念要素との間の関係を示すクラスデータを生成するステップと、前記複数の概念クラスについてそれぞれ生成された複数個のクラスデータを相互に関係付けることによって、前記タイムスタンプをもつ構造化データセットを生成するステップとを備える。

本開示の第３の態様によるコンピュータプログラムは、不揮発性メモリから読み出されて単数または複数のプロセッサにより実行されるべきコンピュータプログラムであって、第２の態様による方法を前記単数または複数のプロセッサに実行させるように構成されている。

本開示の第１～第３の態様によれば、タイムスタンプ付き車両情報とタイムスタンプ付きオブジェクト情報とに基づいて、タイムスタンプをもつ構造化データセットを生成することができる。この構造化データセットのデータ量は、センシングデータのそれと比べると非常に小さいので、データ保管コストを低くすることができる。また構造化データセットは、ほとんど前処理を必要とせずに運転支援または自動運転のシミュレーションに利用できるデータ構造を有しているので、当該シミュレーションの計算負荷を低くすることができる。したがって、構造化データセットを用いたシミュレーションを実行することにより運転支援用または自動運転用システムの開発コストの低減あるいは開発期間の短縮を容易に実現することができる。

本開示の一実施形態に係るデータ生成システムの概略構成を示す図である。 一連の画像フレームからなる動画像データと、或る時刻での画像フレームの例とを表す概略図である。 １つの概念クラスと、この概念クラスで示される概念を具現化する属性情報（概念要素）との間の関係例を示す図である。 「車両」という概念を示す車両クラスと、車両クラスに分類された属性情報との間の関係例を示す図である。 高速道路へのランプ上を走行する対象車両とその周辺状況とを概略的に示す図である。 図５に示される状況の場合に生成される構造化データセットの一例を概念的に表す図である。 一連の時刻のタイムスタンプをそれぞれもつ構造化データセットを概念的に示す図である。 本開示の一実施形態に係るデータ生成方法の一例を概略的に示すフローチャートである。 構造化データセット群を用いて運転支援または自動運転のシミュレーションを実行するシミュレータの構成例を概略的に示す図である。 シミュレータの動作手順の一例を示すフローチャートである。 本開示の他の実施形態に係るデータ生成システムの概略構成を示すブロック図である。 本開示の他の実施形態に係るデータ生成方法の一例を概略的に示すフローチャートである。 データ生成システムの機能を実現するハードウェア構成例を概略的に示すブロック図である。

次に、図面を参照しつつ、種々の実施形態及びその変形例について詳細に説明する。なお、図面全体において同一符号が付された構成要素は、同一構成及び同一機能を有するものとする。

図１は、一実施形態に係るデータ生成システム１の概略構成を示すブロック図である。このデータ生成システム１は、運転支援または自動運転の計算機シミュレーションで使用される構造化データセットを生成するものである。図１に示されるようにデータ生成システム１は、実空間に存在していた車両（以下「対象車両」という。）を用いて実際に収集された情報が格納されているデータ格納部１０と、データ格納部１０を参照して計算機シミュレーション用の構造化データセットを生成するデータ生成装置２０と、構造化データセットを格納する構造化情報データベース（構造化情報ＤＢ）３０とを備えている。各構造化データセットには、タイムスタンプが付加される。

データ格納部１０としては、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ，ＨＤＤ）またはソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ，ＳＳＤ）などの大容量記憶媒体が使用可能である。

データ格納部１０は、対象車両の周辺領域における周辺オブジェクトに関するタイムスタンプ付きオブジェクト情報があらかじめ格納されているオブジェクト情報格納部１１と、当該対象車両の位置状態，挙動状態及び制御状態を示すタイムスタンプ付き車両情報があらかじめ格納されている車両情報格納部１２と、当該対象車両の周辺領域を観測する単数または複数のアクティブセンサを用いて生成されたセンシングデータが格納されているセンシングデータ格納部１３とを含んで構成されている。

オブジェクト情報格納部１１に格納されているオブジェクト情報は、対象車両に搭載された外界センサのセンシングデータを解析することで認識された情報を含む。外界センサとしては、撮像センサ及び赤外線温度センサなどのパッシブセンサ、並びに、ライダ（ＬｉＤＡＲ：Ｌａｓｅｒ ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）装置，レーダ（ＲＡＤＡＲ：ＲＡｄｉｏ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）装置及び超音波センサなどのアクティブセンサが挙げられる。レーダ装置は、対象車両の周辺領域にミリ波などの電波を照射し、周辺オブジェクトで反射または散乱された電波を受信し、受信信号を処理することで周辺オブジェクトとの相対距離、周辺オブジェクトの相対速度及び周辺オブジェクトの相対方位を示すセンシングデータを生成することができる。またライダ装置は、対象車両の周辺領域をレーザ光で走査しつつ周辺オブジェクトで反射または散乱された光を受信し、受信信号を処理することで周辺オブジェクトとの相対距離、周辺オブジェクトの相対速度及び周辺オブジェクトの相対方位を示すセンシングデータを生成することができる。

対象車両の周辺領域を観測する外界センサのセンシングデータを解析することで、たとえば、周辺オブジェクトのタイプ、サイズ及び各種状態をオブジェクト情報として認識することができる。周辺オブジェクトのタイプとしては、たとえば、対象車両の周辺領域（たとえば、前方領域、側方領域及び後方領域）に存在する周辺車両（たとえば、四輪車両，自動二輪車両及び自転車），歩行者，標識，建物，障害物（たとえば、路上の小石）及び車線領域が挙げられる。

具体的には、対象車両には、撮像センサのセンシングデータである動画像データからオブジェクト情報を認識し得る画像認識センサを搭載することができる。画像認識センサは、動画像データを解析することにより、動画像データに現れる周辺オブジェクトを検知しそのオブジェクト情報を認識することができる。図２は、経過時間ｔに沿って配列された一連の画像フレームからなる動画像データＭｄと、或る時刻での画像フレームＦｄの例とを表す概略図である。画像フレームＦｄにおいては、撮像センサで取得された前方画像が示されるとともに、画像認識センサによって前方画像に現れる複数台の周辺車両が検知された結果が四角い枠で示されている。

また対象車両には、対象車両の周辺領域の高精細な３次元画像を生成し得るライダ装置などのアクティブセンサと、その３次元画像を解析することにより周辺オブジェクトを検知しそのオブジェクトを情報を認識し得る３次元画像認識センサとを搭載することもできる。３次元画像認識センサは、センシングデータを解析することで、対象車両の周辺領域における道路形状や路面状態（たとえば、路面の凹凸、路面の濡れまたは路面の凍結）といったオブジェクト情報を認識することができる。

センシングデータ格納部１３には、レーダ装置やライダ装置などのアクティブセンサのタイムスタンプ付きセンシングデータを格納することが可能である。

車両情報格納部１２には、対象車両の位置状態，挙動状態及び制御状態を示すタイムスタンプ付き車両情報が格納されている。たとえば、対象車両の位置状態は、対象車両に搭載されたＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）センサと高精度な地図データとを用いて検出可能である。対象車両の挙動状態は、加速度センサ、ヨーレイトセンサ（対象車両が旋回する際に発生する角速度を検出するセンサ）、操舵角センサ、シフトポジションセンサ及びブレーキセンサといった車載センサと、これら車載センサのセンシングデータを解析する電子制御ユニット（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）とを用いて検出可能である。対象車両の制御状態を示す情報としては、たとえば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信プロトコルに準拠した車載通信ネットワークを伝送された車両制御情報が利用可能である。

上記したオブジェクト情報，車両情報及びセンシングデータは、対象車両に搭載されたテレマティクス（Ｔｅｌｅｍａｔｉｃｓ）機能をもつ電子制御ユニットにより、移動体通信ネットワークを介して外部サーバ装置に集約され得る。データ生成システム１は、外部サーバ装置に集約されたオブジェクト情報，車両情報及びセンシングデータを利用することができる。

次に、データ生成装置２０の構成について詳細に説明する。図１に示されるように、データ生成装置２０は、情報探索部２３，情報推定部２６，多クラス分類部２４，構造化データ生成部２５及びデータ出力部２７を備えて構成されている。

情報探索部２３は、オブジェクト情報格納部１１及び車両情報格納部１２を参照して探索処理を実行する。すなわち、情報探索部２３は、オブジェクト情報及び車両情報の中から、指定時刻ｔと許容範囲ΔＴ内で同一の時刻Ｔのタイムスタンプをもつ概念要素と称されるデータ要素を複数探し出す。各概念要素にはタイムスタンプが付加されているので、情報探索部２３は、データ格納部１０を参照して同一の時刻Ｔのタイムスタンプをもつ複数の概念要素を探し出し、当該探し出された概念要素をデータ格納部１０から取得することができる。

ここで、本明細書では、「概念要素」とは、対象車両や周辺オブジェクトの概念を具現化するためのデータ要素（たとえば「歩行者」のサイズ及び速度）をいう。

一方、情報推定部２６は、センシングデータ格納部１３を参照して、指定時刻ｔと同一または近傍の時刻のタイムスタンプをもつセンシングデータを探し出す。さらに情報推定部２６は、当該探し出されたセンシングデータに基づいて対象車両の周辺領域における周辺オブジェクトに関するオブジェクト情報の概念要素を推定する。たとえば、対象車両に搭載された撮像センサが指定時刻ｔに逆光状態にあったとき、あるいは、対象車両が指定時刻ｔに視界不良環境下にあったときには、画像認識センサは、指定時刻ｔの動画像データから周辺オブジェクトを高い精度で認識することが難しい。このような場合でも、情報推定部２６は、センシングデータ格納部１３に格納されているセンシングデータを解析して周辺オブジェクト（たとえば「前方走行車両」）に関する概念要素（たとえば「前方走行車両」のサイズ）を推定することができる。

また情報推定部２６は、センシングデータ格納部１３に格納されているセンシングデータと車両情報格納部１２に格納されている車両情報とに基づいて、新たなオブジェクト情報を推定することもできる。たとえば、情報推定部２６は、センシングデータから得た周辺車両（たとえば前方走行車両や後方走行車両）の相対速度と、車両情報から得た対象車両の絶対速度とに基づいて、当該周辺車両の絶対速度を推定することができる。

多クラス分類部２４及び構造化データ生成部２５は、情報探索部２３により探し出された概念要素と情報推定部２６により推定された概念要素とに基づいて、オントロジー（Ｏｎｔｏｌｏｇｙ）と呼ばれる階層的な概念体系を表す構造化データセット（オントロジーデータセット）を生成することができる。本明細書において、「オントロジー」とは、知識やモデルに現れる複数の概念クラスと、これら概念クラス間を関係付ける意味リンクとから構成された概念体系（ｃｏｎｃｅｐｔｕａｌ ｓｙｓｔｅｍ）をいう。

具体的には、多クラス分類部２４は、情報探索部２３により探し出された概念要素及び情報推定部２６により推定された概念要素を、あらかじめ定められた複数の概念クラスに分類し、各概念クラスと当該各概念クラスに分類された概念要素との間の関係を示すクラスデータを生成する。構造化データ生成部２５は、複数の概念クラスについてそれぞれ生成された複数個のクラスデータを相互に関係付けることによって、時刻Ｔのタイムスタンプをもつ構造化データセットを生成する。データ出力部２７は、当該構造化データセットを構造化情報ＤＢ３０に出力する。

図３は、１つの概念クラスと、この概念クラスで示される概念を具現化する属性情報（概念要素）との間の関係例を示す図である。図３に示される概念要素としての属性情報は、数値情報，状態情報，物性情報及び機能情報を含む。図４は、「車両」という概念を示す車両クラスと、車両クラスに分類された属性情報との間の関係例を示す図である。図４に示される属性情報は、数値情報，状態情報，物性情報及び機能情報を含む。図４に示されるように「数値情報」は、車両速度，加速度，操舵角，方位，車両の全長及び車両の幅をそれぞれ示す属性値を含み、「状態情報」は、ＡＣＣ（追従型クルーズコントロール（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ））状態，自動運転状態及び通信中状態をそれぞれ示す属性値を含み、「物性情報」は、車体情報及び素材情報をそれぞれ示す属性値を含み、「機能情報」のうちのセンサ情報は、温度センサ，ミリ波レーダ，ＬｉＤＡＲ及び画像認識センサをそれぞれ示す属性値を含み、「機能情報」のうちの照明情報は、室外灯及び室内灯をそれぞれ示す属性値を含む。

図５は、或る時刻において高速道路ＨＷへのランプＨＲ上を走行する対象車両Ｈ１とその周辺状況とを概略的に示す図である。図５に示されるように対象車両Ｈ１は、自動運転状態で、直線形状の高速道路ＨＷと曲線形状のランプＨＲとの間の合流エリアＡ１に進行しようとしている。高速道路ＨＷは、第１車線Ｌ１と第２車線Ｌ１とからなり、第１車線Ｌ１では、対象車両Ｈ１からみて後方の領域に自動二輪車両Ｈ２が手動運転状態で走行している。合流エリアＡ１には、速度制限情報（たとえば時速１００ｋｍの制限速度）を表示する標識Ｒｓが設けられている。さらに合流エリアＡ１の路面上には小石Ｓｔが存在する。対象車両Ｈ１内の電子制御ユニットは、対象車両Ｈ１に搭載された上記センサ群及び高精度の地図データを用いて、標識Ｒｓ，合流エリアＡ１，小石Ｓｔ，自動二輪車両Ｈ２，第１車線Ｌ１及び第２車線Ｌ２を周辺オブジェクトとして検知し、これら周辺オブジェクトに関する概念要素を属性情報として生成することができる。

図６は、図５に示される状況の場合に生成される、或る時刻のタイムスタンプをもつ構造化データセットの一例を概念的に表す図である。図６に示される構造化データセットは、各種の概念クラス５１～５３，６１～６３，７１～７２と、これら概念クラス５１～５３，６１～６３，７１～７２間を相互に関係付ける意味リンクＣ１～Ｃ８とで構成されている。具体的には、図６に示されるように、対象車両クラス５０は、「対象車両」という概念を具現化する「四輪車両」，「自動走行」及び「現在位置座標」などの属性情報ととともにクラスデータを構成し、走行車道クラス５１は、「走行車道」という概念を具現化する「ランプ」及び「領域座標」などの属性情報ととともにクラスデータを構成し、高速道路クラス５２は、「高速道路」という概念を具現化する「領域座標」及び「道路形状」などの属性情報とともにクラスデータを構成し、合流エリアクラス５３は、「合流エリア」という概念を具現化する「領域座標」及び「相対距離」などの属性情報とともにクラスデータを構成し、周辺車両クラス６１は、「周辺車両」という概念を具現化する「自動二輪車両」，「手動走行」及び「領域座標」などの属性情報とともにクラスデータを構成し、第１車線クラス６２は、「第１車線」という概念を具現化する「前方領域座標」，「後方領域座標」及び「車線の形状」などの属性情報とともにクラスデータを構成し、第２車線クラス６３は、「第２車線」という概念を具現化する「前方領域座標」，「後方領域座標」及び「車線の形状」などの属性情報とともにクラスデータを構成し、標識クラス７１は、「標識」という概念を具現化する「速度制限情報」などの属性情報とともにクラスデータを構成し、障害物クラス７２は、「障害物」という概念を具現化する「石」，「相対距離」及び「相対方位」などの属性情報とともにクラスデータを構成している。

さらに、図６に示されるように、意味リンクＣ１は、対象車両クラス５０と走行車道クラス５１とを相互に関係付け、意味リンクＣ２は、対象車両クラス５０と合流エリアクラス５３とを相互に関係付け、意味リンクＣ３は、合流エリアクラス５３と標識クラス７１とを相互に関係付け、意味リンクＣ４は、合流エリアクラス５３と障害物クラス７２とを相互に関係付け、意味リンクＣ５は、対象車両クラス５０と高速道路クラス５２とを相互に関係付け、意味リンクＣ６は、高速道路クラス５２と第１車線クラス６２とを相互に関係付け、意味リンクＣ７は、高速道路クラス５２と第２車線クラス６３とを相互に関係付け、意味リンクＣ８は、周辺車両クラス６１と第１車線クラス６２とを相互に関係付けている。

情報探索部２３，情報推定部２６，多クラス分類部２４及び構造化データ生成部２５は、指定時刻が与えられる度に、探索処理，概念要素の推定，クラスデータの生成及びタイムスタンプ付き構造化データセットの生成をそれぞれ実行する。これにより、図７に示されるように、一連の時刻Ｔ_１，Ｔ_２，Ｔ_３，…のタイムスタンプをそれぞれもつ構造化データセットＸ（Ｔ_１），Ｘ（Ｔ_２），Ｘ（Ｔ_３），…を時系列データとして生成することが可能となる。

次に、図８を参照しつつ、データ生成装置２０の動作手順について説明する。図８は、一実施形態に係るデータ生成方法の一例を概略的に示すフローチャートである。以下、車両情報のタイムスタンプの分解能（時刻精度）は、オブジェクト情報のタイムスタンプの分解能（時刻精度）よりも低いと仮定して説明を行う。

図８を参照すると、先ず、時刻ｔ（ｋ）が指定される（ステップＳ１０）。ｋは、指定時刻ｔ（ｋ）を特定する番号である。指定時刻ｔ（ｋ）は、データ生成装置２０の外部のコントローラ（図示せず）により与えられてもよいし、データ生成装置２０の内部（たとえば情報探索部２３）により与えられてもよい。

情報探索部２３は、オブジェクト情報格納部１１に格納されているオブジェクト情報の中から、指定時刻ｔ（ｋ）と対応する時刻Ｔ（ｋ）のタイムスタンプをもつ単数または複数の概念要素を探し出すことを試みる（ステップＳ１１）。当該概念要素を探し出すことに成功したときは（ステップＳ１２のＹＥＳ）、ステップＳ１３に処理が移行し、当該概念要素を探し出すことに失敗したときは（ステップＳ１２のＮＯ）、ステップＳ３２に処理が移行する。

ステップＳ１３では、情報探索部２３は、車両情報格納部１２に格納されている車両情報の中から、ステップＳ１１で探し出された概念要素のタイムスタンプで示される時刻Ｔ（ｋ）と許容範囲内で同一の時刻のタイムスタンプをもつ単数または複数の概念要素を探し出すことを試みる。当該概念要素を探し出すことに成功したときは（ステップＳ１４のＹＥＳ）、ステップＳ１７に処理が移行し、当該概念要素を探し出すことに失敗したときは（ステップＳ１４のＮＯ）、ステップＳ１５に処理が移行する。

ステップＳ１５では、情報探索部２３は、車両情報格納部１２に格納されている車両情報の中から、当該同一の時刻Ｔ（ｋ）とは異なる時刻Ｔ（ｍ）（ｍ≠ｋ）のタイムスタンプをもつ単数または複数の概念要素を取得する。続けて情報探索部２３は、ステップＳ１５で取得された単数または複数の概念要素に基づいて新たな概念要素を補間する（ステップＳ１６）。ここで、異なる時刻Ｔ（ｍ）は、時刻Ｔ（ｋ）にできるだけ近い時刻であることが望ましい。たとえば、時刻Ｔ（ｋ）よりも１単位時間だけ前後する時刻Ｔ（ｋ－１），Ｔ（ｋ＋１）の一方または双方が時刻Ｔ（ｍ）として選択されればよい。

たとえば、ステップＳ１６において、情報探索部２３は、対象車両の現在位置座標（緯度、経度及び高度），速度，操舵角，加速度，ブレーキの指令値，シフトポジションの指令値，及びアクセス開度といった概念要素を補間することができる。

ステップＳ１７では、車両情報格納部１２から、ステップＳ１３で探し出された単数または複数の概念要素を取得する。

次に、情報推定部２６は、センシングデータ格納部１３に格納されているセンシングデータが利用可能かどうかを判定する（ステップＳ１８）。すなわち、情報推定部２６は、センシングデータ格納部１３を参照して、指定時刻ｔ（ｋ）と同一または近傍の時刻のタイムスタンプをもつセンシングデータが存在するかどうかを判定する。センシングデータが利用可能ではないとの判定がなされたときは（ステップＳ１８のＮＯ）、ステップＳ２０に処理が移行する。

センシングデータが利用可能であると判定したときは（ステップＳ１８のＹＥＳ）、情報推定部２６は、センシングデータ格納部１３から利用可能なセンシングデータを取得し、当該センシングデータに基づいてさらに別のオブジェクト情報の概念要素を推定することができる（ステップＳ１９）。この場合、たとえば、情報推定部２６は、利用可能なセンシングデータを解析して周辺車両に関する概念要素（たとえば「周辺車両」のサイズ及び動作状態）を新たに推定すればよい。情報推定部２６は、当該推定された概念要素を情報探索部２３に出力する。

ここで、情報推定部２６は、利用可能なセンシングデータと車両情報格納部１２に格納されている車両情報との双方に基づいて、新たなオブジェクト情報を推定してもよい。たとえば、情報推定部２６は、利用可能なセンシングデータから得た周辺車両（たとえば前方走行車両や後方走行車両）の相対速度と、車両情報から得た対象車両の絶対速度とに基づいて当該周辺車両の絶対速度を新たな概念要素として推定することができる。

次のステップＳ２０では、情報探索部２３は、オブジェクト情報格納部１１から、ステップＳ１１で探し出された概念要素を取得する。このとき、情報探索部２３は、ステップＳ１６で補間された概念要素，ステップＳ１７で取得された概念要素，ステップＳ１９で推定された概念要素，及びステップＳ２０で取得された概念要素を統合して多クラス分類部２４に供給する。

その後、多クラス分類部２４は、情報探索部２３から供給された概念要素を、あらかじめ定められた複数の概念クラスに分類する（ステップＳ２１）。続けて多クラス分類部２４は、各概念クラスと、当該各概念クラスに分類された概念要素との間の関係を示すクラスデータを生成する（ステップＳ２２）。

次に、構造化データ生成部２５は、複数の概念クラスについてそれぞれ生成された複数個のクラスデータを相互に関係付けることによって、時刻Ｔ（ｋ）のタイムスタンプをもつ構造化データセットを生成する（ステップＳ２３）。データ出力部２７は、ステップＳ２３で生成された構造化データセットを構造化情報ＤＢ３０に出力する。

次に、処理を続行するかどうかの判定がなされる（ステップＳ３２）。処理を続行するとの判定がなされたときは（ステップＳ３２のＹＥＳ）、情報探索部２３は、指定時刻ｔ（ｋ）をインクリメントする（ステップＳ３３）。すなわち、指定時刻ｔ（ｋ）を特定する番号ｋが１だけインクリメントされる。その後、インクリメントされた指定時刻ｔ（ｋ）について、ステップＳ１１～Ｓ３２が実行される。ステップＳ３２にて処理を続行しないとの判定がなされたときは（ステップＳ３２のＮＯ）、処理は終了する。

以上に説明したとおり、データ生成装置２０は、指定時刻が与えられる度に、タイムスタンプ付きオブジェクト情報，タイムスタンプ付き車両情報及びタイムスタンプ付きセンシングデータに基づいて、タイムスタンプをもつ構造化データセットを生成することができる。構造化データセットのデータ量は、センシングデータのそれと比べると非常に小さいので、データ保管コストを下げることができる。また構造化データセットは、ほとんど前処理を必要とせずに運転支援または自動運転のシミュレーションに利用できるデータ構造を有しているので、当該計算機シミュレーションの計算負荷を低くすることができる。したがって、構造化データセットを用いた計算機シミュレーションを実行することにより運転支援用または自動運転用システムの開発コストの低減あるいは開発期間の短縮を容易に実現することができる。

図９は、構造化情報ＤＢ３０に格納された構造化データセット群を用いて運転支援または自動運転のシミュレーションを実行するシミュレータ４０の構成例を概略的に示す図である。図９に示されるようにシミュレータ４０は、構造化情報ＤＢ３０からタイムスタンプ付きの構造化データセットを取得する入力インターフェイス（入力Ｉ／Ｆ）４１と、入力Ｉ／Ｆ４１で取得された構造化データセットに基づく仮想的なシミュレーション環境下での運転支援用または自動運転用の判断処理を実行する判断部４２と、判断処理の結果に基づいて仮想車両を操作する操作処理を実行してその結果を出力する操作部４３とを備えている。操作部４３の出力に基づいて運転支援用または自動運転用システムの信頼性及び安全性を検証することが可能である。

図１０は、シミュレータ４０の動作手順の一例を示すフローチャートである。図１０に示されるように、時刻Ｔ（ｋ）が指定されると（ステップＳ４０）、入力Ｉ／Ｆ４１は、指定時刻Ｔ（ｋ）のタイムスタンプをもつ構造化データセットを構造化情報ＤＢ３０から取得することを試みる（ステップＳ４１）。当該構造化データセットの取得に成功したときは（ステップＳ４２のＹＥＳ）、判断部４２は、当該構造化データセットに基づいて判断処理を実行し（ステップＳ４３）、次いで操作部４３は、判断処理の結果に基づいて操作処理を実行する（ステップＳ４４）。その後、指定時刻Ｔ（ｋ）がインクリメントされると（ステップＳ４５）、ステップＳ４１，Ｓ４２が実行される。ステップＳ４２で当該構造化データセットの取得に失敗したときは、シミュレーションは終了する。このように指定時刻Ｔ（ｋ）ごとに構造化データセットを判断部４２に供給することにより、運転支援用または自動運転用システムのロジックの確からしさを検証することが可能となる。たとえば、ヒヤリハット現象について検証することが可能である。

次に、図１１及び図１２を参照しつつ、他の実施形態に係るデータ生成システム２について説明する。

図１１は、他の実施形態に係るデータ生成システム２の概略構成を示すブロック図である。図１１に示されるようにデータ生成システム２は、データ格納部１０，データ生成装置２０，データ生成装置２１及び構造化情報ＤＢ３０を備える。データ生成装置２１は、情報探索部２３，情報推定部２６，多クラス分類部２４，構造化データ生成部２５，データ出力部２８及びバッファメモリ２９を含んで構成される。データ生成システム２の構成は、図１のデータ出力部２７に代えてデータ出力部２８及びバッファメモリ２９を有する点を除いて、図１のデータ生成システム２の構成と同じである。

本実施の形態のデータ生成装置２１では、上記のとおり、構造化データ生成部２５は、指定時刻ｔと対応する時刻Ｔのタイムスタンプをもつ構造化データセットＸ（Ｔ）を生成する。バッファメモリ２９には、当該構造化データセットよりも以前に生成された構造化データセットＸ（Ｔ－α）が格納されている。データ出力部２８は、構造化データ生成部２５により生成された構造化データセットＸ（Ｔ）と、バッファメモリ２９に格納されている、時刻Ｔ－αのタイムスタンプをもつ構造化データセットＸ（Ｔ－α）とを比較して、構造化データセットＸ（Ｔ）を構成する概念要素の属性値と構造化データセットＸ（Ｔ－α）を構成する概念要素の属性値との間に所定の閾値以上の差があるかどうかを判定する。所定の閾値以上の差がないと判定したときには、データ出力部２８は、構造化データセットＸ（Ｔ）を構造化情報ＤＢ３０に出力しない。これにより、時刻Ｔ－αと時刻Ｔとの間で環境変化がほとんど無いと評価できるときには、構造化データセットＸ（Ｔ）を構造化情報ＤＢ３０に格納することを回避することができる。たとえば対象車両が静止状態にある場面について冗長なデータを構造化情報ＤＢ３０に格納することを回避することができる。

次に、図１２を参照しつつ、データ生成装置２１の動作手順について説明する。図１２は、他の実施形態に係るデータ生成方法の一例を概略的に示すフローチャートである。図１２のフローチャートは、ステップＳ２４，Ｓ２５，Ｓ３１を有する点を除いて、図８のフローチャートと同じである。

図１２を参照すると、ステップＳ２３で時刻Ｔ（ｋ）のタイムスタンプをもつ構造化データセットが生成されると、データ出力部２８は、現在生成されている構造化データセットＸ（Ｔ（ｋ））と、バッファメモリ２９から得た、時刻Ｔ（ｋ－１）のタイムスタンプをもつ構造化データセットＸ（Ｔ（ｋ－１））とを比較する（ステップＳ２４）。すなわち、構造化データセットＸ（Ｔ（ｋ））を構成する概念要素の属性値と、構造化データセットＸ（Ｔ（ｋ－１））を構成する概念要素の属性値との間に所定の閾値以上の差がないかどうかを判定する。

所定の閾値以上の差があるときは（ステップＳ２５のＹＥＳ）、データ出力部２８は、構造化データセットＸ（Ｔ（ｋ））を構造化情報ＤＢ３０に出力し（ステップＳ３０）、構造化データセットＸ（Ｔ（ｋ））をバッファメモリ２９に記憶させる（ステップＳ３１）。一方、所定の閾値以上の差がないときは（ステップＳ２５のＮＯ）、データ出力部２８は、構造化データセットＸ（Ｔ（ｋ））を構造化情報ＤＢ３０に出力せずに、構造化データセットＸ（Ｔ（ｋ））をバッファメモリ２９に記憶させる（ステップＳ３１）。その後、ステップＳ３２以後のステップが実行される。

上記したデータ生成装置２０，２１の各々の機能の全部または一部は、不揮発性メモリから読み出されたソフトウェアまたはファームウェアのプログラムコードを実行する、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置を含む単数または複数のプロセッサで実現されてもよい。あるいは、データ生成装置２０，２１の各々の機能の全部または一部は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ），ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの半導体集積回路を有する単数または複数のプロセッサにより実現可能である。あるいは、ＤＳＰ，ＡＳＩＣまたはＦＰＧＡなどの半導体集積回路と、ＣＰＵまたはＧＰＵなどの演算装置との組み合わせを含む単数または複数のプロセッサによってデータ生成装置２０，２１の各々の機能の全部または一部を実現することも可能である。

図１３は、データ生成システム１，２の各々の機能を実現するハードウェア構成例である情報処理装置９０の構成を概略的に示すブロック図である。情報処理装置９０は、プロセッサ９１，ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９２，不揮発性メモリ９３，大容量メモリ９４，入出力インターフェイス９５及び信号路９６を含んで構成されている。信号路９６は、プロセッサ９１，ＲＡＭ９２，不揮発性メモリ９３，大容量メモリ９４及び入出力インターフェイス９５を相互に接続するためのバスである。ＲＡＭ９２は、プロセッサ９１がディジタル信号処理を実行する際に使用されるデータ記憶領域である。プロセッサ９１がＣＰＵなどの演算装置を内蔵する場合には、不揮発性メモリ９３は、プロセッサ９１により実行されるソフトウェアまたはファームウェアのプログラムコードを記憶するデータ記憶領域を有する。大容量メモリ９４には、図１または図１１のデータ格納部１０及び構造化情報ＤＢ３０を設けることができる。

以上、種々の実施形態及びその変形例について説明したが、上記の実施形態及びその変形例は例示に過ぎず、本発明の範囲を限定するものではない。たとえば、上記の対象車両は、乗用車に限定されるものではなく、上記実施の形態及びその変形例は、鉄道車両にも適用可能である。

また、本発明の趣旨及び範囲から逸脱することなく、上記実施形態の変更、追加及び改良を適宜行うことができることが理解されるべきである。本発明の範囲は、特許請求の範囲の記載に基づいて解釈されるべきであり、さらにその均等物を含むものと理解されるべきである。

本開示に係るシミュレーション用のデータ生成装置、方法及びコンピュータプログラムは、車両の運転支援及び自動運転のシミュレーションに適した構造化データセットの提供を可能とするので、車両の運転支援技術及び自動運転技術の研究開発に利用することができる。

１：データ生成システム、２：データ生成システム、１０：データ格納部、１１：オブジェクト情報格納部、１２：車両情報格納部、１３：センシングデータ格納部、２０，２１：データ生成装置、２３：情報探索部、２４：多クラス分類部、２５：構造化データ生成部、２６：情報推定部、２７，２８：データ出力部、２９：バッファメモリ、３０：構造化情報データベース、４０：シミュレータ、４１：入力インターフェイス（入力Ｉ／Ｆ）、４２：判断部、４３：操作部、９０：情報処理装置、９１：プロセッサ、９２：ランダムアクセスメモリ、９３：不揮発性メモリ、９４：大容量メモリ、９５：入出力インターフェイス、９６：信号路。

Claims (17)

1. 実空間における車両の状態を示すタイムスタンプ付き車両情報が格納されている車両情報格納部と、前記車両の周辺領域における周辺オブジェクトに関するタイムスタンプ付きオブジェクト情報が格納されているオブジェクト情報格納部とを参照してシミュレーション用データを生成するデータ生成装置であって、
   少なくとも前記オブジェクト情報及び前記車両情報の中から、指定時刻と許容範囲内で同一の時刻のタイムスタンプをもつ複数の概念要素を探し出す探索処理を行う情報探索部と、
   当該探し出された複数の概念要素を複数の概念クラスに分類し、前記複数の概念クラスのうちの各概念クラスと当該各概念クラスに分類された概念要素との間の関係を示すクラスデータを生成する多クラス分類部と、
   前記多クラス分類部により前記複数の概念クラスについてそれぞれ生成された複数個のクラスデータを相互に関係付けることによって、前記タイムスタンプをもつ構造化データセットを生成する構造化データ生成部と
   を備えることを特徴とするデータ生成装置。
2. 請求項１に記載のデータ生成装置であって、前記情報探索部、前記多クラス分類部及び前記構造化データ生成部は、前記指定時刻が与えられる度に、前記探索処理、前記クラスデータの生成、及び、前記構造化データセットの生成を実行することを特徴とするデータ生成装置。
3. 請求項１または請求項２に記載のデータ生成装置であって、前記情報探索部は、前記オブジェクト情報の中から、前記指定時刻と対応する時刻のタイムスタンプをもつ概念要素を探し出し、前記車両情報の中から、前記オブジェクト情報の当該探し出された概念要素のタイムスタンプで示される時刻と同一の時刻のタイムスタンプをもつ概念要素を探し出す、ことを特徴とするデータ生成装置。
4. 請求項３に記載のデータ生成装置であって、
   前記情報探索部は、前記車両情報の中から、前記オブジェクト情報の当該探し出された概念要素のタイムスタンプで示される時刻と同一の時刻のタイムスタンプをもつ概念要素を探し出すことに失敗したときに、前記車両情報の中から、当該同一の時刻とは異なる時刻のタイムスタンプをもつ単数または複数の概念要素を取得し、当該取得された単数または複数の概念要素に基づいて新たな概念要素を補間し、
   前記多クラス分類部は、当該探し出された概念要素及び前記新たな概念要素を前記複数の概念クラスに分類する、
   ことを特徴とするデータ生成装置。
5. 請求項３または請求項４に記載のデータ生成装置であって、前記車両情報のタイムスタンプの分解能は、前記オブジェクト情報のタイムスタンプの分解能よりも低い、ことを特徴とするデータ生成装置。
6. 請求項１から請求項５のうちのいずれか１項に記載のデータ生成装置であって、
   前記構造化データセットと、当該構造化データセットよりも以前に生成された構造化データセットとを比較して前記構造化データセットを構成する概念要素の属性値と当該以前に生成された構造化データセットを構成する概念要素の属性値との間に所定の閾値以上の差があるかどうかを判定するデータ出力部をさらに備え、
   前記データ出力部は、前記所定の閾値以上の差がないと判定したときにのみ前記構造化データセットを出力する、
   ことを特徴とするデータ生成装置。
7. 請求項１から請求項６のうちのいずれか１項に記載のデータ生成装置であって、
   前記車両の周辺領域を観測する単数または複数のアクティブセンサを用いて生成されたタイムスタンプ付きセンシングデータが格納されているセンシングデータ格納部を参照し、前記センシングデータに基づいて前記車両の周辺領域における周辺オブジェクトに関するオブジェクト情報の概念要素を推定する情報推定部をさらに備え、
   前記多クラス分類部は、当該探し出された複数の概念要素及び当該推定された概念要素を前記複数の概念クラスに分類することを特徴とするデータ生成装置。
8. 請求項７に記載のデータ生成装置であって、前記単数または複数のアクティブセンサは、レーダ装置、ライダ装置及び超音波センサのうちの少なくとも１つを含むことを特徴とするデータ生成装置。
9. 請求項１から請求項８のうちのいずれか１項に記載のデータ生成装置であって、前記車両情報は、前記車両の位置状態、挙動状態及び制御状態のうちの少なくとも１つの状態を示す情報を含むことを特徴とするデータ生成装置。
10. 請求項１から請求項９のうちのいずれか１項に記載のデータ生成装置であって、前記オブジェクト情報格納部に格納されているオブジェクト情報は、画像認識センサを含む単数または複数のセンサのセンシングデータを解析することで認識された、周辺オブジェクトに関する情報であることを特徴とするデータ生成装置。
11. 実空間における車両の状態を示すタイムスタンプ付き車両情報が格納されている車両情報格納部と、前記車両の周辺領域における周辺オブジェクトに関するタイムスタンプ付きオブジェクト情報が格納されているオブジェクト情報格納部とを参照してシミュレーション用データを生成する方法であって、
    少なくとも前記オブジェクト情報及び前記車両情報の中から、指定時刻と許容範囲内で同一の時刻のタイムスタンプをもつ複数の概念要素を探し出す探索処理を行うステップと、
    当該探し出された複数の概念要素を複数の概念クラスに分類するステップと、
    前記複数の概念クラスのうちの各概念クラスと当該各概念クラスに分類された概念要素との間の関係を示すクラスデータを生成するステップと、
    前記複数の概念クラスについてそれぞれ生成された複数個のクラスデータを相互に関係付けることによって、前記タイムスタンプをもつ構造化データセットを生成するステップと
    を備えることを特徴とする方法。
12. 請求項１１に記載の方法であって、前記探索処理を行う当該ステップと、前記クラスデータを生成する当該ステップと、前記構造化データセットを生成する当該ステップとは、前記指定時刻が与えられる度に実行されることを特徴とする方法。
13. 請求項１１または請求項１２に記載の方法であって、
    前記探索処理を行う当該ステップは、
    前記オブジェクト情報の中から、前記指定時刻と対応する時刻のタイムスタンプをもつ概念要素を探し出すステップと、
    前記車両情報の中から、前記オブジェクト情報の当該探し出された概念要素のタイムスタンプで示される時刻と同一の時刻のタイムスタンプをもつ概念要素を探し出すステップと
    を含むことを特徴とする方法。
14. 請求項１３に記載の方法であって、
    前記車両情報の中から、前記オブジェクト情報の当該探し出された概念要素のタイムスタンプで示される時刻と同一の時刻のタイムスタンプをもつ概念要素を探し出すことに失敗したときに、前記車両情報の中から、当該同一の時刻とは異なる時刻のタイムスタンプをもつ単数または複数の概念要素を取得するステップと、
    当該取得された単数または複数の概念要素に基づいて新たな概念要素を補間するステップと、
    当該探し出された概念要素及び前記新たな概念要素を前記複数の概念クラスに分類するステップと
    をさらに備えることを特徴とする方法。
15. 請求項１１から請求項１４のうちのいずれか１項に記載の方法であって、
    前記構造化データセットと、当該構造化データセットよりも以前に生成された構造化データセットとを比較して前記構造化データセットを構成する概念要素の属性値と当該以前に生成された構造化データセットを構成する概念要素の属性値との間に所定の閾値以上の差があるかどうかを判定するステップと、
    前記所定の閾値以上の差がないと判定したときにのみ前記構造化データセットを出力するステップと
    をさらに備えることを特徴とする方法。
16. 請求項１１から請求項１５のうちのいずれか１項に記載の方法であって、
    前記車両の周辺領域を観測する単数または複数のアクティブセンサを用いて生成されたタイムスタンプ付きセンシングデータが格納されているセンシングデータ格納部を参照し、前記センシングデータに基づいて前記車両の周辺領域における周辺オブジェクトに関するオブジェクト情報の概念要素を推定するステップと、
    当該推定された概念要素を前記複数の概念クラスに分類するステップと
    をさらに備えることを特徴とする方法。
17. 不揮発性メモリから読み出されて単数または複数のプロセッサにより実行されるべきコンピュータプログラムであって、請求項１１から請求項１６のうちのいずれか１項に記載の方法を前記単数または複数のプロセッサに実行させるように構成されていることを特徴とするコンピュータプログラム。

Images