JP2020123259A - Automatic operation program evaluation system, and automatic operation program evaluation method - Google Patents

Automatic operation program evaluation system, and automatic operation program evaluation method Download PDF

Info

Publication number
JP2020123259A
JP2020123259A JP2019016071A JP2019016071A JP2020123259A JP 2020123259 A JP2020123259 A JP 2020123259A JP 2019016071 A JP2019016071 A JP 2019016071A JP 2019016071 A JP2019016071 A JP 2019016071A JP 2020123259 A JP2020123259 A JP 2020123259A
Authority
JP
Japan
Prior art keywords
information
evaluation
predetermined
program
execution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019016071A
Other languages
Japanese (ja)
Other versions
JP7213704B2 (en
Inventor
賢一 市村
Kenichi Ichimura
賢一 市村
伊藤　秀和
Hidekazu Ito
秀和 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Solutions Ltd
Original Assignee
Hitachi Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Solutions Ltd filed Critical Hitachi Solutions Ltd
Priority to JP2019016071A priority Critical patent/JP7213704B2/en
Publication of JP2020123259A publication Critical patent/JP2020123259A/en
Application granted granted Critical
Publication of JP7213704B2 publication Critical patent/JP7213704B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Debugging And Monitoring (AREA)

Abstract

To provide an automatic operation program evaluation system, and an automatic operation program evaluation method capable of objectively evaluating virtually executed automatic operation.SOLUTION: An automatic operation program evaluation system 20 stores a piece of evaluation criteria information 210, which is information of evaluation criteria for evaluating the contents of driving a vehicle under predetermined conditions numerically. The automatic operation program evaluation system receives an execution-log 300 which is a piece of information including driving history of the vehicle which is output as an execution result of an automatic operation program 170 for determining the contents of driving the vehicle under prescribed conditions. The automatic operation program evaluation system generates a piece of evaluation result information 230 that numerically indicates the evaluation of driving the vehicle under predetermined conditions based on the received execution-log and the evaluation criteria information.SELECTED DRAWING: Figure 1

Description

本発明は、自動運転プログラム評価システム、及び自動運転プログラム評価方法に関する。 The present invention relates to an automatic driving program evaluation system and an automatic driving program evaluation method.

自動運転車（自律走行自動車）の開発において、自動運転技術の中核となる自動運転プログラムの改良が進んでいる。自動運転プログラムの性能は自動運転の安全性に直結するため、その性能の向上を図ることは自動運転車の普及の点からも非常に重要である。そのため、自動運転プログラムの性能を検証する試験が広く行われている。しかしながら、実際に自動車を路上等を走行させて自動運転プログラムの試験をする場合、膨大な走行画像や空間データを取得しなければならない。また、このような試験方法では、天候等の不確定要素による影響を考慮するのが困難である。 In the development of self-driving cars (autonomous vehicles), the improvement of self-driving programs, which is the core of self-driving technology, is progressing. Since the performance of self-driving programs is directly linked to the safety of self-driving cars, it is very important to improve their performance in terms of the spread of self-driving cars. Therefore, tests for verifying the performance of automated driving programs are widely performed. However, when actually driving a vehicle on the road or the like to test an automatic driving program, it is necessary to acquire a huge amount of running images and spatial data. Moreover, in such a test method, it is difficult to consider the influence of uncertain factors such as weather.

そこで、非特許文献１に示すように、自動車の自動運転プログラムと自動車の周囲の様々な環境の振る舞いをモデル化した仮想環境（いわゆるシミュレータ）が提供されている。 Therefore, as shown in Non-Patent Document 1, there is provided a virtual environment (so-called simulator) that models the automatic driving program of a vehicle and the behavior of various environments around the vehicle.

https://ipg-automotive.com/products-services/simulation-software/carmaker/（２０１９年１月２１日閲覧）https://ipg-automotive.com/products-services/simulation-software/carmaker/ (viewed January 21, 2019)

しかし、このような仮想環境で自動運転を実行することは可能となっている一方、そのような仮想的な自動運転が適切であったか否かを客観的に評価する手法はほとんど開発されていない。そのため、仮想環境の利点が充分に活かされていないといえる。 However, while it is possible to execute autonomous driving in such a virtual environment, few methods have been developed for objectively evaluating whether or not such virtual autonomous driving was appropriate. Therefore, it can be said that the advantages of the virtual environment are not fully utilized.

本発明はこのような現状に鑑みてなされたものであり、その目的は、仮想的に実行された自動運転を客観的かつ定量的に評価することが可能な、自動運転プログラム評価システム、及び自動運転プログラム評価方法を提供することにある。 The present invention has been made in view of such a current situation, and an object thereof is to be able to objectively and quantitatively evaluate virtually executed automatic driving, an automatic driving program evaluation system, and an automatic It is to provide a method for evaluating a driving program.

以上の課題を解決するための本発明の一つは、自動運転プログラム評価システムであって、プロセッサ及びメモリを備え、所定の条件における所定の自動車の運転の内容を所定の数値で評価するための評価基準の情報である評価基準情報を記憶する評価基準情報記憶部と、前記所定の条件における前記所定の自動車の運転の内容を決定する所定のプログラムの実行結果として出力された、当該自動車の運転の履歴を含む情報である実行ログを、所定の情報処理システムから受信する実行ログ受信部と、受信した実行ログ及び前記評価基準情報に基づき、前記所定の条件における前記所定の自動車の運転の評価を所定の数値で示す評価結果情報を生成する評価結果情報生成部と、を備える。 One of the present inventions for solving the above-mentioned problems is an automatic driving program evaluation system, comprising a processor and a memory, for evaluating the driving content of a predetermined automobile under predetermined conditions by a predetermined numerical value. An evaluation reference information storage unit that stores evaluation reference information that is information on an evaluation reference, and the driving of the vehicle output as the execution result of a predetermined program that determines the content of driving the predetermined vehicle under the predetermined condition. An execution log that is information including the history of the execution log receiving unit that receives the execution log from a predetermined information processing system, and based on the received execution log and the evaluation reference information, evaluation of driving of the predetermined vehicle under the predetermined condition. And an evaluation result information generation unit that generates evaluation result information indicating a predetermined numerical value.

本発明によれば、仮想的に実行された自動運転を客観的かつ定量的に評価することができる。 According to the present invention, it is possible to objectively and quantitatively evaluate the virtually executed automatic driving.

図１は、第１実施形態における自動運転プログラム開発システムの構成の一例を示す図である。FIG. 1 is a diagram showing an example of the configuration of the automatic driving program development system in the first embodiment. 図２は、実行ログ３００のデータ構成の一例を示す図である。FIG. 2 is a diagram showing an example of the data structure of the execution log 300. 図３は、実行ログ３００のデータ構成の他の一例を示す図である。FIG. 3 is a diagram showing another example of the data structure of the execution log 300. 図４は、評価基準情報２１０の一例を示す図である。FIG. 4 is a diagram showing an example of the evaluation reference information 210. 図５は、自動運転プログラム開発システム１を構成する各情報処理装置が備えるハードウェアの一例を説明する図である。FIG. 5 is a diagram illustrating an example of hardware included in each information processing device that constitutes the automatic driving program development system 1. 図６は、プログラム開発支援処理における各処理の典型的な流れを示すフロー図である。FIG. 6 is a flow chart showing a typical flow of each process in the program development support process. 図７は、シナリオ情報生成処理の一例を説明するフロー図である。FIG. 7 is a flowchart illustrating an example of the scenario information generation process. 図８は、パラメータ情報２１３を情報処理言語（ＸＭＬ）の処理部に変換した例を示す図である。FIG. 8 is a diagram showing an example in which the parameter information 213 is converted into a processing unit of information processing language (XML). 図９は、評価結果詳細情報２５０の一例を示す図である。FIG. 9 is a diagram showing an example of the evaluation result detailed information 250. 図１０は、評価結果詳細情報２５０の他の一例を示す図である。FIG. 10 is a diagram showing another example of the evaluation result detailed information 250. 図１１は、評価結果情報生成処理により生成される評価結果概要情報２７０のデータ項目の一例を示す図である。FIG. 11 is a diagram showing an example of data items of the evaluation result summary information 270 generated by the evaluation result information generation processing. 図１２は、シナリオ情報１５０に係るシナリオの評価結果情報２１０の比較を行った画面１０００の一例を説明する図である。FIG. 12 is a diagram illustrating an example of a screen 1000 on which the scenario evaluation result information 210 related to the scenario information 150 is compared. 図１３は、シナリオ情報１５０に係るシナリオの評価結果情報２１０の比較を行った画面１０００の一例を説明する図である。FIG. 13 is a diagram illustrating an example of a screen 1000 on which the scenario evaluation result information 210 related to the scenario information 150 is compared. 図１４は、同一の自動運転プログラム１７０に基づく各評価結果情報２１０の比較を行った画面の一例を説明する図である。FIG. 14 is a diagram illustrating an example of a screen on which the evaluation result information 210 is compared based on the same automatic driving program 170. 図１５は、異なる種類の自動運転プログラム１７０に基づく各評価結果情報２１０の比較を行った画面の一例である。FIG. 15 is an example of a screen on which the evaluation result information 210 based on different types of automatic driving programs 170 are compared. 図１６は、第２実施形態に係るプログラム開発支援処理の一例を示すフロー図である。FIG. 16 is a flowchart showing an example of the program development support process according to the second embodiment. 図１７は、付帯画像１９５の表示の一例を示す図である。FIG. 17 is a diagram showing an example of display of the supplementary image 195.

以下、各実施形態の自動運転プログラム評価システムについて図面を参照しつつ説明する。
［［第１実施形態］］ Hereinafter, the automatic driving program evaluation system of each embodiment will be described with reference to the drawings.
[[First Embodiment]]

＜＜自動運転プログラム開発システムの構成＞＞
図１は、第１実施形態における自動運転プログラム開発システムの構成の一例を示す図である。自動運転プログラム開発システム１は、自動車の自動運転プログラムを用いた仮想的な自動運転システム（自動運転シミュレータ）である自動運転プログラム実行システム１０と、自動運転プログラム実行システム１０による自動運転の内容を評価する自動運転プログラム評価システム２０とを含んで構成されている。 << Configuration of automated driving program development system >>
FIG. 1 is a diagram showing an example of the configuration of the automatic driving program development system in the first embodiment. The automatic driving program development system 1 evaluates an automatic driving program execution system 10 which is a virtual automatic driving system (automatic driving simulator) using an automatic driving program of a vehicle, and contents of automatic driving by the automatic driving program execution system 10. The automatic driving program evaluation system 20 is included.

自動運転プログラム実行システム１０は、１又は複数の情報処理装置により構成されている。自動運転プログラム実行システム１０は、指定された自動運転プログラムを、仮想的な所定の条件（例えば、仮想的な道路、標識、歩行者、天候等に関する条件）の下で実行させることで自動車の仮想的な自動運転を当該情報処理装置上で実行する。 The automatic driving program execution system 10 is composed of one or a plurality of information processing devices. The automated driving program execution system 10 executes a specified automated driving program under virtual predetermined conditions (for example, conditions related to virtual roads, signs, pedestrians, weather, etc.) to virtualize the automobile. Automatic driving is executed on the information processing apparatus.

自動運転プログラム評価システム２０は、１又は複数の情報処理装置により構成されている。自動運転プログラム評価システム２０は、自動運転プログラム実行システム１０が実行した自動運転を、予め記憶された所定の評価基準に従って評価し、その結果を、自動運転プログラム及び自動車の開発者等のユーザ（以下、単にユーザという）に対して提示する。 The automatic driving program evaluation system 20 is composed of one or more information processing devices. The automatic driving program evaluation system 20 evaluates the automatic driving executed by the automatic driving program execution system 10 according to a predetermined evaluation standard stored in advance, and the result is a user (hereinafter referred to as a user such as an automatic driving program and a vehicle developer). , Simply referred to as the user).

自動運転プログラム実行システム１０と自動運転プログラム評価システム２０の間は、通信ネットワーク５によって通信可能に接続されている。通信ネットワーク５は、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、専
用線等の有線又は無線の通信ネットワークであってもよいし、両システムにおける装置間を直接に接続する所定の通信線であってもよい。また、自動運転プログラム実行システム１０及び自動運転プログラム評価システム２０内における各情報処理装置の間も、同様の通信ネットワークで接続される。 The automatic driving program execution system 10 and the automatic driving program evaluation system 20 are communicably connected by a communication network 5. The communication network 5 may be, for example, a wired or wireless communication network such as a LAN (Local Area Network), a WAN (Wide Area Network), the Internet, or a dedicated line, or directly connects devices in both systems. It may be a predetermined communication line. Further, the information processing apparatuses in the automatic driving program execution system 10 and the automatic driving program evaluation system 20 are also connected by the same communication network.

次に、自動運転プログラム実行システム１０の構成について説明する。
＜自動運転プログラム実行システム＞
自動運転プログラム実行システム１０は、図１に示すように、地図情報１１０、外界認識情報１３０、シナリオ情報１５０、及び、１又は複数の自動運転プログラム１７０を記憶している。 Next, the configuration of the automatic driving program execution system 10 will be described.
<Automatic driving program execution system>
As shown in FIG. 1, the automatic driving program execution system 10 stores map information 110, external environment recognition information 130, scenario information 150, and one or more automatic driving programs 170.

地図情報１１０は、道路、施設、交通信号機、道路標識、又は地形等の、静的な物体の形状や位置を特定する情報である。 The map information 110 is information that identifies the shape and position of static objects such as roads, facilities, traffic signals, road signs, or terrain.

外界認識情報１３０は、自動運転を行う自動車（具体的には、自動運転プログラム１７０）が認識しうる対象物の情報である。すなわち、外界認識情報１３０は、自動運転を行う自動車に搭載される各種センサやカメラが取得するデータ又は画像の情報に対応している。外界認識情報１３０は、例えば、地図情報１１０に記憶されている静的な物体の画像の他、人、動物、走行物、道路上の物体、といった動きのある物体の画像又は動画の情報を含む。外界認識情報１３０は、自動車の各種センサやカメラが実際に取得したデータ又は画像を使用してもよいし、ユーザが任意に作成したデータ又は画像であってもよい。 The outside world recognition information 130 is information of an object that can be recognized by a vehicle that performs automatic driving (specifically, the automatic driving program 170). That is, the outside world recognition information 130 corresponds to information of data or images acquired by various sensors and cameras mounted on an automobile that performs autonomous driving. The outside world recognition information 130 includes, for example, an image of a static object stored in the map information 110, and information of an image or moving image of a moving object such as a person, an animal, a traveling object, or an object on a road. .. The external world recognition information 130 may use data or images actually acquired by various sensors or cameras of the automobile, or may be data or images arbitrarily created by the user.

シナリオ情報１５０は、自動車の運転条件を規定する情報である。シナリオ情報１５０は、例えば、人、動物、又は走行物（自動車、自転車等）の動きの情報、道路上の物体の存在、交通信号機の存在及びその動作、道路標識の存在及びその内容といった、自動車の運転の条件を規定する、様々な物体の情報を含む。 The scenario information 150 is information that defines the driving conditions of the automobile. The scenario information 150 is, for example, information on the movement of a person, an animal, or a moving object (an automobile, a bicycle, etc.), the presence of an object on the road, the presence of a traffic signal and its operation, the presence of a road sign, and their contents. It includes information on various objects that define the driving conditions of the.

また、シナリオ情報１５０は、例えば、天候（天気、気温、湿度、風向、風速等）、時間帯（朝、昼、薄暮、薄明、夜等）、道路の路面状態（湿度、乾燥、湿潤、水たまり、舗装、非舗装等）、走行経路（道路の傾斜、道路の方向（直進／カーブ／連続カーブ等））、道路の種類（一般道、高速道路、海上橋等）といった、自動車の運転の条件を規定する、外的環境（コンディション）の情報を含む。 The scenario information 150 includes, for example, weather (weather, temperature, humidity, wind direction, wind speed, etc.), time zone (morning, daytime, dusk, twilight, night, etc.), road surface condition (humidity, dryness, wetness, puddle). , Pavement, unpaved, etc.), driving route (road inclination, road direction (straight/curved/continuous curve, etc.)), road type (general road, highway, marine bridge, etc.) Includes information on the external environment (conditions) that defines the

また、シナリオ情報１５０は、自動車が、自身の制御対象装置（例えば、アクセル、ブレーキ、ウィンカー、ライト等）に対してどのようなタイミングでどのような制御を行ってどのような経路を走行するかといった、自動車の運転の条件を規定する、自動車の動作の情報を含む。 In addition, the scenario information 150 indicates what kind of control the vehicle carries out at what timing and at what timing with respect to its control target device (for example, accelerator, brake, winker, light, etc.). , Which includes information on the operation of the vehicle, which defines the driving conditions of the vehicle.

なお、後述するように本実施形態では、シナリオ情報１５０は、自動運転プログラム評価システム２０が生成するものとする。シナリオ情報１５０は、所定の情報処理言語によって記述される。本実施形態では、シナリオ情報１５０は、ＸＭＬ（eXtensible Markup Language）により記述されるものとするが、それ以外の記述方法であってもよい。 In this embodiment, as will be described later, the scenario information 150 is generated by the automatic driving program evaluation system 20. The scenario information 150 is described in a predetermined information processing language. In the present embodiment, the scenario information 150 is described in XML (eXtensible Markup Language), but other description methods may be used.

自動運転プログラム１７０は、シナリオ情報１５０が規定する条件にしたがって自動車を走行させる。具体的には、自動運転プログラム１７０は、当該自動車がシナリオ情報１５０が規定する経路を走行するように、当該自動車の各制御対象装置に対する制御信号を
生成し、当該自動車の制御対象装置を仮想的に動作させる。この場合、自動運転プログラム１７０は、シナリオ情報１５０に対応した外界認識情報１３０に基づき、自身の自動車、他の自動車、及び歩行者等の動きを、機械学習等により構築された人工知能（AI: Artificial Intelligence）により予測し、その予測結果に基づき制御信号を生成し、生成し
た制御信号により制御対象装置を制御する。このように、自動運転プログラム１７０は、制御対象装置に対する制御信号を生成することで、自動車の自動運転を実現する。 The automatic driving program 170 drives the automobile according to the conditions defined by the scenario information 150. Specifically, the automatic driving program 170 generates a control signal for each control target device of the car so that the car travels on the route defined by the scenario information 150, and virtualizes the control target device of the car. To work. In this case, the autonomous driving program 170, based on the external world recognition information 130 corresponding to the scenario information 150, the artificial intelligence (AI: AI: AI) constructed by machine learning or the like about the movements of its own vehicle, other vehicles, and pedestrians. Artificial Intelligence), a control signal is generated based on the prediction result, and the control target device is controlled by the generated control signal. In this way, the automatic driving program 170 realizes the automatic driving of the vehicle by generating the control signal for the control target device.

なお、本実施形態では、自動運転プログラム１７０として、自動車の各個体に応じて作成された異なる複数のプログラムが予め記憶されているものとする。また、自動運転プログラム１７０として、開発者（メーカ等）ごとに異なる複数のプログラムが予め記憶されているものとする。 In addition, in the present embodiment, it is assumed that a plurality of different programs created according to each individual vehicle are stored in advance as the automatic driving program 170. In addition, as the automatic driving program 170, it is assumed that a plurality of different programs for each developer (manufacturer or the like) are stored in advance.

次に、自動運転プログラム実行システム１０は、自動運転プログラム実行部１０１、実行ログ生成部１０３、及び運転状況表示部１０５の各機能を備える。 Next, the automatic driving program execution system 10 includes the functions of the automatic driving program execution unit 101, the execution log generation unit 103, and the driving status display unit 105.

自動運転プログラム実行部１０１は、ユーザにより選択された自動運転プログラム１７０を実行する。 The automatic driving program execution unit 101 executes the automatic driving program 170 selected by the user.

実行ログ生成部１０３は、自動運転プログラム実行部１０１が実行した運転の内容を示すデータを、実行ログ３００に出力する。実行ログ３００は、運転における各時点（又は時刻）と、その時点における自動車の運転の内容とを対応付けて記録したデータである。 The execution log generation unit 103 outputs to the execution log 300 data indicating the content of the operation executed by the automatic driving program execution unit 101. The execution log 300 is data in which each time point (or time point) during driving and the driving content of the vehicle at that time point are associated and recorded.

ここで、実行ログ３００の具体例を説明する。
＜実行ログ＞
図２は、実行ログ３００のデータ構成の一例を示す図である。この実行ログ３００（以下、実行ログＡという）は、地図情報１１０に停止禁止区域を設定し、シナリオ情報１５０に、自動車がこの停止禁止区域を含む所定の経路を走行又は停止するシナリオを設定した場合のログデータである。この実行ログ３００は、自動車が走行を開始してからの経過時間３０１と、経過時間３０１が示すタイミングにおいて自動車が停止禁止区域に停止していた場合の、その停止位置３０３とをそれぞれデータ項目として備えている。 Here, a specific example of the execution log 300 will be described.
<Execution log>
FIG. 2 is a diagram showing an example of the data structure of the execution log 300. In this execution log 300 (hereinafter, referred to as execution log A), a stop prohibition area is set in the map information 110, and a scenario in which a vehicle runs or stops on a predetermined route including this stop prohibition area is set in the scenario information 150. It is log data in the case. The execution log 300 has, as data items, an elapsed time 301 after the vehicle starts traveling and a stop position 303 when the vehicle is stopped in the stop prohibited area at the timing indicated by the elapsed time 301. I have it.

図３は、実行ログ３００の他の一例を示す図である。この実行ログ３００（以下、実行ログＢという）は、地図情報１１０にカーブを有する所定の道路を設定し、シナリオ情報１３０に、自動車がこの道路を高速で走行するシナリオを設定した場合のログデータである。この実行ログ３００は、自動車が走行を開始してからの経過時間３２１と、経過時間３２１が示すタイミングにおける自動車の横方向（進行方向に対する側方方向）の加速度３２３とをそれぞれデータ項目として備えている。 FIG. 3 is a diagram showing another example of the execution log 300. This execution log 300 (hereinafter, referred to as execution log B) is log data when a predetermined road having a curve is set in the map information 110 and a scenario in which an automobile runs on this road at high speed is set in the scenario information 130. Is. The execution log 300 includes, as data items, an elapsed time 321 after the automobile starts running and an acceleration 323 in the lateral direction (side direction to the traveling direction) of the automobile at the timing indicated by the elapsed time 321. There is.

図１に戻り、運転状況表示部１０５は、自動運転プログラム１７０による自動運転を視覚的に再現する。すなわち、運転状況表示部１０５は、前記所定のプログラム（自動運転プログラム１７０）の実行プロセスを、前記所定の条件における前記所定の自動車の運転の状況を示した画像（以下、運転シミュレーション画像１９０という）により表示する。 Returning to FIG. 1, the driving status display unit 105 visually reproduces the automatic driving by the automatic driving program 170. That is, the driving status display unit 105 displays an image of the driving process of the predetermined program (automatic driving program 170) showing the driving status of the predetermined vehicle under the predetermined conditions (hereinafter referred to as a driving simulation image 190). To display.

具体的には、運転状況表示部１０５は、自動運転プログラム実行部１０１が算出したデータに基づき、地図情報１１０、外界認識情報１３０、及びシナリオ情報１５０が示す自動車の運転状況を示す画像又は動画の情報を生成して表示する。 Specifically, the driving status display unit 105 displays an image or a moving image of the vehicle driving status indicated by the map information 110, the external world recognition information 130, and the scenario information 150 based on the data calculated by the automatic driving program execution unit 101. Generate and display information.

また、運転状況表示部１０５は、第２実施形態で説明するように、付帯画像１９５を表示する。付帯画像１９５は、運転シミュレーション画像１９０に重ねて表示される画像である。なお、付帯画像１９５は、自動運転プログラム評価システム２０が生成する。 The driving status display unit 105 also displays the supplementary image 195, as described in the second embodiment. The supplementary image 195 is an image displayed so as to be superimposed on the driving simulation image 190. The supplementary image 195 is generated by the automatic driving program evaluation system 20.

＜自動運転プログラム評価システム＞
次に、自動運転プログラム評価システム２０の構成について説明する。 <Automatic driving program evaluation system>
Next, the configuration of the automatic driving program evaluation system 20 will be described.

まず、自動運転プログラム評価システム２０は、所定の条件における所定の自動車の運転の内容を所定の数値で評価するための評価基準の情報である評価基準情報２１０を記憶する。この評価基準は、複数の項目に対する基準を含んでいる。自動運転プログラム実行システム１０が生成した実行ログ３００が示す運転の内容は、この評価基準情報２１０における評価基準の項目のいずれかと対応する。 First, the automatic driving program evaluation system 20 stores the evaluation reference information 210 which is the evaluation reference information for evaluating the driving content of a predetermined vehicle under a predetermined condition with a predetermined numerical value. This evaluation standard includes standards for a plurality of items. The content of the operation indicated by the execution log 300 generated by the automatic driving program execution system 10 corresponds to any of the evaluation criteria items in the evaluation criteria information 210.

ここで、評価基準情報２１０の具体例を説明する。
＜評価基準情報＞
図４は、評価基準情報２１０の一例を示す図である。評価基準情報２１０は、自動車の運転の内容を評価する基準を規定した所定の法規の内容を記録した法規情報２１１と、法規情報２１１をパラメータ化した情報であるパラメータ情報２１３とを含んで構成されている。 Here, a specific example of the evaluation reference information 210 will be described.
<Evaluation criteria information>
FIG. 4 is a diagram showing an example of the evaluation reference information 210. The evaluation reference information 210 is configured to include the regulation information 211 that records the content of the prescribed regulation that defines the criteria for evaluating the driving content of the automobile, and the parameter information 213 that is the parameterized information of the regulation information 211. ing.

本実施形態では、この法規情報２１１は、道路交通法等に基づき規定されている、運転免許技能試験に係る採点基準（「運転免許技能試験実施基準」）とする。運転免許技能試験実施基準は、運転の技能に関する複数の項目（減点細目）のそれぞれに対して、所定の減点数を規定している。減点細目に違反した運転を行った場合には、対応する減点数分の点数が減点される。なお、法規情報２１１は、どのような法令等に基づく情報であってもよく、また、所定の業界によるガイドラインに基づくものであってもよい。すなわち、法規情報２１１は、客観的な評価基準を定めたものであればその形式は問わない。 In the present embodiment, the legal information 211 is a scoring standard (“driving license skill test implementation standard”) related to the driver's license skill test, which is defined based on the Road Traffic Act and the like. The driving license skill test implementation standard stipulates a predetermined number of deduction points for each of a plurality of items (point deduction points) related to driving skill. When driving is performed in violation of the deduction points, points corresponding to the deduction points are deducted. Note that the regulation information 211 may be information based on any law or the like, or may be based on guidelines of a predetermined industry. That is, the format of the regulation information 211 does not matter as long as it defines objective evaluation criteria.

法規情報２１１は、運転の評価の対象（減点細目）である項目２１５と、その項目２１５の規定内容２１７と、その規定内容２１７に違反した運転を行った場合の減点数２１９とを規定している。他方、パラメータ情報２１３は、法規情報２１１の項目２１５に対応して設定されたパラメータ値である識別子２２１と、法規情報２１１の規定内容２１７を数値、数式、又は条件式等により数的に表現したデータであるパラメータ群２２３と、法規情報２１１の減点数２１９に対応して設定された減点パラメータ２２５とを含んで構成されている。本実施形態では、減点数２１９（減点パラメータ２２５）は、「−５」、「−１０」、「−２０」の３種類のいずれかであり、客観的かつ定量的な自動運転プログラムの評価が行えるようになっている。 The legal information 211 defines an item 215 that is an object of driving evaluation (subjected points), a regulation content 217 of the item 215, and a deduction point 219 when driving in violation of the regulation content 217. There is. On the other hand, the parameter information 213 numerically expresses the identifier 221 which is the parameter value set corresponding to the item 215 of the regulation information 211 and the specified content 217 of the regulation information 211 by numerical values, mathematical expressions, conditional expressions or the like. It is configured to include a parameter group 223, which is data, and a deduction parameter 225 set corresponding to the deduction point 219 of the regulation information 211. In the present embodiment, the number of deduction points 219 (deduction point parameter 225) is one of three types of "-5", "-10", and "-20", and objective and quantitative evaluation of the automatic driving program is possible. It can be done.

図４の例では、法規情報２１１において、「速度速すぎ（大）」という減点細目に関し、「カーブでおおむね0.4G以上の横加速度を生じた場合に違反とする」と規定され、これに違反した場合には「２０点」減点すると規定されている。これに対応して、パラメータ情報２１３には、識別子「１」において、「自動車のカーブ進入時の初速が20km/h〜120km/h（Step 10km/h）であり、カーブ半径が15m〜1000m（Step10m）」を満たさない場合に
「−２０」する、と設定されている。 In the example of FIG. 4, in the regulation information 211, it is stipulated that “a violation occurs when a lateral acceleration of about 0.4 G or more is generated in a curve” is specified for the deduction point “speed too fast (large)”, which is violated. If you do, it is stipulated that "20 points" will be deducted. Correspondingly, in the parameter information 213, in the identifier “1”, “the initial speed of the vehicle when entering a curve is 20 km/h to 120 km/h (Step 10 km/h) and the curve radius is 15 m to 1000 m ( Step-20m)” is not satisfied, “-20” is set.

図１に戻り、自動運転プログラム評価システム２０は、シナリオ情報生成部２０１、シナリオ情報送信部２０３、実行ログ受信部２０５、評価結果情報生成部２０７、付帯画像情報送信部２０８、及び評価結果情報表示部２０９の各機能を備える。 Returning to FIG. 1, the automatic driving program evaluation system 20 includes a scenario information generation unit 201, a scenario information transmission unit 203, an execution log reception unit 205, an evaluation result information generation unit 207, an accompanying image information transmission unit 208, and an evaluation result information display. Each function of the unit 209 is provided.

シナリオ情報生成部２０１は、評価基準情報２１０から抽出された、自動車の運転の内容を規定した部分に基づき、自動車の運転の条件を示す情報であるシナリオ情報１５０を生成する。 The scenario information generation unit 201 generates scenario information 150, which is information indicating a driving condition of a vehicle, based on a portion defining the driving content of the vehicle extracted from the evaluation reference information 210.

シナリオ情報送信部２０３は、生成したシナリオ情報１５０を自動運転プログラム実行システム１０に送信する。 The scenario information transmission unit 203 transmits the generated scenario information 150 to the automatic driving program execution system 10.

実行ログ受信部２０５は、自動運転プログラム実行システム１０から、実行ログ３００を受信する。すなわち、実行ログ受信部２０５は、所定の条件における所定の自動車の運転の内容を決定する所定のプログラム（自動運転プログラム１７０）の実行結果として出力された、当該自動車の運転の履歴を含む情報である実行ログ３００を、所定の情報処理システム（自動運転プログラム実行システム１０）から受信する。 The execution log receiving unit 205 receives the execution log 300 from the automatic driving program execution system 10. That is, the execution log receiving unit 205 outputs information including the driving history of the vehicle, which is output as the execution result of the predetermined program (automatic driving program 170) that determines the content of driving the predetermined vehicle under the predetermined condition. A certain execution log 300 is received from a predetermined information processing system (automatic driving program execution system 10).

例えば、実行ログ受信部２０５は、所定のプログラム（自動運転プログラム１７０）の実行結果として出力された、所定の条件における第１の実行ログ３００と、当該所定の条件における所定のプログラム（自動運転プログラム１７０）に対して所定の修正が施されたプログラム（バージョンアップした自動運転プログラム１７０）の実行結果として出力された第２の実行ログ３００とを受信する。 For example, the execution log receiving unit 205 outputs the execution result of the predetermined program (the automatic driving program 170) as the first execution log 300 under the predetermined conditions and the predetermined program under the predetermined conditions (the automatic driving program). 170) and the second execution log 300 output as the execution result of the program (the version-updated automatic driving program 170) in which a predetermined correction is made.

また、例えば、実行ログ受信部２０５は、第１の所定のプログラム（第１の自動運転プログラム１７０）の実行結果として出力された、所定の条件における第１の実行ログ３００と、当該所定の条件における第１のプログラムと異なる第２の所定のプログラム（第２の自動運転プログラム１７０）の実行結果として出力された第２の実行ログ３００とを受信する。 Further, for example, the execution log receiving unit 205 outputs the execution result of the first predetermined program (first automatic operation program 170), the first execution log 300 under the predetermined condition, and the predetermined condition. The second execution log 300 output as a result of the execution of the second predetermined program (second automatic operation program 170) different from the first program in (1) is received.

また、例えば、実行ログ受信部２０５は、シナリオ情報生成部２０１が生成したシナリオ情報１５０に基づき実行された所定のプログラム（自動運転プログラム１７０）の実行結果として出力された実行ログ３００を、所定の情報処理システム（自動運転プログラム実行システム１０）から受信する。 Further, for example, the execution log receiving unit 205 outputs the execution log 300 output as the execution result of the predetermined program (automatic driving program 170) executed based on the scenario information 150 generated by the scenario information generating unit 201, to a predetermined It is received from the information processing system (automatic driving program execution system 10).

評価結果情報生成部２０７は、実行ログ受信部２０５が受信した実行ログ３００及び評価基準情報２１０に基づき、所定の条件における所定の自動車の運転の評価を所定の数値で示す評価結果情報２３０を生成する。 The evaluation result information generation unit 207 generates evaluation result information 230 that indicates the evaluation of driving of a predetermined vehicle under a predetermined condition with a predetermined numerical value, based on the execution log 300 and the evaluation reference information 210 received by the execution log receiving unit 205. To do.

例えば、評価結果情報生成部２０７は、第１の実行ログ３００に基づく第１の評価結果情報２３０及び第２の実行ログ３００に基づく第２の評価結果情報２３０を生成する。 For example, the evaluation result information generation unit 207 generates the first evaluation result information 230 based on the first execution log 300 and the second evaluation result information 230 based on the second execution log 300.

また、評価結果情報生成部２０７は、シナリオ情報生成部２０１が生成したシナリオ情報１５０、実行ログ受信部２０５が受信した実行ログ３００、及び評価基準情報２１０に基づき、評価結果情報２３０を生成する。 The evaluation result information generation unit 207 also generates evaluation result information 230 based on the scenario information 150 generated by the scenario information generation unit 201, the execution log 300 received by the execution log reception unit 205, and the evaluation reference information 210.

なお、評価結果情報２３０は、評価基準の項目ごとの評価結果に関する情報である評価結果詳細情報２５０と、評価基準の全項目の評価結果を総括した情報である評価結果概要情報２７０とを含む。これらの詳細は後述する。 The evaluation result information 230 includes detailed evaluation result information 250 that is information relating to the evaluation result for each item of the evaluation standard, and evaluation result summary information 270 that is information that summarizes the evaluation results of all items of the evaluation standard. Details of these will be described later.

付帯画像情報送信部２０８は、情報処理システム（自動運転プログラム実行システム１０）が表示した画像（運転シミュレーション画像１９０）に付帯して表示される、評価結果情報２３０の内容を示す画像情報（付帯画像１９５）を、その情報処理システム（自動運転プログラム実行システム１０）に送信する。 The incidental image information transmission unit 208 attaches to the image (driving simulation image 190) displayed by the information processing system (automatic driving program execution system 10) and displays the image information indicating the contents of the evaluation result information 230 (an incidental image). 195) to the information processing system (automatic driving program execution system 10).

評価結果情報表示部２０９は、評価結果情報生成部２０７が生成した評価結果情報２５０を表示する。 The evaluation result information display unit 209 displays the evaluation result information 250 generated by the evaluation result information generation unit 207.

例えば、評価結果情報表示部２０９は、第１の評価結果情報２３０及び第２の評価結果
情報２３０を、評価基準の所定の数値により比較して表示する。 For example, the evaluation result information display unit 209 compares and displays the first evaluation result information 230 and the second evaluation result information 230 with a predetermined numerical value of the evaluation standard.

ここで、図５は、自動運転プログラム開発システム１を構成する各情報処理装置が備えるハードウェアの一例を説明する図である。各情報処理装置は、ＣＰＵ（Central Processing Unit）などのプロセッサ５１と、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の主記憶装置５２と、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の補助記憶装置５３と、キーボード、マウス、タッチパネルなどからなる入
力装置５４と、モニタ（ディスプレイ）等からなる、画面表示を行う出力装置５５と、各装置と通信を行う通信装置５６とを備える。 Here, FIG. 5 is a diagram illustrating an example of hardware included in each information processing apparatus included in the automatic driving program development system 1. Each information processing device includes a processor 51 such as a CPU (Central Processing Unit), a main storage device 52 such as a RAM (Random Access Memory) and a ROM (Read Only Memory), an HDD (Hard Disk Drive), and an SSD (Solid State). An auxiliary storage device 53 such as a drive, an input device 54 including a keyboard, a mouse, a touch panel, an output device 55 including a monitor (display) for displaying a screen, and a communication device 56 for communicating with each device. Equipped with.

自動運転プログラム実行システム１０及び自動運転プログラム評価システム２０の各機能は、各情報処理装置のハードウェアにより、もしくは、それぞれプロセッサ５１が、主記憶装置５２や補助記憶装置５３に記憶されている各プログラムを読み出して実行することにより実現される。 Each function of the automatic driving program execution system 10 and the automatic driving program evaluation system 20 is performed by hardware of each information processing device, or each program stored in the main storage device 52 or the auxiliary storage device 53 by the processor 51. It is realized by reading and executing.

また、これらのプログラムは、例えば、二次記憶デバイスや不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤなどの記憶デバイス、又は、ＩＣカード、ＳＤカード、ＤＶＤなどの、情報処理装置で読み取り可能な非一時的データ記憶媒体に格納される。 Further, these programs are non-transitory readable by a storage device such as a secondary storage device, a non-volatile semiconductor memory, a hard disk drive, an SSD, or an information processing device such as an IC card, an SD card, or a DVD. Stored on a data storage medium.

＜＜自動運転プログラム開発システムによる処理＞＞
次に、自動運転プログラム開発システム１が行う処理（プログラム開発支援処理）について説明する。 <<Processing by automated driving program development system>>
Next, a process (program development support process) performed by the automatic driving program development system 1 will be described.

＜プログラム開発支援処理＞
図６は、プログラム開発支援処理における各処理の典型的な流れを示すフロー図である。まず、自動運転プログラム評価システム２０は、シナリオ情報１５０を生成するシナリオ情報生成処理を実行し（ｓ５１）、生成したシナリオ情報１５０を記憶すると共に、生成したシナリオ情報１５０を自動運転プログラム実行システム１０に送信する（ｓ５２）。 <Program development support processing>
FIG. 6 is a flow chart showing a typical flow of each process in the program development support process. First, the automatic driving program evaluation system 20 executes a scenario information generation process for generating the scenario information 150 (s51), stores the generated scenario information 150, and stores the generated scenario information 150 in the automatic driving program execution system 10. It is transmitted (s52).

自動運転プログラム実行システム１０は、受信したシナリオ情報１５０を記憶する（ｓ１１）。そして、自動運転プログラム実行システム１０は、このシナリオ情報１５０、及び自動運転プログラム１７０等に基づき、仮想的な自動運転を実行する自動運転実行処理を実行する（ｓ１３−ｓ１７）。 The automatic driving program execution system 10 stores the received scenario information 150 (s11). Then, the automatic driving program execution system 10 executes an automatic driving execution process for executing virtual automatic driving based on the scenario information 150, the automatic driving program 170, etc. (s13-s17).

すなわち、まず、自動運転プログラム実行システム１０は、処理を実行する自動運転プログラム１７０を選択する（ｓ１３）。具体的には、例えば、自動運転プログラム実行システム１０は、ユーザから、複数の自動運転プログラム１７０のうち一つの選択を受け付ける。 That is, first, the automatic driving program execution system 10 selects the automatic driving program 170 that executes the process (s13). Specifically, for example, the automatic driving program execution system 10 receives one selection from the plurality of automatic driving programs 170 from the user.

自動運転プログラム実行システム１０は、地図情報１１０、外界認識情報１３０、及びシナリオ情報１５０を読み込む（ｓ１５）。なお、シナリオ情報１５０が複数ある場合には、例えば、自動運転プログラム実行システム１０は、ユーザから、複数のシナリオ情報１５０のうち一つの選択を受け付ける。 The automatic driving program execution system 10 reads the map information 110, the external world recognition information 130, and the scenario information 150 (s15). When there are a plurality of pieces of scenario information 150, for example, the automatic driving program execution system 10 receives one selection from the plurality of scenario information 150 from the user.

自動運転プログラム実行システム１０は、シナリオ情報１５０に規定する自動車の仮想的な運転を、地図情報１１０及び外界認識情報１３０を入力した自動運転プログラム１７０による処理により、当該シナリオ情報１５０に係るシナリオが終了するまで実行する（ｓ１７）。具体的には、自動運転プログラム実行システム１０は、シナリオ情報１５０に規定する自動車の運転を実行する際は、ｓ１３で選択した自動運転プログラム１７０に従
って、自動車の制御（各構成装置の制御）を行う。 The automatic driving program execution system 10 completes the scenario related to the scenario information 150 by the virtual driving of the vehicle defined in the scenario information 150 by the processing by the automatic driving program 170 in which the map information 110 and the external world recognition information 130 are input. It is executed until it is done (s17). Specifically, when executing the driving of the vehicle specified in the scenario information 150, the automatic driving program execution system 10 controls the vehicle (controls each constituent device) according to the automatic driving program 170 selected in s13. ..

なお、この際、自動運転プログラム実行システム１０は、運転シミュレーション画像１９０を表示する。また、自動運転プログラム実行システム１０は、実行ログ３００を蓄積する。 At this time, the automatic driving program execution system 10 displays the driving simulation image 190. The automatic driving program execution system 10 also stores the execution log 300.

自動運転プログラム実行システム１０は、自動運転実行処理を終了すると、その実行結果である実行ログ３００を自動運転プログラム評価システム２０に送信する（ｓ１９）。 When the automatic driving program execution system 10 ends the automatic driving execution process, the automatic driving program execution system 10 transmits the execution log 300, which is the execution result, to the automatic driving program evaluation system 20 (s19).

自動運転プログラム評価システム２０は、実行ログ３００を受信すると、受信した実行ログ３００、及び評価基準情報２１０等に基づき、評価結果情報２３０を生成する評価結果情報生成処理を実行する（ｓ５３）。 Upon receiving the execution log 300, the automated driving program evaluation system 20 executes an evaluation result information generation process for generating the evaluation result information 230 based on the received execution log 300, the evaluation reference information 210, etc. (s53).

具体的には、例えば、自動運転プログラム評価システム２０は、実行ログ３００から、各時点における運転の内容（例えば、実行ログＡの停止位置３０３、実行ログＢの加速度３２３）を取得し、取得した運転の内容に対応する、評価基準情報２１０の項目２１５を特定する。そして、自動運転プログラム評価システム２０は、その項目２１５に対応する、パラメータ情報２１３のパラメータ群２２３を取得し、取得したパラメータ群２２３が規定する条件を、前記の運転内容が満たしているか否か（ＯＫ／ＮＧ）を判定する。当該運転内容がパラメータ群２２３が規定する条件を満たしていない場合、自動運転プログラム評価システム２０は、前記で特定した項目２１５に対応する減点数２１９の分だけ、その項目２１５に係る評価点数を減算する。自動運転プログラム評価システム２０は、このような判定を実行ログ３００における全ての時点について行い、その結果（例えば、評価基準の各項目に係る評価点数）を、評価結果情報２３０として生成する。 Specifically, for example, the automatic driving program evaluation system 20 acquires and acquires the details of the driving at each time point (for example, the stop position 303 of the execution log A and the acceleration 323 of the execution log B) from the execution log 300. The item 215 of the evaluation reference information 210 corresponding to the driving content is specified. Then, the automatic driving program evaluation system 20 acquires the parameter group 223 of the parameter information 213 corresponding to the item 215, and determines whether or not the operation content satisfies the condition defined by the acquired parameter group 223 ( OK/NG) is determined. When the operation content does not satisfy the condition defined by the parameter group 223, the automatic driving program evaluation system 20 subtracts the evaluation score related to the item 215 by the deduction score 219 corresponding to the item 215 specified above. To do. The automatic driving program evaluation system 20 makes such a determination for all the time points in the execution log 300, and generates the result thereof (e.g., the evaluation score related to each item of the evaluation standard) as the evaluation result information 230.

自動運転プログラム評価システム２０は、生成した評価結果情報２３０に基づき、自動運転プログラム１７０の評価を示す画面を表示する評価結果画面表示処理を実行する（ｓ５５）。なお、自動運転プログラム実行システム１０が、自動運転プログラム１７０の評価を示す画面を表示してもよい。以上でプログラム開発支援処理は終了する。 The automatic driving program evaluation system 20 executes an evaluation result screen display process for displaying a screen showing the evaluation of the automatic driving program 170 based on the generated evaluation result information 230 (s55). The automatic driving program execution system 10 may display a screen showing the evaluation of the automatic driving program 170. With that, the program development support process ends.

ここで、プログラム開発支援処理における各処理の詳細を説明する。
＜シナリオ情報生成処理＞
まず、図７は、シナリオ情報生成処理の一例を説明するフロー図である。まず、自動運転プログラム評価システム２０は、シナリオ情報１５０の生成に必要な、評価基準の項目を選択する（ｓ１０１）。具体的には、例えば、自動運転プログラム評価システム２０は、ユーザから、評価基準情報２１０における法規情報２１１の項目２１５の入力を受け付ける。 Here, details of each process in the program development support process will be described.
<Scenario information generation process>
First, FIG. 7 is a flowchart illustrating an example of the scenario information generation process. First, the automated driving program evaluation system 20 selects items of evaluation criteria necessary for generating the scenario information 150 (s101). Specifically, for example, the automatic driving program evaluation system 20 accepts an input of the item 215 of the regulation information 211 in the evaluation reference information 210 from the user.

そして、自動運転プログラム評価システム２０は、ｓ１０１で選択した項目２１５に対応するパラメータ情報２１３のパラメータ群２２３を読み込む（ｓ１０３）。そして、自動運転プログラム評価システム２０は、読み込んだパラメータ情報２１３を、情報処理言語の処理部に変換する（ｓ１０５）。 Then, the automatic driving program evaluation system 20 reads the parameter group 223 of the parameter information 213 corresponding to the item 215 selected in s101 (s103). Then, the automated driving program evaluation system 20 converts the read parameter information 213 into a processing unit of an information processing language (s105).

ここで、図８は、パラメータ情報２１３を情報処理言語（ＸＭＬ）の処理部に変換した例を示す図である。この例では、カーブに進入する際の評価基準を満たしている初速１５１を設定した自動車の走行シナリオの処理部１５３と、評価基準を満たすようなカーブ半径１５５を有するカーブを自動車が走行する走行シナリオの処理部１５７とがＸＭＬによって生成されている。 Here, FIG. 8 is a diagram showing an example in which the parameter information 213 is converted into a processing unit of an information processing language (XML). In this example, the processing unit 153 of the traveling scenario of the vehicle in which the initial speed 151 that satisfies the evaluation criteria when entering the curve is set, and the traveling scenario in which the vehicle travels in the curve having the curve radius 155 that satisfies the evaluation criteria. Processing unit 157 and the processing unit 157 are generated by XML.

図７に戻り、自動運転プログラム評価システム２０は、シナリオ情報１５０の生成に必
要な評価基準の項目２１５が他にあるか否かを判定する（ｓ１０７）。具体的には、例えば、自動運転プログラム評価システム２０は、ユーザから、評価基準の他の項目２１５の入力を受け付ける。 Returning to FIG. 7, the automatic driving program evaluation system 20 determines whether or not there is another evaluation criterion item 215 required to generate the scenario information 150 (s107). Specifically, for example, the automatic driving program evaluation system 20 receives an input of another item 215 of the evaluation standard from the user.

シナリオ情報１５０の生成に必要な評価基準の項目２１５が他にある場合は（ｓ１０７：ＹＥＳ）、自動運転プログラム評価システム２０は、ｓ１０１以降の処理を繰り返し、シナリオ情報１５０の生成に必要な評価基準の項目２１５が他にない場合は（ｓ１０７：ＮＯ）、自動運転プログラム評価システム２０は、これまでに生成した各処理部を結合することにより、シナリオ情報１５０の生成を完了する（ｓ１０９）。 If there is another evaluation criterion item 215 required for generating the scenario information 150 (s107: YES), the automatic driving program evaluation system 20 repeats the processing from s101 onward and repeats the evaluation criterion necessary for generating the scenario information 150. If there is no other item 215 (No in s107), the automatic driving program evaluation system 20 completes the generation of the scenario information 150 by combining the processing units generated so far (s109).

次に、評価結果情報生成処理の詳細を説明する。
＜評価結果情報生成処理＞
評価結果情報生成処理は、前記のように、評価結果情報２３０として、評価結果詳細情報２５０及び評価結果概要情報２７０を表示する。 Next, details of the evaluation result information generation process will be described.
<Evaluation result information generation process>
The evaluation result information generation process displays the evaluation result detailed information 250 and the evaluation result summary information 270 as the evaluation result information 230 as described above.

図９は、評価結果詳細情報２５０の一例を示す図である。この評価結果詳細情報２５０は、実行ログＡに対応して生成された情報であり、実行ログＡと同様の経過時間２５１及び停止位置２５３と、停止位置２５３が示す位置に自動車が停止していることが判断基準を満たしているか否かを示す情報が設定される判定結果２５５とをそれぞれ項目として備えている。 FIG. 9 is a diagram showing an example of the evaluation result detailed information 250. The detailed evaluation result information 250 is information generated corresponding to the execution log A, and the automobile has stopped at the same elapsed time 251 and stop position 253 as the execution log A, and at the position indicated by the stop position 253. The determination result 255 in which information indicating whether or not the determination criterion is satisfied is set as an item.

図１０は、評価結果詳細情報２５０の他の一例を示す図である。この評価結果詳細情報２５０は、実行ログＢに対応して生成された情報であり、実行ログＢと同様の経過時間２５１及び加速度２５７と、加速度２５７でカーブを走行することが第１の危険度を超えているか否か（小さな危険が生じているか否か）についての判定結果が設定される第１判定結果２５８と、加速度２５７でカーブを走行することが第２の危険度を超えているか否か（大きな危険が生じているか否か）についての判定結果が設定される第２判定結果２５９とをそれぞれ項目として備えている。 FIG. 10 is a diagram showing another example of the evaluation result detailed information 250. The detailed evaluation result information 250 is information generated corresponding to the execution log B, and it is the first degree of danger that traveling on a curve at the same elapsed time 251 and acceleration 257 as the execution log B and acceleration 257 is the first risk level. The first determination result 258 in which a determination result is set as to whether or not (there is a small risk occurring) and whether traveling on the curve at the acceleration 257 exceeds the second risk. The second determination result 259 in which the determination result as to whether or not there is a great risk has been set is provided as an item.

続いて、図１１は、評価結果情報生成処理により生成される評価結果概要情報２７０のデータ項目の一例を示す図である。この評価結果概要情報２７０は、シナリオ情報１５０に係るシナリオ２７１ごとに生成され、そのシナリオ２７１の運転における右左折、進行方向、車線、他物体との衝突、ランプ又はライトの使用、停止時間、速度制限の超過といった項目についての評価（数値で表される）の情報２７２を含んでいる。 Subsequently, FIG. 11 is a diagram showing an example of data items of the evaluation result summary information 270 generated by the evaluation result information generation processing. The evaluation result summary information 270 is generated for each scenario 271 related to the scenario information 150, and turns right or left in the driving of the scenario 271, a traveling direction, a lane, a collision with another object, the use of a lamp or a light, a stop time, and a speed. It includes information 272 of an evaluation (represented by a numerical value) about an item such as exceeding the limit.

次に、評価結果画面表示処理の詳細を説明する。
＜評価結果画面表示処理＞
評価結果画面表示処理は、複数回実行された自動運転実行処理の結果に基づき、生成された各評価結果情報２３０の内容を比較して表示する。例えば、評価結果画面表示処理は、各シナリオ情報１５０に係るシナリオの評価結果情報２３０の表示、同一の自動運転プログラム１７０に基づく各評価結果情報２３０の比較（同一のプログラムのバージョン毎の比較）の表示、異なる種類の自動運転プログラム１７０に基づく各評価結果情報２３０の比較（プログラムの開発メーカーによる比較）の表示を行った画面を表示する。以下、これらの画面について説明する。 Next, details of the evaluation result screen display process will be described.
<Evaluation result screen display processing>
The evaluation result screen display process compares and displays the contents of each of the generated evaluation result information 230 based on the result of the automatic driving execution process executed a plurality of times. For example, the evaluation result screen display process includes displaying the evaluation result information 230 of the scenario related to each scenario information 150 and comparing each evaluation result information 230 based on the same autonomous driving program 170 (comparison for each version of the same program). A screen is displayed on which the comparison and comparison of the evaluation result information 230 based on the different types of automatic driving programs 170 (comparison by the program development maker) is displayed. These screens will be described below.

（シナリオ間の比較画面）
図１２、１３は、シナリオ情報１５０に係るシナリオの評価結果情報２３０の比較を行った画面１０００の一例を説明する図である。この画面１０００は、自動運転プログラム１７０の実行に際して使用されたシナリオ情報１５０を表示するシナリオ表示欄１００１、シナリオ表示欄１００１に係るシナリオにおいて自動車が違反をした（基準を満たさな
かった）評価基準の項目とその内容を表示する違反項目表示欄１００３、違反項目表示欄１００３に係る項目における減点数の合計を表示する減点表示欄１００５、違反項目表示欄１００３に係る違反があった回数を表示する回数表示欄１００７、及び、違反項目表示欄１００３に係る違反があった場所を表示する発生箇所表示欄１００９の各表示欄を有する。また、この画面１０００は、全項目の減点数の合計（評価点数）を表示する評価点数表示欄１０１１を備える。 (Comparison screen between scenarios)
12 and 13 are diagrams illustrating an example of a screen 1000 on which the scenario evaluation result information 230 related to the scenario information 150 is compared. This screen 1000 is an item of an evaluation standard in which a vehicle violates in the scenario related to the scenario display field 1001 and the scenario related to the scenario display field 1001 for displaying the scenario information 150 used in executing the autonomous driving program 170 (which does not satisfy the standard). And violating item display column 1003 displaying the contents thereof, demerit display column 1005 displaying the total deduction points in the items relating to the violating item display column 1003, and frequency display indicating the number of violations relating to the violating item display column 1003 It has a column 1007 and each display column of an occurrence point display column 1009 that displays the location of the violation related to the violation item display column 1003. The screen 1000 also includes an evaluation score display field 1011 that displays the total deduction score (evaluation score) of all items.

具体的には、図１２は、「交差道路における車両等の通行の妨害となる場所で停車しないこと」という、減点数２０点の評価基準に対して、１１回の違反があったことを示している。 Specifically, FIG. 12 shows that there were 11 violations against the evaluation standard of 20 points of deduction, “Do not stop at a place where the passage of vehicles or the like on the crossroads will obstruct traffic”. ing.

また、図１３は、「0.3G以上0.4G未満の横加速度が生じないこと」という、減点数２０点の評価基準に対して７回の違反があり、「0.4G以上の横加速度が生じないこと」という、減点数２０点の評価基準に対しては違反がなかったことを示している。 In addition, FIG. 13 shows that there are seven violations of the evaluation criterion of 20 points of deduction that "a lateral acceleration of 0.3 G or more and less than 0.4 G does not occur", and "a lateral acceleration of 0.4 G or more does not occur." It means that there was no violation of the evaluation standard of 20 points.

（バージョンアップによる性能の確認画面）
図１４は、同一の自動運転プログラム１７０に基づく各評価結果情報２３０の比較を行った画面の一例を説明する図である。この画面１２００は、自動運転プログラム１７０のバージョンを表示するバージョン表示欄１２０１と、バージョン表示欄１２０１に係るバージョンで自動運転実行処理を行った場合の、全評価基準における減点数の平均値を表示する全項目平均点数表示欄１２０３とを備える。すなわち、この画面１２００は、所定の自動運転プログラム１７０に対して所定の修正を施した、すなわちバージョンアップした新たな自動運転プログラム１７０の性能の向上を確認するための画面である。 (Performance confirmation screen by version upgrade)
FIG. 14 is a diagram illustrating an example of a screen on which the evaluation result information 230 is compared based on the same automatic driving program 170. This screen 1200 displays a version display field 1201 that displays the version of the automatic driving program 170, and an average value of the deduction points in all evaluation criteria when the automatic driving execution process is performed with the version according to the version display field 1201. An all-item average score display field 1203 is provided. That is, this screen 1200 is a screen for confirming the improvement in the performance of a new automatic driving program 170 in which a predetermined correction is made to the predetermined automatic driving program 170, that is, the version is upgraded.

（プログラムの開発メーカーによる比較画面）
図１５は、異なる種類の自動運転プログラム１７０に基づく各評価結果情報２３０の比較を行った画面の一例である。この画面１３００は、自動運転プログラム１７０の種類を表示するプログラム種類表示欄１３０１と、プログラム種類表示欄１３０１に係る自動運転プログラム１７０で自動運転実行処理を行った場合の、全評価基準における減点数の平均値を表示する全項目平均点数表示欄１３０３とを備える。すなわち、この画面１３００は、メーカー毎に異なる各自動運転プログラム１７０の性能を比較するための画面である。 (Comparison screen by the program developer)
FIG. 15 is an example of a screen on which the evaluation result information 230 based on different types of automatic driving programs 170 is compared. This screen 1300 shows a program type display field 1301 for displaying the type of the automatic operation program 170, and the number of deduction points in all evaluation criteria when the automatic operation execution process is performed by the automatic operation program 170 related to the program type display field 1301. An all-item average score display field 1303 for displaying an average value is provided. That is, this screen 1300 is a screen for comparing the performances of the automatic driving programs 170 that differ depending on the manufacturer.

以上のように、本実施形態の自動運転プログラム評価システム２０は、所定の条件における所定の自動車の運転の内容を決定する自動運転プログラム１７０の実行結果として出力された、当該自動車の運転の履歴を含む情報である実行ログ３００を、自動運転プログラム実行システム１０から受信し、受信した実行ログ３００及び、所定の条件における所定の自動車の運転の内容を所定の数値で評価するための評価基準の情報である評価基準情報２１０に基づき、所定の条件における所定の自動車の運転の評価を所定の数値で示す評価結果情報２３０を生成するので、自動運転プログラム１７０の性能を、数値による評価基準である評価基準情報２１０により判定することができる。
このように、本実施形態の自動運転プログラム評価システム２０によれば、仮想的に実行された自動運転を客観的かつ定量的に評価することができる。 As described above, the automatic driving program evaluation system 20 according to the present embodiment stores the driving history of the vehicle, which is output as the execution result of the automatic driving program 170 that determines the content of driving the predetermined vehicle under the predetermined condition. The execution log 300, which is the information including the information, is received from the automatic driving program execution system 10, and the received execution log 300 and the information of the evaluation standard for evaluating the content of the operation of the predetermined vehicle under the predetermined conditions with a predetermined numerical value. Based on the evaluation reference information 210, which is the evaluation reference information 210, the evaluation result information 230 that indicates the evaluation of driving a predetermined vehicle under a predetermined condition is generated with a predetermined numerical value. Therefore, the performance of the automatic driving program 170 is a numerical evaluation standard. It can be determined by the reference information 210.
As described above, according to the automated driving program evaluation system 20 of the present embodiment, it is possible to objectively and quantitatively evaluate the virtually executed automated driving.

［第２実施形態］
第１実施形態では、プログラム開発支援処理において、自動運転プログラム実行システム１０が、シナリオ情報１５０に規定する自動運転プログラム１７０による自動車の運転処理を、当該シナリオ情報１５０に係るシナリオが終了するまで実行し、その実行後に実行ログ３００を自動運転プログラム評価システム２０に送信していた。 [Second Embodiment]
In the first embodiment, in the program development support process, the automatic driving program execution system 10 executes the driving process of the vehicle by the automatic driving program 170 defined in the scenario information 150 until the scenario according to the scenario information 150 ends. After the execution, the execution log 300 was transmitted to the automatic driving program evaluation system 20.

これに対して、第２実施形態では、自動運転プログラム実行システム１０が、シナリオ情報１５０に規定する自動車の運転処理を行っている最中に、随時、実行ログ３００を自動運転プログラム評価システム２０に送信する。以下、本実施形態におけるプログラム開発支援処理について説明する。 On the other hand, in the second embodiment, the automatic driving program execution system 10 sets the execution log 300 to the automatic driving program evaluation system 20 at any time while the vehicle driving process defined in the scenario information 150 is being performed. Send. Hereinafter, the program development support process in this embodiment will be described.

＜プログラム開発支援処理＞
図１６は、第２実施形態に係るプログラム開発支援処理の一例を示すフロー図である。まず、自動運転プログラム評価システム２０が行うシナリオ情報生成処理（ｓ５１）、自動運転プログラム実行システム１０が行うシナリオ情報１５０の記憶、自動運転プログラム１７０の選択、及び地図情報１１０等の読み込み（ｓ１１−ｓ１５）は第１実施形態と同様である。 <Program development support processing>
FIG. 16 is a flowchart showing an example of the program development support process according to the second embodiment. First, the scenario information generation process (s51) performed by the automatic driving program evaluation system 20, the storage of the scenario information 150 performed by the automatic driving program execution system 10, the selection of the automatic driving program 170, and the reading of the map information 110 (s11-s15). ) Is the same as in the first embodiment.

その後、自動運転プログラム実行システム１は、地図情報１１０及び外界認識情報１３０に基づき、自動運転プログラム１７０による自動車の運転を、所定の条件が満たされるまで実行する（ｓ２１）。具体的には、例えば、自動運転プログラム実行システム１０は、予め設定された時間の長さだけ自動運転プログラム１７０を実行する。また、例えば、自動運転プログラム実行システム１０は、自動車が予め設定された所定の箇所に到着するまで自動運転プログラム１７０を実行する。そして、自動運転プログラム実行システム１０は、この際、第１実施形態と同様に、実行ログ３００を蓄積する。また、この際、自動運転プログラム実行システム１０は、運転シミュレーション画像１９０（例えば、自動車の走行の様子、及び地図情報１１０）を動画により表示している。 Then, the automatic driving program execution system 1 executes the driving of the vehicle by the automatic driving program 170 based on the map information 110 and the external environment recognition information 130 until a predetermined condition is satisfied (s21). Specifically, for example, the automatic driving program execution system 10 executes the automatic driving program 170 for a preset length of time. Further, for example, the automatic driving program execution system 10 executes the automatic driving program 170 until the vehicle arrives at a predetermined location set in advance. Then, the automatic driving program execution system 10 accumulates the execution log 300 at this time, as in the first embodiment. Further, at this time, the automatic driving program execution system 10 displays the driving simulation image 190 (for example, the traveling state of the automobile and the map information 110) as a moving image.

そして、自動運転プログラム実行システム１０は、ｓ２１で蓄積した実行ログ３００を自動運転プログラム評価システム２０に送信する（ｓ２３）。 Then, the automatic driving program execution system 10 transmits the execution log 300 accumulated in s21 to the automatic driving program evaluation system 20 (s23).

自動運転プログラム評価システム２０は、実行ログ３００を受信すると、第１実施例と同様に、受信した実行ログ３００の時間長さに対応した評価結果情報２３０を生成する評価結果情報生成処理を実行する（ｓ６１）。 Upon receipt of the execution log 300, the automated driving program evaluation system 20 executes the evaluation result information generation process for generating the evaluation result information 230 corresponding to the time length of the received execution log 300, as in the first embodiment. (S61).

自動運転プログラム評価システム２０は、生成した評価結果情報２３０に基づき付帯画像１９５を生成し、生成した付帯画像を送信する（ｓ５５）。 The automatic driving program evaluation system 20 generates an auxiliary image 195 based on the generated evaluation result information 230 and transmits the generated auxiliary image (s55).

自動運転プログラム実行システム１０は、受信した付帯画像１９５を、現在表示している運転シミュレーション画像１９０の上に重ねて表示する（ｓ２５）。 The automatic driving program execution system 10 superimposes and displays the received supplementary image 195 on the driving simulation image 190 currently displayed (s25).

自動運転プログラム実行システム１０は、自動運転プログラム１７０による自動車の運転が終了したか否か（シナリオ情報１５０に係るシナリオが終了したか否か）を判定する（ｓ２７）。運転が終了した場合には（ｓ２７：ＹＥＳ）、プログラム開発支援処理は終了し（ｓ２９）、運転が終了していない場合には（ｓ２７：ＮＯ）、自動運転プログラム実行システム１０は、ｓ２１以降の処理を再び実行する。 The automatic driving program execution system 10 determines whether the driving of the vehicle by the automatic driving program 170 has ended (whether the scenario related to the scenario information 150 has ended) (s27). When the driving is finished (s27: YES), the program development support process is finished (s29), and when the driving is not finished (s27: NO), the automatic driving program execution system 10 starts s21 and thereafter. Perform the process again.

ここで、付帯画像１９５の具体例を説明する。
＜付帯画像＞
図１７は、付帯画像１９５の表示の一例を示す図である。自動運転プログラム実行システム１０がリアルタイム表示している運転シミュレーション画像１９０の上に、付帯画像１９５が表示されている。付帯画像１９５は、いわゆるポップアップ形式の画像であり、違反した評価基準の項目２１５（減点細目）の表示である減点細目表示部１９５１、項目２１５に対応する減点数２１９の表示である減点数表示部１９５２、及び、項目２１５に違反した箇所の表示である違反箇所表示部１９５３を有する。 Here, a specific example of the incidental image 195 will be described.
<Attached image>
FIG. 17 is a diagram showing an example of display of the supplementary image 195. An accompanying image 195 is displayed on the driving simulation image 190 which is displayed in real time by the automatic driving program execution system 10. The incidental image 195 is a so-called pop-up image, and is a deduction point display section 1951 that is a display of the violated evaluation criterion item 215 (deduction points), and a deduction point display section that is a display of the deduction points 219 corresponding to the item 215. 1952 and a violated portion display portion 1953 which is a display of a portion violating the item 215.

以上に説明したように、本実施形態の自動運転プログラム実行システム１０は、自動運転プログラム１７０の実行プロセスを、所定の条件における所定の自動車の運転の状況を示した運転シミュレーション画像１９０により表示し、自動運転プログラム評価システム２０は、自動運転プログラム実行システム１０が画像に付帯して表示される、評価結果情報２３０の内容を示す付帯画像１９５を、自動運転プログラム実行システム１０に送信するので、ユーザは、運転シミュレーション画像１９０を表示する自動運転プログラム１７０の実行中に（例えば、リアルタイムに）、自動運転プログラム１７０の評価結果の情報を容易に確認することができる。これにより、ユーザは、自動運転プログラム１７０の評価結果を適切なタイミングで知ることができる。 As described above, the automatic driving program execution system 10 of the present embodiment displays the execution process of the automatic driving program 170 by the driving simulation image 190 showing the driving situation of the predetermined automobile under the predetermined conditions, Since the automatic driving program evaluation system 20 transmits the supplementary image 195 showing the content of the evaluation result information 230, which is displayed by the automatic driving program execution system 10 in association with the image, to the automatic driving program execution system 10, the user While the automatic driving program 170 displaying the driving simulation image 190 is being executed (for example, in real time), the information on the evaluation result of the automatic driving program 170 can be easily confirmed. Thereby, the user can know the evaluation result of the automatic driving program 170 at an appropriate timing.

以上の各実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。 The above description of each embodiment is for facilitating the understanding of the present invention and does not limit the present invention. The present invention can be modified and improved without departing from the spirit thereof and the present invention includes equivalents thereof.

例えば、各実施形態では、自動運転プログラム評価システム２０は予めシナリオ情報１５０を生成してこれを自動運転プログラム実行システム１０に送信するものとしたが、自動運転プログラム実行システム１０が予めシナリオ情報１５０を生成してこれを自動運転プログラム評価システム２０に送信するようにしてもよい。 For example, in each of the embodiments, the automatic driving program evaluation system 20 is supposed to generate the scenario information 150 in advance and send it to the automatic driving program execution system 10. However, the automatic driving program execution system 10 previously outputs the scenario information 150. It may be generated and transmitted to the automatic driving program evaluation system 20.

また、自動運転プログラム実行システム１０の機能の一部を自動運転プログラム評価システム２０に設けてもよいし、逆に、自動運転プログラム評価システム２０の機能の一部を自動運転プログラム実行システム１０に設けてもよい Further, some of the functions of the automatic driving program execution system 10 may be provided in the automatic driving program evaluation system 20, or conversely, some of the functions of the automatic driving program evaluation system 20 may be provided in the automatic driving program execution system 10. May

また、第１実施形態のプログラム開発支援処理と第２実施形態のプログラム開発支援処理を組み合わせてもよく、また、各実施形態のプログラム開発支援処理のうち一部の処理を省略してもよい。 Further, the program development support process of the first embodiment and the program development support process of the second embodiment may be combined, and a part of the program development support process of each embodiment may be omitted.

以上の本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、各実施形態の自動運転プログラム評価システムにおいては、前記生成した評価結果情報を表示する評価結果情報表示部を備える、としてもよい。 The above description of the present specification clarifies at least the following. That is, the automatic driving program evaluation system of each embodiment may include an evaluation result information display unit that displays the generated evaluation result information.

このように、生成した評価結果情報２３０を表示することで、ユーザは、自動運転プログラム１７０を客観的に容易に評価することができる。 In this way, by displaying the generated evaluation result information 230, the user can objectively and easily evaluate the automatic driving program 170.

また、各実施形態の自動運転プログラム評価システムにおいては、前記実行ログ受信部は、前記所定のプログラムの実行結果として出力された、前記所定の条件における第１の実行ログと、当該所定の条件における前記所定のプログラムに対して所定の修正が施されたプログラムの実行結果として出力された第２の実行ログとを受信し、前記評価結果情報生成部は、前記第１の実行ログに基づく第１の評価結果情報及び前記第２の実行ログに基づく第２の評価結果情報を生成し、前記評価結果情報表示部は、前記第１の評価結果情報及び前記第２の評価結果情報を、前記評価基準の所定の数値により比較して表示する、としてもよい。 In the automated driving program evaluation system of each embodiment, the execution log receiving unit outputs the first execution log in the predetermined condition output as the execution result of the predetermined program and the predetermined execution condition in the predetermined condition. The second execution log output as the execution result of the program in which the predetermined program is subjected to the predetermined modification is received, and the evaluation result information generation unit is configured to perform the first execution based on the first execution log. Second evaluation result information based on the evaluation result information and the second execution log, and the evaluation result information display unit displays the first evaluation result information and the second evaluation result information in the evaluation. It is also possible to compare and display by a predetermined predetermined numerical value.

このように、所定のプログラムの実行結果である第１の実行ログ３００及び、所定の修正が施されたプログラムの実行結果である第２の実行ログ３００のそれぞれに対する、各評価結果情報２３０を所定の数値により比較して表示することで、ユーザは、所定の自動運転プログラム１７０をバージョンアップした場合に、そのプログラムの性能が向上したか否か等を、容易に確認することができる。 In this way, the evaluation result information 230 for each of the first execution log 300, which is the execution result of the predetermined program, and the second execution log 300, which is the execution result of the program that has been subjected to the predetermined correction, is predetermined. By comparing and displaying by the numerical value of, the user can easily confirm whether or not the performance of the predetermined automatic driving program 170 is improved when the version of the predetermined automatic driving program 170 is upgraded.

また、各実施形態の自動運転プログラム評価システムにおいては、前記実行ログ受信部
は、第１の前記所定のプログラムの実行結果として出力された、前記所定の条件における第１の実行ログと、当該所定の条件における前記第１のプログラムと異なる第２の前記所定のプログラムの実行結果として出力された第２の実行ログとを受信し、前記評価結果情報生成部は、前記第１の実行ログに基づく第１の評価結果情報及び前記第２の実行ログに基づく第２の評価結果情報を生成し、前記評価結果情報表示部は、前記第１の評価結果情報及び前記第２の評価結果情報を、前記評価基準の所定の数値により比較して表示する、としてもよい。 In the automated driving program evaluation system of each embodiment, the execution log receiving unit outputs the first execution log under the predetermined condition output as the execution result of the first predetermined program, and the predetermined execution log. The second execution log output as the execution result of the second predetermined program different from the first program under the condition of 1) is received, and the evaluation result information generation unit is based on the first execution log. The second evaluation result information based on the first evaluation result information and the second execution log is generated, and the evaluation result information display unit displays the first evaluation result information and the second evaluation result information, It is also possible to compare and display by a predetermined numerical value of the evaluation standard.

このように、同一の条件下における、異なる自動運転プログラム１７０の実行結果である各実行ログ３００に対して、各評価結果情報２３０を所定の数値により比較して表示することで、ユーザは、異なる種類の自動運転プログラム１７０（例えば、異なる開発元の自動運転プログラム１７０）を比較してその性能の優劣を容易に確認することができる。 In this way, the user is different by comparing and displaying the evaluation result information 230 with a predetermined numerical value for each execution log 300 which is the execution result of the different automatic driving program 170 under the same condition. It is possible to easily confirm the superiority or inferiority of the performance by comparing different types of automatic driving programs 170 (for example, automatic driving programs 170 of different developers).

また、各実施形態の自動運転プログラム評価システムにおいては、前記評価基準情報から抽出された、前記自動車の運転の内容を規定した部分に基づき、前記自動車の運転の条件を示す情報であるシナリオ情報を生成するシナリオ情報生成部を備え、前記実行ログ受信部は、前記生成したシナリオ情報に基づき実行された前記所定のプログラムの実行結果として出力された前記実行ログを、前記所定の情報処理システムから受信し、前記評価結果情報生成部は、前記生成したシナリオ情報、前記受信した実行ログ、及び前記評価基準情報に基づき、前記評価結果情報を生成する、としてもよい。 Further, in the automatic driving program evaluation system of each embodiment, based on the part that defines the driving content of the vehicle extracted from the evaluation reference information, the scenario information that is information indicating the driving condition of the vehicle is displayed. A scenario information generation unit that generates the execution log is received, and the execution log reception unit receives the execution log output as an execution result of the predetermined program executed based on the generated scenario information from the predetermined information processing system. However, the evaluation result information generation unit may generate the evaluation result information based on the generated scenario information, the received execution log, and the evaluation reference information.

このように、評価基準情報２１０からシナリオ情報１５０を作成し、このシナリオ情報１５０に基づき実行された自動運転プログラム１７０の実行結果である実行ログ３００に基づき評価結果情報２３０を生成することで、評価基準情報２１０に即した運転シナリオを生成することができる。これにより、仮想的に実行された自動運転を客観的な基準に基づき適切に評価することができる。 In this way, the scenario information 150 is created from the evaluation reference information 210, and the evaluation result information 230 is generated based on the execution log 300 that is the execution result of the automatic driving program 170 executed based on the scenario information 150. It is possible to generate a driving scenario according to the reference information 210. As a result, it is possible to appropriately evaluate the virtually executed autonomous driving based on the objective criteria.

１ 自動運転プログラム開発システム、１０ 自動運転プログラム実行システム、２０ 自動運転プログラム評価システム、１７０ 自動運転プログラム、３００ 実行ログ、２１０ 評価基準情報、２０５ 実行ログ受信部、２０７ 評価結果情報生成部、２３０ 評価結果情報 1 automatic driving program development system, 10 automatic driving program execution system, 20 automatic driving program evaluation system, 170 automatic driving program, 300 execution log, 210 evaluation reference information, 205 execution log receiving section, 207 evaluation result information generating section, 230 evaluation Result information

Claims (7)

プロセッサ及びメモリを備え、
所定の条件における所定の自動車の運転の内容を所定の数値で評価するための評価基準の情報である評価基準情報を記憶する評価基準情報記憶部と、
前記所定の条件における前記所定の自動車の運転の内容を決定する所定のプログラムの実行結果として出力された、当該自動車の運転の履歴を含む情報である実行ログを、所定の情報処理システムから受信する実行ログ受信部と、
受信した実行ログ及び前記評価基準情報に基づき、前記所定の条件における前記所定の自動車の運転の評価を所定の数値で示す評価結果情報を生成する評価結果情報生成部と、
を備える、自動運転プログラム評価システム。 With processor and memory,
An evaluation standard information storage unit that stores evaluation standard information that is information of an evaluation standard for evaluating the content of driving a predetermined automobile under a predetermined condition with a predetermined numerical value,
The execution log, which is the information including the driving history of the vehicle output as the execution result of the predetermined program that determines the content of driving the predetermined vehicle under the predetermined condition, is received from the predetermined information processing system. An execution log receiver,
Based on the received execution log and the evaluation reference information, an evaluation result information generation unit that generates evaluation result information indicating the evaluation of driving of the predetermined automobile under the predetermined condition with a predetermined numerical value,
An automated driving program evaluation system equipped with. 前記生成した評価結果情報を表示する評価結果情報表示部を備える、請求項１に記載の自動運転プログラム評価システム。 The automatic driving program evaluation system according to claim 1, further comprising an evaluation result information display unit that displays the generated evaluation result information. 前記実行ログ受信部は、前記所定のプログラムの実行結果として出力された、前記所定の条件における第１の実行ログと、当該所定の条件における前記所定のプログラムに対して所定の修正が施されたプログラムの実行結果として出力された第２の実行ログとを受信し、
前記評価結果情報生成部は、前記第１の実行ログに基づく第１の評価結果情報及び前記第２の実行ログに基づく第２の評価結果情報を生成し、
前記評価結果情報表示部は、前記第１の評価結果情報及び前記第２の評価結果情報を、前記評価基準の所定の数値により比較して表示する、
請求項２に記載の自動運転プログラム評価システム。 The execution log receiving unit is configured to perform a predetermined correction on the first execution log under the predetermined condition output as the execution result of the predetermined program and the predetermined program under the predetermined condition. Receive the second execution log output as the execution result of the program,
The evaluation result information generation unit generates first evaluation result information based on the first execution log and second evaluation result information based on the second execution log,
The evaluation result information display unit compares and displays the first evaluation result information and the second evaluation result information with a predetermined numerical value of the evaluation standard,
The automatic driving program evaluation system according to claim 2. 前記実行ログ受信部は、第１の前記所定のプログラムの実行結果として出力された、前記所定の条件における第１の実行ログと、当該所定の条件における前記第１のプログラムと異なる第２の前記所定のプログラムの実行結果として出力された第２の実行ログとを受信し、
前記評価結果情報生成部は、前記第１の実行ログに基づく第１の評価結果情報及び前記第２の実行ログに基づく第２の評価結果情報を生成し、
前記評価結果情報表示部は、前記第１の評価結果情報及び前記第２の評価結果情報を、前記評価基準の所定の数値により比較して表示する、
請求項２に記載の自動運転プログラム評価システム。 The execution log receiving unit outputs a first execution log under the predetermined condition output as an execution result of the first predetermined program, and a second execution log different from the first program under the predetermined condition. The second execution log output as the execution result of the predetermined program is received,
The evaluation result information generation unit generates first evaluation result information based on the first execution log and second evaluation result information based on the second execution log,
The evaluation result information display unit compares and displays the first evaluation result information and the second evaluation result information with a predetermined numerical value of the evaluation standard,
The automatic driving program evaluation system according to claim 2. 前記情報処理システムは、前記所定のプログラムの実行プロセスを、前記所定の条件における前記所定の自動車の運転の状況を示した画像により表示する運転状況表示部を備え、
前記自動運転プログラム評価システムは、前記情報処理システムが表示した前記画像に付帯して表示される、前記評価結果情報の内容を示す画像情報を、前記情報処理システムに送信する付帯画像情報送信部を備える、
請求項１に記載の自動運転プログラム評価システム。 The information processing system includes a driving status display unit that displays an execution process of the predetermined program by an image showing a driving status of the predetermined vehicle under the predetermined condition,
The automatic driving program evaluation system includes an incidental image information transmission unit that transmits image information indicating the content of the evaluation result information, which is incidentally displayed to the image displayed by the information processing system, to the information processing system. Prepare,
The automatic driving program evaluation system according to claim 1. 前記評価基準情報から抽出された、前記自動車の運転の内容を規定した部分に基づき、前記自動車の運転の条件を示す情報であるシナリオ情報を生成するシナリオ情報生成部を備え、
前記実行ログ受信部は、前記生成したシナリオ情報に基づき実行された前記所定のプログラムの実行結果として出力された前記実行ログを、前記所定の情報処理システムから受信し、
前記評価結果情報生成部は、前記生成したシナリオ情報、前記受信した実行ログ、及び
前記評価基準情報に基づき、前記評価結果情報を生成する、
請求項１に記載の自動運転プログラム評価システム。 A scenario information generation unit that generates scenario information, which is information indicating a driving condition of the vehicle, based on a portion defining the driving content of the vehicle extracted from the evaluation criterion information,
The execution log receiving unit receives the execution log output as the execution result of the predetermined program executed based on the generated scenario information from the predetermined information processing system,
The evaluation result information generation unit generates the evaluation result information based on the generated scenario information, the received execution log, and the evaluation reference information,
The automatic driving program evaluation system according to claim 1. プロセッサ及びメモリを備える自動運転プログラム評価システムが、
所定の条件における所定の自動車の運転の内容を所定の数値で評価するための評価基準の情報である評価基準情報を記憶する評価基準情報記憶処理と、
前記所定の条件における前記所定の自動車の運転の内容を決定する所定のプログラムの実行結果として出力された、当該自動車の運転の履歴を含む情報である実行ログを、所定の情報処理システムから受信する実行ログ受信処理と、
受信した実行ログ及び前記評価基準情報に基づき、前記所定の条件における前記所定の自動車の運転の評価を所定の数値で示す評価結果情報を生成する評価結果情報生成処理と、
を実行する、自動運転プログラム評価方法。 An automatic driving program evaluation system equipped with a processor and memory
An evaluation reference information storage process of storing evaluation reference information, which is information of an evaluation reference for evaluating the content of driving a predetermined vehicle under a predetermined condition with a predetermined numerical value,
An execution log, which is information including a driving history of the vehicle output as an execution result of a predetermined program that determines the content of driving the predetermined vehicle under the predetermined condition, is received from a predetermined information processing system. Execution log reception process,
Based on the received execution log and the evaluation reference information, an evaluation result information generation process for generating evaluation result information indicating the evaluation of the driving of the predetermined automobile under the predetermined condition with a predetermined numerical value,
An automatic driving program evaluation method for executing.
JP2019016071A 2019-01-31 2019-01-31 AUTOMATED DRIVING PROGRAM EVALUATION SYSTEM AND AUTOMATED DRIVING PROGRAM EVALUATION METHOD Active JP7213704B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019016071A JP7213704B2 (en) 2019-01-31 2019-01-31 AUTOMATED DRIVING PROGRAM EVALUATION SYSTEM AND AUTOMATED DRIVING PROGRAM EVALUATION METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019016071A JP7213704B2 (en) 2019-01-31 2019-01-31 AUTOMATED DRIVING PROGRAM EVALUATION SYSTEM AND AUTOMATED DRIVING PROGRAM EVALUATION METHOD

Publications (2)

Publication Number Publication Date
JP2020123259A true JP2020123259A (en) 2020-08-13
JP7213704B2 JP7213704B2 (en) 2023-01-27

Family

ID=71992791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019016071A Active JP7213704B2 (en) 2019-01-31 2019-01-31 AUTOMATED DRIVING PROGRAM EVALUATION SYSTEM AND AUTOMATED DRIVING PROGRAM EVALUATION METHOD

Country Status (1)

Country Link
JP (1) JP7213704B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220025626A (en) * 2020-08-24 2022-03-03 모셔널 에이디 엘엘씨 Driving scenario sampling for training/tuning machine learning models for vehicles
WO2022239250A1 (en) * 2021-05-14 2022-11-17 三菱電機株式会社 Behavior determination device, behavior determination method, behavior determination program, design assistance device, design assistance method, and design assistance program
WO2022246860A1 (en) * 2021-05-28 2022-12-01 深圳市大疆创新科技有限公司 Performance test method for autonomous driving system
KR102579590B1 (en) * 2022-12-28 2023-09-18 도로교통공단 Autonomous Vehicle ability evaluation scenario generation system based on the Road Traffic Act
WO2024080168A1 (en) * 2022-10-12 2024-04-18 ソフトバンクグループ株式会社 Automated driving test method and program
CN118025201A (en) * 2022-11-03 2024-05-14 北京三快在线科技有限公司 Method and device for processing data of automatic driving system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002203108A (en) * 2000-12-28 2002-07-19 Nipponkoa Insurance Co Ltd System for supporting automobile nonlife insurance sale, method therefor, and recording medium
JP2003173133A (en) * 2001-12-06 2003-06-20 Honda Motor Co Ltd Virtual reality system for automobile driving and database for the same
JP2003288003A (en) * 2002-03-27 2003-10-10 Honda Motor Co Ltd System and method for evaluating result of drive training
JP2012247854A (en) * 2011-05-25 2012-12-13 Shinchosha Driving-evaluation system, driving-evaluating program, and driving-evaluation method
US8606492B1 (en) * 2011-08-31 2013-12-10 Drivecam, Inc. Driver log generation
JP2018113015A (en) * 2016-09-23 2018-07-19 ケーピーアイティ テクノロジーズ リミテッド Autonomous system validation method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002203108A (en) * 2000-12-28 2002-07-19 Nipponkoa Insurance Co Ltd System for supporting automobile nonlife insurance sale, method therefor, and recording medium
JP2003173133A (en) * 2001-12-06 2003-06-20 Honda Motor Co Ltd Virtual reality system for automobile driving and database for the same
JP2003288003A (en) * 2002-03-27 2003-10-10 Honda Motor Co Ltd System and method for evaluating result of drive training
JP2012247854A (en) * 2011-05-25 2012-12-13 Shinchosha Driving-evaluation system, driving-evaluating program, and driving-evaluation method
US8606492B1 (en) * 2011-08-31 2013-12-10 Drivecam, Inc. Driver log generation
JP2018113015A (en) * 2016-09-23 2018-07-19 ケーピーアイティ テクノロジーズ リミテッド Autonomous system validation method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUANG, W., ET AL: "Autonomous vehicles testing methods review", 2016 IEEE 19TH INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC) [ONLINE], JPN6022026893, 1 November 2016 (2016-11-01), pages 163 - 168, XP033028340, ISSN: 0004811875, DOI: 10.1109/ITSC.2016.7795548 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220025626A (en) * 2020-08-24 2022-03-03 모셔널 에이디 엘엘씨 Driving scenario sampling for training/tuning machine learning models for vehicles
KR102523313B1 (en) * 2020-08-24 2023-04-18 모셔널 에이디 엘엘씨 Driving scenario sampling for training/tuning machine learning models for vehicles
KR20230054802A (en) * 2020-08-24 2023-04-25 모셔널 에이디 엘엘씨 Driving scenario sampling for training/tuning machine learning models for vehicles
US11938957B2 (en) 2020-08-24 2024-03-26 Motional Ad Llc Driving scenario sampling for training/tuning machine learning models for vehicles
KR102685448B1 (en) 2020-08-24 2024-07-15 모셔널 에이디 엘엘씨 Driving scenario sampling for training/tuning machine learning models for vehicles
WO2022239250A1 (en) * 2021-05-14 2022-11-17 三菱電機株式会社 Behavior determination device, behavior determination method, behavior determination program, design assistance device, design assistance method, and design assistance program
WO2022246860A1 (en) * 2021-05-28 2022-12-01 深圳市大疆创新科技有限公司 Performance test method for autonomous driving system
WO2024080168A1 (en) * 2022-10-12 2024-04-18 ソフトバンクグループ株式会社 Automated driving test method and program
CN118025201A (en) * 2022-11-03 2024-05-14 北京三快在线科技有限公司 Method and device for processing data of automatic driving system
KR102579590B1 (en) * 2022-12-28 2023-09-18 도로교통공단 Autonomous Vehicle ability evaluation scenario generation system based on the Road Traffic Act

Also Published As

Publication number Publication date
JP7213704B2 (en) 2023-01-27

Similar Documents

Publication Publication Date Title
US20220121550A1 (en) Autonomous Vehicle Testing Systems and Methods
JP7213704B2 (en) AUTOMATED DRIVING PROGRAM EVALUATION SYSTEM AND AUTOMATED DRIVING PROGRAM EVALUATION METHOD
CN109520744B (en) Driving performance testing method and device for automatic driving vehicle
CN114077541A (en) Method and system for validating automatic control software for an autonomous vehicle
Lu et al. A cellular automaton simulation model for pedestrian and vehicle interaction behaviors at unsignalized mid-block crosswalks
CN111680362B (en) Automatic driving simulation scene acquisition method, device, equipment and storage medium
JP2020187754A (en) Navigation system in accordance with held responsibility restriction
US11385991B1 (en) Collision evaluation for log-based simulations
CN112740188A (en) Log-based simulation using biases
GB2536770A (en) Virtual sensor testbed
GB2536549A (en) Virtual autonomous response testbed
JP5455777B2 (en) Traffic simulation device and traffic simulation program
EP2963632A1 (en) Manoeuvre assistance
CN113272744A (en) System for monitoring appropriate behavior of autonomous vehicle and method thereof
CN112101670A (en) Data processing method and device, electronic equipment and readable storage medium
US20230205951A1 (en) Simulation obstacle vehicles with driving styles
KR102057453B1 (en) Acceleration and deceleration device and method of vehicle based on driving habits
WO2023145490A1 (en) Method for designing driving system and driving system
WO2023145491A1 (en) Driving system evaluation method and storage medium
JPWO2020026459A1 (en) Information processing equipment, information processing methods and information processing programs
CN114126943A (en) Method and apparatus for use in autonomous vehicles
US11837090B2 (en) System and methods of adaptive traffic rule-based decision making for autonomous driving
JP7353323B2 (en) Verification device, method and program
US20230339517A1 (en) Autonomous driving evaluation system
EP4068241A1 (en) Driving assistance system and method of controlling autonomous vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230117

R150 Certificate of patent or registration of utility model

Ref document number: 7213704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150