JP2020154665A - Travel environment evaluation system - Google Patents

Travel environment evaluation system Download PDF

Info

Publication number
JP2020154665A
JP2020154665A JP2019052080A JP2019052080A JP2020154665A JP 2020154665 A JP2020154665 A JP 2020154665A JP 2019052080 A JP2019052080 A JP 2019052080A JP 2019052080 A JP2019052080 A JP 2019052080A JP 2020154665 A JP2020154665 A JP 2020154665A
Authority
JP
Japan
Prior art keywords
image
information
environment
candidate area
future
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019052080A
Other languages
Japanese (ja)
Other versions
JP7092081B2 (en
Inventor
理天 孫
li tian Sun
理天 孫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2019052080A priority Critical patent/JP7092081B2/en
Publication of JP2020154665A publication Critical patent/JP2020154665A/en
Application granted granted Critical
Publication of JP7092081B2 publication Critical patent/JP7092081B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

To evaluate travel environment in automatic driving even when a vehicle traveling on a candidate area has no equivalent device for acquiring peripheral information necessary for traveling by automatic driving.SOLUTION: A travel environment evaluation system 100 for evaluating travel environment of an automatic driving vehicle includes: an environmental condition recording image database 130 for storing a plurality of environmental condition recording images in advance; a related-image database 140 storing a plurality of related-images in advance; an image receiving unit 110 receiving a candidate area image; a weather information receiving unit 120 for receiving weather information in a candidate area; an image processing unit 150 for processing the candidate area image using the amount of change in environmental conditions; a future environment estimating unit 160 for estimating an effective degree of information on surrounding environment acquired when the automatic driving vehicle travels the candidate area in the future; and an information transmitting unit 110 for transmitting the effective degree estimated by the future environment estimating unit to the automatic driving vehicle.SELECTED DRAWING: Figure 2

Description

本開示は、走行環境評価システムに関する。 The present disclosure relates to a driving environment evaluation system.

走行環境評価システムは、車両の走りやすさを評価するシステムである。このような走行環境評価システムの中には、先行する車両に備えられたカメラで撮影した画像に基づいて降雨や降雪による将来的な視界不良を演算予測し、その予測結果に応じて車両の走りやすさを評価するものがある(例えば、特許文献1)。 The driving environment evaluation system is a system that evaluates the ease of driving of a vehicle. In such a driving environment evaluation system, future poor visibility due to rainfall or snowfall is calculated and predicted based on an image taken by a camera provided in the preceding vehicle, and the vehicle runs according to the prediction result. There is something that evaluates ease (for example, Patent Document 1).

特開2016−181061号公報Japanese Unexamined Patent Publication No. 2016-181061

このような走行環境評価システムでは、走行環境の評価の基準として視界不良の程度を用いており、人の手動運転による車両の走行についての走行環境を評価している。一方、自動運転による車両は、カメラに加えてミリ波やレーザによって取得された周辺環境に関する情報を用いて走行することから、自動運転による車両の走行についての走行環境の認識可否を評価するシステムについては、これまでに十分に考慮されていなかった。また、先行する車両が自動運転による走行に必要な周辺環境に関する情報を取得する同等の装置を備えていない場合には、自動運転における走行環境の認識可否を評価できないという課題もあった。このような課題を解決するために、先行する車両が自動運転による走行に必要な周辺環境に関する情報を取得する同等の装置を備えていない場合であっても、自動運転における走行環境の認識可否を評価できるシステムの構築が望まれている。 In such a driving environment evaluation system, the degree of poor visibility is used as a criterion for evaluating the driving environment, and the driving environment for driving a vehicle by manual driving by a person is evaluated. On the other hand, since a vehicle driven by autonomous driving travels using information on the surrounding environment acquired by millimeter waves or a laser in addition to a camera, a system for evaluating whether or not the driving environment can be recognized regarding the driving of the vehicle by autonomous driving Has not been fully considered so far. Further, if the preceding vehicle does not have an equivalent device for acquiring information on the surrounding environment necessary for driving by automatic driving, there is also a problem that it is not possible to evaluate whether or not the driving environment can be recognized in automatic driving. In order to solve such problems, even if the preceding vehicle does not have an equivalent device that acquires information on the surrounding environment necessary for driving by autonomous driving, whether or not the driving environment can be recognized in autonomous driving is determined. It is desired to build a system that can be evaluated.

本開示の一形態によれば、走行環境評価システムが提供される。この走行環境評価システムは、自動運転による走行に必要な周辺環境に関する情報を取得する周辺情報取得部を備える自動運転車両の走行環境を評価する走行環境評価システム(100)であって、カメラによって撮影され、撮影時の気象情報および照度を含む環境条件が記録された複数の環境条件記録画像を予め格納する環境条件記録画像データベース(130)と、前記周辺環境に関する情報が取得された地点においてカメラによって撮影され、前記周辺環境に関する情報の有効度と関連付けられた複数の関連画像を予め格納する関連画像データベース(140)と、現在から過去の所定時間前までの間に、前記自動運転車両が将来走行する候補領域内に存在するカメラが、前記候補領域において撮影した候補領域画像を受信する画像受信部(110)と、前記候補領域における気象情報を受信する気象情報受信部(120)と、前記複数の環境条件記録画像のうち、前記候補領域における現在の環境条件に最も近い環境条件が記録された環境条件記録画像と、前記自動運転車両が現在地点から前記候補領域まで移動するために要する時間に基づいて予測される前記候補領域における環境条件に最も近い環境条件が記録された環境条件記録画像と、から抽出される環境条件の変化量を用いて、前記候補領域画像を加工する画像加工部(150)と、前記複数の関連画像と加工された前記候補領域画像とを比較して、前記自動運転車両が前記候補領域を将来走行するときに取得する前記有効度を推定する将来環境推定部(160)と、前記将来環境推定部が推定した前記有効度を前記自動運転車両に送信する情報送信部(110)と、を備える。この形態の走行環境評価システムによれば、撮影画像である候補領域画像が加工されたものを複数の関連画像と比較することによって、自動運転車両が候補領域を将来走行するときに取得する周辺環境に関する情報の有効度を推定できる。このため、候補領域を走行する車両が自動運転による走行に必要な周辺環境に関する情報を取得するための同等の装置を備えていない場合であっても、自動運転における走行環境の認識可否を評価できる。 According to one form of the present disclosure, a driving environment evaluation system is provided. This driving environment evaluation system is a driving environment evaluation system (100) that evaluates the driving environment of an automatically driving vehicle including a peripheral information acquisition unit that acquires information on the surrounding environment necessary for driving by automatic driving, and is photographed by a camera. An environmental condition recording image database (130) that stores in advance a plurality of environmental condition recorded images in which environmental conditions including weather information and illuminance at the time of shooting are recorded, and a camera at a point where information on the surrounding environment is acquired. A related image database (140) that stores a plurality of related images that have been photographed and associated with the validity of information about the surrounding environment in advance, and the automatic driving vehicle will run in the future between the present and a predetermined time in the past. An image receiving unit (110) for receiving a candidate area image captured in the candidate area, a weather information receiving unit (120) for receiving weather information in the candidate area, and a plurality of the cameras existing in the candidate area. Of the environmental condition recorded images of, the environmental condition recorded image in which the environmental condition closest to the current environmental condition in the candidate area is recorded, and the time required for the automatic driving vehicle to move from the current position to the candidate area. An image processing unit that processes the candidate region image using the environmental condition recorded image in which the environmental condition closest to the environmental condition in the candidate region predicted based on is recorded and the amount of change in the environmental condition extracted from the image processing unit ( The future environment estimation unit (150) is compared with the plurality of related images and the processed candidate region image to estimate the effectiveness acquired when the autonomous vehicle travels in the candidate region in the future. 160) and an information transmission unit (110) that transmits the effectiveness estimated by the future environment estimation unit to the automatic driving vehicle. According to the driving environment evaluation system of this form, the surrounding environment acquired when the autonomous driving vehicle travels in the candidate area in the future by comparing the processed candidate area image, which is a captured image, with a plurality of related images. You can estimate the validity of the information about. Therefore, even if the vehicle traveling in the candidate area does not have an equivalent device for acquiring information on the surrounding environment necessary for driving by automatic driving, it is possible to evaluate whether or not the driving environment can be recognized in automatic driving. ..

本開示は、走行環境評価システム以外の種々の形態で実現することも可能である。例えば、走行環境評価装置や走行環境評価方法等の形態で実現することができる。 The present disclosure can also be realized in various forms other than the driving environment evaluation system. For example, it can be realized in the form of a driving environment evaluation device, a driving environment evaluation method, or the like.

第1実施形態の走行環境評価システムの概要を示す説明図である。It is explanatory drawing which shows the outline of the driving environment evaluation system of 1st Embodiment. 走行環境評価システムおよび車両等の構成を示す説明図である。It is explanatory drawing which shows the structure of the driving environment evaluation system, a vehicle and the like. 情報収集車両の構成を示す説明図である。It is explanatory drawing which shows the structure of the information gathering vehicle. 候補領域画像の加工フローを示す概念図である。It is a conceptual diagram which shows the processing flow of a candidate area image. 将来環境推定処理を示すフローである。This is a flow showing future environment estimation processing. 走行環境評価システムおよび車両等の構成を示す説明図である。It is explanatory drawing which shows the structure of the driving environment evaluation system, a vehicle and the like. 将来環境推定処理を示すフローである。This is a flow showing future environment estimation processing. 広域における有効度の推定方法について説明する説明図である。It is explanatory drawing explaining the method of estimating the effectiveness in a wide area.

A.第1実施形態:
図1には、第1実施形態の走行環境評価システム100の概要について示している。車両50は、手動運転によって走行する車両である。「手動運転」とは、エンジン制御のための操作(アクセルペダルの踏込)と、ブレーキ制御のための操作(ブレーキベダルの踏込)と、操舵制御のための操作(ステアリングホイールの回転)を、車両50に搭乗した搭乗者が実行する運転を意味する。自動運転車両70は、自動運転によって走行する車両である。「自動運転」とは、自動運転車両70に搭乗した搭乗者が運転操作を行うことなく、エンジン制御とブレーキ制御と操舵制御のすべてを自動で実行する運転を意味する。自動運転による走行には、後述する周辺環境に関する情報の取得が必要である。自動運転車両70は、自動運転と手動運転との切り替えを実行可能な車両である。自動運転車両70のドライバ(運転者)は、インストルメントパネル等に用意された所定のスイッチにより自動運転と手動運転とを切り替えることができる。
A. First Embodiment:
FIG. 1 shows an outline of the driving environment evaluation system 100 of the first embodiment. The vehicle 50 is a vehicle that travels by manual driving. "Manual driving" refers to operations for engine control (depressing the accelerator pedal), operations for brake control (depressing the brake pedal), and operations for steering control (rotation of the steering wheel). It means the operation performed by the passenger who boarded the 50. The autonomous driving vehicle 70 is a vehicle that travels by automatic driving. The "automatic driving" means a driving in which the passengers in the autonomous driving vehicle 70 automatically perform all of the engine control, the brake control, and the steering control without performing the driving operation. In order to drive by autonomous driving, it is necessary to acquire information on the surrounding environment, which will be described later. The autonomous driving vehicle 70 is a vehicle capable of switching between automatic driving and manual driving. The driver (driver) of the autonomous driving vehicle 70 can switch between automatic driving and manual driving by a predetermined switch provided on the instrument panel or the like.

図1において、格子状に示された道路Rは、車両50および自動運転車両70にとって走行可能な道路である。車両50は、自動運転車両70が将来走行する候補領域DPを走行している。走行環境評価システム100は、車両50に備わるカメラ52(図2にて図示)が候補領域DPにおいて撮影した撮影画像である候補領域画像を受信する。走行環境評価システム100は、候補領域画像に基づいて、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度を推定するとともに、その有効度を自動運転車両70に送信する。ここでいう周辺環境に関する情報の有効度とは、自動運転車両70による周辺環境の認識の程度を数値化したもののことであり、0から1の範囲で表される。有効度は、1に近いほど自動運転車両70による周辺環境の認識について精度が高いことを示す。本実施形態では、有効度は、F値を指標として定義される。他の実施形態では、有効度は、他の指標によって定義されてもよい。 In FIG. 1, the roads R shown in a grid pattern are roads on which the vehicle 50 and the self-driving vehicle 70 can travel. The vehicle 50 is traveling in the candidate region DP in which the autonomous driving vehicle 70 will travel in the future. The traveling environment evaluation system 100 receives a candidate region image which is a captured image taken in the candidate region DP by the camera 52 (shown in FIG. 2) provided in the vehicle 50. The driving environment evaluation system 100 estimates the validity of the information about the surrounding environment acquired when the autonomous driving vehicle 70 travels in the candidate area DP in the future based on the candidate area image, and determines the effectiveness of the information about the surrounding environment. Send to. The validity of the information regarding the surrounding environment referred to here is a numerical value of the degree of recognition of the surrounding environment by the autonomous driving vehicle 70, and is expressed in the range of 0 to 1. The closer the effectiveness is to 1, the higher the accuracy of recognition of the surrounding environment by the autonomous driving vehicle 70. In this embodiment, the effectiveness is defined with the F value as an index. In other embodiments, effectiveness may be defined by other indicators.

図2には、走行環境評価システム100と、車両50および自動運転車両70と、の概略構成が示されている。車両50は、カメラ52と、通信部54と、を備える。カメラ52は、車両50の周囲を撮像して画像を取得する。本実施形態では、カメラ52として、車両50に取り付けられているドライブレコーダが用いられる。他の実施形態では、カメラ52として、車両50に搭乗する搭乗者のスマートフォンが車両50に取り付けられてもよいし、車両50の前方にある障害物を感知して衝突の被害を軽減するいわゆる自動ブレーキのために車両50に備えられたカメラが用いられてもよい。通信部54は、カメラ52によって撮影された撮影画像を走行環境評価システム100に対して送る。このとき、通信部54を介して送られる撮影画像には、撮影時の時刻を示す情報およびカメラ52の仕様を示す情報が付加されている。カメラ52が、撮影時の気象情報および照度を含む環境条件を撮影画像に記録できるカメラである場合には、通信部54を介して送られる撮影画像に、環境条件を示す情報が付加されていてもよい。ここでいうカメラ52の仕様を示す情報には、レンズタイプ、水平画角、最低被写体照度、焦点距離のうち少なくとも1つが含まれてもよいし、カメラの型番が含まれてもよい。 FIG. 2 shows a schematic configuration of the traveling environment evaluation system 100, the vehicle 50, and the autonomous driving vehicle 70. The vehicle 50 includes a camera 52 and a communication unit 54. The camera 52 captures the surroundings of the vehicle 50 to acquire an image. In this embodiment, a drive recorder attached to the vehicle 50 is used as the camera 52. In another embodiment, as the camera 52, a smartphone of a passenger boarding the vehicle 50 may be attached to the vehicle 50, or a so-called automatic method that detects an obstacle in front of the vehicle 50 to reduce the damage of a collision. A camera provided in the vehicle 50 may be used for braking. The communication unit 54 sends the captured image captured by the camera 52 to the traveling environment evaluation system 100. At this time, information indicating the time at the time of photographing and information indicating the specifications of the camera 52 are added to the captured image transmitted via the communication unit 54. When the camera 52 is a camera capable of recording the environmental conditions including the weather information and the illuminance at the time of shooting in the captured image, the information indicating the environmental conditions is added to the captured image transmitted via the communication unit 54. May be good. The information indicating the specifications of the camera 52 referred to here may include at least one of a lens type, a horizontal angle of view, a minimum subject illuminance, and a focal length, or may include a model number of the camera.

自動運転車両70は、周辺情報取得部72と、通信部74と、認識部76と、を備える。通信部74は、走行環境評価システム100が推定した有効度を示す信号を受信する。周辺情報取得部72は、自動運転による走行に必要な周辺環境に関する情報を取得する。周辺情報取得部72には、カメラ、ミリ波レーダおよびLiDARが含まれる。周辺環境に関する情報とは、周辺情報取得部72によって取得される情報のことを指す。認識部76は、周辺情報取得部72が取得した情報の有効度を判定する。ここでいう有効度とは、上述したように、0から1の範囲で表され、1に近いほど自動運転車両70による周辺環境の認識について精度が高いことを示す。 The autonomous driving vehicle 70 includes a peripheral information acquisition unit 72, a communication unit 74, and a recognition unit 76. The communication unit 74 receives a signal indicating the effectiveness estimated by the traveling environment evaluation system 100. The peripheral information acquisition unit 72 acquires information on the surrounding environment necessary for traveling by automatic driving. The peripheral information acquisition unit 72 includes a camera, a millimeter wave radar, and LiDAR. The information about the surrounding environment refers to the information acquired by the peripheral information acquisition unit 72. The recognition unit 76 determines the validity of the information acquired by the peripheral information acquisition unit 72. As described above, the effectiveness here is expressed in the range of 0 to 1, and the closer it is to 1, the higher the accuracy of recognition of the surrounding environment by the autonomous driving vehicle 70.

車両50が備えるカメラ52の性能は、周辺情報取得部72に含まれるカメラの性能より低い。また、車両50は、周辺情報取得部72に含まれるミリ波レーダおよびLiDARを備えていない。このため、車両50は、自動運転による走行に必要な周辺環境に関する情報を取得するための周辺情報取得部72と同等の装置を備えていない。 The performance of the camera 52 included in the vehicle 50 is lower than the performance of the camera included in the peripheral information acquisition unit 72. Further, the vehicle 50 does not include the millimeter wave radar and LiDAR included in the peripheral information acquisition unit 72. Therefore, the vehicle 50 does not have a device equivalent to the peripheral information acquisition unit 72 for acquiring information on the surrounding environment necessary for traveling by automatic driving.

走行環境評価システム100は、通信部110と、気象情報受信部120と、環境条件記録画像データベース130と、関連画像データベース140と、画像加工部150と、将来環境推定部160と、を備える。通信部110は、車両50から送られる候補領域画像を受信する画像受信部として機能するとともに、後述する将来環境推定部160が推定した周辺環境に関する情報の有効度を自動運転車両70に送信する情報送信部として機能する。 The driving environment evaluation system 100 includes a communication unit 110, a weather information receiving unit 120, an environmental condition recording image database 130, a related image database 140, an image processing unit 150, and a future environment estimation unit 160. The communication unit 110 functions as an image receiving unit that receives the candidate region image sent from the vehicle 50, and also transmits the validity of the information about the surrounding environment estimated by the future environment estimation unit 160, which will be described later, to the autonomous driving vehicle 70. Functions as a transmitter.

気象情報受信部120は、気象情報を受信する。ここでいう気象情報には、降水量、日時などの情報が含まれる。より具体的には、気象情報受信部120は、気象情報を提供するサーバから、ネットワークを介して気象情報を取得する。 The weather information receiving unit 120 receives the weather information. The meteorological information referred to here includes information such as precipitation and date and time. More specifically, the weather information receiving unit 120 acquires the weather information from the server that provides the weather information via the network.

図3に示された情報収集車両300は、環境条件記録画像データベース130および関連画像データベース140を構築するための情報を収集する車両である。情報収集車両300は、カメラ352と、周辺情報取得部372と、通信部374と、認識部376と、を備える。 The information collecting vehicle 300 shown in FIG. 3 is a vehicle that collects information for constructing the environmental condition recording image database 130 and the related image database 140. The information collecting vehicle 300 includes a camera 352, a peripheral information acquisition unit 372, a communication unit 374, and a recognition unit 376.

カメラ352は、車両50に備えられているカメラ52と同等の性能のカメラである。カメラ352は、車両50に備えられているカメラ52と同じ製品であることが好ましいが、カメラ52と同等の性能である限り、任意の製品であってもよい。 The camera 352 is a camera having the same performance as the camera 52 provided in the vehicle 50. The camera 352 is preferably the same product as the camera 52 provided in the vehicle 50, but may be any product as long as it has the same performance as the camera 52.

周辺情報取得部372は、自動運転車両70に備えられている周辺情報取得部72と同等の構成を有する。周辺情報取得部372は、自動運転車両70に備えられている周辺情報取得部72と同じ構成であることが好ましいが、周辺情報取得部72と同等の性能を有する限り、任意の構成であってもよい。認識部376は、自動運転車両70に備えられている認識部76と同等の構成を有する。認識部376は、自動運転車両70に備えられている認識部76と同じ構成であることが好ましいが、認識部76と同等の性能を有する限り、任意の構成であってもよい。 The peripheral information acquisition unit 372 has the same configuration as the peripheral information acquisition unit 72 provided in the autonomous driving vehicle 70. The peripheral information acquisition unit 372 preferably has the same configuration as the peripheral information acquisition unit 72 provided in the autonomous driving vehicle 70, but has an arbitrary configuration as long as it has the same performance as the peripheral information acquisition unit 72. May be good. The recognition unit 376 has the same configuration as the recognition unit 76 provided in the autonomous driving vehicle 70. The recognition unit 376 preferably has the same configuration as the recognition unit 76 provided in the autonomous driving vehicle 70, but may have any configuration as long as it has the same performance as the recognition unit 76.

通信部374は、カメラ352によって取得された撮影画像、周辺情報取得部372によって取得された周辺環境に関する情報および認識部76によって判定された周辺環境に関する情報についての有効度を、環境条件記録画像データベース130の構築および関連画像データベース140の構築を行う機能を有するシステムに送る。このようなシステムは、走行環境評価システム100に含まれていてもよいし、走行環境評価システム100とは異なる構築システムが独立して存在してもよい。異なる構築システムを利用する場合には、環境条件記録画像データベース130および関連画像データベース140が構築されたのち、該構築システムから走行環境評価システム100に対して、環境条件記録画像データベース130および関連画像データベース140が送られる。 The communication unit 374 records the validity of the captured image acquired by the camera 352, the information on the surrounding environment acquired by the peripheral information acquisition unit 372, and the information on the peripheral environment determined by the recognition unit 76 in the environmental condition recording image database. It is sent to a system having a function of constructing 130 and constructing a related image database 140. Such a system may be included in the driving environment evaluation system 100, or a construction system different from the driving environment evaluation system 100 may exist independently. When using different construction systems, after the environmental condition recording image database 130 and the related image database 140 are constructed, the environmental condition recording image database 130 and the related image database are applied to the driving environment evaluation system 100 from the construction system. 140 is sent.

情報収集車両300は、種々の気象条件において様々な地域を走行することによって情報収集を行う。情報収集車両300は、情報収集のための走行において、カメラ352によって情報収集車両300の周囲を撮像して撮影画像を取得するとともに、周辺情報取得部372によって自動運転による走行に必要な周辺環境に関する情報を取得する。また、取得された情報は、認識部376によって有効度が判定される。 The information collecting vehicle 300 collects information by traveling in various areas under various weather conditions. In traveling for information collection, the information collecting vehicle 300 captures the surroundings of the information collecting vehicle 300 by the camera 352 and acquires a photographed image, and the peripheral information acquisition unit 372 relates to the surrounding environment necessary for traveling by automatic driving. Get information. Further, the validity of the acquired information is determined by the recognition unit 376.

環境条件記録画像データベース130は、カメラ352によって取得された撮影画像を用いて構築される。撮影時の気象情報および照度を含む環境条件と撮影画像とを紐付けることによって、撮影時の気象情報および照度を含む環境条件が記録された撮影画像である環境条件記録画像が作成される。このようにして作成された複数の環境条件記録画像が予め格納されることによって、環境条件記録画像データベース130は構築される。 The environmental condition recording image database 130 is constructed by using the captured image acquired by the camera 352. By associating the photographed image with the weather information at the time of shooting and the environmental conditions including the illuminance, an environmental condition recorded image which is a photographed image in which the weather information at the time of shooting and the environmental conditions including the illuminance are recorded is created. The environmental condition recording image database 130 is constructed by storing the plurality of environmental condition recording images created in this manner in advance.

上記工程によって構築された環境条件記録画像データベース130は、カメラ352によって撮影された撮影画像であって撮影時の気象情報および照度を含む環境条件が標識された撮影画像である複数の環境条件記録画像を予め格納する。 The environmental condition recording image database 130 constructed by the above steps is a plurality of environmental condition recording images that are captured images taken by the camera 352 and are labeled with environmental conditions including weather information and illuminance at the time of shooting. Is stored in advance.

関連画像データベース140は、カメラ352によって取得された撮影画像、周辺情報取得部372によって取得された周辺環境に関する情報および認識部76によって判定された周辺環境に関する情報についての有効度を用いて構築される。情報収集車両300がカメラ352、周辺情報取得部372および認識部376を備えることから、カメラ352、周辺情報取得部372および認識部376は、情報収集車両300がある地点を走行しているとき、撮影画像周辺環境に関する情報およびその情報の有効度を同時に取得することができる。このとき取得された撮影画像から画像の特徴(例えば、物体、走行路、標識、信号などのエッジ)を抽出するとともに、抽出結果と有効度とを関連付ける。このときに用いられるパターン認識モデルとして、サポートベクターマシン(SVM)が挙げられる。周辺環境に関する情報が取得された地点において同時に取得された撮影画像に対して、同じ地点において取得された周辺環境に関する情報の有効度を関連付けることによって、周辺環境に関する情報の有効度と関連付けられた撮影画像である関連画像が作成される。このようにして作成された複数の関連画像が予め格納されることによって、関連画像データベース140は構築される。 The related image database 140 is constructed by using the validity of the captured image acquired by the camera 352, the information on the surrounding environment acquired by the peripheral information acquisition unit 372, and the information on the peripheral environment determined by the recognition unit 76. .. Since the information collecting vehicle 300 includes the camera 352, the peripheral information acquisition unit 372, and the recognition unit 376, the camera 352, the peripheral information acquisition unit 372, and the recognition unit 376 are traveling when the information collection vehicle 300 is traveling at a certain point. Information on the surrounding environment of the captured image and the validity of the information can be acquired at the same time. The features of the image (for example, edges of objects, running paths, signs, signals, etc.) are extracted from the captured image acquired at this time, and the extraction result is associated with the validity. As a pattern recognition model used at this time, a support vector machine (SVM) can be mentioned. Shooting associated with the validity of information about the surrounding environment by associating the validity of the information about the surrounding environment acquired at the same point with the captured images simultaneously acquired at the point where the information about the surrounding environment was acquired. A related image, which is an image, is created. The related image database 140 is constructed by storing the plurality of related images created in this manner in advance.

上記工程によって構築された関連画像データベース140は、周辺環境に関する情報が取得された地点においてカメラ352によって撮影された撮影画像であって周辺環境に関する情報の有効度と関連付けられた撮影画像である複数の関連画像を予め格納する。 The related image database 140 constructed by the above steps is a plurality of captured images taken by the camera 352 at the point where the information about the surrounding environment is acquired and which are the captured images associated with the validity of the information about the surrounding environment. Store related images in advance.

図2の説明に戻り、画像加工部150は、通信部110が受信した候補領域画像を加工する。画像加工部150は、複数の環境条件記録画像のうち、候補領域DPにおける現在の環境条件に最も近い環境条件が標識された画像PGと、自動運転車両70が現在地点から候補領域DPまで移動するために要する時間を経過した後の候補領域DPにおいて気象情報に基づいて予測される環境条件に最も近い環境条件が標識された画像FGと、から抽出される環境条件の変化量を用いて、候補領域画像を加工する。図4には、候補領域画像の加工フローが示されている。例えば、画像PGと画像FGとから抽出される環境条件の変化量が、降水量の増加および照度の低下を示す場合、候補領域画像には、降水量の増加および照度の低下を示す加工が施される。画像PGおよび画像FGは、候補領域DPを撮影した撮影画像でなくてもよく、別の領域を撮影した撮影画像であってもよい。画像PGおよび画像FGは、候補領域DPにおける現在の環境条件および候補領域DPにおいて将来予測される環境条件に基づいて選択される。画像PGおよび画像FGは、もちろん、候補領域DPを撮影した撮影画像であって、かつ、候補領域DPにおける現在の環境条件および候補領域DPにおいて将来予測される環境条件に近い条件であることが好ましい。 Returning to the description of FIG. 2, the image processing unit 150 processes the candidate region image received by the communication unit 110. The image processing unit 150 moves the image PG in which the environmental condition closest to the current environmental condition in the candidate area DP among the plurality of environmental condition recorded images is labeled, and the autonomous driving vehicle 70 from the current position to the candidate area DP. Candidates are used by using the image FG labeled with the environmental conditions closest to the environmental conditions predicted based on the weather information in the candidate region DP after the time required for the elapse, and the amount of change in the environmental conditions extracted from the image FG. Process the area image. FIG. 4 shows a processing flow of the candidate region image. For example, when the amount of change in environmental conditions extracted from the image PG and the image FG indicates an increase in precipitation and a decrease in illuminance, the candidate region image is processed to indicate an increase in precipitation and a decrease in illuminance. Will be done. The image PG and the image FG do not have to be the captured images obtained by capturing the candidate region DP, and may be captured images obtained by capturing another region. The image PG and the image FG are selected based on the current environmental conditions in the candidate region DP and the environmental conditions predicted in the future in the candidate region DP. It is preferable that the image PG and the image FG are, of course, captured images obtained by capturing the candidate region DP, and are conditions close to the current environmental conditions in the candidate region DP and the environmental conditions predicted in the future in the candidate region DP. ..

画像加工部150が環境条件の変化量を抽出するために用いる環境条件記録画像の選択の基準には、通信部54を介して送られる撮影画像に付加されたカメラ52の仕様を示す情報が含まれる。環境条件記録画像データベース130に格納される環境条件記録画像の中にカメラ52の仕様と同じ仕様のカメラによって撮影された環境条件記録画像が存在する場合には、その環境条件記録画像から環境条件の変化量の抽出に用いる画像を選択する。環境条件記録画像データベース130に格納される環境条件記録画像の中にカメラ52の仕様と同じ仕様のカメラによって撮影された環境条件記録画像が存在しない場合には、カメラ52の仕様に最も近い仕様のカメラによって撮影された環境条件記録画像から環境条件の変化量の抽出に用いる画像を選択する。 The criteria for selecting the environmental condition recorded image used by the image processing unit 150 to extract the amount of change in the environmental condition includes information indicating the specifications of the camera 52 added to the captured image transmitted via the communication unit 54. Is done. If the environmental condition recorded image stored in the environmental condition recorded image database 130 contains an environmental condition recorded image taken by a camera having the same specifications as the camera 52, the environmental condition recorded image is used as the environmental condition recorded image. Select the image used to extract the amount of change. If the environmental condition recorded image stored in the environmental condition recorded image database 130 does not contain an environmental condition recorded image taken by a camera having the same specifications as the camera 52, the specifications closest to the specifications of the camera 52 are used. An image to be used for extracting the amount of change in the environmental conditions is selected from the environmental condition recorded images taken by the camera.

将来環境推定部160は、加工された候補領域画像と複数の関連画像とを比較して、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度を推定する。この比較が行われる際には、加工された候補領域画像から画像の特徴を抽出して、複数の関連画像と比較される。加工された候補領域画像および関連画像は、ともに撮影画像である。将来環境推定部160は、加工された候補領域画像に最も近い環境条件の関連画像を選択することによって、選択された関連画像に関連付けられた周辺環境に関する情報の有効度を、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度として推定に用いる。ここで、関連画像が選択される際の基準となる環境条件とは、自動運転車両70による認識の精度に影響がある要素に関する条件のことであり、例えば、撮影画像中の雨や霧、塵などによる大気の混濁、照度のことである。通信部110は、将来環境推定部160が推定した周辺環境に関する情報の有効度を自動運転車両70に送信する。 The future environment estimation unit 160 compares the processed candidate area image with a plurality of related images, and estimates the validity of the information regarding the surrounding environment acquired when the autonomous driving vehicle 70 travels in the candidate area DP in the future. .. When this comparison is made, the features of the image are extracted from the processed candidate region image and compared with a plurality of related images. Both the processed candidate region image and the related image are photographed images. The future environment estimation unit 160 determines the validity of the information about the surrounding environment associated with the selected related image by selecting the related image of the environmental condition closest to the processed candidate area image, and the autonomous driving vehicle 70 determines the validity. It is used for estimation as the validity of the information about the surrounding environment acquired when the candidate area DP is driven in the future. Here, the environmental condition that serves as a reference when the related image is selected is a condition related to an element that affects the accuracy of recognition by the autonomous driving vehicle 70, and is, for example, rain, fog, or dust in the captured image. It refers to the turbidity and illuminance of the atmosphere due to such factors. The communication unit 110 transmits the validity of the information regarding the surrounding environment estimated by the future environment estimation unit 160 to the autonomous driving vehicle 70.

走行環境評価システム100は、図5において説明する将来環境推定処理を実行する。将来環境推定処理は、自動運転車両70から要求を受けた場合において実行される。将来環境推定処理が開始されると、ステップS110では、通信部110によって、車両50から送られる候補領域画像が取得される。このとき、通信部110が取得する候補領域画像は、自動運転車両70からの要求があった現在から過去の所定時間前までの間に、車両50に備わるカメラ52によって撮影されたものである。ここでいう過去の所定時間は、任意に設定されてもよいが、時間幅が短いほど将来環境推定処理の精度は向上する。車両50に備わるカメラ52は、将来環境推定処理が開始されたのちの通信部110からの要求に応じて候補領域画像を取得し、通信部54を介して、その候補領域画像を通信部110に送信してもよい。ステップS120では、画像加工部150によって、画像加工部150が環境条件の変化量を抽出するために用いる環境条件記録画像である画像PGおよび画像FGが選択される。 The driving environment evaluation system 100 executes the future environment estimation process described in FIG. The future environment estimation process is executed when a request is received from the autonomous driving vehicle 70. When the future environment estimation process is started, in step S110, the communication unit 110 acquires a candidate region image sent from the vehicle 50. At this time, the candidate area image acquired by the communication unit 110 is taken by the camera 52 provided in the vehicle 50 from the present to the predetermined time in the past when there is a request from the autonomous driving vehicle 70. The past predetermined time referred to here may be arbitrarily set, but the shorter the time width, the higher the accuracy of the future environment estimation processing. The camera 52 provided in the vehicle 50 acquires a candidate area image in response to a request from the communication unit 110 after the future environment estimation process is started, and transmits the candidate area image to the communication unit 110 via the communication unit 54. You may send it. In step S120, the image processing unit 150 selects the image PG and the image FG, which are the environmental condition recording images used by the image processing unit 150 to extract the amount of change in the environmental conditions.

ステップS130では、画像加工部150によって、画像PGと画像FGとから抽出された環境条件の変化量を用いて、候補領域画像が加工される。ステップS140では、将来環境推定部160によって、加工された候補領域画像と複数の関連画像とを比較して、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度が推定される。 In step S130, the image processing unit 150 processes the candidate region image using the amount of change in the environmental conditions extracted from the image PG and the image FG. In step S140, the future environment estimation unit 160 compares the processed candidate area image with a plurality of related images, and the information regarding the surrounding environment acquired when the autonomous driving vehicle 70 travels in the candidate area DP in the future is valid. The degree is estimated.

ステップS150では、通信部110によって、将来環境推定部160が推定した周辺環境に関する情報の有効度が自動運転車両70に送信される。その後、将来環境推定処理は終了される。 In step S150, the communication unit 110 transmits the validity of the information regarding the surrounding environment estimated by the future environment estimation unit 160 to the autonomous driving vehicle 70. After that, the future environment estimation process is completed.

以上説明した第1実施形態によれば、加工された候補領域画像と複数の関連画像と比較することによって、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度を推定できる。このため、候補領域DPを走行する車両50が自動運転による走行に必要な周辺環境に関する情報を取得するための同等の装置を備えていない場合であっても、自動運転における走行環境の認識可否を評価できる。 According to the first embodiment described above, by comparing the processed candidate region image with a plurality of related images, the valid information on the surrounding environment acquired when the autonomous driving vehicle 70 travels in the candidate region DP in the future. The degree can be estimated. Therefore, even if the vehicle 50 traveling in the candidate region DP does not have an equivalent device for acquiring information on the surrounding environment necessary for traveling by automatic driving, whether or not the driving environment can be recognized in automatic driving can be recognized. Can be evaluated.

また、走行環境評価システム100は、車両50のように、自動運転車両70が向かう方向において先行している各々の車両から撮像画像を取得し、その撮像画像を用いて、各々の車両が走行している領域を自動運転車両70が将来走行する場合に取得する周辺環境に関する情報の有効度を推定することができる。このため、各々の車両が走行している領域について推定された有効度を走行環境評価システム100から受信した自動運転車両70は、有効度の高い領域を通る経路を走行予定経路として設定することができる。 In addition, the traveling environment evaluation system 100 acquires captured images from each vehicle that is ahead in the direction in which the autonomous driving vehicle 70 is heading, such as the vehicle 50, and each vehicle travels using the captured images. It is possible to estimate the validity of the information regarding the surrounding environment acquired when the autonomous driving vehicle 70 travels in the area in the future. Therefore, the autonomous driving vehicle 70, which has received the estimated effectiveness for the area in which each vehicle is traveling from the traveling environment evaluation system 100, may set a route passing through the highly effective area as a planned traveling route. it can.

B.第2実施形態:
図6に示す走行環境評価システム100aは、環境条件記録画像データベース130および画像加工部150の代わりに現在環境推定部170および有効度補正部180を備える点と、第1実施形態の将来環境推定部160とは異なる将来環境推定部160aを備える点と、を除き、第1実施形態の走行環境評価システム100aの装置構成と同じである。第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
B. Second embodiment:
The driving environment evaluation system 100a shown in FIG. 6 includes a current environment estimation unit 170 and an effectiveness correction unit 180 instead of the environmental condition recording image database 130 and the image processing unit 150, and the future environment estimation unit of the first embodiment. The device configuration is the same as that of the driving environment evaluation system 100a of the first embodiment, except that the future environment estimation unit 160a different from the 160 is provided. The same reference numerals as those in the first embodiment indicate the same configuration, and the preceding description is referred to.

現在環境推定部170は、通信部110が受信した候補領域画像と複数の関連画像とを比較して、自動運転車両70が候補領域DPを現在走行した場合に取得される周辺環境に関する情報の有効度を推定する。 The current environment estimation unit 170 compares the candidate area image received by the communication unit 110 with a plurality of related images, and is valid for information on the surrounding environment acquired when the autonomous driving vehicle 70 is currently traveling in the candidate area DP. Estimate the degree.

有効度補正部180は、候補領域DPにおける現在の環境条件と、自動運転車両70が現在地点から候補領域DPまで移動するために要する時間を経過した後の候補領域DPにおいて気象情報に基づいて予測される環境条件と、から抽出される環境条件の変化量を用いて、現在環境推定部170によって推定された有効度を補正する。 The effectiveness correction unit 180 predicts based on the current environmental conditions in the candidate area DP and the candidate area DP after the time required for the autonomous driving vehicle 70 to move from the current position to the candidate area DP has elapsed. The effectiveness estimated by the current environment estimation unit 170 is corrected by using the environmental conditions to be obtained and the amount of change in the environmental conditions extracted from.

将来環境推定部160aは、有効度補正部180によって補正された有効度を、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度とみなして、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度を推定する。通信部110は、将来環境推定部160aが推定した周辺環境に関する情報の有効度を自動運転車両70に送信する。 The future environment estimation unit 160a regards the validity corrected by the validity correction unit 180 as the validity of the information on the surrounding environment acquired when the autonomous driving vehicle 70 travels in the candidate area DP in the future, and the autonomous driving vehicle Estimate the validity of the information about the surrounding environment that 70 acquires when traveling in the candidate area DP in the future. The communication unit 110 transmits the validity of the information regarding the surrounding environment estimated by the future environment estimation unit 160a to the autonomous driving vehicle 70.

走行環境評価システム100aは、図7において説明する将来環境推定処理を実行する。将来環境推定処理は、自動運転車両70から要求を受けた場合において実行される。将来環境推定処理が開始されると、ステップS210では、通信部110によって、車両50から送られる候補領域画像が取得される。ステップS220では、現在環境推定部170によって、自動運転車両70が候補領域DPを現在走行した場合に取得される周辺環境に関する情報の有効度が推定される。 The driving environment evaluation system 100a executes the future environment estimation process described in FIG. 7. The future environment estimation process is executed when a request is received from the autonomous driving vehicle 70. When the future environment estimation process is started, in step S210, the communication unit 110 acquires a candidate region image sent from the vehicle 50. In step S220, the current environment estimation unit 170 estimates the validity of the information regarding the surrounding environment acquired when the autonomous driving vehicle 70 currently travels in the candidate area DP.

ステップS230では、有効度補正部180によって、候補領域DPにおける現在の環境条件および候補領域DPにおいて将来予測される環境条件から抽出された環境条件の変化量を用いて、ステップS220において推定された有効度が補正される。ステップS240では、将来環境推定部160aによって、ステップS230において補正された有効度を用いて、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度が推定される。 In step S230, the validity estimated in step S220 by the validity correction unit 180 using the change amount of the current environmental condition in the candidate region DP and the environmental condition extracted from the environmental condition predicted in the future in the candidate region DP. The degree is corrected. In step S240, the future environment estimation unit 160a estimates the validity of the information about the surrounding environment acquired when the autonomous driving vehicle 70 travels in the candidate area DP in the future by using the validity corrected in step S230. ..

ステップS250では、通信部110によって、将来環境推定部160aが推定した周辺環境に関する情報の有効度が自動運転車両70に送信される。その後、将来環境推定処理は終了される。 In step S250, the communication unit 110 transmits the validity of the information regarding the surrounding environment estimated by the future environment estimation unit 160a to the autonomous driving vehicle 70. After that, the future environment estimation process is completed.

以上説明した第2実施形態によれば、候補領域画像と複数の関連画像との比較によって推定された有効度を補正することによって、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度を推定できる。このため、候補領域DPを走行する車両50が自動運転による走行に必要な周辺環境に関する情報を取得するための同等の装置を備えていない場合であっても、自動運転における走行環境の認識可否を評価できる。 According to the second embodiment described above, the self-driving vehicle 70 acquires the candidate region DP when it travels in the future by correcting the validity estimated by comparing the candidate region image with the plurality of related images. The validity of information about the surrounding environment can be estimated. Therefore, even if the vehicle 50 traveling in the candidate region DP does not have an equivalent device for acquiring information on the surrounding environment necessary for traveling by automatic driving, whether or not the driving environment can be recognized in automatic driving can be recognized. Can be evaluated.

C.他の実施形態:
第1実施形態の説明において、環境条件記録画像データベース130および関連画像データベース140を構築するための情報収集には、情報収集車両300が用いられていたが、本開示はこれに限られない。例えば、環境条件記録画像データベース130および関連画像データベース140を構築するための情報収集は、人工気象室内における撮影によって実行されてもよい。このような形態では、人工気象室内にカメラ352および周辺情報取得部372を配置した状態において、気象情報および照度を含む環境条件を種々の条件に変更することによって、環境条件記録画像データベース130および関連画像データベース140を構築するための情報収集が実行される。なお、人工気象室内には、周辺情報取得部372が取得した周辺環境に関する情報から画像の特徴を抽出するための対象となる物体が配置されていることが好ましい。
C. Other embodiments:
In the description of the first embodiment, the information collecting vehicle 300 has been used for collecting information for constructing the environmental condition recording image database 130 and the related image database 140, but the present disclosure is not limited to this. For example, the information gathering for constructing the environmental condition recording image database 130 and the related image database 140 may be performed by photographing in the artificial weather room. In such a form, in a state where the camera 352 and the peripheral information acquisition unit 372 are arranged in the artificial weather room, the environmental condition recording image database 130 and related by changing the environmental conditions including the weather information and the illuminance to various conditions Information gathering for constructing the image database 140 is executed. In the artificial weather room, it is preferable that an object to be a target for extracting image features from the information about the surrounding environment acquired by the peripheral information acquisition unit 372 is arranged.

第1実施形態の説明において、候補領域DPにおいて撮影される撮影画像は、自動運転車両70が向かう方向において先行している車両50に備わるカメラ52によって撮影されていたが、本開示はこれに限られない。候補領域DPにおいて撮影される撮影画像は、候補領域DP内に配置されている監視カメラによって撮影されたものであってもよい。 In the description of the first embodiment, the captured image taken in the candidate region DP was taken by the camera 52 provided in the vehicle 50 leading in the direction in which the autonomous driving vehicle 70 is heading, but the present disclosure is limited to this. I can't. The captured image captured in the candidate region DP may be captured by a surveillance camera arranged in the candidate region DP.

第1実施形態において、走行環境評価システム100は、自動運転車両70が向かう方向において先行している各々の車両から撮像画像を取得し、その撮像画像を用いて、各々の車両が走行している領域を自動運転車両70が将来走行するときに取得する周辺環境に関する情報の有効度を推定することができると説明していたが、本開示はこれに限られない。例えば、走行環境評価システム100は、各々の車両が走行している領域において推定される周辺環境に関する情報の有効度を用いて、より広い領域における有効度を推定してもよい。 In the first embodiment, the traveling environment evaluation system 100 acquires an image taken from each vehicle leading in the direction in which the autonomous driving vehicle 70 is heading, and each vehicle is traveling using the captured image. Although it has been explained that the validity of the information regarding the surrounding environment acquired when the autonomous driving vehicle 70 travels in the area in the future can be estimated, the present disclosure is not limited to this. For example, the traveling environment evaluation system 100 may estimate the effectiveness in a wider area by using the validity of the information about the surrounding environment estimated in the area in which each vehicle is traveling.

図8を用いて、より広い領域における有効度の推定方法について説明する。図8には、自動運転車両70が向かう方向において先行している各々の車両50a〜50dが示されている。車両50a〜50dは、第1実施形態にて説明した車両50と同様に、カメラおよび通信部を備える。車両50a〜50dは、自動運転車両70が将来走行する候補領域DPa〜DPdをそれぞれ走行している。走行環境評価システム100は、まず、車両50a〜50dに備わるカメラが候補領域DPa〜DPdにおいて撮影した撮影画像を取得し、その撮像画像を用いて、車両50a〜50dが走行している領域を自動運転車両70が将来走行するときに取得する周辺環境に関する情報の有効度を推定する。このとき、走行環境評価システム100は、車両50a〜50dの位置を母点として、ボロノイ図を作成する。ボロノイ図の作成によって、候補領域DPa〜DPdとは異なる位置における領域の周辺環境に関する情報の有効度が補完される。このようなボロノイ図において、例えば、候補領域DPaについて推定された有効度が0.9であり、候補領域DPcについて推定された有効度が0.5である場合、候補領域DPaと候補領域DPcとの間の領域における有効度は、候補領域DPaから候補領域DPcに向かうにつれて、0.9から0.5に減少するよう分布している。他の候補領域間の領域における有効度も同様である。このようなボロノイ図を作成することによって、走行環境評価システム100は、候補領域DPa〜DPdより広い領域における有効度を推定してもよい。なお、このような推定方法において、自動運転車両70が将来走行する候補領域の各々を走行する車両は、手動運転によって走行する車両に限られず、自動運転によって走行する自動運転車両であってもよい。 A method of estimating the effectiveness in a wider area will be described with reference to FIG. FIG. 8 shows the respective vehicles 50a to 50d leading in the direction in which the autonomous driving vehicle 70 is heading. The vehicles 50a to 50d include a camera and a communication unit as in the vehicle 50 described in the first embodiment. The vehicles 50a to 50d are traveling in the candidate regions DPa to DPd to which the autonomous driving vehicle 70 will travel in the future, respectively. The driving environment evaluation system 100 first acquires captured images taken by the cameras provided in the vehicles 50a to 50d in the candidate areas DPa to DPd, and automatically uses the captured images to automatically determine the region in which the vehicles 50a to 50d are traveling. The validity of the information about the surrounding environment acquired when the driving vehicle 70 travels in the future is estimated. At this time, the traveling environment evaluation system 100 creates a Voronoi diagram with the positions of the vehicles 50a to 50d as the mother points. The creation of the Voronoi diagram complements the validity of the information about the surrounding environment of the region at a position different from the candidate regions DPa to DPd. In such a Voronoi diagram, for example, when the estimated validity for the candidate region DPa is 0.9 and the estimated validity for the candidate region DPc is 0.5, the candidate region DPa and the candidate region DPc The effectiveness in the region between is distributed to decrease from 0.9 to 0.5 as the candidate region DPa goes to the candidate region DPc. The same applies to the effectiveness in the area between other candidate areas. By creating such a Voronoi diagram, the traveling environment evaluation system 100 may estimate the effectiveness in a region wider than the candidate regions DPa to DPd. In such an estimation method, the vehicle traveling in each of the candidate regions in which the autonomous driving vehicle 70 will travel in the future is not limited to the vehicle traveling by manual driving, and may be an autonomous driving vehicle traveling by automatic driving. ..

本開示は、上述の実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。 The present disclosure is not limited to the above-described embodiments and modifications, and can be realized with various configurations within a range not deviating from the gist thereof. For example, the embodiments corresponding to the technical features in each of the embodiments described in the column of the outline of the invention, the technical features in the modified examples are used to solve some or all of the above-mentioned problems, or the above-mentioned above. It is possible to replace or combine them as appropriate to achieve some or all of the effects. Further, if the technical feature is not described as essential in the present specification, it can be appropriately deleted.

100…走行環境評価システム、110…通信部、120…気象情報受信部、130…環境条件記録画像データベース、140…関連画像データベース、150…画像加工部、160…将来環境推定部 100 ... Driving environment evaluation system, 110 ... Communication unit, 120 ... Weather information receiving unit, 130 ... Environmental condition recording image database, 140 ... Related image database, 150 ... Image processing unit, 160 ... Future environment estimation unit

Claims (2)

自動運転による走行に必要な周辺環境に関する情報を取得する周辺情報取得部を備える自動運転車両の走行環境を評価する走行環境評価システム(100)であって、
カメラによって撮影され、撮影時の気象情報および照度を含む環境条件が記録された複数の環境条件記録画像を予め格納する環境条件記録画像データベース(130)と、
前記周辺環境に関する情報が取得された地点においてカメラによって撮影され、前記周辺環境に関する情報の有効度と関連付けられた複数の関連画像を予め格納する関連画像データベース(140)と、
現在から過去の所定時間前までの間に、前記自動運転車両が将来走行する候補領域内に存在するカメラが、前記候補領域において撮影した候補領域画像を受信する画像受信部(110)と、
前記候補領域における気象情報を受信する気象情報受信部(120)と、
前記複数の環境条件記録画像のうち、前記候補領域における現在の環境条件に最も近い環境条件が記録された環境条件記録画像と、前記自動運転車両が現在地点から前記候補領域まで移動するために要する時間に基づいて予測される前記候補領域における環境条件に最も近い環境条件が記録された環境条件記録画像と、から抽出される環境条件の変化量を用いて、前記候補領域画像を加工する画像加工部(150)と、
前記複数の関連画像と加工された前記候補領域画像とを比較して、前記自動運転車両が前記候補領域を将来走行するときに取得する前記有効度を推定する将来環境推定部(160)と、
前記将来環境推定部が推定した前記有効度を前記自動運転車両に送信する情報送信部(110)と、を備える、走行環境評価システム。
It is a driving environment evaluation system (100) that evaluates the driving environment of an autonomous driving vehicle equipped with a peripheral information acquisition unit that acquires information on the surrounding environment necessary for driving by autonomous driving.
An environmental condition recording image database (130) that stores a plurality of environmental condition recorded images in advance, which are photographed by a camera and record environmental conditions including weather information and illuminance at the time of shooting.
A related image database (140) that stores a plurality of related images taken by a camera at a point where information about the surrounding environment is acquired and associated with the validity of the information about the surrounding environment in advance.
An image receiving unit (110) that receives a candidate area image taken in the candidate area by a camera existing in the candidate area in which the autonomous driving vehicle will travel in the future from the present to a predetermined time in the past.
A weather information receiving unit (120) that receives weather information in the candidate area, and
Among the plurality of environmental condition recorded images, an environmental condition recorded image in which the environmental condition closest to the current environmental condition in the candidate area is recorded, and an image required for the autonomous driving vehicle to move from the current position to the candidate area. Image processing to process the candidate region image using the environmental condition recorded image in which the environmental condition closest to the environmental condition in the candidate region predicted based on time is recorded and the amount of change in the environmental condition extracted from the image. Part (150) and
A future environment estimation unit (160) that estimates the effectiveness acquired when the autonomous driving vehicle travels in the candidate region in the future by comparing the plurality of related images with the processed candidate region image.
A driving environment evaluation system including an information transmission unit (110) that transmits the effectiveness estimated by the future environment estimation unit to the autonomous driving vehicle.
自動運転による走行に必要な周辺環境に関する情報を取得する周辺情報取得部を備える自動運転車両の走行環境を評価する走行環境評価システム(100a)であって、
前記周辺環境に関する情報が取得された地点においてカメラによって撮影され、前記周辺環境に関する情報の有効度と関連付けられた複数の関連画像を予め格納する関連画像データベース(140)と、
現在から過去の所定時間前までの間に、前記自動運転車両が将来走行する候補領域内に存在するカメラが、前記候補領域において撮影した候補領域画像を受信する画像受信部(110)と、
前記候補領域における気象情報を受信する気象情報受信部(120)と、
前記複数の関連画像と前記候補領域画像とを比較して、前記自動運転車両が前記候補領域を現在走行した場合に取得される前記有効度を推定する現在環境推定部(170)と、
前記候補領域における現在の環境条件と、前記自動運転車両が現在地点から前記候補領域まで移動するために要する時間に基づいて予測される前記候補領域における環境条件と、から抽出される環境条件の変化量を用いて、推定された前記有効度を補正する有効度補正部(180)と、
補正された前記有効度を、前記自動運転車両が前記候補領域を将来走行するときに取得する前記有効度とみなして、前記自動運転車両が前記候補領域を将来走行するときに取得する前記有効度を推定する将来環境推定部(160a)と、
前記将来環境推定部が推定した前記有効度を前記自動運転車両に送信する情報送信部(110)と、を備える、走行環境評価システム。
It is a driving environment evaluation system (100a) that evaluates the driving environment of an autonomous driving vehicle equipped with a peripheral information acquisition unit that acquires information on the surrounding environment necessary for driving by autonomous driving.
A related image database (140) that stores a plurality of related images taken by a camera at a point where information about the surrounding environment is acquired and associated with the validity of the information about the surrounding environment in advance.
An image receiving unit (110) that receives a candidate area image taken in the candidate area by a camera existing in the candidate area in which the autonomous driving vehicle will travel in the future from the present to a predetermined time in the past.
A weather information receiving unit (120) that receives weather information in the candidate area, and
The current environment estimation unit (170) that estimates the effectiveness acquired when the autonomous driving vehicle currently travels in the candidate region by comparing the plurality of related images with the candidate region image.
Changes in environmental conditions extracted from the current environmental conditions in the candidate area and the environmental conditions in the candidate area predicted based on the time required for the autonomous vehicle to move from the current position to the candidate area. An effectiveness correction unit (180) that corrects the estimated effectiveness using a quantity, and
The corrected effectiveness is regarded as the effectiveness acquired when the autonomous vehicle travels in the candidate area in the future, and the effectiveness acquired when the autonomous vehicle travels in the candidate region in the future. Future environment estimation unit (160a) that estimates
A driving environment evaluation system including an information transmission unit (110) that transmits the effectiveness estimated by the future environment estimation unit to the autonomous driving vehicle.
JP2019052080A 2019-03-20 2019-03-20 Driving environment evaluation system Active JP7092081B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019052080A JP7092081B2 (en) 2019-03-20 2019-03-20 Driving environment evaluation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019052080A JP7092081B2 (en) 2019-03-20 2019-03-20 Driving environment evaluation system

Publications (2)

Publication Number Publication Date
JP2020154665A true JP2020154665A (en) 2020-09-24
JP7092081B2 JP7092081B2 (en) 2022-06-28

Family

ID=72559147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019052080A Active JP7092081B2 (en) 2019-03-20 2019-03-20 Driving environment evaluation system

Country Status (1)

Country Link
JP (1) JP7092081B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020089785A (en) * 2020-03-12 2020-06-11 株式会社三洋物産 Game machine

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032284A (en) * 2010-07-30 2012-02-16 Hitachi Automotive Systems Ltd Navigation system
JP2016181061A (en) * 2015-03-23 2016-10-13 トヨタ自動車株式会社 Driving environment evaluation system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032284A (en) * 2010-07-30 2012-02-16 Hitachi Automotive Systems Ltd Navigation system
JP2016181061A (en) * 2015-03-23 2016-10-13 トヨタ自動車株式会社 Driving environment evaluation system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020089785A (en) * 2020-03-12 2020-06-11 株式会社三洋物産 Game machine

Also Published As

Publication number Publication date
JP7092081B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
US12014553B2 (en) Predicting three-dimensional features for autonomous driving
US20240070460A1 (en) Generating ground truth for machine learning from time series elements
US10349011B2 (en) System and method for improved obstacle awareness in using a V2X communications system
US10613547B2 (en) System and method for improved obstacle awareness in using a V2X communications system
US10229590B2 (en) System and method for improved obstable awareness in using a V2X communications system
US11346682B2 (en) Augmented 3D map
US20150073705A1 (en) Vehicle environment recognition apparatus
CN109307869B (en) Device and lighting arrangement for increasing the field of view of a lidar detector
US10816972B2 (en) Collective determination among autonomous vehicles
CN113386752B (en) Method and device for determining an optimal cruising lane in a driver assistance system
US20210012261A1 (en) Self-driving control device, vehicle, and demand mediation system
US10162357B2 (en) Distributed computing among vehicles
US11733694B2 (en) Control apparatus, control method, and storage medium
CN111505690B (en) Method and device for detecting emergency vehicle and planning driving path in real time
CN114492679B (en) Vehicle data processing method and device, electronic equipment and medium
JP2017224107A (en) Center and drive support system
JP7092081B2 (en) Driving environment evaluation system
CN113200044A (en) Method and apparatus for low speed driving assistance
JP7347502B2 (en) Traffic jam information providing device, traffic jam information processing method and program
JP6933069B2 (en) Pathfinding device
US20230401870A1 (en) Autonomous driving system, autonomous driving method, and autonomous driving program
JP6523907B2 (en) Inter-vehicle distance detection system, inter-vehicle distance detection method, and program
US20240151540A1 (en) Vehicular training system for driving assistance system
WO2022153838A1 (en) Information processing device, information processing system, method, and program
JP7393930B2 (en) Information processing device, distribution system, and distribution method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220530

R151 Written notification of patent or utility model registration

Ref document number: 7092081

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151