JP2020154665A - Travel environment evaluation system - Google Patents
Travel environment evaluation system Download PDFInfo
- Publication number
- JP2020154665A JP2020154665A JP2019052080A JP2019052080A JP2020154665A JP 2020154665 A JP2020154665 A JP 2020154665A JP 2019052080 A JP2019052080 A JP 2019052080A JP 2019052080 A JP2019052080 A JP 2019052080A JP 2020154665 A JP2020154665 A JP 2020154665A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- environment
- candidate area
- future
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
本開示は、走行環境評価システムに関する。 The present disclosure relates to a driving environment evaluation system.
走行環境評価システムは、車両の走りやすさを評価するシステムである。このような走行環境評価システムの中には、先行する車両に備えられたカメラで撮影した画像に基づいて降雨や降雪による将来的な視界不良を演算予測し、その予測結果に応じて車両の走りやすさを評価するものがある(例えば、特許文献1)。 The driving environment evaluation system is a system that evaluates the ease of driving of a vehicle. In such a driving environment evaluation system, future poor visibility due to rainfall or snowfall is calculated and predicted based on an image taken by a camera provided in the preceding vehicle, and the vehicle runs according to the prediction result. There is something that evaluates ease (for example, Patent Document 1).
このような走行環境評価システムでは、走行環境の評価の基準として視界不良の程度を用いており、人の手動運転による車両の走行についての走行環境を評価している。一方、自動運転による車両は、カメラに加えてミリ波やレーザによって取得された周辺環境に関する情報を用いて走行することから、自動運転による車両の走行についての走行環境の認識可否を評価するシステムについては、これまでに十分に考慮されていなかった。また、先行する車両が自動運転による走行に必要な周辺環境に関する情報を取得する同等の装置を備えていない場合には、自動運転における走行環境の認識可否を評価できないという課題もあった。このような課題を解決するために、先行する車両が自動運転による走行に必要な周辺環境に関する情報を取得する同等の装置を備えていない場合であっても、自動運転における走行環境の認識可否を評価できるシステムの構築が望まれている。 In such a driving environment evaluation system, the degree of poor visibility is used as a criterion for evaluating the driving environment, and the driving environment for driving a vehicle by manual driving by a person is evaluated. On the other hand, since a vehicle driven by autonomous driving travels using information on the surrounding environment acquired by millimeter waves or a laser in addition to a camera, a system for evaluating whether or not the driving environment can be recognized regarding the driving of the vehicle by autonomous driving Has not been fully considered so far. Further, if the preceding vehicle does not have an equivalent device for acquiring information on the surrounding environment necessary for driving by automatic driving, there is also a problem that it is not possible to evaluate whether or not the driving environment can be recognized in automatic driving. In order to solve such problems, even if the preceding vehicle does not have an equivalent device that acquires information on the surrounding environment necessary for driving by autonomous driving, whether or not the driving environment can be recognized in autonomous driving is determined. It is desired to build a system that can be evaluated.
本開示の一形態によれば、走行環境評価システムが提供される。この走行環境評価システムは、自動運転による走行に必要な周辺環境に関する情報を取得する周辺情報取得部を備える自動運転車両の走行環境を評価する走行環境評価システム(100)であって、カメラによって撮影され、撮影時の気象情報および照度を含む環境条件が記録された複数の環境条件記録画像を予め格納する環境条件記録画像データベース(130)と、前記周辺環境に関する情報が取得された地点においてカメラによって撮影され、前記周辺環境に関する情報の有効度と関連付けられた複数の関連画像を予め格納する関連画像データベース(140)と、現在から過去の所定時間前までの間に、前記自動運転車両が将来走行する候補領域内に存在するカメラが、前記候補領域において撮影した候補領域画像を受信する画像受信部(110)と、前記候補領域における気象情報を受信する気象情報受信部(120)と、前記複数の環境条件記録画像のうち、前記候補領域における現在の環境条件に最も近い環境条件が記録された環境条件記録画像と、前記自動運転車両が現在地点から前記候補領域まで移動するために要する時間に基づいて予測される前記候補領域における環境条件に最も近い環境条件が記録された環境条件記録画像と、から抽出される環境条件の変化量を用いて、前記候補領域画像を加工する画像加工部(150)と、前記複数の関連画像と加工された前記候補領域画像とを比較して、前記自動運転車両が前記候補領域を将来走行するときに取得する前記有効度を推定する将来環境推定部(160)と、前記将来環境推定部が推定した前記有効度を前記自動運転車両に送信する情報送信部(110)と、を備える。この形態の走行環境評価システムによれば、撮影画像である候補領域画像が加工されたものを複数の関連画像と比較することによって、自動運転車両が候補領域を将来走行するときに取得する周辺環境に関する情報の有効度を推定できる。このため、候補領域を走行する車両が自動運転による走行に必要な周辺環境に関する情報を取得するための同等の装置を備えていない場合であっても、自動運転における走行環境の認識可否を評価できる。 According to one form of the present disclosure, a driving environment evaluation system is provided. This driving environment evaluation system is a driving environment evaluation system (100) that evaluates the driving environment of an automatically driving vehicle including a peripheral information acquisition unit that acquires information on the surrounding environment necessary for driving by automatic driving, and is photographed by a camera. An environmental condition recording image database (130) that stores in advance a plurality of environmental condition recorded images in which environmental conditions including weather information and illuminance at the time of shooting are recorded, and a camera at a point where information on the surrounding environment is acquired. A related image database (140) that stores a plurality of related images that have been photographed and associated with the validity of information about the surrounding environment in advance, and the automatic driving vehicle will run in the future between the present and a predetermined time in the past. An image receiving unit (110) for receiving a candidate area image captured in the candidate area, a weather information receiving unit (120) for receiving weather information in the candidate area, and a plurality of the cameras existing in the candidate area. Of the environmental condition recorded images of, the environmental condition recorded image in which the environmental condition closest to the current environmental condition in the candidate area is recorded, and the time required for the automatic driving vehicle to move from the current position to the candidate area. An image processing unit that processes the candidate region image using the environmental condition recorded image in which the environmental condition closest to the environmental condition in the candidate region predicted based on is recorded and the amount of change in the environmental condition extracted from the image processing unit ( The future environment estimation unit (150) is compared with the plurality of related images and the processed candidate region image to estimate the effectiveness acquired when the autonomous vehicle travels in the candidate region in the future. 160) and an information transmission unit (110) that transmits the effectiveness estimated by the future environment estimation unit to the automatic driving vehicle. According to the driving environment evaluation system of this form, the surrounding environment acquired when the autonomous driving vehicle travels in the candidate area in the future by comparing the processed candidate area image, which is a captured image, with a plurality of related images. You can estimate the validity of the information about. Therefore, even if the vehicle traveling in the candidate area does not have an equivalent device for acquiring information on the surrounding environment necessary for driving by automatic driving, it is possible to evaluate whether or not the driving environment can be recognized in automatic driving. ..
本開示は、走行環境評価システム以外の種々の形態で実現することも可能である。例えば、走行環境評価装置や走行環境評価方法等の形態で実現することができる。 The present disclosure can also be realized in various forms other than the driving environment evaluation system. For example, it can be realized in the form of a driving environment evaluation device, a driving environment evaluation method, or the like.
A.第1実施形態:
図1には、第1実施形態の走行環境評価システム100の概要について示している。車両50は、手動運転によって走行する車両である。「手動運転」とは、エンジン制御のための操作(アクセルペダルの踏込)と、ブレーキ制御のための操作(ブレーキベダルの踏込)と、操舵制御のための操作(ステアリングホイールの回転)を、車両50に搭乗した搭乗者が実行する運転を意味する。自動運転車両70は、自動運転によって走行する車両である。「自動運転」とは、自動運転車両70に搭乗した搭乗者が運転操作を行うことなく、エンジン制御とブレーキ制御と操舵制御のすべてを自動で実行する運転を意味する。自動運転による走行には、後述する周辺環境に関する情報の取得が必要である。自動運転車両70は、自動運転と手動運転との切り替えを実行可能な車両である。自動運転車両70のドライバ(運転者)は、インストルメントパネル等に用意された所定のスイッチにより自動運転と手動運転とを切り替えることができる。
A. First Embodiment:
FIG. 1 shows an outline of the driving
図1において、格子状に示された道路Rは、車両50および自動運転車両70にとって走行可能な道路である。車両50は、自動運転車両70が将来走行する候補領域DPを走行している。走行環境評価システム100は、車両50に備わるカメラ52(図2にて図示)が候補領域DPにおいて撮影した撮影画像である候補領域画像を受信する。走行環境評価システム100は、候補領域画像に基づいて、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度を推定するとともに、その有効度を自動運転車両70に送信する。ここでいう周辺環境に関する情報の有効度とは、自動運転車両70による周辺環境の認識の程度を数値化したもののことであり、0から1の範囲で表される。有効度は、1に近いほど自動運転車両70による周辺環境の認識について精度が高いことを示す。本実施形態では、有効度は、F値を指標として定義される。他の実施形態では、有効度は、他の指標によって定義されてもよい。
In FIG. 1, the roads R shown in a grid pattern are roads on which the
図2には、走行環境評価システム100と、車両50および自動運転車両70と、の概略構成が示されている。車両50は、カメラ52と、通信部54と、を備える。カメラ52は、車両50の周囲を撮像して画像を取得する。本実施形態では、カメラ52として、車両50に取り付けられているドライブレコーダが用いられる。他の実施形態では、カメラ52として、車両50に搭乗する搭乗者のスマートフォンが車両50に取り付けられてもよいし、車両50の前方にある障害物を感知して衝突の被害を軽減するいわゆる自動ブレーキのために車両50に備えられたカメラが用いられてもよい。通信部54は、カメラ52によって撮影された撮影画像を走行環境評価システム100に対して送る。このとき、通信部54を介して送られる撮影画像には、撮影時の時刻を示す情報およびカメラ52の仕様を示す情報が付加されている。カメラ52が、撮影時の気象情報および照度を含む環境条件を撮影画像に記録できるカメラである場合には、通信部54を介して送られる撮影画像に、環境条件を示す情報が付加されていてもよい。ここでいうカメラ52の仕様を示す情報には、レンズタイプ、水平画角、最低被写体照度、焦点距離のうち少なくとも1つが含まれてもよいし、カメラの型番が含まれてもよい。
FIG. 2 shows a schematic configuration of the traveling
自動運転車両70は、周辺情報取得部72と、通信部74と、認識部76と、を備える。通信部74は、走行環境評価システム100が推定した有効度を示す信号を受信する。周辺情報取得部72は、自動運転による走行に必要な周辺環境に関する情報を取得する。周辺情報取得部72には、カメラ、ミリ波レーダおよびLiDARが含まれる。周辺環境に関する情報とは、周辺情報取得部72によって取得される情報のことを指す。認識部76は、周辺情報取得部72が取得した情報の有効度を判定する。ここでいう有効度とは、上述したように、0から1の範囲で表され、1に近いほど自動運転車両70による周辺環境の認識について精度が高いことを示す。
The autonomous
車両50が備えるカメラ52の性能は、周辺情報取得部72に含まれるカメラの性能より低い。また、車両50は、周辺情報取得部72に含まれるミリ波レーダおよびLiDARを備えていない。このため、車両50は、自動運転による走行に必要な周辺環境に関する情報を取得するための周辺情報取得部72と同等の装置を備えていない。
The performance of the
走行環境評価システム100は、通信部110と、気象情報受信部120と、環境条件記録画像データベース130と、関連画像データベース140と、画像加工部150と、将来環境推定部160と、を備える。通信部110は、車両50から送られる候補領域画像を受信する画像受信部として機能するとともに、後述する将来環境推定部160が推定した周辺環境に関する情報の有効度を自動運転車両70に送信する情報送信部として機能する。
The driving
気象情報受信部120は、気象情報を受信する。ここでいう気象情報には、降水量、日時などの情報が含まれる。より具体的には、気象情報受信部120は、気象情報を提供するサーバから、ネットワークを介して気象情報を取得する。
The weather
図3に示された情報収集車両300は、環境条件記録画像データベース130および関連画像データベース140を構築するための情報を収集する車両である。情報収集車両300は、カメラ352と、周辺情報取得部372と、通信部374と、認識部376と、を備える。
The information collecting vehicle 300 shown in FIG. 3 is a vehicle that collects information for constructing the environmental condition
カメラ352は、車両50に備えられているカメラ52と同等の性能のカメラである。カメラ352は、車両50に備えられているカメラ52と同じ製品であることが好ましいが、カメラ52と同等の性能である限り、任意の製品であってもよい。
The camera 352 is a camera having the same performance as the
周辺情報取得部372は、自動運転車両70に備えられている周辺情報取得部72と同等の構成を有する。周辺情報取得部372は、自動運転車両70に備えられている周辺情報取得部72と同じ構成であることが好ましいが、周辺情報取得部72と同等の性能を有する限り、任意の構成であってもよい。認識部376は、自動運転車両70に備えられている認識部76と同等の構成を有する。認識部376は、自動運転車両70に備えられている認識部76と同じ構成であることが好ましいが、認識部76と同等の性能を有する限り、任意の構成であってもよい。
The peripheral
通信部374は、カメラ352によって取得された撮影画像、周辺情報取得部372によって取得された周辺環境に関する情報および認識部76によって判定された周辺環境に関する情報についての有効度を、環境条件記録画像データベース130の構築および関連画像データベース140の構築を行う機能を有するシステムに送る。このようなシステムは、走行環境評価システム100に含まれていてもよいし、走行環境評価システム100とは異なる構築システムが独立して存在してもよい。異なる構築システムを利用する場合には、環境条件記録画像データベース130および関連画像データベース140が構築されたのち、該構築システムから走行環境評価システム100に対して、環境条件記録画像データベース130および関連画像データベース140が送られる。
The
情報収集車両300は、種々の気象条件において様々な地域を走行することによって情報収集を行う。情報収集車両300は、情報収集のための走行において、カメラ352によって情報収集車両300の周囲を撮像して撮影画像を取得するとともに、周辺情報取得部372によって自動運転による走行に必要な周辺環境に関する情報を取得する。また、取得された情報は、認識部376によって有効度が判定される。
The information collecting vehicle 300 collects information by traveling in various areas under various weather conditions. In traveling for information collection, the information collecting vehicle 300 captures the surroundings of the information collecting vehicle 300 by the camera 352 and acquires a photographed image, and the peripheral
環境条件記録画像データベース130は、カメラ352によって取得された撮影画像を用いて構築される。撮影時の気象情報および照度を含む環境条件と撮影画像とを紐付けることによって、撮影時の気象情報および照度を含む環境条件が記録された撮影画像である環境条件記録画像が作成される。このようにして作成された複数の環境条件記録画像が予め格納されることによって、環境条件記録画像データベース130は構築される。
The environmental condition
上記工程によって構築された環境条件記録画像データベース130は、カメラ352によって撮影された撮影画像であって撮影時の気象情報および照度を含む環境条件が標識された撮影画像である複数の環境条件記録画像を予め格納する。
The environmental condition
関連画像データベース140は、カメラ352によって取得された撮影画像、周辺情報取得部372によって取得された周辺環境に関する情報および認識部76によって判定された周辺環境に関する情報についての有効度を用いて構築される。情報収集車両300がカメラ352、周辺情報取得部372および認識部376を備えることから、カメラ352、周辺情報取得部372および認識部376は、情報収集車両300がある地点を走行しているとき、撮影画像周辺環境に関する情報およびその情報の有効度を同時に取得することができる。このとき取得された撮影画像から画像の特徴(例えば、物体、走行路、標識、信号などのエッジ)を抽出するとともに、抽出結果と有効度とを関連付ける。このときに用いられるパターン認識モデルとして、サポートベクターマシン(SVM)が挙げられる。周辺環境に関する情報が取得された地点において同時に取得された撮影画像に対して、同じ地点において取得された周辺環境に関する情報の有効度を関連付けることによって、周辺環境に関する情報の有効度と関連付けられた撮影画像である関連画像が作成される。このようにして作成された複数の関連画像が予め格納されることによって、関連画像データベース140は構築される。
The
上記工程によって構築された関連画像データベース140は、周辺環境に関する情報が取得された地点においてカメラ352によって撮影された撮影画像であって周辺環境に関する情報の有効度と関連付けられた撮影画像である複数の関連画像を予め格納する。
The
図2の説明に戻り、画像加工部150は、通信部110が受信した候補領域画像を加工する。画像加工部150は、複数の環境条件記録画像のうち、候補領域DPにおける現在の環境条件に最も近い環境条件が標識された画像PGと、自動運転車両70が現在地点から候補領域DPまで移動するために要する時間を経過した後の候補領域DPにおいて気象情報に基づいて予測される環境条件に最も近い環境条件が標識された画像FGと、から抽出される環境条件の変化量を用いて、候補領域画像を加工する。図4には、候補領域画像の加工フローが示されている。例えば、画像PGと画像FGとから抽出される環境条件の変化量が、降水量の増加および照度の低下を示す場合、候補領域画像には、降水量の増加および照度の低下を示す加工が施される。画像PGおよび画像FGは、候補領域DPを撮影した撮影画像でなくてもよく、別の領域を撮影した撮影画像であってもよい。画像PGおよび画像FGは、候補領域DPにおける現在の環境条件および候補領域DPにおいて将来予測される環境条件に基づいて選択される。画像PGおよび画像FGは、もちろん、候補領域DPを撮影した撮影画像であって、かつ、候補領域DPにおける現在の環境条件および候補領域DPにおいて将来予測される環境条件に近い条件であることが好ましい。
Returning to the description of FIG. 2, the
画像加工部150が環境条件の変化量を抽出するために用いる環境条件記録画像の選択の基準には、通信部54を介して送られる撮影画像に付加されたカメラ52の仕様を示す情報が含まれる。環境条件記録画像データベース130に格納される環境条件記録画像の中にカメラ52の仕様と同じ仕様のカメラによって撮影された環境条件記録画像が存在する場合には、その環境条件記録画像から環境条件の変化量の抽出に用いる画像を選択する。環境条件記録画像データベース130に格納される環境条件記録画像の中にカメラ52の仕様と同じ仕様のカメラによって撮影された環境条件記録画像が存在しない場合には、カメラ52の仕様に最も近い仕様のカメラによって撮影された環境条件記録画像から環境条件の変化量の抽出に用いる画像を選択する。
The criteria for selecting the environmental condition recorded image used by the
将来環境推定部160は、加工された候補領域画像と複数の関連画像とを比較して、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度を推定する。この比較が行われる際には、加工された候補領域画像から画像の特徴を抽出して、複数の関連画像と比較される。加工された候補領域画像および関連画像は、ともに撮影画像である。将来環境推定部160は、加工された候補領域画像に最も近い環境条件の関連画像を選択することによって、選択された関連画像に関連付けられた周辺環境に関する情報の有効度を、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度として推定に用いる。ここで、関連画像が選択される際の基準となる環境条件とは、自動運転車両70による認識の精度に影響がある要素に関する条件のことであり、例えば、撮影画像中の雨や霧、塵などによる大気の混濁、照度のことである。通信部110は、将来環境推定部160が推定した周辺環境に関する情報の有効度を自動運転車両70に送信する。
The future
走行環境評価システム100は、図5において説明する将来環境推定処理を実行する。将来環境推定処理は、自動運転車両70から要求を受けた場合において実行される。将来環境推定処理が開始されると、ステップS110では、通信部110によって、車両50から送られる候補領域画像が取得される。このとき、通信部110が取得する候補領域画像は、自動運転車両70からの要求があった現在から過去の所定時間前までの間に、車両50に備わるカメラ52によって撮影されたものである。ここでいう過去の所定時間は、任意に設定されてもよいが、時間幅が短いほど将来環境推定処理の精度は向上する。車両50に備わるカメラ52は、将来環境推定処理が開始されたのちの通信部110からの要求に応じて候補領域画像を取得し、通信部54を介して、その候補領域画像を通信部110に送信してもよい。ステップS120では、画像加工部150によって、画像加工部150が環境条件の変化量を抽出するために用いる環境条件記録画像である画像PGおよび画像FGが選択される。
The driving
ステップS130では、画像加工部150によって、画像PGと画像FGとから抽出された環境条件の変化量を用いて、候補領域画像が加工される。ステップS140では、将来環境推定部160によって、加工された候補領域画像と複数の関連画像とを比較して、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度が推定される。
In step S130, the
ステップS150では、通信部110によって、将来環境推定部160が推定した周辺環境に関する情報の有効度が自動運転車両70に送信される。その後、将来環境推定処理は終了される。
In step S150, the
以上説明した第1実施形態によれば、加工された候補領域画像と複数の関連画像と比較することによって、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度を推定できる。このため、候補領域DPを走行する車両50が自動運転による走行に必要な周辺環境に関する情報を取得するための同等の装置を備えていない場合であっても、自動運転における走行環境の認識可否を評価できる。
According to the first embodiment described above, by comparing the processed candidate region image with a plurality of related images, the valid information on the surrounding environment acquired when the
また、走行環境評価システム100は、車両50のように、自動運転車両70が向かう方向において先行している各々の車両から撮像画像を取得し、その撮像画像を用いて、各々の車両が走行している領域を自動運転車両70が将来走行する場合に取得する周辺環境に関する情報の有効度を推定することができる。このため、各々の車両が走行している領域について推定された有効度を走行環境評価システム100から受信した自動運転車両70は、有効度の高い領域を通る経路を走行予定経路として設定することができる。
In addition, the traveling
B.第2実施形態:
図6に示す走行環境評価システム100aは、環境条件記録画像データベース130および画像加工部150の代わりに現在環境推定部170および有効度補正部180を備える点と、第1実施形態の将来環境推定部160とは異なる将来環境推定部160aを備える点と、を除き、第1実施形態の走行環境評価システム100aの装置構成と同じである。第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
B. Second embodiment:
The driving
現在環境推定部170は、通信部110が受信した候補領域画像と複数の関連画像とを比較して、自動運転車両70が候補領域DPを現在走行した場合に取得される周辺環境に関する情報の有効度を推定する。
The current
有効度補正部180は、候補領域DPにおける現在の環境条件と、自動運転車両70が現在地点から候補領域DPまで移動するために要する時間を経過した後の候補領域DPにおいて気象情報に基づいて予測される環境条件と、から抽出される環境条件の変化量を用いて、現在環境推定部170によって推定された有効度を補正する。
The
将来環境推定部160aは、有効度補正部180によって補正された有効度を、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度とみなして、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度を推定する。通信部110は、将来環境推定部160aが推定した周辺環境に関する情報の有効度を自動運転車両70に送信する。
The future
走行環境評価システム100aは、図7において説明する将来環境推定処理を実行する。将来環境推定処理は、自動運転車両70から要求を受けた場合において実行される。将来環境推定処理が開始されると、ステップS210では、通信部110によって、車両50から送られる候補領域画像が取得される。ステップS220では、現在環境推定部170によって、自動運転車両70が候補領域DPを現在走行した場合に取得される周辺環境に関する情報の有効度が推定される。
The driving
ステップS230では、有効度補正部180によって、候補領域DPにおける現在の環境条件および候補領域DPにおいて将来予測される環境条件から抽出された環境条件の変化量を用いて、ステップS220において推定された有効度が補正される。ステップS240では、将来環境推定部160aによって、ステップS230において補正された有効度を用いて、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度が推定される。
In step S230, the validity estimated in step S220 by the
ステップS250では、通信部110によって、将来環境推定部160aが推定した周辺環境に関する情報の有効度が自動運転車両70に送信される。その後、将来環境推定処理は終了される。
In step S250, the
以上説明した第2実施形態によれば、候補領域画像と複数の関連画像との比較によって推定された有効度を補正することによって、自動運転車両70が候補領域DPを将来走行するときに取得する周辺環境に関する情報の有効度を推定できる。このため、候補領域DPを走行する車両50が自動運転による走行に必要な周辺環境に関する情報を取得するための同等の装置を備えていない場合であっても、自動運転における走行環境の認識可否を評価できる。
According to the second embodiment described above, the self-driving
C.他の実施形態:
第1実施形態の説明において、環境条件記録画像データベース130および関連画像データベース140を構築するための情報収集には、情報収集車両300が用いられていたが、本開示はこれに限られない。例えば、環境条件記録画像データベース130および関連画像データベース140を構築するための情報収集は、人工気象室内における撮影によって実行されてもよい。このような形態では、人工気象室内にカメラ352および周辺情報取得部372を配置した状態において、気象情報および照度を含む環境条件を種々の条件に変更することによって、環境条件記録画像データベース130および関連画像データベース140を構築するための情報収集が実行される。なお、人工気象室内には、周辺情報取得部372が取得した周辺環境に関する情報から画像の特徴を抽出するための対象となる物体が配置されていることが好ましい。
C. Other embodiments:
In the description of the first embodiment, the information collecting vehicle 300 has been used for collecting information for constructing the environmental condition
第1実施形態の説明において、候補領域DPにおいて撮影される撮影画像は、自動運転車両70が向かう方向において先行している車両50に備わるカメラ52によって撮影されていたが、本開示はこれに限られない。候補領域DPにおいて撮影される撮影画像は、候補領域DP内に配置されている監視カメラによって撮影されたものであってもよい。
In the description of the first embodiment, the captured image taken in the candidate region DP was taken by the
第1実施形態において、走行環境評価システム100は、自動運転車両70が向かう方向において先行している各々の車両から撮像画像を取得し、その撮像画像を用いて、各々の車両が走行している領域を自動運転車両70が将来走行するときに取得する周辺環境に関する情報の有効度を推定することができると説明していたが、本開示はこれに限られない。例えば、走行環境評価システム100は、各々の車両が走行している領域において推定される周辺環境に関する情報の有効度を用いて、より広い領域における有効度を推定してもよい。
In the first embodiment, the traveling
図8を用いて、より広い領域における有効度の推定方法について説明する。図8には、自動運転車両70が向かう方向において先行している各々の車両50a〜50dが示されている。車両50a〜50dは、第1実施形態にて説明した車両50と同様に、カメラおよび通信部を備える。車両50a〜50dは、自動運転車両70が将来走行する候補領域DPa〜DPdをそれぞれ走行している。走行環境評価システム100は、まず、車両50a〜50dに備わるカメラが候補領域DPa〜DPdにおいて撮影した撮影画像を取得し、その撮像画像を用いて、車両50a〜50dが走行している領域を自動運転車両70が将来走行するときに取得する周辺環境に関する情報の有効度を推定する。このとき、走行環境評価システム100は、車両50a〜50dの位置を母点として、ボロノイ図を作成する。ボロノイ図の作成によって、候補領域DPa〜DPdとは異なる位置における領域の周辺環境に関する情報の有効度が補完される。このようなボロノイ図において、例えば、候補領域DPaについて推定された有効度が0.9であり、候補領域DPcについて推定された有効度が0.5である場合、候補領域DPaと候補領域DPcとの間の領域における有効度は、候補領域DPaから候補領域DPcに向かうにつれて、0.9から0.5に減少するよう分布している。他の候補領域間の領域における有効度も同様である。このようなボロノイ図を作成することによって、走行環境評価システム100は、候補領域DPa〜DPdより広い領域における有効度を推定してもよい。なお、このような推定方法において、自動運転車両70が将来走行する候補領域の各々を走行する車両は、手動運転によって走行する車両に限られず、自動運転によって走行する自動運転車両であってもよい。
A method of estimating the effectiveness in a wider area will be described with reference to FIG. FIG. 8 shows the
本開示は、上述の実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。 The present disclosure is not limited to the above-described embodiments and modifications, and can be realized with various configurations within a range not deviating from the gist thereof. For example, the embodiments corresponding to the technical features in each of the embodiments described in the column of the outline of the invention, the technical features in the modified examples are used to solve some or all of the above-mentioned problems, or the above-mentioned above. It is possible to replace or combine them as appropriate to achieve some or all of the effects. Further, if the technical feature is not described as essential in the present specification, it can be appropriately deleted.
100…走行環境評価システム、110…通信部、120…気象情報受信部、130…環境条件記録画像データベース、140…関連画像データベース、150…画像加工部、160…将来環境推定部 100 ... Driving environment evaluation system, 110 ... Communication unit, 120 ... Weather information receiving unit, 130 ... Environmental condition recording image database, 140 ... Related image database, 150 ... Image processing unit, 160 ... Future environment estimation unit
Claims (2)
カメラによって撮影され、撮影時の気象情報および照度を含む環境条件が記録された複数の環境条件記録画像を予め格納する環境条件記録画像データベース(130)と、
前記周辺環境に関する情報が取得された地点においてカメラによって撮影され、前記周辺環境に関する情報の有効度と関連付けられた複数の関連画像を予め格納する関連画像データベース(140)と、
現在から過去の所定時間前までの間に、前記自動運転車両が将来走行する候補領域内に存在するカメラが、前記候補領域において撮影した候補領域画像を受信する画像受信部(110)と、
前記候補領域における気象情報を受信する気象情報受信部(120)と、
前記複数の環境条件記録画像のうち、前記候補領域における現在の環境条件に最も近い環境条件が記録された環境条件記録画像と、前記自動運転車両が現在地点から前記候補領域まで移動するために要する時間に基づいて予測される前記候補領域における環境条件に最も近い環境条件が記録された環境条件記録画像と、から抽出される環境条件の変化量を用いて、前記候補領域画像を加工する画像加工部(150)と、
前記複数の関連画像と加工された前記候補領域画像とを比較して、前記自動運転車両が前記候補領域を将来走行するときに取得する前記有効度を推定する将来環境推定部(160)と、
前記将来環境推定部が推定した前記有効度を前記自動運転車両に送信する情報送信部(110)と、を備える、走行環境評価システム。 It is a driving environment evaluation system (100) that evaluates the driving environment of an autonomous driving vehicle equipped with a peripheral information acquisition unit that acquires information on the surrounding environment necessary for driving by autonomous driving.
An environmental condition recording image database (130) that stores a plurality of environmental condition recorded images in advance, which are photographed by a camera and record environmental conditions including weather information and illuminance at the time of shooting.
A related image database (140) that stores a plurality of related images taken by a camera at a point where information about the surrounding environment is acquired and associated with the validity of the information about the surrounding environment in advance.
An image receiving unit (110) that receives a candidate area image taken in the candidate area by a camera existing in the candidate area in which the autonomous driving vehicle will travel in the future from the present to a predetermined time in the past.
A weather information receiving unit (120) that receives weather information in the candidate area, and
Among the plurality of environmental condition recorded images, an environmental condition recorded image in which the environmental condition closest to the current environmental condition in the candidate area is recorded, and an image required for the autonomous driving vehicle to move from the current position to the candidate area. Image processing to process the candidate region image using the environmental condition recorded image in which the environmental condition closest to the environmental condition in the candidate region predicted based on time is recorded and the amount of change in the environmental condition extracted from the image. Part (150) and
A future environment estimation unit (160) that estimates the effectiveness acquired when the autonomous driving vehicle travels in the candidate region in the future by comparing the plurality of related images with the processed candidate region image.
A driving environment evaluation system including an information transmission unit (110) that transmits the effectiveness estimated by the future environment estimation unit to the autonomous driving vehicle.
前記周辺環境に関する情報が取得された地点においてカメラによって撮影され、前記周辺環境に関する情報の有効度と関連付けられた複数の関連画像を予め格納する関連画像データベース(140)と、
現在から過去の所定時間前までの間に、前記自動運転車両が将来走行する候補領域内に存在するカメラが、前記候補領域において撮影した候補領域画像を受信する画像受信部(110)と、
前記候補領域における気象情報を受信する気象情報受信部(120)と、
前記複数の関連画像と前記候補領域画像とを比較して、前記自動運転車両が前記候補領域を現在走行した場合に取得される前記有効度を推定する現在環境推定部(170)と、
前記候補領域における現在の環境条件と、前記自動運転車両が現在地点から前記候補領域まで移動するために要する時間に基づいて予測される前記候補領域における環境条件と、から抽出される環境条件の変化量を用いて、推定された前記有効度を補正する有効度補正部(180)と、
補正された前記有効度を、前記自動運転車両が前記候補領域を将来走行するときに取得する前記有効度とみなして、前記自動運転車両が前記候補領域を将来走行するときに取得する前記有効度を推定する将来環境推定部(160a)と、
前記将来環境推定部が推定した前記有効度を前記自動運転車両に送信する情報送信部(110)と、を備える、走行環境評価システム。 It is a driving environment evaluation system (100a) that evaluates the driving environment of an autonomous driving vehicle equipped with a peripheral information acquisition unit that acquires information on the surrounding environment necessary for driving by autonomous driving.
A related image database (140) that stores a plurality of related images taken by a camera at a point where information about the surrounding environment is acquired and associated with the validity of the information about the surrounding environment in advance.
An image receiving unit (110) that receives a candidate area image taken in the candidate area by a camera existing in the candidate area in which the autonomous driving vehicle will travel in the future from the present to a predetermined time in the past.
A weather information receiving unit (120) that receives weather information in the candidate area, and
The current environment estimation unit (170) that estimates the effectiveness acquired when the autonomous driving vehicle currently travels in the candidate region by comparing the plurality of related images with the candidate region image.
Changes in environmental conditions extracted from the current environmental conditions in the candidate area and the environmental conditions in the candidate area predicted based on the time required for the autonomous vehicle to move from the current position to the candidate area. An effectiveness correction unit (180) that corrects the estimated effectiveness using a quantity, and
The corrected effectiveness is regarded as the effectiveness acquired when the autonomous vehicle travels in the candidate area in the future, and the effectiveness acquired when the autonomous vehicle travels in the candidate region in the future. Future environment estimation unit (160a) that estimates
A driving environment evaluation system including an information transmission unit (110) that transmits the effectiveness estimated by the future environment estimation unit to the autonomous driving vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019052080A JP7092081B2 (en) | 2019-03-20 | 2019-03-20 | Driving environment evaluation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019052080A JP7092081B2 (en) | 2019-03-20 | 2019-03-20 | Driving environment evaluation system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020154665A true JP2020154665A (en) | 2020-09-24 |
JP7092081B2 JP7092081B2 (en) | 2022-06-28 |
Family
ID=72559147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019052080A Active JP7092081B2 (en) | 2019-03-20 | 2019-03-20 | Driving environment evaluation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7092081B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020089785A (en) * | 2020-03-12 | 2020-06-11 | 株式会社三洋物産 | Game machine |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012032284A (en) * | 2010-07-30 | 2012-02-16 | Hitachi Automotive Systems Ltd | Navigation system |
JP2016181061A (en) * | 2015-03-23 | 2016-10-13 | トヨタ自動車株式会社 | Driving environment evaluation system |
-
2019
- 2019-03-20 JP JP2019052080A patent/JP7092081B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012032284A (en) * | 2010-07-30 | 2012-02-16 | Hitachi Automotive Systems Ltd | Navigation system |
JP2016181061A (en) * | 2015-03-23 | 2016-10-13 | トヨタ自動車株式会社 | Driving environment evaluation system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020089785A (en) * | 2020-03-12 | 2020-06-11 | 株式会社三洋物産 | Game machine |
Also Published As
Publication number | Publication date |
---|---|
JP7092081B2 (en) | 2022-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12014553B2 (en) | Predicting three-dimensional features for autonomous driving | |
US20240070460A1 (en) | Generating ground truth for machine learning from time series elements | |
US10349011B2 (en) | System and method for improved obstacle awareness in using a V2X communications system | |
US10613547B2 (en) | System and method for improved obstacle awareness in using a V2X communications system | |
US10229590B2 (en) | System and method for improved obstable awareness in using a V2X communications system | |
US11346682B2 (en) | Augmented 3D map | |
US20150073705A1 (en) | Vehicle environment recognition apparatus | |
CN109307869B (en) | Device and lighting arrangement for increasing the field of view of a lidar detector | |
US10816972B2 (en) | Collective determination among autonomous vehicles | |
CN113386752B (en) | Method and device for determining an optimal cruising lane in a driver assistance system | |
US20210012261A1 (en) | Self-driving control device, vehicle, and demand mediation system | |
US10162357B2 (en) | Distributed computing among vehicles | |
US11733694B2 (en) | Control apparatus, control method, and storage medium | |
CN111505690B (en) | Method and device for detecting emergency vehicle and planning driving path in real time | |
CN114492679B (en) | Vehicle data processing method and device, electronic equipment and medium | |
JP2017224107A (en) | Center and drive support system | |
JP7092081B2 (en) | Driving environment evaluation system | |
CN113200044A (en) | Method and apparatus for low speed driving assistance | |
JP7347502B2 (en) | Traffic jam information providing device, traffic jam information processing method and program | |
JP6933069B2 (en) | Pathfinding device | |
US20230401870A1 (en) | Autonomous driving system, autonomous driving method, and autonomous driving program | |
JP6523907B2 (en) | Inter-vehicle distance detection system, inter-vehicle distance detection method, and program | |
US20240151540A1 (en) | Vehicular training system for driving assistance system | |
WO2022153838A1 (en) | Information processing device, information processing system, method, and program | |
JP7393930B2 (en) | Information processing device, distribution system, and distribution method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210716 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220530 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7092081 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |