JP2016130966A - Risk estimation device, risk estimation method and computer program for risk estimation - Google Patents
Risk estimation device, risk estimation method and computer program for risk estimation Download PDFInfo
- Publication number
- JP2016130966A JP2016130966A JP2015005241A JP2015005241A JP2016130966A JP 2016130966 A JP2016130966 A JP 2016130966A JP 2015005241 A JP2015005241 A JP 2015005241A JP 2015005241 A JP2015005241 A JP 2015005241A JP 2016130966 A JP2016130966 A JP 2016130966A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- risk
- scene
- scenes
- risk level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Radar Systems Or Details Thereof (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両の走行の際に発生する危険の度合いを推定する危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラムに関する。 The present invention relates to a risk level estimation device, a risk level estimation method, and a risk level estimation computer program that estimate the level of danger that occurs when a vehicle travels.
車両と車両、あるいは、車両と人との接触事故を減らすために、何らかの事故が起きそうな危険を予測して、その予測結果を利用することで車両の走行を支援する技術が提案されている（例えば、特許文献１、２及び非特許文献１を参照）。 In order to reduce vehicle-to-vehicle or vehicle-to-people accidents, a technology has been proposed that supports the driving of vehicles by predicting the danger that an accident will occur and using the prediction results. (For example, see Patent Documents 1 and 2 and Non-Patent Document 1).
例えば、特許文献１に開示された危険個所情報表示装置は、車両の位置に基づいて、危険個所データベースに記録されている危険個所を車両が通過することが想定される場合、その危険個所における危険因子に関する情報を、視角的なオブジェクトにイメージ化して、ウインドウディスプレイ上の危険個所に対応する視点位置に表示させる。 For example, in the danger location information display device disclosed in Patent Document 1, when it is assumed that the vehicle passes through the danger location recorded in the danger location database based on the position of the vehicle, the danger location information in the danger location is displayed. Information on the factor is imaged into a visual object and displayed at the viewpoint position corresponding to the dangerous part on the window display.
また、特許文献２に開示された移動体警告装置は、クライアント、ユーザ及び周囲の環境の状況に対応するヒヤリハット情報を状況依存ヒヤリハットマップから検索して抽出し、抽出したヒヤリハット情報をユーザに通知する。 In addition, the moving body warning device disclosed in Patent Literature 2 retrieves and extracts near-miss information corresponding to the situation of the client, the user, and the surrounding environment from the situation-dependent near-miss map, and notifies the user of the extracted near-miss information. .
また、非特許文献１に開示された方法は、センサの死角に対する警告を与える。 In addition, the method disclosed in Non-Patent Document 1 gives a warning for the blind spot of the sensor.
特許文献１または２に開示された技術では、予め登録された危険個所についての危険が通知されるに過ぎない。したがって、それらの技術は、登録されていない場所において生じた危険を検知したり、そのような危険についての警告をドライバへ行うことはできない。また、非特許文献１に開示された技術は、センサの死角についての警告を与えるに過ぎず、他の危険、例えば、センサの死角外にいる他の移動物体との関係で生じ得る危険を検知することはできない。 With the technique disclosed in Patent Document 1 or 2, the danger of a dangerous part registered in advance is merely notified. Therefore, those techniques cannot detect a danger that has occurred in a location that is not registered, and cannot warn the driver of such a danger. In addition, the technique disclosed in Non-Patent Document 1 only gives a warning about the blind spot of the sensor, and detects other dangers, for example, a danger that may occur in relation to other moving objects outside the blind spot of the sensor. I can't do it.
そこで、本発明は、車両の走行の際に生じる様々な危険に対する危険の度合いを推定できる危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラムを提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a risk level estimation device, a risk level estimation method, and a risk level estimation computer program that can estimate the level of risk for various dangers that occur when a vehicle travels.
請求項１の記載によれば、本発明の一つの形態として、危険度推定装置が提供される。係る危険度推定装置は、車両（１０）の周囲の状況を検知するセンサ（１１）により生成されたセンサ情報に基づいて、車両（１０）の周囲の状況の特徴を表す複数の特徴量を抽出する特徴量抽出部（４１）と、危険が生じる複数のシーンのそれぞれごとに求められた、車両（１０）の周囲の状況がそのシーンに該当する確からしさの分布を表す確率分布に複数の特徴量を適用することで、複数のシーンのそれぞれごとに、車両（１０）の周囲の状況がそのシーンに該当する確からしさを求めるシーン推定部（４２）と、複数のシーンのそれぞれごとに設けられ、複数の特徴量から複数のシーンのうちの対応するシーンについての危険の度合いである個別危険度を算出する複数の個別危険度算出部（４３−１〜４３−ｎ）と、複数のシーンのそれぞれについての個別危険度と確からしさに応じて車両（１０）の周囲の状況についての危険の度合いである危険度を算出する危険度推定部（４４）とを有する。
本発明に係る危険度推定装置は、上記の構成を有することにより、車両の走行の際に生じる様々な危険に対する危険の度合いを推定できる。
According to the first aspect of the present invention, a risk estimation device is provided as one aspect of the present invention. The risk level estimation apparatus extracts a plurality of feature amounts representing features of the situation around the vehicle (10) based on sensor information generated by the sensor (11) that detects the situation around the vehicle (10). A plurality of features in a probability distribution representing a probability distribution in which the situation around the vehicle (10) is determined for each of a plurality of scenes in which danger occurs, By applying the amount, for each of the plurality of scenes, a scene estimation unit (42) for determining the probability that the situation around the vehicle (10) corresponds to the scene is provided for each of the plurality of scenes. A plurality of individual risk level calculation units (43-1 to 43-n) that calculate individual risk levels that are the risk levels of corresponding scenes among a plurality of scenes from a plurality of feature amounts; Depending on the individual risk and likelihood for respectively and a vehicle risk estimation unit for calculating a risk is the degree of danger of the situation surrounding the (10) (44).
The risk level estimation apparatus according to the present invention has the above-described configuration, so that it is possible to estimate the degree of danger with respect to various dangers that occur when the vehicle travels.
また請求項２の記載によれば、危険度推定部（４４）は、複数のシーンのそれぞれについての個別危険度を、複数のシーンのうちの対応するシーンについての確からしさで重み付け加算することで危険度を算出することが好ましい。
これにより、危険度推定装置は、危険が生じる様々なシーンについての個別危険度を考慮して危険度を求めるので、車両の走行の際に生じる様々な危険に対する危険の度合いをより適切にもとめることができる。
According to the second aspect of the present invention, the risk level estimation unit (44) weights and adds the individual risk levels for each of the plurality of scenes with the probability of the corresponding scene of the plurality of scenes. It is preferable to calculate the degree of risk.
As a result, the risk level estimation device obtains the risk level in consideration of the individual risk levels for various scenes where danger occurs, so that the risk level for various risks that occur when the vehicle travels can be more appropriately determined. Can do.
さらに、請求項３の記載によれば、危険度推定部（４４）は、複数のシーンのうち、確からしさが最も高いシーンについての個別危険度を、危険度とすることが好ましい。
これにより、危険度推定装置は、危険が生じる様々なシーンのうち、車両の周囲の状況に最も類似するシーンに基づいて危険度を求めるので、危険度を適切に求めることができるとともに、危険度の算出に要する演算量を削減できる。
Further, according to the third aspect of the present invention, it is preferable that the risk level estimation unit (44) sets the individual risk level of the scene with the highest probability among the plurality of scenes as the risk level.
As a result, the danger level estimation device obtains the danger level based on the scene most similar to the situation around the vehicle among various scenes in which danger occurs, so that the danger level can be obtained appropriately, and the danger level It is possible to reduce the amount of calculation required to calculate
さらに、請求項４の記載によれば、複数の個別危険度算出部（４３−１〜４３−ｎ）のそれぞれは、複数の特徴量のうちのその個別危険度算出部について予め設定された１以上の特徴量を入力とし、個別危険度を出力とする識別器を有することが好ましい。
これにより、危険度推定装置は、個別危険度への寄与の度合いが比較的大きい特徴量のみを個別危険度の算出に利用できるので、個別危険度の精度を向上できるとともに、個別危険度の算出に要する演算量を削減できる。
Furthermore, according to the description of claim 4, each of the plurality of individual risk calculation units (43-1 to 43-n) is preset with respect to the individual risk calculation unit of the plurality of feature amounts. It is preferable to have a discriminator that receives the above feature quantity as an input and outputs an individual risk level.
As a result, since the risk level estimation device can use only feature quantities that have a relatively large degree of contribution to the individual risk level for calculating the individual risk level, it is possible to improve the accuracy of the individual risk level and calculate the individual risk level. Can reduce the amount of computation required.
また請求項５の記載によれば、本発明の他の形態として、危険度推定方法が提供される。係る危険度推定方法は、車両（１０）の周囲の状況を検知するセンサ（１１）により生成されたセンサ情報に基づいて、車両（１０）の周囲の状況の特徴を表す複数の特徴量を抽出するステップと、危険が生じる複数のシーンのそれぞれごとに求められた、車両（１０）の周囲の状況がそのシーンに該当する確からしさの分布を表す確率分布に複数の特徴量を適用することで、複数のシーンのそれぞれごとに、車両（１０）の周囲の状況がそのシーンに該当する確からしさを求めるステップと、複数のシーンのそれぞれごとに、複数の特徴量からそのシーンについての危険の度合いである個別危険度を算出するステップと、複数のシーンのそれぞれについての個別危険度と確からしさに応じて車両（１０）の周囲の状況についての危険の度合いである危険度を算出するステップと、を含む。
本発明に係る危険度推定方法は、上記のステップを有することにより、車両の走行の際に生じる様々な危険に対する危険の度合いを推定できる。
According to the fifth aspect of the present invention, a risk estimation method is provided as another embodiment of the present invention. This risk level estimation method extracts a plurality of feature amounts representing features of the situation around the vehicle (10) based on sensor information generated by the sensor (11) that detects the situation around the vehicle (10). And applying a plurality of feature quantities to a probability distribution representing a probability distribution in which the situation around the vehicle (10) corresponds to the scene, which is obtained for each of the plurality of scenes in which danger occurs. , For each of the plurality of scenes, a step of determining the probability that the situation around the vehicle (10) corresponds to the scene, and for each of the plurality of scenes, the degree of danger for the scene from the plurality of feature amounts The degree of danger for the situation around the vehicle (10) according to the step of calculating the individual danger level and the individual risk degree and probability for each of the plurality of scenes Comprising a step of calculating the risk is, the.
Since the risk level estimation method according to the present invention includes the above steps, it is possible to estimate the level of risk for various dangers that occur when the vehicle travels.
また請求項６の記載によれば、本発明のさらに他の形態として、危険度推定用コンピュータプログラムが提供される。係る危険度推定用コンピュータプログラムは、車両（１０）の周囲の状況を検知するセンサ（１１）により生成されたセンサ情報に基づいて、車両（１０）の周囲の状況の特徴を表す複数の特徴量を抽出するステップと、危険が生じる複数のシーンのそれぞれごとに求められた、車両（１０）の周囲の状況がそのシーンに該当する確からしさの分布を表す確率分布に複数の特徴量を適用することで、複数のシーンのそれぞれごとに、車両（１０）の周囲の状況がそのシーンに該当する確からしさを求めるステップと、複数のシーンのそれぞれごとに、複数の特徴量からそのシーンについての危険の度合いである個別危険度を算出するステップと、複数のシーンのそれぞれについての個別危険度と確からしさに応じて車両（１０）の周囲の状況についての危険の度合いである危険度を算出するステップと、をコンピュータに実行させる命令を有する。
本発明に係る危険度推定用コンピュータプログラムは、上記の命令を有することにより、車両の走行の際に生じる様々な危険に対する危険の度合いを推定できる。
According to a sixth aspect of the present invention, a risk degree estimation computer program is provided as still another aspect of the present invention. The risk degree estimation computer program includes a plurality of feature amounts representing features of the situation around the vehicle (10) based on sensor information generated by the sensor (11) that detects the situation around the vehicle (10). And applying a plurality of feature quantities to a probability distribution representing a probability distribution in which a situation around the vehicle (10) corresponds to the scene, which is obtained for each of a plurality of scenes in which danger occurs. Thus, for each of a plurality of scenes, a step of determining the probability that the situation around the vehicle (10) corresponds to the scene, and for each of the plurality of scenes, a risk about the scene from a plurality of feature amounts. A step of calculating the individual risk level that is the degree of the vehicle, and the situation around the vehicle (10) according to the individual risk level and the probability for each of the plurality of scenes Comprising instructions to execute the steps of calculating the risk is the degree of danger with, to the computer.
The computer program for risk estimation according to the present invention can estimate the degree of risk for various dangers that occur when the vehicle travels by having the above-described command.
上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。 The reference numerals in parentheses attached to the above-described parts are examples that show the correspondence with specific means described in the embodiments described later.
以下、図を参照しつつ、危険度推定装置について説明する。
この危険度推定装置は、車両に搭載された各種のセンサからの信号に基づいて、車両の周囲または車両自身の挙動に関する特徴を表す複数の特徴量を抽出し、抽出した特徴量の組を、予め分類された、危険が発生する様々なシーンについての確率分布に適用して、シーンごとに車両の周囲の状況がそのシーンに該当する確からしさを求める。そしてこの危険度推定装置は、シーンごとに設けられた識別器にその抽出された特徴量の組を入力することにより得られる、車両の周囲の状況がそのシーンに該当するとした場合の危険の度合いを表す個別危険度を、シーンごとの確からしさで重み付け加算することで、車両の周囲の状況の危険の度合いを推定する。
Hereinafter, the risk estimation device will be described with reference to the drawings.
This risk estimation device extracts a plurality of feature amounts representing features related to the behavior of the surroundings of the vehicle or the vehicle itself based on signals from various sensors mounted on the vehicle, and sets the extracted feature amount sets. Applying to the probability distributions for various scenes where danger occurs, classified in advance, the probability that the situation around the vehicle corresponds to the scene is obtained for each scene. This risk level estimation device is obtained by inputting a set of extracted feature values to a classifier provided for each scene, and the level of danger when the situation around the vehicle corresponds to the scene The degree of danger of the situation around the vehicle is estimated by weighting and adding the individual danger level representing the probability of each scene.
図１は、一つの実施形態による危険度推定装置の概略構成図である。図１に示すように、危険度推定装置１は、車両１０に搭載され、通信部２と、記憶部３と、制御部４とを有する。なお、図１では、説明の都合のため、危険度推定装置１の各構成要素及び車両１０の形状、サイズ及び配置は、実際のものとは異なっている。 FIG. 1 is a schematic configuration diagram of a risk degree estimation device according to one embodiment. As shown in FIG. 1, the risk estimation device 1 is mounted on a vehicle 10 and includes a communication unit 2, a storage unit 3, and a control unit 4. In FIG. 1, for convenience of explanation, each component of the risk estimation device 1 and the shape, size, and arrangement of the vehicle 10 are different from actual ones.
通信部２は、車両１０に搭載され、車両１０の周囲の状況または車両１０自身の挙動を表すセンサ情報を生成する各種のセンサ１１及びディスプレイ１２と、例えば、コントロールエリアネットワーク（以下、ＣＡＮという）１３を介して接続される。そして通信部２は、センサ１１から、所定の周期（例えば、100msec〜1sec）ごとに、センサ情報を取得する。そして通信部２は、取得したセンサ情報を制御部４へ渡す。 The communication unit 2 is mounted on the vehicle 10, and various sensors 11 and a display 12 that generate sensor information representing the situation around the vehicle 10 or the behavior of the vehicle 10 itself, and a control area network (hereinafter referred to as CAN), for example. 13 is connected. And the communication part 2 acquires sensor information from the sensor 11 for every predetermined period (for example, 100msec-1sec). Then, the communication unit 2 passes the acquired sensor information to the control unit 4.
本実施形態では、センサ１１は、車両１０の周囲の状況を検知してセンサ情報を生成するセンサとして、例えば、車両１０に搭載され、車両１０の周囲、特に前方を撮影するように構成された車載カメラ、レーザセンサあるいはレーダといった、車両１０の周囲にある他の物体の検出または他の物体までの距離の測定に利用されるセンサを含む。さらに、センサ１１は、車両１０の周囲の状況を検知してセンサ情報を生成するセンサとして、Global Positioning System(GPS)の受信機といった、車両１０の現在位置情報を取得するセンサ、雨滴の有無を検知する雨滴センサ、現在時刻を表す時計などを含んでもよい。さらに、センサ１１は、車両１０の挙動を検知してセンサ情報を生成するセンサとして、車両１０の速度を表す車速センサ、車両１０のアクセル開度、ブレーキの踏みこみ度合い、ハンドルの回転量などを取得するセンサを含んでもよい。なお、通信部２は、センサ１１からのセンサ情報を、車両１０の電子制御ユニット（ＥＣＵ、図示せず）を介して間接的に取得してもよい。 In the present embodiment, the sensor 11 is mounted on, for example, the vehicle 10 as a sensor that detects the situation around the vehicle 10 and generates sensor information, and is configured to photograph the periphery of the vehicle 10, particularly the front. It includes sensors used for detecting other objects around the vehicle 10 or measuring distances to other objects, such as an in-vehicle camera, a laser sensor, or a radar. Further, the sensor 11 is a sensor for detecting the current position information of the vehicle 10, such as a receiver of a Global Positioning System (GPS), as a sensor that detects the situation around the vehicle 10 and generates sensor information. It may include a raindrop sensor to detect, a clock indicating the current time, and the like. Further, the sensor 11 detects a behavior of the vehicle 10 and generates sensor information, such as a vehicle speed sensor indicating the speed of the vehicle 10, an accelerator opening degree of the vehicle 10, a degree of depression of a brake, a rotation amount of a handle, and the like. A sensor to acquire may be included. Note that the communication unit 2 may indirectly acquire the sensor information from the sensor 11 via an electronic control unit (ECU, not shown) of the vehicle 10.
ディスプレイ１２は、例えば、液晶ディスプレイあるいは有機ＥＬディスプレイで構成され、表示画面がドライバに向くように、インストルメントパネル内に配置される。また、ディスプレイ１２は、インストルメントパネルと独立して配置されてもよい。あるいは、ディスプレイ１２は、ナビゲーション装置など、他の車載装置のディスプレイであってもよい。そしてディスプレイ１２は、制御部４から受信した画像を表示する。 The display 12 is composed of, for example, a liquid crystal display or an organic EL display, and is arranged in the instrument panel so that the display screen faces the driver. Further, the display 12 may be disposed independently of the instrument panel. Alternatively, the display 12 may be a display of another in-vehicle device such as a navigation device. The display 12 displays the image received from the control unit 4.
記憶部３は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部３は、危険度推定装置１を制御するための各種プログラム、交差点または建物などの位置座標を表す地図情報、センサ１１から取得した各種のセンサ情報、及び制御部４による一時的な演算結果などを記憶する。また記憶部３は、危険が生じる可能性がある複数のシーンのそれぞれごとの確率分布、各シーンに対応する識別器を規定するための各種パラメータなどを記憶する。 The storage unit 3 includes, for example, a semiconductor memory such as an electrically rewritable nonvolatile memory and a volatile memory. And the memory | storage part 3 is the various programs for controlling the risk estimation apparatus 1, the map information showing position coordinates, such as an intersection or a building, the various sensor information acquired from the sensor 11, and the temporary calculation by the control part 4 Memorize the results. The storage unit 3 stores a probability distribution for each of a plurality of scenes that may cause danger, various parameters for defining a discriminator corresponding to each scene, and the like.
制御部４は、１個もしくは複数個の図示してないプロセッサ及びその周辺回路を有する。そして制御部４は、危険度推定装置１全体を制御する。
図２に、制御部４の機能ブロック図を示す。図２に示すように、制御部４は、特徴量抽出部４１と、シーン推定部４２と、個別危険度算出部４３−１〜４３−ｎと、危険度推定部４４とを有する。制御部４が有するこれらの各部は、例えば、制御部４が有するマイクロプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。
The control unit 4 includes one or a plurality of processors (not shown) and their peripheral circuits. And the control part 4 controls the risk estimation apparatus 1 whole.
FIG. 2 shows a functional block diagram of the control unit 4. As illustrated in FIG. 2, the control unit 4 includes a feature amount extraction unit 41, a scene estimation unit 42, individual risk level calculation units 43-1 to 43-n, and a risk level estimation unit 44. Each of these units included in the control unit 4 is implemented as, for example, a functional module realized by a computer program executed on a microprocessor included in the control unit 4.
特徴量抽出部４１は、所定の周期ごとに、最新のセンサ情報などから、車両１０の周囲の状況の特徴を表す特徴量の組を抽出する。例えば、特徴量抽出部４１は、車載カメラから得られた車両周囲が撮影された画像から、車両１０の周囲にある、車両１０に対する危険をもたらす可能性が有る物体、あるいは危険度の推定に関連する物体を検出する。 The feature amount extraction unit 41 extracts a set of feature amounts representing the features of the situation around the vehicle 10 from the latest sensor information and the like at predetermined intervals. For example, the feature amount extraction unit 41 is related to estimation of an object around the vehicle 10 that may pose a danger to the vehicle 10 or a risk level from an image obtained by capturing the vehicle periphery obtained from the in-vehicle camera. The object to be detected is detected.
検出対象となる、車両１０に対する危険をもたらす可能性が有る物体、あるいは危険度の推定に関連する物体は、例えば、他の車両、歩行者、信号機、分離帯、信号機、あるいは車両１０の周囲にある建物である。
特徴量抽出部４１は、センサ情報の一例である、車両周囲が撮影された画像から、これらの検出対象となる物体を検出するために、例えば、検出対象となる物体か否かを識別する識別器をその画像に適用することで、検出対象となる物体を検出する。そのような識別器として、例えば、Haarlike特徴、あるいはHOG特徴などを入力とするAdaBoostベースあるいはReal AdaBoostベースの識別器を利用できる。また特徴量抽出部４１は、サポートベクトルマシンなど、他の識別器を利用してもよい。なお、識別器は、検出対象となる物体の種類ごとに設けられてもよい。そして特徴量抽出部４１は、例えば、画像を複数の部分領域に分割し、部分領域ごとに識別器の入力となる特徴量を抽出し、その特徴量を識別器に入力することで、その部分領域に検出対象となる物体が存在するか否かの判定結果を得ることができる。
An object that may cause a danger to the vehicle 10 to be detected or an object related to estimation of the danger level is, for example, around another vehicle, a pedestrian, a traffic light, a separation band, a traffic light, or the vehicle 10. It is a building.
The feature amount extraction unit 41 is an example of sensor information. In order to detect these detection target objects from an image of the surroundings of the vehicle, for example, the feature amount extraction unit 41 identifies whether the detection target object is an object. An object to be detected is detected by applying a container to the image. As such a classifier, for example, an AdaBoost-based or Real AdaBoost-based classifier that receives a Haarlike feature, a HOG feature, or the like can be used. The feature quantity extraction unit 41 may use another classifier such as a support vector machine. A discriminator may be provided for each type of object to be detected. Then, the feature quantity extraction unit 41 divides the image into a plurality of partial areas, extracts the feature quantities that are input to the classifier for each partial area, and inputs the feature quantities to the classifier, for example. A determination result as to whether or not an object to be detected exists in the area can be obtained.
また、特徴量抽出部４１は、記憶部３に記憶されている地図情報を参照して、センサ情報として取得した車両１０の現在位置が特定の場所に対応するか否か判定し、その判定結果に応じて、車両１０の現在位置を表す情報を特徴量としてもよい。例えば、車両１０の現在位置が交差点から30m以内である場合、特徴量抽出部４１は、特徴量として、車両１０の現在位置が交差点であることを求めてもよい。 Further, the feature amount extraction unit 41 refers to the map information stored in the storage unit 3 to determine whether or not the current position of the vehicle 10 acquired as sensor information corresponds to a specific location, and the determination result Accordingly, information representing the current position of the vehicle 10 may be used as the feature amount. For example, when the current position of the vehicle 10 is within 30 m from the intersection, the feature amount extraction unit 41 may determine that the current position of the vehicle 10 is an intersection as the feature amount.
さらに、特徴量抽出部４１は、抽出した特徴量の組を、シーン推定部４２及び個別危険度算出部４３−１〜４３−ｎが利用するワードに変換する。 Further, the feature amount extraction unit 41 converts the extracted feature amount set into words used by the scene estimation unit 42 and the individual risk level calculation units 43-1 to 43-n.
本実施形態では、ワードは、各特徴量が、それぞれ、1ビットから複数のビットで表されるビット列として生成される。 In the present embodiment, the word is generated as a bit string in which each feature amount is represented by 1 bit to a plurality of bits.
図３は、ワードの一例を示す図である。図３において、ワード３００は、特徴量３０１〜３０３を含む。例えば、特徴量３０１は、雨滴の検出の有無を表す。特徴量３０１のように、取り得る状態が２通りしかない特徴量は1ビットで表される。例えば、この例では、雨滴が検出されている場合、特徴量３０１は'1'となり、雨滴が検出されていない場合、特徴量３０１は'0'となる。したがって、図３の場合、特徴量３０１は、雨滴が検出されていることを表す。また、特徴量３０２は、車両１０の速度を表す。速度のように、取り得る値が連続値である場合には、その値が取り得る範囲を複数の区間に区切り、区間ごとに一つのビットが割り当てられる。そしてセンサ情報などで示される値が含まれる区間に対応するビットの値を'1'とし、他の区間に対応するビットの値を'0'とすることで、その特徴量が表される。例えば、車両１０の速度は、0〜30km/hの区間（速度低）、30km/h〜60km/hの区間（速度中）、60km/h以上の区間（速度高）に区分される。図３の場合、先頭のビットのみが'1'であるので、特徴量３０２は、車両１０の速度が速度低であることを表している。 FIG. 3 is a diagram illustrating an example of a word. In FIG. 3, the word 300 includes feature amounts 301 to 303. For example, the feature quantity 301 represents the presence or absence of raindrop detection. Like the feature amount 301, a feature amount having only two possible states is represented by 1 bit. For example, in this example, when a raindrop is detected, the feature amount 301 is “1”, and when no raindrop is detected, the feature amount 301 is “0”. Therefore, in the case of FIG. 3, the feature quantity 301 represents that a raindrop is detected. The feature quantity 302 represents the speed of the vehicle 10. When the possible values are continuous values, such as speed, the possible range of the value is divided into a plurality of sections, and one bit is assigned to each section. A bit value corresponding to a section including a value indicated by sensor information or the like is set to “1”, and a bit value corresponding to another section is set to “0”, thereby representing the feature amount. For example, the speed of the vehicle 10 is divided into a section of 0 to 30 km / h (low speed), a section of 30 km / h to 60 km / h (medium speed), and a section of 60 km / h or more (high speed). In the case of FIG. 3, since only the first bit is “1”, the feature amount 302 indicates that the speed of the vehicle 10 is low.
特徴量３０３は、車両１０の周囲で検出された物体の個数とその物体の位置を表す。本実施形態では、特徴量３０３として、物体の種類ごとに、かつ、車両１０の周囲に設定される複数の部分領域のそれぞれに、検出された物体の数を表す複数のビットが設定される。 The feature amount 303 represents the number of objects detected around the vehicle 10 and the positions of the objects. In the present embodiment, a plurality of bits representing the number of detected objects is set as the feature amount 303 for each type of object and in each of a plurality of partial areas set around the vehicle 10.
図４は、車両１０の周囲の設定される部分領域の一例を示す図である。図４において、車両１０の周囲の領域４００は、車両１０の進行方向に沿って３列、かつ、進行方向に直交する方向に３列の９個の部分領域w0〜w8に区分される。そしてw3は、車両１０が存在する部分領域に相当する。図４において、上側に表示される部分領域ほど、車両１０から前方側へ離れていることを表す。一例では、部分領域w2、w5、w8は、それぞれ、車両１０の前方16m〜30mの範囲に相当する。また、部分領域w1、w4、w7は、車両１０の前方6m〜16mの範囲に相当する。そして部分領域w0、w3、w6は、車両１０の後方5m〜車両１０の前方6mの範囲に相当する。また、車両１０の周囲は、車両１０の進行方向に直交する方向については、2mごとに区切られている。すなわち、部分領域w0〜w2は、それぞれ、車両１０の左側1m〜3mの範囲に相当する。また、部分領域w3〜w5は、車両１０の左側1m〜右側1mの範囲に相当する。そして部分領域w6〜w8は、それぞれ、車両１０の右側1m〜3mの範囲に相当する。 FIG. 4 is a diagram illustrating an example of a set partial region around the vehicle 10. In FIG. 4, a region 400 around the vehicle 10 is divided into nine partial regions w 0 to w 8 in three rows along the traveling direction of the vehicle 10 and three rows in a direction orthogonal to the traveling direction. . W 3 corresponds to a partial region where the vehicle 10 exists. In FIG. 4, the partial area displayed on the upper side indicates that the vehicle 10 is farther away from the front side. In one example, the partial areas w 2 , w 5 , and w 8 correspond to the range of 16 m to 30 m ahead of the vehicle 10, respectively. The partial areas w 1 , w 4 , and w 7 correspond to a range of 6 m to 16 m ahead of the vehicle 10. The partial areas w 0 , w 3 , and w 6 correspond to a range from 5 m behind the vehicle 10 to 6 m ahead of the vehicle 10. Further, the periphery of the vehicle 10 is divided every 2 m in a direction orthogonal to the traveling direction of the vehicle 10. That is, the partial areas w 0 to w 2 correspond to the range of 1 m to 3 m on the left side of the vehicle 10, respectively. Further, the partial areas w 3 to w 5 correspond to a range from 1 m on the left side to 1 m on the right side of the vehicle 10. The partial regions w 6 to w 8 correspond to the range of 1 m to 3 m on the right side of the vehicle 10, respectively.
そこで、ワードでは、特徴量３０３として、検出された物体の種類ごとに、各部分領域w0〜w2、w4〜w8のそれぞれについて、検出された物体の数を表すために3ビットが割り当てられる。ある物体の種類（例えば、歩行者）について、部分領域wi(i=0〜8)の3ビットとも'0'である場合、その部分領域wiにおいてその種類の物体は検出されていないことを表す。部分領域wiにおいてその種類の物体が一つだけ検出されている場合、割り当てられた3ビットのうちの先頭のビットのみが'1'となり、後続のビットは'0'となる(すなわち、'100')。また、部分領域wiにおいてその種類の物体が二つ検出されている場合、割り当てられた3ビットのうちの中央のビットのみが'1'となり、他のビットは'0'となる(すなわち、'010')。そして部分領域wiにおいてその種類の物体が３個以上検出されている場合、割り当てられた3ビットのうちの最後のビットのみが'1'となり、他のビットは'0'となる(すなわち、'001')。図３の例では、特徴量３０３は、部分領域w1に一つの物体が検出され、部分領域w8に二つの物体が検出されていることを表している。 Therefore, in the word, 3 bits are used as the feature amount 303 to represent the number of detected objects for each of the partial areas w 0 to w 2 and w 4 to w 8 for each type of detected object. Assigned. For a certain object type (for example, a pedestrian), if all three bits of the partial area w i (i = 0 to 8) are “0”, that type of object is not detected in the partial area w i Represents. If only one object of that kind is detected in the partial area w i , only the first bit of the allocated 3 bits will be '1' and the subsequent bits will be '0' (i.e. ' 100 '). Also, when two objects of that type are detected in the partial area w i , only the central bit of the allocated 3 bits is '1' and the other bits are '0' (i.e. '010'). Then, when three or more objects of the type are detected in the partial area w i , only the last bit of the allocated 3 bits is “1”, and the other bits are “0” (that is, '001'). In the example of FIG. 3, the feature amount 303 represents that one object is detected in the partial area w 1 and two objects are detected in the partial area w 8 .
さらに、ワード３００は、複数の車両１０の挙動、操作、または車両１０の周囲の状況の組み合わせを一つの特徴量として表してもよい。例えば、ワード３００は、ブレーキ操作後の所定期間（例えば、1秒以内）にアクセル操作が有ったか否かを一つの特徴量とし、1ビットで表してもよい。 Furthermore, the word 300 may represent a combination of behaviors, operations, or situations around the vehicles 10 as one feature amount. For example, the word 300 may be expressed by 1 bit with one feature amount indicating whether or not the accelerator operation is performed in a predetermined period (for example, within 1 second) after the brake operation.
なお、以下の表に、ワードとして使用される特徴量の一覧の例を示す。表１において、自車両情報は、車両１０の状態に関する特徴量である。また、歩行者情報は、画像などから検出された、車両１０の周囲に存在する歩行者に関する特徴量である。また、環境情報は、車両１０の周囲の環境に依存する特徴量である。そして他車両情報は、画像などから検出された、車両１０の周囲に存在する他の車両に関する特徴量である。ただし、使用される特徴量は、表１に挙げられたものに限定されない。
特徴量抽出部４１は、各特徴量を表すビットまたはビット列をワードの表記規則に従って並べることでワードを生成する。 The feature amount extraction unit 41 generates a word by arranging bits or bit strings representing each feature amount in accordance with a word notation rule.
特徴量抽出部４１は、生成したワードをシーン推定部４２及び個別危険度算出部４３−１〜４３−ｎのそれぞれへ出力する。 The feature amount extraction unit 41 outputs the generated word to each of the scene estimation unit 42 and the individual risk calculation units 43-1 to 43-n.
シーン推定部４２は、ワードを取得する度に、危険が生じる複数のシーンのそれぞれごとに予め求められた、特徴量の組が表す車両１０の周囲の状況がそのシーンに該当する確からしさの分布を表す確率分布に特徴量抽出部４１から取得したワードを適用することで、シーンごとに、現在の車両１０の周囲の状況がそのシーンに該当する確からしさを算出する。 Each time the word is acquired, the scene estimation unit 42 is obtained in advance for each of a plurality of scenes in which danger occurs, and the probability distribution that the situation around the vehicle 10 represented by the set of feature amounts corresponds to that scene. By applying the word acquired from the feature amount extraction unit 41 to the probability distribution representing, the probability that the current situation around the vehicle 10 corresponds to the scene is calculated for each scene.
ここで、危険が生じる複数のシーンのそれぞれについての確率分布の生成について説明する。本実施形態では、各シーンの確率分布は、予め、危険が生じた瞬間が撮影された動画のデータベースから抽出された、複数の動画のサンプルに基づいて学習される。危険が生じた瞬間とは、例えば、走行中の車両が他の物体と衝突しそうになった瞬間、例えば、歩行者あるいは他の車両が車両の前方に飛び出して、ドライバが急ブレーキをかけた瞬間とすることができる。またそのようなデータベースとして、例えば、東京農工大学のSmart Mobility Research Centerが提供するヒヤリハットデータベースが利用可能である。 Here, generation of a probability distribution for each of a plurality of scenes in which danger occurs will be described. In the present embodiment, the probability distribution of each scene is learned based on a plurality of moving image samples previously extracted from a moving image database in which the moment at which a danger occurred was taken. The moment when a danger occurs is, for example, the moment when a running vehicle is about to collide with another object, for example, the moment when a pedestrian or another vehicle jumps out ahead of the vehicle and the driver suddenly brakes It can be. As such a database, for example, a near-miss database provided by Smart Mobility Research Center of Tokyo University of Agriculture and Technology can be used.
サンプル動画としては、例えば、危険の度合い（以下、単に危険度と呼ぶ）が'低'のものと危険度が'高'のものがそれぞれ複数含まれるように選択される。なお、危険度が'低'か'高'かの判断、及び、サンプル動画の選択は、作業者がデータベースに登録されている動画を目視で確認することで行ってもよい。 The sample moving images are selected so that, for example, a plurality of videos with a low risk level (hereinafter simply referred to as a risk level) and a high risk level are included. Note that the determination of whether the degree of risk is “low” or “high” and the selection of the sample video may be performed by the operator visually confirming the video registered in the database.
選択されたサンプル動画のそれぞれについて、危険が生じたと判定される瞬間、例えば、ドライバが急ブレーキをかけた瞬間から所定時間前の画像、及び、その画像に対応するセンサ情報に対して特徴量抽出部４１と同様の処理を行ってワードを生成する。そして生成されたワードと対応する危険度の組を学習データとする。なお、所定時間は、例えば、2秒とすることができる。危険が生じた瞬間ではなく、危険が生じた瞬間よりも所定時間前のセンサ情報を利用するのは、車両１０の実際の走行時において、実際に危険が生じるよりも前に、危険が生じるか否かの予測を可能とするためである。 For each of the selected sample videos, feature amount extraction is performed for the moment when it is determined that danger has occurred, for example, an image a predetermined time before the moment when the driver suddenly applied the brake and sensor information corresponding to the image. The same processing as that of the unit 41 is performed to generate a word. A set of risk levels corresponding to the generated word is used as learning data. The predetermined time can be set to 2 seconds, for example. Use of sensor information for a predetermined time before the moment when the danger occurred, rather than the moment when the danger occurred, does the danger occur before the actual danger occurs when the vehicle 10 actually travels? This is to make it possible to predict whether or not.
本実施形態では、複数の学習データに対して潜在的ディリクレ配分法（Latent Dirichlet Allocation, LDA）を適用することで、シーンごとの確率分布が求められる。この場合、ある事象（本実施形態では、個々の学習データに対応する車両の走行）について複数のトピック（本実施形態では、それぞれのトピックは、危険が生じる様々なシーンの何れかに対応する）が存在すると想定した確率的トピックモデルに従って、それぞれのトピックがある確率をもって生起するとして、そのトピックの確率分布が導出される。その際、各事象d(d=1,2,...,M、Mは事象の数)はトピック分布θdを持ち、各事象のトピック分布Θ={θ1,θ2,...,θM}も同様にパラメータαのディリクレ分布に従って生成されると仮定する。そして、事象dの各ワードWd={wdn}(n=1,2,...,N、Nは事象dについてのワード数)が出現する際の潜在的トピックZd={zdn}は、トピック分布θdに従う多項分布で表されると仮定する。また、事象の集合をD={W1,…, WM}とする。さらに、各ワード分布Wdは、各ワードが出現する際の潜在的トピックzdnとパラメータβの多項分布に従って決定されると仮定する。この場合、トピック集合に対する確率分布P(D|α,β)は次式で表される。
本実施形態では、Tは、危険が生じたシーンの数を表す。また、p(θd|α)は、トピック分布θdについてのパラメータαのディリクレ分布を表す。さらに、p(zdn|θd)は、トピック分布θdに対する潜在的トピックzdnの多項分布を表し、p(wdn|zdn,β)は、潜在的トピックzdnのワード分布に対するパラメータβのワードwdnの多項分布を表す。 In this embodiment, T represents the number of scenes in which danger has occurred. Further, p (θ d | α) represents the Dirichlet distribution of the parameter α with respect to the topic distribution θ d . Furthermore, p (z dn | θ d ) represents the multinomial distribution of the potential topic z dn with respect to the topic distribution θ d , and p (w dn | z dn , β) is a parameter for the word distribution of the potential topic z dn. represents the multinomial distribution of the word w dn of β.
（１）式における各パラメータα、βは、各学習データを（１）式に適用した場合の次式で表される対数尤度l(α,β)が最大化されるように、例えば、変分ベイズ法等の学習手法を用いて学習される。
また、シーン数Tを最適化するために、例えば、Tを所定の範囲（例えば、2〜10）で1ずつ変化させながら、Tの値ごとに、学習データを用いて（１）式を学習し、その結果に対して、赤池情報量基準あるいはベイズ情報量基準などの情報量基準を算出して、その情報量基準が最小となるときのTの値を特定したり、交叉確認法を適用することで、最も適切なシーン数Tを求めてもよい。 In addition, in order to optimize the number of scenes T, for example, the equation (1) is learned using learning data for each value of T while changing T by 1 within a predetermined range (for example, 2 to 10). For that result, calculate the information criterion such as Akaike's information criterion or Bayesian information criterion, and specify the value of T when the information criterion is minimum, or apply the cross check method. By doing so, the most appropriate number of scenes T may be obtained.
上記のようにして求められた、各シーンの確率分布を表すパラメータ、すなわち、（１）式を特定するためのパラメータが記憶部３に予め記憶される。 A parameter representing the probability distribution of each scene obtained as described above, that is, a parameter for specifying the expression (1) is stored in the storage unit 3 in advance.
このような学習の結果により、危険が生じるシーンは、複数のシーンに分類される。例えば、分類された結果を人が解釈すると、危険が生じるシーンは、それぞれ、「走行中の車両の影が存在するシーン」、「停車中の車両の影が存在するシーン」、「車両以外の物の影が存在するシーン」、「歩行者の横断の意図が予測されるシーン」、及び、「側方から来る歩行者が認識されたシーン」となる。 As a result of such learning, a scene in which danger occurs is classified into a plurality of scenes. For example, when a person interprets the classified results, the scenes that cause danger are “scenes with shadows of running vehicles”, “scenes with shadows of stopped vehicles”, and “non-vehicles”, respectively. “Scenes with shadows of objects”, “Scenes where the intention of crossing a pedestrian is predicted”, and “Scenes where a pedestrian coming from the side is recognized”.
図５は、危険が生じるシーンにおける、車両の前方を撮影した画像の一例を示す図である。図５に示される画像５００は、「停車中の車両の影が存在するシーン」に該当し、右前方に停車中の車両５０１が写っている。さらに、停車中の車両５０１の影に一部が隠れている歩行者５０２が写っているのが分かる。 FIG. 5 is a diagram illustrating an example of an image obtained by photographing the front of the vehicle in a scene where danger occurs. An image 500 shown in FIG. 5 corresponds to a “scene in which a shadow of a parked vehicle exists”, and a parked vehicle 501 is reflected in the right front. Further, it can be seen that a pedestrian 502 whose part is hidden in the shadow of the stopped vehicle 501 is shown.
シーン推定部４２は、特徴量抽出部４１から得られたワードを（１）式に適用することで、現在の車両１０の周囲の状況がそれぞれのシーンに該当する確からしさを求める。すなわち、現在の車両１０の周囲の状況がシーンｔである確からしさπtは、（１）式を周辺化した次式において得られたワードwjを入力することで算出される。
個別危険度算出部４３−１〜４３−ｎは、それぞれ、互いに異なる危険が生じるシーンに対応する。そして個別危険度算出部４３−１〜４３−ｎは、それぞれ、ワードを受け取る度に、そのワード（すなわち、特徴量の組）を入力として、対応するシーンにおける現在の車両１０の周囲の状況の危険度である個別危険度を算出する。なお、ｎは、危険が生じるシーンの数Tと等しいことが好ましい。 The individual risk level calculation units 43-1 to 43-n respectively correspond to scenes in which different risks occur. Each time the individual risk level calculation units 43-1 to 43-n receive a word, the individual risk level calculation unit 43-1 to 43-n receives the word (that is, a set of feature values) as an input, Calculate the individual risk that is the risk. Note that n is preferably equal to the number T of scenes where danger occurs.
本実施形態では、個別危険度算出部４３−１〜４３−ｎは、ワードを入力として、個別危険度を出力とするナイーブベイズ識別器として構成される。そのため、個別危険度算出部４３−１〜４３−ｎのナイーブベイズ識別器は、例えば、対応するシーンの確率分布の生成に利用した学習データを用いて事前に学習される。すなわち、学習データごとに、（３）式に従ってその学習データから得られるワードについてのシーンごとの確からしさが求められ、その確からしさが最大となるシーンにその学習データは分類される。そしてシーンごとに、すなわち、そのシーンに対応する個別危険度算出部ごとに、そのシーンに分類された学習データを利用して、その個別危険度算出部のナイーブベイズ識別器が教師付学習される。これにより、ナイーブベイズ識別器は、入力されたワードに対して、例えば、個別危険度が'高'（例えば、'1'）と'低'（例えば、'0'）のそれぞれの確率を出力する識別器となる。なお、個別危険度'高'の確率p(1)と個別危険度'低'の確率p(0)の間には、p(1)=1-p(0)の関係が成立する。 In the present embodiment, the individual risk level calculation units 43-1 to 43-n are configured as naive Bayes discriminators having a word as an input and an individual risk level as an output. Therefore, the naive Bayes discriminators of the individual risk calculating units 43-1 to 43-n are learned in advance using, for example, learning data used for generating the probability distribution of the corresponding scene. That is, for each learning data, the probability for each scene of the word obtained from the learning data according to the equation (3) is obtained, and the learning data is classified into the scene having the maximum certainty. Then, for each scene, that is, for each individual risk calculation unit corresponding to the scene, the naive Bayes discriminator of the individual risk calculation unit is supervised and learned using the learning data classified for the scene. . As a result, the naive Bayes discriminator outputs, for the input word, the respective probabilities of, for example, “high” (for example, “1”) and “low” (for example, “0”). It becomes a discriminator. Note that the relationship p (1) = 1−p (0) is established between the probability p (1) of the individual risk “high” and the probability p (0) of the individual risk “low”.
したがって、個別危険度算出部４３−１〜４３−ｎは、それぞれ、取得したワードを、その個別危険度算出部が有するナイーブベイズ識別器に入力することで、その個別危険度算出部に対応するシーンにおける、現在の車両１０の周囲の状況の個別危険度として、危険度'高'と'低'のそれぞれの確率を得る。そして個別危険度算出部４３−１〜４３−ｎは、それぞれ、得られた個別危険度を危険度推定部４４へ通知する。 Accordingly, each of the individual risk level calculation units 43-1 to 43-n corresponds to the individual risk level calculation unit by inputting the acquired word to the naive Bayes classifier included in the individual risk level calculation unit. As the individual risks of the situation around the current vehicle 10 in the scene, respective probabilities of the risk “high” and “low” are obtained. Each of the individual risk level calculation units 43-1 to 43-n notifies the risk level estimation unit 44 of the obtained individual risk level.
危険度推定部４４は、個別危険度算出部４３−１〜４３−ｎから個別危険度を受け取る度に、その個別危険度のそれぞれを、シーン推定部４２から受け取った、対応するシーンについての確からしさで重み付け加算することで、現在の車両１０の周囲の状況の危険度を算出する。例えば、危険度推定部４４は、次式に従って危険度Rを算出する。
例えば、危険が生じるシーンの数が5(すなわち、T=5)であり、個別危険度として表される、各シーンについての危険度'高'となる確率p1(1)〜p5(1)が、それぞれ、{0.1,0.9,0.8,0.0,0.2}であったとする。そしてシーンごとの確からしさπ1〜π5が、それぞれ、{0.1, 0.5, 0.1, 0.2, 0.1}であったとする。この場合、最終的に得られる危険度Rは0.1*0.1+0.5*0.9+0.1*0.8+0.2*0+0.1*0.2=0.56となる。 For example, the number of scenes where danger occurs is 5 (ie, T = 5), and the probability p 1 (1) to p 5 (1 ) Are {0.1, 0.9, 0.8, 0.0, 0.2}, respectively. Assume that the certaintys π 1 to π 5 for each scene are {0.1, 0.5, 0.1, 0.2, 0.1}, respectively. In this case, the risk R finally obtained is 0.1 * 0.1 + 0.5 * 0.9 + 0.1 * 0.8 + 0.2 * 0 + 0.1 * 0.2 = 0.56.
危険度推定部４４は、最終的に求められた危険度が所定の閾値以上か否か判定する。そして危険度推定部４４は、危険度が所定の閾値以上である場合、ディスプレイ１２に警告メッセージを表示させる。あるいは、危険度推定部４４は、危険度が所定の閾値以上である場合、スピーカ（図示せず）を介して、ドライバに警告信号を発するようにしてもよい。なお、所定の閾値は、例えば、0.5〜0.7に設定される。 The risk level estimation unit 44 determines whether or not the finally determined risk level is greater than or equal to a predetermined threshold value. Then, the risk level estimation unit 44 displays a warning message on the display 12 when the risk level is equal to or greater than a predetermined threshold. Alternatively, the risk level estimation unit 44 may issue a warning signal to the driver via a speaker (not shown) when the risk level is equal to or higher than a predetermined threshold. Note that the predetermined threshold is set to 0.5 to 0.7, for example.
なお、危険度推定部４４は、得られた危険度の値に基づいて、危険度を複数の区分の何れかに分類し、その分類された結果をディスプレイ１２に表示させてもよい。例えば、危険度の値が0以上0.3未満の範囲に含まれる場合、危険度'低'とし、危険度の値が0.3以上0.7未満の場合、危険度'中'とし、危険度の値が0.7以上の場合、危険度'高'としてもよい。 The risk level estimation unit 44 may classify the risk level into one of a plurality of categories based on the obtained risk level value, and display the classified result on the display 12. For example, if the risk level is within the range of 0 to less than 0.3, the risk level is low, and if the risk level is not less than 0.3 and less than 0.7, the risk level is medium and the risk level is 0.7. In the above case, the risk level may be “high”.
図６は、危険度推定処理の動作フローチャートである。なお、危険度推定装置１は、所定の周期ごとに、以下の動作フローチャートに従って危険度推定処理を実行する。 FIG. 6 is an operation flowchart of the risk level estimation process. In addition, the danger level estimation apparatus 1 performs a danger level estimation process according to the following operation | movement flowcharts for every predetermined period.
特徴量抽出部４１は、最新のセンサ情報から、車両１０の周囲の状況の特徴を表す複数の特徴量を抽出する（ステップＳ１０１）。そして特徴量抽出部４１は、抽出された特徴量の組をワード化する（ステップＳ１０２）。特徴量抽出部４１は、ワードをシーン推定部４２及び個別危険度算出部４３−１〜４３−ｎへ出力する。 The feature amount extraction unit 41 extracts a plurality of feature amounts representing features of the situation around the vehicle 10 from the latest sensor information (step S101). The feature amount extraction unit 41 converts the extracted feature amount sets into words (step S102). The feature quantity extraction unit 41 outputs the word to the scene estimation unit 42 and the individual risk calculation units 43-1 to 43-n.
シーン推定部４２は、ワードと危険が生じる各シーンの確率分布に基づいて、シーンごとに、現在の車両１０の周囲の状況がそのシーンに該当する確からしさを算出する（ステップＳ１０３）。そしてシーン推定部４２は、各シーンの確からしさを危険度推定部４４へ通知する。 Based on the probability distribution of each scene in which a word and danger occur, the scene estimation unit 42 calculates the probability that the current situation around the vehicle 10 corresponds to the scene for each scene (step S103). Then, the scene estimation unit 42 notifies the probability estimation unit 44 of the probability of each scene.
個別危険度算出部４３−１〜４３−ｎは、それぞれ、ワードに基づいて、対応するシーンについての個別危険度を算出する（ステップＳ１０４）。そして個別危険度算出部４３−１〜４３−ｎは、それぞれ、個別危険度を危険度推定部４４へ出力する。 The individual risk level calculation units 43-1 to 43-n each calculate the individual risk level for the corresponding scene based on the word (step S104). Then, the individual risk level calculation units 43-1 to 43-n each output the individual risk level to the risk level estimation unit 44.
危険度推定部４４は、シーンごとの個別危険度を、対応するシーンの確からしさで重み付け加算することで、現在の車両１０の周囲の状況の危険度をもとめる（ステップＳ１０５）。そして危険度推定部４４は、現在の車両１０の周囲の状況の危険度が所定の閾値Th以上か否か判定する（ステップＳ１０６）。現在の車両１０の周囲の状況の危険度が閾値Th以上である場合（ステップＳ１０６−Ｙｅｓ）、危険度推定部４４は、現在の車両１０の周囲の状況が危険であることをドライバに報知する警告メッセージをディスプレイ１２に表示させる（ステップＳ１０７）。 The risk level estimation unit 44 calculates the risk level of the current situation around the vehicle 10 by weighting and adding the individual risk level for each scene with the likelihood of the corresponding scene (step S105). Then, the risk level estimation unit 44 determines whether or not the current level of risk around the vehicle 10 is greater than or equal to a predetermined threshold Th (step S106). When the danger level of the current situation around the vehicle 10 is equal to or greater than the threshold Th (step S106—Yes), the danger level estimation unit 44 notifies the driver that the current situation around the vehicle 10 is dangerous. A warning message is displayed on the display 12 (step S107).
一方、ステップＳ１０６にて現在の車両１０の周囲の状況の危険度が閾値Th未満である場合（ステップＳ１０６−Ｎｏ）、あるいは、ステップＳ１０７の後、危険度推定装置１は、危険度推定処理を終了する。 On the other hand, when the risk level of the current situation around the vehicle 10 is less than the threshold Th in step S106 (step S106-No), or after step S107, the risk level estimation device 1 performs the risk level estimation process. finish.
以上説明してきたように、この危険度推定装置は、センサ情報から得られる、車両の現在の状況の特徴を表す特徴量の組に基づいて、危険が生じるシーンごとに、現在の車両の周囲の状況がそのシーンである確からしさを求める。そしてこの危険度推定装置は、シーンごとの確からしさで、シーンごとに求められる現在の状況の個別危険度を重み付け加算することで、現在の車両の周囲の状況の危険度を求める。そのため、この危険度推定装置は、例え初めて通行する場所であったとしても、車両の走行の際に生じる様々な危険に対する危険の度合いを推定できる。 As described above, this risk level estimation device is based on a set of feature quantities representing the characteristics of the current situation of the vehicle obtained from the sensor information. Find the certainty that the situation is the scene. The risk level estimation apparatus obtains the risk level of the current situation around the vehicle by weighting and adding the individual risk levels of the current status determined for each scene with the certainty for each scene. Therefore, even if this danger level estimation apparatus is a place where the vehicle passes for the first time, it is possible to estimate the degree of danger with respect to various dangers that occur when the vehicle travels.
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、個別危険度算出部４３−１〜４３−ｎのそれぞれが有する識別器として、ナイーブベイズ識別器の代わりに、多層パーセプトロンあるいはサポートベクトルマシンが用いられてもよい。これらの識別器も、対応するシーンの学習データを用いて事前に教師付学習されることで構築される。さらに、個別危険度算出部４３−１〜４３−ｎのそれぞれは、入力された特徴量の組に対して、個別危険度を離散値として出力してもよい。この場合には、例えば、個別危険度算出部４３−１〜４３−ｎのそれぞれは、ナイーブベイズ識別器により出力される、入力された特徴量の組に対する個別危険度が'高'である確率が所定の閾値以上の場合に'1'を出力し、一方、個別危険度が'高'である確率が所定の閾値未満の場合に'0'を出力してもよい。 The preferred embodiments of the present invention have been described above, but the present invention is not limited to these embodiments. For example, a multilayer perceptron or a support vector machine may be used instead of the naive Bayes classifier as the classifier included in each of the individual risk calculation units 43-1 to 43-n. These classifiers are also constructed by learning in advance with supervision using the learning data of the corresponding scene. Furthermore, each of the individual risk level calculation units 43-1 to 43-n may output the individual risk level as a discrete value with respect to the set of input feature values. In this case, for example, each of the individual risk level calculation units 43-1 to 43-n has a probability that the individual risk level for the set of input feature values output by the naive Bayes classifier is 'high'. '1' may be output when the threshold is greater than or equal to a predetermined threshold, and '0' may be output when the probability that the individual risk is 'high' is less than the predetermined threshold.
また、各シーンの確率分布は、ガウス分布によって与えられてもよい。この場合には、例えば、各学習データにEMアルゴリズムを適用することで、各シーンの確率分布の集合である混合ガウス分布が求められる。なお、この場合には、特徴量の組は、ワード化されずにそのまま利用されてもよい。 The probability distribution of each scene may be given by a Gaussian distribution. In this case, for example, a mixed Gaussian distribution that is a set of probability distributions of each scene is obtained by applying the EM algorithm to each learning data. In this case, the set of feature values may be used as they are without being converted into words.
また、シーンごとに、個別危険度の算出に利用される特徴量は異なっていてもよい。例えば、シーンごとに、そのシーンに対応する学習データに対して主成分分析を行うことで、予め個別危険度への寄与が一定以上となる特徴量が特定される。そして個別危険度算出部４３−１〜４３−ｎは、特徴量の組に含まれる特徴量のうち、特定された特徴量のみを識別器に入力することで、個別危険度を算出すればよい。また、個別危険度算出部４３−１〜４３−ｎのそれぞれが有する識別器も、その個別危険度算出部で利用される特徴量のみを入力とするように、再学習されてもよい。 In addition, the feature quantity used for calculating the individual risk may be different for each scene. For example, by performing principal component analysis on the learning data corresponding to the scene for each scene, the feature amount that contributes to the individual risk level is specified in advance. Then, the individual risk level calculation units 43-1 to 43-n may calculate the individual risk level by inputting only the specified feature value among the feature values included in the feature value set to the classifier. . In addition, the classifiers included in each of the individual risk level calculation units 43-1 to 43-n may be relearned so that only the feature amount used in the individual risk level calculation unit is input.
図７は、シーンごとに用いられる特徴量の一例を示す図である。図７において、欄７０１〜７０５は、それぞれ、「走行中の車両の影が存在するシーン」、「停車中の車両の影が存在するシーン」、「車両以外の物の影が存在するシーン」、「歩行者の横断の意図が予測されるシーン」、及び、「側方から来る歩行者が認識されたシーン」について利用される特徴量を表す。例えば、「走行中の車両の影が存在するシーン」では、特徴量として、自車両の速度が'高'であるか否か、車両１０の位置が交差点か否か、及び、歩行者が道路上で検知されているか否かが利用される。また、「歩行者の横断の意図が予測されるシーン」では、個別危険度の算出に利用される特徴量として、他の車両が部分領域w4及びw6のそれぞれで検知されているか否かを表す特徴量、車両１０の位置が右側車線か否かを表す特徴量、及び、ブレーキ操作後にアクセル操作が行われているか否かを表す特徴量が選択される。 FIG. 7 is a diagram illustrating an example of the feature amount used for each scene. In FIG. 7, columns 701 to 705 respectively indicate “a scene where a shadow of a running vehicle exists”, “a scene where a shadow of a stopped vehicle exists”, and “a scene where a shadow of an object other than the vehicle exists”. , And “a scene in which a pedestrian's intention of crossing is predicted” and “a scene in which a pedestrian coming from the side is recognized” is represented. For example, in the “scene where the shadow of the running vehicle is present”, whether the speed of the host vehicle is “high”, whether the position of the vehicle 10 is an intersection, and whether the pedestrian is a road Whether it is detected above is used. In addition, in the “scene where the intention of crossing a pedestrian is predicted”, whether or not another vehicle is detected in each of the partial areas w 4 and w 6 as a feature amount used for calculating the individual risk level. , A feature amount indicating whether or not the position of the vehicle 10 is in the right lane, and a feature amount indicating whether or not the accelerator operation is performed after the brake operation.
さらに、学習データを何れかのシーンに分類するために、k近傍法といった、他のクラスタリング手法が利用されてもよい。あるいはまた、学習データのそれぞれが属するシーンを、予め作業者が決定してもよい。そしてシーンごとに分類された学習データに基づいて、各シーンの確率分布が求めれてもよい。 Furthermore, other clustering methods such as the k-nearest neighbor method may be used to classify the learning data into any scene. Alternatively, the worker may determine in advance the scene to which each of the learning data belongs. Then, the probability distribution of each scene may be obtained based on the learning data classified for each scene.
さらに他の変形例によれば、危険度推定部は、複数のシーンのうち、確からしさが最も高いシーンに対応する個別危険度を、現在の車両１０の周囲の状況についての危険度そのものとしてもよい。 According to still another modified example, the risk level estimation unit may use the individual risk level corresponding to the scene with the highest probability among a plurality of scenes as the risk level for the current situation around the vehicle 10. Good.
さらに他の実施形態によれば、危険度の算出結果は、車両の自動運転に利用されてもよい。例えば、危険度推定装置は、危険度が所定の閾値以上であった場合、ＥＣＵへ制動操作を指示する制御信号を送信することで、車両１０を減速させてもよい。 According to still another embodiment, the risk level calculation result may be used for automatic driving of the vehicle. For example, when the risk level is equal to or higher than a predetermined threshold, the risk level estimation device may decelerate the vehicle 10 by transmitting a control signal instructing the braking operation to the ECU.
また、上記の制御部４で実行される各部の処理をコンピュータに実行させるコンピュータプログラムは、光記録媒体あるいは磁気記録媒体に記録されて配布されてもよい。 A computer program that causes a computer to execute the processing of each unit executed by the control unit 4 may be recorded on an optical recording medium or a magnetic recording medium and distributed.
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。 As described above, those skilled in the art can make various modifications in accordance with the embodiment to be implemented within the scope of the present invention.
１ 危険度推定装置
２ 通信部
３ 記憶部
４ 制御部
１０ 車両
１１ センサ
１２ ディスプレイ
１３ ＣＡＮ
４１ 特徴量抽出部
４２ シーン推定部
４３−１〜４３−ｎ 個別危険度算出部
４４ 危険度推定部
DESCRIPTION OF SYMBOLS 1 Risk estimation apparatus 2 Communication part 3 Memory | storage part 4 Control part 10 Vehicle 11 Sensor 12 Display 13 CAN
41 feature amount extraction unit 42 scene estimation unit 43-1 to 43-n individual risk level calculation unit 44 risk level estimation unit
Claims (6)
危険が生じる複数のシーンのそれぞれごとに求められた、前記車両（１０）の周囲の状況が当該シーンに該当する確からしさの分布を表す確率分布に前記複数の特徴量を適用することで、前記複数のシーンのそれぞれごとに、前記車両（１０）の周囲の状況が当該シーンに該当する確からしさを求めるシーン推定部（４２）と、
前記複数のシーンのそれぞれごとに設けられ、前記複数の特徴量から前記複数のシーンのうちの対応するシーンについての危険の度合いである個別危険度を算出する複数の個別危険度算出部（４３−１〜４３−ｎ）と、
前記複数のシーンのそれぞれについての前記個別危険度と前記確からしさに応じて前記車両（１０）の周囲の状況についての危険の度合いである危険度を算出する危険度推定部（４４）と、
を有する危険度推定装置。 Based on sensor information generated by the sensor (11) for detecting the situation around the vehicle (10), a feature quantity extraction unit (extracting a plurality of feature quantities representing the characteristics of the situation around the vehicle (10)) 41),
By applying the plurality of feature amounts to a probability distribution that represents a probability distribution in which the situation around the vehicle (10) is determined for each of a plurality of scenes in which danger occurs and corresponds to the scene, For each of a plurality of scenes, a scene estimation unit (42) for determining the probability that the situation around the vehicle (10) corresponds to the scene;
A plurality of individual risk level calculation units (43-) provided for each of the plurality of scenes and for calculating an individual risk level that is a degree of risk for a corresponding scene among the plurality of scenes from the plurality of feature amounts. 1-43-n),
A risk level estimation unit (44) that calculates a risk level that is a level of risk for the situation around the vehicle (10) according to the individual risk level and the likelihood of each of the plurality of scenes;
A risk estimation device.
危険が生じる複数のシーンのそれぞれごとに求められた、前記車両（１０）の周囲の状況が当該シーンに該当する確からしさの分布を表す確率分布に前記複数の特徴量を適用することで、前記複数のシーンのそれぞれごとに、前記車両（１０）の周囲の状況が当該シーンに該当する確からしさを求めるステップと、
前記複数のシーンのそれぞれごとに、前記複数の特徴量から当該シーンについての危険の度合いである個別危険度を算出するステップと、
前記複数のシーンのそれぞれについての前記個別危険度と前記確からしさに応じて前記車両（１０）の周囲の状況についての危険の度合いである危険度を算出するステップと、
を含む危険度推定方法。 Extracting a plurality of feature amounts representing features of the situation around the vehicle (10) based on sensor information generated by the sensor (11) for detecting the situation around the vehicle (10);
By applying the plurality of feature amounts to a probability distribution that represents a probability distribution in which the situation around the vehicle (10) is determined for each of a plurality of scenes in which danger occurs and corresponds to the scene, For each of a plurality of scenes, obtaining a probability that the situation around the vehicle (10) corresponds to the scene;
For each of the plurality of scenes, calculating an individual risk that is a degree of risk for the scene from the plurality of feature amounts;
Calculating a degree of risk that is a degree of danger for a situation around the vehicle (10) according to the individual risk level and the probability for each of the plurality of scenes;
Risk estimation method including
危険が生じる複数のシーンのそれぞれごとに求められた、前記車両（１０）の周囲の状況が当該シーンに該当する確からしさの分布を表す確率分布に前記複数の特徴量を適用することで、前記複数のシーンのそれぞれごとに、前記車両（１０）の周囲の状況が当該シーンに該当する確からしさを求めるステップと、
前記複数のシーンのそれぞれごとに、前記複数の特徴量から当該シーンについての危険の度合いである個別危険度を算出するステップと、
前記複数のシーンのそれぞれについての前記個別危険度と前記確からしさに応じて前記車両（１０）の周囲の状況についての危険の度合いである危険度を算出するステップと、
をコンピュータに実行させるための危険度推定用コンピュータプログラム。 Extracting a plurality of feature amounts representing features of the situation around the vehicle (10) based on sensor information generated by the sensor (11) for detecting the situation around the vehicle (10);
By applying the plurality of feature amounts to a probability distribution that represents a probability distribution in which the situation around the vehicle (10) is determined for each of a plurality of scenes in which danger occurs and corresponds to the scene, For each of a plurality of scenes, obtaining a probability that the situation around the vehicle (10) corresponds to the scene;
For each of the plurality of scenes, calculating an individual risk that is a degree of risk for the scene from the plurality of feature amounts;
Calculating a degree of risk that is a degree of danger for a situation around the vehicle (10) according to the individual risk level and the probability for each of the plurality of scenes;
A computer program for risk estimation for causing a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015005241A JP6418574B2 (en) | 2015-01-14 | 2015-01-14 | Risk estimation device, risk estimation method, and computer program for risk estimation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015005241A JP6418574B2 (en) | 2015-01-14 | 2015-01-14 | Risk estimation device, risk estimation method, and computer program for risk estimation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016130966A true JP2016130966A (en) | 2016-07-21 |
| JP6418574B2 JP6418574B2 (en) | 2018-11-07 |
Family
ID=56415589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015005241A Expired - Fee Related JP6418574B2 (en) | 2015-01-14 | 2015-01-14 | Risk estimation device, risk estimation method, and computer program for risk estimation |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6418574B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106491144A (en) * | 2016-09-22 | 2017-03-15 | 昆明理工大学 | A kind of driver hides the test and evaluation method of risk perceptions ability |
| WO2018066712A1 (en) * | 2016-10-07 | 2018-04-12 | アイシン・エィ・ダブリュ株式会社 | Travel assistance device and computer program |
| JP2018067116A (en) * | 2016-10-19 | 2018-04-26 | 株式会社東芝 | Accident prediction system and accident prediction method |
| JP2019139468A (en) * | 2018-02-09 | 2019-08-22 | 株式会社ビコー | Information processor, information processing method, and program |
| JP2019139733A (en) * | 2018-08-24 | 2019-08-22 | 株式会社ビコー | Information processing system, information processing device, information processing method and program |
| KR20210076264A (en) * | 2019-12-13 | 2021-06-24 | 현대오트론 주식회사 | Adaptive cruise control apparatus and operation method thereof |
| JP2022032520A (en) * | 2020-08-12 | 2022-02-25 | ソフトバンク株式会社 | Management system, management method, management device, program and communication terminal |
| WO2022130875A1 (en) * | 2020-12-17 | 2022-06-23 | 株式会社日立製作所 | Risk management device, risk management method, and risk management system |
| CN114923497A (en) * | 2022-04-21 | 2022-08-19 | 西南交通大学 | Method, device, equipment and storage medium for planning railway trip path |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006350934A (en) * | 2005-06-20 | 2006-12-28 | Denso Corp | Information display device |
| JP2008530670A (en) * | 2005-02-10 | 2008-08-07 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | Driving support system with a device that recognizes special situations |
| JP2010152580A (en) * | 2008-12-25 | 2010-07-08 | Kyocera Corp | Vehicular warning device, warning method, and program |
| JP2014032542A (en) * | 2012-08-03 | 2014-02-20 | Denso Corp | Image processor and, vehicle control system using image processor |
| JP2014235605A (en) * | 2013-06-03 | 2014-12-15 | 株式会社デンソー | Driving scene label estimation device |
-
2015
- 2015-01-14 JP JP2015005241A patent/JP6418574B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008530670A (en) * | 2005-02-10 | 2008-08-07 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | Driving support system with a device that recognizes special situations |
| JP2006350934A (en) * | 2005-06-20 | 2006-12-28 | Denso Corp | Information display device |
| JP2010152580A (en) * | 2008-12-25 | 2010-07-08 | Kyocera Corp | Vehicular warning device, warning method, and program |
| JP2014032542A (en) * | 2012-08-03 | 2014-02-20 | Denso Corp | Image processor and, vehicle control system using image processor |
| JP2014235605A (en) * | 2013-06-03 | 2014-12-15 | 株式会社デンソー | Driving scene label estimation device |
Non-Patent Citations (1)
| Title |
|---|
| 板東 誉司，竹中 一仁，株式会社デンソー他: "マルチモーダル潜在トピックモデルによる運転シーン認識", 2013年度人工知能学会全国大会, JPN6018019233, ISSN: 0003802987 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106491144A (en) * | 2016-09-22 | 2017-03-15 | 昆明理工大学 | A kind of driver hides the test and evaluation method of risk perceptions ability |
| WO2018066712A1 (en) * | 2016-10-07 | 2018-04-12 | アイシン・エィ・ダブリュ株式会社 | Travel assistance device and computer program |
| JPWO2018066712A1 (en) * | 2016-10-07 | 2019-04-25 | アイシン・エィ・ダブリュ株式会社 | Traveling support device and computer program |
| JP2018067116A (en) * | 2016-10-19 | 2018-04-26 | 株式会社東芝 | Accident prediction system and accident prediction method |
| JP2019139468A (en) * | 2018-02-09 | 2019-08-22 | 株式会社ビコー | Information processor, information processing method, and program |
| JP2019139733A (en) * | 2018-08-24 | 2019-08-22 | 株式会社ビコー | Information processing system, information processing device, information processing method and program |
| KR20210076264A (en) * | 2019-12-13 | 2021-06-24 | 현대오트론 주식회사 | Adaptive cruise control apparatus and operation method thereof |
| KR102274673B1 (en) | 2019-12-13 | 2021-07-09 | 현대오트론 주식회사 | Adaptive cruise control apparatus and operation method thereof |
| JP2022032520A (en) * | 2020-08-12 | 2022-02-25 | ソフトバンク株式会社 | Management system, management method, management device, program and communication terminal |
| JP7186749B2 (en) | 2020-08-12 | 2022-12-09 | ソフトバンク株式会社 | Management system, management method, management device, program and communication terminal |
| WO2022130875A1 (en) * | 2020-12-17 | 2022-06-23 | 株式会社日立製作所 | Risk management device, risk management method, and risk management system |
| JP7382304B2 (en) | 2020-12-17 | 2023-11-16 | 株式会社日立製作所 | Risk management device, risk management method and risk management system |
| CN114923497A (en) * | 2022-04-21 | 2022-08-19 | 西南交通大学 | Method, device, equipment and storage medium for planning railway trip path |
| CN114923497B (en) * | 2022-04-21 | 2023-07-21 | 西南交通大学 | Method, device, equipment and storage medium for planning path of railway travel |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6418574B2 (en) | 2018-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6418574B2 (en) | Risk estimation device, risk estimation method, and computer program for risk estimation | |
| JP6800899B2 (en) | Risk-based driver assistance for approaching intersections with limited visibility | |
| US11235761B2 (en) | Operational risk assessment for autonomous vehicle control | |
| US10678240B2 (en) | Sensor modification based on an annotated environmental model | |
| US10336252B2 (en) | Long term driving danger prediction system | |
| US20210406559A1 (en) | Systems and methods for effecting map layer updates based on collected sensor data | |
| US11458991B2 (en) | Systems and methods for optimizing trajectory planner based on human driving behaviors | |
| US20170113685A1 (en) | Method and system for assisting a driver of a vehicle in driving the vehicle, vehicle and computer program | |
| US20140354684A1 (en) | Symbology system and augmented reality heads up display (hud) for communicating safety information | |
| JP2016115334A (en) | Method and system for adaptive ray-based scene analysis of semantic traffic spaces, and vehicle equipped with such system | |
| US11465652B2 (en) | Systems and methods for disengagement prediction and triage assistant | |
| CN110576847A (en) | Focus-based tagging of sensor data | |
| CN111094095B (en) | Method and device for automatically sensing driving signal and vehicle | |
| KR102565573B1 (en) | Metric back-propagation for subsystem performance evaluation | |
| JP2013242615A (en) | Driving scene transition prediction device and recommended driving operation presentation device for vehicle | |
| US11961304B2 (en) | Systems and methods for deriving an agent trajectory based on multiple image sources | |
| CN104875740B (en) | For managing the method for following space, main vehicle and following space management unit | |
| KR20220136006A (en) | Selecting testing scenarios for evaluating the performance of autonomous vehicles | |
| US11875680B2 (en) | Systems and methods for augmenting perception data with supplemental information | |
| US20230400859A1 (en) | Predicting Jaywaking Behaviors of Vulnerable Road Users | |
| US11961241B2 (en) | Systems and methods for deriving an agent trajectory based on tracking points within images | |
| US20210404841A1 (en) | Systems and methods for inferring information about stationary elements based on semantic relationships | |
| JP2012198774A (en) | Normative vehicle speed calculating device and program | |
| US20230048304A1 (en) | Environmentally aware prediction of human behaviors | |
| US20210405641A1 (en) | Detecting positioning of a sensor system associated with a vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170807 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180718 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181002 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6418574 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |