JP2020064553A - Hindrance degree calculation system - Google Patents
Hindrance degree calculation system Download PDFInfo
- Publication number
- JP2020064553A JP2020064553A JP2018197525A JP2018197525A JP2020064553A JP 2020064553 A JP2020064553 A JP 2020064553A JP 2018197525 A JP2018197525 A JP 2018197525A JP 2018197525 A JP2018197525 A JP 2018197525A JP 2020064553 A JP2020064553 A JP 2020064553A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- level
- obstacle
- vehicle
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、支障度算出システムに関する。 The present invention relates to a difficulty level calculation system.
眠気、酒酔い、あるいは他の原因によるドライバの運転能力の異常を検出し、異常な場合に警告を発するシステムが提案されている(特許文献1)。 A system has been proposed that detects an abnormality in the driving ability of a driver due to drowsiness, sickness, or other causes, and issues a warning when the abnormality is detected (Patent Document 1).
しかし、ドライバの運転不可能とまではいかないが、運転に支障が生じている場合があり、これも含めてドライバに運転ガイドを実施するシステムは存在していない。 However, although it may not be impossible for the driver to drive, there are cases in which driving is impaired, and there is no system that includes a driver for driving guide.
本発明は、上記課題に鑑みてなされたものであり、その目的は、ドライバにおける安全運転に対する支障度を算出する支障度算出システムを提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide a hindrance degree calculation system that calculates a hindrance degree for safe driving in a driver.
請求項1に記載した支障度算出システムは、ドライバの安全運転を妨げる要因に関するデータを取得するセンサ(10、11、12、13,14、15,16,17,18、19、28)と、前記ドライバの安全運転を妨げる要因に基づいて、ドライバの安全運転に対する支障の度合いを示す支障度を算出する支障度算出部(21)と、を備える。この構成によれば、ドライバにおける安全運転に対する支障度を算出する支障度算出システムを提供することができる。
The obstacle level calculation system according to
以下、本発明の複数の実施形態について図面を参照して説明する。以下の説明において前出と同様の要素については同様の符号を付し、その説明については省略する。また、以下の説明で、支障度を算出するシステムを支障度算出システム1と称し、算出された支障度に応じてガイド内容を決定しガイドを実施するシステムを運転ガイドシステム2と称する。運転ガイドシステム2は支障度算出システム1を含むものである。
Hereinafter, a plurality of embodiments of the present invention will be described with reference to the drawings. In the following description, the same elements as those described above are designated by the same reference numerals, and the description thereof will be omitted. Further, in the following description, a system for calculating the degree of obstacle is referred to as a degree-of-obstruction calculating
図1に、実施形態に係る支障度算出システム1を含む運転ガイドシステム2の概略構成を示すブロック図を示す。図1に示すように、支障度算出システム1は、ドライバステータスモニター(DSM)10、マイク11、車速センサ12、衛星測位システム13、時計14、ブレーキセンサ15、スロットルセンサ16、舵角センサ17、シート圧センサ18、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)19、車内カメラ28等の種々のセンサ類を備えている。
FIG. 1 is a block diagram showing a schematic configuration of a
また、支障度算出システム1は、支障度算出部21、チューニング実施部22、ガイド内容決定部23、ナビゲーション制御部24、HUD(Head-Up Display)制御部25、対話制御部26等の制御部、発話生成部26a、スピーカ26b、車内カメラ28、通信部29、及びハザード20を備えている。スピーカ26bは、車内に設けられたオーディオ機器用のスピーカを利用してもよい。これらは、通信線32により通信可能に接続されている。通信線32は例えば車内LAN、CAN等である。また、運転ガイドシステム2は周囲の車両に異常を知らせるハザード20を備えている。
Further, the obstacle
DSM10は、ドライバの顔をカメラ10aで撮影し、画像解析によりドライバの状態を検出する。DSM10は運転中のドライバの脇見・眠気・居眠り・不適切な運転姿勢の状態等を検知することができる装置である。マイク11は例えば、車内の音声等を検出する音声センサとして機能する。マイク11により取得された音声データは支障度算出部21及び対話制御部26に送信されて解析され、その内容が認識される。
The DSM 10 photographs the driver's face with the
車速センサ12は車両の速度を測定するセンサとして機能する。衛星測位システム13は地図上の車両の位置及び時刻を検知するセンサとして機能する。衛星測位システム13としては例えば全地球衛星系システム、及び地域衛星系システム等が有る。全地球衛星系システムとしては、GPS、Galileo、GLONASS等があり、地域衛星系システムとしては、みちびき等がある。
The
時計14は時刻を出力する。ブレーキセンサ15は車両のブレーキマスタシリンダのオイル圧を検出することによりドライバのブレーキを踏む力を測定するセンサとして機能する。スロットルセンサ16はアクセル(スロットル)の開度を測定するセンサとして機能する。舵角センサ17はハンドルの舵角を測定するセンサとして機能する。シート圧センサ18は車両内の各シートの座面の圧力を測定するセンサとして機能する。LIDAR19はレーザー照射に対する散乱光を測定し、遠距離にある対象までの距離を測定するセンサとして機能する。車内カメラ28は車内の状況を撮影するセンサとして機能する。これらセンサ類で取得されたセンサ情報は支障度算出部21に送信される。
The
支障度算出部21、チューニング実施部22、ガイド内容決定部23、ナビゲーション制御部24、HUD制御部25、対話制御部26のそれぞれは、図示しないCPU、DRAM、SRAM、ROM、I/O等を備えるマイクロコンピュータを主体として構成されている。支障度算出部21、チューニング実施部22、ガイド内容決定部23、ナビゲーション制御部24、HUD制御部25、対話制御部26のそれぞれにおける機能は、例えばROMに記憶されたプログラムを実行することにより実現される。
The hindrance
これら支障度算出部21、チューニング実施部22、ガイド内容決定部23、ナビゲーション制御部24、HUD制御部25、対話制御部26等は制御部として機能する。これらは一体的に構成された制御部として構成してもよい。
The obstacle
支障度算出部21は上記各種センサ類から送信されたセンサ情報を基にして、支障度を算出する。算出された支障度はチューニング実施部22及びガイド内容決定部23に送信される。チューニング実施部22は支障度を閾値によりレベル分割する。ガイド内容決定部23は支障度のレベルに応じて車両の安全を向上させるガイドの内容を決定する。ガイド内容はガイド内容データベース23aに格納されており、支障度に応じてガイド内容決定部23が読み出して決定する。支障度の算出については後述する。
The trouble
ナビゲーション制御部24、HUD制御部25、対話制御部26は、ガイド内容決定部23によって決定されたガイド内容に応じてガイド処理を実行する。HUD制御部25は、ドライバの視野に情報を映し出すものである。ナビゲーション制御部24は、主として車両の道案内を実行するナビゲーションシステムを制御する。ナビゲーション制御部24は表示部24aに、HUD制御部25はHUD25aに、ガイド内容決定部23で生成されたガイド内容を表示する。
The
スピーカ26bは、ガイド内容決定部23よって決定されたガイド内容に応じて対話制御部26が生成した発話内容に応じて発話生成部26aが生成する音声を出力する音声発生部として機能する。音声データベース27は発話生成部26aで使用される音声データを格納している。また、対話制御部26は、発話生成部26a、スピーカ26b、及びマイク11を介して、ドライバ又は乗員との対話を制御する。
The
車内カメラ28は車両の内部映像を取得し、映像データは支障度算出部21及びガイド内容決定部23に送信されて分析される。例えば、車両に何人の乗車者がどの座席に着座しているか、後部座席や助手席等に置いたものが落下した場合にどこに落ちたか、等が識別される。
The in-vehicle camera 28 acquires an internal image of the vehicle, and the image data is transmitted to the obstacle
通信部29は無線通信網30を介した無線通信によりカスタマセンタ31に接続されており、カスタマセンタ31との間で種々のデータの授受を実施する。通信部29は独立した通信部として構成してもよいし、例えばDSM10が備える通信部を利用するようにしてもよい。
The
(支障度について)
本実施形態における支障度算出システム1は、ドライバの運転状況、車内の状況や周辺状況から、ドライバの安全運転に対する支障度を推定する。支障度は支障度算出部21によって算出される。
(About obstacle level)
The obstacle
実施形態における支障度とは、出発地を出発し目的地に到着する間に安全運転を妨げる要因によるドライバへの影響度合、と定義する。この支障度は、ドライバの心的変化による安全運転への影響も考慮している。ドライバの安全運転を妨げる要因には、少なくとも、車両種別、車両の速度及び加速度、車両の位置、時刻、ドライバの状況、同乗者の状況、車内の状況、の何れかを含む。 The degree of hindrance in the embodiment is defined as the degree of influence on the driver due to a factor that interferes with safe driving while departing from the starting point and arriving at the destination. The degree of hindrance also takes into account the influence of mental changes of the driver on safe driving. Factors that hinder the driver's safe driving include at least one of vehicle type, vehicle speed and acceleration, vehicle position, time, driver situation, passenger situation, and in-vehicle situation.
(支障度の算出方法)
ドライバの運転状況、車内の状況や周辺状況は、DSM10により検出されるドライバの状況、マイク11により検出される車内の音声、車速センサ12によって検出される車速及び加速度、衛星測位システム13によって検出される車両の位置情報、時計14から取得される現在時刻、ブレーキセンサ15、スロットルセンサ16及び舵角センサ17により検出される車両操作情報、シート圧センサ18により検出される同乗者の人数や着座位置、車内カメラ28により取得される車内状況等により認識される。マイク11により取得された車内の会話等の音声データは支障度算出部21及び対話制御部26に送信されて解析され、会話内容、発話内容が認識される。
(Calculation method of the obstacle level)
The driving situation of the driver, the situation inside the vehicle and the surrounding situation are detected by the situation of the driver detected by the
支障度は、これらの情報を説明変数として、機械学習の一つであるロジスティック回帰式を計算し、算出した確率値<0−1>を目的変数の範囲によって分類することで算出する。以下にロジスティック回帰式を示す。 The degree of hindrance is calculated by calculating a logistic regression equation, which is one of machine learning, using these pieces of information as explanatory variables and classifying the calculated probability value <0-1> according to the range of the objective variable. The logistic regression equation is shown below.
(1)式において、yは目的変数、xは説明変数、a1、a2は回帰係数、a0は定数項、eは自然対数の底である。ロジスティック回帰式を用いた分析をロジスティック回帰分析といい、確率値の算出、関係式に用いた説明変数の目的変数に対する貢献度を明らかにする。実施形態においては、説明変数は図2に示す特徴量であり、目的変数は支障度である。実施形態において、(1)式により、支障度が算出される。 In the equation (1), y is an objective variable, x is an explanatory variable, a1 and a2 are regression coefficients, a0 is a constant term, and e is the base of natural logarithm. Analysis using the logistic regression equation is called logistic regression analysis, and the contribution of the explanatory variable used in the calculation of the probability value to the objective variable is clarified. In the embodiment, the explanatory variable is the characteristic amount shown in FIG. 2, and the objective variable is the degree of trouble. In the embodiment, the trouble level is calculated by the equation (1).
運転ガイドシステム2は、この支障度のレベルに応じて、音声エージェントにより乗員や周辺車両へのアナウンスを行う。音声エージェントは、対話制御部26において、ROMに記憶されたプログラムを実行することにより実現される。音声エージェントは、イメージキャラクタは用いず、ドライバに対するガイドが必要なときに、音声でドライバと対話を行うことにより下記に詳説する車両の安全運航に関するガイドを提供する。
The driving
運転ガイドシステム2は、以下のような状況の場合に、算出した支障度に応じて、例えば、ドライバにガイドを実施するとともに、ドライバ、乗員、及び車外の者に対して注意喚起を実施する。
状況1:運転時における車内のアクシデントにより、ドライバが運転に集中できない
状況2:同乗者や周囲の車両がドライバの異常に気づけない
In the following situations, the driving
Situation 1: The driver cannot concentrate on driving due to an accident in the vehicle while driving Situation 2: Passengers and surrounding vehicles do not notice the driver's abnormality
実施形態は、状況1のようなドライバの心的変化による安全運転への影響を、支障度という値で表現する。つまり、車内から得られる情報を用いて、安全運転に対する支障度を算出する。支障度の算出には、車内から得られる情報を利用する(図2参照)。
In the embodiment, the influence on the safe driving due to the mental change of the driver as in the
実施形態に係る支障度算出システム1では、車内のアクシデントを、取得した種々の情報から総合的に評価付けを行い、機械学習の一つであるロジスティック回帰式により算出した汎用性の高い確率値(目的変数)を利用して支障度を得る。
In the obstacle
(支障度の算出の具体例)
次に、支障度の算出について説明する。
支障度は、例えば図2に示す特徴量すなわち、DSM10により取得される眠気検知情報、マイク11により取得される音声分析による入力音判別結果、舵角センサ17によるハンドル操作の加速度、車速センサ12、衛星測位システム13、ブレーキセンサ15及びスロットルセンサ16から総合的に検知される車両の速度及び加速度、シート圧センサ18等から得られる乗車人数などを利用して算出される。また、車内カメラ28によって取得される車内の状況情報、衛星測位システム13やLIDAR19から得られる周辺情報などを利用して算出してもよい。なお、図2中「1/0」は「有り/無し」に対応する。
(Specific example of calculation of obstacle level)
Next, the calculation of the difficulty level will be described.
The degree of hindrance is, for example, the feature amount shown in FIG. 2, that is, the drowsiness detection information acquired by the
支障度は、上記の特徴量すなわち説明変数を使用してロジスティック回帰式により算出された0から1までの値すなわち確率値である。ロジスティック回帰式の係数は、事前にサンプル情報として取得した学習データから算出する。ロジスティック回帰分析の出力は確率値であり、支障度に対する各特徴値の寄与度も算出される。確率値は、支障度を用いて、ガイド決定を行う上で扱いやすい。また、寄与度は、学習時点で、様々な特徴から支障度の推定に有効な特徴を選択する際に有用である。 The degree of hindrance is a value from 0 to 1, that is, a probability value calculated by a logistic regression equation using the above-mentioned characteristic amount, that is, an explanatory variable. The coefficient of the logistic regression equation is calculated from learning data acquired as sample information in advance. The output of the logistic regression analysis is a probability value, and the contribution of each feature value to the degree of trouble is also calculated. The probability value is easy to handle when making a guide decision using the degree of obstacle. Further, the contribution degree is useful at the time of learning when selecting a feature effective for estimating the degree of trouble from various features.
実施形態において、支障度は、ドライバへの影響度合に応じて、次の4つレベル分けられる。
支障度:支障の程度
0:支障なし
1:運転中に気になる
2:運転の妨げになる
3:運転できない
In the embodiment, the degree of trouble is divided into the following four levels according to the degree of influence on the driver.
Degree of hindrance: Degree of hindrance
0: No problem
1: Anxious while driving
2: Hinder driving
3: cannot drive
支障度のレベル0は、ドライバの運転に影響がなく、安全運転の継続について支障が無い場合を意味する。レベル1は、例えば、一人での運転中に後部座席に置いた物がフットシートに落ちた場合を考える。この場合、ドライバの安全に対して、直接的に影響はない、すなわち運転を直接妨害するものではない。しかし、落ちた物がどうなったか気になるという点でドライバの集中を阻害するため、安全運転を妨げる要因となる。ドライバに直接的に影響はないが、ドライバに心的悪影響を与える状態に対応する。
The level of hindrance level 0 means that the driving of the driver is not affected and there is no hindrance in continuing safe driving.
レベル2は、ドライバ自身は運転できているが、ドライバの足元に物が落ちた場合など、直接的にドライバの運転の妨げになりうる状態に対応する。レベル3は、例えば、ドライバが眠気を催した等、ドライバの運行自体にクリティカルに問題があるため、運転を継続することが適当でない状態に対応する。
(支障度のレベル分割のための閾値の設定)
このチューニングのための閾値の設定を、図3を使って説明する。縦軸は、支障度の値である。ここではデフォルトを図3の「標準」のように閾値設定するものとする。標準の閾値設定は、支障度のレベル0から1を0.25ずつ等分となるようにレベル分割したものである。
(Setting of threshold for level division of difficulty)
The setting of the threshold value for this tuning will be described with reference to FIG. The vertical axis represents the value of the degree of trouble. Here, it is assumed that the default is set to a threshold value like "standard" in FIG. The standard threshold setting is that the levels 0 to 1 of the degree of obstacle are divided into equal parts by 0.25.
次に、車両種別による影響を考慮した「車両種別の影響」の設定での考え方について説明する。車両種別の影響は、レベル3の「運転できない」の支障度の範囲に影響する。トラックやバスが事故を起こした場合、車両の重量の影響により、重大事故につながる恐れが高い。また、高速バスや運搬トラックの場合、運転手は一名の場合も多いため、危険な場合、周囲の車両やカスタマセンタ31(例えば運送会社の運行監視センタ)などへの通知を迅速に行うべきである。そのため、図3の「車両種別の影響」のように、レベル3の「運転できない」の範囲を「標準」よりも広げて設定する。これに伴い、レベル0及びレベル1の範囲を狭くするように閾値を設定する。
Next, the concept of setting the “effect of vehicle type” in consideration of the effect of vehicle type will be described. The influence of the vehicle type influences the level of the obstacle level of "cannot drive" in
次に、運転経験による影響を考慮した「経験年数の影響」の設定での考え方について説明する。運転経験の影響は、レベル1「気になる」の範囲とレベル2「妨げになる」の範囲に影響する。運転経験が浅い場合、ちょっとした支障でも運転の妨げになる可能性がある。そのため、図3の「運転経験の影響」のようにレベル2「妨げになる」の範囲を広げる。これに伴い、レベル1「気になる」の範囲を狭くする。
Next, the concept of setting the “effect of years of experience” in consideration of the effect of driving experience will be described. The influence of the driving experience affects the
一方で、運転経験が長い場合は、ちょっとした支障では、ドライバの心的変化には影響しないため、レベル1「気になる」の範囲を狭くし、レベル0「支障なし」の範囲を広く設定するようにしてもよい。
On the other hand, when driving experience is long, a slight trouble does not affect the driver's mental changes, so the
(支障度の算出フロー)
次に、図4を参照して支障度算出システム1における支障度の算出フローについて説明する。まず、車両のイグニッションのオン(IG ON)により支障度算出システム1が起動し、ナビゲーション制御部24の表示部24aが入力待機状態となる(S1)。
(Calculation flow of obstacle level)
Next, a calculation flow of the obstacle level in the obstacle
次に、ユーザによる支障度のチューニングを実行する(S2)。支障度のチューニングは例えば表示部24aに表示された選択項目を選択することにより実施することができる。選択項目はメーカにより予め設定しておくか、あるいは、ユーザにより事前に設定しておく。また上述のように、車内カメラ28による顔データ認識により予め顔データに紐づけられた支障度の閾値を呼び出すことによりをチューニングするようにしてもよい。 Next, tuning of the trouble level by the user is executed (S2). Tuning of the degree of hindrance can be performed by selecting a selection item displayed on the display unit 24a, for example. The selection items are set in advance by the manufacturer or set in advance by the user. Further, as described above, the tuning may be performed by calling the threshold value of the degree of hindrance associated with the face data in advance by the face data recognition by the in-vehicle camera 28.
その後、種々のセンサデータの取得が開始される(S3)。支障度算出システム1は、センサデータをもとに、ロジスティック回帰式を演算し(S4)、設定された支障度のチューニングに基づいて支障度を決定する(S5)。その後、イグニッションOFFとなるまで、センサデータを取得し続ける(S6)。
After that, acquisition of various sensor data is started (S3). The obstacle
(ガイドの内容)
次に、支障度のレベルに応じたガイド内容について説明する。
ガイド内容は、支障度と車外情報に基づいてガイド内容決定部23によって決定される。支障度は支障度算出部21によって算出される。車外情報は、LIDAR19により検出される。ガイド内容決定部23は、決定したガイド内容に応じて、対話制御部26及び発話生成部26aを制御し、音声エージェントを実行して、乗員や周辺車両に対するガイドを実施する。
(Guide contents)
Next, the contents of the guide according to the level of difficulty will be described.
The guide content is determined by the guide
ガイド内容には、ドライバに対するガイドの提示、同乗者に対するガイドの提示、及びナビゲーションシステムの次目的地としての停車推奨位置の設定、の何れかを含む。
ガイドの内容としては、例えば、支障度がレベル2の場合は、ドライバや同乗者に対して対話制御部26によって制御される音声エージェントによって警告が実施されるとともに、通信部29経由でカスタマセンタ31に接続し、カスタマセンタ31のオペレータからドライバに警告を実施する等のガイドが実施される。また、ナビゲーションシステムに警告アラーム機能を搭載させて、ドライバに警告を実施するようにしてもよい。
The content of the guide includes any one of presenting the guide to the driver, presenting the guide to the passenger, and setting the recommended stop position as the next destination of the navigation system.
As the content of the guide, for example, when the degree of obstacle is
また、支障度がレベル1の場合は、対話制御部26の制御による音声エージェントがドライバに対して「気にしなくていいよ、運転に集中してください」等のように発話したり、同乗者にドライバが気になっている点を解決するように働きかける等のガイドを実施する。
Further, when the obstacle level is
ガイド内容決定には、支障度の他に、車外情報も利用される。安全運転の判断は周囲の環境によって異なるためである。車外情報は、LIDAR19により検出される周囲情報、及び、衛星測位システム13による位置情報と地図情報から把握される周囲情報から認識される。
In addition to the obstacle level, information outside the vehicle is used to determine the guide content. This is because the judgment of safe driving depends on the surrounding environment. The information outside the vehicle is recognized from the surrounding information detected by the
LIDAR19によれば、対象までの距離やその対象の性質を分析することが可能であるため、周囲の道路状況、周囲に他の車両や人等が存在するか否かなどの情報を把握することができる。衛星測位システム13による位置情報と地図情報からは、地図データとして記憶されている道路状況、地物等を認識可能である。また、衛星測位システム13による位置情報と地図情報から、車両が現在、高速道路を走行しているのか、一般道路を走行しているのか、等の情報も取得することが可能である。
According to LIDAR19, since it is possible to analyze the distance to the target and the nature of the target, it is necessary to grasp the information such as the surrounding road condition and whether other vehicles or people exist in the surroundings. You can From the position information and the map information by the
例えば、支障度のレベルが高い場合に、車両が一般道路を走行している場合と高速道路を走っている場合ではガイド内容を変更する必要がある。一般道路の場合は、すぐに駐停車可能区域に車を止めるようにドライバにガイドすることができるが、高速道路の場合は、路側帯や路肩に停車できないため、近くのサービスエリアまたはパーキングエリアに停車するか、高速道路を降りるなどのガイドが実施される。 For example, when the level of the obstacle is high, it is necessary to change the guide content depending on whether the vehicle is traveling on a general road or on a highway. On public roads, the driver can be guided to stop the car immediately in the parking / parking area, but on highways, it is not possible to park on the side strips or shoulders, so the service area or parking area is nearby. Guides such as stopping or getting off the highway will be provided.
また、ガイド内容の決定には、シート圧センサ18により取得された情報も利用する。ドライバ以外の同乗者が存在する場合は運転ガイドシステム2がドライバだけでなく同乗者に対してもガイドすることが可能であるからである。
The information acquired by the
図5に支障度のレベル、走行道路、周囲状況、同乗者の有無によるガイド内容例を示す。また、図6にガイド内容決定部23によるガイド実施のフロー図を示す。
まず、ガイド内容決定部23は、支障度算出部21によって算出された支障度がレベル0か否かを判定する(S11)。支障度のレベルが0でない場合、すなわち支障度のレベルが1,2または3の場合は、LIDAR19及び衛星測位システム13から車外情報を取得する(S12)。
FIG. 5 shows an example of the guide contents depending on the level of the obstacle, the traveling road, the surroundings, and the presence or absence of a passenger. Further, FIG. 6 shows a flow chart of the guide execution by the guide
First, the guide
次に、ガイド内容決定部23は、支障度のレベル及び外部情報に基づいてガイド内容を決定する(S13)。次に、運転ガイドシステム2は、決定されたガイド内容に基づいて、ドライバ、同乗者に対してガイドを実施する(S14)。ガイドとしては、ナビゲーション制御部24による表示部24aへの表示によるガイド、HUD制御部25によるHUD25aへの表示によるガイド、及び、対話制御部26により制御された音声エージェントによる発話によるガイドがある。
Next, the guide
また、通信部29、無線通信網30を介してカスタマセンタ31のオペレータによる発話によるガイドの提供を受けてもよい。その後、ガイドが終了した場合は(S15)、運転ガイドシステム2はガイドを終了し、支障度の判定(S11)に戻る。
Further, the guide of the utterance by the operator of the
(チューニングの具体例)
次に、所定の閾値による支障度のレベル分割のチューニングについて図7を用いて説明する。支障度のチューニングはチューニング実施部22が実行する。チューニング実施部22は、支障度をレベル分割するための閾値を設定する。
(Specific example of tuning)
Next, the tuning of the level division of the obstacle level by a predetermined threshold will be described with reference to FIG. The
例えば、図7に示すように、普段乗用車に乗っている人物Aが引っ越しのために、トラックをレンタルした場合を想定する。この場合、人物Aの当該車両の運転経験は0年、車両の種別はトラックとなる。これらのパラメータからこの人物は運転したことがない車両に乗ることがわかるため、普段ならば、レベル1(運転中に気になる)と判定されるような状況でも、レベル2(運転の妨げになる)と判定したほうが好適である。 For example, as shown in FIG. 7, it is assumed that a person A who is usually in a passenger car rents a truck for moving. In this case, the person A has 0 years of driving experience with the vehicle, and the type of vehicle is a truck. From these parameters, it can be seen that this person gets into a vehicle that has never been driven, so even if the situation is such that it would normally be judged as level 1 (anxious while driving), level 2 ( It is more preferable to determine that
そこで、支障度のレベル0から3が適切な判定となるように、算出された支障度の閾値によるレベル分割において、閾値を設定するチューニングを行う。このチューニングは、例えば、レンタカーや大型バスなどに乗る運転手が、各自のスマートフォンやナビモジュールで運転前に設定しておくことで支障度の閾値を設定する。 Therefore, in order to appropriately determine the obstacle levels 0 to 3, the threshold is set in the level division based on the calculated obstacle threshold. For this tuning, for example, a driver on a rental car or a large bus sets his or her own smartphone or navigation module before driving to set a threshold for the degree of obstacle.
また、例えば、自家用車であれば、あらかじめ車内カメラ28で撮影したドライバの顔データと支障度をレベル分割するための閾値を事前に紐づけ登録しておくことで、例えば車両に乗車した際に車内カメラ28によって取得されたドライバの顔データ認証に紐づけられた支障度をレベル分割する閾値を読み出すことで設定を実施するようにしてもよい。 Further, for example, in the case of a private car, by registering in advance the face data of the driver photographed by the in-vehicle camera 28 and a threshold value for level-dividing the obstacle level, it is possible to register, for example, when the user gets in the vehicle. The setting may be performed by reading a threshold value for level-dividing the degree of trouble associated with the face data authentication of the driver acquired by the in-vehicle camera 28.
次に、図7の人物Bがドライバとして乗車した場合について説明する。Bが車両のイグニッションをONすると(S1)、支障度算出システム1が起動し、ナビゲーション制御部24の表示部24aが起動する。また、車内カメラ28がBの顔認識を実行する。この場合、Bの顔画像は支障度算出システム1に登録されているものとする。
Next, a case where the person B in FIG. 7 gets on as a driver will be described. When B turns on the ignition of the vehicle (S1), the
車内カメラ28で取得された顔画像はデータベースと照合され、支障度算出システム1は事前に登録されたBの顔との合致を検知する。その後、Bの顔データに紐づけられた支障度の閾値を呼び出すことによりチューニングを実施する(S2)。
The face image obtained by the in-vehicle camera 28 is collated with the database, and the
(動作例)
図7及び図8を参照して、支障度算出システム1及び運転ガイドシステム2の具体的な動作例を説明する。まず、図7の人物Aがドライバとして乗車した場合について説明する。Aが車両のイグニッションをONすると(S1)、支障度算出システム1が起動し、ナビゲーション制御部24の表示部24aが起動する。この場合、Aの顔画像は支障度算出システム1に登録されていない。
(Operation example)
A specific operation example of the
車内カメラ28はAの顔認識を試みるが、Aの顔画像は支障度算出システム1に登録されていないため顔認証は不成立となり、チューニング実施部22は、支障度のレベル分割のチューニングをドライバに要求する。チューニングは例えば予め準備された選択肢からの選択式で実施され、車両種別とその車両の運転経験を入力させる。この操作により、例えば図8に示すように支障度のレベル分類が、選択項目に応じた閾値の設定によりチューニングされる(S2)。
The in-vehicle camera 28 attempts to recognize the face of A, but since the face image of A is not registered in the obstacle
次に、Aが運行を開始すると、車両に取り付けられたDSM10、マイク11、車速センサ12、衛星測位システム13、時計14、ブレーキセンサ15、スロットルセンサ16、舵角センサ17、シート圧センサ18、LIDAR19、車内カメラ28などから送信されるセンサデータを取得し(S3)、ロジスティック回帰式の演算を実行する(S4)。
Next, when A starts to operate, the
ここで、例えば図8の時刻T1になった時点で、トラックの車内で何か物が動いた音がしたため、ドライバの視線やブレーキ制御に変化があったとする。車内の物の動き等、Aに対する影響は、DSM10によるAの顔映像情報、マイク11により取得された車内の音声情報、車内カメラ28により取得された車内映像情報を解析することにより検知される。
Here, for example, at time T1 in FIG. 8, it is assumed that there is a sound of something moving inside the truck, so that the line of sight of the driver and the brake control are changed. The influence on A such as the movement of an object in the vehicle is detected by analyzing the face image information of A by the
その後、Aがトラックの中で図示しないハンドルを操作するたびに、荷物が左右に動く音がするため、入力音判別結果(図2参照)の特徴量に対するロジスティック回帰式(1)の回帰係数を大きくしていき、支障度は徐々に上昇する。支障度が閾値0.30を超えると、ガイド内容決定部23は支障度のレベル1を決定し(S5)、支障度のレベル1に対応するガイド内容を決定する。決定されたガイド内容に対応して、対話制御部26の制御による音声エージェントがAに対して、例えば「運転に集中してください。何か気になることがあれば、停車して確認しましょう。」等と発話する。
After that, whenever A manipulates a steering wheel (not shown) in the truck, the sound of the luggage moving left and right is generated. Therefore, the regression coefficient of the logistic regression equation (1) for the feature amount of the input sound determination result (see FIG. 2) is set. As it becomes larger, the degree of hindrance gradually rises. When the obstacle level exceeds the threshold value 0.30, the guide
このような発話情報は音声データベース27に記憶されている。Aはこの発話を受けて、一旦停車し、荷物に問題がないことを確認する。その後の運転状況においては支障度を上昇させる要因は消滅するため、支障度を下げることができる。
Such speech information is stored in the
その後、しばらく順調に運行していたが、時刻T2のときに、DSM10がAのあくびを検知した。あくびは眠気に関連が大きいため、DSM眠気検知(図2参照)の特徴量に対するロジスティック回帰式(1)の回帰係数を大きくしていき、支障度は徐々に上昇する。支障度が上昇し、閾値0.45を超えると、ガイド内容決定部23は支障度のレベル2を決定し(S5)、支障度2に対応するガイド内容を決定する。
After that, it was operating smoothly for a while, but at time T2, the
決定されたガイド内容に対応して、対話制御部26の制御による音声エージェントがAに対して、例えば「大丈夫ですか?」等と発話し、さらに「前方の〇〇に一旦停止しませんか?」等と発話し、HUD25aに停車場所を表示する。同様の内容をナビゲーション制御部24の表示部24a、又はHUD25aに表示してもよい。この場合、ナビゲーション制御部24、表示部24a、HUD制御部25、HUD25a、対話制御部26、発話生成部26a、スピーカ26bはガイド内容実施部として機能する。
In response to the determined guide content, the voice agent under the control of the
Aは音声エージェントのガイドに従い停車する。停車後、音声エージェントは「〇〇で休憩しましょう」等と発話し、ナビゲーション制御部24の表示部24aで休憩候補場所を提示する。ドライバはその場所を中継地点もしくは目標地点として設定し、運行を再開する。
A stops according to the voice agent's guide. After stopping, the voice agent speaks "Let's take a break with XX" and the like, and presents a candidate break place on the display unit 24a of the
同乗者が存在している場合で、同乗者が覚醒している場合は、同乗者に「運転手さんが眠そうだよ!会話してあげて!」等というガイドや、「近くのコンビニで一旦休憩しよう」等というガイドを発話し、表示部24aやHUD25aにコンビニの位置情報を表示する。
If a passenger is present and the passenger is awake, ask the passenger a guide such as "The driver seems to sleep! Let's talk!" Or "A temporary convenience store nearby. A guide such as "Let's take a break" is uttered, and the position information of the convenience store is displayed on the display unit 24a and the
車両が自動運転システムを搭載している場合は、車両の運転を制御して、車両及び周辺の安全を確保しつつ、路肩に停車させる、サービスエリアまたはコンビニエンスストアの駐車場に駐車させる、等の制御を行ってもよい。また、支障度が高い場合は、周辺の車両やカスタマセンタ31等にも通知を行うようにしてもよい。
When the vehicle is equipped with an automatic driving system, it controls the operation of the vehicle to ensure the safety of the vehicle and its surroundings, and stops at the roadside, parks in a service area or a parking lot of a convenience store, etc. You may control. Further, when the degree of trouble is high, the notification may be given to the vehicles in the vicinity, the
次に、図7の人物Bがドライバとして乗車した場合について説明する。Bが車両のイグニッションをONし(S1)、車内カメラ28がBによる顔認識によりBの顔データに紐づけられた支障度の閾値を呼び出すことによりチューニングが実施される。Bは、目的地までの途中まで運転に集中できていたものの、図9に示すように、時刻T3の時点で、高速道路を長期間運転し、夕方の時間帯になり、渋滞にはまってしまったため、眠気が生じた。そのため、ハンドル操作の加速度(図2参照)やDSM10による眠気検知により、支障度が上昇し、レベル3となっている。
Next, a case where the person B in FIG. 7 gets on as a driver will be described. B turns on the ignition of the vehicle (S1), and the in-vehicle camera 28 performs the tuning by calling the threshold value of the obstacle degree linked to the face data of B by the face recognition by B. Although B was able to concentrate on driving halfway to the destination, as shown in FIG. 9, at time T3, he was driving on the expressway for a long time, in the evening hours, and was stuck in traffic. As a result, drowsiness occurred. Therefore, the degree of hindrance increases due to acceleration of the steering wheel operation (see FIG. 2) and drowsiness detection by the
この場合、支障度算出システム1は、B及び同乗者に対話制御部26の制御による音声エージェントを介して、「起きてください!」等の発話をする。居眠り運転は危険性が高いため、まずはドライバや同乗者を覚醒させるために、大きな音で再生する。ドライバも同乗者も反応が無い場合は、通信部29を介してカスタマセンタ31などに通知し、カスタマセンタ31駐在のオペレータ等から車内スピーカ26bを介して車内の乗員に語りかけを行う。これによりドライバであるB及び同乗者に注意を喚起し、事故の発生を未然に防止する。このような場合、支障度算出システム1は車両のハザード20を点滅させ、周囲に危険を知らせる。また、車車間通信システムを搭載する車両である場合は、車車間通信システムを用いて周囲の車両に危険を知らせるようにしてもよい。
In this case, the obstacle
また、ガイド内容決定部23によるガイド内容は、ドライバの判断を極力少なくすることで、運転に集中させるように設定されている。例えば、ドライバの眠気により、支障度が上昇した場合には、ガイド内容決定部23は、複数の停車場所を提示するのではなく、あえて1箇所のみを提示するように設定されている。これにより、ドライバの判断を減らすことに車両運行の安全を確保するようにしている。
Further, the guide content by the guide
実施形態に係る支障度算出システム1によれば以下の効果を奏する。
支障度算出システム1によって算出される支障度は、機械学習により算出されるため、支障度が確率値(すなわち目的変数)で提供される。また、各特徴値(すなわち説明変数)の寄与度がその係数として提供される。これにより、支障度の閾値によるレベル分割における閾値の設定すなわちチューニングを容易に実施することができる。また、算出された支障度を閾値によってレベルに分割し、種々の処理、例えば、レベルに応じてドライバに対するガイドを決定するなどの用途に使用することができる。
The obstacle
Since the obstacle level calculated by the obstacle
本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。 Although the present disclosure has been described with reference to examples, it is understood that the present disclosure is not limited to such examples and structures. The present disclosure also includes various modifications and modifications within an equivalent range. In addition, various combinations and forms, and other combinations and forms including only one element, more, or less than them are also included in the scope and concept of the present disclosure.
実施形態において、機械学習の一例としてロジスティック回帰式を用いて支障度の算出を行ったが、他に、サポートベクターマシンや、ディープラーニング等の手法を用いて支障度を算出するようにしてもよい。 In the embodiment, the hindrance level is calculated using a logistic regression equation as an example of machine learning, but in addition, the hindrance level may be calculated using a technique such as a support vector machine or deep learning. .
1…支障度算出システム、2…運転ガイドシステム、10…ドライバステータスモニター(DSM)、11…マイク、12…車速センサ、13…衛星測位システム、14…時計、15…ブレーキセンサ、16…スロットルセンサ、17…舵角センサ、18…シート圧センサ、19…LIDAR、21…支障度算出部、22…チューニング実施部、23…ガイド内容決定部、24…ナビゲーション制御部(ガイド内容実施部)、24a…表示部(ガイド内容実施部)、25…HUD制御部(ガイド内容実施部)、25a…HUD(ガイド内容実施部)、26…対話制御部(ガイド内容実施部)、26a…発話生成部(ガイド内容実施部)、26b…スピーカ(ガイド内容実施部)、28…車内カメラ、31…カスタマセンタ
1 ... obstacle calculation system, 2 ... driving guide system, 10 ... driver status monitor (DSM), 11 ... microphone, 12 ... vehicle speed sensor, 13 ... satellite positioning system, 14 ... clock, 15 ... brake sensor, 16 ... throttle sensor , 17 ... Rudder angle sensor, 18 ... Seat pressure sensor, 19 ... LIDAR, 21 ... Disability degree calculation section, 22 ... Tuning execution section, 23 ... Guide content determination section, 24 ... Navigation control section (guide content execution section), 24a Display unit (guide content implementation unit), 25 ... HUD control unit (guide content implementation unit), 25a ... HUD (guide content implementation unit), 26 ... Dialogue control unit (guide content implementation unit), 26a ... Utterance generation unit ( Guide content implementation section), 26b ... Speaker (guide content implementation section), 28 ... In-vehicle camera, 31 ... Customer center
Claims (5)
前記ドライバの安全運転を妨げる要因に基づいて、ドライバの安全運転に対する支障の度合いを示す支障度を算出する支障度算出部(21)と、を備える支障度算出システム。 A sensor (10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 28) for acquiring data on factors that hinder the driver's safe driving;
A hindrance degree calculation system comprising: a hindrance degree calculation unit (21) that calculates a hindrance level indicating a degree of hindrance to the safe driving of the driver based on a factor that hinders the safe driving of the driver.
The factor that hinders the driver's safe driving includes at least one of vehicle type, vehicle speed and acceleration, vehicle position, time, driver situation, passenger situation, and vehicle interior situation. The obstacle level calculation system according to any one of items.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018197525A JP2020064553A (en) | 2018-10-19 | 2018-10-19 | Hindrance degree calculation system |
DE112019005224.1T DE112019005224T5 (en) | 2018-10-19 | 2019-09-09 | Disturbance degree calculation system and driving guidance system |
PCT/JP2019/035339 WO2020079990A1 (en) | 2018-10-19 | 2019-09-09 | Obstacle degree calculating system, and driving guide system |
US17/231,643 US20210229677A1 (en) | 2018-10-19 | 2021-04-15 | Disturbance degree calculation system and driving guide system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018197525A JP2020064553A (en) | 2018-10-19 | 2018-10-19 | Hindrance degree calculation system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020064553A true JP2020064553A (en) | 2020-04-23 |
Family
ID=70387357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018197525A Pending JP2020064553A (en) | 2018-10-19 | 2018-10-19 | Hindrance degree calculation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020064553A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021200722A1 (en) | 2020-03-31 | 2021-10-07 | 日東電工株式会社 | Peeking prevention system, peeking prevention method, and window member |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007226666A (en) * | 2006-02-24 | 2007-09-06 | Aisin Aw Co Ltd | Driving support method and driving support device |
JP2018027776A (en) * | 2016-08-16 | 2018-02-22 | トヨタ自動車株式会社 | Individualized adaptation of driver action prediction models |
-
2018
- 2018-10-19 JP JP2018197525A patent/JP2020064553A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007226666A (en) * | 2006-02-24 | 2007-09-06 | Aisin Aw Co Ltd | Driving support method and driving support device |
JP2018027776A (en) * | 2016-08-16 | 2018-02-22 | トヨタ自動車株式会社 | Individualized adaptation of driver action prediction models |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021200722A1 (en) | 2020-03-31 | 2021-10-07 | 日東電工株式会社 | Peeking prevention system, peeking prevention method, and window member |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3330148B1 (en) | Automatic driving system for vehicles | |
CN108028015B (en) | Information processing apparatus, information processing method, and storage medium | |
US10431215B2 (en) | System and method of conversational adjustment based on user's cognitive state and/or situational state | |
JP6641916B2 (en) | Automatic driving support device, automatic driving support system, automatic driving support method, and automatic driving support program | |
CN105564441B (en) | Alarm device, warning system, alarming method and portable terminal | |
JP2024019189A (en) | Vehicle control device and vehicle control method | |
JP6668814B2 (en) | Automatic traveling control device and automatic traveling control system | |
US20180144636A1 (en) | Distracted driver detection, classification, warning, avoidance system | |
JP6142718B2 (en) | Driving support device and driving support method | |
KR20210088565A (en) | Information processing devices, mobile devices and methods, and programs | |
JP2020091790A (en) | Automatic operation system | |
JP2016062414A (en) | In-vehicle monitoring device and in-vehicle monitoring system | |
JP2005024507A (en) | Navigation system and program | |
WO2018168051A1 (en) | Degree of concentration determination device, degree of concentration determination method, and program for determining degree of concentration | |
JP2016181032A (en) | Automatic travel control device and automatic travel control system | |
WO2022201962A1 (en) | Driving characteristic assessment device, driving characteristic assessment method, and driving characteristic assessment program | |
WO2018168049A1 (en) | Concentration degree determination device, concentration degree determination method, and program for determining concentration degree | |
JP7107157B2 (en) | Operation support method and operation support device | |
WO2020079990A1 (en) | Obstacle degree calculating system, and driving guide system | |
JP2020064553A (en) | Hindrance degree calculation system | |
JP2020064554A (en) | Drive guide system | |
JP2007061484A (en) | Attention attracting system | |
CN115230713A (en) | Driving assistance method and device, electronic equipment and storage medium | |
JP7376996B2 (en) | Vehicle dangerous situation determination device, vehicle dangerous situation determination method, and program | |
JP2018151902A (en) | Device for determining degree of concentration, method for determining degree of concentration, and program for determining degree of concentration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220621 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221213 |