JP2020064553A - Hindrance degree calculation system - Google Patents
Hindrance degree calculation system Download PDFInfo
- Publication number
- JP2020064553A JP2020064553A JP2018197525A JP2018197525A JP2020064553A JP 2020064553 A JP2020064553 A JP 2020064553A JP 2018197525 A JP2018197525 A JP 2018197525A JP 2018197525 A JP2018197525 A JP 2018197525A JP 2020064553 A JP2020064553 A JP 2020064553A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- level
- obstacle
- vehicle
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、支障度算出システムに関する。 The present invention relates to a difficulty level calculation system.
眠気、酒酔い、あるいは他の原因によるドライバの運転能力の異常を検出し、異常な場合に警告を発するシステムが提案されている（特許文献１）。 A system has been proposed that detects an abnormality in the driving ability of a driver due to drowsiness, sickness, or other causes, and issues a warning when the abnormality is detected (Patent Document 1).
しかし、ドライバの運転不可能とまではいかないが、運転に支障が生じている場合があり、これも含めてドライバに運転ガイドを実施するシステムは存在していない。 However, although it may not be impossible for the driver to drive, there are cases in which driving is impaired, and there is no system that includes a driver for driving guide.
本発明は、上記課題に鑑みてなされたものであり、その目的は、ドライバにおける安全運転に対する支障度を算出する支障度算出システムを提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide a hindrance degree calculation system that calculates a hindrance degree for safe driving in a driver.
請求項１に記載した支障度算出システムは、ドライバの安全運転を妨げる要因に関するデータを取得するセンサ（１０、１１、１２、１３，１４、１５，１６，１７，１８、１９、２８）と、前記ドライバの安全運転を妨げる要因に基づいて、ドライバの安全運転に対する支障の度合いを示す支障度を算出する支障度算出部（２１）と、を備える。この構成によれば、ドライバにおける安全運転に対する支障度を算出する支障度算出システムを提供することができる。
The obstacle level calculation system according to
以下、本発明の複数の実施形態について図面を参照して説明する。以下の説明において前出と同様の要素については同様の符号を付し、その説明については省略する。また、以下の説明で、支障度を算出するシステムを支障度算出システム１と称し、算出された支障度に応じてガイド内容を決定しガイドを実施するシステムを運転ガイドシステム２と称する。運転ガイドシステム２は支障度算出システム１を含むものである。
Hereinafter, a plurality of embodiments of the present invention will be described with reference to the drawings. In the following description, the same elements as those described above are designated by the same reference numerals, and the description thereof will be omitted. Further, in the following description, a system for calculating the degree of obstacle is referred to as a degree-of-obstruction calculating
図１に、実施形態に係る支障度算出システム１を含む運転ガイドシステム２の概略構成を示すブロック図を示す。図１に示すように、支障度算出システム１は、ドライバステータスモニター（ＤＳＭ）１０、マイク１１、車速センサ１２、衛星測位システム１３、時計１４、ブレーキセンサ１５、スロットルセンサ１６、舵角センサ１７、シート圧センサ１８、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）１９、車内カメラ２８等の種々のセンサ類を備えている。
FIG. 1 is a block diagram showing a schematic configuration of a
また、支障度算出システム１は、支障度算出部２１、チューニング実施部２２、ガイド内容決定部２３、ナビゲーション制御部２４、ＨＵＤ（Head-Up Display）制御部２５、対話制御部２６等の制御部、発話生成部２６ａ、スピーカ２６ｂ、車内カメラ２８、通信部２９、及びハザード２０を備えている。スピーカ２６ｂは、車内に設けられたオーディオ機器用のスピーカを利用してもよい。これらは、通信線３２により通信可能に接続されている。通信線３２は例えば車内ＬＡＮ、ＣＡＮ等である。また、運転ガイドシステム２は周囲の車両に異常を知らせるハザード２０を備えている。
Further, the obstacle
ＤＳＭ１０は、ドライバの顔をカメラ１０ａで撮影し、画像解析によりドライバの状態を検出する。ＤＳＭ１０は運転中のドライバの脇見・眠気・居眠り・不適切な運転姿勢の状態等を検知することができる装置である。マイク１１は例えば、車内の音声等を検出する音声センサとして機能する。マイク１１により取得された音声データは支障度算出部２１及び対話制御部２６に送信されて解析され、その内容が認識される。
The DSM 10 photographs the driver's face with the
車速センサ１２は車両の速度を測定するセンサとして機能する。衛星測位システム１３は地図上の車両の位置及び時刻を検知するセンサとして機能する。衛星測位システム１３としては例えば全地球衛星系システム、及び地域衛星系システム等が有る。全地球衛星系システムとしては、ＧＰＳ、Ｇａｌｉｌｅｏ、ＧＬＯＮＡＳＳ等があり、地域衛星系システムとしては、みちびき等がある。
The
時計１４は時刻を出力する。ブレーキセンサ１５は車両のブレーキマスタシリンダのオイル圧を検出することによりドライバのブレーキを踏む力を測定するセンサとして機能する。スロットルセンサ１６はアクセル（スロットル）の開度を測定するセンサとして機能する。舵角センサ１７はハンドルの舵角を測定するセンサとして機能する。シート圧センサ１８は車両内の各シートの座面の圧力を測定するセンサとして機能する。ＬＩＤＡＲ１９はレーザー照射に対する散乱光を測定し、遠距離にある対象までの距離を測定するセンサとして機能する。車内カメラ２８は車内の状況を撮影するセンサとして機能する。これらセンサ類で取得されたセンサ情報は支障度算出部２１に送信される。
The
支障度算出部２１、チューニング実施部２２、ガイド内容決定部２３、ナビゲーション制御部２４、ＨＵＤ制御部２５、対話制御部２６のそれぞれは、図示しないＣＰＵ、ＤＲＡＭ、ＳＲＡＭ、ＲＯＭ、Ｉ／Ｏ等を備えるマイクロコンピュータを主体として構成されている。支障度算出部２１、チューニング実施部２２、ガイド内容決定部２３、ナビゲーション制御部２４、ＨＵＤ制御部２５、対話制御部２６のそれぞれにおける機能は、例えばＲＯＭに記憶されたプログラムを実行することにより実現される。
The hindrance
これら支障度算出部２１、チューニング実施部２２、ガイド内容決定部２３、ナビゲーション制御部２４、ＨＵＤ制御部２５、対話制御部２６等は制御部として機能する。これらは一体的に構成された制御部として構成してもよい。
The obstacle
支障度算出部２１は上記各種センサ類から送信されたセンサ情報を基にして、支障度を算出する。算出された支障度はチューニング実施部２２及びガイド内容決定部２３に送信される。チューニング実施部２２は支障度を閾値によりレベル分割する。ガイド内容決定部２３は支障度のレベルに応じて車両の安全を向上させるガイドの内容を決定する。ガイド内容はガイド内容データベース２３ａに格納されており、支障度に応じてガイド内容決定部２３が読み出して決定する。支障度の算出については後述する。
The trouble
ナビゲーション制御部２４、ＨＵＤ制御部２５、対話制御部２６は、ガイド内容決定部２３によって決定されたガイド内容に応じてガイド処理を実行する。ＨＵＤ制御部２５は、ドライバの視野に情報を映し出すものである。ナビゲーション制御部２４は、主として車両の道案内を実行するナビゲーションシステムを制御する。ナビゲーション制御部２４は表示部２４ａに、ＨＵＤ制御部２５はＨＵＤ２５ａに、ガイド内容決定部２３で生成されたガイド内容を表示する。
The
スピーカ２６ｂは、ガイド内容決定部２３よって決定されたガイド内容に応じて対話制御部２６が生成した発話内容に応じて発話生成部２６ａが生成する音声を出力する音声発生部として機能する。音声データベース２７は発話生成部２６ａで使用される音声データを格納している。また、対話制御部２６は、発話生成部２６ａ、スピーカ２６ｂ、及びマイク１１を介して、ドライバ又は乗員との対話を制御する。
The
車内カメラ２８は車両の内部映像を取得し、映像データは支障度算出部２１及びガイド内容決定部２３に送信されて分析される。例えば、車両に何人の乗車者がどの座席に着座しているか、後部座席や助手席等に置いたものが落下した場合にどこに落ちたか、等が識別される。
The in-vehicle camera 28 acquires an internal image of the vehicle, and the image data is transmitted to the obstacle
通信部２９は無線通信網３０を介した無線通信によりカスタマセンタ３１に接続されており、カスタマセンタ３１との間で種々のデータの授受を実施する。通信部２９は独立した通信部として構成してもよいし、例えばＤＳＭ１０が備える通信部を利用するようにしてもよい。
The
（支障度について）
本実施形態における支障度算出システム１は、ドライバの運転状況、車内の状況や周辺状況から、ドライバの安全運転に対する支障度を推定する。支障度は支障度算出部２１によって算出される。
(About obstacle level)
The obstacle
実施形態における支障度とは、出発地を出発し目的地に到着する間に安全運転を妨げる要因によるドライバへの影響度合、と定義する。この支障度は、ドライバの心的変化による安全運転への影響も考慮している。ドライバの安全運転を妨げる要因には、少なくとも、車両種別、車両の速度及び加速度、車両の位置、時刻、ドライバの状況、同乗者の状況、車内の状況、の何れかを含む。 The degree of hindrance in the embodiment is defined as the degree of influence on the driver due to a factor that interferes with safe driving while departing from the starting point and arriving at the destination. The degree of hindrance also takes into account the influence of mental changes of the driver on safe driving. Factors that hinder the driver's safe driving include at least one of vehicle type, vehicle speed and acceleration, vehicle position, time, driver situation, passenger situation, and in-vehicle situation.
（支障度の算出方法）
ドライバの運転状況、車内の状況や周辺状況は、ＤＳＭ１０により検出されるドライバの状況、マイク１１により検出される車内の音声、車速センサ１２によって検出される車速及び加速度、衛星測位システム１３によって検出される車両の位置情報、時計１４から取得される現在時刻、ブレーキセンサ１５、スロットルセンサ１６及び舵角センサ１７により検出される車両操作情報、シート圧センサ１８により検出される同乗者の人数や着座位置、車内カメラ２８により取得される車内状況等により認識される。マイク１１により取得された車内の会話等の音声データは支障度算出部２１及び対話制御部２６に送信されて解析され、会話内容、発話内容が認識される。
(Calculation method of the obstacle level)
The driving situation of the driver, the situation inside the vehicle and the surrounding situation are detected by the situation of the driver detected by the
支障度は、これらの情報を説明変数として、機械学習の一つであるロジスティック回帰式を計算し、算出した確率値＜０−１＞を目的変数の範囲によって分類することで算出する。以下にロジスティック回帰式を示す。 The degree of hindrance is calculated by calculating a logistic regression equation, which is one of machine learning, using these pieces of information as explanatory variables and classifying the calculated probability value <0-1> according to the range of the objective variable. The logistic regression equation is shown below.
（１）式において、ｙは目的変数、ｘは説明変数、ａ１、ａ２は回帰係数、ａ０は定数項、ｅは自然対数の底である。ロジスティック回帰式を用いた分析をロジスティック回帰分析といい、確率値の算出、関係式に用いた説明変数の目的変数に対する貢献度を明らかにする。実施形態においては、説明変数は図２に示す特徴量であり、目的変数は支障度である。実施形態において、（１）式により、支障度が算出される。 In the equation (1), y is an objective variable, x is an explanatory variable, a1 and a2 are regression coefficients, a0 is a constant term, and e is the base of natural logarithm. Analysis using the logistic regression equation is called logistic regression analysis, and the contribution of the explanatory variable used in the calculation of the probability value to the objective variable is clarified. In the embodiment, the explanatory variable is the characteristic amount shown in FIG. 2, and the objective variable is the degree of trouble. In the embodiment, the trouble level is calculated by the equation (1).
運転ガイドシステム２は、この支障度のレベルに応じて、音声エージェントにより乗員や周辺車両へのアナウンスを行う。音声エージェントは、対話制御部２６において、ＲＯＭに記憶されたプログラムを実行することにより実現される。音声エージェントは、イメージキャラクタは用いず、ドライバに対するガイドが必要なときに、音声でドライバと対話を行うことにより下記に詳説する車両の安全運航に関するガイドを提供する。
The driving
運転ガイドシステム２は、以下のような状況の場合に、算出した支障度に応じて、例えば、ドライバにガイドを実施するとともに、ドライバ、乗員、及び車外の者に対して注意喚起を実施する。
状況１：運転時における車内のアクシデントにより、ドライバが運転に集中できない
状況２：同乗者や周囲の車両がドライバの異常に気づけない
In the following situations, the driving
Situation 1: The driver cannot concentrate on driving due to an accident in the vehicle while driving Situation 2: Passengers and surrounding vehicles do not notice the driver's abnormality
実施形態は、状況１のようなドライバの心的変化による安全運転への影響を、支障度という値で表現する。つまり、車内から得られる情報を用いて、安全運転に対する支障度を算出する。支障度の算出には、車内から得られる情報を利用する（図２参照）。
In the embodiment, the influence on the safe driving due to the mental change of the driver as in the
実施形態に係る支障度算出システム１では、車内のアクシデントを、取得した種々の情報から総合的に評価付けを行い、機械学習の一つであるロジスティック回帰式により算出した汎用性の高い確率値（目的変数）を利用して支障度を得る。
In the obstacle
（支障度の算出の具体例）
次に、支障度の算出について説明する。
支障度は、例えば図２に示す特徴量すなわち、ＤＳＭ１０により取得される眠気検知情報、マイク１１により取得される音声分析による入力音判別結果、舵角センサ１７によるハンドル操作の加速度、車速センサ１２、衛星測位システム１３、ブレーキセンサ１５及びスロットルセンサ１６から総合的に検知される車両の速度及び加速度、シート圧センサ１８等から得られる乗車人数などを利用して算出される。また、車内カメラ２８によって取得される車内の状況情報、衛星測位システム１３やＬＩＤＡＲ１９から得られる周辺情報などを利用して算出してもよい。なお、図２中「１／０」は「有り／無し」に対応する。
(Specific example of calculation of obstacle level)
Next, the calculation of the difficulty level will be described.
The degree of hindrance is, for example, the feature amount shown in FIG. 2, that is, the drowsiness detection information acquired by the
支障度は、上記の特徴量すなわち説明変数を使用してロジスティック回帰式により算出された０から１までの値すなわち確率値である。ロジスティック回帰式の係数は、事前にサンプル情報として取得した学習データから算出する。ロジスティック回帰分析の出力は確率値であり、支障度に対する各特徴値の寄与度も算出される。確率値は、支障度を用いて、ガイド決定を行う上で扱いやすい。また、寄与度は、学習時点で、様々な特徴から支障度の推定に有効な特徴を選択する際に有用である。 The degree of hindrance is a value from 0 to 1, that is, a probability value calculated by a logistic regression equation using the above-mentioned characteristic amount, that is, an explanatory variable. The coefficient of the logistic regression equation is calculated from learning data acquired as sample information in advance. The output of the logistic regression analysis is a probability value, and the contribution of each feature value to the degree of trouble is also calculated. The probability value is easy to handle when making a guide decision using the degree of obstacle. Further, the contribution degree is useful at the time of learning when selecting a feature effective for estimating the degree of trouble from various features.
実施形態において、支障度は、ドライバへの影響度合に応じて、次の４つレベル分けられる。
支障度：支障の程度
０：支障なし
１：運転中に気になる
２：運転の妨げになる
３：運転できない
In the embodiment, the degree of trouble is divided into the following four levels according to the degree of influence on the driver.
Degree of hindrance: Degree of hindrance
0: No problem
1: Anxious while driving
2: Hinder driving
3: cannot drive
支障度のレベル０は、ドライバの運転に影響がなく、安全運転の継続について支障が無い場合を意味する。レベル１は、例えば、一人での運転中に後部座席に置いた物がフットシートに落ちた場合を考える。この場合、ドライバの安全に対して、直接的に影響はない、すなわち運転を直接妨害するものではない。しかし、落ちた物がどうなったか気になるという点でドライバの集中を阻害するため、安全運転を妨げる要因となる。ドライバに直接的に影響はないが、ドライバに心的悪影響を与える状態に対応する。
The level of hindrance level 0 means that the driving of the driver is not affected and there is no hindrance in continuing safe driving.
レベル２は、ドライバ自身は運転できているが、ドライバの足元に物が落ちた場合など、直接的にドライバの運転の妨げになりうる状態に対応する。レベル３は、例えば、ドライバが眠気を催した等、ドライバの運行自体にクリティカルに問題があるため、運転を継続することが適当でない状態に対応する。
（支障度のレベル分割のための閾値の設定）
このチューニングのための閾値の設定を、図３を使って説明する。縦軸は、支障度の値である。ここではデフォルトを図３の「標準」のように閾値設定するものとする。標準の閾値設定は、支障度のレベル０から１を０．２５ずつ等分となるようにレベル分割したものである。
(Setting of threshold for level division of difficulty)
The setting of the threshold value for this tuning will be described with reference to FIG. The vertical axis represents the value of the degree of trouble. Here, it is assumed that the default is set to a threshold value like "standard" in FIG. The standard threshold setting is that the levels 0 to 1 of the degree of obstacle are divided into equal parts by 0.25.
次に、車両種別による影響を考慮した「車両種別の影響」の設定での考え方について説明する。車両種別の影響は、レベル３の「運転できない」の支障度の範囲に影響する。トラックやバスが事故を起こした場合、車両の重量の影響により、重大事故につながる恐れが高い。また、高速バスや運搬トラックの場合、運転手は一名の場合も多いため、危険な場合、周囲の車両やカスタマセンタ３１（例えば運送会社の運行監視センタ）などへの通知を迅速に行うべきである。そのため、図３の「車両種別の影響」のように、レベル３の「運転できない」の範囲を「標準」よりも広げて設定する。これに伴い、レベル０及びレベル１の範囲を狭くするように閾値を設定する。
Next, the concept of setting the “effect of vehicle type” in consideration of the effect of vehicle type will be described. The influence of the vehicle type influences the level of the obstacle level of "cannot drive" in
次に、運転経験による影響を考慮した「経験年数の影響」の設定での考え方について説明する。運転経験の影響は、レベル１「気になる」の範囲とレベル２「妨げになる」の範囲に影響する。運転経験が浅い場合、ちょっとした支障でも運転の妨げになる可能性がある。そのため、図３の「運転経験の影響」のようにレベル２「妨げになる」の範囲を広げる。これに伴い、レベル１「気になる」の範囲を狭くする。
Next, the concept of setting the “effect of years of experience” in consideration of the effect of driving experience will be described. The influence of the driving experience affects the
一方で、運転経験が長い場合は、ちょっとした支障では、ドライバの心的変化には影響しないため、レベル１「気になる」の範囲を狭くし、レベル０「支障なし」の範囲を広く設定するようにしてもよい。
On the other hand, when driving experience is long, a slight trouble does not affect the driver's mental changes, so the
（支障度の算出フロー）
次に、図４を参照して支障度算出システム１における支障度の算出フローについて説明する。まず、車両のイグニッションのオン（ＩＧ ＯＮ）により支障度算出システム１が起動し、ナビゲーション制御部２４の表示部２４ａが入力待機状態となる（Ｓ１）。
(Calculation flow of obstacle level)
Next, a calculation flow of the obstacle level in the obstacle
次に、ユーザによる支障度のチューニングを実行する（Ｓ２）。支障度のチューニングは例えば表示部２４ａに表示された選択項目を選択することにより実施することができる。選択項目はメーカにより予め設定しておくか、あるいは、ユーザにより事前に設定しておく。また上述のように、車内カメラ２８による顔データ認識により予め顔データに紐づけられた支障度の閾値を呼び出すことによりをチューニングするようにしてもよい。 Next, tuning of the trouble level by the user is executed (S2). Tuning of the degree of hindrance can be performed by selecting a selection item displayed on the display unit 24a, for example. The selection items are set in advance by the manufacturer or set in advance by the user. Further, as described above, the tuning may be performed by calling the threshold value of the degree of hindrance associated with the face data in advance by the face data recognition by the in-vehicle camera 28.
その後、種々のセンサデータの取得が開始される（Ｓ３）。支障度算出システム１は、センサデータをもとに、ロジスティック回帰式を演算し（Ｓ４）、設定された支障度のチューニングに基づいて支障度を決定する（Ｓ５）。その後、イグニッションＯＦＦとなるまで、センサデータを取得し続ける（Ｓ６）。
After that, acquisition of various sensor data is started (S3). The obstacle
（ガイドの内容）
次に、支障度のレベルに応じたガイド内容について説明する。
ガイド内容は、支障度と車外情報に基づいてガイド内容決定部２３によって決定される。支障度は支障度算出部２１によって算出される。車外情報は、ＬＩＤＡＲ１９により検出される。ガイド内容決定部２３は、決定したガイド内容に応じて、対話制御部２６及び発話生成部２６ａを制御し、音声エージェントを実行して、乗員や周辺車両に対するガイドを実施する。
(Guide contents)
Next, the contents of the guide according to the level of difficulty will be described.
The guide content is determined by the guide
ガイド内容には、ドライバに対するガイドの提示、同乗者に対するガイドの提示、及びナビゲーションシステムの次目的地としての停車推奨位置の設定、の何れかを含む。
ガイドの内容としては、例えば、支障度がレベル２の場合は、ドライバや同乗者に対して対話制御部２６によって制御される音声エージェントによって警告が実施されるとともに、通信部２９経由でカスタマセンタ３１に接続し、カスタマセンタ３１のオペレータからドライバに警告を実施する等のガイドが実施される。また、ナビゲーションシステムに警告アラーム機能を搭載させて、ドライバに警告を実施するようにしてもよい。
The content of the guide includes any one of presenting the guide to the driver, presenting the guide to the passenger, and setting the recommended stop position as the next destination of the navigation system.
As the content of the guide, for example, when the degree of obstacle is
また、支障度がレベル１の場合は、対話制御部２６の制御による音声エージェントがドライバに対して「気にしなくていいよ、運転に集中してください」等のように発話したり、同乗者にドライバが気になっている点を解決するように働きかける等のガイドを実施する。
Further, when the obstacle level is
ガイド内容決定には、支障度の他に、車外情報も利用される。安全運転の判断は周囲の環境によって異なるためである。車外情報は、ＬＩＤＡＲ１９により検出される周囲情報、及び、衛星測位システム１３による位置情報と地図情報から把握される周囲情報から認識される。
In addition to the obstacle level, information outside the vehicle is used to determine the guide content. This is because the judgment of safe driving depends on the surrounding environment. The information outside the vehicle is recognized from the surrounding information detected by the
ＬＩＤＡＲ１９によれば、対象までの距離やその対象の性質を分析することが可能であるため、周囲の道路状況、周囲に他の車両や人等が存在するか否かなどの情報を把握することができる。衛星測位システム１３による位置情報と地図情報からは、地図データとして記憶されている道路状況、地物等を認識可能である。また、衛星測位システム１３による位置情報と地図情報から、車両が現在、高速道路を走行しているのか、一般道路を走行しているのか、等の情報も取得することが可能である。
According to LIDAR19, since it is possible to analyze the distance to the target and the nature of the target, it is necessary to grasp the information such as the surrounding road condition and whether other vehicles or people exist in the surroundings. You can From the position information and the map information by the
例えば、支障度のレベルが高い場合に、車両が一般道路を走行している場合と高速道路を走っている場合ではガイド内容を変更する必要がある。一般道路の場合は、すぐに駐停車可能区域に車を止めるようにドライバにガイドすることができるが、高速道路の場合は、路側帯や路肩に停車できないため、近くのサービスエリアまたはパーキングエリアに停車するか、高速道路を降りるなどのガイドが実施される。 For example, when the level of the obstacle is high, it is necessary to change the guide content depending on whether the vehicle is traveling on a general road or on a highway. On public roads, the driver can be guided to stop the car immediately in the parking / parking area, but on highways, it is not possible to park on the side strips or shoulders, so the service area or parking area is nearby. Guides such as stopping or getting off the highway will be provided.
また、ガイド内容の決定には、シート圧センサ１８により取得された情報も利用する。ドライバ以外の同乗者が存在する場合は運転ガイドシステム２がドライバだけでなく同乗者に対してもガイドすることが可能であるからである。
The information acquired by the
図５に支障度のレベル、走行道路、周囲状況、同乗者の有無によるガイド内容例を示す。また、図６にガイド内容決定部２３によるガイド実施のフロー図を示す。
まず、ガイド内容決定部２３は、支障度算出部２１によって算出された支障度がレベル０か否かを判定する（Ｓ１１）。支障度のレベルが０でない場合、すなわち支障度のレベルが１，２または３の場合は、ＬＩＤＡＲ１９及び衛星測位システム１３から車外情報を取得する（Ｓ１２）。
FIG. 5 shows an example of the guide contents depending on the level of the obstacle, the traveling road, the surroundings, and the presence or absence of a passenger. Further, FIG. 6 shows a flow chart of the guide execution by the guide
First, the guide
次に、ガイド内容決定部２３は、支障度のレベル及び外部情報に基づいてガイド内容を決定する（Ｓ１３）。次に、運転ガイドシステム２は、決定されたガイド内容に基づいて、ドライバ、同乗者に対してガイドを実施する（Ｓ１４）。ガイドとしては、ナビゲーション制御部２４による表示部２４ａへの表示によるガイド、ＨＵＤ制御部２５によるＨＵＤ２５ａへの表示によるガイド、及び、対話制御部２６により制御された音声エージェントによる発話によるガイドがある。
Next, the guide
また、通信部２９、無線通信網３０を介してカスタマセンタ３１のオペレータによる発話によるガイドの提供を受けてもよい。その後、ガイドが終了した場合は（Ｓ１５）、運転ガイドシステム２はガイドを終了し、支障度の判定（Ｓ１１）に戻る。
Further, the guide of the utterance by the operator of the
（チューニングの具体例）
次に、所定の閾値による支障度のレベル分割のチューニングについて図７を用いて説明する。支障度のチューニングはチューニング実施部２２が実行する。チューニング実施部２２は、支障度をレベル分割するための閾値を設定する。
(Specific example of tuning)
Next, the tuning of the level division of the obstacle level by a predetermined threshold will be described with reference to FIG. The
例えば、図７に示すように、普段乗用車に乗っている人物Ａが引っ越しのために、トラックをレンタルした場合を想定する。この場合、人物Ａの当該車両の運転経験は０年、車両の種別はトラックとなる。これらのパラメータからこの人物は運転したことがない車両に乗ることがわかるため、普段ならば、レベル１（運転中に気になる）と判定されるような状況でも、レベル２（運転の妨げになる）と判定したほうが好適である。 For example, as shown in FIG. 7, it is assumed that a person A who is usually in a passenger car rents a truck for moving. In this case, the person A has 0 years of driving experience with the vehicle, and the type of vehicle is a truck. From these parameters, it can be seen that this person gets into a vehicle that has never been driven, so even if the situation is such that it would normally be judged as level 1 (anxious while driving), level 2 ( It is more preferable to determine that
そこで、支障度のレベル０から３が適切な判定となるように、算出された支障度の閾値によるレベル分割において、閾値を設定するチューニングを行う。このチューニングは、例えば、レンタカーや大型バスなどに乗る運転手が、各自のスマートフォンやナビモジュールで運転前に設定しておくことで支障度の閾値を設定する。 Therefore, in order to appropriately determine the obstacle levels 0 to 3, the threshold is set in the level division based on the calculated obstacle threshold. For this tuning, for example, a driver on a rental car or a large bus sets his or her own smartphone or navigation module before driving to set a threshold for the degree of obstacle.
また、例えば、自家用車であれば、あらかじめ車内カメラ２８で撮影したドライバの顔データと支障度をレベル分割するための閾値を事前に紐づけ登録しておくことで、例えば車両に乗車した際に車内カメラ２８によって取得されたドライバの顔データ認証に紐づけられた支障度をレベル分割する閾値を読み出すことで設定を実施するようにしてもよい。 Further, for example, in the case of a private car, by registering in advance the face data of the driver photographed by the in-vehicle camera 28 and a threshold value for level-dividing the obstacle level, it is possible to register, for example, when the user gets in the vehicle. The setting may be performed by reading a threshold value for level-dividing the degree of trouble associated with the face data authentication of the driver acquired by the in-vehicle camera 28.
次に、図７の人物Ｂがドライバとして乗車した場合について説明する。Ｂが車両のイグニッションをＯＮすると（Ｓ１）、支障度算出システム１が起動し、ナビゲーション制御部２４の表示部２４ａが起動する。また、車内カメラ２８がＢの顔認識を実行する。この場合、Ｂの顔画像は支障度算出システム１に登録されているものとする。
Next, a case where the person B in FIG. 7 gets on as a driver will be described. When B turns on the ignition of the vehicle (S1), the
車内カメラ２８で取得された顔画像はデータベースと照合され、支障度算出システム１は事前に登録されたＢの顔との合致を検知する。その後、Ｂの顔データに紐づけられた支障度の閾値を呼び出すことによりチューニングを実施する（Ｓ２）。
The face image obtained by the in-vehicle camera 28 is collated with the database, and the
（動作例）
図７及び図８を参照して、支障度算出システム１及び運転ガイドシステム２の具体的な動作例を説明する。まず、図７の人物Ａがドライバとして乗車した場合について説明する。Ａが車両のイグニッションをＯＮすると（Ｓ１）、支障度算出システム１が起動し、ナビゲーション制御部２４の表示部２４ａが起動する。この場合、Ａの顔画像は支障度算出システム１に登録されていない。
(Operation example)
A specific operation example of the
車内カメラ２８はＡの顔認識を試みるが、Ａの顔画像は支障度算出システム１に登録されていないため顔認証は不成立となり、チューニング実施部２２は、支障度のレベル分割のチューニングをドライバに要求する。チューニングは例えば予め準備された選択肢からの選択式で実施され、車両種別とその車両の運転経験を入力させる。この操作により、例えば図８に示すように支障度のレベル分類が、選択項目に応じた閾値の設定によりチューニングされる（Ｓ２）。
The in-vehicle camera 28 attempts to recognize the face of A, but since the face image of A is not registered in the obstacle
次に、Ａが運行を開始すると、車両に取り付けられたＤＳＭ１０、マイク１１、車速センサ１２、衛星測位システム１３、時計１４、ブレーキセンサ１５、スロットルセンサ１６、舵角センサ１７、シート圧センサ１８、ＬＩＤＡＲ１９、車内カメラ２８などから送信されるセンサデータを取得し（Ｓ３）、ロジスティック回帰式の演算を実行する（Ｓ４）。
Next, when A starts to operate, the
ここで、例えば図８の時刻Ｔ１になった時点で、トラックの車内で何か物が動いた音がしたため、ドライバの視線やブレーキ制御に変化があったとする。車内の物の動き等、Ａに対する影響は、ＤＳＭ１０によるＡの顔映像情報、マイク１１により取得された車内の音声情報、車内カメラ２８により取得された車内映像情報を解析することにより検知される。
Here, for example, at time T1 in FIG. 8, it is assumed that there is a sound of something moving inside the truck, so that the line of sight of the driver and the brake control are changed. The influence on A such as the movement of an object in the vehicle is detected by analyzing the face image information of A by the
その後、Ａがトラックの中で図示しないハンドルを操作するたびに、荷物が左右に動く音がするため、入力音判別結果（図２参照）の特徴量に対するロジスティック回帰式（１）の回帰係数を大きくしていき、支障度は徐々に上昇する。支障度が閾値０．３０を超えると、ガイド内容決定部２３は支障度のレベル１を決定し（Ｓ５）、支障度のレベル１に対応するガイド内容を決定する。決定されたガイド内容に対応して、対話制御部２６の制御による音声エージェントがＡに対して、例えば「運転に集中してください。何か気になることがあれば、停車して確認しましょう。」等と発話する。
After that, whenever A manipulates a steering wheel (not shown) in the truck, the sound of the luggage moving left and right is generated. Therefore, the regression coefficient of the logistic regression equation (1) for the feature amount of the input sound determination result (see FIG. 2) is set. As it becomes larger, the degree of hindrance gradually rises. When the obstacle level exceeds the threshold value 0.30, the guide
このような発話情報は音声データベース２７に記憶されている。Ａはこの発話を受けて、一旦停車し、荷物に問題がないことを確認する。その後の運転状況においては支障度を上昇させる要因は消滅するため、支障度を下げることができる。
Such speech information is stored in the
その後、しばらく順調に運行していたが、時刻Ｔ２のときに、ＤＳＭ１０がＡのあくびを検知した。あくびは眠気に関連が大きいため、ＤＳＭ眠気検知（図２参照）の特徴量に対するロジスティック回帰式（１）の回帰係数を大きくしていき、支障度は徐々に上昇する。支障度が上昇し、閾値０．４５を超えると、ガイド内容決定部２３は支障度のレベル２を決定し（Ｓ５）、支障度２に対応するガイド内容を決定する。
After that, it was operating smoothly for a while, but at time T2, the
決定されたガイド内容に対応して、対話制御部２６の制御による音声エージェントがＡに対して、例えば「大丈夫ですか？」等と発話し、さらに「前方の〇〇に一旦停止しませんか？」等と発話し、ＨＵＤ２５ａに停車場所を表示する。同様の内容をナビゲーション制御部２４の表示部２４ａ、又はＨＵＤ２５ａに表示してもよい。この場合、ナビゲーション制御部２４、表示部２４ａ、ＨＵＤ制御部２５、ＨＵＤ２５ａ、対話制御部２６、発話生成部２６ａ、スピーカ２６ｂはガイド内容実施部として機能する。
In response to the determined guide content, the voice agent under the control of the
Ａは音声エージェントのガイドに従い停車する。停車後、音声エージェントは「〇〇で休憩しましょう」等と発話し、ナビゲーション制御部２４の表示部２４ａで休憩候補場所を提示する。ドライバはその場所を中継地点もしくは目標地点として設定し、運行を再開する。
A stops according to the voice agent's guide. After stopping, the voice agent speaks "Let's take a break with XX" and the like, and presents a candidate break place on the display unit 24a of the
同乗者が存在している場合で、同乗者が覚醒している場合は、同乗者に「運転手さんが眠そうだよ！会話してあげて！」等というガイドや、「近くのコンビニで一旦休憩しよう」等というガイドを発話し、表示部２４ａやＨＵＤ２５ａにコンビニの位置情報を表示する。
If a passenger is present and the passenger is awake, ask the passenger a guide such as "The driver seems to sleep! Let's talk!" Or "A temporary convenience store nearby. A guide such as "Let's take a break" is uttered, and the position information of the convenience store is displayed on the display unit 24a and the
車両が自動運転システムを搭載している場合は、車両の運転を制御して、車両及び周辺の安全を確保しつつ、路肩に停車させる、サービスエリアまたはコンビニエンスストアの駐車場に駐車させる、等の制御を行ってもよい。また、支障度が高い場合は、周辺の車両やカスタマセンタ３１等にも通知を行うようにしてもよい。
When the vehicle is equipped with an automatic driving system, it controls the operation of the vehicle to ensure the safety of the vehicle and its surroundings, and stops at the roadside, parks in a service area or a parking lot of a convenience store, etc. You may control. Further, when the degree of trouble is high, the notification may be given to the vehicles in the vicinity, the
次に、図７の人物Ｂがドライバとして乗車した場合について説明する。Ｂが車両のイグニッションをＯＮし（Ｓ１）、車内カメラ２８がＢによる顔認識によりＢの顔データに紐づけられた支障度の閾値を呼び出すことによりチューニングが実施される。Ｂは、目的地までの途中まで運転に集中できていたものの、図９に示すように、時刻Ｔ３の時点で、高速道路を長期間運転し、夕方の時間帯になり、渋滞にはまってしまったため、眠気が生じた。そのため、ハンドル操作の加速度（図２参照）やＤＳＭ１０による眠気検知により、支障度が上昇し、レベル３となっている。
Next, a case where the person B in FIG. 7 gets on as a driver will be described. B turns on the ignition of the vehicle (S1), and the in-vehicle camera 28 performs the tuning by calling the threshold value of the obstacle degree linked to the face data of B by the face recognition by B. Although B was able to concentrate on driving halfway to the destination, as shown in FIG. 9, at time T3, he was driving on the expressway for a long time, in the evening hours, and was stuck in traffic. As a result, drowsiness occurred. Therefore, the degree of hindrance increases due to acceleration of the steering wheel operation (see FIG. 2) and drowsiness detection by the
この場合、支障度算出システム１は、Ｂ及び同乗者に対話制御部２６の制御による音声エージェントを介して、「起きてください！」等の発話をする。居眠り運転は危険性が高いため、まずはドライバや同乗者を覚醒させるために、大きな音で再生する。ドライバも同乗者も反応が無い場合は、通信部２９を介してカスタマセンタ３１などに通知し、カスタマセンタ３１駐在のオペレータ等から車内スピーカ２６ｂを介して車内の乗員に語りかけを行う。これによりドライバであるＢ及び同乗者に注意を喚起し、事故の発生を未然に防止する。このような場合、支障度算出システム１は車両のハザード２０を点滅させ、周囲に危険を知らせる。また、車車間通信システムを搭載する車両である場合は、車車間通信システムを用いて周囲の車両に危険を知らせるようにしてもよい。
In this case, the obstacle
また、ガイド内容決定部２３によるガイド内容は、ドライバの判断を極力少なくすることで、運転に集中させるように設定されている。例えば、ドライバの眠気により、支障度が上昇した場合には、ガイド内容決定部２３は、複数の停車場所を提示するのではなく、あえて１箇所のみを提示するように設定されている。これにより、ドライバの判断を減らすことに車両運行の安全を確保するようにしている。
Further, the guide content by the guide
実施形態に係る支障度算出システム１によれば以下の効果を奏する。
支障度算出システム１によって算出される支障度は、機械学習により算出されるため、支障度が確率値（すなわち目的変数）で提供される。また、各特徴値（すなわち説明変数）の寄与度がその係数として提供される。これにより、支障度の閾値によるレベル分割における閾値の設定すなわちチューニングを容易に実施することができる。また、算出された支障度を閾値によってレベルに分割し、種々の処理、例えば、レベルに応じてドライバに対するガイドを決定するなどの用途に使用することができる。
The obstacle
Since the obstacle level calculated by the obstacle
本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。 Although the present disclosure has been described with reference to examples, it is understood that the present disclosure is not limited to such examples and structures. The present disclosure also includes various modifications and modifications within an equivalent range. In addition, various combinations and forms, and other combinations and forms including only one element, more, or less than them are also included in the scope and concept of the present disclosure.
実施形態において、機械学習の一例としてロジスティック回帰式を用いて支障度の算出を行ったが、他に、サポートベクターマシンや、ディープラーニング等の手法を用いて支障度を算出するようにしてもよい。 In the embodiment, the hindrance level is calculated using a logistic regression equation as an example of machine learning, but in addition, the hindrance level may be calculated using a technique such as a support vector machine or deep learning. .
１…支障度算出システム、２…運転ガイドシステム、１０…ドライバステータスモニター（ＤＳＭ）、１１…マイク、１２…車速センサ、１３…衛星測位システム、１４…時計、１５…ブレーキセンサ、１６…スロットルセンサ、１７…舵角センサ、１８…シート圧センサ、１９…ＬＩＤＡＲ、２１…支障度算出部、２２…チューニング実施部、２３…ガイド内容決定部、２４…ナビゲーション制御部（ガイド内容実施部）、２４ａ…表示部（ガイド内容実施部）、２５…ＨＵＤ制御部（ガイド内容実施部）、２５ａ…ＨＵＤ（ガイド内容実施部）、２６…対話制御部（ガイド内容実施部）、２６ａ…発話生成部（ガイド内容実施部）、２６ｂ…スピーカ（ガイド内容実施部）、２８…車内カメラ、３１…カスタマセンタ
1 ... obstacle calculation system, 2 ... driving guide system, 10 ... driver status monitor (DSM), 11 ... microphone, 12 ... vehicle speed sensor, 13 ... satellite positioning system, 14 ... clock, 15 ... brake sensor, 16 ... throttle sensor , 17 ... Rudder angle sensor, 18 ... Seat pressure sensor, 19 ... LIDAR, 21 ... Disability degree calculation section, 22 ... Tuning execution section, 23 ... Guide content determination section, 24 ... Navigation control section (guide content execution section), 24a Display unit (guide content implementation unit), 25 ... HUD control unit (guide content implementation unit), 25a ... HUD (guide content implementation unit), 26 ... Dialogue control unit (guide content implementation unit), 26a ... Utterance generation unit ( Guide content implementation section), 26b ... Speaker (guide content implementation section), 28 ... In-vehicle camera, 31 ... Customer center
Claims (5)
前記ドライバの安全運転を妨げる要因に基づいて、ドライバの安全運転に対する支障の度合いを示す支障度を算出する支障度算出部（２１）と、を備える支障度算出システム。 A sensor (10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 28) for acquiring data on factors that hinder the driver's safe driving;
A hindrance degree calculation system comprising: a hindrance degree calculation unit (21) that calculates a hindrance level indicating a degree of hindrance to the safe driving of the driver based on a factor that hinders the safe driving of the driver.
The factor that hinders the driver's safe driving includes at least one of vehicle type, vehicle speed and acceleration, vehicle position, time, driver situation, passenger situation, and vehicle interior situation. The obstacle level calculation system according to any one of items.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018197525A JP2020064553A (en) | 2018-10-19 | 2018-10-19 | Hindrance degree calculation system |
| DE112019005224.1T DE112019005224T5 (en) | 2018-10-19 | 2019-09-09 | Disturbance degree calculation system and driving guidance system |
| PCT/JP2019/035339 WO2020079990A1 (en) | 2018-10-19 | 2019-09-09 | Obstacle degree calculating system, and driving guide system |
| US17/231,643 US20210229677A1 (en) | 2018-10-19 | 2021-04-15 | Disturbance degree calculation system and driving guide system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018197525A JP2020064553A (en) | 2018-10-19 | 2018-10-19 | Hindrance degree calculation system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020064553A true JP2020064553A (en) | 2020-04-23 |
Family
ID=70387357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018197525A Pending JP2020064553A (en) | 2018-10-19 | 2018-10-19 | Hindrance degree calculation system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020064553A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021200722A1 (en) | 2020-03-31 | 2021-10-07 | 日東電工株式会社 | Peeking prevention system, peeking prevention method, and window member |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007226666A (en) * | 2006-02-24 | 2007-09-06 | Aisin Aw Co Ltd | Driving support method and driving support device |
| JP2018027776A (en) * | 2016-08-16 | 2018-02-22 | トヨタ自動車株式会社 | Individualized adaptation of driver action prediction models |
-
2018
- 2018-10-19 JP JP2018197525A patent/JP2020064553A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007226666A (en) * | 2006-02-24 | 2007-09-06 | Aisin Aw Co Ltd | Driving support method and driving support device |
| JP2018027776A (en) * | 2016-08-16 | 2018-02-22 | トヨタ自動車株式会社 | Individualized adaptation of driver action prediction models |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021200722A1 (en) | 2020-03-31 | 2021-10-07 | 日東電工株式会社 | Peeking prevention system, peeking prevention method, and window member |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3330148B1 (en) | Automatic driving system for vehicles | |
| CN108028015B (en) | Information processing apparatus, information processing method, and storage medium | |
| US10431215B2 (en) | System and method of conversational adjustment based on user's cognitive state and/or situational state | |
| JP6641916B2 (en) | Automatic driving support device, automatic driving support system, automatic driving support method, and automatic driving support program | |
| CN105564441B (en) | Alarm device, warning system, alarming method and portable terminal | |
| JP2024019189A (en) | Vehicle control device and vehicle control method | |
| JP6668814B2 (en) | Automatic traveling control device and automatic traveling control system | |
| US20180144636A1 (en) | Distracted driver detection, classification, warning, avoidance system | |
| JP6142718B2 (en) | Driving support device and driving support method | |
| KR20210088565A (en) | Information processing devices, mobile devices and methods, and programs | |
| JP2016062414A (en) | In-vehicle monitoring device and in-vehicle monitoring system | |
| JP2020091790A (en) | Automatic operation system | |
| JP2005024507A (en) | Navigation system and program | |
| WO2018168051A1 (en) | Degree of concentration determination device, degree of concentration determination method, and program for determining degree of concentration | |
| JP2016181032A (en) | Automatic travel control device and automatic travel control system | |
| WO2022201962A1 (en) | Driving characteristic assessment device, driving characteristic assessment method, and driving characteristic assessment program | |
| WO2018168049A1 (en) | Concentration degree determination device, concentration degree determination method, and program for determining concentration degree | |
| JP7107157B2 (en) | Operation support method and operation support device | |
| WO2020079990A1 (en) | Obstacle degree calculating system, and driving guide system | |
| JP2020064553A (en) | Hindrance degree calculation system | |
| JP2020064554A (en) | Drive guide system | |
| JP2007061484A (en) | Attention attracting system | |
| CN115230713A (en) | Driving assistance method and device, electronic equipment and storage medium | |
| JP7376996B2 (en) | Vehicle dangerous situation determination device, vehicle dangerous situation determination method, and program | |
| JP2007133588A (en) | Driver's psychology judgment apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220621 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221213 |