JP2016001461A - ドライバ支援システムの制御方法 - Google Patents

ドライバ支援システムの制御方法 Download PDF

Info

Publication number
JP2016001461A
JP2016001461A JP2015036621A JP2015036621A JP2016001461A JP 2016001461 A JP2016001461 A JP 2016001461A JP 2015036621 A JP2015036621 A JP 2015036621A JP 2015036621 A JP2015036621 A JP 2015036621A JP 2016001461 A JP2016001461 A JP 2016001461A
Authority
JP
Japan
Prior art keywords
driver
attention
information
task
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015036621A
Other languages
English (en)
Other versions
JP2016001461A5 (ja
JP6353383B2 (ja
Inventor
ヘックマン マーティン
Heckmann Martin
ヘックマン マーティン
ヴェルシング ハイコ
Wersing Heiko
ヴェルシング ハイコ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Research Institute Europe GmbH
Original Assignee
Honda Research Institute Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Research Institute Europe GmbH filed Critical Honda Research Institute Europe GmbH
Publication of JP2016001461A publication Critical patent/JP2016001461A/ja
Publication of JP2016001461A5 publication Critical patent/JP2016001461A5/ja
Application granted granted Critical
Publication of JP6353383B2 publication Critical patent/JP6353383B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18154Approaching an intersection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/21Voice
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1807Speech classification or search using natural language modelling using prosody or stress
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】ドライバが必要と考えるときだけ、交通に対する注意を妨げないように情報を与えることのできるドライバ支援の方法及びシステムを提供する。【解決手段】環境感知2又は車対通信3から得たホスト車両の環境についての情報を提供することと、音声認識4によりホスト車両のドライバから音声インストラクションを受け取ることと、提供された情報を評価するための注意力委託タスクを音声インストラクションに基づいて発生することと、注意力委託タスクに従って提供された情報の評価を実行することと、評価の結果を出力することと、を含む方法でドライバ支援システムを制御する。【選択図】図1

Description

この発明はドライバ支援システムの制御方法に関する。
過去、ドライバの快適さとともにドライブ(運転)の安全性を向上させるために、ドライバ支援システムが急速に開発されてきた。近年、交通の密度が増し、日々の運転においてドライバは誠に複雑な交通状況に頻繁に直面する。そのような場合、ドライバがドライバ支援システムによって助けられ、交通状況を知覚する責任をドライバだけが負うということがないようにするのが望ましい。
そのようなドライバ支援システムは、車両の周りの環境を感知することができる。そのために車両はレーダまたはライダ(lidar)センサのようなセンサ、またはカメラを含むイメージ処理システムを備えており、イメージ処理システムは車両の環境におけるオブジェクト(物、物体)を認識することができる。このようなシステムは分散態様で車両に搭載されており、車両の周囲360?の監視をすることができる。もちろん、このような360?の監視は人間であるドライバの注意力を超えている。
ドライバ支援システムが用いることができるもう一つの情報源は、車と任意のxとの間(car-to-x、以下「車x間」という。) の通信であり、これによると、ホスト車両の環境下にある車両は必ずしも自身でその環境内のオブジェクトを感知する必要がない。この情報源からの情報に基づいて、ドライバ支援システムが感知の評価を行い、設定されている手法に基づいてドライバに警告または通知を与える。ドライバ支援システムが進歩するにつれて、特にドライバとシステムとの緊密な協力が必要なとき、大量の情報がドライバに提供される。たとえば、ドライバと支援システムとが協力して運転タスクの挑戦を解決する半自動運転を行うときなどがそうである。
今日のシステムでは、ドライバが常に最後であり、情報はたとえばアイコンを提示することによって提供されるので、ドライバは提示された警告の理由を容易に認識することができる。状況モデル、予測モデル、および概して感知された交通シーンの評価の改良により、ドライバに提示される情報の量も増大する。こうして、交通状況の分析結果は、ドライバを不所望の注意力散漫に導いてしまう。ドライバは、どんな種類の情報または警告が提示されたかをチェックし、この警告または通知がドライバの意図するその後の運転操作に関係あるかどうか決定し、しかるべく行動することを要求されるからである。このように、ドライバ支援システムの当初の意図に反して、ドライバは邪魔をされ集中を阻害されてしまうことがある。
ドライバへの悪影響を低減するため、最近のシステムは、リアリティ(現実性)を誇張した形をしばしば使用するヘッドアップディスプレイを使用する。それでも、提示されたオブジェクトは既にドライバによって既に認識されているかもしれない。このように、ドライバは不要で邪魔になり冗長なさらなる警告を受け取ることになる。このようなことは、そのシステムの悪評となりドライバはついにはシステムを停止させてしまうかもしれない。
ドライバの全体的な覚醒対眠気のレベルを監視して得られるドライバの注意状態についての知識を利用するいくつかの提案がなされている。また、今日の娯楽利用または携帯電話利用によるドライバの視線の角度または予測される注意散漫をしきい値レベルのベースとし、このしきい値レベルを用いてドライバに通知または警告を送るかどうかを決めることができる。このような手法の例をKR 2011/0144720またはDE 10 2012109 297 A1に見ることができる。
さらに、システムによって警告が出力されるとき、リスクレベルを意味するしきい値をドライバ自身が手動で適応させることができることが記載されている。しかしDE 10 2012 201 934 A1に記載されているように、これはシステムの一般設定であり、ホスト車両の現在の交通状況を考慮していない。現在のところ、主に使用されている一般設定があり、これは、基本的にはタッチスクリーン、ボタン、および制御ノブである、車のヒューマン・マシーン・インターフェイスを使ってユーザによって入力される。しかし現在知られているヒューマン・マシーン・インターフェイスは、現に経験中の交通状況に依存してシステムの性能および挙動を適応させるのには適していない。たとえばリスクレベルに関する一般設定の入力は、大きすぎる情報の負荷のためドライバを狼狽させたり、比較的高く設定されたリスクレベルは有用な情報がドライバに提供されるのを妨げるので、ドライバが助けを必要とするケースを生じることになる。
EP 1807267 B1には、ドライバ支援のシステムが記載されており、そのシステムは運転状況を監視し、積極的な運転操作支援を提供するための提案を行う。環境の感知に基づいて、その支援システムは、駐車、追い越し操作、距離制御のクルーズ制御のような予め定めたカタログから特定の状況を検出する。状況カタログの各要素には、その状況の現状に依存してシステムが提供することができる複数の提案候補がある。システムの提案は、ドライバのよって確認されても拒否されてもよく、これは音声または制御入力によって積極的になされてもよく、またはその状況に適合したまたは適合しない運転動作を行うことにより間接的になされてもよい。運転状況の評価にために、ドライバの気配りが考慮される。
したがって、この発明の1つの目的は、ドライバが必要と考えるときだけ、交通に対するドライバの注意を極力妨げないように、ドライバに情報を与えることのできるドライバ支援の方法およびシステムを提供することである。
この課題は、本願の独立請求項に記載されるドライバ支援の方法およびシステムによって解決される。
このドライバ支援システムを制御する方法では、ホスト車両の環境についての情報が先ず提供される。この情報は、たとえば車x間の車両の通信システムによって得られ、またはドライバ支援システムを搭載したホスト車両に備えられたセンサの出力によって得られる。車両の360?監視能力を達成するため複数のセンサを使用することができる。異なるタイプのセンサを混合して使用することもでき、たとえばオブジェクト検出のためのレーダシステムと、交通標示、交通信号、レーンのマーキングその他を分析するためのイメージ処理システムとを使用することができる。提供された情報に基づいて交通シーンの評価がなされる。複数のソースから提供される情報を使用することができるシステムが既に知られている。
この発明の方法およびシステムでは、ホスト車両からの音声によるインストラクションがシステムによって受け取られる。この音声インストラクションに基づいて注意力委託タスク(attention delegation task)が発生される。取り扱い委任タスクは提供された情報の評価を規定し、このことは、技術水準で知られているシステムとは異なり、提供された情報の評価が、お好み設定に関して自動的に行われるのではなく音声インストラクションを受け取ったときだけ行われることを意味する。このような音声インストラクションから発生された取り扱い委任タスクは、評価の態様を規定する。システムで実行される評価は、提供された情報を用いて取り扱い委任タスクに従って実行される。最後にこの評価の結果が出力される。
この発明のシステムは、交通状況がドライバの十分な注意を必要とする場合においても、ホスト車両のドライバによって音声インストラクションが容易に与えられ得るという大きな利点をもつ。発話は人によって直感的に行われ、特にヒューマン・マシーン・インターフェイスに注意する必要がない。したがって、ドライバが認識する交通状況に応じて、ドライバ支援システムにインストラクションを与えることができる。このことは、ドライバがドライバ支援システムからの支援を特に必要としない状況において、不所望の通知や警告にドライバが煩わされることがなくなることを意味する。必然的にこれにより、このようなシステムの好感度が向上することになり、オンデマンドだけで情報を提供するシステムが安全性の利点を大きく向上させることになる。
この発明では、スピーチ(発話)に基づく相互作用(interaction)により、ドライバの注意散漫化を最小にすることができ、この相互作用は現在の交通状況にセンシティブであることが好ましく、直感的で高度に応答性のよい相互作用を行うための韻律的その他の合図(キュー)を使用し、相互作用を適応させるため過去の相互作用の知識を取り込むことが好ましい。このように現在の交通状況に関する音声相互作用の正確なタイミングが非常に重要になる。たとえば、ある車が右から交差点を通過しようとしているとき、「右を見よ」という注意力委託リクエスト(attention delegation request)が作られるならば、この車が完全に交差点を過ぎてしまってからドライバにフィードバックを与えるのは意味のあることである。逆に自車が交差点にいることになる前にこのリクエストが与えられるならば、右から交差点を通ろうとしている車にも警告を与えてもよい。
ドライバのシーンにあるオブジェクトの現在の視認性モデルを考慮することも望ましい。環境感知が通常の可視レンジを超えてオブジェクトを感知することができるならば(たとえば、レーダセンサ)、このシステムのスピーチ出力の表現は、この情報を提供することができる。たとえば、「右遠方から速い車が近づいている」とか、「駐車している車の後方に自転車」など。
提供された情報が評価に使われるなど情報が提供される車両の環境の空間は注意力委託タスクに従って制限されるのが好ましい。このことは、上述したようなセンサ感知されまたは他の方法で取得され、この車両の全環境の評価を可能にするすべての情報が使用されるが、この情報の分析または評価は、注意力委託タスクにおいて規定された空間に生じるリスク/予測などに関してだけ実施されることを意味する。代わりに、注意力委託タスクは、提供される情報を取り扱い委任タスクで規定されている特定の空間に関する情報だけに制限することができ、これはたとえばホスト車両専用の環境領域だけをカバーする特定のセンサによって感知された情報だけを使用することによっても達成することができる。これには、望まれる情報だけがついにホスト車両のドライバに提示されるという利点がある。このような手法のもう一つの利点は、既にホスト車両のドライバによって認識されているにもかかわらず、すべてのリスクが予測され分析される車両の360?監視に比べて計算負荷が低減されることである。
もう一つの好ましい点は、提供された情報の評価が環境についての知覚を含み、次いでさらなる評価が注意力委託タスクに規定された知覚された要素に制限されることである。こうして提供された情報が先ず全体的に評価されるので、たとえば感知された環境に複数のタイプの交通参加者を識別することができる。注意力委託タスクは、次いで特定のタイプの交通参加者、たとえば自転車搭乗者を規定することができる。衝突の危険または進展しつつある交通状況でのその他の面についてのさらなる評価は、そのような知覚された要素に制限することができる。このことは、ドライバの視野角が規定された交通参加者の同時観察を妨げるような複雑な状況のために実現困難な注意レベルがドライバに必要とされるタイプの交通参加者に対するとき特に有用である。一例として、ドライバが現在の道路の右側の道路に曲がろうとするとき、背後から近づきつつある自転車(搭乗者)を挙げることができる。ドライバはターゲットの道路を渡ろうとする歩行者に注意を集中するので、近づきつつある自転車(搭乗者)を認識するため背後を同時に見ることは困難である。
この発明のもう一つの面によると、音声インストラクションから発生された注意力委託タスクは現在の状況または提供された情報の分析に基づいて認識される将来の状況にリンクしている。音声インストラクションから即時の評価が可能と判定される場合、注意力委託タスクは即時に実行されその評価の結果がホスト車両のドライバに与えられる。この評価結果の出力は概してシステムによる音声メッセージであるのが好ましい。待っていた回答を聞くのは視覚的な通知を見るより大して集中力を必要としないから、これにより直感的手法が増進する。現在の状況において即時に評価を行う代わりに、注意力委託タスクは将来あり得る状況であって、提供された情報の永久的分析を行ってシステムによって認識される状況を規定し、たとえば車両が次の交差点に近づくとき車両の右側を観察すべきことを音声インストラクション中に規定することができる。将来の状況は、次の交差点に近づくことであり、システムはそのような交差点があるかどうかおよびホスト車両がこの交差点に近づいているかどうかを判断するため提供された情報を分析する。システムは、車両の右側で生じるリスク、たとえば右から近づいてくる車両に関して提供された情報を自動的に評価する。
さらに、ドライバ支援システムの制御から離れて、提供された情報を特にきわどい(クリティカルな)状況のために分析することが好ましい。そのようなきわどい状況が認識されるときは、警告が出力される。たとえばドライバ支援システムが即時にドライバが対応しなければ現在の状況が進展して衝突を生じるかもしれない状況などが該当する。
もう一つの好ましい面によると、ある種の状況下においてのみ注意力委託タスクによる評価を行うための、複数の条件中に規定される条件が音声インストラクションから生成される。こうして、音声インストラクションから注意力委託タスクが生成されるだけでなく、ある条件が翻訳されて注意力委託タスクの条件をトリガする。このシステムはこのように委託タスクを抽出することができるだけでなく、そのような委託タスクが実行されるべき時点についての情報も抽出することができる。
さらに、出力は評価結果の信頼度についての情報を含むのが好ましい。特に出力がコメントの形で与えられるならば、その文言が信頼度レベルを表すことができる。これは、信頼度の現れとして音韻変化を使うことによって向上させることができる。また、これはシステムの直感性を向上させる。強調された警告のコメントはたとえばホスト車両のドライバが深刻と感じるものだからである。注意力委託リクエストが適切に理解されたならば、出力はドライバに即時にフィードバックされるべきである。これは、音声出力の先頭のフレーズが、現在起動されている注意力委託機能に関しドライバ側の迅速な理解を可能にすることを意味する。
さらに快適さを向上させるために、音声インストラクションから生成された注意力委託タスクはドライバ支援システムによって格納(保存)されるのが好ましい。生成された注意力委託タスクは、この格納される注意力委託タスクを導いた音声インストラクションが受け取られた交通シーンのコンテクスト(脈絡、前後関係)に関連して格納される。格納された注意力委託タスクおよび現在の交通シーンのコンテクストに基づいて、現在の状況において同様の注意力委託タスクが好ましくまたは所望されるかの見込みが予測される。特に好ましい実施例では、この見込みが予定のしきい値より大きい注意力委託タスクは、自動的に処理されるかホスト車両のドライバに提案される。通常生じる状況、ドライバが同じ注意力委託タスクを導く音声インストラクションを与える状況において、同等の状況でドライバもこの特定の支援法を必要とすると考えることができる。その一例は、ホスト車両が通常通る交差点であり、車両がこの交差点に近づくたびに道路入り口を監視する注意力委託タスクが生成される交差点である。ホスト車両のドライバがそれぞれの音声インストラクションを明示的に出さないとしても、彼が再び支援を必要とすると想定することができる。たとえばホスト車両のドライバが設定した好みにしたがって、システムはたとえば提案される注意力委託タスク「右側の道路入り口に注意?」をアナウンスする音声情報を出力してこのアクションの実行を提案することができる。このような提案に対してホスト車両のドライバは単に「イエス」と回答して受信を確認することができる。代わりに、ホスト車両のドライバによって設定された好みにしたがって、システムはそのようなあり得る周囲力委託タスクを自動的に実行することができる。システムによる提案のトリガまたは注意力委託タスクの自動評価は一日の中の時間、道路条件、天候その他の条件によっても影響される。
ドライバの注意が散漫になるのを低減し快適さを向上させるため、ドライバとの音声インストラクションは直感的で応答性が良好で個々のドライバに適応していることも望まれる。この発明では、これは、一方では音声信号の韻律分析を取り入れ以前の相互作用の評価を通じて話者および状況に適応させることで達成することができる。
韻律分析によって種々の面を達成することができる。韻律分析その他の方法により、ポーズの検出に依存する従来の方法よりも迅速に発言の終わりを検出することができる。したがって、相互作用(interaction)はより迅速であり、複雑な交通環境におけるシステムの運用に一層適している。この改善された発言終端検出は、たとえば単語およびポーズの基本周波数変動および期間を評価することによって達成することができる。さらに韻律分析は、システムまたは人に向けられた発言の差別化(differentiation)を可能にし、相互作用の応答性をよりよくより直感的にする、すなわちユーザはボタンのようなものを押すことなくシステムを扱うことができる。もう一つの面として韻律は、ドライバとシステムとの間の誤解をより迅速に検出することを可能にする。話者がシステムによる誤解を集めるとき、集めた単語について、これらの単語の検出に使うことのできる韻律を直感的に修正する。さらに音声信号の韻律分析は、ドライバの顔の画像のセンサまたは心臓の鼓動センサと組み合わせてムードまたはストレスレベルとしてドライバの状態を判定することを可能にする。これらのパラメータの知識は、相互作用をしかるべく構築することを可能にし、たとえば通信スタイルおよび通信される情報の量を適応させることを可能にする。複雑な交通環境のためにドライバのストレスが強い状況では、システムは、「右から速い車が来ている」と応答する代わりに、「右から速い車」とだけ言うことができる。
相互作用スタイルが以前のコマンドの履歴に基づいて個々の話者に適応されると、さらなる改善が得られる。個人によっては、もっとはっきりした通信を好み、システムに詳細な説明を与え、システムから詳細な情報を受け取ることを好み、別の個人によっては、より暗黙的な通信を好み、コンテクストおよび前の知識に依存することによって、はっきりと通信される情報の量を低減することを好む。より暗黙的な通信の例は、よく規定されたコンテクストにおいてある注意力委託タスクをトリガするのに短いコマンドで十分なときである。たとえば、同じ交差点で「右を見よ」と3度言った後は、「右」という簡単なコマンドで十分であろう(この特別な交差点だけで最初に)。
上に記述した種々の側面に共通するのは、進歩したドライバ支援システムによって与えられる支援の程度は、現在の必要性に依存してホスト車両のドライバによって直接影響されるということである。この現在の必要性は、主観的であってよく、時間で大きく変わることがある。以下に図面を用いて実施例によって説明する本発明は、音声インストラクションを与えて特定の情報を要求するホスト車両のドライバとの間のある種のダイアローグを生成する。この手法は直感的であり、ホスト車両のドライバを不所望の通知で煩わせることはない。このシステムは、ホスト車両のドライバによって要求された評価結果の形で情報を与えるだけである。
この発明を実施するため協働する個々のユニットを備える全体的なシステムのレイアウト図。 この発明の方法の機能を説明する交通状況の一例を示す図。 この発明を説明するための第2の交通状況を示す図。
この発明のシステムおよび方法の全体的ステップおよび要素を図1を参照して説明する。図1にはホスト車両に備えられる少なくとも1つのセンサを含む感知手段2が示されている。感知手段2は、一緒になって環境を物理的に感知することができる複数のセンサを含むことができることはもちろんである。そのようなセンサの例は、レーダセンサ、レーザレンジファインダ、超音波センサまたは飛行時間センサ(time-of-flight sensors)であり得る。この感知手段2によって感知される環境の範囲(レンジ)は、多くの場合、ホスト車両のドライバが扱えるよりずっと大きい。たとえば、ホスト車両のドライバが扱うことができるレンジは彼の視野に制限され、頭を回転させた後でなければ反対方向を見ることができない。これに対し感知手段2における複数のセンサは、同時にアクティブであることができ、環境のいかなる方向およびいかなる領域についてもホスト車両の環境についての情報を提供することができる。
さらにホスト車両は、他の情報源3を備えており、これはたとえば車x間の通信であり、現在の交通シーンについての情報を他の車その他のオブジェクトから受け取る通信システムである。該他の車その他のオブジェクトは、当該車と通信しその現在および将来の状態についての情報を送信する。交通に参加している別の車から情報が得られるならば、この車はたとえば自車の位置および軌道(道筋、経路、trajectory)に関する情報を送信する。インフラストラクチャ オブジェクトの場合、たとえば交通信号は、赤信号が青に切り替わるまでの残りの時間間隔についての情報を提供することができる。このような情報源を全体システムに含むことは、感知手段2が提供することができない情報が得られるので、特に有用である。
本発明のシステム1はさらに音声認識ユニット4を備え、これはホスト車両のドライバから音声インストラクションを受け取り翻訳(変換)することができる。インストラクションは、「右に注意」、「後ろに注意」、「近づく交通に注意」、「前方の車に注意」などの簡単な語句であることができる。これらの語句は、たとえばシステムへのドライバの注意力の委託であるタスクを記述する。もちろん、このような音声インストラクションは、ホスト車両のドライバの核になる要求をフィルタするため翻訳(変換)が必要である。このようなシステムで使用される音声インストラクションは、十分ロバストな認識を得るために制限されうる。しかし、近年の音声認識システムはもっと複雑なインストラクションをも翻訳することができるので、正確に規定されたコマンドに制限する必要はなく、「次の交差点で右から近づく車両があれば言ってください」とか、「右折しようとするとき、右側に自転車がいたら知らせてください」のようなインストラクションを使うこともできる。
これらの音声インストラクションから音声認識ユニットが注意力委託タスクを生成し、これは翻訳の結果がこの注意力委託タスクをドライバ支援システムが処理するよう該システムを設定することを意味する。簡単な例として、音声インストラクションは、「注意せよ」とか「右」とかのキーワードの存在についてチェックされうる。このような識別は、次いで監視および評価(「注意せよ」)の主題である領域(「右」)を規定する注意力委託タスクを発生するのに使うことができる。
注意力委託タスクが規定された後、注意力委託タスクは音声認識ユニット4から設定コントローラ5に提供される。設定コントローラ5において、注意力委託タスクはドライバ支援システムの設定に写像(マッピング)され、この設定を使って注意力委託タスクが実行される。もしたとえば、ホスト車両の環境の特定の領域だけを監視すべきであれば、このことはこの環境のこの特定の領域に関する情報だけが使用されることを意味する。感知手段2または車x間通信ユニットによって提供される情報の一部分だけ、または受け取った注意力委託タスクで言及されているオブジェクトだけ、がさらに評価されるのであれば、注意力委託タスクのシステム設定への写像を使用することができる。この設定の結果が注意選択部6に送られ、注意選択部6が感知コントローラ5によって与えられた設定に基づいて情報源(センサ手段、車x間通信システム、・・・)を最終的に制御する。
これまでの説明は、現在の状況では音声インストラクションがホスト車両のドライバから受け取られ、実際の音声インストラクションに基づいて注意力委託タスクが発生されるという事実に基づいている。本発明のシステムを使用中に、音声インストラクションから発生された注意力委託タスクが格納される。注意力委託タスクは常に交通シーンコンタクトと関連して格納される。ドライバ支援システムは環境を永久的に監視することができ、現在のシナリオにおける類似の交通シナリオを記憶するので、合理的と思われる注意力委託タスクを自律的に発生することができる。注意力委託タスクまたはこの対応する設定はメモリ7から検索されて注意選択ユニット6に直接供給されることができる。代わりに注意力委託タスクだけがメモリから検索されて設定コントローラ5に供給され、該コントローラが設定を発生し、これを注意選択ユニット6に送ってもよい。
図面に記載していないもう一つの実施例では、交通シーンのコンテクストの反復パターンがシステムによって判断されることができ、自律的な評価は行われずドライバに対して提案だけがなされる。この提案は音声出力でなされるのが好ましい。この音声出力は、これからホスト車両のドライバが実施されうる注意力委託タスクを特定することができる情報フェーズ(段階)である。もちろん、この情報フェーズはシステムが注意力委託タスクを自律的に実行する場合にも出力されうる。注意力委託タスクが車両の右側の観察であるとすると、音声出力は、「右を見ようか?」とか「右を見る」のようなものである。交通シーンの全体的なコンテクストは特にたとえば日中/夜、視界、道路条件などについての情報を含むことができる。
上述したようにシステムは情報フェーズを出力するための音声出力ユニット8を備えている。
システムが、注意力委託タスクおよびこの注意力委託タスクを処理するに必要な提供された情報の選択にしたがって設定された後、環境知覚ユニットにおいて環境知覚が実施される。知覚フェーズは、環境センシングおよび/または1対x通信から受け取られたデータの有意な解釈として定義される。環境知覚自体のためのアルゴリズムは従来技術において知られているので、不要な反復を避け詳細な説明を省略する。環境知覚ユニットによって知覚された道路、交通参加者、道路標識などの関係する要素に基づいて、データ評価ユニット11において危険評価が行われる。それは特に他の交通参加者によってもたらされる危険について評価される。危険評価ユニット11は、リスクが特定の閾値を上回って評価されるとき警告をトリガする。代わりに、リスクが認識されないときは、警告ではなく通知が発生されうる。警告または通知の発生は、通知/警告発生ユニット12において実行される。この通知/警告発生ユニットは、特定された潜在的に危険な状況を適切な警告または安全確認フレーズに変換する。使用するフレーズを規定するとき、そのフレーズに応答して素早い反応が可能でなければならないことが考慮されるべきである。フレーズは、したがってできるだけ短くあるべきである。さらに、フレーズは迅速かつ容易に理解できる必要があり、これはシステム応答の正しい翻訳(変換)のためだけでなく、最初に形成した音声インストラクションがシステムによって正しく理解されたかどうかを点検するために必要である。
発生された通知または警告は、音声出力ユニット13に送られ、このユニットが発生された通知または警告に従う音声出力を発生する。音声出力は出力の音声コメント内で確信に関する情報を伝達することが特に好ましい。たとえば、「自転車が近づいて来ていると思う」、「大きなトラックが近づいてきている、素早く運転すればそのトラックの前で曲がることができる」、または「道路がすいているようだ」のような用語が使われうる。音声出力は、付加的な情報をスピーチに与えるために韻律の態様(variation)を使用することができ、たとえば「フーム、よくわからない」とか「急げー」などがある。
図2は、第1の交通シーンを描いている。ホスト車両15がT字路を左に曲がろうとしている。ホスト車両のドライバが全体のシーンをモニターすることが難しい反面、道路に安全に入るためには必要なことである。複数の車が駐車しており、ホスト車両のドライバの観察レンジを狭めている。このような状況ではドライバは左側に集中し近づいてくる車両16を見守る。高密度の交通において、ホスト車両のドライバは、左側に焦点をあて、左側に曲がることができるギャップを検出しようとするが、右側から近づく車両があってはならない。こうしてホスト車両のドライバは、たとえば「右を見よ」と発声することによってドライバ支援システムに右側の監視を委託する。このフレーズか翻訳され発生される注意力委託タスクは、システムがその感知能力を使用して干すと車両の右側の環境を監視し、感知した交通オブジェクトを評価し、感知手段の提供情報を評価した後にフィードバックを与えることである。今の場合、感知手段は、右側から近づく交通オブジェクト17を感知し、交差点と近づく車両17との間の距離によって、「右側は安全」または「右から車両接近」と回答する。もちろん、前述したように、システムによって与えられたフレーズは、「素早くすれば十分な時間がある」のようなフレーズで充実させることができる。
これと異なる交通状況が図3に描かれている。交差点でドライバが左側に曲がろうとしている。同じ交差点に2台の車両18および19がほぼ同時に接近してきており、ドライバはそのうちの1台、車両18に集中する。ホスト車両のドライバは「前方の交通を見よ」というインストラクションをシステムに与える。ホスト車両15のドライバがたとえば左にセットされたライトを点灯するなどしたことから、システムがドライバが左折しようとしていることを認識すると、システムは、感知した交通オブジェクト19および軌道を評価し、車両が既に接近しているならば、ホスト車両のドライバのインストラクションに応えて「待て」というフレーズを与える。この例は、ドライバ支援システムが発声されたインストラクションで与えられた注意力委託タスクを実行する事だけを示している。システムが監視することができる交通車両18に関する情報は無視されるか全く発生されない。
ここで説明した例はすべて交通に関係し、車のような車両についての例を示した。概念は移動車両の任意の警告システムに転用することができ、移動車両はある空間的な下位分野またはシーンにおけるオブジェクトの下位選択に制限されることができる。
バックグラウンドにおいてシステムが永久的にすべての提供される情報を評価するが、出力は、ホスト車両のドライバからのインストラクションに基づいてコントロールされることが可能である。このバックグラウンド作業により、自律的にクリティカルな状況を判断し、ホスト車両のドライバからのそれぞれのインストラクションとは独立に警告を出力すること可能になる。たとえば、図3に示した状況では、ホスト車両15および交通オブジェクト19が移動している道路は交通オブジェクト18が近づく道路に対し優先権を持つと仮定することができる。それでもドライバ支援システムの動向予測ユニットが交通オブジェクト18が交差点手前で停止することができないと認識すると、ホスト車両のドライバによって命令されていなくても、システムが警告を出力することができる。

Claims (17)

  1. ドライバ支援システムを制御する方法であって、
    ホスト車両の環境についての情報を提供することと、
    ホスト車両のドライバから音声インストラクションを受け取ることと、
    前記提供された情報を評価するための注意力委託タスクを前記音声インストラクションから発生することと、
    前記注意力委託タスクに従って前記提供された情報の評価を実行することと、
    前記評価の結果を出力することと、
    を含む前記方法。
  2. 現在の環境情報に関係する発話のタイミングおよび/または文言が使用される、請求項1に記載の方法。
  3. 提供された情報が使用される環境空間およびまたは情報が提供される環境空間が、前記注意力委託タスクに従って制限される、請求項1または2に記載の方法。
  4. 提供された情報の評価が前記環境の知覚を含み、さらなる評価が前記注意力委託タスクにおいて規定された知覚された要素に制限される、請求項1または2に記載の方法。
  5. 前記注意力委託タスクは、現在の状況または前記提供された情報の分析に基づいて認識される将来の状況にリンクされている、請求項1から4のいずれか1項に記載の方法。
  6. 前記提供された情報がクリティカルな状況のために分析され、クリティカルな状況が特定されるとき警告が出力される、請求項1から5のいずれか1項に記載の方法。
  7. 前記注意力委託タスクに従う前記評価を行うための条件は前記音声インストラクションから発生される、請求項1から6のいずれか1項に記載の方法。
  8. 前記出力が前記評価結果の確信に関する情報を含む、請求項1から6のいずれか1項に記載の方法。
  9. 出力中の音声メッセージにおける確信の表れとして韻律態様が使われる、請求項8に記載の方法。
  10. 音声インストラクションから発生される注意力委託タスクは、該音声インストラクションが受け取られた交通シーンのコンテクストと関連づけて格納され、格納された前記注意力委託タスク、対応する音声インストラクション、および現在の交通シーンのコンテクストから見込みが予測される、請求項1から9のいずれか1項に記載の方法。
  11. 予め規定されたしきい値を超える見込みが予測されるとき、前記注意力委託タスクが自動的に処理されるか、または前記ホスト車両のドライバに提案される、請求項10に記載の方法。
  12. 前記ドライバの音声信号の韻律分析が行われ、次のいずれかを達成するため、
    発生の終わり検出
    人間に向けられた発声と前記システムに向けられた発声との差別化
    ・ 前記ドライバのムードまたはストレスレベルのような状態
    他の情報チャンネルと組み合わされる、請求項1から11のいずれか1項に記載の方法。
  13. 交通シーンと関連して格納された前記音声インストラクションに基づいてユーザとの相互作用スタイルが適応される、請求項1から12のいずれか1項に記載の方法。
  14. 短縮した音声インストラクションで特定の注意力委託タスクをトリガする、請求項13に記載の方法。
  15. 前記注意力委託タスクのために適当な音声出力を届けるため、人間であるドライバのための現在の交通シーンの視認性のモデルを参照して注意力委託タスクが実行される、請求項1から14のいずれか1項に記載の方法。
  16. 請求項1から15のいずれか1項に記載の方法を実行するよう構成されたドライバ支援システム。
  17. 請求項16に記載のドライバ支援システムを装備した車両。
JP2015036621A 2014-05-30 2015-02-26 ドライバ支援システムの制御方法 Active JP6353383B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP14170563.2 2014-05-30
EP14170563 2014-05-30
EP14191236.0A EP2949536B1 (en) 2014-05-30 2014-10-31 Method for controlling a driver assistance system
EP14191236.0 2014-10-31

Publications (3)

Publication Number Publication Date
JP2016001461A true JP2016001461A (ja) 2016-01-07
JP2016001461A5 JP2016001461A5 (ja) 2016-11-10
JP6353383B2 JP6353383B2 (ja) 2018-07-04

Family

ID=50819683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015036621A Active JP6353383B2 (ja) 2014-05-30 2015-02-26 ドライバ支援システムの制御方法

Country Status (3)

Country Link
US (1) US9650056B2 (ja)
EP (1) EP2949536B1 (ja)
JP (1) JP6353383B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017194961A (ja) * 2016-04-20 2017-10-26 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH 車両の運転において運転者を支援する方法および運転者支援システム
JP2018005886A (ja) * 2016-06-30 2018-01-11 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH 車両を運転する際に運転者を支援する方法及びシステム、並びにそのようなシステムが搭載された車両
JP2019199251A (ja) * 2018-01-26 2019-11-21 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH 車両を運転する際に運転者を支援する方法および運転者支援システム
WO2020194389A1 (ja) * 2019-03-22 2020-10-01 本田技研工業株式会社 交通環境認識装置及び車両制御装置
US11189274B2 (en) 2018-03-19 2021-11-30 Hyundai Motor Company Dialog processing system, vehicle having the same, dialog processing method
US11492000B2 (en) 2018-05-25 2022-11-08 Toyota Jidosha Kabushiki Kaisha Autonomous driving system and control method of autonomous driving system

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6348831B2 (ja) * 2014-12-12 2018-06-27 クラリオン株式会社 音声入力補助装置、音声入力補助システムおよび音声入力方法
US9511767B1 (en) * 2015-07-01 2016-12-06 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle action planning using behavior prediction
CN105810191B (zh) * 2016-03-08 2019-11-29 江苏信息职业技术学院 融合韵律信息的汉语方言辨识方法
US20170287476A1 (en) * 2016-03-31 2017-10-05 GM Global Technology Operations LLC Vehicle aware speech recognition systems and methods
US20170297581A1 (en) * 2016-04-19 2017-10-19 Caterpillar Inc. System and method for controlling operation of machine
US10647332B2 (en) * 2017-09-12 2020-05-12 Harman International Industries, Incorporated System and method for natural-language vehicle control
US20190096397A1 (en) * 2017-09-22 2019-03-28 GM Global Technology Operations LLC Method and apparatus for providing feedback
US10720156B2 (en) * 2018-02-21 2020-07-21 Toyota Motor Engineering & Manufacturing North America, Inc. Co-pilot and conversational companion
DE102018203426A1 (de) 2018-03-07 2019-09-12 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs mit einem Autopilotsystem und Kraftfahrzeug
DE102018203745A1 (de) * 2018-03-13 2019-09-19 Bayerische Motoren Werke Aktiengesellschaft Verfahren, eine Vorrichtung sowie ein korrespondierendes Computerprogramm zum Variieren oder Unterdrücken zumindest einer Fahrerinformation
KR20200042127A (ko) 2018-10-15 2020-04-23 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US10915105B1 (en) * 2018-06-25 2021-02-09 Allstate Insurance Company Preemptive logical configuration of vehicle control systems
KR102660838B1 (ko) * 2018-08-10 2024-04-26 현대자동차주식회사 차량 및 그 제어방법
CN112109729B (zh) * 2019-06-19 2023-06-06 宝马股份公司 用于车载系统的人机交互方法、装置和系统
DE102020111878A1 (de) 2020-04-30 2021-11-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum ausgeben von fahrhinweisen sowie ein kraftfahrzeug

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0747894A (ja) * 1993-08-03 1995-02-21 Fujitsu Ten Ltd 車載用音声認識装置
JPH11271666A (ja) * 1998-01-22 1999-10-08 Robert Bosch Gmbh 表示装置
JP2000221049A (ja) * 1999-01-29 2000-08-11 Equos Research Co Ltd 車両状況把握装置、エージェント装置、および、車両制御装置
JP2000311298A (ja) * 1999-04-28 2000-11-07 Nippon Seiki Co Ltd 運転支援情報報知装置
JP2002251699A (ja) * 2001-02-23 2002-09-06 Matsushita Electric Ind Co Ltd 走行警告案内装置
JP2005222325A (ja) * 2004-02-05 2005-08-18 Toyota Motor Corp 車両用運転支援装置
JP2006277548A (ja) * 2005-03-30 2006-10-12 Toyota Motor Corp 車両用制御装置
JP2006330060A (ja) * 2005-05-23 2006-12-07 Univ Waseda 音声合成装置、音声処理装置、およびプログラム
JP2007049219A (ja) * 2005-08-05 2007-02-22 Denso Corp 車両用周囲監視装置
JP2009020570A (ja) * 2007-07-10 2009-01-29 Denso Corp 車両用走行支援装置
JP2009020569A (ja) * 2007-07-10 2009-01-29 Denso Corp 車両用走行支援装置
JP2010531478A (ja) * 2007-04-26 2010-09-24 フォード グローバル テクノロジーズ、リミテッド ライアビリティ カンパニー 感情に訴える助言システム及び方法
WO2013081998A1 (en) * 2011-11-28 2013-06-06 Robert Bosch Gmbh Camera-assisted blind spot detection
JP2013152524A (ja) * 2012-01-24 2013-08-08 Denso Corp 車車間通信装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4104532B2 (ja) * 2003-11-10 2008-06-18 本田技研工業株式会社 車両制御装置
JP2006015436A (ja) * 2004-06-30 2006-01-19 Honda Motor Co Ltd 監視ロボット
DE102004051963A1 (de) 2004-10-25 2006-05-04 Robert Bosch Gmbh Verfahren zur Fahrerunterstützung
DE102009019702B4 (de) * 2008-05-06 2022-11-10 Volkswagen Ag Verfahren und Vorrichtung zur Übergabeaufforderung an den Fahrzeugführer
EP2402226B1 (en) * 2010-07-02 2014-03-05 Harman Becker Automotive Systems GmbH Computer based system and method for providing a driver assist information
DE102012201934A1 (de) 2012-02-09 2013-08-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausgabe von Fahrerassistenzinformationen
EP2645364B1 (en) * 2012-03-29 2019-05-08 Honda Research Institute Europe GmbH Spoken dialog system using prominence
US9305555B2 (en) * 2012-06-25 2016-04-05 Mitsubishi Electric Corporation Onboard information device
US9085303B2 (en) * 2012-11-15 2015-07-21 Sri International Vehicle personal assistant

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0747894A (ja) * 1993-08-03 1995-02-21 Fujitsu Ten Ltd 車載用音声認識装置
JPH11271666A (ja) * 1998-01-22 1999-10-08 Robert Bosch Gmbh 表示装置
JP2000221049A (ja) * 1999-01-29 2000-08-11 Equos Research Co Ltd 車両状況把握装置、エージェント装置、および、車両制御装置
JP2000311298A (ja) * 1999-04-28 2000-11-07 Nippon Seiki Co Ltd 運転支援情報報知装置
JP2002251699A (ja) * 2001-02-23 2002-09-06 Matsushita Electric Ind Co Ltd 走行警告案内装置
JP2005222325A (ja) * 2004-02-05 2005-08-18 Toyota Motor Corp 車両用運転支援装置
JP2006277548A (ja) * 2005-03-30 2006-10-12 Toyota Motor Corp 車両用制御装置
JP2006330060A (ja) * 2005-05-23 2006-12-07 Univ Waseda 音声合成装置、音声処理装置、およびプログラム
JP2007049219A (ja) * 2005-08-05 2007-02-22 Denso Corp 車両用周囲監視装置
JP2010531478A (ja) * 2007-04-26 2010-09-24 フォード グローバル テクノロジーズ、リミテッド ライアビリティ カンパニー 感情に訴える助言システム及び方法
JP2009020570A (ja) * 2007-07-10 2009-01-29 Denso Corp 車両用走行支援装置
JP2009020569A (ja) * 2007-07-10 2009-01-29 Denso Corp 車両用走行支援装置
WO2013081998A1 (en) * 2011-11-28 2013-06-06 Robert Bosch Gmbh Camera-assisted blind spot detection
JP2013152524A (ja) * 2012-01-24 2013-08-08 Denso Corp 車車間通信装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017194961A (ja) * 2016-04-20 2017-10-26 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH 車両の運転において運転者を支援する方法および運転者支援システム
JP2018005886A (ja) * 2016-06-30 2018-01-11 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH 車両を運転する際に運転者を支援する方法及びシステム、並びにそのようなシステムが搭載された車両
JP2019199251A (ja) * 2018-01-26 2019-11-21 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH 車両を運転する際に運転者を支援する方法および運転者支援システム
US11189274B2 (en) 2018-03-19 2021-11-30 Hyundai Motor Company Dialog processing system, vehicle having the same, dialog processing method
US11492000B2 (en) 2018-05-25 2022-11-08 Toyota Jidosha Kabushiki Kaisha Autonomous driving system and control method of autonomous driving system
US11718313B2 (en) 2018-05-25 2023-08-08 Toyota Jidosha Kabushiki Kaisha Autonomous driving system and control method of autonomous driving system
US11780456B2 (en) 2018-05-25 2023-10-10 Toyota Jidosha Kabushiki Kaisha Autonomous driving system and control method of autonomous driving system
WO2020194389A1 (ja) * 2019-03-22 2020-10-01 本田技研工業株式会社 交通環境認識装置及び車両制御装置
JPWO2020194389A1 (ja) * 2019-03-22 2021-12-09 本田技研工業株式会社 交通環境認識装置及び車両制御装置

Also Published As

Publication number Publication date
EP2949536A1 (en) 2015-12-02
US9650056B2 (en) 2017-05-16
EP2949536B1 (en) 2016-10-05
US20150344040A1 (en) 2015-12-03
JP6353383B2 (ja) 2018-07-04

Similar Documents

Publication Publication Date Title
JP6353383B2 (ja) ドライバ支援システムの制御方法
US11492017B2 (en) Information presentation device and information presentation method
JP2016001461A5 (ja)
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
US10466800B2 (en) Vehicle information processing device
US9558414B1 (en) Method for calculating a response time
JP6887855B2 (ja) 車両の運転において運転者を支援する方法および運転者支援システム
US9881605B2 (en) In-vehicle control apparatus and in-vehicle control method
US20180319408A1 (en) Method for operating a vehicle
US9977239B2 (en) Vehicle information presentation device
JPWO2015145606A1 (ja) 情報呈示装置及び情報呈示方法
JP2017007652A (ja) 言語制御のための文脈を認識する方法、言語制御のための言語制御信号を決定する方法、および方法を実施するための装置
EP3517385B1 (en) Method and driver assistance system for assisting a driver in driving a vehicle
US11584373B2 (en) Method, device and means of transport for an automated starting up of a means of transport at a light signal system
JP2017200808A (ja) 情報表示装置
US20180348751A1 (en) Partially Autonomous Vehicle Passenger Control in Difficult Scenario
JP2012212351A (ja) 車両用情報提供装置
JP2017097846A (ja) 交通参加者の注意度を改善する方法及びシステム
CN108417061B (zh) 用于识别至少一个信号装置的信号状态的方法和装置
CN112937602A (zh) 用于通过语音结束自动驾驶模式的驾驶系统和方法
US20220032942A1 (en) Information providing device and information providing method
JP2017187845A (ja) 信号機情報通知システム、情報機器、サーバおよびプログラム
US20220076670A1 (en) Virtual conversation agent for controlling multiple vehicular intelligent virtual assistants
WO2023017291A1 (ja) 運転支援装置及び運転支援方法
JP2016062163A (ja) 車両停止システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160908

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20160908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170614

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170802

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170804

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180312

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180608

R150 Certificate of patent or registration of utility model

Ref document number: 6353383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250