JP2008037419A - 車両周囲における音声指令を処理する方法およびシステム - Google Patents

車両周囲における音声指令を処理する方法およびシステム Download PDF

Info

Publication number
JP2008037419A
JP2008037419A JP2007203664A JP2007203664A JP2008037419A JP 2008037419 A JP2008037419 A JP 2008037419A JP 2007203664 A JP2007203664 A JP 2007203664A JP 2007203664 A JP2007203664 A JP 2007203664A JP 2008037419 A JP2008037419 A JP 2008037419A
Authority
JP
Japan
Prior art keywords
vehicle
vehicle user
acoustic signal
microphone
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007203664A
Other languages
English (en)
Inventor
Tim Haulick
ホーリック ティム
Markus Buck
バック マルクス
Hans-Joerg Koepf
ケーフ ハンス−イエルク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman Becker Automotive Systems GmbH
Original Assignee
Harman Becker Automotive Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman Becker Automotive Systems GmbH filed Critical Harman Becker Automotive Systems GmbH
Publication of JP2008037419A publication Critical patent/JP2008037419A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/25Means to switch the anti-theft system on or off using biometry
    • B60R25/257Voice recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Lock And Its Accessories (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Selective Calling Equipment (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】好適な車両周囲における音声指令を処理する方法およびシステムを提供すること。
【解決手段】車両周囲における音声指令を処理する方法であって、該方法は、該車両周囲における音響信号を検出することと、該車両の外側の車両ユーザの位置に関する該位置情報を抽出することと、該検出された音響信号における該車両ユーザから発せられる該音声指令を識別することとを包含するという点を特徴とし、該音響信号の該検出および/または該音声指令の該識別は、該位置情報を考慮に入れて達成される、方法であって、上記方法は、前記車両ユーザの前記位置を検出し、該位置情報を生成することを包含する。
【選択図】図2

Description

本発明は、車両周囲における音声指令を処理する方法およびシステムに関し、かつ上記システムを装備する自動車両に関する。特に、本発明は、車両周囲に存在する擾乱に対して向上したロバスト性を提供する方法およびシステムに関する。
車両のアプリケーションにおいて、音声指令によって車両機能を制御することが可能な音声制御システムが開発されている。対応する車両機能は、車両電話システム、車両無線または車両ナビゲーションシステム、すなわち車両キャビン内部から制御される車両機能に関する。
一部のアプリケーションにおいて、車両機能を車両の外側から、すなわち車両周囲から制御することも所望され得る。このような車両機能に対する一例は、バックドア、すなわち引き上げゲートまたはテールゲートを、音声指令によって開けることおよび閉めることを制御することにより、車両に荷を積むことおよび荷を降ろすことを容易にすることである。
しかしながら、車両周囲における、音声指令の認識は、車両周囲に存在するノイズによって深刻に影響される。さらに、車両周囲に存在するノイズの供給源は、通過する車両または人々のような静止していないものであり得る。車両周囲における典型的なノイズの供給源は、風および雨、他の車両または人々である。
車両周囲に存在するノイズは、音声指令の誤った検出を導き得、音声指令の検出の信頼性を低減し得または音声指令の検出を不可能にさえさせ得る。
従って、音声指令を確実に識別するために車両周囲から検出される音響信号の検出および処理を向上させるためのニーズが存在する。このニーズは、独立請求項1に記載される、車両周囲における音声指令を処理する方法によって、および独立請求項16に記載される車両周囲における音声指令を処理する方法によって、満たされる。従属請求項は、本発明の好ましい実施形態および有利な実施形態を規定する。
本発明の一局面に従って、車両周囲における音声指令を処理する方法は、該車両周囲における音響信号を検出することと、該検出された音響信号における該車両ユーザから発せられる該音声指令を、車両周囲における車両ユーザの位置に関する位置情報を考慮に入れて、識別することとを包含する。音声指令は、好ましくは、車両機能を制御するために使用される。この手段によって、車両周囲に存在するノイズの影響を非常に低減することが可能である。特に、車両ユーザの位置に関係する情報は、一般的に、車両ユーザから発せられる信号成分と、他の信号成分、すなわちノイズとを区別することが可能である。例えば、車両ユーザの位置以外の位置から発せられる音響信号を抑制することによって音響信号を検出する処理において、および/または例えば、検出された音響信号を車両ユーザの位置に関係する情報と互いに関係付けることによって音声指令を識別する処理において、車両ユーザの位置に関する情報が、考慮に入れられ得る。
実施形態に従って、上記方法は、車両ユーザの位置を検出することにより、車両ユーザの位置に関する情報を取得することをさらに包含する。車両ユーザの位置は、例えば、音響信号を検出するマイクロフォンアレイを用いることによって、音響信号に基づいて検出され得る。マイクロフォンアレイにおいて、複数のマイクロフォンデバイスのうちの1つとそれぞれ関連する様々なチャネルが、音響信号の発生源に関係する情報を取得するために使用され得る。さらに、または代替的に、車両ユーザの位置に関係する情報は、非音響信号、例えば、光学信号、超音波信号または無線信号に基づいて取得され得る。この手段によって、車両ユーザが音声指令を話す前に、車両ユーザを見つけることが可能である。これは、音声指令の検出および引き続く音声指令の認識を非常に強化する。
好ましくは、車両ユーザの位置に関係する情報が、車両の周囲をモニタするために適切な既に存在するシステムによって取得される。特に、このようなシステムは、車両ユーザが近付いた際に車両のドアを開錠するために典型的に使用される、いわゆるキーレスゴーシステム(keyless−go−system)であり得る。他の可能性は、例えば、パーキング援助システムまたはドライバ援助システム、レーザスキャナシステムなどと関係がある光学画像化システムである。レーザスキャナシステムの使用は、車両ユーザの位置のかなり正確な検出を可能にする。
さらなる実施形態に従って、マイクロフォンアレイをビームフォーミング法と関連して用いることによって、音響信号を検出する間に、車両ユーザの位置が考慮に入れられる。ビームフォーミング法によって、マイクロフォンアレイの音響検出ゾーンは、車両ユーザの位置に向けられ得る。この手段によって、音響信号の検出は、車両ユーザの位置に正確に適合され得る。
さらなる実施形態において、複数のマイクロフォンデバイスは、音響信号を検出するために提供され、好ましくは車両の様々な配置で位置される。この場合において、車両ユーザの位置に依存して、マイクロフォンデバイスは、選択的に作動したり、作動しなかったりすることがあり得る。例えば、車両ユーザの位置の最も近くに配置されるマイクロフォンデバイスのみが、音響信号を検出するために使用され得る。その他のマイクロフォンデバイスは、作動しないか、または基準信号の供給源として使用され得る。
さらなる実施形態に従って、音響信号を検出する手段および/または音声指令を識別する手段は、車両ユーザの位置が、所定のエリア、例えば、キーレスゴーシステムの操作範囲内にある場合にのみ、作動する。このようにして、該手段は、車両ユーザが車両の近くにいない場合に、例えば、偶然検出された他の人物から発せられたスピーチによって、音声信号の誤った検出が発生するということが除外され得る。車両ユーザが特定のエリアに配置されない場合に、識別から特定の音声指令を除外することも可能である。例えば、車両のバックドアを開けることおよび閉めることに対する音声指令は、車両ユーザが車両の後ろの近くに配置される場合にのみ可能にされ得る。
既に述べたように、音声指令は、好ましくは車両機能、例えば、バックドアのような車両ドアを開けることおよび閉めることを制御するために使用される
さらなる実施形態に従って、方法はまた、検出された音響信号に基づいて車両ユーザを識別することを包含する。このようにして、方法は、車両ユーザが特定の車両機能を制御するために認証されることをさらに確実にさせ得る。車両ユーザの識別は、キーレスゴーシステムまたは音声指令を識別する機能をも提供する音声処理システムによって達成され得る。
本発明のさらなる局面に従って、車両周囲における音声指令を処理するシステムが提供される。システムは、車両周囲における音響信号を検出する音響検出手段と、車両の外側の車両ユーザの位置に関連する位置情報を抽出する第1の処理手段と、検出された音響信号における車両ユーザから発せられる音声指令を識別する第2の手段とを備えている。システムは、音響信号の検出および/または音声指令の識別が該位置情報を考慮に入れて達成されるというような方法で構成されている。上で説明したように、車両ユーザの位置を考慮に入れることは、音声指令を検出し、認識する処理において非常に向上した信頼性を可能にする。システムはまた、好ましくは、車両ユーザの位置を検出する手段を備えているか、または該手段と結合され、該手段は、無線デバイス、超音波デバイス、光学画像化デバイス、レーザスキャナまたはマイクロフォンアレイからの信号と共に供給され得るか、またはこれらのデバイスの少なくとも1つを備えている。
一実施形態においては、音響検出手段は、マイクロフォンアレイの音響検出ゾーンを車両ユーザの位置に向けるように構成されているマイクロフォンアレイおよびビームフォーミング手段を備えている。この手段によって、マイクロフォンアレイの受信特性は、車両ユーザの位置に正確に適合され得る。
さらなる実施形態に従って、第2の処理手段が、光学画像化デバイス、車両の外側のエリアをモニタするカメラからの情報を考慮に入れて、音声指令を識別するように構成されている。特に、カメラは、車両ユーザの顔を検出するために使用され得、車両ユーザの唇の動きが評価され得る。すなわち、処理手段は、音声指令を識別するために、音響音声認識と読唇タイプの光学画像解析の組み合わせを利用し得る。例えば、唇の動きが画像化デバイスによって検出されない場合は、検出された音響信号は処分され得る。しかしながら、唇の動きを、さらに詳細に評価することも可能であり得る。どんな場合においても、画像情報の追加の使用は、音声認識の信頼性を向上させる。第2の処理手段はまた、検出された音響信号に基づいて車両ユーザを識別するように構成され得る。
本発明は、上記の本発明に従う音声処理システムを装備する、またはそうでなければ本発明に従う上記の方法をインプリメントするように構成されている自動車両をさらに提供する。自動車両は、好ましくは、音声認識の信頼性を向上させるように音声処理システムと一緒に使用される追加のシステムを備えている。特に、自動車両は、キーレスゴーシステムを備え得、これは音声処理システムと通信することにより、車両ユーザの位置についての情報を提供する。自動車両はまた、パーキング援助システムを備え得、パーキング援助システムは音声処理システムと通信することにより、車両ユーザの位置についての情報を提供する。自動車両はまた、車両周囲をモニタするために適切な任意の他のタイプのシステムを備え得、これは音声処理システムと通信することにより、車両ユーザの位置についての情報を提供する。このようなモニタリングシステムはまた、カメラまたはレーザスキャナのような光学画像化システムを含み得、これらは車両ユーザの位置のかなり正確な検出を可能にし、他の有益な情報を提供するために使用され得る。特に、音声処理システムは、追加の画像情報を提供されることにより、読唇タイプの画像解析を有する音響音声認識を補足し得る。
本発明のこれらの局面および他の局面は、以後記載される実施形態から明らかになる。
本発明は、さらに、以下の手段を提供する。
(項目1)
車両周囲における音声指令を処理する方法であって、
該方法は、
該車両周囲における音響信号を検出することと、
該車両の外側の車両ユーザの位置に関する該位置情報を抽出することと、
該検出された音響信号における該車両ユーザから発せられる該音声指令を識別することと
を包含するということを特徴とし、該音響信号の該検出および/または該音声指令の該識別は、該位置情報を考慮に入れて達成される、方法。
(項目2)
上記方法は、上記車両ユーザの上記位置を検出し、該位置情報を生成することを包含するということを特徴とする、項目1に記載の方法。
(項目3)
上記車両ユーザの上記位置は、キーレスゴーシステム(30)によって検出されるということを特徴とする、項目2に記載の方法。
(項目4)
前期車両ユーザの上記位置は、光学画像化システムによって検出されることを特徴とする、項目2または項目3に記載の方法。
(項目5)
上記車両ユーザの上記位置は、レーザスキャナシステムによって検出されることを特徴とする、項目2から項目4のいずれか1項に記載の方法。
(項目6)
上記車両ユーザの上記位置は、マイクロフォンアレイを用いて検出されることを特徴とする、項目2から項目5のいずれか1項に記載の方法。
(項目7)
上記車両ユーザの上記位置は、パーキング援助システムのセンサ(22)を用いて検出されることを特徴とする、項目2から項目6のいずれか1項に記載の方法。
(項目8)
上記音響信号は、マイクロフォンアレイを用いて検出されることを特徴とする、項目1から項目7のいずれか1項に記載の方法。
(項目9)
上記マイクロフォンアレイは、ビームフォーミング法を用いることにより、該マイクロフォンアレイの音響検出ゾーンを上記車両ユーザの上記位置に向けることを特徴とする、項目8に記載の方法。
(項目10)
上記音声指令を識別することは、光学画像化システムからの情報を考慮に入れて達成されることを特徴とする、項目1から項目9のいずれか1項に記載の方法。
(項目11)
複数のマイクロフォンデバイス(13)が、上記音響信号を検出するために提供され、
該マイクロフォンデバイス(13)は、上記車両ユーザの上記位置に依存して、選択的に作動したり、作動しなかったりすることを特徴とする、項目1から項目10のいずれか1項に記載の方法。
(項目12)
上記車両ユーザの上記位置の近くに位置するマイクロフォンデバイス(13)は、上記音響信号を検出するために使用され、他のマイクロフォンデバイス(13)は、基準信号の供給源として使用されることを特徴とする、項目11に記載の方法。
(項目13)
上記音響信号を検出する手段および/または上記音声指令を識別する手段は、上記車両ユーザの上記位置が所定の範囲(6)内にある場合にのみ作動することを特徴とする、項目1から項目12のいずれか1項に記載の方法。
(項目14)
上記方法は、上記識別された音声指令に従って車両機能を制御することを包含することを特徴とする、項目1から項目13のいずれか1項に記載の方法。
(項目15)
上記方法は、上記検出された音響信号に基づいて、上記車両ユーザを識別することを包含するということを特徴とする、項目1から項目14のいずれか1項に記載の方法。
(項目16)
車両周囲における、音声指令を処理するシステムであって、
該車両周囲における、音響信号を検出する音響検出手段(12、13、14;14’)と、
該車両の外側の車両ユーザの位置に関する該位置情報を抽出する第1の処理手段(16)と、
該検出された音響信号における、該車両ユーザから発せられる音声指令を識別する第2の処理手段(18)と
を特徴とし、該音響信号の該検出および/または該音声指令の該識別は、該位置情報を考慮に入れて達成される、システム。
(項目17)
上記第1の処理手段(16)は、無線デバイス、超音波デバイス、光学画像化デバイス、レーザスキャナシステムまたはマイクロフォンアレイからの信号を供給されることを特徴とする、項目16に記載のシステム。
(項目18)
上記車両ユーザの上記位置を検出する手段を特徴とする、項目16または項目17に記載のシステム。
(項目19)
上記音響検出手段は、マイクロフォンアレイ(12)および該マイクロフォンアレイ(12)の音響検出ゾーンを上記車両ユーザの上記位置に向けるように構成されているビームフォーミング手段(14)を備えていることを特徴とする、項目16から項目18のいずれか1項に記載のシステム。
(項目20)
上記音響検出手段は、複数のマイクロフォンデバイス(13)および上記車両ユーザの上記位置に依存して、該複数のマイクロフォンデバイスを選択的に作動させたり、作動させなかったりするように構成されている制御手段(14’)を備えていることを特徴とする、項目16から項目19のいずれか1項に記載のシステム。
(項目21)
上記第2の処理手段(18)は、光学画像化デバイスからの情報を考慮に入れて上記音声指令を識別するように構成されていることを特徴とする、項目16から項目20のいずれか1項に記載のシステム。
(項目22)
上記第2の処理手段(18)は、上記検出された音響信号に基づいて上記車両ユーザを識別するように構成されていることを特徴とする、項目16から項目21のいずれか1項に記載のシステム。
(項目23)
項目16から項目22のいずれか1項に記載の音声処理システム(10、10’)を特徴とする自動車両であって、上記音声指令は、車両機能を制御するために使用される、自動車両。
(項目24)
上記自動車両(1)は、キーレスゴーシステム(30)を備えており、該キーレスゴーシステム(30)は、上記音声処理システム(10、10’)と通信することにより、上記車両ユーザの上記位置についての情報を提供することを特徴とする、項目23に記載の自動車両。
(項目25)
上記キーレスゴーシステム(30)は、上記検出された音響信号に基づいて上記車両ユーザを識別するように構成されていることを特徴とする、項目24に記載の自動車両。
(項目26)
上記自動車両(1)は、モニタリングシステム(20)を備えており、該モニタリングシステム(20)は、上記音声処理システム(10、10’)と通信することにより、上記車両ユーザの上記位置についての情報を提供することを特徴とする、項目23から項目25のいずれか1項に記載の自動車両。
(項目27)
上記モニタリングシステム(20)は、パーキング援助システムまたはドライバ援助システムと関連することを特徴とする、項目26に記載の自動車両。
(項目28)
上記モニタリングシステムは、光学画像化デバイス(20)を備えており、該光学画像化デバイス(20)は、上記音声処理システム(10、10’)と通信することにより、画像情報を提供することを特徴とする、項目27に記載の自動車両。
(摘要)
車両周囲における音声処理の信頼性を向上させるために、車両周囲における音響信号を検出すること、および検出された音響信号における車両の外側の車両ユーザから発せられる音声指令を、車両周囲における車両ユーザの位置に関する位置情報を考慮に入れて識別することが提案される。車両ユーザの位置についての情報は、自動車両のキーレスゴーシステム(30)または別の自動車のモニタリングデバイス(20)、例えば、パーキング援助システムまたはドライバ援助システムの光学画像化デバイスから取得され得る。
図1において、音声処理システムを装備する自動車両1が図示される。図示されるように、自動車両1は、車両ユーザの位置を検出することが可能なシステムを装備する。図面において、車両ユーザの位置はPによって表示される十字によって示される。
自動車両1は、キーレスゴーシステムを装備する。キーレスゴーシステムは、車両ユーザが、従来のキーを用いずに、自動車両を施錠し、開錠し、およびスタートすることが可能である。キーレスゴーシステムにおいて、車両ユーザは、車両ユーザが自動車両1に近付く場合に検出されるコードカードを有する。車両周囲において、コードカードを検出する検出範囲は、長い破線5によって表示される。検出は、無線信号に基づいて達成される。無線信号を伝送することによって、キーコードは、コードカードと自動車両1との間に伝送されることにより、認証された車両ユーザを識別する。当然、コードカード以外の手段、例えば、従来のキーに埋め込まれたチップが、認証された車両ユーザを識別するためにキーレスゴーシステムによって使用され得る。
自動車両1は、パーキング援助システムをさらに装備する。パーキング援助システムは、複数のセンサ22を備えており、該複数のセンサ22は、車両近辺の障害物を検出するように配列される。パーキング援助システムは、超音波センサおよびカメラデバイスのような光学センサを含む様々なタイプのセンサを使用し得る。図示される例において、センサ22は、自動車両の前部および後部バンパに沿って配列される。後部バンパのセンサ22の検出範囲は、6で表示される短い破線によって示される。複数のセンサ22を用いて取得された測定値を結合することによって、検出範囲6内の車両ユーザの位置Pを決定することが可能である。同じことが、前部バンパに配列されるセンサ22の検出範囲に対しても適用されるが、この範囲は図面には図示されない。
さらに、自動車両1は、マイクロフォンシステム12を装備し、マイクロフォンシステム12は、車両周囲において音響信号を検出することが可能である。図示される例において、マイクロフォンシステム12は、マイクロフォンアレイを備えているか、または通常はマイクロフォンアレイからなり、マイクロフォンアレイは、音響検出ゾーン、すなわちマイクロフォンアレイの増加した感度のゾーンを、特定の方向に向けることが可能である。マイクロフォンアレイの音響検出ゾーンは、7によって表示される点線によって概略的に図示される。特に、音響検出ゾーンを車両ユーザの位置Pに向けることが可能である。
マイクロフォンシステム12に関し、キーレスゴーシステムは、検出された音響信号に基づいて、すなわち、車両ユーザの個別の音声パターンを識別することによって、車両ユーザを識別する機能を有する。これにより、車両ユーザの認証を確認する補足的な機能または代替的な機能が提供される。
さらに、マイクロフォンアレイによって、車両ユーザの位置Pを検出することも可能である。特に、マイクロフォンアレイは、複数のマイクロフォンデバイスを備えており、様々なマイクロフォンデバイスの出力信号を、それらの特定の位置を考慮に入れて評価することによって、車両ユーザの位置Pが計算され得る。
図示される実施例において、マイクロフォンシステム12は、車両ユーザから発せられる音声指令を検出するために使用されることにより、少なくとも1つの車両機能を制御する。特に、このような機能は、車両ドア、特にバックドア、例えば、引き上げゲートまたはテールゲートを開けること、閉めること、施錠することおよび/または開錠することであり得る。これは車両1に荷を積むことおよび荷を降ろすことをかなり容易にし得る。すなわち、車両ユーザは、車両に格納されるアイテムを運ぶために両手を使用し得る。結果として、従来のキーによっては、車両ユーザが、自動車両1に格納されるアイテムを置くことなしに車両ドアを開け、閉め、施錠しまたは開錠することは不可能である。従って、車両ユーザが、音声指令によって、車両ドアを開けること、閉めること、開錠することおよび/または施錠することの可能性を有することは、かなりの利点である。これは、自動車両1のバックドアに適用するだけでなく、車両タイプに依存して、他の車両ドアにも適用する。音声指令によって制御される車両ドアは、適切に自動化される。
自動車両1における音声処理システムの一般的な操作は以下の通りである:キーレスゴーシステムによって、車両ユーザが自動車両に近付くか近付かないかが検出される。車両ユーザがキーレスゴーシステムの検出範囲5内にいる場合には、マクロフォンシステム12が作動することにより、車両ユーザから発せられる音声指令を検出する。キーレスゴーシステムは、検出範囲5内の車両ユーザの存在を検出することが可能であるだけでなく、検出範囲5内の車両ユーザの位置決定をすることも可能にする。特に、車両ユーザが、自動車両の左側から、自動車両の右側から、自動車両の後ろ側からまたは自動車両の前側から、近付くかどうかが区別され得る。従って、キーレスゴーシステムは、車両ユーザの位置Pについての情報を提供する。
車両ユーザの位置Pについての追加の情報は、パーキング援助システムによって、すなわちセンサ22によって、およびマイクロフォンシステム12によって取得される。
車両周囲における車両ユーザの存在を検出して、かつ車両ユーザの位置Pを決定して、マイクロフォンシステム12は、車両ユーザの位置Pに調節される。例えば、これは、マイクロフォンシステムのマイクロフォンデバイスが単に作動したり、作動しなかったりすることによって、達成され得る。特に、車両ユーザの近くに位置するマイクロフォンデバイスは作動し得るが、車両ユーザから遠く離れて位置する他のマイクロフォンデバイスは作動し得ないか、または車両周囲に存在するノイズを補償する基準信号の供給源として使用される。
好ましくは、マイクロフォンシステム12は、明確な空間的な関係で配列された複数のマイクロフォンデバイスを有するマイクロフォンアレイを備えている。このようなマイクロフォンアレイを用いると、ビームフォーミング法を使用することにより、マイクロフォンシステム12を車両ユーザの位置Pに適合させることが可能である。特に、マイクロフォンアレイの音響検出ゾーンは、図1に概略的に図示されるように車両ユーザの位置に正確に向けられる。
音声指令を処理する上記のアプローチは、車両周囲における音声認識の高い信頼性を可能にする。特に、車両周囲におけるノイズの存在の影響および他の擾乱の影響はかなり低減され得る。
さらに、車両ユーザの位置Pに依存して、特定の車両機能を選択的に作動させたり、作動させなかったりすることも可能である。例えば、車両バックドアの制御は、車両ユーザの位置Pが、自動車両1の後ろのエリアにいる場合に限り作動し得る。この手段によって、音声指令の誤った検出の多くの場合または擾乱が除外され得、これにより音声処理システムの信頼性はさらに増加する。
検出された音響信号に基づいて、車両ユーザを識別することによって、システムの機能性は、さらに強化され得る。例えば、特定の車両機能の制御は、車両ユーザの認証に依存して、選択的に作動し得たり、作動し得なかったりする。さらに、音声指令を与える個人を識別することおよび予め規定された個人からの音声指令のみを認めることが可能である。
図1の例において、自動車両1は、キーレスゴーシステムおよびパーキング援助システムを有するように図示され、これらは車両ユーザの位置についての情報を取得することが可能である。しかしながら、自動車両1はまた、他のシステムまたは追加のシステムを装備し得、これらは所望される位置情報を決定することが可能である。
例えば、自動車両1は、レーザスキャナシステムを装備し得る。レーザスキャナシステムは、典型的に、自動車両の周囲をスキャンするために、一般的には円周パターンで赤外線スペクトルのレーザビームを使用する。レーザスキャナシステムは、パーキング援助システムまたはドライバ援助システムにおいて、例えば、道路上または道路近くの物体を検出するため、あるいは少し進んでは止まる状況における車両速度の自動制御のために使用され得る。レーザスキャナシステムは、ラジエータカウリングの後ろに据え付けられ得るか、またはセンサ22と同様に前部もしくは後部バンパに組み込まれ得る。
車両ユーザの位置の検出に関して、レーザスキャナシステムは、検出の大きな角度範囲、検出の大きな半径方向範囲、高い角度分解能および高い半径方向分解能の利点を有する。検出の範囲は、典型的に、自動車両から10m以上に延びる。従って、レーザスキャナシステムによって取得された情報は、上記の音声処理システムにおいて非常に有益である。
さらに、自動車両1は光学画像化システム、例えば、車両カメラを装備し得る。通常の操作において、光学画像化システムは、例えば、後方に進んでいる場合に、自動車両の後ろのエリアの画像を提供するために使用され得る。音声処理システムに関して、光学画像化システムによって取得される情報は、音声処理システムの信頼性を向上させるために使用され得る。
まず、車両ユーザの位置を決定するために光学画像化システムを使用することが可能である。さらに、音声認識の間に音響信号の処理は、画像解析と結合され得る。
例えば、光学画像化システムが人物を検出し、かつ人物の唇が動く場合にのみ音声処理システムを作動させることが可能である。数人の人物が画像内にいる場合には、マイクロフォンアレイの音響検出ゾーンは、話している人物、すなわちその唇が動いている人物に向けられ得る。さらなる改良は、さらに詳細な様式で唇の動きを評価することによって、および音声認識を補足するためにこの評価の結果を用いることによって、達成され得る。従って、音響信号の処理は、「読唇タイプ」の画像解析と結合され得る。
さらに、自動車両の様々なモニタリングシステム、例えば、キーレスゴーシステム、パーキング援助システム、ドライバ援助システムまたは光学画像化システムによって取得された情報を結合することが可能である。例えば、車両ユーザの粗い位置決定は、キーレスゴーシステムによって達成され得、引き続く、より正確な位置決定は、レーザスキャナシステム、光学画像化システムまたは他の適切なタイプのモニタリングシステムによって取得され得る。
図2は、ブロック図において、音声処理システム10の第1の実施例を図示する。音声処理システム10は、車両ユーザの位置に関係する情報または信号を評価する第1の処理ユニット16と、マイクロフォンシステム12によって検出された音響信号を評価する第2の処理ユニット18とを備えている。第2の処理ユニット18は、車両機能を制御する制御信号Cを生成する。
音声処理システム10は、マイクロフォンシステム12とマイクロフォンシステムの制御ユニット14とをさらに備えている。マイクロフォンシステム12は、明確に決定された空間的な関係で配列された複数のマイクロフォンデバイス13を備えているマイクロフォンアレイの形式を有する。制御ユニット14は、様々なマイクロフォンデバイス13によって検出された音響信号を結合することにより、単一の音響信号を第2の処理ユニット18に供給する。制御ユニット14において、重みがマイクロフォンデバイス13の出力信号の各々に割り当てられ、重みがつけられた出力信号は制御ユニット14からの出力として単一の音響信号を取得するために追加される。重みは、第1の処理ユニット16から供給された位置情報信号に基づいて調節される。
第1の処理ユニット16は、入力信号を受信し、該入力信号は、車両ユーザの位置を決定することが可能である。これらの入力信号は、キーレスゴーシステム30から、およびモニタリングシステム20から供給される。モニタリングシステム20は、光学画像化システムまたはレーザスキャナシステムを備え得る。さらに、入力信号は、制御ユニット14から供給される。このことは、マイクロフォンアレイが、音響検出ゾーンを特定の位置に向けることが可能であるだけではなく、様々なマイクロフォンデバイス13の出力信号を評価することによって、音響信号の供給源の位置を決定することをも可能にする場合に可能である。
第1の処理ユニット16は、位置情報信号を第2の処理ユニット18に供給し、第2の処理ユニット18は、第1の処理ユニット16から供給された場合に、車両ユーザの位置を考慮に入れて、その入力信号を評価する。第2の処理ユニット18は、その入力信号として、制御ユニット14から音響信号およびモニタリングシステム20から画像情報信号を受信する。供給された入力信号に基づいて、第2の処理ユニット18は、制御ユニット14によって供給された音響信号が、特定の音声指令に対応するか、しないかを評価する。音声指令が識別された場合には、対応する制御信号Cが生成される。第1の処理ユニット16から、およびモニタリングシステム20から供給された入力信号はまた、第2の処理ユニット18を作動させるため、または作動させないために使用され得る。
さらに、検出された音響信号はまた、車両ユーザを識別するために評価され得る。このことは、第2の処理ユニット18によって達成され得、第2の処理ユニット18は、次いで対応する情報をキーレスゴーシステム30に提供する。当然、検出された音響信号をキーレスゴーシステム30に転送することも可能であり、キーレスゴーシステム30は、次いで車両ユーザを識別する必要な処理を行う。
キーレスゴーシステム30およびモニタリングシステム20は、音声処理システム10の一部を必ずしも形成しないということが理解されるべきである。むしろ、それらは好ましくは車両ユーザの位置についての情報を提供するために適切である「既に存在する」システムを構成する一部である。車両ユーザの位置についての情報を取得する既に存在するシステムの使用は、最小限の追加の経費を用いて音声処理システム10の信頼性を向上させることが可能である。
図3は、さらなる実施例に対する音声処理システム10’を示す。音声処理システム10’は、全体として、図2の音声処理システムに対応し、類似のコンポーネントは、同一の参照記号を用いて指定されている。
図2の音声処理システム10と比較すると、図3の音声処理システム10’は、複数の分離したマイクロフォンデバイス13を備えており、これらは制御ユニット14’に接続される。マイクロフォンデバイス13は、好ましくは、自動車両上の様々な位置に配置される。制御ユニット14’は、マイクロフォンデバイス13のうちの1つの出力信号を第2の処理ユニット18に、選択的に供給する。すなわち、制御ユニット14’は、マイクロフォン13を選択的に作動させたり、作動されなかったりすることにより、それらの出力信号を第2の処理ユニット18に供給する。このことは、第1の処理ユニット16から受信された位置情報信号に基づいて達成される。例えば、車両ユーザの位置の最も近くに配置されるマイクロフォンデバイスのみが、作動し得る。その他のマイクロフォンデバイスは、作動しないことがあり得る。あるいは、その他のマイクロフォンデバイスの出力信号もまた、基準信号として第2の処理ユニット18に供給され得、車両周囲に存在するノイズを補償するために使用され得る。
図2および図3に図示されるような音声処理システム10、10’において、第1の処理ユニット16および第2の処理ユニット18は、分離したコンポーネントであり得るが、典型的にはマイクロプロセッサ上で実行する適切なソフトウェアによってインプリメントされ得ることが理解されるべきである。キーレスゴーシステムおよび/またはモニタリングシステムの機能をインプリメントもする1つのマイクロプロセッサを有することがさらに有利であり得、これにより音声処理システムの機能および他の車両制御システムの機能を1つのマイクロプロセッサ内で統一する。このようにして、追加のハードウェアに対するニーズが低減される。
図4は、上記の音声処理システムを用いて音声指令を処理する方法に対するフローチャートを図示する。
ステップ110において、音声処理システムは、キーレスゴーシステム30から受信された、車両ユーザが自動車両に近付くことを示す信号によって作動する。
ステップ120において、車両ユーザの位置Pが決定される。このことは、キーレスゴーシステム30、モニタリングシステム20、またはマイクロフォンシステム12から受信される情報に基づいて達成される。
ステップ130において、マイクロフォンシステム12は、車両ユーザの決定された位置Pに適合させられる。このことは、マイクロフォンアレイの音響検出ゾーンを車両ユーザの位置Pに向けることによって、または車両ユーザの位置Pに対するデバイスの位置に依存して、マイクロフォンデバイス13を選択的に作動させたり、作動させなかったりすることによって、達成される。
ステップ140において、音声認識処理が開始されることにより、検出された音響信号における音声指令を識別する。音声指令が識別された場合には、車両機能を制御する対応する制御信号が生成される。ステップ140において、モニタリングシステム20の光学画像化システムによって提供された画像情報がさらに使用されることにより、音声認識の信頼性を向上させる。さらに、ステップはまた、検出された音響信号に基づいて車両ユーザを識別することを含み得る。
要約すると、音声認識の向上された信頼性を提供する音声処理システムおよび音声処理方法が、記載された。特に、車両ユーザによって話された音声指令の認識における車両周囲に存在するノイズの影響が低減される。車両ユーザに関係する所望される情報は、他の目的で、自動車両に既に存在するモニタリングシステムから取得され、これにより追加のハードウェアに対するニーズを最小限にする。
図1は、本発明に従う、音声処理システムを装備する車両の概略図を示す。 図2は、本発明の実施形態に従う、音声処理システムを図示するブロック図である。 図3は、本発明のさらなる実施形態に従う、音声処理システムを図示するブロック図である。 図4は、本発明の実施形態に従う音声指令を処理する方法のフローチャートである。
符号の説明
10 音声処理システム
12 マイクロフォンシステム
13 マイクロフォンデバイス
14 制御ユニット
16、18 処理ユニット
20 モニタリングシステム
30 キーレスゴーシステム
C 制御信号

Claims (28)

  1. 車両周囲における音声指令を処理する方法であって、
    該方法は、
    該車両周囲における音響信号を検出することと、
    該車両の外側の車両ユーザの位置に関する該位置情報を抽出することと、
    該検出された音響信号における該車両ユーザから発せられる該音声指令を識別することと
    を包含するということを特徴とし、該音響信号の該検出および/または該音声指令の該識別は、該位置情報を考慮に入れて達成される、方法。
  2. 前記方法は、前記車両ユーザの前記位置を検出し、該位置情報を生成することを包含するということを特徴とする、請求項1に記載の方法。
  3. 前記車両ユーザの前記位置は、キーレスゴーシステム(30)によって検出されるということを特徴とする、請求項2に記載の方法。
  4. 前期車両ユーザの前記位置は、光学画像化システムによって検出されることを特徴とする、請求項2または請求項3に記載の方法。
  5. 前記車両ユーザの前記位置は、レーザスキャナシステムによって検出されることを特徴とする、請求項2から請求項4のいずれか1項に記載の方法。
  6. 前記車両ユーザの前記位置は、マイクロフォンアレイを用いて検出されることを特徴とする、請求項2から請求項5のいずれか1項に記載の方法。
  7. 前記車両ユーザの前記位置は、パーキング援助システムのセンサ(22)を用いて検出されることを特徴とする、請求項2から請求項6のいずれか1項に記載の方法。
  8. 前記音響信号は、マイクロフォンアレイを用いて検出されることを特徴とする、請求項1から請求項7のいずれか1項に記載の方法。
  9. 前記マイクロフォンアレイは、ビームフォーミング法を用いることにより、該マイクロフォンアレイの音響検出ゾーンを前記車両ユーザの前記位置に向けることを特徴とする、請求項8に記載の方法。
  10. 前記音声指令を識別することは、光学画像化システムからの情報を考慮に入れて達成されることを特徴とする、請求項1から請求項9のいずれか1項に記載の方法。
  11. 複数のマイクロフォンデバイス(13)が、前記音響信号を検出するために提供され、
    該マイクロフォンデバイス(13)は、前記車両ユーザの前記位置に依存して、選択的に作動したり、作動しなかったりすることを特徴とする、請求項1から請求項10のいずれか1項に記載の方法。
  12. 前記車両ユーザの前記位置の近くに位置するマイクロフォンデバイス(13)は、前記音響信号を検出するために使用され、他のマイクロフォンデバイス(13)は、基準信号の供給源として使用されることを特徴とする、請求項11に記載の方法。
  13. 前記音響信号を検出する手段および/または前記音声指令を識別する手段は、前記車両ユーザの前記位置が所定の範囲(6)内にある場合にのみ作動することを特徴とする、請求項1から請求項12のいずれか1項に記載の方法。
  14. 前記方法は、前記識別された音声指令に従って車両機能を制御することを包含することを特徴とする、請求項1から請求項13のいずれか1項に記載の方法。
  15. 前記方法は、前記検出された音響信号に基づいて、前記車両ユーザを識別することを包含するということを特徴とする、請求項1から請求項14のいずれか1項に記載の方法。
  16. 車両周囲における、音声指令を処理するシステムであって、
    該車両周囲における、音響信号を検出する音響検出手段(12、13、14;14’)と、
    該車両の外側の車両ユーザの位置に関する該位置情報を抽出する第1の処理手段(16)と、
    該検出された音響信号における、該車両ユーザから発せられる音声指令を識別する第2の処理手段(18)と
    を特徴とし、該音響信号の該検出および/または該音声指令の該識別は、該位置情報を考慮に入れて達成される、システム。
  17. 前記第1の処理手段(16)は、無線デバイス、超音波デバイス、光学画像化デバイス、レーザスキャナシステムまたはマイクロフォンアレイからの信号を供給されることを特徴とする、請求項16に記載のシステム。
  18. 前記車両ユーザの前記位置を検出する手段を特徴とする、請求項16または請求項17に記載のシステム。
  19. 前記音響検出手段は、マイクロフォンアレイ(12)および該マイクロフォンアレイ(12)の音響検出ゾーンを前記車両ユーザの前記位置に向けるように構成されているビームフォーミング手段(14)を備えていることを特徴とする、請求項16から請求項18のいずれか1項に記載のシステム。
  20. 前記音響検出手段は、複数のマイクロフォンデバイス(13)および前記車両ユーザの前記位置に依存して、該複数のマイクロフォンデバイス(13)を選択的に作動させたり、作動させなかったりするように構成されている制御手段(14’)を備えていることを特徴とする、請求項16から請求項19のいずれか1項に記載のシステム。
  21. 前記第2の処理手段(18)は、光学画像化デバイスからの情報を考慮に入れて前記音声指令を識別するように構成されていることを特徴とする、請求項16から請求項20のいずれか1項に記載のシステム。
  22. 前記第2の処理手段(18)は、前記検出された音響信号に基づいて前記車両ユーザを識別するように構成されていることを特徴とする、請求項16から請求項21のいずれか1項に記載のシステム。
  23. 請求項16から請求項22のいずれか1項に記載の音声処理システム(10、10’)を特徴とする自動車両であって、前記音声指令は、車両機能を制御するために使用される、自動車両。
  24. 前記自動車両(1)は、キーレスゴーシステム(30)を備えており、該キーレスゴーシステム(30)は、前記音声処理システム(10、10’)と通信することにより、前記車両ユーザの前記位置についての情報を提供することを特徴とする、請求項23に記載の自動車両。
  25. 前記キーレスゴーシステム(30)は、前記検出された音響信号に基づいて前記車両ユーザを識別するように構成されていることを特徴とする、請求項24に記載の自動車両。
  26. 前記自動車両(1)は、モニタリングシステム(20)を備えており、該モニタリングシステム(20)は、前記音声処理システム(10、10’)と通信することにより、前記車両ユーザの前記位置についての情報を提供することを特徴とする、請求項23から請求項25のいずれか1項に記載の自動車両。
  27. 前記モニタリングシステム(20)は、パーキング援助システムまたはドライバ援助システムと関連することを特徴とする、請求項26に記載の自動車両。
  28. 前記モニタリングシステムは、光学画像化デバイス(20)を備えており、該光学画像化デバイス(20)は、前記音声処理システム(10、10’)と通信することにより、画像情報を提供することを特徴とする、請求項27に記載の自動車両。
JP2007203664A 2006-08-04 2007-08-03 車両周囲における音声指令を処理する方法およびシステム Pending JP2008037419A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP06016382A EP1884421B1 (en) 2006-08-04 2006-08-04 Method and system for processing voice commands in a vehicle enviroment

Publications (1)

Publication Number Publication Date
JP2008037419A true JP2008037419A (ja) 2008-02-21

Family

ID=37507791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007203664A Pending JP2008037419A (ja) 2006-08-04 2007-08-03 車両周囲における音声指令を処理する方法およびシステム

Country Status (5)

Country Link
US (1) US20080154613A1 (ja)
EP (1) EP1884421B1 (ja)
JP (1) JP2008037419A (ja)
AT (1) ATE410346T1 (ja)
DE (1) DE602006003096D1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015098188A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 表示制御装置、表示制御方法及びプログラム
JP2017043253A (ja) * 2015-08-27 2017-03-02 富士重工業株式会社 車両用電子キーシステムの降車検知装置
JPWO2015155875A1 (ja) * 2014-04-10 2017-04-13 三菱電機株式会社 携帯機器、車両遠隔操作システム、車両遠隔操作方法およびプログラム
JP2022102322A (ja) * 2020-12-25 2022-07-07 豊通オートモーティブクリエーション 株式会社 車両

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1695873B1 (en) * 2005-02-23 2008-07-09 Harman Becker Automotive Systems GmbH Vehicle speech recognition system
US8103671B2 (en) 2007-10-11 2012-01-24 Honda Motor Co., Ltd. Text categorization with knowledge transfer from heterogeneous datasets
JP2011503638A (ja) 2007-10-26 2011-01-27 本田技研工業株式会社 カーナビゲーションシステムのための自由会話命令分類の改良
US8271262B1 (en) * 2008-09-22 2012-09-18 ISC8 Inc. Portable lip reading sensor system
US8798311B2 (en) * 2009-01-23 2014-08-05 Eldon Technology Limited Scrolling display of electronic program guide utilizing images of user lip movements
WO2012154938A1 (en) 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US8983089B1 (en) * 2011-11-28 2015-03-17 Rawles Llc Sound source localization using multiple microphone arrays
US8676579B2 (en) * 2012-04-30 2014-03-18 Blackberry Limited Dual microphone voice authentication for mobile device
US9124981B2 (en) * 2012-11-14 2015-09-01 Qualcomm Incorporated Systems and methods for classification of audio environments
KR20140076835A (ko) * 2012-12-13 2014-06-23 현대자동차주식회사 소리기반 핸즈프리 트렁크 도어 개방 장치 및 그 방법
GB2512313A (en) * 2013-03-26 2014-10-01 Gm Global Tech Operations Inc A system for controlling functions of a vehicle by speech
US9747900B2 (en) 2013-05-24 2017-08-29 Google Technology Holdings LLC Method and apparatus for using image data to aid voice recognition
DE102013219038A1 (de) * 2013-09-23 2015-03-26 Continental Teves Ag & Co. Ohg Verfahren zur Erkennung eines Verkehrspolizisten durch ein Fahrerassistenzsystem eines Kraftfahrzeugs sowie ein Fahrerassistenzsystem
DE102015220400A1 (de) 2014-12-11 2016-06-16 Hyundai Motor Company Sprachempfangssystem im fahrzeug mittels audio-beamforming und verfahren zum steuern desselben
JP6348831B2 (ja) * 2014-12-12 2018-06-27 クラリオン株式会社 音声入力補助装置、音声入力補助システムおよび音声入力方法
WO2016149915A1 (en) * 2015-03-25 2016-09-29 Bayerische Motoren Werke Aktiengesellschaft System, apparatus, method and computer program product for providing information via vehicle
US10325600B2 (en) * 2015-03-27 2019-06-18 Hewlett-Packard Development Company, L.P. Locating individuals using microphone arrays and voice pattern matching
US9890576B2 (en) * 2015-07-29 2018-02-13 Ford Global Technologies, Llc Active door operation based on voice commands
EP3147898A1 (en) 2015-09-23 2017-03-29 Politechnika Gdanska Method and system for improving the quality of speech signals in speech recognition systems
DE102016209545A1 (de) 2016-06-01 2017-12-07 Ford Global Technologies, Llc Verfahren zum Beeinflussen eines automatischen Einpark-Assistenz-Systems eines Kraftfahrzeugs
CN107472194B (zh) * 2016-06-08 2019-08-23 日本创世通有限公司 开/关控制装置、记录介质以及开/关控制方法
US10210863B2 (en) 2016-11-02 2019-02-19 Roku, Inc. Reception of audio commands
US10369988B2 (en) 2017-01-13 2019-08-06 Ford Global Technologies, Llc Autonomous parking of vehicles inperpendicular parking spots
WO2018215972A1 (en) * 2017-05-25 2018-11-29 Magna Exteriors Inc Voice activated liftgate
US10683034B2 (en) 2017-06-06 2020-06-16 Ford Global Technologies, Llc Vehicle remote parking systems and methods
US10585430B2 (en) 2017-06-16 2020-03-10 Ford Global Technologies, Llc Remote park-assist authentication for vehicles
US10234868B2 (en) 2017-06-16 2019-03-19 Ford Global Technologies, Llc Mobile device initiation of vehicle remote-parking
US10775781B2 (en) 2017-06-16 2020-09-15 Ford Global Technologies, Llc Interface verification for vehicle remote park-assist
US10599377B2 (en) 2017-07-11 2020-03-24 Roku, Inc. Controlling visual indicators in an audio responsive electronic device, and capturing and providing audio using an API, by native and non-native computing devices and services
US10102702B1 (en) 2017-08-01 2018-10-16 Ford Global Technologies, Llc Automotive powered door activation using accelerometer
US10455322B2 (en) * 2017-08-18 2019-10-22 Roku, Inc. Remote control with presence sensor
US11062710B2 (en) 2017-08-28 2021-07-13 Roku, Inc. Local and cloud speech recognition
US11062702B2 (en) 2017-08-28 2021-07-13 Roku, Inc. Media system with multiple digital assistants
US10777197B2 (en) 2017-08-28 2020-09-15 Roku, Inc. Audio responsive device with play/stop and tell me something buttons
WO2019051805A1 (en) * 2017-09-15 2019-03-21 Bayerische Motoren Werke Aktiengesellschaft DATA PROCESSING DEVICE AND METHOD FOR REALIZING SPEECH-BASED MAN-MACHINE INTERACTION
US10281921B2 (en) 2017-10-02 2019-05-07 Ford Global Technologies, Llc Autonomous parking of vehicles in perpendicular parking spots
US10580304B2 (en) 2017-10-02 2020-03-03 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for voice controlled autonomous parking
DE102017219234A1 (de) * 2017-10-26 2019-05-02 Audi Ag Verfahren zum Erfassen einer Spracheingabe eines Benutzers in einem Außenbereich eines Kraftfahrzeugs sowie Kraftfahrzeug
US10627811B2 (en) 2017-11-07 2020-04-21 Ford Global Technologies, Llc Audio alerts for remote park-assist tethering
US10336320B2 (en) 2017-11-22 2019-07-02 Ford Global Technologies, Llc Monitoring of communication for vehicle remote park-assist
US10578676B2 (en) 2017-11-28 2020-03-03 Ford Global Technologies, Llc Vehicle monitoring of mobile device state-of-charge
US10737690B2 (en) 2018-01-02 2020-08-11 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10974717B2 (en) 2018-01-02 2021-04-13 Ford Global Technologies, I.LC Mobile device tethering for a remote parking assist system of a vehicle
US10585431B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10688918B2 (en) 2018-01-02 2020-06-23 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10583830B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US11148661B2 (en) 2018-01-02 2021-10-19 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10814864B2 (en) 2018-01-02 2020-10-27 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10684773B2 (en) 2018-01-03 2020-06-16 Ford Global Technologies, Llc Mobile device interface for trailer backup-assist
US10747218B2 (en) 2018-01-12 2020-08-18 Ford Global Technologies, Llc Mobile device tethering for remote parking assist
US10917748B2 (en) 2018-01-25 2021-02-09 Ford Global Technologies, Llc Mobile device tethering for vehicle systems based on variable time-of-flight and dead reckoning
US10684627B2 (en) * 2018-02-06 2020-06-16 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for position aware autonomous parking
US11145298B2 (en) 2018-02-13 2021-10-12 Roku, Inc. Trigger word detection with multiple digital assistants
US11188070B2 (en) 2018-02-19 2021-11-30 Ford Global Technologies, Llc Mitigating key fob unavailability for remote parking assist systems
US10507868B2 (en) 2018-02-22 2019-12-17 Ford Global Technologies, Llc Tire pressure monitoring for vehicle park-assist
JP2019164444A (ja) * 2018-03-19 2019-09-26 トヨタ自動車株式会社 駐車支援装置
US10732622B2 (en) 2018-04-05 2020-08-04 Ford Global Technologies, Llc Advanced user interaction features for remote park assist
US10793144B2 (en) 2018-04-09 2020-10-06 Ford Global Technologies, Llc Vehicle remote park-assist communication counters
US10759417B2 (en) 2018-04-09 2020-09-01 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10493981B2 (en) 2018-04-09 2019-12-03 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10683004B2 (en) 2018-04-09 2020-06-16 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10232673B1 (en) 2018-06-01 2019-03-19 Ford Global Technologies, Llc Tire pressure monitoring with vehicle park-assist
US10384605B1 (en) 2018-09-04 2019-08-20 Ford Global Technologies, Llc Methods and apparatus to facilitate pedestrian detection during remote-controlled maneuvers
US10821972B2 (en) 2018-09-13 2020-11-03 Ford Global Technologies, Llc Vehicle remote parking assist systems and methods
US10717432B2 (en) 2018-09-13 2020-07-21 Ford Global Technologies, Llc Park-assist based on vehicle door open positions
US10967851B2 (en) 2018-09-24 2021-04-06 Ford Global Technologies, Llc Vehicle system and method for setting variable virtual boundary
US10529233B1 (en) 2018-09-24 2020-01-07 Ford Global Technologies Llc Vehicle and method for detecting a parking space via a drone
DE102018007582A1 (de) 2018-09-25 2020-03-26 Daimler Ag Kraftfahrzeug und Verfahren zur Verarbeitung von Schalleinwirkung von außerhalb des Kraftfahrzeugs
US10908603B2 (en) 2018-10-08 2021-02-02 Ford Global Technologies, Llc Methods and apparatus to facilitate remote-controlled maneuvers
US10628687B1 (en) 2018-10-12 2020-04-21 Ford Global Technologies, Llc Parking spot identification for vehicle park-assist
US11097723B2 (en) 2018-10-17 2021-08-24 Ford Global Technologies, Llc User interfaces for vehicle remote park assist
US11137754B2 (en) 2018-10-24 2021-10-05 Ford Global Technologies, Llc Intermittent delay mitigation for remote vehicle operation
US11789442B2 (en) 2019-02-07 2023-10-17 Ford Global Technologies, Llc Anomalous input detection
US11195344B2 (en) 2019-03-15 2021-12-07 Ford Global Technologies, Llc High phone BLE or CPU burden detection and notification
US11169517B2 (en) 2019-04-01 2021-11-09 Ford Global Technologies, Llc Initiation of vehicle remote park-assist with key fob
US11275368B2 (en) 2019-04-01 2022-03-15 Ford Global Technologies, Llc Key fobs for vehicle remote park-assist
DE102021114256A1 (de) 2021-06-02 2022-12-08 Bayerische Motoren Werke Aktiengesellschaft Flügelelementeinrichtung für ein Kraftfahrzeug, Verfahren zum Bedienen einer Flügelelementeinrichtung sowie Kraftfahrzeug
CN113539259A (zh) * 2021-06-29 2021-10-22 广州小鹏汽车科技有限公司 一种基于车辆的语音交流方法和装置
CN115410566A (zh) * 2022-03-10 2022-11-29 北京罗克维尔斯科技有限公司 一种车辆控制方法、装置、设备及存储介质
DE102022112444A1 (de) * 2022-05-18 2023-11-23 Bayerische Motoren Werke Aktiengesellschaft Spracherkennungssystem
CN115083407B (zh) * 2022-06-08 2024-03-22 博泰车联网(南京)有限公司 车辆控制方法、车辆、电子设备及计算机可读存储介质
DE102022116059A1 (de) 2022-06-28 2023-12-28 Bayerische Motoren Werke Aktiengesellschaft Kennzeichenbeleuchtungseinrichtung zum Beleuchten eines Kennzeichens eines Kraftfahrzeugs, Anordnung sowie Verfahren
DE102022206594A1 (de) 2022-06-29 2024-01-04 Psa Automobiles Sa Sprachsteuerung für ein Fahrzeug

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05227531A (ja) * 1992-02-17 1993-09-03 Sanyo Electric Co Ltd カメラ監視システム
JP2000080828A (ja) * 1998-09-07 2000-03-21 Denso Corp 車両制御装置
JP2002091469A (ja) * 2000-09-19 2002-03-27 Atr Onsei Gengo Tsushin Kenkyusho:Kk 音声認識装置
JP2003044089A (ja) * 2001-07-26 2003-02-14 Matsushita Electric Works Ltd 音声認識装置及び音声認識方法
JP2004354930A (ja) * 2003-05-30 2004-12-16 Calsonic Kansei Corp 音声認識システム
JP2006161273A (ja) * 2004-12-02 2006-06-22 Fujitsu Ten Ltd キーレスエントリ装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS522525B2 (ja) * 1972-04-08 1977-01-22
US8948442B2 (en) * 1982-06-18 2015-02-03 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
US6513833B2 (en) * 1992-05-05 2003-02-04 Automotive Technologies International, Inc. Vehicular occupant motion analysis system
EP0100773B1 (en) * 1982-08-06 1986-12-17 Nissan Motor Co., Ltd. Speech recognition system for an automotive vehicle
US4856072A (en) * 1986-12-31 1989-08-08 Dana Corporation Voice actuated vehicle security system
US4759069A (en) * 1987-03-25 1988-07-19 Sy/Lert System Emergency signal warning system
EP0472356B1 (en) * 1990-08-16 1994-03-30 Fujitsu Ten Limited Speech recognition apparatus for a vehicle, using a microphone arrangement to determine the seat from which a command is generated
US5940118A (en) * 1997-12-22 1999-08-17 Nortel Networks Corporation System and method for steering directional microphones
DE19839348C1 (de) * 1998-08-28 1999-10-07 Daimler Chrysler Ag Fahrzeugsicherungssystem
DE19839942C2 (de) * 1998-09-02 2001-07-12 Mannesmann Vdo Ag Einparkhilfe für ein Kraftfahrzeug
US6952155B2 (en) * 1999-07-23 2005-10-04 Himmelstein Richard B Voice-controlled security system with proximity detector
WO2001007281A1 (en) * 1999-07-24 2001-02-01 Novtech Co Ltd Apparatus and method for prevention of driving of motor vehicle under the influence of alcohol and prevention of vehicle theft
US6736231B2 (en) * 2000-05-03 2004-05-18 Automotive Technologies International, Inc. Vehicular occupant motion detection system using radar
US20020067245A1 (en) * 2000-06-20 2002-06-06 Campbell Douglas C. Voice Activated remote keyless entry fob
GB2364121B (en) * 2000-06-30 2004-11-24 Mitel Corp Method and apparatus for locating a talker
SE518418C2 (sv) * 2000-12-28 2002-10-08 Ericsson Telefon Ab L M Ljudbaserad närhetsdetektor
US6498970B2 (en) * 2001-04-17 2002-12-24 Koninklijke Phillips Electronics N.V. Automatic access to an automobile via biometrics
US6937980B2 (en) * 2001-10-02 2005-08-30 Telefonaktiebolaget Lm Ericsson (Publ) Speech recognition using microphone antenna array
US7106876B2 (en) * 2002-10-15 2006-09-12 Shure Incorporated Microphone for simultaneous noise sensing and speech pickup
US7202775B2 (en) * 2003-05-09 2007-04-10 Daimlerchrysler Corporation Key fob with remote control functions
US6925370B2 (en) * 2003-10-06 2005-08-02 Delphi Technologies, Inc. Automotive system including a back-up aid with parking assist
US20050074131A1 (en) * 2003-10-06 2005-04-07 Mc Call Clark E. Vehicular sound processing system
US20050075770A1 (en) * 2003-10-07 2005-04-07 Taylor Ronald M. Motor vehicle back-up system
US20070237344A1 (en) * 2006-03-28 2007-10-11 Doran Oster Microphone enhancement device
JP4940767B2 (ja) * 2006-06-05 2012-05-30 マツダ株式会社 車両周辺情報報知装置
DE602006005493D1 (de) * 2006-10-02 2009-04-16 Harman Becker Automotive Sys Sprachsteuerung von Fahrzeugelementen von außerhalb einer Fahrzeugkabine

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05227531A (ja) * 1992-02-17 1993-09-03 Sanyo Electric Co Ltd カメラ監視システム
JP2000080828A (ja) * 1998-09-07 2000-03-21 Denso Corp 車両制御装置
JP2002091469A (ja) * 2000-09-19 2002-03-27 Atr Onsei Gengo Tsushin Kenkyusho:Kk 音声認識装置
JP2003044089A (ja) * 2001-07-26 2003-02-14 Matsushita Electric Works Ltd 音声認識装置及び音声認識方法
JP2004354930A (ja) * 2003-05-30 2004-12-16 Calsonic Kansei Corp 音声認識システム
JP2006161273A (ja) * 2004-12-02 2006-06-22 Fujitsu Ten Ltd キーレスエントリ装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015098188A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 表示制御装置、表示制御方法及びプログラム
JPWO2015098188A1 (ja) * 2013-12-27 2017-03-23 ソニー株式会社 表示制御装置、表示制御方法及びプログラム
US11146771B2 (en) 2013-12-27 2021-10-12 Sony Corporation Display control device, display control method, and program
JPWO2015155875A1 (ja) * 2014-04-10 2017-04-13 三菱電機株式会社 携帯機器、車両遠隔操作システム、車両遠隔操作方法およびプログラム
JP2017043253A (ja) * 2015-08-27 2017-03-02 富士重工業株式会社 車両用電子キーシステムの降車検知装置
JP2022102322A (ja) * 2020-12-25 2022-07-07 豊通オートモーティブクリエーション 株式会社 車両

Also Published As

Publication number Publication date
EP1884421B1 (en) 2008-10-08
ATE410346T1 (de) 2008-10-15
US20080154613A1 (en) 2008-06-26
DE602006003096D1 (de) 2008-11-20
EP1884421A1 (en) 2008-02-06

Similar Documents

Publication Publication Date Title
JP2008037419A (ja) 車両周囲における音声指令を処理する方法およびシステム
US11766993B2 (en) Automatic power door opening on sustained presence
US8854197B2 (en) Method of monitoring vehicle surroundings, and apparatus for monitoring vehicle surroundings
CN107109887B (zh) 用于检测机动车辆的门的打开区域中的物体的方法,驾驶员辅助系统以及机动车辆
US20150284984A1 (en) Method and device for opening a door of a vehicle
CA3064998C (en) Voice activated liftgate
WO2018003345A1 (ja) 乗員検知システム及び乗員検知装置
US10102702B1 (en) Automotive powered door activation using accelerometer
US11615798B2 (en) Voice activation using a laser listener
KR101512394B1 (ko) 후방카메라를 이용한 차량의 핸즈프리 리프트 게이트 개방시스템 및 방법
US20210291790A1 (en) Vehicle control device, vehicle control method, and recording medium
JP2002286443A (ja) 自動車における側面衝突検出のための装置
KR101663096B1 (ko) 차량의 도난 방지 장치
KR20130046759A (ko) 차량에서 운전자 명령 인지장치 및 방법
US11549303B2 (en) Vehicle control device, vehicle control method, and recording medium
JP2014214472A (ja) 車両用開閉体の駆動制御装置
US20230166737A1 (en) Cabin-inside detection device and cabin-inside detection method
KR102126021B1 (ko) Avm을 이용한 차량 도어 자동개폐 시스템 및 그 방법
KR20120032145A (ko) 차량 도어락을 제어하는 방법 및 시스템
JP3195048B2 (ja) 車両の障害物検出装置
JP2018169441A (ja) 車両制御装置
JP2004330979A (ja) 車両の駆動制御装置
US11260827B1 (en) Method for achieving interactions between user and automobile
WO2023132942A1 (en) Driver tracking
KR20200065331A (ko) 차량 후방감지 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110715

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120507

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120530

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120829

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120903

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120928

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121003

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121029

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130716