JP2020514171A - 自動車運転者の支援のための方法及び装置 - Google Patents

Abstract

本発明は、自動車運転者の支援のための方法及び装置に関するものである。自動車内に配置可能、又は取り付けられる装置は、運転者又は同乗者のスマートフォンに接続される。スマートフォンからのデータ及び追加受信データは、処理され、指定された基準に従って準備された方法で、音響的及び／又は視覚的に運転者に送信される。本発明に係る装置は、表示部（３）、音声入力ユニット（４ａ）、及びジェスチャセンサ（８）を備える。

Description

本発明は、自動車運転者の支援のための方法及び装置に関するものであり、自動車に強固に取り付けられるか、又は一体型の装置、若しくは運転者の視界に入るように配置可能な後付け可能な付属装置の形で、自動車内での使用に適用可能なものである。

本発明の範囲における自動車は、自家用車、キャンピングカー、オートバイ、バス、商用車、掘削機及びクレーン等の建設車両、農業及び林業用牽引車、トラクター及びコンバインハーベスター等の農業機械、消防署や街路清掃のために用いられる特殊用途車両である。

運転者支援システムは、既に知られるところであり、自動車の新たな開発において用いられている。

ＵＳ２０１６／００２５９７３Ａ１において、異なる通信データを処理し運転者に対して出力するコンパクトなヘッドアップ表示システムが開示されている。

本発明の目的は、最も多様な入力及び受信データを効果的に処理可能であり、運転者の状況に依存する情報を提供する方法及び装置を提供することである。当該装置は、容易且つ安価に製造可能であり、運転者にとって操作が容易であり、且つ注意をそらす要因となりにくい。

この目的は、独立請求項の特徴によって達成される。本発明の有利な実施形態は、従属請求項に含まれる。本発明を適用することにより、つまり、製品名ＣＨＲＩＳ（登録商標）の装置又は付属装置を使用することにより、ナビゲーションデータ、音楽、メッセージ、電子メール、又は交通情報を様々な状況に応じて運転者に提供するインテリジェントデジタル仮想乗客が実現される。運転者は、装置又は付属装置に視線を合わせたり、スマートフォンに触れたりすることなく、装置又は付属装置を非視覚的に操作可能である。

装置又は付属装置は、例えば、気象情報やナビゲーション情報等を処理するために、スマートフォンへの接続によりインターネットに接続することもできる。付属装置とスマートフォンとの接続は、好ましくはＢｌｕｅｔｏｏｔｈ（登録商標）を介して行われる。

当該装置又は付属装置特有の有利な点は、運転者が、装置又は付属装置を介して、非視覚的（つまり、装置又は付属装置に視線を合わせずに）且つ非接触にスマートフォンの機能を使用できることである。自動車内でのスマートフォンの使用は、道路交通において大きな問題となっている。スマートフォン又は最新のタッチインフォテインメントシステムとのやり取りにおいては、ユーザインターフェースを非視覚的に操作することができないため、使用の際運転者が装置に視線を合わせる必要がある。視線を合わせている間、運転者は道路に目を向けることができないため、スマートフォン又はタッチインフォテインメントシステムとのやり取りは、事故のリスクにつながる。当該装置は、スマートフォン及び車の機能を、発話及び／又はジェスチャによるやり取りにより非視覚的且つ非接触（接触がない）に使用することを可能にする。これにより、運転者が注意散漫となる可能性が減り、道路上の安全が高まり、運転者の注意は、道路上の景色に向けられる。

本発明特有の有利な点は、例えば言語処理及び対話管理等のアシスタントの基本機能の処理及び実行、及び受信データ及びスマートフォンデータの処理であり、これらはスマートフォン上で実行される。これにより、これらの機能を実行するための強力且つ最新のソフトウェア及びハードウェアプラットフォームを、自動車及び装置とは独立して、費用対効果の高い方法で保証することができる。この方法により、運転者を支援する際に、運転者のスマートフォン又は同乗者のスマートフォンからのデータを、自動車内に配置又は取り付け可能であり運転者又は同乗者のスマートフォンに接続された装置が使用することが可能となる。また、スマートフォンからのデータ及び追加の受信データを、処理し、所定の基準に従い準備したうえで音響的且つ／又は視覚的に運転者に送信することが可能となる。

これらのスマートフォンデータは、電話番号、連絡先データ、アドレスデータ、着信電子メール又はメッセージ、インターネットデータ、ＳＭＳメッセージ、ＭＭＳメッセージ、音声ファイル、ＭＰ３音声ファイル、音声再生リスト、地図データ、ナビゲーションの詳細、運転者又は同乗者の個人データとすることができる。

スマートフォンデータは、スマートフォンにより提供されるインターフェースを介して、個々のモジュール又はエージェントにより読み取られる。この方法において、例えば、スマートフォンの電話機能への接続は、電話通信エージェントにより可能となり、スマートフォンのアドレス帳への接続は、アドレス帳エージェントにより可能となる。

スマートフォンのインターフェースを介して直接利用できないデータ、例えば、ナビゲーション地図データ、第三者である提供者からの音声再生リストは、（ａ）第三者である提供者のクラウドインターフェース、又は（ｂ）各提供者のソフトウェア開発キット（ＳＤＫ）を介して取得される。

好ましくは、地図及び／又はナビゲーションデータ、交通情報、ラジオ又はテレビ送信、デジタルオーディオストリーム、輻輳通知、ＷｈａｔｓＡｐｐのメッセージ、Ｆａｃｅｂｏｏｋメッセンジャのメッセージ及び／又は気象データが、受信データとして処理される。

本発明のさらなる有利な点は、処理及び送信対象のデータが、運転状況、交通状況、時刻、天気、ユーザによる設定、ユーザによる過去のデータ使用、他のユーザによる設定、及び／又は他のユーザによる過去のデータ使用に応じて、最適化されて選択されることにある。

これにより、システムは、運転者が高い認知的負荷にさらされている状況、又は非常に危険な状況、及び運転者の認知的負荷が過度になっているため疲労又は眠りに落ちることを予防するために刺激が必要な状況の両方において、適応可能である。

システム全体が適応可能であるように設計されており、これにより、将来のデータ処理及びデータ出力について、処理及び送信対象のデータの頻度及び種類から結論が導き出される。処理及び送信対象のデータは、以下の（１）から（７）のステップに従って選択される。
（１）速度、ナビゲーションデータ、交通量、道路形状、道路幅、車線数、事故の頻度、速度制限、一般的な交通レポート、及び建設現場等の特別な状況といった、車両及び交通状況のデータを記録するステップ。
（２）現在の天気、視界、温度、時刻、光の状態といった、追加のコンテキストデータを記録するステップ。
（３）ユーザによる設定及びユーザの過去の使用行動を取得するステップ。
（４）交通データ及びコンテキストデータの複雑さを表す指標に従って、交通状況の複雑さを判断するステップ。
（５）ユーザによる設定、ユーザの過去の使用行動、他のユーザによる設定、及び他のユーザの過去の行動から、データの送信及び提供の優先順位を決定するステップ。
（６）記録されたデータを、所定のプログラムシーケンスパターンと相関させるステップ。
（７）優先データを出力し、又は一時的若しくは永続的に優先データの出力を止めるステップ

装置又は付属装置としての実施形態において、装置は、標準的に、内部電源、マイク、デジタルプロセッサ、表示部、ジェスチャセンサ、スピーカー、及び無線通信ユニットを備える。ジェスチャセンサは、好ましくは、ＬＥＤベースのＩＲセンサとして設計される。

運転者を支援するための装置は、容易に且つ低廉なコストで製造可能である。装置は、表示部及び音声入力ユニットを備える。装置は、追加の入力ユニット、例えば、多機能ステアリングホイール又はジェスチャセンサの入力装置と連結可能である。装置は、好ましくは、プリント基板上に配置された電子回路を備え、電子回路は、データ記憶装置及びデータ処理装置を有する。内部データ伝送用に、Ｂｌｕｅｔｏｏｔｈ部品が配置される。

特別な実施形態において、装置は、筐体内に配置された表示部、音声入力ユニット、及び音声出力ユニットを備える付属装置として設計される。

動作状態において、装置は、自動車のオーディオシステム、又は車載電子機器の構成要素に、無線又は有線で接続可能である。

Ｂｌｕｅｔｏｏｔｈ機能を持たない自動車において、接続は、ＦＭ送受信機を介して行われる。

付属装置は、好ましくは、円形断面を有し、ディスク、リング、プリント基板、電池、スピーカー、筐体磁石、筐体背面部、及び主磁石を構成要素として備える。付属装置としての設計において、筐体は、自動車のダッシュボード又はフロントガラスへの固定のための固定装置を有する。固定装置及び筐体は、取り外し可能な方法で相互に接続可能である。

本発明の有利な点は、装置をホルダに容易且つ迅速に取り付け、且つホルダから容易且つ迅速に取り外し可能であること、装置及びホルダ上の両方に固定領域を配置したことにより異なる位置への設置が可能となったことである。装置の背面の固定領域は、少なくとも１つのホルダ磁石、及び鏡像反転に配置された２つの固定部を有し、固定部は、鏡像反転に配置された電気接点を備える。ホルダ上の固定領域は、少なくとも１つのホルダ磁石、及び電気接点を有する固定部を備える。組み立てられた状態で、固定部のホルダ磁石及び電気接点は、２つの異なる固定部の電気接点と接触し、各固定部との接触に応じて、装置の位置は１８０°回転される

本発明のさらなる有利な点は、容易な操作に加えて、高い接続安定性にある。これは、装置の固定部が半円形の凹部であり、ホルダの固定部が半円形の棒であり、組み立てられた状態において、凹部と棒が相互に対応する構成によるものである。

本発明のさらなる有利な点は、装置及びホルダの両方に対して機械的固定を保証するホルダ磁石による、強固な機械的接続にある。装置とホルダとの間の電気敵接触は、電気接点により実現される。

電力供給、データ交換、無線信号の送信、及び必要に応じて受信される追加の信号は、装置の電気接点とホルダの電気接点との間の電気的接触により実現される。

各固定部に、少なくとも１つのホルダ磁石、及び少なくとも２つ、好ましくは５つの電気接点を配置することが好ましいことが分かっている。滑らかな表面にしっかりと固定するために、ホルダに、吸盤、及び１つ以上のＵＳＢ端子を備えることが可能である。

音声認識の最適化は、筐体背面部、及び筐体背面部に接続され前方領域に開口部を有するリングを有備える装置によって達成される。リング内には、表示部、及びマイクを有するプリント基板が配置される。

本実施形態によれば、装置は、原則として、基部としての中央リングを備えた筐体全体を含む３つの部分からなる構造を有している。筐体背面部は、リングの背面に取り付けられ、前面には円形の表示部が配置される。プリント基板は、リングの内側、表示部の後ろ、且つ筐体背面部の前に取り付けられる。このように、原則として３つの部分からなる構造により、非常に安定し、エレガントで費用対効果の高い筐体が製造可能となる。

円形断面及び円形の表示部を有する装置においては、スピーカー又は運転者に向けられるマイクを取り付けるスペースが限られる。

本実施形態によれば、表示部は円形断面を有するリング内に設置され、表示部の周りを通るジョイントは、表示部のすぐ隣且つリングの前方領域に組み込まれる。次に、音声をマイクに向け後方に案内しユーザ又は運転者からは見えない開口部が、このジョイントに組み込まれる。マイクは、リングの背面に配置されたプリント基板上に、好ましくは、開口部に対向するように配置される。開口部は、音声をマイクに到達させるオーディオチャネルを形成する。

本発明は、少なくとも部分的に図示されている実施形態を参照して、以下により詳細に説明される。

図１は、システムの構成要素の概要を示している。 図２は、付属装置の構成要素の分解図である。 図３は、付属装置の構成要素の断面図である。 図４は、通信接続を表す図である。 図５Ａは、図５Ｅの左上部の拡大図である。 図５Ｂは、図５Ｅの右上部の拡大図である。 図５Ｃは、図５Ｅの左下部の拡大図である。 図５Ｄは、図５Ｅの右下部の拡大図である。 図５Ｅは、システム全体の概要を示している。 図６は、本発明に係る装置の固定領域を有する背面についての、上面図及び側面図である。 図７は、ホルダの固定領域の上面図及び側面図である。 図８は、ホルダに取り付けられた装置を示している。 図９は、装置の主要構造の断面図である。 図１０は、開口部及びマイクの配置の詳細図である。 図１１は、リング内に開口部を有する装置の正面図である。

装置の構造
図１に示すように、本発明に係る装置１は、運転者又は同乗者のスマートフォン１ａ（これは、ナビゲーションシステムを備えていても、備えていなくてもよい）に電子的に接続され、本実施例においては、カーラジオ１ｂにも接続される。装置１は、自動車のオーディオシステム及び搭載されている電子機器の構成要素に、さらに接続することができる。本実施形態において、スマートフォン１ａと装置１との間の電子接続は、Ｂｌｕｅｔｏｏｔｈ接続１ｃである。

カーラジオ１ｂは、ケーブル１ｄ、Ｂｌｕｅｔｏｏｔｈ接続、又はＦＭ送信機１０を介して装置に接続することができる。

スマートフォン１ａ及び装置１は、ＵＳＢ電源供給ユニット１５に接続することができる。本実施形態におけるＵＳＢ電源供給ユニット１５は、２つのＵＳＢ端子を有する。

装置１は、筐体２の内部に、電子回路５ａ（これは、データ記憶ユニット６及びデータ処理ユニット７を含む）を備えるプリント基板５を有する。本実施例において、電子回路５ａは、スピーカーとして設計された音声出力ユニット４ｂに接続されたアンプ１２、グラフィックスドライバ１３、ＦＭ受信機１７、ジェスチャセンサ８、電源供給ユニット１１に接続されたエネルギー管理グループ１４、Ｂｌｕｅｔｏｏｔｈ部品１６、及びマイクとして設計された音声入力ユニット４ａに接続されたスイッチオフ装置１８（これは、省エネを目的として起動状態及びスリープ状態を切り替える）にさらに接続される。

装置が動作を開始すると、スマートフォン１ａと装置１との間で、Ｂｌｕｅｔｏｏｔｈ接続１ｃを介してデータ転送が行われ、全ての重要データが内部で転送される。

図２及び図３は、装置１、及び付属装置として設計された装置１の筐体２の詳細構造を示している。ディスク９ａ、リング９ｃ、プリント基板５、電池として設計された電源供給ユニット１１、スピーカー４ｂ、筐体磁石９ｄ、筐体背面部９ｅ、主磁石９ｇ、及び筐体背面部９ｅに代えて配置することが可能なテキスタイルカバー９ｈが、主要な構成要素である。テキスタイルカバー９ｈは、装置１の美観を向上させることに加え、装置１に対する強い日射の影響を和らげる効果を有する。

ディスク９ａはガラス製であり、リング９ｃは金属、好ましくはアルミニウム製であり、背面部９ｅはプラスチック製である。表示部３、プリント基板５、及び筐体２は、筐体背面部９ｅによりリング９ｃに取り付けられている。すなわち、プリント基板５、筐体２、及び表示部３は、リング９ｃにより取り付けられている。

装置１の寸法が小さく部分的に球形であることにより、筐体２の構造は、四角い装置とは大きく異なるものとなっている。

図３に示すように、基部としての中央リング９ｃ、筐体２、及び表示部３の実質３つの部分からなる設計が実現されている。プリント基板５は、リング９ｃ内に取り付けられている。

図４は、スマートフォン１ａ、装置１、及びカーラジオ１ｂのスピーカー４ｂへの好ましい接続方法を示している。本実施例において、スマートフォン１ａは、Ｂｌｕｅｔｏｏｔｈ１６を介して装置１に接続されている。本実施例において、装置１は、Ｂｌｕｅｔｏｏｔｈ１６を介して、ジャック接続１ｄを介して、又はＶＨＦ、すなわち、ＦＭ送信機及びＦＭ受信機を介して、カーラジオ１ｂに接続されている。

装置１が付属装置として設計される場合、運転者の視野内に、好ましくは、ダッシュボード又はフロントガラスにホルダによって固定される。

（装置、スマートフォン、及び自動車間の接続）
装置１又は付属装置は、運転者のスマートフォン１ａ又は同乗者のスマートフォン１ａ（図１の１ｃ参照）、及び自動車のオーディオシステム（図１の１ｄ参照）に対して、自動的に無線で接続される。当然、スピーカーを用いて、付属装置から直接音響データを出力することも可能である。自動車のオーディオシステムへの接続は、Ｂｌｕｅｔｏｏｔｈ１ｃを介して、若しくは搭載されているＶＨＦ送信機を介して無線で行うか、又は自動車の電子機器若しくはジャック接続を介して有線で行うことができる。スマートフォン１ａへの接続は、Ｂｌｕｅｔｏｏｔｈ１ｃ及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）を介して行われる。以下のＢｌｕｅｔｏｏｔｈプロファイルが用いられる。
１）ＨＦＰ（Ｈａｎｄｓ−ｆｒｅｅ Ｐｒｏｆｉｌｅ）：
（ａ）装置１からスマートフォン１ａに、及びスマートフォン１ａから装置１に音声データを送信するため、及び（ｂ）搭載されているスピーカー又は接続された車両スピーカーを介してハンズフリーモードで電話をかけるために、用いられる。
２）Ａ２ＤＰ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｐｒｏｆｉｌｅ）：
スマートフォン１ａから装置１に、及び（自動車のオーディオシステムが装置１にＢｌｕｅｔｏｏｔｈ１ｃを介して接続されている場合には）装置１から自動車のオーディオシステムに、高品質のステレオオーディオデータを送信するために用いられる。
３）ＰＢＡＰ（Ｐｈｏｎｅｂｏｏｋ Ａｃｃｅｓｓ Ｐｒｏｆｉｌｅ）：
スマートフォン１ａの通話リストへのアクセスを可能にするために用いられる。
４）ＡＶＲＣＰ（Ａｕｄｉｏ／Ｖｉｄｅｏ Ｒｅｍｏｔｅ Ｃｏｎｔｒｏｌ Ｐｒｏｆｉｌｅ）：
自動車から装置１へコマンドを送信するために用いられる。

グラフィックユーザーインターフェース、ジェスチャ制御、及びその他の制御信号等の非聴覚データと、装置１からスマートフォン１ａへ送信されるデータ（作業状態、他のアプリケーションの状態）とは、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）を介して送信される。

（スマートフォンアプリケーション）
スマートフォン１ａには、Ｂｌｕｅｔｏｏｔｈインターフェース１ｃを介して装置１又は付属装置（図５）と通信する、関連スマートフォンアプリケーションが備えられている。装置１とスマートフォンアプリケーションとの間の通信は、スマートフォンアプリケーション内のＣＨＲＩＳドライバモジュール（図５の３２）により制御される。このモジュールにより、スマートフォンアプリケーションは、異なる装置又は付属装置と通信を行うことができる。スマートフォンアプリケーション内では、多くの重要な処理が行われており、特に、（ａ）音声信号の音声処理（図５の３３及び３９）、対話管理（図５の３４）及び音声出力（図５の３５）、（ｂ）スマートフォン機能（電話通信、アドレス帳、メッセージ等、図５の３６）及びソフトウェアモジュール（ナビゲーション、音楽ストリーミングサービス等、図５の３７）へのインターフェースのテザリング、（ｃ）テザリング及びクラウドベースのサービス（メッセージング、ログ分析等、図５の３８）、（ｄ）適応音声出力及びコンテキスト処理等の機能の制御及びアルゴリズム（図５の３９）が行われている。

（音声処理）
音声処理チェーンは、以下の構成要素で構成されている。
１）音声認識の音声に基づく起動（ウェイクワード検出）
２）音声認識（自動音声認識、ＡＳＲ）
３）音声入力の解釈（自然言語理解、ＮＬＵ）
４）対話管理（ＤＭ）
５）音声出力の生成（自然言語生成、ＮＬＧ）
６）音声合成（音声変換、ＴＴＳ）

音声認識の音声に基づく起動は、装置１又は付属装置のローカルで行われる。自動車内の通信は、音声認識を起動させるためのキーワードが検出されるまで継続的に分析され、検出されると、スマートフォンアプリケーション内で音声認識システムの装置１又は付属装置１のマイクから音声データ通信が開始される。音声は、スマートフォンアプリケーションのスマートフォン１ａ、及びオンライン音声認識サービスによるオンラインのクラウドインターフェースの両方により音声認識を実行できるハイブリッドシステムにより認識される。これにより、解釈、対話管理、音声合成、及び出力からなる音声認識の処理チェーンを、スマートフォンアプリケーションのスマートフォン１ａのローカルで実行することができる。

原則として、スマートフォンアプリケーションではローカルの音声認識が使用される。認識をより迅速且つ確実に行うことが可能で、データ保護の観点からもより適切であるからである。インターネットベースの音声認識のみの構成は、自動車には不適である。自動車は、携帯電話のデータ接続が利用できない又は不十分な地域に繰り返し入るからである。例えば、住所や興味のある地点（ＰＯＩ）の認識等の特別な用途の場合、スマートフォンアプリケーションにおけるローカルの音声認識を、クラウドベースの音声認識により補完する。

音声認識を目的として、マイク信号は、Ｂｌｕｅｔｏｏｔｈハンズフリープロファイル（ＨＦＰ）を用いＢｌｕｅｔｏｏｔｈ接続を介して、スマートフォン１ａに送信される。認識性能を向上させるために、ハンズフリー電話通信に用いられるマイクとは独立した音声認識用の特別なマイクが使用され、当該マイクは、ビームフォーミング及びエコーキャンセルを介して、運転者の明瞭な音声信号をスマートフォン１ａ及びその関連スマートフォンアプリケーションに送信する。音声信号は、音声認識システム用に最適化されたビットレートで、装置１又は付属装置からスマートフォン１ａに送信される。

音声認識の認識性能は、自動車のその他の音声処理システムと比較して、以下に挙げるものによっても顕著に向上する。（ａ）ユーザのアドレス帳、ナビゲーションシステムの以前の目的地、又は文法として使用されるオーディオファイルのメタデータ等の、ユーザデータ。ユーザデータは、システムの、例えば、ユーザが自身のスマートフォンのアドレス帳に有する名前を認識する能力を向上させる。（ｂ）クラウドインターフェースを介してスマートフォンアプリケーションにインポートできる、継続的に改善可能な音声認識モデル。

（音声入力の解釈と対話管理）
音声入力は、スマートフォンアプリケーションのＮＬＵモジュール（図５の３９）において解釈される。音声入力は、意図と追加情報（例えば、名前、タイトル等）に分割された後に、対話管理モジュール（ＤＭモジュール、図５の３４）に転送される。対話管理モジュールにおいては、これらの入力に応じて、システムの相互作用における次のステップが、決定され、音声生成及び音声合成を経て出力される。音声出力は、装置１又は付属装置を介して、又は自動車のオーディオシステムが装置１又は付属装置に接続されている場合には自動車のオーディオシステムを介して、行われる。

対話は、スマートフォンアプリケーション内の対話管理モジュール（ＤＭモジュール、図５の３４）によって管理される。このモジュールの重要な機能は、実際の対話の実行、すなわち、入力／応答ルールが、スマートフォンアプリケーション自体を更新することなく、クラウドインターフェースを介して定期的に更新可能なスクリプトファイルに保存されることである。従って、ユーザにとっては、継続的に最適化された対話管理が可能となる。

（音声認識の継続的な最適化）
ユーザの承認を得た場合、音声入力は、保存され、クラウドインターフェースを介してサーバベースのログ分析システムに送信される。サーバベースのシステムにおいては、キーワードによって半自動的にインデックスが作成され、音声認識の性能を最適化する目的でさらなる分析に用いられる。

（ジェスチャ制御による相互作用）
音声入力を介したシステムとの特定のやり取りは、認識不可能か、又は特定の状況下においてのみ認識可能であるため、装置１又は付属装置は、ジェスチャセンサ（図１の１７）も備えている。ジェスチャセンサは、以下のジェスチャを認識する。
１）右から左へのスワイプジェスチャ（「左」）
２）左から右へのスワイプジェスチャ（「右」）
３）下から上へのスワイプジェスチャ（「上」）
４）上から下へのスワイプジェスチャ（「下」）
５）手を握る（「ハイファイブ」）
６）装置から手を離す（「近い」）
７）装置に向かって手を近づける（「遠い」）

とりわけ、以下の機能は、このジェスチャセットを介して再現できる。
ａ）あるリスト項目から次のリスト項目へのスクロール（例えば、連絡先、曲、メッセージのリストにおいて）、又はあるメニュー項目から次のメニュー項目へのスクロール（「左」ジェスチャ、コンテキスト依存）
ｂ）あるリスト項目から前のリスト項目へ、又はあるメニュー項目から前のメニュー項目へのスクロール（「右」ジェスチャ、コンテキスト依存）
ｃ）動作のキャンセル（「下」ジェスチャ、コンテキスト依存）
ｄ）前のステップに戻る（「下」ジェスチャ、コンテキスト依存）
ｅ）メニュー項目又はリスト項目の選択（「上」ジェスチャ又は「ハイファイブ」ジェスチャ、コンテキスト依存）
ｆ）次のメニューに戻る（「下」ジェスチャ、コンテキスト依存）
ｇ）音量を上げる（例えば、通話や音楽の再生において）（「遠い」ジェスチャ、コンテキスト依存）
ｈ）音量を下げる（「近い」ジェスチャ、コンテキスト依存）
ｉ）音楽再生の一時停止、開始、又はピックアップ（「ハイファイブ」ジェスチャ、コンテキスト依存）
ｊ）通話中の音声のミュート（「ミュート」）（「ハイファイブ」ジェスチャ、コンテキスト依存）

（自動車の入力装置を介した相互作用）
装置は、第三の入力機構としてのＢｌｕｅｔｏｏｔｈ ＡＶＣＲＰプロファイルを介して、又は自動車への、若しくは自動車のインフォテインメントシステムやカーラジオ１ｂへのＢｌｕｅｔｏｏｔｈ接続１ｃを介して、標準化されたコマンドの認識及び使用が可能である。例えば、自動車にサポートされている場合、マルチファンクションステアリングホイールのコントロールキーを、入力メカニズムとして上述のように使用可能である。Ｂｌｕｅｔｏｏｔｈ ＡＶＲＣＰは、オーディオ又はビデオ装置をリモートで制御するためのプロファイルである。次の曲（「進む」）、前の曲（「戻る」）、一時停止と再生、音量を上げる又は下げるコマンド等をサポートしている。これらは、アシスタントＣＨＲＩＳにより以下のように使用される。
ａ）あるリスト項目（例えば、連絡先、曲、メッセージのリスト）から次のリスト項目へのスクロール、又はあるメニュー項目から次のメニュー項目へのスクロール（「早送り」及び「進む」ＡＶＲＣＰコマンド）
ｂ）あるリスト項目から前のリスト項目へのスクロール、又はあるメニュー項目から前のメニュー項目へのスクロール（「戻る」ＡＶＲＣＰコマンド）
ｃ）動作のキャンセル（「終了」ＡＶＲＣＰコマンド）
ｄ）前のステップに戻る（「終了」ＡＶＲＣＰコマンド）
ｅ）メニュー又はリスト項目の選択（「選択」ＡＶＲＣＰコマンド、コンテキスト依存）
ｆ）次のメニューに戻る（「終了」ＡＶＲＣＰコマンド、コンテキスト依存）
ｇ）通話や音楽の再生等の音量を上げる（「音量を上げる」ＡＶＲＣＰコマンド）
ｈ）音量を下げる（「音量を下げる」ＡＶＲＣＰコマンド、コンテキスト依存）
ｉ）音楽再生の一時停止、開始、又はピックアップ（「再生」、「一時停止」、「停止」のＡＶＲＣＰコマンド、コンテキスト依存）
ｊ）電話での通話中の消音（「ミュート」）（「ミュート」ＡＶＲＣＰコマンド、コンテキスト依存）

車両がＡＶＲＣＰコマンドをサポートするオーディオソースとして装置１又は付属装置を認識すると、ＡＶＲＣＰコマンドは、装置１又は付属装置のＢｌｕｅｔｏｏｔｈ接続１ｃによって処理される。装置１又は付属装置が受け取ったＡＶＲＣＰコマンドは、純粋なデータモデルとして変換され、関連するスマートフォンアプリケーションへさらに送信され、そこで上述の図に従ってコンテキスト依存で処理される。このように、車両の入力機能は、オーディオ再生のためだけではなく、メニュー及び対話の制御にも用いられる。

（冗長且つ補完的なマルチモーダル相互作用）
アシスタントＣＨＲＩＳのさらなる重要機能は、３つの入力機構（音声入力、ジェスチャ制御、車両の入力装置を介した制御）を、さらに、マルチモーダルで実行できることである。従って、例えば、項目リスト（例えば、連絡先、歌、メッセージ）において以下のような操作を実行可能である。
音声コマンド（例えば、「進む」）、ジェスチャ（「左」、コンテキスト依存）、又は車両の入力機構（「次へスキップ」）が、リストの次の項目を選択する。
音声コマンド（例えば、「戻る」）、ジェスチャ（「右」、コンテキスト依存）、又は車両の入力機構（「前へスキップ」）が、リストの前の項目を選択する。

適切な範囲で、状況に応じて可能な限り多くのやり取りが冗長又は補完的に提供される。これにより、運転者に対して、各状況における好みに合わせて最適なモードの選択を提供できる。

（音声及び表示部の出力）
本発明のさらなる有利な点は、音声出力としての音響データの出力、及び表示部における表示としての視覚データの出力の形式で行われる、安全なデータ出力である。状況に応じて、情報は、音声出力としてのみ（例えば、対話処理における問い合わせにおいて）、表示としてのみ（例えば、音楽再生中の音楽アルバムの表示）、又は表示と音声出力の組み合わせ（例えば、連絡先を表示し、名前を読み上げる）により、提供することができる。

（ホルダへの装置の取り外し可能な固定）
図６に示すように、装置１は、その背面２２に固定領域２０を有し、固定領域は、鏡像反転に配置された２つの固定部２３，２４に分割される。固定部２３，２４は、凹部に配置されている。固定部２３，２４は、鏡像反転に配置され、鏡像反転に位置する電気接点２５を備える。本実施例においては、２つの固定部２３，２４各々に５つの電気接点２５が配置されている。当然ながら、より多数又は少数の電気接点を配置することも可能である。磁石９ｄは、固定領域２０の中央に配置される。拡声器用の開口部３０は、固定領域２０の側方に隣接して配置される。

図７は、ホルダ１９における固定領域２１の設計を示している。固定領域２０とは対照的に、固定領域２１は、装置１において１つの固定部２６のみを有する。固定部２６は、半円形の棒状に設計されている。本実施例においては、装置１の固定部２３，２４の電気接点２５に対応する合計５つの電気接点２７が、固定部２６に配置される。磁石９ｇは、固定領域２１の中央に配置される。

ホルダ１９を滑らかな表面に固定するための吸盤２８が、ホルダ１９に配置されている。

図８は、装置１及びホルダ１９が完全に取り付けられたユニットを示している。組み立てられた状態において、隆起して設計された固定部２６の半円形の棒及びブラインドバー３１は、凹部として設計された固定部２３，２４に係合し、接触している電気接点２５，２７を介して電気的接続が確立される。固定部２３，２４は、装置１と対称同一に設計されているため、装置１を１８０度回転させることにより、反対の取付け位置で電気接点２５，２７を介して装置１を使用することができる。

機械的接続は、磁石９ｄ及び９ｇ間の連携により実現される。

本実施例において、ＵＳＢ端子２９がホルダ１９に配置されている。

図９から分かるように、筐体２は、プリント基板５に加え、筐体背面部９ｅ，リング９ｃ、及びリング９ｃ内に配置された表示部３を有する。ここで分かるように、リング９ｃは、筐体構造全体の中心的な構成部品を形成している。リング９ｃは、筐体背面部９ｅに接続され、その内部領域にプリント基板５及び表示部３を収容する。

（マイクリング）
図１０は、開口部４０、及び音声チャネル４１により接続され開口部４０に対向する位置にあるマイク４ａの拡大詳細図である。

ジョイント４２は、リング９ｃの前方領域４０ａに配置されており、このジョイントには、観察者からほぼ見えない状態で、開口部４０が位置している。音声は、ジョイント４２の開口部４０及び音声チャネル４１を介して、本実施例において指向性マイクとして設計されるマイク４ａに到達する。

図１１は、表示部３及びリング９ｃの正面図である。リング９ｃは、開口部４２が配置されるジョイント４２を前方領域４０ａに有する。本実施例においては、合計４つの開口部４０が、マイク４ａと対向して配置される。

本発明は、本明細書に示された実施例に限定されるものではない。手段と特徴を組み合わせることにより、本発明の範囲を逸脱することなくさらなる実施形態を実現することが可能である。

１ 装置
１ａ スマートフォン
１ｂ カーラジオ
１ｃ Ｂｌｕｅｔｏｏｔｈ接続
１ｄ ＡＵＸ（ジャック）接続
２ 筐体
３ 表示部
４ａ マイク、音声入力ユニット
４ｂ スピーカー、音声出力ユニット
５ プリント基板
５ａ 回路
６ データ記憶ユニット
７ データ処理ユニット
８ ジェスチャセンサ
９ａ ディスク
９ｃ リング
９ｄ 磁石、筐体磁石
９ｅ 筐体背面部
９ｇ 磁石、主磁石
９ｈ テキスタイルカバー
１０ ＦＭ送信機
１１ 電源供給ユニット
１２ アンプ
１３ グラフィックスドライバ
１４ エネルギー管理グループ
１５ ＵＳＢ電源供給ユニット
１６ Ｂｌｕｅｔｏｏｔｈ部品
１７ ＦＭ受信機
１８ スイッチオフ装置
１９ ホルダ
２０ 固定領域
２１ 固定領域
２２ 背面
２３ 固定部
２４ 固定部
２５ 電気接点
２６ 固定部
２７ 電気接点
２８ 吸盤
２９ ＵＳＢ端子
３０ スピーカー開口部
３１ ブラインドレール
３２ 運転者モジュール「ＣＨＲＩＳ」
３３ 音声処理（ＡＳＲモジュール）
３４ 対話管理（ＤＭモジュール）
３５ 音声出力（ＴＴＳモジュール）
３６ スマートフォン機能へのインターフェースのテザリング
３７ ソフトウェア機能へのインターフェースのテザリング
３８ クラウドベースのサービスへのインターフェースのテザリング
３９ 適応型音声出力及びコンテキスト処理等の機能の制御及びアルゴリズム（ＮＬＵモジュール）
４０ 開口部
４０ａ 前方領域
４１ 音声チャネル
４２ ジョイント

Claims (15)

1. 自動車運転者を支援するための方法であって、
   自動車内に装着又は配置可能な装置を、運転者又は同乗者のスマートフォンにアシスタントとして接続し、
   前記スマートフォンからのデータであるスマートフォンデータ及び追加の受信データを、所定のプログラムシーケンスに従って電子的に処理し、体系的に準備したうえで音響的且つ／又は視覚的に前記運転者に送信する、方法。
2. 請求項１に記載の方法であって、
   言語処理、対話管理、並びに受信データ及びスマートフォンデータの処理等のアシスタント機能の処理及び実行は、前記スマートフォン上で、前記自動車及び前記装置から独立して行われ、
   これらの機能の実行のための強力且つ最新のソフトウェア及びハードウェアプラットフォームが保証されている、ことを特徴とする方法。
3. 請求項１又は請求項２に記載の方法であって、
   前記スマートフォンデータは、電話番号、連絡先データ、アドレスデータ、着信電子メール又はメッセージ、インターネットデータ、ＳＭＳメッセージ、ＭＭＳメッセージ、音声ファイル、ＭＰ３音声ファイル、音声再生リスト、地図データ、ナビゲーションの詳細、運転者又は同乗者の個人データであり、
   前記受信データは、ナビゲーションデータ、交通情報、ラジオ又はテレビ送信、デジタルオーディオストリーム、輻輳通知、ＷｈａｔｓＡｐｐのメッセージ、Ｆａｃｅｂｏｏｋメッセンジャのメッセージ、及び／又は気象データである、ことを特徴とする方法。
4. 請求項１から請求項３の何れか１つに記載の方法であって、
   音声認識は、スマートフォンアプリケーションにより前記スマートフォン上で（ローカル音声認識で）、又はクラウドベースの音声認識サービスを介してクラウドインターフェースによりオンラインで（オンライン音声認識で）行われ、
   ユーザの発話は、マイクを介して前記装置上に記録され、この記録は、音声認識が継続的に行われるスマートフォンにＢｌｕｅｔｏｏｔｈ（ＨＦＰ）を介して無線で送信され、
   スマートフォンデータは、音声処理の認識性能を改善するために前記音声処理において用いられ、
   前記音声処理の対話管理は、前記スマートフォン上でローカルに行われる一方、クラウドインターフェースを介しスクリプトファイルを用いて継続的に更新され、
   前記音声処理は、発生した音声入力を分析することにより継続的に最適化され、認識性能が改善される、ことを特徴とする方法。
5. 請求項１から請求項４の何れか１つに記載の方法であって、
   音声処理に加え、前記アシスタントの機能は、ジェスチャ制御及び／又は自動車の入力装置によっても操作され、
   前記アシスタントの機能は、状況に応じて補完的又は冗長的にマルチモーダルで行われる、ことを特徴とする方法。
6. 請求項１から請求項５の何れか１つに記載の方法であって、
   処理及び送信対象のデータは、運転状況、交通状況、時刻、天気、ユーザによる設定、前記ユーザによる前記データの過去の使用、他のユーザによる設定、及び／又は他のユーザによる前記データの過去の使用に応じて選択され、
   データ処理は、自己学習システムとして設計される、ことを特徴とする方法。
7. 請求項１から請求項６の何れか１つに記載の方法であって、
   処理及び送信対象のデータは、以下の（１）から（７）のステップに従って選択されることを特徴とする、方法。
   （１）速度、ナビゲーションデータ、交通量、道路形状、道路幅、車線数、事故の頻度、速度制限、一般的な交通レポート、及び建設現場等の特別な状況といった、自動車及び交通状況のデータを記録するステップ
   （２）現在の天気、視界、温度、時刻、光の状態といった、追加のコンテキストデータを記録するステップ
   （３）ユーザによる設定、及びユーザの過去の使用行動を取得するステップ
   （４）交通データ及びコンテキストデータの複雑さを表す指標に従って、交通状況の複雑さを判断するステップ
   （５）ユーザによる設定、前記ユーザの過去の使用行動、他のユーザによる設定、及び他のユーザの過去の使用行動から、データの送信及び提供の優先順位を決定するステップ
   （６）記録されたデータを、所定のプログラムシーケンスパターンと相関させるステップ
   （７）前記運転者又は同乗者が使用するために、優先データを出力し、又は一時的若しくは永続的に優先データの出力を止めるステップ
8. 装置（１）により自動車運転者を支援するための装置であって、
   前記装置（１）は、自動車内に配置可能であり、運転者又は同乗者のスマートフォン（１ａ）にアシスタントとして接続可能であり、
   前記装置（１）は、表示部（３）、音声入力ユニット（４ａ）、音声出力ユニット（４ｂ）、及びジェスチャセンサ（８）を備える、装置。
9. 請求項８に記載の装置であって、
   前記装置（１）は、プリント基板（５）上に配置されデータ記憶装置（６）及びデータ処理装置（７）を有する電子切替回路（５ａ）と、Ｂｌｕｅｔｏｏｔｈ部品（１６）とを備えることを特徴とする、装置。
10. 請求項８又は請求項９に記載の装置であって、
    前記装置（１）は、筐体（２）内に配置された表示部（３）を備える付属装置であり、且つ音声入力ユニット（４ａ）、音声出力ユニット（４ｂ）、及び自動車のダッシュボード又はフロントガラスへの固定のための固定装置を備えることを特徴とする、装置。
11. 請求項１０に記載の装置であって、
    前記筐体（２）は、円形断面を有し、構成要素として、ディスク（９ａ）、リング（９ｃ）、プリント基板（５）、スピーカー（４ｂ）、筐体磁石（９ｄ）、筐体背面部（９ｅ）、コンタクトピン（９ｆ）、主磁石（９ｇ）をさらに備えることを特徴とする、装置。
12. 請求項１０に記載の装置であって、
    前記装置（１）をホルダ（１９）に取り外し可能に固定するために、
    前記装置（１）及び前記ホルダ（１９）上の両方に固定領域（２０，２１）が配置され、
    前記固定領域（２０）は、前記装置（１）の背面（２２）上に、少なくとも１つの磁石（９ｄ）、及び鏡像反転に配置された２つの固定部（２３，２４）を有し、
    前記固定部は、鏡像反転に配置された電気接点（２５）を備え、
    前記固定領域（２１）は、少なくとも１つの磁石（９ｇ）、及び前記ホルダ（１９）における電気接点（２７）を備える固定部（２６）を有し、
    組み立てられた状態において、前記磁石（９ｄ）は前記磁石（９ｇ）と接触し、前記固定部（２６）の前記電気接点（２７）は、前記固定部（２３）又は前記固定部（２４）の前記電気接点（２５）と接触し、
    前記固定部（２３）又は前記固定部（２４）の前記固定部（２６）との接触に応じて、前記装置（１）の位置は約１８０度回転される、ことを特徴とする装置。
13. 請求項１２に記載の装置であって、
    前記固定部（２３，２４）は、半円形の凹部であり、
    前記固定部（２６）は、半円形の棒であり、
    前記凹部と前記棒は、組み立てられた状態で相互に対応し、且つ／又は
    電気エネルギー供給、データ交換、無線信号の送信、及び任意の追加受信データは、前記電気接点（２５）と前記電気接点（２７）との間の電気的接触により実現される、ことを特徴とする装置。
14. 請求項１２に記載の装置であって、
    前記ホルダ（１９）は、固定用の吸盤（２８）及び／又はＵＳＢ端子（２９）を有することを特徴とする、装置。
15. 請求項１０に記載の装置であって、
    前記筐体（２）は、筐体背面部（９ｅ）、及び筐体背面部（９ｅ）に接続され前方領域（４０ａ）に開口部（４０）を有するリング（９ｃ）を備え、
    前記表示部（３）、及びマイク（４ａ）を有するプリント基板（５）は、前記リング（９ｃ）内に配置される、ことを特徴とする装置。