JP2002513969A - 車両のコンポーネントの手書きおよび音声制御 - Google Patents
車両のコンポーネントの手書きおよび音声制御Info
- Publication number
- JP2002513969A JP2002513969A JP2000547554A JP2000547554A JP2002513969A JP 2002513969 A JP2002513969 A JP 2002513969A JP 2000547554 A JP2000547554 A JP 2000547554A JP 2000547554 A JP2000547554 A JP 2000547554A JP 2002513969 A JP2002513969 A JP 2002513969A
- Authority
- JP
- Japan
- Prior art keywords
- command
- signal
- command data
- recognition
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims description 11
- 230000005236 sound signal Effects 0.000 claims description 9
- 230000001413 cellular effect Effects 0.000 claims description 7
- 230000011664 signaling Effects 0.000 claims 1
- 230000001755 vocal effect Effects 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
- B60R16/0373—Voice control
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Character Discrimination (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Complex Calculations (AREA)
- Details Of Indoor Wiring (AREA)
Abstract
Description
用する手書きおよび音声認識システムに関する。
アプリケーションにおいて利用されてきた。最近、そのような音声認識システム
を採用して、運転手が車両搭載型のセル式電話や電動ウィンドウなどの自動車の
機器を制御することを可能にすることが試みられている。このようなアプリケー
ションにより、運転手が運転中に、機器ではなく道路に目を向け続けることを可
能とし、運転手がより安全に運転できるようにする。しかし、かかるシステムは
、特に、高速運転中に窓が開いているときに、車両内部などの環境に存在する環
境ノイズによって悪影響を受ける。したがって、車両環境ノイズによって影響を
受けず、運転手が道路に目を向け続けることを可能にする車両機器制御が必要と
されている。
ことである。運転手が自動車機器を操作しているときに、運転手が道路から目を
離す必要をなくし、運転手がハンドルやシフトレバーから手を離す必要をなくす
システムを提供する。
器の操作を単純化することである。 本発明の更に別の目的は、ノイズ環境において使用できるコマンド認識システ
ムを提供することである。
識システムを単純化することである。 本発明の利点は、手書きの認識と音声の認識とを組み合わせて、ノイズ環境に
おいて実施することが現在では困難である、スピーカから独立した音声認識技術
に対する必要性を排除することである。
によって影響されないことである。 本発明の更に別の利点は、車両内の他者によって発せられるノイズから独立し
たコマンド認識動作を提供することである。
動作させることができ、短いテキスト・メッセージを送信するときに、パーソナ
ル・コンピュータやセル式電話などの精巧な機器に対して使用可能なコマンド・
セットを増加することである。
して、車両環境における作業に望ましい、高い認識信頼性を達成することである
。
イン)の特徴の両方を使用して、ユーザのアイデンティティを二重に確認するこ
とである。
ンド・データ・セットを有するコマンド認識モジュールを含む車両内の少なくと
も1つの機器を制御する。コマンド認識モジュールは、手書き信号および音声信
号を受け取り、その手書き信号および音声信号をコマンド・データ・セットと関
連付けて、少なくとも1つのコマンドが前記の少なくとも1つの機器によって使
用されるようにする。コマンド認識モジュールは、更に、手書き信号および/ま
たは音声信号の少なくとも1つを、少なくとも1つのコマンドと関連付けると、
コマンド信号シーケンスを生成するようにされている。主モジュールは、コマン
ド認識モジュールと動作可能に接続し、コマンド信号を少なくとも1つの機器へ
中継するように動作する。機器インターフェースは、少なくとも1つの機器と主
モジュールとの間に接続し、コマンド信号を機器へ中継するように適合されてい
る。
能に接続される音声認識装置とを含み、音声信号を受け取り、音声信号の少なく
とも1つを少なくとも1つのコマンドと関連付けるとコマンド信号を生成する。
更に、タッチパッドと該タッチパッドに動作可能に接続された手書き認識装置と
を含み、手書き信号を受け取り、手書き信号の少なくとも1つを少なくとも1つ
のコマンドと関連付けるとコマンド信号を生成する。手書き信号は、手書き文字
、単語、数字、走り書き、または、三次元的ジェスチャを含むユーザが手や指で
行うことができるあらゆるジェスチャを含んでもよく、それに応じて、タッチパ
ッドを、ジョイスティック、三次元マウスなどのような、任意の種類の手または
指に応答する入力装置、あるいは頭の動きなどのような人間の意思伝達方法に適
合可能な、他の任意の既知の身体部分応答型の入力装置に置き換えることができ
る。スピーカは、運転手にフィードバックを与えるために、コマンド認識または
主モジュールの何れかに接続される。フィードバックは、実行前の認識されたコ
マンドの再生、および/または録音音声または既知のテキスト音声(TTS)技
術などの合成音声を使用した会話メニューの形式であってもよい。視覚的フィー
ドバックを生成するために、フロントガラス上に設けた透明ディスプレイを使用
してもよい。代替的に、文字や数字を入力した後、および/または入力シーケン
スが完了した後に(たとえば、単語、電話番号)、その入力を再生したり表示し
たりしてもよい。本発明の他の特徴および利点は、図面および発明の詳細な説明
を検討すれば明らかになるであろう。
に完全に理解および評価されるであろう。 本発明の詳細な説明 例示を目的とした図面を参照すると、本発明はコマンド認識装置20(図1)
において実施され、当該技術分野において知られている手書き認識技術の使用を
通じての手書きコマンドを使用することにより、概念的にハンドル18によって
表した車両などにおける電子機器の操作を可能にする。既知の音声認識技術を更
に手書き認識技術と組み合わせて、かかる電子機器、システムまたは装置と対話
する信頼性があり確固とした方法を提供することができる。電子機器22は、セ
ル式電話24、グローバル・ポジショニング・システム(GPS)・ナビゲーシ
ョン・システム26、パーソナル・コンピュータ(PC)28、ラジオ30、警
報(アラーム)システム32、電動ウィンドウ(図示せず)、サンルーフ(図示
せず)などを含むが、これらに限定されない。
接続している。機器インターフェース34は、1または複数の機器あるいは1種
類または複数種類の機器と共に使用するように適合されるのが好ましく、機器の
ハードウエア基準および/またはその遠隔操作用のソフトウエア・プロトコルと
一致するように適合されてもよい。ハードウエアおよび/またはソフトウエアに
おいて実施されるインターフェース・モジュール34は、機器が電気コネクタ3
6を介して接続する物理的モジュールである。インターフェース34は、各機器
へ送られるコマンドを選択する主プログラム・モジュール35によって制御され
る。インターフェース・モジュール34は、機器と通信するために必要とされる
適正な電圧および電流も生成する。例えば、ユーザがRS232プロトコルを介
してPCと通信することを望めば、主プログラム・モジュール35によって生成
されたデジタル・コマンドの、実際の+/−12ボルトのパルスへの変換(RS
232プロトコルによって要求される)が、インターフェース・モジュール34
によって行われる。機器のそれぞれに対応するコマンド・セットは、主プログラ
ム・モジュール35によって維持される。かかるインターフェースの適合性の例
は、娯楽システムと共に使用する従来の汎用遠隔制御装置において見いだされ、
そこでは、遠隔制御装置は、機器と協働するようにユーザによって調整されるこ
とがあり、かつ/または既知の機器とかかる機器に対応する特定のコマンドのラ
イブラリを含む。後者の場合、ユーザは、機器に対応するコマンドのライブラリ
を選択する。機器とインターフェースとの間の接続リード線36は様々であり、
ワイヤ接続、赤外線接続、シリアル接続、またはバス接続を含むが、これらに限
定されるものではない。代替的な実施形態においては、機器はインターフェース
・モジュール34を備えて組み立てられ、任意の数の従来のインターフェース構
成を含むことができる。
、ライティング・パッド46に接続された手書き認識装置44とを含む。ここで
使用されているコマンド認識とは、手書き認識装置エンジンまたは音声認識装置
エンジンによって認識され、次に、コマンド信号と関連付けられたコマンド・デ
ータ・セットに含まれる予めプログラムされたコマンドと突き合わせされる、手
書きまたは口頭(話された)でのコマンド信号を意味する。
装置20が接続されている機器に合わせて作成された既知の音声コマンド・リス
ト内の一致する音声コマンドを捜す。マイクロフォンは、車両のコンソール、サ
ンバイザー、または運転手または他の乗客からの音声コマンドを好適に受け取る
のに適した任意の場所に配置することができる。音声コマンドは、セル式電話を
介するなどのように、外部マイクロフォンを介して入力されてもよく、あるいは
、そうでなければ、この譲受人の同時係属中の米国特許出願第/002,616
号に記載されたような音声認識装置に入力されてもよい。この同時係属中の米国
特許出願をここに参照として援用する。かかる音声コマンドは、ユーザによって
調整され、かつ/または機器の種類に特定のコマンドの予め調整したライブラリ
に設けてもよいことが、理解されるであろう。
ーザによって供給された記号を受け取る。手書きパッド46は、ハンドル上また
はシフトレバー上などのような、運転手に便利な位置に設けることが好ましい。
代替的に、手書きコマンドは、装置20に接続されたラップトップのタッチパッ
ドなどのような、外部タッチパッドを介して入力されてもよい。この目的に適し
た種類の手書き認識装置は、米国特許第5,659,633号および第5,77
4,582号、ならびに米国特許出願第08/528293号、第08/418
530号、第08/282187号および第08/878741号に開示されて
おり、これらを参照としてここに援用する。機器コマンドに対応する手書きの記
号はユーザによって調整され、かつ/または予め調整されたアプリケーション特
定的コマンド・ライブラリにおいて提供されてもよいことが、理解されるであろ
う。
ル、番号ダイアル、eメール受領、警報(アラーム)システム操作などに関連す
るコマンドなどのような、セル式電話またはパーソナル・コンピュータなどのよ
うな装置と共に使用するように適合されたコマンドの標準的セットを含んでもよ
いことが、理解されるであろう。
ル38および44との間におけるコマンドの転送と分配とを制御するインターフ
ェースを提供する。装置20は、ライター差込口に接続されるか又は自動車バッ
テリに直接接続されるかの、直接接続を介して自動車の電圧50から電力を引き
込むことが好ましい。代替的に、装置20はDCバッテリで独立して動作しても
よい。
との間での装置の切り替えを可能にするために含まれている。主プログラム・モ
ジュール35の機能は、選択された機器に対しての適切なコマンドを生成するた
めに、認識モジュール38および44を組み合わせて調整することである。認識
または動作モードに入った後の最初のコマンドは、ユーザが制御を望む機器を識
別することに関連すべきである。代替的に、デフォールトの機器、またはシステ
ムのシャットダウンの前に最後に使用した機器を使用するようにしてもよい。機
器の選択に続いて、主プログラム・モジュール35は、選択された機器に切り替
え、音声認識装置38および/または手書き認識装置44によって認識されたコ
マンドを、その特定の機器へ送る。主プログラム・モジュール35の役割は、ユ
ーザによって与えられた認識されたコマンドと、選択された機器に対する適切な
機器コマンドとを関連付けることである。
致する音声コマンドまたは手書きコマンドを捜す。それぞれの機器に対して個別
のライブラリがあることが好ましい。機器が一旦選択されると、主プログラム・
モジュール35は、通常は音声に対して1つと手書きに対して1つの、適切なコ
マンドライブラリをロードするように認識装置に命令する。代替的には、幾つか
のライブラリがロードされて、認識装置は、一致するコマンドの検索のときにど
のライブラリを使用すべきかを通知される。それに続いて、入力信号を受け取る
と、認識装置は、認識された機器コマンドの識別子を主プログラム・モジュール
35へ送る。この識別子と選択された機器とが与えられると、主モジュールはコ
マンドを解釈して、それを機器インターフェース34を介して選択された機器へ
送る。セル式電話をピックアップするなどのようなグローバル・コマンドを可能
にするために、現在どのような機器が選択されていようとも認識可能な、音声/
手書き信号もある。これらの信号表現が、認識装置により使用される各ライブラ
リ又はグローバル・ライブラリにロードされ、他のどの機器によっても使用され
ない独自の識別子を有し、主プログラム・モジュール35が常にそれらを解釈で
きるようにされる。更に、「二重確認モード」を提供し、このモードでは、主プ
ログラム・モジュール35が、両方の認識装置が同じコマンドに対応する識別子
を返したことを確認し、返していなければコマンドを拒否する。ノイズの存在下
でシステムの有効性を増すために、許容範囲レベルを設定してもよい。例えば、
音声認識装置38は、1つだけの識別子ではなく、幾つかの最もよく一致する識
別子を送り返すようにすることができる。これらの識別子の1つが手書き認識装
置44から返された識別子に対応すれば、これは受入可能な確認とみなすことが
できる。また、2つのコマンドが同時に入力されることを可能にするために「適
合モード」も設ける。例えば、ユーザが「ラジオ」と言って「5」を書くと、装
置は直ちにラジオのスイッチを入れて放送局5を選択する。更に、ユーザの音声
の特徴および手書きの特徴のそれぞれに基づいて動作する既知のユーザ確認モー
ドではなく、これらの特徴の組み合わせに基づく「ユーザ確認/認証モード」を
設ける。ユーザは、認識されたコマンドが受け取られて機器に送られたことを示
すフィードバックを、ラウドスピーカ40を介して装置20から受け取ることが
できる。
プログラム・モジュール35によって解釈されるときに異なった意味を持つ場合
があることが理解されるであろう。例えば、口頭で言われた単語「アップ(up
)」は、「電動ウインドウ」が選択されていれば「窓を閉める」を意味するが、
ラジオをつけているときには「ボリュームを上げる」を意味するというようにで
きることが理解される。更に、手書きジェスチャまたは口頭によるコマンドが、
一度に1つより多くの機器を動作させるようにもでき、それによって、1つの口
頭/手書きジェスチャが一連のコマンドと関連付けられている「マクロ」能力を
提供できることが理解される。例えば、ユーザが「ジルの設定」と言えば、それ
に応じて装置20は、座席、ミラーおよびハンドルを調節し、ラジオのスイッチ
を入れ、ジルの好みの放送局をにチューンする。
主プログラム・モジュール35は、リアルタイムに認識機能を遂行するのに適し
且つコマンドライブラリを記憶することができるCPUとメモリとを有する何れ
の従来のハードウエア・プラットフォーム上でも動作することができる。プログ
ラミング・ロジックは、任意の種類の不揮発性メモリ、例えば、フラッシュ・メ
モリやEPROMなどのようなメモリ・チップに記憶することができる。オプシ
ョンで、取り外し可能なメモリ・モジュール(図示せず)にコマンド・ライブラ
リを含めるようにして、ユーザが従来のPC上で調整を行うことを可能にしたり
、特定化されたニーズに合わされた機器に特定的なライブラリを提供するように
してもよい。これらのライブラリは、RS232などの通信プロトコルを使用し
てPCから装置20へロードされてもよい。この目的のための形式のCPUおよ
びメモリの構成は、日立(Hitachi)から購入可能なH8/3040マイクロコ
ントローラ、およびアドバンスト・マイクロ・デバイセス(Advanced Micro Dev
ices)から購入可能なAMD29F800フラッシュ・メモリを含む。
モードと調整モードとを有する。動作モードと調整(training、訓練)モードと
の間の切り換えは、スイッチ52によって制御される。スイッチを使用したモー
ド間の切り換え方法は様々であってよい。例えば、ユーザが認識モードに入りた
い場合に、スイッチを1回押して動作モードに入り、装置20が口頭によるコマ
ンドまたは書かれたコマンドを受け付け可能とするようにできる。ユーザが新た
なコマンドのために装置20を調整(train、訓練)したいのであれば、スイッ
チを素速く2回押して、主プログラムが調整モードへ切り替えるようにする。他
のグローバル・コマンドは、セル式電話を介しての会話を終了させたり、あるい
はコンピュータ上のアプリケーション・ウインドウを閉じるなどのために、スイ
ッチと関連付けることができる。動作モード。
け取る。マイクロフォン42は、人間の声を受け取って、それを電気信号に変換
する。この信号は、次に、音声認識装置38によって増幅されてデジタル化され
る。デジタル化の後に、音声認識装置38は処理ソフトウエアを利用して、音声
信号を処理し、メモリに常駐するライブラリ内の一致する音声コマンドを探すこ
とにより認識を行う。音声信号とライブラリからのコマンドとの関連付けに続い
て、音声認識装置38は、コマンド識別子を主プログラム・ソフトウエア・モジ
ュール35へ送り、主プログラム・ソフトウエア・モジュール35は、それを、
装置20の現在の入力状態(例えば、機器が選択されており、機器コマンドの入
力を待っている)に従って解釈し、コマンド・シーケンスを適切な機器へ送る。
認識モジュール38および44、または主プログラム・モジュール35がスピー
カ40を使用して、オプションとして、コマンド信号をコンピュータ生成の音声
信号または他の再生信号に変換し、ユーザに、音声信号が受け取られて適切に理
解された旨の指示としてのフィードバックを提供することができる。
取られて、特定の点が接触されると、その接触された点のXおよびY座標を送信
する。タッチパッドの場合には、入力は指で行うことができる。手書き認識装置
44は、タッチパッド上に書かれた文字、ジェスチャまたは単語を受け取り、予
め調整した文字、ジェスチャおよび単語のライブラリから手書きコマンドと一致
するものを探す。手書き認識装置44は、一致するものを一旦発見すると、主プ
ログラム・モジュール35に信号を送る。手書き認識ライブラリは、予め調整し
た英数字、ジェスチャおよび記号を含むようにし、ユーザがそれらを認識するよ
うに認識装置を調整しないでもよいようにすることが好ましい。しかし、ユーザ
は、ユーザに便利な記号を生成するオプションを有するようにし、それを機器コ
マンドとの関連付けるようにしてもよい。
ンドまたは書かれた記号、ジェスチャ、単語、文字を、コマンドまたはコマンド
シーケンスと関連付けることを意味し、これは、かかる関係を装置20にプログ
ラムすることにより、機器の少なくとも1つによって理解される。例えば、「上
矢印」のジェスチャは「窓を閉める」を意味することができ、また、名前を口に
出して言うことにより、セル式電話を作動させてその人の電話番号をダイヤルさ
せることができるであろう。本発明に使用する機器の通信プロトコルは、通常、
装置20で予めプログラムされる。パーソナル・コンピュータまたは他の容易に
適合可能な計算装置を使用する場合には、本発明のものと通信するために、PC
内のソフトウエアが提供されることができる。このような場合には、可能なコマ
ンドの数は、ユーザによって使用されるソフトウエアと操作の型に左右される。
コマンドを操作と関連付けるために、ユーザは調整工程の一部としてコマンドを
プログラムすることができるであろう。警報器や窓などの機器を操作する場合に
は、装置20はこれらの機器を動作させる実際の信号を有していなければならな
い。機器の例。
のコマンド・セット・ライブラリが装置20に合わせて予め調整されているか、
又は調整モードの間にユーザによって入力される。認識モードを選択した後に、
ユーザが「ラジオ」という単語を言う。すると主プログラム・モジュール35は
、全ての認識されたコマンドをラジオへ送る。次に、ユーザは数字「5」と書く
か又は声に出して言う。次に、主プログラムは認識した「5」を、ラジオによっ
て「放送局番号5へジャンプする」と理解されるデジタルコマンドに変換し、そ
れをインターフェース34を介してラジオへ送る。ユーザが行った各操作につい
てフィードバックが提供されてもよい。例えば、ユーザが「ラジオ」と言うと、
TTS技術を使用してラウドスピーカが「ラジオが作動」と言う。ユーザが「5
」と書くと、ラウドスピーカは「放送局5を選択」と言い、可能であればオプシ
ョンで放送局の名称を伝える。
と分かるように、ユーザは装置20を調整して、話されたおよび手書きされた両
方のパスワード、署名、および他のユーザ特定的信号特徴を学習させる。両方の
パスワードを認識した後にのみ、主プログラム・モジュール35はコマンドを送
ってアラーム・システムを作動または作動停止する。別の関連するアプリケーシ
ョンは、個人化されたコマンドおよび設定ライブラリを使用して、シートやミラ
ーなどの機器をユーザIDに応じて調整する機器を提供し、それによって、同じ
自動車の数人の運転手の誰にでも適応するようにする。
ステムのメニューを操作して、道路の名前をタッチパッド上に書くことにより入
力することができる。
全体的に例示することを意図したものであり、本発明をここで示した実施形態に
限定するものとは解釈すべきではない。ここには特に示していないが、本発明の
真の精神および範囲内において、当業者は多様な変更を想起する場合があるもの
と理解される。
認識システムの機能ブロック図である。
認識システムの機能ブロック図である。
音声および手書き認識システムの機能ブロック図である。
Claims (20)
- 【請求項1】 車両内の少なくとも1つの機器を制御する装置であって、 コマンド・データ・セットを有するコマンド認識モジュールを備え、該コマン
ド認識モジュールが、 手書き信号を受け取り、 前記少なくとも1つの機器を制御するために前記手書き信号を前記コマン
ド・データセットの少なくとも1つのコマンドと関連付け、 前記コマンドと関連づけたコマンド信号を前記機器へ通信する ように適合された 装置。 - 【請求項2】 請求項1に記載の装置であって、前記コマンド認識モジュー
ルは、マイクロフォンと該マイクロフォンに動作可能に接続された音声認識装置
とを含み、 音声信号を受け取り、 前記少なくとも1つの機器を制御するために前記音声信号を前記コマンド・デ
ータ・セットの前記少なくとも1つのコマンドと関連付ける、 装置。 - 【請求項3】 請求項1に記載の装置であって、前記コマンド認識モジュー
ルは、タッチパッドと、前記手書き信号を受け取るために該タッチパッドに動作
可能に接続された手書き認識装置とを含む装置。 - 【請求項4】 請求項1に記載の装置であって、前記コマンド認識モジュー
ルは、 マイクロフォンおよび前記マイクロフォンに動作可能に接続された音声認識装
置であって、 音声信号を受け取り、 前記少なくとも1つの機器を制御するために前記音声信号を前記コマンド
・データセットの前記少なくとも1つのコマンドと関連付ける マイクロフォンおよび音声認識装置を含み、 タッチパッドおよび前記手書き信号を受け取るために前記タッチパッドに動作
可能に接続された手書き認識装置を含む、 装置。 - 【請求項5】 請求項1に記載の装置であって、 複数のコマンドを有する前記コマンド・データ・セットと、 前記コマンド認識モジュールに動作可能に接続され、前記コマンド信号を前記
少なくとも1つの機器へ通信するように動作する主モジュールと を含む装置。 - 【請求項6】 請求項5に記載の装置であって、 前記少なくとも1つの機器と前記主モジュールとの間に接続され、前記コマン
ド信号を前記機器へ通信するように適合されている機器インターフェースを含む
装置。 - 【請求項7】 請求項6に記載の装置であって、 マイクロフォンおよび該マイクロフォンに動作可能に接続された音声認識装置
であって、 音声信号を受け取り、 前記少なくとも1つの機器を制御するために前記音声信号を前記コマンド
・データセットの前記少なくとも1つのコマンドと関連付ける マイクロフォンおよび音声認識装置と、 タッチパッドおよび前記手書き信号を受け取るために前記タッチパッドに動作
可能に接続された手書き認識装置と を含む装置。 - 【請求項8】 請求項7に記載の装置であって、前記コマンド・データ・セ
ットは英数字を含む、装置。 - 【請求項9】 請求項7に記載の装置であって、前記コマンド・データ・セ
ットは記号を含む、装置。 - 【請求項10】 請求項7に記載の装置であって、前記少なくとも1つの機
器はセル式電話であり、前記コマンド・データ・セットはセル式電話コマンドお
よび英数字を含む、装置。 - 【請求項11】 請求項7に記載の装置であって、前記少なくとも1つの機
器はパーソナル・コンピュータであり、前記コマンド・データ・セットはコンピ
ュータ命令および英数字を含む、装置。 - 【請求項12】 請求項7に記載の装置であって、前記コマンド・データ・
セットは所定の音声信号のセットと関連付けられる、装置。 - 【請求項13】 請求項7に記載の装置であって、前記コマンド・データ・
セットは所定の手書き信号のセットと関連付けられる、装置。 - 【請求項14】 請求項7に記載の装置であって、前記コマンド・データ・
セットは、所定の手書き信号および音声信号のセットと関連付けられる、装置。 - 【請求項15】 請求項7に記載の装置であって、前記コマンド・データ・
セットは、ユーザによって、少なくとも1つの音声信号と関連付けられる、装置
。 - 【請求項16】 請求項7に記載の装置であって、前記コマンド・データ・
セットは、ユーザによって、少なくとも1つの手による信号と関連付けられる、
装置。 - 【請求項17】 請求項7に記載の装置であって、前記コマンド・データ・
セットは、前記ユーザによって変更可能な手書き信号および音声信号と関連付け
られる、装置。 - 【請求項18】 請求項7に記載の装置であって、前記機器は自動車アラー
ム装置である、装置。 - 【請求項19】 請求項7に記載の装置であって、前記装置は複数の機器に
接続し、前記主モジュールおよび機器インターフェースは共になって働いて前記
コマンド信号を前記機器へ分配する、装置。 - 【請求項20】 車両内の機器を制御する方法であって、 タッチパッドと、該タッチパッドに動作可能に接続された手書き認識装置とを
含み、コマンド・データ・セットを有するコマンド認識モジュールを提供するス
テップと、 手書き信号を受け取るステップと、 前記少なくとも1つの機器を制御するために前記手書き信号を前記コマンド・
データ・セットの少なくとも1つのコマンドと関連付けるステップと、 前記コマンドと関連付けられたコマンド信号を前記機器へ通信するステップと を備える方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US8452098P | 1998-05-07 | 1998-05-07 | |
US60/084,520 | 1998-05-07 | ||
PCT/IL1999/000238 WO1999057648A1 (en) | 1998-05-07 | 1999-05-06 | Handwritten and voice control of vehicle components |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002513969A true JP2002513969A (ja) | 2002-05-14 |
JP2002513969A5 JP2002513969A5 (ja) | 2006-03-23 |
Family
ID=22185465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000547554A Pending JP2002513969A (ja) | 1998-05-07 | 1999-05-06 | 車両のコンポーネントの手書きおよび音声制御 |
Country Status (10)
Country | Link |
---|---|
US (1) | US7113857B2 (ja) |
EP (1) | EP1082671B1 (ja) |
JP (1) | JP2002513969A (ja) |
KR (1) | KR100754497B1 (ja) |
CN (1) | CN1302409A (ja) |
AT (1) | ATE389211T1 (ja) |
AU (1) | AU3726799A (ja) |
DE (1) | DE69938344T2 (ja) |
IL (1) | IL139381A0 (ja) |
WO (1) | WO1999057648A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009301301A (ja) * | 2008-06-12 | 2009-12-24 | Tokai Rika Co Ltd | 入力装置及び入力方法 |
JP2009301302A (ja) * | 2008-06-12 | 2009-12-24 | Tokai Rika Co Ltd | ジェスチャ判定装置 |
JP2013503396A (ja) * | 2009-08-28 | 2013-01-31 | ロベルト ボッシュ ゲーエムベーハー | 自動車用のジェスチャーに基づいた情報およびコマンドの入力 |
WO2017034313A1 (ko) * | 2015-08-27 | 2017-03-02 | 한국생산기술연구원 | 암레스트 인터페이스 시스템 |
Families Citing this family (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2351202A (en) * | 1999-05-18 | 2000-12-20 | Vtech Communications Ltd | Portable telephone with handwriting input surface |
US7346374B2 (en) | 1999-05-26 | 2008-03-18 | Johnson Controls Technology Company | Wireless communications system and method |
EP1852836A3 (en) | 1999-05-26 | 2011-03-30 | Johnson Controls Technology Company | Wireless communications system and method |
GB2355055A (en) * | 1999-10-09 | 2001-04-11 | Rover Group | A control system for a vehicle |
US20010043234A1 (en) * | 2000-01-03 | 2001-11-22 | Mallik Kotamarti | Incorporating non-native user interface mechanisms into a user interface |
DE10006351A1 (de) * | 2000-02-12 | 2001-08-16 | Bosch Gmbh Robert | Vorrichtung zum Abrufen von Informationen zur Funktion und Bedienung verschiedener Einrichtungen eines Kraftfahrzeugs |
GB2360903B (en) | 2000-03-30 | 2004-09-08 | Mitel Corp | Telephone with handwriting recognition |
FR2808915B1 (fr) * | 2000-05-15 | 2005-06-10 | Nacam | Dispositif de commande a distances d'organes ou d'equipements de vehicule automobile |
JP2002062894A (ja) * | 2000-08-17 | 2002-02-28 | Daiichikosho Co Ltd | 音声認識リモコン機能付きワイヤレスマイクロホン |
US8706023B2 (en) | 2008-01-04 | 2014-04-22 | 3D Radio Llc | Multi-tuner radio systems and methods |
US8868023B2 (en) | 2008-01-04 | 2014-10-21 | 3D Radio Llc | Digital radio systems and methods |
AU2002247173A1 (en) | 2001-02-20 | 2002-09-04 | Caron S. Ellis | Enhanced radio systems and methods |
US8699995B2 (en) * | 2008-04-09 | 2014-04-15 | 3D Radio Llc | Alternate user interfaces for multi tuner radio device |
US8909128B2 (en) * | 2008-04-09 | 2014-12-09 | 3D Radio Llc | Radio device with virtually infinite simultaneous inputs |
US7916124B1 (en) | 2001-06-20 | 2011-03-29 | Leapfrog Enterprises, Inc. | Interactive apparatus using print media |
US20040260438A1 (en) * | 2003-06-17 | 2004-12-23 | Chernetsky Victor V. | Synchronous voice user interface/graphical user interface |
US7552221B2 (en) | 2003-10-15 | 2009-06-23 | Harman Becker Automotive Systems Gmbh | System for communicating with a server through a mobile communication device |
JP2005165733A (ja) * | 2003-12-03 | 2005-06-23 | Sony Corp | 情報処理システム、遠隔操作装置および方法、制御装置および方法、プログラム、並びに記録媒体 |
US20050137877A1 (en) * | 2003-12-17 | 2005-06-23 | General Motors Corporation | Method and system for enabling a device function of a vehicle |
DE602004010054T2 (de) | 2004-01-19 | 2008-03-06 | Harman Becker Automotive Systems Gmbh | Betätigung eines Sprachdialogsystems |
EP1560199B1 (en) * | 2004-01-29 | 2008-07-09 | Harman Becker Automotive Systems GmbH | Multimodal data input |
DE602004017955D1 (de) | 2004-01-29 | 2009-01-08 | Daimler Ag | Verfahren und System zur Sprachdialogschnittstelle |
WO2005122130A2 (en) * | 2004-06-03 | 2005-12-22 | Leapfrog Enterprises, Inc. | User created interactive interface |
KR100709676B1 (ko) * | 2004-06-08 | 2007-04-24 | 대한지적공사 | 음성인식 측량 시스템 |
DE102004030054A1 (de) * | 2004-06-22 | 2006-01-12 | Bayerische Motoren Werke Ag | Verfahren zur sprecherabhängigen Spracherkennung in einem Kraftfahrzeug |
TWM266618U (en) * | 2004-07-19 | 2005-06-01 | Behavior Tech Computer Corp | Multiple output connection head with wireless data collection capability |
KR100716438B1 (ko) * | 2004-07-27 | 2007-05-10 | 주식회사 현대오토넷 | 차량용 텔레매틱스 시스템에서 음성 사용자 인터페이스를제공하는 장치 및 방법 |
US7295904B2 (en) * | 2004-08-31 | 2007-11-13 | International Business Machines Corporation | Touch gesture based interface for motor vehicle |
JP4351599B2 (ja) * | 2004-09-03 | 2009-10-28 | パナソニック株式会社 | 入力装置 |
KR100679042B1 (ko) * | 2004-10-27 | 2007-02-06 | 삼성전자주식회사 | 음성인식 방법 및 장치, 이를 이용한 네비게이션 시스템 |
KR100692488B1 (ko) * | 2005-06-09 | 2007-03-09 | 대성전기공업 주식회사 | 자동차의 제어 장치 및 그 제어 방법 |
US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
EP1879000A1 (en) * | 2006-07-10 | 2008-01-16 | Harman Becker Automotive Systems GmbH | Transmission of text messages by navigation systems |
US9583096B2 (en) | 2006-08-15 | 2017-02-28 | Nuance Communications, Inc. | Enhancing environment voice macros via a stackable save/restore state of an object within an environment controlled by voice commands for control of vehicle components |
WO2009082378A2 (en) | 2006-10-11 | 2009-07-02 | Johnson Controls Technology Company | Wireless network selection |
KR100856919B1 (ko) * | 2006-12-01 | 2008-09-05 | 한국전자통신연구원 | 제스처 기반 사용자 입력 방법 및 장치 |
JP4715805B2 (ja) * | 2007-05-10 | 2011-07-06 | トヨタ自動車株式会社 | 車載情報検索装置 |
US8700405B2 (en) * | 2010-02-16 | 2014-04-15 | Honeywell International Inc | Audio system and method for coordinating tasks |
CN104040620B (zh) * | 2011-12-29 | 2017-07-14 | 英特尔公司 | 用于进行直接语法存取的装置和方法 |
KR101349515B1 (ko) * | 2011-12-30 | 2014-01-16 | 대성전기공업 주식회사 | 차량 디스플레이 유니트 및 차량 디스플레이 유니트 제어 방법 |
WO2013128291A2 (en) * | 2012-02-29 | 2013-09-06 | Robert Bosch Gmbh | Method of fusing multiple information sources in image-based gesture recognition system |
BR112014028774B1 (pt) | 2012-05-18 | 2022-05-10 | Apple Inc | Método, dispositivo eletrônico, meio de armazenamento legível por computador e aparelho de processamento de informações |
EP3132434B1 (en) * | 2014-04-18 | 2021-08-11 | Gentex Corporation | Trainable transceiver and cloud computing system architecture systems and methods |
US10109219B2 (en) * | 2015-04-16 | 2018-10-23 | Robert Bosch Gmbh | System and method for automated sign language recognition |
US9530318B1 (en) | 2015-07-28 | 2016-12-27 | Honeywell International Inc. | Touchscreen-enabled electronic devices, methods, and program products providing pilot handwriting interface for flight deck systems |
DE102016212681A1 (de) * | 2016-07-12 | 2018-01-18 | Audi Ag | Steuervorrichtung und Verfahren zum sprachbasierten Betreiben eines Kraftfahrzeugs |
JP6964243B2 (ja) * | 2017-07-25 | 2021-11-10 | パナソニックIpマネジメント株式会社 | 配線器具システム、プログラム、音声制御システム及び中継システム |
IT201900025528A1 (it) * | 2019-12-24 | 2021-06-24 | Piaggio & C Spa | Metodo e sistema per impartire comandi vocali ad un motoveicolo |
US11409410B2 (en) | 2020-09-14 | 2022-08-09 | Apple Inc. | User input interfaces |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5870289A (ja) * | 1981-10-22 | 1983-04-26 | 日産自動車株式会社 | 車載負荷の音声制御装置 |
DE3514438C1 (de) * | 1985-04-20 | 1986-09-18 | Porsche Ag | Zentrale Bedienungsein- und Informationsausgabe fuer Zusatzgeraete von Fahrzeugen |
US4827520A (en) * | 1987-01-16 | 1989-05-02 | Prince Corporation | Voice actuated control system for use in a vehicle |
US5033000A (en) * | 1988-06-09 | 1991-07-16 | Natco Corporation | Variable keyed power distribution and control system for motorized wheelchair |
EP0392411B2 (en) * | 1989-04-14 | 1999-01-07 | Hitachi, Ltd. | A control apparatus for automobiles |
JPH0326639U (ja) * | 1989-07-25 | 1991-03-18 | ||
IL100198A (en) * | 1991-11-29 | 1999-10-28 | Art Advanced Recognition Tech | Character recognition method |
KR0126800B1 (ko) * | 1993-12-30 | 1998-04-02 | 김광호 | 한글필기체 온라인 문자인식 장치 및 방법 |
DE69426919T2 (de) * | 1993-12-30 | 2001-06-28 | Xerox Corp | Gerät und Verfahren zur Ausführung von vielen verkettenden Befehlsgesten in einen System mit Gestenbenutzerschnittstelle |
KR950024564A (ko) | 1994-01-31 | 1995-08-21 | 김광호 | 디지탈 영상기기에 있어서 영상신호 보간방법 및 회로 |
US5555502A (en) * | 1994-05-11 | 1996-09-10 | Geo Ventures | Display and control apparatus for the electronic systems of a motor vehicle |
EP0774731B1 (en) * | 1995-01-04 | 2002-01-23 | International Business Machines Corporation | Cursor pointing device based on thin-film interference filters |
KR970010366A (ko) * | 1995-08-09 | 1997-03-27 | 한승준 | 차량 주변기기 음성인식 제어장치 및 제어방법 |
EP0803705B1 (en) * | 1996-04-23 | 2004-11-17 | Aisin Aw Co., Ltd. | Navigation system for vehicles |
US6185503B1 (en) * | 1996-05-31 | 2001-02-06 | Xanavi Informatics Corporation | Navigation system |
KR980011011A (ko) * | 1996-07-29 | 1998-04-30 | 배순훈 | 음성 인식모듈을 이용한 카-오디오 제어장치 및 그 제어방법 |
KR100260760B1 (ko) * | 1996-07-31 | 2000-07-01 | 모리 하루오 | 터치패널을 병설한 정보표시장치 |
-
1999
- 1999-05-06 WO PCT/IL1999/000238 patent/WO1999057648A1/en active IP Right Grant
- 1999-05-06 JP JP2000547554A patent/JP2002513969A/ja active Pending
- 1999-05-06 DE DE69938344T patent/DE69938344T2/de not_active Expired - Lifetime
- 1999-05-06 AU AU37267/99A patent/AU3726799A/en not_active Abandoned
- 1999-05-06 AT AT99919504T patent/ATE389211T1/de not_active IP Right Cessation
- 1999-05-06 KR KR1020007012387A patent/KR100754497B1/ko not_active IP Right Cessation
- 1999-05-06 CN CN99806469A patent/CN1302409A/zh active Pending
- 1999-05-06 IL IL13938199A patent/IL139381A0/xx unknown
- 1999-05-06 EP EP99919504A patent/EP1082671B1/en not_active Expired - Lifetime
-
2005
- 2005-12-07 US US11/295,495 patent/US7113857B2/en not_active Expired - Lifetime
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009301301A (ja) * | 2008-06-12 | 2009-12-24 | Tokai Rika Co Ltd | 入力装置及び入力方法 |
JP2009301302A (ja) * | 2008-06-12 | 2009-12-24 | Tokai Rika Co Ltd | ジェスチャ判定装置 |
JP2013503396A (ja) * | 2009-08-28 | 2013-01-31 | ロベルト ボッシュ ゲーエムベーハー | 自動車用のジェスチャーに基づいた情報およびコマンドの入力 |
JP2015038747A (ja) * | 2009-08-28 | 2015-02-26 | ロベルト ボッシュ ゲーエムベーハー | 自動車用のジェスチャーに基づいた情報およびコマンドの入力 |
JP2017076408A (ja) * | 2009-08-28 | 2017-04-20 | ロベルト ボッシュ ゲーエムベーハー | 自動車用のジェスチャーに基づいた情報およびコマンドの入力 |
WO2017034313A1 (ko) * | 2015-08-27 | 2017-03-02 | 한국생산기술연구원 | 암레스트 인터페이스 시스템 |
Also Published As
Publication number | Publication date |
---|---|
EP1082671A4 (en) | 2002-02-13 |
US20060085115A1 (en) | 2006-04-20 |
EP1082671B1 (en) | 2008-03-12 |
EP1082671A1 (en) | 2001-03-14 |
KR100754497B1 (ko) | 2007-09-03 |
DE69938344T2 (de) | 2009-01-22 |
KR20010071217A (ko) | 2001-07-28 |
IL139381A0 (en) | 2001-11-25 |
US7113857B2 (en) | 2006-09-26 |
AU3726799A (en) | 1999-11-23 |
WO1999057648A1 (en) | 1999-11-11 |
ATE389211T1 (de) | 2008-03-15 |
CN1302409A (zh) | 2001-07-04 |
DE69938344D1 (de) | 2008-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002513969A (ja) | 車両のコンポーネントの手書きおよび音声制御 | |
US7158871B1 (en) | Handwritten and voice control of vehicle components | |
US12069199B2 (en) | Mode changing of a mobile communication device and vehicle settings when the mobile communications device is in proximity to a vehicle | |
US7702130B2 (en) | User interface apparatus using hand gesture recognition and method thereof | |
US20050216271A1 (en) | Speech dialogue system for controlling an electronic device | |
JP2004505322A (ja) | 遠隔操作系のユーザーインターフェイス | |
JP5413321B2 (ja) | 通信システム、車載端末、および携帯端末 | |
WO2005042314A1 (en) | System and method for selecting a user speech profile for a device in a vehicle | |
CN110770693A (zh) | 手势操作装置及手势操作方法 | |
JP2005215694A (ja) | 対話を実行する方法および対話システム | |
CN107436680B (zh) | 用于切换车载设备的应用模式的方法和设备 | |
KR20070008615A (ko) | 특히 차량을 위해, 목록 항목과 정보 시스템 또는엔터테인먼트 시스템을 선택하는 방법 | |
CN109804429A (zh) | 机动车中的多模式对话 | |
CN112040442A (zh) | 交互方法、移动终端、车载终端及计算机可读存储介质 | |
US20050035855A1 (en) | Voice command system for remote control and monitoring of home networked devices | |
JP2003114698A (ja) | コマンド受付装置及びプログラム | |
CN106379262B (zh) | 一种带语音识别控制的车载蓝牙麦克风 | |
JP2000322078A (ja) | 車載型音声認識装置 | |
JP3731499B2 (ja) | 音声認識制御装置、及び車載用情報処理装置 | |
JP2001042891A (ja) | 音声認識装置、音声認識搭載装置、音声認識搭載システム、音声認識方法、及び記憶媒体 | |
CN106335436B (zh) | 一种集成麦克风的内后视镜 | |
CN115593496A (zh) | 一种面向高级别智能驾驶汽车的方向盘及其操作系统 | |
JP2020514171A (ja) | 自動車運転者の支援のための方法及び装置 | |
CN111583918A (zh) | 语音控制方法、车载终端及车辆 | |
JP2002335342A (ja) | 車両用通信装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080327 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080626 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080703 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081120 |