JP2002513969A - 車両のコンポーネントの手書きおよび音声制御 - Google Patents

車両のコンポーネントの手書きおよび音声制御

Info

Publication number
JP2002513969A
JP2002513969A JP2000547554A JP2000547554A JP2002513969A JP 2002513969 A JP2002513969 A JP 2002513969A JP 2000547554 A JP2000547554 A JP 2000547554A JP 2000547554 A JP2000547554 A JP 2000547554A JP 2002513969 A JP2002513969 A JP 2002513969A
Authority
JP
Japan
Prior art keywords
command
signal
command data
recognition
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000547554A
Other languages
English (en)
Other versions
JP2002513969A5 (ja
Inventor
イラン,ガブリエル
ギロー,ベンジャミン
カドシュ,アリー
Original Assignee
エイアールティー−アドヴァンスト・レコグニション・テクノロジーズ・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エイアールティー−アドヴァンスト・レコグニション・テクノロジーズ・リミテッド filed Critical エイアールティー−アドヴァンスト・レコグニション・テクノロジーズ・リミテッド
Publication of JP2002513969A publication Critical patent/JP2002513969A/ja
Publication of JP2002513969A5 publication Critical patent/JP2002513969A5/ja
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Complex Calculations (AREA)
  • Details Of Indoor Wiring (AREA)

Abstract

(57)【要約】 車両などにおいて使用する認識システム(20)は、手書き信号および音声信号を受け取るための手書き認識装置(44)と音声認識装置(38)とを含み、これらの信号は、多種の車両機器を操作するために使用されるコマンドと関連付けけられる。かかる機器は、自動車アラーム(32)、電動ウインドウ、パーソナル・コンピュータ(28)、ナビゲーション・システム(26)、オーディオ機器(30)および遠隔通信機器(24)を含むが、これらには限定されない。

Description

【発明の詳細な説明】
【0001】 発明の分野 本発明は一般に手書きおよび音声認識システムに関し、特に、車両において使
用する手書きおよび音声認識システムに関する。
【0002】 発明の背景 音声認識システムは、電子装置にコマンド(コマンド)を与えるために多様な
アプリケーションにおいて利用されてきた。最近、そのような音声認識システム
を採用して、運転手が車両搭載型のセル式電話や電動ウィンドウなどの自動車の
機器を制御することを可能にすることが試みられている。このようなアプリケー
ションにより、運転手が運転中に、機器ではなく道路に目を向け続けることを可
能とし、運転手がより安全に運転できるようにする。しかし、かかるシステムは
、特に、高速運転中に窓が開いているときに、車両内部などの環境に存在する環
境ノイズによって悪影響を受ける。したがって、車両環境ノイズによって影響を
受けず、運転手が道路に目を向け続けることを可能にする車両機器制御が必要と
されている。
【0003】 発明の概要 本発明の目的は、運転手が運転中に自動車機器を安全に操作できるようにする
ことである。運転手が自動車機器を操作しているときに、運転手が道路から目を
離す必要をなくし、運転手がハンドルやシフトレバーから手を離す必要をなくす
システムを提供する。
【0004】 本発明の更なる目的は、改良されたコマンド認識システムを使用して、車両機
器の操作を単純化することである。 本発明の更に別の目的は、ノイズ環境において使用できるコマンド認識システ
ムを提供することである。
【0005】 本発明の別の目的は、異なったユーザによって使用されるときに、コマンド認
識システムを単純化することである。 本発明の利点は、手書きの認識と音声の認識とを組み合わせて、ノイズ環境に
おいて実施することが現在では困難である、スピーカから独立した音声認識技術
に対する必要性を排除することである。
【0006】 本発明の更なる利点は、コマンドを供給する手書き認識が自動車のノイズ環境
によって影響されないことである。 本発明の更に別の利点は、車両内の他者によって発せられるノイズから独立し
たコマンド認識動作を提供することである。
【0007】 本発明の特徴は、装置が、音声コマンドおよび手書きコマンドの両方によって
動作させることができ、短いテキスト・メッセージを送信するときに、パーソナ
ル・コンピュータやセル式電話などの精巧な機器に対して使用可能なコマンド・
セットを増加することである。
【0008】 本発明の更なる特徴は、手書き認識とスピーカ依存認識との組み合わせを提供
して、車両環境における作業に望ましい、高い認識信頼性を達成することである
【0009】 本発明の更なる特徴は、ユーザの声紋(voice print)の特徴および署名(サ
イン)の特徴の両方を使用して、ユーザのアイデンティティを二重に確認するこ
とである。
【0010】 本発明は、改良されたユーザ・インターフェース装置において実施され、コマ
ンド・データ・セットを有するコマンド認識モジュールを含む車両内の少なくと
も1つの機器を制御する。コマンド認識モジュールは、手書き信号および音声信
号を受け取り、その手書き信号および音声信号をコマンド・データ・セットと関
連付けて、少なくとも1つのコマンドが前記の少なくとも1つの機器によって使
用されるようにする。コマンド認識モジュールは、更に、手書き信号および/ま
たは音声信号の少なくとも1つを、少なくとも1つのコマンドと関連付けると、
コマンド信号シーケンスを生成するようにされている。主モジュールは、コマン
ド認識モジュールと動作可能に接続し、コマンド信号を少なくとも1つの機器へ
中継するように動作する。機器インターフェースは、少なくとも1つの機器と主
モジュールとの間に接続し、コマンド信号を機器へ中継するように適合されてい
る。
【0011】 コマンド認識モジュールは更に、マイクロフォンと、マイクロフォンに動作可
能に接続される音声認識装置とを含み、音声信号を受け取り、音声信号の少なく
とも1つを少なくとも1つのコマンドと関連付けるとコマンド信号を生成する。
更に、タッチパッドと該タッチパッドに動作可能に接続された手書き認識装置と
を含み、手書き信号を受け取り、手書き信号の少なくとも1つを少なくとも1つ
のコマンドと関連付けるとコマンド信号を生成する。手書き信号は、手書き文字
、単語、数字、走り書き、または、三次元的ジェスチャを含むユーザが手や指で
行うことができるあらゆるジェスチャを含んでもよく、それに応じて、タッチパ
ッドを、ジョイスティック、三次元マウスなどのような、任意の種類の手または
指に応答する入力装置、あるいは頭の動きなどのような人間の意思伝達方法に適
合可能な、他の任意の既知の身体部分応答型の入力装置に置き換えることができ
る。スピーカは、運転手にフィードバックを与えるために、コマンド認識または
主モジュールの何れかに接続される。フィードバックは、実行前の認識されたコ
マンドの再生、および/または録音音声または既知のテキスト音声(TTS)技
術などの合成音声を使用した会話メニューの形式であってもよい。視覚的フィー
ドバックを生成するために、フロントガラス上に設けた透明ディスプレイを使用
してもよい。代替的に、文字や数字を入力した後、および/または入力シーケン
スが完了した後に(たとえば、単語、電話番号)、その入力を再生したり表示し
たりしてもよい。本発明の他の特徴および利点は、図面および発明の詳細な説明
を検討すれば明らかになるであろう。
【0012】 本発明は、付属の図面を参照しながら以下の詳細な説明を読むことにより、更
に完全に理解および評価されるであろう。 本発明の詳細な説明 例示を目的とした図面を参照すると、本発明はコマンド認識装置20(図1)
において実施され、当該技術分野において知られている手書き認識技術の使用を
通じての手書きコマンドを使用することにより、概念的にハンドル18によって
表した車両などにおける電子機器の操作を可能にする。既知の音声認識技術を更
に手書き認識技術と組み合わせて、かかる電子機器、システムまたは装置と対話
する信頼性があり確固とした方法を提供することができる。電子機器22は、セ
ル式電話24、グローバル・ポジショニング・システム(GPS)・ナビゲーシ
ョン・システム26、パーソナル・コンピュータ(PC)28、ラジオ30、警
報(アラーム)システム32、電動ウィンドウ(図示せず)、サンルーフ(図示
せず)などを含むが、これらに限定されない。
【0013】 図2を参照すると、機器22は機器インターフェース34を介して装置20に
接続している。機器インターフェース34は、1または複数の機器あるいは1種
類または複数種類の機器と共に使用するように適合されるのが好ましく、機器の
ハードウエア基準および/またはその遠隔操作用のソフトウエア・プロトコルと
一致するように適合されてもよい。ハードウエアおよび/またはソフトウエアに
おいて実施されるインターフェース・モジュール34は、機器が電気コネクタ3
6を介して接続する物理的モジュールである。インターフェース34は、各機器
へ送られるコマンドを選択する主プログラム・モジュール35によって制御され
る。インターフェース・モジュール34は、機器と通信するために必要とされる
適正な電圧および電流も生成する。例えば、ユーザがRS232プロトコルを介
してPCと通信することを望めば、主プログラム・モジュール35によって生成
されたデジタル・コマンドの、実際の+/−12ボルトのパルスへの変換(RS
232プロトコルによって要求される)が、インターフェース・モジュール34
によって行われる。機器のそれぞれに対応するコマンド・セットは、主プログラ
ム・モジュール35によって維持される。かかるインターフェースの適合性の例
は、娯楽システムと共に使用する従来の汎用遠隔制御装置において見いだされ、
そこでは、遠隔制御装置は、機器と協働するようにユーザによって調整されるこ
とがあり、かつ/または既知の機器とかかる機器に対応する特定のコマンドのラ
イブラリを含む。後者の場合、ユーザは、機器に対応するコマンドのライブラリ
を選択する。機器とインターフェースとの間の接続リード線36は様々であり、
ワイヤ接続、赤外線接続、シリアル接続、またはバス接続を含むが、これらに限
定されるものではない。代替的な実施形態においては、機器はインターフェース
・モジュール34を備えて組み立てられ、任意の数の従来のインターフェース構
成を含むことができる。
【0014】 装置20は、好適には、マイクロフォン42に接続された音声認識装置38と
、ライティング・パッド46に接続された手書き認識装置44とを含む。ここで
使用されているコマンド認識とは、手書き認識装置エンジンまたは音声認識装置
エンジンによって認識され、次に、コマンド信号と関連付けられたコマンド・デ
ータ・セットに含まれる予めプログラムされたコマンドと突き合わせされる、手
書きまたは口頭(話された)でのコマンド信号を意味する。
【0015】 音声認識装置38は、マイクロフォン42を介して音声コマンドを受け取り、
装置20が接続されている機器に合わせて作成された既知の音声コマンド・リス
ト内の一致する音声コマンドを捜す。マイクロフォンは、車両のコンソール、サ
ンバイザー、または運転手または他の乗客からの音声コマンドを好適に受け取る
のに適した任意の場所に配置することができる。音声コマンドは、セル式電話を
介するなどのように、外部マイクロフォンを介して入力されてもよく、あるいは
、そうでなければ、この譲受人の同時係属中の米国特許出願第/002,616
号に記載されたような音声認識装置に入力されてもよい。この同時係属中の米国
特許出願をここに参照として援用する。かかる音声コマンドは、ユーザによって
調整され、かつ/または機器の種類に特定のコマンドの予め調整したライブラリ
に設けてもよいことが、理解されるであろう。
【0016】 手書き認識装置44は、手書き(ハンドライティング)パッド46を介してユ
ーザによって供給された記号を受け取る。手書きパッド46は、ハンドル上また
はシフトレバー上などのような、運転手に便利な位置に設けることが好ましい。
代替的に、手書きコマンドは、装置20に接続されたラップトップのタッチパッ
ドなどのような、外部タッチパッドを介して入力されてもよい。この目的に適し
た種類の手書き認識装置は、米国特許第5,659,633号および第5,77
4,582号、ならびに米国特許出願第08/528293号、第08/418
530号、第08/282187号および第08/878741号に開示されて
おり、これらを参照としてここに援用する。機器コマンドに対応する手書きの記
号はユーザによって調整され、かつ/または予め調整されたアプリケーション特
定的コマンド・ライブラリにおいて提供されてもよいことが、理解されるであろ
う。
【0017】 当業者には、コマンド認識モジュール用のコマンドライブラリが、音声ダイア
ル、番号ダイアル、eメール受領、警報(アラーム)システム操作などに関連す
るコマンドなどのような、セル式電話またはパーソナル・コンピュータなどのよ
うな装置と共に使用するように適合されたコマンドの標準的セットを含んでもよ
いことが、理解されるであろう。
【0018】 主プログラム・モジュール35は、機器インターフェース34と認識モジュー
ル38および44との間におけるコマンドの転送と分配とを制御するインターフ
ェースを提供する。装置20は、ライター差込口に接続されるか又は自動車バッ
テリに直接接続されるかの、直接接続を介して自動車の電圧50から電力を引き
込むことが好ましい。代替的に、装置20はDCバッテリで独立して動作しても
よい。
【0019】 スイッチ52は、動作モードとセットアップ/調整モード(training mode)
との間での装置の切り替えを可能にするために含まれている。主プログラム・モ
ジュール35の機能は、選択された機器に対しての適切なコマンドを生成するた
めに、認識モジュール38および44を組み合わせて調整することである。認識
または動作モードに入った後の最初のコマンドは、ユーザが制御を望む機器を識
別することに関連すべきである。代替的に、デフォールトの機器、またはシステ
ムのシャットダウンの前に最後に使用した機器を使用するようにしてもよい。機
器の選択に続いて、主プログラム・モジュール35は、選択された機器に切り替
え、音声認識装置38および/または手書き認識装置44によって認識されたコ
マンドを、その特定の機器へ送る。主プログラム・モジュール35の役割は、ユ
ーザによって与えられた認識されたコマンドと、選択された機器に対する適切な
機器コマンドとを関連付けることである。
【0020】 音声認識装置38および手書き認識装置44は、コマンドのライブラリ内で一
致する音声コマンドまたは手書きコマンドを捜す。それぞれの機器に対して個別
のライブラリがあることが好ましい。機器が一旦選択されると、主プログラム・
モジュール35は、通常は音声に対して1つと手書きに対して1つの、適切なコ
マンドライブラリをロードするように認識装置に命令する。代替的には、幾つか
のライブラリがロードされて、認識装置は、一致するコマンドの検索のときにど
のライブラリを使用すべきかを通知される。それに続いて、入力信号を受け取る
と、認識装置は、認識された機器コマンドの識別子を主プログラム・モジュール
35へ送る。この識別子と選択された機器とが与えられると、主モジュールはコ
マンドを解釈して、それを機器インターフェース34を介して選択された機器へ
送る。セル式電話をピックアップするなどのようなグローバル・コマンドを可能
にするために、現在どのような機器が選択されていようとも認識可能な、音声/
手書き信号もある。これらの信号表現が、認識装置により使用される各ライブラ
リ又はグローバル・ライブラリにロードされ、他のどの機器によっても使用され
ない独自の識別子を有し、主プログラム・モジュール35が常にそれらを解釈で
きるようにされる。更に、「二重確認モード」を提供し、このモードでは、主プ
ログラム・モジュール35が、両方の認識装置が同じコマンドに対応する識別子
を返したことを確認し、返していなければコマンドを拒否する。ノイズの存在下
でシステムの有効性を増すために、許容範囲レベルを設定してもよい。例えば、
音声認識装置38は、1つだけの識別子ではなく、幾つかの最もよく一致する識
別子を送り返すようにすることができる。これらの識別子の1つが手書き認識装
置44から返された識別子に対応すれば、これは受入可能な確認とみなすことが
できる。また、2つのコマンドが同時に入力されることを可能にするために「適
合モード」も設ける。例えば、ユーザが「ラジオ」と言って「5」を書くと、装
置は直ちにラジオのスイッチを入れて放送局5を選択する。更に、ユーザの音声
の特徴および手書きの特徴のそれぞれに基づいて動作する既知のユーザ確認モー
ドではなく、これらの特徴の組み合わせに基づく「ユーザ確認/認証モード」を
設ける。ユーザは、認識されたコマンドが受け取られて機器に送られたことを示
すフィードバックを、ラウドスピーカ40を介して装置20から受け取ることが
できる。
【0021】 同じ手書きジェスチャや口頭によるコマンドが、選択される装置に応じて、主
プログラム・モジュール35によって解釈されるときに異なった意味を持つ場合
があることが理解されるであろう。例えば、口頭で言われた単語「アップ(up
)」は、「電動ウインドウ」が選択されていれば「窓を閉める」を意味するが、
ラジオをつけているときには「ボリュームを上げる」を意味するというようにで
きることが理解される。更に、手書きジェスチャまたは口頭によるコマンドが、
一度に1つより多くの機器を動作させるようにもでき、それによって、1つの口
頭/手書きジェスチャが一連のコマンドと関連付けられている「マクロ」能力を
提供できることが理解される。例えば、ユーザが「ジルの設定」と言えば、それ
に応じて装置20は、座席、ミラーおよびハンドルを調節し、ラジオのスイッチ
を入れ、ジルの好みの放送局をにチューンする。
【0022】 機器インターフェース34、コマンド認識モジュール38および44、および
主プログラム・モジュール35は、リアルタイムに認識機能を遂行するのに適し
且つコマンドライブラリを記憶することができるCPUとメモリとを有する何れ
の従来のハードウエア・プラットフォーム上でも動作することができる。プログ
ラミング・ロジックは、任意の種類の不揮発性メモリ、例えば、フラッシュ・メ
モリやEPROMなどのようなメモリ・チップに記憶することができる。オプシ
ョンで、取り外し可能なメモリ・モジュール(図示せず)にコマンド・ライブラ
リを含めるようにして、ユーザが従来のPC上で調整を行うことを可能にしたり
、特定化されたニーズに合わされた機器に特定的なライブラリを提供するように
してもよい。これらのライブラリは、RS232などの通信プロトコルを使用し
てPCから装置20へロードされてもよい。この目的のための形式のCPUおよ
びメモリの構成は、日立(Hitachi)から購入可能なH8/3040マイクロコ
ントローラ、およびアドバンスト・マイクロ・デバイセス(Advanced Micro Dev
ices)から購入可能なAMD29F800フラッシュ・メモリを含む。
【0023】 好適な実施形態においては、装置20は2つの主要な動作モード、即ち、認識
モードと調整モードとを有する。動作モードと調整(training、訓練)モードと
の間の切り換えは、スイッチ52によって制御される。スイッチを使用したモー
ド間の切り換え方法は様々であってよい。例えば、ユーザが認識モードに入りた
い場合に、スイッチを1回押して動作モードに入り、装置20が口頭によるコマ
ンドまたは書かれたコマンドを受け付け可能とするようにできる。ユーザが新た
なコマンドのために装置20を調整(train、訓練)したいのであれば、スイッ
チを素速く2回押して、主プログラムが調整モードへ切り替えるようにする。他
のグローバル・コマンドは、セル式電話を介しての会話を終了させたり、あるい
はコンピュータ上のアプリケーション・ウインドウを閉じるなどのために、スイ
ッチと関連付けることができる。動作モード。
【0024】 動作モードにある装置20は、マイクロフォン42を介して音声コマンドを受
け取る。マイクロフォン42は、人間の声を受け取って、それを電気信号に変換
する。この信号は、次に、音声認識装置38によって増幅されてデジタル化され
る。デジタル化の後に、音声認識装置38は処理ソフトウエアを利用して、音声
信号を処理し、メモリに常駐するライブラリ内の一致する音声コマンドを探すこ
とにより認識を行う。音声信号とライブラリからのコマンドとの関連付けに続い
て、音声認識装置38は、コマンド識別子を主プログラム・ソフトウエア・モジ
ュール35へ送り、主プログラム・ソフトウエア・モジュール35は、それを、
装置20の現在の入力状態(例えば、機器が選択されており、機器コマンドの入
力を待っている)に従って解釈し、コマンド・シーケンスを適切な機器へ送る。
認識モジュール38および44、または主プログラム・モジュール35がスピー
カ40を使用して、オプションとして、コマンド信号をコンピュータ生成の音声
信号または他の再生信号に変換し、ユーザに、音声信号が受け取られて適切に理
解された旨の指示としてのフィードバックを提供することができる。
【0025】 手書きコマンドはタッチパッドなどのライティング・パッド46を介して受け
取られて、特定の点が接触されると、その接触された点のXおよびY座標を送信
する。タッチパッドの場合には、入力は指で行うことができる。手書き認識装置
44は、タッチパッド上に書かれた文字、ジェスチャまたは単語を受け取り、予
め調整した文字、ジェスチャおよび単語のライブラリから手書きコマンドと一致
するものを探す。手書き認識装置44は、一致するものを一旦発見すると、主プ
ログラム・モジュール35に信号を送る。手書き認識ライブラリは、予め調整し
た英数字、ジェスチャおよび記号を含むようにし、ユーザがそれらを認識するよ
うに認識装置を調整しないでもよいようにすることが好ましい。しかし、ユーザ
は、ユーザに便利な記号を生成するオプションを有するようにし、それを機器コ
マンドとの関連付けるようにしてもよい。
【0026】 調整モード それぞれの認識装置38および44を調整(訓練)することは、口頭でのコマ
ンドまたは書かれた記号、ジェスチャ、単語、文字を、コマンドまたはコマンド
シーケンスと関連付けることを意味し、これは、かかる関係を装置20にプログ
ラムすることにより、機器の少なくとも1つによって理解される。例えば、「上
矢印」のジェスチャは「窓を閉める」を意味することができ、また、名前を口に
出して言うことにより、セル式電話を作動させてその人の電話番号をダイヤルさ
せることができるであろう。本発明に使用する機器の通信プロトコルは、通常、
装置20で予めプログラムされる。パーソナル・コンピュータまたは他の容易に
適合可能な計算装置を使用する場合には、本発明のものと通信するために、PC
内のソフトウエアが提供されることができる。このような場合には、可能なコマ
ンドの数は、ユーザによって使用されるソフトウエアと操作の型に左右される。
コマンドを操作と関連付けるために、ユーザは調整工程の一部としてコマンドを
プログラムすることができるであろう。警報器や窓などの機器を操作する場合に
は、装置20はこれらの機器を動作させる実際の信号を有していなければならな
い。機器の例。
【0027】 本発明の動作の典型的な例はラジオに関して見いだされ、その場合、ラジオ用
のコマンド・セット・ライブラリが装置20に合わせて予め調整されているか、
又は調整モードの間にユーザによって入力される。認識モードを選択した後に、
ユーザが「ラジオ」という単語を言う。すると主プログラム・モジュール35は
、全ての認識されたコマンドをラジオへ送る。次に、ユーザは数字「5」と書く
か又は声に出して言う。次に、主プログラムは認識した「5」を、ラジオによっ
て「放送局番号5へジャンプする」と理解されるデジタルコマンドに変換し、そ
れをインターフェース34を介してラジオへ送る。ユーザが行った各操作につい
てフィードバックが提供されてもよい。例えば、ユーザが「ラジオ」と言うと、
TTS技術を使用してラウドスピーカが「ラジオが作動」と言う。ユーザが「5
」と書くと、ラウドスピーカは「放送局5を選択」と言い、可能であればオプシ
ョンで放送局の名称を伝える。
【0028】 車両アラーム・システムを作動または作動停止するには、図3を更に参照する
と分かるように、ユーザは装置20を調整して、話されたおよび手書きされた両
方のパスワード、署名、および他のユーザ特定的信号特徴を学習させる。両方の
パスワードを認識した後にのみ、主プログラム・モジュール35はコマンドを送
ってアラーム・システムを作動または作動停止する。別の関連するアプリケーシ
ョンは、個人化されたコマンドおよび設定ライブラリを使用して、シートやミラ
ーなどの機器をユーザIDに応じて調整する機器を提供し、それによって、同じ
自動車の数人の運転手の誰にでも適応するようにする。
【0029】 カー・ナビゲーション・システムを操作するときに、ユーザは音声によってシ
ステムのメニューを操作して、道路の名前をタッチパッド上に書くことにより入
力することができる。
【0030】 本発明を数個の特定の実施形態を参照して説明してきたが、この説明は発明を
全体的に例示することを意図したものであり、本発明をここで示した実施形態に
限定するものとは解釈すべきではない。ここには特に示していないが、本発明の
真の精神および範囲内において、当業者は多様な変更を想起する場合があるもの
と理解される。
【図面の簡単な説明】
【図1】 本発明の好適な実施形態に従って構成され動作可能である、音声および手書き
認識システムの機能ブロック図である。
【図2】 本発明の好適な実施形態に従って構成され動作可能である、音声および手書き
認識システムの機能ブロック図である。
【図3】 本発明の好適な実施形態に従って構成され動作可能である、二重確認モードの
音声および手書き認識システムの機能ブロック図である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,SD,SL,SZ,UG,ZW),E A(AM,AZ,BY,KG,KZ,MD,RU,TJ ,TM),AE,AL,AM,AT,AU,AZ,BA ,BB,BG,BR,BY,CA,CH,CN,CU, CZ,DE,DK,EE,ES,FI,GB,GD,G E,GH,GM,HR,HU,ID,IL,IN,IS ,JP,KE,KG,KP,KR,KZ,LC,LK, LR,LS,LT,LU,LV,MD,MG,MK,M N,MW,MX,NO,NZ,PL,PT,RO,RU ,SD,SE,SG,SI,SK,SL,TJ,TM, TR,TT,UA,UG,US,UZ,VN,YU,Z A,ZW (72)発明者 カドシュ,アリー イスラエル国22426 ナハリア,レメズ・ ストリート 39/1 Fターム(参考) 5B056 BB28 HH05 5D015 AA01 AA04 BB02 KK02 5G357 AA05

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 車両内の少なくとも1つの機器を制御する装置であって、 コマンド・データ・セットを有するコマンド認識モジュールを備え、該コマン
    ド認識モジュールが、 手書き信号を受け取り、 前記少なくとも1つの機器を制御するために前記手書き信号を前記コマン
    ド・データセットの少なくとも1つのコマンドと関連付け、 前記コマンドと関連づけたコマンド信号を前記機器へ通信する ように適合された 装置。
  2. 【請求項2】 請求項1に記載の装置であって、前記コマンド認識モジュー
    ルは、マイクロフォンと該マイクロフォンに動作可能に接続された音声認識装置
    とを含み、 音声信号を受け取り、 前記少なくとも1つの機器を制御するために前記音声信号を前記コマンド・デ
    ータ・セットの前記少なくとも1つのコマンドと関連付ける、 装置。
  3. 【請求項3】 請求項1に記載の装置であって、前記コマンド認識モジュー
    ルは、タッチパッドと、前記手書き信号を受け取るために該タッチパッドに動作
    可能に接続された手書き認識装置とを含む装置。
  4. 【請求項4】 請求項1に記載の装置であって、前記コマンド認識モジュー
    ルは、 マイクロフォンおよび前記マイクロフォンに動作可能に接続された音声認識装
    置であって、 音声信号を受け取り、 前記少なくとも1つの機器を制御するために前記音声信号を前記コマンド
    ・データセットの前記少なくとも1つのコマンドと関連付ける マイクロフォンおよび音声認識装置を含み、 タッチパッドおよび前記手書き信号を受け取るために前記タッチパッドに動作
    可能に接続された手書き認識装置を含む、 装置。
  5. 【請求項5】 請求項1に記載の装置であって、 複数のコマンドを有する前記コマンド・データ・セットと、 前記コマンド認識モジュールに動作可能に接続され、前記コマンド信号を前記
    少なくとも1つの機器へ通信するように動作する主モジュールと を含む装置。
  6. 【請求項6】 請求項5に記載の装置であって、 前記少なくとも1つの機器と前記主モジュールとの間に接続され、前記コマン
    ド信号を前記機器へ通信するように適合されている機器インターフェースを含む
    装置。
  7. 【請求項7】 請求項6に記載の装置であって、 マイクロフォンおよび該マイクロフォンに動作可能に接続された音声認識装置
    であって、 音声信号を受け取り、 前記少なくとも1つの機器を制御するために前記音声信号を前記コマンド
    ・データセットの前記少なくとも1つのコマンドと関連付ける マイクロフォンおよび音声認識装置と、 タッチパッドおよび前記手書き信号を受け取るために前記タッチパッドに動作
    可能に接続された手書き認識装置と を含む装置。
  8. 【請求項8】 請求項7に記載の装置であって、前記コマンド・データ・セ
    ットは英数字を含む、装置。
  9. 【請求項9】 請求項7に記載の装置であって、前記コマンド・データ・セ
    ットは記号を含む、装置。
  10. 【請求項10】 請求項7に記載の装置であって、前記少なくとも1つの機
    器はセル式電話であり、前記コマンド・データ・セットはセル式電話コマンドお
    よび英数字を含む、装置。
  11. 【請求項11】 請求項7に記載の装置であって、前記少なくとも1つの機
    器はパーソナル・コンピュータであり、前記コマンド・データ・セットはコンピ
    ュータ命令および英数字を含む、装置。
  12. 【請求項12】 請求項7に記載の装置であって、前記コマンド・データ・
    セットは所定の音声信号のセットと関連付けられる、装置。
  13. 【請求項13】 請求項7に記載の装置であって、前記コマンド・データ・
    セットは所定の手書き信号のセットと関連付けられる、装置。
  14. 【請求項14】 請求項7に記載の装置であって、前記コマンド・データ・
    セットは、所定の手書き信号および音声信号のセットと関連付けられる、装置。
  15. 【請求項15】 請求項7に記載の装置であって、前記コマンド・データ・
    セットは、ユーザによって、少なくとも1つの音声信号と関連付けられる、装置
  16. 【請求項16】 請求項7に記載の装置であって、前記コマンド・データ・
    セットは、ユーザによって、少なくとも1つの手による信号と関連付けられる、
    装置。
  17. 【請求項17】 請求項7に記載の装置であって、前記コマンド・データ・
    セットは、前記ユーザによって変更可能な手書き信号および音声信号と関連付け
    られる、装置。
  18. 【請求項18】 請求項7に記載の装置であって、前記機器は自動車アラー
    ム装置である、装置。
  19. 【請求項19】 請求項7に記載の装置であって、前記装置は複数の機器に
    接続し、前記主モジュールおよび機器インターフェースは共になって働いて前記
    コマンド信号を前記機器へ分配する、装置。
  20. 【請求項20】 車両内の機器を制御する方法であって、 タッチパッドと、該タッチパッドに動作可能に接続された手書き認識装置とを
    含み、コマンド・データ・セットを有するコマンド認識モジュールを提供するス
    テップと、 手書き信号を受け取るステップと、 前記少なくとも1つの機器を制御するために前記手書き信号を前記コマンド・
    データ・セットの少なくとも1つのコマンドと関連付けるステップと、 前記コマンドと関連付けられたコマンド信号を前記機器へ通信するステップと を備える方法。
JP2000547554A 1998-05-07 1999-05-06 車両のコンポーネントの手書きおよび音声制御 Pending JP2002513969A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US8452098P 1998-05-07 1998-05-07
US60/084,520 1998-05-07
PCT/IL1999/000238 WO1999057648A1 (en) 1998-05-07 1999-05-06 Handwritten and voice control of vehicle components

Publications (2)

Publication Number Publication Date
JP2002513969A true JP2002513969A (ja) 2002-05-14
JP2002513969A5 JP2002513969A5 (ja) 2006-03-23

Family

ID=22185465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000547554A Pending JP2002513969A (ja) 1998-05-07 1999-05-06 車両のコンポーネントの手書きおよび音声制御

Country Status (10)

Country Link
US (1) US7113857B2 (ja)
EP (1) EP1082671B1 (ja)
JP (1) JP2002513969A (ja)
KR (1) KR100754497B1 (ja)
CN (1) CN1302409A (ja)
AT (1) ATE389211T1 (ja)
AU (1) AU3726799A (ja)
DE (1) DE69938344T2 (ja)
IL (1) IL139381A0 (ja)
WO (1) WO1999057648A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009301301A (ja) * 2008-06-12 2009-12-24 Tokai Rika Co Ltd 入力装置及び入力方法
JP2009301302A (ja) * 2008-06-12 2009-12-24 Tokai Rika Co Ltd ジェスチャ判定装置
JP2013503396A (ja) * 2009-08-28 2013-01-31 ロベルト ボッシュ ゲーエムベーハー 自動車用のジェスチャーに基づいた情報およびコマンドの入力
WO2017034313A1 (ko) * 2015-08-27 2017-03-02 한국생산기술연구원 암레스트 인터페이스 시스템

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2351202A (en) * 1999-05-18 2000-12-20 Vtech Communications Ltd Portable telephone with handwriting input surface
US7346374B2 (en) 1999-05-26 2008-03-18 Johnson Controls Technology Company Wireless communications system and method
EP1852836A3 (en) 1999-05-26 2011-03-30 Johnson Controls Technology Company Wireless communications system and method
GB2355055A (en) * 1999-10-09 2001-04-11 Rover Group A control system for a vehicle
US20010043234A1 (en) * 2000-01-03 2001-11-22 Mallik Kotamarti Incorporating non-native user interface mechanisms into a user interface
DE10006351A1 (de) * 2000-02-12 2001-08-16 Bosch Gmbh Robert Vorrichtung zum Abrufen von Informationen zur Funktion und Bedienung verschiedener Einrichtungen eines Kraftfahrzeugs
GB2360903B (en) 2000-03-30 2004-09-08 Mitel Corp Telephone with handwriting recognition
FR2808915B1 (fr) * 2000-05-15 2005-06-10 Nacam Dispositif de commande a distances d'organes ou d'equipements de vehicule automobile
JP2002062894A (ja) * 2000-08-17 2002-02-28 Daiichikosho Co Ltd 音声認識リモコン機能付きワイヤレスマイクロホン
US8706023B2 (en) 2008-01-04 2014-04-22 3D Radio Llc Multi-tuner radio systems and methods
US8868023B2 (en) 2008-01-04 2014-10-21 3D Radio Llc Digital radio systems and methods
AU2002247173A1 (en) 2001-02-20 2002-09-04 Caron S. Ellis Enhanced radio systems and methods
US8699995B2 (en) * 2008-04-09 2014-04-15 3D Radio Llc Alternate user interfaces for multi tuner radio device
US8909128B2 (en) * 2008-04-09 2014-12-09 3D Radio Llc Radio device with virtually infinite simultaneous inputs
US7916124B1 (en) 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
US20040260438A1 (en) * 2003-06-17 2004-12-23 Chernetsky Victor V. Synchronous voice user interface/graphical user interface
US7552221B2 (en) 2003-10-15 2009-06-23 Harman Becker Automotive Systems Gmbh System for communicating with a server through a mobile communication device
JP2005165733A (ja) * 2003-12-03 2005-06-23 Sony Corp 情報処理システム、遠隔操作装置および方法、制御装置および方法、プログラム、並びに記録媒体
US20050137877A1 (en) * 2003-12-17 2005-06-23 General Motors Corporation Method and system for enabling a device function of a vehicle
DE602004010054T2 (de) 2004-01-19 2008-03-06 Harman Becker Automotive Systems Gmbh Betätigung eines Sprachdialogsystems
EP1560199B1 (en) * 2004-01-29 2008-07-09 Harman Becker Automotive Systems GmbH Multimodal data input
DE602004017955D1 (de) 2004-01-29 2009-01-08 Daimler Ag Verfahren und System zur Sprachdialogschnittstelle
WO2005122130A2 (en) * 2004-06-03 2005-12-22 Leapfrog Enterprises, Inc. User created interactive interface
KR100709676B1 (ko) * 2004-06-08 2007-04-24 대한지적공사 음성인식 측량 시스템
DE102004030054A1 (de) * 2004-06-22 2006-01-12 Bayerische Motoren Werke Ag Verfahren zur sprecherabhängigen Spracherkennung in einem Kraftfahrzeug
TWM266618U (en) * 2004-07-19 2005-06-01 Behavior Tech Computer Corp Multiple output connection head with wireless data collection capability
KR100716438B1 (ko) * 2004-07-27 2007-05-10 주식회사 현대오토넷 차량용 텔레매틱스 시스템에서 음성 사용자 인터페이스를제공하는 장치 및 방법
US7295904B2 (en) * 2004-08-31 2007-11-13 International Business Machines Corporation Touch gesture based interface for motor vehicle
JP4351599B2 (ja) * 2004-09-03 2009-10-28 パナソニック株式会社 入力装置
KR100679042B1 (ko) * 2004-10-27 2007-02-06 삼성전자주식회사 음성인식 방법 및 장치, 이를 이용한 네비게이션 시스템
KR100692488B1 (ko) * 2005-06-09 2007-03-09 대성전기공업 주식회사 자동차의 제어 장치 및 그 제어 방법
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
EP1879000A1 (en) * 2006-07-10 2008-01-16 Harman Becker Automotive Systems GmbH Transmission of text messages by navigation systems
US9583096B2 (en) 2006-08-15 2017-02-28 Nuance Communications, Inc. Enhancing environment voice macros via a stackable save/restore state of an object within an environment controlled by voice commands for control of vehicle components
WO2009082378A2 (en) 2006-10-11 2009-07-02 Johnson Controls Technology Company Wireless network selection
KR100856919B1 (ko) * 2006-12-01 2008-09-05 한국전자통신연구원 제스처 기반 사용자 입력 방법 및 장치
JP4715805B2 (ja) * 2007-05-10 2011-07-06 トヨタ自動車株式会社 車載情報検索装置
US8700405B2 (en) * 2010-02-16 2014-04-15 Honeywell International Inc Audio system and method for coordinating tasks
CN104040620B (zh) * 2011-12-29 2017-07-14 英特尔公司 用于进行直接语法存取的装置和方法
KR101349515B1 (ko) * 2011-12-30 2014-01-16 대성전기공업 주식회사 차량 디스플레이 유니트 및 차량 디스플레이 유니트 제어 방법
WO2013128291A2 (en) * 2012-02-29 2013-09-06 Robert Bosch Gmbh Method of fusing multiple information sources in image-based gesture recognition system
BR112014028774B1 (pt) 2012-05-18 2022-05-10 Apple Inc Método, dispositivo eletrônico, meio de armazenamento legível por computador e aparelho de processamento de informações
EP3132434B1 (en) * 2014-04-18 2021-08-11 Gentex Corporation Trainable transceiver and cloud computing system architecture systems and methods
US10109219B2 (en) * 2015-04-16 2018-10-23 Robert Bosch Gmbh System and method for automated sign language recognition
US9530318B1 (en) 2015-07-28 2016-12-27 Honeywell International Inc. Touchscreen-enabled electronic devices, methods, and program products providing pilot handwriting interface for flight deck systems
DE102016212681A1 (de) * 2016-07-12 2018-01-18 Audi Ag Steuervorrichtung und Verfahren zum sprachbasierten Betreiben eines Kraftfahrzeugs
JP6964243B2 (ja) * 2017-07-25 2021-11-10 パナソニックIpマネジメント株式会社 配線器具システム、プログラム、音声制御システム及び中継システム
IT201900025528A1 (it) * 2019-12-24 2021-06-24 Piaggio & C Spa Metodo e sistema per impartire comandi vocali ad un motoveicolo
US11409410B2 (en) 2020-09-14 2022-08-09 Apple Inc. User input interfaces

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5870289A (ja) * 1981-10-22 1983-04-26 日産自動車株式会社 車載負荷の音声制御装置
DE3514438C1 (de) * 1985-04-20 1986-09-18 Porsche Ag Zentrale Bedienungsein- und Informationsausgabe fuer Zusatzgeraete von Fahrzeugen
US4827520A (en) * 1987-01-16 1989-05-02 Prince Corporation Voice actuated control system for use in a vehicle
US5033000A (en) * 1988-06-09 1991-07-16 Natco Corporation Variable keyed power distribution and control system for motorized wheelchair
EP0392411B2 (en) * 1989-04-14 1999-01-07 Hitachi, Ltd. A control apparatus for automobiles
JPH0326639U (ja) * 1989-07-25 1991-03-18
IL100198A (en) * 1991-11-29 1999-10-28 Art Advanced Recognition Tech Character recognition method
KR0126800B1 (ko) * 1993-12-30 1998-04-02 김광호 한글필기체 온라인 문자인식 장치 및 방법
DE69426919T2 (de) * 1993-12-30 2001-06-28 Xerox Corp Gerät und Verfahren zur Ausführung von vielen verkettenden Befehlsgesten in einen System mit Gestenbenutzerschnittstelle
KR950024564A (ko) 1994-01-31 1995-08-21 김광호 디지탈 영상기기에 있어서 영상신호 보간방법 및 회로
US5555502A (en) * 1994-05-11 1996-09-10 Geo Ventures Display and control apparatus for the electronic systems of a motor vehicle
EP0774731B1 (en) * 1995-01-04 2002-01-23 International Business Machines Corporation Cursor pointing device based on thin-film interference filters
KR970010366A (ko) * 1995-08-09 1997-03-27 한승준 차량 주변기기 음성인식 제어장치 및 제어방법
EP0803705B1 (en) * 1996-04-23 2004-11-17 Aisin Aw Co., Ltd. Navigation system for vehicles
US6185503B1 (en) * 1996-05-31 2001-02-06 Xanavi Informatics Corporation Navigation system
KR980011011A (ko) * 1996-07-29 1998-04-30 배순훈 음성 인식모듈을 이용한 카-오디오 제어장치 및 그 제어방법
KR100260760B1 (ko) * 1996-07-31 2000-07-01 모리 하루오 터치패널을 병설한 정보표시장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009301301A (ja) * 2008-06-12 2009-12-24 Tokai Rika Co Ltd 入力装置及び入力方法
JP2009301302A (ja) * 2008-06-12 2009-12-24 Tokai Rika Co Ltd ジェスチャ判定装置
JP2013503396A (ja) * 2009-08-28 2013-01-31 ロベルト ボッシュ ゲーエムベーハー 自動車用のジェスチャーに基づいた情報およびコマンドの入力
JP2015038747A (ja) * 2009-08-28 2015-02-26 ロベルト ボッシュ ゲーエムベーハー 自動車用のジェスチャーに基づいた情報およびコマンドの入力
JP2017076408A (ja) * 2009-08-28 2017-04-20 ロベルト ボッシュ ゲーエムベーハー 自動車用のジェスチャーに基づいた情報およびコマンドの入力
WO2017034313A1 (ko) * 2015-08-27 2017-03-02 한국생산기술연구원 암레스트 인터페이스 시스템

Also Published As

Publication number Publication date
EP1082671A4 (en) 2002-02-13
US20060085115A1 (en) 2006-04-20
EP1082671B1 (en) 2008-03-12
EP1082671A1 (en) 2001-03-14
KR100754497B1 (ko) 2007-09-03
DE69938344T2 (de) 2009-01-22
KR20010071217A (ko) 2001-07-28
IL139381A0 (en) 2001-11-25
US7113857B2 (en) 2006-09-26
AU3726799A (en) 1999-11-23
WO1999057648A1 (en) 1999-11-11
ATE389211T1 (de) 2008-03-15
CN1302409A (zh) 2001-07-04
DE69938344D1 (de) 2008-04-24

Similar Documents

Publication Publication Date Title
JP2002513969A (ja) 車両のコンポーネントの手書きおよび音声制御
US7158871B1 (en) Handwritten and voice control of vehicle components
US12069199B2 (en) Mode changing of a mobile communication device and vehicle settings when the mobile communications device is in proximity to a vehicle
US7702130B2 (en) User interface apparatus using hand gesture recognition and method thereof
US20050216271A1 (en) Speech dialogue system for controlling an electronic device
JP2004505322A (ja) 遠隔操作系のユーザーインターフェイス
JP5413321B2 (ja) 通信システム、車載端末、および携帯端末
WO2005042314A1 (en) System and method for selecting a user speech profile for a device in a vehicle
CN110770693A (zh) 手势操作装置及手势操作方法
JP2005215694A (ja) 対話を実行する方法および対話システム
CN107436680B (zh) 用于切换车载设备的应用模式的方法和设备
KR20070008615A (ko) 특히 차량을 위해, 목록 항목과 정보 시스템 또는엔터테인먼트 시스템을 선택하는 방법
CN109804429A (zh) 机动车中的多模式对话
CN112040442A (zh) 交互方法、移动终端、车载终端及计算机可读存储介质
US20050035855A1 (en) Voice command system for remote control and monitoring of home networked devices
JP2003114698A (ja) コマンド受付装置及びプログラム
CN106379262B (zh) 一种带语音识别控制的车载蓝牙麦克风
JP2000322078A (ja) 車載型音声認識装置
JP3731499B2 (ja) 音声認識制御装置、及び車載用情報処理装置
JP2001042891A (ja) 音声認識装置、音声認識搭載装置、音声認識搭載システム、音声認識方法、及び記憶媒体
CN106335436B (zh) 一种集成麦克风的内后视镜
CN115593496A (zh) 一种面向高级别智能驾驶汽车的方向盘及其操作系统
JP2020514171A (ja) 自動車運転者の支援のための方法及び装置
CN111583918A (zh) 语音控制方法、车载终端及车辆
JP2002335342A (ja) 車両用通信装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080327

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080626

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080703

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081120