JP2016532146A - 音声動作式機能にキーワードモデルを割り当てるための方法および装置 - Google Patents
音声動作式機能にキーワードモデルを割り当てるための方法および装置 Download PDFInfo
- Publication number
- JP2016532146A JP2016532146A JP2016525380A JP2016525380A JP2016532146A JP 2016532146 A JP2016532146 A JP 2016532146A JP 2016525380 A JP2016525380 A JP 2016525380A JP 2016525380 A JP2016525380 A JP 2016525380A JP 2016532146 A JP2016532146 A JP 2016532146A
- Authority
- JP
- Japan
- Prior art keywords
- keyword
- model
- electronic device
- sound
- input sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 230000004044 response Effects 0.000 claims abstract description 73
- 238000004891 communication Methods 0.000 claims abstract description 57
- 230000006870 function Effects 0.000 claims description 174
- 238000001514 detection method Methods 0.000 claims description 137
- 230000003213 activating effect Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 235000013351 cheese Nutrition 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000012790 confirmation Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 235000019800 disodium phosphate Nutrition 0.000 description 4
- 101000574648 Homo sapiens Retinoid-inducible serine carboxypeptidase Proteins 0.000 description 3
- 102100025483 Retinoid-inducible serine carboxypeptidase Human genes 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 241000207961 Sesamum Species 0.000 description 2
- 235000003434 Sesamum indicum Nutrition 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
- Telephone Function (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
[0001]本出願は、同一出願人が所有する、2013年7月8日に出願された米国仮特許出願第61/843,650号、および2014年12月10日に出願された米国非仮特許出願第14/101,869号の優先権を主張し、それらの各々の内容の全体が参照により本明細書に明確に組み込まれる。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
[C1]
電子デバイスにおいて、複数のターゲットキーワードからなるリストを受信することと、前記リストが通信ネットワークを介して受信される、
前記複数のターゲットキーワードからなる前記リストから特定のターゲットキーワードを選択することと、
前記通信ネットワークを介して、前記特定のターゲットキーワードに関するキーワードモデルを受信することと、
前記電子デバイスの機能に、前記電子デバイスにおいて受信された入力音において前記キーワードモデルに基づいて前記特定のターゲットキーワードを検出したことに応答して前記機能が実行されるように前記特定のターゲットキーワードを割り当てることとを備える方法。
[C2]
応答音データを受信することをさらに備え、ここにおいて前記電子デバイスは、前記入力音において前記特定のターゲットキーワードを検出したことに応答して、前記応答音データに基づいて応答音を出力する、C1に記載の方法。
[C3]
前記キーワードモデルは、前記キーワードモデルと互換性情報とを含むキーワードデータファイルにおいて受信され、前記方法は、
前記互換性情報に基づいて、前記キーワードデータファイルが前記電子デバイスのキーワード検出ユニットとの互換性があるかどうかを決定することと、
前記キーワードデータファイルが前記キーワード検出ユニットとの互換性がある場合に、前記キーワードデータファイルから前記キーワードモデルを抽出し、前記抽出されたキーワードモデルを記憶することとをさらに備える、C1に記載の方法。
[C4]
前記キーワードデータファイルが前記キーワード検出ユニットとの互換性がない場合に、前記キーワードモデルの第2のバージョンをダウンロードすることと、ここにおいて、前記キーワードモデルの前記第2のバージョンが前記キーワード検出ユニットとの互換性がある、前記キーワードモデルの前記第2のバージョンを記憶することとをさらに備える、C3に記載の方法。
[C5]
前記キーワードデータファイルが前記キーワード検出ユニットとの互換性がない場合に、
前記通信ネットワークを介してサーバに、前記電子デバイス、前記キーワード検出ユニット、または両方を記述している情報を送ることと、ここにおいて、前記サーバが前記情報に基づいて前記キーワードモデルの第2のバージョンを選択し、ここにおいて、前記キーワードモデルの前記第2のバージョンが前記キーワード検出ユニットとの互換性がある、
前記サーバから前記キーワードモデルの前記第2のバージョンを受信することと、
前記キーワードモデルの前記第2のバージョンを記憶することとをさらに備える、C3に記載の方法。
[C6]
前記キーワードデータファイルが前記キーワード検出ユニットとの互換性がない場合に、前記キーワードモデルを第2のバージョンに変換することと、ここにおいて、前記キーワードモデルの前記第2のバージョンが前記キーワード検出ユニットとの互換性がある、前記キーワードモデルの前記第2のバージョンを記憶することとをさらに備える、C3に記載の方法。
[C7]
前記機能に前記特定のターゲットキーワードを割り当てることは、合成キーワードモデルを形成するために、前記キーワードモデルを、第2の特定のターゲットキーワードに関連する少なくとも1つの他のキーワードモデルと合成することを備え、ここにおいて前記第2の特定のターゲットキーワードは、前記電子デバイスの少なくとも1つの他の機能に関連付けられる、C1に記載の方法。
[C8]
前記入力音を受信することと、
前記合成キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出したことに応答して、前記機能を実行することと、
前記合成キーワードモデルに基づいて前記入力音において前記第2の特定のターゲットキーワードを検出したことに応答して、前記少なくとも1つの他の機能を実行することとをさらに備える、C7に記載の方法。
[C9]
前記キーワードモデルはアプリケーションファイルにおいて受信され、前記方法は、前記アプリケーションファイルから前記キーワードモデルを抽出することをさらに備え、ここにおいて前記特定のターゲットキーワードが割り当てられる前記機能は、アプリケーションをアクティブ化することを含む、C1に記載の方法。
[C10]
前記特定のターゲットキーワードに関連する音声トーンモデルを受信することをさらに備え、ここにおいて前記音声トーンモデルは、前記電子デバイスによって出力された音声の音声トーンを修正するように適合される、C1に記載の方法。
[C11]
前記音声トーンモデルは、テキストから変換された音声の前記音声トーンを修正するように適合され、前記方法は、
前記入力音を受信することと、
前記キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出することと、
前記入力音において前記特定のターゲットキーワードが検出された場合に、前記特定のターゲットキーワードに関連する前記音声トーンモデルに基づいて、前記テキストから変換された前記音声の前記音声トーンを修正することとをさらに備える、C10に記載の方法。
[C12]
前記入力音を受信することと、
前記キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出することと、
前記入力音において前記特定のターゲットキーワードが検出された場合に、前記機能を実行することとをさらに備える、C1に記載の方法。
[C13]
前記機能は、音声アシスタントをアクティブ化すること、カメラをアクティブ化すること、音楽プレーヤをアクティブ化すること、ボイスレコーダをアクティブ化すること、写真を撮ること、および前記電子デバイスをロック解除することのうちの1つである、C1に記載の方法。
[C14]
前記キーワードモデルは、ユーザ固有ではなく、前記特定のターゲットキーワードの言語のすべての音素よりも少ない音素をモデル化するための情報を含む、C1に記載の方法。
[C15]
複数のターゲットキーワードからなるリストから特定のターゲットキーワードを選択する入力を受信するためのユーザインターフェースユニットと、
通信ネットワークを介して、前記特定のターゲットキーワードに関するキーワードモデルを受信するように構成されたダウンロード管理ユニットと、
前記電子デバイスの機能に、前記電子デバイスにおいて受信された入力音において前記キーワードモデルに基づいて前記特定のターゲットキーワードを検出したことに応答して前記機能が実行されるように前記特定のターゲットキーワードを割り当てるように構成されたキーワード設定ユニットとを備える電子デバイス。
[C16]
前記ダウンロード管理ユニットは、前記入力音における前記特定のターゲットキーワードの検出を示す応答音を生成するために応答音データを受信するようにさらに構成される、C15に記載の電子デバイス。
[C17]
前記入力音を受信するように構成された音センサーと、
前記キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出するように構成されたキーワード検出ユニットと、
前記入力音において前記特定のターゲットキーワードが検出されたときに、前記特定のターゲットキーワードに関連する前記応答音データに基づいて前記応答音を生成するように構成された機能管理ユニットとをさらに備える、C16に記載の電子デバイス。
[C18]
前記ダウンロード管理ユニットは、テキストから変換された音声の音声トーンを修正するように適合された音声トーンモデルを受信するようにさらに構成される、C15に記載の電子デバイス。
[C19]
前記入力音を受信するように構成された音センサーと、
前記キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出するように構成されたキーワード検出ユニットと、
前記入力音において前記特定のターゲットキーワードを検出したことに応答して、前記音声トーンモデルに基づいて、前記テキストから変換された前記音声の前記音声トーンを修正するように構成されたTTS(テキスト音声)変換ユニットとをさらに備える、C18に記載の電子デバイス。
[C20]
前記キーワード設定ユニットは、合成キーワードモデルを形成するために、前記キーワードモデルを、第2の特定のターゲットキーワードに関連する少なくとも1つの他のキーワードモデルと合成するようにさらに構成され、ここにおいて前記第2の特定のターゲットキーワードは、前記電子デバイスの少なくとも1つの他の機能に関連付けられる、C15に記載の電子デバイス。
[C21]
前記入力音を受信するように構成された音センサーと、
前記合成キーワードモデルに基づいて前記入力音においてキーワードを検出するように構成されたキーワード検出ユニットと、
前記合成キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードが検出されたときに、前記機能を実行し、前記合成キーワードモデルに基づいて前記入力音において前記第2の特定のターゲットキーワードが検出されたときに、前記少なくとも1つの他の機能を実行するように構成された機能管理ユニットとをさらに備える、C20に記載の電子デバイス。
[C22]
前記ダウンロード管理ユニットは、前記通信ネットワークを介して、アプリケーションファイルを受信するように構成され、ここにおいて前記アプリケーションファイルは、前記特定のターゲットキーワードに関する前記キーワードモデルを含み、前記電子デバイスは、前記アプリケーションファイルから前記キーワードモデルを抽出するように構成された抽出ユニットをさらに備え、ここにおいて前記キーワード設定ユニットは、前記アプリケーションに、前記キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出したことに応答して前記アプリケーションをアクティブ化するために前記特定のターゲットキーワードを割り当てるように構成される、C15に記載の電子デバイス。
[C23]
前記入力音を受信するように構成された音センサーと、
前記キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出するように構成されたキーワード検出ユニットと、
前記入力音において前記特定のターゲットキーワードを検出したことに応答して、前記アプリケーションをアクティブ化するように構成された機能管理ユニットとをさらに備える、C22に記載の電子デバイス。
[C24]
前記入力音を受信するように構成された音センサーと、
前記キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出するように構成されたキーワード検出ユニットと、
前記入力音において前記特定のターゲットキーワードを検出したことに応答して前記機能を実行するように構成された機能管理ユニットとをさらに備える、C15に記載の電子デバイス。
[C25]
複数のターゲットキーワードからなるリストから特定のターゲットキーワードを選択する入力を受信するための手段と、
通信ネットワークを介して、前記特定のターゲットキーワードに関するキーワードモデルを受信するための手段と、
機能に、前記電子デバイスにおいて受信された入力音において前記キーワードモデルに基づいて前記特定のターゲットキーワードを検出したことに応答して前記機能が実行されるように前記特定のターゲットキーワードを割り当てるための手段とを備える電子デバイス。
[C26]
前記キーワードモデルを受信するための前記手段は、応答音データを受信するように構成され、前記電子デバイスは、
前記入力音を受信するための手段と、
前記キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出するための手段と、
前記入力音において前記特定のターゲットキーワードを検出したことに応答して、前記特定のターゲットキーワードに関連する前記応答音データに基づいて応答音を生成するための手段とをさらに備える、C25に記載の電子デバイス。
[C27]
前記キーワードモデルは、前記キーワードモデルと互換性情報とを含むキーワードデータファイルにおいて受信され、前記電子デバイスは、
前記入力音においてキーワードを検出するための手段と、
前記互換性情報に基づいて、前記キーワードデータファイルが、前記入力音においてキーワードを検出するための前記手段との互換性があるかどうかを決定するための手段と、
前記キーワードデータファイルが、前記入力音においてキーワードを検出するための前記手段との互換性がある場合に、前記キーワードデータファイルから前記キーワードモデルを抽出するための手段とをさらに備える、C25に記載の電子デバイス。
[C28]
前記キーワードモデルを受信するための前記手段は、前記キーワードデータファイルが、前記入力音においてキーワードを検出するための前記手段との互換性がない場合に、前記キーワードモデルの第2のバージョンを受信するように構成される、C27に記載の電子デバイス。
[C29]
機能にターゲットキーワードを割り当てるための命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令が、
電子デバイスにおいて、複数のターゲットキーワードからなるリストを受信することと、前記リストが通信ネットワークを介して受信される、
前記複数のターゲットキーワードからなる前記リストから特定のターゲットキーワードを選択することと、
前記通信ネットワークを介して、前記特定のターゲットキーワードに関するキーワードモデルを受信することと、
前記電子デバイスの機能に、前記電子デバイスにおいて受信された入力音において前記キーワードモデルに基づいて前記特定のターゲットキーワードを検出したことに応答して前記機能が実行されるように前記特定のターゲットキーワードを割り当てることとを行う動作をプロセッサに実行させる、非一時的コンピュータ可読記憶媒体。
[C30]
前記キーワードモデルは、ユーザ固有ではなく、前記特定のターゲットキーワードの言語のすべての音素よりも少ない音素をモデル化するための情報を含む、C29に記載の非一時的コンピュータ可読記憶媒体。
Claims (30)
- 電子デバイスにおいて、複数のターゲットキーワードからなるリストを受信することと、前記リストが通信ネットワークを介して受信される、
前記複数のターゲットキーワードからなる前記リストから特定のターゲットキーワードを選択することと、
前記通信ネットワークを介して、前記特定のターゲットキーワードに関するキーワードモデルを受信することと、
前記電子デバイスの機能に、前記電子デバイスにおいて受信された入力音において前記キーワードモデルに基づいて前記特定のターゲットキーワードを検出したことに応答して前記機能が実行されるように前記特定のターゲットキーワードを割り当てることと
を備える方法。 - 応答音データを受信することをさらに備え、ここにおいて前記電子デバイスは、前記入力音において前記特定のターゲットキーワードを検出したことに応答して、前記応答音データに基づいて応答音を出力する、請求項1に記載の方法。
- 前記キーワードモデルは、前記キーワードモデルと互換性情報とを含むキーワードデータファイルにおいて受信され、前記方法は、
前記互換性情報に基づいて、前記キーワードデータファイルが前記電子デバイスのキーワード検出ユニットとの互換性があるかどうかを決定することと、
前記キーワードデータファイルが前記キーワード検出ユニットとの互換性がある場合に、前記キーワードデータファイルから前記キーワードモデルを抽出し、前記抽出されたキーワードモデルを記憶することと
をさらに備える、請求項1に記載の方法。 - 前記キーワードデータファイルが前記キーワード検出ユニットとの互換性がない場合に、前記キーワードモデルの第2のバージョンをダウンロードすることと、ここにおいて、前記キーワードモデルの前記第2のバージョンが前記キーワード検出ユニットとの互換性がある、前記キーワードモデルの前記第2のバージョンを記憶することとをさらに備える、請求項3に記載の方法。
- 前記キーワードデータファイルが前記キーワード検出ユニットとの互換性がない場合に、
前記通信ネットワークを介してサーバに、前記電子デバイス、前記キーワード検出ユニット、または両方を記述している情報を送ることと、ここにおいて、前記サーバが前記情報に基づいて前記キーワードモデルの第2のバージョンを選択し、ここにおいて、前記キーワードモデルの前記第2のバージョンが前記キーワード検出ユニットとの互換性がある、
前記サーバから前記キーワードモデルの前記第2のバージョンを受信することと、
前記キーワードモデルの前記第2のバージョンを記憶することと
をさらに備える、請求項3に記載の方法。 - 前記キーワードデータファイルが前記キーワード検出ユニットとの互換性がない場合に、前記キーワードモデルを第2のバージョンに変換することと、ここにおいて、前記キーワードモデルの前記第2のバージョンが前記キーワード検出ユニットとの互換性がある、前記キーワードモデルの前記第2のバージョンを記憶することとをさらに備える、請求項3に記載の方法。
- 前記機能に前記特定のターゲットキーワードを割り当てることは、合成キーワードモデルを形成するために、前記キーワードモデルを、第2の特定のターゲットキーワードに関連する少なくとも1つの他のキーワードモデルと合成することを備え、ここにおいて前記第2の特定のターゲットキーワードは、前記電子デバイスの少なくとも1つの他の機能に関連付けられる、請求項1に記載の方法。
- 前記入力音を受信することと、
前記合成キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出したことに応答して、前記機能を実行することと、
前記合成キーワードモデルに基づいて前記入力音において前記第2の特定のターゲットキーワードを検出したことに応答して、前記少なくとも1つの他の機能を実行することと
をさらに備える、請求項7に記載の方法。 - 前記キーワードモデルはアプリケーションファイルにおいて受信され、前記方法は、前記アプリケーションファイルから前記キーワードモデルを抽出することをさらに備え、ここにおいて前記特定のターゲットキーワードが割り当てられる前記機能は、アプリケーションをアクティブ化することを含む、請求項1に記載の方法。
- 前記特定のターゲットキーワードに関連する音声トーンモデルを受信することをさらに備え、ここにおいて前記音声トーンモデルは、前記電子デバイスによって出力された音声の音声トーンを修正するように適合される、請求項1に記載の方法。
- 前記音声トーンモデルは、テキストから変換された音声の前記音声トーンを修正するように適合され、前記方法は、
前記入力音を受信することと、
前記キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出することと、
前記入力音において前記特定のターゲットキーワードが検出された場合に、前記特定のターゲットキーワードに関連する前記音声トーンモデルに基づいて、前記テキストから変換された前記音声の前記音声トーンを修正することと
をさらに備える、請求項10に記載の方法。 - 前記入力音を受信することと、
前記キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出することと、
前記入力音において前記特定のターゲットキーワードが検出された場合に、前記機能を実行することと
をさらに備える、請求項1に記載の方法。 - 前記機能は、音声アシスタントをアクティブ化すること、カメラをアクティブ化すること、音楽プレーヤをアクティブ化すること、ボイスレコーダをアクティブ化すること、写真を撮ること、および前記電子デバイスをロック解除することのうちの1つである、請求項1に記載の方法。
- 前記キーワードモデルは、ユーザ固有ではなく、前記特定のターゲットキーワードの言語のすべての音素よりも少ない音素をモデル化するための情報を含む、請求項1に記載の方法。
- 複数のターゲットキーワードからなるリストから特定のターゲットキーワードを選択する入力を受信するためのユーザインターフェースユニットと、
通信ネットワークを介して、前記特定のターゲットキーワードに関するキーワードモデルを受信するように構成されたダウンロード管理ユニットと、
前記電子デバイスの機能に、前記電子デバイスにおいて受信された入力音において前記キーワードモデルに基づいて前記特定のターゲットキーワードを検出したことに応答して前記機能が実行されるように前記特定のターゲットキーワードを割り当てるように構成されたキーワード設定ユニットと
を備える電子デバイス。 - 前記ダウンロード管理ユニットは、前記入力音における前記特定のターゲットキーワードの検出を示す応答音を生成するために応答音データを受信するようにさらに構成される、請求項15に記載の電子デバイス。
- 前記入力音を受信するように構成された音センサーと、
前記キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出するように構成されたキーワード検出ユニットと、
前記入力音において前記特定のターゲットキーワードが検出されたときに、前記特定のターゲットキーワードに関連する前記応答音データに基づいて前記応答音を生成するように構成された機能管理ユニットと
をさらに備える、請求項16に記載の電子デバイス。 - 前記ダウンロード管理ユニットは、テキストから変換された音声の音声トーンを修正するように適合された音声トーンモデルを受信するようにさらに構成される、請求項15に記載の電子デバイス。
- 前記入力音を受信するように構成された音センサーと、
前記キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出するように構成されたキーワード検出ユニットと、
前記入力音において前記特定のターゲットキーワードを検出したことに応答して、前記音声トーンモデルに基づいて、前記テキストから変換された前記音声の前記音声トーンを修正するように構成されたTTS(テキスト音声)変換ユニットと
をさらに備える、請求項18に記載の電子デバイス。 - 前記キーワード設定ユニットは、合成キーワードモデルを形成するために、前記キーワードモデルを、第2の特定のターゲットキーワードに関連する少なくとも1つの他のキーワードモデルと合成するようにさらに構成され、ここにおいて前記第2の特定のターゲットキーワードは、前記電子デバイスの少なくとも1つの他の機能に関連付けられる、請求項15に記載の電子デバイス。
- 前記入力音を受信するように構成された音センサーと、
前記合成キーワードモデルに基づいて前記入力音においてキーワードを検出するように構成されたキーワード検出ユニットと、
前記合成キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードが検出されたときに、前記機能を実行し、前記合成キーワードモデルに基づいて前記入力音において前記第2の特定のターゲットキーワードが検出されたときに、前記少なくとも1つの他の機能を実行するように構成された機能管理ユニットと
をさらに備える、請求項20に記載の電子デバイス。 - 前記ダウンロード管理ユニットは、前記通信ネットワークを介して、アプリケーションファイルを受信するように構成され、ここにおいて前記アプリケーションファイルは、前記特定のターゲットキーワードに関する前記キーワードモデルを含み、前記電子デバイスは、前記アプリケーションファイルから前記キーワードモデルを抽出するように構成された抽出ユニットをさらに備え、ここにおいて前記キーワード設定ユニットは、アプリケーションに、前記キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出したことに応答して前記アプリケーションをアクティブ化するために前記特定のターゲットキーワードを割り当てるように構成される、請求項15に記載の電子デバイス。
- 前記入力音を受信するように構成された音センサーと、
前記キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出するように構成されたキーワード検出ユニットと、
前記入力音において前記特定のターゲットキーワードを検出したことに応答して、前記アプリケーションをアクティブ化するように構成された機能管理ユニットと
をさらに備える、請求項22に記載の電子デバイス。 - 前記入力音を受信するように構成された音センサーと、
前記キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出するように構成されたキーワード検出ユニットと、
前記入力音において前記特定のターゲットキーワードを検出したことに応答して前記機能を実行するように構成された機能管理ユニットと
をさらに備える、請求項15に記載の電子デバイス。 - 複数のターゲットキーワードからなるリストから特定のターゲットキーワードを選択する入力を受信するための手段と、
通信ネットワークを介して、前記特定のターゲットキーワードに関するキーワードモデルを受信するための手段と、
機能に、前記電子デバイスにおいて受信された入力音において前記キーワードモデルに基づいて前記特定のターゲットキーワードを検出したことに応答して前記機能が実行されるように前記特定のターゲットキーワードを割り当てるための手段と
を備える電子デバイス。 - 前記キーワードモデルを受信するための前記手段は、応答音データを受信するように構成され、前記電子デバイスは、
前記入力音を受信するための手段と、
前記キーワードモデルに基づいて前記入力音において前記特定のターゲットキーワードを検出するための手段と、
前記入力音において前記特定のターゲットキーワードを検出したことに応答して、前記特定のターゲットキーワードに関連する前記応答音データに基づいて応答音を生成するための手段と
をさらに備える、請求項25に記載の電子デバイス。 - 前記キーワードモデルは、前記キーワードモデルと互換性情報とを含むキーワードデータファイルにおいて受信され、前記電子デバイスは、
前記入力音においてキーワードを検出するための手段と、
前記互換性情報に基づいて、前記キーワードデータファイルが、前記入力音においてキーワードを検出するための前記手段との互換性があるかどうかを決定するための手段と、
前記キーワードデータファイルが、前記入力音においてキーワードを検出するための前記手段との互換性がある場合に、前記キーワードデータファイルから前記キーワードモデルを抽出するための手段と
をさらに備える、請求項25に記載の電子デバイス。 - 前記キーワードモデルを受信するための前記手段は、前記キーワードデータファイルが、前記入力音においてキーワードを検出するための前記手段との互換性がない場合に、前記キーワードモデルの第2のバージョンを受信するように構成される、請求項27に記載の電子デバイス。
- 機能にターゲットキーワードを割り当てるための命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令が、
電子デバイスにおいて、複数のターゲットキーワードからなるリストを受信することと、前記リストが通信ネットワークを介して受信される、
前記複数のターゲットキーワードからなる前記リストから特定のターゲットキーワードを選択することと、
前記通信ネットワークを介して、前記特定のターゲットキーワードに関するキーワードモデルを受信することと、
前記電子デバイスの機能に、前記電子デバイスにおいて受信された入力音において前記キーワードモデルに基づいて前記特定のターゲットキーワードを検出したことに応答して前記機能が実行されるように前記特定のターゲットキーワードを割り当てることと
を行う動作をプロセッサに実行させる、非一時的コンピュータ可読記憶媒体。 - 前記キーワードモデルは、ユーザ固有ではなく、前記特定のターゲットキーワードの言語のすべての音素よりも少ない音素をモデル化するための情報を含む、請求項29に記載の非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361843650P | 2013-07-08 | 2013-07-08 | |
US61/843,650 | 2013-07-08 | ||
US14/101,869 US9786296B2 (en) | 2013-07-08 | 2013-12-10 | Method and apparatus for assigning keyword model to voice operated function |
US14/101,869 | 2013-12-10 | ||
PCT/US2014/045193 WO2015006116A1 (en) | 2013-07-08 | 2014-07-02 | Method and apparatus for assigning keyword model to voice operated function |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016532146A true JP2016532146A (ja) | 2016-10-13 |
JP2016532146A5 JP2016532146A5 (ja) | 2017-12-21 |
JP6373985B2 JP6373985B2 (ja) | 2018-08-15 |
Family
ID=52133403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016525380A Active JP6373985B2 (ja) | 2013-07-08 | 2014-07-02 | 音声動作式機能にキーワードモデルを割り当てるための方法および装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9786296B2 (ja) |
EP (1) | EP3020040B1 (ja) |
JP (1) | JP6373985B2 (ja) |
KR (1) | KR101922782B1 (ja) |
CN (1) | CN105340006B (ja) |
WO (1) | WO2015006116A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019109510A (ja) * | 2017-12-18 | 2019-07-04 | ネイバー コーポレーションNAVER Corporation | 複数のウェイクワードを利用して人工知能機器を制御する方法およびシステム |
JP2019120935A (ja) * | 2017-12-28 | 2019-07-22 | ネイバー コーポレーションNAVER Corporation | 人工知能機器で複数のウェイクワードを利用したサービス提供方法およびそのシステム |
US10964317B2 (en) | 2017-07-05 | 2021-03-30 | Baidu Online Network Technology (Beijing) Co., Ltd. | Voice wakeup method, apparatus and system, cloud server and readable medium |
US11574632B2 (en) | 2018-04-23 | 2023-02-07 | Baidu Online Network Technology (Beijing) Co., Ltd. | In-cloud wake-up method and system, terminal and computer-readable storage medium |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10770075B2 (en) * | 2014-04-21 | 2020-09-08 | Qualcomm Incorporated | Method and apparatus for activating application by speech input |
CN105404625A (zh) * | 2014-09-03 | 2016-03-16 | 富泰华工业(深圳)有限公司 | 应用程序的查找方法与系统 |
US9805714B2 (en) * | 2016-03-22 | 2017-10-31 | Asustek Computer Inc. | Directional keyword verification method applicable to electronic device and electronic device using the same |
CN105845125B (zh) * | 2016-05-18 | 2019-05-03 | 百度在线网络技术(北京)有限公司 | 语音合成方法和语音合成装置 |
US10276161B2 (en) * | 2016-12-27 | 2019-04-30 | Google Llc | Contextual hotwords |
CN106898352B (zh) * | 2017-02-27 | 2020-09-25 | 联想(北京)有限公司 | 语音控制方法及电子设备 |
CN110349572B (zh) * | 2017-05-27 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 一种语音关键词识别方法、装置、终端及服务器 |
CN109151155B (zh) * | 2017-06-27 | 2021-03-23 | 北京搜狗科技发展有限公司 | 一种通信处理方法、装置及机器可读介质 |
CN107221332A (zh) * | 2017-06-28 | 2017-09-29 | 上海与德通讯技术有限公司 | 机器人的交互方法及系统 |
KR102361458B1 (ko) * | 2018-01-25 | 2022-02-10 | 삼성전자주식회사 | 사용자 발화 응답 방법 및 이를 지원하는 전자 장치 |
KR20190114321A (ko) | 2018-03-29 | 2019-10-10 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US11500655B2 (en) | 2018-08-22 | 2022-11-15 | Microstrategy Incorporated | Inline and contextual delivery of database content |
US11714955B2 (en) | 2018-08-22 | 2023-08-01 | Microstrategy Incorporated | Dynamic document annotations |
US11682390B2 (en) * | 2019-02-06 | 2023-06-20 | Microstrategy Incorporated | Interactive interface for analytics |
KR20200099380A (ko) * | 2019-02-14 | 2020-08-24 | 삼성전자주식회사 | 음성 인식 서비스를 제공하는 방법 및 그 전자 장치 |
KR20240067283A (ko) * | 2019-07-17 | 2024-05-16 | 구글 엘엘씨 | 음향 기반 디지털 어시스턴트 애플리케이션에서 트리거 키워드를 검증하는 시스템 및 방법 |
KR102433964B1 (ko) * | 2019-09-30 | 2022-08-22 | 주식회사 오투오 | 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템 |
KR20210044606A (ko) | 2019-10-15 | 2021-04-23 | 삼성전자주식회사 | 웨이크업 모델 생성 방법 및 이를 위한 전자 장치 |
KR20210045241A (ko) | 2019-10-16 | 2021-04-26 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 음성 명령어 공유 방법 |
KR20210094251A (ko) * | 2020-01-21 | 2021-07-29 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어방법 |
CN115334030B (zh) * | 2022-08-08 | 2023-09-19 | 阿里健康科技(中国)有限公司 | 语音消息显示方法及装置 |
WO2024072036A1 (ko) * | 2022-09-30 | 2024-04-04 | 삼성전자 주식회사 | 음성인식 장치 및 음성인식 장치의 동작방법 |
US12007870B1 (en) | 2022-11-03 | 2024-06-11 | Vignet Incorporated | Monitoring and adjusting data collection from remote participants for health research |
US11790107B1 (en) | 2022-11-03 | 2023-10-17 | Vignet Incorporated | Data sharing platform for researchers conducting clinical trials |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004164466A (ja) * | 2002-11-15 | 2004-06-10 | Sony Corp | 情報更新システム、情報処理装置および情報更新方法 |
JP2009169470A (ja) * | 2008-01-10 | 2009-07-30 | Nissan Motor Co Ltd | 情報案内システムおよびその認識辞書データベース更新方法 |
JP2009537037A (ja) * | 2006-05-12 | 2009-10-22 | ニュアンス コミュニケーションズ オーストリア ゲーエムベーハー | 第1の適応化データ処理バージョンから第2の適応化データ処理バージョンに切り替えるための方法 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5054082A (en) | 1988-06-30 | 1991-10-01 | Motorola, Inc. | Method and apparatus for programming devices to recognize voice commands |
JPH1078952A (ja) | 1996-07-29 | 1998-03-24 | Internatl Business Mach Corp <Ibm> | 音声合成方法、音声合成装置、ハイパーテキストの制御方法及び制御装置 |
US6092192A (en) * | 1998-01-16 | 2000-07-18 | International Business Machines Corporation | Apparatus and methods for providing repetitive enrollment in a plurality of biometric recognition systems based on an initial enrollment |
US6128482A (en) * | 1998-12-22 | 2000-10-03 | General Motors Corporation | Providing mobile application services with download of speaker independent voice model |
US6442519B1 (en) | 1999-11-10 | 2002-08-27 | International Business Machines Corp. | Speaker model adaptation via network of similar users |
US7219058B1 (en) * | 2000-10-13 | 2007-05-15 | At&T Corp. | System and method for processing speech recognition results |
US6885735B2 (en) * | 2001-03-29 | 2005-04-26 | Intellisist, Llc | System and method for transmitting voice input from a remote location over a wireless data channel |
US20030005412A1 (en) * | 2001-04-06 | 2003-01-02 | Eanes James Thomas | System for ontology-based creation of software agents from reusable components |
US20030007609A1 (en) * | 2001-07-03 | 2003-01-09 | Yuen Michael S. | Method and apparatus for development, deployment, and maintenance of a voice software application for distribution to one or more consumers |
US6810378B2 (en) | 2001-08-22 | 2004-10-26 | Lucent Technologies Inc. | Method and apparatus for controlling a speech synthesis system to provide multiple styles of speech |
US7054817B2 (en) * | 2002-01-25 | 2006-05-30 | Canon Europa N.V. | User interface for speech model generation and testing |
WO2003073417A2 (en) | 2002-02-26 | 2003-09-04 | Sap Aktiengesellschaft | Intelligent personal assistants |
US7099825B1 (en) | 2002-03-15 | 2006-08-29 | Sprint Communications Company L.P. | User mobility in a voice recognition environment |
JP3667332B2 (ja) | 2002-11-21 | 2005-07-06 | 松下電器産業株式会社 | 標準モデル作成装置及び標準モデル作成方法 |
US7437294B1 (en) * | 2003-11-21 | 2008-10-14 | Sprint Spectrum L.P. | Methods for selecting acoustic model for use in a voice command platform |
EP1844464B1 (en) | 2005-02-03 | 2013-06-26 | Nuance Communications, Inc. | Methods and apparatus for automatically extending the voice-recognizer vocabulary of mobile communications devices |
US7706510B2 (en) | 2005-03-16 | 2010-04-27 | Research In Motion | System and method for personalized text-to-voice synthesis |
JP4843987B2 (ja) * | 2005-04-05 | 2011-12-21 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US7949529B2 (en) * | 2005-08-29 | 2011-05-24 | Voicebox Technologies, Inc. | Mobile systems and methods of supporting natural language human-machine interactions |
US7941316B2 (en) * | 2005-10-28 | 2011-05-10 | Microsoft Corporation | Combined speech and alternate input modality to a mobile device |
US8234120B2 (en) * | 2006-07-26 | 2012-07-31 | Nuance Communications, Inc. | Performing a safety analysis for user-defined voice commands to ensure that the voice commands do not cause speech recognition ambiguities |
US7689417B2 (en) | 2006-09-04 | 2010-03-30 | Fortemedia, Inc. | Method, system and apparatus for improved voice recognition |
US7831431B2 (en) * | 2006-10-31 | 2010-11-09 | Honda Motor Co., Ltd. | Voice recognition updates via remote broadcast signal |
US8886537B2 (en) | 2007-03-20 | 2014-11-11 | Nuance Communications, Inc. | Method and system for text-to-speech synthesis with personalized voice |
US20090132920A1 (en) * | 2007-11-20 | 2009-05-21 | Microsoft Corporation | Community-based software application help system |
US8255224B2 (en) * | 2008-03-07 | 2012-08-28 | Google Inc. | Voice recognition grammar selection based on context |
US8626511B2 (en) * | 2010-01-22 | 2014-01-07 | Google Inc. | Multi-dimensional disambiguation of voice commands |
US8468012B2 (en) * | 2010-05-26 | 2013-06-18 | Google Inc. | Acoustic model adaptation using geographic information |
US9484018B2 (en) * | 2010-11-23 | 2016-11-01 | At&T Intellectual Property I, L.P. | System and method for building and evaluating automatic speech recognition via an application programmer interface |
JP5494468B2 (ja) * | 2010-12-27 | 2014-05-14 | 富士通株式会社 | 状態検出装置、状態検出方法および状態検出のためのプログラム |
DE112011105407T5 (de) * | 2011-07-05 | 2014-04-30 | Mitsubishi Electric Corporation | Spracherkennungsvorrichtung und Navigationsvorrichtung |
US20130085753A1 (en) * | 2011-09-30 | 2013-04-04 | Google Inc. | Hybrid Client/Server Speech Recognition In A Mobile Device |
WO2013050958A1 (en) * | 2011-10-07 | 2013-04-11 | Predictive Analytics Solutions Pvt.Ltd. | A method and a system to generate a user interface for analytical models |
JP2013254483A (ja) * | 2012-05-11 | 2013-12-19 | Ricoh Co Ltd | 情報処理装置、情報処理装置の制御プログラム、画像形成装置 |
US20150088523A1 (en) * | 2012-09-10 | 2015-03-26 | Google Inc. | Systems and Methods for Designing Voice Applications |
US8935167B2 (en) * | 2012-09-25 | 2015-01-13 | Apple Inc. | Exemplar-based latent perceptual modeling for automatic speech recognition |
US8719229B1 (en) * | 2012-10-12 | 2014-05-06 | Autodesk, Inc. | Cloud platform for managing design data |
EP2987312B1 (en) * | 2013-04-15 | 2020-08-19 | Cerence Operating Company | System and method for acoustic echo cancellation |
WO2014188512A1 (ja) * | 2013-05-21 | 2014-11-27 | 三菱電機株式会社 | 音声認識装置、認識結果表示装置および表示方法 |
-
2013
- 2013-12-10 US US14/101,869 patent/US9786296B2/en active Active
-
2014
- 2014-07-02 EP EP14742119.2A patent/EP3020040B1/en active Active
- 2014-07-02 WO PCT/US2014/045193 patent/WO2015006116A1/en active Application Filing
- 2014-07-02 CN CN201480034623.9A patent/CN105340006B/zh active Active
- 2014-07-02 KR KR1020167002208A patent/KR101922782B1/ko active IP Right Grant
- 2014-07-02 JP JP2016525380A patent/JP6373985B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004164466A (ja) * | 2002-11-15 | 2004-06-10 | Sony Corp | 情報更新システム、情報処理装置および情報更新方法 |
JP2009537037A (ja) * | 2006-05-12 | 2009-10-22 | ニュアンス コミュニケーションズ オーストリア ゲーエムベーハー | 第1の適応化データ処理バージョンから第2の適応化データ処理バージョンに切り替えるための方法 |
JP2009169470A (ja) * | 2008-01-10 | 2009-07-30 | Nissan Motor Co Ltd | 情報案内システムおよびその認識辞書データベース更新方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10964317B2 (en) | 2017-07-05 | 2021-03-30 | Baidu Online Network Technology (Beijing) Co., Ltd. | Voice wakeup method, apparatus and system, cloud server and readable medium |
JP2019109510A (ja) * | 2017-12-18 | 2019-07-04 | ネイバー コーポレーションNAVER Corporation | 複数のウェイクワードを利用して人工知能機器を制御する方法およびシステム |
JP2019120935A (ja) * | 2017-12-28 | 2019-07-22 | ネイバー コーポレーションNAVER Corporation | 人工知能機器で複数のウェイクワードを利用したサービス提供方法およびそのシステム |
US11574632B2 (en) | 2018-04-23 | 2023-02-07 | Baidu Online Network Technology (Beijing) Co., Ltd. | In-cloud wake-up method and system, terminal and computer-readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
KR101922782B1 (ko) | 2018-11-27 |
EP3020040A1 (en) | 2016-05-18 |
US9786296B2 (en) | 2017-10-10 |
KR20160030199A (ko) | 2016-03-16 |
CN105340006A (zh) | 2016-02-17 |
WO2015006116A9 (en) | 2015-05-21 |
US20150012279A1 (en) | 2015-01-08 |
JP6373985B2 (ja) | 2018-08-15 |
WO2015006116A1 (en) | 2015-01-15 |
CN105340006B (zh) | 2019-05-03 |
EP3020040B1 (en) | 2018-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6373985B2 (ja) | 音声動作式機能にキーワードモデルを割り当てるための方法および装置 | |
US12010597B2 (en) | Routing queries based on carrier phrase registration | |
CN106663430B (zh) | 使用用户指定关键词的说话者不相依关键词模型的关键词检测 | |
CN107210033B (zh) | 基于众包来更新用于数字个人助理的语言理解分类器模型 | |
US11031011B2 (en) | Electronic device and method for determining electronic device to perform speech recognition | |
KR101649771B1 (ko) | 발성 처리를 위한 인식기들의 마크업 언어 기반 선택 및 이용 | |
US8682640B2 (en) | Self-configuring language translation device | |
WO2018133307A1 (zh) | 一种实现语音控制的方法和终端 | |
US20150193199A1 (en) | Tracking music in audio stream | |
CN111312233A (zh) | 一种语音数据的识别方法、装置及系统 | |
KR20190122457A (ko) | 음성 인식을 수행하는 전자 장치 및 전자 장치의 동작 방법 | |
US9224388B2 (en) | Sound recognition method and system | |
US11948564B2 (en) | Information processing device and information processing method | |
CN112148754A (zh) | 一种歌曲识别方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170605 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171102 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20171102 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20171211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180619 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180718 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6373985 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |