JP2022033744A - IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 - Google Patents
IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 Download PDFInfo
- Publication number
- JP2022033744A JP2022033744A JP2021180172A JP2021180172A JP2022033744A JP 2022033744 A JP2022033744 A JP 2022033744A JP 2021180172 A JP2021180172 A JP 2021180172A JP 2021180172 A JP2021180172 A JP 2021180172A JP 2022033744 A JP2022033744 A JP 2022033744A
- Authority
- JP
- Japan
- Prior art keywords
- iot
- client device
- notification
- client
- devices
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
- G10L17/22—Interactive procedures; Man-machine interfaces
- G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/30—Control
- G16Y40/35—Management of things, i.e. controlling in accordance with a policy or in order to achieve specified objectives
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Automation & Control Theory (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Selective Calling Equipment (AREA)
- Computer And Data Communications (AREA)
- User Interface Of Digital Computer (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Alarm Systems (AREA)
Abstract
Description
イアントデバイスおよび/または遠隔の自動化アシスタント構成要素)は、口頭の発話を処理し、口頭の発話の処理に基づいて、および、音声入力の自動監視中に口頭の発話を検出したことに基づいて、さらなるアシスタントのアクションを実行する。たとえば、自動化アシスタントは、口頭の発話の音声テキスト変換を実行することにより生成されたテキストに基づいて、および、音声入力の監視中に口頭の発話を検出したことに基づいて推測された値に基づいて、さらなるアシスタントのアクションを生成することができる。推測された値は、クライアントデバイス通知および/またはクライアントデバイス通知が基づいていたIoT状態変化通知に基づくことができる。1つの特定の例として、クライアントデバイス通知が「玄関のドアロックがロック解除されています」であり、監視中に与えられた口頭の発話が「それをロックして」である場合、自動化アシスタントは、「それ」に関して値「玄関のドアロック」を推測し、「玄関のドアロック」の「ロック解除された」状態を「ロックされた」状態に変更させるIoTコマンドを生成し、送信することができる。これらのおよびその他の方法で、ユーザは、上述のように、通常は口頭の発話に必要とされる値が代わりに推測され得るので、クライアントデバイス通知に応じて、より短い口頭の発話を与えることができる。これは、より短い口頭の発話のおかげで、より少ないオーディオデータが送信および/または処理(たとえば、音声からテキストへ)される必要ですむので、アシスタントクライアントデバイスおよび/または遠隔の自動化アシスタント構成要素のリソースを節約することができる。
1061~N クライアントコンピューティングデバイス
1071~N ユーザインターフェース構成要素
114 音声キャプチャ/TTS/STTモジュール
116 TTSモジュール
117 STTモジュール
118 自動化アシスタントクライアント
1181 自動化アシスタントクライアント
118N 自動化アシスタントクライアント
119 クラウドベースの自動化アシスタント構成要素
120 自動化アシスタント
120A 第1の自動化アシスタント
120B 第2の自動化アシスタント
122 自然言語プロセッサ
130 IoT通知エンジン
135 ユーザ情報データベース
140 IoTシステム
1401 IoTシステム
1451~N IoTデバイス
250~262 部屋
300 状態図
370 IoTデータ
400 状態図
500 状態図
610 コンピューティングデバイス
612 バスサブシステム
614 プロセッサ
616 ネットワークインターフェース
620 ユーザインターフェース出力デバイス
622 ユーザインターフェース入力デバイス
624 ストレージサブシステム
625 メモリサブシステム
626 ファイルストレージサブシステム
630 RAM
632 ROM
Claims (29)
- 自動化アシスタントコンピューティングシステムの1つまたは複数のネットワークインターフェースを介して、モノのインターネット(IoT)状態変化通知を受信するステップであって、前記IoT状態変化通知が、少なくとも1つのIoTデバイスに関連する状態の変化の判定に応じて前記自動化アシスタントコンピューティングシステムに送信され、前記IoT状態変化通知が、
ユニーク識別子と、
前記少なくとも1つのIoTデバイスのインジケーションと、
前記少なくとも1つのIoTデバイスに関連する前記状態の前記変化を示す状態インジケーションと
を含む、ステップと、
前記ユニーク識別子に各々が関連付けられており、対応する自動化アシスタントクライアントを各々が有している、複数の候補アシスタントクライアントデバイスを、前記ユニーク識別子に基づいて、前記自動化アシスタントコンピューティングシステムによって特定するステップと、
前記複数の候補アシスタントクライアントデバイスのうちの少なくとも1つのクライアントデバイスのためのクライアントデバイス通知を、前記少なくとも1つのIoTデバイスの前記インジケーションに基づいておよび前記状態インジケーションに基づいて前記自動化アシスタントコンピューティングシステムによって生成するステップと、
前記1つのクライアントデバイスにコマンドを送信するステップであって、前記コマンドが、前記1つのクライアントデバイスの前記自動化アシスタントクライアントに、
前記1つのクライアントデバイスの少なくとも1つのユーザインターフェース出力デバイスを介して、前記生成されたクライアントデバイス通知を自動的にレンダリングすることであって、前記コマンドが、前記クライアントデバイスに、いかなる通知のレンダリングを明示的に要求するいかなるユーザインターフェース入力からも独立して前記生成されたクライアントデバイス通知を自動的にレンダリングさせる、ことと、
前記クライアントデバイス通知が少なくとも一部レンダリングされた後の期間の間、音声入力を自動的に監視することと、
前記音声入力の前記自動的な監視中に口頭の発話を検出したことに基づいて前記口頭の発話に対応するデータを送信することと
を行わせる、ステップと
を含む、方法。 - 前記口頭の発話に対応する前記データを前記1つのクライアントデバイスから受信するステップと、
前記口頭の発話に対応する前記データに基づいておよび前記音声入力の前記自動的な監視中に前記口頭の発話を検出したことに基づいてIoTデバイスのコマンドを生成するステップと、
前記IoTデバイスのコマンドを送信するステップであって、前記IoTデバイスのコマンドを送信するステップが、前記少なくとも1つのIoTデバイスの前記状態またはさらなる状態の変化を引き起こす、ステップと
をさらに含む、請求項1に記載の方法。 - 前記口頭の発話に対応する前記データに基づいておよび前記音声入力の前記自動的な監視中に前記口頭の発話を検出したことに基づいて前記IoTデバイスのコマンドを生成するステップが、
前記口頭の発話に対応する前記データに基づいて前記IoTデバイスのコマンドのための少なくとも1つの値を生成するステップと、
前記音声入力の前記自動的な監視中に前記口頭の発話を検出したことに基づいて前記IoTデバイスのコマンドのための少なくとも1つのさらなる値を推測するステップであって、前記少なくとも1つのさらなる値を推測するステップが、前記クライアントデバイス通知、または前記クライアントデバイス通知がそれに基づいて生成される前記IoT状態変化通知に基づく、ステップと
を含む、請求項2に記載の方法。 - 前記IoT状態変化通知に基づいて前記少なくとも1つのさらなる値を推測することが、前記IoT状態変化通知または前記クライアントデバイス通知に基づいて前記少なくとも1つのIoTデバイスの識別子を推測することを含む、請求項3に記載の方法。
- 前記口頭の発話に対応する前記データを前記1つのクライアントデバイスから受信するステップと、
前記口頭の発話に対応する前記データに基づいておよび前記音声入力の前記自動的な監視中に前記口頭の発話を検出したことに基づいて前記口頭の発話に関する応答内容を生成
するステップと、
前記1つのクライアントデバイスに前記応答内容に基づく応答出力をレンダリングさせるために前記1つのクライアントデバイスに前記応答内容を送信するステップと
をさらに含む、請求項1に記載の方法。 - 前記口頭の発話に対応する前記データに基づいておよび前記音声入力の前記自動的な監視中に前記口頭の発話を検出したことに基づいて前記応答内容を生成するステップが、
前記口頭の発話に対応する前記データに基づいて少なくとも1つの値を生成するステップと、
前記音声入力の前記自動的な監視中に前記口頭の発話を検出したことに基づいて少なくとも1つのさらなる値を推測するステップであって、前記少なくとも1つのさらなる値を推測するステップが、前記クライアントデバイス通知、または前記クライアントデバイス通知がそれに基づいて生成される前記IoT状態変化通知に基づく、ステップと、
前記少なくとも1つの値および前記少なくとも1つのさらなる値に基づいて前記応答内容を生成するステップと
を含む、請求項5に記載の方法。 - 前記クライアントデバイス通知が、テキストを含み、前記コマンドが、前記クライアントデバイス通知の前記テキストを含み、前記コマンドが、前記1つのクライアントデバイスに前記テキストをオーディオデータに変換させ前記1つのクライアントデバイスの少なくとも1つのスピーカを介して前記オーディオデータをレンダリングさせることによって、選択された前記1つのクライアントデバイスの前記自動化アシスタントクライアントに、前記1つのクライアントデバイスの前記少なくとも1つのユーザインターフェース出力デバイスを介して前記生成されたクライアントデバイス通知を自動的にレンダリングさせる、請求項1から6のいずれか一項に記載の方法。
- 前記IoT状態変化通知内の前記少なくとも1つのIoTデバイスの前記インジケーションと、
前記状態変化通知内の前記状態インジケーションとのうちの一方または両方に基づいて、前記1つのクライアントデバイスに前記コマンドを送信すると決定するステップをさらに含む、請求項1から7のいずれか一項に記載の方法。 - 現在の時刻と、
現在の曜日と
のうちの一方または両方に基づいて、前記1つのクライアントデバイスに前記コマンドを送信すると決定するステップをさらに含む、請求項1から8のいずれか一項に記載の方法。 - 少なくとも1人のユーザが前記1つのクライアントデバイスの近くに位置すると判定することと、
前記1つのクライアントデバイスが1つもしくは複数の予め定義された状態にないと判定することとのうちの一方または両方に基づいて、前記1つのクライアントデバイスに前記コマンドを送信すると決定するステップをさらに含む、請求項1から9のいずれか一項に記載の方法。 - 前記ユーザが前記1つのクライアントデバイスの近くに位置すると判定することが、
前記1つのクライアントデバイスとのユーザのインタラクションの新しさと、
前記1つのクライアントデバイスの少なくとも1つのセンサからのクライアントデバイスのセンサデータと、
前記1つのクライアントデバイスのセンサではないが、前記1つのクライアントデバイスの近くに位置する、少なくとも1つのセンサからのさらなるセンサデータと
のうちの1つまたは複数に基づく、請求項10に記載の方法。 - 前記1つのクライアントデバイスを含む複数の前記候補クライアントデバイスのグループを選択するステップと、
前記1つのクライアントデバイスが前記選択されたグループに含まれていることに基づいて前記1つのクライアントデバイスに前記コマンドを送信するステップと、
その他の候補クライアントデバイスが前記選択されたグループに含まれていることに基づいて前記選択されたグループの前記その他の候補クライアントデバイスの各々にそれぞれのコマンドを送信するステップであって、前記それぞれのコマンドが各々、前記その他の候補クライアントデバイスのそれぞれに、前記少なくとも1つのIoTデバイスの前記インジケーションに基づいておよび前記状態インジケーションに基づいて生成されたそれぞれのクライアントデバイス通知をレンダリングさせる、ステップと
をさらに含む、請求項1から11のいずれか一項に記載の方法。 - 前記それぞれのコマンドが各々、前記コマンドと同じであり、前記それぞれのクライアントデバイス通知が各々、前記クライアントデバイス通知と同じである、請求項12に記載の方法。
- 前記それぞれのコマンドのうちの少なくとも1つが、前記コマンドとは異なり、前記それぞれのクライアントデバイス通知のうちの少なくとも1つが、前記クライアントデバイス通知とは異なる、請求項12に記載の方法。
- 複数の前記候補クライアントデバイスの前記グループを選択するステップが、
所与のクライアントデバイスが1つまたは複数の予め定義された状態にあると判定することと、
前記IoT状態変化通知内の前記少なくとも1つのIoTデバイスの前記インジケーションと、
前記IoT状態変化通知内の前記状態インジケーションと
のうちの1つまたは複数に基づいて、前記グループから前記候補クライアントデバイスのうちの前記所与のクライアントデバイスを除外するステップを含む、請求項12に記載の方法。 - 自動化アシスタントコンピューティングシステムの1つまたは複数のネットワークインターフェースを介して、
第1の第三者システムからの第1のIoT状態通知であって、前記第1のIoT状態通知が、前記自動化アシスタントコンピューティングシステムに送信され、1つまたは複数のIoTデバイスの第1のグループに関連する第1の状態を示し、ユニーク識別子、および前記1つまたは複数のIoTデバイスの第1のグループに関連する前記第1の状態を示す第1の状態インジケーションを含む、第1のIoT状態通知と、
第2の第三者システムからの第2のIoT状態通知であって、前記第2のIoT状態通知が、前記自動化アシスタントコンピューティングシステムに送信され、1つまたは複数のIoTデバイスの第2のグループに関連する第2の状態を示し、前記ユニーク識別子またはさらなるユニーク識別子、および前記1つまたは複数のIoTデバイスの第2のグループに関連する前記第2の状態を示す第2の状態インジケーションを含む、第2のIoT状態通知と
を受信するステップと、
前記第1のIoT状態通知と前記第2のIoT状態通知との両方に基づく複合通知を送信すると決定するステップであって、前記複合通知を送信すると決定するステップが、前記第1のIoT状態通知および前記第2のIoT状態通知に基づいて、前記第1の状態および前記第2の状態が同時に起こっているとの判定に基づく、ステップと、
前記ユニーク識別子に少なくとも部分的に基づいて前記自動化アシスタントコンピューティングシステムによって、対応する自動化アシスタントクライアントを各々が有しており、前記1つまたは複数のIoTデバイスの第1のグループと前記1つまたは複数のIoTデバイスの第2のグループとの両方に各々が関連付けられている複数の候補アシスタントクライアントデバイスを特定するステップと、
前記候補アシスタントクライアントデバイスのうちの少なくとも1つを選択するステップと、
前記候補アシスタントクライアントデバイスの前記少なくとも1つにコマンドを送信するステップであって、前記コマンドが、前記複合通知を含み、前記候補アシスタントクライアントデバイスのうちの前記少なくとも1つの前記自動化アシスタントクライアントに、
前記候補アシスタントクライアントデバイスの前記少なくとも1つの少なくとも1つのユーザインターフェース出力デバイスを介して、前記複合通知を自動的にレンダリングさせる、ステップと
を含む、方法。 - 前記複合通知が、プロンプトを含み、前記コマンドが、さらに、前記自動化アシスタントクライアントに前記プロンプトに対する応答を監視させ、前記プロンプトに対する前記応答を送信させる、請求項16に記載の方法。
- 前記プロンプトが、前記1つまたは複数のIoTデバイスの第1のグループに関連する前記第1の状態への変化を提言し、前記方法が、
プロンプトに対する肯定的な応答を受け取ることに応じて、
1つまたは複数のIoTデバイスの前記第1のグループに関連する前記第1の状態への前記変化を引き起こすIoTコマンドを送信するステップをさらに含む、請求項17に記載の方法。 - 前記複合通知が、グラフィカルインターフェースを含み、前記プロンプトが、前記グラフィカルインターフェースの選択可能な要素である、請求項17に記載の方法。
- 前記プロンプトに対する肯定的な応答が、前記グラフィカルインターフェースの前記選択可能な要素の選択である、請求項19に記載の方法。
- 前記第1のIoT状態通知が、第1の時間に受信され、前記第2のIoT状態通知が、前記第1の時間の後の第2の時間に受信され、前記方法が、
前記第1の時間の後および前記第2の時間の前に、前記第1のIoT状態通知に基づくいかなる通知のレンダリングを引き起こすいかなるコマンドも送信しないと決定するステップをさらに含む、請求項16から20のいずれか一項に記載の方法。 - 自動化アシスタントコンピューティングシステムの1つまたは複数のネットワークインターフェースを介して、IoT状態変化通知を受信するステップであって、前記IoT状態変化通知が、少なくとも1つのIoTデバイスに関連する状態の変化の判定に応じて前記自動化アシスタントコンピューティングシステムに送信され、
ユニーク識別子と、
前記少なくとも1つのIoTデバイスのインジケーションと、
前記少なくとも1つのIoTデバイスに関連する前記状態の前記変化を示す状態インジケーションと
を含む、ステップと、
前記ユニーク識別子に各々が関連付けられており、対応する自動化アシスタントクライアントを各々が有している、複数のアシスタントクライアントデバイスを、前記ユニーク識別子に基づいて、前記自動化アシスタントコンピューティングシステムによって特定するステップと、
前記アシスタントクライアントデバイスのサブセットを選択するステップであって、前記サブセットを選択するステップが、前記少なくとも1つのIoTデバイスの前記インジケーション、および前記少なくとも1つのIoTデバイスに関連する前記状態の前記変化を示す前記状態インジケーションのうちの一方または両方に少なくとも部分的に基づく、ステップと、
前記アシスタントクライアントデバイスの前記自動化アシスタントクライアントに、
前記IoT状態変化通知に応じた対応する通知を自動的にレンダリングさせる対応するコマンドを、前記選択されたサブセットの前記アシスタントクライアントデバイスの各々にのみ送信するステップと
を含む、方法。 - 第1の時間に自動化アシスタントコンピューティングシステムの1つまたは複数のネットワークインターフェースを介して、
第1の第三者システムからの第1のIoT状態変化通知を受信するステップであって、前記第1のIoT状態変化通知が、前記自動化アシスタントコンピューティングシステムに送信され、1つまたは複数のIoTデバイスの第1のグループに関連する第1の状態への変化を示し、ユニーク識別子、前記1つまたは複数のIoTデバイスの第1のグループのインジケーション、および前記1つまたは複数のIoTデバイスの第1のグループに関連する前記第1の状態を示す第1の状態インジケーションを含む、ステップと、
前記ユニーク識別子に各々が関連付けられており、対応する自動化アシスタントクライアントを各々が有している、複数の候補アシスタントクライアントデバイスを、前記ユニーク識別子に基づいて、前記自動化アシスタントコンピューティングシステムによって特定するステップと、
前記候補アシスタントクライアントデバイスの第1のサブセットを選択するステップであって、前記第1のサブセットを選択するステップが、1つもしくは複数のIoTデバイスの前記第1のグループの前記インジケーション、および1つもしくは複数のIoTデバイスの前記第1のグループに関連する前記第1の状態を示す前記第1の状態インジケーションのうちの一方または両方に少なくとも部分的に基づく、ステップと、
前記候補アシスタントクライアントデバイスの前記自動化アシスタントクライアントに、
前記第1のIoT状態変化通知に応じた対応する通知を自動的にレンダリングさせる対応するコマンドを、前記第1のサブセットの前記候補アシスタントクライアントデバイスの各々にのみ送信するステップと、
第2の時間に自動化アシスタントコンピューティングシステムの1つまたは複数のネットワークインターフェースを介して、
第2の第三者システムからの第2のIoT状態変化通知を受信するステップであって、前記第2のIoT状態変化通知が、前記自動化アシスタントコンピューティングシステムに送信され、1つまたは複数のIoTデバイスの第2のグループに関連する第2の状態への変化を示し、前記ユニーク識別子またはさらなるユニーク識別子、前記1つまたは複数のIoTデバイスの第2のグループのインジケーション、および前記1つまたは複数のIoTデバイスの第2のグループに関連する前記第2の状態を示す第2の状態インジケーションを含む、ステップと、
前記複数の候補アシスタントクライアントデバイスを、前記ユニーク識別子または前記さらなるユニーク識別子に基づいて、前記自動化アシスタントコンピューティングシステムによって特定するステップと、
前記候補アシスタントクライアントデバイスの第2のサブセットを選択するステップであって、前記第2のサブセットが、前記第1のサブセットとは異なり、前記第2のサブセットを選択するステップが、1つもしくは複数のIoTデバイスの前記第2のグループの前記インジケーション、および1つもしくは複数のIoTデバイスの前記第2のグループに関連する前記第2の状態を示す前記第2の状態インジケーションのうちの一方または両方に少なくとも部分的に基づく、ステップと、
前記候補アシスタントクライアントデバイスの前記自動化アシスタントクライアントに、
前記第2のIoT状態変化通知に応じた対応する第2の通知を自動的にレンダリングさせる対応する第2のコマンドを、前記第2のサブセットの前記候補アシスタントクライアントデバイスの各々にのみ送信するステップと
を含む、方法。 - 第1の時間に自動化アシスタントコンピューティングシステムの1つまたは複数のネットワークインターフェースを介して、
第1の第三者システムからの第1のIoT状態変化通知を受信するステップであって、前記第1のIoT状態変化通知が、前記自動化アシスタントコンピューティングシステムに送信され、1つまたは複数のIoTデバイスの第1のグループに関連する第1の状態への変化を示し、ユニーク識別子、前記1つまたは複数のIoTデバイスの第1のグループのインジケーション、および前記1つまたは複数のIoTデバイスの第1のグループに関連する前記第1の状態を示す第1の状態インジケーションを含む、ステップと、
前記ユニーク識別子に関連付けられており、自動化アシスタントクライアントを含む、クライアントデバイスを、前記ユニーク識別子に基づいて、前記自動化アシスタントコンピューティングシステムによって特定するステップと、
前記候補アシスタントクライアントデバイスの前記自動化アシスタントクライアントに前記第1のIoT状態変化通知に応じた第1の出力を自動的に直ちに聞こえるようにレンダリングさせる第1のコマンドを送信すると決定するステップであって、前記候補アシスタントクライアントデバイスの前記自動化アシスタントクライアントに前記第1のIoT状態変化通知に応じた前記第1の出力を自動的に直ちに聞こえるようにレンダリングさせる前記第1のコマンドを送信すると決定するステップが、1つもしくは複数のIoTデバイスの前記第1のグループの前記インジケーション、および1つもしくは複数のIoTデバイスの前記第1のグループに関連する前記第1の状態を示す前記第1の状態インジケーションのうちの一方または両方に少なくとも部分的に基づく、ステップと、
第2の時間に自動化アシスタントコンピューティングシステムの1つまたは複数のネットワークインターフェースを介して、
第2の第三者システムからの第2のIoT状態変化通知を受信するステップであって、前記第2のIoT状態変化通知が、前記自動化アシスタントコンピューティングシステムに送信され、1つまたは複数のIoTデバイスの第2のグループに関連する第2の状態への変化を示し、前記ユニーク識別子またはさらなるユニーク識別子、前記1つまたは複数のIoTデバイスの第2のグループのインジケーション、および前記1つまたは複数のIoTデバイスの第2のグループに関連する前記第2の状態を示す第2の状態インジケーションを含む、ステップと、
前記自動化アシスタントクライアントを含む前記クライアントデバイスを、前記ユニーク識別子または前記さらなるユニーク識別子に基づいて、前記自動化アシスタントコンピューティングシステムによって特定するステップと、
前記アシスタントクライアントデバイスの前記自動化アシスタントクライアントに前記第2のIoT状態変化通知に応じた第2の出力をレンダリングさせるが、ただし、前記第2の出力を聞こえないようにおよび/または時間をおいてレンダリングさせる第2のコマンドを送信すると決定するステップであって、前記候補アシスタントクライアントデバイスの前記自動化アシスタントクライアントに前記第2の出力を聞こえないようにおよび/または時間をおいてレンダリングさせる前記第2のコマンドを送信すると決定するステップが、1つもしくは複数のIoTデバイスの前記第2のグループの前記インジケーション、および1つもしくは複数のIoTデバイスの前記第2のグループに関連する前記第2の状態を示す前記第2の状態インジケーションのうちの一方または両方に少なくとも部分的に基づく、ステップと
を含む方法。 - 自動化アシスタントコンピューティングシステムの1つまたは複数のプロセッサによって実行されると、前記コンピューティングシステムに、請求項1から24のいずれか一項に記載の方法を実行させる命令を含む、コンピュータプログラム。
- 請求項1から24のいずれか一項に記載の方法を実行するように構成された、コンピューティングシステム。
- 請求項26に記載のコンピューティングシステムと、
少なくとも1つのクライアントデバイスと
を含む、システム。 - 少なくとも1つのモノのインターネットデバイスをさらに含む、請求項27に記載のシス
テム。 - 請求項1から24のいずれか一項に記載の方法を実行するように自動化アシスタントコンピューティングシステムの1つまたは複数のプロセッサによって実行可能な命令を記憶する、コンピュータ可読記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023044678A JP2023082034A (ja) | 2018-03-14 | 2023-03-20 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862643065P | 2018-03-14 | 2018-03-14 | |
US62/643,065 | 2018-03-14 | ||
JP2020548705A JP6974626B2 (ja) | 2018-03-14 | 2019-03-13 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
PCT/US2019/022055 WO2019178229A1 (en) | 2018-03-14 | 2019-03-13 | Generating iot-based notification(s) and provisioning of command(s) to cause automatic rendering of the iot-based notification(s) by automated assistant client(s) of client device(s) |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020548705A Division JP6974626B2 (ja) | 2018-03-14 | 2019-03-13 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023044678A Division JP2023082034A (ja) | 2018-03-14 | 2023-03-20 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022033744A true JP2022033744A (ja) | 2022-03-02 |
JP7250887B2 JP7250887B2 (ja) | 2023-04-03 |
Family
ID=65911298
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020548705A Active JP6974626B2 (ja) | 2018-03-14 | 2019-03-13 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
JP2021180172A Active JP7250887B2 (ja) | 2018-03-14 | 2021-11-04 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
JP2023044678A Pending JP2023082034A (ja) | 2018-03-14 | 2023-03-20 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020548705A Active JP6974626B2 (ja) | 2018-03-14 | 2019-03-13 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023044678A Pending JP2023082034A (ja) | 2018-03-14 | 2023-03-20 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
Country Status (7)
Country | Link |
---|---|
US (3) | US10885917B2 (ja) |
EP (3) | EP3751823B1 (ja) |
JP (3) | JP6974626B2 (ja) |
KR (3) | KR102551715B1 (ja) |
CN (1) | CN111869185B (ja) |
AU (3) | AU2019234822B2 (ja) |
WO (1) | WO2019178229A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3751823B1 (en) * | 2018-03-14 | 2023-06-28 | Google LLC | Generating iot-based notification(s) and provisioning of command(s) to cause automatic rendering of the iot-based notification(s) by automated assistant client(s) of client device(s) |
US10795743B2 (en) * | 2018-05-21 | 2020-10-06 | Salesforce.Com, Inc. | Computing device notification management software |
DK201970509A1 (en) * | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
KR102423711B1 (ko) | 2019-10-15 | 2022-07-22 | 구글 엘엘씨 | 스마트 장치의 효율적이고 낮은 대기시간 자동 어시스턴트 제어 |
CN111243587A (zh) * | 2020-01-08 | 2020-06-05 | 北京松果电子有限公司 | 语音交互方法、装置、设备及存储介质 |
US11403925B2 (en) * | 2020-04-28 | 2022-08-02 | Ademco Inc. | Systems and methods for broadcasting an audio or visual alert that includes a description of features of an ambient object extracted from an image captured by a camera of a doorbell device |
US11861315B2 (en) | 2021-04-21 | 2024-01-02 | Meta Platforms, Inc. | Continuous learning for natural-language understanding models for assistant systems |
US20220358917A1 (en) * | 2021-04-21 | 2022-11-10 | Meta Platforms, Inc. | Multi-device Mediation for Assistant Systems |
US11523190B1 (en) | 2021-12-17 | 2022-12-06 | Google Llc | Generating notifications that provide context for predicted content interruptions |
KR20230128914A (ko) * | 2022-02-28 | 2023-09-05 | 주식회사 플루이즈 | 로컬서버가 IoT 기기의 상태정보를 전송하는 방법 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014072891A (ja) * | 2012-09-28 | 2014-04-21 | Panasonic Corp | 端末制御方法、端末制御システム、及び、サーバ装置 |
WO2014076919A1 (ja) * | 2012-11-15 | 2014-05-22 | パナソニック株式会社 | 情報提供方法及び情報提供装置 |
WO2014208057A1 (ja) * | 2013-06-24 | 2014-12-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報通知方法、情報端末、およびプログラム |
JP2016057770A (ja) * | 2014-09-08 | 2016-04-21 | シャープ株式会社 | 通知装置、出力装置、情報通知システム、通知装置の制御方法、および制御プログラム |
JP2017504859A (ja) * | 2013-11-14 | 2017-02-09 | クアルコム,インコーポレイテッド | ユーザアクティビティおよび/または近接度の検出に従ってIoT通知を経路指定するための機構 |
JP2017523492A (ja) * | 2014-05-30 | 2017-08-17 | アップル インコーポレイテッド | ホームオートメーションのためのインテリジェントアシスタント |
JP2017163172A (ja) * | 2013-06-21 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 携帯端末の制御方法及びプログラム |
JP2017220248A (ja) * | 2014-05-15 | 2017-12-14 | シャープ株式会社 | ネットワークシステム、サーバ、および情報処理方法 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020077830A1 (en) * | 2000-12-19 | 2002-06-20 | Nokia Corporation | Method for activating context sensitive speech recognition in a terminal |
US8738377B2 (en) | 2010-06-07 | 2014-05-27 | Google Inc. | Predicting and learning carrier phrases for speech input |
US20130143519A1 (en) * | 2010-07-29 | 2013-06-06 | J&M I.P. Holding Company, Llc | Fall-Responsive Emergency Device, System, and Method |
US20130260320A1 (en) * | 2012-03-28 | 2013-10-03 | Randolph G. Townsend | Range and Notification System, and Associated Method |
US8977555B2 (en) * | 2012-12-20 | 2015-03-10 | Amazon Technologies, Inc. | Identification of utterance subjects |
US20140195620A1 (en) * | 2013-01-08 | 2014-07-10 | Ebay Inc. | Notification routing to a user device |
US9853826B2 (en) | 2013-02-25 | 2017-12-26 | Qualcomm Incorporated | Establishing groups of internet of things (IOT) devices and enabling communication among the groups of IOT devices |
KR102057795B1 (ko) * | 2013-03-15 | 2019-12-19 | 애플 인크. | 콘텍스트-민감성 방해 처리 |
US20150006296A1 (en) | 2013-06-26 | 2015-01-01 | Qualcomm Innovation Center, Inc. | NOTIFICATION DISMISSAL IN AN INTERNET OF THINGS (IoT) ENVIRONMENT |
US9584775B2 (en) | 2013-07-18 | 2017-02-28 | BOT Home Automation, Inc. | Wireless entrance communication device |
US8823795B1 (en) | 2013-07-26 | 2014-09-02 | SkyBell Technologies, Inc. | Doorbell communication systems and methods |
US9495860B2 (en) | 2013-12-11 | 2016-11-15 | Echostar Technologies L.L.C. | False alarm identification |
CN108259159B (zh) * | 2014-02-05 | 2021-02-05 | 苹果公司 | 用于在控制器和附件之间进行配对的方法和系统 |
US10097619B2 (en) * | 2014-06-24 | 2018-10-09 | Google Llc | Cross-device notifications |
KR102167870B1 (ko) | 2014-07-07 | 2020-10-20 | 콘비다 와이어리스, 엘엘씨 | 머신 타입 통신 그룹 기반 서비스를 위한 조정된 그룹화 |
US9152737B1 (en) * | 2014-11-26 | 2015-10-06 | Sense Labs, Inc. | Providing notifications to a user |
US9712477B2 (en) * | 2015-05-01 | 2017-07-18 | Airwatch Llc | Email notifications |
US10620920B2 (en) * | 2016-05-17 | 2020-04-14 | Google Llc | Automatic graphical user interface generation from notification data |
US10832665B2 (en) | 2016-05-27 | 2020-11-10 | Centurylink Intellectual Property Llc | Internet of things (IoT) human interface apparatus, system, and method |
US9942328B2 (en) | 2016-05-27 | 2018-04-10 | Afero, Inc. | System and method for latched attributes in an internet of things (IOT) system |
US20180025725A1 (en) * | 2016-07-22 | 2018-01-25 | Lenovo (Singapore) Pte. Ltd. | Systems and methods for activating a voice assistant and providing an indicator that the voice assistant has assistance to give |
US20180039478A1 (en) * | 2016-08-02 | 2018-02-08 | Google Inc. | Voice interaction services |
US10708313B2 (en) * | 2016-12-30 | 2020-07-07 | Google Llc | Multimodal transmission of packetized data |
WO2018147687A1 (en) * | 2017-02-10 | 2018-08-16 | Samsung Electronics Co., Ltd. | Method and apparatus for managing voice-based interaction in internet of things network system |
US10187870B1 (en) * | 2017-07-21 | 2019-01-22 | Qualcomm Incorporated | Systems and methods for intelligent routing of notifications of incoming voice communication requests |
US10051600B1 (en) * | 2017-12-12 | 2018-08-14 | Amazon Technologies, Inc. | Selective notification delivery based on user presence detections |
US10425780B1 (en) * | 2018-02-22 | 2019-09-24 | Amazon Technologies, Inc. | Outputting notifications using device groups |
EP3751823B1 (en) * | 2018-03-14 | 2023-06-28 | Google LLC | Generating iot-based notification(s) and provisioning of command(s) to cause automatic rendering of the iot-based notification(s) by automated assistant client(s) of client device(s) |
US11115630B1 (en) * | 2018-03-28 | 2021-09-07 | Amazon Technologies, Inc. | Custom and automated audio prompts for devices |
US10978064B2 (en) * | 2018-11-30 | 2021-04-13 | International Business Machines Corporation | Contextually relevant spoken device-to-device communication between IoT devices |
-
2019
- 2019-03-13 EP EP20188384.0A patent/EP3751823B1/en active Active
- 2019-03-13 WO PCT/US2019/022055 patent/WO2019178229A1/en unknown
- 2019-03-13 CN CN201980017955.9A patent/CN111869185B/zh active Active
- 2019-03-13 US US16/609,015 patent/US10885917B2/en active Active
- 2019-03-13 EP EP19713655.9A patent/EP3590249B1/en active Active
- 2019-03-13 AU AU2019234822A patent/AU2019234822B2/en active Active
- 2019-03-13 KR KR1020227024890A patent/KR102551715B1/ko active IP Right Grant
- 2019-03-13 KR KR1020207029358A patent/KR102424260B1/ko active IP Right Grant
- 2019-03-13 EP EP23175890.5A patent/EP4235644A3/en active Pending
- 2019-03-13 KR KR1020237021937A patent/KR20230107384A/ko not_active Application Discontinuation
- 2019-03-13 JP JP2020548705A patent/JP6974626B2/ja active Active
-
2020
- 2020-12-03 US US17/110,732 patent/US11538477B2/en active Active
-
2021
- 2021-01-11 AU AU2021200128A patent/AU2021200128B2/en active Active
- 2021-11-04 JP JP2021180172A patent/JP7250887B2/ja active Active
-
2022
- 2022-04-22 AU AU2022202683A patent/AU2022202683B2/en active Active
- 2022-12-21 US US18/085,867 patent/US20230237996A1/en active Granted
-
2023
- 2023-03-20 JP JP2023044678A patent/JP2023082034A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014072891A (ja) * | 2012-09-28 | 2014-04-21 | Panasonic Corp | 端末制御方法、端末制御システム、及び、サーバ装置 |
WO2014076919A1 (ja) * | 2012-11-15 | 2014-05-22 | パナソニック株式会社 | 情報提供方法及び情報提供装置 |
JP2017163172A (ja) * | 2013-06-21 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 携帯端末の制御方法及びプログラム |
WO2014208057A1 (ja) * | 2013-06-24 | 2014-12-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報通知方法、情報端末、およびプログラム |
JP2017504859A (ja) * | 2013-11-14 | 2017-02-09 | クアルコム,インコーポレイテッド | ユーザアクティビティおよび/または近接度の検出に従ってIoT通知を経路指定するための機構 |
JP2017220248A (ja) * | 2014-05-15 | 2017-12-14 | シャープ株式会社 | ネットワークシステム、サーバ、および情報処理方法 |
JP2017523492A (ja) * | 2014-05-30 | 2017-08-17 | アップル インコーポレイテッド | ホームオートメーションのためのインテリジェントアシスタント |
JP2016057770A (ja) * | 2014-09-08 | 2016-04-21 | シャープ株式会社 | 通知装置、出力装置、情報通知システム、通知装置の制御方法、および制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
AU2019234822A1 (en) | 2020-09-17 |
JP2021509975A (ja) | 2021-04-08 |
EP3751823B1 (en) | 2023-06-28 |
CN111869185B (zh) | 2024-03-12 |
KR20200131299A (ko) | 2020-11-23 |
KR102551715B1 (ko) | 2023-07-04 |
EP3590249B1 (en) | 2020-12-30 |
US10885917B2 (en) | 2021-01-05 |
US20210090566A1 (en) | 2021-03-25 |
CN111869185A (zh) | 2020-10-30 |
KR20230107384A (ko) | 2023-07-14 |
AU2022202683B2 (en) | 2023-01-12 |
KR102424260B1 (ko) | 2022-07-25 |
EP3590249A1 (en) | 2020-01-08 |
EP3751823A1 (en) | 2020-12-16 |
AU2022202683A1 (en) | 2022-05-19 |
JP7250887B2 (ja) | 2023-04-03 |
AU2021200128A1 (en) | 2021-03-18 |
WO2019178229A1 (en) | 2019-09-19 |
AU2021200128B2 (en) | 2022-02-03 |
EP4235644A2 (en) | 2023-08-30 |
US20200211546A1 (en) | 2020-07-02 |
US11538477B2 (en) | 2022-12-27 |
JP2023082034A (ja) | 2023-06-13 |
AU2019234822B2 (en) | 2020-10-22 |
JP6974626B2 (ja) | 2021-12-01 |
KR20220104078A (ko) | 2022-07-25 |
EP4235644A3 (en) | 2023-10-25 |
US20230237996A1 (en) | 2023-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6974626B2 (ja) | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 | |
KR102621636B1 (ko) | 루틴 실행 중에 클라이언트 디바이스간 자동화 어시스턴트 루틴 전송 | |
KR102581347B1 (ko) | 스마트 장치의 효율적이고 낮은 대기시간 자동 어시스턴트 제어 | |
US20230419951A1 (en) | Simultaneous acoustic event detection across multiple assistant devices | |
US11886510B2 (en) | Inferring semantic label(s) for assistant device(s) based on device-specific signal(s) | |
US20220272055A1 (en) | Inferring assistant action(s) based on ambient sensing by assistant device(s) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211206 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7250887 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |