JP2022088507A - 機器制御システム - Google Patents
機器制御システム Download PDFInfo
- Publication number
- JP2022088507A JP2022088507A JP2022050938A JP2022050938A JP2022088507A JP 2022088507 A JP2022088507 A JP 2022088507A JP 2022050938 A JP2022050938 A JP 2022050938A JP 2022050938 A JP2022050938 A JP 2022050938A JP 2022088507 A JP2022088507 A JP 2022088507A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- voice
- control
- function
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 67
- 238000000605 extraction Methods 0.000 claims description 38
- 230000004044 response Effects 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 507
- 238000004458 analytical method Methods 0.000 description 183
- 238000000034 method Methods 0.000 description 183
- 230000008569 process Effects 0.000 description 165
- 238000012545 processing Methods 0.000 description 120
- 230000005540 biological transmission Effects 0.000 description 110
- 238000004378 air conditioning Methods 0.000 description 87
- 238000010586 diagram Methods 0.000 description 77
- 230000007613 environmental effect Effects 0.000 description 71
- 230000004048 modification Effects 0.000 description 42
- 238000012986 modification Methods 0.000 description 42
- 238000004891 communication Methods 0.000 description 36
- 230000001143 conditioned effect Effects 0.000 description 36
- 238000007726 management method Methods 0.000 description 31
- 230000010365 information processing Effects 0.000 description 26
- 230000008451 emotion Effects 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 14
- 238000013500 data storage Methods 0.000 description 13
- 239000003507 refrigerant Substances 0.000 description 13
- 230000005236 sound signal Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 230000001629 suppression Effects 0.000 description 11
- 230000007704 transition Effects 0.000 description 10
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 235000019645 odor Nutrition 0.000 description 6
- 238000009423 ventilation Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000001914 calming effect Effects 0.000 description 3
- 238000010411 cooking Methods 0.000 description 3
- 238000001816 cooling Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 150000002500 ions Chemical class 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000003287 bathing Methods 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 238000009835 boiling Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000003205 fragrance Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009131 signaling function Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/50—Control or safety arrangements characterised by user interfaces or communication
- F24F11/56—Remote control
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
- F24F11/46—Improving electric energy efficiency or saving
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/50—Control or safety arrangements characterised by user interfaces or communication
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/50—Control or safety arrangements characterised by user interfaces or communication
- F24F11/56—Remote control
- F24F11/58—Remote control using Internet communication
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
- F24F11/63—Electronic processing
- F24F11/64—Electronic processing using pre-stored data
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- General Health & Medical Sciences (AREA)
- Selective Calling Equipment (AREA)
- Air Conditioning Control Device (AREA)
- Air Humidification (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
- Stored Programmes (AREA)
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
Abstract
Description
第1観点に係る設定支援装置は、ユーザの発する音声の入力を受け付ける音声入力受付部と、音声を解析する音声入力解析部と、音声入力解析部による解析結果に基づいて制御機器を制御する制御部と、所定のキーワードに対応する音声の入力と制御機器の所定の制御とを関連付けて特定制御として記憶する特定制御記憶部と、を備える制御システムに用いられ、特定制御の設定を支援するための装置である。ここで、設定支援装置は、キーワード入力受付部と、制御命令選択部と、特定制御登録部と、を備える。ここで、キーワード入力受付部は、キーワードに対応する情報の入力を受け付ける。制御命令選択部は、機器に対する所定の制御命令を編集画面上に表示し、制御命令の選択を受け付ける。特定制御登録部は、キーワード入力受付部により入力されたキーワードと、制御命令選択部により選択された制御命令とを関連付けて特定制御記憶部に登録する。
第8観点に係る環境調節システムは、対象空間に設置された対象環境調節機器を用いて環境を調節する。環境調節システムは、機器情報取得部と、記憶部と、演算部と、制御部と、を備える。機器情報取得部は、対象環境調節機器の情報を取得する。記憶部は、実現すべき環境状態を記憶する。演算部は、環境状態を実現するための対象環境調節機器の制御パラメータを算出する。制御部は、制御パラメータに基づいて対象環境調節機器を制御する。
第19観点に係る空気調和システムは、調和空気送出部と、音声検知部と、音声入力解析部と、判定部と、制御部と、を備える。調和空気送出部は、対象空間に対して調和空気を送出する。音声検知部は、対象空間内に存在する発話者の発する音声を検知する。音声解析部は、音声の入力を解析して言語情報に変換する。判定部は、音声入力解析部により解析された言語情報に、所定の怒気用語が含まれているか否かを判定する。制御部は、判定部により怒気用語が含まれていると判定された場合、調和空気の状態を制御する。
第25観点に係る室内環境調節システムは、記憶部と、検知部と、室内環境調節機と、出力部と、入力部と、を備える。記憶部は、室内環境の設定値を記憶する。検知部は、室内環境の状態値を検知する。室内環境調節機は、設定値に応じて室内環境を調節する。出力部は、記検知部によって検知された状態値が設定値に達した場合に、状態値を承諾するか否かをユーザに問いかけるメッセージを発する。入力部は、メッセージに対するユーザの回答を取得する。
第34観点に係る空調管理システムは、空調機と、音声入力部と、状態抽出部と、判定部と、制御部と、を備える。音声入力部は、ユーザの発する音声を取得する。状態抽出部は、音声からユーザの状態を抽出する。判定部は、ユーザの状態に基づいてエネルギーセーブ運転を行うか否かを判定する。制御部は、判定部の決定に従ってエネルギーセーブ運転を行う。
第40観点に係るホームシステムは、入力部と、時計部と、記録部と、制御部と、パターン抽出部と、を備える。入力部は、ユーザの指令を受け取る。時計部は、時刻を得る。記録部は、時刻および指令を関連付けたログを記録する。制御部は、指令にしたがって複数の機器を制御する。パターン抽出部は、ログの分析により、複数の機器に対して所定時間差以内に発された複数の指令を含む、順次的指令パターンを抽出する。
第46観点に係る機器制御システムは、第1機器と、第2機器と、を制御する。第1機器は、第1音声入力部を有し、第1音声入力部が受け付けた音声の音声データを送信する。第2機器は、第2音声入力部を有し、第2音声入力部が受け付けた音声の音声データを送信する。機器制御システムは、第1音声データ受付部と、第2音声データ受付部と、第1音声解析部と、第2音声解析部と、検知部と、停止決定部と、を備える。第1音声データ受付部は、第1機器が送信する音声データを受け付ける。第2音声データ受付部は、第2機器が送信する音声データを受け付ける。第1音声解析部は、第1音声データ受付部が受け付けた音声データを解析する。第2音声解析部は、第2音声データ受付部が受け付けた音声データを解析する。検知部は、第1音声入力部が音声を受け付け、受け付けた音声の音声データを送信し、送信した音声データを第1音声データ受付部が受け付け、受け付けた音声データを第1音声解析部に解析させる、音声認識処理に関係する機能の少なくとも一部の第1機能の停止の指示を、第1機器が受けたことを検知する。停止決定部は、検知部が、第1機器が第1機能の停止の指示を受けたことを検知すると、第2機器について、第2音声入力部が音声を受け付け、受け付けた音声の音声データを送信し、送信した音声データを第2音声データ受付部が受け付け、受け付けた音声データを第2音声解析部に解析させる、音声認識処理に関係する機能の少なくとも一部の第2機能を停止することを決定する。
(1)機器制御システム1001の概要
(1-1)機器制御システム1001の構成
図1,2は本発明の一実施形態に係る機器制御システム1001の構成を示す模式図である。
図4A,4Bは本実施形態に係る機器制御システム1001の動作を説明するためのシーケンス図である。
以上説明したように、本実施形態に係る機器制御システム1001は、音声入力装置1060と、赤外線出力装置1070と、サーバ1100とを備える。ここで、音声入力装置1060は、ユーザ1005から制御機器1010,1020に対する制御指示を音声入力により受け付ける。赤外線出力装置1070は、制御機器1010,1020に赤外線を出力する。サーバ1100は、音声入力解析部1110、制御内容特定部1120、第1制御部1130、第2制御部1135を有する。音声入力解析部1110は、音声入力装置1060から受信する入力の内容を解析する。制御内容特定部1120は、音声入力解析部1110による解析結果から、制御機器及び制御指示を示す制御内容を特定する。第1制御部1130は、制御内容特定部1120により第1タイプの機器1010に関する制御内容が特定された場合、その制御内容に対応する赤外線パターンを赤外線出力装置1070に送信する。第2制御部1135は、制御内容特定部1120により第2タイプの機器1020に関する制御内容が特定された場合、その制御内容に基づいて第2タイプの機器1020をネットワークNW経由で制御する。
(2-1)設定支援装置の構成
図5に示すように、設定支援装置1400は、上述した機器制御システム1001にネットワークNWを介して接続し、制御機器1010,1020の制御を容易にするための設定を支援する装置である。具体的には、設定支援装置1400は、所定のキーワードKに対応する音声の入力と、制御機器の所定の制御とを関連付けて「特定制御」として設定することを支援するための装置である。なお、この設定支援装置1400は、コンピュータに、後述する「設定支援プログラム」がインストールされることで実現される。
図7は本実施形態に係る設定支援装置1400の動作を説明するためのフローチャートである。図8~15は同実施形態に係る設定支援装置1400における画面遷移の概念を示す模式図である。
(2-3-1)
以上説明したように、本実施形態に係る設定支援装置1400は、ユーザの発する音声の入力を受け付ける音声入力装置1060と、音声を解析する音声入力解析部1110と、音声入力解析部1110による解析結果に基づいて制御機器1010,1020を制御する制御部1130,1135と、所定のキーワードKに対応する音声の入力と制御機器1010,1020の所定の制御とを関連付けて特定制御として記憶する特定制御DB1104Tと、を備える機器制御システム1001における、特定制御の設定を支援するための装置である。
また、本実施形態に係る設定支援装置1400は、特定制御登録部1430が、一のキーワードKに対して、制御命令O1,O2,・・・を複数関連付けることができるものである。これにより、複数の動作からなる一連の制御を一のキーワードKの音声入力で実行できるようになる。
また、本実施形態に係る設定支援装置1400は、制御命令選択部1420が、編集画面G上に、複数の制御命令をプルダウン形式で表示できるものである。これにより、ユーザ5が直感的な操作で制御命令を設定できる設定支援装置1400を提供できる。
また、本実施形態に係る設定支援装置1400は、特定制御登録部1430が、特定制御をユーザ情報に関連付けて登録する。これにより、ユーザ毎の嗜好に合わせた制御命令を設定することができる。
(2-4-1)
上記説明において、設定支援装置1400が、「キーワード入力受付部1410」「制御命令選択部1420」「特定制御登録部1430」として機能するとしたが、これらの機能はサーバ1100から適時に提供されるものでもよい。すなわち、図16に概念を示すように、設定支援装置1400は、いわゆるシンクライアントであってもよい。この場合、設定支援装置1400は、所定のキーワードと所定の制御とを関連付けて「特定制御」として登録する処理を行なう度に、ネットワークNW経由で設定支援機能提供装置1200Bのサーバにアクセスし、設定支援機能提供装置1200Bが提供する「キーワード入力受付部」「制御命令選択部」「特定制御登録部」の機能を利用する。なお、設定支援機能提供装置1200Bはサーバ1100と同一の装置により構成されるものでもよいし、両者が協働するように構成されるものでもよい。
なお、本実施形態に係るサーバ1100は、時刻毎に決まっている所定の制御機器1010,1020の制御を「スケジュール情報」として登録しておくことができる。この場合は、その時刻になると、制御機器1010,1020において、スケジュール情報に対応する制御が実行されることになる。例えば、所定の時刻になると、スケジュール情報に基づいて音声が読み上げられ、音声入力装置1060に音声入力される。または、音声入力に代えて、当該音声入力に対応するテキスト情報等が音声入力装置1060に入力されて制御機器1010,1020が制御される。
なお、本発明は、上記各実施形態そのままに限定されるものではない。本発明は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、本発明は、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。
(1)全体構成
図17は、一実施形態に係る機器制御システムを示す。本実施形態の機器制御システムは、環境調節システム2090として構成されている。環境調節システム2090は、建物2060に設置されたルータ2061、基準環境調節機器2062、音声入出力装置2063、および基準環境センサ2069と、サーバ2040とを含む。基準環境調節機器2062、音声入出力装置2063、基準環境センサ2069、およびサーバ2040は、ネットワーク2050によって接続されている。
基準環境調節機器2062は、環境を通じて人間の五感刺激を変化させる機器である。基準環境調節機器2062には、例えば空調機、扇風機、加湿器、電動窓、照明器具、カーテン器具、電動アロマポットなどが含まれる。図17に示される基準環境調節機器2062は空調機として構成されている。基準環境調節機器2062は、基準空間RSに設置されている。
音声入出力装置2063は、基準環境調節機器2062と同じく基準空間RSに設置されている。音声入出力装置2063は、ルータ2061を介してネットワーク2050に接続している。音声入出力装置2063には音声入力部2064と音声出力部2065が設けられている。ルータ2061と音声入出力装置2063の間のリンクは、有線通信および無線通信のいずれによって実現されてもよい。
基準環境センサ2069は、基準空間RSの環境に関する物理量を測定する。測定される物理量は例えば、温度または湿度などである。基準環境センサ2069は、ルータ2061を介してネットワーク2050に接続している。ルータ2061と基準環境センサ2069の間のリンクは、有線通信および無線通信のいずれによって実現されてもよい。
ネットワーク2050は、例えばPSTN(公衆交換電話網)等を用いて構築されたインターネットである。
サーバ2040は建物2060から遠隔地に設置されており、ネットワーク2050に接続している。サーバ2040は、基準環境調節機器2062のユーザが発する音声に応答して基準環境調節機器2062を制御する。サーバ2040は、単一のコンピュータとして構成されていてもよいし、それぞれ異なる機能を有する複数のコンピュータ2040a、2040bから構成されていてもよい。例えば、あるコンピュータ2040aは音声の解析および指令の抽出を担当し、別のコンピュータ2040bは基準環境調節機器2062の制御と異常検出を担当してもよい。この場合、複数のコンピュータ2040a、2040bは、互いに離れた場所に設置されて異なる企業に所有または管理されていてもよい。
図18は環境調節システム2090の構成のブロック図である。
空調機として構成された基準環境調節機器2062は、入出力インターフェイス部2621と、プロセッサ2622と、冷媒回路2623を有する。入出力インターフェイス部2621はルータ2061を介してネットワーク2050と接続されており、他の機器と情報を交換する。冷媒回路2623はセンサとアクチュエータを含み、部屋の空気を調和する。プロセッサ2622は基準環境調節機器2062のアクチュエータを制御し、センサの出力を読み取るとともに、入出力インターフェイス部2621と情報を交換する。
図18に戻り、音声入出力装置2063は、入出力インターフェイス部2631と、音声入力部2064と、音声出力部2065を有する。入出力インターフェイス部2621はルータ2061を介してネットワーク2050と接続されており、他の機器と情報を交換する。
図18には詳細に示されていないが、基準環境センサ2069は測定した環境に関する物理量をAD変換して、デジタルデータとしてルータ2061へ送信する。
サーバ2040はコンピュータ2040a、2040bを有する。サーバ2040に含まれるコンピュータの数はいくつであってもよい。ここでは、コンピュータ2040aの構成についてのみ説明する。コンピュータ2040aは、入出力インターフェイス部2041と、プロセッサ2042と、メモリ2043を有する。入出力インターフェイス部2041は、ネットワーク2050に接続されている。プロセッサ2042は、各種処理を実施する。処理の中には、入出力インターフェイス部2041を介した情報の送受信、および各種算術演算などが含まれる。メモリ2043は、プロセッサ2042の書き込み動作等により、情報を記憶する。
図20は、環境調節システム2090の機能面によるブロック図である。環境調節システム2090は、音声入力部2064および音声出力部2065等の他に、複数の機能ブロック、すなわち、テキスト変換部2011、音声認識辞書2012、解釈部2013、制御部2014、機器情報取得部2016、記憶部2017、演算部2018、認証部2019を有する。
(4-1)音声操作
基準空間RSは、例えばユーザの自宅である。ユーザは、音声入出力装置2063の音声入力部2064を介して、自分の好みの環境を実現する。例えば、ユーザは「温度をもう少し下げて」「風量をもっと強くして」「湿度を下げて」などの指令を声で音声入力部2064に言う。
環境調節システム2090は、権限を保持するユーザだけが基準環境調節機器2062を制御できるように、ユーザ認証機能を有する。ユーザ認証の方法は様々なものを採用できる。
(5-1)基準空間RSでの環境保存
基準空間RSの住人であるユーザは、自宅の環境が快適であると感じたときに、その環境状態を環境調節システム2090に保存させることができる。まず、ユーザは「現在の室内環境をお気に入りに保存して」と音声入力部2064に命じる。
図22は、対象空間TSを示す。対象空間TSは、例えばホテルの部屋など、基準空間RS以外の、複数の対象環境調節機器2091~2097が設置されている場所である。対象環境調節機器2091~2097は、基準空間RSに設置されている基準環境調節機器2062と同様に、ネットワーク2050を介してサーバ2040と接続している。認証されたユーザは、音声入出力装置2063を介して対象環境調節機器2091~2097の動作に関する指令を出すことができる。対象環境調節機器2091~2097は、例えば、空調機2091、扇風機2092、加湿器2093、電動窓2094、照明器具2095、カーテン器具2096、電動アロマポット2097である。電動アロマポット2097に代えて、その他の芳香発生器具が用いられてもよい。なお、複数の対象環境調節機器2091~2097への入力手段として、音声入出力装置2063に加えて、有線リモコン、赤外線リモコン、無線リモコンなどが併用されていてもよい。
ユーザは、対象空間TSの環境が快適であると感じた場合には、その環境状態を環境調節システム2090の記憶部2017に保存させることができる。そのやり方は、基準空間RSの環境を保存する場合と同様である。
(6-1)
記憶部2017が記憶する環境状態は、制御パラメータに基づく制御によって対象空間TSの環境として再現される。したがって、ユーザの好みの環境を再現することができる。
基準空間RSの環境に基づいて環境状態が作られ、その環境状態が対象空間TSで再現される。したがって、基準空間RSの環境を対象空間TSで再現できる。
環境状態の再現を行う旨の指令を受け取ると、環境状態に応じて制御部2014が対象環境調節機器2091~2097を制御する。したがって、ユーザが発した指令によってユーザの好みの環境が再現される。
ユーザは権限保持者として認証された場合に環境調節機器を制御できる。したがって、無権限者が環境調節機器を制御できないので、セキュリティが確保されやすい。
基準空間RSおよび対象空間TSの環境調節機器は、いずれも空調機を含む。したがって、ユーザの快適さに影響を与える空気調和が対象空間TSにおいて再現される。
記憶部17が記憶する環境状態は、対象空間TSの環境を用いて更新できる。したがって、対象空間TSの環境をユーザが気に入った場合、その環境に関する設定を保存することができる。
この構成によれば、環境状態は温度、風量、湿度、照度、匂いを含むことができる。したがって、対象空間TSにユーザの好みのこれらの環境が再現される。
(7-1)第1変形例
図23は、上記実施形態の第1変形例に係る環境調節システム2090Aを示す。環境調節システム2090Aは音声入出力装置2063を有しておらず、音声入力部2064および音声出力部2065が基準環境調節機器2062に設置されている点において、上記実施形態と異なっている。
図24は、上記実施形態の第2変形例に係る環境調節システム2090Bを示す。環境調節システム2090Bにおいては、ユーザからの指令の受け付けおよびユーザへのメッセージ発信には、音声入出力装置2063の代わりに、携帯端末2067を用いる。携帯端末2067は、例えば専用アプリケーションを実装したスマートフォンである。基準環境調節機器2062には、携帯端末2067との通信のためのアンテナ2066が設けられている。アンテナ2066は、基準環境調節機器2062に内蔵されていてもよい。あるいは、アンテナ2066、外付けアダプタとして構成され、配線で基準環境調節機器2062に接続されていてもよい。
基準環境調節機器62および対象環境調節機器2091~2097への入力手段は、音声入出力装置2063または携帯端末2067に限られず、あらゆる態様を採用することが可能である。例えば、入力手段として、有線リモコン、赤外線リモコン、無線リモコン、画像認識の可能なカメラ、持ち運び可能なBLEビーコンタグまたはRFIDタグ、容量センサなどの各種センサなどを採用することもできる。
(1)空気調和システム3001の構成
図25は一実施形態に係る機器制御システムの概念を示す模式図である。本実施形態の機器制御システムは、空気調和システム3001として構成されている。
空調機3020は、圧縮機、熱交換器、膨張弁、ファン、ルーバ等の内部機構を用いて、対象空間内に、所定の状態の調和空気を生成して吹き出すものである。このような空調機3020の内部機構は、内蔵された情報処理ユニット3020Pにより制御される。
サーバ3100は、図26に示すように、入力部3101、出力部3102、通信部3103、記憶部3104、処理部3105を有しており、インターネットなどのネットワークNWを介して、空調機3020に内蔵された情報処理ユニット3020Pと接続している。
図28A,4Bは本実施形態に係る空気調和システム3001の動作を説明するためのシーケンス図である。
(3-1)
以上説明したように、本実施形態に係る空気調和システム3001は、調和空気送出部3025Aと、音声検知部3025Bと、音声入力解析部3110と、状態判定部(判定部)3125と、特定制御部(制御部)3025Cと、を備える。調和空気送出部3025Aは、対象空間(部屋R)に調和空気を送出する。音声検知部3025Bは、対象空間内(部屋R)に存在するユーザ(発話者)3005a,3005bの発する音声に対応する音声情報を取得する。音声入力解析部3110は、音声の入力を解析して言語情報に変換する。状態判定部3125は、音声入力解析部3110により解析された言語情報に、所定の怒気用語Wが含まれているか否かを判定する。特定制御部3025Cは、状態判定部3125により怒気用語Wが含まれていると判定された場合、調和空気の状態を制御する。
また、本実施形態に係る空気調和システム3001は、空調機3020と、空調機3020にネットワークNW経由で通信可能なサーバ3100とを備える。そして、空調機3020が、調和空気送出部3025A、音声検知部3025B及び特定制御部3025Cを有する。また、サーバ3100が、音声入力解析部3110及び状態判定部3125を有する。
また、本実施形態に係る空気調和システム3001では、特定制御部3025Cが、状態判定部3125により怒気用語Wが含まれていると判定された場合、怒気用語Wとユーザ3005a,3005b(発話者)の発した音声の音量とに基づくように、調和空気の状態を制御する。補足すると、本実施形態に係る空気調和システム3001では、状態判定部3125は、音声情報に怒気用語Wが含まれていると判定した場合、空調機3020を怒気モードに設定する。そして、状態判定部は、怒気用語Wとユーザ3005a,3005bの発した音声の音量とに基づいて、怒気分類DB3104Dから怒気分類に対応する制御命令を抽出して、その制御命令を空調機3020に送信する。そして、空調機3020の特定制御部3025Cが制御命令を受信し、制御命令に基づいて、調和空気の状態を制御する。
また、本実施形態に係る空気調和システム3001は、怒気用語W及び音量と、怒気分類とを関連付けて記憶する怒気分類DB(怒気分類記憶部)3104Dをさらに備える。このような構成により、怒気分類に応じた制御が可能な空気調和システム3001を実現できる。
(4-1)変形例A
本実施形態に係る空気調和システム3001は、空調機3020の処理部3025が、図29に示すように、ユーザ3005(発話者)の位置を特定する「位置特定部3025D」として機能してもよい。具体的には、空調機20が入力部3021として各種センサを有し、そのセンサの検出値に基づいて位置特定部3025Dがユーザ3005の位置を示す位置情報を算出する。
また、本実施形態に係る空気調和システム3001は、空調機3020の処理部3025が、図30に示すように、「文章出力命令部3025E」として機能してもよい。具体的には、空調機3020が、怒気モードで制御される場合、文章出力命令部3025Eが、怒気を軽減するための所定の文章を出力部3022のスピーカを介して音声出力する。なお、怒気を軽減するための所定の文章は、空調機3020の記憶部3024に記憶されていてもよいし、サーバ3100の記憶部3104に記憶されていてもよいものである。
また、本実施形態に係る空気調和システム3001は、怒気分類に関連付けて、怒気モードの開始及び/又は終了を報知(アナウンス)するか否かを設定できるものである。なお、怒気の程度によっては、却ってユーザ3005を刺激するため、怒気モードの開始及び/又は終了のアナウンスをしない方が望ましい場合がある。
また、上述したサーバ3100の各機能は、複数のサーバにおいて分散させて実行させてもよい。例えば、空気調和システム3001は、図31に示すように、サーバ3100に代えて、第1サーバ3100A及び第2サーバ3200Aを備える構成でもよい。ここでは、第1サーバ3100Aが上述した音声入力解析部の機能を有しており、第2サーバ3200Aがそれ以外の機能を有するものとする。補足すると、空調機3020を音声入力により制御する場合には、音声入力の解析に多大な処理が必要になることがある。このような場合であっても、空気調和システム3001では、ネットワークNW上に構築されたニューラルネットワーク等を実現する第1サーバ3100Aを用いることで音声解析を高精度に実行することができる。一方、音声入力の解析以外の負荷の低い処理を第2サーバ3200Aに実行させることで、システムの使用性等と高めることができる。
上記説明において、空調機3020が入力部3021としてマイクを有し、処理部3025が音声検知部3025Bとして機能するとしたが、本実施形態に係る空気調和システム3001はこのような構成に限定されるものではない。
なお、本実施形態に係る空気調和システム3001は、怒気用語の個数の増減、音声の音量が元に増減などの変化量に基づいて調和空気の状態を制御することも可能である。例えば、空気調和システム3001は、怒りの言葉減った、しゃべる声の大きさが収まった等の状況を判定して、調和空気の制御を元の状態に戻すものでもよい。
なお、本実施形態に係る空気調和システム3001は、上述した内容に限らず、怒気分類の設定に応じて、種々の調和空気の制御が可能である。
なお、本発明は、上記各実施形態そのままに限定されるものではない。本発明は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、本発明は、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。
(1)全体構成
図33は、一実施形態に係る機器制御システムを示す。本実施形態の機器制御システムは、室内環境調節システム4090として構成されている。室内環境調節システム4090は、建物4060に設置されたルータ4061、空調機4062、および音声入出力装置4063と、サーバ4040とを含む。空調機4062、音声入出力装置4063、およびサーバ4040は、ネットワーク4050によって接続されている。
図34は室内環境調節システム4090の構成のブロック図である。
空調機4062は、入出力インターフェイス部4621と、プロセッサ4622と、冷媒回路4623を有する。入出力インターフェイス部4621はルータ4061を介してネットワーク4050と接続されており、他の機器と情報を交換する。冷媒回路4623はセンサとアクチュエータを含み、部屋の空気を調和する。プロセッサ4622は空調機4062のアクチュエータを制御し、センサの出力を読み取るとともに、入出力インターフェイス部4621と情報を交換する。
図34に戻り、音声入出力装置4063は、入出力インターフェイス部4631と、音声入力部4064と、音声出力部4065を有する。入出力インターフェイス部4621はルータ4061を介してネットワーク4050と接続されており、他の機器と情報を交換する。音声入力部4064は、マイク4641、増幅器4642、AD変換器4643を有する。マイク4641はアナログ音声信号を取得する。増幅器は取得されたアナログ音声信号を増幅する。AD変換器4643は増幅されたアナログ音声信号をAD変換して、得られた音声データSDを入出力インターフェイス4631部へ送る。音声出力部4065は、DA変換器4653、増幅器4652、スピーカ4651を有する。DA変換器4653は、入出力インターフェイス部4631から受け取った出力データODをDA変換して、得られたアナログ出力信号を増幅器4652へ送る。増幅器4652はアナログ出力信号を増幅する。スピーカ4651は、増幅されたアナログ出力信号に応じた音声を発する。
サーバ4040はコンピュータ4040a、4040bを有する。サーバ4040に含まれるコンピュータの数はいくつであってもよい。ここでは、コンピュータ4040aの構成についてのみ説明する。コンピュータ4040aは、入出力インターフェイス部4041と、プロセッサ4042と、メモリ4043を有する。入出力インターフェイス部4041は、ネットワーク4050に接続されている。プロセッサ4042は、各種処理を実施する。処理の中には、入出力インターフェイス部4041を介した情報の送受信、および各種算術演算などが含まれる。メモリ4043は、プロセッサ4042の書き込み動作等により、情報を記憶する。
図36は、室内環境調節システム4090の機能面によるブロック図である。室内環境調節システム4090は、音声入力部4064および音声出力部4065の他に、複数の機能ブロック、すなわち、テキスト変換部4011、音声認識辞書4012、解釈部4013、制御部4014、記憶部4017、ユーザ識別部4019を有する。
(4-1)音声操作
ユーザは、図34の音声入出力装置4063の音声入力部4064を介して、自分の空調機4062に実行させたい動作を指示する。例えば、ユーザは「空調機をつけて」、「温度をもう少し下げて」などの指令を声で音声入力部4064に言う。
室内環境調節システム4090は、複数のユーザを識別する機能を有する。例えば、空調機4062の動作を命じる音声から生成された音声データSDをユーザ識別部4019が受け取り、声紋解析によってユーザを特定する。記憶部4017は、ユーザごとに異なる温度等に関する好みの設定値記録を各々のユーザと対応付けて記憶する。記憶部4017に記憶された好みの設定値記録は、当該設定に対応するユーザの指令により制御部4014によって設定値として呼び出されて、室温などの実際の状態値の制御に用いられる。
空調動作の結果、室温センサ4083によって検出された状態値である室温Trがユーザによって決定された設定値である設定温度Tsに到達した場合、室内環境調節システム4090は微調整ルーチンを開始する。微調整ルーチンは、図37に示すフローチャートの要領で実行される。ステップS0にて、微調整ルーチンが開始される。ステップS1にて、室温Trが設定温度Tsに達したか否かに応じて処理が分岐する。ステップS1にてNOの場合には、ステップS2にて室温Trを設定温度Tsに近づける温度制御がなされた後、再びステップS1へ戻る。ステップS1にてYESの場合には、処理はステップS3に進む。ステップS3にて、ユーザが室温Trに満足しているかを尋ねるメッセージを、制御部4014が音声出力部4065に発させる。ステップS4にて、音声入力部4064がユーザの声を取得し、解釈部4013がユーザの指令を抽出する。ステップS5にて、ユーザの指令の内容に応じて処理が分岐する。指令の内容が、ユーザが室温Trに満足している旨を知らせるものであった場合には、ステップS6へ移行し、微調整ルーチンは終了する。ステップS5にて、指令の内容が、もう少し室温Trを上げるよう要求するものであった場合には、ステップS7へ移行し、設定温度Tsが所定の量ΔTだけ加算される。ステップS5にて、指令の内容が、もう少し室温Trを下げるよう要求するものであった場合には、ステップS8へ移行し、設定温度Tsが所定の量ΔTだけ減算される。ステップS7またはステップS8が終了した後、処理はステップS1へ戻る。
(6-1)
設定温度Tsを実現した環境を承諾するか、あるいはさらに室温Trを変更させるかについて、ユーザは音声入力部4064を通じて室内環境調節システム4090に自身の希望をフィードバックすることができる。したがって、室内環境の調節に対するユーザの満足度が向上する。
ユーザからの承諾を得るまで、室内環境調節システム4090は室内環境の調節とユーザへの質問とを繰り返す。したがって、室内環境の調節に対するユーザの満足度がさらに向上する。
音声入力部4064はユーザの声を受け付ける。したがって、ユーザは声により室内環境調節システム4090への指令を発することができるので、操作が簡単である。
例えば、テキスト抽出部4011および解釈部4013の少なくとも一方を、空調機4062から離れた場所に設置された40サーバ40に置くことができる。したがって、空調機4062が高い処理能力を負担する必要がない。
ユーザ識別部4019が声紋からユーザを識別する。したがって、各ユーザにとって最適の設定値を室内環境に反映することができる。
複数のユーザはそれぞれ、自身にとって最適な設定値を更新することができる。したがって、各ユーザの満足度がより向上する。
(7-1)第1変形例
上述の実施形態では、室内環境調節システム4090が制御できる環境を調節するための機器は、空調機4062のみである。これに代えて、図38に示すように、室内環境調節システム4090Aは、それ以外の室内環境調節機器を制御してもよい。第1変形例に係る室内環境調節システム4090Aが制御する室内環境調節機器は、空調機4062の他、加湿器4062Aと、照明器具4062Bである。加湿器4062Aに関しては、記憶部4017は設定値として設定湿度を記憶し、制御部4014は室内湿度が設定湿度に近づくように加湿器4062Aを制御する。照明器具4062Bに関しては、記憶部4017は設定値として設定照度を記憶し、制御部4014は室内照度が設定湿度に近づくように照明器具6240Bを制御する。当然ながら、上述した以外の室内環境調節機器が設置され、室内環境調節システム4090Aによって制御されてもよい。
上述の実施形態では、室内環境調節システム4090へのユーザの入出力は音声である。これに代えて、図39に示すように、ユーザは音声以外の手段により室内環境調節システム4090Bに対する入出力を行ってもよい。第2変形例に係る室内環境調節システム4090Bは、音声入出力装置4063に代えてリモートコントローラ4063Aを備えている。リモートコントローラ4063Aは、空調機4062と直接的に無線通信または赤外線通信をしている。リモートコントローラ4063Aには、入力用のキー4064Aと、出力用のディスプレイ4065Aが設けられている。
(1)全体構成
図40は、一実施形態に係る機器制御システムを示す。本実施形態の機器制御システムは、空調管理システム5090として構成されている。空調管理システム5090は、複数の物件5060A、5060B、およびサーバ5040を含む。空調管理システム5090は、電力会社5030と協働してデマンドレスポンスシステムを形成する。空調管理システム5090は、電力会社5030から電力を受け取るとともに、電力会社5030と通信を行う。
(2-1)物件60A、60B
物件5060A、5060Bは、住宅、オフィスビル、工場などの建物である。物件5060A、5060Bには、空調機5062、照明器具5066、換気扇5067などの電気機器群が設けられている。さらに、物件5060A、5060Bには、コントローラ5061、電力メータ5068、および、音声入出力装置5063が設けられる。
空調機5062は設置室内の温度等を調整するものである。空調機5062の消費電力は、電源ON/OFF、暖房モード/冷房モード、設定温度、外的環境などによって変動する。
照明器具5066は、電源ON/OFF,照度調節などによって消費電力が変動する。
換気扇5067は、電源ON/OFFによって消費電力が変動する。
コントローラ5061は、電力会社5030の電力管理装置5031に対して、抑制要請に対する承諾および拒否を送信することができる。さらに、コントローラ5061は、抑制要請の有無を考慮した上で電気機器を制御する。
電力メータ5068は物件5060A、5060Bで使用される電力量を計測する。計測結果はコントローラ5061によってモニタされる。
音声入出力装置5063は、電気機器群の音声リモートコントローラとして動作する。音声入出力装置5063は、例えば空調機5062と同じ部屋に設置される。
サーバ5040は、音声入出力装置5063を、電気機器群の音声リモートコントローラとして動作させるためのものである。サーバ5040は、単一のコンピュータとして構成されていてもよいし、それぞれ異なる機能を有する複数のコンピュータから構成されていてもよい。例えば、あるコンピュータは音声の解析および指令の抽出を担当し、別のコンピュータは電気機器の制御と異常検出を担当してもよい。この場合、複数のコンピュータは、互いに離れた場所に設置されて異なる企業に所有または管理されていてもよい。
図41は空調管理システム5090のハードウェア構成のブロック図である。本図では1つの物件に設けられる電気機器群のみを記載する。
空調機5062は、入出力インターフェイス部5621と、プロセッサ5622と、冷媒回路5623を有する。入出力インターフェイス部5621はコントローラ5061を介してネットワーク50と接続されており、他の機器と情報を交換する。冷媒回路5623はセンサとアクチュエータを含み、部屋の空気を調和する。プロセッサ5622は空調機5062のアクチュエータを制御し、センサの出力を読み取るとともに、入出力インターフェイス部5621と情報を交換する。
音声入出力装置5063は、入出力インターフェイス部5631と、音声入力部5064と、音声出力部5065を有する。入出力インターフェイス部5621はコントローラ5061を介してネットワーク5050と接続されており、他の機器と情報を交換する。
サーバ5040はコンピュータ5040a、5040bを有する。サーバ5040に含まれるコンピュータの数はいくつであってもよい。ここでは、コンピュータ5040aの構成についてのみ説明する。コンピュータ5040aは、入出力インターフェイス部5041と、プロセッサ5042と、メモリ5043を有する。入出力インターフェイス部5041は、ネットワーク5050に接続されている。プロセッサ5042は、各種処理を実施する。処理の中には、入出力インターフェイス部5041を介した情報の送受信、および各種算術演算などが含まれる。メモリ5043は、プロセッサ5042の書き込み動作等により、情報を記憶する。
コントローラ5061は、入出力インターフェイス部5611、5614、5615、プロセッサ5612、メモリ5613を有する。入出力インターフェイス部5611は、ネットワーク5050に接続されている。入出力インターフェイス部5614は、空調機5062に接続されている。入出力インターフェイス部5615は、音声入出力装置5063に接続されている。メモリ5613は、各種情報を記憶する。プロセッサ5612は、各種通信、演算、情報の記録、情報の読み出し、その他の処理全般を統括する。 (4)機能ブロック
図42は、空調管理システム5090の機能面によるブロック図である。空調管理システム5090は、音声入力部5064および音声出力部5065等の他に、複数の機能ブロック、すなわち、テキスト変換部5011、音声認識辞書5012、解釈部5013、制御部5014、状態抽出部5015、状態抽出辞書5016、判定部5017、記憶部5018を有する。
ユーザは、図41の音声入出力装置5063の音声入力部5064を介して、空調機5062に実行させたい動作を指示する。例えば、ユーザは「空調機をつけて」、「温度をもう少し下げて」などの指令を声で音声入力部5064に言う。
(6-1)状態抽出
状態抽出部5015は、状態抽出辞書5016を参照しながら、音声入力部5064から送られる音声データSDを分析し、在室中のユーザの感情を把握する。感情としては、様々な捉え方が可能である。一例を挙げると、把握されるべき感情として、声の強さや音声波形の形状から導出されるユーザの興奮度を用いてもよい。
判定部5017は、電力管理装置から電力使用に関する抑制要請があった場合に、状態抽出部5015が把握したユーザの感情に応じて、判定部5017は抑制要請を受け入れるか否かを決定する。具体的には、判定部5017は、感情が肯定的なときは抑制要求を承諾する「承諾モード」と判定し、感情が否定的なときは抑制要求を拒否する「拒否モード」と判定する。
制御部5014の一部として機能するコントローラ5061のプロセッサ5612は、電力管理装置5031に対して、「承諾モード」のときは抑制要求への承諾を送信し、「拒否モード」のときは抑制要請への拒否を送信する。
記憶部5018には、電力管理装置5031に対して送信した承諾または拒否の送信の履歴が保存される。
(7-1)
判定部5017が、電力会社からの抑制要求への承諾応答を行うか否かを自動的に決定する。したがって、ユーザの決定の負担が軽減される。
否定的な感情を抱くユーザがいるときは、制要求への承諾応答が行われない。したがって、否定的な感情を抱くユーザに配慮した運転がなされる。
(8-1)画像・動画入力
音声入力部5064による音声データの取得に代えて、カメラなどの画像入力部を用いて画像または動画のデータを取得してもよい。状態抽出部5015は、ユーザの表情、姿勢、または動作などを検出し、次いでその検出内容からユーザの感情を把握してもよい。
判定部5017の出力に基づいて行う処理は、電力管理装置5031への承諾または拒否の送信に代えて、デマンドレスポンスに関係しないエネルギーセーブ運転の実行でもよい。すなわち、「承諾モード」のときはエネルギーセーブ運転を実行し、「拒否モード」のときは通常運転を実行してもよい。ここでいうエネルギーセーブ運転とは、例えば空調機5062の圧縮機のモータ回転数に制限を加えて、空調機5062の能力を低下させることなどが挙げられる。
(1)全体構成
図43は、一実施形態に係る機器制御システムを示す。本実施形態の機器制御システムは、ホームシステム6090として構成されている。ホームシステム6090は、住宅である建物6060と、遠隔地に設けられたサーバ6040を含む。建物6060には、ルータ6061、音声入出力装置6063、機器群6070が設けられる。ルータ6061とサーバ6040はネットワーク6050を介して接続している。
(2-1)ネットワーク6050
ネットワーク6050は、例えばPSTN(公衆交換電話網)等を用いて構築されたインターネットである。
ルータ6061はネットワーク6050に接続し、スイッチングハブを有する。ルータ6061には、音声入出力装置6063と機器群6070が、有線通信または無線通信のリンクによって接続されている。
機器群6070は、例えば、空調機6071、浴室給湯器6072、テレビ6073、照明器具6074、ウェアラブル端末6075、調理器具6076、冷蔵庫6077を含む。
音声入出力装置6063は、音声指令によって機器群6070を操作するためのものである。音声入出力装置6063には音声入力部6064と音声出力部6065が設けられている。
サーバ6040は、ユーザが発する音声に応答して機器群6070を制御する。サーバ6040は、単一のコンピュータとして構成されていてもよいし、それぞれ異なる機能を有する複数のコンピュータ6040a、6040bから構成されていてもよい。例えば、あるコンピュータ6040aは音声の解析および指令の実行を担当し、別のコンピュータ6040bは空調機6071の制御と異常検出を担当してもよい。この場合、複数のコンピュータ6040a、6040bは、互いに離れた場所に設置されて異なる企業に所有または管理されていてもよい。
図44はホームシステム6090の構成のブロック図である。
機器群6070に属する1つの機器である空調機6071は、入出力インターフェイス部6711と、プロセッサ6712と、冷媒回路6713を有する。入出力インターフェイス部6711はルータ6061を介してネットワーク6050と接続されており、他の機器と情報を交換する。冷媒回路6713はセンサとアクチュエータを含み、部屋の空気を調和する。プロセッサ6712は空調機6071のアクチュエータを制御し、センサの出力を読み取るとともに、入出力インターフェイス部6711と情報を交換する。
音声入出力装置6063は、入出力インターフェイス部6631と、音声入力部6064と、音声出力部6065を有する。入出力インターフェイス部6631はルータ6061を介してネットワーク6050と接続されており、他の機器と情報を交換する。
サーバ6040はコンピュータ6040a、6040bを有する。サーバ6040に含まれるコンピュータの数はいくつであってもよい。ここでは、コンピュータ6040aの構成についてのみ説明する。コンピュータ6040aは、入出力インターフェイス部6041と、プロセッサ6042と、メモリ6043を有する。入出力インターフェイス部6041は、ネットワーク6050に接続されている。プロセッサ6042は、各種処理を実施する。処理の中には、入出力インターフェイス部6041を介した情報の送受信、および各種算術演算などが含まれる。メモリ6043は、プロセッサ6042の書き込み動作等により、情報を記憶する。
図45は、ホームシステム6090の機能面によるブロック図である。ホームシステム6090は、音声入力部6064および音声出力部6065の他に、複数の機能ブロック、すなわち、テキスト抽出部6011、音声認識辞書6012、解釈部6013、制御部6014、時計部6015、記録部6016、パターン抽出部6017、予測部6018を有する。
(5-1)音声操作
ユーザは、図44の音声入出力装置6063の音声入力部6064を介して、機器群6070に実行させたい動作を指示する。例えば、ユーザは「空調機をつけて」、「温度をもう少し下げて」などの指令を声で音声入力部6064に言う。
サーバ6040は、機器群6070に設けられたセンサ出力、および機器群6070へ送る指令CMの内容を取得する。センサ出力および制御の指令CMは、時計部6015で計測された時刻と関連付けて、図46に示すログとして記録部6016に保存される。
ログを分析することによって、発生頻度が高い機器動作パターンをパターン抽出部6017が抽出する。特徴的な機器動作パターンとして例えば下記のものが挙げられる。
特定の暦日、曜日や時刻になされるある機器への指令または検出の記録。
・平日の午後7時頃、照明器具6074の電源が投入される。(仕事からの帰宅)
・午後6時頃、ウェアラブル端末6075が心拍数の上昇を検知する。(夕方のジョギング)
・午後6時頃、調理器具6076が使用される。(夕食の準備)
(5-3-2)複数の機器動作の相関の強いもの
別個の機器に対する、所定時間差以内の複数の順次的な指令または検出の記録。
・浴室給湯器6072の使用の後、空調機6071の設定温度が下げられる。(入浴後の冷房を強くする)
・ウェアラブル端末6075で心拍数の上昇を検出した後、空調機6071の設定温度が上げられる。(ジョギングの後の冷房を弱くする)
・調理器具6076の使用中に、空調機6071の設定温度が下げられる。(調理中に冷房を強くする)
(5-3-3)日時と複数の機器動作の相関の強いもの
・金曜日の午後8時頃、テレビ6073の電源が投入された後、冷蔵庫6077のドアが開く。(飲み物を飲みながらテレビを視聴)
(5-4)ユーザの行動の予測
パターン抽出部6017が抽出した機器動作パターンから、近い将来に発生しそうなパターンを予測部6018が予測する。例えば、現在時刻が午後5時55分であり、空調機6071の設定温度が26℃であるとする。そして、予測部6018が「5分後の午後6時頃に空調機71の設定温度が25℃に変更される蓋然性が大きい」と予測する。
制御部6014は、予測に基づいて制御を行う。制御のやり方として、例えば下記の2通りのモードが挙げられる。
ユーザが機器群6070のいずれかを操作する前に、制御部6014はユーザが行いそうな操作を先回りして行う。例えば、上述の予測に基づいて、制御部6014は、午後6時に空調機6071の設定温度を26℃から25℃に変更する。
ユーザに対して、制御部6014は予測される操作を教えるメッセージを発する。例えば上記の予測に基づいて、制御部6014は、午後6時に音声出力部6065を制御して、「午後6時になりました。空調機の温度を25℃に下げてもよいかもしれません。」というメッセージを発させる。
(6-1)
特徴的な順次的指令パターンが得られる。したがって、ユーザが快適だと感じる蓋然性の高い制御のパターンをホームシステム6090は把握できる。
予測部6018が、順次的指令パターンに基づいて、次にユーザが行いそうな機器の制御を予測する。したがって、ユーザが快適だと感じる蓋然性の高い次の制御をホームシステム6090は把握できる。
メッセージ出力部が、次にユーザが行うことを好みそうな機器の制御をそのユーザに通知する。したがって、ユーザが自身の快適さをもたらす機器操作を失念することが抑制される。
音声出力部6065が、次にユーザが行うことを好みそうな機器の制御をそのユーザに通知する。したがって、ユーザが自身の快適さをもたらす機器操作を失念することが抑制される。
ユーザは声により指令を発することができる。したがって、ユーザにとってホームシステム6090の操作が容易である。
ホームシステム6090は空調機6071を制御する。したがって、ユーザが快適だと感じる温度等をホームシステム6090が実現できる。
(7-1)第1変形例
上述の形態の音声入出力装置6063に代えて、図47に示すようにスマートフォン6063Aを用いてもよい。本図で機器群は省略している。スマートフォン6063Aのネットワーク6050への接続は、ルータ6061との間の無線通信により実現してもよいし、携帯電話キャリアの4G回線などを用いて実現してもよい。音声によるメッセージの代わりに、文字によるメッセージを使用してもよい。スマートフォン6063Aの画面上にキャラクターの画像やアニメーションを表示させて、そのキャラクターがメッセージを話しているような演出をしてもよい。
図48に示す第2変形例では、ホームシステム6090Bは文脈部6019という機能ブロックを含む。文脈部6019は、人間の、あるいは国や地域ごとの生活様式の文脈を参照しつつ、予測部から出力されるパターンに、合致するメッセージを作り出す。
予測部6018が行ったパターン予測をユーザに対して音声出力部6065その他の出力手段により提示してもよい。この場合、ユーザが提示通りに機器を操作した事象を提示の成功と判定し、ユーザが提示とは異なる操作を行った事象を提示の不成功と判定する判定部をさらに設けてもよい。加えて、そのような提示の成功および不成功の履歴を記録するパターン提示結果記録部を設けてもよい。
上述の第3変形例においてユーザに対する機器操作のパターンの提示をするとき、建物6060の外部の情報を考慮に入れて提示の内容を決定してもよい。
以下に、図面を参照しながら、本開示の機器制御システムの一実施形態に係る機器制御システム7400、機器制御システム7400により制御される本開示の機器の一実施形態に係る第1機器7010、第2機器7020及び第3機器7030、及び、これらの機器の制御方法の一実施形態について説明する。
機器制御システム7400と、機器制御システム7400により制御される第1機器7010、第2機器7020及び第3機器7030と、の概要について、図49を参照しながら説明する。
1)音声入力部7012の音声の受付機能
2)音声データ送信部7014の音声データの送信機能
3)第1機器7010の送信する音声データを音声データ受付部7110が受け付ける機能
4)第1機器7010が送信する音声データを音声解析部7120が解析する機能
5)第1機器7010が送信した音声データを後述する第1サーバ7100の記憶部7190に蓄積する機能
第2機器7020及び第3機器7030についての音声認識処理、及び、第2機器7020及び第3機器7030についての音声認識処理に関係する機能は、それぞれ、第1機器7010についての音声認識処理、及び、第1機器7010についての音声認識処理に関係する機能と同様であるので、ここでは説明は省略する。
以下に、機器(第1機器7010、第2機器7020及び第3機器7030)の音声操作に関連する構成・機能等と、機器制御システム7400と、に関して更に説明する。
第1機器7010、第2機器7020及び第3機器7030は、いずれも第1機器の一例であると共に、第2機器の一例である。
スイッチ7011a及びリモコン7011bは、指示受付部の一例である。指示受付部とは、音声入力部7012が音声を受け付け、音声データ送信部7014が音声データを送信し、送信した音声データを機器制御システム7400の音声解析部7120に解析させる、音声認識処理に関係する機能の少なくとも一部の停止の指示を受け付ける機能部である。また、スイッチ7011a及びリモコン7011bは、音声認識処理に関係する機能の少なくとも一部の開始(再開)の指示を受け付ける機能部でもある。
音声入力部7012は、音声を受け付けるマイク(図示せず)を有し、音声の入力を受け付ける。
音声データ送信部7014は、音声入力部7012が受け付けた音声を、音声データとして、音声解析部7120を有する機器制御システム7400に送信する。音声データ送信部7014は、例えば、音声入力部7012が受け付けた音声をA/D変換したデジタル音声信号(音声データ)を機器制御システム7400に送信する。
開始・停止要求受付部7016は、後述する機器制御システム7400の開始・停止要求部7180が送信する、第1機器7010についての音声認識処理に関係する機能の開始/停止の要求を受信する。なお、開始・停止要求受付部7016が受け付ける機能の開始/停止の要求は、第1機器7010側で開始/停止を指示可能な機能である。例えば、開始・停止要求受付部7016が受け付ける機能の開始/停止の要求は、音声入力部7012の音声の受付機能の開始/停止の要求や、音声データ送信部7014の音声データの送信機能の開始/停止の要求である。第1機器7010は、開始・停止要求受付部7016が第1機器7010についての音声認識処理に関係する機能の開始/停止を要求する信号を受信すると、この信号に応じて、第1機器7010についての音声認識処理に関係する機能を開始/停止させる。
開始・停止情報受付部7017は、後述する機器制御システム7400の開始・停止情報送信部7170から送信される、機能停止情報を受け付ける。
報知部7018は、第1機器7010についての音声認識処理が有効か否かを第1機器10のユーザに報知する機能部である。報知部7018は、例えばLEDを含む。
機器制御システム7400の第1サーバ7100、第2サーバ7200、及び第3サーバ7300について説明する。
第1サーバ7100は、プロセッサ、主記憶装置及び補助記憶装置を含む記憶装置、及び通信インターフェース等を有するコンピュータである。第1サーバ7100は、ネットワーク7040を介して、第1機器7010、第2機器7020、第3機器7030、第2サーバ7200及び第3サーバ7300と通信可能に接続されている。
音声データ受付部7110は、第1音声データ受付部及び第2音声データ受付部の一例である。音声データ受付部7110は、第1機器7010の音声データ送信部7014、第2機器7020の音声データ送信部7024、及び第3機器7030の音声データ送信部(図示省略)が送信する音声データを受け付ける。音声データ受付部7110が、第1機器7010の音声データ送信部7014、第2機器7020の音声データ送信部7024、及び第3機器7030の音声データ送信部(図示省略)が送信する音声データを受け付けると、受け付けられた音声データは、音声解析の実行前に音声データ記憶領域7194に一旦蓄積されることが好ましい。ただし、音声データの蓄積のタイミングは一例であって、音声データは、音声解析の実行前又は実行中に音声データ記憶領域7194に蓄積されてもよい。
音声解析部7120は、第1音声解析部及び第2音声解析部の一例である。音声解析部7120は、音声データ受付部7110が(第1機器7010、第2機器7020及び第3機器)受け付けた音声データについて、音声データがどのような内容であるかを解析する。具体的には、音声解析部7120は、例えば、音声データを分析してその特徴量を求め、記憶装置に記憶された音響モデル、言語モデル及び発音辞書を含む音声認識辞書を利用して特徴量からテキスト情報を生成する。音声解析部7120が生成するテキスト情報は、限定するものではないが、例えば「運転開始」、「設定温度25度」、「冷房運転」等のテキスト情報である。
解析結果送信部7130は、音声解析部7120の音声解析結果(音声解析部7120が生成するテキスト情報)を、第2サーバ7200や第3サーバ7300に対して送信する。なお、音声解析結果には、音声解析の対象となった音声データの送信元に関する情報が含まれていることが好ましい。
検知部7140は、第1機器7010についての音声認識処理に関係する機能の少なくとも一部(第1機能)の停止の指示を、第1機器7010が受けたことを検知する。また、同様に、検知部7140は、第2機器7020についての音声認識処理に関係する機能の少なくとも一部の停止の指示を第2機器7020が受けたことや、第3機器7030についての音声認識処理に関係する機能の少なくとも一部の停止の指示を第3機器7030が受けたことや、を検知する。
判断部7150は、第1機器7010、第2機器7020及び第3機器7030と関連する機器を判断する。判断部7150は、例えば、記憶部7190の関連情報記憶領域7192に記憶されている情報に基づいて、第1機器7010、第2機器7020及び第3機器7030と関連する機器を判断する。
開始・停止決定部7160は、検知部7140が、ある機器(機器Aと呼ぶ)が、機器Aについての音声認識処理に関係する機能の少なくとも一部の機能(第1機能)の停止の指示を受けたことを検知すると、他の機器(機器Bと呼ぶ)について、音声入力部が音声を受け付け、受け付けた音声の音声データを送信し、送信した音声データを音声データ受付部7110が受け付け、受け付けた音声データを音声解析部7120に解析させる、音声認識処理に関係する少なくとも一部の機能(第2機能)を停止することを決定する。より具体的には、開始・停止決定部7160は、検知部7140が、機器Aが、機器Aについての音声認識処理の第1機能の停止の指示を受けたことを検知し、かつ、判断部7150が機器Aと関連すると判断する機器に、機器Bが含まれている場合に、機器Bについての音声認識処理に関係する第2機能を停止することを決定する。
開始・停止情報送信部7170は、開始・停止決定部7160が、ある機器についての音声認識処理に関する第2機能の開始/停止を決定した時に、その機器の報知部が第2機能の停止を報知するよう、第2機器7020に対し機能開始情報/機能停止情報を送信する。
開始・停止要求部7180は、開始・停止決定部7160の決定に応じて、第2機能の停止を要求する信号を第2機器7020に対して送信する。
第2サーバ7200は、プロセッサ、主記憶装置及び補助記憶装置を含む記憶装置、及び通信インターフェース等を有するコンピュータである。第2サーバ7200は、ネットワーク7040を介して、第1機器7010、第3機器7030及び第1サーバ7100と少なくとも通信可能に接続されている。
機器の音声操作について説明する。機器の音声操作は、その機器についての音声認識処理が実行可能な状態(音声認識処理の実行のために必要な機能が停止されていない状態)で実行可能である。
次に、ある機器について音声認識処理の第1機能が停止された場合の、他の機器における音声認識処理の第2機能の停止処理について、図52及び図53のシーケンス図を参照しながら説明する。
ある機器について音声認識処理の第1機能が開始された場合の、他の機器における音声認識処理の第2機能の開始処理について、図54及び図55のシーケンス図に示す。
(6-1)
本実施形態の機器制御システム7400は、第1機器の一例としての第1機器7010と、第2機器の一例としての第2機器7020と、を制御する。第1機器7010は、第1音声入力部の一例としての音声入力部7012を有し、音声入力部7012が受け付けた音声の音声データを送信する。第2機器7020は、第2音声入力部の一例としての音声入力部7022を有し、音声入力部7022が受け付けた音声の音声データを送信する。機器制御システム7400は、第1音声データ受付部及び第2音声データ受付部の一例としての音声データ受付部7110と、第1音声解析部及び第2音声解析部の一例としての音声解析部7120と、検知部7140と、開始・停止決定部7160と、を備える。音声データ受付部7110は、第1機器7010が送信する音声データを受け付ける。音声データ受付部7110は、第2機器7020が送信する音声データを受け付ける。音声解析部7120は、音声データ受付部7110が受け付けた音声データを解析する。検知部7140は、音声入力部7012が音声を受け付け、受け付けた音声の音声データを送信し、送信した音声データを音声データ受付部7110が受け付け、受け付けた音声データを音声解析部7120に解析させる、第1機器7010についての音声認識処理に関係する機能の少なくとも一部の第1機能の停止の指示を、第1機器7010が受けたことを検知する。開始・停止決定部7160は、検知部7140が、第1機器7010が第1機能の停止の指示を受けたことを検知すると、第2機器7020について、音声入力部7022が音声を受け付け、受け付けた音声の音声データを送信し、送信した音声データを音声データ受付部7110が受け付け、受け付けた音声データを音声解析部7120に解析させる、音声認識処理に関係する機能の少なくとも一部の第2機能を停止することを決定する。
本実施形態の機器制御システム7400では、第2機能は、音声入力部7022の音声の受付機能、又は、第2機器7020の音声データの送信機能である。
本実施形態の機器制御システム7400は、停止要求部の一例としての開始・停止要求部7180を備える。開始・停止要求部7180は、開始・停止決定部7160の決定に応じて、第2機能の停止を要求する信号を第2機器7020に対して送信する。
本実施形態の機器制御システム7400では、第2機能は、第2機器7020が送信する音声データを音声データ受付部7110が受け付ける機能、第2機器7020が送信する音声データを音声解析部7120が解析する機能、又は、第2機器7020が送信した音声データを蓄積する機能であってもよい。
本実施形態の機器制御システム7400では、前記の第2機能は、前記の第1機能と同種の機能である。
本実施形態の機器制御システム7400では、第2機器7020は、第2機能が停止されていることを報知する報知部7028を有する。機器制御システム7400は、停止情報送信部の一例としての開始・停止情報送信部7170を備える。開始・停止情報送信部7170は、開始・停止決定部7160が第2機能の停止を決定した時に、報知部7028が第2機能の停止を報知するよう、第2機器7020に対し機能停止情報を送信する。
本実施形態の機器制御システム7400は、第1機器7010と関連する機器を判断する判断部7150を備える。開始・停止決定部7160は、第1機器7010が第1機能の停止の指示を受けたことを検知部7140が検知し、かつ、判断部7150が第1機器7010と関連すると判断する機器に第2機器7020が含まれている場合に、第2機器7020について第2機能を停止することを決定する。
本実施形態の機器制御システム7400では、第1機器7010が受け付ける第1機能の停止の指示には、物理的なスイッチ7011aに対する指示、リモコン7011bによる指示、又は、音声入力部7012に対する音声による指示、を含む。
本実施形態の機器制御システム7400では、検知部7140は、第1機器7010が第1機能の開始の指示を受けたことを検知する。機器制御システム7400は、開始決定部の一例としての開始・停止決定部7160を備える。開始・停止決定部7160は、検知部7140が、第1機器7010が第1機能の開始の指示を受けたことを検知すると、第2機器7020が第2機能を開始することを決定する。
本実施形態の第2機器7020は、音声操作可能な機器である。第2機器7020は、音声入力部7022と、音声データ送信部7024と、指示受付部(例えば、スイッチ7021aや、リモコン7021bや、音声入力部7022)と、停止情報受付部の一例としての開始・停止情報受付部7027と、を備える。音声入力部7022は、音声を受け付ける。音声データ送信部7024は、音声入力部7022が受け付けた音声を、音声データとして、音声解析部7120を有する機器制御システム7400に送信する。指示受付部は、音声入力部7022が音声を受け付け、音声データ送信部7024が音声データを送信し、送信した音声データを機器制御システム7400の音声解析部7120に解析させる、音声認識処理に関係する機能の少なくとも一部の停止の指示を受け付ける。開始・停止情報受付部7027は、機器制御システム7400から送信される、音声操作可能な他の機器(例えば第1機器7010)の音声認識処理に関係する機能の少なくとも一部の停止に応じた、当該第2機器7020の音声認識処理に関係する機能の少なくとも一部の停止の決定に関する機能停止情報を受け付ける。
本実施形態の制御方法は、第1機器7010と、第2機器7020と、の制御方法である。第1機器7010は、第1音声入力部の一例としての音声入力部7012と、第1音声データ送信部の一例としての音声データ送信部7014と、を有する。音声データ送信部7014は、音声入力部7012が受け付けた音声の第1音声データを、機器制御システム7400に送信する。機器制御システム7400は、第1音声データを受け付ける第1音声データ受付部の一例としての音声データ受付部7110、及び音声データ受付部7110が受け付けた第1音声データを解析する第1音声解析部の一例としての音声解析部7120、を有する。第2機器7020は、第2音声入力部の一例としての音声入力部7022と、第2音声データ送信部の一例としての音声データ送信部7024と、を有する。音声データ送信部7024は、音声入力部7022が受け付けた音声の第2音声データを、機器制御システム7400に送信する。機器制御システム7400は、第2音声データを受け付ける第2音声データ受付部の一例としての音声データ受付部7110、及び音声データ受付部7110が受け付けた第2音声データを解析する第2音声解析部の一例としての音声解析部7120を有する。制御方法は、検知ステップ(ステップS22,S42)と、決定ステップ(ステップS26,S48)と、を備える。検知ステップでは、音声入力部7012が第1音声を受け付け、音声データ送信部7014が第1音声データを送信し、送信した第1音声データを音声データ受付部7110が受け付け、受け付けた第1音声データを音声解析部7120に解析させる、音声認識処理に関係する機能の少なくとも一部の第1機能の停止の指示を、第1機器7010が受けたことが検知される。決定ステップでは、第1機器7010が第1機能の停止の指示を受けたことが検知された場合に、第2機器7020について、音声入力部7022が第2音声を受け付け、音声データ送信部7024が第2音声データを送信し、送信した第2音声データを音声データ受付部7110が受け付け、受け付けた第2音声データを音声解析部7120に解析させる、音声認識処理に関係する機能の少なくとも一部の第2機能を停止することが決定される。
以下に上記実施形態の変形例を示す。なお、変形例は、矛盾しない範囲で互いに適宜組み合わされてもよい。
上記実施形態では、機器制御システム7400は、3台のサーバ(第1サーバ7100、第2サーバ7200、及び第3サーバ7300)を有するが、これに限定されるものではない。
上記実施形態では、第1機器10、第2機器20及び第3機器30は、家電機器であるが、これに限定されるものではない。例えば、第1機器10は、家電機器の音声操作機器であってもよい。
上記実施形態では、音声データ受付部7110が第1音声データ受付部及び第2音声データ受付部として機能し、音声解析部7120が第1音声解析部及び第2音声解析部として機能するが、これに限定されるものではない。
1001 機器制御システム(制御システム)
1005 ユーザ
1010 第1タイプの機器(制御機器)
1020 第2タイプの機器(制御機器)
1060 音声入力受付部
1070 赤外線出力装置
1100 サーバ
1104T 特定制御記憶部
1110 音声入力解析部
1120 制御内容特定部
1130 第1制御部(制御部)
1135 第2制御部(制御部)
1400 設定支援装置
1410 キーワード入力受付部
1420 制御命令選択部
1430 特定制御登録部
G 編集画面
GK キーワード画像
GO 制御命令画像
K キーワード
O 制御命令
NW ネットワーク
P 設定支援プログラム
〔第2構成〕
2011 テキスト抽出部
2012 音声認識辞書
2013 解釈部
2014 制御部
2016 機器情報取得部
2017 記憶部
2018 演算部
2019 認証部
2040 サーバ
2050 ネットワーク
2060 建物
2061 ルータ
2062 空調機
2063 音声入出力装置
2064 音声入力部
2065 音声出力部
2069 基準環境センサ
2090 環境調節システム
2091 空調機
2092 扇風機
2093 加湿器
2094 電動窓
2095 照明器具
2096 カーテン器具
2097 電動アロマポット
2099 対象環境センサ
RS 基準空間
TS 対象空間
〔第3構成〕
3001 空気調和システム
3005a ユーザ(発話者)
3005b ユーザ(発話者)
3020 空調機(空気調和装置)
3020P 情報処理ユニット
3021 入力部
3022 出力部
3023 通信部
3024 記憶部
3025 処理部
3025A 調和空気送出部
3025B 音声検知部
3025C 特定制御部
3025D 位置特定部
3025E 文章出力命令部
3060 音声入力装置
30100 サーバ(情報処理装置)
3100A 第1サーバ(第1情報処理装置)
3101 入力部
3102 出力部
3103 通信部
3104 記憶部
3104D 怒気分類DB(怒気分類記憶部)
3110 音声入力解析部
3125 状態判定部
3200A 第2サーバ(第2情報処理装置)
NW ネットワーク
〔第4構成〕
4011 テキスト抽出部
4012 音声認識辞書
4013 解釈部
4014 制御部
4015 ユーザ識別部
4016 記憶部
4040 サーバ
4050 ネットワーク
4060 建物
4061 ルータ
4062 空調機(室内環境調節機)
4063 音声入出力装置
4064 音声入力部
4065 音声出力部
4070 室外機
4080 室内機
4090 室内環境調節システム
〔第5構成〕
5011 テキスト抽出部
5012 音声認識辞書
5013 解釈部
5014 制御部
5015 状態抽出部
5016 状態抽出辞書
5017 判定部
5018 記憶部
5030 電力会社
5031 電力管理装置
5040 サーバ
5050 ネットワーク
5060A、5060B 物件
5061 コントローラ
5062 空調機
5063 音声入出力装置
5064 音声入力部
5065 音声出力部
5066 照明器具
5067 換気扇
5068 電力メータ
5090 空調管理システム
〔第6構成〕
6011 テキスト抽出部
6013 解釈部
6014 制御部
6015 時計部
6016 記録部
6017 パターン抽出部
6018 予測部
6019 文脈部
6040 サーバ
6050 ネットワーク
6060 建物
6061 ルータ
6063 音声入出力装置
6064 音声入力部
6065 音声出力部
6071 空調機
6072 浴室給湯器
6073 テレビ
6074 照明器具
6075 ウェアラブル端末
6076 調理器具
6077 冷蔵庫
6090 ホームシステム
〔第7構成〕
7010 第1機器(機器)
7011a スイッチ(物理スイッチ、指示受付部)
7011b リモコン(リモートコントローラ、指示受付部)
7012 音声入力部(第1音声入力部,指示受付部)
7014 音声データ送信部(第1音声データ送信部)
7016 開始・停止要求受付部(停止情報受付部)
7017 開始・停止情報受付部(停止情報受付部)
7018 報知部
7020 第2機器(機器)
7021a スイッチ(物理スイッチ、指示受付部)
7021b リモコン(リモートコントローラ、指示受付部)
7022 音声入力部(第2音声入力部、指示受付部)
7024 音声データ送信部(第2音声データ送信部)
7026 開始・停止要求受付部(停止情報受付部)
7027 開始・停止情報受付部(停止情報受付部)
7028 報知部
7110 音声データ受付部(第1音声データ受付部,第2音声データ受付部)
7120 音声解析部(第1音声解析部,第2音声解析部)
7140 検知部
7150 判断部
7160 開始・停止決定部(停止決定部,開始決定部)
7170 開始・停止情報送信部(停止情報送信部)
7180 開始・停止要求部(停止要求部)
7400 機器制御システム
S22,S42 検知ステップ
S26,S48 決定ステップ
Claims (9)
- 室内環境の設定値を記憶する記憶部(4016)と、
前記室内環境の状態値を検知する検知部(4083)と、
前記設定値に応じて前記室内環境を調節する室内環境調節機(4062)と、
前記検知部によって検知された前記状態値が前記設定値に達した場合に、前記状態値を承諾するか否かをユーザに問いかけるメッセージを発する出力部(4065)と、
前記メッセージに対する前記ユーザの回答を取得する入力部(4064)と、
を備える、
室内環境調節システム(4090)。 - 制御部(4014)、
をさらに備え、
前記制御部は、最新の前記状態値について前記ユーザから承諾を受けるまで、
前記設定値を変更し、
前記検知部によって検知された前記状態値が前記設定値に達するように前記室内環境調節機を制御し、
前記検知部によって検知された前記状態値を承諾するか否かを前記ユーザに問いかける前記メッセージを前記出力部から発させる、
ことを繰り返す、
請求項1に記載の室内環境調節システム。 - 前記室内環境調節機は空調機であり、
前記設定値は設定温度であり、
前記状態値は室内温度である、
請求項1または請求項2に記載の室内環境調節システム。 - 前記室内環境調節機は加湿器であり、
前記設定値は設定湿度であり、
前記状態値は室内湿度である、
請求項1または請求項2に記載の室内環境調節システム。 - 前記室内環境調節機は照明器具であり、
前記設定値は設定照度であり、
前記状態値は室内照度である、
請求項1または請求項2に記載の室内環境調節システム。 - 前記入力部は、前記ユーザの声から音声データ(SD)を取得する音声入力部(4064)であり、
前記音声データからテキスト(TX)を抽出するテキスト抽出部(4011)と、
前記テキストを解釈して前記ユーザの指令(CM)を抽出する解釈部(4013)と、
をさらに備える、
請求項1から5のいずれか1つに記載の室内環境調節システム。 - 前記テキスト抽出部および前記解釈部の少なくとも一方は、ネットワーク(4050)を介して前記室内環境調節機と接続している、
請求項6に記載の室内環境調節システム。 - 前記音声データから声紋を抽出し、前記声紋に基づいて複数の前記ユーザを識別するユーザ識別部(4015)、
をさらに備え、
記憶部は、各々の前記ユーザと、各々の前記ユーザについての設定値記録とを対応付けて記憶し、
前記ユーザ識別部によって特定された前記ユーザに対応する前記設定値記録を前記設定値として扱う、
請求項6または請求項7に記載の室内環境調節システム。 - 前記ユーザ識別部によって識別された前記ユーザからの承諾に基づいて、前記記憶部に記憶されている前記設定値記録が更新される、
請求項8に記載の室内環境調節システム。
Applications Claiming Priority (16)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017138613 | 2017-07-14 | ||
JP2017138627 | 2017-07-14 | ||
JP2017138612 | 2017-07-14 | ||
JP2017138625 | 2017-07-14 | ||
JP2017138626 | 2017-07-14 | ||
JP2017138626 | 2017-07-14 | ||
JP2017138613 | 2017-07-14 | ||
JP2017138624 | 2017-07-14 | ||
JP2017138625 | 2017-07-14 | ||
JP2017138624 | 2017-07-14 | ||
JP2017138612 | 2017-07-14 | ||
JP2017138627 | 2017-07-14 | ||
JP2017213117 | 2017-11-02 | ||
JP2017213117 | 2017-11-02 | ||
JP2019529797A JP7060811B2 (ja) | 2017-07-14 | 2018-07-13 | 機器制御システム |
JP2021083255A JP7104357B2 (ja) | 2017-07-14 | 2021-05-17 | 機器制御システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021083255A Division JP7104357B2 (ja) | 2017-07-14 | 2021-05-17 | 機器制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022088507A true JP2022088507A (ja) | 2022-06-14 |
JP7348558B2 JP7348558B2 (ja) | 2023-09-21 |
Family
ID=65001357
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019529797A Active JP7060811B2 (ja) | 2017-07-14 | 2018-07-13 | 機器制御システム |
JP2021083255A Active JP7104357B2 (ja) | 2017-07-14 | 2021-05-17 | 機器制御システム |
JP2022050938A Active JP7348558B2 (ja) | 2017-07-14 | 2022-03-25 | 機器制御システム |
JP2022050940A Pending JP2022084865A (ja) | 2017-07-14 | 2022-03-25 | 機器制御システム |
JP2022050939A Active JP7425349B2 (ja) | 2017-07-14 | 2022-03-25 | 機器制御システム |
JP2022050941A Active JP7364948B2 (ja) | 2017-07-14 | 2022-03-25 | 機器制御システム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019529797A Active JP7060811B2 (ja) | 2017-07-14 | 2018-07-13 | 機器制御システム |
JP2021083255A Active JP7104357B2 (ja) | 2017-07-14 | 2021-05-17 | 機器制御システム |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022050940A Pending JP2022084865A (ja) | 2017-07-14 | 2022-03-25 | 機器制御システム |
JP2022050939A Active JP7425349B2 (ja) | 2017-07-14 | 2022-03-25 | 機器制御システム |
JP2022050941A Active JP7364948B2 (ja) | 2017-07-14 | 2022-03-25 | 機器制御システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11680722B2 (ja) |
EP (6) | EP4040289B1 (ja) |
JP (6) | JP7060811B2 (ja) |
CN (1) | CN110709785B (ja) |
WO (1) | WO2019013316A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6927237B2 (ja) | 2019-01-29 | 2021-08-25 | ダイキン工業株式会社 | 空気調和システム |
JP7364923B2 (ja) * | 2019-01-29 | 2023-10-19 | ダイキン工業株式会社 | 空気調和システム、サーバ、空気調和システムの制御方法、プログラム及び記録媒体 |
KR20210110676A (ko) * | 2019-02-12 | 2021-09-08 | 구글 엘엘씨 | 차량 클라이언트 장치가 온디바이스 기능을 사용하도록 지시 |
JP6900964B2 (ja) | 2019-03-15 | 2021-07-14 | ダイキン工業株式会社 | 機器管理システム、または、機器管理サービスの提供方法 |
JP7496327B2 (ja) * | 2019-03-15 | 2024-06-06 | ダイキン工業株式会社 | 機器管理サービスの提供方法、機器管理サービスを提供するプログラム、または、機器管理サービスの提供方法。 |
US11948582B2 (en) * | 2019-03-25 | 2024-04-02 | Omilia Natural Language Solutions Ltd. | Systems and methods for speaker verification |
WO2020241297A1 (ja) * | 2019-05-27 | 2020-12-03 | パナソニックIpマネジメント株式会社 | 室内環境制御システム、及び、室内環境制御方法 |
JP7140391B2 (ja) * | 2019-09-10 | 2022-09-21 | Necプラットフォームズ株式会社 | 無線接続システム及び無線接続方法 |
BE1027725B1 (nl) * | 2019-11-04 | 2021-06-08 | Atlas Copco Airpower Nv | Werkwijze voor het beheren van een compressor |
JP7505734B2 (ja) * | 2019-12-27 | 2024-06-25 | アイリスオーヤマ株式会社 | 送風機 |
JP7404974B2 (ja) * | 2020-03-31 | 2023-12-26 | ブラザー工業株式会社 | 情報処理装置及びプログラム |
JP7400593B2 (ja) * | 2020-03-31 | 2023-12-19 | ブラザー工業株式会社 | 情報処理装置及びプログラム |
WO2021210186A1 (ja) * | 2020-04-18 | 2021-10-21 | 三菱電機株式会社 | 空気調和機動作システム、空気調和機およびサーバ |
JP6989683B2 (ja) * | 2020-05-17 | 2022-01-05 | 株式会社Remy | 音声制御調理器具プラットフォーム |
CN114766088A (zh) * | 2020-10-19 | 2022-07-19 | 海信视像科技股份有限公司 | 接收装置、信息处理装置及信息处理系统 |
US20240019157A1 (en) | 2021-02-08 | 2024-01-18 | Mitsubishi Electric Corporation | Air conditioning control system and non-transitory storage medium to store air conditioning control system program |
KR102568109B1 (ko) * | 2022-06-13 | 2023-08-18 | 보원엔지니어링 주식회사 | 정보통신의 네트워크 무선 송수신 설치 시스템 |
WO2024150314A1 (ja) * | 2023-01-11 | 2024-07-18 | 三菱電機株式会社 | 空気調和システム、空気調和方法及びプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003100471A (ja) * | 2001-09-26 | 2003-04-04 | Toshiba Lighting & Technology Corp | 照明制御システム |
JP2003185221A (ja) * | 2001-12-21 | 2003-07-03 | Aruze Corp | 空調調整システム及び空調調整方法 |
JP2013200080A (ja) * | 2012-03-26 | 2013-10-03 | Sharp Corp | 空調制御システム |
JP2014182583A (ja) * | 2013-03-19 | 2014-09-29 | Panasonic Corp | 環境制御システム |
JP2015108464A (ja) * | 2013-12-04 | 2015-06-11 | 日立アプライアンス株式会社 | 運転制御システム |
JP2017180943A (ja) * | 2016-03-30 | 2017-10-05 | 株式会社富士通ゼネラル | 空気調和機 |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0395348A (ja) | 1989-09-08 | 1991-04-19 | Matsushita Electric Ind Co Ltd | 空気調和機 |
JP2552744B2 (ja) | 1989-12-28 | 1996-11-13 | ▲高▼木産業株式会社 | 浴室システム |
JPH11316037A (ja) * | 1998-05-06 | 1999-11-16 | Matsushita Electric Ind Co Ltd | 冷暖房装置 |
JP2001036981A (ja) | 1999-07-16 | 2001-02-09 | Fujitsu Ltd | 遠隔制御装置および遠隔制御プログラムを記録したコンピュータ読み取り可能な記録媒体 |
US8108218B1 (en) * | 1999-12-13 | 2012-01-31 | Avaya Inc. | Methods and apparatus for voice recognition for call treatment modification on messaging |
JP2001197379A (ja) * | 2000-01-05 | 2001-07-19 | Matsushita Electric Ind Co Ltd | 機器設定装置、機器設定システムおよび機器設定処理プログラムを記録した記録媒体 |
JP3827058B2 (ja) * | 2000-03-03 | 2006-09-27 | アルパイン株式会社 | 音声対話装置 |
JP2001324202A (ja) | 2000-05-15 | 2001-11-22 | Matsushita Electric Ind Co Ltd | 空調装置 |
JP2002287796A (ja) | 2001-03-23 | 2002-10-04 | Ricoh Co Ltd | 音声制御機構及び画像形成装置 |
JP2002318843A (ja) * | 2001-04-20 | 2002-10-31 | Misawa Homes Co Ltd | 設備機器遠隔管理システム、設備機器遠隔管理装置、設備機器遠隔管理方法および記憶媒体 |
JP2003111157A (ja) | 2001-09-28 | 2003-04-11 | Toshiba Corp | 統合コントローラ、機器制御方法及び機器制御プログラム |
JP3720037B2 (ja) | 2002-11-22 | 2005-11-24 | 松下電器産業株式会社 | 操作履歴利用システム及びその方法 |
JP4579612B2 (ja) * | 2003-09-10 | 2010-11-10 | パナソニック株式会社 | 機器連携装置 |
JP2005142905A (ja) | 2003-11-07 | 2005-06-02 | Matsushita Electric Ind Co Ltd | リモートコントロール装置及びリモートコントロールシステム |
JP2006308848A (ja) | 2005-04-28 | 2006-11-09 | Honda Motor Co Ltd | 車両機器制御装置 |
JP2006320621A (ja) | 2005-05-20 | 2006-11-30 | Sharp Corp | ストレスケア装置およびそれを備えてなる空調装置ならびにロボット装置 |
JP2008040726A (ja) | 2006-08-04 | 2008-02-21 | Univ Of Electro-Communications | ユーザ支援システム及びユーザ支援方法 |
GB0709738D0 (en) * | 2007-05-22 | 2007-06-27 | Graham Robin | Distributed temperature control system |
JP2009228910A (ja) | 2008-03-19 | 2009-10-08 | Brother Ind Ltd | 空調制御システム |
JP5178325B2 (ja) | 2008-05-28 | 2013-04-10 | 株式会社東芝 | 機器制御装置、機器制御方法及びプログラム |
JP2010181064A (ja) | 2009-02-04 | 2010-08-19 | Panasonic Corp | 空気調和機 |
MX2009010902A (es) * | 2009-10-08 | 2011-04-20 | Magno Alcantara Talavera | Metodos y sistema de control por voz. |
JP5062273B2 (ja) | 2010-03-12 | 2012-10-31 | ダイキン工業株式会社 | エネルギー管理システム |
US9338238B2 (en) * | 2010-12-03 | 2016-05-10 | Siemens Industry, Inc. | Operation scheduler for a building automation system |
WO2012176690A1 (ja) | 2011-06-22 | 2012-12-27 | パナソニック株式会社 | 省エネコントローラ、省エネ制御システム |
JP2013130371A (ja) | 2011-12-22 | 2013-07-04 | Mitsubishi Heavy Ind Ltd | 空気調和機の制御装置、空気調和機、及び空気調和機の制御方法 |
KR20140060040A (ko) * | 2012-11-09 | 2014-05-19 | 삼성전자주식회사 | 디스플레이장치, 음성취득장치 및 그 음성인식방법 |
JP6068280B2 (ja) | 2013-07-10 | 2017-01-25 | ジョンソンコントロールズ ヒタチ エア コンディショニング テクノロジー(ホンコン)リミテッド | 空気調和機 |
CN103645690A (zh) * | 2013-11-27 | 2014-03-19 | 中山大学深圳研究院 | 一种语音控制数字家庭智能盒的方法 |
JP6168976B2 (ja) * | 2013-12-05 | 2017-07-26 | 株式会社東芝 | 製造検査支援装置、製造検査支援方法、及び製造検査支援プログラム |
CN103905871B (zh) | 2014-03-24 | 2016-08-17 | 小米科技有限责任公司 | 智能家电控制方法、装置及终端 |
US9952571B2 (en) | 2014-03-24 | 2018-04-24 | Xiaomi Inc. | Method and terminal device for controlling smart home appliance |
US11216153B2 (en) * | 2014-05-15 | 2022-01-04 | Sony Corporation | Information processing device, display control method, and program |
WO2016052795A1 (ko) | 2014-09-30 | 2016-04-07 | 주식회사 티노스 | 차량용 공조 장치 및 이의 제어 방법 |
US10386795B2 (en) * | 2014-10-30 | 2019-08-20 | Vivint, Inc. | Methods and apparatus for parameter based learning and adjusting temperature preferences |
US9485344B2 (en) | 2014-12-01 | 2016-11-01 | Honeywell International Inc. | Personalizing interaction with a structure |
EP3232131B1 (en) | 2015-04-03 | 2020-05-06 | Mitsubishi Electric Corporation | Air-conditioning system |
JP6573474B2 (ja) | 2015-04-14 | 2019-09-11 | シャープ株式会社 | 音声認識システム |
CN107787469A (zh) * | 2015-05-04 | 2018-03-09 | 江森自控科技公司 | 具有控制系统中枢和远程传感器的多功能家庭控制系统 |
JP5994900B1 (ja) | 2015-05-19 | 2016-09-21 | ダイキン工業株式会社 | 複数の空気調和装置の管理装置 |
JP6468079B2 (ja) * | 2015-06-01 | 2019-02-13 | 富士通株式会社 | 制御システム及び同システムの処理方法 |
JP6739907B2 (ja) * | 2015-06-18 | 2020-08-12 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 機器特定方法、機器特定装置及びプログラム |
JP6461738B2 (ja) * | 2015-07-24 | 2019-01-30 | シャープ株式会社 | 連携システムおよび機器制御サーバ |
WO2018074224A1 (ja) | 2016-10-21 | 2018-04-26 | 株式会社デイジー | 雰囲気醸成システム、雰囲気醸成方法、雰囲気醸成プログラム、及び雰囲気推定システム |
JP6855274B2 (ja) | 2017-02-21 | 2021-04-07 | シャープ株式会社 | 空気清浄機および空気清浄機の制御方法 |
-
2018
- 2018-07-13 EP EP22164555.9A patent/EP4040289B1/en active Active
- 2018-07-13 EP EP22163669.9A patent/EP4036710A1/en active Pending
- 2018-07-13 EP EP22163667.3A patent/EP4036709B1/en active Active
- 2018-07-13 CN CN201880035915.2A patent/CN110709785B/zh active Active
- 2018-07-13 WO PCT/JP2018/026445 patent/WO2019013316A1/ja unknown
- 2018-07-13 EP EP22164015.4A patent/EP4040288B1/en active Active
- 2018-07-13 EP EP18831931.3A patent/EP3654174A4/en active Pending
- 2018-07-13 EP EP22163670.7A patent/EP4040287B1/en active Active
- 2018-07-13 US US16/618,438 patent/US11680722B2/en active Active
- 2018-07-13 JP JP2019529797A patent/JP7060811B2/ja active Active
-
2021
- 2021-05-17 JP JP2021083255A patent/JP7104357B2/ja active Active
-
2022
- 2022-03-25 JP JP2022050938A patent/JP7348558B2/ja active Active
- 2022-03-25 JP JP2022050940A patent/JP2022084865A/ja active Pending
- 2022-03-25 JP JP2022050939A patent/JP7425349B2/ja active Active
- 2022-03-25 JP JP2022050941A patent/JP7364948B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003100471A (ja) * | 2001-09-26 | 2003-04-04 | Toshiba Lighting & Technology Corp | 照明制御システム |
JP2003185221A (ja) * | 2001-12-21 | 2003-07-03 | Aruze Corp | 空調調整システム及び空調調整方法 |
JP2013200080A (ja) * | 2012-03-26 | 2013-10-03 | Sharp Corp | 空調制御システム |
JP2014182583A (ja) * | 2013-03-19 | 2014-09-29 | Panasonic Corp | 環境制御システム |
JP2015108464A (ja) * | 2013-12-04 | 2015-06-11 | 日立アプライアンス株式会社 | 運転制御システム |
JP2017180943A (ja) * | 2016-03-30 | 2017-10-05 | 株式会社富士通ゼネラル | 空気調和機 |
Also Published As
Publication number | Publication date |
---|---|
EP4040289B1 (en) | 2023-09-20 |
EP4040288A1 (en) | 2022-08-10 |
JPWO2019013316A1 (ja) | 2020-08-06 |
EP4036709A1 (en) | 2022-08-03 |
CN110709785B (zh) | 2023-08-04 |
JP2021145350A (ja) | 2021-09-24 |
EP4036709B1 (en) | 2024-04-24 |
JP2022084865A (ja) | 2022-06-07 |
JP2022095739A (ja) | 2022-06-28 |
JP7425349B2 (ja) | 2024-01-31 |
JP7060811B2 (ja) | 2022-04-27 |
EP4040287A1 (en) | 2022-08-10 |
WO2019013316A1 (ja) | 2019-01-17 |
EP3654174A4 (en) | 2021-08-18 |
EP4040287B1 (en) | 2024-04-24 |
CN110709785A (zh) | 2020-01-17 |
EP4036710A1 (en) | 2022-08-03 |
US11680722B2 (en) | 2023-06-20 |
JP7104357B2 (ja) | 2022-07-21 |
EP4040289A1 (en) | 2022-08-10 |
EP4040288B1 (en) | 2023-09-27 |
JP7348558B2 (ja) | 2023-09-21 |
EP3654174A1 (en) | 2020-05-20 |
JP2022084864A (ja) | 2022-06-07 |
JP7364948B2 (ja) | 2023-10-19 |
US20200232671A1 (en) | 2020-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7104357B2 (ja) | 機器制御システム | |
JP7060812B2 (ja) | 空調機、空調システム、通信システム、制御システム、機器制御システム、機器管理システム及び音情報解析システム | |
US11119725B2 (en) | Customizable embedded vocal command sets for a lighting and/or other environmental controller | |
CN113516979A (zh) | 在语音接口设备处的服务器提供的视觉输出 | |
US12081830B2 (en) | Video integration with home assistant | |
JP2002318843A (ja) | 設備機器遠隔管理システム、設備機器遠隔管理装置、設備機器遠隔管理方法および記憶媒体 | |
JP5016968B2 (ja) | 機器制御システム | |
US20240333550A1 (en) | Electronic device controller, communication terminal, and electronic device | |
WO2022044695A1 (ja) | 環境制御システム、環境制御装置、環境制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230821 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7348558 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |