JP2020024634A - 宅内管理システム、宅内管理プログラム、および宅内管理方法 - Google Patents
宅内管理システム、宅内管理プログラム、および宅内管理方法 Download PDFInfo
- Publication number
- JP2020024634A JP2020024634A JP2018149662A JP2018149662A JP2020024634A JP 2020024634 A JP2020024634 A JP 2020024634A JP 2018149662 A JP2018149662 A JP 2018149662A JP 2018149662 A JP2018149662 A JP 2018149662A JP 2020024634 A JP2020024634 A JP 2020024634A
- Authority
- JP
- Japan
- Prior art keywords
- home
- information
- unit
- state
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims description 56
- 230000009471 action Effects 0.000 claims abstract description 63
- 230000010365 information processing Effects 0.000 claims description 94
- 230000006870 function Effects 0.000 claims description 38
- 230000008859 change Effects 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 19
- 230000002123 temporal effect Effects 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Landscapes
- Alarm Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
例えば、特許文献1には、居住者からの音声による指示に従って、音楽を再生したり、照明を点灯させたりというように、宅内に配置された機器の管理を行う宅内管理システム(スマートスピーカ)が開示されている。
また、宅内管理システムは、宅内物体認識部と宅内動作認識部とを備えている。このため、オブジェクトの状態と、オブジェクトに対して行われた動作と、を正確に認識することができる。
図1は、本発明の一実施形態に係る宅内管理システム10の構成を示すブロック図である。なお、この図における制御部15では、本発明の特徴部分となる構成のみを図示し、その他の構成は図2に詳述する。
図1に示すように、本実施形態に係る宅内管理システム10は、状態情報取得部11と、環境情報取得部12と、情報処理サーバ13と、情報処理端末14と、を備えている。
状態情報取得部11は、宅内に設置されたオブジェクトの状態に関する状態情報を取得する。状態情報とは、例えばオブジェクトの形状、位置、姿勢、動作の様子等である。オブジェクトとしては、家具、什器、家庭用電化製品等の他、宅内の内装やドア等も含まれる。
状態情報取得部11としては、カメラ、ウェアラブル端末、トラッカー等が挙げられる。なお、これらはあくまで例示であり、状態情報取得部11は、宅内に設置されたオブジェクトの状態情報を取得できる機器であれば、その他の機器を採用してもよい。
環境情報取得部12としては、温度センサ、湿度センサ、人感センサ、カメラ等が挙げられる。なお、これらはあくまで例示であり、環境情報取得部12としては、宅内の環境情報を取得できる機器であれば、その他の機器を採用してもよい。
情報処理サーバ13は、音声データを含む各種のデータを受信し、例えば、受信したデータから居住者100の指示を抽出し、居住者100から指定された制御を行うことができる。情報処理サーバ13は、制御部(AI部)15と、データベース部16と、を備え、宅内又は宅外に設けられている。
受信部151は、居住者100からの音声による指示入力を示す音声データを受信する。また、受信部151は、状態情報、および環境情報を受信する。受信部151は、音声データを受信すると、処理部153に伝達する。
なお、制御部15は、プログラムを制御データベース152に記憶し、当該プログラムを実行して、処理部153が、処理部153に含まれる各機能部としての処理を実行してもよい。このプログラムは、処理部153に、宅内管理システム10の各構成部が実行する各機能を実現させる。
各機能とは、後述する状態情報取得機能、環境情報取得機能、宅内物体認識機能、宅内動作認識機能、および行動推薦機能を含んでいる。
また、制御データベース152は、音の種別から居住者100の置かれている環境を推定するための環境推定モデルを記憶していてもよい。環境推定モデルは、各種の機器の音および位置関係のデータであり、音の方向や大きさから、音を発生している機器を特定するためのモデルである。
行動推薦モデルは、オブジェクトの状態、およびオブジェクトに対して行われた動作に対して、行動推薦部157が、その後にオブジェクトに対して適切な働きかけを行う行動を特定し、推薦情報を生成するためのモデルである。
そして行動推薦部157は、宅内物体認識部155および宅内動作認識部156からの各情報に基づいて、行動推薦モデルを用いて推薦情報を生成する。
宅内物体記録部161は、宅内物体認識部155が認識した宅内のオブジェクトの位置を記録する。すなわち、オブジェクトの座標を記録して比較を行うことで、オブジェクトの位置の変化を認識することができる。
宅内動作記録部162は、宅内動作認識部156が認識したオブジェクトに対して行われた動作を記録する。
行動履歴記録部164は、宅内で過去に行われた行動を記録する。これにより、行動推薦部157が、宅内のオブジェクトの変化に対して最適な行動を推薦することができる。
具体的には、ネットワーク20は、ワイヤレスLAN(wireless LAN:WLAN)や広域ネットワーク(wide area network:WAN)、ISDNs(integrated service digital networks)、無線LANs、LTE(long term evolution)、LTE−Advanced、第4世代(4G)、第5世代(5G)、CDMA(code division multiple access)、WCDMA(登録商標)、イーサネット(登録商標)などである。
図3は、図1に示す宅内管理システム10のうち、情報処理端末14の構成を示すブロック図である。図3に示すように、情報処理端末14は、受信部141と、記憶部142と、スピーカ143と、マイク144と、送信部145と、を備えるスマートスピーカである。
記憶部142は、例えば、HDD、SSD、フラッシュメモリなど各種の記憶媒体により実現される。なお、情報処理端末14は、プログラムを記憶部142に記憶し、当該プログラムを実行して、図示しない制御部が、情報処理端末14として実現すべき機能を実現することとしてよい。記憶部142は、マイク144が集音した音声データを記憶する。
マイク144は、1つのマイクロフォンで構成されてもよいし、複数のマイクロフォンで構成されていてもよい。また、マイクロフォンは、集音の方向が限定された指向性のものであってもよい。
なお、情報処理端末14は、状態情報又は環境情報の一部を改変したり、状態情報又は環境情報を解析したりした状態で、情報処理サーバ13に伝達してもよい。
また、情報処理端末14は、居住者100と自然言語により対話可能となっており、居住者100の発話データを情報処理サーバ13に伝達することができる。
報知部17は、行動推薦部157からの推薦情報を、居住者100に報知する。
行動部18は、行動推薦部157からの推薦情報に基づいて、オブジェクトの状態および宅内の環境のうち、少なくともいずれか一方を変化させる。
この実施形態では、環境情報取得部12、および行動部18は、ホームアシスタント機器を構成している。
次に、図4を用いて、宅内管理システム10の制御フローについて説明する。図4は、宅内管理システム10における処理フローを示すフロー図である。この説明では、オブジェクトとして椅子を例に挙げ、オブジェクトの状態の変化として、宅内のペットがグラスを転倒させたことにより、椅子の座面に水が付着した状態を例に挙げる。
次に、情報処理端末14が、状態情報を情報処理サーバ13に送信する(S502)。この場合、例えば宅内を撮像するカメラが、椅子に水が付着する様子を撮像し、その画像データを、情報処理端末14が、情報処理サーバ13に送信する。
次に、情報処理端末14が、環境情報を情報処理サーバ13に送信する(S504)。この場合、人感センサが、椅子周辺におけるペットの移動を検出し、その情報を情報処理端末14が情報処理サーバ13に送信する。
この場合、宅内物体認識部155が、例えば、現時点の椅子を撮像した撮像データと、少し前の状態である水が付着していない椅子を撮像した撮像データと、を比較して、椅子に水が付着した状態を認識する。
そして、宅内動作認識部156は、ペットが移動した情報と、グラスの姿勢が変化した情報と、に基づいて、ペットがグラスを転倒させたことを認識する。
また、報知部17による報知に代えて、例えば別室にいる居住者100の携帯端末40に対して、情報処理端末14から推薦情報を無線通信により送信してもよい。
この場合、居住者100が行動部18となる。また、行動部18としては他の機器であってもよいし、外部の専門業者であってもよい。
また、例えばオブジェクトが浴槽である場合に、居住者100が帰宅したことを認識して、行動部18としての給湯器を用いて、浴槽に湯を流入してもよい。
また、宅内管理システム10は、宅内物体認識部155と宅内動作認識部156とを備えている。このため、オブジェクトの状態と、オブジェクトに対して行われた動作と、を正確に認識することができる。
また、宅内物体認識部155が、所定時間毎に取得された状態情報同士を比較することで、状態情報の経時的変化を認識するので、時間の経過とともに変化した部分を、正確に割り出して認識することができる。
また、宅内管理システム10が、行動部18を備えているので、行動推薦部157が生成した推薦情報に基づいて、オブジェクトの状態および宅内の環境のうち、少なくともいずれか一方を、居住者100が望む状態に変化させることができる。
また、宅内管理システム10が情報処理サーバ13を備えているので、情報処理端末14の内部で各部の制御を行うような構成と比較して、情報処理端末14の負荷を抑えることで、情報処理端末14のデータ容量を小さくし、簡易な構成とすることができる。
例えば、外部コンテンツとして居住者100の携帯端末40を選択した場合には、宅外に外出中の居住者100に対して、即座に推薦情報を伝達することができる。また、外部コンテンツとして専門業者を選択した場合には、例えば機器の修理や機器の内部の等、居住者100が対応するのが難しい行動を起こすことができる。
宅内管理システム10は、どのような態様で実現されてもよい。すなわち、上述した実施形態のように、機能の一部が、情報処理端末14に内蔵されていてもよいし、機能の全部が情報処理サーバ13、又は情報処理端末14に内蔵されていてもよい。
すなわち、情報処理端末14を介することなく、状態情報取得部11から状態情報を情報処理サーバ13に伝達してもよいし、情報処理端末14を介することなく、環境情報取得部12から環境情報を情報処理サーバ13に伝達してもよい。
即ち、情報処理端末14が、情報処理サーバ13が保持する機能も備えることとしてよい。この場合、情報処理端末14と宅内管理システム10との間で通信を行う必要がなくなり、通信遅延による発生し得る制御の遅延を抑制することができる。また、情報処理端末14は、宅内物体認識部155又は宅内動作認識部156の機能を保持してもよい。
これを実現するために、情報処理端末14自身は逐次、状態情報および環境情報を取得するが、その際に、居住者100からの音声による指示入力があるか否かを検知する検知部を備えてもよい。例えば、人の音声の周波数領域に音があるか否かに基づいて居住者100からの指示入力があるか否かを検知し、あると判定した場合に、情報処理端末14は、その前後の所定時間に相当する状態情報および環境情報を情報処理サーバ13に送信することとしてよい。
11 状態情報取得部
12 環境情報取得部
13 情報処理サーバ
14 情報処理端末
15 制御部
17 報知部
18 行動部
155 宅内物体認識部
156 宅内動作認識部
157 行動推薦部
Claims (15)
- 宅内に設置されたオブジェクトの状態に関する状態情報を取得する状態情報取得部と、
宅内の環境に関する環境情報を取得する環境情報取得部と、
前記状態情報に基づいて、前記オブジェクトの状態を認識する宅内物体認識部と、
前記状態情報および前記環境情報のうち、少なくともいずれか一方に基づいて、前記オブジェクトに対して行われた動作を認識する宅内動作認識部と、
前記宅内物体認識部および前記宅内動作認識部からの各情報に基づいて、前記オブジェクトに対する行動を推薦する推薦情報を生成する行動推薦部と、を備えている宅内管理システム。 - 前記宅内物体認識部は、前記状態情報の経時的変化を認識することを特徴とする請求項1に記載の宅内管理システム。
- 前記宅内物体認識部は、所定時間毎に取得された前記状態情報同士を比較することで、前記状態情報の経時的変化を認識することを特徴とする請求項2に記載の宅内管理システム。
- 前記宅内動作認識部は、前記状態情報の経時的変化、および前記オブジェクト周辺における前記環境情報の経時的変化のうちの少なくともいずれか一方に基づいて、前記オブジェクトに対して行われた動作を認識することを特徴とする請求項2又は3に記載の宅内管理システム。
- 前記行動推薦部からの推薦情報を居住者に報知する報知部を備えていることを特徴とする請求項1から4のいずれか1項に記載の宅内管理システム。
- 前記行動推薦部からの推薦情報に基づいて、前記オブジェクトの状態および宅内の環境のうち、少なくともいずれか一方を変化させる行動部を備えていることを特徴とする請求項1から5のいずれか1項に記載の宅内管理システム。
- 前記環境情報取得部、および前記行動部は、ホームアシスタント機器を構成していることを特徴とする請求項6に記載の宅内管理システム。
- 前記状態情報および前記環境情報を処理する情報処理端末を備えていることを特徴とする請求項1から7のいずれか1項に記載の宅内管理システム。
- 前記宅内物体認識部、前記宅内動作認識部、および前記行動推薦部が内蔵され、かつ宅内又は宅外に設けられた情報処理サーバを備え、
前記情報処理端末は、前記状態情報取得部および前記環境情報取得部で取得した各情報を、前記情報処理サーバに無線通信により伝達することを特徴とする請求項8に記載の宅内管理システム。 - 前記情報処理端末は、外部コンテンツに対して、前記推薦情報を無線通信により伝達することを特徴とする請求項8又は9に記載の宅内管理システム。
- 前記外部コンテンツは、居住者の携帯端末であることを特徴とする請求項10に記載の宅内管理システム。
- 前記外部コンテンツは、居住者からの依頼に応じて、宅内に設置された前記オブジェクトの状態を調整する専門業者であることを特徴とする請求項10に記載の宅内管理システム。
- 前記宅内物体認識部が認識した宅内の物体位置を記録する宅内物体記録部と、
前記宅内動作認識部が認識した前記オブジェクトに対して行われた動作を記録する宅内動作記録部と、を備えていることを特徴とする請求項1から12のいずれか1項に記載の宅内管理システム。 - コンピュータに、
宅内に設置されたオブジェクトの状態に関する状態情報を取得する状態情報取得機能と、
宅内の環境に関する環境情報を取得する環境情報取得機能と、
前記状態情報に基づいて、前記オブジェクトの状態を認識する宅内物体認識機能と、
前記状態情報および前記環境情報のうち、少なくともいずれか一方に基づいて、前記オブジェクトに対して行われた動作を認識する宅内動作認識機能と、
前記宅内物体認識機能および前記宅内動作認識機能により得られた各情報に基づいて、前記オブジェクトに対する行動を推薦する推薦情報を生成する行動推薦機能と、を実現させる宅内管理プログラム。 - コンピュータが、
宅内に設置されたオブジェクトの状態に関する状態情報を取得する状態情報取得ステップと、
宅内の環境に関する環境情報を取得する環境情報取得ステップと、
前記状態情報に基づいて、前記オブジェクトの状態を認識する宅内物体認識ステップと、
前記状態情報および前記環境情報のうち、少なくともいずれか一方に基づいて、前記オブジェクトに対して行われた動作を認識する宅内動作認識ステップと、
前記宅内物体認識ステップおよび前記宅内動作認識ステップにより得られた各情報に基づいて、前記オブジェクトに対する行動を推薦する推薦情報を生成する行動推薦ステップと、を実行する宅内管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018149662A JP6899358B2 (ja) | 2018-08-08 | 2018-08-08 | 宅内管理システム、宅内管理プログラム、および宅内管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018149662A JP6899358B2 (ja) | 2018-08-08 | 2018-08-08 | 宅内管理システム、宅内管理プログラム、および宅内管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020024634A true JP2020024634A (ja) | 2020-02-13 |
JP6899358B2 JP6899358B2 (ja) | 2021-07-07 |
Family
ID=69618770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018149662A Active JP6899358B2 (ja) | 2018-08-08 | 2018-08-08 | 宅内管理システム、宅内管理プログラム、および宅内管理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6899358B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001256036A (ja) * | 2000-03-03 | 2001-09-21 | Ever Prospect Internatl Ltd | 機器との情報授受方法及び当該方法を適用した対話機能を有する機器並びにこれら機器を複合させたライフサポートシステム |
KR20120099554A (ko) * | 2011-02-01 | 2012-09-11 | 삼성전자주식회사 | 전기기기, 전력 관리기 및 그 제어 방법 |
JP2013235373A (ja) * | 2012-05-08 | 2013-11-21 | Sony Corp | 画像処理装置、投影制御方法及びプログラム |
JP2017068798A (ja) * | 2015-10-02 | 2017-04-06 | シャープ株式会社 | 制御システム、動作決定装置、機器、制御方法、及び制御プログラム |
-
2018
- 2018-08-08 JP JP2018149662A patent/JP6899358B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001256036A (ja) * | 2000-03-03 | 2001-09-21 | Ever Prospect Internatl Ltd | 機器との情報授受方法及び当該方法を適用した対話機能を有する機器並びにこれら機器を複合させたライフサポートシステム |
KR20120099554A (ko) * | 2011-02-01 | 2012-09-11 | 삼성전자주식회사 | 전기기기, 전력 관리기 및 그 제어 방법 |
JP2013235373A (ja) * | 2012-05-08 | 2013-11-21 | Sony Corp | 画像処理装置、投影制御方法及びプログラム |
US20150029223A1 (en) * | 2012-05-08 | 2015-01-29 | Sony Corporation | Image processing apparatus, projection control method, and program |
JP2017068798A (ja) * | 2015-10-02 | 2017-04-06 | シャープ株式会社 | 制御システム、動作決定装置、機器、制御方法、及び制御プログラム |
CN108027782A (zh) * | 2015-10-02 | 2018-05-11 | 夏普株式会社 | 控制系统、动作决定装置、设备、控制方法以及控制程序 |
Also Published As
Publication number | Publication date |
---|---|
JP6899358B2 (ja) | 2021-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210216787A1 (en) | Methods and Systems for Presenting Image Data for Detected Regions of Interest | |
US20180330169A1 (en) | Methods and Systems for Presenting Image Data for Detected Regions of Interest | |
JP7014299B2 (ja) | 行動最適化装置、方法およびプログラム | |
KR102323656B1 (ko) | 홈 어플라이언스 제어 장치 및 방법, 홈 어플라이언스 및 홈 어플라이언스 동작 방법 | |
JP6660808B2 (ja) | 音声出力制御装置、電子機器、および音声出力制御装置の制御方法 | |
US11303955B2 (en) | Video integration with home assistant | |
JP6552381B2 (ja) | 制御装置、制御システムおよびプログラム | |
EP3622724A1 (en) | Methods and systems for presenting image data for detected regions of interest | |
JPWO2019202666A1 (ja) | 機器制御システム及び機器制御方法 | |
CN112136006B (zh) | 空调及其控制方法 | |
KR102157239B1 (ko) | 인공지능에 기반하여 일정에 대응하는 추천 정보를 제공하는 공기청정기 및 방법 | |
JP2021092913A (ja) | 報知制御装置、報知制御システム、報知制御方法、及び報知制御プログラム | |
JP6899358B2 (ja) | 宅内管理システム、宅内管理プログラム、および宅内管理方法 | |
JP6490437B2 (ja) | 提示情報制御方法および提示情報制御装置 | |
JP6976126B2 (ja) | 家電システム | |
JP6638026B2 (ja) | 環境制御装置、環境設定方法及び環境設定プログラム | |
JP2015156725A (ja) | 電気機器制御装置、電気機器制御システム、プログラム、電気機器制御方法、入出力装置、電気機器、およびセンサ | |
CN110941189A (zh) | 智能家居系统及其控制方法、可读存储介质 | |
WO2021084949A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2021096270A (ja) | 情報処理装置および情報処理方法 | |
JP6700338B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム | |
US20230244437A1 (en) | Systems and methods to adjust loudness of connected and media source devices based on context | |
WO2022201876A1 (ja) | 制御方法、制御装置、及びプログラム | |
JP2020024276A (ja) | 情報処理装置、情報処理システム、制御プログラム、情報処理方法 | |
CN117597734A (zh) | 信息处理系统、信息处理方法以及信息处理程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210614 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6899358 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |