JP2016042870A - 電子機器、電子機器システム、及び機器制御方法 - Google Patents

電子機器、電子機器システム、及び機器制御方法 Download PDF

Info

Publication number
JP2016042870A
JP2016042870A JP2015161978A JP2015161978A JP2016042870A JP 2016042870 A JP2016042870 A JP 2016042870A JP 2015161978 A JP2015161978 A JP 2015161978A JP 2015161978 A JP2015161978 A JP 2015161978A JP 2016042870 A JP2016042870 A JP 2016042870A
Authority
JP
Japan
Prior art keywords
animal
state
electronic device
control content
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015161978A
Other languages
English (en)
Other versions
JP6676309B2 (ja
Inventor
幸 裕弘
Yasuhiro Yuki
幸  裕弘
和記 船瀬
Kazuki Funase
和記 船瀬
光洋 阿曽
Mitsuhiro Aso
光洋 阿曽
美菜 清水
Mina Shimizu
美菜 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2015161978A priority Critical patent/JP6676309B2/ja
Publication of JP2016042870A publication Critical patent/JP2016042870A/ja
Priority to JP2020041797A priority patent/JP6923695B2/ja
Application granted granted Critical
Publication of JP6676309B2 publication Critical patent/JP6676309B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00Other apparatus for animal husbandry
    • A01K29/005Monitoring or measuring activity, e.g. detecting heat or mating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/61Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Air Conditioning Control Device (AREA)
  • Image Analysis (AREA)
  • Signal Processing (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】人や動物の状態や行動、存在の有無に応じた快適な生活空間のための制御ができる電子機器を提供する。【解決手段】検出部201によって取得した電子機器101(a)が配置された空間情報を2次元画像などで制御・処理部203に出力し、制御・処理部203にてこの空間における少なくとも人以外の動物の存在の有無や、動物の状態を推定し、制御内容を判断した結果で記録部204から推定した動物の状態に応じた情報・映像コンテンツなどを出力部202から出力する。【選択図】図2B

Description

本開示は、犬など動物の留守番のストレス軽減や人と動物が共生する快適な生活空間の実現に向けた電子機器、電子機器システム、及び機器制御方法に関する。
従来、動物の行動に応じて動作を変化させる電子機器がある。特許文献1には、乳児や動物の音声を取得して感情を判定し、感情と室内環境に応じて家電機器の電源のオンオフや音量、温度設定を制御する技術が開示されている。特許文献2には、画像から人物等を特定し、特定した人物等の状態に応じて機器を制御する技術が開示されている。
特開2006−338476号公報 特開2005−202653号公報
しかし、前記従来の動物の行動に応じて動作を変化させる電子機器では、多岐にわたる動物の感情に対し、音声による感情推定の認識率の向上が必要であり、更に家電機器本来の機能である電源のオンオフや音量、温度設定の制御に留まり、動物の状態や行動に応じた動物向けのコンテンツの制御は開示されていない。また、実際の住空間においては人と動物が共に過ごす時間帯と、動物のみで留守番をする時間帯などが存在するため、従来の画像から特定した人物等の状態に応じた電子機器の単純な制御だけでは、人や動物の存在有無に応じた快適な生活空間のための制御に至っていないという課題を有していた。
本開示の電子機器は、検出部によって検出された前記電子機器が配置された空間の情報から、前記空間における少なくとも人以外の動物の存在および前記動物の状態を推定する生物状態推定部と、前記判断の結果または前記推定した動物の状態に応じて、前記電子機器の制御内容を決定する制御内容決定部と、を備える。
本開示によれば、人と動物が存在しうる空間に対して、双方にとって状況に応じた最適な環境を提供することが出来る。
図1Aは、サービスの全体像を説明する図である。 図1Bは、サービスの全体像を説明する図である。 図1Cは、サービスの全体像を説明する図である。 図2Aは、実施の形態1の電子機器の概観の一例を示す図である。 図2Bは、実施の形態1の電子機器における構成の一例を示す図である。 図3Aは、実施の形態1の制御・処理部の機能構成の一例を示す図である。 図3Bは、実施の形態1の記録部の機能構成の一例を示す図である。 図4は、実施の形態1の機器の動作の一例を示すフローチャートである。 図5は、実施の形態1における状態推定の処理の一例を示すフローチャートである。 図6は、実施の形態1における制御内容決定の詳細な処理の一例を示すフローチャートである。 図7Aは、実施の形態1における空間内の状態および、出力する情報の一例を示す図である。 図7Bは、実施の形態1における空間内の状態および、出力する情報の一例を示す図である。 図7Cは、実施の形態1における空間内の状態および、出力する情報の一例を示す図である。 図7Dは、実施の形態1における空間内の状態および、出力する情報の一例を示す図である。 図7Eは、実施の形態1における空間内の状態および、出力する情報の一例を示す図である。 図7Fは、実施の形態1における空間内の状態および、出力する情報の一例を示す図である。 図8は、実施の形態1における活動状態の推定結果を示すテーブルの一例を示す図である。 図9は、実施の形態1における制御内容決定のためのテーブルの一例を示す図である。 図10は、実施の形態1における出力するコンテンツを管理するテーブルの一例を示す図である。 図11は、実施の形態1における出力方法を管理するテーブルの一例を示す図である。 図12は、実施の形態1における予め設定されたターゲット行動を管理するテーブルの一例を示す図である。 図13は、実施の形態1の変形例における電子機器およびクラウドサーバの構成の一例を示す図である。 図14は、実施の形態2の各電子機器およびクラウドサーバの構成の一例を示す図である。 図15は、実施の形態2の各機器の動作・処理の流れの一例を示すシーケンス図である。 図16は、実施の形態2における制御内容決定のためのテーブルの一例を示す図である。 図17は、実施の形態2における各電子機器の運転モードを決定するテーブルの一例を示す図である。 図18は、実施の形態2の変形例における各電子機器およびクラウドサーバの構成の一例を示す図である。 図19は、実施の形態2における電子機器の情報表示の一例を示す図である。 図20は、サービスの類型1(自社データセンタ型)を示す図である。 図21は、サービスの類型2(IaaS利用型)を示す図である。 図22は、サービスの類型3(PaaS利用型)を示す図である。 図23は、サービスの類型4(SaaS利用型)を示す図である。
まず、本発明者らが本開示に係る各態様の発明をするにあたって、検討した事項を説明する。
(本発明の基礎となった知見)
家庭内或いは業務用施設のあらゆる機器から情報を取得し、取得した情報を分析して人に対して直接的または間接的にフィードバックをする電子機器または付随サービスが検討されている。しかし、人と同様に家族と位置づけて動物を飼う飼い主や、複数の動物の生体を管理する事業の従事者にとっては、動物が受けるストレスをできる限り軽減したい、人と動物にとって快適な生活空間を実現したいというニーズがある。これらのニーズを満たすための技術的な解決策に関して、従来から検討が足りていなかったという課題がある。
つまり、従来の動物の行動に応じて動作を変化させる電子機器では、多岐にわたる動物の感情に対し、音声による感情推定の認識率の向上が必要であり、更に家電機器本来の機能である電源のオンオフや音量、温度設定の制御に留まり、動物の状態や行動に応じた動物向けのコンテンツの制御は開示されていない。また、実際の住空間においては人と動物が共に過ごす時間帯と、動物のみで留守番をする時間帯などが存在するため、従来の画像から特定した人物等の状態に応じた電子機器の単純な制御だけでは、人や動物の存在有無に応じた快適な生活空間のための制御に至っていないという課題を有していた。
(1)本開示の一態様は、電子機器であって、検出部によって検出された前記電子機器が配置された空間の情報から、前記空間における少なくとも人以外の動物の存在の有無を判断し、前記存在すると判断された動物の状態を推定する生物状態推定部と、前記判断の結果または前記推定した動物の状態に応じて、前記電子機器の制御内容を決定する制御内容決定部と、を備えた。
(2)また、前記電子機器は、所定の動作を行う出力部を備え、
前記制御内容決定部は、
前記動物の状態が起床している状態と前記生物状態推定部が推定している間、または前記動物の状態が就寝している状態から前記起床している状態に変化すると前記生物状態推定部が推定する時、
前記所定の動作として、前記起床している状態に対応する制御内容が示す動作を前記出力部に行わせる。
(3)また、前記制御内容決定部は、
前記動物の状態が就寝している状態と前記生物状態推定部が推定している間、
前記所定の動作として、前記就寝している状態に対応する制御内容が示す動作を前記出力部に行わせる、
または、
前記動物の状態が起床している状態から前記就寝している状態に変化すると前記生物状態推定部が推定する時、
前記起床している状態に対応する制御内容が示す動作の停止を前記出力部に行わせる。
(4)また、前記所定の動作は、映像を再生する動作、および音声を再生する動作を含み、
前記動物の状態が起床している状態に対応する制御内容が示す動作とは、前記起床している状態に対応する映像、または音声の再生を、前記出力部に行わせる動作であり、
前記動物の状態が就寝している状態に対応する制御内容が示す動作とは、前記就寝している状態に対応する映像、または音声の再生を、前記出力部に行わせる動作である。
(5)また、前記所定の動作は、照明の光出力を調節する動作を含み、
前記動物の状態が起床している状態に対応する制御内容が示す動作とは、前記起床している状態に対応する照明の光出力の調節を、前記出力部に行わせる動作であり、
前記動物の状態が就寝している状態に対応する制御内容が示す動作とは、前記就寝している状態に対応する照明の光出力の調節を、前記出力部に行わせる動作である。
(6)また、前記所定の動作は、においを除去する空気清浄の動作、および、においを発生する動作であり、
前記動物の状態が起床している状態に対応する制御内容が示す動作とは、
前記起床している状態に対応するにおいを除去する空気清浄を前記出力部に行わせる動作、もしくは
前記起床している状態に対応するにおいの発生を前記出力部に行わせる動作であり、
前記動物の状態が就寝している状態に対応する制御内容が示す動作とは、
前記就寝している状態に対応するにおいを除去する空気清浄を前記出力部に行わせる動作、もしくは
前記就寝している状態に対応するにおいの発生を前記出力部に行わせる動作である。
(7)また、前記検出部によって検出された空間の情報とは、前記電子機器に備えられた撮像装置、もしくは前記電子機器と接続する外部の撮像装置が撮像した前記空間の画像であり、前記生物状態推定部は、前記撮像装置が撮像した画像を解析することで、前記空間における人以外の動物の存在を判断し、
前記生物状態推定部は、更に、撮像時刻が異なる複数枚の画像の変化を解析することで、前記動物の状態が起床している状態か否かを推定する。
(8)また、前記検出部によって検出された空間の情報とは、前記電子機器に備えられたセンサー装置、もしくは前記電子機器と接続する外部のセンサー装置が検出した前記空間内のセンサーデータであり、
前記生物状態推定部は、前記センサー装置が検出したセンサーデータを解析することで、前記空間における人以外の動物の存在を推定し、前記生物状態推定部は、更に、取得した時刻が異なる複数のセンサーデータの変化を解析することで、前記動物の状態が起床している状態か否かを推定する。
(9)また、前記生物状態推定部は、更に前記電子機器が配置された空間の情報から、前記空間における人の存在の有無および人以外の動物の存在の有無を判断し、前記存在すると判断された人または動物の状態を推定し、
前記制御内容決定部は、前記判断の結果または前記存在すると判断された人または動物の状態に応じて前記電子機器の制御内容を変更する。
(10)また、前記制御内容決定部は、(1)人と動物が存在している状態、(2)人は存在しないが動物のみが存在している状態、(3)動物は存在しないが人のみが存在している状態、(4)人も動物も存在しない状態のいずれかであると前記生物状態推定部が判断した場合のそれぞれに応じて前記電子機器の制御内容を変更する。
(11)また、前記電子機器は、更に、映像または音声を再生する出力部を有し、
前記制御内容決定部は、
前記生物状態推定部が、前記人は存在しないが動物のみが存在している状態と判断し、かつ、前記動物の状態が起床している状態と推定している間、前記推定した動物の状態に応じた制御内容が示す映像または音声の再生を前記出力部に行なわせる。
(12)また、前記電子機器の制御内容決定部は、
前記生物状態推定部が、前記人は存在しないが動物のみが存在している状態と判断し、かつ、前記動物の状態が起床している状態と前記生物状態推定部が推定している間、前記推定した動物の状態に応じた制御内容が示す映像または音声の再生を前記出力部に行わせ、
前記動物は存在するが人は存在しない状態から、前記動物と人が存在する状態へと前記生物状態推定部の判断が変化した場合、もしくは、前記動物の状態が起床している状態から前記就寝している状態へと前記生物状態推定部の推定が変化した場合に、前記映像または音声の再生の停止を前記出力部に行わせる、或いは前記変化した動物の状態に応じた制御内容が示す映像または音声の再生を前記出力部に行わせる。
(13)また、前記電子機器の出力部が再生する映像は、
前記動物が視認可能な映像のリフレッシュレートで再生され、
前記電子機器の出力部が再生する音声は、
前記動物が可聴な音域に調整して再生される。
(14)また、前記電子機器の制御内容決定部は、
複数の制御内容を前記出力部へ出力する順序を時系列に管理するスケジュール機能を有し、
前記スケジュール機能は、前記動物に対して指示したいターゲット行動と、前記ターゲット行動を指示する時刻と、前記ターゲット行動に応じた制御内容を規定するテーブルを保持し、
前記ターゲット行動を指示する時刻に当該ターゲット行動に沿った制御内容に対応する映像または音声を前記電子機器に再生させる。
(15)また、前記人の状態とは、前記動物の飼い主であるユーザの状態であり
前記電子機器は、更に、
前記動物の状態の時間的な推移、および前記ユーザの状態の時間的な推移を蓄積する生物状態蓄積データベースを有し、
前記生物状態推定部は、前記生物状態蓄積データベースに蓄積された動物の状態の時間的な推移または前記ユーザの状態の時間的な推移から、前記動物の生活パターンまたは前記ユーザの生活パターンを学習し、
前記学習した前記動物の生活パターンまたは前記ユーザの生活パターンから前記動物の状態の推移、または前記ユーザの状態の推移を予測する。
(16)また、前記電子機器の制御内容決定部は、動物の種別に応じた制御内容の一般的な嗜好傾向を含む嗜好傾向データベースを有し、
前記制御内容決定部は、前記動物嗜好傾向データベースに基づき前記制御内容の候補を選定し、さらに、前記動物嗜好傾向データベースに登録した前回以前の制御内容に対する当該動物の反応に関する記録から学習して前記制御内容の決定を調整すること、を特徴とする。
(17)また、前記電子機器の出力部が再生する所定の映像または音声は、前記動物の生活パターン形成のためにプログラムされたコンテンツであり、餌を与えるタイミング、分量、与え方、目標体重とその推移、当該動物に対する生活アドバイス情報を含む映像または音声、またはそれら映像や音声の再生を喚起する画面上に表示されるアイコンまたは広告枠であること、を特徴とする。
(18)また、前記生物状態推定部および前記制御内容決定部のうちの少なくとも1つはプロセッサーを含む。
(19)また、本開示の他の態様は、電子機器システムであって、
所定の空間に設置された第1の電子機器および第2の電子機器とネットワークを介して情報を送受信する情報送受信部と、
前記情報送受信部が受信した前記第1の電子機器が備える検出部が検出した前記所定の空間の情報から、少なくとも人以外の動物の存在の有無を判断し、前記存在すると判断した動物の状態を推定する生物状態推定部と、
前記判断の結果または前記推定した動物の状態に応じて、前記第2の電子機器の制御内容を決定する制御内容決定部とを備え、
前記情報送受信部は、前記ネットワークを介して前記決定した制御内容が示す動作を行わせるための情報を前記第2の電子機器へ送信する。
(20)また、前記第2の電子機器は空気清浄機であって、
前記制御内容は、更に、前記動物の特性と対応付けられており、
前記動物の特性が、空気の汚れに敏感な動物である場合、
前記生物状態推定部が、前記動物は存在すると判断したとき、前記制御内容決定部は前記空気清浄機に空気清浄を高い頻度で行わせる動作を示す制御内容を選択し、
前記動物の特性が、環境の変化を好まない動物である場合、
前記生物状態推定部が、前記動物は存在しないと判断したとき、前記制御内容決定部は前記空気清浄機に空気清浄を行わせる動作を示す制御内容を選択し、
前記動物の特性が、ストレスを感じ易い動物である場合、
前記生物状態推定部が、前記動物は存在すると判断したとき、前記制御内容決定部は前記空気清浄機にストレスを緩和するアロマの香りを発生させる動作を示す制御内容を選択し、
前記動物の特性が、乾燥もしくは湿度に敏感な動物である場合、
前記生物状態推定部が、前記動物は存在すると判断したとき、前記制御内容決定部は前記空気清浄機に前記動物と対応付けた温度もしくは湿度または、予め設定した温度もしくは湿度となるよう加湿または除湿を行わせる動作を示す制御内容を選択する。
(21)また、前記第2の電子機器は当該空間に設置された第1の照明機器であって、
前記動物の状態が就寝している状態に応じた制御内容が示す動作は、
前記第1の照明機器の照明の照度を下げる動作を前記第1の照明機器に行わせることを示す、または
前記動物を起床させたい時間帯に照明の照度を段階的に上げる動作を前記第1の照明機器に行わせることを示す。
(22)前記第2の電子機器は前記所定の空間に設置された第1の照明機器であって、
前記ネットワークには、更に、前記動物を移動させたい目的の空間に設置された第2の照明機器が接続されており、
前記動物が起床している状態に応じた制御内容が示す動作は、
前記動物を目的の空間へ移動させるために前記所定の空間に設置された第1の照明機器の照明の照度を下げる動作を前記第1の照明機器に行わせることを示すとともに、
前記目的の空間に設置した第2の照明機器の照明の照度を上げる動作を前記第1の照明機器に行わせることを示す。
(23)前記第2の電子機器は前記所定の空間に設置された第1の照明機器であって、
前記動物の状態が起床している状態または就寝している状態に応じた制御内容が示す動作は、
前記第1の照明機器による照明光の色を前記動物のストレスを緩和させる色に変更する動作、
前記第1の照明機器による照明光の照度を前記動物のストレスを緩和させる照度に変更する動作、および
前記第1の照明機器による照明光の光源の周波数を前記動物のストレスを緩和させる周波数に変更する動作、
のうちの少なくとも1つの動作を前記第1の照明機器に行わせることを示す。
(24)また、本開示の更に他の態様は、宅内の一または複数の電子機器とネットワークを介して接続され、前記一または複数の電子機器を制御するサーバ装置の機器制御方法であって、
所定の空間に配置された第1の電子機器から、前記第1の電子機器が検出した前記所定の空間の情報を受信する受信ステップと、
前記所定の空間の情報を受信したとき、前記空間における少なくとも人以外の動物の存在の有無を判断し、前記存在すると判断した動物の状態を推定する推定ステップと、
前記判断の結果、または推定した前記動物の状態に応じて、前記空間に配置された第2の電子機器の制御内容を決定する決定ステップと、
を有する。
(25)また、前記空間の情報とは、前記第1の電子機器が取得した前記所定の空間の画像またはセンサーデータであり、
前記受信ステップでは前記第1の電子機器から、前記第1の電子機器の検出部が検出した画像またはセンサーデータを受信し、前記推定ステップでは、受信した前記画像または前記センサーデータを解析することで前記動物の状態を推定する。
(26)また、前記機器制御方法は、更に、前記受信ステップで受信した前記空間の情報を時刻と関連付けて蓄積する蓄積ステップを有し、
前記推定ステップは、前記第1の電子機器が取得した前記空間の情報から前記空間内の動物の存在の有無を判断し、
前記空間内に動物が存在すると判断した場合、前記時刻の異なる複数の前記空間の情報を用いて前記動物の状態を推定する。
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることも出来る。
なお、以下各実施の形態において、特にことわりのない限り、次の言葉の意味を以下のように定義する。
「生物」・・・人および動物を含む
「動物」・・・人以外の動物(人を含まない)
「人」・・・・人(人以外の動物を含まない)
また、以下の説明にて「機器」および「電子機器」という言葉が記載されているが、略同一の意味とする。
(提供するサービスの全体像)
図1Aには、本実施の形態における電子機器及び電子機器システムの全体像が示されている。
グループ100は、例えば企業、団体、家庭等であり、その規模を問わない。グループ100には、複数の機器101に含まれる機器101(a)、機器101(b)およびホームゲートウェイ102が存在する。複数の機器101には、インターネットと接続可能な機器(例えば、スマートフォン、PC、TV等)もあれば、それ自身ではインターネットと接続不可能な機器(例えば、照明、洗濯機、冷蔵庫等)も存在する。それ自身ではインターネットと接続不可能な機器であっても、ホームゲートウェイ102を介してインターネットと接続可能となる機器が存在してもよい。またグループ100には複数の機器101を使用するユーザ10が存在する。なお、上では複数の機器101に、機器101(a)と機器101(b)が含まれると述べたが、これに限られない。グループ100内には多数の機器が存在することが考えられ、複数の機器101に含まれる機器の数は特に限定しない。なお、以下の実施の形態では、機器101(a)から機器101(g)まで記載しているが、これらすべては図1Aに記載の複数の機器101に含まれるものとする。
データセンタ運営会社110には、クラウドサーバ111が存在する。クラウドサーバ111とはインターネットを介して様々な機器と連携する仮想化サーバである。主に通常のデータベース管理ツール等で扱うことが困難な巨大なデータ(ビッグデータ)等を管理する。データセンタ運営会社110は、データ管理やクラウドサーバ111の管理、それらを行うデータセンタの運営等を行っている。データセンタ運営会社110が行っている役務については詳細を後述する。ここで、データセンタ運営会社110は、データ管理やクラウドサーバ111の運営等のみを行っている会社に限らない。例えば複数の機器101のうちの一つの機器を開発・製造している機器メーカが、併せてデータ管理やクラウドサーバ111の管理等を行っている場合は、機器メーカがデータセンタ運営会社110に該当する(図1B)。また、データセンタ運営会社110は一つの会社に限らない。例えば機器メーカ及び他の管理会社が共同もしくは分担してデータ管理やクラウドサーバ111の運営を行っている場合は、両者もしくはいずれか一方がデータセンタ運営会社110に該当するものとする(図1C)。
サービスプロバイダ120は、サーバ121を保有している。ここで言うサーバ121とは、その規模は問わず例えば、個人用PC内のメモリ等も含む。また、サービスプロバイダ120がサーバ121を保有していない場合もある。
なお、上記サービスにおいてホームゲートウェイ102は必須ではない。例えば、クラウドサーバ111が全てのデータ管理を行っている場合等は、ホームゲートウェイ102は不要となる。また、家庭内のあらゆる機器がインターネットに接続されている場合のように、それ自身ではインターネットと接続不可能な機器は存在しない場合もある。
次に、上記サービスにおける情報の流れを説明する。
まず、グループ100の機器101(a)又は機器101(b)は、各ログ情報をデータセンタ運営会社110のクラウドサーバ111に送信する。クラウドサーバ111は機器101(a)又は機器101(b)のログ情報を集積する(図1A(a))。ここで、ログ情報とは複数の機器101の、例えば運転状況や動作日時等を示す情報、機器に搭載するカメラやセンサーから取得する機器周辺の状態や周辺環境に関する情報である。例えば、テレビに搭載するカメラ(撮像装置)によるテレビ周辺の画像または、テレビやエアコンに搭載するセンサーによる機器周辺に存在する人物や動物が発する放熱データ、テレビの視聴履歴やレコーダーの録画予約情報、洗濯機の運転日時・洗濯物の量、冷蔵庫の開閉日時・開閉回数などであるが、これらのものに限らず、あらゆる機器から取得が可能なすべての情報をいう。ログ情報は、インターネットを介して複数の機器101自体から直接クラウドサーバ111に提供される場合もある。また複数の機器101から一旦ホームゲートウェイ102にログ情報が集積され、ホームゲートウェイ102からクラウドサーバ111に提供されてもよい。
次に、データセンタ運営会社110のクラウドサーバ111は、集積したログ情報を一定の単位でサービスプロバイダ120に提供する。ここで、データセンタ運営会社が集積した情報を整理してサービスプロバイダ120に提供することの出来る単位でもいいし、サービスプロバイダ120が要求した単位でもいい。一定の単位と記載したが一定でなくてもよく、状況に応じて提供する情報量が変化する場合もある。前記ログ情報は、必要に応じてサービスプロバイダ120が保有するサーバ121に保存される(図1A(b))。そして、サービスプロバイダ120は、ログ情報をユーザに提供するサービスに適合する情報に整理し、ユーザに提供する。提供するユーザは、複数の機器101を使用するユーザ10でもよいし、外部のユーザ20でもよい。ユーザへのサービス提供方法は、例えば、サービスプロバイダ120から直接ユーザへ提供されてもよい(図1A(f)、(e))。また、ユーザへのサービス提供方法は、例えば、データセンタ運営会社110のクラウドサーバ111を再度経由して、ユーザに提供されてもよい(図1A(c)、(d))。また、データセンタ運営会社110のクラウドサーバ111がログ情報をユーザに提供するサービスに適合する情報に整理し、サービスプロバイダ120に提供してもよい。
なお、ユーザ10とユーザ20とは、別でも同一でもよい。
(実施の形態1)
本実施の形態における電子機器では、検出部によって検出された前記電子機器が配置された空間の情報から、前記空間における少なくとも人以外の動物の存在の有無を判断し、前記存在すると判断した動物の状態を推定する生物状態推定部と、前記判断の結果または前記推定した動物の状態に応じて、前記電子機器の制御内容を決定する制御内容決定部と、を備えた。以下に機器の構成や機器の動作について説明する。
[機器の構成]
本実施の形態における機器101(a)の構成を図2A、図2Bを用いて説明する。なお、本実施の形態では機器101(a)として、テレビを例にして説明するがこれに限られるものではない。
図2Aには機器101(a)の概観の一例を示す図である。また、図2Bは機器101(a)の構成の一例を示す図である。機器101(a)は検出部201、出力部202、制御・処理部203、記録部204を備える。
検出部201は図2Aに示すとおり、機器101(a)の一部(上部等)に配置される。検出部201は、例えば、機器101(a)が配置された空間内の情報を取得する。より具体的には、検出部201は例えば、2次元の可視画像を検出するカメラまたはセンサーなどである。または、検出部201は、2次元の赤外画像(熱画像)を検出するカメラまたはセンサーなどであってもよい。検出部201は機器101(a)の正面方向の2次元画像(可視画像・熱画像等)を検出し、検出した2次元画像を後述する制御・処理部203に出力する。
なお、検出部201は、必ずしも2次元画像を検出するものでなくてもよい。物体の存在有無のみを検出するセンサーであってもよい。
また、検出部201は、機器101(a)が備える必要は、必ずしもない。例えば、検出部201は、機器101(a)とは別体であってもよい。この場合、検出部201は、機器101(a)と接続されており、検出部201が取得した空間内の情報を機器101(a)へ出力する構成であればよい。検出部201と、機器101(a)との接続は、有線の接続であってもよいし、無線の接続であってもよい。
出力部202は図2Aに示すとおり、例えば機器101(a)の正面に配置される液晶パネルなどを含み、後述する制御・処理部203から出力された情報(例えば、画像・動画像、音声など)をユーザもしくは動物に対して出力・表示する。
制御・処理部203は例えば、ハードウェア構成として、機器101(a)内部に備えられるCPU(Central Proccessing Unit)、またはマイコン(マイクロコンピュータ)などの回路を含む。機器101(a)は、図示しないメモリを含んでも良い。図示しないメモリは、例えば、制御・処理部203を機能させるためのプログラムを記憶している。例えば、機器101(a)が備えるCPUが、メモリに記録されたプログラムを実行することにより、制御・処理部203が機能するように構成してもよい。
または、制御・処理部203の機能を組み込んだマイコンなどの回路を用いて制御・処理部203を構成するのでもよい。
制御・処理部203は、検出部201、出力部202もしくは後述する記録部204から情報を取得して、取得した情報を基に処理(判断)を行う。さらに検出部201、出力部202、もしくは記録部204に情報を出力し、各構成を制御する。
また、機器101(a)がテレビである場合、出力部202は、例えば静止画像または動画像といった画像を再生する機能、および音声を再生する機能を有する。
例えば、出力部202の機能を実現するためのプログラムがメモリに記憶されている。例えば、そして、機器101(a)が備えるCPUが、メモリに記録されたプログラムを実行する。これにより、出力部202が有する機能が実現される。
または、出力部202が有する機能をマイコンに組み込んで、出力部202を構成してもよい。
例えば、機器101(a)がテレビである場合、画像を再生する機能および音声を再生する機能を実現するためのプログラムがメモリに記憶されている。そして、機器101(a)が備えるCPUが、メモリに記録されたプログラムを実行する。これにより、出力部202において、画像および音声が再生されるように構成してもよい。
または、画像を再生する機能および音声を再生する機能をマイコンに組み込んで、出力部202における画像を再生する機能および音声を再生する機能を実現するのでもよい。
再生された画像は、例えば、出力部202が備える液晶パネルに表示される。また、再生された音声は、例えば、出力部202が備えるスピーカから出力される。
図3Aは制御・処理部203の詳細な機能構成の一例を示す図である。制御・処理部203は、例えば、生物状態推定部に対応する生物状態推定手段205、制御内容決定部に対応する制御内容決定手段206を含む。各機能構成の処理については後述する。なお、制御・処理部203の一部の機能(例えば生物状態推定手段205の一部または全部の処理を実行する機能)が、検出部201(例えばカメラやセンサー)に含まれていてもよい。
記録部204は例えば、機器101(a)内部に備えられるメモリ、ハードディスクなどの書き込み可能な記録媒体である。各構成から出力された情報および、機器101(a)の外部から取得した情報等を一時的に記録もしくは蓄積する。
図3Bには記録部204の詳細な機能構成の一例を示す図である。記録部204は生物状態蓄積DB(データベース)207、コンテンツ管理DB(データベース)208を含む。各機能構成の特徴については後述する。
なお、この記録部204は本実施の形態において、必須の構成ではない。機器101(a)以外の外部装置が記録部204(生物状態蓄積DB207、コンテンツ管理DB208)を備えており、機器101(a)と当該外部装置が情報を有線もしくは無線でやり取りすることで、代用してもよい。
以上図2A、図2Bを用いて、各構成について説明したが、機器101(a)がこれらの構成全てを備えている必要はなく、外部の機器がこれらの構成のうち一部を備えており、機器101(a)と情報をやり取りすることで代用してもよい。また機器101(a)は上記した各構成以外の構成を備えていてもよい。
[機器の動作・処理の流れ]
図4は、本実施の形態における機器101(a)の動作の一例を示すフローチャートである。
まずステップS401にて、検出部201は機器101(a)の正面方向の2次元画像(可視画像・熱画像等)を検出し、検出した2次元画像を制御・処理部203に出力する。ここで、検出のタイミングや頻度については特に限定しない。
例えば、検出部201は、5分や10分などの所定の間隔ごとに2次元画像を検出してもよい。
また、例えば、制御・処理部203にて人もしくは動物の存在が検出されたとき、制御・処理部203は、検出部201による検出の間隔を上述の所定の時間よりも短い時間間隔で、検出を行うように指示し、検出頻度を上げてもよい。
なお、検出部201が取得する情報は必ずしも2次元画像に関する情報ではなくてもよい。例えばセンサーが取得した空間内のセンシング情報であってもよい。
次に、ステップS402にて、制御・処理部203は、ステップS401にて検出部201から出力された情報(2次元画像・センシング情報など)を基に、空間の状態を推定する。図5は、ステップS402の状態推定に関する詳細な処理の一例を示すフローチャートである。
まず、ステップS501にて、制御・処理部203の生物状態推定手段205は、検出部201から出力された情報(2次元画像・センシング情報など)を解析することで、生物の存在有無・数を判断する。
生物の存在有無・数の判断方法に関しては特に限定しない。例えば取得時間の異なる複数の画像の変化(差分)から生物が存在するか否かを判断してもよい。取得時間とは、例えば、検出部201が、2次元画像を撮像する構成であれば、取得時間とは、2次元画像を撮像した撮像時刻に対応する。また、例えば、検出部201が、センサーからセンサー情報を取得する構成あれば、取得時間とは、センサー情報を取得した取得時刻に対応する。
検出部201により取得した取得時間の異なる複数の2次元画像の変化(差分)とは、例えば複数の2次元画像間で所定の時間内に所定の閾値以上輝度値が変化した画素領域(差分領域)などを示す。
当該差分領域は、画像中の動きのある領域であると推定できる。このように時間の異なる複数の2次元画像の差分を検出することで、空間内に人もしくは動物などの動きがある生物の存在を特定できる。また、2次元画像中の差分が検出された領域の数を計測することで、生物の存在数を特定することが出来る。また、生物の存在有無を判断するその他の方法として、例えば2次元画像が可視画像の場合、可視画像中の色情報や輝度の特徴、形状の特徴等から生物の領域を特定してもよい。また2次元画像が熱画像の場合、熱画像中の温度に関する情報を基に生物の領域を特定してもよい。
次にステップS502にて生物状態推定手段205は、ステップS501の判断結果をふまえ、画像を取得した空間内に生物が存在するか否かを判断し、その後の処理を分岐する。ステップS502にて、生物が存在する場合ステップS503の処理に進む。一方で生物が存在しない場合、ステップS402の処理を抜け、生物状態推定手段205は生物(人および動物)が存在しない旨の情報を制御内容決定手段206に出力する。
次にステップS503にて生物状態推定手段205は、2次元画像中の生物と特定した領域に関して、人か人以外の動物かを特定する。ここで、人か人以外の動物かを特定する方法は特に限定しない。
例えば画像中においてステップS501にて生物と特定された領域に対して、大きさ・色・形状等を基に、人か人以外の動物かを判断してもよい。その場合は、事前に(機器101(a)の出荷時点で)画像中における人もしくは動物の大きさ・色・形状などの特徴が記録部204などに記録されていることが望ましい。例えば、ステップS501にて生物と特定された領域の大きさ・色・形状といった特徴と、記録部204などに記録されている特徴とを比較し、比較結果に基づいて人か人以外の動物かを判断すればよい。
また、ステップS503にて生物状態推定手段205が特定すべき人および動物が予め分かっているのであれば、特定すべき人および動物の特徴に関する情報を記録部204などに記録しておくのでもよい。
例えば、機器101(a)を使用するユーザ(人)および動物の特徴を事前に取得し、記録部204などに保持しておき(事前登録/キャリブレーション)、2次元画像中の生物と特定した領域と比較することで人か人以外の動物かを判断してもよい。これによって、より検出精度が向上する。
また、例えば、検出部201は、更に、機器101(a)から特定すべき人および動物までの距離を測定するセンサーを更に有してもよい。この場合、生物状態推定手段205は、センサーが測定した距離の情報に基づいて、機器101(a)を配置した空間内、または機器101(a)の周辺に、生物状態推定手段205が特定すべき人および動物が存在するのかどうかを判断することができる。
次にステップS504にて、生物状態推定手段205は、ステップS503で特定した人もしくは動物の状態を推定する。ここで、人もしくは動物の状態を推定する方法は特に限定しない。例えば、取得した時間的に異なる複数枚の画像の変化を解析することで、存在すると判断した人または動物が“起床”しているか“睡眠”しているかを推定する。この場合、時間的な変化が大きい場合“起床”と推定し、時間的な変化が小さい場合“睡眠”と推定する。また、検出部201が2次元画像以外の情報(センサー情報)を取得するセンサーである場合には、センサーが取得したセンサー情報の時間的な変化を基に、起床なのか睡眠なのかを推定してもよい。
ステップS504の処理を実施した後、もしくはステップS502にて“No”と処理された後、ステップS402の処理を完了しステップS403に進む。
ここで、ステップS502で“Yes”と判断されステップS504の処理を実行してステップS402の処理を完了した場合、生物状態推定手段205は制御内容決定手段206に、
(i)存在する生物の種類(人のみ/人以外の動物のみ/人と動物両方など)
(ii)存在する生物の数(人1/動物2/人1・動物1など)
(iii)存在する生物の状態(起床/睡眠など)
に関する情報のうち少なくともいずれか一つの情報を出力する。
また、ステップS502にて“No”と判断されステップS402の処理を完了した場合、生物状態推定手段205は制御内容決定手段206に、
(iv)空間内に生物(人もしくは動物)が存在しない旨の情報
を出力する。
図7A〜図7Fは、生物状態推定手段205がステップS501からS504にて推定した空間内の状態の一例を示す図および、制御内容決定手段206へ出力する情報の一例を示す図である。図7Aでは起床中の人が一人と、起床中の動物一匹とが、空間内に同時に存在する状態である。図7B、図7Cは起床中の動物一匹のみが空間内に存在する状態である。図7Dは起床中の動物二匹が空間内に存在する状態である。図7Eは睡眠中の動物一匹が空間内に存在する状態である。図7Fはいかなる生物(人および動物)も空間内に存在しない状態である。生物状態推定手段205はこれらの状態を推定して、上記(i)〜(iv)の少なくともいずれかの情報を制御内容決定手段206に出力する。
なお、ステップS504にて推定する状態は“起床”“睡眠”という状態に代えて/加えて、その他の状態を推定してもよい。
例えば図7A〜図7Dの場合、生物状態推定手段205は人もしくは動物の機器101(a)に対する向き(正面・横など)も推定している。向きを推定する方法に関しては既知の手法を採用することができ、特に限定しない。例えば顔認識技術等を採用し、顔の向きを推定することでその生物の向きを推定してもよい。向きを推定することにより生物が機器101(a)の方向を向いているか否か、すなわち機器101(a)に関心を持っているか否かを推定することが出来るので、後述する制御内容決定手段206での制御内容決定において、よりユーザ(人もしくは動物)にとって最適かつ状態に合った制御を決定することが出来る。よって、起床中の生物が存在する場合に、加えて向きを推定するようにすることが好ましい。
さらに例えば図7A、図7C、図7Dのように、その生物の行動(読書中・食事中・歩行中など)を推定してもよい。行動を推定する方法に関しては既知の手法を採用することができ、特に限定しない。取得時間の異なる複数の2次元画像の差分を算出することで、動いているか静止しているかを判断することが出来るので、読書中もしくは歩行中等の行動を推定できる。また所定の場所に静止している場合、その場所によって食事中なのか読書中なのか等の行動を推定してもよい。行動を推定することによっても生物が機器101(a)に関心を持っている状態か否かを推定することが出来る。
また生物の精神状態(落ち着いた精神状態・活発な精神状態など)も推定できるので、後述する制御内容決定手段206での制御内容決定において、よりユーザ(人)もしくは動物にとって最適かつ状態に合った制御を決定することが出来る。よって、起床中の生物が存在する場合に、加えて起床中の生物の行動を推定するようにすることが好ましい。
図8は、生物状態推定手段205が制御内容決定手段206に出力する情報を管理したテーブル801の一例を示す図である。これらの情報はテーブル801として、記録部204の生物状態蓄積DB207によってログ情報として蓄積されてもよいし、一時的に記録され適宜消去されてもよい。
これらの情報はテーブル801として、記録部204の生物状態蓄積DB207によってログ情報として蓄積される場合、動物の状態の時間的な推移、動物の飼い主であるユーザの状態の時間的な推移が蓄積されることになる。
機器101(a)は、このログ情報を解析することにより、機器101(a)を配置した空間内における動物と、ユーザの生活パターンを学習することができる。
また、動物が睡眠している状態であるとき、ユーザが機器101(a)を配置した空間に存在しない状態が、予め定めた所定回数よりも多ければ、ユーザは、動物が睡眠する時間になると、機器101(a)を配置した空間にいないと学習することができる。
例えば、動物が食事をしている状態から15分後に睡眠の状態に変化する場合が、予め定めた所定回数よりも多ければ、この動物は、食事をしてから15分後に睡眠すると学習することができる。
また、ユーザは、起床をした状態から30分後に読書する状態に変化する場合が、予め定めた所定回数よりも多ければ、ユーザは、起床をしてから30分後に読書すると学習することができる。
上述の学習は一例であり、例えば、動物の状態およびユーザの状態の組み合わせを用いて学習してもよい。
よって、生物状態蓄積DB207によってログ情報として蓄積されている場合は、ある程度空間内の生物の状態に関する生活パターンを学習することができる。
この学習した動物の生活パターン、およびユーザの生活パターンから、動物またはユーザの現在の状態から次に推移する状態を予測することができる。
よって処理する情報量の削減および、生物状態推定手段205の推定精度の向上などに貢献することが出来る。
またこのように、生物状態蓄積DB207によってテーブル化して管理する場合は、生物状態推定手段205が推定した情報を制御内容決定手段206に直接出力するのではなく、いったん推定した情報を記録部204の生物状態蓄積DB207に出力するようにしてもよい。そして後述するステップS403では制御内容決定手段206が生物状態蓄積DB207から情報を取得し、制御内容を決定する。
図8の例では、検出部201から制御・処理部203の生物状態推定手段205に、15分おきに検出結果が出力されており、15分おきの生物状態の推定結果がテーブル化されている。なお検出部201が検出する頻度や、生物状態推定手段205が推定する頻度は15分に限られない。
また図8のテーブル801では、図7A〜図7Fに示した各状態に対応するログ情報の例が「状態の例」として記載されている。例えば図7Aに示す状態は、図8に示すログ3に対応し、起床中であり横向きで読書中の人物が一人、起床中であり正面を向いている動物が一匹、という状態が生物状態蓄積DB207のテーブル801に管理されている。
また、図7B〜図7Dに示す状態は、図8に示すログ4〜ログ6にそれぞれ対応する。また、図7E〜図7Fに示す状態は、図8に示すログ8〜ログ9にそれぞれ対応する。
なおこの「状態の例」は、図7A〜図7Fと図8に示すログとの対応の一例を説明するために記載しているものであり、テーブル801に蓄積されている必要は必ずしもない。
以上、生物状態推定手段205によって、空間内に生物が存在するか否かを判断し、存在する場合その数・状態等を推定し、制御内容決定手段206に出力する。なお生物状態推定手段205は、必ずしもステップS501からS504の順番に処理を実行しなくてもよい。また一部のステップを省略してもよい。また各ステップをまとめて実施してもよい。すなわち生物状態推定手段205は、結果として上記した(i)〜(iv)の情報のうち少なくともいずれかを制御内容決定手段206に出力できれば、その処理の順序および内容に関して異なる手段を用いても構わない。
続いて図4のフローに戻り、ステップS403にて、制御・処理部203の制御内容決定手段206は、ステップS402にて生物状態推定手段205が推定した生物の有無・数・状態に応じて、機器101(a)の制御内容を決定する。図6には制御内容決定手段206の詳細な処理の一例を示すフローチャートである。
まず、ステップS601にて制御内容決定手段206は、制御内容決定のためのテーブル情報を記録部204から取得する。テーブル情報は、例えば、図9、図10に示されるようなテーブルであり、説明を後述する。
そして、ステップS602にて制御内容決定手段206は、ステップS601にて取得したテーブルを参照し、複数の制御内容の中からステップS402にて推定した生物(人もしくは動物)の状態に基づいて制御内容を決定する。制御内容は、例えば、機器101(a)の出力部202において実行する動作に関する情報を含む。また、制御内容は、例えば、機器101(a)の出力部202で実行する動作に用いるデータ(コンテンツ)に関する情報を更に含んでもよい。制御内容決定手段206は、決定した制御内容が示す動作を出力部202に行わせる情報を出力部202へ出力する。
図9、図10を用いて、記録部204が管理する制御内容決定のためのテーブルを用いて制御内容を決定する方法について説明する。
図9は制御内容決定手段206が記録部204から取得するテーブル情報の一例である、テーブル901を示す図である。テーブル901は人・動物の状態(行動)に応じて機器101(a)の出力部202で実行する動作を規定したテーブルである。
図9に示す、テーブル901は、例えば、人物の状態に関する情報、動物の状態に関する情報、出力(制御内容)に関する情報が関連付けられた情報である。
例えば、テーブル901における、人物(動物)の欄において「無」というのは、生物状態推定手段205によって人物(動物)が存在しない状態であると推定されたことを示す。
また、例えば、テーブル901における、人物(動物)の欄において「睡眠」というのは、生物状態推定手段205によって人物(動物)が存在すると判断され、かつ存在すると判断された人物(動物)が就寝している状態(睡眠状態ともいう)であると推定されたことを示す。
また、例えば、テーブル901における、「無/睡眠」というのは、上述の「無」または「睡眠」であることを示す。
また、例えば、人物(動物)の欄において「起床」というのは、生物状態推定手段205によって人物(動物)が存在すると判断され、かつ存在すると判断された人物(動物)が起きている状態と推定されたことを示す。
例えば、生物状態推定手段205によって人が「存在しない」もしくは「睡眠」であり、かつ動物が「存在しない」もしくは「睡眠」であると判断されていた場合(例えば図5のステップS502において“No”と判断された場合など)を考える。この場合、制御内容決定手段206は、テーブル901を参照し、人物の状態の欄、動物の状態の欄がともに「無/睡眠」と関連付けた出力(制御内容)を決定する。この制御内容は、図9に示すように電源オフ(待機モード)である。
また、例えば、生物状態推定手段205によって人が存在し「起床」であり、かつ動物が存在し「起床」であると判断されていた場合、制御内容決定手段206は、テーブル901を参照し、人物の状態の欄、動物の状態の欄がともに「起床」と関連付けた出力(制御内容)を決定する。この制御内容は、図9に示すように共通コンテンツ再生である。
共通コンテンツ再生とは、機器101(a)の出力部202に人もしくは動物に共通のコンテンツ(共通コンテンツ)を再生させることである。
また、例えば、生物状態推定手段205によって人が存在し「起床」でありかつ動物が「存在しない」もしくは「睡眠」であると判断されていた場合、制御内容決定手段206は、テーブル901を参照し、人物の状態の欄が「起床」、動物の状態の欄が「無/睡眠」と関連付けた出力(制御内容)を決定する。この制御内容は、図9に示すように人間コンテンツ再生である。
人間コンテンツ再生とは、機器101(a)出力部202に人間用のコンテンツ(人間コンテンツ)を再生させることである。
また、例えば、生物状態推定手段205によって人が「存在しない」もしくは「睡眠」でありかつ動物が存在し「起床」であると判断されていた場合、制御内容決定手段206は、テーブル901を参照し、人物の状態の欄が「無/睡眠」、動物の状態の欄が「起床」と関連付けた出力(制御内容)を決定する。この制御内容は、図9に示すように動物コンテンツ再生である。
動物コンテンツ再生とは、機器101(a)の出力部202に動物用のコンテンツ(動物コンテンツ)を再生させることである。
制御内容決定手段206は、図9に示すテーブルを用いて、生物状態推定手段205による判断の結果、または、生物状態推定手段205にり存在すると判断した人、動物の状態(行動)に応じた制御内容が決定される。これにより、決定した制御内容が示す動作が決定される。制御内容決定手段206は、決定した制御内容が示す動作を行わせる情報(制御コマンド)を出力部202に出力する。
なお、制御内容決定手段206が制御内容を決定するために取得するテーブルはテーブル901のみに限られない。例えば図7等で説明していたように、人・動物の存在有無や起床しているか否かの情報だけではなく、機器101(a)に対する向き、もしくは人・動物の数も推定している場合は、向きや数に合わせて出力するコンテンツを変えるテーブルを取得してもよい。
図10は、制御内容決定手段206が記録部204から取得するテーブル情報の一例である、テーブル1001を示す図である。
具体的には、図10は、図9で説明した共通コンテンツ・人間用コンテンツ・動物用コンテンツを管理しているテーブル1001を示す図である。テーブル1001は記録部204に管理されている。また、図10に記載されているコンテンツはコンテンツ管理DB208に保持されているものもあれば、放送局からネットワークや放送電波を介して配信されるものがあってもよい。
テーブル1001では、コンテンツ種別、チャンネルID(CID)、コンテンツ名、そのコンテンツの目的、ソース、出力調整が対応付けられて管理されている。コンテンツ種別は図9で制御内容決定手段206が決定した出力内容と対応している。例えばステップS602にて制御内容決定手段206が動物コンテンツの再生を出力内容(制御内容)として決定していた場合、テーブル1001に示すC11〜C18のコンテンツのいずれかが選択される。
また、例えば、ステップS602にて制御内容決定手段206が人間コンテンツの再生を出力内容(制御内容)として決定していた場合、テーブル1001に示すC21〜C22のコンテンツのいずれかが選択される。
また、例えば、ステップS602にて制御内容決定手段206が共通コンテンツの再生を出力内容(制御内容)として決定していた場合、テーブル1001に示すC31〜C32のコンテンツのいずれかが選択される。
制御内容決定手段206は、図10に示すテーブル1001を用いて、人・動物の状態(行動)に応じた制御内容、具体的には、図9を用いて決定した出力部202で実行する動作に用いるデータ(コンテンツ)を決定する。
制御内容決定手段206は、図9を用いて決定したコンテンツを再生させる情報(制御コマンド)を出力部202に出力する。
いずれかのコンテンツを選択する方法は特に限定しない。例えばコンテンツによって放送または再生する時間が決まっているものがある場合は、そのときの時間・コンテンツ種別に対応するものを選択すればよい。
またステップS402の状態推定にて、向きや行動などの詳細な状態を推定している場合は、当該状態に合わせて制御内容決定手段206が最適な目的・効果が設定されているコンテンツを選択するようにしてもよい。例えば、図7Bのように1匹の動物が存在し、機器101(a)に対して正面を向いていると推定された場合は、テーブル1001のうち目的・効果が「好奇心・教育」と設定されているコンテンツを選択する。ここでは例えばC11の「アクティブわんちゃん」というコンテンツが選択される。また、図7Cのように1匹の動物が存在し、機器101(a)に対して横を向いており、なおかつ食事中ということを推定していた場合は、目的・効果が「食欲増進」と設定されているコンテンツを選択する。ここでは例えばC16の「ワンぱく!」というコンテンツが選択される。また、図7Aのように一人の人と1匹の動物が存在し、動物が機器101(a)に対して正面を向いていると推定されていたときには、目的・効果が「コミュニケーション」と設定されているコンテンツのうち、C32の「ペットアルバム」というコンテンツが選択される。コンテンツの選択基準は上で説明したものに限られない。
また、上記の説明では、制御内容決定手段206が、人・動物の存在有無・状態に合わせて、各コンテンツの目的・効果と対応づけて最適なコンテンツを選択する例を説明したがこれに限られない。例えばユーザが予め嗜好に合わせて、状態に対応づけて出力するコンテンツの目的・効果のカテゴリを設定しておいてもよい。
これによれば、例えばあるユーザは図7Bのような状態のときに目的・効果が「好奇心・教育」のコンテンツを設定し、別のユーザは目的・効果が「コミュニケーション」のコンテンツを設定することが出来る。よってよりユーザ(もしくは動物)の趣味・指向に応じたコンテンツを、ユーザの設定した状態(タイミング)で出力することが出来る。
また人が存在する場合は、機器101(a)の制御内容決定手段206がコンテンツを選択するのではなく、人間用コンテンツもしくは共通コンテンツから、状態に応じた複数のコンテンツを表示してレコメンドし、ユーザ(人)に選択させるようにしてもよい。
次に、ステップS603にて、制御内容決定手段206は、決定した制御内容を出力部202に出力する。この時、制御内容決定手段206は決定したコンテンツを取得する。
つまり、制御内容決定手段206は、決定した制御内容を出力部202で動作をさせるために、決定した制御内容が示すコンテンツを再生させるための情報(制御コマンド)を出力部202に出力する。
出力部202は、制御内容決定手段206からの情報に従って、決定した制御内容が示すコンテンツを再生する。
本実施の形態では必要なコンテンツが機器101(a)内に保持されていることを想定しているので基本的にはコンテンツ管理DB208に必要なコンテンツが管理されている。よってステップS603にて制御内容決定手段206はコンテンツ管理DB208からコンテンツを取得する。
ただし、上述したとおり、コンテンツによっては、コンテンツ管理DB208に保持されているものもあれば、放送局からネットワークや放送電波を介して配信されるものがあってもよい。
例えば、図10に示すテーブル1001では各コンテンツのソースに関しても管理されている。例えばC11〜C17はソースが「専用動画」なので、コンテンツ管理DB208に管理されているものもあれば、管理されていないものもあるかもしれない。
制御内容決定手段206は、コンテンツがコンテンツ管理DB208に管理されていない場合、ネットワーク経由でコンテンツを取得するように機器101(a)を制御する。
この場合、例えば、機器101(a)は、コンテンツを蓄積する外部の装置(図示せず)とネットワークを介して送受信を行う情報送受信部(図示せず)を備え、制御内容決定手段206は、情報送受信部を制御して、コンテンツを取得すればよい。ネットワークは、例えば有線のネットワークでもよいし、無線のネットワークでもよい。
また、図10のテーブル1001に示すC18・C32はソースが「写真」なので、制御内容決定手段206は機器101(a)のコンテンツ管理DB208から写真に関するコンテンツを取得するように機器101(a)を制御する。
なお写真とはユーザが撮影した写真でもよいしその他の写真でもよく、ユーザが機器101(a)内に記録したもの全てを含む。また「写真」が選択された場合は、複数の写真をスライドショー形式で再生させるように制御することが望ましい。また人・動物の状態に応じて、スライドショー再生速度や再生方法を変更してもよい。また人・動物の状態に応じて再生すべき写真を複数選択して再生するように制御してもよい。また、C21は「TV」であるので制御内容決定手段206はデジタル放送等の電波を取得するように機器101(a)を制御する。
なお、テーブル1001の例では、出力するコンテンツとして映像コンテンツの例のみが含まれたテーブルを記載したがこれに限られない。例えば音声のみのコンテンツが含まれていてもよい。
なお、テーブル1001には「出力調整」が管理されている。例えば、機器101(a)の前に人もしくは動物の存在、もしくは動物の種類(犬、猫など)に応じて、出力部202での出力方法を「出力調整」に示された情報に応じて調整(変更)してもよい。ここでテーブル1001では、各コンテンツに応じて、犬・猫・人間の3つの出力調整のためのカテゴリが対応付けられて管理されている。
図11は、図10に示すテーブル1001の出力調整のカテゴリに応じた出力方法が関連付けられたテーブル1101の一例を示す図である。このテーブル1101も記録部204に管理されている。
テーブル1101では各出力調整に応じたカテゴリ(犬・猫・人間など)に応じて、可聴周波数、リフレッシュレート、色調補正が管理されている。例えば、制御内容決定手段206は、テーブル1001を参照し、出力するコンテンツを選択したとき、選択したコンテンツに対応する出力調整のカテゴリが示す内容を特定する。そして、制御内容決定手段206はテーブル1101を参照し、特定した出力調整のカテゴリが示す内容に対応する可聴周波数、リフレッシュレート、色調補正のそれぞれのカテゴリが示す内容を特定する。制御内容決定手段206は、図9、図10に従って特定したコンテンツを対応する出力調整で再生させる情報(制御コマンド)を出力部202に出力する。
出力部202は、制御内容決定手段206からの情報に従って、コンテンツを対応する出力調整に従って再生する。
例えば、テーブル1001における「犬」の出力調整が設定されたコンテンツが選択された場合、制御内容決定手段206はテーブル1101を参照し、犬にとって最適な可聴周波数である40Hz〜47kHz内で音を出力し、青と黄を主軸にコンテンツ(動)画像を色調補正して、コンテンツ(動)画像をリフレッシュレート120Hzで再生する指示を出力部202へ出力する。
出力部202は、再生が指示されたコンテンツ(動)画像に音声が含まれる場合、音声の再生において、40Hz〜47kHz内の周波数を有する音声を再生する。
また、出力部202は、再生が指示されたコンテンツ(動)画像のリフレッシュレートを120Hzとしてコンテンツ(動)画像を再生する。
また、出力部202は、再生が指示されたコンテンツ(動)画像を表示するときに含まれる色の成分のうち、例えば、青色と黄色の成分の割合が多くなるように色調補正する。
これにより、制御内容決定手段206は、出力部202によるコンテンツ(動)画像の再生を制御することが可能となる。
なおリフレッシュレートとは1秒間に出力する画像の枚数である。例えばリフレッシュレート120Hzの場合は1秒間に120枚の画像を出力する。一般に、人間にとって最適なリフレッシュレートである60Hzで動画像を出力すると、犬にとってはコマ送りのように見えてしまい不適切であると言われている。また可聴帯域や視認可能な色調も動物と人間、もしくは動物の種類によっても、異なると言われている。
よって、図10に示されるコンテンツの中から、選択したコンテンツに含まれる映像のリフレッシュレートを、選択したコンテンツに対応する出力調整で出力方法を調整(変更)する。具体的には、テーブル1101に記載したような最適な可聴帯域、リフレッシュレート、および色調でコンテンツに含まれる映像および音声を再生することで、人もしくは動物に応じた最適な出力方法でコンテンツを出力することが出来る。
すなわち電子機器の出力部が再生する映像は、動物が視認可能な映像のリフレッシュレートで再生され、前記電子機器の出力部が再生する音声は、動物が可聴な音域に調整した音声で再生されることを特徴とする。
かかる構成によれば、動物の現在の状態に加え、人の存在と動物との共存状態に基づき電子機器を自動的に制御できるため、例えば、飼い主とペットが同時にテレビを見ている時は、飼い主とペットが共に楽しめるコミュニケーション関連の動画を再生したり、飼い主とペットが被写体となる写真を中心とした写真アルバムをスライドショー形式で再生したり、飼い主が見ているテレビ番組音声に対して、ペットの可聴音域においてペットをリラックスさせる音声を合成したり、人とペットの共存に最適と推定する温度・湿度に空調設定を自動で変更するなど、人間と動物に対して最適なコンテンツおよび快適な空間を提供することができる。
なお、図11に示すテーブル1101では、動物の種別(犬、猫)に応じて異なる動物が視認可能なリフレッシュレートまたは動物が可聴可能な音域に特化した映像または音声の再生を例に単純化して説明したが、映像や音声は動物に最適化された映像や音声に限らず、人が日頃から楽しめる映像や人が可聴な音域で人にとっても心地のよい音楽、餌やりなど何かが始まることを示すジングル音、ホワイトノイズと呼ばれるような自然から得られるまたは人工的に生成される音、動物の種別毎に同種の動物が発した鳴き声やジャングルなどの自然の音を採用してもよい。
なお、図10、図11の例では犬や猫といったようにコンテンツの対象とされている動物の種類によっても出力方法を変更したように、ステップS402にて生物状態推定手段205が、人もしくは人以外の動物という識別のみではなく、人以外の動物の種類(犬・猫)まで識別するようにしてもよい。動物の種類の識別方法に関しては特に限定しない。検出部201が取得した2次元画像の特徴(生物と判定された領域の形状や大きさ)を基に、識別してもよい。また予めユーザが機器101(a)を設置した空間内に存在する可能性のある動物の種類を初期登録しておくことで、動物の種類を簡単に特定できる。例えば予めユーザが「猫」しか登録していなければ、人以外の生物のみの存在を特定した際には、おのずと当該生物が猫と判断され、猫用のコンテンツ(例えば、テーブル1001のC17)が選択されたり、テーブル1101における「猫」用の再生方法で選択されたコンテンツを再生するように制御すればよい。
以上のようにステップS403にて、制御内容決定手段206(制御内容決定部)は、推定した状態に応じて制御内容を決定する。すなわち前記制御内容決定部は、(1)人と動物が存在している状態、(2)人は存在しないが動物のみが存在している状態、(3)動物は存在しないが人のみが存在している状態、(4)人も動物も存在しない状態のいずれかであると生物状態推定手段205(部生物状態推定部)が判断した場合のそれぞれに応じて前記電子機器の制御内容を変更する。
また、前記電子機器は映像または音声を再生する出力部を有し、前記制御内容決定部は、前記前記生物状態推定部が人は存在しないが動物のみが存在している状態と判断し、かつ、前記動物が起床している状態と推定している間、前記推定した動物の状態に応じた制御内容が示す映像または音声の再生を前記出力部に行なわせる。
図4のフローに戻って、ステップS404にて、出力部202は制御・処理部203からステップS403にて決定された制御内容を受けて、出力動作を行う。ここでは、制御・処理部203の制御内容決定手段206によって決定されたコンテンツを受け、出力部202が再生(表示)する。
以上、本実施の形態では、人や動物に関する空間内の状態を推定し、推定した状態に応じて制御内容を決定し出力する電子機器の構成・処理方法に関して説明した。かかる構成によれば、動物の現在の状態に基づき電子機器を自動的に制御できるため、例えば、飼い主が不在中の犬や猫による留守番においても、犬や猫がテレビやオーディオ機器の前にいる時に限り、犬や猫に適した映像または音声を自動で再生することができ、電子機器を自ら制御できない犬や猫においても、留守中の犬の孤独によるストレスおよび運動不足を軽減でき、犬や猫といった動物に対して快適な空間を提供することができる。
従来、人の存在有無を検出して機器を制御するものはあったが、人および動物の存在可否をそれぞれ同時に判断して、機器の制御内容を調整する電子機器は検討されていなかった。よって人と動物が存在しうる空間に対して、双方にとって状況に応じた最適な環境を提供することが出来なかった。
よって、適宜ユーザがその時の状況に応じて制御内容を変更すべく指示コマンドを入力するなどの煩わしい操作が必要であった。本実施の形態における電子機器では、人・動物の存在可否や状況・行動を推定して最適な制御を自動的に行うので、ユーザに煩わしい操作を要することなく人・動物双方にとって最適な空間を提供することが出来る。
なお、本実施の形態の一例では、動物の状態や行動を推定して当該状態・行動に合わせて機器の制御を行う方法を説明したが、図12に示すように予め機器の制御順序を設定しておいて、動物の行動を変更するように促すようにしてもよい。図12は、ユーザ(人)が、不在時に動物が存在することが分かっている状態で、予めユーザ(人)が15分おきの動物の行動を促すためのターゲット行動を設定して作成したテーブル1201の一例を示す図である。
テーブル1201は、ユーザが不在中に動物に対して指示したいターゲット行動を規定する。ターゲット行動とは、例えば、起床、運動、食事、睡眠導入、睡眠などである。
また、テーブル1201は、例えば、ターゲット行動を指示する時刻に関する情報、ターゲット行動を動物に行わせるために、制御内容決定手段206が出力部202に実行させるべき動作に関する情報(制御内容)を含む。この例では、制御内容として、出力部202に再生させるべき再生コンテンツのコンテンツID(CID)含む。
機器101(a)が、例えば、映像および音声を再生する装置(テレビ)である場合、機器101(a)が実行すべき動作を示す情報とは、例えば、機器101(a)がコンテンツを再生すること。
また、機器101(a)は、スケジュール機能を有する。スケジュール機能とは、例えば、制御内容決定手段206が、テーブル1201に示された時刻に、この時刻に対応する再生コンテンツを出力部202に再生させる情報を出力部202に出力する。これにより、制御内容決定手段206は、テーブル1201に示された複数の制御内容のそれぞれを指示する順序を時系列に管理することができる。
テーブル1201に示すように、ユーザが予めターゲット行動を設定しておくと、制御内容決定手段206がテーブル1201に示されるターゲット行動を促す再生コンテンツを決定する。そして制御内容決定手段206は、テーブル1201に示された時刻に従って、対応するターゲット行動を促す再生コンテンツを決定し、決定した再生コンテンツを再生させる情報(制御コマンド)を出力部202に出力する。
これにより、再生するコンテンツによって、ユーザ(人)が意図する行動をするように動物を誘導することができる。
例えば、図12に示すテーブル1201を作成すれば、時刻が11:00、11:15、11:30のそれぞれに、ターゲット行動として起床が示され、ターゲット行動に対応するコンテンツとして、図10に示すC11(アクティブワンちゃん)が示されている。
この場合、制御内容決定手段206は、時刻が11:00、11:15、11:30になると、起床を促すコンテンツとして、図10に示すC11を出力部202に再生させる情報を出力部202へ出力する。
また、例えば11:45には動物に運動をさせるため、制御内容決定手段206は、11:45に運動を促すコンテンツであるC12(ワンワン体操)を出力部202に再生させる情報を出力部202へ出力する。
また、12:15分には睡眠を促すコンテンツであるC15(睡眠導入)を出力部202へ出力する。このように、飼い主であるユーザ(人)が外出中や旅行中等に、テーブル1201に示された内容に従って、機器101(a)の動作を制御することで、ペット(動物)の行動を誘導したり、コントロールしたりすることができる。
なお、15分ごとのターゲット行動を設定した例を説明したがこれに限られず、ユーザが任意の所定時間ごとに設定すればよい。また、ユーザが予め所定時間ごとの再生コンテンツを直接設定してもよい。また、これらのターゲット行動に関して、複数の推奨パターン(教育優先パターン、運動優先パターン、睡眠優先パターン、など)が機器101(a)の記録部204に保持されていてもよい。これによりユーザは外出時に機器101(a)からレコメンドされる複数の推奨パターンから一つを選択しておくだけで、不在時の動物の行動をある程度コントロールすることができる。
すなわち前記電子機器の制御内容決定部は、複数の制御内容のそれぞれを用いる順序を時系列に管理するスケジュール機能を有し、前記スケジュール機能は、前記動物に対して指示したいターゲット行動と、前記ターゲット行動を指示する時刻と、前記ターゲット行動に応じた制御内容を規定するテーブルを保持し、前記ターゲット行動を指示する時刻に当該ターゲット行動に沿った制御内容が示す映像または音声を前記電子機器に再生させる。
かかる構成によれば、スケジュールに規定された順序で所定の映像または音声を出力御できるため、例えば、飼い主が不在の際でも、運動を促す映像や食事を摂取するタイミングなどを示唆する映像や音声の再生によりリズムを形成することで、動物の運動不足やストレス堆積を軽減でき、動物に対して想定する生活パターンへの誘導ができる。
なお本実施の形態では機器101(a)がテレビであると仮定して説明したが、テレビ以外の機器である場合は当該機器に応じた出力を行えばよい。
例えば機器101(a)がエアコンである場合、出力部202は、例えば風向を調節する機能、風量を調節する機能、および温度を調節する機能を有する。
この場合、例えば、推定した状態に応じた風向の調節、風量の調節、および温度の調節に関する動作をエアコンに実行させるための情報をテーブル901の制御内容として記録しておけばよい。
そして、例えば、テーブル901を参照し、ステップS402にて推定した状態に応じて、ステップS403、にて風向、風量、および温度のうちの少なくとも1つに関する制御内容を決定して、ステップS404で決定した制御内容を実行させるための情報を出力部202へ出力すればよい。
出力部202は、受け取った情報に従ってエアコンが備える風向を調節する、風量を調節する、または温度を調節するといった動作を実行する。
これにより、人・動物の存在や状況・行動に応じた快適な空調空間が実現できる。
また、例えば、機器101(a)が照明機器である場合は、出力部202は、例えば、照明の光出力を調節する機能を有する。
この場合、例えば、推定した状態に応じた光出力となるように照明の光量の調節に関する情報を制御内容のテーブル901の制御内容として記録しておけばよい。
そして、例えば、テーブル901を参照し、ステップS402にて推定した状態に応じた制御内容を、ステップS403にて決定する。そして、ステップS404にて決定した制御内容を実行させるための情報を出力部202へ出力すればよい。
出力部202は、受け取った情報に従って照明の光出力を調節する動作を実行する。
これにより、人・動物の存在や状況・行動に応じた快適な照明空間が実現でき、快眠等にも効果的である。
また、機器101(a)がにおいを発生したり、除去したりする機能を有する機器(たとえば、空気清浄機またはアロマディフューザ等)である場合、出力部202は、例えば、においを除去する空気清浄を機器101(a)に行わせる機能、および、においの発生を機器101(a)に行わせる機能を有する。
この場合、例えば、推定した状態に応じて空気清浄もしくは、においの発生を行わせる情報を制御内容のテーブル901の制御内容として記録しておけばよい。
そして、例えば、テーブル901を参照し、ステップS402にて推定した状態に応じた制御内容を、ステップS403にて決定する。そして、ステップS404にて決定した制御内容を実行させるための情報を出力部202へ出力すればよい。
出力部202は、受け取った情報に従っての空気清浄もしくはにおいの発生といった動作を実行する。
これにより人・動物の存在や状況・行動に応じた快適なにおい空間が実現でき、リラクゼーション効果が期待できる。この際、動物だけが存在している状態もしくは人間だけが存在している状態に応じて、発生させるにおいを異ならせることが好ましい。
一般的に人が快適に感じるにおいと、犬などの動物が快適であると感じるにおいは異なるとされている。よって動物や人の存在に応じて発生させるにおいを異ならせることで、人・動物それぞれにとって快適なにおい空間を実現できる。
また本実施の形態では、生物状態推定手段205が推定したその時々の状態に対応する制御内容を制御内容決定手段206にて決定するように制御したが、これに限られない。例えば、制御内容決定手段206は、生物状態推定手段205が推定した状態が変化したタイミングに応じて最適な制御内容を決定し出力部202を制御するようにしてもよい。例えば、生物状態推定手段205が人もしくは動物が「起床」状態から「睡眠」の状態へ変化したことを推定したタイミングで、「起床」状態に対応する制御内容が示すコンテンツの再生の停止を行わせる情報を出力部202に出力することにより、機器101(a)におけるコンテンツの再生を停止させてもよい。
また、上述の推定したタイミングにおいて、変化した状態(この例では「睡眠」の状態)に対応する制御内容が示すコンテンツの再生を行わせる情報を出力部202に出力してもよい。これにより、再生するコンテンツを推定する状態の変化に応じて変更できる。
つまり電子機器は、所定の動作を行う出力部202を備え、制御内容決定手段206(制御内容決定部)は、
前記動物の状態が起床している状態と前記生物状態推定部が推定している間、または前記動物の状態が就寝している状態から前記起床している状態に変化すると生物状態推定手段205(生物状態推定部)が推定する時、
前記起床している状態に対応する制御内容が示す動作を前記出力部に行わせる。
また、前記制御内容決定部は、
前記動物の状態が就寝している状態と前記生物状態推定部が推定している間、
前記就寝している状態に対応する制御内容が示す動作を前記出力部に行わせる、
または、
前記動物の状態が起床している状態から前記就寝している状態に変化すると前記生物状態推定部が推定する時、
前記起床している状態に対応する制御内容が示す動作の停止を前記出力部に行わせる。
また、前記所定の動作は、映像を再生する動作、および音声を再生する動作であり、
前記動物の状態が起床している状態に対応する制御内容が示す動作とは、前記起床している状態に対応する映像、または音声の再生を、前記出力部に行わせる動作であり、
前記動物の状態が就寝している状態に対応する制御内容が示す動作とは、前記就寝している状態に対応する映像、または音声の再生を、前記出力部に行わせる動作である。
また、前記所定の動作は、照明の光出力を調節する動作であり、
前記動物の状態が起床している状態に対応する制御内容が示す動作とは、前記起床している状態に対応する照明の光出力の調節を、前記出力部に行わせる動作であり、
前記動物の状態が就寝している状態に対応する制御内容が示す動作とは、前記就寝している状態に対応する照明の光出力の調節を、前記出力部に行わせる動作である。
また、前記所定の動作は、においを除去する空気清浄の動作、および、においを発生する動作であり、
前記動物の状態が起床している状態に対応する制御内容が示す動作とは、
前記起床している状態に対応するにおいを除去する空気清浄を前記出力部に行わせる動作、もしくは
前記起床している状態に対応するにおいの発生を前記出力部に行わせる動作であり、
前記動物の状態が就寝している状態に対応する制御内容が示す動作とは、
前記就寝している状態に対応するにおいを除去する空気清浄を前記出力部に行わせる動作、もしくは
前記就寝している状態に対応するにおいの発生を前記出力部に行わせる動作である。
また、前記電子機器の制御内容決定部は、
前記生物状態推定部が、前記人は存在しないが動物のみが存在している状態と判断し、かつ、前記動物の状態が起床している状態と推定している間、前記推定した動物の状態に応じた制御内容が示す映像または音声の再生を前記出力部に行わせ、
前記動物は存在するが人は存在しない状態から、前記動物と人が存在する状態へと前記生物状態推定部の判断が変化した場合、もしくは、前記動物の状態が起床している状態から前記就寝している状態へと前記生物状態推定部の推定が変化した場合に、前記映像または音声の再生の停止を前記出力部に行わせる、或いは前記変化した動物の状態に応じた制御内容が示す映像または音声の再生を前記出力部に行わせる。
[実施の形態1の変形例]
図13は、実施の形態1の変形例における電子機器およびクラウドサーバの構成の一例を示す図である。具体的には、図13は本実施の形態における制御・処理部の一部の構成を図1に示すクラウドサーバ111、サーバ121、もしくはホームゲートウェイ102など、外部装置(サーバ装置)にて処理する変形例における各装置の構成の一例を示す図である。本変形例では機器101(b)がクラウドサーバ111(または、サーバ121、またはホームゲートウェイ102)と情報をやり取りしながら処理を行う。
以下図2、図3に示した構成図と異なる点を中心に説明する。また図2、図3に示した構成と同じ構成には同じ符号を付け説明を省略する。
図13の機器101(b)と図2の機器101(a)とが異なる点は、機器101(b)の制御・処理部1301が生物状態推定手段205を備えていない点と、機器101(b)が情報送受信部1302を備えている点である。
情報送受信部1302はネットワークを介して、クラウドサーバ111(または、サーバ121、またはホームゲートウェイ102)と情報を送受信するための構成であり、本変形例においては必須の構成となる。情報送受信部1302は一般的な通信モジュールなどを採用すればよくその仕様は特に限定しない。また情報を送受信するための通信方式等に関しても特に限定しない。
情報送受信部1302は、例えば、情報送受信部1302として機能させる通信モジュールに対応するプログラムを機器101(b)が備えるメモリ(図示せず)に記憶しておき、機器101(b)が備えるプロセッサ(図示せず)に実行させることにより実現してもよい。
または、通信モジュールとして機能する回路を用いて、情報送受信部1302を構成してもよい。
クラウドサーバ111は、制御・処理部1303、情報送受信部1304、記録部1305を備える。制御・処理部1303、情報送受信部1304は、例えばそれぞれに対応する機能を実現するプログラムを、例えば、クラウドサーバ111が備えるメモリ(図示せず)に記憶してき、クラウドサーバ111が備えるプロセッサ(図示せず)が、これらのプログラムを実行することにより、制御・処理部1303、情報送受信部1304が機能するように構成してもよい。
または、制御・処理部1303、および情報送受信部1304のそれぞれに対応する機能を実現する回路を用いて制御・処理部1303、および情報送受信部1304をそれぞれ構成してもよい。
制御・処理部1303は生物状態推定手段205を含む。生物状態推定手段205の動作は実施の形態1にて説明した動作と同様である。
情報送受信部1304はネットワークを介して、機器101(b)のような機器と情報を送受信する構成である。
記録部1305は、生物状態蓄積DB207とコンテンツ管理DB208を含む。生物状態蓄積DB207とコンテンツ管理DB208の基本的な機能や記録・管理するデータ等は、実施の形態1で説明したとおりである。
本変形例における各装置・各構成の動作や処理の流れは、実施の形態1にて図4〜図12を用いて説明した動作や処理の流れと同様である。すなわち本変形例では、機器101(b)の情報送受信部1302、クラウドサーバ111の情報送受信部1304によって情報を適宜送受信することで、基本的には図4に示すとおりの順に処理をしていく。
よって実施の形態1と同様の作用・効果は本変形例においても有する。
本変形例における各装置・各構成の動作や処理の流れを簡単に説明する。例えば、検出部201が所定の時間間隔で検出した空間の情報を情報送受信部1302がクラウドサーバ111へネットワークを介して送信する。空間の情報とは機器101(b)を配置する空間の情報であり、実施の形態1にて説明をしたような画像またはセンサーデータである。
ここでは、空間の情報として実施の形態1にて説明をした画像を例にして説明する。
クラウドサーバ111の情報送受信部1304は、受信した画像を制御・処理部1303へ出力する。
制御・処理部1303の生物状態推定手段205は、受信した複数の画像の変化から機器101(b)を配置する空間内に生物が存在するか否かを判断し、存在すると判断した生物の状態を推定する。
生物状態推定手段205による判断結果、推定した生物の状態は、情報送受信部1304により機器101(b)へ送信される。
機器101(b)の情報送受信部1302は、クラウドサーバ111から受信した判断結果、推定した生物の状態を制御・処理部1301に出力する。
制御・処理部1301の制御内容決定手段206は、推定結果を受け取った場合、生物状態推定手段205が推定した動物の状態に応じて機器101(b)の出力部202に動作させる制御内容を決定する。そして、決定した制御内容を出力部202に実行させる情報(制御コマンド)を出力部202へ出力する。
実施の形態1と変形例とで主に異なる点は、生物状態推定手段205をクラウドサーバ111が備えていること、基本的な情報の蓄積をクラウドサーバ111の記録部1305にて行う点である。これにより機器側で行う処理を削減できるので、機器側に高機能なプロセッサーを搭載する必要がない。
また、機器側で各テーブルやコンテンツを記録・管理しておく必要がないので、機器側の記録容量を削減できる。すなわち処理能力の低い機器であっても人・動物の状態等を推定した最適な機器制御が実行できる。
さらに、クラウドサーバ111にて機器101(b)からのログ情報を取得することが出来るので、更なる情報解析や大量の情報を利用した学習、情報の活用が期待できる。さらにはクラウドサーバ111にて異なるユーザが保持している別々の機器から取得したログ情報を併せて解析することで新たな価値あるサービスの提供が可能となる。
例えば、同じ種別の動物を飼っているユーザの生活パターンと、この動物の生活バターンを学習することができる。
すなわち、前記人の状態とは、前記動物の飼い主であるユーザの状態であり、前記電子機器は、更に、前記動物の状態の時間的な推移、および前記ユーザの状態の時間的な推移を蓄積する生物状態蓄積データベース部を有し、前記生物状態推定部は、前記生物状態蓄積データベースに蓄積された前記動物の状態の時間的な推移または前記ユーザの状態の時間的な推移から、前記動物の生活パターンまたは前記ユーザの生活パターンを学習し、前記学習した前記動物の生活パターンまたは前記ユーザの生活パターンから前記動物の状態の推移、または前記ユーザの状態の推移を予測する。
なお、本変形例における機器101(b)としては、上述と同様にテレビ、エアコン、照明、または空気清浄機など様々な機器を採用することが考えられる。
また本変形例においても、機器101(b)およびクラウドサーバ111は上記した各構成以外の構成を備えていてもよい。
(実施の形態2)
[各機器の構成]
図14は、実施の形態2の各電子機器およびクラウドサーバを含む電子機器システムの構成の一例を示す図である。具体的には、図14は、実施の形態2における機器101(c)、機器101(d)、機器101(e)、機器101(f)、機器101(g)、クラウドサーバ111(サーバ121、もしくはホームゲートウェイ102であってもよい)の構成の一例を示す図である。以下各機器の構成について実施の形態1および実施の形態1の変形例と同様の構成に関しては同様の符号を付して、説明する。また実施の形態1および実施の形態1の変形例と同様の構成に関しては一部説明を省略する。
機器101(c)は、検出部201(c)と、情報送受信部1302(c)とを備える。また、機器101(c)は、機器101(d)、機器101(e)、機器101(f)および機器101(g)を配置する空間(例えば、宅内の部屋)と同じ空間に配置されている。
これら構成の基本的な機能は図13にて説明した各々の構成(検出部201、情報送受信部1302)と同様である。ここでは機器101(c)としては、いかなる機器を用いてもよい。実施の形態1同様にテレビでもよいし、検出部および情報送受信部を備えた携帯端末、人もしくは動物が身につける端末(ウェアラブル端末)、またはエアコン等を用いてもよい。なお、機器101(c)として人もしくは動物が身につける端末(ウェアラブル端末)を用いる場合、検出部201(c)としては、活動量計、歩数計、血圧計、心拍計などの生体情報(バイタル情報、行動情報)を取得するセンサーであってもよい。また、検出部201(c)として、赤外線センサーにより背丈の低さを確認して小動物のエリア通過を計測する動物用移動センサーであってもよい。またうなりや鳴き声などの音声を直接的または間接的に取得する収音マイクなどであってもよい。また機器101(c)は図示していないその他の構成を備えていてもよい。
機器101(d)は、出力部202(d)と、情報送受信部1302(d)とを備える。本実施の形態においては、例えば機器101(d)としてエアコンを用いた例を説明する。
よって出力部202(d)の出力としては、エアコンの電源ON/OFF、動作モード、温度の制御、風向の制御、風量の制御などが含まれる。情報送受信部1302(d)は、例えば、出力部202(d)を動作させるための情報(制御コマンド)をクラウドサーバ111からネットワークを介して受信する。情報送受信部1302(d)は図13にて説明した情報送受信部1302と同様である。なお、機器101(d)は図示していないその他の構成を備えていてもよい。
機器101(e)は、出力部202(e)と、情報送受信部1302(e)とを備える。本実施の形態においては、例えば、機器101(e)として加湿除湿機、空気清浄機(アロマディフューザ等も含まれる)などを用いた例を説明する。
よって出力部202(e)の出力としては、電源ON/OFF、加湿の制御、除湿の制御、脱臭の制御、におい(アロマ)の発生などが含まれる。情報送受信部1302(e)は、例えば、出力部202(e)を動作させるための情報(制御コマンド)をクラウドサーバ111からネットワークを介して受信する。情報送受信部1302(e)は図13にて説明した情報送受信部1302と同様である。なお、機器101(e)は図示していないその他の構成を備えていてもよい。
機器101(f)は、出力部202(f)と、情報送受信部1302(f)とを備える。本実施の形態においては、例えば機器101(f)として照明機器を用いた例を説明する。よって出力部202(f)の出力としては、電源ON/OFF、調光の制御、などが含まれる。情報送受信部1302(f)は、例えば、出力部202(f)を動作させるための情報(制御コマンド)をクラウドサーバ111からネットワークを介して受信する。情報送受信部1302(f)は図13にて説明した情報送受信部1302と同様である。なお、機器101(f)は図示していないその他の構成を備えていてもよい。
機器101(g)は、入出力部202(g)と、情報送受信部1302(g)とを備える。本実施の形態においては、例えば機器101(g)としてスマートフォンを用いた例を説明する。
よって入出力部202(g)には、タッチパネルなどのディスプレイや、音声を入力するマイク、音声を出力するスピーカ、などが含まれる。また、入出力部202(g)の出力としてはディスプレイへの表示、スピーカからの音声出力などが含まれる。情報送受信部1302(g)は、例えば、入出力部202(g)を動作させるための情報(制御コマンド)をクラウドサーバ111からネットワークを介して受信する。情報送受信部1302(g)は図13にて説明した情報送受信部1302と同様である。なお、機器101(g)は図示していないその他の構成を備えていてもよい。
クラウドサーバ111は制御・処理部1401、情報送受信部1304、記録部1404を備える。
制御・処理部1401は実施の形態1で説明した機器101(a)が備える制御・処理部203と基本的には同様であり、生物状態推定手段1402、制御内容決定手段1403を含む。生物状態推定手段1402、制御内容決定手段1403の具体的な生物状態推定方法、制御内容の決定方法に関しては後述する。
情報送受信部1304は図13で説明した構成と同様であるので説明を省略する。
記録部1404は、生物状態蓄積DB207、コンテンツ管理DB208、嗜好傾向DB1405を含む。生物状態蓄積DB207、コンテンツ管理DB208に関しては実施の形態1で説明したものと同様なので説明を省略する。嗜好傾向DB1405が管理する情報に関しては後述する。
[各機器の動作・処理の流れ]
図15は、本実施の形態における各機器の動作・処理の流れの一例を示すシーケンス図である。以下図4に示した実施の形態1のフローチャートと異なる点を中心に説明していく。
まずステップS1501にて、機器101(c)の検出部201(c)が所定の空間内(部屋)の状態を検出する。このステップS1501は図4に示すステップS401と基本的には同じである。ただし、上述したように検出部201(c)が人または動物が身につける端末が備える生体センサーである場合、取得する情報も空間内の二次元画像ではなく、生体情報となる。
そしてステップS1502にて、機器101(c)の情報送受信部1302(c)は、ステップS1501にて取得した情報をクラウドサーバ111に送信する。またクラウドサーバ111の情報送受信部1304は機器101(c)から情報を受信する。
ここで、ステップS1501にて検出部201が検出する頻度や、ステップS1502にて情報送受信部1302(c)が情報を送信するタイミングについては特に限定しない。所定の時間間隔で情報を検出、送信すればよい。
ステップS1503にて、クラウドサーバ111の制御・処理部1401の生物状態推定手段1402は、受信した情報を基に空間内の状態、もしくは人・動物の状態を推定する。ここで、検出部201が撮像装置で二次元画像を検出している場合、実施の形態1と同様の方法で(図5等)、空間内の生物の存在有無や、数、生物の状態・向き・行動などを推定する。
また、検出部201が人または動物が身につける端末の生体センサー等である場合、取得した生体情報から上述の端末を身につける人もしくは動物の状態や感情を推定する。
この場合、クラウドサーバ111内で誰が/どの動物が身につけている機器101(c)なのかに関する情報、機器101(c)を利用する場所(宅内の部屋など)の情報が管理されていれば、機器101(c)を利用する場所において、機器101(c)を身につけた人または動物の状態を把握しておくことが出来る。
よって、その場合、実施の形態1で説明したように人・動物の存在可否の推定は不要となる。また状態や感情の推定方法は既知の方法を用いればよく詳細な説明は省略する。またこの時推定した状態を記録部1404の生物状態蓄積DBに記録・蓄積していってもよい。また、検出部201が収音マイクである場合、うなりや鳴き声などの音声からストレスや緊張の度合いを推定するようにしてもよい。
次にステップS1504にて、クラウドサーバ111の制御・処理部1401の制御内容決定手段1403は、ステップS1503にて推定した状態を基に制御内容を決定する。図16は、制御内容決定手段1403が制御内容を決定するために用いるテーブル1601の一例を示す図である。
例えば、制御内容決定手段1403は、ステップS1503にて人が「存在しない」と、動物が「存在しない」と推定された場合、テーブル1601を参照し、エアコン(機器101(d))、空気清浄機・加湿・除湿機(機器101(e))、照明(機器101(f))、の出力を電源OFF(もしくは待機モード、消灯)に決定する。
また、例えば、制御内容決定手段1403は人および動物が存在し、人および動物いずれもが「睡眠」と推定された場合は、テーブル1601を参照し、エアコン(機器101(d))、空気清浄機・加湿・除湿機(機器101(e))の出力を睡眠モードに決定し、照明の出力を暗めに決定する。
また、例えば、制御内容決定手段1403は、ステップS1503にて人が「起床」と、動物が「起床」と推定された場合、テーブル1601を参照し、エアコン(機器101(d))、空気清浄機・加湿・除湿機(機器101(e))の出力を共通動作モードに決定する。また照明(機器101(f))の出力を点灯(人間用)に決定する。
また、例えば、制御内容決定手段1403は、ステップS1503にて人が「起床」と、動物が「存在しない」もしくは「睡眠」と推定された場合、テーブル1601を参照し、エアコン(機器101(d))、空気清浄機・加湿・除湿機(機器101(e))の出力を人間快適モードに決定する。また照明(機器101(f))の出力を点灯(人間用)に決定する。
また、例えば、制御内容決定手段1403は、ステップS1503にて人が「存在しない」もしくは「睡眠」と、動物が「起床」と推定された場合、テーブル1601を参照し、エアコン(機器101(d))、空気清浄機・加湿・除湿機(機器101(e))の出力を動物快適モードに決定する。また照明(機器101(f))の出力を点灯(動物用)に決定する。
図16に示した各機器の運転モード(共通動作モード、人間快適モード、動物快適モード)は図17のテーブル1701に示すとおりである。図17は、実施の形態2における各機器の運転モードを決定するテーブルの一例を示す図である。
このテーブル1601およびテーブル1701は記録部1404内に保持されていてもよいし、機器101(c)内に保持されていてもよい。また、テーブル1601は機器101(c)のユーザが何らかのUI(例えば機器101(g)の入出力部202(g))を用いて作成したテーブルであってもよいし、図1に示すデータセンタ運営会社110(サービスプロバイダ120、機器メーカ)などの事業者が機器もしくはサービス提供の際に、初期設定として提供しているテーブルであってもよい。
また、制御内容決定手段1403が決定する制御内容はテーブル1601、テーブル1701に示した内容に限られない。テーブル1601およびテーブル1701は何らかのUI(例えば機器101(g)の入出力部202(g))を用いて、ユーザ(人)が編集可能であってもよい。また、各テーブルにその他の機器の制御内容を追加できるようにしてもよい。例えば、人が「存在せず」動物が「睡眠」である場合に、エアコン(機器101(d))の運転状況や設定変更を促すUIを、スマートフォン(機器101(g))に通知する制御内容を決定してもよい。
図15に戻って、次にステップS1505にて、クラウドサーバ111の情報送受信部1304は、ステップS1504にて決定した制御内容に示す動作を対応する機器に実行させるための情報(制御コマンド)を送信する。ここでステップS1505にて情報送受信部1304が制御内容を送信するタイミングは、S1504にて制御内容が決定した都度、遅滞なく送信することが望ましいがこれに限られない。例えば所定の時間間隔ごとに定期的に対応する制御コマンドを各機器に送信してもよい。
そしてステップS1506にて機器101(d)〜(f)は、クラウドサーバ111から送信された制御コマンドに従って出力動作を行う。
以上本実施の形態では、機器101(c)にて検出した空間の情報もしくは人・動物の生体情報などから、クラウドサーバ111にて人もしくは動物の状態を推定し、クラウドサーバ111にて機器101(c)以外の機器(この例では、機器101(d)〜(f)など)を制御する制御内容を決定する。そして、決定した制御内容が示す機器(例えば、機器101(d)〜(f)など)を動作させるための情報を対応する機器へ送信する。情報を受信した機器(機器101(d)〜(f))は、受信した情報に基づいて動作する。このように構成をすることにより、クラウドサーバ111は、対応する機器を制御する。かかる構成によれば、実施の形態1と同様、ユーザに煩わしい操作を要することなく人・動物双方にとって最適な空間を提供することが出来る。また、本実施の形態ではクラウドサーバ111にて状態推定や制御内容の決定に関する処理や、情報の蓄積、テーブルの管理を行っている。よって機器側に処理能力の高いプロセッサーやメモリ等を搭載する必要がない。
また本実施の形態では複数の機器およびクラウドサーバ間で連携し制御内容を決定している。よって、一つの機器に搭載されている検出部の情報のみから、複数の機器を最適に制御することが可能となり、各機器が各々検出部を搭載する必要がない。
また、動物の特性に応じた情報を記録部1404に蓄積しておくようにしてもよい。
動物の特性とは、例えば、空気の汚れに敏感であるかどうかを示す情報、環境の変化を好まないかどうかを示す情報、ストレスを感じやすいかどうかを示す情報、乾燥または/および湿度に敏感かどうかを示す情報、などを含む。
または、推定する対象の動物がユーザの飼っているペットなどのように予め分かっている場合、ペットの特性を理解しているユーザが事前にクラウドサーバ111の記録部1404に登録するのでもよい。
または、動物の特性は、例えば、推定する対象の動物が一般的に有する特性であってもよい。この場合、クラウドサーバ111の記録部1404に動物の種別に関する情報が蓄積されていれば、動物の特性に関する情報を蓄積する必要は必ずしもない。
例えば、以下のようにクラウドサーバ111とネットワークを介して接続する機器101(e)に対応する空気清浄機を制御することができる。
例えば、生物状態推定手段1402が空気清浄機を設置した空間に動物が存在すると推定をした場合、この動物の特性として、空気の汚れに敏感なことを示す情報が記録部1404に蓄積されていれば、高い頻度で空気清浄を行う制御内容を実行するための制御コマンドを空気清浄機へネットワークを介して送信する。
また、例えば、生物状態推定手段1402が、空気清浄機を配置した部屋(空間)に対象となる動物が存在しないと推定した場合、この動物の特性として、環境の変化を好まないことを示す情報が記録部1404に蓄積されていれば、空気清浄を行う制御内容を実行するための制御コマンドを空気清浄機へネットワークを介して送信する。
また、例えば、生物状態推定手段1402が、空気清浄機を配置した部屋に動物が存在すると推定した場合、この動物の特性として、ストレスを感じ易いことを示す情報が記録部1404に蓄積されていれば、この動物のストレスを緩和するアロマの香りを発生させる制御内容を実行するための制御コマンドを空気清浄機へネットワークを介して送信する。
また、例えば、生物状態推定手段1402が、空気清浄機を配置した部屋に動物が存在すると推定した場合、この動物の特性として、乾燥または/および過剰な湿度に敏感な動であることを示す情報が記録部1404に蓄積されている場合、空気清浄機を配置した部屋を加湿または/および除湿を行う制御内容を実行するための制御コマンドを空気清浄機へネットワークを介して送信する。
このとき、加湿または/および除湿を行うときに、空気清浄機を配置した部屋の温度、湿度をどのように調節するのかに対する目標値を空気清浄機に事前に設定しておくのが望ましい。目標値に関する情報はユーザが事前に空気清浄機またはクラウドサーバ111に設定をしておけばよい。
また、空気清浄機を配置した部屋に存在するかしないかの推定を行う対象の動物が複数種類である場合、動物の種別毎に目標値を設定するのでもよい。
これにより、動物の特性に応じて空気清浄機の制御を行うことができる。
すなわち電子機器システムは、所定の空間に設置された第1の電子機器および第2の電子機器とネットワークを介して情報を送受信する情報送受信部と、前記情報送受信部が受信した前記第1の電子機器が備える検出部が検出した前記所定の空間の情報から、少なくとも人以外の動物の存在の有無を判断し、前記存在すると判断した動物の状態を推定する生物状態推定部と、前記判断の結果または前記推定した動物の状態に応じて、前記第2の電子機器の制御内容を決定する制御内容決定部とを備え、前記情報送受信部は、前記ネットワークを介して前記決定した制御内容が示す動作を行わせるための情報を前記第2の電子機器へ送信する。
また、前記第2の電子機器は空気清浄機であって、前記制御内容は、更に、前記動物の特性と対応付けられており、前記動物の特性が、空気の汚れに敏感な動物である場合、前記生物状態推定部が、前記動物は存在すると判断したとき、前記制御内容決定部は前記空気清浄機に空気清浄を高い頻度で行わせる動作を示す制御内容を選択し、前記動物の特性が、環境の変化を好まない動物である場合、前記生物状態推定部が、前記動物は存在しないと判断したとき、前記制御内容決定部は前記空気清浄機に空気清浄を行わせる動作を示す制御内容を選択し、前記動物の特性が、ストレスを感じ易い動物である場合、前記生物状態推定部が、前記動物は存在すると判断したとき、前記制御内容決定部は前記空気清浄機にストレスを緩和するアロマの香りを発生させる動作を示す制御内容を選択し、前記動物の特性が、乾燥もしくは湿度に敏感な動物である場合、前記生物状態推定部が、前記動物は存在すると判断したとき、前記制御内容決定部は前記空気清浄機に前記動物と対応付けた温度もしくは湿度または、予め設定した温度もしくは湿度となるよう加湿または除湿を行わせる動作を示す制御内容を選択する。
また、例えば、決定した制御内容に従って機器101(f)に対応する照明機器の光出力を調節するというのは、以下のような制御も考えられる。
例えば、照明機器を設置する空間に動物が存在し、この動物が睡眠状態であると生物状態推定手段1402が推定した場合、照明機器の照度を下げる制御内容を実行するための制御コマンドを照明機器へネットワークを介して送信する。
また、照明機器を設置する空間に動物が存在し、動物が睡眠状態であると生物状態推定手段1402が推定した場合、動物の睡眠状態から起床状態に向かうべき時間帯に照明機器の照度を段階的に上げる。この場合、動物の睡眠状態から起床状態に向かうべき時間帯に関する情報を記録部1404に蓄積するとともに、クラウドサーバ111は図示しないタイマーを含む。タイマーがこの時間帯になったことを検出すると、照明機器の照度を段階的に上げる制御内容を実行するための制御コマンドを照明機器へネットワークを介して送信する。
また、照明機器を設置する空間に動物が存在すると、生物状態推定手段1402が推定した場合、この動物を目的の空間へ移動させるために、この動物の存在する空間の照明の照度を下げる制御内容を実行するための制御コマンドを照明機器へネットワークを介して送信する。
これと連動して、目的の空間に設置した別の照明機器の照明の照度を上げる制御内容を実行するための制御コマンドを別の照明機器へネットワークを介して送信する。これにより、この動物を目的の空間へ誘導することが可能となる。
この場合、目的の空間に設置した別の照明機器は、例えば、ネットワークを介してクラウドサーバ111と接続されていること、別の照明機器は情報を送受信するための情報送受信部を含んでいればよい。
また、照明機器を設置する空間に動物が存在すると、生物状態推定手段1402が推定した場合、この動物のストレスを緩和させるために照明機器の配色、照度、および光源の周波数帯のうちの少なくとも1つを変更する。この場合、予め動物のストレスを緩和させる照明の配色、照度、または/および光源の周波数帯の情報をクラウドサーバ111に事前に保持(設定)しておけばよい。
これらの情報は、ユーザが事前にクラウドサーバ111に登録してもよい。
また、照明機器を設置する空間に存在するかどうかを推定すべき動物の種類が複数である場合、動物の種別に応じてストレスを緩和させる照明の配色、照度、または/および光源の周波数帯の情報をクラウドサーバ111に登録してもよい。
そして、照明機器を設置する空間に動物が存在すると、生物状態推定手段205が推定した場合、記録部204からこれらの情報を参照し、照明機器の配色、照度、および光源の周波数帯のうちの少なくとも1つを変更する制御内容を実行するための制御コマンドを照明機器へネットワークを介して送信する。
すなわち、前記第2の電子機器は前記所定の空間に設置された第1の照明機器であって、前記動物の状態が就寝している状態に応じた制御内容が示す動作は、前記第1の照明機器の照明の照度を下げる動作を前記第1の照明機器に行わせることを示す、または前記動物を起床させたい時間帯に照明の照度を段階的に上げる動作を前記第1の照明機器に行わせることを示す。
また、前記第2の電子機器は前記所定の空間に設置された第1の照明機器であって、前記ネットワークには、更に、前記動物を移動させたい目的の空間に設置された第2の照明機器が接続されており、前記動物が起床している状態に応じた制御内容が示す動作は、前記動物を目的の空間へ移動させるために前記所定の空間に設置された第1の照明機器の照明の照度を下げる動作を前記第1の照明機器に行わせることを示すとともに、前記目的の空間に設置した第2の照明機器の照明の照度を上げる動作を前記第2の照明機器に行わせることを示す。
また、前記第2の電子機器は前記所定の空間に設置された第1の照明機器であって、前記動物の状態が起床している状態または就寝している状態に応じた制御内容が示す動作は、前記第1の照明機器による照明光の色を前記動物のストレスを緩和させる色に変更する動作、前記第1の照明機器による照明光の照度を前記動物のストレスを緩和させる照度に変更する動作、および前記第1の照明機器による照明光の光源の周波数を前記動物のストレスを緩和させる照度に変更する動作、のうちの少なくとも1つの動作を前記第1の照明機器に行わせることを示す。
また、機器制御方法は、宅内の一または複数の電子機器とネットワークを介して接続され、前記一または複数の電子機器を制御するサーバ装置の機器制御方法であって、所定の空間に配置された第1の電子機器から、前記第1の電子機器が検出した前記所定の空間の情報を受信する受信ステップと、前記所定の空間の情報を受信したとき、前記空間における少なくとも人以外の動物の存在の有無を判断し、前記存在すると判断した動物の状態を推定する推定ステップと、前記判断の結果、または推定した前記動物の状態に応じて、前記空間に配置された第2の電子機器の制御内容を決定する決定ステップと、を有する。
また、前記空間の情報とは、前記第1の電子機器が取得した前記所定の空間の画像またはセンサーデータであり、前記受信ステップでは、前記第1の電子機器から、前記第1の電子機器が検出した時刻が異なる画像またはセンサーデータを複数受信し、前記推定ステップでは、受信した前記画像または前記センサーデータを解析することで前記動物の状態を推定する。
また、前記機器制御方法は、更に、前記受信ステップで受信した前記空間の情報を時刻と関連付けて蓄積する蓄積ステップを有し、前記推定ステップは、前記第1の電子機器が取得した前記空間の情報から前記空間内の動物の存在の有無を判断し、前記空間内に動物が存在すると判断した場合、前記時刻の異なる複数の前記空間の情報を用いて前記動物の状態を推定する。
なお、記録部1404に嗜好傾向DB1405を構築し、ユーザ(人および動物)の状態に応じた制御内容に関する嗜好を学習していってもよい。すなわち、制御・処理部1401は、ユーザの機器への制御コマンドに関するログ情報を分析することでテーブル1601、テーブル1701など制御内容決定のためのテーブルを適宜最適なものに更新していく。
この場合、検出部201(c)として、機器の利用状況をセンシングするものを用いてもよい。例えば、図14の各機器の使用状況をセンシングし、嗜好傾向DB1405に蓄積していく。
例えば、図17に示す共通状態に対応する制御内容を決定した場合、例えば機器の1つであるエアコンの温度を25度に設定して動作をさせる制御コマンドがクラウドサーバ111からエアコンへ送信される。この後、エアコンの温度を25度から別の温度へ設定する制御コマンドがユーザの利用するリモコン(図示せず)から送られた場合、この情報をエアコンの使用状況として嗜好傾向DB1405に蓄積していく。
例えば、嗜好傾向DB1405に蓄積したデータを解析した結果、共通状態に対応する制御内容を決定した後、エアコンに設定される温度が25度から別の温度に変更される場合が、所定の回数よりも多くなれば、変更される温度を共通状態に対応するエアコンの設定温度として制御内容を変更する。
このようにすれば、ユーザの嗜好に応じて機器の制御内容を変更することができる。
また、例えば、図14に図示していない機器、例えば餌や水を提供する自動餌やり機器の利用回数をセンシングし、嗜好傾向DB1405に蓄積してもよい。利用回数とは単位期間(例えば、1日、1ヶ月など)あたりの利用回数である。
または、動物が食事をしている状態において、自動餌やり機器で与える餌または水の分量をセンシングし、嗜好傾向DB1405に蓄積してもよい。
または、自動餌やり機器により餌または水を与えるタイミング(例えば時刻など)をセンシングし、嗜好傾向DB1405に蓄積してもよい。
この場合、食事が終了した後、残っている餌または水の量をセンシングし、嗜好傾向DB1405に蓄積してもよい。
残っている餌または水の量から動物が摂取した餌または水の量を推定することができるからである。
例えば、嗜好傾向DB1405を解析することにより、自動餌やり機器で餌または水を与えるタイミングとして、与えた餌または水を残さず摂取するようなタイミングに決めることができる。
また、例えば、嗜好傾向DB1405を解析することにより、自動餌やり機器で1回当たりに与える餌または水の量として、与えた餌または水を残さず摂取するような量に決めることができる。
よって、嗜好傾向DBを解析することにより、自動餌やり機器により餌または水を与えるタイミング(例えば時刻など)、またはこれらの量を動物の嗜好に基づいて決めることができる。
例えば、ユーザが自動餌やり機器を最初に利用するタイミングにおいて、単位期間あたりに自動餌やり機器を利用する回数、餌または水を与える量、および餌または水を与えるタイミングに関する情報を制御内容として登録しておき、この内容に従って制御コマンドを自動餌やり機器に送信する。
そして、自動餌やり機器を動作させる回数が多くなるに従って、嗜好傾向DB1405に情報が蓄積されていく。
そして、嗜好傾向DB1405に蓄積された情報を解析することにより、自動餌やり機器により餌または水を与えるタイミング、またはこれらの量を変更していけばよい。
このようにすることで、自動餌やり機器により餌または水を与えるタイミング、またはこれらの量を動物の嗜好に応じて変更することができる。
クラウドサーバ111では、膨大な情報(ビッグデータ)を管理・解析が可能となる。よってこのように嗜好傾向DB1405にて機器のログ情報または/およびセンシング情報を蓄積しユーザもしくは動物の嗜好を学習していくことが可能であるため、実施の形態1(図2)に比べてより快適なサービスを提供できる。またクラウドサーバ111にて他のユーザが保持している機器から取得した情報を合わせて解析することで新たな価値あるサービスの提供が可能となる。
例えば、制御・処理部1401は、同種の動物を飼っているユーザ間で機器運転状況の分析を行い、最も頻度が高く使用されている機器またはモードをレコメンドするなどが考えられる。かかる構成によれば、動物の過去の状態と現在の状態から推定する当該動物の嗜好、また、当該動物と同種の動物の嗜好傾向に基づき電子機器を自動的に制御できるため、例えば、過去にペットに対して再生した映像に対する反応(ずっと画面を見続けていた、途中で飽きて去ってしまった、など)から映像に対する好みを把握し、反応がよかった番組を中心に再生順序を構成する、または、苦手とする映像や音声をトレーニング目的で少しずつ慣れさせるために短い映像でこまめに繰り返し再生させる、苦手な音を小さな音から順に大きな音へと繰り返し再生していくように再生順序を構成するというように、個々のペットに快適な映像または音声再生を実現でき、ペットに対する教育プログラムを自然体で自動的に実現することができる。
すなわち、前記電子機器の制御内容決定部は、動物の種別に応じた制御内容の一般的な嗜好傾向を含む嗜好傾向データベースを有し、前記制御内容決定部は、前記嗜好傾向データベースに基づき前記制御内容の候補を選定し、さらに、前記嗜好傾向DBに登録した前回以前の制御内容に対する前記動物の反応に関する記録から学習して当該制御内容の決定を調整すること、を特徴とする。
なお、ステップS1504にて、まず制御対象の機器を特定してから制御内容を決定してもよい。人や動物の存在有無や行動などの状況によって、システムが自動で制御した方がよい機器と、そうではない機器がある場合もある。例えば、人が「起床」で、動物が「起床」である場合、図16に示すテーブル1601に従ってエアコンの制御内容は自動的に共通モードに決定される。しかしながら、照明およびテレビなどは自動的に制御しないようにした方が好都合と感じるユーザもいるかもしれない。
すなわちステップS1504では制御内容決定手段1403は、推定された状況に応じてまず、制御対象の機器を選定し、その後、テーブル1601、1701を用いて選定した機器に対する制御内容を決定してもよい。
また、状態に応じた制御対象機器の選択基準は、ユーザが事前に設定した基準に従うようにしてもよい。例えば、制御対象となる複数の機器のそれぞれについて、優先度に関する情報を記録部1404に記録させておく。そして、この優先度の情報に従って制御対象の機器の選定を行えばよい。
または、記録部1404の嗜好傾向DBに過去のログデータを蓄積し、蓄積したログデータを解析することでユーザの嗜好にあうように制御対象の機器を学習していってもよい。
なお、ここでは電子機器を制御するサーバをネットワーク介して接続するクラウドサーバ111として説明したが、電子機器を制御する機器制御サーバの構成はこれに限らず、宅内の電子機器と同一のネットワークに接続されたローカルな環境にあるローカルサーバがゲートウエイとしての役割を担ってもよく、また、電子機器そのものに電子機器を制御する機器制御サーバ機能を実装してもよい。
具体的には、機器制御サーバ機能を実装する機器としては、テレビ、番組録画に用いるレコーダー機、ケーブルテレビなどに用いるセットトップボックス、または太陽光パネルなど宅内の電子機器を統合して操作することが可能な宅内機器コントロール端末などが考えられる。
また、機器制御サーバ機能を実装する機器として、他には、例えばホテルの部屋などに配置されるモニタ、ネットワークで接続される照明機器、ユーザが一時的または常に持ち運ぶスマートフォンまたはタブレット端末が考えられる。
また、機器制御サーバ機能を実装する機器として、他には、例えば腕時計またはメガネ型やペンダント型でユーザが着用するウェアラブル端末などが考えられる。
このように、機器制御サーバ機能を実装する機器の構成は多種多様にある。
なお、ここでは制御対象となる電子機器をテレビ、空気清浄機、および照明を用いて説明したが、制御対象とする電子機器とその判定基準および制御内容はこれに限られない。
例えば、テレビの形状とは異なるが、映像を壁面に投影するプロジェクタ、動物専用に用意された画面付端末、床に埋め込まれたディスプレイサイネージを制御対象の電子機器としてもよい。
または、例えば、自動走行や自動飛行を行う移動型のディスプレイなどを制御対象の電子機器としてもよい。
または、例えば、空気やアロマの香りを制御可能な加湿器または除湿機を制御対象の電子機器としてもよい。
または、例えば、窓や玄関の採光を司るカーテンやブラインドの電子制御装置を制御対象の電子機器としてもよい。
また、その判定基準は説明簡易化のために睡眠状態や行動状態に映像を出力するか否かという観点で説明した。しかしながら、制御の判定基準はこれに限らず、動物の行動履歴の状態、例えば、今日はあまり動いていない、泣き声から推測される欲求、動物の振動状態から推測するストレス反応などの大きさを判定基準としてもよい。
また、制御内容はひとつの電子機器の画面に対する映像出力、香りの制御、または照明の調光オンオフによる動物におけるストレス緩和・発散に限らない。
例えば、動物が思わず追いかけたくなるような映像を壁や天井、床面に出力し、大きく映像を変化させることで動物の運動を促し、運動不測解消へと誘導するようにしてもよい。
また、制御内容のひとつとして、一定基準の運動履歴を状態として確認できれば、自動えさやり機からえさが放出されるなど、成果報酬型で動物の健康を維持するように制御してもよい。
なお、ここでは生物状態推定手段205は、検出部201(例えば、センサーまたはカメラ)から得られた現在のデータを解析して、現在の動物の状態を推定することを例に説明したが、制御内容を決定する判定基準に用いる入力データは現在の状態推定に限らない。
生物状態推定手段205は、例えば、過去の状態から現在の状態に至る状態変化と過去のデータとを比較し、過去のデータと類似の状況において過去に不良状態から良状態に状態を遷移させた実績のある当該動物種別または当該動物固有の嗜好に基づくコンテンツを現在の状態に応じて選別して採用するようにしてもよい。
ここで、良状態とは、生物状態推定手段205が推定した動物の状態のうち、ユーザが望ましいと考える状態である。また、不良状態とは、生物状態推定手段205が推定した動物の状態のうち、ユーザが望ましくないと考える状態である。
また、コンテンツの選別には、時間帯や天候・季節、当該動物の個体数などに応じて制御するようにしてもよい。例えば、犬の留守中に突然の夕立・落雷が予測される時には、外の様子の変化を映像として採用する、雷などの突然の音に備えて予め小さな音から大きな音へ変化するようなスコール映像を採用する、当該動物が子供の犬であれば安心を促す映像、成人になった犬であれば勇敢に狩りに出かけることをイメージさせる映像を採用するなど、採用する映像に変化を与えるものである。
なお、過去のデータは、ユーザが飼育する愛犬の実績データでもよいし、同種・類似の犬(犬種、年齢、性別)の実績値やその平均値を利用してもよい。更に、一定時間内に想定した状態に遷移しない場合または、不良状態へ遷移してしまった場合に、過去のデータに応じて出力コンテンツの優先度付けを行い、優先度の高いものから順次制御を実行するようにしてもよい。
図18は、実施の形態2の変形例における各電子機器およびクラウドサーバの構成の一例を示す図である。図18のように、エアコン(機器101(d))などに検出部201(d)が搭載されていてもよい。
図18で示す例では、エアコン(機器101(d))などが有する検出部201(d)によって取得し、エアコンなどが取得した情報をクラウドサーバ111へ送信する。そして、クラウドサーバ111は、エアコンなどから受信した情報から、エアコンおよびテレビを配置した空間(部屋)に人もしくは動物が存在するかどうかを判定し、存在する場合には、存在する人もしくは動物の状態を推定する。
そして、クラウドサーバ111にて推定した人もしくは動物の状態に基づいてテレビ(機器101(c))などを制御してもよい。すなわち、ユーザが保有する機器のうちいずれか一つに検出部が搭載されていればよい。図18は、機器101(c)の検出部201(c)が出力部202(c)に代わった点および、機器101(d)の出力部202(d)が検出部201(d)に代わった点以外は図14と同様であるので説明を省略する。
また、図19は、実施の形態2における電子機器の情報表示の一例を示す図である。具体的には、図19は、図14に示した機器101(a)がテレビである場合に、クラウドサーバ111が推定した人もしくは動物の状態などに応じて、情報を表示する変形例を示す図である。
例えば、カメラ等の検出部201(c)にて検出した情報を基にクラウドサーバ111にて状態を推定した結果、人が存在する(動物が存在しないもしくは存在する)と推定された場合、図19のような情報を表示する。
図19では、動物の食事・運動のタイミングを通知する表示が生活パターン情報表示領域に表示され、ペットフードの広告などの情報が動物関連情報・広告表示領域に表示されている。生活パターン情報表示領域や動物関連情報・広告表示領域は図示するように放送表示領域の一部に、一時的・もしくはユーザが消去の指示をするまで表示される。
また生活パターン情報表示領域の表示タイミングまたは内容は、予め機器101(c)、機器101(d)またはクラウドサーバ111に設定されている推奨タイミングまたは内容であってもよい。
または、ユーザが表示タイミングまたは内容を機器101(c)、機器101(d)またはクラウドサーバ111に設定することが出来てもよい。
すなわち、人が存在する(動物が存在しないもしくは存在する)と推定された場合であって、予め設定した所定の時間になった際に、予め設定していた所定の内容の情報(例えば動物の食事・運動を促す情報)を表示する。
また動物関連情報・広告表示領域に表示される広告等は、生活パターン情報表示領域に表示される情報とリアルタイムに関連している広告であることが望ましい。すなわち、動物の食事を促す情報を表示している間にはペットフードの広告を表示するなどが考えられる。また散歩を促す情報を表示している間には、ペットの散歩用品などに関する広告を表示することが考えられる。また動物関連情報・広告表示領域には広告以外にも、状況に応じて最適な動画の再生をレコメンドするような情報を表示してもよい。この情報が表示されている際に、ユーザがリモコンや音声入力等の簡単な操作でレコメンドされていた動画を再生できるようにしてもよい。
すなわち、例えば機器101(d)の出力部202(d)が再生する所定の映像または音声は、動物の生活パターン形成のためにプログラムされたコンテンツであり、餌を与えるタイミング、分量、与え方、目標体重とその推移、動物に対する生活アドバイス情報を含む映像または音声、またはそれら映像や音声の再生を喚起する画面上に表示されるアイコンまたは広告枠であること、を特徴とする。
かかる構成によれば、飼い主がテレビを見ている際にペットフードをあげ忘れることなどを防止できる。また状況を推定して情報および広告を表示しているので、不要なタイミングで不要な情報が表示されることがない。また動物に対する理想の生活パターン構成に基づき電子機器に自動的にアイコンや広告枠や音声などにより情報を表示する制御できるため、例えば、飼い主とペットが同時にテレビを見ている時に、ペットの食事の時刻になったことを飼い主に知らせるアイコンを画面に表示することで、飼い主に生活パターンのリズムを提示することができ、さらに、ペットに対して最適なペットフードやペットの運動を促進するような遊具を広告として認知することができる。
上記態様において説明された技術は、例えば、以下のクラウドサービスの類型において実現されうる。しかし、上記態様において説明された技術が実現される類型はこれに限られるものでない。
(サービスの類型1:自社データセンタ型)
図20は、サービスの類型1(自社データセンタ型)を示す図である。本類型は、サービスプロバイダ120がグループ100から情報を取得し、ユーザに対してサービスを提供する類型である。本類型では、サービスプロバイダ120が、データセンタ運営会社の機能を有している。即ち、サービスプロバイダ120が、ビッグデータの管理をするクラウドサーバ111を保有している。従って、データセンタ運営会社は存在しない。
本類型では、サービスプロバイダ120は、データセンタ(クラウドサーバ111)を運営、管理している(203)。また、サービスプロバイダ120は、OS(202)及びアプリケーション(201)を管理する。サービスプロバイダ120は、サービスプロバイダ120が管理するOS(202)及びアプリケーション(201)を用いてサービス提供を行う(204)。
(サービスの類型2:IaaS利用型)
図21は、サービスの類型2(IaaS利用型)を示す図である。ここでIaaSとはインフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築および稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社がデータセンタ(クラウドサーバ111)を運営、管理している(203)。また、サービスプロバイダ120は、OS(202)及びアプリケーション(201)を管理する。サービスプロバイダ120は、サービスプロバイダ120が管理するOS(202)及びアプリケーション(201)を用いてサービス提供を行う(204)。
(サービスの類型3:PaaS利用型)
図22は、サービスの類型3(PaaS利用型)を示す図である。ここでPaaSとはプラットフォーム・アズ・ア・サービスの略であり、ソフトウェアを構築および稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社110は、OS(202)を管理し、データセンタ(クラウドサーバ111)を運営、管理している(203)。また、サービスプロバイダ120は、アプリケーション(201)を管理する。サービスプロバイダ120は、データセンタ運営会社が管理するOS(202)及びサービスプロバイダ120が管理するアプリケーション(201)を用いてサービス提供を行う(204)。
(サービスの類型4:SaaS利用型)
図23は、サービスの類型4(SaaS利用型)を示す図である。ここでSaaSとはソフトウェア・アズ・ア・サービスの略である。例えばデータセンタ(クラウドサーバ)を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ(クラウドサーバ)を保有していない会社・個人(利用者)がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。
本類型では、データセンタ運営会社110は、アプリケーション(201)を管理し、OS(202)を管理し、データセンタ(クラウドサーバ111)を運営、管理している(203)。また、サービスプロバイダ120は、データセンタ運営会社110が管理するOS(202)及びアプリケーション(201)を用いてサービス提供を行う(204)。
以上いずれの類型においても、サービスプロバイダ120がサービス提供行為を行ったものとする。また例えば、サービスプロバイダ若しくはデータセンタ運営会社は、OS、アプリケーション若しくはビックデータのデータベース等を自ら開発してもよいし、また、第三者に外注させてもよい。
本開示にかかる電子機器の機器制御方法は、家庭内および家庭外のあらゆる電子機器に搭載可能である。また自動車等の車両や飛行機などの移動体に本開示における電子機器および機器制御方法を搭載することもできる。
101 機器
102 ホームゲートウェイ
111 クラウドサーバ
201 検出部
202 出力部
203 制御・処理部
204 記録部
205 生物状態推定手段
206 制御内容決定手段
1301 制御・処理部
1302 情報送受信部
1303 処理部
1304 情報送受信部
1305 記録部
1401 制御・処理部
1402 生物状態推定手段
1403 制御内容決定手段
1404 記録部

Claims (26)

  1. 電子機器であって、
    検出部によって検出された前記電子機器が配置された空間の情報から、前記空間における少なくとも人以外の動物の存在の有無を判断し、前記存在すると判断した動物の状態を推定する生物状態推定部と、
    前記判断の結果または前記推定した動物の状態に応じて、前記電子機器の制御内容を決定する制御内容決定部と、
    を備えた電子機器。
  2. 前記電子機器は、所定の動作を行う出力部を備え、
    前記制御内容決定部は、
    前記動物の状態が起床している状態と前記生物状態推定部が推定している間、または前記動物の状態が就寝している状態から前記起床している状態に変化すると前記生物状態推定部が推定する時、
    前記所定の動作として、前記起床している状態に対応する制御内容が示す動作を前記出力部に行わせる、
    請求項1に記載の電子機器。
  3. 前記制御内容決定部は、
    前記動物の状態が就寝している状態と前記生物状態推定部が推定している間、
    前記所定の動作として、前記就寝している状態に対応する制御内容が示す動作を前記出力部に行わせる、
    または、
    前記動物の状態が起床している状態から前記就寝している状態に変化すると前記生物状態推定部が推定する時、
    前記起床している状態に対応する制御内容が示す動作の停止を前記出力部に行わせる、
    請求項2に記載の電子機器。
  4. 前記所定の動作は、映像を再生する動作、および音声を再生する動作を含み、
    前記動物の状態が起床している状態に対応する制御内容が示す動作とは、前記起床している状態に対応する映像、または音声の再生を、前記出力部に行わせる動作であり、
    前記動物の状態が就寝している状態に対応する制御内容が示す動作とは、前記就寝している状態に対応する映像、または音声の再生を、前記出力部に行わせる動作である、
    請求項3に記載の電子機器。
  5. 前記所定の動作は、照明の光出力を調節する動作を含み、
    前記動物の状態が起床している状態に対応する制御内容が示す動作とは、前記起床している状態に対応する照明の光出力の調節を、前記出力部に行わせる動作であり、
    前記動物の状態が就寝している状態に対応する制御内容が示す動作とは、前記就寝している状態に対応する照明の光出力の調節を、前記出力部に行わせる動作である、
    請求項3に記載の電子機器。
  6. 前記所定の動作は、においを除去する空気清浄の動作、および、においを発生する動作を含み、
    前記動物の状態が起床している状態に対応する制御内容が示す動作とは、
    前記起床している状態に対応するにおいを除去する空気清浄を前記出力部に行わせる動作、もしくは
    前記起床している状態に対応するにおいの発生を前記出力部に行わせる動作であり、
    前記動物の状態が就寝している状態に対応する制御内容が示す動作とは、
    前記就寝している状態に対応するにおいを除去する空気清浄を前記出力部に行わせる動作、もしくは
    前記就寝している状態に対応するにおいの発生を前記出力部に行わせる動作である
    請求項3に記載の電子機器。
  7. 前記検出部によって検出された空間内の情報とは、前記電子機器に備えられた撮像装置、もしくは前記電子機器と接続する外部の撮像装置が撮像した前記空間の画像であり、
    前記生物状態推定部は、前記撮像装置が撮像した画像を解析することで、前記空間における人以外の動物の存在を判断し、
    前記生物状態推定部は、更に、撮像時刻が異なる複数枚の画像の変化を解析することで、前記動物の状態が起床している状態か否かを推定する、
    請求項2に記載の電子機器。
  8. 前記検出部によって検出された空間内の情報とは、前記電子機器に備えられたセンサー装置、もしくは前記電子機器と接続する外部のセンサー装置が検出した前記空間内のセンサーデータであり、
    前記生物状態推定部は、前記センサー装置が検出したセンサーデータを解析することで、前記空間における人以外の動物の存在を判断し、
    前記生物状態推定部は、更に、取得した時刻が異なる複数のセンサーデータの変化を解析することで、前記動物の状態が起床している状態か否かを推定する、
    請求項2に記載の電子機器。
  9. 前記生物状態推定部は、更に前記電子機器が配置された空間の情報から、前記空間における人の存在の有無および人以外の動物の存在の有無を判断し、前記存在すると判断された人または動物の状態を推定し、
    前記制御内容決定部は、前記判断の結果、または前記推定された人または動物の状態に応じて前記電子機器の制御内容を変更する、
    請求項1に記載の電子機器。
  10. 前記制御内容決定部は、(1)人と動物が存在している状態、(2)人は存在しないが動物のみが存在している状態、(3)動物は存在しないが人のみが存在している状態、(4)人も動物も存在しない状態のいずれかであると前記生物状態推定部が判断した場合のそれぞれに応じて前記電子機器の制御内容を変更する、
    請求項9に記載の電子機器。
  11. 前記電子機器は、更に、映像または音声を再生する出力部を有し、
    前記制御内容決定部は、
    前記生物状態推定部が、前記人は存在しないが動物のみが存在している状態と判断し、かつ、前記動物の状態が起床している状態と推定している間、前記推定した動物の状態に応じた制御内容が示す映像または音声の再生を前記出力部に行なわせる、
    請求項10に記載の電子機器。
  12. 前記電子機器の制御内容決定部は、
    前記生物状態推定部が、前記人は存在しないが動物のみが存在している状態と判断し、かつ、前記動物の状態が起床している状態と推定している間、前記推定した動物の状態に応じた制御内容が示す映像または音声の再生を前記出力部に行わせ、
    前記動物は存在するが人は存在しない状態から、前記動物と人が存在する状態へと前記生物状態推定部の判断が変化した場合、もしくは、前記動物の状態が起床している状態から前記就寝している状態へと前記生物状態推定部の推定が変化した場合に、前記映像または音声の再生の停止を前記出力部に行わせる、或いは前記変化した動物の状態に応じた制御内容が示す映像または音声の再生を前記出力部に行わせる、
    請求項11に記載の電子機器。
  13. 前記電子機器の出力部が再生する映像は、
    前記動物が視認可能な映像のリフレッシュレートで再生され、
    前記電子機器の出力部が再生する音声は、
    前記動物が可聴な音域に調整して再生される、
    請求項11に記載の電子機器。
  14. 前記電子機器の制御内容決定部は、
    複数の制御内容のそれぞれを用いる順序を時系列に管理するスケジュール機能を有し、
    前記スケジュール機能は、前記動物に対して指示したいターゲット行動と、前記ターゲット行動を指示する時刻と、前記ターゲット行動に応じた制御内容を規定するテーブルを保持し、
    前記ターゲット行動を指示する時刻に当該ターゲット行動に沿った制御内容が示す映像または音声を前記電子機器に再生させる、
    請求項1に記載の電子機器。
  15. 前記人の状態とは、前記動物の飼い主であるユーザの状態であり、
    前記電子機器は、更に、
    前記動物の状態の時間的な推移、および前記ユーザの状態の時間的な推移を蓄積する生物状態蓄積データベース部を有し、
    前記生物状態推定部は、前記生物状態蓄積データベースに蓄積された前記動物の状態の時間的な推移または前記ユーザの状態の時間的な推移から、前記動物の生活パターンまたは前記ユーザの生活パターンを学習し、
    前記学習した前記動物の生活パターンまたは前記ユーザの生活パターンから前記動物の状態の推移、または前記ユーザの状態の推移を予測する
    請求項1に記載の電子機器。
  16. 前記電子機器の制御内容決定部は、動物の種別に応じた制御内容の一般的な嗜好傾向を含む嗜好傾向データベースを有し、
    前記制御内容決定部は、前記嗜好傾向データベースに基づき前記制御内容の候補を選定し、さらに、前記嗜好傾向データベースに登録した前回以前の制御内容に対する当該動物の反応に関する記録から学習して前記制御内容の決定を調整すること、を特徴とする、
    請求項1に記載の電子機器。
  17. 前記電子機器の出力部が再生する所定の映像または音声は、
    前記動物の生活パターン形成のためにプログラムされたコンテンツであり、餌を与えるタイミング、分量、与え方、目標体重とその推移、当該動物に対する生活アドバイス情報を含む映像または音声、またはそれら映像や音声の再生を喚起する画面上に表示されるアイコンまたは広告枠であること、を特徴とする、
    請求項11に記載の電子機器。
  18. 前記生物状態推定部および前記制御内容決定部のうちの少なくとも1つはプロセッサーを含む、
    請求項1に記載の電子機器。
  19. 電子機器システムであって、
    所定の空間に設置された第1の電子機器および第2の電子機器とネットワークを介して情報を送受信する情報送受信部と、
    前記情報送受信部が受信した前記第1の電子機器が備える検出部が検出した前記所定の空間の情報から、少なくとも人以外の動物の存在の有無を判断し、前記存在すると判断した動物の状態を推定する生物状態推定部と、
    前記判断の結果または前記推定した動物の状態に応じて、前記第2の電子機器の制御内容を決定する制御内容決定部とを備え、
    前記情報送受信部は、前記ネットワークを介して前記決定した制御内容が示す動作を行わせるための情報を前記第2の電子機器へ送信する
    電子機器システム。
  20. 前記第2の電子機器は空気清浄機であって、
    前記制御内容は、更に、前記動物の特性と対応付けられており、
    前記動物の特性が、空気の汚れに敏感な動物である場合、
    前記生物状態推定部が、前記動物は存在すると判断したとき、前記制御内容決定部は前記空気清浄機に空気清浄を高い頻度で行わせる動作を示す制御内容を選択し、
    前記動物の特性が、環境の変化を好まない動物である場合、
    前記生物状態推定部が、前記動物は存在しないと判断したとき、前記制御内容決定部は前記空気清浄機に空気清浄を行わせる動作を示す制御内容を選択し、
    前記動物の特性が、ストレスを感じ易い動物である場合、
    前記生物状態推定部が、前記動物は存在すると判断したとき、前記制御内容決定部は前記空気清浄機にストレスを緩和するアロマの香りを発生させる動作を示す制御内容を選択し、
    前記動物の特性が、乾燥もしくは湿度に敏感な動物である場合、
    前記生物状態推定部が、前記動物は存在すると判断したとき、前記制御内容決定部は前記空気清浄機に前記動物と対応付けた温度もしくは湿度または、予め設定した温度もしくは湿度となるよう加湿または除湿を行わせる動作を示す制御内容を選択する
    請求項19に記載の電子機器システム。
  21. 前記第2の電子機器は前記所定の空間に設置された第1の照明機器であって、
    前記動物の状態が就寝している状態に応じた制御内容が示す動作は、
    前記第1の照明機器の照明の照度を下げる動作を前記第1の照明機器に行わせることを示す、または
    前記動物を起床させたい時間帯に照明の照度を段階的に上げる動作を前記第1の照明機器に行わせることを示す、
    請求項19に記載の電子機器システム。
  22. 前記第2の電子機器は前記所定の空間に設置された第1の照明機器であって、
    前記ネットワークには、更に、前記動物を移動させたい目的の空間に設置された第2の照明機器が接続されており、
    前記動物が起床している状態に応じた制御内容が示す動作は、
    前記動物を目的の空間へ移動させるために前記所定の空間に設置された第1の照明機器の照明の照度を下げる動作を前記第1の照明機器に行わせることを示すとともに、
    前記目的の空間に設置した第2の照明機器の照明の照度を上げる動作を前記第1の照明機器に行わせることを示す、
    請求項19に記載の電子機器システム。
  23. 前記第2の電子機器は前記所定の空間に設置された第1の照明機器であって、
    前記動物の状態が起床している状態または就寝している状態に応じた制御内容が示す動作は、
    前記第1の照明機器による照明光の色を前記動物のストレスを緩和させる色に変更する動作、
    前記第1の照明機器による照明光の照度を前記動物のストレスを緩和させる照度に変更する動作、および
    前記第1の照明機器による照明光の光源の周波数を前記動物のストレスを緩和させる照度に変更する動作、
    のうちの少なくとも1つの動作を前記第1の照明機器に行わせることを示す、
    請求項19に記載の電子機器システム。
  24. 宅内の一または複数の電子機器とネットワークを介して接続され、前記一または複数の電子機器を制御するサーバ装置の機器制御方法であって、
    所定の空間に配置された第1の電子機器から、前記第1の電子機器が検出した前記所定の空間の情報を受信する受信ステップと、
    前記所定の空間の情報を受信したとき、前記空間における少なくとも人以外の動物の存在の有無を判断し、前記存在すると判断した動物の状態を推定する推定ステップと、
    前記判断の結果、または推定した前記動物の状態に応じて、前記空間に配置された第2の電子機器の制御内容を決定する決定ステップと、
    を有する機器制御方法。
  25. 前記空間の情報とは、前記第1の電子機器が取得した前記所定の空間の画像またはセンサーデータであり、
    前記受信ステップでは、前記第1の電子機器から、前記第1の電子機器が検出した時刻が異なる画像またはセンサーデータを複数受信し、
    前記推定ステップでは、受信した前記画像または前記センサーデータを解析することで前記動物の状態を推定する、
    請求項24に記載の機器制御方法。
  26. 前記機器制御方法は、更に、前記受信ステップで受信した前記空間の情報を時刻と関連付けて蓄積する蓄積ステップを有し、
    前記推定ステップは、前記第1の電子機器が取得した前記空間の情報から前記空間内の動物の存在の有無を判断し、
    前記空間内に動物が存在すると判断した場合、前記時刻の異なる複数の前記空間の情報を用いて前記動物の状態を推定する
    請求項24に記載の機器制御方法。
JP2015161978A 2014-08-22 2015-08-19 電子機器、電子機器システム、及び機器制御方法 Active JP6676309B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015161978A JP6676309B2 (ja) 2014-08-22 2015-08-19 電子機器、電子機器システム、及び機器制御方法
JP2020041797A JP6923695B2 (ja) 2014-08-22 2020-03-11 電子機器、電子機器システム、及び機器制御方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014169727 2014-08-22
JP2014169727 2014-08-22
JP2015161978A JP6676309B2 (ja) 2014-08-22 2015-08-19 電子機器、電子機器システム、及び機器制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020041797A Division JP6923695B2 (ja) 2014-08-22 2020-03-11 電子機器、電子機器システム、及び機器制御方法

Publications (2)

Publication Number Publication Date
JP2016042870A true JP2016042870A (ja) 2016-04-04
JP6676309B2 JP6676309B2 (ja) 2020-04-08

Family

ID=55349410

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015161978A Active JP6676309B2 (ja) 2014-08-22 2015-08-19 電子機器、電子機器システム、及び機器制御方法
JP2020041797A Active JP6923695B2 (ja) 2014-08-22 2020-03-11 電子機器、電子機器システム、及び機器制御方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020041797A Active JP6923695B2 (ja) 2014-08-22 2020-03-11 電子機器、電子機器システム、及び機器制御方法

Country Status (2)

Country Link
US (1) US9807983B2 (ja)
JP (2) JP6676309B2 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106403174A (zh) * 2016-09-12 2017-02-15 格力电器(芜湖)有限公司 一种空调控制方法、空调及装置
JP2018077819A (ja) * 2016-11-12 2018-05-17 富士通株式会社 人格に基づくサービス配信
KR101907090B1 (ko) * 2017-09-29 2018-10-11 단국대학교 산학협력단 조명이 구비된 스피커
JP2019032126A (ja) * 2017-08-09 2019-02-28 三菱電機株式会社 空気清浄機
CN109539495A (zh) * 2018-11-30 2019-03-29 广东美的制冷设备有限公司 控制方法、空气调节设备及存储介质
JP2019138542A (ja) * 2018-02-09 2019-08-22 三菱電機株式会社 空調制御装置、空調制御システム、空調制御方法、及び、プログラム
WO2019188408A1 (ja) * 2018-03-30 2019-10-03 ダイキン工業株式会社 空間環境管理システム
CN110332675A (zh) * 2019-07-30 2019-10-15 珠海格力电器股份有限公司 控制空调器的方法及装置
WO2020017273A1 (ja) * 2018-07-20 2020-01-23 メック株式会社 非ヒト動物用の音楽提供システム
WO2020066495A1 (ja) * 2018-09-25 2020-04-02 シャープ株式会社 空気清浄機
JP2020200962A (ja) * 2019-06-06 2020-12-17 シャープ株式会社 トイレシステム、トイレ装置、サーバ、及び空気調和機
JP2021067406A (ja) * 2019-10-24 2021-04-30 株式会社日立製作所 微粒子処理システム、微粒子処理制御装置及び微粒子処理制御プログラム
JP6873526B1 (ja) * 2019-07-23 2021-05-19 株式会社Rabo 動物の行動情報を取得するサービスを提供するサーバ
JPWO2020066494A1 (ja) * 2018-09-25 2021-08-30 シャープ株式会社 空気清浄機および空気清浄機の制御方法
WO2021172836A1 (ko) * 2020-02-26 2021-09-02 삼성전자 주식회사 외부 전자 장치를 제어하는 방법 및 그 전자 장치
JP2022032949A (ja) * 2020-08-12 2022-02-25 三菱電機株式会社 空調システム
WO2022157949A1 (ja) * 2021-01-22 2022-07-28 株式会社Rabo 情報処理装置
JP2022537078A (ja) * 2019-08-06 2022-08-23 シグニファイ ホールディング ビー ヴィ コンディショニングデバイス、照明デバイス及び方法
WO2022206291A1 (zh) * 2021-03-29 2022-10-06 青岛海尔空调器有限总公司 空调的控制方法、装置、设备和存储介质
JP7286077B1 (ja) 2022-04-22 2023-06-05 株式会社シスコ 競走馬脳トレーニング方法
JP2023080059A (ja) * 2021-11-29 2023-06-08 まちなかMeセンター株式会社 動物のバイタルサイン管理システム、及び、これを備えた動物のバイタルサイン管理方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2522020B (en) * 2014-01-08 2018-01-10 Greengage Lighting Ltd A method of livestock rearing and a livestock shed
CN106162532B (zh) * 2016-08-23 2021-10-01 桂林电子科技大学 具有认知功能的车载通信方法和系统
KR102481445B1 (ko) * 2018-03-13 2022-12-27 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20200025283A (ko) * 2018-08-30 2020-03-10 (주) 너울정보 반려동물의 감정 상태 감지 방법
WO2020076225A1 (en) * 2018-10-10 2020-04-16 Delaval Holding Ab Animal identification using vision techniques
KR102650488B1 (ko) * 2019-11-29 2024-03-25 삼성전자주식회사 전자장치와 그의 제어방법
CN113623831A (zh) * 2020-05-09 2021-11-09 青岛海尔空调器有限总公司 空调器及其控制方法
WO2022050092A1 (ja) * 2020-09-01 2022-03-10 パナソニックIpマネジメント株式会社 ペット状況推定システム、ペットカメラ、サーバ、ペット状況推定方法、及びプログラム
CN112086058A (zh) * 2020-09-29 2020-12-15 京东方科技集团股份有限公司 显示控制装置及方法、显示设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008131862A (ja) * 2006-11-27 2008-06-12 Hideaki Kusaba ペット診断システム
JP2013065110A (ja) * 2011-09-15 2013-04-11 Omron Corp 検出装置、該検出装置を備えた表示制御装置および撮影制御装置、物体検出方法、制御プログラム、ならびに、記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4481663B2 (ja) 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
US7800506B2 (en) * 2005-03-17 2010-09-21 Eyal Zehavi Canine security system
JP2006318173A (ja) 2005-05-12 2006-11-24 Nippon Telegr & Teleph Corp <Ntt> セキュリティロボット
JP2006338476A (ja) 2005-06-03 2006-12-14 Casio Comput Co Ltd 快適さ向上支援装置及びプログラム
US8838260B2 (en) * 2009-10-07 2014-09-16 Sony Corporation Animal-machine audio interaction system
EP3643170A1 (en) * 2011-05-27 2020-04-29 Société des Produits Nestlé S.A. Systems, methods and computer program products for monitoring the behavior, health, and/or characteristics of an animal
WO2013052863A1 (en) * 2011-10-05 2013-04-11 Radio Systems Corporation Image-based animal control systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008131862A (ja) * 2006-11-27 2008-06-12 Hideaki Kusaba ペット診断システム
JP2013065110A (ja) * 2011-09-15 2013-04-11 Omron Corp 検出装置、該検出装置を備えた表示制御装置および撮影制御装置、物体検出方法、制御プログラム、ならびに、記録媒体

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106403174A (zh) * 2016-09-12 2017-02-15 格力电器(芜湖)有限公司 一种空调控制方法、空调及装置
JP2018077819A (ja) * 2016-11-12 2018-05-17 富士通株式会社 人格に基づくサービス配信
JP2019032126A (ja) * 2017-08-09 2019-02-28 三菱電機株式会社 空気清浄機
KR101907090B1 (ko) * 2017-09-29 2018-10-11 단국대학교 산학협력단 조명이 구비된 스피커
JP7101492B2 (ja) 2018-02-09 2022-07-15 三菱電機株式会社 空調制御装置、空調制御システム、空調制御方法、及び、プログラム
JP2019138542A (ja) * 2018-02-09 2019-08-22 三菱電機株式会社 空調制御装置、空調制御システム、空調制御方法、及び、プログラム
WO2019188408A1 (ja) * 2018-03-30 2019-10-03 ダイキン工業株式会社 空間環境管理システム
JPWO2019188408A1 (ja) * 2018-03-30 2021-04-01 ダイキン工業株式会社 空間環境管理システム
JP7029097B2 (ja) 2018-03-30 2022-03-03 ダイキン工業株式会社 空間環境管理システム
CN111918677A (zh) * 2018-03-30 2020-11-10 大金工业株式会社 空间环境管理系统
WO2020017273A1 (ja) * 2018-07-20 2020-01-23 メック株式会社 非ヒト動物用の音楽提供システム
JP2020010666A (ja) * 2018-07-20 2020-01-23 メック株式会社 非ヒト動物用の音楽提供システム
US11937573B2 (en) 2018-07-20 2024-03-26 Mec Company Ltd. Music providing system for non-human animal
JPWO2020066495A1 (ja) * 2018-09-25 2021-09-09 シャープ株式会社 空気清浄機
US11965673B2 (en) 2018-09-25 2024-04-23 Sharp Kabushiki Kaisha Air purifier and control method for air purifier utilizing a control unit to switch a mode from a learning mode to an implementation mode
JPWO2020066494A1 (ja) * 2018-09-25 2021-08-30 シャープ株式会社 空気清浄機および空気清浄機の制御方法
TWI810351B (zh) * 2018-09-25 2023-08-01 日商夏普股份有限公司 空氣清淨機
WO2020066495A1 (ja) * 2018-09-25 2020-04-02 シャープ株式会社 空気清浄機
CN109539495A (zh) * 2018-11-30 2019-03-29 广东美的制冷设备有限公司 控制方法、空气调节设备及存储介质
JP2020200962A (ja) * 2019-06-06 2020-12-17 シャープ株式会社 トイレシステム、トイレ装置、サーバ、及び空気調和機
JP6873526B1 (ja) * 2019-07-23 2021-05-19 株式会社Rabo 動物の行動情報を取得するサービスを提供するサーバ
CN110332675A (zh) * 2019-07-30 2019-10-15 珠海格力电器股份有限公司 控制空调器的方法及装置
JP2022537078A (ja) * 2019-08-06 2022-08-23 シグニファイ ホールディング ビー ヴィ コンディショニングデバイス、照明デバイス及び方法
JP7223913B2 (ja) 2019-08-06 2023-02-16 シグニファイ ホールディング ビー ヴィ コンディショニングデバイス、照明デバイス及び方法
JP2021067406A (ja) * 2019-10-24 2021-04-30 株式会社日立製作所 微粒子処理システム、微粒子処理制御装置及び微粒子処理制御プログラム
JP7348026B2 (ja) 2019-10-24 2023-09-20 株式会社日立製作所 微粒子処理システム、微粒子処理制御装置及び微粒子処理制御プログラム
WO2021172836A1 (ko) * 2020-02-26 2021-09-02 삼성전자 주식회사 외부 전자 장치를 제어하는 방법 및 그 전자 장치
US11914790B2 (en) 2020-02-26 2024-02-27 Samsung Electronics Co., Ltd. Method for controlling external electronic device, and electronic device therefor
JP2022032949A (ja) * 2020-08-12 2022-02-25 三菱電機株式会社 空調システム
JP7458933B2 (ja) 2020-08-12 2024-04-01 三菱電機株式会社 空調システム
WO2022157949A1 (ja) * 2021-01-22 2022-07-28 株式会社Rabo 情報処理装置
WO2022206291A1 (zh) * 2021-03-29 2022-10-06 青岛海尔空调器有限总公司 空调的控制方法、装置、设备和存储介质
JP2023080059A (ja) * 2021-11-29 2023-06-08 まちなかMeセンター株式会社 動物のバイタルサイン管理システム、及び、これを備えた動物のバイタルサイン管理方法
JP7464305B2 (ja) 2021-11-29 2024-04-09 まちなかMeセンター株式会社 動物のバイタルサイン管理システム、及び、これを備えた動物のバイタルサイン管理方法
JP2023160340A (ja) * 2022-04-22 2023-11-02 株式会社シスコ 競走馬脳トレーニング方法
JP7286077B1 (ja) 2022-04-22 2023-06-05 株式会社シスコ 競走馬脳トレーニング方法

Also Published As

Publication number Publication date
US9807983B2 (en) 2017-11-07
JP2020092714A (ja) 2020-06-18
JP6676309B2 (ja) 2020-04-08
JP6923695B2 (ja) 2021-08-25
US20160057395A1 (en) 2016-02-25

Similar Documents

Publication Publication Date Title
JP6923695B2 (ja) 電子機器、電子機器システム、及び機器制御方法
US10657382B2 (en) Methods and systems for person detection in a video feed
US20220122435A1 (en) Systems and Methods for Categorizing Motion Events
US10789821B2 (en) Methods and systems for camera-side cropping of a video feed
US10453098B2 (en) Privacy-aware personalized content for the smart home
US10192415B2 (en) Methods and systems for providing intelligent alerts for events
CN112166350B (zh) 智能设备中的超声感测的系统和方法
US20190156126A1 (en) Method and System for Generating a Smart Time-Lapse Video Clip
US9449229B1 (en) Systems and methods for categorizing motion event candidates
US11082701B2 (en) Methods and devices for dynamic adaptation of encoding bitrate for video streaming
KR101256054B1 (ko) 양방향 통신을 이용한 애완 동물 보호 시스템 및 방법
US20160123619A1 (en) Enhanced automated control scheduling
US11736760B2 (en) Video integration with home assistant
CN107085511B (zh) 控制方法、控制装置以及设备
WO2011071460A1 (en) System and method for adjusting presentation characteristics of audio/video content in response to detection of user sleeping patterns
US20220295008A1 (en) Event Based Recording
CN112005281A (zh) 智能设备上的功率管理的系统和方法
WO2018155354A1 (ja) 電子機器の制御方法、電子機器の制御システム、電子機器、及び、プログラム
CN113641114A (zh) 智能起床场景的环境控制方法及系统
JP2017223812A (ja) 機器制御システム、機器制御方法及び制御プログラム
US9889270B2 (en) Method of controlling relaxation equipment, control system for relaxation equipment, and method of creating user model
KR20220094839A (ko) 스마트 홈 제어 방법 및 시스템
KR20210123081A (ko) 홈 어플라이언스 시스템의 동작 방법
JP2020065097A (ja) 電子機器の制御方法、電子機器の制御システム、電子機器、及び、プログラム
WO2023042423A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200312

R150 Certificate of patent or registration of utility model

Ref document number: 6676309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150