JP2005529548A - 局所環境の環境性を局所環境内の場所及び人の好みに適応させるシステム及び方法 - Google Patents

局所環境の環境性を局所環境内の場所及び人の好みに適応させるシステム及び方法 Download PDF

Info

Publication number
JP2005529548A
JP2005529548A JP2004512347A JP2004512347A JP2005529548A JP 2005529548 A JP2005529548 A JP 2005529548A JP 2004512347 A JP2004512347 A JP 2004512347A JP 2004512347 A JP2004512347 A JP 2004512347A JP 2005529548 A JP2005529548 A JP 2005529548A
Authority
JP
Japan
Prior art keywords
control unit
person
area
image
service providing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004512347A
Other languages
English (en)
Inventor
ミ−セン リー
ストゥルッベ ヒューゴー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2005529548A publication Critical patent/JP2005529548A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • H04L12/2829—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality involving user profiles according to which the execution of a home appliance functionality is automatically triggered
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/175—Controlling the light source by remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/2849—Audio/video appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/285—Generic home appliances, e.g. refrigerators
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Environmental Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Emergency Management (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Selective Calling Equipment (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Collating Specific Patterns (AREA)
  • Small-Scale Networks (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

家のような局所環境内のシステム及び装置を自動的に制御するシステム及び方法である。本システムは、局所環境の1以上の領域と関連する画像を受信する]制御ユニットを備える。前記1以上の領域は各々１以上のサービス提供要素によりサービスされる。前記制御ユニットは、前記画像を処理し、前記局所環境と関連する一群の既知の人達の中から、前記領域内にいる１以上の既知の人を識別する。前記制御ユニットは、１以上の既知の人が識別された前記領域に対して、該領域と関連する少なくとも１つのサービス提供要素に対する制御信号を自動的に発生する。該制御信号はそれぞれの領域内にいる既知の人の少なくとも１人の好みを反映する。

Description

本発明は、家又は類似の内部環境内における照明、温度、雑音レベル等のような環境性（アンビエンス）を調整する技術に関するものである。
ホームオートメーションシステム及び技術が既知である。多くの既知のホームオートメーションシステム及び技術は、一般に、リアルタイム物理入力に感応するものとして分類されている。公知の例として、人が例えば室内に入るとターンオンするＩＲセンサ(又はモーションセンサなど)付きのライト（照明器具）がある。このようなライトは、しばしば、周囲に昼光があるときは当該ライトのターンオンを阻止する付属の昼光センサを具備することができる。
他の既知のホームオートメーションシステム及び技術は、一般に、所定の基準を満たすとき所定の機能を実行するようにプレプログラムされているものとして分類されている。多くのリアクティブシステムがタイマにより制御されている。例えば、暖房装置を、例えば朝のような一日の所定の時刻に自動的に始動させることができる。同様に、コーヒーメーカーを所定の時刻に自動的にターンオンして、家人が朝キッチンに入るときには既に熱いコーヒーが用意されているようにすることができる。
もっと複雑なホームオートメーションシステムの例がリヒトンの欧州特許出願ＥＰ１１０２５００Ａ２に記載されている。人が携帯する無線モバイルユニット（例えばワイヤレスフォン）を用いて家までの距離を決定する。人と自宅との間の距離に基づいて所定の操作を実行させるメッセージ又は命令を発生させ、自宅内のコントローラに送る。例えば、ユーザが自宅から所定の距離以内になったら、暖房装置をターンオンするよう命令することができる。このように、リヒトンの発明はリアクティブシステム(即ち、接近に反応する特徴)とプレプログラムシステム（即ち所定の予め記憶された基準を満たす特徴）の両方に類似する特徴を有している。
もっと精巧なプレプログラム型のホームオートメーションシステムの他の例が、シャロッド他のＰＣＴＷＯ０１／５２４７８Ａ２に記載されている。シャロッドのシステムでは、既存の家庭機器及びシステムを制御サーバに接続する。ユーザはユーザインターフェースを介して選択した機器又はシステムを制御することができる。ユーザインターフェースはサーバと相互作用し、選択した機器又はシステムに対する実際の制御入力のためのグラフィック表示を提示し得る。従って、ユーザは、例えばインターネット接続を介してサーバにアクセスし、機器やシステムを遠隔制御することができる。更に、制御サーバは、所定の機器又はシステムが所定の環境の下で始動し、運転されるようにプログラムすることができる。例えば、「バケーションモード」のときは、ライトをセキュリティ目的のために所定の時刻にターンオンさせ、暖房装置を低い温度で運転させる。
既知のホームオートメーション技術及びシステムと関連する多くの欠点がある。例えば、既知のリアクティブ型システムは単に入力が受信されたとき固定の応答を提供するだけである。例えば、モーションセンサは人が望まないときでも照明をスイッチオンする。所定のリアクションをプログラムし得るリヒトンのようなリアクティブシステムでもこのような欠点を受ける。例えば、妻の希望を反映する所定の距離で自宅内の所定の機能を開始させる携帯電話は、妻の電話を携帯する夫には合わない状態を生起し得る。
同様に、既知のプレプログラム型ホームオートメーションシステムも多くの欠点を有する。例えば、機器やシステムを自動的にターンオンするタイマは、タイマがターンオフされない限りそのように動作するため、望ましくない或いは危険な状態を生起し得る。例えば、ユーザが早朝のビジネス会議のある日にコーヒーメーカーのタイマをターンオフすることを忘れた場合、コーヒーメーカーが朝の遅い時刻にターンオンすると警告音が発生しうるが一日中オンのままになる。同様に、例えばリヒトンのシステムにおいて「バケーションモード」が選択されている場合に、このシステムに不慣れな息子や娘が他の家族が留守の週末にカレッジから不意に帰宅すると、彼らは照明や暖房を彼らの好みに合わせて動作させることができないかもしれない。
既知のホームオートメーションシステム及び技術の他の欠点は、特定の個人を識別し、識別した個人の好みに合わせて自宅内の設定や応答を調整することができない点にある。更に、既知のシステム及び技術は自宅内の特定の人の位置に基づく好みの設定や応答に応答し得ない。更に、既知のシステム及び技術は自宅にいる複数の人の好みの設定や応答に応答し得ない。
本発明の目的は、住宅のような局所環境内の状態又は環境性を自動的に設定することにある。本発明の目的は、更に、局所環境内の特定の人の位置を自動的に決定するとともに、特定の人が検出された局所環境の領域内の状態又は環境性を特定の人の好みに基づいて自動調整することにある。本発明の目的は、更に、画像認識を用いて局所環境内の特定のユーザの位置を自動的に決定することにある。
従って、本発明は、局所環境の１以上の領域と関連する画像を受信する制御ユニットを具えるシステムを提供する。局所環境は、例えば家とすることができ、２以上の領域は家の部屋、家の棟や床等とすることができる。１以上の領域は各々１以上の制御可能な装置又はシステムによりサービスされる。例えば、制御可能な装置又はシステムは室内のライト、住宅の各区域に対する暖房などである。制御ユニットは画像を処理して、局所環境と関連する一群の既知の人の中から、１以上の領域内にいる既知の人を識別する。それぞれの領域内で識別された既知の人に対して、制御ユニットは、前記既知の人がいるそれぞれの領域をサービスする１以上の制御可能な装置又はシステムの少なくとも１つに対する前記識別された人の好みの情報(Indicia)をデータベースから検索する。制御ユニットは、識別された人がいるそれぞれの領域をサービスする１以上の制御可能な装置又はシステムを既知の人の好みを反映するように調整する制御信号を発生する。
本発明は、また局所環境を含む種々の領域の状態又は環境性を調整する方法を提供する。本発明の方法は局所環境の複数の領域の各々と関連する画像を収集する。収集画像から、局所環境と関連する一群の既知の人の中から、１以上の領域内に位置する既知の人を識別する。識別された人に対する１以上の好みを用いて、識別された人がいる領域と関連する１以上の装置又はシステムを制御する。
図１は、本発明の一実施例をサポートする家１０を備える局所環境を示す。以下の説明は家に焦点をあてるが、本発明を適用しうる局所環境は任意であり、例えばオフィス、商店、病院、ホテル、キャンパーなどの環境とすることができる。当業者であれば本発明をこのような他の環境に容易に適応させることができる。
家１０は図に示されているように部屋Ｒ１，Ｒ２を備える。Ｒ１，Ｒ２は部屋として示し、部屋と呼んでいるが、一般的には、伝統的な部屋ではない、家内の定義可能な領域も表す。例えば、これらの領域は、キッチン、廊下、階段室、ガレージ、地下室、物置などとすることができる。更に、図１の部屋Ｒ１，Ｒ２はそれぞれの部屋をサービスする少なくとも１つの制御可能な装置又はシステムを有する家内の他の部屋を代表する。本発明に従って制御されないシステム又は装置を含まない家内の領域は図１には示されていないが、このような領域もあるものと理解されたい。例えば、本発明に従って制御されるシステム及び／又は装置は頻繁に使用される家内の寝室、キッチン、書斎及び居間のような所定の領域内に見つけることができるが、廊下、階段室、地下室及びガレージのような頻繁に使用されない領域にはないものとすることができる。
図１の各部屋Ｒ１，Ｒ２は、図に示すように、室内の画像、特に室内の人の画像を収集するカメラＣ１，Ｃ２又は類似の画像収集装置を有する。１領域をカバーするために１以上のカメラを用いてことができるが、説明を容易にするために、図１には各領域をカバーするものとして１つのカメラのみが示されている。従って、例えばカメラＣ２は部屋Ｒ２内にいる人Ｘの画像を収集する。各部屋Ｒ１，Ｒ２は部屋を照明するそれぞれのライト(照明器具)Ｌ１，Ｌ２を有するとともに、部屋を暖房するそれぞれの暖房装置Ｈ１，Ｈ２を有する。部屋Ｒ２はスピーカＳ２から音楽を提供するオーディオシステムによりサービスされる。ライトＬ１及び暖房装置Ｈ１は本発明に従って制御される部屋Ｒ１のシステム及び構成要素である。同様に、ライトＬ２及び暖房装置Ｈ２は本発明に従って制御される部屋Ｒ２のシステム及び構成要素である。以下に詳述するように、本発明では、カメラＣ１，Ｃ２からの画像を用いてそれぞれの部屋Ｒ１，Ｒ２内の既知の人を識別する。識別されたら、識別された人がいる部屋をサービスする装置及び／又はシステムが識別された人の個人的好みに従って自動的に調整又は制御される。例えば、人ＸがカメラＣ２により認識されると、部屋Ｒ２内のライトＬ２、ヒータＨ２及びスピーカＳ２からの音楽の音量がＸの好みに自動的に調整される。
先に進む前に、各部屋Ｒ１，Ｒ２をサービスするとともに本発明に従って制御される図示の特定の装置及び／又はシステムは本発明の実施例の説明のためのものである点に注意されたい。各部屋は該部屋をサービスするとともに本発明に従って制御される幾分及び／又は全く異なる装置又はシステムを含むこともできる。当業者であれば、以下に記載する代表的な装置及びシステムに適用される説明を個々の部屋内に発見される異なる及び／又は追加のもしくは少数の装置又はシステムに容易に適応させることができる。
更に、図１には各装置又はシステムが個々の部屋をサービスするものとして示されている点に注意されたい。しかし、任意の１つの装置又はシステムが２つ以上の部屋をサービスすることができる。このようにサービスする装置又はシステムの場合には、この装置又はシステムのサービス区域により部屋又は局所領域が決まり、従ってどのカメラが該装置又はシステムの制御に使用されるかが決まる。例えば、図１において、暖房装置Ｈ２がなく、暖房装置Ｈ１が２つの部屋Ｒ１及びＲ２をサービスするものとし得る。この場合には、暖房装置Ｈ１のために、局所領域を部屋Ｒ１及びＲ２とし、カメラＣ１又はＣ２のいずれかで識別された人の好みに従って調整する。同様に、スピーカＳ２は２つの部屋Ｒ１及びＲ２に音楽を提供して、その音量を部屋Ｒ１又はＲ２内のいずれかにいる識別された人（即ちカメラＣ１又はＣ２のいずれかで収集された画像で識別された人）の好みに調整することができる。
図２は、図１に示す実施例のもっと詳細な(幾分一般化された)構成を示す。部屋Ｒ１，Ｒ２はそれぞれのカメラ、それぞれのライトＬ１，Ｌ２及びそれぞれの暖房装置Ｈ１，Ｈ２と一緒に線図的に示されている。部屋Ｒ２に対してはスピーカＳ２も示されている。明瞭のために、本発明の従って制御される部屋をサービスする装置及び／又はシステム（例えばＬ１，Ｌ２，Ｈ１，Ｈ２及びＳ２）は「サービス提供要素」ともいう。
図２は本発明の実施例の追加の構成要素を示している。制御ユニット２０は部屋Ｒ１，Ｒ２のサービス提供要素に対する制御信号を発生する中央処置を提供する。制御ユニット２０はディジタルコントローラ、プロセッサ、マイクロプロセッサ、コンピュータ、サーバなどを備えるとともに所要の補助要素（例えばメモリ、データベースなど）を備え、本発明の制御処理及び信号発生を実行し得る。制御ユニット２０は、図２ａに示すように、例えばプロセッサ２２及びメモリ２４を備え、サービス提供要素に対する適切な制御信号を決定し出力するソフトウエアを実行するものとすることができ、後に詳細に説明する。カメラＣ１，Ｃ２はそれぞれデータラインｌ(C1)，ｌ(C2)を経て制御ユニット２０に接続される。データラインｌ(C1)，ｌ(C2)及び後述する類似のラインは標準通信線、光ファイバ及び類似のハードウエアデータ線とすることができる。これらのデータラインは無線通信も表すものとし得る。各カメラＣ１，Ｃ２は各カメラが位置するそれぞれの部屋Ｒ１，Ｒ２の画像を制御ユニット２０のプロセッサ２２に供給する。従って、カメラＣ１は部屋Ｒ１の画像を制御ユニット２０に供給し、カメラＣ２は部屋Ｒ２の画像を制御ユニット２０に供給する。
更に、制御ユニット２０のプロセッサ２２は適切な制御信号をラインｌ(L1)，ｌ(L2)を経てライトＬ１，Ｌ２にそれぞれ供給してそれぞれのライトＬ１，Ｌ２の強度を制御する。便宜上、ラインｌ(L1)，ｌ(L2)は図２にライトＬ１，Ｌ２に直接接続されているように示されているが、ラインｌ(L1)，ｌ(L2)は実際には制御信号をそれぞれのライトＬ１，Ｌ２に取り付けられた調光回路に供給するものと理解されたい。或いは又、ラインｌ(L1)，ｌ(L2)は別個の照明コントローラに入力され、該コントローラが制御ユニット２０から受信した入力に基づいて適切な調光制御信号をライトＬ１及び／又はＬ２に供給するものとし得る。
制御ユニット２０のプロセッサ２２は更にラインｌ(H1)，ｌ(H2)を経て制御信号を供給し、暖房装置Ｈ１，Ｈ２により部屋Ｒ１，Ｒ２に供給される温度を制御する。制御ユニット２０からラインｌ(H1)，ｌ(H2)を経供給される制御信号は暖房装置Ｈ１，Ｈ２に対する適切な温度制御信号をそれぞれ含むものとし得る。図２の特定の暖房システムの特定の例では、暖房装置Ｈ１，Ｈ２はそれぞれサーモスタットを有する電気ヒータであり、それぞれのサーモスタットがラインｌ(H1)，ｌ(H2)を経て制御ユニット２０から（温度設定値の形態の）制御信号を受信するものとする。
従来既知の他の通常のタイプの暖房システムに対しては、図２に示す制御ユニット２０により暖房素子Ｈ１，Ｈ２に供給される制御信号は実際の基礎システムのもっと抽象的表現にする。例えば、中央熱源(例えばガス燃焼温水炉)により給熱される場合、制御ユニット２０は温度ラインｌ(H1)を経て部屋Ｒ１内のサーモスタット(図示せず)に対する温度設定値を供給することができる。その結果、サーモスタットは暖房装置Ｈ１を構成するベースボードヒーティング素子に温水を供給する炉に取り付けられた特定のサーキュレータをターンオンする。更に、ラインｌ(H1)，ｌ(H2)は別個の暖房コントローラに入力され、該コントローラが制御ユニット２０から受信した入力に基づいて適切な暖房制御信号をＨ１及び／又はＨ２に供給するものとすることもできる。しかし、基礎暖房システムが何であれ、図２につき説明した実施例の制御は当業者であれば容易に適応させることができる。
制御ユニット２０は更にラインｌ(S)を経てオーディオシステム４０に制御信号を供給する。オーディオシステム４０は制御ユニット２０から受信した制御信号に従ってラインｌ(S2)を経てスピーカＳ２に音楽を供給する。制御ユニット２０はオーディオシステムに、スピーカＳ２の音量レベル、再生用に選択された音楽のタイプ（例えば特定のＣＤ、ラジオ局又はウェブ放送等）等を設定する信号を供給することができる。オーディオシステム４０はステレオのように部屋Ｒ２内に位置するものとし得るが、住宅内の他の部屋にも音楽を提供する集中オーディオシステムとすることもできる。オーディオシステム４０は内部プロセッサを含み、該プロセッサが制御ユニット２０からの制御信号を受信し、これらの信号を処理してラインｌ(S2)等を経て再生すべき音楽、スピーカＳ２のボリュームなどを選択するものとすることもできる。
制御ユニット２０は、更に、メモリ２４に格納されプロセッサ２２により実行される画像認識ソフトウエアを備える。画像認識ソフトウエアはカメラＣ１，Ｃ２からそれぞれ受信される各部屋Ｒ１，Ｒ２の画像を処理する。便宜上、以下の説明は単一のカメラ（図２に示す部屋Ｒ１のＣ１とする）から受信される画像に焦点をあてて進める。以下の説明は部屋Ｒ２内に位置するカメラＣ２から制御ユニット２０に受信される画像にも適用し得る。
上述したように、カメラＣ１は部屋Ｒ１の画像を収集し、画像データを制御ユニット２０に送信する。画像は典型的には画素データ、例えば典型的なディジタルカメラのＣＣＤアレーからの画素データからなる。画像の画素データは、制御ユニット２０で画像認識ソフトウエアを用いて更に処理し得る既知のディジタルフォーマットに前処理されているものとする。画像のこのような前処理はカメラＣ１のプロセッサで行うことができる。（画像認識ソフトウエアによる後続の処理のために前処理された画像データを制御ユニット２０に供給する）ディジタルカメラによるこのような画像処理は公知であり、説明の都合上その説明は本発明に必要な程度までとする。カメラＣ１の画像のこのような前処理はカメラＣ１で行われるが、制御ユニット２０のプロセッサ２２自体で行うこともできる。
プロセッサ２２はそれにロードされた既知の画像認識ソフトウエアを含み、このソフトウエアがカメラＣ１からデータラインｌ(C1)を経て受信される画像を分析する。部屋Ｒ１内に人がいる場合、その人が画像データ内に描写される。画像認識ソフトウエアを用いて、例えば画像内の人体の輪郭を認識し、従って画像内の人を認識することができる。人の体の位置が決定されたら、画像認識ソフトウエアを用いて受信画像内の人の顔の位置を決定し、該個人を識別する。
例えば、制御ユニット２０がカメラＣ１から一連の画像を受信する場合、制御ユニット２０はカメラＣ１でカバーされる部屋Ｒ１内に入る人を検出し、追跡することができ、特に人の頭のおよその位置を検出し、追跡することができる。このような検出追跡技術は、McKenna and Gong, “Tracking Faces”, Proceedings of the Second International Conference on Automatic Face and Gesture Recognition, Kinllington, Vt., October 14-16, pp.271-276、に詳細に記載されており、その内容が参考のためにここに組み込まれているものとする（上記の論文のセクション２はマルチモーションのトラッキングを記載している）。
人が領域Ｒ１内で静止しているとき、例えばいすに座っているとき、人体(頭)の移動は比較的静止状態になる。制御ユニット２０のソフトウエアが画像内の人の移動を予め追跡していたなら、カメラＣ１から受信される次の画像の、人の頭が位置する部分に注目する別の又は補助の顔検出技術を開始させることができる。制御ユニット２０のソフトウエアが画像内の動きを追跡しない場合には、全体画像を用い、例えば顔検出処理を全体画像の各セグメントに順次に適用することにより人の顔を検出することができる。
顔検出に対して、制御ユニット２０は簡単な形状情報（例えば楕円フィッティング、自シルエット(eigen-silhouettes)）を画像内の輪郭に合わせる既知の技術を用いて画像内の静止した顔を識別することができる。識別には顔の他の構造（例えば鼻、目等）、顔の対象性及び典型的な肌の色合いを用いることができる。もっと複雑なモデル化技術は、顔を大きな多次元ハイパースペース内の点としてモデル化するフォトメトリック表現を用い、顔の特徴の空間配置を顔の内部構造の全体表現内に符号化する。顔検出は、例えば画像内のパッチを画像ハイパースペースの特定のサブスペースに対して顔のモデルと比較することにより確立密度推定値を決定することによって、画像内のパッチを「顔」又は「非顔」ベクトルとして分類することで達成される。この及び他の検出技術は前述の論文「Tracking faces」に詳細に記載されている。
顔検出は、制御ユニット２０内にサポートされているニューラルネットワークを正面撮影像又はほぼ正面の撮影像を検出するよう学習させることにより達成することもできる。学習用画像は、例えば顔画像の中心に位置する標準楕円部分に注目するようにスケーリング又はマスクされる。学習用画像の光強度を等化するいくつかの既知の技術を適用することができる。学習は、学習用顔画像の倍率及び回転を調整することにより拡張させる（ニューラルネットワークを画像のポーズに適応するように学習させる）ことができる。学習は、偽陽性非顔パターンの逆伝播も含む。制御ユニット２０は画像の部分を制御ユニット２０内のこのように学習したニューラルネットワークルーチンに供給する。ニューラルネットワークは画像部分を処理し、それがその画像学習に基づいて顔画像か決定する。
顔検出のニューラルネットワーク技術は前述の論文「Tracking Faces」に詳細に記載されている。ニューラルネットワークを用いる顔検出 (並びに性別、民族及びポーズのような他の顔副分類の検出)の追加の詳細は、Gutta, et al, “Mixture of Experts for Classification of Gender, Ethnic Origin and pose of Human Faces”, IEEE Transactions on Neural Networks, vol. 11, no. 4, pp. 948-960 (July 2000) に記載されており（以下「Mixture of Experts」論文という）、その内容が参考のためにここに組み込まれているものとする。
画像内に顔が検出されたら、制御ユニット２０はその顔に対し画像認識処理を行い、該個人を識別する。従って、画像認識処理は特定の顔を認識するようプログラムされ、各顔が個人のアイデンティティに相関される。例えば、図１及び２の実施例に示す家の場合には、画像認識処理は家族及び／又は他の同居人の顔を認識するようプログラムされ、各顔が家族及び／又は同居人のアイデンティティに相関される。上述した顔検出のニューラルネットワーク技術は、該ネットワークを識別すべき人の顔を用いて学習させることにより識別に適応させることができる。他の人の顔を学習に用いてネガティブマッチ(例えば、偽陽性指示)とすることができる。このようにすると、画像の一部分が顔画像を含むことを検出するニューラルネットワークによる顔検出は既知の(識別されている)人の学習画像に基づくものとなるので、同時に個人の識別も行う。このようにプログラムすると、ニューラルネットワークは顔検出と個人識別の両方を提供する。或いは又、ニューラルネットワーク以外の技術(例えば上述した技術)を用いて画像内に顔を検出する場合には、ニューラルネットワークプロシージャを用いて顔の検出の確認とともに、顔の識別も提供することができる。
制御ユニット２０にプログラムし得る顔認識処理の他の技術が、ＵＳ特許明細書第５，８３５，６１６号、「Face Detection Using templates」、Lobo他、１９９８年１１月１０日発行、に記載されており、その内容が参考のためにここに組み込まれており、これはディジタル画像内の人間の顔を自動的に検出及び／又は識別するとともに顔の特徴を検査することにより顔の存在を確認する２ステップ処理である。従って、Loboの技術は、上述したように移動する人体の初期追跡の後にニューラルネットワーク技術により提供される顔検出及び識別の代わりに、又は補完として用いることができる。Loboのシステムは、カメラの視野が画像内の顔の典型的な位置に対応しなくても、カメラの視野内の１以上の顔を検出するのに好適である。従って、制御ユニット２０は、ＵＳ特許第５，８３５，６１６号に記載されているように、顔の一般的特徴を有する区域に対応する画像の部分を、肌色の位置、アイブローに対応する非肌色の位置、あご、鼻等に対応する境界線に基づいて分析することができる。
顔が検出されたら、ＵＳ特許第５，８３５，６１６号のように、家にいる家族の参照顔又は基準顔（データベース２４に格納されている）と比較するために検出された顔の特徴抽出を行う。画像内の顔のこの特徴抽出は参照顔の特徴抽出に用いたのと同一の特徴抽出処理とし、「光学的」マッチングよりも、特徴に基づく顔の比較を容易にするのが好ましく、これによりマッチングのために２つの同一の画像(現在の顔と参照顔)を用いる必要がなくなる。好適実施例では、参照顔の数は比較的少数とし、典型的には家庭、オフィス、又は他の小さい環境内の人の数に限定し、顔認識処理を高速に実行可能にする。制御ユニット２０のメモリ２４に格納される参照顔は関連する人のアイデンティティを有するので、画像内に検出された顔と参照顔との合致が画像内の人の識別情報を与える。
このように、制御ユニット２０のメモリ２４及び／又はソフトウエアは参照画像と関連する人のアイデンティティのプールを有効に含んでいる。カメラＣ１から受信された画像を用いて、制御ユニット２０は、画像内の顔を検出し参照画像プール内の画像とマッチングさせることにより部屋Ｒ１にいる既知の人を有効に検出し識別する。この「マッチング」は、参照画像を用いて学習させたニューラルネットワークにより供給される画像内の顔の検出とすることができ、またＵＳ特許第５，８３５，６１６号のように、カメラ画像と参照画像内の顔の特徴のマッチングとすることができる。カメラＣ２から受信される画像を用いて、制御ユニット２０は同様に部屋Ｒ２にいる既知の人を検出し識別する。
部屋のカメラから受信される画像に画像認識ソフトウエアを適用することによって部屋にいる既知の人（例えば家族）の画像が御ユニット２０で識別されると、プロセッサ２２は制御ソフトウエアを実行して、識別した人がいる部屋のサービス提供要素を制御ユニット２０により識別した人の個人的好みに従って自動的に調整させる。制御ユニット２０のメモリ２４は室内照明（即ち、ライトＬ１及びＬ２の設定）、室温(即ち、暖房装置Ｈ１及びＨ２の設定)及び音量（即ち、スピーカＳ２のボリュームの設定）に対する家族の各人の好みを含む。メモリ２４に格納された家族各人の好みは各人のアイデンティティに相関される。プロセッサ２２は家族の識別情報を用いてメモリ２４から識別された家族の好みをアクセスする。家族がいる部屋のサービス提供要素に適用し得る該家族の好みはプロセッサ２２の制御ソフトウエアにより使用され、該部屋内のサービス提供要素に対する制御コマンドをフォーマットし出力する。
例えば、図１及び２では家族Ｘが部屋Ｒ２にいる。Ｘの画像がカメラＣ２により収集され、ラインｌ(C2)を経て制御ユニット２０に送信される。プロセッサ２２は画像認識ソフトウエアを（メモリ２４に格納されている家族の参照画像データと一緒に）用いて画像内の家族を家族Ｘと識別する。プロセッサ２２は次いで家族Ｘの識別情報を用いてメモリに格納されている家庭内のサービス提供要素に対する家族Ｘの好みを検索する。Ｘの画像はカメラＣ２から（即ちラインｌ(C2)から）到来するので、プロセッサ２２は部屋Ｒ２内にあるサービス提供要素に対する家族Ｘの好みを認識する。このようにして、プロセッサ２２はライトＬ２の強度、暖房装置Ｈ２の温度及びスピーカＳ２のボリュームに対するＸの好みを検索する。プロセッサ２２は最初にメモリ２４からＸの全ての好みを検索し、次いでどれが部屋Ｒ２内のサービス提供要素と関連するか決定してもよい。或いは又、プロセッサ２２はメモリ２４からＲ２のサービス提供要素に関連するＸの好みのみを検索するようにアドレスいてもよい。
メモリからＸに対して検索されたＲ２内のサービス提供要素に対応する各好みに対して、プロセッサ２２は好みに従って部屋Ｒ２内の対応するサービス提供要素に対するコマンドをフォーマットし、該コマンドを適当なラインを経て該要素に出力する。例えば、部屋Ｒ２内の家族Ｘに対して、プロセッサ２２は照明の強度に対するＸの好みを用いて、ライトＬ２をＸの好みに従って制御するようにフォーマットされた強度制御コマンドを発生する。この強度制御コマンドはラインｌ(L2)を経てライトＬ２に出力され、その結果ライトＬ２はＸの好みの強度に自動的に調整される。同様に、プロセッサ２２は室温に対するＸの好みを用いて、暖房装置Ｈ２をＸの好みに従って制御するようにフォーマットされた制御コマンドを発生する。この制御コマンドがラインｌ(H2)を経て暖房装置Ｈ２に出力され、その結果暖房装置Ｈ２はＸの好みの温度に自動的に調整される。
同様に、ステレオスピーカＳ２の出力はＸの好みの音量に自動的に調整される。プロセッサ２２はメモリから検索された音量に対するＸの好みを用いて、オーディオシステム４０をＸの好みに従って制御するようにフォーマットされた音量制御コマンドを発生する。この音量制御コマンドがラインｌ(S)を経てオーディオシステム４０に出力され、その結果オーディオシステム４０により部屋Ｒ２内のスピーカＳ２に出力される音量レベルがＸの好みに従って自動的に調整される。オーディオシステム４０はプロセッサ２２により外部的に制御しうる追加の機能、例えば電源のオン・オフ及び音楽の選択、を有するものとすることもできる。この場合には、家族Ｘが部屋Ｒ２内で識別されたとき、メモリ２４から検索されたオーディオに関する好みの情報は、Ｘがオーディオシステムを常時ターンオンしたいか、Ｘが好きな音楽のタイプ、例えばＣＤジュークボックス内の特定のＣＤ又は特定のＣＤラジオ局、及び音量を含むものとし得る。プロセッサ２２によりフォーマットされオーディオシステム４０に送出される制御信号は追加の情報に対するＸの好みを反映する。例えば、Ｘの好みを反映する制御信号はオーディオシステムをターンオンし、オーディオシステムを特定のポップラジオ局にチューンし、且つスピーカＳ２の音量を中位のレベルに調整する。
カメラＣ１及びＣ２からの画像は制御ユニット２０に連続的に又は周期的に収集し送信することができる。制御ユニット２０は受信した画像を周期的に処理し、それぞれの部屋内の既知の人を識別し、サービス提供要素を上述したように制御する。室内のサービス提供要素が室内の既知の人の好みに従って調整されるとき、これを示す一時的記録を生成することができる。既知の人が部屋にいる間、制御ユニット２０は室内の既知の人の次の画像を処理し、室内の既知の人を再び識別する。しかし、一時記録が、サービス提供要素が既に該既知の人の好みに従って調整されていることを制御ユニット２０に知らせるので、制御信号は再び発生されず、受信画像に対応する部屋のサービス提供要素に送信しない。既知の人が部屋からの次の画像にもはや見つからないとき（部屋から出ていったことを示す）、この部屋に対する一時記録は消去され、後続の画像に対して制御ユニットの全処理が続けられる。これは、後続の画像内の部屋で新たに識別される既知の人の好みに対応する制御信号の発生及び送信を可能にする。Ｘが別の部屋、例えばＲ１に移動すると、ライトＬ１により供給される照明及び暖房装置Ｈ１により供給される熱が同様に自動的に調整される。即ち、カメラＣ１により収集された画像がラインｌ(C1)を経て制御ユニット２０に送信される。画像認識ソフトウエアがプロセッサ２２により受信画像に適用され、部屋Ｒ１内に家族Ｘを識別する。次いで、メモリ２４から家族Ｘの好みがプロセッサ２２により検索される。この好みを反映する制御信号がラインｌ(L1)及びｌ(H1)を経てライトＬ１及び暖房装置Ｈ１に送信される。この結果として、ライトＬ１の強度及び暖房装置Ｈ１により供給される室温がＸの好みに自動的に調整される。
また、ＸがＲ２にいないとき、カメラＣ２により供給される画像は制御ユニット２０の画像認識ソフトウエアにより分析され、現在部屋Ｒ２内に既知の人は識別されない。制御ユニット２０が、特定の部屋に誰もいないことを決定すると、サービス提供要素の設定をデフォルト設定に設定することができる。例えば、Ｘが部屋Ｒ２にいないとき、プロセッサ２２により、ライトＬ２をターンオフする制御信号、暖房装置のサーモスタット設定を65度に下げる制御信号、及びオーディオシステム４０又はスピーカＳ２の出力をスイッチオフする制御信号を送信することができる。更に、制御ユニット２０が、部屋に人がいるが誰か識別できない場合には、他のデフォルト制御信号を1以上のサービス提供要素に送ることができる。例えば、安全のために、ライトＬ２をターンオンし中間の強度レベルに設定して、未確認の人(例えばお客)が部屋に入った場合に見えるようにすることができる。
二人以上の家族が部屋にいる場合には、画像認識ソフトウエアは受信画像内に二人以上の家族を識別する。メモリ２４に格納された種々のサービス提供要素に対する好みはそれぞれ異なるかもしれない。例えば、家族ＸとＹが部屋Ｒ２内にいる場合、各人はスピーカＳ２により出力される音楽の音量に対して異なる好みを有しうる。このような場合には、制御ソフトウエアはスピーカや他のサービス提供要素の制御について優先規則を含むことができる。例えば、家族Ｘが親で、家族Ｙが子供の場合には、Ｘの好みをＹの好みに優先して選択することができる。他方、ＸとＹが兄弟で、部屋Ｒ２がＸの寝室である場合には、Ｘの好みをＹの好みに優先させることができる。別の部屋にいる高い優先度の人に対する好みで部屋のサービス提供要素を制御することもできる。例えば、親Ｘが部屋Ｒ２の隣の部屋で識別された場合、部屋Ｒ２内のスピーカＳ２の音量レベルに対する親の好みを部屋Ｒ２にいる子供Ｙの好みに優先させることができる。同じ部屋にいる人達の間で優先順位を定めない場合には、所定のデフォルト規則を適用することができる。例えば、スピーカ音量に対しては、好みの最低音量とすることができる。他方、室温に対しては、好のみの最高温度とすることができる。照明に対しては、好みの平均を反映する強度とすることができる。
好みは、例えば時刻、曜日、月、年などの他の要因の関数とすることもできる。例えば、部屋Ｒ２が良好な自然照明である場合には、ライトＬ２に対するＸの好みは、Ｌ２を日中ターンオフし、冬季は午後６時以後に中間強度に設定し、春季、夏季及び秋季は午後８時以後に中間強度に設定することが反映されるようにすることができる。
画像認識処理は家族の識別に加えてジェスチャを検出することもできる。制御ユニット２０は、予め決められたジェスチャを検出し、識別された家族がいる部屋の１以上のサービス提供要素に対して対応する調整を行うことができる。検出されたジェスチャはサービス提供要素に対する格納された家族の好みに優先させることができる。例えば、上述の例では、Ｘが部屋Ｒ２にいると識別されると、スピーカＳ２により出力される音量はメモリ２４に格納されたＸの好みに自動的に調整される。しかし、Ｘが音楽を聴きたくない場合には、Ｘは３本の指をカメラＣ２に向け立てることができる。このジェスチャは画像に捕らえられ、制御ユニット２０の画像認識ソフトウエアにより検出される。制御ユニット２０は更に対応する制御信号をオーディオシステム４０に送り、スピーカＳ２をスイッチオフさせるかミュートさせるようにプログラムされる。画像からのジェスチャの認識の他の詳細は、Gutta, Imam and Wechsler, “Hand Gesture Recognition Using Ensembles Of Radial Basis Function (RBF) Network And Decision Tree”, International Journal of pattern Recognition and Artificial Intelligence, vol. 11, no. 6, pp. 845-872 (1997)、に記載されており、その内容が参考のためにここに組み込まれているものとする。
既知の人の好みは、グラフィックユーザインターフェース(図示せず)を介して制御ユニット２０に手動的に入力し、メモリ２４に格納することができる。このインターフェースは、プロセッサ２２が好み入力モードに入ると、家庭内又は他の局所環境内の種々のサービス提供要素に対する適切なメニューを提供する。例えば、既知の人Ｘが自分の好みを入力する場合、インターフェースは最初に複数の既知の人のサムネイル画像を提示する。これらの画像は画像認識ソフトウエアのためにメモリ２４に格納された複数の既知の個人に対する参照画像から選択することができる。Ｘは一群の画像から自分の画像を選択することにより自分のアイデンティティを入力する。Ｘに提示される次のメニューは、家中の種々のサービス提供要素に対する照明、暖房、スピーカ音量などの好みを選択可能にする。家族Ｘと関連する入力された好みはメモリ２４に格納される。
家族に対し入力されメモリ２４に格納される好みはその家族の実際の個人的好みとする必要はないこともちろんである。例えば親は家庭内の子供に代わっていくつかの好み又は全部の好みを入力してもよい。例えば、親は、子供と関連するステレオの音量レベル、室温レベルなどが適度となるように子供の好みを入力することができる。
或いは又、制御ユニット２０によって、家族により家庭内のサービス提供要素自体に実際に入力された設定値をモニタすることにより好みを学習させることができる。例えば、制御ユニット２０は何日間又は何週間の間「学習モード」に入ることができる。この期間中に、人が部屋に入ると、上述したように、画像認識ソフトウエアによりその人が識別される。部屋内のサービス提供要素と制御ユニット２０との間のラインがデータを両方向に転送し、従って制御ユニット２０はサービス提供要素に対して識別された人により選択された設定値を検出し記録することができる。
識別された各人に対して学習モード中に種々のサービス提供要素に対し選択された手動設定値に基づいて好みが生成される。例えば、学習モード中に、制御ユニット２０は、Ｘが部屋Ｒ２内のライトＬ２の強度を２０回設定したこと及びライトＬ２の平均設定値は１０段階メモリの７であったことを記録することができる。家庭内の個々のライトに対する好みでなく、１つの全般照明の好みをＸに対して格納する場合、制御ユニットは学習モード中にＸが家中の全てのライトに対して選択した強度レベルを記録し平均化することができる。その後、特定のライト(例えばＬ２)がＸに対して自動的に調整されるとき、プロセッサ２２はＸに対する全般照明の好みを検索し、検索された好みに基づいて、Ｌ２が好みの強度を出力するようにフォーマットされた制御信号を発生する。他の既知の個人及び他のサービス提供要素に対する好みも学習モード中に同様に生成される。
先に述べたように、図１及び図２に示す部屋は上記の実施例を代表するものである。家１０は、図１及び図２に示す暖房装置、ライト及びオーディオシステム／スピーカに類似のサービス提供要素及び／又は他のサービス提供要素によりサービスされる追加の部屋を有することができる。他の制御可能なサービス提供要素は、自動ブラインド、テレビジョン及び関連ＤＶＤ及びＶＣＲ、自動ガレージドアオープナー等である。部屋Ｒ２内のスピーカＳ２を制御するオーディオシステム４０は他の部屋の他のスピーカを駆動するようにでき、他のスピーカは他の部屋の人の好みに基づいて異なる音楽を異なる音量で出力するようにできる。追加のサービス提供要素及び部屋は（付属のカメラと一緒に）制御ユニット２０と適切に配線するとともに制御ユニット２０を適切にプログラムすることにより付加することができる。
更に、所定のサービス提供要素は、画像内の人の識別の失敗に従って制御することもできる。例えば、本発明により制御されるセキュリティシステムは、制御ユニット２０が家のどこかから受信された人の画像を検出したがその人を識別できないとき、駆動されるようにできる。
また、先に述べたように、図１及び図２に示す実施例のサービス提供要素は１つの部屋Ｒ１又はＲ２をサービスするものとして示されている。従って、Ｌ１は光を部屋Ｒ１に供給し、Ｒ２に供給しない。しかし、一つのサービス提供要素で２以上の部屋、例えばＲ１及びＲ２の両方にサービスを提供することができる。例えば、暖房装置Ｈ１は熱を部屋Ｒ１及びＲ２の両方に供給することができる。同様に、ライトＬ１及びＬ２の強度を両方とも単一の調光スイッチにより制御することもできる。これらの例では、サービス提供要素によりカバーされる区域が家内の２つの伝統的な部屋（Ｒ１及びＲ２）を包含する。このような場合には、サービス提供要素のカバー区域が制御ユニットにおける局所領域又は「部屋」を規定し、カメラからの該局所領域又は部屋の画像が制御ユニット２０によりサービス提供要素の制御のために使用される。例えば、Ｌ１及びＬ２が両方とも図２の単一調光スイッチにより制御される場合には、制御ユニット２０から調光スイッチに単一の制御ラインを接続し、調光スイッチからライトＬ１及びＬ２の各々に個別のラインを接続する。従って、制御ユニット２０は、Ｒ１及びＲ２内で識別された、即ち両カメラＣ１及びＣ２から受信される画像を用いて識別された既知の人の好みを用いてライトＬ１及びＬ２の強度を制御する。二人以上が部屋Ｒ１及びＲ２内に識別されると、制御ユニット２０は上述した優先規則を用いてどちらの人の好みで制御するか決定する。本例ではサービス提供要素Ｌ１及びＬ２により決定されるＲ１及びＲ２の合成領域は他の領域、この場合には領域Ｒ１（サービス提供要素Ｈ１によりサービスされる）及び領域Ｒ２（サービス提供要素Ｈ２及びＳ２によりサービスされる）とオーバラップする。
図３は上述した種々の実施例から導出される本発明に含まれる一般化した方法のフローチャートを示す。ステップ１００において、領域の画像を収集する。ステップ１１０において、画像内に既知の人がいれば識別する。既知の人が識別されたら、ステップ１２０において、該識別された人が当該領域内で最近識別されたかどうか及びサービス提供要素が該識別された人の好みに従って制御されたかどうか決定される。そうでなければ、ステップ１３０において該識別された人に対して１以上の好みを検索する。ステップ１４０において、当該領域内の１以上のサービス提供要素が識別された人の１以上の好みに従って制御される。この方法は、ステップ１４０をステップ１００に戻すラインで表されているように、考慮中の領域に対して反復される。この方法が反復される前に遅延時間を置くことができる。局所環境内の他の領域を同時に（例えば、多重式に）又は順次に同様に処理することができる。この方法のステップを変更して、及び／又は、追加のステップを図３に示す方法に付加して上述した実施例の他の特徴を含むようにすることは容易である。従って、例えば、二人以上の既知の人が１つの領域内で識別されたときは、ステップ１３０を、該領域内で識別された全ての既知の人の好みを検索するよう変更することができるとともに、ステップ１４０を、これらの既知の人の好みを上述した優先法に従って用いて１以上のサービス提供要素を制御するように変更することができる。
図１は本発明の一実施例の代表図である。 図２は図１に示す本発明の実施例のもっと詳細な代表図であり、図２ａは図２の一構成要素の詳細図である。 本発明方法の一実施例のフローチャートである。

Claims (22)

  1. 局所環境の１以上の領域と関連する画像を受信する制御ユニットを備え、前記1以上の各領域は１以上のサービス提供要素によりサービスされ、前記制御ユニットは、前記画像を処理して、前記局所環境と関連する一群の既知の人の中から、前記領域内にいる１以上の既知の人を識別し、１以上の既知の人が識別された前記領域に対して、該領域と関連する少なくとも１つのサービス提供要素に対する制御信号を自動的に発生し、該制御信号はそれぞれの領域内にいる既知の人の少なくとも１人の好みを反映することを特徴とする局所環境制御システム。
  2. 前記局所環境の１以上の領域の各々と関連する少なくとも１つのカメラを更に備え、該カメラが前記１以上の領域と関連する画像を前記制御ユニットに供給し、各領域と関連する前記少なくとも１つのカメラにより収集された画像を処理して各領域にいる既知の人を識別することを特徴とする請求項１記載のシステム。
  3. 前記制御ユニットは画像認識ソフトウエアを前記受信画像に適用して前記領域にいる既知の人を識別することを特徴とする請求項１記載のシステム。
  4. 前記画像認識ソフトウエアは前記局所環境と関連する一群の既知の人の格納参照画像データを用いて前記領域にいる１以上の既知の人を識別することを特徴とする請求項３記載のシステム。
  5. 前記制御ユニットは前記領域にいるものと識別された１以上の既知の人に対して格納された各人の好みを検索することを特徴とする請求項１記載のシステム。
  6. １以上の既知の人が識別された前記領域に対して、該領域と関連する少なくとも１つのサービス提供要素に対して発生された前記制御信号は前記領域にいる少なくとも１人の既知の人に対して検索された少なくとも１つの好みに基づいていることを特徴とする請求項５記載のシステム。
  7. 前記制御ユニットとインターフェースするメモリを備え、該メモリは前記１以上の領域をサービスする１以上のサービス提供要素に関する前記一群の既知の人の各人の好みを格納し、該メモリから識別された人の好みを前記制御ユニットにより検索することを特徴とする請求項１記載のシステム。
  8. 前記制御ユニットとインターフェースするメモリを備え、該メモリは前記１以上の領域をサービスする１以上のサービス提供要素に関する前記一群の既知の人の各人の好みは前記制御ユニットとインターフェースする外部入力手段により手動的に入力することを特徴とする請求項７記載のシステム。
  9. 前記制御ユニットとインターフェースするメモリを備え、該メモリは前記１以上の領域をサービスする１以上のサービス提供要素に関する前記一群の既知の人の各人の好みは制御ユニットにより学習モードで発生されることを特徴とする請求項７記載のシステム。
  10. 前記サービス提供要素は、ライト、暖房装置及びオーディオシステムからなる群から選ばれることを特徴とする請求項１記載のシステム。
  11. 前記領域と関連する前記サービス提供要素の１つは暖房装置であり、前記暖房装置に対して発生される前記制御信号は１つの領域にいる既知の人の少なくとも１人の室温の好みを反映することを特徴とする請求項１記載のシステム。
  12. 前記領域と関連する前記サービス提供要素の１つはライトであり、前記ライトに対して発生される前記制御信号は１つの領域にいる既知の人の少なくとも１人の照明の好みを反映することを特徴とする請求項１記載のシステム。
  13. 前記領域と関連する前記サービス提供要素の１つはオーディオシステムであり、前記オーディオシステムであり、前記オーディオシステムに対して発生される前記制御信号は１つの領域にいる既知の人の少なくとも１人の音楽タイプの好みを反映することを特徴とする請求項１記載のシステム。
  14. 前記局所環境の前記領域の少なくとも１つは、前記局所環境の１つの部屋であることを特徴とする請求項１記載のシステム。
  15. 前記局所環境の前記領域の少なくとも１つは、前記１以上のサービス提供要素の１つによりカバーされる領域であることを特徴とする請求項１記載のシステム。
  16. 局所環境の領域内に位置するサービス提供要素を制御する方法であって、該方法は、
    (a)前記領域と関連する画像を収集するステップと、
    (b)前記領域と関連する収集画像から前記領域内の既知の人を、前記局所環境と関連する一群の既知の人の中から識別するステップと、
    (c)前記サービス提供要素に関する識別された人の好みを検索するステップと、
    (d)前記サービス提供要素を前記識別された人の検索された好みに従って制御するステップと、
    を備えることを特徴とする局所環境制御方法。
  17. 前記収集画像から前記領域内の既知の人を識別するステップは、収集画像を画像認識ソフトウエアで処理するステップを含むことを特徴とする請求項１６記載の方法。
  18. 前記識別された人の好みを検査するステップは、識別ステップで決定されたアイデンティティを用いてメモリから前記制御ユニットは画像認識ソフトウエアを前記受信画像に適用して前記領域にいる既知の人を識別することを特徴とする請求項１６記載の方法。
  19. 前記サービス提供要素を識別された人の検索された好みに従って制御するステップは、前記好みを反映する前記サービス提供要素に対する制御信号を発生し、該制御信号を前記サービス提供要素に送信することを特徴とする請求項１６記載の方法。
  20. 前記ステップ(c)及び(d)を前記領域内の１以上の追加のサービス提供要素に対して実行することを特徴とする請求項１６記載の方法。
  21. 前記ステップ(a)−(d)を前記局所環境内の１以上の追加の領域に対して実行することを特徴とする請求項１６記載の方法。
  22. 局所環境の１以上の領域と関連する画像入力を受信するソフトウエアパッケージであって、前記1以上の各領域は１以上のサービス提供要素によりサービスされ、前記ソフトウエアは、前記画像入力を、前期局所環境と関連する一群の既知の人を含むデータとともに処理して前期領域内にいる１以上の既知の人を識別し、１以上の既知の人が識別された前記領域に対して、メモリにアクセスして前記領域と関連する前記サービス提供要素の少なくとも１つに対する前記領域にいる既知の人の少なくとも１人の好みを検索し、検索した好みに基づいて前記領域と関連する前記サービス提供要素の少なくとも１つに対する制御信号を発生することを特徴とするソフトウエアパッケージ。
JP2004512347A 2002-06-07 2003-05-19 局所環境の環境性を局所環境内の場所及び人の好みに適応させるシステム及び方法 Pending JP2005529548A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/165,286 US7298871B2 (en) 2002-06-07 2002-06-07 System and method for adapting the ambience of a local environment according to the location and personal preferences of people in the local environment
PCT/IB2003/002185 WO2003105406A1 (en) 2002-06-07 2003-05-19 System and method for adapting the ambience of a local environment according to the location and personal preferences of people in the local environment

Publications (1)

Publication Number Publication Date
JP2005529548A true JP2005529548A (ja) 2005-09-29

Family

ID=29710406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004512347A Pending JP2005529548A (ja) 2002-06-07 2003-05-19 局所環境の環境性を局所環境内の場所及び人の好みに適応させるシステム及び方法

Country Status (6)

Country Link
US (1) US7298871B2 (ja)
JP (1) JP2005529548A (ja)
KR (1) KR100978011B1 (ja)
CN (1) CN1659826A (ja)
AU (1) AU2003228056A1 (ja)
WO (1) WO2003105406A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269891A (ja) * 2004-03-15 2005-09-29 Agilent Technol Inc 目の検出を利用した電子装置の制御および電力管理
JP2006067417A (ja) * 2004-08-30 2006-03-09 Matsushita Electric Ind Co Ltd ネットワーク制御端末機器
JP2008271358A (ja) * 2007-04-24 2008-11-06 Toyota Motor Corp 機器制御システム
JP2010266188A (ja) * 2009-04-15 2010-11-25 Panasonic Corp 空調システム
JP2011515736A (ja) * 2008-02-27 2011-05-19 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法
WO2012108012A1 (ja) * 2011-02-09 2012-08-16 三菱電機株式会社 ビル設備管理装置
WO2012141093A1 (ja) * 2011-04-15 2012-10-18 シャープ株式会社 ネットワークシステム、機器の制御方法、およびコントローラ
WO2014076919A1 (ja) * 2012-11-15 2014-05-22 パナソニック株式会社 情報提供方法及び情報提供装置
JP2014535082A (ja) * 2011-08-31 2014-12-25 マイクロソフト コーポレーション センティエント環境
JP2015017728A (ja) * 2013-07-10 2015-01-29 日立アプライアンス株式会社 空気調和機
JP2015087102A (ja) * 2013-09-26 2015-05-07 株式会社リコー 機器管理システム、機器管理装置、制御方法及びプログラム
JP2019207604A (ja) * 2018-05-30 2019-12-05 Kddi株式会社 行動パターンからの乖離度に基づいて感情を推定可能なプログラム、装置及び方法
JP2020005088A (ja) * 2018-06-27 2020-01-09 株式会社日立国際電気 放送用調整装置及び放送用調整システム
WO2021028967A1 (ja) * 2019-08-09 2021-02-18 三菱電機株式会社 制御システム、サーバ、機器、制御方法およびプログラム
US10936912B2 (en) 2018-11-01 2021-03-02 International Business Machines Corporation Image classification using a mask image and neural networks

Families Citing this family (150)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7113918B1 (en) * 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7216002B1 (en) * 2001-10-22 2007-05-08 Gateway Inc. System and method for group content selection
US7024256B2 (en) * 2002-06-27 2006-04-04 Openpeak Inc. Method, system, and computer program product for automatically managing components within a controlled environment
US8042049B2 (en) 2003-11-03 2011-10-18 Openpeak Inc. User interface for multi-device control
JP3954087B2 (ja) * 2004-02-27 2007-08-08 松下電器産業株式会社 機器制御方法および機器制御装置
NL1025661C2 (nl) * 2004-03-08 2005-09-12 Univ Delft Tech Interface voor het onderhouden van man-machinecommunicatie.
US11811845B2 (en) 2004-03-16 2023-11-07 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US10237237B2 (en) 2007-06-12 2019-03-19 Icontrol Networks, Inc. Communication protocols in integrated systems
US10339791B2 (en) 2007-06-12 2019-07-02 Icontrol Networks, Inc. Security network integrated with premise security system
US9729342B2 (en) 2010-12-20 2017-08-08 Icontrol Networks, Inc. Defining and implementing sensor triggered response rules
US11316958B2 (en) 2008-08-11 2022-04-26 Icontrol Networks, Inc. Virtual device systems and methods
US11343380B2 (en) 2004-03-16 2022-05-24 Icontrol Networks, Inc. Premises system automation
US11277465B2 (en) 2004-03-16 2022-03-15 Icontrol Networks, Inc. Generating risk profile using data of home monitoring and security system
US10721087B2 (en) 2005-03-16 2020-07-21 Icontrol Networks, Inc. Method for networked touchscreen with integrated interfaces
US20160065414A1 (en) 2013-06-27 2016-03-03 Ken Sundermeyer Control system user interface
US10142392B2 (en) 2007-01-24 2018-11-27 Icontrol Networks, Inc. Methods and systems for improved system performance
US11368429B2 (en) 2004-03-16 2022-06-21 Icontrol Networks, Inc. Premises management configuration and control
US20170118037A1 (en) 2008-08-11 2017-04-27 Icontrol Networks, Inc. Integrated cloud system for premises automation
US10127802B2 (en) 2010-09-28 2018-11-13 Icontrol Networks, Inc. Integrated security system with parallel processing architecture
US11244545B2 (en) 2004-03-16 2022-02-08 Icontrol Networks, Inc. Cross-client sensor user interface in an integrated security network
US11916870B2 (en) 2004-03-16 2024-02-27 Icontrol Networks, Inc. Gateway registry methods and systems
US20090077623A1 (en) 2005-03-16 2009-03-19 Marc Baum Security Network Integrating Security System and Network Devices
EP1738540B1 (en) * 2004-03-16 2017-10-04 Icontrol Networks, Inc. Premises management system
US11582065B2 (en) 2007-06-12 2023-02-14 Icontrol Networks, Inc. Systems and methods for device communication
US10522026B2 (en) 2008-08-11 2019-12-31 Icontrol Networks, Inc. Automation system user interface with three-dimensional display
US11677577B2 (en) 2004-03-16 2023-06-13 Icontrol Networks, Inc. Premises system management using status signal
US11489812B2 (en) 2004-03-16 2022-11-01 Icontrol Networks, Inc. Forming a security network including integrated security system components and network devices
ATE524783T1 (de) * 2004-03-27 2011-09-15 Harvey Koselka Autonomer persönlicher dienstroboter
US20050235329A1 (en) * 2004-04-19 2005-10-20 Broadcom Corporation Systems and methods for integrated control within a home entertainment system
US8560972B2 (en) * 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US11496568B2 (en) 2005-03-16 2022-11-08 Icontrol Networks, Inc. Security system with networked touchscreen
US20170180198A1 (en) 2008-08-11 2017-06-22 Marc Baum Forming a security network including integrated security system components
US11700142B2 (en) 2005-03-16 2023-07-11 Icontrol Networks, Inc. Security network integrating security system and network devices
US10999254B2 (en) 2005-03-16 2021-05-04 Icontrol Networks, Inc. System for data routing in networks
US20120324566A1 (en) 2005-03-16 2012-12-20 Marc Baum Takeover Processes In Security Network Integrated With Premise Security System
US11615697B2 (en) 2005-03-16 2023-03-28 Icontrol Networks, Inc. Premise management systems and methods
US20110128378A1 (en) 2005-03-16 2011-06-02 Reza Raji Modular Electronic Display Platform
US8078290B2 (en) * 2005-12-13 2011-12-13 Panasonic Electric Works Co., Ltd. System and methods for controlling embedded devices using device style sheets
EP1966934A2 (en) * 2005-12-22 2008-09-10 Koninklijke Philips Electronics N.V. Environment adaptation for schizophrenic user
US7840567B2 (en) * 2006-01-17 2010-11-23 International Business Machines Corporation Method and apparatus for deriving optimal physical space and ambiance conditions
JP4162015B2 (ja) * 2006-05-18 2008-10-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10079839B1 (en) 2007-06-12 2018-09-18 Icontrol Networks, Inc. Activation of gateway device
US7948189B2 (en) * 2006-09-26 2011-05-24 Siemens Industry, Inc. Application of microsystems for lighting control
US11706279B2 (en) 2007-01-24 2023-07-18 Icontrol Networks, Inc. Methods and systems for data communication
US7633385B2 (en) 2007-02-28 2009-12-15 Ucontrol, Inc. Method and system for communicating with and controlling an alarm system from a remote server
US8135013B2 (en) 2007-04-06 2012-03-13 International Business Machines Corporation Internet protocol switch and use of the switch for switching a frame
US8705549B2 (en) 2007-04-06 2014-04-22 International Business Machines Corporation Structure and implementation of universal virtual private networks
US8089967B2 (en) 2007-04-06 2012-01-03 International Business Machines Corporation Modification of a switching table of an internet protocol switch
US8144709B2 (en) 2007-04-06 2012-03-27 International Business Machines Corporation Method, system and computer processing an IP packet, routing a structured data carrier, preventing broadcast storms, load-balancing and converting a full broadcast IP packet
US8451986B2 (en) 2007-04-23 2013-05-28 Icontrol Networks, Inc. Method and system for automatically providing alternate network access for telecommunications
US11601810B2 (en) 2007-06-12 2023-03-07 Icontrol Networks, Inc. Communication protocols in integrated systems
US11423756B2 (en) 2007-06-12 2022-08-23 Icontrol Networks, Inc. Communication protocols in integrated systems
US10523689B2 (en) 2007-06-12 2019-12-31 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US11237714B2 (en) 2007-06-12 2022-02-01 Control Networks, Inc. Control system user interface
US11316753B2 (en) 2007-06-12 2022-04-26 Icontrol Networks, Inc. Communication protocols in integrated systems
US11646907B2 (en) 2007-06-12 2023-05-09 Icontrol Networks, Inc. Communication protocols in integrated systems
US11218878B2 (en) 2007-06-12 2022-01-04 Icontrol Networks, Inc. Communication protocols in integrated systems
US11212192B2 (en) 2007-06-12 2021-12-28 Icontrol Networks, Inc. Communication protocols in integrated systems
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US11831462B2 (en) 2007-08-24 2023-11-28 Icontrol Networks, Inc. Controlling data routing in premises management systems
WO2009047678A2 (en) * 2007-10-12 2009-04-16 Ambx Uk Limited A method of operating a set of devices, a real-world representation system and a detection device
US8943425B2 (en) * 2007-10-30 2015-01-27 Google Technology Holdings LLC Method and apparatus for context-aware delivery of informational content on ambient displays
US9986293B2 (en) * 2007-11-21 2018-05-29 Qualcomm Incorporated Device access control
WO2009067670A1 (en) * 2007-11-21 2009-05-28 Gesturetek, Inc. Media preferences
US7864072B2 (en) 2007-12-11 2011-01-04 International Business Machines Corporation System and method for automatically adjusting traffic light
US11916928B2 (en) 2008-01-24 2024-02-27 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
FR2928809B1 (fr) * 2008-03-17 2012-06-29 Antoine Doublet Systeme interactif et procede de commande d'eclairages et/ou de diffusion d'images
US20090319901A1 (en) * 2008-06-20 2009-12-24 Brian David Johnson Aggregration of multiple media types of user consumption habits and device preferences
US20170185278A1 (en) 2008-08-11 2017-06-29 Icontrol Networks, Inc. Automation system user interface
US8154428B2 (en) * 2008-07-15 2012-04-10 International Business Machines Corporation Gesture recognition control of electronic devices using a multi-touch device
US11758026B2 (en) 2008-08-11 2023-09-12 Icontrol Networks, Inc. Virtual device systems and methods
US11258625B2 (en) 2008-08-11 2022-02-22 Icontrol Networks, Inc. Mobile premises automation platform
US11792036B2 (en) 2008-08-11 2023-10-17 Icontrol Networks, Inc. Mobile premises automation platform
US11729255B2 (en) 2008-08-11 2023-08-15 Icontrol Networks, Inc. Integrated cloud system with lightweight gateway for premises automation
US10530839B2 (en) 2008-08-11 2020-01-07 Icontrol Networks, Inc. Integrated cloud system with lightweight gateway for premises automation
US8638211B2 (en) 2009-04-30 2014-01-28 Icontrol Networks, Inc. Configurable controller and interface for home SMA, phone and multimedia
EP2441315B1 (en) * 2009-06-09 2014-11-19 Koninklijke Philips N.V. Systems and apparatus for automatically deriving and modifying personal preferences applicable to multiple controllable lighting networks
JP5883783B2 (ja) * 2009-06-30 2016-03-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 制御可能な照明ネットワークとのインタラクションを管理するシステム及び方法
EP2520134B1 (en) 2009-10-08 2015-03-25 Delos Living, LLC Led lighting system
US20110162004A1 (en) * 2009-12-30 2011-06-30 Cevat Yerli Sensor device for a computer-controlled video entertainment system
US9135419B2 (en) * 2010-02-01 2015-09-15 Bank Of America Corporation Environmental adjustments using biometrics
JP5085670B2 (ja) * 2010-02-24 2012-11-28 株式会社東芝 空調制御システムおよび空調制御方法
US8230344B2 (en) 2010-04-16 2012-07-24 Canon Kabushiki Kaisha Multimedia presentation creation
US20110313579A1 (en) * 2010-05-25 2011-12-22 Cheuk Ting Ling Method for Energy Saving On Electrical Systems Using Habit Oriented Control
US20140142773A1 (en) * 2010-05-25 2014-05-22 Cheuk Ting Ling Methods for Energy Saving On Electrical Systems Using Habit Oriented Control
US10335060B1 (en) 2010-06-19 2019-07-02 Dp Technologies, Inc. Method and apparatus to provide monitoring
WO2012010109A1 (de) * 2010-07-22 2012-01-26 Gira Giersiepen Gmbh & Co. Kg System und verfahren zum verarbeiten von visueller, auditiver, olfaktorischer und/oder haptischer information
US8836467B1 (en) 2010-09-28 2014-09-16 Icontrol Networks, Inc. Method, system and apparatus for automated reporting of account and sensor zone information to a central station
US11750414B2 (en) 2010-12-16 2023-09-05 Icontrol Networks, Inc. Bidirectional security sensor communication for a premises security system
US9147337B2 (en) 2010-12-17 2015-09-29 Icontrol Networks, Inc. Method and system for logging security event data
US9880531B2 (en) * 2011-10-07 2018-01-30 Koninklijke Philips N.V. Adaptive control of ambience settings
WO2013088205A1 (es) * 2011-12-14 2013-06-20 Amaya Urrego Cesar Eduardo Sistema de automatizacion para las edificaciones basado en reconocimiento y activacion por medio del movimiento del cuerpo humano
US9336456B2 (en) 2012-01-25 2016-05-10 Bruno Delean Systems, methods and computer program products for identifying objects in video data
US9459597B2 (en) 2012-03-06 2016-10-04 DPTechnologies, Inc. Method and apparatus to provide an improved sleep experience by selecting an optimal next sleep state for a user
KR101934821B1 (ko) * 2012-03-08 2019-01-03 삼성전자주식회사 홈 네트워크를 이용한 건강관리 시스템 및 동작 방법
US10448161B2 (en) 2012-04-02 2019-10-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field
WO2013182982A2 (en) 2012-06-04 2013-12-12 Koninklijke Philips N.V. A method for providing privacy protection in networked lighting control systems
US10678279B2 (en) 2012-08-01 2020-06-09 Tendril Oe, Llc Optimization of energy use through model-based simulations
US9473582B1 (en) 2012-08-11 2016-10-18 Federico Fraccaroli Method, system, and apparatus for providing a mediated sensory experience to users positioned in a shared location
US11184448B2 (en) 2012-08-11 2021-11-23 Federico Fraccaroli Method, system and apparatus for interacting with a digital work
US10419556B2 (en) 2012-08-11 2019-09-17 Federico Fraccaroli Method, system and apparatus for interacting with a digital work that is performed in a predetermined location
US9715242B2 (en) 2012-08-28 2017-07-25 Delos Living Llc Systems, methods and articles for enhancing wellness associated with habitable environments
CN104718724B (zh) 2012-10-17 2019-07-23 飞利浦灯具控股公司 准许对共享的系统进行控制
JP2014093204A (ja) * 2012-11-05 2014-05-19 Sony Corp 音響照明装置およびプログラム
US9423779B2 (en) * 2013-02-06 2016-08-23 Tendril Networks, Inc. Dynamically adaptive personalized smart energy profiles
US9310815B2 (en) 2013-02-12 2016-04-12 Tendril Networks, Inc. Setpoint adjustment-based duty cycling
US9213896B2 (en) * 2013-03-05 2015-12-15 Mitsubishi Electric Research Laboratories, Inc. Method for detecting and tracking objects in image sequences of scenes acquired by a stationary camera
US10839665B2 (en) 2013-03-15 2020-11-17 Hayward Industries, Inc. Underwater lighting system with bather detection circuitry
US20140265842A1 (en) * 2013-03-15 2014-09-18 Hayward Industries, Inc. Underwater Lighting System With Bather Detection Circuitry
US20140373074A1 (en) 2013-06-12 2014-12-18 Vivint, Inc. Set top box automation
CA2854771A1 (en) * 2013-06-21 2014-12-21 J2 Light Inc. Lighting system and method to control a lighting system
CN104281113A (zh) * 2013-07-12 2015-01-14 李文嵩 智能住宅系统及其运作方法
US9638461B2 (en) 2014-02-17 2017-05-02 Haier Us Appliance Solutions, Inc. Method for operating a refrigerator appliance
EP3754588B1 (en) 2014-02-28 2023-08-16 Delos Living LLC Systems, methods, and articles for enhancing wellness associated with habitable environments
US11405463B2 (en) 2014-03-03 2022-08-02 Icontrol Networks, Inc. Media content management
CN103900223B (zh) * 2014-03-25 2016-06-15 四川长虹电器股份有限公司 一种信息处理方法及空调
WO2015157628A2 (en) * 2014-04-11 2015-10-15 Innovaci Inc. Method for environmental control and monitoring
US9503623B2 (en) 2014-06-03 2016-11-22 Applied Minds, Llc Color night vision cameras, systems, and methods thereof
CN107251031A (zh) 2015-01-13 2017-10-13 戴尔斯生活有限责任公司 用于监测和增强人体健康的系统、方法和制品
US11883188B1 (en) 2015-03-16 2024-01-30 Dp Technologies, Inc. Sleep surface sensor based sleep analysis system
EP3308239B1 (en) 2015-06-12 2020-08-05 University of Maryland, College Park Comfort units and systems, methods, and devices for use thereof
DE102015221746A1 (de) * 2015-11-05 2017-05-11 Zumtobel Lighting Gmbh Beleuchtungssystem mit personenbezogener Steuerung
TW201721473A (zh) * 2015-12-11 2017-06-16 富奇想股份有限公司 智能系統
WO2017153308A1 (en) 2016-03-07 2017-09-14 Philips Lighting Holding B.V. Lighting system
WO2017173406A1 (en) 2016-04-01 2017-10-05 Tendril Networks, Inc. Orchestrated energy
US11338107B2 (en) 2016-08-24 2022-05-24 Delos Living Llc Systems, methods and articles for enhancing wellness associated with habitable environments
AT15661U1 (de) * 2016-08-30 2018-04-15 Tridonic Gmbh & Co Kg Vorrichtung zur Aufnahme von fixen oder bewegten Bildern
CN107038462B (zh) * 2017-04-14 2020-12-15 广州机智云物联网科技有限公司 设备控制操作方法及系统
US10303932B2 (en) * 2017-07-05 2019-05-28 Midea Group Co., Ltd. Face recognition in a residential environment
WO2019046580A1 (en) 2017-08-30 2019-03-07 Delos Living Llc SYSTEMS, METHODS AND ARTICLES FOR EVALUATING AND / OR IMPROVING HEALTH AND WELL-BEING
CN107632814A (zh) * 2017-09-25 2018-01-26 珠海格力电器股份有限公司 音频信息的播放方法、装置和系统、存储介质、处理器
JP2019126001A (ja) * 2018-01-19 2019-07-25 ヤマハ株式会社 スピーカ制御装置および信号供給装置
CN108388139A (zh) * 2018-02-02 2018-08-10 宁夏翔羚科技有限公司 智能设备控制方法、装置及系统
EP3578887A1 (en) * 2018-06-07 2019-12-11 Koninklijke Philips N.V. An air quality control system and method
WO2020055872A1 (en) 2018-09-14 2020-03-19 Delos Living Llc Systems and methods for air remediation
US11471097B1 (en) 2018-10-15 2022-10-18 Dp Technologies, Inc. Hardware sensor system for improved sleep detection
JP7012875B2 (ja) * 2018-12-03 2022-01-28 三菱電機株式会社 設備機器制御装置および設備機器制御方法
WO2020176503A1 (en) 2019-02-26 2020-09-03 Delos Living Llc Method and apparatus for lighting in an office environment
US11898898B2 (en) 2019-03-25 2024-02-13 Delos Living Llc Systems and methods for acoustic monitoring
WO2020212644A1 (en) * 2019-04-18 2020-10-22 Tampere University Foundation Sr A home automation system
US11411762B2 (en) 2019-04-30 2022-08-09 Pixart Imaging Inc. Smart home control system
US11817194B2 (en) 2019-04-30 2023-11-14 Pixart Imaging Inc. Smart control system
US11381418B2 (en) * 2019-11-14 2022-07-05 Pixart Imaging Inc. Smart home control system
US11334042B2 (en) 2019-04-30 2022-05-17 Pixart Imaging Inc. Smart home control system for monitoring leaving and abnormal of family members
US11149975B2 (en) 2019-07-24 2021-10-19 Uplight, Inc. Adaptive thermal comfort learning for optimized HVAC control
KR20210074792A (ko) 2019-12-12 2021-06-22 삼성전자주식회사 공기 조화 장치 및 그 제어 방법
CN111023427B (zh) * 2019-12-30 2022-02-01 宁波奥克斯电气股份有限公司 一种空调的控制方法、装置、空调器及存储介质
CN113225235A (zh) * 2020-02-05 2021-08-06 洪宜邦 事件管控装置及事件管控方法
CN111487889A (zh) * 2020-05-08 2020-08-04 北京金山云网络技术有限公司 控制智能设备的方法、装置、设备、控制系统及存储介质
GB2612786A (en) * 2021-11-10 2023-05-17 Dyson Technology Ltd Air purifier

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835616A (en) 1994-02-18 1998-11-10 University Of Central Florida Face detection using templates
US5729471A (en) 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US6400835B1 (en) * 1996-05-15 2002-06-04 Jerome H. Lemelson Taillight mounted vehicle security system employing facial recognition using a reflected image
NO302206B1 (no) 1996-06-05 1998-02-02 Kjell Oevreboe Temperatur- og tidsstyring av elektrisk drevne varmeinnretninger
US6548967B1 (en) * 1997-08-26 2003-04-15 Color Kinetics, Inc. Universal lighting network methods and systems
US6223992B1 (en) 1997-12-11 2001-05-01 Rinnai Kabushiki Kaisha Air-conditioning system with timer device
KR19990053611A (ko) * 1997-12-24 1999-07-15 전주범 가정자동화시스템의경보장치및방법
US20030034874A1 (en) * 1998-10-29 2003-02-20 W. Stephen G. Mann System or architecture for secure mail transport and verifiable delivery, or apparatus for mail security
US6567116B1 (en) 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
EP1057302A1 (en) * 1998-12-29 2000-12-06 Koninklijke Philips Electronics N.V. Home control system with distributed network devices
KR19990083803A (ko) * 1999-08-09 1999-12-06 박유희 가정자동화시스템
US6400956B1 (en) 1999-11-15 2002-06-04 Lucent Technologies Inc. Method and apparatus for a wireless telecommunication system that provides location-based action services
AU2633001A (en) 2000-01-07 2001-07-24 Invensys Controls Plc Building control
WO2001059622A2 (en) 2000-02-08 2001-08-16 Sony Corporation Of America Method, system and devices for wireless data storage on a server and data retrieval
NL1014792C2 (nl) 2000-03-30 2001-10-02 Univ Delft Tech Interface-eenheid.
US6625503B1 (en) * 2000-06-09 2003-09-23 Motorola, Inc. Personal preference information communication method and apparatus
US6934917B2 (en) * 2001-04-20 2005-08-23 Koninklijke Philips Electronics, N.V. Automatic selection of favorite media selections of a user of a media presentation device

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269891A (ja) * 2004-03-15 2005-09-29 Agilent Technol Inc 目の検出を利用した電子装置の制御および電力管理
JP2006067417A (ja) * 2004-08-30 2006-03-09 Matsushita Electric Ind Co Ltd ネットワーク制御端末機器
JP2008271358A (ja) * 2007-04-24 2008-11-06 Toyota Motor Corp 機器制御システム
JP2011515736A (ja) * 2008-02-27 2011-05-19 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法
JP2010266188A (ja) * 2009-04-15 2010-11-25 Panasonic Corp 空調システム
WO2012108012A1 (ja) * 2011-02-09 2012-08-16 三菱電機株式会社 ビル設備管理装置
WO2012141093A1 (ja) * 2011-04-15 2012-10-18 シャープ株式会社 ネットワークシステム、機器の制御方法、およびコントローラ
JP2012226435A (ja) * 2011-04-15 2012-11-15 Sharp Corp ネットワークシステム、機器の制御方法、およびコントローラ
JP2014535082A (ja) * 2011-08-31 2014-12-25 マイクロソフト コーポレーション センティエント環境
JPWO2014076919A1 (ja) * 2012-11-15 2017-01-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提供方法及び情報提供装置
JP2020014259A (ja) * 2012-11-15 2020-01-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提供方法及び情報提供装置
US11711235B2 (en) 2012-11-15 2023-07-25 Panasonic Intellectual Property Corporation Of America Information providing method and information providing apparatus
WO2014076919A1 (ja) * 2012-11-15 2014-05-22 パナソニック株式会社 情報提供方法及び情報提供装置
US9946273B2 (en) 2012-11-15 2018-04-17 Panasonic Intellectual Property Corporation Of America Information providing method and information providing apparatus
US11411764B2 (en) 2012-11-15 2022-08-09 Panasonic Intellectual Property Corporation Of America Information providing method and information providing apparatus
US10809748B2 (en) 2012-11-15 2020-10-20 Panasonic Intellectual Property Corporation Of America Information providing method and information providing apparatus
JP2015017728A (ja) * 2013-07-10 2015-01-29 日立アプライアンス株式会社 空気調和機
JP2015087102A (ja) * 2013-09-26 2015-05-07 株式会社リコー 機器管理システム、機器管理装置、制御方法及びプログラム
JP2019207604A (ja) * 2018-05-30 2019-12-05 Kddi株式会社 行動パターンからの乖離度に基づいて感情を推定可能なプログラム、装置及び方法
JP2020005088A (ja) * 2018-06-27 2020-01-09 株式会社日立国際電気 放送用調整装置及び放送用調整システム
US10936912B2 (en) 2018-11-01 2021-03-02 International Business Machines Corporation Image classification using a mask image and neural networks
US11586851B2 (en) 2018-11-01 2023-02-21 International Business Machines Corporation Image classification using a mask image and neural networks
WO2021028967A1 (ja) * 2019-08-09 2021-02-18 三菱電機株式会社 制御システム、サーバ、機器、制御方法およびプログラム
JPWO2021028967A1 (ja) * 2019-08-09 2021-02-18

Also Published As

Publication number Publication date
AU2003228056A1 (en) 2003-12-22
KR100978011B1 (ko) 2010-08-25
CN1659826A (zh) 2005-08-24
KR20050010866A (ko) 2005-01-28
US20030227439A1 (en) 2003-12-11
US7298871B2 (en) 2007-11-20
WO2003105406A1 (en) 2003-12-18

Similar Documents

Publication Publication Date Title
JP2005529548A (ja) 局所環境の環境性を局所環境内の場所及び人の好みに適応させるシステム及び方法
US11710387B2 (en) Systems and methods of detecting and responding to a visitor to a smart home environment
US11356643B2 (en) Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
EP3637243B1 (en) Customized interface based on vocal input
US6842510B2 (en) Method of and apparatus for controlling devices
US11243502B2 (en) Interactive environmental controller
US20180323996A1 (en) Automatic generation of scenes using an assistant device
US11893795B2 (en) Interacting with visitors of a connected home environment
CN112051743A (zh) 设备控制方法、冲突处理方法、相应的装置及电子设备
US11303955B2 (en) Video integration with home assistant
EP3888344B1 (en) Methods and systems for colorizing infrared images
CN111025932B (zh) 基于边缘计算的多住宅情景共享方法和系统
WO2023286458A1 (ja) 電子機器制御装置、通信端末および電子機器
CN118102556A (zh) 全屋智能灯光照明无感控制方法及相关装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060516

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060829

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090324

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090818

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100202