JP2023164723A - 使用者の行動パターンを分析して空気調和機の動作を制御する方法、及び空気調和機 - Google Patents

使用者の行動パターンを分析して空気調和機の動作を制御する方法、及び空気調和機 Download PDF

Info

Publication number
JP2023164723A
JP2023164723A JP2023158199A JP2023158199A JP2023164723A JP 2023164723 A JP2023164723 A JP 2023164723A JP 2023158199 A JP2023158199 A JP 2023158199A JP 2023158199 A JP2023158199 A JP 2023158199A JP 2023164723 A JP2023164723 A JP 2023164723A
Authority
JP
Japan
Prior art keywords
air conditioner
image
control unit
user
air
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023158199A
Other languages
English (en)
Inventor
ソン モク ファン
Sung Mok Hwang
サン ユン キム
Sang Yun Kim
チン オク キム
Jin Ok Kim
ユン シク パク
Yun Sik Park
タユン ハン
dayun Han
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to JP2023158199A priority Critical patent/JP2023164723A/ja
Publication of JP2023164723A publication Critical patent/JP2023164723A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/74—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity
    • F24F11/77—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity by controlling the speed of ventilators
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F24F11/65—Electronic processing for selecting an operating mode
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F1/00—Room units for air-conditioning, e.g. separate or self-contained units or units receiving primary air from a central station
    • F24F1/0007—Indoor units, e.g. fan coil units
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/74—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/79—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling the direction of the supplied air
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/80—Control systems characterised by their outputs; Constructional details thereof for controlling the temperature of the supplied air
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00—Control inputs relating to air properties
    • F24F2110/10—Temperature
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00—Control inputs relating to air properties
    • F24F2110/20—Humidity
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00—Control inputs relating to air properties
    • F24F2110/30—Velocity
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00—Control inputs relating to users or occupants
    • F24F2120/10—Occupancy
    • F24F2120/12—Position of occupants
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00—Control inputs relating to users or occupants
    • F24F2120/10—Occupancy
    • F24F2120/14—Activity of occupants

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Fluid Mechanics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Air Conditioning Control Device (AREA)
  • Image Analysis (AREA)

Abstract

【課題】空気調和機の動作を制御する方法、及び空気調和機の提供。【解決手段】本発明は、使用者の行動パターンを分析して空気調和機の動作を制御する方法、及び空気調和機に関するものであって、本発明の一実施形態による使用者の行動パターンを分析して動作を制御する空気調和機は、空気を吐出する送風部、空気調和機の室内機の配置された空間のイメージを獲得するカメラ部、及びカメラ部の獲得したイメージから特徴を抽出してイメージディスクリプションを生成し、イメージディスクリプションに対応して生成されたパラメータを用いて空気調和機を制御する制御部を含む。【選択図】図３

Description

本発明は、使用者の行動パターンを分析してエアコンの動作を制御する方法、及びエアコンに関する技術である。
空気調和機（又はエア・コンディショナー、又は略してエアコン）は、快適な室内環境をつくるために室内へ冷温の空気を吐出して室内温度を調節し、室内空気を浄化させることで、より快適な室内環境を人間に提供するために設置される。
一般的に空気調和機は、室内に設置される室内機と、圧縮機及び熱交換器などで構成されて室内機へ冷媒を供給する室外機とを含む。
一方、空気調和機は、室内機及び室外機が分離して制御され得る。また、空気調和機は、室外機に少なくとも一つの室内機が連結され得、要請される運転状態に応じて、室内機へ冷媒を供給して冷房又は暖房モードで運転される。
前述した空気調和機は、使用者及び空間の特性によって気流と温度を制御する。ところが、使用者が毎度空気調和機を制御するのは面倒であるため、様々な方式に基づいて空気調和機の自動動作を支援する技術の開発が要められる。
したがって、使用者が空気調和機を制御しなくても、空気調和機が使用者に適した温度と風速又は風向の空気を提供する技術について考察する。
前述した問題点を解決するために本発明は、空気調和機が使用者をイメージとして識別しようとする。
本発明は、空気調和機が使用者の行動パターンに対応して動作するように空気調和機を制御しようとする。
本発明は、空気調和機周辺の人達の活動を確認して、空気調和機がこれらに好適に動作するように空気調和機を制御しようとする。
本発明の目的は、以上に言及した目的に制限されず、言及していない本発明の他の目的及び長所は、下記の説明によって理解することができ、本発明の実施形態によってより明らかに理解することができる。また、本発明の目的及び長所は、特許請求の範囲に示した手段及びその組み合わせによって実現できることが分かりやすい。
本発明の一実施形態による使用者の行動パターンを分析して動作を制御する空気調和機は、空気を吐出する送風部と、空気調和機の室内機が配置された空間のイメージを獲得するカメラ部と、カメラ部の獲得したイメージから特徴を抽出して、イメージディスクリプションを生成し、イメージディスクリプションに対応して生成されたパラメータを用いて空気調和機を制御する制御部とを含む。
本発明の一実施形態による使用者の行動パターンを分析して動作を制御する空気調和機は、イメージを入力されて特徴を抽出し、特徴ベクトルを算出するエンコーダと、特徴ベクトルを入力されて単語を含むイメージディスクリプションを算出するデコーダとを含む。
本発明の一実施形態による使用者の行動パターンを分析して動作を制御する空気調和機は、イメージディスクリプションを用いて空気調和機が吐出する空気の風速、風量、風向、温度又は空気調和機の動作モードのうちいずれか以上を制御する。
本発明の一実施形態による使用者の行動パターンを分析して動作を制御する空気調和機は、イメージにおける中心に位置した人、又はイメージにおける空気調和機に近く位置した人に対するイメージディスクリプションの重要度を高める。
本発明の一実施形態による使用者の行動パターンを分析して空気調和機の動作を制御する方法は、空気調和機のカメラ部が空気調和機の室内機の配置された空間のイメージを獲得するステップ、空気調和機の制御部がカメラ部の獲得したイメージから特徴を抽出するステップ、制御部が抽出した特徴に基づいてイメージを説明するイメージディスクリプションを生成するステップ、制御部がイメージディスクリプションに対応して生成されたパラメータを用いて空気調和機を制御するステップ、を含む。
本発明の実施形態を適用する場合、使用者の行動パターンを分析して空気調和機の動作を制御することができる。
本発明の実施形態を適用する場合、空気調和機は、イメージを獲得して、抽出されたイメージにおける人達の行動を説明する情報を算出することができる。
本発明の実施形態を適用する場合、イメージにおける確認された人達の属性や状態、服装、位置によって空気調和機は、人達に適した温度とモードで送風することができる。
本発明の効果は、前述した効果に限定されず、本発明の当業者は、本発明の構成から本発明の様々な効果を容易に想到することができる。
本発明の一実施形態による空気調和機の室内機の構成を示す正面図。 本発明の一実施形態による制御モジュールの構成を示す図面。 本発明の一実施形態によるイメージを獲得後、空気調和機の動作を制御モジュールが制御する過程を示す図面。 本発明の一実施形態によるイメージから特徴抽出を行って、ディスクリプションを生成する過程を示す図面。 本発明の一実施形態による抽出された特徴からイメージディスクリプションを生成する過程を示す図面。 本発明の一実施形態によるイメージ内の人を識別した場合、空気調和機の制御方式を示す図面。 本発明の一実施形態によるイメージディスクリプション内に識別された人の動作を分析する過程を示す図面。 本発明の一実施形態によるイメージディスクリプション内に識別された人が着た服装に応じて空気調和機が動作する過程を示す図面。 本発明の一実施形態によるイメージディスクリプションの過程を示す図面。 本発明の一実施形態による変化したイメージに重点を置いたイメージディスクリプションの過程を示す図面。
以下、図面を参照して、本発明の実施形態について、本発明の属する技術分野における通常の知識を有する者が容易に実施できるように詳説する。本発明は、色々と異なる形態で具現され得、ここに説明する実施形態に限定されない。
本発明を明確に説明するために説明と関係ない部分は略いており、全明細書における同一又は類似の構成要素に対しては同じ参照符号を付する。また、本発明の一部の実施形態を例示的な図面を参照して詳説する。各図面の構成要素に参照符号を付することにおいて、同じ構成要素に対しては、たとえ他の図面上に示されても、可能な限り同じ符号を有し得る。また、本発明の説明において、係る公知の構成又は機能に対する具体的な説明が本発明の要旨を曖昧にすると判断される場合には、その詳細な説明を省略することができる。
本発明の構成要素を説明するにあたって、第１、第２、Ａ、Ｂ、（ａ）、（ｂ）などの用語を使うことができる。かかる用語は、その構成要素を他の構成要素と区別するためであり、その用語によって該構成要素の本質、順番、順序又は個数などが限定されるものではない。ある構成要素が他の構成要素に「連結」、「結合」又は「接続」すると記載されている場合、その構成要素は、その他の構成要素に直接に連結されるか又は接続され得るが、各構成要素の間に他の構成要素が「介在」するか、各構成要素が他の構成要素を介して「連結」、「結合」又は「接続」され得ると理解しなければならない。
また、本発明の具現において、説明の便宜のため構成要素を細分化して説明することができるが、これら構成要素が一つの装置又はモジュール内に具現され得、あるいは一構成要素が複数の装置又はモジュールに分けて具現され得る。
本明細書における空気調和機を構成する構成要素として、室外機と室内機に区分する。一つの空調システムは、一以上の室外機と一以上の室内機で構成される。室外機と室内機の関係は、１：１、１：Ｎ又はＭ：１となり得る。
本発明は、冷房又は暖房を制御する諸装置に適用され得る。但し、説明の便宜のため冷房に重点を置いて説明する。暖房に適用される場合は、温度を高める過程と、高めた温度を保持するメカニズムに本発明の実施形態を適用することができる。
図１は、本発明の一実施形態による空気調和機の室内機の構成を示す正面図である。
エアコン又は空気調和機の室内機は、天井に設置される埋込型又はスタンド型であってもよい。または、壁に設置される壁掛け型であってもよく、移動可能な形態で構成され得る。図１は、様々な実施形態のうち、スタンド型室内機１を提示しているが、本発明がこれに限定されるものではない。室内機１は、別途空間に配置される室外機２と連結され得る。
空調の対象となる室内の底に立てて設置されるスタンド型空気調和機で構成され得、この場合、空気調和機は、室内の底に置かれて、空調モジュール１０を支持するベース２０をさらに含んでいてもよい。
空調モジュール１０は、ベース２０上に上げた形態で設置され得、この場合、空調モジュール１０は、室内の所定の高さで空気を吸入して空調させることができる。
空調モジュール１０は、ベース２０と分離可能にも結合され得る。また、空調モジュール１０とベース２０は、一体でも構成され得る。
空調モジュール１０は、送風部１５から空気を吐出することができる。空調モジュール１０は、前面へ空気を集中吐出することができ、実施形態によって側面又は上面など、多様な方向に配置された送風口から空気を吐出することができる。送風部１５は、制御モジュール１００の制御に基づいて風速を制御することができる。一実施形態として送風部１５は、複数のステップで構成された風速の風を吐出することができ、このために一以上の個別送風ファンを制御することができる。
より詳細に送風部１５は、室外機から提供された空気を風で吹き出して、室内空気を吸入する構成要素１１，１２を含み、これらは、空調モジュール１０に配置され得る。また、外部からは識別されないが、室内機１を制御する制御モジュール１００が室内機１内に配置され得る。説明の便宜のため図１では、点線で表して、室内機１の内部に配置されるものと表示した。
室外機２は、送風部１５の吐出する空気（風）の温度を制御する。一実施形態として室外機２の圧縮機は、気状冷媒を高温高圧の状態で圧縮して排出し、冷房空気を室内機１に提供することができる。のみならず、室外機２は、所定の熱ポンプを用いて、暖房空気を室内機１に提供することができる。室外機２が冷房又は暖房空気を室内機１に提供する方式は、多様に提示され得、本発明がこれに限定されるものではない。
図１における例示的に考察した室内機１は、室内空気の状態を測定して、設定された状態に到逹するように運転する。ところが、特定の状態に到逹する過程で、室内機が効率よく動作するためには、室内機の配置された空間での使用者の行動パターンを空気調和機が確認するのが必要である。
このため、本発明の一実施形態は、制御モジュール１００がカメラを用いて空間の映像イメージを獲得し、制御モジュール１００が現在空間内の使用者の行動パターンを分析して、使用者に適した風速／風向の気流と温度を制御し、室内機及び室外機を制御する技術を提示する。
図２は、本発明の一実施形態による制御モジュールの構成を示す。制御モジュール１００は、室内機１に配置され得、室内機１及び室外機２を制御することができる。
より詳細に、制御モジュール１００の構成要素としてカメラ部１１０、制御部１５０、通信部１８０及びインターフェース部１９０を含む。
カメラ部１１０は、空気調和機の室内機１が配置された空間のイメージを獲得する。
制御部１５０は、カメラ部１１０の獲得したイメージから特徴を抽出して、イメージディスクリプションを生成し、イメージディスクリプションに対応して生成されたパラメータを用いて空気調和機を制御する。
空気調和機を制御するという意味は、制御部１５０がイメージディスクリプションを用いて、空気調和機が吐出する空気の風速、風量、風向、温度又は空気調和機の動作モードのうちいずれか以上を制御する。その結果、空気調和機は、使用者の行動パターンを分析して動作を制御することができる。
カメラ部１１０は、映像センサーを通称する。カメラ部１１０は、空気調和機の室内機１に設置されるか、又は室内機１の設置された空間に別途配置され得る。室内機１が配置された空間のイメージを獲得する。制御部１５０は、イメージから特徴を抽出して、使用者の現状態や着用した服装、行動などを分析し、分析した結果によって空気調和機の風量、風速、温度、気流などを制御する。
制御部１５０は、イメージを入力されて特徴を抽出し、特徴ベクトルを算出するエンコーダ１５１と、特徴ベクトルを入力されて、単語を含むイメージディスクリプションを算出するデコーダ１５３とを含む。
すなわち、制御部１５０は、イメージ情報（映像情報）における使用者の行動や特徴、位置などを分析するために特徴抽出を行うエンコーダ１５１と、エンコーダを介して抽出された特徴ベクトルを用いてイメージを記述するデコーダ１５３とを含む。または、制御部１５０内にエンコーダ１５１とデコーダ１５３は、ソフトウェアモジュール又はハードウェアモジュールで一体に構成され得る。
送風部１５は、風の方向を制御することができる。例えば、送風部１５は、左側ベーンと右側ベーンで構成され得る。または、上側ベーンと下側ベーンで構成され得る。このような左右ベーン（ｖａｎｅ）は、風の左右方向を、上下ベーンは、風の距離を決定することができる。
インターフェース部１９０は、使用者が空気調和機の温度や湿度、風量や風向などを制御できるようにするものであって、ボタン式あるいはリモコン式、あるいは遠方操作などのインターフェースを提供する。また、インターフェース部１９０は、送風部１５から吐出する空気の風速、風量又は温度を変更する割り込み入力を受信することができる。
図３は、本発明の一実施形態によるイメージを獲得後、空気調和機の動作を制御モジュールが制御する過程を示す。
カメラ部１１０は、室内機１の表面に配置されて空間を撮影し、イメージを獲得する（Ｓ３１）。
また、制御部１５０は、イメージから特徴抽出（Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ）を行って、特徴ベクトル（Ｆｅａｔｕｒｅ Ｖｅｃｔｏｒ）を算出する（Ｓ３２）。制御部１５０は、マシンラーニング（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）の一種であるディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）を利用することができ、この過程で、ディープラーニングに基づく人工神経網（ニューラルネットワーク、Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＡＮＮ）である学習ネットワークを用いて特徴を抽出することができる。
これは、データに基づいて、多段階で深い水準まで行って学習するものである。ディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）は、段階を高くするほど複数のデータから核心的なデータを抽出するマシンラーニング（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）アルゴリズムの集合を示すことができる。
ディープラーニング構造は、人工神経網（ＡＮＮ）を含んでいてもよく、例えば、ディープラーニング構造は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＤＢＮ（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ）などの深層神経網（ＤＮＮ）で構成され得る。
ディープラーニングが適用された学習ネットワークは、制御部１５０又はエンコーダ１５１、デコーダ１５３などに含まれていてもよい。または、学習ネットワークは、外部のサーバに配置され得る。そして、学習ネットワークは、入力されたイメージから特徴を抽出するか特徴ベクトルを抽出する。
人工神経網（ＡＮＮ）は、入力レイヤ（Ｉｎｐｕｔ Ｌａｙｅｒ）、隠されレイヤ（Ｈｉｄｄｅｎ Ｌａｙｅｒ）及び出力レイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）を含んでいてもよい。各レイヤは、複数のノードを含み、各レイヤは次のレイヤに連結される。隣接したレイヤの間のノードは、ウエート（ｗｅｉｇｈｔ）をもって互いに連結され得る。
制御部１５０は、イメージから特徴となる構成要素を抽出し、これら構成要素を一つのベクトルで構成することができる。
Ｓ３２は、制御部１５０のエンコーダ１５１が行うことができる。デコーダ１５３は、エンコーダ１５１が抽出した特徴ベクトルを入力されて、ディスクリプション（Ｄｅｓｃｒｉｐｔｉｏｎ）に変換する（Ｓ３３）。デコーダ１５３は、変換したディスクリプションを用いて、Ｓ３１で獲得したイメージを説明するイメージディスクリプション（Ｉｍａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ）を生成する（Ｓ３４）。すなわち、デコーダ１５３は、特徴ベクトルを入力されて、イメージ内の人達の行動や特性を分析するの要するイメージディスクリプションを生成する。
また、制御部１５０は、イメージディスクリプション部分における人に関する主語、述語、目的語、前置詞句（位置分析）を介して主語が人であるか否かによってイメージを分類する（Ｓ３５）。すなわち、制御部１５０は、イメージディスクリプションに含まれた文章を分析する。分析の結果、制御部１５０は、人が主語であるかか、あるいは人がどう行動するか（述語）、または、人が他の事物とどの距離にいるか（位置、前置詞句の利用）などの情報を獲得することができる。もちろん制御部１５０は、イメージ内に人が存在するか否かも確認することができる。
その結果、制御部１５０は、イメージ内に人がいるかを確認して（Ｓ３６）、人がいないと確認したら、不在感知ロジッグで室内機１又は室外機２を制御する（Ｓ４０）。
一方、人がいる場合、制御部１５０は、前述したイメージディスクリプションに対応して動作制御パラメータを選定し（Ｓ３７）、人の位置を推正して（Ｓ３８）、室内機１又は室外機２を制御する（Ｓ３９）。一実施形態として、制御部１５０は、送風部１５０の気流（送風方向、送風力）と温度を制御することができる。
ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）は、自然語処理などに多く利用されており、時間が経つにつれて変わる時系列データ（Ｔｉｍｅ－ｓｅｒｉｅｓ ｄａｔａ）処理に効果的な構造であり、毎瞬間ごとにレイヤを積み上げて人工神経網構造を構成することができる。
ＤＢＮ（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ）は、ディープラーニング技法であるＲＢＭ（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎ Ｍａｃｈｉｎｅ）を多層に積むことで構成されるディープラーニング構造である。ＲＢＭ（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎ Ｍａｃｈｉｎｅ）学習を繰り返して、一定数のレイヤとなると、該個数のレイヤを有するＤＢＮ（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ）を構成することができる。
ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）は、特に、客体認識分野における多く使用される構造である。ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）は、人が物体を認識するとき、物体の基本的な特徴を抽出した後、脳の中で複雑な計算を経て、その結果に基づいた物体を認識するという仮定に基づいて作られた人の脳機能を模写したモデルである。
一実施形態として、制御部１５０のエンコーダ１５１は、機械学習に基づくニューラルネットワークのうちＣＮＮを使用することができる。
また、一実施形態として、制御部１５０のデコーダ１５３は、機械学習に基づくニューラルネットワークのうちＲＮＮあるいはＬＳＴＭを使用することができる。
制御部１５０は、デコーダ１５３が算出したイメージに対する記述（イメージディスクリプション）を用いて、文脈の意味に応じて気流及び温度を制御する。
図４は、本発明の一実施形態によるイメージから特徴抽出を行って、ディスクリプションを生成する過程を示す。図４の２５は、エアコンが設置された空間を撮影したイメージである。２５は、女性がソファーに座って本を読んでいる様子を撮影したイメージである。
イメージ２５が制御部のエンコーダ１５１に入力される。そして、エンコーダ１５１、例えば、ＣＮＮのようなニューラルネットワーク１５１ａは、入力されたイメージから特徴を抽出する。２５における四角形としてＴＶ、テーブル、女性の顔、ソファー、そして、本を読んでいる部分の周辺に四角形がマーキングされたことは、ＣＮＮネットワークによって特徴が抽出されたことを視覚的に表現したものである。
図５は、本発明の一実施形態による抽出された特徴におけるイメージディスクリプションを生成する過程を示す。ＣＮＮのようなニューラルネットワークがイメージから抽出した特徴は、前処理部１５１ｂ及びリニア（Ｌｉｎｅａｒ）１５１ｃを通過して、特徴ベクトルとして生成される。そして、生成された特徴ベクトルは、デコーダ１５３が入力されて、所定の単語等を出力する。
一実施形態として、デコーダ１５３の構成要素としてＲＮＮの一実施形態であるＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ）を使用することができる。ＲＮＮは、再帰的なデータ処理に好適であり、ＬＳＴＭは、入力された特徴ベクトルから単語を出力し（Ｗｖｏｃａｂｕｌａｒｙ）、該単語を再帰的に入力されて、新しい単語を出力することに適用する（Ｗｅｍｂｅｄ）。
制御部１５０は、ＬＳＴＭの各セルに貯蔵される情報の時間を増減させることができる。例えば、制御部１５０は、使用者の動きが多い場合は、各セルに貯蔵される情報の時間を短縮する。これは、制御部１５０が新しい情報に対応して、空気調和機を短い時間間隔で制御できるようにする。
逆に、制御部１５０は、使用者の動きが少ない場合は、各セルに貯蔵される情報の時間を増加させる。制御部１５０は、累積した情報に対応して、空間内の長期間動きを反映し、空気調和機を制御することができる。
図５におけるデコーダ１５３が算出した情報に基づいて、制御部１５０は、図４のイメージに対応して、次のような文章を出力することができる。
「Ｏｎ ｔｈｅ ｃｅｎｔｅｒ－ｌｅｆｔ ｓｉｄｅ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ， ａ ｗｏｍａｎ ｉｓ ｒｅａｄｉｎｇ ａ ｂｏｏｋ ｉｎ ｔｈｅ ｌｉｖｉｎｇ ｒｏｏｍ ｗｉｔｈ ｔｖ， ｔａｂｌｅ， ｃｈａｉｒ．」
制御部１５０は、上記文章における「ｍｉｄｄｌｅ－ｌｅｆｔ ｓｉｄｅ」、「ｗｏｍａｎ」、「ｒｅａｄｉｎｇ ａ ｂｏｏｋ」、「ｃｈａｉｒ」などの情報に基づいて空気調和機の風向と風量を決定する。
図６は、本発明の一実施形態によるイメージ内の人を識別した場合、空気調和機の制御方式を示す。
制御部１５０は、主語と述語の分類によって、エアコンの気流の制御及び温度を制御する。または、制御部１５０は、主語と述語のみならず、目的語、着用した服の特徴（短い半袖／半ズボンであるか長い服であるか）、前置詞句を介する人の位置に対する情報などを分類する。そして、制御部１５０は、取得した情報を用いて、使用者に適したエアコンの気流の方向や風速、風量を制御し、温度を制御する。
制御部１５０は、イメージディスクリプションで人を識別する（Ｓ４１）。制御部１５０は、識別した人が子供／年寄りのうちいずれかであるかを確認する（Ｓ４２）。子供／年寄りと識別された場合、より詳細に制御部１５０は、子供であるか年寄りであるかによって（Ｓ４３）、人の属性情報を設定する（Ｓ４５ａ，Ｓ４５ｂ）。
一実施形態として、制御部１５０は、識別された人が子供である場合、Ｈｕｍａｎ．ｃｈｉｌｄ＝ＴＲＵＥと設定する（Ｓ４５ａ）。一実施形態として、制御部１５０は、識別された人が年寄りである場合、Ｈｕｍａｎ．ｅｌｄｅｒ＝ＴＲＵＥと設定する（Ｓ４５ｂ）。
Ｓ４２におけるイメージを介して制御部１５０が子供／年寄りを識別していない場合、次のステップで制御部１５０は、女性であるか男性であるかによって（Ｓ４４）、人の属性情報を設定する（Ｓ４５ｃ，Ｓ４５ｄ）。
一実施形態として、制御部１５０は、識別された人が女性である場合、Ｈｕｍａｎ．ｗｏｍａｎ＝ＴＲＵＥと設定する（Ｓ４５ｃ）。一実施形態として、制御部１５０は、識別された人が男性である場合、Ｈｕｍａｎ．ｍａｎ＝ＴＲＵＥと設定する（Ｓ４５ｄ）。
また、制御部１５０は、イメージディスクリプションで識別された人に対する述語が動的であるか、それとも静的であるかを判断する（Ｓ４６）。一実施形態として、制御部１５０は、識別された述語が動的な述語である場合（ゲームする、走る、動く、掃除するなど）、Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＴＲＵＥと設定する（Ｓ４７）。一実施形態として、制御部１５０は、識別された述語が静寂な述語である場合（座っている。寝ている。横になっている。本を読む。電話するなど）、Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＦＡＬＳＥと設定する（Ｓ４８）。
次に、制御部１５０は、イメージディスクリプションで識別された人が着た服を区分する（Ｓ５０）。一実施形態として、制御部１５０は、識別された人の着た服が半袖シャツ又は半ズボンのような夏用服である場合、Ｈｕｍａｎ．ｓｈｏｒｔｃｌｏｔｈ＝ＴＲＵＥと設定する（Ｓ５１）。そして、Ｓ５０における長い服を着た場合、制御部１５０は、Ｈｕｍａｎ．ｓｈｏｒｔｃｌｏｔｈ＝ＦＡＬＳＥと設定する（Ｓ５２）。
また、制御部１５０は、イメージディスクリプションで識別された人の位置をイメージディスクリプション内の前置詞句などを用いて確認する（Ｓ５５）。位置が確認されたら、制御部１５０は、確認された人の位置情報を設定する。例えば、制御部１５０は、Ｈｕｍａｎ．ｐｏｓｉｔｉｏｎに｛ｎｅａｒ，ｆａｒ，ｌｅｆｔ，ｒｉｇｈｔ，ｃｅｎｔｅｒ｝のうちいずれか又は二以上の情報と設定する（Ｓ５６）。
また、制御部１５０は、Ｓ４５ａ～Ｓ５６における設定された人に対する属性情報に基づいて空気調和機を制御するパラメータを算出し、これに基づいて空気調和機の動作を制御する（Ｓ５７）。一実施形態として、制御部１５０は、温度において急冷モード／標準モードのうちいずれかを選択することができる。
また、制御部１５０は、気流において直接風／間接風のうちいずれかを選択することができる。もちろん制御部１５０は、Ｓ５７ステップにおける風力も強風／中風／弱風の中で選択することができる。
図６のようなプロセスに基づいて制御部１５０は、識別された使用者の人的特性と動作特性、着用した服装の特性に基づいて、空気調和機を制御することができる。
人的特性と動作特性を組み合わせる場合、次のように、制御部１５０は空気調和機を制御することができる。
一実施形態として、｛「Ｈｕｍａｎ．ｃｈｉｌｄ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＴＲＵＥ」｝である場合、制御部１５０は、空気調和機を急冷モードの間接風に制御することができる。一実施形態として、｛「Ｈｕｍａｎ．ｃｈｉｌｄ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＦＡＬＳＥ」｝である場合、制御部１５０は、空気調和機を標準モードの間接風に制御することができる。
一実施形態として、｛「Ｈｕｍａｎ．ｅｌｄｅｒ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＴＲＵＥ」｝である場合、制御部１５０は、空気調和機を標準モードの直接風に制御することができる。一実施形態として、｛「Ｈｕｍａｎ．ｅｌｄｅｒ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＦＡＬＳＥ」｝である場合、制御部１５０は、空気調和機を標準モードの間接風に制御することができる。
一実施形態として、｛「Ｈｕｍａｎ．ｗｏｍａｎ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＴＲＵＥ」｝である場合、制御部１５０は、空気調和機を急冷モードの間接風に制御することができる。一実施形態として、｛「Ｈｕｍａｎ．ｗｏｍａｎ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＦＡＬＳＥ」｝である場合、制御部１５０は、空気調和機を標準モードの間接風に制御することができる。
一実施形態として、｛「Ｈｕｍａｎ．ｍａｎ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＴＲＵＥ」｝である場合、制御部１５０は、空気調和機を急冷モードの直接風に制御することができる。一実施形態として、｛「Ｈｕｍａｎ．ｍａｎ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＦＡＬＳＥ」｝である場合、制御部１５０は、空気調和機を標準モードの直接風に制御することができる。
人的特性と動作特性、そして着用した服装に対する特性を組み合わせる場合、次のように、制御部１５０が空気調和機を制御することができる。
一実施形態として、｛「Ｈｕｍａｎ．ｃｈｉｌｄ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．ｓｈｏｒｔｃｌｏｔｈ＝ＴＲＵＥ」｝である場合、制御部１５０は、空気調和機を急冷モードの間接風に制御することができる。一実施形態として、｛「Ｈｕｍａｎ．ｃｈｉｌｄ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＦＡＬＳＥ」＆「Ｈｕｍａｎ．ｓｈｏｒｔｃｌｏｔｈ＝ＦＡＬＳＥ」｝である場合、制御部１５０は、空気調和機を標準モードの間接風に制御することができる。
一実施形態として、｛「Ｈｕｍａｎ．ｅｌｄｅｒ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．ｓｈｏｒｔｃｌｏｔｈ＝ＴＲＵＥ」｝である場合、制御部１５０は、空気調和機を標準モードの直接風に制御することができる。一実施形態として、｛「Ｈｕｍａｎ．ｅｌｄｅｒ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＦＡＬＳＥ」＆「Ｈｕｍａｎ．ｓｈｏｒｔｃｌｏｔｈ＝ＦＡＬＳＥ」｝である場合、制御部１５０は、空気調和機を標準モードの間接風に制御することができる。
一実施形態として、｛「Ｈｕｍａｎ．ｗｏｍａｎ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．ｓｈｏｒｔｃｌｏｔｈ＝ＴＲＵＥ」｝である場合、制御部１５０は、空気調和機を急冷モードの間接風に制御することができる。一実施形態として、｛「Ｈｕｍａｎ．ｗｏｍａｎ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＦＡＬＳＥ」＆「Ｈｕｍａｎ．ｓｈｏｒｔｃｌｏｔｈ＝ＦＡＬＳＥ」｝である場合、制御部１５０は、空気調和機を標準モードの間接風に制御することができる。
一実施形態として、｛「Ｈｕｍａｎ．ｍａｎ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．ｓｈｏｒｔｃｌｏｔｈ＝ＴＲＵＥ」｝である場合、制御部１５０は、空気調和機を急冷モードの直接風に制御することができる。一実施形態として、｛「Ｈｕｍａｎ．ｍａｎ＝ＴＲＵＥ」＆「Ｈｕｍａｎ．Ａｃｔｉｖｅ＝ＦＡＬＳＥ」＆「Ｈｕｍａｎ．ｓｈｏｒｔｃｌｏｔｈ＝ＦＡＬＳＥ」｝である場合、制御部１５０は、空気調和機を標準モードの直接風に制御することができる。
また、前述した例示のほか、前置詞句などによって使用者の位置を確認した場合、制御部１５０は、使用者が遠くにいる場合は急冷モードで、使用者が近くにいる場合は標準モードで動作するように空気調和機を制御することができる。あるいは、その逆の場合も可能である。例えば、制御部１５０は、省エネルギー のために使用者が遠くにいる場合は標準モードで、使用者が近くにいる場合は急冷モードで動作するように空気調和機を制御することができる。
または、制御部１５０は、使用者が遠くにいる場合は直接風に、使用者が近くにいる場合は間接風に動作するように空気調和機を制御することができる。あるいは、その逆の場合も可能である。例えば、制御部１５０は、省エネルギーのために使用者が遠くにいる場合は間接風に、使用者が近くにいる場合は直接風に動作するように空気調和機を制御することができる。
または、制御部１５０は、使用者が遠くにいる場合、空気調和機に設定されている風速を増加させるか温度を低くすることができる。もちろん、制御部１５０は、使用者が近くにいる場合、空気調和機に設定されている風速を減少させるか温度を高めることができる。
また、二以上の使用者が識別された場合、制御部１５０は、各使用者別に特性を抽出する。そして、抽出された結果が一致する場合、そのまま使用し、一致していない場合、調節する。
例えば、第１、第２使用者の特性を識別した結果、制御部１５０は、第１使用者に対しては「急冷モード／直接風」に空気調和機を制御するパラメータを算出しており、第２使用者に対しては、「標準モード／間接風」に空気調和機を制御するパラメータを算出した。
この場合、制御部１５０は、第１使用者が左側に、第２使用者が右側に位置した場合、送風部１５の左右側１１，１２をそれぞれ制御する。その結果、空気調和機１は、左側には急冷モードの直接風に空気調和機が動作し、右側には標準モードの間接風に空気調和機が動作する。
または、制御部１５０は、両使用者の位置が近いか、両方の送風を別途制御しにくい場合、パラメータをそれぞれ選択する。例えば、制御部１５０は、モードにおいては「急冷モード」と選択し、風は「間接風」と選択して、両使用者に設定された各々のパラメータ（急冷／標準モード、直接風／間接風）の中で一つずつ選択することができる。
前述した実施形態を適用する場合、空気調和機１の制御部１５０は、映像情報によって使用者達の行動を分析し、分析した結果によって空気調和機１の風量、風速、動作モード、温度などを制御することができる。
図６に示されたように、識別された使用者の人的特性は、男性＞女性、子供＞年寄りの順に涼しい風又は直接風を提供するように、制御部１５０が空気調和機を制御する。もちろん、かかる手順は変更することができる。
例えば、年寄りと識別し、弱い風に送風するように制御していたが、空気調和機の温度を低くするか、風力を高くするか、急冷モードを選択する割り込み（受動制御）が発生した場合、制御部１５０は、年寄りに対する設定値を子供又は女性又は男性の設定値に変更することができる。
または、イメージ内の識別された年寄りに対する情報（イメージ）を制御部１５０が別途貯蔵する。その後、制御部１５０は、「年寄り」と識別された人が貯蔵されたイメージの年寄りと同一である場合は、識別された人に対して、「年寄り」ではない他のカテゴリー（例えば、「子供」又は「女性」又は「男性」）に属すると判断し、それに応じて空気調和機を制御する。
逆に、制御部１５０がその後に「年寄り」と識別された人が、貯蔵されたイメージの年寄りと相違する場合は、図６のプロセスに従って空気調和機を制御する。
図６は、イメージディスクリプションがイメージ内に識別された人に対する属性情報、又はイメージ内に識別された人が行う動作に対する単語、又は人を記述する単語を含む場合、制御部は、これに対応して空気調和機の動作を制御する実施形態を示した。このうち、人が行う動作の動的／静的な特性を詳細に分析する過程について考察する。
図７は、本発明の一実施形態によるイメージディスクリプション内に識別された人の動作を分析する過程を示す。
制御部１５０は、イメージディスクリプションで人を識別する（Ｓ４１）。また、制御部１５０は、識別された人が立っている場合、動的な属性の数値（Ｈｕｍａｎ．Ａｃｔｉｖｅ．Ｃｏｕｎｔ）を増加させる（Ｓ６１）。同様、制御部１５０は、現在のイメージと前の時点のイメージとの相違点が大きい場合も、動的な属性の数値（Ｈｕｍａｎ．Ａｃｔｉｖｅ．Ｃｏｕｎｔ）を増加させる（Ｓ６２）。
また、制御部１５０は、識別された人の腕が上又は横に向かう場合、動的な属性の数値（Ｈｕｍａｎ．Ａｃｔｉｖｅ．Ｃｏｕｎｔ）を増加させる（Ｓ６３）。
その他も、制御部１５０は、人が動的に動きを類推することのできる様々な情報を取り集めて、動的な属性の数値（Ｈｕｍａｎ．Ａｃｔｉｖｅ．Ｃｏｕｎｔ）を増加させた後、この値に応じて制御部１５０は、空気調和機の送風温度、風量、風速又はモードなどを制御する（Ｓ６４）。
図８は、本発明の一実施形態によるイメージディスクリプション内に識別された人の着た服装に応じて空気調和機が動作する過程を示す。
制御部１５０は、イメージディスクリプションで人を識別する（Ｓ４１）。制御部１５０は、識別された人の身体における肌色の比率を計算する（Ｓ６６）。その結果、肌色の比率が基準以上（例えば、３０％以上）である場合、識別された人が夏の服を着ていると判断する。制御部１５０は、Ｈｕｍａｎ．ｓｈｏｒｔｃｌｏｔｈの値を「ＴＲＵＥ」と設定する（Ｓ６７）。
イメージ内に人達が複数識別された場合、制御部１５０は、それぞれに対して Ｈｕｍａｎ．ｓｈｏｒｔｃｌｏｔｈの値を算出する。そして、制御部１５０は、算出した値に応じて空気調和機の送風温度、風量、風速又はモードなどを制御する（Ｓ６７）。
図８のフローにおけるイメージディスクリプションは、イメージ内に識別された人が着た服装を記述する単語を含んでいてもよい。または、イメージディスクリプションに別途服装の説明がない場合、制御部１５０は、各々の人別に肌色の露出を確認する。そして、制御部１５０は、確認した結果を用いて、空間内の人達が短い袖の服を着ているか、短い半ズボンを着ているか、あるいは長い袖／長いズボンを着ているかを確認する。
図９は、本発明の一実施形態によるイメージディスクリプションの過程を示す。図９に示されたイメージにおける制御部１５０は、Ｐｅｒｓｏｎ１と識別された人が近く、中央から左側に偏っている位置にいると識別する（Ｐｅｒｓｏｎ１，Ｎｅａｒ／Ｃｅｎｔｅｒ－Ｌｅｆｔ）。そして、制御部１５０は、「Ｐｅｒｓｏｎ１」の後ろに配置されたソファー（ｓｏｆａ）を識別する（Ｓｏｆａ，Ｂｅｈｉｎｄ ｏｆ Ｐｅｒｓｏｎ１）。制御部１５０は、ソファーの後ろにＰｅｒｓｏｎ２と識別された人が遠く、右側にいると識別する（Ｐｅｒｓｏｎ２，Ｆａｒ／Ｒｉｇｈｔ）。
このため制御部１５０は、Ｐｅｒｓｏｎ１のように、イメージにおける中心に位置した人、又はイメージにおける空気調和機に近く位置した人に対するイメージディスクリプションの重要度を高める。例えば、制御部１５０は、イメージディスクリプションの結果、Ｐｅｒｓｏｎ１は、女性であり、長い服を着ているという文章を出力することができる（「Ｗｏｍａｎ ｗｅａｒｓ ｊａｃｋｅｔ」）。そして、制御部１５０は、イメージディスクリプションの結果、Ｐｅｒｓｏｎ２は、男性であり、短い袖を着ているという文章を出力することができる（「Ｍａｎ ｗｅａｒｓ ｓｈｏｒｔ ｓｌｅｅｖｅｓ ｓｈｉｒｔ」）。
このとき、制御部１５０は、近くにいるか中心に位置したＰｅｒｓｏｎ１に対するイメージディスクリプションの重要度を、Ｐｅｒｓｏｎ２に対するイメージディスクリプションの重要度よりも高く処理する。その結果、制御部１５０は、Ｐｅｒｓｏｎ１に対するイメージディスクリプションに基づいて空気調和機を制御することができる。
また、イメージディスクリプションは、イメージ内に識別された人の位置に対応する単語を含む。制御部１５０は、Ｐｅｒｓｏｎ１がＰｅｒｓｏｎ２よりも前に位置するか、Ｐｅｒｓｏｎ１がソファーの前に位置し、ソファーがＰｅｒｓｏｎ２の前に位置するというイメージディスクリプションを生成する。
また、これら人達の位置によって制御部１５０は、空気調和機の動作を制御することができる。例えば、制御部１５０は、前方中央－左側のＰｅｒｓｏｎ１に向かって送風することができる。
図１０は、本発明の一実施形態による変化したイメージに重点を置いたイメージディスクリプションの過程を示す。図９と比較すると、図１０は、Ｐｅｒｓｏｎ１が左側に移動した状態である。
制御部１５０は、第１時点に獲得された第１イメージ（図９のイメージ）と、第１時点後の第２時点に獲得された第２イメージ（図１０のイメージ）とを比較して、変化が生じた部分のイメージディスクリプションを生成する。すなわち、ソファーやＰｅｒｓｏｎ２に対しては変化がないため、イメージディスクリプションを生成せず、変化が生じたＰｅｒｓｏｎ１に対してのみイメージディスクリプションを生成する（「Ｗｏｍａｎ ｗｅａｒｓ ｊａｃｋｅｔ，Ｗｏｍａｎ ｍｏｖｅｓ ｌｅｆｔ．」）。
また、変化が生じた部分に重点を置いて、制御部１５０は空気調和機の動作を制御する。例えば、制御部１５０は、前方左側に移動したＰｅｒｓｏｎ１に向かって送風することができる。
このために制御部１５０は、一定時間の間のイメージを貯蔵することができる。１分又は５分の期間内に１０秒の間隔でカメラ部１１０がイメージを撮影すると、制御部１５０は、イメージを累積貯蔵する。そして、累積したイメージ別に生成されたイメージディスクリプションを貯蔵する。
その後、制御部１５０は、類似するイメージが獲得されると、過去に生成されたイメージディスクリプションを用いて、現在獲得されたイメージに対するイメージディスクリプションを適用することができる。
特に、空気調和機が設置された空間で変化がしばしば発生するのは人であり、ソファーや窓、ＴＶなどは変化しない。よって、固定するか、ほとんど動きのない事物に対するイメージディスクリプションは、制御部１５０が繰り返して確認した後に貯蔵することができる。
例えば、制御部１５０は、繰り返したイメージディスクリプションから抽出された事物に対する情報を次のように貯蔵することができる。
Figure 2023164723000002
また、その後、人達の位置を確定するにあたって、制御部１５０は、ソファーとＴＶの位置を反映することができる。本発明の実施形態を構成する諸構成要素が一つに結合するか、結合して動作すると説明されたとして、本発明が必ずしもかかる実施形態に限定されるものではなく、本発明の目的範囲内における諸構成要素が一以上に選択的に結合して動作することもできる。また、その諸構成要素は、それぞれ一つの独立的なハードウェアに具現され得るが、各構成要素のその一部又は全部が選択的に組み合わされ、一つ又は複数本のハードウェアで組み合わされた一部又は全部の機能を行うプログラムモジュールを有するコンピュータプログラムとして具現することもできる。そのコンピュータプログラムを構成するコード及びコードセグメントは、本発明の技術分野の当業者によって容易に推論することができる。このようなコンピュータプログラムは、コンピュータが読み取れる貯蔵媒体（Ｃｏｍｐｕｔｅｒ Ｒｅａｄａｂｌｅ Ｍｅｄｉａ）に貯蔵され、コンピュータによって読み取られて実行されることで、本発明の実施形態を具現することができる。コンピュータプログラムの貯蔵媒体としては磁気記録媒体、光記録媒体、半導体記録素子を含む貯蔵媒体とを含む。また、本発明の実施形態を具現するコンピュータプログラムは、外部の装置を介してリアルタイムに伝送されるプログラムモジュールを含む。
以上では、本発明の実施形態を中心に説明したが、通常の技術者の水準における多様な変更や変形を加えることができる。よって、このような変更と変形が本発明の範囲を外れない限り、本発明の範疇内に含まれると理解することができる。

Claims (14)

  1. 空気を吐出する送風部と、
    空気調和機の室内機が配置された空間のイメージを取得するカメラ部と、
    前記カメラ部の取得したイメージから特徴を抽出して、イメージディスクリプションを生成し、前記イメージディスクリプションに対応して生成されたパラメータを用いて空気調和機を制御する制御部と、を含み、
    前記空気調和機は、イメージディスクリプションを繰り返し確認して、動きのない事物を確認し、
    前記空気調和機は、イメージディスクリプションと事物の位置を貯蔵した後、
    前記空気調和機は、貯蔵された事物の位置を反映して人達の位置を確定する、
    使用者の行動パターンを分析して動作を制御する空気調和機。
  2. 前記制御部は、
    前記イメージから特徴を抽出し、特徴ベクトルを算出するエンコーダと、
    前記特徴ベクトルから、単語を含む前記イメージディスクリプションを算出するデコーダと、を含む、
    請求項１記載の使用者の行動パターンを分析して動作を制御する空気調和機。
  3. 前記制御部は、前記イメージディスクリプションを用いて、前記空気調和機が吐出する空気の風速、風量、風向、温度又は空気調和機の動作モードの一つ以上を制御する、
    請求項１記載の使用者の行動パターンを分析して動作を制御する空気調和機。
  4. 前記イメージディスクリプションは、前記イメージ内で識別された人に対する属性情報、又は前記イメージ内で識別された人が行う動作に対する単語、又は前記人を記述する単語を含む、
    請求項１記載の使用者の行動パターンを分析して動作を制御する空気調和機。
  5. 前記イメージディスクリプションは、前記イメージ内で識別された人が着ている服装を記述する単語を含む、
    請求項１記載の使用者の行動パターンを分析して動作を制御する空気調和機。
  6. 前記イメージディスクリプションは、前記イメージ内で識別された人の位置に対応する単語を含む、
    請求項１記載の使用者の行動パターンを分析して動作を制御する空気調和機。
  7. 前記制御部は、前記イメージにおける中心に位置した人、又は前記イメージにおける前記空気調和機の近くに位置した人に対するイメージディスクリプションの重要度を高める、
    請求項１記載の使用者の行動パターンを分析して動作を制御する空気調和機。
  8. 前記制御部は、第１時点に取得された第１イメージと、前記第１時点より後の第２時点に取得された第２イメージとを比較して、変化が生じた部分のイメージディスクリプションを生成する、
    請求項１記載の使用者の行動パターンを分析して動作を制御する空気調和機。
  9. 空気調和機のカメラ部が、前記空気調和機の室内機の配置された空間のイメージを取得するステップと、
    前記空気調和機の制御部が、前記カメラ部の取得したイメージから特徴を抽出するステップと、
    前記制御部が、前記抽出した特徴に基づいて、前記イメージを説明するイメージディスクリプションを生成するステップと、
    前記制御部が、前記イメージディスクリプションに対応して生成されたパラメータを用いて空気調和機を制御するステップと、を含み、
    前記空気調和機は、イメージディスクリプションを繰り返し確認して、動きのない事物を確認し、
    前記空気調和機は、イメージディスクリプションと事物の位置を貯蔵した後、
    前記空気調和機は、貯蔵された事物の位置を反映して人達の位置を確定する、
    使用者の行動パターンを分析して空気調和機の動作を制御する方法。
  10. 前記制御部のエンコーダが、前記イメージから特徴を抽出し、特徴ベクトルを算出するステップと、
    前記制御部のデコーダが、前記特徴ベクトルから、単語を含む前記イメージディスクリプションを算出するステップと、を含む、
    請求項９記載の使用者の行動パターンを分析して空気調和機の動作を制御する方法。
  11. 前記制御部が、前記イメージディスクリプションを用いて、前記空気調和機が吐出する空気の風速、風量、風向、温度又は空気調和機の動作モードの一つ以上を制御するステップをさらに含む、
    請求項９記載の使用者の行動パターンを分析して空気調和機の動作を制御する方法。
  12. 前記イメージディスクリプションは、前記イメージ内で識別された人の位置に対応する単語を含む、
    請求項９記載の使用者の行動パターンを分析して空気調和機の動作を制御する方法。
  13. 前記制御部が、前記イメージにおける中心に位置した人、又は前記イメージにおける前記空気調和機の近くに位置した人に対するイメージディスクリプションの重要度を高めるステップをさらに含む、
    請求項９記載の使用者の行動パターンを分析して空気調和機の動作を制御する方法。
  14. 前記制御部が、第１時点に取得された第１イメージと、前記第１時点より後の第２時点に取得された第２イメージとを比較して、変化が生じた部分のイメージディスクリプションを生成するステップをさらに含む、
    請求項９記載の使用者の行動パターンを分析して空気調和機の動作を制御する方法。
JP2023158199A 2019-05-02 2023-09-22 使用者の行動パターンを分析して空気調和機の動作を制御する方法、及び空気調和機 Pending JP2023164723A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023158199A JP2023164723A (ja) 2019-05-02 2023-09-22 使用者の行動パターンを分析して空気調和機の動作を制御する方法、及び空気調和機

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021564589A JP2022531259A (ja) 2019-05-02 2019-05-02 使用者の行動パターンを分析して空気調和機の動作を制御する方法、及び空気調和機
PCT/KR2019/005286 WO2020222341A1 (ko) 2019-05-02 2019-05-02 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법 및 공기조화기
JP2023158199A JP2023164723A (ja) 2019-05-02 2023-09-22 使用者の行動パターンを分析して空気調和機の動作を制御する方法、及び空気調和機

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021564589A Division JP2022531259A (ja) 2019-05-02 2019-05-02 使用者の行動パターンを分析して空気調和機の動作を制御する方法、及び空気調和機

Publications (1)

Publication Number Publication Date
JP2023164723A true JP2023164723A (ja) 2023-11-10

Family

ID=67806480

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021564589A Pending JP2022531259A (ja) 2019-05-02 2019-05-02 使用者の行動パターンを分析して空気調和機の動作を制御する方法、及び空気調和機
JP2023158199A Pending JP2023164723A (ja) 2019-05-02 2023-09-22 使用者の行動パターンを分析して空気調和機の動作を制御する方法、及び空気調和機

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021564589A Pending JP2022531259A (ja) 2019-05-02 2019-05-02 使用者の行動パターンを分析して空気調和機の動作を制御する方法、及び空気調和機

Country Status (5)

Country Link
US (1) US11655995B2 (ja)
EP (1) EP3964762A4 (ja)
JP (2) JP2022531259A (ja)
KR (1) KR20190099160A (ja)
WO (1) WO2020222341A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110529989A (zh) * 2019-09-17 2019-12-03 山东浪潮人工智能研究院有限公司 基于人体动态图像追踪技术的空调调节风向的送风方法及装置
KR102389215B1 (ko) * 2019-10-31 2022-04-25 주식회사 쓰리에이치굿스 에어컨 제어용 인공지능 제어시스템
CN110906513A (zh) * 2019-11-27 2020-03-24 广东美的制冷设备有限公司 基于图像识别的空调机器人控制方法和装置
CN111854035A (zh) * 2020-07-13 2020-10-30 珠海格力电器股份有限公司 一种空调的控制方法、装置、空调、存储介质及处理器
CN112303824B (zh) * 2020-09-29 2023-05-26 青岛海尔空调电子有限公司 空调的室内机控制方法及空调
CN113531850A (zh) * 2021-06-30 2021-10-22 青岛海尔空调器有限总公司 用于控制空调的方法及装置、电子设备、存储介质
CN114216169A (zh) * 2021-12-17 2022-03-22 宁波奥克斯电气股份有限公司 一种移动空调的控制方法和移动空调

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0658593A (ja) 1992-08-05 1994-03-01 Sharp Corp 空気調和機
JP3216280B2 (ja) * 1992-12-11 2001-10-09 松下電器産業株式会社 空気調和機の制御装置と画像処理装置の応用機器
US6645066B2 (en) * 2001-11-19 2003-11-11 Koninklijke Philips Electronics N.V. Space-conditioning control employing image-based detection of occupancy and use
KR101273586B1 (ko) 2006-06-23 2013-06-11 삼성전자주식회사 에어컨 스케줄 자동 생성시스템
JP2008051463A (ja) 2006-08-28 2008-03-06 Sharp Corp 自動空調制御システム
JP2010025359A (ja) 2008-07-15 2010-02-04 Fujitsu General Ltd 空気調和機
KR101558504B1 (ko) * 2008-12-26 2015-10-07 엘지전자 주식회사 공기조화기 및 그 동작방법
JP4852159B2 (ja) * 2010-02-24 2012-01-11 株式会社東芝 画像処理装置、画像処理方法および空調制御装置
JP2012037102A (ja) * 2010-08-05 2012-02-23 Panasonic Corp 人物識別装置、人物識別方法及び人物識別装置を備えた空気調和機
JP2012042074A (ja) 2010-08-17 2012-03-01 Panasonic Corp 空気調和機
JP5865784B2 (ja) * 2012-06-05 2016-02-17 日立アプライアンス株式会社 空気調和機
US9317531B2 (en) * 2012-10-18 2016-04-19 Microsoft Technology Licensing, Llc Autocaptioning of images
US9958176B2 (en) * 2013-02-07 2018-05-01 Trane International Inc. HVAC system with camera and microphone
JP5980703B2 (ja) 2013-03-12 2016-08-31 三菱電機株式会社 空気調和機のサポートシステム
CN110081564B (zh) * 2014-02-17 2021-09-14 松下电器产业株式会社 热图像传感器系统以及冷热感推断方法
JP6271294B2 (ja) * 2014-02-26 2018-01-31 シャープ株式会社 空気調和機
JP6267559B2 (ja) 2014-03-25 2018-01-24 株式会社クボタ 食材混合機
KR101823208B1 (ko) * 2015-12-04 2018-01-29 엘지전자 주식회사 공기 조화기 및 그 제어방법
WO2017179116A1 (ja) * 2016-04-12 2017-10-19 三菱電機株式会社 空気調和システム
JP6522237B2 (ja) * 2016-05-11 2019-05-29 三菱電機株式会社 空調可視化システム
JP6681816B2 (ja) 2016-10-05 2020-04-15 日立ジョンソンコントロールズ空調株式会社 空気調和機
KR20180071031A (ko) * 2016-12-19 2018-06-27 엘지전자 주식회사 공기조화기 및 그 제어방법
KR20190026384A (ko) 2017-09-05 2019-03-13 엘지전자 주식회사 공기조화기 및 그 제어방법
KR20190035007A (ko) * 2017-09-25 2019-04-03 엘지전자 주식회사 인공지능 공기조화장치 및 그의 제어방법

Also Published As

Publication number Publication date
WO2020222341A1 (ko) 2020-11-05
EP3964762A1 (en) 2022-03-09
KR20190099160A (ko) 2019-08-26
EP3964762A4 (en) 2022-12-07
US20210381717A1 (en) 2021-12-09
US11655995B2 (en) 2023-05-23
JP2022531259A (ja) 2022-07-06

Similar Documents

Publication Publication Date Title
JP2023164723A (ja) 使用者の行動パターンを分析して空気調和機の動作を制御する方法、及び空気調和機
CN107883541B (zh) 空调控制方法及装置
TW494308B (en) Control method
EP2966371B1 (en) Room information inferring apparatus, room information inferring method, and air conditioning apparatus
EP3779306B1 (en) Aroma releasing system
KR20180071031A (ko) 공기조화기 및 그 제어방법
KR102661364B1 (ko) 열적 쾌적성 기반의 공조 방법 및 공조기
JP6784314B2 (ja) 換気制御装置及び換気システム
CN110799978B (zh) 居住环境中的人脸识别
US20200041156A1 (en) Air conditioner
WO2003025859A1 (fr) Dispositif d'interface
CN110726222B (zh) 空调控制方法、装置、存储介质以及处理器
CN110822616A (zh) 空调自动调节方法及装置
KR20180051729A (ko) 공기조화기 및 그 제어방법
JP2019125061A (ja) 人の状態推定システム
JP2012037102A (ja) 人物識別装置、人物識別方法及び人物識別装置を備えた空気調和機
Choi et al. Deep-vision-based metabolic rate and clothing insulation estimation for occupant-centric control
KR20200057825A (ko) 인공지능에 기반하여 일정에 대응하는 추천 정보를 제공하는 공기청정기 및 방법
CN110779143B (zh) 空调的控制方法、装置、设备和空调
Bucarelli et al. Deep learning approach for recognizing cold and warm thermal discomfort cues from videos
Gobinath et al. Home and office automation system-survey
Kim A personal identity annotation overlay system using a wearable computer for augmented reality
Yang et al. Macro pose based non-invasive thermal comfort perception for energy efficiency
Medina et al. Embedded Real-Time Clothing Classifier Using One-Stage Methods for Saving Energy in Thermostats. Energies 2022, 15, 6117
Cheng Contactless Sensing of Indoor Thermal Comfort and Air Quality Using Computer Vision Technology

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230922