JP2011257071A - Air conditioner - Google Patents

Air conditioner Download PDF

Info

Publication number
JP2011257071A
JP2011257071A JP2010132301A JP2010132301A JP2011257071A JP 2011257071 A JP2011257071 A JP 2011257071A JP 2010132301 A JP2010132301 A JP 2010132301A JP 2010132301 A JP2010132301 A JP 2010132301A JP 2011257071 A JP2011257071 A JP 2011257071A
Authority
JP
Japan
Prior art keywords
unit
image
air conditioner
image processing
air conditioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010132301A
Other languages
Japanese (ja)
Other versions
JP5484205B2 (en
Inventor
Makoto Hirano
誠 平野
Takashi Matsumoto
崇 松本
弘志 ▲廣▼▲崎▼
Hiroshi Hirosaki
Shintaro Watanabe
信太郎 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2010132301A priority Critical patent/JP5484205B2/en
Publication of JP2011257071A publication Critical patent/JP2011257071A/en
Application granted granted Critical
Publication of JP5484205B2 publication Critical patent/JP5484205B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Air Conditioning Control Device (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an air conditioner that understands airflow in the room where the air conditioner is installed and changes air-conditioning settings to provide the most comfortable air-conditioning setting for users.SOLUTION: The air conditioner includes: an imaging part 10 for taking images of the room where the air conditioner 1 is installed; an image processing part 6a for performing image processing to synthesize an image taken by the imaging part 10 and the indoor airflow information; and a display part 7 for displaying image information processed by the image processing part 6a.

Description

本発明は、表示部を備える空気調和機に関するものである。   The present invention relates to an air conditioner including a display unit.

操作部等に表示部を備える従来の空気調和機として、例えば「部屋の奥行寸法を設定する奥行寸法設定手段と、部屋の縦断面を複数のゾーンに分割するゾーン分割手段を設けた。そして、特定のゾーンを指定するゾーン指定手段と、奥行寸法、分割された複数のゾーン、指定されたゾーンを表示する表示手段を設けた。更に、指定されたゾーンに対応した風向と風速に制御する風向・風速制御手段を設けた。」というものがある(例えば、特許文献1参照。)。   As a conventional air conditioner including a display unit in an operation unit or the like, for example, “a depth dimension setting unit that sets a depth dimension of a room” and a zone dividing unit that divides a vertical section of a room into a plurality of zones are provided. A zone designation means for designating a specific zone, a depth dimension, a plurality of divided zones, a display means for displaying the designated zone, and a wind direction corresponding to the designated zone and the wind speed are controlled. “There is a wind speed control means” (for example, see Patent Document 1).

特開平4−263732号公報(要約、図1)Japanese Patent Laid-Open No. 4-263732 (Summary, FIG. 1)

上記の特許文献1における空気調和機では、室内を分割したゾーン毎に風向及び風速を調整できるが、所定の大きさのゾーン毎の調整であるため、細かい範囲の調整はできなかった。また、室内の気流情報については知ることができなかった。例えば、室内の場所によって温度差があったり、障害物の影響で空気調和機からの気流が妨げられているなどの状況を把握することができなかった。
そのため、使用者は、室内の環境に応じた最適な空調設定を行うことができないという問題点があった。
In the air conditioner described in Patent Document 1, the wind direction and the wind speed can be adjusted for each zone into which the room is divided. However, since the adjustment is made for each zone of a predetermined size, a fine range cannot be adjusted. Moreover, it was not possible to know the airflow information in the room. For example, it has not been possible to grasp a situation such as a temperature difference depending on a place in a room or an air current from an air conditioner being hindered by an obstacle.
Therefore, there is a problem that the user cannot perform the optimum air conditioning setting according to the indoor environment.

本発明は、上記のような問題点を解決するためになされたもので、空気調和機が設置された室内の気流情報を把握することで、室内環境に応じた最適な空調設定ができる空気調和機を提供することを目的とする。   The present invention has been made in order to solve the above-described problems. By grasping airflow information in a room in which an air conditioner is installed, the air conditioner can perform optimum air conditioning according to the indoor environment. The purpose is to provide a machine.

本発明における空気調和機は、空気調和機が設置された室内を撮像する撮像部と、前記撮像部が撮像した画像と前記室内の気流情報とを合成する画像処理を行う画像処理部と、前記画像処理部に前記画像処理をされた画像情報を表示する表示部とを備えるものである。   An air conditioner according to the present invention includes an imaging unit that images a room in which an air conditioner is installed, an image processing unit that performs image processing for combining an image captured by the imaging unit and airflow information in the room, And a display unit that displays the image information subjected to the image processing.

本発明により、空気調和機が設置された室内の気流情報を把握し、空調設定を変更することができるので、使用者にとって最適な空調設定にすることができる空気調和機を得ることができる。   According to the present invention, the air flow information in the room where the air conditioner is installed can be grasped and the air conditioning setting can be changed. Therefore, an air conditioner that can be set to the optimum air conditioning setting for the user can be obtained.

本発明の実施の形態1における空気調和機のシステム構成図である。It is a system configuration figure of the air harmony machine in Embodiment 1 of the present invention. 本発明の実施の形態1における室内機の外観を示す概略図である。It is the schematic which shows the external appearance of the indoor unit in Embodiment 1 of this invention. 本発明の実施の形態1における室内機の画像処理部の制御動作を示すフローチャートである。It is a flowchart which shows the control operation of the image processing part of the indoor unit in Embodiment 1 of this invention. 本発明の実施の形態1におけるコントローラーの画像処理部の制御動作を示すフローチャートである。It is a flowchart which shows the control operation of the image processing part of the controller in Embodiment 1 of this invention. 本発明の実施の形態2におけるコントローラーの画像処理部の制御動作を示すフローチャートである。It is a flowchart which shows the control operation of the image processing part of the controller in Embodiment 2 of this invention. 本発明の実施の形態1における顔検出処理に用いられる識別関数である。It is a discriminant function used for the face detection process in Embodiment 1 of this invention. 本発明の実施の形態1における二値矩形フィルターのイメージ図である。It is an image figure of the binary rectangular filter in Embodiment 1 of this invention. 本発明の実施の形態1における顔認証部の制御動作を示すフローチャートである。It is a flowchart which shows the control operation of the face authentication part in Embodiment 1 of this invention. 本発明の実施の形態1におけるボタン式の操作部を備えたコントローラーである。It is a controller provided with the button-type operation part in Embodiment 1 of this invention. 本発明の実施の形態1におけるタッチパネル式の表示部にボタンを設けたコントローラーである。It is the controller which provided the button in the touchscreen type display part in Embodiment 1 of this invention. 本発明の実施の形態1におけるタッチパネル式の表示部に室内の画像と気流情報とを合成した画像を表示した図である。It is the figure which displayed the image which synthesize | combined the image and airflow information of the room on the touchscreen type display part in Embodiment 1 of this invention. 本発明の実施の形態1における表示部において、温度表示をタッチした場合の画面表示の図である。It is a figure of the screen display at the time of touching a temperature display in the display part in Embodiment 1 of this invention. 本発明の実施の形態1におけるタッチパネル式の表示部において、風表示をタッチした場合の画面表示の図である。It is a figure of a screen display at the time of touching a wind display in the touchscreen type display part in Embodiment 1 of this invention. 本発明の実施の形態1における表示部において、室内の画像に気流情報及び画像処理の識別結果を合成したものを表示した図である。In the display part in Embodiment 1 of this invention, it is the figure which displayed what combined the airflow information and the identification result of image processing with the image in the room. 本発明の実施の形態2におけるコントローラーである。It is a controller in Embodiment 2 of this invention.

以下、本発明における空気調和機の一例について、図面を用いて詳細に説明する。   Hereinafter, an example of an air conditioner according to the present invention will be described in detail with reference to the drawings.

実施の形態1.
図1は、本発明の実施の形態1における空気調和機1のシステム構成図である。
空気調和機1は、室内機2と、コントローラー3とを備えている。また、室内機2は撮像部10、温度センサー11、画像処理部6b、通信部5b、空調制御部8及び空調変更部9を備えている。また、コントローラー3は、操作部4、通信部5a、画像処理部6a及び表示部7を備えている。
Embodiment 1 FIG.
FIG. 1 is a system configuration diagram of an air conditioner 1 according to Embodiment 1 of the present invention.
The air conditioner 1 includes an indoor unit 2 and a controller 3. The indoor unit 2 includes an imaging unit 10, a temperature sensor 11, an image processing unit 6b, a communication unit 5b, an air conditioning control unit 8, and an air conditioning change unit 9. The controller 3 includes an operation unit 4, a communication unit 5a, an image processing unit 6a, and a display unit 7.

室内機2において、撮像部10は室内を撮像し、画像処理部6bは、撮像部10が撮像した画像から室内環境を把握するために必要な情報を検出する画像処理を行う。画像処理部6bが処理した情報は、通信部5bからコントローラー3の通信部5aに送信される。また、空調制御部8は、通信部5bが受信したコントローラー3の操作情報又は画像処理部6bから送られる情報に基づいて気流の温度、大きさ及び方向等の空調設定を制御する。空調変更部9は、空調制御部8からの指令に基づいて、ファンやモーター等を動作し、空調変更を行う。   In the indoor unit 2, the imaging unit 10 images a room, and the image processing unit 6 b performs image processing for detecting information necessary for grasping the indoor environment from the image captured by the imaging unit 10. Information processed by the image processing unit 6b is transmitted from the communication unit 5b to the communication unit 5a of the controller 3. The air conditioning control unit 8 controls air conditioning settings such as the temperature, size, and direction of the airflow based on the operation information of the controller 3 received by the communication unit 5b or the information sent from the image processing unit 6b. The air conditioning change unit 9 operates a fan, a motor, or the like based on a command from the air conditioning control unit 8 to change the air conditioning.

コントローラー3に設けられた通信部5aは、通信部5bから送信された情報を受信し、画像処理部6aに送る。画像処理部6aは、通信部5aから送られた室内の画像情報及び温度センサー11の熱画像と、操作部4で設定された情報を合成し、使用者に表示させるために可視化する。表示部7は、画像処理部6aで処理された画像を表示する。   The communication unit 5a provided in the controller 3 receives the information transmitted from the communication unit 5b and sends it to the image processing unit 6a. The image processing unit 6a synthesizes the indoor image information sent from the communication unit 5a and the thermal image of the temperature sensor 11 with the information set by the operation unit 4 and visualizes the information for display to the user. The display unit 7 displays the image processed by the image processing unit 6a.

以下に空気調和機1のそれぞれの構成部分について、詳細に説明する。
図2(1)、(2)は、本発明の実施の形態1における空気調和機1に備えられた室内機2の外観を示す概略図である。室内機2の外観は、撮像部10、通信部5b、及び空調変更部9を備えている。また空調変更部9は、気流の風向きを変更する風向変更部9a、9b及び9cと、気流の大きさを変更するファンのモーター(図示せず)と、気流の温度を変更する熱交換器(図示せず)とを備えている。
Below, each component of the air conditioner 1 is demonstrated in detail.
2 (1) and 2 (2) are schematic diagrams showing the appearance of the indoor unit 2 provided in the air conditioner 1 according to Embodiment 1 of the present invention. The appearance of the indoor unit 2 includes an imaging unit 10, a communication unit 5 b, and an air conditioning change unit 9. The air-conditioning change unit 9 includes air direction change units 9a, 9b, and 9c that change the air flow direction, a fan motor (not shown) that changes the air flow size, and a heat exchanger that changes the temperature of the air flow ( (Not shown).

撮像部10は室内全体を撮像するものであり、広域を撮像できることが望ましい。撮像部10は、広域撮像ができるものであれば、室内広域の画像を一度に取得できる。しかし、撮像部10は、視野が広角である場合は、レンズが高価になることが多く、安価なレンズでは撮像画像の周辺部が歪んだり暗くなることがある。   The imaging unit 10 is for imaging the entire room, and is desirably capable of imaging a wide area. The imaging unit 10 can acquire an indoor wide area image at a time as long as it can perform wide area imaging. However, the imaging unit 10 is often expensive when the field of view is a wide angle, and the peripheral part of the captured image may be distorted or darkened with an inexpensive lens.

また、視野が広くないレンズを用いた撮像部10を使用し、撮像部10を可動式にして室内広域を撮像するようにしてもよい。視野が広くない撮像部10を可動させる場合は、撮像範囲を鮮明に撮像できる反面、室内全体を一度に撮像できないため、室内全体のリアルタイムな画像を取得できない。また、撮像範囲を考慮し、可動範囲を決めて可動する必要がある。   Alternatively, the imaging unit 10 using a lens with a wide field of view may be used, and the imaging unit 10 may be movable to image a wide area in the room. When the imaging unit 10 having a wide field of view is moved, the imaging range can be clearly imaged, but the entire room cannot be imaged at a time, and a real-time image of the entire room cannot be acquired. Further, it is necessary to determine the movable range and move in consideration of the imaging range.

ここで、一般に室内機2が設置される位置は室内空間において天井に近い上部であることが多く、撮像部10が撮像する対象は室内機2よりも下方に位置している。そのため、撮像部10は、室内全体を撮像するために、撮像部10を図2に示すように室内機2の前面に配置し、撮像方向を水平より下向きに搭載することが好ましい。これにより、撮像対象を最も鮮明に撮像できる画像中央に配置しやすくなるため、撮像対象を鮮明に撮像することができる。   Here, in general, the position where the indoor unit 2 is installed is often the upper part close to the ceiling in the indoor space, and the object to be imaged by the imaging unit 10 is located below the indoor unit 2. Therefore, in order to image the entire room, the imaging unit 10 is preferably arranged on the front surface of the indoor unit 2 as shown in FIG. 2 and mounted with the imaging direction downward from the horizontal. Thereby, since it becomes easy to arrange | position in the image center which can image an imaging target most clearly, an imaging target can be imaged clearly.

なお、撮像部10に設けられる撮像素子は、CMOSセンサーやCCDセンサー等があり、室内を撮像できるものであればよい。一般にCCDセンサーは消費電力が大きく価格も高いが感度が良いことから従来から多く使用されていた。一方、CMOSセンサーは低消費電力でCCDセンサーに比べて低価格だが感度が低かった。しかし、CMOSセンサーは近年の技術進化によりCCDセンサーと同等の感度を得ることができており、入力される各画素の情報を抽出できるため多くの製品に導入されている特徴がある。   Note that the image sensor provided in the image capturing unit 10 may be a CMOS sensor, a CCD sensor, or the like and can capture an image of the room. In general, CCD sensors have been widely used because of their high power consumption and high price but good sensitivity. On the other hand, the CMOS sensor has low power consumption and low price compared with the CCD sensor, but the sensitivity is low. However, the CMOS sensor can obtain the same sensitivity as the CCD sensor due to recent technological evolution, and has the feature introduced in many products because it can extract the information of each input pixel.

次に、画像処理部6bについて詳細に説明する。
図3は、本発明の実施の形態1における画像処理部6bの制御動作を示すフローチャートである。
ステップS31において、画像処理部6bは、撮像部10が撮像した画像情報を取得する。そしてステップS32において、その画像情報の輝度情報を抽出する。そしてステップS33において、画像の中から必要とする情報、例えば顔を検出する。そして、顔認証部6dは、検出された顔が誰であるのかを識別する。
Next, the image processing unit 6b will be described in detail.
FIG. 3 is a flowchart showing the control operation of the image processing unit 6b in Embodiment 1 of the present invention.
In step S31, the image processing unit 6b acquires image information captured by the imaging unit 10. In step S32, luminance information of the image information is extracted. In step S33, necessary information such as a face is detected from the image. Then, the face authentication unit 6d identifies who the detected face is.

ここで、基本的な画像処理方法を用いたステップS33の顔検出処理について詳細に説明する。
撮像部10が撮像した撮像情報には、撮像情報を表現するためのRGB(Red:赤、Green:緑、Blue:青の頭文字)及びYUV(Y:輝度信号、U:青色成分の差分信号、V:赤色成分の差分信号の3要素により色を表現する方式)などの表現がある。ここで、人間は輝度Yの変化を色相UVの変化よりも気づきやすい性質であるため、輝度情報に多くの情報量を割り当てることにより少ないデータ量でも効率的に色を表現できる。そのため、本実施の形態1の画像処理においてYUV情報の輝度Yを利用する方法を例として用いる。
撮像部10で撮像した撮影情報YUVを取得し、輝度データYを抽出する。そして、抽出した輝度データYを用いて顔検出処理により顔か否かを判定して撮像画像の中から顔を検出する。
Here, the face detection process in step S33 using the basic image processing method will be described in detail.
The imaging information captured by the imaging unit 10 includes RGB (Red: red, Green: green, Blue: blue initial) and YUV (Y: luminance signal, U: blue component difference signal) for expressing the imaging information. , V: a method of expressing a color by three elements of a difference signal of a red component). Here, since human beings are more easily aware of changes in luminance Y than changes in hue UV, by assigning a large amount of information to luminance information, colors can be expressed efficiently even with a small amount of data. Therefore, a method using the luminance Y of YUV information is used as an example in the image processing of the first embodiment.
Imaging information YUV imaged by the imaging unit 10 is acquired, and luminance data Y is extracted. Then, using the extracted luminance data Y, it is determined whether or not the face is detected by face detection processing, and a face is detected from the captured image.

図6は、本発明の実施の形態1における顔検出処理に用いられる識別関数であり、大量の顔画像学習から得られるものである。この識別関数により、入力された輝度データYの任意の部分領域を走査することで、撮像部10が撮像した画像に顔が含まれているか否かを判定する。図6の例では、顔画像は識別関数の顔画像空間にマッピングされ、サッカーボールは非顔画像空間にマッピングされておりサッカーボールが顔でないと判定される。ここで、入力画像を識別関数に適用するために画像の輝度情報をパターン化する二値矩形フィルター14a〜14dを使用する。   FIG. 6 is an identification function used for the face detection processing in Embodiment 1 of the present invention, and is obtained from a large amount of face image learning. By scanning an arbitrary partial area of the input luminance data Y with this identification function, it is determined whether or not a face is included in the image captured by the imaging unit 10. In the example of FIG. 6, the face image is mapped to the face image space of the discrimination function, and the soccer ball is mapped to the non-face image space, and it is determined that the soccer ball is not a face. Here, in order to apply the input image to the discriminant function, binary rectangular filters 14a to 14d for patterning the luminance information of the image are used.

図7は、本発明の実施の形態1における二値矩形フィルターのイメージ図である。この顔検出処理S33は撮像画像の全域にわたりサイズ未知の顔に適用するため、例えば、想定されるサイズの数に比例してフィルターを展開するとそのデータサイズが大きくなりプログラム実行の演算処理の負荷も大きいという特徴をもつ。   FIG. 7 is an image diagram of the binary rectangular filter according to Embodiment 1 of the present invention. Since this face detection process S33 is applied to a face whose size is unknown over the entire area of the captured image, for example, if a filter is expanded in proportion to the assumed number of sizes, the data size increases and the load of computation processing for program execution also increases. It has the feature of being large

この顔検出処理S33において、顔を検出するだけでなく、撮像画像が男性か女性か、又は大人か子供かというような簡単な識別をすることもできる。しかし、画像から個人を特定することはできないため、後述する顔認証部6dにより個人を特定する処理を行う。   In the face detection process S33, not only the face is detected, but also simple identification such as whether the captured image is male or female, adult or child can be performed. However, since an individual cannot be specified from the image, a process for specifying an individual is performed by the face authentication unit 6d described later.

図8は、本発明の実施の形態1における顔認証部6dの制御動作を示すフローチャートである。ステップS81において、前述した図3のステップS33の顔検出処理により検出された情報を取得する。そして、ステップS82において、検出された顔の特徴点を抽出して数値化し、ステップS83において、その数値を正規化する。そして、ステップS84の顔認証処理において、その正規化された顔情報と、記憶部15aの登録情報の顔を比較し、照合する。そして、ステップS85において、ステップS84の照合結果から類似度が算出され、ステップS86において、その算出値によりどの顔であるかを判定する。   FIG. 8 is a flowchart showing a control operation of face authentication unit 6d in the first embodiment of the present invention. In step S81, the information detected by the face detection process in step S33 of FIG. 3 described above is acquired. In step S82, the detected facial feature points are extracted and digitized, and in step S83, the numeric values are normalized. Then, in the face authentication process of step S84, the normalized face information is compared with the face of the registered information in the storage unit 15a and collated. In step S85, the similarity is calculated from the collation result in step S84. In step S86, the face is determined based on the calculated value.

ここで、記憶部15aとは、顔画像情報とその顔情報に関連付けられた空調運転履歴や好みの空調設定の情報などを記憶したものである。例えば、氏名、年齢、性別、体質、好みの空調設定などの情報を顔情報と関連付けて予め記憶しておく。これにより、空気調和機1が設置された室内にいる人物の特徴情報を得ることができる。なお、記憶部15aは顔認証部6dの中でなくてもよく、空気調和機1の任意の場所に設けられている。   Here, the memory | storage part 15a memorize | stores the face image information, the air-conditioning driving | operation history linked | related with the face information, the information of favorite air-conditioning setting, etc. For example, information such as name, age, gender, constitution, and preferred air conditioning settings is stored in advance in association with face information. Thereby, the characteristic information of the person in the room where the air conditioner 1 is installed can be obtained. In addition, the memory | storage part 15a does not need to be in the face authentication part 6d, and is provided in the arbitrary places of the air conditioner 1. FIG.

なお、顔認証部6dの顔認証処理は、ステップS33の顔検出処理により検出された顔が誰なのか特徴点を比較する処理であるため、処理の負荷はステップS33の顔検出処理に比べて小さい。また、近年製品化されている入退室管理向けなどセキュリティ用の顔認証においては顔を認証させないと通過できないため被撮像者は意識的に撮像部に近づき正面を向く。そのため、認証処理には有利な大きい画素を取得することができる。また、目をつぶってしまい認証されなかった場合も、認証されるまで何度か撮影できる。   Note that the face authentication process of the face authentication unit 6d is a process of comparing the feature points of the face detected by the face detection process of step S33, so the processing load is compared to the face detection process of step S33. small. Further, in face authentication for security, such as for entrance / exit management, which has been commercialized in recent years, since the face cannot be passed unless the face is authenticated, the person to be imaged consciously approaches the imaging unit and faces the front. Therefore, a large pixel advantageous for the authentication process can be acquired. In addition, even if the eyes are closed and the user is not authenticated, the user can shoot several times until the user is authenticated.

ここで、画像処理部6bの処理について、ステップS33の顔検出処理及び顔認証部6dを例として説明したが、認証する対象は顔だけでなく手足など体のパーツであったり、ソファーやTVなど物体でもよい。例えば、手であれば手の動きを認証することでジェスチャー操作でき、壁やTVの位置がわかれば空調を必要としない無駄な方向への空調を無くすこともできる。   Here, the processing of the image processing unit 6b has been described by taking the face detection processing and the face authentication unit 6d in step S33 as an example, but the object to be authenticated is not only the face but also body parts such as limbs, sofas, TVs, etc. It may be an object. For example, if a hand is used, gesture operation can be performed by authenticating the movement of the hand, and if the position of the wall or TV is known, air conditioning in a useless direction that does not require air conditioning can be eliminated.

また、室内にある物体(人物も含む)を識別するために、例えば動き検出を行ってもよい。動き検出を用いることで、空気調和機1が設置されている室内に発生する動きの位置や大きさ、数などを識別し、その識別結果に応じて空調制御部8は風向や温度設定などを制御してもよい。
この動き検出について、いくつかの例を簡単に紹介する。例えば、事前に撮影してある背景画像と現在の画像との各画素の輝度値の差を計算し、その差が予め設定した閾値以上ある領域を動きのある領域として認証する方法がある。また、1フレーム前の画像と現フレームの画像との各画素の輝度値の差を計算し、その差が閾値以上ある領域を動きのある領域として認証する方法がある。また、非特許文献"Shadow Detection by Integrating Multiple Features", Kuo-Hua Lo and Mau-Tsuen Yang, Proceedings of 18th International Conference on Pattern Recognition 2006, Vol.1, pp 743-746に示されるように、背景からの変化領域中の影を除去した領域を人体の動きのある領域として認証する方法もある。
Further, for example, motion detection may be performed in order to identify an object (including a person) in the room. By using the motion detection, the position, size, number, etc. of the motion generated in the room where the air conditioner 1 is installed are identified, and the air conditioning control unit 8 determines the wind direction, temperature setting, etc. according to the identification result. You may control.
Some examples of this motion detection are briefly introduced. For example, there is a method in which a difference in luminance value of each pixel between a background image captured in advance and a current image is calculated, and an area where the difference is equal to or greater than a preset threshold is authenticated as a moving area. Further, there is a method of calculating a difference in luminance value of each pixel between an image of the previous frame and an image of the current frame, and authenticating an area where the difference is equal to or greater than a threshold as a moving area. In addition, as shown in the non-patent literature "Shadow Detection by Integrating Multiple Features", Kuo-Hua Lo and Mau-Tsuen Yang, Proceedings of 18th International Conference on Pattern Recognition 2006, Vol.1, pp 743-746 There is also a method of authenticating an area from which the shadow in the change area is removed as an area where the human body moves.

次に、図1の室内機2に搭載された通信部5bについて説明する。
通信部5bは、コントローラー3の通信部5aから送信された情報を受信して空調制御部8に出力したり、画像処理部6bから出力される情報を通信部5aへ送信する。
なお、通信部5bは、コントローラー3に搭載された通信部5aと互いに通信できるものであれば赤外線通信でも無線通信でもよい。
Next, the communication unit 5b mounted on the indoor unit 2 in FIG. 1 will be described.
The communication unit 5b receives information transmitted from the communication unit 5a of the controller 3 and outputs the information to the air conditioning control unit 8, or transmits information output from the image processing unit 6b to the communication unit 5a.
The communication unit 5b may be infrared communication or wireless communication as long as it can communicate with the communication unit 5a mounted on the controller 3.

例えば、赤外線通信であれば750nm〜1000nmほどの近赤外帯域の赤外線通信が利用される。近赤外光は、室内の壁を透過できないため、送信側である発光部から発行された赤外光が受信側である受光部に届くように同一の部屋で使用され、近距離通信であることが多い。また、赤外線通信は、通信速度が遅い反面、発光と受光の部材が簡素で安価に構成される特徴がある。   For example, in the case of infrared communication, infrared communication in the near infrared band of about 750 nm to 1000 nm is used. Near-infrared light cannot be transmitted through the walls in the room, so it is used in the same room so that infrared light emitted from the light-emitting unit on the transmission side reaches the light-receiving unit on the reception side, and is short-range communication There are many cases. In addition, infrared communication has a low communication speed, but has a feature that the light emitting and receiving members are simple and inexpensive.

一方、無線通信については、無線LAN(Local Area Network)通信、特定小電力通信など様々な規格があるが、本実施の形態1において無線方式の種類に限定はない。無線LANは、世界共通で使用できる2.4GHzの帯域の通信であり、パソコンをはじめ最も広く使用されている規格であり、汎用性があり高速で通信できる。しかし、消費電力が大きく通信距離も比較的短いという特徴があるので、世界共通で使用できる半面、電波が混雑して干渉することで電波障害が発生する可能性も持っている。
また、特定小電力通信は使用できる周波数帯域が国ごとに規制されており、汎用性は無線LANに比べて劣り、通信速度も遅い。しかし、例えば日本で使用する場合は、900MHzや400MHzなど無線LANよりも周波数帯が小さいため通信距離が長い特徴がある。
On the other hand, as for wireless communication, there are various standards such as wireless LAN (Local Area Network) communication and specific low power communication, but the type of wireless system is not limited in the first embodiment. Wireless LAN is a 2.4 GHz band communication that can be used in common throughout the world, and is the most widely used standard including personal computers. It is versatile and can communicate at high speed. However, since it has the characteristics of high power consumption and relatively short communication distance, it can be used in common throughout the world. On the other hand, there is a possibility that radio interference may occur due to radio wave congestion and interference.
In addition, the frequency band in which specific low power communication can be used is regulated for each country, the versatility is inferior to that of a wireless LAN, and the communication speed is also slow. However, when used in Japan, for example, there is a feature that the communication distance is long because the frequency band is smaller than that of the wireless LAN such as 900 MHz and 400 MHz.

なお、一般には、高速通信を必要とする用途では無線LANが使用され、速度よりも距離を優先する用途では特定小電力通信を使用することが多い。   In general, a wireless LAN is used in an application that requires high-speed communication, and specific low-power communication is often used in an application that prioritizes distance over speed.

空調制御部8は、前述したように画像処理部6bが処理した情報に基づき、空気調和機1の室内機2から生成される気流の温度、大きさ及び方向などを自動で制御することができる。例えば、画像処理部6bが、室内機2が設置された室内に存在する人物を特定し、その人物の位置及び体勢などを特定する。そして、空調制御部8は、その人物の好みの空調設定、位置及び体勢などに基づいて空調設定を変更する。例えば、風当たりを嫌うお母さんがソファーに座っていると判断された場合、お母さんの体に直接気流が当たらないように、お母さんの存在する範囲を避けるように気流を調整すればよい。   The air conditioning control unit 8 can automatically control the temperature, size, direction, and the like of the airflow generated from the indoor unit 2 of the air conditioner 1 based on the information processed by the image processing unit 6b as described above. . For example, the image processing unit 6b specifies a person existing in a room where the indoor unit 2 is installed, and specifies the position and posture of the person. And the air-conditioning control part 8 changes an air-conditioning setting based on the person's favorite air-conditioning setting, a position, and posture. For example, if it is determined that a mother who dislikes wind contact is sitting on a sofa, the airflow may be adjusted so as to avoid the area where the mother exists so that the airflow does not directly hit the mother's body.

また、前述したように画像処理部6bは、撮像された人物が男性か女性か、というような簡単な識別はできる。そのため、顔認証部6dにおいて顔認証ができず個人が特定できなかった場合でも、例えば撮像された人物が女性であれば、空調制御部8は、設定温度を上げるなどの自動制御をすることができる。   Further, as described above, the image processing unit 6b can easily identify whether the imaged person is male or female. Therefore, even when face authentication cannot be performed by the face authentication unit 6d and an individual cannot be identified, for example, if the person who is imaged is a woman, the air conditioning control unit 8 can perform automatic control such as increasing the set temperature. it can.

また、操作者が、コントローラー3を用いて空調設定を変更した場合、コントローラー3より送信された空調設定の情報を通信部5bが受信し、空調制御部8にその情報を送る。そして、空調制御部8は、その取得した情報の空調設定と一致するように空気調和機1の気流の温度、大きさ及び方向などを制御する。   When the operator changes the air conditioning setting using the controller 3, the communication unit 5 b receives the air conditioning setting information transmitted from the controller 3 and sends the information to the air conditioning control unit 8. And the air-conditioning control part 8 controls the temperature, magnitude | size, direction, etc. of the airflow of the air conditioner 1 so that it may correspond with the air-conditioning setting of the acquired information.

図2(2)は、本発明の実施の形態1における空気調和機1の室内機2の空調変更時の様子を示した図である。空調変更部9は、空調制御部8の指令に基づいて、風向変更部9a、9b及び9cと、ファンのモーターと熱交換器とを動作させる。   FIG. 2 (2) is a diagram showing a state when the air conditioning of the indoor unit 2 of the air conditioner 1 according to Embodiment 1 of the present invention is changed. The air conditioning change unit 9 operates the air direction changing units 9a, 9b, and 9c, the fan motor, and the heat exchanger based on a command from the air conditioning control unit 8.

例えば、気流を上向きに変更する場合、空調制御部8は、空調変更部9の風向を下向きから上向きに変更させればよい。
また、例えば室内に人が2人いて、それぞれ希望する空調設定が異なる場合は、図2(2)のように左右の風向変更部9a及び9bを独立して可動させればよい。ここで、風向変更部9aは風向を下向きにした様子を示しており、風向変更部9bは風向を下向きにした様子を示している。また、風向変更部9cは左右に風向を変更できるものであり、例えば複数のフィンで構成されている。
For example, when the air flow is changed upward, the air conditioning control unit 8 may change the air direction of the air conditioning change unit 9 from downward to upward.
For example, if there are two people in the room and the desired air conditioning settings are different, the left and right wind direction changing units 9a and 9b may be moved independently as shown in FIG. Here, the wind direction changing unit 9a shows a state where the wind direction is turned downward, and the wind direction changing unit 9b shows a state where the wind direction is turned downward. Moreover, the wind direction change part 9c can change a wind direction to right and left, for example, is comprised by the several fin.

また、気流の大きさは、空調変更部9に設けられたファンのモーターの回転数を調整することで変更する。また、気流の温度は、空調変更部9に設けられた熱交換器の冷媒の温度を変更することで変更する。   The magnitude of the airflow is changed by adjusting the number of rotations of a fan motor provided in the air conditioning change unit 9. Further, the temperature of the airflow is changed by changing the temperature of the refrigerant of the heat exchanger provided in the air conditioning change unit 9.

次に、コントローラー3について説明する。
図1に示すように、コントローラー3は、操作部4、通信部5a、画像処理部6a及び表示部7により構成される。なお、本実施の形態1に示すコントローラー3は、リモートコントローラーであるが、室内機2に設けられていてもよく、表示部7のみ室内機2に設けてもよい。上記いずれの場合であっても、空気調和器1の操作を行えればよい。
Next, the controller 3 will be described.
As shown in FIG. 1, the controller 3 includes an operation unit 4, a communication unit 5a, an image processing unit 6a, and a display unit 7. In addition, although the controller 3 shown in this Embodiment 1 is a remote controller, it may be provided in the indoor unit 2 and only the display part 7 may be provided in the indoor unit 2. In any case, the air conditioner 1 may be operated.

また、表示部7は、カラーでもモノクロでもよい。カラーであれば視認性が良く高級感もあるが、表示部材が高価であり消費電力も大きい。そのため、ワイヤーレスとして使用することが多いコントローラー3に使用した場合、電池容量がすぐに低下してしまうため、例えば携帯電話のように充電システムが必要になる。
一方、モノクロであれば、カラーに比べて消費電力を抑えられるため充電式ではない乾電池で対応することも可能であるが、視認性は低くなる。
The display unit 7 may be color or monochrome. If it is a color, the visibility is good and there is a sense of quality, but the display member is expensive and consumes a lot of power. Therefore, when used in the controller 3 that is often used as a wireless device, the battery capacity is quickly reduced, so that a charging system such as a mobile phone is required.
On the other hand, in the case of monochrome, since power consumption can be suppressed compared to color, it is possible to cope with a non-rechargeable dry battery, but the visibility is lowered.

なお、表示部7に表示する内容は、テレビやビデオ動画のようにリアルタイムに表示する必要はない。例えば、操作部4が操作されて空気調和機1の空調設定が変更されたり、撮像部10が撮像する情報に変化が生じて画像処理部6aが変化した画像情報を表示部7に出力したときだけ表示内容を変更すればよい。そのため、表示部7は電子棚札などに使用されているメモリー液晶を使用してもよい。メモリー液晶は、書換え時は電力を消費するが、表示内容に変化が無いときは低消費電力である特徴を持つためコントローラー3の電池寿命を長くすることができる。   Note that the content displayed on the display unit 7 does not need to be displayed in real time like a television or a video movie. For example, when the operation unit 4 is operated and the air conditioning setting of the air conditioner 1 is changed, or when the information captured by the imaging unit 10 changes and the image processing unit 6a outputs the changed image information to the display unit 7. Only the display content needs to be changed. Therefore, the display unit 7 may use a memory liquid crystal used for an electronic shelf label. The memory liquid crystal consumes power at the time of rewriting, but has a feature of low power consumption when there is no change in the display contents, so that the battery life of the controller 3 can be extended.

また、コントローラー3は、空気調和機1専用のものでなくても、操作部4、通信部5a、画像処理部6a及び表示部7として使用できるものを備えており、室内機2の通信部5bと通信できればよい。例えば、コントローラー3は、携帯電話又は、テレビとそのリモコンなどであってもよい。一般的な携帯電話であれば、ボタン式又はタッチパネル式の操作部、表示部、表示のための画像処理部及び通信部は必ず搭載されている。通信部については、多くの携帯電話に赤外線通信、Bluetooth通信又は無線LAN通信の機能が搭載されている。そのため、通信部をこれら通信に対応することで携帯電話をコントローラー3として使用することができる。
また、テレビとそのリモコンについても、一般的なテレビは表示部と画像処理部を備えており、操作部と通信部をリモコンに備えているので、携帯電話と同様に空気調和機1のコントローラー3の機能を実現することができる。
Further, the controller 3 is not dedicated to the air conditioner 1, but includes a controller that can be used as the operation unit 4, the communication unit 5 a, the image processing unit 6 a, and the display unit 7, and the communication unit 5 b of the indoor unit 2. If it can communicate with. For example, the controller 3 may be a mobile phone or a television and its remote controller. In the case of a general mobile phone, a button type or touch panel type operation unit, a display unit, an image processing unit for display, and a communication unit are always installed. As for the communication unit, functions of infrared communication, Bluetooth communication, or wireless LAN communication are mounted on many mobile phones. Therefore, a mobile phone can be used as the controller 3 by supporting the communication unit for these communications.
As for a television and its remote control, a general television has a display unit and an image processing unit, and an operation unit and a communication unit are provided in the remote control. Therefore, the controller 3 of the air conditioner 1 is similar to a mobile phone. The function can be realized.

図9は、本発明の実施の形態1におけるコントローラー3の一例でありボタン式の操作部4aを備えたものである。
操作部4aは、空気調和機1の空調設定を変更するためのボタンであり、図1の操作部4に相当する。操作部4aが操作した内容は、通信部5aから室内機2の通信部5bに送信される。そして、通信部5bに送られた空調設定の内容は、空調制御部8に送られ、前述したように気流の温度、大きさ及び方向等が変更される。
FIG. 9 is an example of the controller 3 according to Embodiment 1 of the present invention, and includes a button type operation unit 4a.
The operation unit 4a is a button for changing the air conditioning setting of the air conditioner 1, and corresponds to the operation unit 4 in FIG. The content operated by the operation unit 4a is transmitted from the communication unit 5a to the communication unit 5b of the indoor unit 2. The contents of the air conditioning setting sent to the communication unit 5b are sent to the air conditioning control unit 8, and the temperature, size, direction, and the like of the airflow are changed as described above.

図4は、本発明の実施の形態1における画像処理部6aの制御動作を示すフローチャートを示す。
上述した操作部4が操作した内容は、画像処理部6aにも出力される。ステップS41においてその操作内容と通信部5aが受信した画像情報を取得する。ステップS42において、その操作内容と画像情報を合成して、表示部7a(図1の表示部7に相当)に表示するための画像処理をして、表示部7aに処理結果を出力する。
FIG. 4 is a flowchart showing the control operation of the image processing unit 6a according to Embodiment 1 of the present invention.
The content operated by the operation unit 4 described above is also output to the image processing unit 6a. In step S41, the operation content and the image information received by the communication unit 5a are acquired. In step S42, the operation content and image information are combined, image processing is performed for display on the display unit 7a (corresponding to the display unit 7 in FIG. 1), and the processing result is output to the display unit 7a.

ここで、図9に示すボタン式のコントローラー3の説明に戻る。以下に図9に示すコントローラー3の操作方法の例を示す。
例えば、風向を変更する場合は、ボタン(4)を押すと左向きに変わり、ボタン(2)を押すと上向きに変わるように予め各ボタンに動作内容を割り付けておく。また、温度を変更する場合、ボタン(8)を押すと設定温度が下がるように予め各ボタンに動作内容を割り付けておく。このようにボタン式では操作がシンプルであり、構成がシンプルなので安価である。また、ボタン式が優れている面として、操作したときのクリック感覚により操作を行ったことが確認できる点がある。
Returning to the description of the button-type controller 3 shown in FIG. The example of the operation method of the controller 3 shown in FIG. 9 is shown below.
For example, when changing the wind direction, the operation content is assigned to each button in advance so that the button changes to the left when the button (4) is pressed and changes to the upward when the button (2) is pressed. When changing the temperature, the operation content is assigned to each button in advance so that the set temperature is lowered when the button (8) is pressed. In this way, the button type is simple in operation and inexpensive because it has a simple configuration. In addition, as an excellent aspect of the button type, there is a point that it can be confirmed that the operation is performed by a sense of clicking when the operation is performed.

しかし、ボタン式では、ボタン数が限られているため、操作の自由度が低い。また、ボタン割り付けが必要なため、自由度を高くするために操作項目を多くするとそれに応じてボタン数が多くなる。例えば、細かく複雑な空調設定をする場合には、ボタン数を増やす必要がある。そのため、ボタンが小さくなったり、選択数が多くなるので、操作性が落ちることがある。   However, since the number of buttons is limited in the button type, the degree of freedom of operation is low. Further, since button allocation is necessary, if the number of operation items is increased to increase the degree of freedom, the number of buttons increases accordingly. For example, in the case of fine and complicated air conditioning settings, it is necessary to increase the number of buttons. As a result, the buttons become smaller and the number of selections increases, so the operability may be reduced.

一方、後述するタッチパネル式では画面上に仮想ボタンを表示するため、ある操作場面で必要な操作ボタンだけを表示することで選択数を限定でき、さらにボタンサイズを年齢や好みに応じて変えることで操作性を向上できる。
前述したように、ボタン式が優れている面として、操作したときのクリック感覚がある。しかし、タッチパネル式においても表示部7に例えば振動パネルを搭載して、操作者が操作した場合、指先に振動刺激を与えることでクリック感覚を与えてもよい。
On the other hand, since the virtual buttons are displayed on the screen in the touch panel type described later, the number of selections can be limited by displaying only the operation buttons necessary in a certain operation scene, and the button size can be changed according to age and preference. Operability can be improved.
As described above, one of the excellent aspects of the button type is a click feeling when operated. However, even in the touch panel type, for example, a vibration panel may be mounted on the display unit 7, and when the operator operates, a click sensation may be given by giving a vibration stimulus to the fingertip.

図10は、本発明の実施の形態1におけるコントローラー3の別の例であり、タッチパネル式の表示部7にボタンを設けたものである。
タッチパネル式ではコントローラー3を操作しようと意図しないでも表示部7に触れるだけで操作したものと誤動作する恐れがある。そのため、例えば操作部4b(図1の操作部4に相当)のようなボタンを設けて、この操作部4bを押すことでタッチパネルで操作した内容が有効となるように操作の開始と終了を特定してもよい。
FIG. 10 shows another example of the controller 3 according to Embodiment 1 of the present invention, in which buttons are provided on the touch panel type display unit 7.
In the touch panel type, even if the controller 3 is not intended to be operated, there is a possibility that it malfunctions if it is operated simply by touching the display unit 7. Therefore, for example, a button such as the operation unit 4b (corresponding to the operation unit 4 in FIG. 1) is provided, and the start and end of the operation are specified so that the content operated on the touch panel becomes valid by pressing the operation unit 4b. May be.

図11は、本発明の実施の形態1におけるタッチパネル式の表示部7に室内の画像と気流情報とを合成した画像を表示した図である。
気流情報とは、例えば、気流の温度、大きさ及び方向等である。温度表示4cは表示部分の設定温度を表示してもよいが、表示部分の室内温度を表示してもよい。温度表示4cに室内温度を表示することで操作者は空調設定をどのように変更すべきか判断しやすくなる。例えば、室内機2の吹き出し温度は、操作者に当たる気流の温度に近いため、その温度を知ることで操作者にとってより快適な空調設定をすることができる。また、例えば、冷房運転時にその温度が低すぎる場合に、適切な空調設定に変更することで、健康を害することも少なくなり、省エネルギー化も期待できる。なお、温度表示4cは複数あってもよく、例えば天井付近、床付近及び操作者付近の温度を表示してもよい。
FIG. 11 is a diagram in which an image obtained by synthesizing an indoor image and airflow information is displayed on the touch panel display unit 7 according to the first embodiment of the present invention.
The airflow information is, for example, the temperature, size and direction of the airflow. The temperature display 4c may display the set temperature of the display part, but may display the room temperature of the display part. By displaying the room temperature on the temperature display 4c, the operator can easily determine how to change the air conditioning setting. For example, since the blowout temperature of the indoor unit 2 is close to the temperature of the airflow hitting the operator, the air conditioning setting that is more comfortable for the operator can be made by knowing the temperature. In addition, for example, when the temperature is too low during the cooling operation, by changing to an appropriate air conditioning setting, health is less likely to be lost, and energy saving can be expected. Note that there may be a plurality of temperature displays 4c, for example, temperatures near the ceiling, near the floor, and near the operator may be displayed.

また、風表示4dは、空調制御部8から取得した気流の大きさ及び風向の設定情報に基づいて表示する。風表示4dは、図11に示すように気流の大きさ及び方向を矢印の方向や大きさで表現したり、風のイメージ画像を表示してもよい。また、表示部7がカラー対応の場合は、暖房であれば暖かみがでるように赤色やオレンジ色で風を表示し、冷房であれば水色や青色で風を表示してもよい。これにより、どのような運転モードで運転しているのか見た目で判別しやすくなる。なお、風表示4dは複数あってもよく、例えば天井付近、床付近及び操作者付近の気流を表示してもよい。   The wind display 4d is displayed based on the setting information of the airflow magnitude and the wind direction acquired from the air conditioning control unit 8. As shown in FIG. 11, the wind display 4d may express the magnitude and direction of the airflow with the direction and size of an arrow, or may display a wind image. Further, when the display unit 7 is color-compatible, the wind may be displayed in red or orange so as to be warm when heated, and the wind may be displayed in light blue or blue when cooled. Thereby, it becomes easy to discriminate visually in what operation mode the vehicle is operating. Note that there may be a plurality of wind indications 4d, for example, air currents near the ceiling, near the floor, and near the operator may be displayed.

次に、空気調和機1の空調設定の変更方法の一例について図12及び図13を用いて説明する。
図12は、図11のようなタッチパネル式の表示部7において、温度表示4cをタッチした場合の画面表示の一例である。ここで、状態(1)は、室内機2から吹き出される気流の温度を表示している。この状態から空気調和機1の使用者が寒く感じて設定温度を上げたい場合、(1)の温度表示部分をタッチすると(2)の設定温度の選択肢が表示される。そして、変更したい温度にタッチすると、(3)に示すように数字が反転表示し、その温度に設定される。
Next, an example of a method for changing the air conditioning setting of the air conditioner 1 will be described with reference to FIGS. 12 and 13.
FIG. 12 is an example of a screen display when the temperature display 4c is touched on the touch panel display unit 7 as shown in FIG. Here, the state (1) displays the temperature of the airflow blown out from the indoor unit 2. When the user of the air conditioner 1 feels cold from this state and wants to increase the set temperature, touching the temperature display portion (1) displays the set temperature options (2). When the temperature to be changed is touched, the number is highlighted as shown in (3), and the temperature is set.

図12に示す例では、現在の温度から0.5℃刻みに、上下2℃まで変更できる。なお、定常的に空気調和機を使用している状態であれば、例えば冷房運転時に0.5℃上げるだけでも寒さの体感は解消されることが多く、変更幅として2℃あれば対応できる。また、例えば2℃の温度変更がしたい場合は、設定後に再度温度表示4cをタッチすると、変更後の温度を中心に上下2℃まで変更できる。そのため、必ずしも上下2℃範囲までしか変更できないということはない。   In the example shown in FIG. 12, the current temperature can be changed up to 2 ° C. in 0.5 ° C. increments. In the state where the air conditioner is constantly used, for example, even if it is raised by 0.5 ° C. during cooling operation, the cold sensation is often eliminated, and if the change width is 2 ° C., it can be dealt with. For example, when it is desired to change the temperature by 2 ° C., if the temperature display 4c is touched again after the setting, the temperature can be changed up to 2 ° C. around the changed temperature. Therefore, it is not always possible to change only up to 2 ° C. in the vertical direction.

また、図12の状態(3)において、タッチ後に表示部7をタッチしたまま22℃より下までスライドすると、表示される温度が22℃より高い温度にスライドして希望の温度を選択するまでスライドするようにしてもよい。   In the state (3) of FIG. 12, if the display unit 7 is touched and slid to below 22 ° C. after the touch, the displayed temperature slides to a temperature higher than 22 ° C. until the desired temperature is selected. You may make it do.

ここで、設定温度を変更する場合、温度表示4c部分以外でも表示部7の任意の場所をタッチし、その場所の設定温度を変更できるようにしてもよい。この場合、例えば表示部7の床付近をタッチし、図12に示したように温度設定をすると床付近の温度がその設定した温度になるように空調設定が行われる。そして、前述したように空調制御部8がその空調設定に基づき、空調変更部9を制御することで室内機2の気流の温度、大きさ及び風向等が変更される。これにより、希望する場所の温度を希望する温度にすることができる。ここで、後述する気流の変更と区別するために、タッチパネルを長押しした場合は温度を変更するような設定にしてもよい。   Here, when changing the set temperature, it is possible to touch an arbitrary place on the display unit 7 other than the temperature display 4c portion so that the set temperature at the place can be changed. In this case, for example, when the vicinity of the floor of the display unit 7 is touched and the temperature is set as shown in FIG. 12, the air conditioning is set so that the temperature near the floor becomes the set temperature. Then, as described above, the air conditioning control unit 8 controls the air conditioning changing unit 9 based on the air conditioning setting, thereby changing the temperature, size, wind direction, and the like of the air flow in the indoor unit 2. Thereby, the temperature of a desired place can be made into the desired temperature. Here, in order to distinguish from the change of the airflow described later, when the touch panel is long pressed, the temperature may be changed.

図13は、図11のようなタッチパネル式の表示部7において、風表示4dをタッチした場合の画面表示の一例である。なお、(1)〜(4)は、後述するように風表示4dの変化の様子を示している。
図13の状態(1)は、風表示4dであり、矢印の長さが気流の大きさを示し、矢印の方向が気流の方向を示している。この状態(1)から風量を変更する場合、矢印部分をタッチすると状態(2)のように矢印の元にドットが追加表示される。このドットは、気流が変更可能な状態になったことを示し、気流の大きさ及び方向を示す矢印の基準点を示している。そして、気流を大きくする場合、矢印をタッチしたまま矢印の先端方向にスライドすると状態(3)のように矢印が大きく表示される。そして、この変更内容が、通信部5a、通信部5bを経由して空調制御部8に送られる。そして、前述したように空調制御部8が、空調変更部9に含まれるファンのモーターの回転数を矢印の大きさに応じて変更させることで、気流の大きさを変更できる。
FIG. 13 shows an example of a screen display when the wind display 4d is touched on the touch panel display unit 7 as shown in FIG. In addition, (1)-(4) has shown the mode of the change of the wind display 4d so that it may mention later.
State (1) in FIG. 13 is a wind display 4d, the length of the arrow indicates the magnitude of the airflow, and the direction of the arrow indicates the direction of the airflow. When the air volume is changed from this state (1), when an arrow is touched, a dot is additionally displayed under the arrow as in the state (2). This dot indicates that the airflow can be changed, and indicates a reference point of an arrow indicating the magnitude and direction of the airflow. And when enlarging airflow, if the arrow is touched and it slides in the tip direction of an arrow, an arrow will be displayed large like a state (3). And this change content is sent to the air-conditioning control part 8 via the communication part 5a and the communication part 5b. And as above-mentioned, the air-conditioning control part 8 can change the magnitude | size of an airflow by changing the rotation speed of the motor of the fan contained in the air-conditioning change part 9 according to the magnitude | size of the arrow.

また、気流の方向を変更する場合、矢印をタッチしたまま回転させることで、ドットを基準として矢印が回転して、状態(4)に示すように希望する方向に気流を変更できる。あるいは、状態(2)において、矢印をスライドさせるのではなく、操作者の位置など気流が届いてほしい目標の場所をタッチすることで気流の方向や大きさを変更してもよい。
このように、室内画像に気流情報が合成されて表示されているため、室内の気流の状態が分かりやすく、操作者が希望する場所の気流の大きさ及び方向を自由に変更できる。また、従来の気流の設定方法は、気流の大きさが「強」、「中」、「弱」で、方向が「上」、「中」、「下」など固定であった。しかし、本実施の形態1の空気調和機1は、気流の設定自由度が大きく、きめ細やかな設定ができる。
Further, when changing the direction of the airflow, by rotating while touching the arrow, the arrow rotates with reference to the dot, and the airflow can be changed in a desired direction as shown in the state (4). Alternatively, in the state (2), the direction and size of the airflow may be changed by touching a target place where the airflow is desired to reach, such as the position of the operator, instead of sliding the arrow.
Thus, since the airflow information is synthesized and displayed in the room image, the state of the airflow in the room is easy to understand, and the magnitude and direction of the airflow at the location desired by the operator can be freely changed. In addition, the conventional airflow setting method is fixed such that the magnitude of the airflow is “strong”, “medium”, “weak”, and the direction is “up”, “medium”, “bottom”. However, the air conditioner 1 according to the first embodiment has a large degree of freedom in setting the airflow and can be set finely.

また、撮像部10が撮像した画像に表示する温度表示4c及び風表示4dは、数値及び矢印ではなく色や形によりビジュアルで分かりやすく表示してもよい。例えば、温度については、ある特定の部分だけでなく撮像部の撮像範囲の温度分布を熱画像として表示してもよい。熱画像を表示することで、どの場所の温度が高いのか、どこに温度ムラがあるかなど、室内環境を分かりやすくできる。   Further, the temperature display 4c and the wind display 4d displayed on the image captured by the imaging unit 10 may be displayed visually and in an easy-to-understand manner using colors and shapes instead of numerical values and arrows. For example, regarding the temperature, not only a specific part but also the temperature distribution of the imaging range of the imaging unit may be displayed as a thermal image. By displaying a thermal image, it is possible to easily understand the indoor environment, such as where the temperature is high and where the temperature is uneven.

ここで、熱画像とは赤外線カメラによる温度画像と同じように、温度情報を色分けして表示したものである。なお、その熱画像を表示するために、赤外線カメラのように高価なものを使用しなくても、サーモパイルセンサーを室内全体にわたり走査して、得られる温度情報を使用してもよい。また、サーモパイルセンサーが測定する温度だけでなく、風表示も同じように室内機から放出されて対象に届くまでの様子を色付きの矢印等で表現してもよい。この熱画像と撮像部の撮像画像は、切り替えて表示してもよいし、どちらか一方を透かして同時に表示してもよい。また、気流については前述したように気流の大きさを矢印の大きさや方向で表現したり、暖房であれば赤系、冷房であれば青系というように色情報で表現したり、加湿であれば霧状に降り注ぐように気流イメージの画像を表示画像生成してもよい。   Here, the thermal image is a color image of temperature information displayed in the same manner as a temperature image obtained by an infrared camera. In order to display the thermal image, temperature information obtained by scanning the thermopile sensor over the entire room may be used without using an expensive camera such as an infrared camera. Further, not only the temperature measured by the thermopile sensor but also the wind display may be expressed by a colored arrow or the like until it is released from the indoor unit and reaches the object. The thermal image and the captured image of the imaging unit may be displayed by switching, or may be displayed simultaneously through one of them. In addition, as described above, for airflow, the size of the airflow can be expressed by the size and direction of the arrow, or it can be expressed by color information such as red for heating and blue for cooling, or it can be humidified. For example, an image of the airflow image may be generated so as to pour in a mist.

図14は、本発明の実施の形態1における、室内の画像に気流情報及び画像処理部6bの識別結果を合成したものを表示した表示部7である。
画像処理部6bは前述したように、顔認証や動き認証等により室内の物体を識別することができるので、図14のように識別結果を撮像画像に表示してもよい。図14では、テレビ、ソファー、窓、お父さん及びお母さんという物体(家具及び人物等)の名称を識別して表示した例である。操作者は、表示された物体の画像と、識別結果として表示されたその物体の名称を確認することで、空気調和機1が室内環境を正しく識別しているかどうかを確認することができる。そして、識別結果として表示された物体の名称が誤っている場合は、正しい名称に修正することもできる。その修正方法は、例えば、誤っている識別結果をタッチすると、コメント入力モードとなり直接文字を入力できるようにする。そして、例えば「お父さん」を修正したい場合に「お父さん」をタッチすると「お母さん」、「子供」及び「お客様」という修正候補が複数表示され、正しい内容を選択できるようにする。
FIG. 14 shows the display unit 7 that displays a combination of the airflow information and the identification result of the image processing unit 6b on the indoor image according to the first embodiment of the present invention.
As described above, since the image processing unit 6b can identify an indoor object by face authentication, motion authentication, or the like, the identification result may be displayed on the captured image as shown in FIG. FIG. 14 shows an example in which names of objects (furniture, persons, etc.) such as a television, a sofa, a window, a father, and a mother are identified and displayed. The operator can confirm whether the air conditioner 1 correctly identifies the indoor environment by confirming the displayed image of the object and the name of the object displayed as the identification result. If the name of the object displayed as the identification result is incorrect, it can be corrected to the correct name. For example, when the erroneous identification result is touched, the correction method is a comment input mode in which characters can be directly input. For example, when “Dad” is to be corrected by touching “Dad”, a plurality of correction candidates “Mother”, “Children”, and “Customer” are displayed so that correct contents can be selected.

このように、空気調和機1が室内を撮像し、その撮像画像を用いて室内環境を識別して、その識別結果に応じて空調設定を自動制御している場合に、その識別結果及び空調設定を操作者は知ることができる。そして、その識別結果又は空調設定が誤っており、例えば無駄な運転をしている場合は、それを修正して無駄の無い適切な空調設定に変更することができる。   As described above, when the air conditioner 1 images the room, identifies the indoor environment using the captured image, and automatically controls the air conditioning setting according to the identification result, the identification result and the air conditioning setting The operator can know. And when the identification result or the air conditioning setting is incorrect, for example, when a wasteful operation is performed, it can be corrected and changed to an appropriate air conditioning setting without waste.

また、識別対象が人物である場合は、撮像部10が撮像した画像をそのまま表示するとプライバシーが損なわれることがある。そのため、識別結果を反映したアニメーション画像又はアイコン等の絵を表示してもよい。例えば、識別結果がお父さんであれば、男性の大人のアニメーション画像又はお父さんの似顔絵等を撮像画像に代えて表示してもよい。また、例えば、画像処理部6aにおいて画像の解像度を下げたり、あるいは予め用意した目、鼻、口、輪郭及び髪型等のパーツから、画像と類似したパーツを選定して、そのパーツを組み合わせてもよい。   Further, when the identification target is a person, privacy may be impaired if an image captured by the imaging unit 10 is displayed as it is. Therefore, a picture such as an animation image or an icon reflecting the identification result may be displayed. For example, if the identification result is a father, an animated image of a male adult or a portrait of a father may be displayed instead of the captured image. Further, for example, the image processing unit 6a may reduce the resolution of the image, or may select parts similar to the image from parts such as eyes, nose, mouth, contour, and hairstyle prepared in advance and combine the parts. Good.

また、操作者の識別結果が子供である場合、表示部7には例えば「チャイルドロック中」と表示し、子供が操作部4を操作してもその操作を無効にすることで、子供による誤操作を防止することができる。また、子供だけでなく特定の操作可能な登録者以外が操作した場合も、その操作を無効にすることで無駄な空調設定を抑制して省エネルギーな運転をすることができる。   Further, when the operator's identification result is a child, for example, “child locked” is displayed on the display unit 7, and even if the child operates the operation unit 4, the operation is invalidated. Can be prevented. In addition, even when not only a child but also a registrant who can perform a specific operation, the useless air-conditioning setting can be suppressed and energy-saving operation can be performed by invalidating the operation.

また、室内機2の撮像部10が撮像した画像は、操作者の方向から見た室内の画像ではなく、室内機2の方向から見た画像である。そのため、画像処理部6bは、撮像された室内画像の識別結果に基づいて、操作者の位置を特定する。そして、操作者の方向から見た場合にどのように見えるか算出し、仮想的に操作者の方向から見た画像を生成して表示部7に表示してもよい。例えば図14のように、操作者の方向から、操作者及び室内機2を含む室内全体が見える仮想的な画像を表示部7に表示してもよい。   The image captured by the imaging unit 10 of the indoor unit 2 is not an indoor image viewed from the operator's direction but an image viewed from the indoor unit 2 direction. Therefore, the image processing unit 6b specifies the position of the operator based on the identification result of the captured indoor image. Then, how it looks when viewed from the direction of the operator may be calculated, and an image viewed virtually from the direction of the operator may be generated and displayed on the display unit 7. For example, as shown in FIG. 14, a virtual image in which the entire room including the operator and the indoor unit 2 can be seen from the direction of the operator may be displayed on the display unit 7.

これにより操作者が気流の方向を操作するときに方向が分かりやすく、誤操作を防止することができる。また、実際には撮像できない室内機2を表示することで、室内機2から吹き出された気流がどこからどこに向かって吹いているのか分かりやすく表示することができる。また、撮像部10の撮像範囲を室内広域にすることで撮像部10周辺までを撮像でき、仮想的に表示する画像範囲を広域にまで対応することができる。   Thereby, when the operator operates the direction of the airflow, the direction is easy to understand, and erroneous operation can be prevented. Further, by displaying the indoor unit 2 that cannot actually be imaged, it is possible to easily display where the airflow blown out from the indoor unit 2 is blowing from where. In addition, by setting the imaging range of the imaging unit 10 to a wide indoor area, it is possible to capture up to the periphery of the imaging unit 10, and it is possible to deal with an image range to be virtually displayed over a wide area.

以上のように、空気調和機が設置された室内の気流情報を把握し、室内の画像とその気流情報を合成した表示部を用いて空調設定を変更することができるので、使用者にとって最適な空調設定にすることができる空気調和機を得ることができる。   As described above, the air flow information in the room where the air conditioner is installed can be grasped, and the air conditioning setting can be changed using the display unit that combines the indoor image and the air flow information. An air conditioner that can be air-conditioned can be obtained.

実施の形態2.
本実施の形態2では、空気調和機1のコントローラー3に記憶部15b及び音声部13を搭載した例を説明する。
図15は、空気調和機1のコントローラー3に記憶部15b及び音声部13を搭載した例を示す図である。記憶部15bはデータベース等であり、後述するように、画像情報、認証結果、及び空調設定を記憶している。なお、記憶部15bの保存場所は、コントローラー3内部の動作用マイコンのメモリーであってもよいし、大容量で取り外し及び交換が可能なカード式であってもよい。また、図15ではボタン式のコントローラー3を示しているが、実施の形態1で説明したタッチパネルとボタンを併用したコントローラー3又はタッチパネル式のコントローラー3に、記憶部15b及び音声部13を搭載したものでもよい。
Embodiment 2. FIG.
In the second embodiment, an example in which the storage unit 15b and the audio unit 13 are mounted on the controller 3 of the air conditioner 1 will be described.
FIG. 15 is a diagram illustrating an example in which the storage unit 15 b and the sound unit 13 are mounted on the controller 3 of the air conditioner 1. The storage unit 15b is a database or the like, and stores image information, authentication results, and air conditioning settings, as will be described later. The storage location of the storage unit 15b may be a memory of an operating microcomputer inside the controller 3, or may be a card type that can be removed and replaced with a large capacity. 15 shows the button-type controller 3, but the controller 3 using the touch panel and buttons described in the first embodiment or the touch-panel controller 3 and the storage unit 15b and the voice unit 13 are mounted. But you can.

図5は、本実施の形態2におけるコントローラー3に搭載される画像処理部6cの制御動作を示すフローチャートである。
記憶部15bに情報を記憶させる場合、始めにステップS51において、撮像部10が撮像した画像情報を取得する。そして、ステップS52の情報認証において、その画像情報が記憶部15bにある画像情報と一致すれば、操作内容を画像情報と関連付けて記憶しておく。また、新しい人物を登録する場合は、コントローラー3から人物の認証結果(例えば、「お父さん」)を入力し、その名称と、撮像した画像情報の中の人物の画像情報を関連付けて記憶する。また、撮像した画像情報の人物が、記憶部15bになく、人物の入力もされなかった場合、未登録者として記憶する。
FIG. 5 is a flowchart showing a control operation of the image processing unit 6c mounted on the controller 3 in the second embodiment.
When information is stored in the storage unit 15b, first, in step S51, image information captured by the imaging unit 10 is acquired. In the information authentication in step S52, if the image information matches the image information stored in the storage unit 15b, the operation content is stored in association with the image information. When registering a new person, the person authentication result (for example, “dad”) is input from the controller 3, and the name and the image information of the person in the captured image information are stored in association with each other. Further, when the person of the captured image information is not in the storage unit 15b and no person is input, the person is stored as an unregistered person.

また、記憶部15bの情報を検索する場合、例えばコントローラー3に「お父さん」と入力すると、検索部12は、記憶部15bにある「お父さん」という認証結果に関連付けられた画像情報と空調設定を取得する。そして、表示部7は、その取得された画像情報と空調設定を表示する。その表示方法は、例えば、「お父さん」という認証結果に関連付けられた画像情報を表示し、その下に過去の空調設定の内容を撮像日時順に一覧表示する。そして、操作者はその一覧表示された空調設定から、一つを選択することで簡単に自分の好みの空調設定に変更することができる。なお、表示する画像情報は、撮像部10が撮像した画像をそのまま表示してもよいが、前述したように、画像の識別結果を反映したアニメーション画像又はアイコン等の絵を表示してもよい。   Also, when searching for information in the storage unit 15b, for example, if "dad" is input to the controller 3, the search unit 12 acquires image information and air conditioning settings associated with the authentication result "dad" in the storage unit 15b. To do. Then, the display unit 7 displays the acquired image information and air conditioning settings. As the display method, for example, image information associated with the authentication result of “dad” is displayed, and the contents of past air conditioning settings are displayed in a list in the order of imaging date and time. The operator can easily change the air conditioning setting to his / her favorite by selecting one from the air conditioning settings displayed in the list. As the image information to be displayed, the image captured by the image capturing unit 10 may be displayed as it is, but as described above, an animation image or a picture such as an icon reflecting the image identification result may be displayed.

また、前述した顔認証や動き認証などにより、撮像部10が撮像した画像と記憶部15bの画像情報とが一致するという認証がされた場合、上記のような入力をしなくても、自動的にその画像情報に関連付けられた空調設定の候補を検索し、表示するようにしてもよい。   In addition, when the authentication that the image captured by the image capturing unit 10 matches the image information in the storage unit 15b is performed by the face authentication or the motion authentication described above, even if the above input is not performed, it is automatically performed. Alternatively, air conditioning setting candidates associated with the image information may be retrieved and displayed.

また、室内機2は、通常高い位置に取り付けられており、室内広域を撮像できるため、セキュリティ用として使用することができる。例えば、記憶部15bから「未登録者」を検索することで不審者画像を表示することができる。そして、前述のように通信部5aが無線LANなど、インターネットに接続できるものであれば、宅外にいても不審者がいることを不審者画像を添付して通知することもできる。   Moreover, since the indoor unit 2 is normally attached to a high position and can image a wide indoor area, it can be used for security. For example, a suspicious person image can be displayed by searching for “unregistered person” from the storage unit 15b. If the communication unit 5a can connect to the Internet, such as a wireless LAN, as described above, a suspicious person image can be attached and notified that there is a suspicious person even outside the home.

また、記憶部15bの情報を検索や閲覧、削除など操作できる対象者を予め登録しておき、その対象者以外は記録情報にアクセスできないようにしておくこともできる。これにより上記のようにセキュリティ用として撮像した画像を保護することができ、また、室内画像の閲覧に対してプライバシーを確保することもできる。   Further, it is possible to register in advance a target person who can search, browse, and delete information in the storage unit 15b so that only the target person can access the recorded information. As a result, the image captured for security as described above can be protected, and privacy can be ensured for browsing of indoor images.

なお、以上に記憶部15bがコントローラー3に搭載された例を説明したが、記憶部15bは画像処理部6b内部であったり、空調制御部8の空調制御用マイコンに記憶してもよい。
また、前述した顔認証部6dの記憶部15aと記憶部15bは同じものであってもよいが、自動制御用に記憶部15aを用いて、検索用に記憶部15bを用いるというように使い分けてもよい。
Although the example in which the storage unit 15b is mounted on the controller 3 has been described above, the storage unit 15b may be stored in the image processing unit 6b or in the air conditioning control microcomputer of the air conditioning control unit 8.
In addition, the storage unit 15a and the storage unit 15b of the face authentication unit 6d described above may be the same, but the storage unit 15a is used for automatic control and the storage unit 15b is used for search. Also good.

また、音声部13には音声入力部と音声出力部があり、室内機2に搭載されていてもよいが、本実施の形態2ではコントローラー3に搭載した場合について説明する。実施の形態1では画像処理部6aによって人物を識別し、空調設定と合わせて表示する例を説明をしたが、表示内容を音声出力部より音声として出力してもよい。例えば、画像処理部6bの顔検出処理で検出した対象者の性別が男性である場合、一般に女性に比べて男性の方が暑がりであることが多いので、冷房運転開始時に「暑がりですか?」と音声で問いかける。そして、表示部7には、その問いかけの回答として「はい」ボタン又は「いいえ」ボタンをタッチパネルにより返答できるようにする。また、音声により回答してもよく、例えば「はい」という音声が音声入力部に入力され、音声認識により回答内容を判断してもよい。また、ボタン操作又は音声による回答でなくても、撮像部10に向かってジェスチャー操作して画像処理部6bがそのジェスチャー操作を識別してもよい。
このようにして、「暑がり」、「寒がり」などの空調設定の好みを操作者の画像情報と関連付けて、記憶部15bに記憶することができる。
In addition, the audio unit 13 includes an audio input unit and an audio output unit, which may be mounted on the indoor unit 2. In the second embodiment, a case where the audio unit 13 is mounted on the controller 3 will be described. In the first embodiment, an example in which a person is identified by the image processing unit 6a and displayed together with the air conditioning setting has been described. However, the display content may be output as audio from the audio output unit. For example, when the gender of the subject detected in the face detection process of the image processing unit 6b is male, the male is generally hotter than the female. Therefore, when the cooling operation is started, “is it hot?” And ask by voice. Then, the display unit 7 can be answered with a “Yes” button or a “No” button as an answer to the question. Alternatively, the answer may be made by voice. For example, the voice “Yes” may be input to the voice input unit, and the content of the answer may be determined by voice recognition. In addition, even if it is not a button operation or an answer by voice, the image processing unit 6b may identify the gesture operation by performing a gesture operation toward the imaging unit 10.
In this way, preferences for air conditioning settings such as “hot” and “cold” can be associated with the image information of the operator and stored in the storage unit 15b.

このように、男性は暑がり、というように、統計的に可能性が高くなる設定をデフォルトにしておき、画像処理部6bが男性だと認証したら「暑がりですか?」を問いかける。これにより、記憶部15bに空調設定の好みを登録する作業を簡素化できる。
また、音声部13により音声が出力されることで、視覚に障害がある場合でもコントローラー3の質問を確認できる。
また、音声を入力して音声認識により操作できることでコントローラー3に手を掛けずに空気調和機1を簡単に希望の空調設定に変更することができる。
In this way, a setting that statistically increases the possibility, such as a male being hot, is set as a default, and if the image processing unit 6b authenticates that it is a male, a question “is it hot?” Is asked. Thereby, the operation | work which registers the preference of an air conditioning setting to the memory | storage part 15b can be simplified.
In addition, since the voice is output by the voice unit 13, the question of the controller 3 can be confirmed even when there is a visual impairment.
Moreover, since the voice can be input and operated by voice recognition, the air conditioner 1 can be easily changed to a desired air conditioning setting without touching the controller 3.

1 空気調和機、2 室内機、3 コントローラー、4 操作部、4a、4b ボタン、4c 温度表示、4d 風表示、5a、5b 通信部、6a、6b、6c 画像処理部、6d 顔認証部、7、7a 表示部、8 空調制御部、9 空調変更部、9a、9b、9c 風向変更部、10 撮像部、11 温度センサー、12 検索部、13 音声部、14a、14b、14c、14d 二値矩形フィルター、15a、15b 記憶部。   1 air conditioner, 2 indoor unit, 3 controller, 4 operation unit, 4a, 4b button, 4c temperature display, 4d wind display, 5a, 5b communication unit, 6a, 6b, 6c image processing unit, 6d face authentication unit, 7 , 7a Display unit, 8 Air conditioning control unit, 9 Air conditioning change unit, 9a, 9b, 9c Air direction change unit, 10 Imaging unit, 11 Temperature sensor, 12 Search unit, 13 Audio unit, 14a, 14b, 14c, 14d Binary rectangle Filter, 15a, 15b Storage unit.

Claims (11)

空気調和機が設置された室内を撮像する撮像部と、
前記撮像部が撮像した画像と前記室内の気流情報とを合成する画像処理を行う画像処理部と、
前記画像処理部により前記画像処理をされた画像情報を表示する表示部と、
を備えることを特徴とする空気調和機。
An imaging unit for imaging the room in which the air conditioner is installed;
An image processing unit that performs image processing for combining the image captured by the imaging unit and the airflow information in the room;
A display unit for displaying the image information subjected to the image processing by the image processing unit;
An air conditioner comprising:
前記画像処理部は、
前記撮像部が撮像した前記画像情報から操作者の位置を特定し、
前記操作者の位置情報に基づき、前記画像情報を前記操作者の方向から前記空気調和機の方向を見た画像に加工して前記表示部に表示することを特徴とする請求項1に記載の空気調和機。
The image processing unit
An operator's position is identified from the image information captured by the imaging unit,
The image information is processed into an image in which the direction of the air conditioner is viewed from the direction of the operator based on the position information of the operator, and is displayed on the display unit. Air conditioner.
前記空気調和機の空調設定をする操作部を備え、
前記操作部は、タッチパネル方式の前記表示部を備え、
前記画像処理部から出力される画像情報が表示された前記表示部に触れることで空調設定が変更されることを特徴とする請求項1又は請求項2に記載の空気調和機。
An operation unit for setting the air conditioner of the air conditioner;
The operation unit includes the touch panel display unit.
The air conditioner according to claim 1 or 2, wherein the air conditioning setting is changed by touching the display unit on which image information output from the image processing unit is displayed.
前記画像処理部は、
前記撮像部により撮像された画像に基づいて室内にいる物体を識別し、
識別された物体の名称を前記画像情報に合成することを特徴とする請求項1〜請求項3のいずれか一項に記載の空気調和機。
The image processing unit
Identify an object in the room based on the image captured by the imaging unit,
The air conditioner according to any one of claims 1 to 3, wherein the name of the identified object is synthesized with the image information.
前記画像処理部は、
前記撮像部により撮像された画像に基づいて前記室内にある物体を識別し、
前記物体が、前記空気調和機から生成される気流の障害となる場合、
前記気流の調整をすることを特徴とする請求項1〜請求項4のいずれか一項に記載の空気調和機。
The image processing unit
Identifying an object in the room based on an image captured by the imaging unit;
When the object becomes an obstacle to the airflow generated from the air conditioner,
The air conditioner according to any one of claims 1 to 4, wherein the airflow is adjusted.
前記画像処理部は、
前記撮像部により撮像された画像に基づいて人物を識別し、
識別された人物に応じて前記人物を予め用意された絵に置き換えることを特徴とする請求項1〜請求項5のいずれか一項に記載の空気調和機。
The image processing unit
Identifying a person based on the image captured by the imaging unit;
The air conditioner according to any one of claims 1 to 5, wherein the person is replaced with a picture prepared in advance according to the identified person.
前記画像処理部は、
前記撮像部により撮像された画像に基づいて人物を識別し、
前記表示部は、
前記画像処理部により識別された人物に応じた空調設定を候補として表示することを特徴とする請求項1〜請求項6のいずれか一項に記載の空気調和機。
The image processing unit
Identifying a person based on the image captured by the imaging unit;
The display unit
The air conditioner according to any one of claims 1 to 6, wherein the air conditioning setting corresponding to the person identified by the image processing unit is displayed as a candidate.
前記画像処理部は、
前記撮像部により撮像された画像に基づいて人物を識別し、
識別された人物に応じた空調設定を質問形式で表示することを特徴とする請求項1〜請求項7のいずれか一項に記載の空気調和機。
The image processing unit
Identifying a person based on the image captured by the imaging unit;
The air conditioner according to any one of claims 1 to 7, wherein the air conditioning setting corresponding to the identified person is displayed in a question format.
前記画像処理部により識別された人物に応じた前記空調設定を音声で報知することを特徴とする請求項7又は請求項8に記載の空気調和機。   The air conditioner according to claim 7 or 8, wherein the air conditioning setting corresponding to the person identified by the image processing unit is notified by voice. 前記画像処理部は、
前記撮像部により撮像された画像に基づいて人物を識別し、
前記空気調和機は、
前記撮像部が撮像した画像、前記画像処理部により識別された人物、及び空調設定を関連付けたデータを記憶する記憶部を備え、
前記表示部は、
前記記憶部に記憶された前記空調設定、又は前記空調設定及び前記画像、又は前記空調設定及び識別された前記人物に対応する予め用意された絵を表示することを特徴とする請求項1〜請求項9のいずれか一項に記載の空気調和機。
The image processing unit
Identifying a person based on the image captured by the imaging unit;
The air conditioner
A storage unit that stores an image captured by the imaging unit, a person identified by the image processing unit, and data associated with an air conditioning setting;
The display unit
The said air conditioning setting memorize | stored in the said memory | storage part, or the said air conditioning setting and the said image, or the said air conditioning setting and the picture prepared beforehand corresponding to the identified said person are displayed. Item 10. The air conditioner according to any one of Items 9.
前記記憶部に記憶されたデータを検索する検索部を備え、
前記表示部は、入力された内容に基づいて前記検索部により前記記憶部から検索された前記空調設定、又は前記空調設定及び前記画像、又は前記空調設定及び識別された前記人物に対応する予め用意された絵を表示することを特徴とする請求項10に記載の空気調和機。
A search unit for searching for data stored in the storage unit;
The display unit is prepared in advance corresponding to the air conditioning setting retrieved from the storage unit by the retrieval unit based on the input content, or the air conditioning setting and the image, or the air conditioning setting and the identified person. The air conditioner according to claim 10, wherein the displayed picture is displayed.
JP2010132301A 2010-06-09 2010-06-09 Air conditioner Active JP5484205B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010132301A JP5484205B2 (en) 2010-06-09 2010-06-09 Air conditioner

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010132301A JP5484205B2 (en) 2010-06-09 2010-06-09 Air conditioner

Publications (2)

Publication Number Publication Date
JP2011257071A true JP2011257071A (en) 2011-12-22
JP5484205B2 JP5484205B2 (en) 2014-05-07

Family

ID=45473430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010132301A Active JP5484205B2 (en) 2010-06-09 2010-06-09 Air conditioner

Country Status (1)

Country Link
JP (1) JP5484205B2 (en)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013076493A (en) * 2011-09-30 2013-04-25 Hitachi Appliances Inc Air conditioner control terminal and method of setting operation for air conditioning control
JP2013167425A (en) * 2012-02-16 2013-08-29 Mitsubishi Electric Corp Air conditioner
KR20140046153A (en) * 2012-10-10 2014-04-18 엘지전자 주식회사 Indoor unit of air conditioning apparatus and air conditioning system
JP2014075935A (en) * 2012-10-05 2014-04-24 Mitsubishi Electric Corp Home power instruction device and home power control system
US20140138043A1 (en) * 2012-11-16 2014-05-22 Mitsubishi Electric Corporation Indoor unit of air-conditioning apparatus
JP2015014422A (en) * 2013-07-05 2015-01-22 アズビル株式会社 Display device and method
JP2015094489A (en) * 2013-11-11 2015-05-18 シャープ株式会社 Air conditioner
JP2015096413A (en) * 2013-10-11 2015-05-21 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America Processing method, program, processing device, and detection system
JP2015154085A (en) * 2014-02-10 2015-08-24 三菱電機株式会社 air conditioning system
JP2016038159A (en) * 2014-08-07 2016-03-22 三菱電機株式会社 Air conditioner
JP2016056974A (en) * 2014-09-08 2016-04-21 日立アプライアンス株式会社 Air conditioning system
JP2016065848A (en) * 2014-03-03 2016-04-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Sensing method, sensing system, and air conditioner including the same
JP2016075473A (en) * 2016-02-10 2016-05-12 日立アプライアンス株式会社 Air conditioner
WO2016135804A1 (en) * 2015-02-23 2016-09-01 三菱電機株式会社 Air conditioner
WO2016157479A1 (en) * 2015-04-01 2016-10-06 三菱電機株式会社 Air conditioner
JP2017072351A (en) * 2015-10-09 2017-04-13 パナソニックIpマネジメント株式会社 Control system, control method, control device, information terminal and control program
JP2018009739A (en) * 2016-07-14 2018-01-18 三菱電機株式会社 Control device, control system, control method and program
WO2018150535A1 (en) * 2017-02-17 2018-08-23 三菱電機株式会社 Indoor unit and air conditioning device
JP2018185086A (en) * 2017-04-25 2018-11-22 三菱電機株式会社 Air conditioner
WO2018220820A1 (en) * 2017-06-02 2018-12-06 三菱電機株式会社 Air conditioner and air conditioner system
CN109073252A (en) * 2016-05-11 2018-12-21 三菱电机株式会社 Air-conditioning visualization system
JP2019002577A (en) * 2017-06-09 2019-01-10 シャープ株式会社 Air conditioner, program and storage medium
WO2019087376A1 (en) * 2017-11-06 2019-05-09 三菱電機株式会社 Operation terminal, program, and air-conditioning system
JP2019207050A (en) * 2018-05-28 2019-12-05 株式会社大林組 Environmental condition control device, environmental condition control method, and environmental condition control system
EP3594581A2 (en) 2018-07-13 2020-01-15 Mitsubishi Heavy Industries Thermal Systems, Ltd. Control device, control system, control method, and program
JP2021055969A (en) * 2019-09-30 2021-04-08 三機工業株式会社 Central monitoring device for air conditioning facility and method of displaying state of air conditioning facility
JPWO2021070219A1 (en) * 2019-10-07 2021-04-15
JPWO2020089996A1 (en) * 2018-10-30 2021-04-30 三菱電機株式会社 Remote control terminal and air conditioning system
CN112922874A (en) * 2019-12-05 2021-06-08 佛山市云米电器科技有限公司 Fan control method, terminal device, system and storage medium
CN112922876A (en) * 2019-12-05 2021-06-08 佛山市云米电器科技有限公司 Blowing control method of fan, terminal equipment, system and storage medium
WO2021171873A1 (en) * 2020-02-27 2021-09-02 パナソニックIpマネジメント株式会社 Control method, program, and information processing device
JPWO2020188771A1 (en) * 2019-03-19 2021-10-14 三菱電機株式会社 Air conditioner
WO2021224986A1 (en) * 2020-05-08 2021-11-11 三菱電機株式会社 Air-conditioning apparatus
JPWO2021225010A1 (en) * 2020-05-08 2021-11-11
WO2021224987A1 (en) * 2020-05-08 2021-11-11 三菱電機株式会社 Air conditioning apparatus
WO2021229801A1 (en) * 2020-05-15 2021-11-18 三菱電機株式会社 Air conditioning control device, air conditioning system, and position information output method
WO2022137366A1 (en) * 2020-12-22 2022-06-30 三菱電機株式会社 Air conditioning system
WO2022201896A1 (en) * 2021-03-25 2022-09-29 ダイキン工業株式会社 Information processing device, air conditioning system, and program
WO2022234611A1 (en) 2021-05-06 2022-11-10 三菱電機株式会社 Air-conditioning control device
JP2022179638A (en) * 2018-10-30 2022-12-02 三菱電機株式会社 Remote operation terminal and air conditioning system
WO2023112297A1 (en) * 2021-12-17 2023-06-22 三菱電機株式会社 Presentation information generation device and presentation information generation method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006074194A (en) * 2004-08-31 2006-03-16 Matsushita Electric Ind Co Ltd Monitoring system
JP2006220405A (en) * 2005-01-12 2006-08-24 Mitsubishi Electric Corp Air conditioner
WO2011016225A1 (en) * 2009-08-06 2011-02-10 パナソニック株式会社 Air conditioner

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006074194A (en) * 2004-08-31 2006-03-16 Matsushita Electric Ind Co Ltd Monitoring system
JP2006220405A (en) * 2005-01-12 2006-08-24 Mitsubishi Electric Corp Air conditioner
WO2011016225A1 (en) * 2009-08-06 2011-02-10 パナソニック株式会社 Air conditioner

Cited By (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013076493A (en) * 2011-09-30 2013-04-25 Hitachi Appliances Inc Air conditioner control terminal and method of setting operation for air conditioning control
JP2013167425A (en) * 2012-02-16 2013-08-29 Mitsubishi Electric Corp Air conditioner
JP2014075935A (en) * 2012-10-05 2014-04-24 Mitsubishi Electric Corp Home power instruction device and home power control system
KR20140046153A (en) * 2012-10-10 2014-04-18 엘지전자 주식회사 Indoor unit of air conditioning apparatus and air conditioning system
KR102004523B1 (en) * 2012-10-10 2019-07-26 엘지전자 주식회사 Indoor unit of air conditioning apparatus and air conditioning system
US9518751B2 (en) 2012-11-16 2016-12-13 Mitsubishi Electric Corporation Indoor unit of air-conditioning apparatus
US20140138043A1 (en) * 2012-11-16 2014-05-22 Mitsubishi Electric Corporation Indoor unit of air-conditioning apparatus
CN103822302A (en) * 2012-11-16 2014-05-28 三菱电机株式会社 Indoor unit of air-conditioning apparatus
JP2014102005A (en) * 2012-11-16 2014-06-05 Mitsubishi Electric Corp Indoor unit of air conditioner
EP2733430A3 (en) * 2012-11-16 2018-03-21 Mitsubishi Electric Corporation Indoor unit of air-conditioning apparatus
CN103822302B (en) * 2012-11-16 2017-03-01 三菱电机株式会社 The indoor set of air conditioner
JP2015014422A (en) * 2013-07-05 2015-01-22 アズビル株式会社 Display device and method
JP2015096413A (en) * 2013-10-11 2015-05-21 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America Processing method, program, processing device, and detection system
US10272920B2 (en) 2013-10-11 2019-04-30 Panasonic Intellectual Property Corporation Of America Processing method, program, processing apparatus, and detection system
US10829125B2 (en) 2013-10-11 2020-11-10 Panasonic Intellectual Property Corporation Of America Processing method, program, processing apparatus, and detection system
JP2015094489A (en) * 2013-11-11 2015-05-18 シャープ株式会社 Air conditioner
JP2015154085A (en) * 2014-02-10 2015-08-24 三菱電機株式会社 air conditioning system
CN110274355A (en) * 2014-03-03 2019-09-24 松下电器(美国)知识产权公司 Method for sensing, sensor-based system and the air-conditioning equipment comprising them
JP2016065848A (en) * 2014-03-03 2016-04-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Sensing method, sensing system, and air conditioner including the same
CN110274355B (en) * 2014-03-03 2022-01-11 松下电器(美国)知识产权公司 Sensing method, sensing system and air conditioning equipment comprising sensing method and sensing system
JP2016038159A (en) * 2014-08-07 2016-03-22 三菱電機株式会社 Air conditioner
JP2016056974A (en) * 2014-09-08 2016-04-21 日立アプライアンス株式会社 Air conditioning system
JPWO2016135804A1 (en) * 2015-02-23 2017-08-17 三菱電機株式会社 Air conditioner
WO2016135804A1 (en) * 2015-02-23 2016-09-01 三菱電機株式会社 Air conditioner
JPWO2016157479A1 (en) * 2015-04-01 2017-08-03 三菱電機株式会社 Air conditioner
WO2016157479A1 (en) * 2015-04-01 2016-10-06 三菱電機株式会社 Air conditioner
JP2017072351A (en) * 2015-10-09 2017-04-13 パナソニックIpマネジメント株式会社 Control system, control method, control device, information terminal and control program
JP2016075473A (en) * 2016-02-10 2016-05-12 日立アプライアンス株式会社 Air conditioner
CN109073252A (en) * 2016-05-11 2018-12-21 三菱电机株式会社 Air-conditioning visualization system
EP3457042A4 (en) * 2016-05-11 2019-05-01 Mitsubishi Electric Corporation Air conditioning visualization system
CN109073252B (en) * 2016-05-11 2021-07-20 三菱电机株式会社 Air conditioner visualization system
US10928085B2 (en) 2016-05-11 2021-02-23 Mitsubishi Electric Corporation Air conditioning visualization system
JP2018009739A (en) * 2016-07-14 2018-01-18 三菱電機株式会社 Control device, control system, control method and program
WO2018150535A1 (en) * 2017-02-17 2018-08-23 三菱電機株式会社 Indoor unit and air conditioning device
JPWO2018150535A1 (en) * 2017-02-17 2019-11-07 三菱電機株式会社 Indoor unit and air conditioner
JP2018185086A (en) * 2017-04-25 2018-11-22 三菱電機株式会社 Air conditioner
WO2018220820A1 (en) * 2017-06-02 2018-12-06 三菱電機株式会社 Air conditioner and air conditioner system
JPWO2018220820A1 (en) * 2017-06-02 2019-11-07 三菱電機株式会社 Air conditioner and air conditioner system
JP2019002577A (en) * 2017-06-09 2019-01-10 シャープ株式会社 Air conditioner, program and storage medium
JPWO2019087376A1 (en) * 2017-11-06 2020-10-22 三菱電機株式会社 Operation terminal, program and air conditioning system
US11249449B2 (en) 2017-11-06 2022-02-15 Mitsubishi Electric Corporation Operation terminal, non-transitory computer-readable medium and air-conditioning system
WO2019087376A1 (en) * 2017-11-06 2019-05-09 三菱電機株式会社 Operation terminal, program, and air-conditioning system
EP3708917A4 (en) * 2017-11-06 2020-11-25 Mitsubishi Electric Corporation Operation terminal, program, and air-conditioning system
JP2019207050A (en) * 2018-05-28 2019-12-05 株式会社大林組 Environmental condition control device, environmental condition control method, and environmental condition control system
EP3594581A2 (en) 2018-07-13 2020-01-15 Mitsubishi Heavy Industries Thermal Systems, Ltd. Control device, control system, control method, and program
JP7341306B2 (en) 2018-10-30 2023-09-08 三菱電機株式会社 Remote control terminal and air conditioning system
JPWO2020089996A1 (en) * 2018-10-30 2021-04-30 三菱電機株式会社 Remote control terminal and air conditioning system
JP2022179638A (en) * 2018-10-30 2022-12-02 三菱電機株式会社 Remote operation terminal and air conditioning system
JP7126603B2 (en) 2019-03-19 2022-08-26 三菱電機株式会社 air conditioner
JPWO2020188771A1 (en) * 2019-03-19 2021-10-14 三菱電機株式会社 Air conditioner
JP2021055969A (en) * 2019-09-30 2021-04-08 三機工業株式会社 Central monitoring device for air conditioning facility and method of displaying state of air conditioning facility
JP7394574B2 (en) 2019-09-30 2023-12-08 三機工業株式会社 Central monitoring device for air conditioning equipment and how to display the status of air conditioning equipment
WO2021070219A1 (en) * 2019-10-07 2021-04-15 三菱電機株式会社 Air conditioning system
JP7191244B2 (en) 2019-10-07 2022-12-16 三菱電機株式会社 air conditioning system
JPWO2021070219A1 (en) * 2019-10-07 2021-04-15
CN112922874B (en) * 2019-12-05 2023-09-29 佛山市云米电器科技有限公司 Fan control method, terminal equipment, system and storage medium
CN112922876A (en) * 2019-12-05 2021-06-08 佛山市云米电器科技有限公司 Blowing control method of fan, terminal equipment, system and storage medium
CN112922874A (en) * 2019-12-05 2021-06-08 佛山市云米电器科技有限公司 Fan control method, terminal device, system and storage medium
WO2021171873A1 (en) * 2020-02-27 2021-09-02 パナソニックIpマネジメント株式会社 Control method, program, and information processing device
WO2021224985A1 (en) * 2020-05-08 2021-11-11 三菱電機株式会社 Air conditioner
WO2021224986A1 (en) * 2020-05-08 2021-11-11 三菱電機株式会社 Air-conditioning apparatus
WO2021225010A1 (en) * 2020-05-08 2021-11-11 三菱電機株式会社 Air conditioner
WO2021224987A1 (en) * 2020-05-08 2021-11-11 三菱電機株式会社 Air conditioning apparatus
JP7378604B2 (en) 2020-05-08 2023-11-13 三菱電機株式会社 air conditioner
JPWO2021225010A1 (en) * 2020-05-08 2021-11-11
WO2021229801A1 (en) * 2020-05-15 2021-11-18 三菱電機株式会社 Air conditioning control device, air conditioning system, and position information output method
JPWO2021229801A1 (en) * 2020-05-15 2021-11-18
WO2022137366A1 (en) * 2020-12-22 2022-06-30 三菱電機株式会社 Air conditioning system
JP7438407B2 (en) 2020-12-22 2024-02-26 三菱電機株式会社 air conditioning system
JP2022149771A (en) * 2021-03-25 2022-10-07 ダイキン工業株式会社 Information processing device, air conditioning system and program
JP7389361B2 (en) 2021-03-25 2023-11-30 ダイキン工業株式会社 Information processing equipment, air conditioning systems and programs
WO2022201896A1 (en) * 2021-03-25 2022-09-29 ダイキン工業株式会社 Information processing device, air conditioning system, and program
WO2022234611A1 (en) 2021-05-06 2022-11-10 三菱電機株式会社 Air-conditioning control device
JPWO2023112297A1 (en) * 2021-12-17 2023-06-22
WO2023112297A1 (en) * 2021-12-17 2023-06-22 三菱電機株式会社 Presentation information generation device and presentation information generation method
JP7391281B2 (en) 2021-12-17 2023-12-04 三菱電機株式会社 Presentation information generation device and presentation information generation method

Also Published As

Publication number Publication date
JP5484205B2 (en) 2014-05-07

Similar Documents

Publication Publication Date Title
JP5484205B2 (en) Air conditioner
JP5260643B2 (en) User interface device, user interface method, and recording medium
JP6721713B2 (en) OPTIMAL CONTROL METHOD BASED ON OPERATION-VOICE MULTI-MODE INSTRUCTION AND ELECTRONIC DEVICE APPLYING THE SAME
EP3345379B1 (en) Method for electronic device to control object and electronic device
US10987804B2 (en) Robot device and non-transitory computer readable medium
CN104204994B (en) Augmented reality computing device, equipment and system
US20180372332A1 (en) Range hood and method for controlling the range hood
US6353764B1 (en) Control method
CN108712603B (en) Image processing method and mobile terminal
US20060282682A1 (en) Control device and electronic apparatus
CN104977904A (en) Visible and controllable intelligent household control system and control method thereof
JP2018029339A (en) Display apparatus and electronic device
US20140152557A1 (en) Gesture recognition device, electronic apparatus, gesture recognition device control method, control program, and recording medium
US20070118820A1 (en) Equipment control apparatus, remote controller, equipment, equipment control method, and equipment control program product
CN107644396B (en) Lip color adjusting method and device
CN111093034B (en) Article searching method and electronic equipment
TW201604689A (en) Glasses, electronic device and method of pairing thereof and seamless content playback method
CN111199583A (en) Virtual content display method and device, terminal equipment and storage medium
CN109167914A (en) A kind of image processing method and mobile terminal
KR20160024848A (en) Remote control programming using images
JP2008511877A (en) Device control method
CN112041803A (en) Electronic device and operation method thereof
EP1189475A1 (en) Cellular phone and remote control system
CN113495617A (en) Method and device for controlling equipment, terminal equipment and storage medium
CN109461191A (en) Region color matching method and device, electronic equipment, computer readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140218

R150 Certificate of patent or registration of utility model

Ref document number: 5484205

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250