JP2016017707A - 空気調和システム - Google Patents

Abstract

【課題】人の動きを把握することを課題とする。
【解決手段】撮像装置が取得した撮像画像から人体の画像を検出する人体情報検出部１３２と、撮像画像を基に、実際の環境の間取りを検出する間取り検出部１３３と、人体情報検出部１３２が検出した人体が、間取り検出部１３３が検出した間取りにおいて、どの位置に存在しているかを検出する人体位置判定部１４６と、人体情報検出部１３２が検出した人体の位置に関する情報を、間取り検出部１３３が検出した間取りとともに表示画像として描画する画像生成部１３７と、画像生成部１３７が生成した表示画像を、表示装置に表示させる表示処理部と、を有することを特徴とする。
【選択図】図３

Description

本発明は、空気調和システムの技術に関する。

室内機が設置されている室内を、室内機自身が撮像し、その撮像データを見て在室者を知ることができる空気調和機が知られている。
例えば、特許文献１には、撮像装置を備える室内機が室内を撮像し、その撮像データに室内機からの気流情報を合成した画像データをリモコン等の表示部に表示する空気調和機が開示されている。この技術において、空気調和機は、撮像データから操作者の位置を特定する。そして、空気調和機は、操作者側から見た室内の画像に加工する。その後、空気調和機は、識別した人をあらかじめ用意した絵に置き換えて表示部に表示する。操作者は表示部を通して室内の状況と気流状況を把握し、また表示部を直接操作して気流を調整することが可能となっている。

特開２０１１−２５７０７１号公報

撮像データをそのまま表示するのはプライバシ上の問題がある。特許文献１に記載の空気調和機では、在室者の画像を絵に置き換えて表示することで、プライバシ上の問題は解決しているが、絵では遠近の距離を認識しづらく、正確な位置を把握するのが困難であるという問題がある。
また、室内機自身からみた画像であるため、ユーザは部屋のどこに在室者がいるのかを把握しづらい。

このような背景に鑑みて本発明がなされたのであり、本発明は、在室者の位置を正確に把握することを課題とする。

前記した課題を解決するため、本発明は、部屋の間取りと、人体の位置とを表示することを特徴とする。

本発明によれば、在室者の位置を正確に把握することができる。

第１実施形態に係る空気調和システムの構成例を示す図である。 室内機の側断面を示す図である。 第１実施形態に係る室内機における制御部の構成例を示す機能ブロック図である。 第１実施形態に係る外部情報端末の構成例を示す機能ブロック図である。 第１実施形態に係る制御部が行う全体処理の手順を示すフローチャートである。 人体検出処理の手順を示すフローチャートである。 顔検出処理の手順を示すフローチャートである。 移動量算出処理の手順を示すフローチャートである。 移動情報の例を示す図である。 間取り検出処理の手順を示すフローチャートである。 コーナ方向判定処理の手順を示す説明するフローチャートである。 コーナの判定手順を示す図（その１）である。 コーナ方向の判定手順を示す図（その１）である。 コーナ方向の判定手順を示す図（その２）である。 壁の遠近に関する情報を検出する手順を示す図である。 コーナの判定手順を示す図（その２）である。 人体位置判定処理の手順を示すフローチャートである。 室内の人体位置の判定手順を示す図である。 広がり範囲判定処理の手順を示すフローチャートであり、 広がり範囲判定処理の手順を示す図である。 実位置情報の例を示す図である。 人と部屋を可視化する手順を示すフローチャートである。 家具の検出から描画までの処理手順を示すフローチャートである。 第１実施形態に係る表示画面の例を示す図（その１）である。 第１実施形態に係る表示画面の例を示す図（その２）である。 第１実施形態に係る空調制御の例を示す図（その１）である。 第１実施形態に係る空調制御の例を示す図（その２）である。 第２実施形態に係る制御部が行う全体処理の手順を示すフローチャートである。 人と部屋を可視化する手順を示すフローチャートである。 第２実施形態に係る表示画面の例を示す図（その１）である。 第２実施形態に係る表示画面の例を示す図（その２）である。 第２実施形態に係る表示画面の例を示す図（その３）である。 第２実施形態に係る表示画面の例を示す図（その４）である。 第２実施形態に係る空調制御の例を示す図（その１）である。 第２実施形態に係る空調制御の例を示す図（その２）である。 第２実施形態に係る空調制御の例を示す図（その３）である。

次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。
なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

《第１実施形態》
＜空気調和システムの構成＞
図１は、第１実施形態に係る空気調和システムの構成例を示す図である。
図１に示すように、空気調和システムＡは、室内機１と、室外機３と、リモコン（リモートコントローラ）Ｒｅと、外部情報端末２とを備えている。室内機１と室外機３とは冷媒配管（図示せず）を介して接続され、周知の冷媒サイクルによって、室内機１が設置されている室内を空調する。また、室内機１と室外機３とは、通信ケーブル（図示せず）を介して互いに情報を送受信する。

リモコンＲｅはユーザによって操作され、室内機１のリモコン受信部Ｑに対して赤外線信号を送信する。当該信号の内容は、運転要求、設定温度の変更、タイマ、運転モードの変更、停止要求等の指令である。空気調和システムＡは、これらの信号に基づいて、冷房モード、暖房モード、除湿モード等の空調運転を行う。

また、室内機１の前面パネル１０６の左右方向中央の下部には、撮像装置１１０が設置されている。なお、撮像装置１１０の詳細については後記する

図２は、室内機の側断面を示す図である。図２において、図１と同様の構成に対しては、同一の符号を付して適宜説明を省略する。
筐体ベース１０１は、熱交換器１０２、送風ファン１０３、フィルタ１０８等の内部構造体を収容している。

熱交換器１０２は複数本の伝熱管１０２ａを有し、送風ファン１０３により室内機１内に取り込まれた空気を、伝熱管１０２ａを通流する冷媒と熱交換させ、前記空気を加熱又は冷却するように構成されている。なお、伝熱管１０２ａは、前記した冷媒配管（図示せず）に連通し、周知の冷媒サイクル（図示せず）の一部を構成している。

左右風向板１０４は、室内機マイコン（図示せず)からの指示に従い、下部に設けた回動軸（図示せず）を支点にして左右風向板用モータ(図示せず)により回動される。
上下風向板１０５は、室内機マイコンからの指示に従い、両端部に設けた回動軸（図示せず）を支点にして上下風向板用モータ（図示せず）により回動される。

前面パネル１０６は、室内機１の前面を覆うように設置されており、下端を軸として前面パネル用モータ（図示せず）により回動可能な構成となっている。ちなみに、前面パネル１０６を、下端に固定されるものとして構成してもよい。

図２に示す送風ファン１０３が回転することによって、空気吸込み口１０７及びフィルタ１０８を介して室内空気が室内機１に取り込まれ、熱交換器１０２で熱交換された空気が吹出し風路１０９ａに導かれる。さらに、吹出し風路１０９ａに導かれた空気は、左右風向板１０４及び上下風向板１０５によって風向きを調整され、空気吹出し口１０９ｂから外部に送り出されて室内を空調する。

＜室内機の構成＞
図３は、第１実施形態に係る室内機における制御部の構成例を示す機能ブロック図である。図３（ａ）は、室内機１におけるハードウェア構成を示しており、図３（ｂ）は、室内機１の制御部１３０の構成を示している。
図３（ａ）において、撮像装置１１０は、例えば、ＣＣＤ（Charge Coupled Device）カメラ等であり、前記したように、前面パネル１０６の左右方向中央の下部に設置されている（図１参照）。また、撮像装置１１０は、レンズの光軸が水平線に対して所定角度（本実施形態では４５°）だけ下方を向くように設置され、室内機１が設置されている室内を適切に撮像できるようになっている。

さらに、撮像装置１１０はステッピングモータ(図示せず)と連結しており、正面を中心として左右に各４５°水平方向に駆動することが可能である。撮像時において、制御部１３０は、撮像装置１１０を、例えば、室内機１に向かって左側に向かせ、撮像させる。左側で撮像された撮像画像を左画像と称する。その後、一定間隔をおいた後、制御部１３０は、撮像装置１１０を正面に駆動させて、撮像を行う。正面で撮像された撮像画像を正面画像と称する。さらに、一定間隔をおいた後、制御部１３０は、撮像装置１１０を右側に駆動して撮像する。右側で撮像した撮像画像を右画像と称する。撮像装置１１０が、右側で撮像したら、また、一定間隔をおいた後、制御部１３０は、正面に撮像装置１１０を駆動させて撮像というように、部屋（周辺の環境）内の撮像を行っていく。

なお、撮像装置１１０の駆動角度は必ずしも４５°でなくてよい。また、撮像装置１１０が駆動されなければならないわけでもなく、室内機１が取り付けられる部屋の大きさや、撮像装置１１０の視野角に応じて駆動角度を調節したり、撮像装置１１０を固定したりしてもよい。本実施形態では、一例として、撮像装置１１０におけるカメラの視野角を６０°とし、左右に４５°駆動できることで、１５０°（±７５°）の視野角を実現しているものとする。撮像装置１１０は、前記した手順に従って、部屋内を経時的に撮像し、撮像した画像（撮像画像）の情報をＡ／Ｄ（Analog to Digital）変換器１２１に出力する。

Ａ／Ｄ変換器１２１は、撮像装置１１０からアナログ信号として入力される撮像画像をデジタル信号に変換し、制御部１３０に出力する電子回路である。なお、Ａ／Ｄ変換器１２１を撮像装置１１０に内蔵することとしてもよい。

メモリ１２２は、ＲＡＭ（Random Access Memory）等であり、該メモリ１２２におけるプログラムがＣＰＵ（Central Processing Unit）１２５によって実行されることで、制御部１３０及び図３（ｂ）に示す各部１３０〜１３７，１４１，１４２，１４５〜１４７が具現化している。

負荷１２３は、例えば、室内機１が備える室内ファンモータ（図示せず）、室外機３が備える圧縮機モータ（図示せず）、上下風向板１０５に設置される上下風向板用モータ(図示せず)、左右風向板１０４に設置される左右風向板用モータ(図示せず)を含んでいる。これらの負荷１２３は、制御部１３０の駆動制御部１３６から入力される駆動信号に従って駆動する。

送受信装置１２４は、リモコンＲｅ（図１）や、外部情報端末２２（図１）と情報を送受信するための装置であり、制御部１３０から出力された情報が外部情報端末２２等に送信されたり、リモコンＲｅや、外部情報端末２２から情報を受信したりする。

＜制御部の構成＞
図３（ｂ）において、制御部１３０は、撮像装置１１０から入力される撮像画像、リモコンＲｅ（図１参照）から入力される指令信号、及び各種センサ（図示せず）から入力されるセンサ信号等に応じて、空気調和システムＡ（図１）の動作を制御する。

記憶部１３８は、例えば、メモリ１２２における記憶領域として構成される。なお、記憶部１３８には、後記する移動情報１５１（図９）や、実位置情報１５２（図２１）等が格納されている。
図３に示すように、制御部１３０は、記憶処理部１３１と、人体情報検出部１３２と、間取り検出部１３３と、移動量算出部１３４と、補正値算出部１３５と、駆動制御部１３６と、画像生成部１３７と、を備えている。
また、人体情報検出部１３２は、人体検出部１４１及び顔検出部１４２を備えている。そして、間取り検出部１３３は、コーナ方向判定部１４５、人体位置判定部（人体位置検出部）１４６及び広がり範囲判定部１４７を備えている。

記憶処理部１３１は、Ａ／Ｄ変換器１２１から送られた撮像画像を記憶部１３８に格納する。
人体情報検出部１３２は、撮像画像から、在室者の人体に関する情報を検出するものであり、前記したように、人体検出部１４１と、顔検出部１４２とを有している。
人体検出部１４１は、撮像画像に基づいて所定時間ごとに、在室者の頭部を含む人体を検出し、当該人体に関する情報（以下、人体情報と記す。）を記憶部１３８に格納する。ちなみに、「頭部を含む人体を検出する」とは、頭部（頭領域）、肩部（肩領域）、及び足部（足領域）を含む全身を検出する場合を含んでいる。
なお、人体検出部１４１の処理は、後記する顔検出部１４２の処理と比較して粗い画素間隔で実行される。
顔検出部１４２は、撮像画像に基づいて所定時間ごとに在室者（人体）の顔を検出し、当該顔に関する情報（以下、顔情報と記す。）を記憶部１３８に格納する。

なお、本実施形態では、人体検出部１４１が粗い画素間隔で人体を検出する人体検出処理と、顔検出部１４２が細かい画素間隔で顔を検出する処理と、を経時的に切替えて実行する場合について説明する。
例えば、ある時刻に人体を検出し、前記時刻より後の時刻に顔を検出した場合に、検出された人体と顔とが同一人物のものであるか否かを判定する必要がある。人体情報検出部１３２は、検出された人体と顔とが同一人物のものであると判定した場合、各画像情報を対応付ける。対応付けには各人体の顔情報及び人体情報を後記する移動情報１５１（図９）で保持し、人体画像の頭部中心と顔中心の距離が一定距離以内であれば同一と判定する。
人体情報と顔情報を一致させておくと、後記する移動量の算出時に優先的に顔情報を使用することができる。顔情報は細かい画素間隔で検出できるため、より正確に移動量を算出できるという利点がある。なお、逆光や背中等で顔が検出できていなくても、人体を検出していれば移動量の算出は可能であるため、状況に応じて人体情報と顔情報を使い分けることで、人体（在室者）の同一性を確保しつつ追跡することができる。

間取り検出部１３３は、部屋の大きさや、部屋における人体の位置や、部屋における壁の位置等を推定するものであり、前記したように、コーナ方向判定部１４５や、人体位置判定部１４６や、広がり範囲判定部１４７を有している。
コーナ方向判定部１４５は、撮像画像に基づいて、撮像画像から部屋のコーナの方向（コーナ方向）を検出し、検出したコーナ方向を基に部屋を構成する壁の遠近に関する情報を推定する。なお、本実施形態において、「部屋」とは、室内機１が取り付けられ、空気調和の対象となる部屋である。
人体位置判定部１４６は、撮像画像に基づいて、撮像画像内における人体の位置を算出し、算出した撮像画像内における人体の位置を基に部屋における人体の実位置を推定する。
広がり範囲判定部１４７は、コーナ方向判定部１４５が検出したコーナの方向と、人体位置判定部１４６が算出した人体の実位置とを基に、部屋における壁の位置を推定する。

移動量算出部１３４は、人体検出部１４１によって検出される人体の位置及び大きさ、又は、顔検出部１４２によって検出される顔の位置及び大きさの経時的変化に基づいて人体の移動量を算出する。なお、「移動量」とは、実空間内において人体が所定時間内に移動したと推定される距離を意味している。ちなみに、移動量算出部１４２は省略可能である。
補正値算出部（空調制御部）１３５は、少なくとも過去における在室者の行動に基づいて、空調制御に用いるパラメータの値を変更し、当該パラメータを駆動制御部１３６に出力する。
なお、前記パラメータとは、空気調和システムＡの設定温度、室外機３が備える圧縮機モータ（図示せず）の回転速度、及び圧縮機モータ（図示せず）に供給される最大電流量のうち少なくとも一つを含む。また、前記パラメータとして、室内ファンモータ（図示せず）の回転速度、上下風向板用モータ（図示せず）の駆動、及び左右風向板用モータ（図示せず）の駆動も含んでいる。

駆動制御部（空調制御部）１３６は、リモコン受信部Ｑ（図１）を介してリモコンＲｅ（図１）から入力されるリモコン信号、及び、温度検出器（図示せず）等のセンサ類から入力されるセンサ信号に応じて、空気調和システムＡの負荷１２３（室内ファンモータ、圧縮機モータ、上下風向板用モータ、左右風向板用モータ等）の駆動を制御する。さらに、駆動制御部１３６は、前記情報に加えて、補正値算出部１３５から入力される補正量に応じて、負荷１２３の制御を変更する。

画像生成部１３７は、人体情報検出部１３２及び間取り検出部１３３によって得られた部屋の形状や、人の位置の履歴から、室内の形状及び室内の人の動線を表示画像に描画する。さらに、画像生成部１３７は、室内における家具の形状、位置等を推定し、家具の形状を表示画像に描画する。そして、画像生成部１３７は、描画した表示画像を、スマートフォンをはじめとする外部情報端末２に送信する。描画された室内の形状及び人の動線はユーザの要求に応じて外部情報端末２にて出力され、ユーザが見ることができる。

＜外部情報端末＞
図４は、第１実施形態に係る外部情報端末の構成例を示す機能ブロック図である。
送受信装置２１１は、室内機１と情報を送受信するための装置であり、室内機１から出力された情報を受信したり、外部情報端末２２をリモコンとして使用する場合、外部情報端末２２から情報を室内機１に送信したりする。

メモリ２１２は、ＲＡＭ等であり、該メモリ２１２におけるプログラムがＣＰＵ２１４によって実行されることで、表示処理部２１２が具現化している。
表示装置（表示部）２１３は、液晶ディスプレイ等である。

表示処理部２２１は、室内機１から送信された情報を表示装置２１３に表示させる。

（全体処理）
次に、図１〜図４を適宜参照しつつ、図５〜図２７に沿って制御部１３０が実行する一連の処理を説明する。
図５は、第１実施形態に係る制御部が行う全体処理の手順を示すフローチャートである。
ステップＳ１０１の前に、制御部１３０は、１回の撮像装置１１０の首振りで取得された右画像、正面画像、左画像をはり合わせて、１枚の撮像画像とする。
その後、ステップＳ１０１にて制御部１３０は、ｎの値を「１」に設定し（Ｓ１０１：ｎ＝１）、制御部１３０が、記憶部１３８に格納する。ちなみに、ｎは、前記した移動量及び活動量を算出する回数をカウントするために用いられる値である。
次に、ステップＳ１０２にて制御部１３０は、処理を開始してから（つまり、ＳＴＡＲＴの時刻から）所定時間Δｔ１が経過したか否かを判定する。なお、所定時間Δｔ１は予め設定された時間（例えば、数ｍｓｅｃ）であり、記憶部１３８に予め格納されている。

ステップＳ１０２の結果、処理を開始してから所定時間Δｔ１が経過していない場合（Ｓ１０２→Ｎｏ）、制御部１３０はステップＳ１０２の処理を繰り返す。
ステップＳ１０２の結果、処理を開始してから所定時間Δｔ１が経過した場合（Ｓ１０２→Ｙｅｓ）、制御部１３０の処理はステップＳ１０３に進む。
ステップＳ１０３において記憶処理部１３１は、撮像画像の入力を受け付け、当該撮像画像を記憶部１３８に格納する。

ステップＳ１０３の後、ステップＳ１０４において人体検出部１４１が、記憶部１３８から撮像画像を読み出し、読みだした撮像画像に対して人体検出処理を実行する。人体検出処理については後記する。
人体情報検出部１３３は、人体検出処理の結果、出力される顔情報及び人体情報を移動情報１５１に格納することによって、記憶部１３８に格納する。移動情報１５１については後記する。

ちなみに、人体検出処理を行う際、人体情報検出部１３３は、後記する顔検出処理と比較して粗い画素間隔で在室者の人体を検出する。これによって、制御部１３０が人体検出処理を行う際の処理負荷１２３を軽減することができる。

ステップＳ１０５において顔検出処理部１３２は、撮像画像に対して、顔検出処理を実行する。顔検出処理については後記する。
そして、制御部１３０は、顔画像を特徴付ける情報（つまり、顔情報）と、顔情報及び人体情報を保持する移動情報１５１に対応付けて、記憶部１３８に格納する。

ステップＳ１０６において人体情報検出部１３３が、人体検出処理（Ｓ１０４）によって検出した人体情報と、顔検出処理（Ｓ１０５）によって検出した顔情報とを、移動情報１５１（図９）において、対応付ける。すなわち、人体検出処理によって検出されるそれぞれの人体の頭部の中心位置と、顔検出処理によって検出される顔の中心位置とが所定距離以内である場合に、当該人体と顔とを対応付ける。
これによって、人体検出処理によって検出される人体と、顔検出処理によって検出される顔とが、同一の人体に対応するか否かを適切に判定できる。

そして、ステップＳ１０７において移動量算出部１３４が、対応付けられた人体毎の移動量を算出する移動量算出処理を行う。移動量算出処理については後記する。なお、移動量算出処理は省略可能である。
そして、移動量算出部１３４は、算出した移動量を記憶部１３８に格納する。
次に、ステップＳ１０８において間取り検出部１３３は、撮像画像を解析して部屋のコーナとその撮像装置１１０からの距離を算出し、部屋の間取りを検知する間取り検出処理を行う。間取り検出処理については後記して説明する。

そして、ステップＳ１０９において制御部１３０は、ｎの値がＮに等しいか否かを判定する。なお、Ｎは予め設定された自然数である。
ステップＳ１０９の結果、ｎの値がＮに等しい場合（Ｓ１０９→Ｙｅｓ）、制御部１３０の処理はステップＳ１１１に進む。
一方、ステップＳ１０９の結果、ｎの値がＮに等しくない場合（Ｓ１０９→Ｎｏ）、制御部１３０の処理はステップＳ１１０に進む。
ステップＳ１１０において制御部１３０は、ｎの値をインクリメントする。すなわち、制御部１３０は、ステップＳ１０１において設定したｎの値を「１」インクリメントする。
このようにして、制御部１３０は、ステップＳ１０２〜１１０の処理を繰り返しＮ回実行する。

次に、ステップＳ１１１において画像生成部１３７は、ユーザの要求によって部屋の状況を表示画像にして外部情報端末２に画像出力するか否かを判定する。ユーザの要求は外部情報端末２からの入力を受けて行われる。
ステップＳ１１１の結果、画像出力を行う場合（Ｓ１１１→Ｙｅｓ）、制御部１３０の処理はステップＳ１１２に進む。
一方、ステップＳ１１１の結果、画像出力を行わない場合（Ｓ１１１→Ｎｏ）、制御部１３０の処理はステップＳ１１５に処理を戻す。

ステップＳ１１２において、画像生成部１３７は、ステップＳ１０８の結果に従って部屋のコーナや、人体の位置等を基に、部屋の形状や、人体の位置を表示画像に描画するとともに、部屋内の家具を検出し、家具の形状を表示画像に描画する。部屋、人体の位置及び家具の描画の処理については後記して説明する。
続いて、ステップＳ１１４において、画像生成部１３７は、ステップＳ１１２で部屋の形状、人体の位置、家具の形状等が描画された画像（表示画像）を外部情報端末２に出力する。

その後、ステップＳ１１５において補正値算出部１３５は、空調制御の補正値を算出する。すなわち、補正値算出部１３５は、実位置情報１５２（図２１）に基づいた人体の位置等に基づいて、空調制御の補正値を算出する。

そして、ステップＳ１１６において駆動制御部１３６は、ステップＳ１１５で算出した補正値を用いて負荷１２３を制御することで、空調制御の変更処理を行う。すなわち、駆動制御部１３６が、前記したリモコン信号及びセンサ信号に加えて、ステップＳ１１５で算出された補正値を用いて空調制御の変更処理を実行する。
その後、制御部１３０はステップＳ１０１へ処理をリターンし、空気調和システムＡの電源がＯＦＦされるまで、ステップＳ１０１〜Ｓ１１６の処理を繰り返す。

＜各処理の詳細＞
（人体検出処理：Ｓ１０４）
図６は、人体検出処理の手順を示すフローチャートである。なお、図６に示す処理は、図５におけるステップＳ１０４の処理を詳細に説明するためのフローチャートである。なお、人体検出処理は特開２０１３−２５３７１７号公報に記載されている技術である。
まず、ステップＳ２０１において人体検出部１４１は、撮像画像に対して２値化処理を実行する。すなわち、人体検出部１４１は、Ａ／Ｄ変換器１２１を介して撮像画像を記憶部１３８から読み出す。そして、人体検出部１４１は、撮像画像におけるＲＧＢ画像を２値化画像に変換する。なお、当該２値化処理は、例えば、人体検出部１４１が、予め設定された複数画素間隔でＲＧＢ画像を分割し、それぞれの領域（例えば、５×５画素の領域）における輝度値の合計を用いること等で実行される。これによって、粗い画素間隔による人体認識が可能となり、演算量が低減されるとともに、制御部１３０の処理負荷が軽減されることで処理の高速化が可能となる。

次に、ステップＳ２０２において、人体検出部１４１は、ステップＳ２０１の処理で取得される２値化画像の情報を用いて頭領域を検出する。ステップＳ２０２において、人体検出部１４１は、２値化画像の上から下に向かって横方向のラインの０又は１の分布を調べる。そして、人体検出部１４１は、当該分布に基づいて頭部画像の形（略円形）に相当するものが存在するか否かによって頭領域を検出する。要するに、人体検出部１４１は、エッジ検出をし、略円形の形状を有する画像を検出することで、頭領域を検出する。

続いて、ステップＳ２０３において、人体検出部１４１は、ステップＳ２０１の処理で得られた２値化画像の情報を用いて足領域を検出する。例えば、人体検出部１４１は、２値化画像の下から上に向かって横方向のラインの０又は１の分布を調べる。そして、人体検出部１４１は、ステップＳ２０２で検出される頭部の下方に足があるか否かによって足領域を検出する。足があるか否かは、人体検出部１４１が頭部の下方に略棒状のものがあるか否かによって判定される。要するに、人体検出部１４１は、エッジ検出をし、略棒状の形状を有する画像を頭部の下方に検出することで、足領域を検出する。

そして、ステップＳ２０４において、人体検出部１４１は人体中心を検出する。例えば、人体検出部１４１は、ステップＳ２０２で検出された頭領域と、ステップＳ２０３で検出された足領域の位置に基づいて、人体の中心（又は重心）位置である人体中心を検出する。ちなみに、当該人体中心の情報は、所定の画素を特定する位置情報（縦方向位置、横方向位置）として取得される。

次に、ステップＳ２０５において、人体検出部１４１は肩領域を抽出する。例えば、人体検出部１４１は、例えば、検出された頭領域の上端から足領域の下端までの画素数と、頭領域及び足領域を基準として推定される肩領域の位置の画素値（２値画素値）が１であるか否かによって、肩領域の抽出処理を実行する。

そして、ステップＳ２０６において、人体検出部１４１は、ステップＳ２０１〜Ｓ２０５の処理で取得された情報を、人体情報として、移動情報１５１に対応付け、記憶部１３８に格納する。

（顔検出処理：Ｓ１０５）
図７は、顔検出処理の手順を示すフローチャートである。なお、図７に示す処理は、図５におけるステップＳ１０５の処理を詳細に説明するためのフローチャートである。なお、顔検出処理は特開２０１３−２５３７１７号公報に記載されている技術である。
まず、ステップＳ３０１において、顔検出部１４２は、撮像画像に対して、フィルタ処理を実行することで、撮像画像からノイズを除去する。すなわち、顔検出部１４２は、撮像画像を記憶部１３８から読み出し、例えば、ウェーブレット変換を用いてＲＧＢ画像情報からノイズを除去する。

次に、ステップＳ３０２において、顔検出部１４２は顔領域を検出する。例えば、顔検出部１４２は、ステップＳ３０１の処理によってノイズが除去されたＲＧＢ画像情報についてカラー・ヒストグラムを算出し、記憶部１３８に予め格納されている顔画像のカラー・ヒストグラムとの差分が所定値以下である領域を、顔領域として検出する。

続いて、ステップＳ３０３において、顔検出部１４２は口領域を検出する。すなわち、顔検出部１４２は、ステップＳ３０２の処理で検出した顔領域の中で、予め記憶部１３８に格納されている口マスク画像情報と比較することで、口領域を検出する。

そして、ステップＳ３０４において、顔検出部１４２は目領域を検出する。すなわち、顔検出部１４２は、ステップＳ３０２の処理で検出した顔領域の中で、予め記憶部１３８に格納されている目マスク画像情報と比較することで、目領域を検出する。

続いて、ステップＳ３０５において、顔検出部１４２は、ステップＳ３０１〜Ｓ３０４の処理で取得された各情報を、顔情報として移動情報１５１に対応付け、記憶部１３８に格納する。

（移動量算出処理：Ｓ１０７）
図８は、移動量算出処理の手順を示すフローチャートである。なお、図８に示す処理は、図５におけるステップＳ１０７の処理を詳細に説明するためのフローチャートである。また、移動量算出処理は特開２０１３−２５３７１７号公報に記載されている技術である。
まず、ステップＳ４０１において、移動量算出部１３４は、撮像装置１１０の撮像面での顔の像の横幅を算出する。なお、人体は検出できたものの顔を検出できなかった人体に関しては、撮像面での人体像の頭部の横幅が算出される。

次に、ステップＳ４０２において、移動量算出部１３４は、撮像面での顔（又は頭部）の中心位置の変化量を用いて、人体の左右上下方向での移動量ΔＸを算出する。
このときの移動量ΔＸは、以下に示す式（１）を用いて算出することができる。

ΔＸ＝｛Ｈ（｜ｘ_２−ｘ_１｜）｝／Ｐ_２ ・・・ （１）

なお、式（１）において、符号Ｈは人体の顔（又は頭部）の実際の横幅であり、予め記憶部１３８に格納されている。また、符号ｘ_１は移動前の顔の像の中心位置である。頭部の横幅は、人物によらず、ほぼ一定であるので、Ｈの値は予め記憶部１３８に格納されている。さらに、符号ｘ_２は移動後の（符号Ａ９０２の位置における）顔の像の中心位置である。また、上下方向（ｚ軸方向）の移動量も同様の方法で算出できる。

ステップＳ４０３において、移動量算出部１３４は、撮像面における顔（又は頭部）の横幅の変化量を用いて、以下に示す式（２）により人体の奥方向の移動量ΔＹを算出する。

ΔＹ＝｜Ｄ_２−Ｄ_１｜＝（｜（１／Ｐ_２）−（１／Ｐ_１）｜）ＨＦ ・・・ （２）

なお、式（２）において、Ｄ_１は移動前の人体からレンズまでの距離である。また、Ｄ_２は移動後の人体からレンズまでの距離である。また、Ｐ_１は移動前における撮像面の顔の像の横幅であり、Ｐ_２は移動後における撮像面の顔の像の横幅である。また、Ｆはレンズから撮像面までの距離である。

ステップＳ４０４において、移動量算出部１３４は、移動量ΔＸと、移動量ΔＹとを用いて、以下に示す式（３）により人体の実際の移動量ΔＤを算出する。

ΔＤ＝（ΔＸ^２＋ΔＹ^２）^１／２ ・・・ （３）

このようにして、移動量算出部１３４は、所定時間Δｔ１（図５のＳ１０２参照）毎における人体の移動量ΔＤを算出する。このようにすることで、移動量算出部１３４は人体ごとの移動量を正確に算出できる。なお、移動量算出部１３４は、Ｚ軸方向（部屋の高さ方向）における人体の移動量ΔＺを算出し、ΔＤを３次元における移動量としてもよい。

そして、ステップＳ４０５において、移動量算出部１３４は、算出した人体の移動量ΔＤを、当該人体に対応付けて移動情報１５１に格納することで、記憶部１３８に記憶させる。

このような手法で、すべての人体の移動量が人体毎に算出され、記憶部１３８に格納される。
このようにして、移動量算出部１３４は、経時的に変化する人体の顔の位置及び大きさ（横幅）の変化、又は、頭部の位置及び大きさ（横幅）の変化に基づいて移動量を算出し、記憶部１３８に格納する。

図９は、移動情報の例を示す図である。
移動情報１５１には、時刻、在室者、位置情報、顔情報、人体情報、移動量が格納されている。
時刻は、撮像時刻である。在室者は、在室者の識別情報である。前記したように、人体情報検出部１３２は、各人体画像の頭部中心と顔中心の距離が一定距離以内であれば同一と判定しているが、人体情報検出部１３２は、同一人物と判定した人体情報と、顔情報とに識別情報を付与する。また、人体情報検出部１３２は、異なるフレーム間においても、人体画像の頭部中心と顔中心の距離が一定距離以内であれば同一人物と判定し、同じ識別情報を付与する。あるいは、人体情報検出部１３２は、顔の特徴量を検出できる場合、検出した顔の特徴量を記憶しておき、同様の特徴量を有する顔の人物を同一人物と判定してもよい。このようにすることで、例えば、部屋から一度出た後、部屋内に戻ってきた人物を同一人物と判定することができる。顔の特徴量算出は、公知の技術であるため、ここでは説明を省略する。
位置情報は、移動量算出処理の中間情報として算出されるものであり、画像中の座標として表わされる。図９の例では、「Ｘ１Ａ，Ｙ１Ａ」等となっているが、実際には数値座標が格納される。
顔情報には、顔検出処理で検出された顔情報に付与された識別番号が格納されている。
また、人体情報には、人体検出処理で検出された人体情報に付与された識別番号が格納されている。
そして、移動量には、移動量算出処理で算出された、各人体の移動量が格納されている。

（間取り検出処理：Ｓ１０９）
図１０は、間取り検出処理の手順を示すフローチャートである。なお、図１０に示す処理は、図５におけるステップＳ１０８の処理を詳細に説明するためのフローチャートである。なお、図１０で使用される情報は、人体検出処理で検出された人体情報や、顔検出処理で検出された顔情報である。本実施形態では、顔情報が優先的に使用されるものとする。
まず、ステップＳ５０１において、コーナ方向判定部１４５がコーナ方向判定処理を行う。コーナ方向判定処理の詳細については後記して説明する。
次に、ステップＳ５０２において、人体位置判定部１４６が人体位置判定処理を行う。人体位置判定処理については後記して説明する。
そして、ステップＳ５０３において、広がり範囲判定部１４７が広がり範囲判定処理を行う。広がり範囲判定処理については後記して説明する。

（コーナ方向判定処理：Ｓ５０１）
図１１は、コーナ方向判定処理の手順を示す説明するフローチャートである。また、図１２は、コーナ方向判定処理で行う画像処理を、順を追って説明するための図である。そして、図１３は、室内を鉛直上方側から見た概念図で、撮像装置１１０の水平方向の向きの移動と視野角について説明するための図である。また、図１４は撮像装置で撮像した室内の撮像画像例を示す図である。
なお、図１１に示す処理は、図１０におけるステップＳ５０１の処理を詳細に説明するためのフローチャートである。

すなわち、コーナ方向判定部１４５は、撮像画像情報に対して、次のような画像処理を行う。なお、ここでの撮像画像とは、右画像、正面画像、左画像が貼りあわされた画像である。
まず、ステップＳ６０１において、コーナ方向判定部１４５は、撮像画像（図１２（ａ）参照）からエッジを検出する。
次に、ステップＳ６０２において、コーナ方向判定部１４５は、検出したエッジに対して、フィルタリング処理を行い、所定値以上に太く、所定値以上に長く、かつ、所定値以上に明瞭なエッジのみを残す。
図１２（ｂ）は、ステップＳ６０２のフィルタリング処理が行われることで、図１２（ａ）の撮像画像から得られたエッジ３７１を白い線図で示している。

続いて、ステップＳ６０３において、コーナ方向判定部１４５は、各エッジ３７１（図１２（ｂ））を、その長さ方向に延長する。
図１２（ｃ）には、ステップＳ６０３の処理において、延長された各エッジ３７１が示されている。
そして、ステップＳ６０４において、コーナ方向判定部１４５は、ステップＳ６０３で延長した各エッジ３７１の交点（図１２（ｄ）に示す交点３７２）を算出する。図１２（ｄ）に示す交点３７２は、図１２（ｃ）におけるエッジ３７１の交点である。
その後、ステップＳ６０５において、コーナ方向判定部１４５は、算出された各交点の重心の座標を算出する。図１２（ｅ）の符号３７３は、図１２（ｄ）の各交点３７２の重心である。コーナ方向判定部１４５は、各交点３７２の撮像画像上の基準位置（例えば、原点）からのＸ方向（横方向）、Ｙ方向（縦方向）の距離の平均をそれぞれ求めることにより、重心３７３の座標を算出する。ここでの座標とは、撮像画像における座標である。

そして、ステップＳ６０５において、コーナ方向判定部１４５は、算出した重心３７３を部屋のコーナ（角部）と推定する。これにより、撮像画像中における室内のコーナ（重心３７３）の水平位置がわかる。つまり、撮像画像の中心から水平方向に何ピクセル目に算出したコーナ（重心３７３）が存在するかがわかる。撮像画像における１ピクセルが何度の画角かは、既知であるので、撮像画像の中心から水平方向に何ピクセル目に算出したコーナ（重心３７３）が存在するかがわかれば、中心から水平方向に何度の位置にコーナが存在しているかがわかる。コーナ方向判定部１４５は、算出したコーナが、例えば、撮像画像の中心線からＸ軸方向の何ピクセル目に位置しているかをコーナ方向の情報として記憶部１３８に格納する。

ちなみに、コーナ方向の情報として、水平方向の情報しか取得しない理由は、後記するように実コーナや、部屋の壁を推定する際に必要な情報は、水平方向におけるコーナ方向のみを用いているためである。これば、本実施形態において表示装置２１３に表示される部屋の形状が鉛直上方からみた形状となるためである。

この記憶処理において、コーナ方向判定部１４５は、過去の所定回数分（例えば過去１０回分）のみのコーナ（重心３７３）の方向を記憶部１３８に蓄積することとし、それより古い情報は削除する。そして、コーナ方向判定部１４５は、所定回数分の情報の平均値（移動平均の値）を、その時刻における最終的なコーナ（重心３７３）の方向として確定し、記憶部１３８に記憶する。重心３７３を最終的なコーナとする理由は、室内における家具や器物の配置移動により、記憶部１３８に蓄積されている情報が示す室内の左右のコーナ方向は時間帯にばらつきを生じる場合があるからである。そのため、コーナ方向判定部１４５は、平均値を求めることで情報の中に含まれているノイズを除去して、最も確からしい方向を室内の左右のコーナ（重心３７３）の方向とする。以下、重心３７３を適宜コーナ３７３という。

なお、図１２（ｅ）の例では、室内機１が設置されている部屋の引き戸３７４が開いているため、その開口部の奥のエッジが検出されて、重心３７３の位置が同図に示す位置となっている。しかし、引き戸３７４が閉められた状態で撮像された場合であれば、符号３７５又はその近傍の位置が重心３７３となる可能性が高い。

図１に示すように、撮像装置１１０は空気吹出し口１０９ｂの長手方向の中央部近傍に位置するので、前記のようにして特定した重心３７３は、空気吹出し口１０９ｂ側からみた室内のコーナとみなすことができる。

次に、図１１のステップＳ６０７において、コーナ方向判定部１４５は、算出した各コーナの室内機１の正面に対する角度を算出する。
該処理を、図１３を参照して説明する。
図１３は、撮像装置１１０の水平方向の向きの移動と視野角について説明する説明図である。図１３は、室内機１及び当該室内機１が設けられている室内を鉛直上方側からみた概念図であり、図１３の上側は当該室内機１が取り付けられている壁側となり、下側は室内機１が取り付けられている室内の室内機１の前方側の空間となる。
図１３に示すように、室内機１の正面からみた２つのコーナ３７３ａ，３７３ｂ（３７３）の方向を符号３７６，３７７で示す。ステップＳ６０７において、コーナ方向判定部１４５は、室内機１の正面に対する方向３７６，３７７の角度を算出する。
なお、図１２に示す手法でコーナを算出する際、交点３７２（図１２（ｄ））を既知の手法でグルーピングした後、グルーピングされた交点３７２毎に重心３７３を算出することで、図１３に示すように複数のコーナ３７３ａ，３７３ｂを算出することができる。

この例で、撮像装置１１０の水平方向の視野角はおよそ６０°である。よって、撮像装置１１０の水平方向の向きが真正面（方向３１１）にあるときに撮像装置１１０で撮像すれば、矢印３１２の範囲の室内の撮像を行うことができる。また、向き３１１から撮像装置１１０の向きを室内機１に向かって右に例えば４５°移動させ、方向３１３の向きで撮像すれば、矢印３１４の範囲の室内の撮像を行うことができる。さらに、向き３１１から撮像装置１１０の向きを室内機１に向かって左に例えば４５°移動させ、方向３１５の向きで撮像すれば、矢印３１６の範囲の室内の撮像を行うことができる。これにより、本例では室内機１が設置された室内を合計で約１５０°（符号３１７と符号３１８のなす角度）の視野角で撮像することができる。また、矢印３１２の範囲と矢印３１４の範囲とは一部（約１５°の範囲）重なって撮像画像を取得することができ、同様に矢印３１２の範囲と矢印３１６の範囲とは一部（約１５°の範囲）重なって撮像画像を取得することができる。

本実施形態では、前記したように、図５のステップＳ１０１の前に、制御部１３０は一回の撮像装置１１０の首振りで得られた右画像、正面画像、左画像を矢印３１２の範囲と矢印３１４の範囲及び矢印３１２の範囲と矢印３１６の範囲が重複するように貼り合わせて、一枚の撮像画像としてから処理を行っている。
方向３１１とコーナ方向３７６とがなす角、及び方向３１１とコーナ方向３７７とがなす角が、ステップＳ６０７で算出される「各コーナの室内機１の正面に対する角度」である。

また、前記の約１５０°の視野角で室内を撮像するためには、方向３１３から方向３１５までの範囲で撮像装置１１０の向きを水平方向に変動すればよい。

撮像装置１１０は、図２に示すように、所定角度だけ斜め下向きに撮像する。すなわち、図２に示すように、水平方向に対して撮像装置１１０の撮像側の方向は、所定角度だけ下側にずれている。図１４は、撮像装置１１０の上下方向の視野角について説明する説明図である。図１４（ａ）は、室内機１の側方からみた撮像装置１１０の視野角を示す図であり、図１４（ｂ）は、撮像装置１１０で撮像画像３３７の例を示す図である。撮像画像３３７は、右画像、正面画像、左画像を貼り合わせることで、１つの撮像画像となっているものである。符号３３１は室内機１が設置される壁であり、符号３３２は室内の天井であり、符号３３３は室内の床であり、符号３３４は室内機１の前方の壁であり、符号３３５は室内機１からみて右側の壁であり、符号３３６は室内機１からみて左側の壁である。

そして、図１４（ａ）に示すように、本実施例の例では撮像装置１１０の上下方向の視野角は４５°である。そして、その視野角の範囲は、天井３３２と平行な方向３３８と当該方向３３８から下側に４５°の角度をなす方向３３９との間の範囲となる。この場合に、撮像画像３３７において、室内機１の前方の壁３３４が映っている範囲の高さがａとなり、床３３３が映っている範囲の高さがｂとなる。

そして、図１１のステップＳ６０８において、コーナ方向判定部１４５は壁の遠近を判定する。具体的には、コーナ方向判定部１４５は、ステップＳ６０７で算出した室内機１からみた各コーナへの方向の角度が、小さければ小さいほど、対象となっているコーナは空気吹き出し口１０９ｂ（図２）から近いと判定する。逆に、コーナ方向判定部１４５は、ステップＳ６０７で算出した室内機１からみた各コーナへの方向の角度が、大きければ大きいほど、対象となっているコーナは空気吹き出し口１０９ｂから遠いと判定する。このとき、コーナ方向判定部１４５は、コーナへの方向に壁があるものと判定する。

すなわち、図１３において、方向３７６と方向３１１とがなす角度が方向３７７と方向３１１とがなす角度より小さければ、コーナ方向判定部１４５は、コーナ３７３ａの方がコーナ３７３ｂより室内機１に近いと判定する。
そして、図１１のステップＳ６０９において、コーナ方向判定部１４５は、ステップＳ６０８で判定される室内機１と壁の遠近に関する情報を記憶部１３８に格納する。

図１５は、ステップＳ６０８の処理を具体的に説明するための室内の平面図である。なお、図１５において、図１３、図１４と同じ構成については、同一の符号を付して説明を省略する。ただし、図１５では、図１３と比較してコーナ３７３ａが、やや室内機１よりになっている。
まず、コーナ方向判定部１４５は、室内機１の正面線３１１と、方向線３７７とがなす角度ａを算出する。これは、撮像装置１１０の例えば水平方向の全画素数が６４０［ｐｉｘｅｌ］であり、角度ａの範囲の（上下、左右方向の）画素数がβ［ｐｉｘｅｌ］であったとすれば、コーナ方向判定部１４５は、６４０［ｐｉｘｅｌ］：β［ｐｉｘｅｌ］＝６０°：ａ°”→“ａ°＝６０°×β［ｐｉｘｅｌ］／６４０［ｐｉｘｅｌ］”として角度ａを算出する。続いて、コーナ方向判定部１４５は、“Ａ°＝３０°＋ａ°”で角度Ａが求められる（範囲３１２の角度が約６０°で、３０°はその半分）。

つぎに、コーナ方向判定部１４５は、同様にして角度ｂを算出し、“Ｂ°＝３０°−ｂ°”で角度Ｂを算出する。
図１５の例では、“Ａ°＞Ｂ°”であるので、コーナ方向判定部１４５は、図１５において、壁３３５の方が壁３３６より空気吹出し口１０９ｂ側からみて遠いと判定する。

また、図１６（ａ）の平面図で示す室内のように、室内の形状が長方形、正方形ではなく、例えば、室内のコーナ部分３７８が室内側に角柱状に飛び出しているような形状の場合、撮像画像の例は図１６（ｂ）のようになる（図１６（ａ）（ｂ）に示す符号は、前記した図１４と同様である）。
このような場合には、図１６（ｂ）に示すように、コーナ（重心）３７３の候補（符号３７３ｃ）が複数求められることがある。
このような場合、コーナ方向判定部１４５は、複数の候補３７３ｃの撮像画像上の基準位置からのＸ方向（横方向）、Ｙ方向（縦方向）の距離の平均をそれぞれ求めることにより、当該平均後の座標をコーナ（重心）３７３ｄとして算出する。ここで、基準位置とは、例えば、任意に定められた原点のことである。

以上の処理により、コーナ方向判定部１４５は、空気吹出し口１０９ｂ側からみた部屋の左右のコーナ３７３ａ，３７３ｂの方向３７６，３７７（図１３）を的確に判定することができる。また、制御部１３０は、空気吹出し口１０９ｂ（図２）側からみて室内の左右の壁３３５，３３６のうちどちらが近く、どちらが遠いかも判定することができる。

（人体位置判定処理：Ｓ５０２）
次に、撮像装置１１０からみた室内の人体の位置の判定処理について図１７、図１８を参照して説明する。
図１７は、人体位置判定処理の手順を示すフローチャートである。なお、図１７に示す処理は、図１０におけるステップＳ５０２の処理を詳細に説明するためのフローチャートである。また、図１７では人体位置判定処理の概要を説明することとし、処理の詳細は図１８を参照して説明することとする。
まず、ステップＳ７０１において、人体位置判定部１４６は、撮像画像を基に人体の位置を検出する。
次に、ステップＳ７０２におおいて、人体位置判定部１４６は、検出した人体の位置に関し、画面上の座標系から実空間の座標系に変換する。これにより、室内のどこに人体が存在していたかを判定することができる。
人体位置判定部１４６は、このようにして、人体の実空間の座標を判定すると、ステップＳ７０３において、当該座標の情報を記憶部１３８に記憶する。

図１８は、図１７の室内の人体位置の判定手順を示す図である。
図１７の処理のステップＳ７０２において、人体位置判定部１４６は、以下の処理により室内の人体の実空間の座標を判定する。
まず、頭部は、身長、性別に比較的依存しない大きさを有する人間の体の部位である。そこで、人体位置判定部１４６は、図１１のステップＳ７０１で検出した人体ごとに当該人体の顔中心の位置を算出するとともに、その頭部の大きさ（縦方向の長さ）Ｄ０（図１８（ｂ））を算出する。

図１８（ａ）は、撮像装置１１０の光軸Ｐと垂直面Ｓとの関係を示す説明図である。
撮像装置１１０の光軸Ｐは、水平面に対して俯角εを有している。垂直面Ｓは、光軸Ｐに垂直であるとともに、人体３９１の顔中心を通る仮想平面である。距離Ｌは、撮像装置１１０が有するレンズ（不図示）の焦点５０１ａ（図１８（ｂ））と、人体３９１の顔中心との距離である。また、室内機１が設置される壁３３１とレンズの焦点５０１ａとの距離はΔｄである。

図１８（ｂ）は、撮像画像面に撮像される画像と、実空間に存在する人体３９１との関係を示す説明図である。
図１８（ｂ）に示す撮像画像面Ｒは、撮像装置１１０が有する複数の受光素子（不図示）を通る平面である。算出した前記の頭部の大きさＤ０に対応する縦方向の画角γ_ｙは、以下に示す式（４）で表される。

γ_ｙ＝Ｄ０・β_ｙ ・・・ （４）

ちなみに、式（４）において、角度β_ｙ［ｄｅｇ／ｐｉｘｅｌ］は、１ピクセル当たりの画角（ｙ方向）の平均値であり、既知の値である。

すると、撮像装置１１０が有するレンズ（図示せず）の焦点５０１ａから顔中心までの距離Ｌ［ｍ］は、一般的な人間の顔の縦方向の長さの平均値をＤ１［ｍ］（既知の値）とすると、以下に示す式（５）で表される。

Ｌ＝（Ｄ１・ｃｏｓε）／｛２ｔａｎ（γ_ｙ／２）｝ ・・・ （５）

ここで、俯角εは、前記したように撮像装置１１０におけるレンズの光軸が水平面となす角度である。

図１８（ｃ）は、撮像装置１１０におけるレンズの焦点から顔中心までの距離Ｌと、画角δｘ，δｙとの関係を示す説明図である。撮像画像面Ｒの中心から撮像画像Ｓ上の顔中心までのｘ方向、ｙ方向の画角をそれぞれδｘ，δｙとすると、これらは以下に示す式（６）、式（７）で表される。

δ_ｘ＝｛ｘ_ｃ−（Ｔ_ｘ／２）｝×β_ｘ ・・・ （６）
δ_ｙ＝｛ｙ_ｃ−（Ｔ_ｙ／２）｝×β_ｙ ・・・ （７）

ここで、ｘ_ｃ、ｙ_ｃは、撮像画像内における人体３９１の人体中心（頭部中心）の位置（撮像画像内でのｘ座標、ｙ座標）である。また、Ｔ_ｘ［ｐｉｘｅｌ］は撮像画面の横サイズであり、Ｔ_ｙ［ｐｉｘｅｌ］は撮像画面の縦サイズであり、それぞれ既知の値である。
したがって、実空間における人体中心（頭部中心）の位置座標は、以下に示す式（８）〜式（１０）によって表される。

ｘ＝Ｌ・ｃｏｓδ_ｙ×ｓｉｎδ_ｘ ・・・ （８）
ｙ＝Ｌ・ｃｏｓδ_ｘ×ｓｉｎ（ε‐δ_ｙ） ・・・ （９）
ｚ＝Δｄ＋Ｌ・ｃｏｓδ_ｘ×ｃｏｓ（ε‐δ_ｙ） ・・・ （１０）

式（８）〜式（１０）によって算出されるｘ，ｙ，ｚの各値は図１８に示されるとおりである。このｘ，ｙ，ｚの各値から、室内機１の空気吹出し口１０９ｂ側からみた人体中心（頭部中心）の実空間におけるＸ方向（図１３の左右方向）、Ｙ方向（図１３の上下方向）、Ｚ方向（図１３の紙面に垂直な方向）の座標が求められる。

（広がり範囲判定処理：Ｓ５０３）
次に、図１７に示される人体位置判定処理の結果を用いて室内の広がりの範囲を判定する処理について説明する。
図１９は、広がり範囲判定処理の手順を示すフローチャートであり、図２０は、当該判定処理について説明する室内配置の平面図である。なお、図１９に示される処理は、図１０におけるステップＳ５０３の処理を詳細に説明するためのフローチャートである。
まず、ステップＳ８０１において、広がり範囲判定部１４７は、図１７のステップＳ７０３により、新たに人体の座標情報が記憶部１３８に記憶されたか否かを判定する。
ステップＳ８０１の結果、新たに人体の座標情報が記憶されていない場合（Ｓ８０１→Ｎｏ）、広がり範囲判定部１４７は、ステップＳ８０１の処理を繰り返す。
ステップＳ８０１の結果、新たに人体の座標情報が記憶された場合（Ｓ８０１→Ｙｅｓ）、ステップＳ８０２において、広がり範囲判定部１４７は、左右のコーナ方向間の領域外に人体の座標が存在するか否かを判定する。ステップＳ８０２において、広がり範囲判定部１４７は、図２０に示すように、室内の左右のコーナ方向３７６と方向３７７との間の領域３８３外側の領域３８１（薄いドットで示される領域）に、図１７に示す処理で算出された人体の座標が存在するか否かを判定する。人体の座標が符号３８２の位置にある場合、広がり範囲判定部１４７は、ステップＳ８０２で「Ｙｅｓ」と判定する。

ステップＳ８０２の結果、人体の座標が左右のコーナ方向間の領域外に人体の座標が存在しない場合（Ｓ８０２→Ｎｏ）、広がり範囲判定部１４７は、ステップＳ８０５へ処理を進める。
ステップＳ８０２の結果、人体の座標が左右のコーナ方向間の領域外に人体の座標が存在する場合（Ｓ８０２→Ｙｅｓ）、ステップＳ８０３において、広がり範囲判定部１４７は、人体のＸ方向の座標位置を左又は右の壁の位置と推定する。つまり、図２０において、広がり範囲判定部１４７は、人体のＸ方向の座標（図２０の左右方向）位置を室内機１に向かって右側の壁３３６ｂの位置と推定する。当該座標３８２に人体が位置するということは、壁３３６ｂは少なくとも当該座標の位置あるいはさらにその外側にあることになる。従って、その人体の位置（座標３８２）を現時点での壁３３６の仮位置とするものである。

次に、ステップＳ８０４において、広がり範囲判定部１４７は、各コーナ、各壁の位置を推定する。
ステップＳ８０４の処理を、図２０を参照して説明する。
ステップＳ８０３の処理により、壁３３６ｂの現時点における推定位置がわかるので、広がり範囲判定部１４７は、室内の各コーナ及び各壁の位置を推定する。すなわち、この壁３３６ｂの位置のＹ方向を延長していき、コーナ方向３７６との交点を仮の実コーナ４２２ａと推定する。また、広がり範囲判定部１４７は、当該仮の実コーナ４２２ａの位置からＸ方向に他のコーナ３７７に達するまで線３３４ｂをひく。広がり範囲判定部１４７は、当該線３３４ｂを正面の壁３３４の仮位置と推定する。

さらに、広がり範囲判定部１４７は、線３３４ｂと、コーナ方向３７７と交わった位置を仮の実コーナ４２２ｂと推定する。そして、広がり範囲判定部１４７は、実コーナ４２２ｂの位置からＹ方向に線３３５ｂをひく。広がり範囲判定部１４７は、線３３５ｂを壁３３６と対向する壁３３５の仮位置と推定する。
室内機１が取り付けられている壁３３１の撮像装置１１０に対する位置は予め記憶部１３８に格納されているので、広がり範囲判定部１４７は、壁３３１と、壁３３６ｂ，３３５ｂそれぞれとの交点を算出することで、部屋の大きさを推定する。

ここでは、人体の座標が、壁３３６側に位置している場合について記載したが、壁３３５側に位置している場合についても、広がり範囲判定部１４７は、壁３３５ｂ→壁３３４ｂ→壁３３６ｂ→壁３３１の順に壁の仮位置を推定する。広がり範囲判定部１４７は、このような壁の仮位置の推定を領域３８１で検出された人体毎に行う。

また、ステップＳ８０５において、広がり範囲判定部１４７は、左右のコーナ方向間の領域３８３（濃いドットで示される領域）内に人体の座標が存在しているか否かを判定する。すなわち、ステップＳ８０５において、広がり範囲判定部１４７は、図２０の室内における左右のコーナ方向３７６とコーナ方向３７７との間の領域３８３に人体の座標３８４が存在するか否かを判定する。
ステップＳ８０５の結果、左右のコーナ方向間の領域内に人体の座標が存在していない場合（Ｓ８０５→Ｎｏ）、広がり範囲判定部１４７は、ステップＳ８０８へ処理を進める。

ちなみに、ステップＳ８０２とステップＳ８０５の両方で「Ｎｏ」と判定された場合、領域３８１及び領域３８３の両方で人体が検出されなかったことを示している。つまり、部屋内に人がいなかったか、在室者が撮像装置１１０の死角にいたことを示している。
また、ステップＳ８０２とステップＳ８０５の両方で「Ｎｏ」と判定された場合、領域３８１及び領域３８３の両方で人体が検出されたことを示している。

ステップＳ８０５の結果、左右のコーナ方向間の領域内に人体の座標が存在している場合（Ｓ８０５→Ｙｅｓ）、ステップＳ８０６において、広がり範囲判定部１４７は、人体のＹ方向の座標位置を正面の壁の仮位置と推定する。
ステップＳ８０６において、広がり範囲判定部１４７は、図２０における人体の位置３８４のＹ方向の座標位置を室内機１の正面の壁３３４の仮位置（３３４ａ）と推定する。当該位置３８４に人体が位置するということは、壁３３４は少なくとも当該座標の位置あるいはさらにその外側にあることになる。従って、広がり範囲判定部１４７は、人体の位置３８４を現時点での壁３３４の仮位置とする。

これにより、正面の壁３３４ａ（図２０）の仮位置がわかるので、ステップＳ８０７において、広がり範囲判定部１４７は、室内における各コーナ及び各壁の位置を推定する。
すなわち、広がり範囲判定部１４７は、推定した正面の壁３３４ａをＸ方向に延長していき、コーナ方向３７６及びコーナ方向３７７との交点それぞれを、仮の実コーナ４２１ａ及び仮の実コーナ４２１ｂと推定する。そして、広がり範囲判定部１４７は、推定された実コーナ４２１ａ及び実コーナ４２１ｂからＹ方向に線３３６ａ，３３５ａをひく。広がり範囲判定部１４７は、この線３３６ａ及び線３３５ａを壁３３６及び壁３３５の仮位置とする。広がり範囲判定部１４７は、このような壁の仮位置の推定を領域３８３で検出された人体毎に行う。

続いて、ステップＳ８０８において、広がり範囲判定部１４７は、ステップＳ８０４又はステップＳ８０７で推定された仮の各実コーナ及び仮の各壁のうち、室内機１から最も遠いもの（最も部屋が広くなるもの）を実コーナ及び壁として確定する。図２０の例では、壁３３１、３３４ｂ，３３５ｂ，３３６ｂが、壁３３１、３３４，３３５，３３６としてステップＳ８０７において選ばれる。

そして、ステップＳ８０９において、広がり範囲判定部１４７は、ステップＳ８０８で確定した壁及びコーナの情報を記憶部１３８に格納する。
ステップＳ８０８における壁及び各コーナの情報は所定時間Δｔ１ごとに確定される。なお、ステップＳ８０９において、広がり範囲判定部１４７は、直近のｍ回分（例えば、ｍ＝３０）の壁及び各実コーナのうち、室内機１側から最も遠い壁の情報で更新する。これにより、所定の基準時以後に取得した情報のうち、室内機１から最も遠い壁及び各コーナの位置がステップＳ８０９で格納される。

なお、広がり範囲判定部１４７は、ステップＳ８０８で確定した実コーナ４２１ａ，４２１ｂ（図２０）までのそれぞれの距離を、以下の式（１１）、式（１２）によって算出する。

実コーナ４２１ａまでの距離＝（Ｌ_３３６ａ ^２＋Ｌ_３３４ａ ^２）^１／２
・・・ （１１）
実コーナ４２１ｂまでの距離＝（Ｌ_３３５ａ ^２＋Ｌ_３３４ａ ^２）^１／２
・・・ （１２）

ここで、Ｌ３３４ａは撮像装置１１０の中心から壁３３４ａに下ろした垂線の距離、Ｌ３３５ａは撮像装置１１０の中心から壁３３５ａに下ろした垂線の距離、Ｌ３３６ａは撮像装置１１０の中心から壁３３６ａに下ろした垂線の距離である。
広がり範囲判定部１４７は、同様の手法で、実コーナ４２２ａまでの距離、実コーナ４２２ｂまでの距離を算出する。

図２１は、実位置情報の例を示す図である。
実位置情報１５２には、時刻、在室者、実位置情報が格納されている。
時刻は、撮像時刻である。在室者は、在室者の識別情報である。在室者の識別情報は、
人体情報検出部１３２によって付与された識別情報である。
実位置情報は、図１７及び図１８の人体位置判定処理によって推定される実際の部屋における人体の位置である。図２１の例では、「Ｘ１ａ，Ｙ１ａ」等となっているが、実際には数値座標が格納される。

（表示画像の生成：Ｓ１１２、Ｓ１１３）
次に、人体位置判定処理で推定された人体の位置座標や、広がり範囲判定処理で推定された部屋の実コーナの位置座標から、人の位置を可視化し、リモコンやスマートフォン等の外部情報端末２で表示する方法について説明する。
図２２は人と部屋を可視化する（部屋、人の位置、家具の描画）手順を示すフローチャートである。なお、図２２に示す処理は、図５におけるステップＳ１１２の処理を詳細に説明するためのフローチャートである。
まず、ステップＳ９０１において、画像生成部１３７は、部屋の形状を表示画像に描画する。具体的には、画像生成部１３７は、ステップＳ８０８で確定された部屋の各実コーナの位置を表示画像に割り付け、次にコーナ間を結んで部屋の形状を描画する。

次に、ステップＳ９０２において、画像生成部１３７は、ステップＳ９０１で描画した部屋に、図１７の処理で推定された人体の位置を割り当てる。具体的には、画像生成部１３７は、実位置情報１５２（図２１）に格納されている現在の実位置座標に人体の位置を割り当てる。

最後に、ステップＳ９０３において、画像生成部１３７は、家具の形状を描画する。
ここで、図２３は、家具の検出から描画までの処理手順を示すフローチャートである。
ユーザはエアコンと部屋の位置関係からおおよその家具の位置を把握することが可能と考えるが、机やベッドの位置を検知して同様に表記すると、なおわかりやすくなる。
図２３のステップＳ１００１において、画像生成部１３７は撮像画像を解析して、部屋の内部にあり、かつ同じ高さで、互いに比較的近い（互いの距離が所定の距離以下の）４つのエッジを検出する。
次に、ステップＳ１００２において、画像生成部１３７は、検出された物体の形状と、予め記憶部１３８に格納されている物体形状テンプレートと比較する。物体形状テンプレートには、机や、ベッド等に関する形状に関する規格データ等が格納されている。
例えば、規格に従った一般的な机であれば、幅は８０〜２００ｃｍ、奥行き６０〜１００ｃｍ、高さ約７０ｃｍであるため、検出されたエッジの長さが、その範囲にあれば、画像生成部１３７は机であると判定する。また、一般的なベッドは幅９７〜１４０ｃｍ、奥行き約１９５ｃｍであるため、検出されたエッジの長さが、その範囲にあれば、画像生成部１３７はベッドであると判定する。タンスやテーブル等といった机や、ベッド以外の家具も、同様にすることで検出することができる。

次に、ステップＳ１００３において、画像生成部１３７は、ステップＳ１００２の比較の結果に基づいて、検出された物体にラベルを付与する。ここで、ラベルとは、例えば「机」、「ベッド」等といった物体の種類名である。
続いて、ステップＳ１００４において、画像生成部１３７は、部屋における家具の位置を推定する。家具の位置推定は、図１７の人体位置判定処理と同様の処理によって推定される。
そして、ステップＳ１００５において、画像生成部１３７は、検出された机や、ベッドのエッジを、検出された座標に描画する。画像生成部１３７は、描画した家具形状に「ベッド」や「机」等の家具名称（ラベル）を描画してもよい。

（表示画面例）
図２４は、第１実施形態に係る表示画面の例を示す図である。なお、図２１では、４人の在室者（在室者Ａ〜Ｄ）が検出された例について記載しているが、ここでの表示画面例では、在室者が１人もしくは２人の場合の例について説明する。また、図２４〜図２７に示される表示画面は、画像生成部１３７によって生成された表示画像が表示装置２１３に表示されているものである。
図２４では、在室者Ａが符号６０５の位置に現在いることを示している。

図２５は、第１実施形態に係る表示画面の別の例を示す図である。
図２５では、図２４の表示画面に加えて、在室者Ｂの現在位置が示されている。図２５において、図２４と同様の構成に対しては、同一の符号を付して説明を省略する。
すなわち、図２５では、在室者Ａの位置（符号６０５）とともに、在室者Ｂの位置（符号７２１）が示されている。

ちなみに、図２４及び図２５では、ベッドや、机といった家具の位置が示されている。これら家具の位置は、図２３に示す処理によって検出されたものである。

図２４や、図２５に示すように、部屋の間取りと人体の位置をともに表示することで、部屋全体の形と人の位置が可視化され、ユーザは、人の位置を、より直観的に把握することが可能となる
そして、図２４や、図２５に示されるように、家具の位置を検出し、その家具の形状が描画されることで、例えば、机付近の位置にずっと人がいれば、子供が勉強していると判断できる等、ユーザは室内のおおよその状況が把握できるようになる。

＜空調制御＞
図２６及び図２７は、第１実施形態に係る空調制御の例を示す図である。また、図２６、図２７は、外部情報端末２の表示装置２１３に表示される画面の例である。
なお、図２６及び図２７において、図２４及び図２５と同じ構成については、同じ符号を付して説明を省略する。
図２６では、在室者Ａが符号６０５に示す位置にいるとき、室内機１は、符号６０５の方向に風を送るよう風向きを制御している。つまり、室内機１は矢印６５１に示す方向に調和空気を送っている。なお、室内機１は矢印６５１を中心として、所定角度で左右風向板１０４（図２）をスイングさせてもよい。

図２７では、室内機１が、在室者Ａの位置（符号６０５）及び在室者Ｂの位置（符号７２１）へ向けて、交互に調和空気を送るよう、風向きを制御している。この場合、室内機１は、符号６０５へ向けた方向（矢印６５１）と、符号７２１へ向けた方向（符号６５２）との間を交互にスイングさせる。
また、風向に加えて、在室者の位置によって風速が制御されてもよい。つまり、室内機１から在室者が遠い場合には、制御部１３０は風速を大きくし（送風ファン１０３の回転速度を大きくし）、近い場合には風速を小さく（送風ファン１０３の回転速度を小さく）してもよい。

このように、在室者の位置に基づいて風向きを制御することで、在室者がいるとみなされる範囲に適切な調和空気を正確に送ることができる。

図２６、図２７に示すような風向き制御は、図５のステップＳ１１５及びステップＳ１１６の処理で行われるものである。

図２６、図２７に示すような風向き制御を行う際、補正値算出部１３５は、図５のステップＳ１１５において、表示装置２１３に表示される人の位置へ向かうよう、風向き制御を行うための補正値を算出する。
そして、図５のステップＳ１１６において、駆動制御部１３６が、ステップＳ１１５で算出した補正値に基づいて、上下風向板１０５、左右風向板１０４を制御して、人の位置へ向かうよう、風向きを制御する。必要に応じて、駆動制御部１３６は、左右風向板１０４を左右にスイングさせる。
なお、図２４〜図２７では、在室者が２人までの例について示しているが、３人以上でも同様に表示及び空調制御が可能である。在室者が３人以上である場合、補正値算出部１３５は、在室者全員に調和空気が送られるよう、補正値を算出する。

なお、部屋内に人体が検出されなかった場合、画像生成部１３７は人体が検出されなかった旨を外部情報端末２２へ送り、外部情報端末２２の表示処理部２２１が人体を検出できなかった旨の情報を表示装置２１３に表示してもよい。
また、図２６、図２７のように、風向が表示画面に表示されている場合、ユーザは表示装置２１３に表示されている表示画面を基に、風向を調節する等といった空調調節をしてもよい。空調調節は、リモコンＲｅを介して行われてもよいし、外部情報端末２を介して行われてもよい。

また、図２４〜図２７に示す表示画像（表示画像）時刻等の付帯情報が表示されてもよい。
また、本実施形態では、図２４〜図２７に示す表示画面が室内器１とは別の外部情報端末２の表示装置２１３に表示されるものとしているが、これに限らず、リモコンＲｅの表示画面に表示されてもよい。

《第２実施形態》
次に、図２８〜図３６を参照して、本発明の第２実施形態を示す。
第２実施形態では、過去の人体の位置を含める人体の位置履歴（各時刻における人体の位置）を表示する。なお、第２実施形態における空気調和システムＡ、室内機１、外部情報端末２の構成は、図１〜図４で示されるものと同様であるので、ここでは図示及び説明を省略する。

図２８は、第２実施形態に係る制御部が行う全体処理の手順を示すフローチャートである。
なお、図２８において、図５と異なっている箇所は、ステップＳ１１２ａと、ステップＳ１１３である。その他の処理については、図５と同様の処理であるので、同一のステップ番号を付して説明を省略する。

ステップＳ１１２ａにおいて、画像生成部１３７は、ステップＳ１０８の結果による部屋のコーナや、人体の位置情報の履歴等を基に、部屋の形状や、人体の位置履歴を表示画像に描画するとともに、部屋内の家具を検出し、家具の形状を表示画像に描画する。部屋、人体の位置履歴及び家具の描画の処理については後記して説明する。
次に、ステップＳ１１３において、画像生成部１３７は、ステップＳ１１２で描画した画像に、ステップＳ１１２で推定した過去及び現在の人体の位置を表示画像に描画し、描画した人体の位置を線で結ぶことで、人体の移動を示す動線を表示画像に描画する。人体の位置は、実位置情報１５２（図２１）等に格納されている情報を基に描画される。実位置情報とは、後記する人体位置判定処理によって推定される実際の部屋内における人体の位置である。

（表示画像の生成：Ｓ１１２ａ、Ｓ１１３）
次に、人体位置判定処理で推定された人体の位置座標や、広がり範囲判定処理で推定された部屋の実コーナの位置座標から、人の位置を可視化し、リモコンやスマートフォン等の外部情報端末２で表示する方法について説明する。
図２９は人と部屋を可視化する（部屋、人の位置履歴、家具の描画）手順を示すフローチャートである。なお、図２９に示す処理は、図５におけるステップＳ１１２ａの処理を詳細に説明するためのフローチャートである。また、図２９が図２２と異なっているのは、ステップＳ９０２ａの処理である。それ以外の処理は図２２と同様であるので、同一のステップ番号を付して説明を省略する。

ステップＳ９０２ａにおいて、画像生成部１３７は、ステップＳ９０１で描画した部屋に、図１７の処理で推定された人体の位置履歴を割り当てる。具体的には、画像生成部１３７は、実位置情報１５２（図２１）に格納されている実位置座標に人体の位置履歴を割り当てる。
まず、画像生成部１３７は、例えば、Δｔ１分間隔で過去５回分の人体の位置履歴を描画し、直近の時刻における位置にアイコンを描画する等すればよい。
どのくらいの間隔で人体の位置を描画するか、あるいは、過去どのくらいの時間までの位置履歴を表示するかはユーザが設定可能としてもよい。

（表示画面例）
図３０は、第２実施形態に係る表示画面の例を示す図である。なお、図２１では、４人の在室者（在室者Ａ〜Ｄ）が検出された例について記載しているが、ここでの表示画面例では、在室者が１人もしくは２人の場合の例について説明する。また、図３０〜図３６に示される表示画面は、画像生成部１３７によって生成された表示画像が表示装置２１３に表示されているものである。

図３０では、在室者Ａがベッドから起きて（符号６０１）、一度部屋を退出し（符号６０２，６０３）、Δｔ１×３時間後に戻ってきて（符号６０４）、机に座った（符号６０５）動作を、外部情報端末２の表示装置２１３に出力した例である。なお、図３０〜図３６の例では、Δｔ１＝１秒とする。
図３０の例では、部屋を平面図で表現し、三角の印と、三角の印近くの丸で囲まれた数字は在室者Ａが撮像された位置を過去から順に配置したものであることを示している。符号６０５が三角ではなく、丸で示されているのは、符号６０５が現在位置であることを示しているためである。丸で囲まれた数字において、３の次が７となっているのは、この間にΔｔ１×３時間の時間が経過していることを示している。

符号６０１〜６０５をつないだ各直線が在室者Ａの動線（人体の移動に関する情報）である。ちなみに、動線は図２８のステップＳ１１３で描画されるものである。また、星印（符号６１１）は在室者Ａの平均位置（丸の中の数字で１〜３，７，８）であり、これは表示画面上に表示された符号６０１〜６０５の位置座標を平均することで算出される。図３０の例において、在室者Ａは符号６０１→符号６０２→符号６０３の順に移動し、さらに符号６０４→符号６０５へ移動したことが分かる。一方、符号６０３から符号６０４へのつながりがないのは、在室者Ａが一度部屋を出たため、時系列的に連続していないからである。このように撮像が途切れた場合は断続することになるが、ユーザは部屋の位置と移動内容を見て行動を推測することが可能である。なお、ある位置と、ある位置との間が時系列的に連続していないことは、ある時刻における人体の情報がない場合に、画像生成部１３７は、該人体の情報が、その前後の時刻において時系列的に連続していないと判定する。

このとき、制御部１３０は、前記したように顔の特徴量を算出可能な場合、顔の特徴量を算出し、該特徴量を基に同一人物であるか否かを判定することで、符号６０１〜６０３と、符号６０４，６０５とを同一人物として処理することが可能である。このようにすることで、符号６０１〜６０３と、符号６０４，６０５とが時系列的に連続していないため、制御部１３０が、符号６０１〜６０３で示される在室者と、符号６０４，６０５で示される在室者とが別人物として処理されてしまうことを防ぐことができる。

図３１は、第２実施形態に係る表示画面の別の例を示す図である。
図３１では、図３０の表示画面に加えて、在室者Ｂの行動が示されている。図３１において、図７と同様の構成に対しては、同一の符号を付して説明を省略する。
図３１では、在室者Ｂの過去の動きを示す動線が、在室者Ａの動線とともに示されている。在室者Ｂは、符号７０１の位置から、符号７０２の位置に移動した後、符号７０２の位置でΔｔ１×３の時間とどまったのち、符号７０３の位置へ移動し、現在に至っている。なお、在室者Ｂは、符号７０３の位置でΔｔ１×４の時間とどまっている。
また、星印（符号７１１）は在室者Ｂの平均位置であり、これは表示画面上に表示された符号７０１〜７０３（丸の中の数字で１〜８）の位置座標が平均されることで算出される。

このように、在室者の位置を、現在の実位置及び過去の実位置（位置履歴）として示すことにより、例えば子供が落ち着いて机に向かって勉強しているか(机から頻繁に離れたりして集中できてないか)がわかる等、在室者のおおよその状況を、ユーザが把握又は推測することができるようになる。
さらに、図３０や、図３１で示すように、在室者の位置履歴を時系列的につないだ動線として表示することで、在室者の行動が視覚的によりわかりやすくなる。
そして、図３０や、図３１で示すように、在室者の位置履歴の平均値が表示されることで、在室者の行動の傾向がよりわかりやすくなる。例えば、外部からの侵入者の位置履歴の平均値が貴重品をおいている箇所近辺であれば、その侵入者は貴重品を窃盗する目的であることがわかる。また、子供の位置履歴の平均値が机近辺にあれば、その子供はおおよそ勉強していることがわかる。

図３２は、第２実施形態に係る表示画面の別の例を示す図である。
図３２では、図３０の表示画面における動線の代わりに、人体の動作状態に関する情報としてベクトルが表示されている。符号については、図３０の表示画面と同様であるため、ここでは説明を省略する。
ベクトルの方向は、移動方向であり、次の時刻における位置を示す。例えば、符号６０１におけるベクトルの方向は、符号６０１の移動方向である。
また、ベクトルの長さは、図９の移動情報１５１に格納されている移動量に応じた長さとなっている。
ここで、符号６０３からベクトルがでていないのは、前記したように符号６０３と符号６０４との間が時系列的に連続していないためである。

図３２のように表示が行われることで、ユーザは人の行動の傾向を容易に把握することができる。例えば、子供の位置履歴について、ベクトルが大きければ、その子供は落ち着きがない状態であることがわかる。

図３３は、第２実施形態に係る表示画面の別の例を示す図である。
図３３に示す表示画面では、在室者の位置に、在室者が該位置にいた時刻を示している（符号８０１）。
このような時刻は、図２１に示す実位置情報１５２等から取得されるものである。

図３３のように表示が行われることで、ユーザは時刻と行動との関連性を把握することができる。例えば、子供が勉強時間以外は机から離れていて、勉強時間内では机にいること等を、ユーザは把握することができる。

＜空調制御＞
図３４〜図３６は、第２実施形態に係る空調制御の例を示す図である。また、図３４〜図３６は、外部情報端末２の表示装置２１３に表示される画面の例である。
図３４では、在室者Ａが符号６０１ａ〜６０５ａに示すような行動を行っているとき、室内機１は、符号６０１ａ〜６０５ａの方向に風を送るよう風向きを制御している。つまり、室内機１は矢印９０１及び矢印９０２の間で左右風向板１０４をスイングさせている。

このように、在室者の位置履歴（過去の位置及び現在の位置）に基づいて風向きを制御することで、在室者がよくいるとみなされる範囲に調和空気を送ることができる。言い換えれば、在室者の過去の動きから、在室者がよくいる場所を推定し、その方向へ風向きを制御する。このようにすることで、在室者の動きを考慮した空調制御が可能となる。

図３５では、室内機１が、在室者Ａの平均位置（符号６１１）に向けて風向きを制御している。図１９の例における風向きが矢印９１１で示されている。なお、室内機１は矢印９１１を中心として、所定範囲内に調和空気が送られるよう左右風向板１０４をスイングさせてもよい。
また、図３６では、室内機１が、在室者Ａの平均位置（符号６１１）及び在室者Ｂの平均位置（符号７１１）へ向けて、交互に調和空気を送るよう、風向きを制御している。この場合、室内機１は、符号６１１へ向けた方向（矢印９２１）と、符号７１１へ向けた方向（符号９２２）との間を交互にスイングさせる。
なお、図３５において、図３０と同様の要素については同一の符号を付して説明を省略する。同様に、図３６において、図３１と同様の要素については同一の符号を付して説明を省略する。

つまり、図３４の例では、在室者の過去の位置履歴に基づいて風向き制御を行っているが、図３５及び図３６の例では、在室者の平均位置に基づいて風向き制御を行っている。
図３５及び図３６に示すように、在室者の平均位置に向けて調和空気が送られるよう、風向き制御が行われることにより、図３４に示すように大きなスイングを行わなくても、在室者がよくいると推定される場所に調和空気を送ることができる。このようにすることにより、図３５に示す例より効率的に、在室者の動きを考慮した空気調和が可能となる。

図３４〜図３６に示すような風向き制御は、図５のステップＳ１１５及びステップＳ１１６の処理で行われるものである。

図３５〜図３６に示すような風向き制御を行う際、補正値算出部１３５は、図５のステップＳ１１５において、表示装置２１３に表示される人の位置又は人の位置の平均値へ向かうよう、風向き制御を行うための補正値を算出する。
そして、図５のステップＳ１１６において、駆動制御部１３６が、ステップＳ１１５で算出した補正値に基づいて、上下風向板１０５、左右風向板１０４を制御して、人の位置の平均値へ向かうよう、風向きを制御する。必要に応じて、駆動制御部１３６は、左右風向板１０４を左右にスイングさせる。
また、風向に加えて、在室者の位置によって風速が制御されてもよい。つまり、室内機１から在室者が遠い場合には、制御部１３０は風速を大きくし（送風ファン１０３の回転速度を大きくし）、近い場合には風速を小さく（送風ファン１０３の回転速度を小さく）してもよい。

本実施形態では、図３０〜図３６に示す表示画面が室内器１とは別の外部情報端末２の表示装置２１３に表示されるものとしているが、これに限らず、リモコンＲｅの表示画面に表示されてもよい。
また、図３４〜図３６のように、風向が表示画面に表示されている場合、ユーザは表示装置２１３に表示されている表示画面を基に、風向を調節する等といった空調調節をしてもよい。空調調節は、リモコンＲｅを介して行われてもよいし、外部情報端末２を介して行われてもよい。

≪変形例≫
以上、本実施形態に係る空気調和システムＡについて説明したが、本実施形態発明の実施態様はこれらの記載に限定されるものではなく、種々の変更等を行うことができる。
本実施形態では、人体検出処理と顔検出処理とを経時的に切替えて実行しているが（図１３のステップＳ１０４，Ｓ１０５を参照）、これに限らない。例えば、人体検出処理と顔検出処理とを並列的に実行してもよい。この場合、制御部１３０は、人体検出処理によって検出される人体頭部と、顔検出処理によって検出される顔との位置関係に基づいて人体の同一性を、所定時間Δｔ１ごとに判定する。そして、それぞれの人体の顔情報（人体のみを検出できた場合には人体情報）に基づいて移動量及び活動量を算出する。
これによって、人体検出処理と顔検出処理とを経時的に切り替える場合と比較して、顔又は人体を検出する時間間隔が小さくなり、処理の高速化が可能になる。また、人体検出と、顔検出との時間差が小さくなることにより、人体情報と、顔情報との対応付けの精度を向上させることができる。

また、本実施形態に係る顔検出処理は、撮像画像のすべての領域について顔検出処理を実行しているが、これに限らない。すなわち、人体検出処理によって検出された人体の頭部周囲の領域に限定して顔検出処理が実行されてもよい。
これによって、顔検出処理における処理負荷１２３の軽減が可能となる。

また、本実施形態では、優先的に顔画像を用いて移動量が算出されているが、これに限らない。すなわち、人体画像が優先的に用いられて移動量が算出されてもよい。

また、本実施形態では、撮像装置１１０が室内機１の前面パネル１０６の左右方向中央の下部に一台設置されているが、これに限らない。例えば、撮像装置１１０を前面パネル１０６の右側又は左側に設置してもよい。
また、前面パネル１０６に複数の撮像装置１１０を設置してもよい。

なお、撮像装置１１０の駆動の速さに比較して撮像に要する時間が十分に短い場合、ステッピングモータは連続運転してもよい。

これにより、視野角が狭く安価な撮像装置１１０を使用して広範囲の撮像を行うことが可能となる。また、エリア毎の照度や輝度に合わせて、制御部１３０がノイズの除去や顔検出、人体検出等の処理を適宜変更することで、より高い精度で顔検出や人体検出が可能となる。また、制御部１３０がノイズの除去や顔検出、人体検出等の処理を適宜変更することで、それらに基づく人体の位置と活動量の推定を行うことが可能となる。

また、人の動線を描くにあたって、動線のサンプリングの間隔や、どのくらい過去の時刻から人体の移動履歴を表示するか等をユーザが、外部情報端末２を用いて設定可能としてもよい。サンプリングの間隔を減少させることは、情報過多を防止するのに効果的であり、過去の表示時間の設定は、ユーザが、知りたい時間で調整できることで利便性が高まる。

また、室内機１が温度検出部を備えることで、人体や間取りの位置表示とともに、部屋の温度分布や、人体の活動量を位置履歴とともに表示してもよい。こうすることで誰が暑い／寒いがわかりやすくなり、外部情報端末２から風向を変更するときに便利である。
なお、活動量とは、移動量を積算したものであり、その在室者の活動の度合いを示すものである。活動量は、特開２０１３−２５３７１７号公報に記載されている技術である。
また、本実施形態では部屋の形状を平面図としたが、鳥瞰図として表示されてもよい。
さらに、本実施形態では、人体の位置履歴、動線、平均位置が同じ画面上に表示されているが、これに限らず、人体の位置履歴のみ、平均位置のみが表示されるようにしてもよい。

また、本実施形態では、図３（ｂ）における各部１３０〜１３８、１４１，１４２，１４５〜１４７が室内機１に搭載されているものとしているが、これに限らず、各部１３０〜１３８、１４１，１４２，１４５〜１４７の少なくとも１つが外部情報端末２に搭載されていてもよい。
また、リモコンＲｅが外部情報端末２の機能を有していてもよい。
そして、本実施形態では、図２３のステップＳ１００２における家具の種類の判別で、画像生成部１３７が検出したエッジと物体形状テンプレートとを比較することで、家具の種類を判別しているが、これに限らない。例えば、外部情報端末２に表示された表示画面をみたユーザが、手入力で家具の名称を入力してもよい。

本発明は前記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を有するものに限定されるものではない。

また、前記した各構成、機能、各部１３０〜１３７，１４１，１４２，１４５〜１４７，２２１、記憶部１３８等は、それらの一部又はすべてを、例えば集積回路で設計すること等によりハードウェアで実現してもよい。また、図３、図４に示すように、前記した各構成、機能等は、ＣＰＵ等のプロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、移動情報１５１、ファイル等の情報は、メモリ１２２に格納すること以外に、ＨＤ（Hard Disk）や、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣ（Integrated Circuit）カードや、ＳＤ（Secure Digital）カード、ＤＶＤ（Digital Versatile Disc）等の記録媒体に格納することができる。
また、各実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてよい。

Ａ 空気調和システム
Ｒｅ リモコン
１ 室内機
２ 外部情報端末
３ 室外機
１１０ 撮像装置
１２３ 負荷
１３０ 制御部
１３１ 記憶処理部
１３２ 人体情報検出部
１３３ 間取り検出部
１３４ 移動量算出部
１３５ 補正値算出部（空調制御部）
１３６ 駆動制御部（空調制御部）
１３７ 画像生成部
１３８ 記憶部
１４１ 人体検出部
１４２ 顔検出部
１４５ コーナ方向検出部
１４６ 人体位置判定部（人体位置検出部）
１４７ 広がり範囲判定部
１５１ 移動情報
１５２ 実位置情報
２１３ 表示装置（表示部）
２２１ 表示処理部

Claims (8)

1. 空気調和の対象となる室内の間取りを検出する間取り検出部と、
   人体の位置を検出する人体位置検出部と、
   前記人体位置検出部が検出した人体の位置及び前記間取り検出部が検出した間取りを表示する表示部と、
   を有することを特徴とする空気調和システム。
2. 前記人体の位置に基づいて、空調制御を行う空調制御部
   を有することを特徴とする請求項１に記載の空気調和システム。
3. 前記表示部は、
   前記人体位置検出部が検出した、各時刻における人体の位置から生成した人体の移動に関する情報を表示する
   ことを特徴とする請求項１に記載の空気調和システム。
4. 前記各時刻における人体の位置に基づいて、空調制御を行う空調制御部
   を有することを特徴とする請求項３に記載の空気調和システム。
5. 前記表示部は、
   前記人体位置検出部が検出した、前記各時刻における人体の位置から算出した人体の平均位置を表示する
   ことを特徴とする請求項１に記載の空気調和システム。
6. 前記人体の平均位置に基づいて、前記環境内の空調制御を行う空調制御部
   を有することを特徴とする請求項５に記載の空気調和システム。
7. 少なくとも前記表示部が、室内機とは別の装置に備えられている
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の空気調和システム。
8. 室外機と、
   空調制御を行う空調制御部を備えるとともに、前記人体位置検出部を備える室内機と、
   前記表示部を備える外部情報端末と、
   を有することを特徴とする請求項１から請求項７のいずれか一項に記載の空気調和システム。