JP2011137589A - 空気調和機、空気調和機の制御装置 - Google Patents

Abstract

【課題】顔認証により個人を特定することや、性別や年齢を求めることができない場合でも、個人の好みに合った空調制御を実現することが可能な空気調和機、及び空気調和機の制御装置を提供する。
【解決手段】空気調和機の制御装置２００は、空調エリア内を撮像するカメラ１０２（撮像手段）により撮像された画像を解析し、人体の存在する領域を検知する人体領域検知部２０２と、人体領域検知部２０２で検知された人体領域の空調エリア内での位置と、空調設定に対する嗜好との関連を学習する生活パターン別嗜好学習部２０８（空調パターン学習手段）と、生活パターン別嗜好学習部２０８の学習結果を利用して空調制御を行う空調制御部２１０とを備える。
【選択図】図２

Description

本発明は、空気を調和する空気調和機、及び空気調和機の制御装置に関する。

特許文献１には、ＣＣＤカメラを備えた空気調和機において、リモコン操作者の顔画像を用いて操作者を識別し、過去のその人のリモコン操作履歴に基づく嗜好に関連する情報を記憶しておき、次回その操作者がリモコン操作をしたときに、自動的にその人の嗜好に合わせた運転を可能とする技術が開示されている。また、特許文献１においては、顔画像により人を識別できなかった場合には、その人の性別、年代、着衣量、活動量、肥満度などの属性を検出し、その属性における平均的な嗜好を参照して設定温度を調整する技術も開示されている。

特許文献２には、ＣＣＤカメラを備えた空気調和機において、日常的に使用している人物の、様々な角度から撮影した顔画像と嗜好情報を登録しておき、その人物が空気調和機の前に現れたときに、ＣＣＤカメラで撮影した顔画像を用いてその人物を識別できれば、登録されている嗜好情報に従って空気調和機の設定を変更するという技術が開示されている。

特開２００９−１０３３２８ 特開２００６−３１７０７５

しかしながら、リモコン操作者は、常にその顔をＣＣＤカメラの方向に常に向けている訳ではなく、そのため、顔認証により個人を特定することや、性別や年齢を求めることができない場合がある。したがって、個人の好みに合った空調制御を行えない場合がある。

本発明は、顔認証により個人を特定することや、性別や年齢を求めることができない場合でも、個人の好みに合った空調制御を実現することが可能な空気調和機、及び空気調和機の制御装置を提供することを課題とする。

本発明による空気調和機の制御装置は、空調エリア内を撮像する撮像手段により撮像された画像を解析し、人体の存在する領域を検知する人体領域検知手段と、人体領域検知手段で検知された人体領域の空調エリア内での位置と空調設定に対する嗜好との関連を学習する空調パターン学習手段と、空調パターン学習手段の学習結果を利用して空調制御を行う空調制御手段とを備える。

本発明による空気調和機は、空調エリア内を撮像する撮像手段と、前記撮像手段により撮像された画像を入力して制御する請求項１から請求項５のいずれか１項に記載の空気調和機の制御装置と、を備える。

本発明によれば、顔認証により個人を特定することや、性別や年齢を求めることができない場合でも、人体領域の空調エリア内での位置と空調設定に対する嗜好との関連を学習して制御することにより、個人の好みに合った空調制御を実現することができる。

空気調和機の概略構成図である。 実施の形態１の制御装置の機能ブロック図である。 標準設定温度例を示す図である。 身体情報別嗜好学習例を示す図である。 生活パターン別嗜好学習例を示す図である。 嗜好推定方法の説明図である。 嗜好学習方法の説明図である。 実施の形態２の制御装置の機能ブロック図である。

本発明に係る空気調和機の実施形態について説明する。

まず、概要について説明する。本実施形態では、空調エリア内の画像を取得し、その画像を解析して人体の存在する領域を検知し、検知された人体領域の空調エリア内での位置と空調設定に対する嗜好との関連を学習する。そして、学習手段の学習結果を利用して空調制御を行う。ここで、人の生活位置には一般にパターンがある。例えば、テレビを視聴しているときにはテレビ近傍に、また食事をしているときには食卓にというようにである。これらの位置は人によって異なることが多く、また、空調設定に対する嗜好は、その位置ごとに異なる場合が多い。すなわち、空調エリア内での人体領域の位置に応じて適切な空調設定が存在する。本発明は、この点に着目し、検知された人体領域の空調エリア内での位置と空調設定に対する嗜好との関連を学習する。そして、空調パターン学習手段の学習結果を利用して空調制御を行う。このような構成により、個人の特定を行うことなく、適切に空調制御を行うことができる。

（実施の形態１）
１．全体構成
図１は、空気調和機１００の概略構成図である。空気調和機１００は、室内機１０１と、カメラ１０２と、リモコン１０３とを有している。

空気調和機１００は、室内機１０１とともに図示しない室外機を備えている。室内機１０１の構造は一般的であるので詳細な説明は省略する。空気調和機１００は図示したような壁掛け式のルームエアコン以外にも、床置き式のエアコンや、天井埋め込み式のエアコンや、壁埋め込み式のエアコンなどでもよい。

カメラ１０２(撮像手段）は、空調エリアを見渡せる位置に設置する。カメラ１０２は、広角レンズにより空調エリアの広い範囲を撮影可能にしても良いし、首振り機構を備えて空調エリアの広い範囲を撮影可能にしてもよい。カメラ１０２は、通常の可視光に感度のあるカメラでもよいし、近赤外線カットフィルタを備えない近赤外線光にも感度を持つカメラでもよい。カメラ１０２の撮像素子はＣＣＤでもＣＭＯＳでもよい。カメラ１０２は図示したように室内機１０１に外付けしてもよいし、室内機１０１に内蔵してもよい。

リモコン１０３は近赤外線の発光により符号化した制御信号を送信する。リモコン１０３は、空気調和機１００の電源ＯＮ／ＯＦＦ、空気調和機１００の運転モード切り替え（冷房／暖房／送風／除湿など）、設定温度調節（ＵＰ／ＤＯＷＮ）などのボタンを備える。これに加えて、リモコン１０３は、リモコン操作者が暑がりか寒がりかを申告するボタンを備えてもよい。

室内機１０１は、近赤外光受信装置１１１と、制御装置２００とを備えている。

近赤外光受信装置１１１は、リモコン１０３から送信された制御信号を受信して復号する。

制御装置２００は、カメラ１０２で撮影した画像と、リモコン１０３から送信され、近赤外光受信装置１１１で受信して復号された制御信号とを入力する。制御装置２００は、カメラ１０２による撮像画像と制御信号とを入力として、人の位置、リモコン１０３の操作者の位置、顔画像による個人認証を行い、これらの情報から最適な空調設定を導き出し、空気調和機１００を制御して空気調和を行う。以下、このような制御を行う制御装置２００の構成について詳しく説明する。

２．制御装置構成
図２は、制御装置２００の機能ブロック図である。

制御装置２００は、入力部２０１、人体領域検知部２０２、リモコン操作者検知部２０３、身体特徴抽出部２０４、人追跡同定部２０５、嗜好推定部２０６、身体特徴別嗜好学習部２０７、生活パターン別嗜好学習部２０８、空調設定調整部２０９、及び空調制御部２１０を有する。

入力部２０１は、カメラ１０２で撮影された室内の可視光画像を制御装置２００内の記憶領域に読み込む。なお、カメラ１０２が近赤外線カットフィルタを備えていない場合は、入力部２０１は、可視光＋近赤外光画像を制御装置２００内の記憶領域に読み込む。

人体領域検知部２０２は、入力部２０１に読み込まれた画像において人体の写っている領域を検知する。この検知の方法として、例えば、事前に撮影してある背景画像と現在の画像との各画素の輝度値の差を計算しその差が閾値以上ある領域を人体領域として検知する方法がある。また、１フレーム前の画像と現フレームの画像との各画素の輝度値の差を計算しその差が閾値以上ある領域を人体領域として検知する方法がある。また、背景からの色情報の変化と近傍画素との輝度勾配の変化と影領域の時空間連続性とを考慮して背景からの変化領域中の影を除去した領域を人体領域として検知する方法がある。人体領域の空調エリアにおける位置は、人体領域の下端を人の立っている位置とみなし、カメラ１０２の設置条件から平面変換により床面における人体位置を計算することで求める。

リモコン操作者検知部２０３は、リモコン１０３から制御信号が発された位置を入力部２０１に入力された画像から検知して、その操作を行った人体（人体領域）を特定する。リモコン１０３からの制御信号は可視光に近い近赤外光の発光により行われるため、通常、可視カメラにおいてもその発光する様子が輝度値の増加として検知できる。そのため、１フレーム前の輝度値に対して著しく明るくなる画素を探索することによりリモコン１０３が写っている画素を特定できる。リモコン１０３の写っている画素を特定できれば、その画素の最も近くに検知された人体（人体領域）をリモコン１０３の操作者として関連付ける。

なお、カメラ１０２として、近赤外線カットフィルタを有していないカメラを利用した場合は、リモコン１０３による近赤外光の発光がよりはっきりと撮影されるため、リモコン１０３が写っている画素の探索が容易になる。また、室内機１０１の近赤外光受信装置（１０４）によりリモコン１０３から信号が発された瞬間を検知し、そのリモコン信号受信をきっかけとして、画像からリモコン１０３の写っている画素を探索することにより、リモコン１０３を誤検知することを防止することも可能である。

身体特徴抽出部２０４は、人体領域検知部２０２で検知された人体領域をフレーム間で同定するために役立つ特徴や、嗜好を学習して推定するために役立つ特徴を抽出する。例えば、人体領域から顔検出技術を用いて人の顔と考えられる領域（以下、「顔領域」という）を検知する。顔検出技術としては、例えば、簡易に計算できる特徴量を複数個組み合わせて作成した弱識別器を段階的に適用することにより、高速性を維持しつつ高い顔検出性能を実現する技術がある。また、身体特徴抽出部２０４は、人体領域中の色ヒストグラムをその人体の服の色とみなして検知する。

人追跡同定部２０５は、１フレーム前の人体領域と現フレームの人体領域を同定し関連付けを行う。同定は、１フレーム前の人体領域の位置と現フレームの人体領域の位置の距離、色ヒストグラムの類似度、顔領域の類似度などを総合評価して行う。人体領域の位置の距離としては、床面における人体位置の直線距離を用いることができる。色ヒストグラムの類似度としては、ヒストグラムの重なり面積を用いることができる。顔領域の類似度の算出には、簡易に計算できる特徴量を、類似度を計算したい２つの顔パターンについて複数回比較することにより類似度を算出する手法などを用いる。この手法によれば、高精度に類似度を算出することができる。

以上説明した入力部２０１、人体領域検知部２０２、リモコン操作者検知部２０３、身体特徴抽出部２０４、及び人追跡同定部２０５による処理により、現在部屋にいる人それぞれについて、リモコン操作の有無、顔領域画像、位置、在室時間、服の色が得られることになる。

嗜好推定部２０６は、人体領域検知部２０２により検出された人体領域（人体）の空調設定に対する嗜好（以下、単に「嗜好」という）を推定する。

また、嗜好推定部２０６は、人体領域検知部２０２によって検知され、かつリモコン操作者検知部２０３によりリモコン操作と関連付けられた人体領域（人体）に関して、身体特徴抽出部２０４で身体特徴（顔）を抽出できたか否かにかからわらず、そのリモコン操作に基づいてその人体領域（人体）の嗜好に関連する値（以下、「嗜好指数」という）を設定する。本実施の形態においては、嗜好指数は、暑がりの場合、＋１、寒がりの場合、−１とする。そして、リモコン操作と関連付けられた人体によるリモコン操作によって設定温度が現在の設定温度より上げられれば、寒がりの−１、下げられれば、暑がりの＋１を設定する。または、図３に示すような外気温度と湿度の組に応じた標準設定温度に対して高い温度に設定すれば、寒がりの−１、低い温度に設定すれば暑がりの＋１に設定してもよい。嗜好推定部２０６は、さらに、後述するように前記嗜好指数を利用して嗜好推定値（後述するが、嗜好指数の合計をカウンタで除算した数値）を算出し、出力する。

また、嗜好推定部２０６は、リモコン操作と関連付けられていない人体領域で顔領域が検知された場合、後述する身体特徴別嗜好学習部２０７により得られた学習結果に基づいて、その顔に関連付けて嗜好推定値を算出し、出力する。嗜好推定部２０６は、リモコン操作と関連付けられておらず、顔領域も検知されていない人体領域に関しては、後述する生活パターン別嗜好学習部２０８により得られた学習結果に基づいて、その人体領域の位置と検知時刻に関連付けて嗜好推定値を算出し、出力する。

身体特徴別嗜好学習部２０７は、身体特徴と、嗜好に関する情報（以下、「嗜好情報」という。本実施形態では、図４に示すように、嗜好指数合計値及びカウンタ。）とを関連付け、その履歴を蓄える。つまり、そこで生活する人の嗜好を学習する。身体特徴として、本実施形態では、身体特徴抽出部２０４で抽出した顔領域の画像の特徴（以下、「顔特徴」という）を利用する。現フレームで検出された人体領域（人物）についてリモコン操作により嗜好が判明した場合、その人体領域に関する嗜好情報及び顔領域の画像（以下、「顔画像」という）を登録する。以降その顔特徴の持ち主が部屋に現れて検出された場合、その登録しておいた嗜好情報を利用する。

ところで、顔画像の類似度は先に示した顔類似度算出技術により求めることができる。画像撮影毎に、カメラ１０２により撮影される人の顔が向いている方向や照明等の撮影条件が異なる。そのため、同一人物の顔でも、撮影条件が異なるもの同士では類似度が低くなって、別人と判定されるケースがある。

そこで、身体特徴別嗜好学習部２０７は、現フレームで新たに顔とリモコン操作による嗜好情報（嗜好指数）が得られた場合において、過去に登録してある顔画像（顔特徴）と類似度が高ければ、その登録してある顔画像に関連付けた嗜好情報を更新し、過去に登録してある顔画像（顔特徴）のどれに対しても類似度が低ければ、新たにその顔画像（顔特徴）と嗜好情報を登録する。例えば、図４に示すように、嗜好情報として、各顔画像（Ｆ１，Ｆ２，Ｆ３，…）に対して、嗜好指数合計値、カウンタ、登録後経過時間を管理する。ここで、嗜好指数合計値は、嗜好指数を、嗜好指数が得られるごとに各顔画像毎に（後述する生活パターン別嗜好学習においてはエリア毎に）積算した値である。すなわち、現嗜好指数合計値に新たに得られた嗜好指数を加算することにより得られる値である。現フレームで新たな顔画像とリモコン操作による嗜好指数が得られたとき、すでに登録されている顔画像の中で新たに得られた顔画像と類似度が高いすべての顔画像もしくは類似度が最も高い顔画像について、それぞれ嗜好指数合計に現フレームでのリモコン操作による嗜好指数を加算するとともに、カウンタをインクリメントする（＋１する）。嗜好推定部２０６においては、それぞれの顔画像に関連付けて、嗜好指数合計をカウンタで除算して嗜好推定値を算出し、現フレームで得られた顔画像と最も類似度の高い顔画像に関する嗜好推定値として出力する。ただし、上記のように顔画像を登録すると、登録した顔画像が無限に増えることになる。そこで、登録後経過時間とカウンタの値を用いて、（カウンタ）−（登録後経過時間）×（固定値）の値が閾値以下の顔画像は登録顔から削除する。これにより、類似となることが少ない顔画像を一定時間経過したときに自動的に消すことができる。

生活パターン別嗜好学習部２０８（空調パターン学習手段）は、生活時間及び生活位置と、嗜好情報とを関連付けると共に、その履歴を蓄える。つまり、そこで生活する人の嗜好を学習する。現フレームで検出された人（人体領域）についてリモコン操作により嗜好が判明するか（嗜好指数が得られるか）、身体特徴から推定した嗜好情報が得られている場合、その人（人体領域）が存在した位置と時間の履歴を蓄える。これにより、それ以降に人体領域が検知された場合、その人体領域に関する人のリモコン操作がなく、顔領域も検知できなかったときに、蓄積した情報から、その検知された位置と時間に、過去どのような嗜好の人（人体領域）が多く存在したかを用いて嗜好を推定する（嗜好推定値を算出する）という効果を得ることができる。

生活パターン別嗜好学習部２０８は、例えば、図５に示すように、空調エリアを小領域（１，２，…１５）に分割し、エリアごとに、嗜好指数合計とカウンタを管理する。現フレームで検出された人（人体領域）についてリモコン操作により嗜好が判明するか（嗜好指数が得られるか）、身体特徴から推定された嗜好が得られている場合、その人（人体領域）の存在する位置に対応したエリアの嗜好指数合計に嗜好指数を加算するとともに、カウンタをインクリメントする（＋１する）。

嗜好推定部２０６は、現フレームで得られた人のリモコン操作がなく顔領域も得られていないとき、その人（人体領域）の存在する位置に対応したエリアの嗜好指数合計をカウンタで除算した数値を嗜好推定値として出力する。同様の枠組みを、時間ごと（例えば２時間ごと）に用意することにより、生活パターン別嗜好学習部２０８は、生活時間と生活位置に基づく生活パターン別嗜好学習を行うことが可能となる。

図６は、嗜好推定部２０６が、人体領域について何の情報が得られているときにどの学習結果を用いて嗜好推定を行うかをまとめた表である。この図に示すように、嗜好推定部２０６は、リモコン操作により嗜好が判明しているときは嗜好推定は行わず、リモコン操作がなく、顔領域が得られているときは身体特徴別嗜好学習部２０７の学習結果を利用して嗜好推定を行い、リモコン操作がなく、顔領域も得られていないときは、生活パターン別嗜好学習部２０８の学習結果を利用して嗜好推定を行う。

図７は、身体特徴別嗜好学習部２０７、及び生活パターン別嗜好学習部２０８が、どのような条件のときにどの学習を行うかをまとめた表である。リモコン操作情報があり、顔領域も得られているときは、リモコン操作情報により判明した嗜好情報を用いて、身体特徴別嗜好学習部２０７による身体特徴別嗜好学習、及び生活パターン別嗜好学習部２０８による生活パターン別嗜好学習を行う。リモコン操作情報があり、顔領域が得られていないときは、リモコン操作情報により判明した嗜好情報を用いて、生活パターン別嗜好学習部２０８による生活パターン別嗜好学習のみを行う。リモコン操作がなく、顔領域のみ得られているときは、身体特徴別嗜好学習部２０７による身体特徴別嗜好学習により推定された嗜好を用いて、生活パターン別嗜好学習部２０８による生活パターン別嗜好学習のみを行う。リモコン操作がなく、顔領域も得られていないときは学習は行わない。

空調設定調整部２０９は、嗜好推定部２０６の推定した嗜好（嗜好推定値）に応じて空調設定を調整する。例えば、冷房時、推定嗜好が「高い（暑がり）」の人がいれば（嗜好推定値が０以上の人がいれば）、設定温度を下げたり、涼しい風をその人の位置に向けたりする。逆に推定嗜好が「低い（寒がり）」の人がいれば（嗜好推定値が０未満の人がいれば）、設定温度を上げたり、涼しい風をその人のいない方向に向けたりする。暖房時は、推定嗜好が「高い（暑がり）」の人がいれば、設定温度を下げ、暖かい風をその人のいない方向に向ける。逆に推定嗜好が「低い（寒がり）」の人がいれば、設定温度を上げたり、暖かい風をその人の位置に向けたりする。

また、空調設定調整部２０９は、人の在室時間に基づいて、空調設定を調整する。例えば冷房時に長時間部屋にいる人については寒くなる傾向があるため少し設定温度を上げて涼しい風が直接あたらないように調整する。

空調制御部２１０は、空調設定調整部２０９により調整された空調設定に従って空調機１０１に対する空調制御を行う。

３．効果
第１の実施の形態の空気調和機１００では、空調エリア内の画像を取得し、その画像を解析して人体の存在する領域を検知し、検知された人体領域の空調エリア内での位置と空調設定との関連を学習する。そして、その学習結果を利用して空調制御を行う。これにより、個人の特定を行うことができない場合や、性別や年齢を求めることができない場合でも、適切に空調制御を行うことができる。

また、第１の実施の形態の空気調和機１００によれば、リモコン操作により検知された嗜好情報に基づいて、顔画像による個人認証、及び生活パターンの学習を行うことにより、個人個人の嗜好を推定することも可能となる。これにより個人毎にきめ細かく快適な空調を提供することができる。

（実施の形態２）
１．構成
図８は、第２の実施の形態の空気調和機１００の制御装置２００のブロック図である。
実施の形態２の空気調和機１００の制御装置２００は、実施の形態１の制御装置２００の構成にさらにジェスチャ操作者検知部２１１を付加した構成としている。

ジェスチャ操作者検知部２１１は、特定の体の姿勢や、特定の体の動きや、生活中に自然と行う暑いときに扇ぐ動作などのジェスチャを検知して、そのジェスチャを行った人の嗜好を検知する。ジェスチャ認識には、時系列画像の前フレームからの輝度差分を複数フレームに渡って濃淡画像として履歴画像を蓄えることにより、その履歴画像の輝度勾配方向により手や足の動きの方向を検知する方式などを用いることができる。これにより、リモコンを持っていない人でも空気調和機１０１の温度設定を調節することが可能となり、同時に嗜好を人体と関連付けて検知することが可能となる。

２．効果
第２の実施の形態の空気調和機１００の制御装置２００によれば、リモコン操作により検知された嗜好情報とジェスチャ操作により検知された嗜好情報とを足がかりとして、顔画像による個人認証、生活パターンの学習を行うことにより、個人個人の嗜好を推定することが可能となる。これにより空気調和機利用者に快適な空調を提供することができる。

１００ 空気調和機
１０１ 室内機
１０２ カメラ
１０３ リモコン
２００ 制御装置
２０１ 入力部
２０２ 人体領域検知部
２０３ リモコン操作者検知部
２０４ 身体特徴抽出部
２０５ 人追跡同定部
２０６ 嗜好推定部
２０７ 身体特徴別嗜好学習部
２０８ 生活パターン別嗜好学習部
２０９ 空調設定調整部
２１０ 空調制御部
２１１ ジェスチャ操作者検知部

Claims (6)

1. 空気調和機の制御装置であって、
   空調エリア内を撮像する撮像手段により撮像された画像を解析し、人体の存在する領域を検知する人体領域検知手段と、
   人体領域検知手段で検知された人体領域の空調エリア内での位置と、空調設定に対する嗜好との関連を学習する空調パターン学習手段と、
   空調パターン学習手段の学習結果を利用して空調制御を行う空調制御手段とを備える、
   空気調和機の制御装置。
2. 請求項１に記載の空気調和機の制御装置であって、
   空調パターン学習手段は、さらに時刻を関連付けて空調設定を学習する、
   空気調和機の制御装置。
3. 請求項１または請求項２に記載の空気調和機の制御装置であって、
   撮像手段により撮像された画像を解析し、人体領域検知手段により検知された人体領域に対応する人体の身体の特徴を抽出する身体特徴抽出手段と、
   身体特徴抽出手段で検出された身体の特徴と空調設定に対する嗜好との関連を学習する身体特徴別嗜好学習手段と、
   をさらに備え、
   空調制御手段は、身体特徴抽出手段で抽出された身体特徴を有する人体領域が存在するときは、空調パターン学習手段の学習結果に代えて、身体特徴別嗜好学習手段の学習結果を利用して空調制御を行う、
   空気調和機の制御装置。
4. 請求項３に記載の空気調和機の制御装置であって、
   リモコンから空調設定信号を受信する受信手段をさらに備え、
   前記空調パターン学習手段及び身体特徴別嗜好学習手段は、受信手段により受信した空調設定に基づいて学習する、
   空気調和機の制御装置。
5. 請求項３に記載の空気調和機の制御装置であって、
   撮像手段により撮像された画像を解析し、人体領域検知手段により検知された人体領域に対応する人体のジェスチャ操作を検知するジェスチャ操作検知手段を、さらに備え、
   前記空調パターン学習手段及び身体特徴別嗜好学習手段は、ジェスチャ操作検知手段で検知されたジェスチャ操作による空調設定に基づいて学習する、
   空気調和機の制御装置。
6. 空調エリア内を撮像する撮像手段と、
   前記撮像手段により撮像された画像を入力して制御する請求項１から請求項５のいずれか１項に記載の空気調和機の制御装置と、
   を備えた空気調和機。

Images