JP2010190432A - 空間認識装置及び空気調和機 - Google Patents

Abstract

【課題】遠方にある障害物でも認識でき、誤認識すること無く障害物がどこにあるかを検知できる空間認識装置を得る。
【解決手段】カメラで撮影した映像から移動物体の位置を検知する検知手段と、前記カメラの撮影対象領域に対応する記憶領域毎の記憶値を記憶する累積記憶手段と、前記位置に対応する前記記憶領域の記憶値に所定値を加算する加算手段と、前記記憶値が閾値以下の記憶領域に対応する領域から障害物範囲を算出する障害物範囲算出手段とを備えた。
【選択図】図２

Description

この発明は、カメラ映像から撮影対象領域の障害物を検知する空間認識装置及びこの空間認識装置を用いた空気調和機に関する。

従来の空間認識装置においては、反射型光センサ、反射型超音波センサ、画像イメージによるパターン認識等からなる下向きに設けられた下方状況検知手段によって、この下方状況検知手段の下方の障害物を検知することが記載されている（例えば、特許文献１。）。

特開２００４−３１７１０９号公報

従来の空間認識装置では、下方状況検知手段が、直下を検知するように設けられているため、周辺の障害物を検知できない問題があった。また、下方状況検知手段の検知方向を変えて多数のセンサでスキャンするように構成しても、解像度が悪いという問題があった。さらに、画像イメージによるパターン認識では、解像度が高くても、パターン認識のため誤認識をする可能性がある問題があった。

この発明は、上述のような問題を解決するためになされたもので、遠方にある障害物でも認識でき、誤認識すること無く障害物がどこにあるかを高精度に検知できる空間認識装置を得るものである。

この発明の空間認識装置においては、カメラで撮影した映像から移動物体の位置を検知する検知手段と、前記カメラの撮影対象領域に対応する記憶領域毎の記憶値を記憶する累積記憶手段と、前記位置に対応する前記記憶領域の記憶値に所定値を加算する加算手段と、前記記憶値が閾値以下の記憶領域に対応する領域から障害物範囲を算出する障害物範囲算出手段とを備えたものである。

また、この発明の空気調和器においては、カメラで撮影した映像から移動物体の位置を検知する検知手段と、前記カメラの撮影対象領域に対応する記憶領域毎の記憶値を記憶する累積記憶手段と、前記位置に対応する前記記憶領域の記憶値に所定値を加算する加算手段と、前記記憶値が閾値以下の記憶領域に対応する領域から障害物範囲を算出する障害物範囲算出手段とを備えた空間認識装置が算出する障害物範囲に基づいて運転を制御するものである。

この発明は、カメラ画像から検知した移動物体の位置に対応する記憶領域の記憶値に所定値を加算し、前記記憶値が閾値以下の記憶領域に対応する位置から障害物範囲を求めることによって、遠方にあっても障害物を認識でき、誤認識すること無く高精度に障害物がどこにあるかを認識できる。

また、この発明は、カメラ画像から検知した移動物体の位置に対応する記憶領域の記憶値に所定値を加算し、前記記憶値が閾値以下の記憶領域に対応する位置から障害物範囲を求める空間認識装置によって、遠方にあっても障害物を認識でき、誤認識すること無く高精度に部屋の大きさ及び障害物の範囲を認識できるので、部屋の状況に合わせて効率良く運転を制御できる。

実施の形態１．
図１は、この発明を実施するための実施の形態１における空間認識装置１０の概要を説明する図である。図において、カメラ１は、撮影対象２１１を撮影し、撮影した映像を空間認識装置１０に入力する。空間認識装置１０は、入力された映像から、移動物体の位置２１２を求め、移動物体が存在した範囲２１３を特定して累積し、所定時間後に移動物体が存在していない又は累積値が低いところに障害物があるとみなして障害物の範囲を算出する。

図２は、この発明を実施するための実施の形態１における空間認識装置１０のブロック構成図を示すものである。図において、空間認識装置１０は、カメラ１からの映像を入力とし、障害物の位置及び大きさを出力するものである。また、空間認識装置１０は、検知手段２と累積記憶手段４と加算手段３と障害物範囲算出手段５とを備えている。ここで、検知手段２は、カメラ１で撮影した映像から撮影対象領域内を移動する移動物体の位置を検知する。また、累積記憶手段４は、カメラ１の撮影対象領域に対応する記憶領域毎に記憶値を記憶する。また、加算手段３は、検知手段２で検知した移動物体の位置に対応する記憶領域の記憶値に所定値を加算する。また、障害物範囲算出手段５は、記憶領域に記憶された記憶値が閾値以下の記憶領域に対応する領域から障害物範囲を算出し、障害物範囲を情報として出力する。

さらに、検知手段２は、予め設定した撮影対象領域の基準面とカメラ１との相対的位置情報、カメラ１のレンズ情報、及び映像中の移動物体の位置情報から幾何学的計算（例えば、透視投影に基づく幾何学的計算）によって移動物体の基準面上の位置を求めるようにしても良い。ここで、レンズ情報とは、焦点距離、並びに歪補正式及びその係数をいう。基準面とは、撮影対象領域の水平面に平行な面であり、鉛直方向の位置は、通常床面の位置にある面をいう。

カメラ１は、障害物の検知対象範囲を撮影するように設置される。全体系の基準座標系（原点座標系とも呼ぶ）に対するカメラ１の座標系の相対的位置関係を求めておく。相対的位置関係とは、基準座標系の各軸方向の変位及び各軸周りの回転角度である。

図３は、基準座標系１０１とカメラ１のカメラ座標系１０２との相対的位置関係の具体例について説明する図である。図において、全体系の基準座標系１０１は、部屋の床面１１１上であって、壁面の中心付近に設定されている。ここで、基準座標系１０１を通る水平面（この例では図の床面）を基準面１１１と呼ぶ。基準面１１１上にあり壁面に平行な方向をＸ軸方向とし、基準面１１１上でＸ軸に直角方向をＹ軸方向、鉛直方向をＺ軸方向とする。カメラ座標系１０２を有するカメラ１は、基準座標系１０１から壁面に垂直な方向（Ｙ軸方向）に距離Ｌ、床面から鉛直上向き（Ｚ軸方向）に距離Ｈだけ離れた位置に設置され、かつカメラ１のカメラ座標系１０２のＸ軸周りに回転角θ°回転させている。

図において、基準座標系１０１とカメラ１の座標系１０２との相対的位置関係とは、例えば、基準座標系１０１からＸ軸方向に距離Ｌ、Ｚ軸方向に距離Ｈ、離れた位置に、カメラ１の座標系１０２のＸ軸周りにθ°回転させた姿勢になるようにカメラ１を設けたという関係をいう。上記は、カメラ１の姿勢をカメラ１の座標系１０２の角軸周りの回転角で表現したが、姿勢を定める別の方法として、基準面１１１（基準座標系１０１のＸＹ平面）内の回転角、及びカメラ１の視線方向の水平面からの角度である俯角または仰角で表現することもできる。カメラ１の設置位置は、天井の中心付近であってもよく、カメラ１の姿勢は、鉛直下方を向いていても良い。

上記の基準座標系１０１とカメラ１の座標系１０２との相対位置関係は、空間認識装置１０に初期設定パラメータとして設定される。これらの値は、空間認識装置１０に備えられた操作ボタン、リモコン、ディップスイッチなどによって設定するようにできる。

また、カメラ１は、可視カメラ、近赤外カメラ、赤外カメラなどが考えられる。また、用いるレンズも通常のレンズ、広角レンズ、魚眼レンズなどが考えられる。さらに、レンズの補正式も予め求めておく。図４は、この補正式を説明する図である。図において、左側は、レンズを通して碁盤目状の線を撮影した画像である。これはレンズがもつレンズ歪によって碁盤目状の線が歪曲して写っている。図の右側は、これを補正式により、レンズ歪を除去した画像である。図のように碁盤目状に補正されていることがわかる。補正式には、例えばＴｓａｉの手法、Ｚｈａｎｇの手法がある。

図５は、図２を詳細にしたブロック構成図である。図において、検知手段２は、画像読込手段２１及び移動物体位置検出手段２２を有する。画像読込手段２１は、カメラ１から映像情報を順次読込み、予め設定されたカメラ１のレンズ歪補正式及び補正係数を用いてレンズ歪の除去を行う。移動物体位置検出手段２２は、画像読込手段２１及び対象領域を移動する物体の位置を検出し、レンズ焦点距離、及び基準座標系１０１とカメラ１の座標系１０２との相対的位置関係に基づきのこの移動物体の位置を出力する。

図６は、移動物体位置検出手段２２における移動物体の位置の求め方を説明する図である。図において、カメラ１によって撮影されたカメラ画像１２１から画像処理によって、移動物体と基準面１１１が接する画像中の接地点１２２を求める。次にカメラ１と基準面１１１との相対的位置関係、及びレンズ情報から基準面１１１上の対応する基準面上位置１２３を求めている。

また、加算手段３は、所定時間毎に検知手段２で求めた位置から、累積記憶手段４の対応する記憶領域の記憶値に所定値を加算する。ここで、対象領域内の各位置での移動物体の存在確率を算出する存在確率算出手段３１を備えるように構成できる。移動物体の存在確率は、検知手段２で求めた位置に近いほど高く、遠いほど低い値にすることができる。また、存在確率を検知手段２で移動物体を検知したときの移動物体であることの確からしさ応じて存在確率を高くすることもできる。この存在確率算出手段３１で求めた存在確率を対応する累積記憶手段４の記憶領域に加算することによって、対象領域内の移動物体の存在確率を累積することができ、より障害物の存在範囲を正確に求めることができる。

図６の基準面上領域１２４は、加算手段３の加算する領域を示す図でもある。図において、移動物体の基準面上位置１２３の周囲の基準面上領域１２４は、加算手段３によって所定値または存在確率が加算される領域である。

また、累積記憶手段４は、撮影対象の基準面１１１上の各位置に対応する記憶領域を有し、加算手段３によって加算される対象領域に対応する各位置の記憶値を累積して保持する。

図７（ａ）及び（ｂ）は、撮影対象領域と累積記憶手段４との対応関係を説明する図である。図７（ａ）は、撮影対象領域の基準面１１１と加算手段３で求めた加算する基準面上領域１２４との関係を示している。図において、撮影対象領域の基準面１１１内の各位置は、累積記憶手段４の記憶領域に対応する分割領域１３２に分割されている。ここで、加算手段３の加算は、基準面上領域１２４に対応する分割領域１３５ごとに行われる。図７（ｂ）は、記憶手段４の記憶領域を説明する図である。図のように、記憶手段４には、撮影対象領域の基準面１１１の分割領域１３２に対応した記憶領域１４２が設けられている。また、加算手段３は、基準面上の分割領域１３５に対応する記憶領域１４５に対して所定値または存在確率を加算する。上記図において、分割領域１３２は、均等に分割したが、カメラ画像上に映し出される基準面１１１に対応する画像領域の大きさが同じになるように分割領域１３２を設定しても良い。

以上、検知手段２及び加算手段３は、周期的に繰り返され、加算手段３が処理する毎に、累積記憶手段４の記憶領域の記憶値に値が加算される。空間認識装置１０が最初に設置されたときには、累積記憶手段４の記憶領域の記憶値は、０にセットされる。また、本実施の形態は、移動物体が通らない範囲から障害物を認識するので、空間認識装置１０を設置後、障害物を認識するに至るまでには、ある程度の時間を要する。この時間を予め、１時間、６時間、１日、または１週間などに設定することができる。

また、長期に渡り空間認識装置１０を稼動させると、累積記憶手段４の記憶領域の記憶値が、記憶領域の最大値に至ることもある。累積記憶手段４は、複数の記憶領域の記憶値が最大値に至った場合には、全記憶領域の記憶値を一律何分の１（例えば４分の１）に設定しなおして、検知手段２及び加算手段３を継続処理するようにできる。このような処理によって、それまでに検知した障害物の範囲を保ったまま、継続して処理できる。

さらに、長期に渡り空間認識装置１０を稼動させ、累積記憶手段４の障害物の範囲が固定した場合には、加算手段３の処理を止めることもできる。この処理によって、障害物の範囲を固定させ、安定した処理が可能となる。また、この場合、連続して検知手段２が、障害物の範囲に移動物体が検知された場合、障害物が移動したかどうかの照会をするようにできる。さらに、障害物範囲算出手段５が、障害物の範囲に変化があったときにだけ、障害物の範囲の情報を外部へ出力するようにすることもできる。

また、空間認識装置１０の設置場所を移動した場合、または撮影対象範囲の障害物を移動させた場合には、累積記憶手段４の記憶領域の記憶値を０に設定するようにすることもできる。さらに、累積記憶手段４の記憶領域の記憶値を０に設定するための操作ボタンを設けることによって、外部から操作できるように構成できる。このようにして、設置場所が変わったとき、障害物の範囲が変わったときは、再度障害物を検知させることができる。

次に、障害物範囲算出手段５は、累積記憶手段４の記憶領域に記憶された記憶値を調べ、閾値以下の記憶値を持つ記憶領域に対応する範囲を求める。出力手段６は、障害物範囲算出手段５で求めた範囲を障害物の存在範囲として外部に出力する。なお、出力手段６は障害物算出手段５の中に設けても良い。上記閾値は、誤検出を考慮して、累積記憶手段４に記憶された記憶値の最大値の１０％程度に設定することができる。

次に、出力手段６が出力する障害物の位置及び大きさは、対象領域の位置に対応した記憶領域に障害物の有無を記録して表現することができる。また、この記録データの行列をシーケンシャルに伝送しても良い。さらに障害物の有無だけでなく、障害物の高さ情報を各位置に対応した記憶領域に記録することもできる。さらに、障害物毎に、障害物の中心位置、Ｘ方向長さ及びＹ方向長さで表現することもできる。

以上のように、検知手段２は、カメラ１から映像情報を順次読み込み、対象領域を移動する物体の位置を検出し、加算手段３に物体の位置を出力する。加算手段３は、存在確率算出手段３１で移動物体の位置を中心に広がりを持つエリアを移動物体の行動範囲として求め、累積記憶手段４の対象領域各位置に対応する記憶領域に存在確率を加算する。障害物範囲算出部５は、累積記憶手段４に記憶された記憶値に基づき移動の妨げとなっている物体の範囲を推定し、この物体の範囲に障害物があるとして検知する。このように、空間認識装置１０は、検知手段２、加算手段３、累積記憶手段４、及び障害物範囲算出手段５によって、カメラ１からの映像情報を入力として、上記障害物の位置及び大きさを出力する。

図８は、本実施の形態の空間認識装置１０のハードウェア構成図である。カメラ１からの映像信号が入力部２０２に入力され、映像情報に変換される。また入力部２０２は、カメラ１の基準座標系に対する相対的位置、カメラ１のレンズ情報が入力される。入力部２０２で入力された情報は、演算部２０３を介して記憶部２０４に記憶される。演算部２０３は、情報の制御、検知手段２、加算手段３、障害物範囲算出手段５の演算を行う。記憶部２０４は、空間認識装置１０で記憶すべき情報を記憶し、保持し、読み出すことができる。記憶部２０４は、入力部２０２で入力された情報の他、累積記憶手段４で記憶すべき情報も記憶する。出力部２０５は、演算部２０３を介して出力情報を外部に出力する。出力手段６の外部に出力する処理は出力部２０５で行われる。

以下、空間認識装置１０の動作を説明する。空間認識装置１０は、まず、検知手段２の画像読込手段２１が、カメラ１からの伝送されるフレーム画像を読み込み、このフレーム画像のレンズ歪の除去を行う。次に、移動物体位置検知手段２２は、このフレーム画像と過去のフレーム画像とを比較して、対象範囲内を移動する物体の床面（基準面１１１）上の位置を検知する。

次に、存在確率算出手段３１は、移動物体位置検知手段２２で検出された移動物体の床面（基準面１１１）上の位置を中心にして、所定の広がりを持つエリアを行動範囲として算出する。このとき、移動物体の床面（基準面１１１）上の位置の存在確率が周囲より高く、中心から周辺に移るにしたがい順次漸減する正規分布状の存在確率を発生させる。また、存在確率算出部３１は、累積記憶手段４の床面（基準面１１１）上の位置に対応する記憶領域の記憶値に上記存在確率の値を加算する。

次に、障害物範囲算出手段５は、累積記憶手段４に蓄積された床面（基準面１１１）上の位置に対する存在確率の累積値（記憶値）に基づき、存在確率の累積値（記憶値）が閾値より低い範囲を求め、この範囲を障害物が存在する領域とする。これは、物体が移動している経路上以外には、なんらかの障害物があると考えられるからである。

次に、出力部６は、障害物範囲算出手段５が算出した障害物が存在する領域を空間認識装置１０の外部に伝達するため、上記障害物の位置、大きさ及び範囲を出力する。出力方法は、上記に示した方法がある。

さらに、各部の処理について、詳細に説明する。まず、移動物体位置検知手段２２の詳細な検知手段について説明する。移動物体位置検知手段２２は、背景差分処理やフレーム間差分処理等によって、物体の移動している領域を画像上で抽出し、その領域を物体毎にラベリング処理し、上記領域の最下端を当該物体が床面と接触する位置として検出する。以下、移動物体位置検知手段２２の処理について説明する。

移動物体位置検知手段２２の上記背景差分処理では、自立的に移動し得る物体がカメラ画像（撮影対象範囲）内にないときに撮影した画像を背景画像として保持しておき、この背景画像と比較して現在読込んだフレームの画像の輝度値や色成分が変化した場合に、変化があった画素部分に物体が存在すると判断する。ここで、背景画像は、単純に１枚のみであらわす方法以外に、過去数フレームの平均値を用いる方法や、過去数フレームの中央値を用いる方法や、過去数フレームの輝度値推移から現在のフレームの背景を推測する方法などを利用することができる。

図９は、上記背景差分処理の例を示す説明図である。図において、上段左の画像は、背景画像であり、机と箱が存在する。上段右の画像は、現在読込んだフレーム画像であり、上記背景画像に加えて人が存在する。図中の下段の画像は、背景画像から変化があった画素部分に物体が存在するとして求めた物体の画像である。

また、移動物体位置検知手段２２のフレーム間差分処理は、１フレーム前の画像と現在フレームの画像とを比較して、現在フレームの画像の輝度値又は色成分が変化した場合に、変化があった画素部分に移動物体が存在すると判断する。

図１０は、フレーム間差分処理の例を示す説明図である。図において、上段左の画像は、１フレーム前の画像であり、上段右の画像は、現在読込んだフレーム画像である。いずれの画像も、移動物体として人が存在するが、上段右の画像は、人が移動している。図中の下段の画像は、上段左右の画像を比較して、現在フレームの画像の輝度値又は色成分が変化した場合に、変化があった画素部分に物体の移動前と移動後の物体が存在すると判断する。

また、移動物体位置検知手段２２の上記ラベリング処理は、物体が存在すると判断された画素について、連結画素をラベリングしていくことによって、一塊の画素の範囲を認識する。このラベリング処理の前に、ノイズ除去、膨張処理、縮小処理を行うことによって、認識精度の向上を図ることができる。

図１１は、ラベリング処理の例を示す説明図である。図において、(a)の画像は、上記背景差分処理またはフレーム間差分などによって、移動物体が存在すると判断された画素である。(b)の画像は、(a)の画像に直接ラベリング処理を施した場合の例であり、５個の別個の塊（領域）として認識されている。

他方、図において、(c)の画像は、(a)の画像から孤立成分をノイズとして除去した結果の画像である。(d)の画像は、(c)の画像に対して８近傍に膨張処理を施したものである。ここで、膨張処理において追加された画素は、濃い濃淡で表された画素である。(e)の画像は、(d)の画像に対して、１塊毎に周囲を縮小する縮小処理を施した画像である。さらに、(f)の画像は、(e)の画像にラベリング処理を施した場合の例であり、２個の別個の塊（領域）として認識されている。

以上のように、(a)の画像に直接ラベリング処理した場合には、ノイズなどによって５個の塊と認識されたが、(a)の画像にノイズ除去、膨張処理、縮小処理を施した後にラベリング処理すると２個の塊となり、より妥当な結果が得られることが分かる。

移動物体位置検知手段２２における移動物体と床面（基準面１１１）との接する点を求める方法は、単純に検知した塊（範囲）の移動物体の最下端を選択する方法をとることができる。また、移動物体を人とした場合には、検知した塊（範囲）の上端付近で頭頂部を検出し、頭部のサイズ、検知位置から、カメラ１からの距離を推測し、この距離を考慮して物体の最下端の位置を推定する方法をとることができる。

具体的には、動画像または画像から画像上の人の顔位置と顔の画像領域とを求める顔検出器を設ける。この顔検出器で、画像上の顔位置と顔の画像領域を獲得すると、カメラ１と顔位置とを結ぶ直線上に顔の画像領域をカメラ情報を用いて投影し、顔の大きさが平均的な顔の大きさ（例えば直径０．３ｍ）となるカメラ１からの距離を求める。求めた距離だけ、カメラ１と顔位置とを結ぶ直線上にカメラ１から離れた点から、基準面１１１（床面）におろした垂線の足（基準面１１１と垂線の交点）を移動物体と基準面１１１（床面）との接する点とすることができる。

さらに、移動物体と基準面１１１（床面）との接する点を求める方法は、前フレーム画像までの最下端の位置との時間的連続性を考慮して、物体の最下端の位置を推定する方法をとることができる。具体的には、フレームレートと人の最大移動速度から求められるフレーム間の移動可能エリアより、外側に検出された場合には、足元が障害物などに隠れたと判断し、移動可能エリア内で頭部が移動した差分を加えた位置とする。

次に、存在確率算出部３１の詳細な処理について説明する。まず、存在確率算出部３１は、検知手段２で検出された物体の最下端の画素に対応する位置を床面上に投影処理する。次に、存在確率算出部３１は、投影された上記点の周囲に物体存在確率を増加させることによって、移動物体が存在している範囲を特定する。ここで、投影処理は、予め空間認識装置１０が有するカメラ１と床面との位置関係（高さ、回転）及びカメラ１のレンズの焦点距離を用いて、透視投影の原理に基づき計算する。

存在確率の値は、投影された点を中心として、所定の半径の領域内の存在確率を一様に増加させる。所定の半径は、同物体が人として、０．３ｍ程度に対応する記憶領域の個数とすることができる。また、このとき、一様に増加させる値は、単位量（記憶する値の最小分解能の値）とすることができる。また、投影された点を中心として、正規分布状に確率を増加させても良い。存在確率算出手段３１は、上記で存在確率を求めた点に対応する累積記憶手段４の記憶領域に当該存在確率を加算する。なお、存在確率としたのは、概念上の説明であり、実際には累積記憶手段４の記憶領域に加算する値である。

図１２は、加算手段３において加算する値の説明図である。図において、図１２(a)は、加算する値として、物体検出位置を床面に投影した点に対応する記憶領域３２１を中心とし、所定の半径内の記憶領域３２２の存在確率を一様に増加させた例を示す図である。また、図１２(b)は、移動物体検出位置を床面に投影した点に対応する記憶領域３２１を中心として、その周囲の記憶領域３２３の記憶値（存在確率）を正規分布状に増加させた例である。この図において、灰色の濃淡が濃いものが確率の高いことを表している。

空間認識装置１０は、加算手段３の処理終了後、検知手段２へ処理を戻し、順次カメラ１からフレーム画像を読込み、検知手段２及び加算手段３の一連の処理を繰り返す。

次に、障害物範囲算出手段５の詳細な処理について説明する。障害物範囲算出手段５は、累積記憶手段４で蓄積された記憶値（存在確率）に基づき移動物体の行動範囲を求め、障害物が存在する範囲として、移動物体が行動していない範囲を抽出する。このとき、ノイズ除去、膨張処理、縮小処理を行うことにより、精度の向上を図ることができる。

図１３は、障害物範囲算出手段５の処理の例を示す図である。図において、図１３(a)の図は、累積記憶手段４に蓄積された記憶値（存在確率）が、所定の閾値以上の位置３３１をグレーで表した図である。図１３(b)の図は、図１３(a)に示す存在確率が閾値以上の領域に対してノイズ除去、膨張処理、縮小処理を施した結果の領域を物体の行動範囲３３２としてグレーで表した図である。図１３(c)の図は、図１３(b)の図で物体の行動範囲３３２以外の領域を障害物存在範囲３３３としてグレーで表した図である。以上のように、図１３(a)に対してノイズ除去、膨張処理、縮小処理を行うことによって、確実に障害物存在範囲を求めることができる。

次に、出力手段６は、障害物範囲算出手段５が求めた障害物存在範囲を障害物存在範囲記憶手段に記憶し、この記憶情報を外部から読み出し可能に構成することで実現することができる。このとき、障害物存在範囲記憶部は、対象領域の各位置に対応する記憶領域に障害物の有無を０、１で記録することができる。また、この記憶情報を有線、無線で外部に伝送できるようにすることもできる。さらに、上記障害物の位置、大きさ及び範囲を求め、これらのパラメータを出力するようにすることもできる。

本実施の形態によれば、空間認識装置１０は、カメラ１の映像から移動物体の移動範囲を求め、移動物体が存在しない範囲を障害物の範囲として求めることによって、遠方にある障害物であっても、誤認識すること無く高精度に検知することができる。

また、本実施の形態によれば、空間認識装置１０は、カメラ１の映像から求められる移動物体の位置に対応する累積記憶手段４の記憶領域に所定値を加算し、累積記憶手段４の記憶領域の記憶値が閾値以下の範囲に対応する範囲を障害物存在範囲として出力することによって、遠方にある障害物であっても、誤認識すること無く高精度に検知することができる。

さらに、本実施の形態によれば、空間認識装置１０は、カメラ１の映像から求められる移動物体の位置から対象範囲の位置ごとの存在確率を求め、存在確率が所定の閾値より低い範囲を障害物の範囲として算出することによって、遠方にある障害物であっても、誤認識すること無く、さらに高精度に検知することができる。

また、検知位置の点に対応する記憶位置だけに加算しても、累積記憶手段４の記憶値は１点ごとに値が大きく異なり、障害物の範囲を特定し難いが、本実施の形態によれば、検知位置の中心とする円に対応する記憶領域に加算するので、移動物体が存在した跡が領域で加算され、障害物範囲を領域として特定できる。

さらに、本実施の形態によれば、検知位置を中心とする円に対応する記憶領域に、検知位置を中心とする正規分布状に値を加算することによって、障害物の位置をより精度良く検知することができる。

また、本実施の形態によれば、カメラ１が赤外線カメラとすることができるので、照度の低い夜間においても障害物の検知を行うことが可能になる。

実施の形態２．
上記実施の形態は、空間認識装置１０は、障害物の大きさ及び範囲を出力したが、本実施の形態は、壁面と考えられる障害物を区別する空間認識装置１０の実施の形態について説明する。

本実施の形態の空間認識装置１０は、上記実施の形態と同じブロック構成となり、図２又は図５と同様となる。具体的には、カメラ１、検知手段２、加算手段３、及び累積記憶手段４は、上記実施の形態と同様である。障害物範囲算出手段５は、上記実施の形態で説明した内容に加え、以下の障害物の中から壁、及び各障害物を区別する機能を有する。

図１４は、障害物範囲算出手段５が、障害物の中から壁、及び障害物を区別する手段の説明図である。撮影対象領域に対応する記憶領域３４０は、上記実施の形態の障害物範囲算出手段５で求めた障害物領域（グレー部）を記憶部２０４の記憶領域上に展開したものである。この記憶領域３４０の領域は、累積記憶手段４と同様に撮影対象領域を充分含むように設定されている。また、基準座標系１０１は、位置３４１に対応する。まず、障害物範囲算出手段５は、記憶領域３４０の端の記憶領域３４２から、各記憶領域が障害物範囲かを調べ、障害物範囲であれば、現在の番号を記憶する。ここでは、記憶領域３４２に現在のラベル番号１を記憶している（この番号付けは、ラベリングと呼ばれる。）。次にこの記憶領域の隣接する８近傍の記憶領域について、障害物範囲か否かを調べ、障害物範囲であれば、現在の番号を記憶するとともにさらに隣接する８近傍の記憶領域を調べる。ある記憶領域が障害物範囲外であれば、さらに８近傍を調べることなく、次の記憶領域を調べる。

図１４（ｂ）は、上記の方法を繰り返して調べた結果である。図のように障害物範囲の内、壁に相当する範囲の記憶領域にラベル番号１が記憶されている。この場合、壁の位置を、奥行き方向にＤ１からＤだけ奥に壁があること、幅方向に基準座標系１０１からＷ１右側にいったところに右の壁があり、この壁から左側にＷいったところに左側の壁があることがわかる。障害物範囲算出手段５は、上記の壁の位置を出力部６から外部に伝送する。

図１４（ｃ）は、一塊の障害物を区別するために、さらに障害物範囲を調べたものである。図１４（ｂ）でラベル番号１について、完了すると、現在のラベル番号を増加させ２として、未だ調べていない記憶領域に対応する範囲を調べる。障害物範囲が見つかると、上記と同様に、その記憶領域３４３から隣接する８近傍を調べ、障害物範囲であれば、当該記憶領域に現在のラベル番号を記憶するとともに、さらに隣接する８近傍を調べる。上記処理を繰り返すことで、図１４（ｃ）の番号２と記憶された一塊の障害物の領域を求めることができる。また、残りの領域について同様の処理を行うことで、すべての障害物の領域についてラベル番号を付けて、全ての障害物を区別することができる。

出力部６は、上記のように障害物範囲算出手段５で求めた、壁の位置、障害物の位置及び大きさを上記実施の形態と同様の手法で外部に出力する。

本実施の形態は、記憶領域の端から障害物範囲をラベリング処理によって連結成分を取り出すので、障害物とは別に、壁の位置を求め、出力することができる効果がある。壁の位置が求まるので、部屋に適応した場合には、部屋の奥行き及び幅を求め、出力することができる。

また、本実施の形態は、障害物範囲をラベリング処理によって連結成分を取り出すので、一塊と成っている障害物を区別して、位置及び大きさを出力することができる効果がある。
実施の形態３．
上記実施の形態は、空間認識装置１０の実施の形態であった。本実施の形態は、上記空間認識装置１０で求めた障害物範囲に基づき制御する空気調和機について説明する。

図１５は、本実施の形態による空気調和機の構成図である。図において、カメラ１が空気調和機の室内機に設けられている。なお、カメラ１は、室内機に設けられる他、室内機の以外の壁面で空調対象エリアを撮影する位置に設けられても良い。カメラ１からの映像情報は、空気調和機内または外に設けられた空間認識装置１０に有線または無線にて伝送される。空間認識装置１０は、実施の形態１と同等のものを用いることができる。

図１６は、本実施の形態による空気調和機のブロック構成図である。実施の形態１と同じ符号のものは同じ手段を表す。以下、実施の形態１または２との違いを中心に説明する。

カメラ１は、空気調和機の室内機２０または室内機２０以外に設けられ、空調対象エリアを撮影する。図１６では、基準面１１１から高さＨの位置にカメラ１が取り付けられている。

検知手段２は、上記実施の形態と同様のものを用いることができる。本実施の形態では、移動物体として、人体を検知することになる。カメラ１の映像から人体と床の接する点を検知する方法としては、移動物体として検知した映像中の範囲の最下端を選ぶことができる。また、映像中の移動物体の範囲の上端を頭部として検出し、頭部のサイズや検知位置などからカメラ１からの距離を推測して、距離情報を考慮して足の位置を推定しても良い。さらに、前フレームまでの足位置との時間的連続性を考慮して人体の足の位置を推定しても良い。

図１７は、本実施の形態の検知手段２の移動物体の位置の求め方の説明図である。上記で求めた人体と基準面１１１との接する映像中の接地点１２２から空調エリア内の基準面１１１上の基準面上位置１２３を求める。この求め方は上記実施の形態と同様である。

図１６における加算手段３、累積記憶手段４、障害物範囲算出手段５、及び出力手段６は、上記実施の形態と同様である。また、検知手段２は、画像読込手段２１及び移動物体位置検知手段２２を設けても良く、加算手段３は、存在確立算出手段３１を設けても良い。

空間認識装置１０は、上記実施の形態と同様に、障害物の存在領域を出力する。実施の形態１の障害物の位置、大きさでも良いし、実施の形態２の壁の位置を出力しても良い。この出力する先は、制御手段７である。制御手段７は、空間認識装置１０からの出力の他、温度センサの情報から、空調エリアのどこに気流を流すかを判断し、モータ９を制御して、気流を流すと判断したところへ向けて気流を発生させる。

以下、制御手段７の制御方法について説明する。ここで、制御手段７は、風温及び風量が、低いモードと高いモードの２種類の制御モードを有していると仮定する。制御手段７は、空間認識装置１０の出力から、空気調和機の室内機２０が設置された壁面に対して垂直な方向の部屋の長さ（以下、「部屋の奥行き長さ」と呼ぶ。）を求める。この部屋の奥行き長さが、閾値以下の場合には、風温及び風量が、予め定められた低いモードで運転するよう制御する。また、部屋の奥行き長さが、閾値以上の場合には、風温及び風量が、予め定められた高いモードで運転するように制御し、さらに必要な場合には、遠くまで気流が届くモードに制御する。部屋の奥行き長さが短い場合に、出力を下げて省エネルギー運転が可能となる効果がある。

また、床温度を温度センサで計測して出力制御する場合には、温度を計測する床の範囲から、障害物の範囲を除いた範囲の床温度に基づき出力制御することができる。これは、障害物の範囲には少なくとも床は露出していないため、床温度の考慮対象から障害物の範囲を除くことで、より効率的な運転制御ができる効果がある。

また、制御手段７は、カメラ１を赤外線センサ、またはサーモパイルにして人の存在位置を検出して、人に直接に風が当たらないように出力制御することもできる。この場合、制御手段７は、起動直後に上記センサ感度が落ち、人を検知できないときがあるため、人が存在しないと考えられる空間認識装置１０で求めた障害物の範囲に当てるよう出力を制御する。このように制御することで、起動直後から人に直接に風を当てない制御をすることができる効果がある。

本実施の形態の構成によれば、空間認識装置１０は、カメラ１からの映像から、人体が移動しない領域を障害物が存在する領域とするので、距離センサで計測が困難な遠方の障害物の位置とサイズを確実に求めることができる。この情報を用いることにより、気流の妨げになる障害物の存在する位置がわかり、空調エリア全体に気流を行き渡らせる制御ができる。また、空間認識装置１０によって、空調すべき人が生活する範囲がわかるため、効率の良い気流制御を行うことが可能になる。

本実施の形態１の空間認識装置の概要説明図である。 本実施の形態１の空間認識装置のブロック構成図である。 本実施の形態１の基準座標系とカメラ座標系の相対的位置関係の説明図である。 本実施の形態１のレンズ歪み補正の説明図である。 本実施の形態１の空間認識装置のブロック構成図である。 本実施の形態１の移動物体の位置の求め方の説明図である。 本実施の形態１の撮影対象領域と累積記憶手段の記憶領域との対応関係の説明図である。 本実施の形態１の空間認識装置のハードウェア構成図である。 本実施の形態１の背景差分の説明図である。 本実施の形態１のフレーム間差分処理の説明図である。 本実施の形態１のラベリング処理の説明図である。 本実施の形態１の加算手段の加算する値の説明図である。 本実施の形態１の障害物存在範囲の求め方の説明図である。 本実施の形態２の障害物の求め方の説明図である。 本実施の形態３の空気調和機の構成図である。 本実施の形態３の空気調和機のブロック構成図である。 本実施の形態３の移動物体の位置の求め方の説明図である。

符号の説明

１ カメラ、２ 検知手段、３ 加算手段、４ 累積記憶手段、５ 障害物算出手段、６ 出力手段、７ 制御手段、８ センサ、９ モータ、１０ 空間認識装置、２０ 室内機、２１ 画像読込手段、２２ 移動物体位置検知手段、３１ 存在確率算出手段、１０１ 基準座標系、１０２ カメラ座標系、１１１ 基準面、１２１ カメラ画像、１２２ 画像中の接地点、１２３ 基準面上位置、１２４ 基準面上領域、１３２ 分割領域、
１３５ 分割領域、１４２ 記憶領域、１４５ 記憶領域、２０１ カメラ、２０２ 入力部、２０３ 演算部、２０４ 記憶部、２０５ 出力部、２１１ 撮影対象、２１２ 移動物体の位置、２１３ 移動物体の存在した範囲。

Claims (8)

1. カメラで撮影した映像から移動物体の位置を検知する検知手段と、
   前記カメラの撮影対象領域に対応する記憶領域毎の記憶値を記憶する累積記憶手段と、
   前記位置に対応する前記記憶領域の記憶値に所定値を加算する加算手段と、
   前記記憶値が閾値以下の記憶領域に対応する領域から障害物範囲を算出する障害物範囲算出手段とを備えた空間認識装置。
2. 検知手段は、予め設定した撮影対象領域の基準面とカメラとの相対的位置情報、前記カメラのレンズ情報、及び前記カメラの映像中の移動物体の位置情報から幾何学的計算により移動物体の前記基準面上の位置を求めることを特徴とする請求項１に記載の空間認識装置。
3. 加算手段は、基準面上の移動物体の位置を中心とする所定半径の円内に対応する記憶領域の記憶値に加算することを特徴とする請求項２に記載の空間認識装置。
4. 加算手段の加算する所定値は、移動物体の位置を中心とする正規分布状の値としたことを特徴とする請求項３に記載の空間認識装置。
5. 障害物範囲算出手段は、障害物の範囲の情報から壁の位置を求めることを特徴とする請求項１ないし４のいずれか１項に記載の空間認識装置。
6. カメラは、赤外カメラまたは近赤外カメラであることを特徴とする請求項１ないし５のいずれか１項に記載の空間認識装置。
7. 請求項１ないし６のいずれか１項に記載の空間認識装置を備え、前記空間認識装置が算出する障害物範囲に基づいて運転を制御することを特徴とする空気調和機。
8. 請求項５に記載の空間認識装置及び部屋の壁面に設置される室内機を備え、前記空間認識装置が算出する壁の位置から前記室内機の設置壁面に垂直な方向の部屋の長さを求め、前記部屋の長さに基づいて運転を制御することことを特徴とする空気調和機。

Images