JP2004258927A - 人検出方法及び人検出装置 - Google Patents
人検出方法及び人検出装置 Download PDFInfo
- Publication number
- JP2004258927A JP2004258927A JP2003048311A JP2003048311A JP2004258927A JP 2004258927 A JP2004258927 A JP 2004258927A JP 2003048311 A JP2003048311 A JP 2003048311A JP 2003048311 A JP2003048311 A JP 2003048311A JP 2004258927 A JP2004258927 A JP 2004258927A
- Authority
- JP
- Japan
- Prior art keywords
- human
- pixel
- area
- state
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】人検出方法及び人検出装置において、環境光の変化する状況のもとでも、動いている人だけでなく静止した人の検知、位置、人数の計測を実現する。
【解決手段】注目画素の輝度Ｙの時間変化曲線４０から一定区間毎に分散値Ｆ、分散値Ｂを求めて分散値Ｆ曲線４１、分散値Ｂ曲線４２を得る。動状態検出しきい値ＴＦＭと分散値Ｆ曲線４１の交点Ｍ１以降は、注目画素は動状態とされ、経過状態検出しきい値ＴＢＳと分散値Ｂ曲線４２の交点Ｓ１以降では、経過状態とされ、さらに分散値Ｂがしきい値ＴＢＳ以下、かつしきい値ＴＢＢ以上の状態が一定時間以上継続する時、人候補とされる。しきい値ＴＢＳと分散値Ｂ曲線４２の交点Ｓ２の後、分散値Ｂが一定時間以内に背景検出しきい値ＴＢＢ以下になる時、背景とされる。人は、止まっても完全に静止しないことにより物体の静止状態又は背景と、人の静止状態が区別される。
【選択図】 図５
【解決手段】注目画素の輝度Ｙの時間変化曲線４０から一定区間毎に分散値Ｆ、分散値Ｂを求めて分散値Ｆ曲線４１、分散値Ｂ曲線４２を得る。動状態検出しきい値ＴＦＭと分散値Ｆ曲線４１の交点Ｍ１以降は、注目画素は動状態とされ、経過状態検出しきい値ＴＢＳと分散値Ｂ曲線４２の交点Ｓ１以降では、経過状態とされ、さらに分散値Ｂがしきい値ＴＢＳ以下、かつしきい値ＴＢＢ以上の状態が一定時間以上継続する時、人候補とされる。しきい値ＴＢＳと分散値Ｂ曲線４２の交点Ｓ２の後、分散値Ｂが一定時間以内に背景検出しきい値ＴＢＢ以下になる時、背景とされる。人は、止まっても完全に静止しないことにより物体の静止状態又は背景と、人の静止状態が区別される。
【選択図】 図５
Description
【０００１】
【発明の属する技術分野】
本発明は、観測画像を画像処理することにより、屋内における人の存在、人の位置、人数を検出する方法及び装置に関する。
【０００２】
【従来の技術】
従来、人の作業や行動の観測や環境の自動制御、不審物侵入監視などの目的で観測領域内の人の移動や人数分布を検出することが行われている。人検出の主な従来技術として、焦電素子センサを使うものと、画像処理を使うものがある。焦電素子センサを使うものでは、焦電素子センサを用いて人体の放出する赤外線を検出することにより、観測領域の人の有無が検知されている。人の存在位置を検出する場合には、単一のセンサのみではどの位置に人が存在するか判断できないため、複数のセンサを用いて計測しなければならず、センサの設置に手間がかかる問題がある。また、この方法は観測空間における温度変化を検知して人を検出しているため、人が静止すると検出できなくなってしまう。
【０００３】
画像を使って人を検知するものとしては、背景差分法を使うものがある。背景差分法は、予め記憶した背景画像と入力画像間で差分を取り、変化のある部分を検出する手法である。この方法は、背景画像が変化しなければ、変化部分を精度良く検出できるが、実際の使用環境においては、環境光が変化したり、物が観測視野内に持ち込まれ、又は持ち出されたりすると、誤検出が発生する。これらの環境変化に対応するために、背景画像の自動更新が一般的に行われている。
【０００４】
背景画像の自動更新を行うものとして、例えば、室内監視装置として監視領域内の人の数及び分布等を検出するために、予め人物監視領域を指定して、監視領域内を撮像した画像の背景差分により人を検出することとし、人かどうかの判断は監視領域内の差分絶対値の和より行い、背景画像の更新は、背景差分絶対値の変化履歴が所定量以上になった時に行うものが知られている（例えば、特許文献１参照）。
【０００５】
また、背景更新を行うと共に、ドアのように特定の位置で繰り返し動作を行うもの（移動可能背景）を除くことにより、動体の検出の精度を向上させる移動体識別装置が知られている（例えば、特許文献２参照）。この装置は、動体の検出を背景差分により行い、差分値が連続してしきい値を越えない場合、その画像部分を動体とする。しきい値以上の差分値が一定期間連続するとき、背景が変化したとして背景画像更新が行われる。また、検出された動体形状が繰り返し出現する場合、この動体を移動可能背景であると判断することで、これを動体と区別している。
【０００６】
また、周囲の状況が変わると自動的に背景を更新して、エレベータ乗場の待ち客やエレベータ内の正確な人数検出を行う人検出装置、及びこれを用いたエレベータ制御システムが知られている（例えば、特許文献３参照）。この装置では、背景差分により動体の検出が行われる。差分値がしきい値を超える面積を標準人面積で割るか、動体として検出された画素の塊の数を数えて人数を求めている。背景更新タイミングの異なる二つの背景画像を持ち、現画像から見て古い方の背景を参照しながら背景差分に使う背景を更新する背景画像更新を行うので、一旦背景に取り込まれてしまった人が移動して居なくなった部分がゴーストとして検出されるということを防ぐことができる。また、面積による検出と塊の計数による検出数を比較して、人検出２値化のしきい値を自動調節することが行われている。
【０００７】
また、上記例とは別に、静止した人が背景に取り込まれてしまう問題に対処するため、画像を使う他の検出方法として、画素ごとに時系列方向の輝度変化を分析して画素の状態を検出し、かつ、検出された画素の状態遷移の制約を使うものが知られている（例えば、非特許文献１参照）。
【０００８】
【特許文献１】
特開平１１−３１１６８２号公報
【特許文献２】
特開平４−１１１０７９号公報
【特許文献３】
特開平１０−３１２４４８号公報
【非特許文献１】
第７回画像センシングシンポジウム講演論文集（２００１年）、Ｃ−２０、ｐｐ３６９−３７４、「複数物体の重なりを理解するレイヤー型検出法」、藤吉弘亘、金出武雄著
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した特許文献１に示されるような装置では、人が存在する場所が予め分からなければ監視位置を設定することができない。また、座って作業する人が居る場合、例えば、パソコン作業者の場合は、指先ぐらいしか動かないので、体の大半の部分が背景に取り込まれてしまい、領域内の差分積分値が小さくなり、人を検出できなくなると予想される。
【００１０】
また、上述した特許文献２に示されるような装置では、背景画像と異なる状態が一定時間以上連続すると背景を更新するようにしているので、人が椅子に座ったり、立ち止まったりして静止状態となると、人が背景に取り込まれてしまい、移動する人しか検出できない問題がある。また、上述した特許文献３に示されるような装置では、静止した人が背景に取りこまれて検出できないという問題がある。
【００１１】
また、上述した非特許文献１に示されるような検出方法では、検出された人が動いているのか静止しているのかが識別できるようになるが、人と背景との識別は背景差分法と同じく輝度値そのものの差で識別しているため、背景と良く似た輝度値の人がくると背景と判定され、人が検出されないという問題がある。
【００１２】
本発明は、上記課題を解消するものであって、画像処理を用い、環境光の変化する状況下であっても、動いている人だけではなく静止した人の検知、その位置、人数を計測できる人検出方法及び人検出装置を提供することを目的とする。
【００１３】
【課題を解決するための手段及び発明の効果】
上記課題を達成するために、請求項１の発明は、撮像画像を画像処理することにより人を検出する人検出方法であって、所定エリア内の人の動きを時系列的に順次撮像する撮像過程と、前記撮像過程で撮像され、デジタル化された時系列的に連続するデジタル画像を記憶するデジタル画像記憶過程と、前記記憶された時系列のデジタル画像より、所定画像エリア内に位置する各画素の輝度値を時系列的に読み出し、所定時間毎の各画素の輝度の時間変動分散値を計算する画素分析過程と、前記分散値を上記デジタル画像の画素に対応させて時系列的に記憶する画素分析結果記憶過程と、前記分散値の時系列の変動状態を判別して、その分散値を計算した画素の状態を少なくとも「動状態」「人候補」「背景」の３状態に識別する画素状態識別過程と、画素状態識別結果を上記デジタル画像の画素に対応させて時系列的に記憶する画素状態識別結果記憶過程と、前記識別した「人候補」画素と、これに近接又は連続する「動状態」画素を合わせて人候補領域を作成する人候補領域作成過程と、人候補領域作成結果を上記デジタル画像の画素に対応させて記憶する人候補領域作成結果記憶過程と、前記人候補領域の特徴を判別し人領域を検出する人領域検出過程と、検出された人の位置又は人数などの人検出データを出力する人検出データ出力過程と、を備えるものである。
【００１４】
上記人検出方法においては、所定エリア内の人の動きを時系列的に順次撮像した時系列的に連続するデジタル画像より、所定画像エリア内に位置する各画素の輝度値を読み出し、所定時間毎の各画素の輝度の時間的変動分散値を計算し、デジタル画像の画素に対応させて時系列的に記憶した分散値の時系列の変動状態を判別して、その分散値を計算した画素の状態を少なくとも「動状態」「人候補」「背景」の３状態に識別し、識別した「人候補」画素と、これに近接又は連続する「動状態」画素を合わせて人候補領域を作成し、人候補領域の特徴を判別して人領域を検出するので、動いている人は「動状態」、静止している人は「人候補」、静止している物は「背景」と判定することができ、動いている人だけでなく、静止している人も含めて背景から人を分別して検出できる。また、従来の人検出方法が、背景画像又は前画像の輝度と現画像の輝度との差より人の有無を判定するものであるため背景画像と現画像で人の部分の輝度が背景と似たような輝度を持つため検出できなかった部分や、人が静止すると前画像と現画像で輝度の差が無くなり検出できなかった部分についても、本人検出方法では、人の部分と物体の部分では輝度の時間的変動を表す分散値が異なることを利用して判定するので、精度良く人を検出することができる。また、時系列的に記憶した分散値の時系列の変動状態を判別して人を検知するので、環境光の変化する状況下においても精度良く人を検知することができる。
【００１５】
請求項２の発明は、請求項１記載の人検出方法において、前記人領域検出過程は、人候補領域の形状又は面積が予め定めた範囲内にある時、人候補領域が人領域であると判定するものである。
【００１６】
上記人検出方法においては、人候補領域の形状又は面積を用いて人候補領域を人領域であるかどうかの判定するので、人領域検出過程の処理を簡単にすることができる。
【００１７】
請求項３の発明は、請求項１記載の人検出方法において、前記人領域検出過程は、人候補領域に含まれる「動状態」画素の個数と、「人候補」画素の個数の比を求め、この比を用いて人候補領域が静止した人領域であるかどうかを判定するものである。
【００１８】
上記人検出方法においては、人と判定した領域が動いているのか静止しているのかを識別することにより、滞在時間が長い静止した人と、滞在時間が短い動く人を区別して認識できるため、滞在時間の長い静止した人に合わせた処理、例えば、空調制御を行うことができる。
【００１９】
請求項４の発明は、請求項１記載の人検出方法において、前記人領域検出過程は、人候補領域に含まれる「動状態」画素を合わせた部分領域の重心位置が、予め定めた一定期間予め定めた範囲内に位置する時、該人候補領域は人領域ではないと判定するものである。
【００２０】
上記人検出方法においては、人候補領域に含まれる「動状態」画素を合わせた部分領域の重心位置が、予め定めた一定期間予め定めた範囲内に位置する時、該人候補領域は人領域ではないと判定するので、撮像された画像上の特定の位置で輝度が変化する、例えばパソコンのディスプレイやテレビ画面のちらつきのある領域を人領域から除外でき、これらを間違って人として検出することを無くすことができる。
【００２１】
請求項５の発明は、請求項１記載の人検出方法において、前記人領域検出過程は、前記人候補領域に外接する外接四角形の位置及び形状が予め定めた一定期間変化せず、かつ、該人候補領域が該外接四角形に接する点の位置が変化しないとき、該人候補領域は人領域ではないと判定するものである。
【００２２】
上記人検出方法においては、人候補領域に外接する外接四角形の位置及び形状が予め定めた一定期間変化せず、かつ、該人候補領域が該外接四角形に接する点の位置が変化しないとき、該人候補領域は人領域ではないと判定するので、撮像された画像上の特定の位置で輝度変化を起こす、例えばパソコンのディスプレイやテレビ画面のちらつきのある領域を人領域から除外でき、これらを間違って人として検出することを無くすことができる。
【００２３】
請求項６の発明は、請求項１記載の人検出方法において、前記検出結果出力過程は、撮像された画像に検出した人領域と人検出データを重ね合わせて表示するものである。
【００２４】
上記人検出方法においては、撮像された画像に検出した人領域と人検出データを重ね合わせて表示するので、１つの出力画面に重ねて表示された人検出データを直感的に認識でき、所定エリア内における人の動向の把握が容易となる。
【００２５】
請求項７の発明は、撮像画像を画像処理することにより人を検出する人検出装置であって、所定エリア内の人の動きを時系列的に順次撮像する撮像手段と、前記撮像手段で撮像され、デジタル化された時系列的に連続するデジタル画像を記憶するデジタル画像記憶手段と、前記記憶された時系列のデジタル画像より、所定画像エリア内に位置する各画素の輝度値を読み出し、所定時間毎の各画素の輝度の時間変動分散値を計算する画素分析手段と、前記分散値を上記デジタル画像の画素に対応させて時系列的に記憶する画素分析結果記憶手段と、前記分散値の時系列の変動状態を判別して、その分散値を計算した画素の状態を少なくとも「動状態」「人候補」「背景」の３状態に識別する画素状態識別手段と、画素状態識別結果を上記デジタル画像の画素に対応させて時系列的に記憶する画素状態識別結果記憶手段と、前記識別した「人候補」画素と、これに近接又は連続する「動状態」画素を合わせて人候補領域を作成する人候補領域作成手段と、人候補領域作成結果を上記デジタル画像の画素に対応させて記憶する人候補領域作成結果記憶手段と、前記人候補領域の特徴を判別し人領域を検出する人領域検出手段と、検出された人の位置又は人数などの人検出データを出力する人検出データ出力手段と、を備えるものである。
【００２６】
上記構成においては、所定エリア内の人の動きを時系列的に順次撮像した時系列的に連続するデジタル画像より、所定画像エリア内に位置する各画素の輝度データを読み出し、所定時間毎の各画素の輝度の時間的変動分散値を計算し、デジタル画像の画素に対応させて時系列的に記憶した分散値の時系列の変動状態を判別して、その分散値を計算した画素の状態を少なくとも「動状態」「人候補」「背景」の３状態に識別し、識別した「人候補」画素と、これに近接又は連続する「動状態」画素を合わせて人候補領域を作成し、人候補領域の特徴を判別して人領域を検出するので、動いている人は「動状態」、静止している人は「人候補」、静止している物は「背景」と判定することができ、動いている人だけでなく、静止している人をも背景から分別して検出できる。また、従来の人検出方法が、背景画像又は前画像の輝度と現画像の輝度との差より人の有無を判定するものであるため背景画像と現画像で人の部分の輝度が背景と似たような輝度を持つため検出できなかった部分や、人が静止すると前画像と現画像で輝度の差が無くなり検出できなかった部分も、本人検出装置では、人の部分と物体の部分では輝度の時間的変動を表す分散値が異なることを利用して判定するので、精度良く人を検出することができる。
【００２７】
請求項８の発明は、請求項７記載の人検出装置において、前記人検出データを用いて照明及び／又は空調などの環境調節機器を制御する環境制御手段をさらに備えたものである。
【００２８】
上記構成においては、人検出データを用いて照明及び／又は空調を制御するので、部屋に居る人数、人の位置に合わせて照明・空調を制御することができ、人が居ないのに機器を動作させる無駄なエネルギー消費を無くし、また、室内の執務者の快適さを向上させることができる。また、本発明によると、制御対象エリアに１台の撮像用のＴＶカメラを設置することで、制御用の人検知データを得ることができる。
【００２９】
【発明の実施の形態】
以下、本発明の一実施形態に係る人検出方法及び人検出装置について、図面を参照して説明する。図１は本発明に係る人検出装置の構成を示し、図２は、人検出方法の処理フローを示す。人検出装置１は、室内２を俯瞰するように設置したＴＶカメラ３から時系列的に順次撮像して得られる連続画像を用い、室内２に居る人２０を検出し、その人数・位置を出力する。人検出方法の各処理は、撮像過程Ｓ１０１がＴＶカメラ３において、デジタル画像記憶過程Ｓ１０２がＡ／Ｄ変換部４と記憶部５において、画素分析過程Ｓ１０３、画素状態識別過程Ｓ１０５、人候補領域作成過程Ｓ１０７、人領域検出過程Ｓ１０９が演算部６において、画素分析結果記憶過程Ｓ１０４、画素状態識別結果記憶過程Ｓ１０６、人候補領域作成結果記憶過程Ｓ１０８が記憶部５において、また、人検出データ出力過程Ｓ１１０が通信部９とディスプレイ８において行われる。
【００３０】
撮像画像を画像処理することにより人を検出する人検出方法の全体の流れを説明する。撮像過程Ｓ１０１では、所定エリア内（室内２）の人の動きが時系列的に順次撮像され、デジタル画像記憶過程Ｓ１０２では、前記撮像過程で撮像され、デジタル化された時系列的に連続するデジタル画像が記憶される。画素分析過程Ｓ１０３では、前記記憶された時系列のデジタル画像より、所定画像エリア内に位置する各画素の輝度値が読み出され、所定時間毎の各画素の輝度の時間変動についての分散値が計算され、画素分析結果記憶過程Ｓ１０４では、前記分散値が上記デジタル画像の各画素に対応して時系列的に記憶される。
【００３１】
画素状態識別過程Ｓ１０５では、前記分散値の時系列の変動状態が判別され、その分散値を計算した画素の状態が「動状態」「経過状態」「人候補」「背景」の４状態に識別され、画素状態識別結果記憶過程Ｓ１０６では、画素状態識別結果が上記デジタル画像の画素に対応して時系列的に記憶される。なお、後述するように、「経過状態」は「動状態」の一部、又は「人候補」の一部と捉えてもよく、この場合、画素の状態が、画素状態識別過程において「動状態」「人候補」「背景」の３状態に識別される。人候補領域作成過程Ｓ１０７では、前記識別した「人候補」画素と、これに近接又は連続する「動状態」画素及び「経過状態」画素を合わせた人候補領域が作成され、人候補領域作成結果記憶過程Ｓ１０８では、人候補領域作成結果が上記デジタル画像の画素に対応して記憶される。人領域検出過程Ｓ１０９では、前記人候補領域の特徴を判別し人領域が検出され、人検出データ出力過程Ｓ１１０では、検出された人の位置又は人数などの人検出データが出力される。
【００３２】
本発明の特徴は、撮像された連続する画像の注目画素について輝度の時間変化を時系列的に得て、これをもとに一定時間間隔における輝度の分散値を計算し、その輝度の分散値の時間変化から注目画素の状態を少なくとも「動状態」、「人候補」、「背景」の３状態に分別するところにある。動いている人は「動状態」、静止している人は「人候補」、静止している物は「背景」であると判定される。従来行われている人検出方法は、単に現画像と背景画像（又は前画像）とにおける輝度の差を用いて人の有無を判断するものであるため、現画像と背景画像とにおいて人の部分の輝度が背景と似たような輝度を持つ場合には背景から人を区別して検出できない。また、人が静止する場合には現画像と前画像との差が無くなり人を検出することができない。本発明によると、静止している人と、静止している物とを分別して判定でき、動いている人だけでなく静止している人も背景から区別して検出できる。
【００３３】
観測対象である人と、人以外の物体の移動、停止状態について説明する。図３は、画像変化の例を示す。図３（ａ）に示すように、画像２１の中で左方から人２０が移動してきて、画像２２における中央で一旦止まり、その後、画像２３のように右方に立ち去る場合、及び図３（ｂ）に示すように、物体２５が移動されて画像２７における中央に一旦置かれ、その後、持ち去られる場合、を比較する。停止状態において、人と物体の状態の差が現れる。通常、放置された物体は静止状態となるが、人は停止状態においても完全に静止することはないという違いがある。
【００３４】
輝度変化について説明する。図４（ａ）は、上記画像中に×印で示された注目画素２４，２９のような特定画素の輝度の測定例を示し、図４（ｂ）は、輝度分散の様子を示す。本発明において、分散値Ｆ及び分散値Ｂという２種類の分散値が定義されて用いられる。図４（ａ）に示す輝度Ｙの変化曲線３０について過去の画素分析時点ｔ（−ｎ＋１）、及びそこから未来方向の最新画像撮像時点ｔ（０）までのｎ枚の画像を含むｆ区間３１においてｎ点の輝度値を使って分散値Ｆが計算される。また、画素分析時点ｔ（−ｎ＋１）、及びそこから過去方向の画素分析時点ｔ（−ｍ−ｎ＋２）までのｍ枚の画像を含むｂ区間３２においてｍ点の輝度値を使って分散値Ｂが計算される。輝度値の分散の様子（度数分布）は、ｆ区間３１，及びｂ区間３２のそれぞれにおいて曲線３３、曲線３４のようになる。図４（ａ）に示されたｂ区間３２の例は、人又は物体の移動状態と見なされ、また、ｆ区間３１の例は、停止状態と見なされるものである。
【００３５】
輝度値の分布から求められる分散値は、分散の様子が定量化できる数値であれば良く、例えば、度数分布を正規分布曲線でフィッティングして求めた標準偏差σや、平均値からの偏差の二乗和の計算式等により求められる。これらのようないずれかの方法で求められた分散値は、分散値３５（分散値Ｆ），分散値３６（分散値Ｂ）のようになり、ｆ区間３１が停止状態に対応し、ｂ区間３２が移動状態に対応する場合、分散値の差により状態が区別できることが分かる。また、分散値Ｆは、動きの始まりの検出に用いられ、分散値Ｂは、動きの終了を検出するのに用いられる。
【００３６】
状態識別について説明する。図５は、人の移動、停止、移動の場合の輝度と分散値の変化を示し、図６は、物体の移動、停止、移動の場合の輝度と分散値の時間変化を示す。図５（ａ）には、輝度Ｙの時間変化曲線４０から、一定区間ごとに、例えばｆ区間３１、ｂ区間３２から、分散値Ｆ、分散値Ｂを求めて、図５（ｂ）に示す分散値Ｆ曲線４１、図５（ｃ）に示す分散値Ｂ曲線４２を得る様子が示されている。
【００３７】
このような分散値Ｆ曲線４１、分散値Ｂ曲線４２を用いて注目画素の状態を識別するために、分散値に対する３種類のしきい値が定義されて用いられる。これらは、「動状態」検出しきい値ＴＦＭ、経過状態検出しきい値ＴＢＳ、及び「背景」検出しきい値ＴＢＢである。「動状態」検出しきい値ＴＦＭは、人、物体が移動する場合、分散値Ｆと比較して「動状態」検出に用いられる。「経過状態」検出しきい値ＴＢＳは、一旦「動状態」になった後の状態で分散値Ｂと比較して、「人候補」又は「背景」を検出するのに用いられる。「動状態」が「人候補」又は「背景」と判定されるまでの間は「経過状態」とされ、この状態は「動状態」の一部とみなされる。
【００３８】
例えば、図５（ｂ）において、「動状態」検出しきい値ＴＦＭが分散値Ｆ曲線４１の登り斜面（時間微分係数が正の曲線部分）と交わる交点Ｍ１以降では、注目画素は「動状態」であるとされる（区間４４）。この後、図５（ｃ）において、「経過状態」検出しきい値ＴＢＳが分散値Ｂ曲線４２の下り斜面（時間微分係数が負の曲線部分）と交わる点Ｓ１以降では、注目画素は「経過状態」であるとされ（区間４５）、その後さらに、分散値Ｂがしきい値ＴＢＳ以下、かつしきい値ＴＢＢ以上の状態が一定時間以上継続する時、注目画素の状態を「人候補」と判定する（区間４６）。また、図５（ｃ）におけるしきい値ＴＢＳと分散値Ｂ曲線４２との交点Ｓ２の後の、しきい値ＴＢＢと分散値Ｂ曲線４２との交点Ｂ１以降のように、分散値Ｂがしきい値ＴＢＳ以下となり、さらに一定時間以内にＴＢＢ以下になる時、注目画素の状態を「背景」と判定する（区間４９）。ここで、「経過状態」を設ける代わりに、分散値がしきい値ＴＢＳ以下になったときから所定のウエイト時間が経過した後に、分散値がしきい値ＴＢＳ以上か、しきい値ＴＢＳとしきい値ＴＢＢの間か、しきい値ＴＢＢ以下か、によって注目画素の状態を「動状態」、「人候補」、「背景」と判定してもよい。この場合、ウエイト時間中は「動状態」が継続しているとし、分散値がウエイト時間後にしきい値ＴＢＳ以上であれば「動状態」がさらに継続しているとし、分散値がしきい値ＴＢＳとしきい値ＴＢＢの間であれば注目画素の状態を「人候補」と判定し、分散値がしきい値ＴＢＢ以下であれば注目画素の状態を「背景」と判定する。
【００３９】
このように、図５（ａ）に示される「人候補」区間４６と「背景」区間４９は、分散値Ｂ曲線４２におけるしきい値ＴＢＳとの交点Ｓ１，Ｓ２以降の挙動により区別することができる。人は、止まっても完全に静止することができずに振らついていることにより、物体の静止状態（又は背景）と、人の静止状態が区別される。
【００４０】
物体の場合、図６に示されるように、人の場合と同様に分散値Ｆ曲線５１との交点Ｍ３、Ｍ４により「動状態」が検出される（区間５４，５７）。「経過状態」以降については、人と異なり、物体の場合、図６（ｃ）におけるしきい値ＴＢＳと分散値Ｂ曲線５２との交点Ｓ３、Ｓ４の後に、しきい値ＴＢＢと分散値Ｂ曲線５２との交点Ｂ３，Ｂ４があまり時間をおかずに現れ、分散値Ｂがしきい値ＴＢＢ以下になるので、注目画素の状態を「背景」と判定することができる（区間５６，５９）。
【００４１】
上述した輝度及び輝度の分散値により定義される画素の取り得る４状態について、その状態間の遷移を説明する。図７は画素の４状態間において、通常取り得る遷移の様子を矢印で示す。背景６１，動状態６２、経過状態６３，及び人候補６４の４つの状態は、自己状態から出て自己状態に戻る矢印で示すようにそれぞれ自己状態を維持することができる。また、経過状態６３から背景６１、又は人候補６４となることができるが、逆に背景６１、又は人候補６４から経過状態になることはない。また、人候補６４から動状態６２となることができるが、逆に動状態６２から人候補６４にはならない。また、動状態６２が背景６１に状態遷移する場合、通常は経過状態６３を経て状態遷移するが、経過状態が短時間である場合、分散値のデータ間隔と経過状態持続時間の兼ね合いによって、図に示したような動状態６２から背景６１の状態に直接遷移することがある。
【００４２】
次に、人検知方法における各処理について説明する。まず、デジタル画像記憶過程について、図８のフローチャートを用いて説明する。このフローでは、前述したようにｎ枚の画像から分散値Ｆを、また、ｍ枚の画像から分散値Ｂを求めるための（ｍ＋ｎ−１）枚の画像を記憶する（１枚は共通）。まず、画像記憶のための初期処理、及びメモリ確保が行われる（Ｓ２０１〜Ｓ２０３）。次に、撮像過程において撮像素子に投影された映像から順次読み出されて生成されたアナログ映像信号が受け取られ（Ｓ２０４）、この信号がＤ／Ａ変換されて所定のメモリに記憶される（Ｓ２０５〜Ｓ２０８）。最後に、次の画像入力の準備のために画像メモリエリア番号がインクリメントされる。
【００４３】
画素分析過程及び画素分析結果記憶過程について、図９のフローチャートを用いて説明する。このフローでは、記憶された時系列のデジタル画像より、所定画像エリア内に位置する画素の輝度を読み出し、所定時間毎の輝度の分散値Ｆ及び分散値Ｂが計算される。まず、初期処理、及びメモリ確保が行われる（Ｓ３０１、Ｓ３０２）。次に、デジタル画像記憶過程で記憶された（ｍ＋ｎ−１）枚の画像のうち、新しい方のｎ枚から、注目画素における画像の輝度値を読み出して分散値Ｆを計算する（Ｓ３０３〜Ｓ３０５）。次に、デジタル画像記憶過程で記憶された（ｍ＋ｎ−１）枚の画像のうち、古い方のｍ枚から、注目画素における画像の輝度値を読み出して分散値Ｂを計算する（Ｓ３０６、Ｓ３０７）。以上の処理が、所定画像エリア内の全ての画素について行われる。
【００４４】
画素状態識別過程及び画素状態識別結果記憶過程について、図１０のフローチャートを用いて説明する。このフローでは、注目画素について画素状態が４つに分類されて、その結果がメモリに保存される。まず、初期処理、及びメモリ確保が行われる（Ｓ４０１〜Ｓ４０３）。次に、注目画素の位置における、画素分析結果の分散値Ｆデータ、分散値Ｂデータ、及び前回処理時の画素状態識別結果データが読み出される（Ｓ４０４）。前回の結果が「背景」の場合（Ｓ４０５でＹ）、動状態検出しきい値ＴＦＭと分散値Ｆが比較され、ＴＦＭ＜Ｆの場合、画素状態は動状態とされ（Ｓ４０６でＹ、Ｓ４０７）、ＴＦＭ＜Ｆでない場合、画素状態は背景とされる（Ｓ４０６でＮ、Ｓ４０８）。
【００４５】
前回の結果が「人候補」の場合（Ｓ４０９でＹ）、動状態検出しきい値ＴＦＭと分散値Ｆが比較され、ＴＦＭ＜Ｆの場合、画素状態は動状態とされ（Ｓ４１０でＹ、Ｓ４１１）、ＴＦＭ＜Ｆでない場合、画素状態は人候補とされる（Ｓ４１０でＮ、Ｓ４１２）。
【００４６】
前回の結果が「経過状態」の場合（Ｓ４１３でＹ）、経過状態検出しきい値ＴＢＳと分散値Ｂが比較され、Ｂ≦ＴＢＳでない場合、画素状態は動状態とされ（Ｓ４１４でＮ、Ｓ４１５）、Ｂ≦ＴＢＳの場合、更に、背景検出しきい値ＴＢＢと分散値Ｂが比較される。この比較において、Ｂ≦ＴＢＢの場合、画素状態は背景とされる（Ｓ４１６でＹ、Ｓ４１７）。また、Ｂ≦ＴＢＢでない場合、時間経過による状態変化をみるために経過状態カウンタがインクリメント（Ｔ＝Ｔ＋１）された後、経過状態カウンタＴが経過状態回数しきい値ＴＭと比較され、ＴＭ＜Ｔの場合、経過状態カウンタＴがゼロクリア（Ｔ＝０）されると共に、画素状態は人候補とされる（Ｓ４１６でＮ、Ｓ４１８、Ｓ４１９でＹ、Ｓ４２０，Ｓ４２１）。また、ＴＭ＜Ｔではない場合、画素状態は経過状態とされる（Ｓ４１９でＮ、Ｓ４２２）。
【００４７】
前回の結果が「動状態」の場合（Ｓ４２３でＹ）、経過状態検出しきい値ＴＢＳと分散値Ｂが比較され、Ｂ≦ＴＢＳでない場合、画素状態は動状態とされ（Ｓ４２４でＮ、Ｓ４２５）、Ｂ≦ＴＢＳの場合、更に、背景検出しきい値ＴＢＢと分散値Ｂが比較される。この比較において、Ｂ≦ＴＢＢでない場合、経過状態カウンタＴがゼロクリア（Ｔ＝０）されると共に、画素状態は経過状態とされる（Ｓ４２６でＮ、Ｓ４２７、Ｓ４２８）。また、Ｂ≦ＴＢＢの場合、画素状態は背景とされる（Ｓ４２６でＹ、Ｓ４２９）。
【００４８】
上記の画素状態識別結果は、撮像されたデジタル画像の画素位置に対応させてメモリに保存される（Ｓ４３０）。以上の状態識別処理が、所定画像エリア内の全ての画素について行われる。なお、上記実施形態では、過去のある分析時点より過去方向の期間と、未来方向の期間とを決めて、各期間において求めた２種類の分散値Ｂと分散値Ｆを用いて、注目画素の状態を識別しているが、この方法の他に、過去のある分析時点より過去方向の期間のみ、未来方向の期間のみ、又は、両方にまたがる期間のいずれかからなる１種類の期間について求めた１種類の分散値を用いて注目画素の状態を識別するようにしてもよい。上記のように、２種類の分散値を用いた場合は、応答性の良い状態識別ができる効果があり、また、ここに示したような１種類の期間の１種類の分散値を用いた場合は、分散値の記憶容量を少なくして識別できる効果がある。
【００４９】
人候補領域作成過程及び人候補領域作成結果記憶過程について、図１１のフローチャートを用いて説明する。このフローでは、画素状態を識別した「人候補」画素と、これに近接又は連続する「動状態」画素及び「経過状態」画素を合わせて人候補領域が作成される。まず、初期処理、及びメモリ確保が行われる（Ｓ５０１、Ｓ５０２）。次に、メモリに記憶された画素状態識別結果が読み出され、最初の注目画素アドレスが設定される（Ｓ５０３、Ｓ５０４）。次に、注目画素近傍において別途定められたｍ１×ｎ１画素範囲、例えば６×４＝２４近傍について画素状態が検査され、「動状態」Ｄ、「経過状態」Ｔ、「人候補」Ｃのいずれかである画素は人候補領域の画素であるとしてラベル付けされる（Ｓ５０５）。以上のラベル付け処理が、所定画像エリア内の全ての画素について行われる（Ｓ５０７，Ｓ５０６でＹ）。次に、近接又は連続する人候補領域は１つのグループとして１つのラベル付けを行うため、ラベルの整合性のチェック及びラベルの付け直しが行われ、最後に、撮像されたデジタル画像の画素位置に対応させて人候補領域作成結果がメモリに保存される（Ｓ５０８〜Ｓ５１１）。
【００５０】
図１２は人候補領域作成結果を示す。この図で、各升目は１つの画素を示し、無地の画素７１は背景、文字Ｄの記入された画素７２は動状態、文字Ｔの記入された画素７３は経過状態、文字Ｃの記入された画素７４は人候補を表している。また、背景以外の画素の集合からなる領域７５，７６，７７がラベル付けされた人候補領域である。
【００５１】
人領域検出過程について、図１３のフローチャートを用いて説明する。このフローでは、人候補領域の特徴が判別され、人領域が検出される。人候補領域の特徴として、例えば、領域の面積（画素数）が用いられる。また、他の特徴として、領域の縦・横のサイズなどの領域の形状を用いることもできる。まず、記憶された人候補領域作成結果が読み出され、各領域についてラベル番号順に処理がすすめられる（Ｓ６０１，Ｓ６０２）。ラベル付けされた領域の面積Ｐが計算され（Ｓ６０３）、この面積Ｐが最小面積Ｐｍｉｎ、及び最大面積Ｐｍａｘと比較される（Ｓ６０４）。領域の面積Ｐが、Ｐｍｉｎ＜Ｐ≦Ｐｍａｘを満たすの場合、この領域は人と判定され、その領域の重心が人を代表する画素位置とされる（Ｓ６０４でＹ、Ｓ６０５，Ｓ６０６）。また、領域の面積Ｐが、Ｐｍｉｎ＜Ｐ≦Ｐｍａｘを満たさない場合、この領域は人ではないと判定される（Ｓ６０７）。これらの処理が、ラベル付けされた全ての領域について行われ、最後に人検出データが保存される（Ｓ６０９）。
【００５２】
人検出データ出力過程について、図１４のフローチャートを用いて説明する。このフローでは、検出された人の位置又は人数などの人検出データがメモリから読み出され（Ｓ１１）、ディスプレイ上に出力される（Ｓ１２）。図１５は人検出データ出力例を示す。ディスプレイ画面７９上に、検出された人数、検出位置が表示されている。
【００５３】
「動状態」と「経過状態」の画素の和と「人候補」画素の和の比を用いる人領域検出過程について、図１６のフローチャートを用いて説明する。このフローでは、人候補領域に含まれる「動状態」画素及び「経過状態」画素の和と、「人候補」画素の和の比が求められ、この比を用いて人候補領域が静止した人領域であるかどうかが判定される。まず、記憶された人候補領域作成結果が読み出され、各領域についてラベル番号順に処理がすすめられる（Ｓ７０１，Ｓ７０２）。ラベル付けされた領域中の「動状態」画素と「経過状態」画素の総数Ｎｄｔが計算され（Ｓ７０３）、また、領域中の「人候補」画素の総数Ｎｃが計算される（Ｓ７０４）。次に、各総数Ｎｄｔ、Ｎｃから求めた人候補の構成比Ｎｃ／（Ｎｄｔ＋Ｎｃ）と所定の静止状態検出しきい値Ｎｓとが比較される（Ｓ７０５）。比較の結果、Ｎｓ＜Ｎｃ／（Ｎｄｔ＋Ｎｃ）の場合、この領域は静止した人と判定され、その領域の重心が人を代表する画素位置とされる（Ｓ７０５でＹ、Ｓ７０６，Ｓ７０７）。また、Ｎｓ＜Ｎｃ／（Ｎｄｔ＋Ｎｃ）ではない場合、この領域は静止した人ではないと判定される（Ｓ７０５でＮ、Ｓ７０８）。これらの処理が、ラベル付けされた全ての領域について行われ、最後に人検出データが保存される（Ｓ７１０）。
【００５４】
「動状態」と「経過状態」を合わせた部分領域の重心位置を用いる人領域検出過程について、図１７のフローチャートを用いて説明する。このフローによると、人候補領域に含まれる「動状態」画素及び「経過状態」画素を合わせた部分領域の重心位置が、予め定めた一定期間予め定めた範囲内に位置する時、人候補領域は人領域ではないと判定できる。まず、記憶された人候補領域作成結果、及び前回の人検出データが読み出され、各領域についてラベル番号順に処理がすすめられる（Ｓ８０１〜Ｓ８０３）。次に、注目領域中に「動状態」画素または「経過状態」画素が存在する場合、領域中の「動状態」画素と「経過状態」画素の重心が計算される（Ｓ８０４でＹ、Ｓ８０５）。次に、所定範囲内に前回の人候補領域がない場合（Ｓ８０６でＮ）、この領域に重心位置カウンタＴｇを割り当ててＴｇ＝１とする（Ｓ８０７）。また、所定範囲内に前回の人候補領域がある場合（Ｓ８０６でＹ）、この領域に割り当てられた重心位置カウンタＴｇをインクリメント（Ｔｇ＝Ｔｇ＋１）する（Ｓ８０８）。次に、重心回数しきい値ＴＧと重心位置カウンタＴｇが比較され、ＴＧ＜Ｔｇの場合、この領域は人でないと判定される（Ｓ８０９でＹ、Ｓ８１０）。これらの処理が、ラベル付けされた全ての領域について行われ、最後に人検出データが保存される（Ｓ８１２）。
【００５５】
上述した方法によると、ある人候補領域について、その領域は人ではないと判定することができる。このようにすることにより、図１８に示すように、輝度が時間的に変化するテレビ画面が撮像画像８０内に入っても、テレビ画面のちらつきにより変動する画像内での位置はテレビの位置に固定されているため、この領域は人ではないと判定されるので、テレビ画面のちらつきを間違って人として検出することを無くすことができる。
【００５６】
人候補領域の外接四角形とその接点を用いる人領域検出過程について、図１９のフローチャートを用いて説明する。このフローによると、人候補領域に外接する外接四角形の位置及び形状が予め定めた一定期間変化せず、かつ、人候補領域がその外接四角形に接する点の位置が変化しないとき、その人候補領域は人領域ではないと判定できる。まず、記憶された人候補領域作成結果、及び前回の人候補領域の外接四角形の位置・形状、接点の位置データが読み出され、各領域についてラベル番号順に処理がすすめられる（Ｓ９０１〜Ｓ９０３）。次に、当該ラベル番号の人候補領域の外接四角形の位置・形状、接点の位置が計算される（Ｓ９０４）。次に人領域存否の判定をしようとする所定範囲内に人候補領域があれば（Ｓ９０５でＹ）、前回の人候補領域の外接四角形の位置・形状、接点の位置と、今回の人候補領域の外接四角形の位置・形状、接点の位置とを比較する（Ｓ９０７）。また、所定範囲内に前回の人候補領域がない場合（Ｓ９０５でＮ）、及び、外接四角形について前回と今回の差が所定範囲内にない場合（Ｓ９０７でＮ）、この領域に外接四角形カウンタＴｑを割り当ててＴｑ＝１とする（Ｓ９０６）。また、外接四角形について前回と今回の差が所定範囲内である場合（Ｓ９０７でＹ）、この領域に割り当てられた外接四角形カウンタＴｑをインクリメント（Ｔｑ＝Ｔｑ＋１）する（Ｓ９０８）。次に、外接四角形回数しきい値ＴＱと外接四角形カウンタＴｑが比較され、ＴＱ＜Ｔｑの場合、この領域は人でないと判定される（Ｓ９０９でＹ、Ｓ９１０）。これらの処理が、ラベル付けされた全ての領域について行われ、最後に人検出データが保存される（Ｓ９１２）。
【００５７】
上述した方法によると、ある人候補領域について、その領域は人ではないと判定することができる。このようにすることにより、図２０に示すように、輝度が時間的に変化するテレビ画面８３が撮像画像８２内に入っても、テレビ画面のちらつきにより変動するテレビ画面８３に外接する外接四角形８４の位置はテレビの位置に固定されているため、この領域は人ではないと判定されるので、テレビ画面のちらつきを間違って人として検出することを無くすことができる。
【００５８】
撮像画像、検出された人領域、人検出データの重ね合わせ表示について、図２１のフローチャートを用いて説明する。このフローでは、記憶された人検出データが読み出され（Ｓ２１）、撮像された画像に検出した人領域と人検出データが重ね合わされて表示される（Ｓ２２）。図２２は、人検出データを重ね合わせて出力した例を示す。このように、ディスプレイ８５に、撮像された所定エリアの画像８６，各画像に検出エリア内の人８７の位置８８、人数８９を表示することで、人を認識し易くできるので、出力画面を一目見て検出エリア内の人状況を把握することができる。
【００５９】
以下において、本発明の他の一実施形態にかかる人検出装置について説明する。図２３は人検出装置構成ブロック図を示す。この人検出装置の撮像手段１１は、所定エリア内（室内２）の人の動きを時系列的に順次撮像し、デジタル画像記憶手段１２は、前記撮像過程で撮像され、デジタル化された時系列的に連続するデジタル画像を記憶する。画素分析手段１３は、前記記憶された時系列のデジタル画像より所定画像エリア内に位置する画素の輝度が読み出すと共に、所定時間毎の輝度の分散値を計算し、画素分析結果記憶手段１３０は、前記分散値が上記デジタル画像の画素に対応させて時系列的に記憶する。
【００６０】
画素状態識別手段１４は、前記分散値の時系列の変動状態を判別し、その分散値を計算した画素の状態を「動状態」「経過状態」「人候補」「背景」の４状態に識別し、画素状態識別結果記憶手段１４０は、画素状態識別結果を上記デジタル画像の画素に対応させて時系列的に記憶する。人候補領域作成手段１５は、前記識別した「人候補」画素と、これに近接又は連続する「動状態」画素及び「経過状態」画素を合わせた人候補領域を作成し、人候補領域作成結果記憶手段１５０は、人候補領域作成結果を上記デジタル画像の画素に対応させて記憶する。人領域検出手段１６は、前記人候補領域の特徴を判別し人領域を検出し、人検出データ出力手段１７は、検出された人の位置又は人数などの人検出データを出力する。
【００６１】
このような人検出装置の出力する人検出データに基づく照明・空調制御について説明する。図２４は環境制御手段を備えた人検出装置、及びその装置の適用例を示す。室内２に居る人２０の人数を検知するため、フロア全体を見渡せるように１台のＴＶカメラ３が天井に設置されている。ＴＶカメラ３からの画像は、人検知装置１０の人検知装置本体１８に送られ、その画像をもとに人検知装置本体により人検知が行われる。人検知本体１８には環境制御手段１９が接続されており、環境制御手段１９が、人検知装置本体１８からの人検知データに基づいて照明・空調の制御を行う。室内２には、例えば、照明２０１が４台、空調２０２が２台、外気取入口２０３が１ヶ所備えられており、これらの照明・空調機器が環境制御手段１９によって制御される。
【００６２】
上述の人検知装置本体１８は、前述の図２３に示した撮像手段１１から人検出データ出力手段１７までの一連の装置構成を有しているものである。この人検知手段１８における撮像手段は、ＴＶカメラ３により時系列の室内画像を撮像する。デジタル画像記憶手段は、前述の図８のフローチャートに従い、撮像手段より入力されたアナログ映像信号をデジタル化し、メモリに連続する画像として保存する。画素分析手段と画素分析結果記憶手段は、図９のフローチャートに従い、画像上の全画素について、分散値Ｆ、分散値Ｂを計算し、その結果をメモリに保存する。画素状態識別手段と画素状態識別結果記憶手段は、図１０のフローチャートに従い、各画素の状態を、「動状態」、「経過状態」、「人候補」、「背景」の４状態に分別し、その結果をメモリに保存する。人候補領域作成手段と人候補領域作成結果記憶手段は、図１１のフローチャートに従い、「動状態」、「経過状態」、「人候補」の画素を使って人候補領域を作成してその領域にラベル付けを行う。
【００６３】
人領域検出手段は、図１３のフローチャートに従い、人の検出を行う。静止した人と動いている人を区別する場合には、図１６のフローチャートに示される処理も合わせて行い、更に、テレビ画面のちらつき等の誤検出を減らす必要がある場合には、図１７、又は図１９のいずれか、又は、これら両方のフローチャートで示される処理を合わせて行う。人検出データ出力手段では、図１４のフローチャートに従い、検出された人数とその位置をディスプレイ上に表示すると共に、これらの人検出データを環境制御手段１９に送信する。環境制御手段１９は、人検出データに基づいて照明・空調機器を制御する。
【００６４】
本発明の人検出装置１０を用いることにより、１台の人検出装置で複数の照明機器を操作するための人検出データを得ることができる。従来、各照明機器ごとに焦電素子センサを設置して、人の存在に合わせて照明機器の点灯／消灯を制御することが行われているが、本発明によると、制御対象エリアに１台のＴＶカメラを設置することで、制御用の人検知データを得ることができる。
【００６５】
照明制御の処理の流れについて、図２５のフローチャートを用いて説明する。人検知装置本体が人検出処理実行後（Ｓ３１）、環境制御手段は、人検出データを受け取り、各照明機器番号の対応するエリア内に人が居るどうかを判定する（Ｓ３２，Ｓ３３）。人が居ないと判定されたエリアは消灯され（Ｓ３３でＮ、Ｓ３３）、人が居ると判定されたエリアについては点灯される（Ｓ３３でＹ、Ｓ３４）。このような処理が全ての照明機器について行われる。また、一定時間経過後に、上記ステップＳ３１〜Ｓ３７の全体が繰り返される。
【００６６】
また、室内の空調に関しては、人検出データを用いることにより、部屋に居る人数、人の位置に合わせて空調を制御することができる。このため、無駄なエネルギー消費を無くし、かつ、室内の執務者の快適さを向上させることができる。従来、空調の制御は温度センサの出力により基づいて行われているため、人が居なくても一定温度に保持しようとするので無駄が多く、また、人の混み具合に関わらず一定の強度での動作しか行わないので、人に対して心地良い状態を提供できない場合が多い。また、外気取入動作は、部屋の広さにより決められる固定した在室人数に基づいて行われることが多いため、人が少ないにもかかわらず無駄な換気が行われ、エネルギーが無駄になる場合が多い。本発明によると、このような従来の問題点が解決される。
【００６７】
空調制御の処理の流れについて、図２６のフローチャートを用いて説明する。以下の説明では、室内に居る人は、事務作業などの静止した作業を行っている状況を想定している。人検知装置本体が人検出処理実行後（Ｓ４１）、環境制御手段は、人検出データを受け取り、まず、全体の総検出人数に合わせて外気取入量を調節する（Ｓ４２）。次に、各空調機器番号の対応するエリア内における静止した人の有無を判定し（Ｓ４４）、静止した人が居ないエリアでは、人は居ないと判断することができるので空調機器を停止し（Ｓ４４でＮ、Ｓ４６）、静止した人が居る場合には、静止した人の人数に空調機器の出力を調整する（Ｓ４４でＹ、Ｓ４５）。このような処理が全ての空調機器について行われる。また、一定時間経過後に、上記ステップＳ４１〜Ｓ４７の全体が繰り返される。なお、環境調節機器である上記の照明・空調機器は、その他の環境調節機器に置き換えもよく、上記環境制御手段によって同様に制御することができる。
【００６８】
なお、本発明は、上記構成に限られることなく種々の変形が可能である。また、本発明は、人以外にも一般の動物に対して、所定エリア内でその数や動向を検知する装置として適用されるものである。本装置は、特に、動きの少ない動物に対して有効である。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る人検出装置の構成図。
【図２】本発明の一実施形態に係る人検出方法のフロー図。
【図３】（ａ）は同上人検出方法に係る人の動きを説明する図、（ｂ）は同じく物体の動きを説明する図。
【図４】（ａ）は同上人検出方法に係る輝度の分散値計算区間を説明する輝度の時間変化図、（ｂ）は輝度の分散を説明する輝度値度数分布図。
【図５】（ａ）は同上人検出方法に係る人の場合の輝度の時間変化図、（ｂ）（ｃ）は輝度の分散値の時間変化図。
【図６】（ａ）は同上人検出方法に係る物体の場合の輝度の時間変化図、（ｂ）（ｃ）は輝度の分散値の時間変化図。
【図７】同上人検出方法に係る画素の状態遷移図。
【図８】同上人検出方法に係るデジタル画像記憶過程のフロー図。
【図９】同上人検出方法に係る画素分析過程と画素分析結果記憶過程のフロー図。
【図１０】同上人検出方法に係る画素状態識別過程と画素状態識別結果記憶過程のフロー図。
【図１１】同上人検出方法に係る人候補領域作成過程のフロー図。
【図１２】同上人検出方法に係る人候補領域作成結果を示す画素図。
【図１３】同上人検出方法に係る人領域検出過程のフロー図。
【図１４】同上人検出方法に係る人検出データ出力過程のフロー図。
【図１５】同上人検出方法に係る人検出データ出力例の図。
【図１６】同上人検出方法に係る「動状態」画素と「経過状態」画素の和と「人候補」画素の和の比を用いる人領域検出過程のフロー図。
【図１７】同上人検出方法に係る「動状態」と「経過状態」を合わせた部分領域の重心位置を用いる人領域検出過程のフロー図。
【図１８】同上人検出方法に係るテレビ画面の処理を説明する図。
【図１９】同上人検出方法に係る人候補領域の外接四角形とその接点を用いる検出過程のフロー図。
【図２０】同上人検出方法に係るテレビ画面の処理を説明する図。
【図２１】同上人検出方法に係る人検出データ重ね合わせ表示の処理フロー図。
【図２２】同上人検出方法に係る人検出データ重ね合わせ出力例の図。
【図２３】本発明の他の一実施形態に係る人検出装置の構成ブロック図。
【図２４】本発明のさらに他の一実施形態に係る人検出装置の構成図。
【図２５】同上装置による照明制御のフロー図。
【図２６】同上装置による空調制御のフロー図。
【符号の説明】
１、１０ 人検出装置
１１ 撮像手段
１２ デジタル画像記憶手段
１３ 画素分析手段
１４ 画素状態識別手段
１５ 人候補領域作成手段
１６ 人領域検出手段
１７ 人検出データ出力手段
１９ 環境制御手段
７５，７６，７７ 人候補領域
１３０ 画素分析結果記憶手段
１４０ 画素状態識別結果記憶手段
１５０ 人候補領域作成結果記憶手段
Ｃ 人候補
Ｄ 動状態
Ｔ 経過状態
【発明の属する技術分野】
本発明は、観測画像を画像処理することにより、屋内における人の存在、人の位置、人数を検出する方法及び装置に関する。
【０００２】
【従来の技術】
従来、人の作業や行動の観測や環境の自動制御、不審物侵入監視などの目的で観測領域内の人の移動や人数分布を検出することが行われている。人検出の主な従来技術として、焦電素子センサを使うものと、画像処理を使うものがある。焦電素子センサを使うものでは、焦電素子センサを用いて人体の放出する赤外線を検出することにより、観測領域の人の有無が検知されている。人の存在位置を検出する場合には、単一のセンサのみではどの位置に人が存在するか判断できないため、複数のセンサを用いて計測しなければならず、センサの設置に手間がかかる問題がある。また、この方法は観測空間における温度変化を検知して人を検出しているため、人が静止すると検出できなくなってしまう。
【０００３】
画像を使って人を検知するものとしては、背景差分法を使うものがある。背景差分法は、予め記憶した背景画像と入力画像間で差分を取り、変化のある部分を検出する手法である。この方法は、背景画像が変化しなければ、変化部分を精度良く検出できるが、実際の使用環境においては、環境光が変化したり、物が観測視野内に持ち込まれ、又は持ち出されたりすると、誤検出が発生する。これらの環境変化に対応するために、背景画像の自動更新が一般的に行われている。
【０００４】
背景画像の自動更新を行うものとして、例えば、室内監視装置として監視領域内の人の数及び分布等を検出するために、予め人物監視領域を指定して、監視領域内を撮像した画像の背景差分により人を検出することとし、人かどうかの判断は監視領域内の差分絶対値の和より行い、背景画像の更新は、背景差分絶対値の変化履歴が所定量以上になった時に行うものが知られている（例えば、特許文献１参照）。
【０００５】
また、背景更新を行うと共に、ドアのように特定の位置で繰り返し動作を行うもの（移動可能背景）を除くことにより、動体の検出の精度を向上させる移動体識別装置が知られている（例えば、特許文献２参照）。この装置は、動体の検出を背景差分により行い、差分値が連続してしきい値を越えない場合、その画像部分を動体とする。しきい値以上の差分値が一定期間連続するとき、背景が変化したとして背景画像更新が行われる。また、検出された動体形状が繰り返し出現する場合、この動体を移動可能背景であると判断することで、これを動体と区別している。
【０００６】
また、周囲の状況が変わると自動的に背景を更新して、エレベータ乗場の待ち客やエレベータ内の正確な人数検出を行う人検出装置、及びこれを用いたエレベータ制御システムが知られている（例えば、特許文献３参照）。この装置では、背景差分により動体の検出が行われる。差分値がしきい値を超える面積を標準人面積で割るか、動体として検出された画素の塊の数を数えて人数を求めている。背景更新タイミングの異なる二つの背景画像を持ち、現画像から見て古い方の背景を参照しながら背景差分に使う背景を更新する背景画像更新を行うので、一旦背景に取り込まれてしまった人が移動して居なくなった部分がゴーストとして検出されるということを防ぐことができる。また、面積による検出と塊の計数による検出数を比較して、人検出２値化のしきい値を自動調節することが行われている。
【０００７】
また、上記例とは別に、静止した人が背景に取り込まれてしまう問題に対処するため、画像を使う他の検出方法として、画素ごとに時系列方向の輝度変化を分析して画素の状態を検出し、かつ、検出された画素の状態遷移の制約を使うものが知られている（例えば、非特許文献１参照）。
【０００８】
【特許文献１】
特開平１１−３１１６８２号公報
【特許文献２】
特開平４−１１１０７９号公報
【特許文献３】
特開平１０−３１２４４８号公報
【非特許文献１】
第７回画像センシングシンポジウム講演論文集（２００１年）、Ｃ−２０、ｐｐ３６９−３７４、「複数物体の重なりを理解するレイヤー型検出法」、藤吉弘亘、金出武雄著
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した特許文献１に示されるような装置では、人が存在する場所が予め分からなければ監視位置を設定することができない。また、座って作業する人が居る場合、例えば、パソコン作業者の場合は、指先ぐらいしか動かないので、体の大半の部分が背景に取り込まれてしまい、領域内の差分積分値が小さくなり、人を検出できなくなると予想される。
【００１０】
また、上述した特許文献２に示されるような装置では、背景画像と異なる状態が一定時間以上連続すると背景を更新するようにしているので、人が椅子に座ったり、立ち止まったりして静止状態となると、人が背景に取り込まれてしまい、移動する人しか検出できない問題がある。また、上述した特許文献３に示されるような装置では、静止した人が背景に取りこまれて検出できないという問題がある。
【００１１】
また、上述した非特許文献１に示されるような検出方法では、検出された人が動いているのか静止しているのかが識別できるようになるが、人と背景との識別は背景差分法と同じく輝度値そのものの差で識別しているため、背景と良く似た輝度値の人がくると背景と判定され、人が検出されないという問題がある。
【００１２】
本発明は、上記課題を解消するものであって、画像処理を用い、環境光の変化する状況下であっても、動いている人だけではなく静止した人の検知、その位置、人数を計測できる人検出方法及び人検出装置を提供することを目的とする。
【００１３】
【課題を解決するための手段及び発明の効果】
上記課題を達成するために、請求項１の発明は、撮像画像を画像処理することにより人を検出する人検出方法であって、所定エリア内の人の動きを時系列的に順次撮像する撮像過程と、前記撮像過程で撮像され、デジタル化された時系列的に連続するデジタル画像を記憶するデジタル画像記憶過程と、前記記憶された時系列のデジタル画像より、所定画像エリア内に位置する各画素の輝度値を時系列的に読み出し、所定時間毎の各画素の輝度の時間変動分散値を計算する画素分析過程と、前記分散値を上記デジタル画像の画素に対応させて時系列的に記憶する画素分析結果記憶過程と、前記分散値の時系列の変動状態を判別して、その分散値を計算した画素の状態を少なくとも「動状態」「人候補」「背景」の３状態に識別する画素状態識別過程と、画素状態識別結果を上記デジタル画像の画素に対応させて時系列的に記憶する画素状態識別結果記憶過程と、前記識別した「人候補」画素と、これに近接又は連続する「動状態」画素を合わせて人候補領域を作成する人候補領域作成過程と、人候補領域作成結果を上記デジタル画像の画素に対応させて記憶する人候補領域作成結果記憶過程と、前記人候補領域の特徴を判別し人領域を検出する人領域検出過程と、検出された人の位置又は人数などの人検出データを出力する人検出データ出力過程と、を備えるものである。
【００１４】
上記人検出方法においては、所定エリア内の人の動きを時系列的に順次撮像した時系列的に連続するデジタル画像より、所定画像エリア内に位置する各画素の輝度値を読み出し、所定時間毎の各画素の輝度の時間的変動分散値を計算し、デジタル画像の画素に対応させて時系列的に記憶した分散値の時系列の変動状態を判別して、その分散値を計算した画素の状態を少なくとも「動状態」「人候補」「背景」の３状態に識別し、識別した「人候補」画素と、これに近接又は連続する「動状態」画素を合わせて人候補領域を作成し、人候補領域の特徴を判別して人領域を検出するので、動いている人は「動状態」、静止している人は「人候補」、静止している物は「背景」と判定することができ、動いている人だけでなく、静止している人も含めて背景から人を分別して検出できる。また、従来の人検出方法が、背景画像又は前画像の輝度と現画像の輝度との差より人の有無を判定するものであるため背景画像と現画像で人の部分の輝度が背景と似たような輝度を持つため検出できなかった部分や、人が静止すると前画像と現画像で輝度の差が無くなり検出できなかった部分についても、本人検出方法では、人の部分と物体の部分では輝度の時間的変動を表す分散値が異なることを利用して判定するので、精度良く人を検出することができる。また、時系列的に記憶した分散値の時系列の変動状態を判別して人を検知するので、環境光の変化する状況下においても精度良く人を検知することができる。
【００１５】
請求項２の発明は、請求項１記載の人検出方法において、前記人領域検出過程は、人候補領域の形状又は面積が予め定めた範囲内にある時、人候補領域が人領域であると判定するものである。
【００１６】
上記人検出方法においては、人候補領域の形状又は面積を用いて人候補領域を人領域であるかどうかの判定するので、人領域検出過程の処理を簡単にすることができる。
【００１７】
請求項３の発明は、請求項１記載の人検出方法において、前記人領域検出過程は、人候補領域に含まれる「動状態」画素の個数と、「人候補」画素の個数の比を求め、この比を用いて人候補領域が静止した人領域であるかどうかを判定するものである。
【００１８】
上記人検出方法においては、人と判定した領域が動いているのか静止しているのかを識別することにより、滞在時間が長い静止した人と、滞在時間が短い動く人を区別して認識できるため、滞在時間の長い静止した人に合わせた処理、例えば、空調制御を行うことができる。
【００１９】
請求項４の発明は、請求項１記載の人検出方法において、前記人領域検出過程は、人候補領域に含まれる「動状態」画素を合わせた部分領域の重心位置が、予め定めた一定期間予め定めた範囲内に位置する時、該人候補領域は人領域ではないと判定するものである。
【００２０】
上記人検出方法においては、人候補領域に含まれる「動状態」画素を合わせた部分領域の重心位置が、予め定めた一定期間予め定めた範囲内に位置する時、該人候補領域は人領域ではないと判定するので、撮像された画像上の特定の位置で輝度が変化する、例えばパソコンのディスプレイやテレビ画面のちらつきのある領域を人領域から除外でき、これらを間違って人として検出することを無くすことができる。
【００２１】
請求項５の発明は、請求項１記載の人検出方法において、前記人領域検出過程は、前記人候補領域に外接する外接四角形の位置及び形状が予め定めた一定期間変化せず、かつ、該人候補領域が該外接四角形に接する点の位置が変化しないとき、該人候補領域は人領域ではないと判定するものである。
【００２２】
上記人検出方法においては、人候補領域に外接する外接四角形の位置及び形状が予め定めた一定期間変化せず、かつ、該人候補領域が該外接四角形に接する点の位置が変化しないとき、該人候補領域は人領域ではないと判定するので、撮像された画像上の特定の位置で輝度変化を起こす、例えばパソコンのディスプレイやテレビ画面のちらつきのある領域を人領域から除外でき、これらを間違って人として検出することを無くすことができる。
【００２３】
請求項６の発明は、請求項１記載の人検出方法において、前記検出結果出力過程は、撮像された画像に検出した人領域と人検出データを重ね合わせて表示するものである。
【００２４】
上記人検出方法においては、撮像された画像に検出した人領域と人検出データを重ね合わせて表示するので、１つの出力画面に重ねて表示された人検出データを直感的に認識でき、所定エリア内における人の動向の把握が容易となる。
【００２５】
請求項７の発明は、撮像画像を画像処理することにより人を検出する人検出装置であって、所定エリア内の人の動きを時系列的に順次撮像する撮像手段と、前記撮像手段で撮像され、デジタル化された時系列的に連続するデジタル画像を記憶するデジタル画像記憶手段と、前記記憶された時系列のデジタル画像より、所定画像エリア内に位置する各画素の輝度値を読み出し、所定時間毎の各画素の輝度の時間変動分散値を計算する画素分析手段と、前記分散値を上記デジタル画像の画素に対応させて時系列的に記憶する画素分析結果記憶手段と、前記分散値の時系列の変動状態を判別して、その分散値を計算した画素の状態を少なくとも「動状態」「人候補」「背景」の３状態に識別する画素状態識別手段と、画素状態識別結果を上記デジタル画像の画素に対応させて時系列的に記憶する画素状態識別結果記憶手段と、前記識別した「人候補」画素と、これに近接又は連続する「動状態」画素を合わせて人候補領域を作成する人候補領域作成手段と、人候補領域作成結果を上記デジタル画像の画素に対応させて記憶する人候補領域作成結果記憶手段と、前記人候補領域の特徴を判別し人領域を検出する人領域検出手段と、検出された人の位置又は人数などの人検出データを出力する人検出データ出力手段と、を備えるものである。
【００２６】
上記構成においては、所定エリア内の人の動きを時系列的に順次撮像した時系列的に連続するデジタル画像より、所定画像エリア内に位置する各画素の輝度データを読み出し、所定時間毎の各画素の輝度の時間的変動分散値を計算し、デジタル画像の画素に対応させて時系列的に記憶した分散値の時系列の変動状態を判別して、その分散値を計算した画素の状態を少なくとも「動状態」「人候補」「背景」の３状態に識別し、識別した「人候補」画素と、これに近接又は連続する「動状態」画素を合わせて人候補領域を作成し、人候補領域の特徴を判別して人領域を検出するので、動いている人は「動状態」、静止している人は「人候補」、静止している物は「背景」と判定することができ、動いている人だけでなく、静止している人をも背景から分別して検出できる。また、従来の人検出方法が、背景画像又は前画像の輝度と現画像の輝度との差より人の有無を判定するものであるため背景画像と現画像で人の部分の輝度が背景と似たような輝度を持つため検出できなかった部分や、人が静止すると前画像と現画像で輝度の差が無くなり検出できなかった部分も、本人検出装置では、人の部分と物体の部分では輝度の時間的変動を表す分散値が異なることを利用して判定するので、精度良く人を検出することができる。
【００２７】
請求項８の発明は、請求項７記載の人検出装置において、前記人検出データを用いて照明及び／又は空調などの環境調節機器を制御する環境制御手段をさらに備えたものである。
【００２８】
上記構成においては、人検出データを用いて照明及び／又は空調を制御するので、部屋に居る人数、人の位置に合わせて照明・空調を制御することができ、人が居ないのに機器を動作させる無駄なエネルギー消費を無くし、また、室内の執務者の快適さを向上させることができる。また、本発明によると、制御対象エリアに１台の撮像用のＴＶカメラを設置することで、制御用の人検知データを得ることができる。
【００２９】
【発明の実施の形態】
以下、本発明の一実施形態に係る人検出方法及び人検出装置について、図面を参照して説明する。図１は本発明に係る人検出装置の構成を示し、図２は、人検出方法の処理フローを示す。人検出装置１は、室内２を俯瞰するように設置したＴＶカメラ３から時系列的に順次撮像して得られる連続画像を用い、室内２に居る人２０を検出し、その人数・位置を出力する。人検出方法の各処理は、撮像過程Ｓ１０１がＴＶカメラ３において、デジタル画像記憶過程Ｓ１０２がＡ／Ｄ変換部４と記憶部５において、画素分析過程Ｓ１０３、画素状態識別過程Ｓ１０５、人候補領域作成過程Ｓ１０７、人領域検出過程Ｓ１０９が演算部６において、画素分析結果記憶過程Ｓ１０４、画素状態識別結果記憶過程Ｓ１０６、人候補領域作成結果記憶過程Ｓ１０８が記憶部５において、また、人検出データ出力過程Ｓ１１０が通信部９とディスプレイ８において行われる。
【００３０】
撮像画像を画像処理することにより人を検出する人検出方法の全体の流れを説明する。撮像過程Ｓ１０１では、所定エリア内（室内２）の人の動きが時系列的に順次撮像され、デジタル画像記憶過程Ｓ１０２では、前記撮像過程で撮像され、デジタル化された時系列的に連続するデジタル画像が記憶される。画素分析過程Ｓ１０３では、前記記憶された時系列のデジタル画像より、所定画像エリア内に位置する各画素の輝度値が読み出され、所定時間毎の各画素の輝度の時間変動についての分散値が計算され、画素分析結果記憶過程Ｓ１０４では、前記分散値が上記デジタル画像の各画素に対応して時系列的に記憶される。
【００３１】
画素状態識別過程Ｓ１０５では、前記分散値の時系列の変動状態が判別され、その分散値を計算した画素の状態が「動状態」「経過状態」「人候補」「背景」の４状態に識別され、画素状態識別結果記憶過程Ｓ１０６では、画素状態識別結果が上記デジタル画像の画素に対応して時系列的に記憶される。なお、後述するように、「経過状態」は「動状態」の一部、又は「人候補」の一部と捉えてもよく、この場合、画素の状態が、画素状態識別過程において「動状態」「人候補」「背景」の３状態に識別される。人候補領域作成過程Ｓ１０７では、前記識別した「人候補」画素と、これに近接又は連続する「動状態」画素及び「経過状態」画素を合わせた人候補領域が作成され、人候補領域作成結果記憶過程Ｓ１０８では、人候補領域作成結果が上記デジタル画像の画素に対応して記憶される。人領域検出過程Ｓ１０９では、前記人候補領域の特徴を判別し人領域が検出され、人検出データ出力過程Ｓ１１０では、検出された人の位置又は人数などの人検出データが出力される。
【００３２】
本発明の特徴は、撮像された連続する画像の注目画素について輝度の時間変化を時系列的に得て、これをもとに一定時間間隔における輝度の分散値を計算し、その輝度の分散値の時間変化から注目画素の状態を少なくとも「動状態」、「人候補」、「背景」の３状態に分別するところにある。動いている人は「動状態」、静止している人は「人候補」、静止している物は「背景」であると判定される。従来行われている人検出方法は、単に現画像と背景画像（又は前画像）とにおける輝度の差を用いて人の有無を判断するものであるため、現画像と背景画像とにおいて人の部分の輝度が背景と似たような輝度を持つ場合には背景から人を区別して検出できない。また、人が静止する場合には現画像と前画像との差が無くなり人を検出することができない。本発明によると、静止している人と、静止している物とを分別して判定でき、動いている人だけでなく静止している人も背景から区別して検出できる。
【００３３】
観測対象である人と、人以外の物体の移動、停止状態について説明する。図３は、画像変化の例を示す。図３（ａ）に示すように、画像２１の中で左方から人２０が移動してきて、画像２２における中央で一旦止まり、その後、画像２３のように右方に立ち去る場合、及び図３（ｂ）に示すように、物体２５が移動されて画像２７における中央に一旦置かれ、その後、持ち去られる場合、を比較する。停止状態において、人と物体の状態の差が現れる。通常、放置された物体は静止状態となるが、人は停止状態においても完全に静止することはないという違いがある。
【００３４】
輝度変化について説明する。図４（ａ）は、上記画像中に×印で示された注目画素２４，２９のような特定画素の輝度の測定例を示し、図４（ｂ）は、輝度分散の様子を示す。本発明において、分散値Ｆ及び分散値Ｂという２種類の分散値が定義されて用いられる。図４（ａ）に示す輝度Ｙの変化曲線３０について過去の画素分析時点ｔ（−ｎ＋１）、及びそこから未来方向の最新画像撮像時点ｔ（０）までのｎ枚の画像を含むｆ区間３１においてｎ点の輝度値を使って分散値Ｆが計算される。また、画素分析時点ｔ（−ｎ＋１）、及びそこから過去方向の画素分析時点ｔ（−ｍ−ｎ＋２）までのｍ枚の画像を含むｂ区間３２においてｍ点の輝度値を使って分散値Ｂが計算される。輝度値の分散の様子（度数分布）は、ｆ区間３１，及びｂ区間３２のそれぞれにおいて曲線３３、曲線３４のようになる。図４（ａ）に示されたｂ区間３２の例は、人又は物体の移動状態と見なされ、また、ｆ区間３１の例は、停止状態と見なされるものである。
【００３５】
輝度値の分布から求められる分散値は、分散の様子が定量化できる数値であれば良く、例えば、度数分布を正規分布曲線でフィッティングして求めた標準偏差σや、平均値からの偏差の二乗和の計算式等により求められる。これらのようないずれかの方法で求められた分散値は、分散値３５（分散値Ｆ），分散値３６（分散値Ｂ）のようになり、ｆ区間３１が停止状態に対応し、ｂ区間３２が移動状態に対応する場合、分散値の差により状態が区別できることが分かる。また、分散値Ｆは、動きの始まりの検出に用いられ、分散値Ｂは、動きの終了を検出するのに用いられる。
【００３６】
状態識別について説明する。図５は、人の移動、停止、移動の場合の輝度と分散値の変化を示し、図６は、物体の移動、停止、移動の場合の輝度と分散値の時間変化を示す。図５（ａ）には、輝度Ｙの時間変化曲線４０から、一定区間ごとに、例えばｆ区間３１、ｂ区間３２から、分散値Ｆ、分散値Ｂを求めて、図５（ｂ）に示す分散値Ｆ曲線４１、図５（ｃ）に示す分散値Ｂ曲線４２を得る様子が示されている。
【００３７】
このような分散値Ｆ曲線４１、分散値Ｂ曲線４２を用いて注目画素の状態を識別するために、分散値に対する３種類のしきい値が定義されて用いられる。これらは、「動状態」検出しきい値ＴＦＭ、経過状態検出しきい値ＴＢＳ、及び「背景」検出しきい値ＴＢＢである。「動状態」検出しきい値ＴＦＭは、人、物体が移動する場合、分散値Ｆと比較して「動状態」検出に用いられる。「経過状態」検出しきい値ＴＢＳは、一旦「動状態」になった後の状態で分散値Ｂと比較して、「人候補」又は「背景」を検出するのに用いられる。「動状態」が「人候補」又は「背景」と判定されるまでの間は「経過状態」とされ、この状態は「動状態」の一部とみなされる。
【００３８】
例えば、図５（ｂ）において、「動状態」検出しきい値ＴＦＭが分散値Ｆ曲線４１の登り斜面（時間微分係数が正の曲線部分）と交わる交点Ｍ１以降では、注目画素は「動状態」であるとされる（区間４４）。この後、図５（ｃ）において、「経過状態」検出しきい値ＴＢＳが分散値Ｂ曲線４２の下り斜面（時間微分係数が負の曲線部分）と交わる点Ｓ１以降では、注目画素は「経過状態」であるとされ（区間４５）、その後さらに、分散値Ｂがしきい値ＴＢＳ以下、かつしきい値ＴＢＢ以上の状態が一定時間以上継続する時、注目画素の状態を「人候補」と判定する（区間４６）。また、図５（ｃ）におけるしきい値ＴＢＳと分散値Ｂ曲線４２との交点Ｓ２の後の、しきい値ＴＢＢと分散値Ｂ曲線４２との交点Ｂ１以降のように、分散値Ｂがしきい値ＴＢＳ以下となり、さらに一定時間以内にＴＢＢ以下になる時、注目画素の状態を「背景」と判定する（区間４９）。ここで、「経過状態」を設ける代わりに、分散値がしきい値ＴＢＳ以下になったときから所定のウエイト時間が経過した後に、分散値がしきい値ＴＢＳ以上か、しきい値ＴＢＳとしきい値ＴＢＢの間か、しきい値ＴＢＢ以下か、によって注目画素の状態を「動状態」、「人候補」、「背景」と判定してもよい。この場合、ウエイト時間中は「動状態」が継続しているとし、分散値がウエイト時間後にしきい値ＴＢＳ以上であれば「動状態」がさらに継続しているとし、分散値がしきい値ＴＢＳとしきい値ＴＢＢの間であれば注目画素の状態を「人候補」と判定し、分散値がしきい値ＴＢＢ以下であれば注目画素の状態を「背景」と判定する。
【００３９】
このように、図５（ａ）に示される「人候補」区間４６と「背景」区間４９は、分散値Ｂ曲線４２におけるしきい値ＴＢＳとの交点Ｓ１，Ｓ２以降の挙動により区別することができる。人は、止まっても完全に静止することができずに振らついていることにより、物体の静止状態（又は背景）と、人の静止状態が区別される。
【００４０】
物体の場合、図６に示されるように、人の場合と同様に分散値Ｆ曲線５１との交点Ｍ３、Ｍ４により「動状態」が検出される（区間５４，５７）。「経過状態」以降については、人と異なり、物体の場合、図６（ｃ）におけるしきい値ＴＢＳと分散値Ｂ曲線５２との交点Ｓ３、Ｓ４の後に、しきい値ＴＢＢと分散値Ｂ曲線５２との交点Ｂ３，Ｂ４があまり時間をおかずに現れ、分散値Ｂがしきい値ＴＢＢ以下になるので、注目画素の状態を「背景」と判定することができる（区間５６，５９）。
【００４１】
上述した輝度及び輝度の分散値により定義される画素の取り得る４状態について、その状態間の遷移を説明する。図７は画素の４状態間において、通常取り得る遷移の様子を矢印で示す。背景６１，動状態６２、経過状態６３，及び人候補６４の４つの状態は、自己状態から出て自己状態に戻る矢印で示すようにそれぞれ自己状態を維持することができる。また、経過状態６３から背景６１、又は人候補６４となることができるが、逆に背景６１、又は人候補６４から経過状態になることはない。また、人候補６４から動状態６２となることができるが、逆に動状態６２から人候補６４にはならない。また、動状態６２が背景６１に状態遷移する場合、通常は経過状態６３を経て状態遷移するが、経過状態が短時間である場合、分散値のデータ間隔と経過状態持続時間の兼ね合いによって、図に示したような動状態６２から背景６１の状態に直接遷移することがある。
【００４２】
次に、人検知方法における各処理について説明する。まず、デジタル画像記憶過程について、図８のフローチャートを用いて説明する。このフローでは、前述したようにｎ枚の画像から分散値Ｆを、また、ｍ枚の画像から分散値Ｂを求めるための（ｍ＋ｎ−１）枚の画像を記憶する（１枚は共通）。まず、画像記憶のための初期処理、及びメモリ確保が行われる（Ｓ２０１〜Ｓ２０３）。次に、撮像過程において撮像素子に投影された映像から順次読み出されて生成されたアナログ映像信号が受け取られ（Ｓ２０４）、この信号がＤ／Ａ変換されて所定のメモリに記憶される（Ｓ２０５〜Ｓ２０８）。最後に、次の画像入力の準備のために画像メモリエリア番号がインクリメントされる。
【００４３】
画素分析過程及び画素分析結果記憶過程について、図９のフローチャートを用いて説明する。このフローでは、記憶された時系列のデジタル画像より、所定画像エリア内に位置する画素の輝度を読み出し、所定時間毎の輝度の分散値Ｆ及び分散値Ｂが計算される。まず、初期処理、及びメモリ確保が行われる（Ｓ３０１、Ｓ３０２）。次に、デジタル画像記憶過程で記憶された（ｍ＋ｎ−１）枚の画像のうち、新しい方のｎ枚から、注目画素における画像の輝度値を読み出して分散値Ｆを計算する（Ｓ３０３〜Ｓ３０５）。次に、デジタル画像記憶過程で記憶された（ｍ＋ｎ−１）枚の画像のうち、古い方のｍ枚から、注目画素における画像の輝度値を読み出して分散値Ｂを計算する（Ｓ３０６、Ｓ３０７）。以上の処理が、所定画像エリア内の全ての画素について行われる。
【００４４】
画素状態識別過程及び画素状態識別結果記憶過程について、図１０のフローチャートを用いて説明する。このフローでは、注目画素について画素状態が４つに分類されて、その結果がメモリに保存される。まず、初期処理、及びメモリ確保が行われる（Ｓ４０１〜Ｓ４０３）。次に、注目画素の位置における、画素分析結果の分散値Ｆデータ、分散値Ｂデータ、及び前回処理時の画素状態識別結果データが読み出される（Ｓ４０４）。前回の結果が「背景」の場合（Ｓ４０５でＹ）、動状態検出しきい値ＴＦＭと分散値Ｆが比較され、ＴＦＭ＜Ｆの場合、画素状態は動状態とされ（Ｓ４０６でＹ、Ｓ４０７）、ＴＦＭ＜Ｆでない場合、画素状態は背景とされる（Ｓ４０６でＮ、Ｓ４０８）。
【００４５】
前回の結果が「人候補」の場合（Ｓ４０９でＹ）、動状態検出しきい値ＴＦＭと分散値Ｆが比較され、ＴＦＭ＜Ｆの場合、画素状態は動状態とされ（Ｓ４１０でＹ、Ｓ４１１）、ＴＦＭ＜Ｆでない場合、画素状態は人候補とされる（Ｓ４１０でＮ、Ｓ４１２）。
【００４６】
前回の結果が「経過状態」の場合（Ｓ４１３でＹ）、経過状態検出しきい値ＴＢＳと分散値Ｂが比較され、Ｂ≦ＴＢＳでない場合、画素状態は動状態とされ（Ｓ４１４でＮ、Ｓ４１５）、Ｂ≦ＴＢＳの場合、更に、背景検出しきい値ＴＢＢと分散値Ｂが比較される。この比較において、Ｂ≦ＴＢＢの場合、画素状態は背景とされる（Ｓ４１６でＹ、Ｓ４１７）。また、Ｂ≦ＴＢＢでない場合、時間経過による状態変化をみるために経過状態カウンタがインクリメント（Ｔ＝Ｔ＋１）された後、経過状態カウンタＴが経過状態回数しきい値ＴＭと比較され、ＴＭ＜Ｔの場合、経過状態カウンタＴがゼロクリア（Ｔ＝０）されると共に、画素状態は人候補とされる（Ｓ４１６でＮ、Ｓ４１８、Ｓ４１９でＹ、Ｓ４２０，Ｓ４２１）。また、ＴＭ＜Ｔではない場合、画素状態は経過状態とされる（Ｓ４１９でＮ、Ｓ４２２）。
【００４７】
前回の結果が「動状態」の場合（Ｓ４２３でＹ）、経過状態検出しきい値ＴＢＳと分散値Ｂが比較され、Ｂ≦ＴＢＳでない場合、画素状態は動状態とされ（Ｓ４２４でＮ、Ｓ４２５）、Ｂ≦ＴＢＳの場合、更に、背景検出しきい値ＴＢＢと分散値Ｂが比較される。この比較において、Ｂ≦ＴＢＢでない場合、経過状態カウンタＴがゼロクリア（Ｔ＝０）されると共に、画素状態は経過状態とされる（Ｓ４２６でＮ、Ｓ４２７、Ｓ４２８）。また、Ｂ≦ＴＢＢの場合、画素状態は背景とされる（Ｓ４２６でＹ、Ｓ４２９）。
【００４８】
上記の画素状態識別結果は、撮像されたデジタル画像の画素位置に対応させてメモリに保存される（Ｓ４３０）。以上の状態識別処理が、所定画像エリア内の全ての画素について行われる。なお、上記実施形態では、過去のある分析時点より過去方向の期間と、未来方向の期間とを決めて、各期間において求めた２種類の分散値Ｂと分散値Ｆを用いて、注目画素の状態を識別しているが、この方法の他に、過去のある分析時点より過去方向の期間のみ、未来方向の期間のみ、又は、両方にまたがる期間のいずれかからなる１種類の期間について求めた１種類の分散値を用いて注目画素の状態を識別するようにしてもよい。上記のように、２種類の分散値を用いた場合は、応答性の良い状態識別ができる効果があり、また、ここに示したような１種類の期間の１種類の分散値を用いた場合は、分散値の記憶容量を少なくして識別できる効果がある。
【００４９】
人候補領域作成過程及び人候補領域作成結果記憶過程について、図１１のフローチャートを用いて説明する。このフローでは、画素状態を識別した「人候補」画素と、これに近接又は連続する「動状態」画素及び「経過状態」画素を合わせて人候補領域が作成される。まず、初期処理、及びメモリ確保が行われる（Ｓ５０１、Ｓ５０２）。次に、メモリに記憶された画素状態識別結果が読み出され、最初の注目画素アドレスが設定される（Ｓ５０３、Ｓ５０４）。次に、注目画素近傍において別途定められたｍ１×ｎ１画素範囲、例えば６×４＝２４近傍について画素状態が検査され、「動状態」Ｄ、「経過状態」Ｔ、「人候補」Ｃのいずれかである画素は人候補領域の画素であるとしてラベル付けされる（Ｓ５０５）。以上のラベル付け処理が、所定画像エリア内の全ての画素について行われる（Ｓ５０７，Ｓ５０６でＹ）。次に、近接又は連続する人候補領域は１つのグループとして１つのラベル付けを行うため、ラベルの整合性のチェック及びラベルの付け直しが行われ、最後に、撮像されたデジタル画像の画素位置に対応させて人候補領域作成結果がメモリに保存される（Ｓ５０８〜Ｓ５１１）。
【００５０】
図１２は人候補領域作成結果を示す。この図で、各升目は１つの画素を示し、無地の画素７１は背景、文字Ｄの記入された画素７２は動状態、文字Ｔの記入された画素７３は経過状態、文字Ｃの記入された画素７４は人候補を表している。また、背景以外の画素の集合からなる領域７５，７６，７７がラベル付けされた人候補領域である。
【００５１】
人領域検出過程について、図１３のフローチャートを用いて説明する。このフローでは、人候補領域の特徴が判別され、人領域が検出される。人候補領域の特徴として、例えば、領域の面積（画素数）が用いられる。また、他の特徴として、領域の縦・横のサイズなどの領域の形状を用いることもできる。まず、記憶された人候補領域作成結果が読み出され、各領域についてラベル番号順に処理がすすめられる（Ｓ６０１，Ｓ６０２）。ラベル付けされた領域の面積Ｐが計算され（Ｓ６０３）、この面積Ｐが最小面積Ｐｍｉｎ、及び最大面積Ｐｍａｘと比較される（Ｓ６０４）。領域の面積Ｐが、Ｐｍｉｎ＜Ｐ≦Ｐｍａｘを満たすの場合、この領域は人と判定され、その領域の重心が人を代表する画素位置とされる（Ｓ６０４でＹ、Ｓ６０５，Ｓ６０６）。また、領域の面積Ｐが、Ｐｍｉｎ＜Ｐ≦Ｐｍａｘを満たさない場合、この領域は人ではないと判定される（Ｓ６０７）。これらの処理が、ラベル付けされた全ての領域について行われ、最後に人検出データが保存される（Ｓ６０９）。
【００５２】
人検出データ出力過程について、図１４のフローチャートを用いて説明する。このフローでは、検出された人の位置又は人数などの人検出データがメモリから読み出され（Ｓ１１）、ディスプレイ上に出力される（Ｓ１２）。図１５は人検出データ出力例を示す。ディスプレイ画面７９上に、検出された人数、検出位置が表示されている。
【００５３】
「動状態」と「経過状態」の画素の和と「人候補」画素の和の比を用いる人領域検出過程について、図１６のフローチャートを用いて説明する。このフローでは、人候補領域に含まれる「動状態」画素及び「経過状態」画素の和と、「人候補」画素の和の比が求められ、この比を用いて人候補領域が静止した人領域であるかどうかが判定される。まず、記憶された人候補領域作成結果が読み出され、各領域についてラベル番号順に処理がすすめられる（Ｓ７０１，Ｓ７０２）。ラベル付けされた領域中の「動状態」画素と「経過状態」画素の総数Ｎｄｔが計算され（Ｓ７０３）、また、領域中の「人候補」画素の総数Ｎｃが計算される（Ｓ７０４）。次に、各総数Ｎｄｔ、Ｎｃから求めた人候補の構成比Ｎｃ／（Ｎｄｔ＋Ｎｃ）と所定の静止状態検出しきい値Ｎｓとが比較される（Ｓ７０５）。比較の結果、Ｎｓ＜Ｎｃ／（Ｎｄｔ＋Ｎｃ）の場合、この領域は静止した人と判定され、その領域の重心が人を代表する画素位置とされる（Ｓ７０５でＹ、Ｓ７０６，Ｓ７０７）。また、Ｎｓ＜Ｎｃ／（Ｎｄｔ＋Ｎｃ）ではない場合、この領域は静止した人ではないと判定される（Ｓ７０５でＮ、Ｓ７０８）。これらの処理が、ラベル付けされた全ての領域について行われ、最後に人検出データが保存される（Ｓ７１０）。
【００５４】
「動状態」と「経過状態」を合わせた部分領域の重心位置を用いる人領域検出過程について、図１７のフローチャートを用いて説明する。このフローによると、人候補領域に含まれる「動状態」画素及び「経過状態」画素を合わせた部分領域の重心位置が、予め定めた一定期間予め定めた範囲内に位置する時、人候補領域は人領域ではないと判定できる。まず、記憶された人候補領域作成結果、及び前回の人検出データが読み出され、各領域についてラベル番号順に処理がすすめられる（Ｓ８０１〜Ｓ８０３）。次に、注目領域中に「動状態」画素または「経過状態」画素が存在する場合、領域中の「動状態」画素と「経過状態」画素の重心が計算される（Ｓ８０４でＹ、Ｓ８０５）。次に、所定範囲内に前回の人候補領域がない場合（Ｓ８０６でＮ）、この領域に重心位置カウンタＴｇを割り当ててＴｇ＝１とする（Ｓ８０７）。また、所定範囲内に前回の人候補領域がある場合（Ｓ８０６でＹ）、この領域に割り当てられた重心位置カウンタＴｇをインクリメント（Ｔｇ＝Ｔｇ＋１）する（Ｓ８０８）。次に、重心回数しきい値ＴＧと重心位置カウンタＴｇが比較され、ＴＧ＜Ｔｇの場合、この領域は人でないと判定される（Ｓ８０９でＹ、Ｓ８１０）。これらの処理が、ラベル付けされた全ての領域について行われ、最後に人検出データが保存される（Ｓ８１２）。
【００５５】
上述した方法によると、ある人候補領域について、その領域は人ではないと判定することができる。このようにすることにより、図１８に示すように、輝度が時間的に変化するテレビ画面が撮像画像８０内に入っても、テレビ画面のちらつきにより変動する画像内での位置はテレビの位置に固定されているため、この領域は人ではないと判定されるので、テレビ画面のちらつきを間違って人として検出することを無くすことができる。
【００５６】
人候補領域の外接四角形とその接点を用いる人領域検出過程について、図１９のフローチャートを用いて説明する。このフローによると、人候補領域に外接する外接四角形の位置及び形状が予め定めた一定期間変化せず、かつ、人候補領域がその外接四角形に接する点の位置が変化しないとき、その人候補領域は人領域ではないと判定できる。まず、記憶された人候補領域作成結果、及び前回の人候補領域の外接四角形の位置・形状、接点の位置データが読み出され、各領域についてラベル番号順に処理がすすめられる（Ｓ９０１〜Ｓ９０３）。次に、当該ラベル番号の人候補領域の外接四角形の位置・形状、接点の位置が計算される（Ｓ９０４）。次に人領域存否の判定をしようとする所定範囲内に人候補領域があれば（Ｓ９０５でＹ）、前回の人候補領域の外接四角形の位置・形状、接点の位置と、今回の人候補領域の外接四角形の位置・形状、接点の位置とを比較する（Ｓ９０７）。また、所定範囲内に前回の人候補領域がない場合（Ｓ９０５でＮ）、及び、外接四角形について前回と今回の差が所定範囲内にない場合（Ｓ９０７でＮ）、この領域に外接四角形カウンタＴｑを割り当ててＴｑ＝１とする（Ｓ９０６）。また、外接四角形について前回と今回の差が所定範囲内である場合（Ｓ９０７でＹ）、この領域に割り当てられた外接四角形カウンタＴｑをインクリメント（Ｔｑ＝Ｔｑ＋１）する（Ｓ９０８）。次に、外接四角形回数しきい値ＴＱと外接四角形カウンタＴｑが比較され、ＴＱ＜Ｔｑの場合、この領域は人でないと判定される（Ｓ９０９でＹ、Ｓ９１０）。これらの処理が、ラベル付けされた全ての領域について行われ、最後に人検出データが保存される（Ｓ９１２）。
【００５７】
上述した方法によると、ある人候補領域について、その領域は人ではないと判定することができる。このようにすることにより、図２０に示すように、輝度が時間的に変化するテレビ画面８３が撮像画像８２内に入っても、テレビ画面のちらつきにより変動するテレビ画面８３に外接する外接四角形８４の位置はテレビの位置に固定されているため、この領域は人ではないと判定されるので、テレビ画面のちらつきを間違って人として検出することを無くすことができる。
【００５８】
撮像画像、検出された人領域、人検出データの重ね合わせ表示について、図２１のフローチャートを用いて説明する。このフローでは、記憶された人検出データが読み出され（Ｓ２１）、撮像された画像に検出した人領域と人検出データが重ね合わされて表示される（Ｓ２２）。図２２は、人検出データを重ね合わせて出力した例を示す。このように、ディスプレイ８５に、撮像された所定エリアの画像８６，各画像に検出エリア内の人８７の位置８８、人数８９を表示することで、人を認識し易くできるので、出力画面を一目見て検出エリア内の人状況を把握することができる。
【００５９】
以下において、本発明の他の一実施形態にかかる人検出装置について説明する。図２３は人検出装置構成ブロック図を示す。この人検出装置の撮像手段１１は、所定エリア内（室内２）の人の動きを時系列的に順次撮像し、デジタル画像記憶手段１２は、前記撮像過程で撮像され、デジタル化された時系列的に連続するデジタル画像を記憶する。画素分析手段１３は、前記記憶された時系列のデジタル画像より所定画像エリア内に位置する画素の輝度が読み出すと共に、所定時間毎の輝度の分散値を計算し、画素分析結果記憶手段１３０は、前記分散値が上記デジタル画像の画素に対応させて時系列的に記憶する。
【００６０】
画素状態識別手段１４は、前記分散値の時系列の変動状態を判別し、その分散値を計算した画素の状態を「動状態」「経過状態」「人候補」「背景」の４状態に識別し、画素状態識別結果記憶手段１４０は、画素状態識別結果を上記デジタル画像の画素に対応させて時系列的に記憶する。人候補領域作成手段１５は、前記識別した「人候補」画素と、これに近接又は連続する「動状態」画素及び「経過状態」画素を合わせた人候補領域を作成し、人候補領域作成結果記憶手段１５０は、人候補領域作成結果を上記デジタル画像の画素に対応させて記憶する。人領域検出手段１６は、前記人候補領域の特徴を判別し人領域を検出し、人検出データ出力手段１７は、検出された人の位置又は人数などの人検出データを出力する。
【００６１】
このような人検出装置の出力する人検出データに基づく照明・空調制御について説明する。図２４は環境制御手段を備えた人検出装置、及びその装置の適用例を示す。室内２に居る人２０の人数を検知するため、フロア全体を見渡せるように１台のＴＶカメラ３が天井に設置されている。ＴＶカメラ３からの画像は、人検知装置１０の人検知装置本体１８に送られ、その画像をもとに人検知装置本体により人検知が行われる。人検知本体１８には環境制御手段１９が接続されており、環境制御手段１９が、人検知装置本体１８からの人検知データに基づいて照明・空調の制御を行う。室内２には、例えば、照明２０１が４台、空調２０２が２台、外気取入口２０３が１ヶ所備えられており、これらの照明・空調機器が環境制御手段１９によって制御される。
【００６２】
上述の人検知装置本体１８は、前述の図２３に示した撮像手段１１から人検出データ出力手段１７までの一連の装置構成を有しているものである。この人検知手段１８における撮像手段は、ＴＶカメラ３により時系列の室内画像を撮像する。デジタル画像記憶手段は、前述の図８のフローチャートに従い、撮像手段より入力されたアナログ映像信号をデジタル化し、メモリに連続する画像として保存する。画素分析手段と画素分析結果記憶手段は、図９のフローチャートに従い、画像上の全画素について、分散値Ｆ、分散値Ｂを計算し、その結果をメモリに保存する。画素状態識別手段と画素状態識別結果記憶手段は、図１０のフローチャートに従い、各画素の状態を、「動状態」、「経過状態」、「人候補」、「背景」の４状態に分別し、その結果をメモリに保存する。人候補領域作成手段と人候補領域作成結果記憶手段は、図１１のフローチャートに従い、「動状態」、「経過状態」、「人候補」の画素を使って人候補領域を作成してその領域にラベル付けを行う。
【００６３】
人領域検出手段は、図１３のフローチャートに従い、人の検出を行う。静止した人と動いている人を区別する場合には、図１６のフローチャートに示される処理も合わせて行い、更に、テレビ画面のちらつき等の誤検出を減らす必要がある場合には、図１７、又は図１９のいずれか、又は、これら両方のフローチャートで示される処理を合わせて行う。人検出データ出力手段では、図１４のフローチャートに従い、検出された人数とその位置をディスプレイ上に表示すると共に、これらの人検出データを環境制御手段１９に送信する。環境制御手段１９は、人検出データに基づいて照明・空調機器を制御する。
【００６４】
本発明の人検出装置１０を用いることにより、１台の人検出装置で複数の照明機器を操作するための人検出データを得ることができる。従来、各照明機器ごとに焦電素子センサを設置して、人の存在に合わせて照明機器の点灯／消灯を制御することが行われているが、本発明によると、制御対象エリアに１台のＴＶカメラを設置することで、制御用の人検知データを得ることができる。
【００６５】
照明制御の処理の流れについて、図２５のフローチャートを用いて説明する。人検知装置本体が人検出処理実行後（Ｓ３１）、環境制御手段は、人検出データを受け取り、各照明機器番号の対応するエリア内に人が居るどうかを判定する（Ｓ３２，Ｓ３３）。人が居ないと判定されたエリアは消灯され（Ｓ３３でＮ、Ｓ３３）、人が居ると判定されたエリアについては点灯される（Ｓ３３でＹ、Ｓ３４）。このような処理が全ての照明機器について行われる。また、一定時間経過後に、上記ステップＳ３１〜Ｓ３７の全体が繰り返される。
【００６６】
また、室内の空調に関しては、人検出データを用いることにより、部屋に居る人数、人の位置に合わせて空調を制御することができる。このため、無駄なエネルギー消費を無くし、かつ、室内の執務者の快適さを向上させることができる。従来、空調の制御は温度センサの出力により基づいて行われているため、人が居なくても一定温度に保持しようとするので無駄が多く、また、人の混み具合に関わらず一定の強度での動作しか行わないので、人に対して心地良い状態を提供できない場合が多い。また、外気取入動作は、部屋の広さにより決められる固定した在室人数に基づいて行われることが多いため、人が少ないにもかかわらず無駄な換気が行われ、エネルギーが無駄になる場合が多い。本発明によると、このような従来の問題点が解決される。
【００６７】
空調制御の処理の流れについて、図２６のフローチャートを用いて説明する。以下の説明では、室内に居る人は、事務作業などの静止した作業を行っている状況を想定している。人検知装置本体が人検出処理実行後（Ｓ４１）、環境制御手段は、人検出データを受け取り、まず、全体の総検出人数に合わせて外気取入量を調節する（Ｓ４２）。次に、各空調機器番号の対応するエリア内における静止した人の有無を判定し（Ｓ４４）、静止した人が居ないエリアでは、人は居ないと判断することができるので空調機器を停止し（Ｓ４４でＮ、Ｓ４６）、静止した人が居る場合には、静止した人の人数に空調機器の出力を調整する（Ｓ４４でＹ、Ｓ４５）。このような処理が全ての空調機器について行われる。また、一定時間経過後に、上記ステップＳ４１〜Ｓ４７の全体が繰り返される。なお、環境調節機器である上記の照明・空調機器は、その他の環境調節機器に置き換えもよく、上記環境制御手段によって同様に制御することができる。
【００６８】
なお、本発明は、上記構成に限られることなく種々の変形が可能である。また、本発明は、人以外にも一般の動物に対して、所定エリア内でその数や動向を検知する装置として適用されるものである。本装置は、特に、動きの少ない動物に対して有効である。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る人検出装置の構成図。
【図２】本発明の一実施形態に係る人検出方法のフロー図。
【図３】（ａ）は同上人検出方法に係る人の動きを説明する図、（ｂ）は同じく物体の動きを説明する図。
【図４】（ａ）は同上人検出方法に係る輝度の分散値計算区間を説明する輝度の時間変化図、（ｂ）は輝度の分散を説明する輝度値度数分布図。
【図５】（ａ）は同上人検出方法に係る人の場合の輝度の時間変化図、（ｂ）（ｃ）は輝度の分散値の時間変化図。
【図６】（ａ）は同上人検出方法に係る物体の場合の輝度の時間変化図、（ｂ）（ｃ）は輝度の分散値の時間変化図。
【図７】同上人検出方法に係る画素の状態遷移図。
【図８】同上人検出方法に係るデジタル画像記憶過程のフロー図。
【図９】同上人検出方法に係る画素分析過程と画素分析結果記憶過程のフロー図。
【図１０】同上人検出方法に係る画素状態識別過程と画素状態識別結果記憶過程のフロー図。
【図１１】同上人検出方法に係る人候補領域作成過程のフロー図。
【図１２】同上人検出方法に係る人候補領域作成結果を示す画素図。
【図１３】同上人検出方法に係る人領域検出過程のフロー図。
【図１４】同上人検出方法に係る人検出データ出力過程のフロー図。
【図１５】同上人検出方法に係る人検出データ出力例の図。
【図１６】同上人検出方法に係る「動状態」画素と「経過状態」画素の和と「人候補」画素の和の比を用いる人領域検出過程のフロー図。
【図１７】同上人検出方法に係る「動状態」と「経過状態」を合わせた部分領域の重心位置を用いる人領域検出過程のフロー図。
【図１８】同上人検出方法に係るテレビ画面の処理を説明する図。
【図１９】同上人検出方法に係る人候補領域の外接四角形とその接点を用いる検出過程のフロー図。
【図２０】同上人検出方法に係るテレビ画面の処理を説明する図。
【図２１】同上人検出方法に係る人検出データ重ね合わせ表示の処理フロー図。
【図２２】同上人検出方法に係る人検出データ重ね合わせ出力例の図。
【図２３】本発明の他の一実施形態に係る人検出装置の構成ブロック図。
【図２４】本発明のさらに他の一実施形態に係る人検出装置の構成図。
【図２５】同上装置による照明制御のフロー図。
【図２６】同上装置による空調制御のフロー図。
【符号の説明】
１、１０ 人検出装置
１１ 撮像手段
１２ デジタル画像記憶手段
１３ 画素分析手段
１４ 画素状態識別手段
１５ 人候補領域作成手段
１６ 人領域検出手段
１７ 人検出データ出力手段
１９ 環境制御手段
７５，７６，７７ 人候補領域
１３０ 画素分析結果記憶手段
１４０ 画素状態識別結果記憶手段
１５０ 人候補領域作成結果記憶手段
Ｃ 人候補
Ｄ 動状態
Ｔ 経過状態
Claims (8)
- 撮像画像を画像処理することにより人を検出する人検出方法であって、
所定エリア内の人の動きを時系列的に順次撮像する撮像過程と、
前記撮像過程で撮像され、デジタル化された時系列的に連続するデジタル画像を記憶するデジタル画像記憶過程と、
前記記憶された時系列のデジタル画像より、所定画像エリア内に位置する各画素の輝度値を時系列的に読み出し、所定時間毎の各画素の輝度の時間変動分散値を計算する画素分析過程と、
前記分散値を上記デジタル画像の画素に対応させて時系列的に記憶する画素分析結果記憶過程と、
前記分散値の時系列の変動状態を判別して、その分散値を計算した画素の状態を少なくとも「動状態」「人候補」「背景」の３状態に識別する画素状態識別過程と、
画素状態識別結果を上記デジタル画像の画素に対応させて時系列的に記憶する画素状態識別結果記憶過程と、
前記識別した「人候補」画素と、これに近接又は連続する「動状態」画素を合わせて人候補領域を作成する人候補領域作成過程と、
人候補領域作成結果を上記デジタル画像の画素に対応させて記憶する人候補領域作成結果記憶過程と、
前記人候補領域の特徴を判別し人領域を検出する人領域検出過程と、
検出された人の位置又は人数などの人検出データを出力する人検出データ出力過程と、を備えることを特徴とする人検出方法。 - 前記人領域検出過程は、人候補領域の形状又は面積が予め定めた範囲内にある時、人候補領域が人領域であると判定することを特徴とする請求項１記載の人検出方法。
- 前記人領域検出過程は、人候補領域に含まれる「動状態」画素の個数と、「人候補」画素の個数の比を求め、この比を用いて人候補領域が静止した人領域であるかどうかを判定することを特徴とする請求項１記載の人検出方法。
- 前記人領域検出過程は、人候補領域に含まれる「動状態」画素を合わせた部分領域の重心位置が、予め定めた一定期間予め定めた範囲内に位置する時、該人候補領域は人領域ではないと判定することを特徴とする請求項１記載の人検出方法。
- 前記人領域検出過程は、前記人候補領域に外接する外接四角形の位置及び形状が予め定めた一定期間変化せず、かつ、該人候補領域が該外接四角形に接する点の位置が変化しないとき、該人候補領域は人領域ではないと判定することを特徴とする請求項１記載の人検出方法。
- 前記検出結果出力過程は、撮像された画像に検出した人領域と人検出データを重ね合わせて表示することを特徴とする請求項１記載の人検出方法。
- 撮像画像を画像処理することにより人を検出する人検出装置であって、
所定エリア内の人の動きを時系列的に順次撮像する撮像手段と、
前記撮像手段で撮像され、デジタル化された時系列的に連続するデジタル画像を記憶するデジタル画像記憶手段と、
前記記憶された時系列のデジタル画像より、所定画像エリア内に位置する各画素の輝度値を時系列的に読み出し、所定時間毎の各画素の輝度の時間変動分散値を計算する画素分析手段と、
前記分散値を上記デジタル画像の画素に対応させて時系列的に記憶する画素分析結果記憶手段と、
前記分散値の時系列の変動状態を判別して、その分散値を計算した画素の状態を少なくとも「動状態」「人候補」「背景」の３状態に識別する画素状態識別手段と、
画素状態識別結果を上記デジタル画像の画素に対応させて時系列的に記憶する画素状態識別結果記憶手段と、
前記識別した「人候補」画素と、これに近接又は連続する「動状態」画素を合わせて人候補領域を作成する人候補領域作成手段と、
人候補領域作成結果を上記デジタル画像の画素に対応させて記憶する人候補領域作成結果記憶手段と、
前記人候補領域の特徴を判別し人領域を検出する人領域検出手段と、
検出された人の位置又は人数などの人検出データを出力する人検出データ出力手段と、を備えることを特徴とする人検出装置。 - 前記人検出データを用いて照明及び／又は空調などの環境調節機器を制御する環境制御手段をさらに備えたことを特徴とする請求項７記載の人検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003048311A JP4218368B2 (ja) | 2003-02-25 | 2003-02-25 | 人検出方法及び人検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003048311A JP4218368B2 (ja) | 2003-02-25 | 2003-02-25 | 人検出方法及び人検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004258927A true JP2004258927A (ja) | 2004-09-16 |
| JP4218368B2 JP4218368B2 (ja) | 2009-02-04 |
Family
ID=33114297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003048311A Expired - Fee Related JP4218368B2 (ja) | 2003-02-25 | 2003-02-25 | 人検出方法及び人検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4218368B2 (ja) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007018324A (ja) * | 2005-07-08 | 2007-01-25 | Central Res Inst Of Electric Power Ind | 画像処理による侵入物体検出装置および方法およびプログラム |
| JP2007058674A (ja) * | 2005-08-25 | 2007-03-08 | Sanyo Electric Co Ltd | 対象物認識装置 |
| JP2007080084A (ja) * | 2005-09-15 | 2007-03-29 | Teikyo Univ | 異常報知装置および異常報知方法 |
| JP2007323572A (ja) * | 2006-06-05 | 2007-12-13 | Nec Corp | 物体検出装置、物体検出方法および物体検出プログラム |
| US7515737B2 (en) | 2004-11-30 | 2009-04-07 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
| JP2009110152A (ja) * | 2007-10-29 | 2009-05-21 | Panasonic Corp | 混雑推定装置 |
| JP2009181220A (ja) * | 2008-01-29 | 2009-08-13 | Chube Univ | 物体検出装置 |
| JP2011007358A (ja) * | 2009-06-23 | 2011-01-13 | Mitsubishi Electric Building Techno Service Co Ltd | 空調設備制御装置 |
| JP2011107802A (ja) * | 2009-11-13 | 2011-06-02 | Hochiki Corp | 制御システム |
| JP2011135400A (ja) * | 2009-12-25 | 2011-07-07 | Casio Computer Co Ltd | 画像処理装置、画像処理方法及びプログラム |
| JP2011242980A (ja) * | 2010-05-18 | 2011-12-01 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
| JP2012174223A (ja) * | 2011-02-24 | 2012-09-10 | Nippon Steel Corp | 人物監視装置、人物監視方法、及びコンピュータプログラム |
| US8472715B2 (en) | 2007-10-26 | 2013-06-25 | Panasonic Corporation | Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus |
| JP2014154129A (ja) * | 2013-02-14 | 2014-08-25 | Fujita Corp | 装備認識システム |
| JP2015072558A (ja) * | 2013-10-02 | 2015-04-16 | 株式会社関電エネルギーソリューション | 画像処理装置、撮像装置、空調システム、および、プログラム |
| JP2015222191A (ja) * | 2014-05-22 | 2015-12-10 | 学校法人慶應義塾 | 赤外線アレイセンサを用いた行動検知システムと方法 |
| JP2017111008A (ja) * | 2015-12-16 | 2017-06-22 | パナソニックＩｐマネジメント株式会社 | 人検知システム |
| CN112101090A (zh) * | 2020-07-28 | 2020-12-18 | 四川虹美智能科技有限公司 | 人体检测方法及装置 |
| JP2021515350A (ja) * | 2018-05-04 | 2021-06-17 | グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ | 自動化されたアシスタントのための視覚的な手掛かりの選択的検出 |
| CN113165851A (zh) * | 2018-12-21 | 2021-07-23 | 因温特奥股份公司 | 对人员运送设备的使用者的检测 |
| CN113767298A (zh) * | 2019-04-25 | 2021-12-07 | 松下知识产权经营株式会社 | 区域判断系统、区域判断方法和程序 |
| US11488457B2 (en) | 2020-06-08 | 2022-11-01 | Zurn Industries, Llc | Cloud-connected occupancy lights and status indication |
| US11514679B1 (en) * | 2022-02-18 | 2022-11-29 | Zurn Industries, Llc | Smart method for noise rejection in spatial human detection systems for a cloud connected occupancy sensing network |
| US11543791B1 (en) | 2022-02-10 | 2023-01-03 | Zurn Industries, Llc | Determining operations for a smart fixture based on an area status |
| US11555734B1 (en) | 2022-02-18 | 2023-01-17 | Zurn Industries, Llc | Smart and cloud connected detection mechanism and real-time internet of things (IoT) system management |
| US11776260B2 (en) | 2020-12-14 | 2023-10-03 | Whiffaway Ltd | Facility occupancy detection with thermal grid sensor |
| WO2023190686A1 (ja) * | 2022-03-31 | 2023-10-05 | パナソニックＩｐマネジメント株式会社 | 画像処理装置および画像処理方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05229756A (ja) * | 1992-02-21 | 1993-09-07 | Toshiba Corp | 画像監視装置および該画像監視装置を利用したエレベータ制御装置 |
| JPH0855220A (ja) * | 1994-08-12 | 1996-02-27 | N T T Data Tsushin Kk | 移動物体抽出処理方式及び方法 |
| JPH0981753A (ja) * | 1995-09-11 | 1997-03-28 | Matsushita Electric Ind Co Ltd | 移動物体抽出装置 |
| JPH1063863A (ja) * | 1996-08-23 | 1998-03-06 | Nippon Telegr & Teleph Corp <Ntt> | 移動物体計数処理方法 |
| JP2001028050A (ja) * | 1999-05-10 | 2001-01-30 | Honda Motor Co Ltd | 歩行者検知装置 |
| JP2002032876A (ja) * | 2000-07-13 | 2002-01-31 | Fujitsu Ltd | 火災検出装置 |
-
2003
- 2003-02-25 JP JP2003048311A patent/JP4218368B2/ja not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05229756A (ja) * | 1992-02-21 | 1993-09-07 | Toshiba Corp | 画像監視装置および該画像監視装置を利用したエレベータ制御装置 |
| JPH0855220A (ja) * | 1994-08-12 | 1996-02-27 | N T T Data Tsushin Kk | 移動物体抽出処理方式及び方法 |
| JPH0981753A (ja) * | 1995-09-11 | 1997-03-28 | Matsushita Electric Ind Co Ltd | 移動物体抽出装置 |
| JPH1063863A (ja) * | 1996-08-23 | 1998-03-06 | Nippon Telegr & Teleph Corp <Ntt> | 移動物体計数処理方法 |
| JP2001028050A (ja) * | 1999-05-10 | 2001-01-30 | Honda Motor Co Ltd | 歩行者検知装置 |
| JP2002032876A (ja) * | 2000-07-13 | 2002-01-31 | Fujitsu Ltd | 火災検出装置 |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7515737B2 (en) | 2004-11-30 | 2009-04-07 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
| JP2007018324A (ja) * | 2005-07-08 | 2007-01-25 | Central Res Inst Of Electric Power Ind | 画像処理による侵入物体検出装置および方法およびプログラム |
| JP4610005B2 (ja) * | 2005-07-08 | 2011-01-12 | 財団法人電力中央研究所 | 画像処理による侵入物体検出装置および方法およびプログラム |
| JP2007058674A (ja) * | 2005-08-25 | 2007-03-08 | Sanyo Electric Co Ltd | 対象物認識装置 |
| US7809196B2 (en) | 2005-08-25 | 2010-10-05 | Sanyo Electric Co., Ltd | Object recognition apparatus |
| JP4578353B2 (ja) * | 2005-08-25 | 2010-11-10 | 三洋電機株式会社 | 対象物認識装置 |
| JP2007080084A (ja) * | 2005-09-15 | 2007-03-29 | Teikyo Univ | 異常報知装置および異常報知方法 |
| JP4631806B2 (ja) * | 2006-06-05 | 2011-02-16 | 日本電気株式会社 | 物体検出装置、物体検出方法および物体検出プログラム |
| JP2007323572A (ja) * | 2006-06-05 | 2007-12-13 | Nec Corp | 物体検出装置、物体検出方法および物体検出プログラム |
| US8311273B2 (en) | 2006-06-05 | 2012-11-13 | Nec Corporation | Object detection based on determination of pixel state |
| US8472715B2 (en) | 2007-10-26 | 2013-06-25 | Panasonic Corporation | Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus |
| US8655078B2 (en) | 2007-10-26 | 2014-02-18 | Panasonic Corporation | Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus |
| JP2009110152A (ja) * | 2007-10-29 | 2009-05-21 | Panasonic Corp | 混雑推定装置 |
| JP2009181220A (ja) * | 2008-01-29 | 2009-08-13 | Chube Univ | 物体検出装置 |
| JP2011007358A (ja) * | 2009-06-23 | 2011-01-13 | Mitsubishi Electric Building Techno Service Co Ltd | 空調設備制御装置 |
| JP2011107802A (ja) * | 2009-11-13 | 2011-06-02 | Hochiki Corp | 制御システム |
| JP2011135400A (ja) * | 2009-12-25 | 2011-07-07 | Casio Computer Co Ltd | 画像処理装置、画像処理方法及びプログラム |
| US8345119B2 (en) | 2009-12-25 | 2013-01-01 | Casio Computer Co., Ltd. | Image pickup device, image processing method, and storage medium storing program |
| US8787675B2 (en) | 2009-12-25 | 2014-07-22 | Casio Computer Co., Ltd. | Image pickup device, image processing method, and storage medium storing program |
| JP2011242980A (ja) * | 2010-05-18 | 2011-12-01 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
| JP2012174223A (ja) * | 2011-02-24 | 2012-09-10 | Nippon Steel Corp | 人物監視装置、人物監視方法、及びコンピュータプログラム |
| JP2014154129A (ja) * | 2013-02-14 | 2014-08-25 | Fujita Corp | 装備認識システム |
| JP2015072558A (ja) * | 2013-10-02 | 2015-04-16 | 株式会社関電エネルギーソリューション | 画像処理装置、撮像装置、空調システム、および、プログラム |
| JP2015222191A (ja) * | 2014-05-22 | 2015-12-10 | 学校法人慶應義塾 | 赤外線アレイセンサを用いた行動検知システムと方法 |
| JP2017111008A (ja) * | 2015-12-16 | 2017-06-22 | パナソニックＩｐマネジメント株式会社 | 人検知システム |
| JP2021515350A (ja) * | 2018-05-04 | 2021-06-17 | グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ | 自動化されたアシスタントのための視覚的な手掛かりの選択的検出 |
| US11392213B2 (en) | 2018-05-04 | 2022-07-19 | Google Llc | Selective detection of visual cues for automated assistants |
| CN113165851A (zh) * | 2018-12-21 | 2021-07-23 | 因温特奥股份公司 | 对人员运送设备的使用者的检测 |
| CN113165851B (zh) * | 2018-12-21 | 2024-04-02 | 因温特奥股份公司 | 对人员运送设备的使用者的检测 |
| CN113767298A (zh) * | 2019-04-25 | 2021-12-07 | 松下知识产权经营株式会社 | 区域判断系统、区域判断方法和程序 |
| US11847905B2 (en) | 2020-06-08 | 2023-12-19 | Zurn Industries, Llc | Cloud-connected occupancy lights and status indication |
| US11488457B2 (en) | 2020-06-08 | 2022-11-01 | Zurn Industries, Llc | Cloud-connected occupancy lights and status indication |
| CN112101090A (zh) * | 2020-07-28 | 2020-12-18 | 四川虹美智能科技有限公司 | 人体检测方法及装置 |
| CN112101090B (zh) * | 2020-07-28 | 2023-05-16 | 四川虹美智能科技有限公司 | 人体检测方法及装置 |
| US11776260B2 (en) | 2020-12-14 | 2023-10-03 | Whiffaway Ltd | Facility occupancy detection with thermal grid sensor |
| US11543791B1 (en) | 2022-02-10 | 2023-01-03 | Zurn Industries, Llc | Determining operations for a smart fixture based on an area status |
| US11555734B1 (en) | 2022-02-18 | 2023-01-17 | Zurn Industries, Llc | Smart and cloud connected detection mechanism and real-time internet of things (IoT) system management |
| US11514679B1 (en) * | 2022-02-18 | 2022-11-29 | Zurn Industries, Llc | Smart method for noise rejection in spatial human detection systems for a cloud connected occupancy sensing network |
| WO2023190686A1 (ja) * | 2022-03-31 | 2023-10-05 | パナソニックＩｐマネジメント株式会社 | 画像処理装置および画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4218368B2 (ja) | 2009-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4218368B2 (ja) | 人検出方法及び人検出装置 | |
| JP6156665B1 (ja) | 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法 | |
| KR101822924B1 (ko) | 영상기반 화재 감지 시스템, 방법 및 프로그램 | |
| CN107679471B (zh) | 基于视频监控平台的室内人员空岗检测方法 | |
| JP2008241707A (ja) | 自動監視システム | |
| JP6041515B2 (ja) | 画像処理装置および画像処理方法 | |
| KR20090086898A (ko) | 비디오 카메라를 사용한 연기 검출 | |
| JP5060264B2 (ja) | 人物検出装置 | |
| JPH056500A (ja) | 移動体・施設制御システム | |
| JP2006270865A (ja) | 画像監視装置 | |
| JP4430027B2 (ja) | 画像処理装置、監視カメラ及び画像監視システム | |
| Kreković et al. | A method for real-time detection of human fall from video | |
| EP3540716B1 (en) | Information processing device, information processing method, and recording medium | |
| CN103839358A (zh) | 智能空调及其防盗监控方法和装置 | |
| JP3414634B2 (ja) | 人数計測システム | |
| JP2009239507A (ja) | 監視システム | |
| US20120147182A1 (en) | Method to monitor an area | |
| JP4664878B2 (ja) | 画像処理装置 | |
| JP6189284B2 (ja) | 画像センシング装置 | |
| JP2009294888A (ja) | 建築設備情報通知システムおよびプログラム | |
| KR102464196B1 (ko) | 빅데이터 기반 영상 감시시스템 | |
| JP2007243270A (ja) | 映像監視システムおよび方法 | |
| JP2020071717A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JPH05300516A (ja) | 動画処理装置 | |
| JP2019519033A (ja) | 検出装置、イベントを検出する方法、及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081010 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081021 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081103 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |