JP2015120584A - 画像監視装置およびエレベーター監視装置 - Google Patents

Abstract

【課題】監視領域内の人物の有無を判定する際に、失報と誤報を低く抑える。【解決手段】ある面上の閉じた領域を空間第一領域とし、空間第一領域の鉛直上方の空間を空間第二領域とし、空間第二領域内に空間第一領域を俯瞰するように設置された撮像部で得られる画像を処理する画像監視装置において、画像に映った空間第二領域である画像第二領域内において人物の一部を示す第一特徴部を検出する第一特徴部検出部と、画像に映った空間第一領域である画像第一領域内において人物により生じた空間第一領域の遮蔽または影または映り込みを示す第二特徴部を検出する第二特徴部検出部と、第一特徴部検出部と第二特徴部検出部の検出結果に基づいて空間第二領域内が有人か無人かを判定するとともに、少なくとも第一特徴部と第二特徴部とが検出されることを必要条件として有人であると判定する判定出力部とを有する。【選択図】 図５

Description

本発明は、画像監視装置およびエレベーターかご内を監視するエレベーター監視装置に係り、特に、例えばエレベーターかご内などの監視領域内の人物の有無を判定する画像監視装置およびエレベーター監視装置に関する。

本技術分野の背景技術として、特許文献１には、画像内で、空中に浮いた禁止区域を全体エリアとして設定するとともに、禁止区域の直下の地面または床に当たる領域を足元エリアとして設定し、検出した物体像本体のうち足元エリアに最も近い部分を人物像足元部として抽出し、物体像本体が全体エリアに重なり、人物像足元部が足元エリアに重なる場合に、対象とする禁止区域へ侵入したと判定することが記載されている。

また、特許文献２には、撮像装置により撮像して得た画像信号と乗りかごに乗客が乗車していない際の画像信号との間の所定の領域（ドアの部分を除いた領域）に所定の差異があることをもって、かご内に乗客がいると判定することが記載されている。

特開平７−２１４７６号公報 特開２０１２−１８４０８０号公報

しかしながら、特許文献１、２に記載の技術では、次のような問題がある。

尚、本明細書では、人（侵入者または進入者（以下、両者をまとめて侵入者と称する））、および、人以外の立体物を総称して人物と称して説明する。また、人物が所定の領域に居るにもかかわらず無人と判定することを失報と呼び、人物が所定の領域に居ないにもかかわらず有人と判定することを誤報と呼ぶこととする。

まず、特許文献１のように、検出された人物像本体の足元エリアに最も近い部分を人物像足元部とする技術では、常に人物像本体の全身が検出できることを前提としているため、例えば人物像本体の全身ではなく上部のみが検出された場合には、人物像足元部の存在する場所を誤って判断してしまい、その結果、侵入している人物を検出できないという失報や、侵入していないにもかかわらず侵入しているという誤報が生じてしまうという課題を有している。

また、特許文献２では、かご内の床領域において、無人時の画像との差異があることをもって人物が居ると判定している。そして、出入り口にあたる領域は、ドアが開いていたならば人の有無に関わりなく無人時の画像と大きな差異が生じることから、予めマスクして画像間の差異を考慮しないこととし、専ら、かご内の床領域における差異を評価している。ここで、多くの場合かご内は天井照明により上方から照明するため、人物頭部よりも床付近は暗くなりがちである。このため、特許文献２のように床領域のみに着目した処理をすることは、人物上部の検出しやすい情報を無視することとなり、安定した人物検出を困難にするという課題がある。また、人物検出の安定を図ってパラメータ等を調整すると、人物が不存在にもかかわらず有人判定をするという誤報が生じやすくなるという課題を有している。

本発明はこのような課題に鑑みたもので、その目的は、例えばエレベーターかご内などの監視領域内の人物の有無を判定する際に、失報と誤報を低く抑えることのできる画像監視装置およびエレベーター監視装置を提供することである。

そこで、本発明の画像監視装置は、例えば、ある面上の閉じた領域を空間第一領域とし、前記空間第一領域の鉛直上方の空間を空間第二領域とし、前記空間第二領域内に前記空間第一領域を俯瞰するように設置された撮像部で得られる画像を処理する画像監視装置において、前記画像に映った前記空間第二領域を画像第二領域とした場合に、前記画像第二領域内において人物の一部を示す第一特徴部を検出する第一特徴部検出部と、前記画像に映った前記空間第一領域を画像第一領域とした場合に、前記画像第一領域内において前記人物により生じた前記空間第一領域の遮蔽または影または映り込みを示す第二特徴部を検出する第二特徴部検出部と、前記第一特徴部検出部と前記第二特徴部検出部の検出結果に基づいて前記空間第二領域内に前記人物が存在する有人であるか前記人物が存在しない無人であるかを判定するとともに、少なくとも前記第一特徴部と前記第二特徴部とが検出されることを必要条件として有人であると判定する判定出力部とを有することを特徴とする。

また、本発明のエレベーター監視装置は、例えば、前記画像監視装置と、前記撮像部と、前記判定出力部での判定結果が入力されエレベーターを制御するエレベーター制御部とを備え、前記空間第二領域がエレベーターかご内の空間であり、前記空間第一領域が前記エレベーターかごの床であり、前記撮像部が前記エレベーターかご内に設けられた監視カメラであることを特徴とする。

本発明によれば、例えばエレベーターかご内などの監視領域内の人物の有無を判定する際に、失報と誤報を低く抑えることができる。

実施例１の撮像部の設置態様を示す例と撮像部で得られる画像の例である。 人物が領域１ａ内外に居る場合の斜視図と、撮像部で得られる画像の例である。 撮像部によるエレベーターかご内の画像の例である。 エレベーターかご内に人が居る場合と居ない場合の例である。 エレベーター監視装置の一構成例である。 判定出力部において、第一特徴部と第二特徴部の発生場所の整合性の確認を行う場合の例である。 人物がエレベーターかご内には存在しない判定例である。 エレベーターかご内の領域設定の例である。 天井隅とやや中央よりに撮像部を設置して取得した画像の例である。 エレベーター監視装置の動作のフローチャートの例である。 かご内構造マップの例である。 第一特徴部検出の一例である。 処理カーネルが３×３の場合の例である。 テンプレートの取得例である。 実施例１から実施例６の構成例である。 領域１ａ、領域２ａ、領域１ｂ、領域２ｂ、第一特徴部６および第二特徴部７の関係をまとめた例である。

本発明の実施例を、図面を参照しながら説明する。尚、各図および各実施例において、同一又は類似の構成要素には同じ符号を付し、説明を省略する。

［原理説明］
以下、本発明の画像監視装置およびそれを用いたエレベーター監視装置の一実施例を説明する。図１は、実施例１の撮像部の設置態様を示す例と撮像部で得られる画像の例である。図１（ａ）は斜視図であって、実施例１の撮像部３の設置態様を示す図である。図１（ａ）では、例えば床などのある面上の閉じた領域１ａ（空間第一領域）を破線で示している。領域１ａ（空間第一領域）は平面でも曲面でもよい。また、三次元空間上で、領域１ａの鉛直上方にあたる空間を領域２ａ（空間第二領域）として、斜線で示す。そして、領域２ａの空間内にある撮像部３は領域１ａを俯瞰するように設置されている。

図１（ｂ）は、撮像部３で得られる画像の例である。破線で示す領域１ｂは領域１ａが映っている領域である。そして、斜線領域２ｂは領域２ａが映っている領域である。この画像において、領域２ｂは領域１ｂも含んでいるものとする。領域２ｂは画像第二領域といい、領域１ｂは画像第一領域ともいう。

図２は、人物が領域１ａ内外に居る場合の斜視図と、撮像部で得られる画像の例である。図２（ａ１）は、人物５が領域１ａ外に居る場合の斜視図で、図２（ｂ１）は、人物５が領域１ａ内に居る場合の斜視図を示している。また、図２（ａ２）は、図２（ａ１）の状況を撮像部３で撮影した画像で、図２（ｂ２）は、図２（ｂ１）の状況を撮像部３で撮影した画像である。既に説明した通り、本明細書では人物５は人および人以外の立体物を含むものであり、図２では人の場合を示している。矩形で示した６は、領域２ｂ内において、人の頭部など人物５の一部を示す特徴部を検出して保持している状態を示していて、第一特徴部６と表記する。人物５が人以外のものであっても、立体物で有れば曲線または折れ線を有する輪郭が生じるので、この場合はこれが第一特徴部６となる。曲線で示した７は、領域１ｂ内において、人物５が領域１ａに居るために発生する、人物５の脚部による領域１ａの部分的な遮蔽または影または映り込みなどである。これを領域１ｂ内において人物５により生じた第二特徴部７という。そして、第一特徴部６と第二特徴部７とが検出された（第一特徴部６と第二特徴部７とが同時に存在する）場合に、領域１ａ（領域２ａ）内に人物５が存在すると判定することができる。このように、第一特徴部６と第二特徴部７とが発生するか否かを計測すれば、人物５の頭部から足下までの全身を連結して切り出せなくても、領域１ａ（領域２ａ）内に人物が存在するか否かを正確に判断することができる。

ここで、図１６に領域１ａ、領域２ａ、領域１ｂ、領域２ｂ、第一特徴部６および第二特徴部７の関係をまとめる。領域１ａは３次元空間に存在する領域で、空間第一領域とも表し、床や地面がこれに当たる。領域１ａを撮像部３で撮影して２次元空間化したものは領域１ｂであり、画像第一領域とも表す。また、第二特徴部７は、人または立体物が領域１ｂ上に生じさせる遮蔽や影、映り込みが形成する輪郭である。一方、領域２ａは３次元空間に存在する領域で、空間第二領域とも表し、床または地面の上方にある空間がこれに当たる。領域２ａを撮像部３で撮影して２次元空間化したものは領域１ｂであり、画像第二領域とも表す。また、第一特徴部６は、人物頭部やその他立体物が形成する曲線または折れ線状の輪郭が領域２ｂに生じたものである。

図３は、撮像部によるエレベーターかご内の画像の例である。図３は、エレベーターかごの床８を領域１ａ、エレベーターかご内の空間を領域２ａとし、領域２ａ内に領域１ａを俯瞰して設置した撮像部３による画像である。撮像部３としては例えば監視カメラを用いる。エレベーターかごは、床８と天井と４つの壁９から壁１２で構成されている。そして、壁１０には出入り口であるドア１６がある。ここで、壁９と壁１０の交線を１３、壁１０と壁１１の交線を１４、壁１１と壁１２の交線を１５とする。壁９と壁１２がなす交線と天井は図３に示す画像の視野外である。実空間上では、ドア１６は長方形であって、ドア１６の鉛直方向に延びる左右の二辺と、交線１３から１５は、エレベーターの昇降路の長手方向（以下、昇降路方向と称する）に延びる平行な線分であるが、図３に示す画像では、透視変換により平行には表れていない。しかし、上記に述べた線分は、実空間上では、互いに平行で昇降路方向に一致している。このため、図３の画像上では、例えば交線１３と交線１４を延長して交わる点１７は、昇降路方向の無限遠点であり消失点１７になっている。本明細書では、撮像部３で得られる画像において、この消失点１７を、エレベーターの昇降路の長手方向の消失点１７と称することする。

領域２ｂは、撮像部３で得られた画像全体としてもよいが、他の例として、消失点１７から床８に向けて任意の半直線を引いたとき、半直線が通り得る範囲（すなわち図３の画像の中から壁９と壁１２を除外した領域）を、領域２ｂとしてもよい。その理由は、次の通りである。まず、エレベーターかごの上方向は天井で制限されている。ここで、天井は床８と同一の四角形であって、撮像部３が天井の四隅の中の一に設置されていれば、消失点１７と撮像部直下であって視野外の床隅は画面上で一致する。そうすると、死角となっている領域も含めて床８上に鉛直に立つ人物は、図３に示す画像上の壁９と壁１２の範囲に表れることはできない。したがって、この場合、画像第二領域（領域２ｂ）は、図３の画像の中から壁９と壁１２を除外した領域としてもよい。これにより、壁９と壁１２に現れるノイズにより誤判定してしまう可能性を防ぐことができる。また、画像第一領域（領域１ｂ）は、死角部分を除いた床８の領域である。尚、既に説明した通り、画像第二領域（領域２ｂ）には、床８の領域も含まれる。

図４は、エレベーターかご内に人が居る場合と居ない場合の例である。図４（ａ）は、エレベーターかご内に人物５が居る場合の画像で、図４（ｂ）は、エレベーターかご内に人物５が居ない場合の画像である。いずれの画像においても画像内に人物５が存在し、第一特徴部６も画像内に存在する。しかし、図４（ａ）においては床８上に人物５の足下が床８の一部を遮蔽または床８に影を落としまたは床８上に映り込みを生じる等により第二特徴部７が生じている。したがってこの場合は、人物５はエレベーターかご内に存在すると判定することができる。一方、図４（ｂ）では床８上に第二特徴部７が無いので、人物５はエレベーターかご外に存在すると判定することができる。

［装置構成の説明］
図５にエレベーター監視装置の一構成例を示す。エレベーター監視装置は、撮像部３と、画像処理部１８と、領域設定ツール１９とを有している。そして画像処理部１８は、画像監視装置として機能し、第一特徴部検出部２０と、かご内構造マップ保持部２１と、第二特徴部検出部２２と、判定出力部２３とを有している。尚、領域設定ツール１９は常時必要ではなく、撮像部３の設置時に、撮像部３と接続してかご内構造マップを作成して、かご内構造マップ保持部２１に保持させておけばよい。あるいは、画像処理部１８内に画像を一時記憶するメモリを設けて撮像部３の取得した画像を記憶してから、領域設定ツール１９を画像処理部１８に接続してかご内構造マップを作成してもよい。

ここで、かご内構造マップは、撮像部３で取得する画像の中で、画像第一領域（領域１ｂ）と画像第二領域（領域２ｂ）の範囲を定めた画像である。

エレベーター監視装置の監視動作においては、撮像部３で得たエレベーターかご内の画像は第一特徴部検出部２０と第二特徴部検出部２２で解析される。

第一特徴部検出部２０は、かご内構造マップ保持部２１の保持するかご内構造マップを参照して、領域２ｂ、すなわち、床８と、ドア１６を含む壁１０と、壁１１に該当する領域において、人物５の一部を示す第一特徴部６を検出し、撮像部３から順次送られる連続的な画像系列において第一特徴部６の位置の変化をトラッキングする。人物５の第一特徴部６としては、輪郭線の曲線部または折れ線部を用いることができる。射光や、開閉するドア縁の輪郭の多くは単純な直線で形成されるのに対して、床８上の立体物である人物５の輪郭には曲線部または折れ線部が含まれるからである。第一特徴部としては、例えば頭部や肩など、人物５の一部を検出すればよく、全身を検出する必要はないので、必ず全身を検出しなければならない方式に比べて検出精度を上げることができる。

第二特徴部検出部２２は、同じくかご内構造マップを参照して、領域１ｂ、すなわち、床８上の人物５に対応する痕跡、例えば、人物５が床８上に存在することによって生じる床８の部分的な遮蔽または影または映り込みを示す第二特徴部７検出する。より具体的には、人物５が無いことが保証されている時に撮影した床８の画像を基準として有し、撮像部３が新たに取得した画像との輝度分布の差、若しくは輪郭の差異を第二特徴部７とする。尚、第二特徴部７として、輪郭を用いると、画像の輝度変化の影響を受け難くなる。第二特徴部７は、領域１ｂ内における人物５の足下等の痕跡を示すものともいえる。第二特徴部７は、第一特徴部６と連続した領域として検出される必要はないので、必ず全身を検出しなければならない方式に比べて検出精度を上げることができる。

尚、かご内構造マップ保持部２１は、第一特徴部検出部２０または第二特徴部検出部２２に内蔵されていてもよい。

判定出力部２３は、第一特徴部検出部２０で検出された人物５の第一特徴部６と、第二特徴部検出部２２で検出された第二特徴部７の有無を確認し、これらが同時に存在する場合はエレベーターかご内に人物が存在すると判定し、同時に存在しない場合はエレベーターかご内には人物は存在しないと判定する。そして判定結果として有人信号あるいは無人信号を出力する。

尚、判定出力部２３は、第一特徴部６と第二特徴部７とが検出される（すなわち、両者が同時に存在する）という条件に加えて、さらにこれらの発生場所の整合性の確認を行うようにしてもよい。

図６は、判定出力部において、第一特徴部と第二特徴部の発生場所の整合性の確認を行う場合の例である。判定出力部２３において、第一特徴部６と第二特徴部７の発生場所の整合性の確認を行う場合は次のようにする。例えば、図６（ａ）と図６（ｂ）に示すように、第一特徴部検出部２０による第一特徴部６の中心から消失点１７を結んだ線分２４の範囲内に、第二特徴部検出部２２による第二特徴部７が存在する場合には、第二特徴部７は第一特徴部６に対応するものであるということができ、両者の位置は整合が取れているということができ、エレベーターかご内に人物が存在すると判定することができる。ここで、線分２４は第一特徴部６から昇降路の延びる方向、すなわち、実空間で鉛直な方向を示す線分である。尚、ここではる第一特徴部６の中心から消失点１７を結んだ線分２４を想定したが、第一特徴部６の中心に限られず、第一特徴部６の任意の場所から消失点１７を結んだ線分２４を用いて判断してもよい。

図７は、人物がエレベーターかご内には存在しない判定例である。図７（ａ）の例では、第一特徴部６と消失点１７を結ぶ線分２４の範囲外に、日射等の照明２５による反射２６が発生し、この反射２６を第二特徴部２６として検出している。この場合は、第一特徴部６と第二特徴部２６とが対応しておらず、整合が取れていないので、人物５はかご内には存在しないと判定することができる。図７（ｂ）の例では、日射等の照明２７により壁１１が局所的に明るくなって、第一特徴部２８が検出されたとしても、線分２４の範囲に第二特徴部７が無いので、第一特徴部検出部２０と第二特徴部検出部２２により検出された特徴は対応しないので整合せず、したがって、エレベーターかご内には人物５は存在しないと判定することができる。

尚、エレベーターかご内への外部からの日射が無いエレベーターの場合には、判定出力部２３による整合性の確認は省略することができる。このような環境下では、第二特徴部７が検出された場合には、エレベーターかご内の人物５によるものと確信的に決定することができる。この場合には、上記のような線分２４の範囲か否かの判定を省略して、第一特徴部６が検出されて、かつ、床８の領域内に第二特徴部７が有ればエレベーターかご内に人物５が存在すると判定することができる。すなわち、第一特徴部６と第二特徴部７とが検出されれば、第一特徴部６と第二特徴部７との位置関係を問わずエレベーターかご内に人物５が存在すると判定することができる。

この場合、第二特徴部７の有無の指標は、床８の領域内において、無人の時の基準画像と現画像との画素毎の輝度差を算出し、所定のしきい値以上に差異のある画素の数を計数し、計数値が所定のしきい値を超えたことをもって、第二特徴部７が有るとすることができる。

また、他の第二特徴部７の有無の指標として、現画像から検出された輪郭であって、基準画像に無い輪郭の量を計数し、所定のしきい値を超えることをもって、第二特徴部７が有るとすることができる。輪郭の量とは、例えば、基準画像および現画像に対してソーベルフィルタ等の画素間の差分若しくは微分によってエッジ（輪郭とも言う）を強調してから二値化して、エッジに該当する領域であって二値化しきい値を超える画素数を輪郭の量とすることができる。

このように、本発明のエレベーター監視装置は、第一特徴部６が存在して、かつ、第二特徴部７が生じていることを、エレベーターかご内に人物５が存在すると判定するための必要条件としている。このため、単に床上に足が検出されるか否かで人の有無を判定する方式よりも、第二特徴部７の検出方法を単純化して検出しやすくすることができるので失報が減らせ、良好に動作させることができる。また、足下候補と認定する条件を上記のようにエッジの画素数を指標とするなどのような単純化をした結果、床８に対する若干の反射等のノイズに対して第二特徴部７の誤検出（過検出）があっても、第一特徴部６とともに最終判断を行うので、人物５の誤検出（過検出）による誤報を抑制できる。

更に、上記のように、消失点１７を基準として第一特徴部６と第二特徴部７の位置的整合を取るようにすると、日射等による強い反射に対しても誤報を抑制することができる。

また、実施例１のエレベーター監視装置では、図１５に示すように、判定出力部２３での判定結果が入力されエレベーターを制御する図示しないエレベーター制御部を有するようにしてもよい。

次に、図５に示されるポイント指示部２９とマップ作成部３０とを有する領域設定ツール１９の説明をする。領域設定ツール１９は、本発明のエレベーター監視装置に常時組み込まれている必要は無く、例えば、ハンディパソコンなど、モニタ（図示せず）と、キー入力デバイスやポインティングデバイスなどの入力インタフェース（図示せず）と、演算器（図示せず）と、メモリ（図示せず）を備える携帯端末に構築することができる。

図８は、エレベーターかご内の領域設定の例である。エレベーターかご内に撮像部３を設置した後に、少なくとも一回、領域設定ツール１９を撮像部３に接続する。そうすると、例えば図８に示すようなエレベーターかご内の映像が得られる、これを領域設定ツール１９のモニタに表示する。そして、ポイント指示部２９の入力インタフェースを使って、ドア１６の四隅であるポイント３１から３４を順次指示し、画像における各ポイントの座標値をマップ作成部３０のメモリに取得する。ここで、ドア１６は、本来は長方形であるが、撮像部３の結像作用で透視変換されていて、上述のように昇降路下方に向かって幅が狭くなっていく。次にマップ作成部３０の演算器でポイント３１とポイント３４を結ぶ直線と、ポイント３２とポイント３３を結ぶ直線の交点を算出し、これが消失点１７となる。

図９は、天井隅とやや中央よりに撮像部を設置して取得した画像の例である。

図８の例ではエレベーターの天井は正方形または長方形であって、ドア１６のある壁１０に対向する壁１２と、その隣りの壁９と、天井とが作る角に撮像部３が設置されている。このような場合、天井と同形の床の隅は少なくも三点は画像の視野内にあるので、これらの三点をそれぞれ、ポイント３５から３７として、ポイント指示部２９の入力インタフェースを使って順次指示して、メモリに取得する。このように直方体のエレベーターかごの天井隅に撮像部３を設置して取得した画像において、画像視野から外れる床の隅は消失点１７に一致する。これを図９（ａ）に示す。すなわち、前記画像視野から外れた四つ目の隅は消失点１７に一致する。ドットパターンで示した領域である４０は、撮像部３の死角領域４０である。透視投影変換により死角領域４０が実際よりも大きく拡大される。また、消失点１７とポイント３５を結んだ直線が画像視野の枠と交わるポイントを４１とし、消失点１７とポイント３７を結んだ直線が画像視野の枠と交わるポイントを４２とする。以上の設定処理により、ポイント４１、消失点１７、ポイント４２が成す角の内側で、かつ、画像外にある死角領域４０を除く領域が、領域２ｂとなり、床８の領域が領域１ｂとなる。尚、領域２ｂには、床８の領域も含まれている。床８の領域は、消失点１７、ポイント３５から３７が形成する四角形の中で、画像外にある死角領域４０を除く領域である。前述の通り、壁９と壁１２は領域２ｂから外れる。

また、撮像部３を前記天井の隅よりも中央方向に移動させた位置に設置して画像を得ると、図９（ｂ）のようになる。この場合、ポイント３１から３４から算出される消失点１７と死角領域４０にある床隅の一つは一致しない。そのため、死角領域４０にある床隅の一つを示すポイント４３を画像の視野外に想定してその位置を構成できるようにしなければならない。この場合、ポイント４３の位置を調整して、ポイント３５とポイント４３を結ぶ線分を床縁３８に一致させ、ポイント３７とポイント４３を結ぶ線分を床縁３９に一致させるようにしなければならない。そして、図９（ａ）に基づいて説明した時と同様に、領域２ｂと領域１ｂが決まる。ただし、この場合は壁９と壁１２の領域を消失点１７を利用して除外するのは困難なので、領域２ｂは画面全体とする。

現実の撮像部３では、レンズの樽型歪によって、図３や図９のような作図とは完全に一致することは無い。しかし、樽型歪を補正してから画像処理すればこのような不一致は解消できる。しかし、本実施例のエレベーター監視装置に用いる多くの場合、樽型歪みによって生じる作図とのずれが検出精度に与える影響はあまり大きくないので、樽型歪で作図が多少ずれていても問題はない。

以上説明した領域設定ツール１９の作用によりかご内構造マップが作成される。かご内構造マップの作成後に、領域設定ツール１９を一時的にかご内構造マップ保持部２１に接続して保存させることができる。第一特徴部検出部２０と第二特徴部検出部２２にとっては、領域２ｂと領域１ｂ以外の領域は処理対象外の領域である。したがって、これらのいずれにも属さない壁９と壁１２内に、射光に基づく輪郭が発生しても第一特徴部検出部２０と第二特徴部検出部２２と判定出力部２３には何ら影響を与えず、誤検出は起こさない。

［処理フローの説明とかご内構造マップの例］
図１０は、エレベーター監視装置の動作のフローチャートの例である。以上説明した構成による本実施例のエレベーター監視装置の動作を図１０のフローチャートで説明する。本実施例のエレベーター監視装置の一例は、電源投入によって処理を開始し、メモリ初期化処理（ステップｓ４０）をする。次にかご内構造マップ作成（ステップｓ４１）をするが、これは領域設定ツール１９が作成した各ポイント（ポイント３１から３７、消失点１７、ポイント４１、ポイント４２）の座標データをダウンロードしてこれに基づいてかご内構造マップを作成しても良いし、あるいは、領域設定ツール１９が作成したかご内構造マップをダウンロードしても良い。かご内構造マップは、例えば、図１１に示すデジタル画像とすることができる。ここで、例えば、無地白色の領域には０が、斜線領域には１９６が、ドット領域には２５５の数値が割りつけられていて、２５５の領域が領域１ｂで、１９６以上の領域（２５５の領域を含む）が領域２ｂである。

以上のステップが前処理ステップであり、実稼働においては、動画のサイクル毎に、ステップｓ４２からステップｓ４８の動作を繰り返し、ステップｓ４９にて、電源のオフや終了割込みが検出された場合に限り終了することとし、それ以外の場合は画像取得（ステップｓ４２）に戻る。第一特徴部検出（ステップｓ４３）と第二特徴部検出（ステップｓ４４）はそれぞれ、第一特徴部検出部２０と第二特徴部検出部２２で行うが、パソコン等ソフトウェアで順次行う場合には何れを先に実施するようにも設計することができる。第一特徴部検出と第二特徴部検出が終わってから、判定出力部２３で第一特徴部６と第二特徴部７の検出結果に基づいて有人であるかを総合判定し、第一特徴部６と第二特徴部７との両方が検出された場合、あるいは、さらに必要に応じて消失点１７を用いて両者の位置的整合性まで検証して有人と判定された場合は‘真’として有人判定となる（ステップｓ４７）。一方、第一特徴部６または第二特徴部７が検出されない場合、あるいは、さらに必要に応じて両者が検出されたものの位置的整合まで検証して整合が取れない場合は、無人と判定して無人判定となる（ステップｓ４６）。判定出力部２３は、判定出力（ステップｓ４８）において、前段のステップｓ４７又はステップｓ４６の結果を出力する。

［第一特徴部と第二特徴部の検出例］
次に、第一特徴部検出部２０において人物を検出して、第一特徴部を保持する一例を説明する。図１２は、第一特徴部検出の一例であり、人物検出の一例を表す概念図である。図１２（ａ１）、図１２（ａ２）、図１２（ａ３）は、人物４４Ａ、４４Ｂ、４４Ｃがエレベーター入口から搭乗するときの時系列デジタル画像の例であって、図１２（ａ１）から図１２（ａ３）に向けて時間が経過していく。図１２（ａ１）から図１２（ａ３）に表れる人物は同一人物であるが、時間経過に伴って輝度パターンが変化していくので、説明の都合上４４Ａ、４４Ｂ、４４Ｃと命名する。

図１２（ｂ１）は、図１２（ａ１）の画像（フレームともいう）と図１２（ａ２）の画像の画素毎の輝度差分絶対値からなる画像であって、いわゆるフレーム間差分画像である。破線で示す人物４４Ａと実線で示す人物４４Ｂと、フレーム間差分の領域（格子パターン領域）の関係を示している。同様に、図１２（ｂ２）は、図１２（ａ２）の画像と図１２（ａ３）の画像のフレーム間差分画像であって、破線で示す人物４４Ｂと実線で示す人物４４Ｃと、フレーム間差分の領域（格子パターン領域）の関係を示している。図１２（ｂ１）と図１２（ｂ２）はグレースケール画像でもよく、適当なしきい値で二値化した後であってもよい。適当なしきい値としては、図１２（ｂ１）と図１２（ｂ２）に表れる人物において、必ずしも全身が連結して検出される必要はない。しかし、頭部、肩部、腰部等の曲線または折れ線の輪郭が分裂しすぎて曲線または折れ線と認められなくなるほど細分化されない程度には固まって検出できる値としてしきい値を定めた方がよい。以後、これを不適当な程に細分化されないで検出されるしきい値と表現する。人物の輪郭線よりも内側のパターンに輝度の差異が乏しい場合には、二値化後の図１２（ｂ１）と図１２（ｂ２）のパターンに穴が開くことがあるが、本実施例での検出においては影響は無い。

図１２（ｃ１）の抽出パターン４４Ｄと図１２（ｃ２）の抽出パターン４４Ｅは、それぞれ、図１２（ｂ１）と図１２（ｂ２）の抽出パターン（格子パターン領域で示した領域）に膨張処理または最大値処理を加えたものである。図１２（ｂ１）と図１２（ｂ２）が二値化後であれば膨張処理が行われるし、グレースケール画像の場合は最大値処理が行われる。

図１３は、処理カーネルが３×３の場合の例である。膨張処理は、例えば図１３に示すような処理カーネルで隣接画素を参照して行われる。図１３は処理カーネルが３×３の場合で、元の画像に対して、注目画素Ｃに隣接する画素（１〜８を付した画素）を参照して、これらの値に応じて、変換後の画像における注目画素Ｃの値を決める。いわゆる４連結膨張処理の場合は、注目画素Ｃが０（非物体）であって、これに隣接する２、４、６、８のいずれかの番号を付した画素に一つでも２５５（物体）があれば、注目画素Ｃを２５５（物体）に置き換える処理である。また、いわゆる８連結膨張処理の場合は、注目画素Ｃが０（非物体）であって、これに隣接する１、２、３、４、５、６、７、８いずれかの番号を付した画素に一つでも２５５（物体）があれば、注目画素Ｃを２５５（物体）に置き換える処理である。

最大値処理も図１３に示すような隣接画素を参照して行われる。いわゆる４連結最大値処理の場合は、注目画素Ｃとこれに隣接する２、４、６、８のいずれかの番号を付した画素の最大輝度値を注目画素Ｃの値とする変換処理である。また、いわゆる８連結最大値処理の場合は、注目画素Ｃとこれに隣接する１、２、３、４、５、６、７、８いずれかの番号を付した画素の中の最大値を注目画素Ｃの値とする変換処理である。膨張処理や最大値処理により、物体とその周辺の輝度値が大きく膨らむ。

尚、この２５５（物体）の画素は、何らかの物体が存在する画素であることを意味しており、人物候補である。

膨張処理または最大値処理に続いて、画像間論理積処理または画像間最小値処理をする。

図１２（ｃ１）と図１２（ｃ２）が二値化された画像のときは画像間論理積処理をして、グレースケール画像のときは画像間最小値処理をする。画像間論理積とは、図１２（ｃ１）と図１２（ｃ２）の対応する画素が双方とも２５５（物体）の場合のみ、当該画素を２５５（物体）とし、それ以外は０（非物体）とする処理で、出力される画像は二値画像である。画像間最小値処理とは、図１２（ｃ１）と図１２（ｃ２）の対応する画素の輝度の小さい方の値で変換する処理で、出力画像はグレースケールである。この場合は更に、適当なしきい値で二値化する必要がある。ここで、適当なしきい値とは判別分析法で求めたしきい値でもよく、その他上述のように不適当な程に細分化されないで検出されるしきい値を選んでもよい。

図１２（ｄ１）の格子パターン領域は、図１２（ｃ１）の抽出パターン４４Ｄと図１２（ｃ２）の抽出パターン４４Ｅの画像間論理積処理または画像間最小値処理後の二値化画像である。図１２（ｄ１）の格子パターン領域を作る際の適当なしきい値とは、図１２（ｄ１）に表れる物体が不適当な程に細分化されず、また、低すぎてノイズに埋もれない程度の値とすることが好ましく、例えば判別分析法で選んでもよい。以上の処理により出力は二値画像となっており、続いてラベル処理を行う。

ラベル処理は二値化された画像に対してする処理であり、４連結または８連結の条件を満たす画素群を一つの物体と見なして一つのラベルを付す処理である。ラベル処理により物体（人物）に外接する外接矩形を描くことができる。図１２（ｄ２）における矩形４５は以上説明した一連の処理の結果検出された物体（人物）の外接矩形である。こうして検出された物体（人物）は、図１２（ｄ３）に示すように、図１２（ａ１）から図１２（ａ３）の３つの時系列画像の中間の画像である図１２（ａ２）の物体（人物）の位置と概ね一致する。

以上、第一特徴部検出部２０が、第一特徴部を有する人物候補を検出する一例を示した。次いで、検出された人物候補から、頭部、肩部、腰部等の曲線または折れ線状の輪郭を有する部分を検出する。そして更に第一特徴部を、進行していく時系列画像に亘って保持していくために、第一特徴部をテンプレートとするパターンマッチング技術を用いる。パターンマッチング技術としては周知の相関演算を用いるもの（正規化相関法）や、対応する画素値の差異絶対値の総和が最小になるように探査するものがある。

図１４は、テンプレートの取得例である。図１４（ａ）は外接矩形４５の人物において、第一特徴部として検出し、保持する領域である矩形４６（テンプレート取得範囲）が検出された例である。矩形４６の有する座標に基づいて、図１４（ｂ）に示す時系列画像からテンプレートとして取得する画像は、図１４（ｂ）において、破線矩形４６で示す部分画像である。矩形４６の定め方は、例えば頭部を検出するために、外接矩形４５の上部の所定の面積と予め決めておいてもよい。あるいは、人物の輪郭が密に集中する領域を選択するようにしてもよい。図１４（ｂ）の人物４４Ｂは表現の都合上格子パターンで示しているが、実際は被写体の凹凸や色彩に起因する濃淡画像である。そこで、よく知られた輪郭検出処理を施すと、例えば、図１４（ｃ）に示すような曲線部または折れ線部の多い輪郭が抽出される。この輪郭が密な部分を中心に、予め決めておいた大きさの画像をテンプレートとして取得するようにしてもよい。エレベーターかご内の画像は、撮像部３で上方から撮影することと、上方から照明していることにより、一般的に、足下よりも頭部の方が精細でコントラストがよく、したがって、輪郭も密に抽出しやすい。輪郭を検出するフィルタとして、例えば、図１４（ｄ）に示すソーベルフィルタがある。これらのフィルタを順次施して、得られた輪郭の論理和をとると、濃淡画像の輪郭が、４５度間隔で８通り３６０度方向の近似輪郭が得られる。

矩形４６は第一特徴部に該当するため、第一特徴部検出部２０は、人物の一部を示す第一特徴部４６の検出の有無や、第一特徴部４６の座標などの位置情報を出力する。以上、搭乗しようとする人物を例にとって、第一特徴部検出部２０がする処理の具体例を説明した。

第二特徴部検出部２２の処理については、画像第一領域（領域１ｂ）すなわち、床８の範囲に、例えばソーベルフィルタ等を使って、人物の存在によって生じる遮蔽、影、映り込み等によって現われる輪郭を検出する。これが第二特徴部となる。第二特徴部検出部２２は、第二特徴部の検出の有無や、第二特徴部の座標などの位置情報を出力する。

次に、図１５を参照しながら、エレベーター監視装置の実施例２を説明する。実施例２のエレベーター監視装置は、撮像部３と、画像処理部１８と、エレベーター制御部４７と、かご内操作盤４８とを有する。

エレベーター故障や地震等の不測の事態により、利用者がエレベーター管理者と直接連絡を取りたい場合がある。このようなとき、エレベーターかご内の利用者はかご内操作盤４８の緊急通話ボタンを押すことにより、エレベーター管理者と直接話ができるようになる。しかし、多くの場合、緊急通話ボタンは利用者の誤操作による場合が多い。誤って緊急通話ボタンを押した利用者は、そのままエレベーターかご外へ出ていってしまうことが多い。そうするとエレベーター管理者は、エレベーターかご内は無人であるにも関わらず、一定時間の間、エレベーターかご内に向かって呼びかけなければならない。これはエレベーター管理者の業務効率を著しく落とすことになる。

そこで、実施例２では、緊急通話ボタンが押された後に、エレベーター制御部４７が、画像処理部１８から無人判定の出力を得た時は、エレベーター制御部４７が、エレベーターかご内が無人であることをエレベーター管理者に通知するようにしたものである。

このような構成にすることで、緊急通話ボタンの誤操作を直ちにキャンセルすることができ、エレベーター管理者の業務効率の低下を防止することができる。

次に、図１５を参照しながら、エレベーター監視装置の実施例３を説明する。実施例３のエレベーター監視装置は、撮像部３と、画像処理部１８と、エレベーター制御部４７と、かご内操作盤４８と、診断運転管理部４９とを有する。

一般に、遠隔診断機能を有するエレベーターは、診断運転管理部４９に該当する部分と、かご内操作盤４８に該当する部分とを備え、エレベーターかご内からのボタン押し操作が、たとえば３０分以上無い場合に、診断用の自動運転をし、ブレーキ性能の診断や振動計測などをして診断情報を収集している。しかし、都内の雑居ビル等の昼夜を問わず散発的に利用者のあるエレベーターでは、診断用の自動運転をすることができないという課題があった。

そこで、実施例３では、エレベーター制御部４７が画像処理部１８から、かご内無人信号を得た時は、スケジュールによって診断用の自動運転をすべき期間に入っている時は、診断運転管理部４９が保持する自動診断運転手順に従って診断用の自動運転をする構成である。

このような構成をとることで、かご内無人の期間を有効に使って診断運転をすることができる。また、診断用の自動運転に入ろうとする瞬間または自動運転中にかご内操作盤４８に何らかの操作があった場合は、エレベーターかご内に人物が居ることを意味するから、診断用の自動運転を即時中止する構成とすることもできる。

次に、図１５を参照しながら、エレベーター監視装置の実施例４を説明する。実施例４のエレベーター監視装置は、撮像部３と、画像処理部１８と、エレベーター制御部４７とを有する。

一般的なエレベーターは、目的階で利用者が降車すると、例えば１５秒など所定の時間経過後にドア閉じをし、他の階床の呼びに応答する。

そこで、実施例４においては、エレベーター制御部４７は、画像処理部１８からエレベーターかご内は無人であるとの信号を得ると所定の時間経過を待たずに速やかにドア閉じ動作をし、他の階の呼びがある場合には即座に応答して目的階に移動する。

このような構成にすることで、利用者が降車してエレベーターかごが無人になった場合に、即座に次の呼びに応答することができ、エレベーター運転効率化に寄与することができる。

また、エレベーター制御部４７が画像処理部１８から無人信号を得た場合には、エレベーターかご内は無人であって、乗客の乗り心地を考慮する必要は無いので、エレベーター制御部４７は急加速急制動をして目的階に向かうようにしてもよい。これにより、迅速に呼び応答することができるという効果がある。

次に、図１５を参照しながら、エレベーター監視装置の実施例５を説明する。実施例５のエレベーター監視装置は、撮像部３と、画像処理部１８と、エレベーター制御部４７とを有する。

一般的なエレベーターは、目的階で利用者が降車すると、例えば１５秒など所定の時間経過後にドア閉じをし、その後、例えば３分間以上など利用者からの呼びが無ければ、エレベーターかご内を消灯して節電する。

そこで、実施例５においては、エレベーター制御部４７は、画像処理部１８から無人信号を受信した時には、所定の時間経過を待たずにエレベーターかご内の照明を消灯する制御をすることができる。このような動作をすることで、無駄な照明エネルギーを節約することができる。

次に、図１５を参照しながら、エレベーター監視装置の実施例６を説明する。実施例６のエレベーター監視装置は、撮像部３と、画像処理部１８と、エレベーター制御部４７と、かご内操作盤４８と、行先階登録保持部５０とを有する。

利用者がかご内操作盤４８のボタンを押して複数の行先階を設定した後に、途中で降車した場合、一般的なエレベーターは、呼び応答する際にもかご内操作盤４８で設定された行先階で停止してドアの開閉をしている。

そこで、実施例５においては、エレベーター制御部４７は、画像処理部１８から無人信号を受信すると、かご内操作盤４８の操作によって設定された行先階登録保持部５０に登録済みの行先階を全て取り消す処理をする。この動作によって、不要な階床での停止とドア開閉動作の時間を削減して、呼び応答に迅速に対応することができる。

以上、本発明の実施例を説明してきたが、これまでの各実施例で説明した構成はあくまで一例であり、本発明は、技術思想を逸脱しない範囲内で適宜変更が可能である。また、それぞれの実施例で説明した構成は、互いに矛盾しない限り、組み合わせて用いても良い。

１ａ…領域１ａ（空間第一領域）
２ａ…領域２ａ（空間第二領域）
３…撮像部
１ｂ…領域１ｂ（画像第一領域）
２ｂ…領域２ｂ（画像第二領域）
５…人物
６…第一特徴部
７…第二特徴部
８…床
９〜１２…壁
１３〜１５…交線
１６…ドア
１７…消失点
１８…画像処理部
１９…領域設定ツール
２０…第一特徴部検出部
２１…かご内構造マップ保持部
２２…第二特徴部検出部
２３…判定出力部
２４…線分
２５…日射等の照明
２６…反射、第二特徴部
２７…日射等の照明
２８…第一特徴部、日射
２９…ポイント指示部
３０…マップ作成部
３１〜３４…ドア四隅ポイント
３５〜３７…床ポイント
３８、３９…床縁
４０…死角領域
４１、４２…画像視野の枠と交わるポイント
４３…視野外に想定したポイント
４４Ａ、４４Ｂ、４４Ｃ…人物
４４Ｄ、４４Ｅ…抽出パターン
４５…外接矩形
４６…テンプレート取得範囲（第一特徴部）
４７…エレベーター制御部
４８…かご内操作盤
４９…診断運転管理部
５０…行先階登録保持部

Claims (12)

1. ある面上の閉じた領域を空間第一領域とし、前記空間第一領域の鉛直上方の空間を空間第二領域とし、前記空間第二領域内に前記空間第一領域を俯瞰するように設置された撮像部で得られる画像を処理する画像監視装置において、
   前記画像に映った前記空間第二領域を画像第二領域とした場合に、前記画像第二領域内において人物の一部を示す第一特徴部を検出する第一特徴部検出部と、
   前記画像に映った前記空間第一領域を画像第一領域とした場合に、前記画像第一領域内において前記人物により生じた前記空間第一領域の遮蔽または影または映り込みを示す第二特徴部を検出する第二特徴部検出部と、
   前記第一特徴部検出部と前記第二特徴部検出部の検出結果に基づいて前記空間第二領域内に前記人物が存在する有人であるか前記人物が存在しない無人であるかを判定するとともに、少なくとも前記第一特徴部と前記第二特徴部とが検出されることを必要条件として有人であると判定する判定出力部とを有することを特徴とする画像監視装置。
2. 請求項１に記載の画像監視装置と、前記撮像部と、前記判定出力部での判定結果が入力されエレベーターを制御するエレベーター制御部とを備え、
   前記空間第二領域がエレベーターかご内の空間であり、前記空間第一領域が前記エレベーターかごの床であり、前記撮像部が前記エレベーターかご内に設けられた監視カメラであることを特徴とするエレベーター監視装置。
3. 前記判定出力部は、前記第一特徴部または前記第二特徴部が検出されない場合には、前記エレベーターかご内が無人であると判定することを特徴とする請求項２に記載のエレベーター監視装置。
4. 前記判定出力部は、前記第一特徴部と前記第二特徴部とが検出された場合には、前記第一特徴部と前記第二特徴部との位置関係を問わず、前記エレベーターかご内が有人であると判定することを特徴とする請求項２または３に記載のエレベーター監視装置。
5. 前記判定出力部は、前記第一特徴部と前記第二特徴部とが検出され、かつ、前記第一特徴部の位置とエレベーターの昇降路の長手方向の消失点とを結んだ線分の範囲内に前記第二特徴部が存在する場合には、前記エレベーターかご内が有人であると判定することを特徴とする請求項２または３に記載のエレベーター監視装置。
6. 前記判定出力部は、前記第一特徴部と前記第二特徴部とが検出されたが、前記第一特徴部の位置とエレベーターの昇降路の長手方向の消失点とを結んだ線分の範囲内に前記第二特徴部が存在しない場合には、前記エレベーターかご内が無人であると判定することを特徴とする請求項５に記載のエレベーター監視装置。
7. 前記撮像部で得られる画像において、エレベーターの昇降路の長手方向の消失点から前記画像第一領域に向けて任意の半直線を引いたとき、前記半直線が通り得る範囲を前記画像第二領域とすることを特徴とする請求項２から６の何れかに記載のエレベーター監視装置。
8. 前記エレベーターかご内に緊急通話ボタンを備えたかご内操作盤を有し、
   前記エレベーター制御部は、前記エレベーターの利用者が前記緊急通話ボタンを押してから降車した場合において、前記判定出力部が前記エレベーターかご内が無人であると判定した場合には、前記エレベーターかご内が無人であることをエレベーター管理者に通知することを特徴とする請求項２から７の何れかに記載のエレベーター監視装置。
9. 前記エレベーターの診断運転管理部を有し、
   前記エレベーター制御部は、前記判定出力部が前記エレベーターかご内が無人であると判定した場合には、前記診断運転管理部が保持する自動診断運転手順に従って診断用の自動運転をすることを特徴とする請求項２から８の何れかに記載のエレベーター監視装置。
10. 前記エレベーター制御部は、前記判定出力部が前記エレベーターかご内が無人であると判定した場合には、速やかに前記エレベーターのドアを閉じて、他の階床からの呼びに応答して目的階に移動することを特徴とする請求項２から９の何れかに記載のエレベーター監視装置。
11. 前記エレベーター制御部は、前記判定出力部が前記エレベーターかご内が無人であると判定した場合には、前記エレベーターかご内の照明を消灯することを特徴とする請求項２から１０の何れかに記載のエレベーター監視装置。
12. 前記エレベーターかご内に設けられたかご内操作盤と、前記かご内操作盤の操作によって設定された行先階が登録される行先階登録保持部とを有し、
    前記エレベーター制御部は、前記判定出力部が前記エレベーターかご内が無人であると判定した場合には、前記行先階登録保持部に登録された前記かご内操作盤の操作によって設定された行先階を全て取り消すことを特徴とする請求項２から１１の何れかに記載のエレベーター監視装置。