JP2011173707A

JP2011173707A - 戸開閉検出装置及び戸開閉検出方法

Info

Publication number: JP2011173707A
Application number: JP2010040251A
Authority: JP
Inventors: Yuichi Izuhara; 優一出原; Hirobumi Nishikawa; 博文西川; Masatake Akane; 正剛赤根
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2010-02-25
Filing date: 2010-02-25
Publication date: 2011-09-08
Anticipated expiration: 2030-02-25
Also published as: JP5590915B2

Abstract

【課題】映像中の戸の位置に影響されることなく、確実に戸開閉の検知を行うことのできる戸開閉検出装置を得る。
【解決手段】動きベクトル算出部３１７は、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する。動きベクトル群重心位置推定部３０２は、近傍の似た動きベクトルを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する。検出結果判定部３０３は、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する。
【選択図】図３

Description

本発明は、動画像信号を入力とし、映像処理を行って戸開閉の有無を検出し、その戸開閉の有無情報を出力する戸開閉検出装置及び戸開閉検出方法に関するものである。

近年、犯罪防止の観点から、ビル管理においても犯罪を抑止する効果を期待し、監視カメラの普及が進んでいる。特にエレベータや自動ドアに監視カメラを取り付ける場合が多い。このような監視カメラには録画装置が接続されており、監視映像を録画するのが一般的であるが、録画に要する記録容量に限界があることから、有意な監視映像だけを厳選して録画することで記録容量を有効に使い、録画時間を長時間化したいという要求がある。

エレベータの監視カメラを利用した監視装置として、例えば特許文献１に記載されたものがあり、この文献にはカメラ映像による乗客検知方法、戸開閉検知方法が示されている。このように乗客や戸開閉を自動で検知することで、録画すべき監視映像としての有意性を自動的に判断にすることを可能としている。

特開２０００−２３８９６８号公報

上記特許文献１に示されたような従来の戸開閉検出方法では、エレベータの戸に動きセンサ等を設置し戸開閉検出する場合、エレベータの機種ごとに仕様が異なる制御盤の改修が必要であり、設計・制作・手配・在庫管理等、様々な場面で余計なコストがかかる、という問題を解決するために、制御盤の改修が不要となるような、画像処理を用いた戸開閉検出を行っている。それは画像中のエレベータの戸の上部付近のごく小さな固定領域において、その部分は人が通らないことを前提として背景差分法を用いて戸開閉を検出するようにしたものである。しかしながら、一般にエレベータの監視カメラは、エレベータかごの奥隅角に斜め下方向きで設置されることが多く、そのエレベータ上部付近自体が、監視カメラの設置位置次第で写らないことが多いという問題があった。また、仮に写ったとしても、カメラ設置後に固定領域を手動で設定する必要がある上、背の高い人物が固定領域部分を覆ってしまうことも考えられ、誤検知の原因となりうるという課題もあった。

この発明は上記のような課題を解決するためになされたもので、映像中の戸の位置に影響されることなく、確実に戸開閉の検知を行うことのできる戸開閉検出装置及び戸開閉検出方法を得ることを目的とする。

この発明に係る戸開閉検出装置は、戸の映像が含まれる各ピクチャを入力とし、戸開閉の有無を検出する戸開閉検出装置であって、複数のピクチャを入力とし、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する動きベクトル算出部と、動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部と、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部を備えるものである。

この発明の戸開閉検出装置は、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定するようにしたので、映像中の戸の位置に影響されることなく、確実に戸開閉の検知を行うことができる。

この発明の実施の形態１〜５に係る戸開閉検出装置が適用されるエレベータのかごを模式的に示す説明図である。この発明の実施の形態１に係る戸開閉検出装置の入出力の構成を示す説明図である。この発明の実施の形態１に係る戸開閉検出装置の内部構成図である。この発明の実施の形態１〜５に係る戸開閉検出装置が適用されるエレベータかご内部の映像例を示す説明図である。この発明の実施の形態１〜４に係る戸開閉検出装置が適用されるエレベータかご内部の動きベクトル分布例を示す説明図である。この発明の実施の形態１〜４に係る戸開閉検出装置が適用されるエレベータかご内部の動きベクトル分布をグルーピングする例を示す説明図である。この発明の実施の形態１に係る戸開閉検出装置の動作を示すフローチャートである。この発明の実施の形態１〜４に係る戸開閉検出装置のベクトル評価部におけるベクトル水平成分の評価値を示す説明図である。この発明の実施の形態１〜５に係る戸開閉検出装置のベクトル評価部におけるベクトル垂直成分の評価値を示す説明図である。この発明の実施の形態１に係る戸開閉検出装置の再帰的距離評価部における評価値を示す説明図である。この発明の実施の形態１に係る戸開閉検出装置の近傍ベクトル類似度評価部におけるブロック位置と係数の関係を示す説明図である。この発明の実施の形態１に係る戸開閉検出装置の距離評価部における評価値を示す説明図である。この発明の実施の形態２に係る戸開閉検出装置の入出力の構成を示す説明図である。この発明の実施の形態２に係る戸開閉検出装置の内部構成図である。この発明の実施の形態２に係る符号化ピクチャの構成例を示す説明図である。この発明の実施の形態３、４に係る戸開閉検出装置の入出力の構成を示す説明図である。この発明の実施の形態３に係る戸開閉検出装置の内部構成図である。この発明の実施の形態４に係る戸開閉検出装置における録画データ処理部の内部構成図である。この発明の実施の形態５に係る戸開閉検出装置が適用されるエレベータかご内部の動きベクトル分布例を示す説明図である。この発明の実施の形態５に係る戸開閉検出装置が適用されるエレベータかご内部の動きベクトル分布をグルーピングする例を示す説明図である。この発明の実施の形態５に係る戸開閉検出装置のベクトル評価部における動きベクトル水平成分の評価値を示す説明図である。

実施の形態１．
以下、この発明の実施の形態１について説明する。本実施の形態１では、戸開閉検出の例として、図１で示すようなエレベータを例として説明を行う。図１はエレベータのかご１０１、エレベータの戸１０２、エレベータの乗客１０３、エレベータのかご内部の監視カメラ１０４を模式的に示す説明図である。監視カメラ１０４は、エレベータのかご１０１内の奥側上隅部に戸１０２方向を撮影するよう設置されている。また、図２に示すような形で、戸開閉検出装置２０１が接続されており、エレベータのかご１０１内部の監視映像である動画像信号２０４を戸開閉検出装置２０１へ出力するよう構成されている。

戸開閉検出装置２０１は、動画像信号２０４を入力とし、戸開閉検出の判定を行い、戸開閉検出結果信号／動画像信号／動きベクトル分布のセット２０５を録画装置２０２に対して出力する。録画装置２０２は、戸開閉検出結果信号／動画像信号／動きベクトル分布のセット２０５を入力とし、戸開閉検出結果信号に基づき、Ｍｏｔｉｏｎ−ＪＰＥＧやＭＰＥＧ等をはじめとする国際標準映像符号化方式で圧縮符号化を行い、録画データ２０３として蓄積する。

図３に、本実施の形態１における戸開閉検出装置２０１の内部ブロックを示す。戸開閉検出装置２０１は、動画像信号処理部３０１、動きベクトル群重心位置推定部３０２、検出結果判定部３０３、動画像信号保存用メモリ３０４、動きベクトル分布保存用メモリ３０５を備えている。先ず、戸開閉検出装置２０１における戸開閉検出の原理を説明する。

図４は、図１の監視カメラ１０４でエレベータのかご１０１の内部を撮影した映像の例である。戸１０２は閉まっている状態であり、乗客１０３が乗っている状態である。戸１０２は両開きの戸であるとする。乗客１０３の目的のフロアに到着した際に、戸１０２が開き乗客１０３がエレベータから降りようとするため、映像内の局所的な動きベクトルを算出する映像処理を行うことで、図５に示すような動きベクトルが検出される。乗客１０３から見て左の戸の動きベクトル５０１、右の戸の動きベクトル５０２、乗客の動きベクトル５０３が図５に示されるように検出される。

この時、似た動きベクトルをグルーピングすることを考えると、図６のようにグルーピングすることになる。図面上の水平方向右向きをプラス、水平方向左向きをマイナスとすると、左の戸の動きベクトル５０１をグルーピングしたマイナスベクトルグループ６０１、右の戸の動きベクトル５０２をグルーピングしたプラスベクトルグループ６０２、乗客の動きベクトル５０３をグルーピングしたベクトルグループ６０３の３種類のベクトルグループが出来る。この時、戸１０２は両開きの戸であるため、左の戸の動きベクトル５０１をグルーピングしたマイナスベクトルグループ６０１と右の戸の動きベクトル５０２をグルーピングしたプラスベクトルグループ６０２に内包されている動きベクトルは、互いに逆向きとなる。また、その動きベクトルの分布は、動きベクトルの向きの法線方向に長く分布する分布形状となる。つまり、動きベクトルの分布状況を解析し、このような一対の動きベクトル群を検出した場合に戸開閉動作であると判定することが戸開閉検出の原理である。

図７は、本実施の形態１の戸開閉検出装置２０１の動作を示すフローチャートである。先ず、映像処理を行い映像内の局所的な動きベクトルを算出し、動きベクトルの分布を算出する（ステップＳＴ７０１）。次に、動きベクトルをグルーピングするための前準備として、ステップＳＴ７０１で算出された動きベクトル分布を元に各動きベクトルグループの重心位置を推定する（ステップＳＴ７０２）。そして、ステップＳＴ７０２で推定された重心位置を元に、動きベクトルグループが図６のベクトルグループ６０１、６０２に示したような逆向き一対で法線方向に長い分布を持つかどうかの評価値を算出する（ステップＳＴ７０３）。更に、ステップＳＴ７０３で算出された評価値を元に戸開閉検出の判定を行う（ステップＳＴ７０４）。これらのＳＴ７０１〜ＳＴ７０４で戸開閉検出を行う。ここで、図７のフローチャートにおけるステップＳＴ７０１が図３の動画像信号処理部３０１の動作に対応しており、同様に、ステップＳＴ７０２が動きベクトル群重心位置推定部３０２、ステップＳＴ７０３とステップＳＴ７０４が検出結果判定部３０３の動作に対応している。以下、図７で示したフローチャートの流れに基づき、図３の各ブロックの説明を行う。

動画像信号処理部３０１は、動画像信号３２１を入力とし、動きベクトル分布３２３を出力とする。内部ブロックとして、動きベクトル算出部３１７を持つ。動画像信号３２１は動画像信号保存用メモリ３０４に存在する２枚の動画像信号とし、その２枚の間の動きベクトルを算出する。動きベクトルの算出方法は、画像を矩形ブロックに分割し、各ブロックにおける動きベクトルを算出する。各ブロックにおける動きベクトルの算出方法としては、一般的なブロックマッチング方式を用い、例えば、以下の（式１）のｆを最小化する(v_x,v_y)を算出する方法がある。

上記の（式１）はブロックサイズ１６×１６画素の場合の例である。ｙが輝度値、ｔ、ｔ＋１が時刻を示す。このようにして算出されたブロックごとの動きベクトルを動きベクトル分布として、動きベクトル分布保存用メモリ３０５に格納する。

動きベクトル群重心位置推定部３０２は、動きベクトル分布保存用メモリ３０５に保存された動きベクトル分布３２４および検出結果判定部３０３から出力された、直前の戸開閉判定結果３３２を入力とし、動きベクトル群の推定重心位置３３０を出力とする。動きベクトル群重心位置推定部３０２は、ベクトル評価部３１１、再帰的距離評価部３１２、近傍ベクトル類似度評価部３１３、推定重心位置算出部３１４の４つの演算ブロックから構成されている。ベクトル評価部３１１、再帰的距離評価部３１２、近傍ベクトル類似度評価部３１３の３つのブロックの出力はいずれも評価値であり、そのそれぞれの評価値に基づいて推定重心位置算出部３１４で重心位置を推定する。重心位置は図６のマイナスベクトルグループ６０１およびプラスベクトルグループ６０２の２種類の重心位置をそれぞれ算出する。各評価部３１１、３１２、３１３で算出される評価値については、各ブロックについてマイナス／プラスの各評価値を算出し、各ブロックがマイナス／プラスのどちらのグループに属するか、あるいはどちらにも属さないかを評価するための評価値ｆ_{ｍｉｎｕｓ＿ｅｓｔｉｍａｔｉｏｎ１}／ｆ_{ｐｌｕｓ＿ｅｓｔｉｍａｔｉｏｎ１}を算出する。

このブロック位置(m,n)の評価値ｆ_{ｍｉｎｕｓ＿ｅｓｔｉｍａｔｉｏｎ１}(m,n)／ｆ_{ｐｌｕｓ＿ｅｓｔｉｍａｔｉｏｎ１}(m,n)を元に、推定重心位置算出部３１４は、以下の（式２）（式３）に示すように、マイナスベクトルグループ６０１およびプラスベクトルグループ６０２の２種類の水平方向の重心位置ｆ_{ｘ＿ｍｉｎｕｓ}／ｆ_{ｘ＿ｐｌｕｓ}を推定し、推定重心位置３３０として出力する。下式中のＭは画像内の水平方向のブロック数、Ｎは画像内の垂直方向のブロック数である。

本実施の形態１ではエレベータの例で説明しているため、水平方向の重心位置を算出している。一般にエレベータの監視カメラはドアの最下部から人の背の高さプラスアルファ程度の領域が一番よく写るように配置されており、カメラのゆがみやエレベータのかごの形状と監視カメラの向きの関係から、エレベータの戸同士の接する線の方向に関して、写りが若干斜めになることはあるとしても、必然的にほぼ垂直方向に写ることになるため、図６に示すベクトルグループ６０１および６０２を見つける場合にも、各グループの水平方向の重心位置を推定すれば十分である。

ブロック位置(m,n)の評価値ｆ_{ｍｉｎｕｓ＿ｅｓｔｉｍａｔｉｏｎ１}(m,n)／ｆ_{ｐｌｕｓ＿ｅｓｔｉｍａｔｉｏｎ１}(m,n)の算出については、ベクトル評価部３１１、再帰的距離評価部３１２、近傍ベクトル類似度評価部３１３の各出力値である評価値３２７、３２８、３２９の積をとることで算出する。以下、各評価部３１１、３１２、３１３の説明を行う。
ベクトル評価部３１１は、動きベクトル分布３２４を入力とし、ブロック位置(m,n)における動きベクトルの向きと大きさを評価する。動きベクトルの水平方向の向きが左向きのマイナスであればマイナスベクトルグループに属する可能性が高くなり、逆に動きベクトルの水平方向の向きが右向きのプラスであればプラスベクトルグループに属する可能性が高くなるため、評価値は例えば、以下の（式４）（式５）のように算出する。（式４）（式５）を図に示すと図８のようになる。（式４）（式５）および図８については、動きベクトル算出部３１７における動きベクトル(v_x,v_y)の算出範囲が±１６の場合の例である。

また、動きベクトルの垂直成分についても、エレベータの戸１０２同士の接する線の方向に関してほぼ垂直方向に写ることになる。従って、動きベクトルの垂直成分が概ねゼロに近いほどベクトルグループ６０１や６０２に属する可能性が高いと評価できるため、動きベクトルの垂直成分についての評価値は、例えば（式６）のように算出する。（式６）を図に示すと図９のようになる。図９についても、動きベクトル算出部３１７における動きベクトル(v_x,v_y)の算出範囲が±１６の場合の例である。

ベクトル評価部３１１の出力である評価値３２７は、マイナス／プラスそれぞれｅ１およびｅ２の積として算出する。

再帰的距離評価部３１２は、動きベクトル分布３２４を入力とし、その１回前の戸開閉検出が有と判定された際の重心位置ｆ_{ｘ＿ｍｉｎｕｓ}／ｆ_{ｘ＿ｐｌｕｓ}からのブロック位置(m,n)の水平距離に逆比例する値を評価値とする。例えば図１０のような形でｆ_{ｍｉｎｕｓ＿ｅ３}(m,n)／ｆ_{ｐｌｕｓ＿ｅ３}(m,n)として評価し、評価値３２８として出力する。上記の「１回前の戸開閉検出が有と判定された際の重心位置ｆ_{ｘ＿ｍｉｎｕｓ}／ｆ_{ｘ＿ｐｌｕｓ}を保存するために、１回前の推定重心位置３３０と戸開閉判定結果３３２を入力している。

近傍ベクトル類似度評価部３１３は、動きベクトル分布３２４を入力とし、ブロック位置(m,n)の近傍における動きベクトルの総合的類似度を評価する。図１１に示すような係数で、ブロック位置(m,n)と対象ブロックのブロック同士の動きベクトル類似度で重み付け加算する。ブロック同士の動きベクトル類似度については、類似しているほど大きな値とする。図１１の中にマイナスの値があるが、これは類似していると小さな評価値になるように設計している。エレベータの戸開閉のベクトルグループ６０１および６０２が縦長であり、横に膨らんだものはエレベータの戸開閉でない可能性があるため、横の位置に似た動きベクトルがある場合は乗客など戸以外のものである可能性が高いと考え、戸開閉評価値としては小さな評価値になるように設計している。各ブロック間の動きベクトル類似度を図１１の係数で重み付け加算した値を評価値３２９として出力する。
以上が動きベクトル群重心位置推定部３０２の説明である。

次に検出結果判定部３０３について説明を行う。
検出結果判定部３０３は、動きベクトル分布保存用メモリ３０５に保存されている動きベクトル分布３２５と、動きベクトル群重心位置推定部３０２から出力される推定重心位置３３０，ベクトル評価値３２７および近傍ベクトル類似度評価値３２９を入力とし、戸開閉判定結果３３２を出力とする。検出結果判定部３０３は、距離評価部３１５、戸開閉判定部３１６の２つの演算ブロックから構成されている。以下それぞれの演算ブロックの説明を行う。

距離評価部３１５は、動きベクトル分布３２５と推定重心位置３３０を入力とし、その推定重心位置ｆ_{ｘ＿ｍｉｎｕｓ}／ｆ_{ｘ＿ｐｌｕｓ}からのブロック位置(m,n)の水平距離に逆比例する値を距離評価値３３１として出力する。例えば図１２のような形でｆ_{ｍｉｎｕｓ＿ｅ３ｎ}(m,n)／ｆ_{ｐｌｕｓ＿ｅ３ｎ}(m,n)として評価し、それぞれ距離評価値３３１として出力する。図１２で示すように、動きベクトル群重心位置推定部３０２で推定された重心位置のごく近傍のブロックのみを高評価とする。これは図６で示すベクトルグループ６０１、６０２が細く縦長であることに基づく評価方法である。

戸開閉判定部３１６は、ベクトル評価値３２７、距離評価値３３１、近傍ベクトル類似度評価値３２９を入力とし、戸開閉判定結果３３２を出力とする。入力となる各種評価値はブロック位置(m,n)におけるマイナス／プラスの評価値である。各ブロックにおいてマイナス／プラスそれぞれについて３種類の評価値の積を取り、ブロック位置(m,n)の評価値ｆ_{ｍｉｎｕｓ＿ｅｓｔｉｍａｔｉｏｎ２}(m,n)／ｆ_{ｐｌｕｓ＿ｅｓｔｉｍａｔｉｏｎ２}(m,n)を算出する。マイナス／プラスそれぞれについて全ブロックにつきｆ_{ｍｉｎｕｓ＿ｅｓｔｉｍａｔｉｏｎ２}(m,n)／ｆ_{ｐｌｕｓ＿ｅｓｔｉｍａｔｉｏｎ２}(m,n)の加算を行い、その総和値についてマイナス／プラスそれぞれについて、ある固定値Ａとの閾値評価することで、プラス／マイナス両方とも閾値を超えた場合に戸開閉有りとし、それ以外の場合に戸開閉検出無しとし、戸開閉判定結果３３２として出力する。

戸開閉検出の有無の判定については画像１枚ごとに行う。一方、各ブロック(m,n)においてマイナス／プラスの評価値ｆ_{ｍｉｎｕｓ＿ｅｓｔｉｍａｔｉｏｎ２}(m,n)／ｆ_{ｐｌｕｓ＿ｅｓｔｉｍａｔｉｏｎ２}(m,n)が計算される。その各ブロックにおけるｆ_{ｍｉｎｕｓ＿ｅｓｔｉｍａｔｉｏｎ２}(m,n)／ｆ_{ｐｌｕｓ＿ｅｓｔｉｍａｔｉｏｎ２}(m,n)の値に対してもある固定値Ｂとの閾値評価を行うことで、そのブロックがマイナスグループに属するか、プラスグループに属するか、どちらにも属さないかの３種類に分類することができる。

この時、戸開閉動作有りと判定されているにもかかわらず、マイナス／プラスどちらにも属さないブロックで大きな動きベクトルを持つブロックが集まっている場合について、戸開閉動作だけでなく戸開閉動作以外の他の動物体（乗客等）も動いていると判断する。

また、戸開閉動作有りと判定され、どちらにも属さないブロックすべてが小さな動きベクトルの場合、他の動物体は存在しないと考えられ、動いている乗客のいないエレベータにおける戸開閉動作のみがあったのだと判断する。

戸開閉動作無しの場合は、マイナス／プラスの評価値にかかわらず、大きな動きベクトルを持つブロックが集まっている場合について、戸開閉以外の他の動物体（乗客等）が動いていると判断する。

本実施の形態１に示す戸開閉検出装置２０１を以上のように構成することで、図６に示したベクトルグループ６０３のような動きベクトルを無視しつつベクトルグループ６０１、６０２が存在すれば検出することが可能であり、戸開閉動作の有無を検出できる。これにより、課題であったエレベータ上部付近自体が、監視カメラの設置位置次第で写らなくとも戸開閉動作の検出が可能となる。即ち、監視カメラ１０４は、その役割から、エレベータの戸１０２のうち人間が通る部分は必ず写るように設置されるため、一般に戸１０２の大部分は写ることになる。本実施の形態１では戸１０２の大部分が写っていれば戸開閉検出を行うことが出来ることから、映像内の戸１０２の位置に拠らず戸開閉検出が可能であり、カメラ設置後の手動設定も不要である。

また、本実施の形態１では、戸開閉動作有りと検出した場合に、マイナス／プラスどちらにも属さないブロックにおける動きベクトル分布を調べることにより、動く乗客の存在の有無を確認することも可能であり、録画すべき映像かどうかの有意性の判定に用いることもできるため、戸開閉動作の有無だけでなく他の動物体の有無についても戸開閉検出装置２０１の出力としての戸開閉判定結果３３２に含めて出力することで、動く乗客のいないエレベータにおける戸開閉動作のみの映像を録画対象から除外することを可能とし、結果的に録画時間の長時間化を可能とする利点もある。

以上のように、実施の形態１の戸開閉検出装置によれば、戸の映像が含まれる各ピクチャを入力とし、戸開閉の有無を検出する戸開閉検出装置であって、複数のピクチャを入力とし、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する動きベクトル算出部３１７と、動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部３０２と、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部３０３を備えるので、映像中の戸の位置に影響されることなく、確実に戸開閉の検知を行うことができる。

また、実施の形態１の戸開閉検出方法によれば、戸の映像が含まれる各ピクチャを入力とし、戸開閉の有無を検出する戸開閉検出装置を用いた戸開閉検出方法であって、複数のピクチャを入力とし、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する動きベクトル算出ステップと、動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する動きベクトル群重心位置推定ステップと、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定ステップを備えるので、映像中の戸の位置に影響されることなく、確実に戸開閉の検知を行うことのできる戸開閉検出装置を実現することができる。

また、実施の形態１の戸開閉検出装置によれば、検出結果判定部３０３は、戸開閉の動作が行われたと判定する根拠となる動きベクトル群以外の動きベクトル群が存在した場合は、動物体が存在したと判定するようにしたので、動く乗客といった動物体の存在の有無も確認することができる。

実施の形態２．
以下、この発明の実施の形態２について説明する。本実施の形態２においても、戸開閉検出の例として、図１で示すようなエレベータを例として説明を行う。

実施の形態２における監視カメラ１０４は、図１３に示すような形で、録画装置１３０１が接続されており、エレベータのかご内部の監視映像である動画像信号２０４を録画装置１３０１へ出力する。

録画装置１３０１は、動画像信号２０４を入力とし、ＭＰＥＧ等をはじめとする国際標準映像符号化方式で圧縮符号化を行う過程で用いる動きベクトル分布１３０４を戸開閉検出装置１３０２に対して出力する。この時、ＭＰＥＧ等をはじめとする国際標準映像符号化方式の動きベクトルは、一般に未来を起点として過去へ向かうベクトルである場合が多いため、実際の動きの向きとは正反対の向きになるケースが多いことが知られており、このような場合には、動きベクトル分布１３０４における個々の動きベクトルについて、ＭＰＥＧ用の動きベクトルと正反対の向きの動きベクトルとし、実際の動きと同じ向きの動きベクトルの動きベクトル分布として扱うこととする。戸開閉検出装置１３０２は動きベクトル分布１３０４を入力とし、その動きベクトル分布に基づき実施の形態１と同様の方法で戸開閉動作の有無と他動物体の有無を検出し、戸開閉動作の有無だけでなく他の動物体の有無についても戸開閉判定結果３３２に含めて出力する。

録画装置１３０１は、その戸開閉判定結果３３２に基づき、録画データ１３０３として蓄積するかどうか判断する。

本実施の形態２における戸開閉検出装置１３０２の内部ブロック図を図１４に示す。実施の形態１における戸開閉検出装置２０１と比較した場合、動画像信号処理部３０１と動画像信号保存用メモリ３０４がない構成であり、その他のブロックは構成・動作とも同じであるため、動きベクトル群重心位置推定部３０２と検出結果判定部３０３の内部についての図示およびその説明を省略する。

一般にＭＰＥＧ等をはじめとする国際標準映像符号化方式で圧縮符号化を行う場合は、図１５のような形で周期的にＩピクチャを入れることで再同期を可能としている。この塊を一般にＧＯＰ（Group Of Picture）と呼ぶ。戸開閉検出は画像ごとに行うため、例えば図１５で示されるようにＧＯＰの途中のピクチャを録画対象と判定した場合、そのＰピクチャだけを保存しても再生できないため、そのＰピクチャの属するＧＯＰを保存することでそのピクチャを再生可能である。

本実施の形態２に示す戸開閉検出装置１３０２を以上のように構成することで、実施の形態１と比較して、監視カメラと録画装置で構成される既存の監視映像録画システムへ戸開閉検出装置１３０２を組み込みやすいという利点がある。その理由は、実施の形態１の場合は監視カメラ１０４と録画装置２０２の間に戸開閉検出装置２０１を組み込むため、２箇所のインタフェース開発が必要なのに対し、実施の形態２では録画装置の後段に戸開閉検出装置１３０２を配置すればよいため、インタフェース開発が１箇所で済むためである。また、実施の形態２の戸開閉検出装置１３０２は実施の形態１の戸開閉検出装置２０１と比較して装置構成を簡易にすることが出来ており、これも大きな利点である。これは録画装置１３０１でＭＰＥＧ等をはじめとする国際標準映像符号化方式で圧縮符号化を行う際に必要となる動きベクトルを再利用して戸開閉検出装置１３０２に供給できるためである。

以上のように、実施の形態２の戸開閉検出装置によれば、戸の映像が含まれる各ピクチャと、ピクチャ内の局所的な動きを示す動きベクトルのピクチャ全体の動きベクトル分布とを入力とし、戸開閉の有無を検出する戸開閉検出装置１３０２であって、動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部３０２と、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部３０３を備えるので、実施の形態１の効果に加えて、既存の監視映像録画システムへ戸開閉検出装置１３０２を組み込みやすく、また、実施の形態１よりも構成を簡素化することができる。

実施の形態３．
以下、この発明の実施の形態３について説明する。本実施の形態３においては、戸開閉検出の例として、図１で示すようなエレベータにおいて、エレベータのかごの内部の監視映像がＭＰＥＧ等をはじめとする国際標準映像符号化方式で圧縮符号化され、録画された録画データを例として説明を行う。

実施の形態３の装置構成を図１６に示す。戸開閉検出装置１６０１に対して録画データ１６０２が入出力されるよう構成されている。即ち、戸開閉検出装置１６０１は録画データ１６０３を入力とし、録画データに対し、ピクチャ単位に戸開閉動作検出信号および他動物体検出信号のメタデータを付与した多重化データ１６０４を出力とする。

実施の形態３における戸開閉検出装置１６０１の内部ブロック図を図１７に示す。実施の形態２の戸開閉検出装置１３０２との比較で、録画データ処理部１７０１、検出結果メタデータ生成多重部１７０２、録画データ保存用メモリ１７０３が追加となっている。その他のブロックについては構成・動作とも実施の形態１および実施の形態２と同様であるため説明を省略する。

戸開閉検出装置１６０１に入力された録画データ１６０３は、録画データ保存用メモリ１７０３に保存される。録画データ保存用メモリ１７０３に保存された録画データは、録画データ処理部１７０１に入力される録画データ１７２１および検出結果メタデータ生成多重部１７０２に入力される録画データ１７２３としてそれぞれ出力される。

録画データ処理部１７０１は録画データ１７２１を入力とし、動きベクトル分布１７２２を出力とする。内部ブロックとして動きベクトル抽出部１７１１を備え、このブロックで、録画データから動きベクトルを抽出する。この時、ＭＰＥＧ等をはじめとする国際標準映像符号化方式の動きベクトルは、一般には未来を起点として過去へ向かうベクトルである場合が多いため、実際の動きの向きとは正反対の向きになるケースが多いことが知られており、このような場合には、動きベクトル分布１７２２における個々の動きベクトルについて、抽出したＭＰＥＧ用の動きベクトルと正反対の向きの動きベクトルとし、実際の動きと同じ向きの動きベクトルの動きベクトル分布として、動きベクトル分布１７２２を出力することとする。

検出結果メタデータ生成多重部１７０２は、録画データ１７２３と戸開閉動作の有無と他動物体の有無が含まれた戸開閉判定結果３３２を入力とし、録画データ１７２３内の各ピクチャと戸開閉動作有無および他動物体有無を関連付けるメタデータの生成および録画データとメタデータの多重化を行い、録画データとメタデータの多重化データ１６０４として出力する。

本実施の形態３に示す戸開閉検出装置１６０１を以上のように構成することで、実施の形態１や実施の形態２と異なり、既に録画された録画データに対して戸開閉有無検出や他動物体有無検出を行うことが出来る。戸開閉有無検出結果や他動物体有無検出結果と録画データとの対応をとることで、有意なシーンの検索を簡易に行うことが出来るという利点がある。

以上のように、実施の形態３の戸開閉検出装置によれば、戸の映像が含まれるディジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で圧縮符号化されたビットストリームを入力とし、戸開閉の有無を検出する戸開閉検出装置１６０１であって、ビットストリームを入力とし、ビットストリームから動き補償予測に用いる動きベクトルを抽出し、動きベクトル分布として出力する録画データ処理部１７０１と、動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部３０２と、動きベクトル分布と動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部３０３と、ビットストリームと判定結果とを入力とし、ビットストリームに含まれるピクチャと判定結果との対応付けを行ったメタデータを多重化したビットストリームを出力とする検出結果メタデータ生成多重部１７０２とを備えるので、実施の形態１の効果に加えて、既に録画された録画データに対して戸開閉有無検出や他動物体有無検出を行うことが出来る効果がある。

実施の形態４．
以下、この発明の実施の形態４について説明する。本実施の形態４においては、戸開閉検出の例として、図１で示すようなエレベータにおいて、エレベータのかごの内部の監視映像がＭＰＥＧ等をはじめとする国際標準映像符号化方式で圧縮符号化され、録画された録画データを例として説明を行う。

実施の形態４の戸開閉検出装置における図面上の構成は、図１６に示した実施の形態３と同様であるため、その説明は省略する。実施の形態４と実施の形態３の相違点は、図１７に示した戸開閉検出装置１６０１の内部ブロックにおける録画データ処理部１７０１の構成である。図１８に、本実施の形態４の録画データ処理部１８０１の内部ブロック図を示す。これ以外は実施の形態３の戸開閉検出装置１６０１と同様であるため、以下、録画データ処理部１８０１について説明を行う。

録画データ処理部１８０１は録画データ１７２１を入力とし、動きベクトル分布１７２２を出力としており、この入出力については実施の形態３と同様である。録画データ処理部１８０１は、内部ブロックとしてピクチャタイプ検出部１８１１、動きベクトル抽出部１７１１、動きベクトル算出部１８１２で構成されており、実施の形態３における録画データ処理部１７０１と比較して、ピクチャタイプ検出部１８１１、動きベクトル算出部１８１２が追加されている。

ピクチャタイプ検出部１８１１は録画データに含まれるピクチャタイプを検出し、Ｉピクチャの場合には動きベクトルが含まれないため、動きベクトル算出部１８１２で動きベクトルを算出する。一方ピクチャタイプがＰピクチャおよびＢピクチャの場合は、動きベクトルが含まれるため動きベクトル抽出部１７１１で動きベクトルを抽出する。この時、ＭＰＥＧ等をはじめとする国際標準映像符号化方式の動きベクトルは、一般には未来を起点として過去へ向かうベクトルである場合が多いため、実際の動きの向きとは正反対の向きになるケースが多いことが知られており、このような場合には、動きベクトル分布１７２２における個々の動きベクトルについて、抽出したＭＰＥＧ用の動きベクトルと正反対の向きの動きベクトルとし、実際の動きと同じ向きの動きベクトルの動きベクトル分布として、動きベクトル分布１７２２を出力することとする。

本実施の形態４に示す戸開閉検出装置を以上のように構成することで、実施の形態３と比較して、動きベクトルの存在しない録画データであるＩピクチャについても戸開閉有無検出や他動物体有無検出を行うことが出来るという利点がある。

以上のように、実施の形態４の戸開閉検出装置によれば、録画データ処理部１８０１は、ビットストリームからピクチャタイプを抽出し、動き補償予測を行うピクチャタイプであればビットストリームから動きベクトルを抽出し、動き補償予測を行わないピクチャタイプであれば各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力するようにしたので、実施の形態３の効果に加えて、Ｉピクチャについても戸開閉有無検出や他動物体有無検出を行うことが出来る効果がある。

実施の形態５．
以下、この発明の実施の形態５について説明する。戸開閉検出の例として、図１で示すようなエレベータを例として説明を行うが、実施の形態１〜４とは異なり、両開きの戸ではなく片開きの戸の場合のエレベータ戸開閉検出に関して説明を行う。

実施の形態１〜４における両開きの戸１０２の場合、図５および図６に示すような形で、水平方向右向きをプラス、水平方向左向きをマイナスとすると、左の戸の動きベクトル５０１をグルーピングしたマイナスベクトルグループ６０１、右の戸の動きベクトル５０２をグルーピングしたプラスベクトルグループ６０２、とした場合にベクトルグループ６０１と６０２を検出することで戸開閉動作有無の判定を行っていた。

本実施の形態５における片開きの場合のエレベータかご内の動きベクトル分布の様子を図１９に示す。片開きの戸１９０２は、乗客１０３から見て左から右に戸が片開きする場合の例であり、左の戸の動きベクトル１９０１が、右の戸の動きベクトル５０２と比較して「２倍の長さ」で「同じ向き」である点が両開きの戸１０２の場合と異なる点である。

本実施の形態５においても、動きベクトルの分布状況を解析し、図２０に示すようにベクトルグループ２００１および６０２のような２つの動きベクトル群をセットで検出した場合に、戸開閉動作であると判定することが本実施の形態５における戸開閉検出の原理である。

この時、実施の形態１〜４と異なる部分は、左の戸の動きベクトルが右の戸の動きベクトルと比較して「２倍の長さ」で「同じ向き」となる点である。よって図３におけるベクトル評価部３１１の内部動作と、実施の形態１における各式や図８、９、１０、１２における式の中の添字「ｍｉｎｕｓ」を「ｐｌｕｓ１」、「ｐｌｕｓ」を「ｐｌｕｓ２」に変更することで戸開閉有無を検出することが可能である。以下、その説明を行う。

ベクトル評価部３１１の中で図８が動きベクトルの水平成分の評価値の例であった。これは動きベクトルの水平成分がマイナスであればマイナスベクトルグループに属する可能性が高く、動きベクトルの水平成分がプラスであればプラスベクトルグループに属する可能性が高いことに基づくものであった。よって、本実施の形態５におけるベクトル評価部３１１は、例えば図２１のように構成し、左の戸が右の戸の「２倍の長さ」で「同じ向き」となる場合に評価値が高くなるように構成している。また、このようなベクトル評価値３２７に基づき、検出結果判定部３０３は、２個の動きベクトル群が互いに同じ向きで、一方の動きベクトル群が他方の動きベクトル群の２倍の大きさで存在し、かつ、その法線方向に広く分布する場合に、片開きの戸開閉の動作が行われたと判定する。

本実施の形態５に示す戸開閉検出装置を以上のように構成することで、実施の形態１〜４においては両開きの戸を例として説明したが、片開きの戸についても戸開閉有無検出や他動物体有無検出を行うことが出来るという利点がある。
尚、本実施の形態５では、戸１０２が２枚の場合を説明したが、３枚以上であっても同様に適用可能である。即ち、検出結果判定部３０３は、Ｒ（Ｒは２以上の整数）個の動きベクトル群が互いに同じ向きで、最も大きい動きベクトル群が最も小さい動きベクトル群のＲ倍の大きさで存在し、かつ、その法線方向に広く分布する場合に、片開きの戸開閉の動作が行われたと判定することで、同様に適用することができる。

以上のように、実施の形態５の戸開閉検出装置によれば、検出結果判定部３０３は、Ｒ（Ｒは２以上の整数）個の動きベクトル群が互いに同じ向きで、最も大きい動きベクトル群が最も小さい動きベクトル群のＲ倍の大きさで存在し、かつ、その法線方向に広く分布する場合に、片開きの戸開閉の動作が行われたと判定するようにしたので、片開きの戸開閉の検出にも対応することができ、実施の形態１と同様の効果を実現することができる。

また、本実施の形態１〜５では、戸開閉検出の例としてエレベータを用いて戸開閉検出装置の動作および戸開閉検出方法を説明したが、エレベータの戸と類似の動きをするもの（例えば自動ドアなど）についても、同様の効果を得られることは言うまでもない。

また、実施の形態５は、実施の形態１に適用した場合を説明したが、実施の形態２〜４のいずれかと組み合わせる等、実施の形態１以外の実施の形態と組み合わせてもよい。

１０１かご、１０２戸、１０３乗客、１０４監視カメラ、２０１，１３０２，１６０１戸開閉検出装置、２０４動画像信号、２０５戸開閉検出結果信号／動画像信号／動きベクトル分布のセット、３０１動画像信号処理部、３０２動きベクトル群重心位置推定部、３０３検出結果判定部、３１７，１８１２動きベクトル算出部、３１１ベクトル評価部、３１２再帰的距離評価部、３１３近傍ベクトル類似度評価部、３１４推定重心位置算出部、３１５距離評価部、３１６戸開閉判定部、５０１左の戸の動きベクトル、５０２右の戸の動きベクトル、５０３乗客の動きベクトル、６０１マイナスベクトルグループ、６０２プラスベクトルグループ、６０３ベクトルグループ、１３０４動きベクトル分布、１６０３録画データ、１７０１，１８０１録画データ処理部、１７０２検出結果メタデータ生成多重部、１７１１動きベクトル抽出部、１８１１ピクチャタイプ検出部、１９０１左の戸の動きベクトル、１９０２片開きの戸、２００１ベクトルグループ。

Claims

戸の映像が含まれる各ピクチャを入力とし、戸開閉の有無を検出する戸開閉検出装置であって、
複数のピクチャを入力とし、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する動きベクトル算出部と、
前記動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、当該動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部と、
前記動きベクトル分布と前記動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に前記動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部を備えることを特徴とする戸開閉検出装置。
戸の映像が含まれる各ピクチャと、ピクチャ内の局所的な動きを示す動きベクトルの当該ピクチャ全体の動きベクトル分布とを入力とし、戸開閉の有無を検出する戸開閉検出装置であって、
前記動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、当該動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部と、
前記動きベクトル分布と前記動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に前記動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部を備えることを特徴とする戸開閉検出装置。
戸の映像が含まれるディジタル映像信号の各ピクチャを所定の単位領域に分割して、その単位で圧縮符号化されたビットストリームを入力とし、戸開閉の有無を検出する戸開閉検出装置であって、
前記ビットストリームを入力とし、当該ビットストリームから動き補償予測に用いる動きベクトルを抽出し、動きベクトル分布として出力する録画データ処理部と、
前記動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、当該動きベクトル群の重心位置を推定する動きベクトル群重心位置推定部と、
前記動きベクトル分布と前記動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に前記動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定部と、
前記ビットストリームと前記判定結果とを入力とし、当該ビットストリームに含まれるピクチャと前記判定結果との対応付けを行ったメタデータを多重化したビットストリームを出力とする検出結果メタデータ生成多重部とを備えることを特徴とする戸開閉検出装置。
録画データ処理部は、ビットストリームからピクチャタイプを抽出し、動き補償予測を行うピクチャタイプであればビットストリームから動きベクトルを抽出し、動き補償予測を行わないピクチャタイプであれば各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力することを特徴とする請求項３記載の戸開閉検出装置。
検出結果判定部は、Ｒ（Ｒは２以上の整数）個の動きベクトル群が互いに同じ向きで、最も大きい動きベクトル群が最も小さい動きベクトル群のＲ倍の大きさで存在し、かつ、その法線方向に広く分布する場合に、片開きの戸開閉の動作が行われたと判定することを特徴とする請求項１から請求項４のうちのいずれか１項記載の戸開閉検出装置。
検出結果判定部は、戸開閉の動作が行われたと判定する根拠となる動きベクトル群以外の動きベクトル群が存在した場合は、動物体が存在したと判定することを特徴とする請求項１から請求項５のうちのいずれか１項記載の戸開閉検出装置。
戸の映像が含まれる各ピクチャを入力とし、戸開閉の有無を検出する戸開閉検出装置を用いた戸開閉検出方法であって、
複数のピクチャを入力とし、各ピクチャ間の局所的な動きを算出し、動きベクトル分布として出力する動きベクトル算出ステップと、
前記動きベクトル分布を入力とし、近傍に似た動きベクトルが存在する場合にこれらを動きベクトル群として認識すると共に、当該動きベクトル群の重心位置を推定する動きベクトル群重心位置推定ステップと、
前記動きベクトル分布と前記動きベクトル群の重心位置推定結果とを入力とし、二つの動きベクトル群が互いに逆向きでかつ対に存在すると共に、その法線方向に前記動きベクトルが広く分布する場合に、両開きの戸開閉の動作有りと判定する検出結果判定ステップを備えることを特徴とする戸開閉検出方法。