JP2004058737A - 駅ホームにおける安全監視装置 - Google Patents

Abstract

【課題】本発明は、線路側ホーム端における人の線路転落の確実な検知、および複数の人の識別とその全行動ログの取得する駅ホームにおける、より確実な安全監視装置を提供することを目的としている。
【解決手段】本発明は、ホーム端にいる人を距離情報とテクスチャ情報によって識別しながらホーム端上の位置を特定する。同時に人が線路上に落下した場合を確実に検知し、自動的に停止信号などを送出すると同時に対応するカメラの映像を送出する。またホーム端上で行動する全ての人間の全行動を記録する。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
この発明は駅ホームにおける安全監視装置に関し、特に、距離情報と画像（テクスチャ）情報に基づく、線路側駅ホーム端における安全監視装置に関する。
【０００２】
【従来の技術】
従来、駅ホームの安全監視装置に関しては、種々提案されている（特開平１０−３０４３４６号公報、特開２００１−３４１６４２公報、特開２００１−２６２６６公報、特開２００１−３９３０３公報、特開平１０−３４１７２７号公報等参照。）。
【０００３】
例えば、特開平１０−３０４３４６号公報に記載されているように、図２に示されるような駅のホーム端を監視するカメラシステムは公知であるが、それらは１台のカメラで４０ｍのような長い距離を横方向に捉えるように水平に近い角度に設置されており、数台のカメラ画像を１つの画面の画像内に表示して、人が視認するようなシステム構成となっている。
【０００４】
それゆえ、視認する画像対象領域は長く（深く）、多くの乗降客が出入りする場合は、乗客の陰に乗客が隠れ、全ての乗客を見渡すことができないといった問題点がある。かつ、カメラの設置角度が水平に近いため、朝日、夕日、さらにその他光の反射の影響を受けやすく、画像そのものが適切に撮れない場合も生じ易い設置となっている。
【０００５】
また、図３に示すような落下検知マットは、線路に人が落下した場合、その圧力を検知することで人の落下を検知している。しかし、構造的に線路とホームの内側の一部分にしか施設することができないので、検知マットを飛び越えて人が落下した場合は全く無力なものである。
これらを改善するものとして、ホームの屋根の下に下向きにカメラを複数台設置し、障害物を監視するものが特開平１３−３４１６４２号公報に記載されている。
【０００６】
このシステムは、障害物の無い状態の画像と現在画像の差分を取り、差分の出力があると障害物ありと検知するものである。また、同様の目的で物体の動きベクトルを検出する構成が特開平１０−３１１４２７号公報に開示されている。
【０００７】
しかし、これらの障害物検知には特に光や影の変化による誤動作が多く、監視システムとしては不十分なものである。
【０００８】
【発明が解決しようとする課題】
本発明は、線路側ホーム端における人の線路転落の確実な検知、および複数の人の識別とその全行動ログを取得することのできる駅ホームにおける安全監視装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
本発明においては、複数のステレオカメラによりホーム端を撮影することで、ホーム端にいる人を距離情報とテクスチャ情報によって識別しながらホーム端上の位置を特定する。同時に人が線路上に落下した場合を確実に検知し、自動的に停止信号などを送出すると同時に対応するカメラの映像を送出する。また、ホーム端上で行動する全ての人間の全行動を記録する。
【００１０】
また、本発明においては、ホーム端上の人の位置、動きなどから、予め注意を呼びかける状況、そのアナウンス、および映像を転送する状況を予め登録する手段を与え、さらに、カメラ装置に音声合成機能を付加することで、その状況に応じたアナウンスを予め登録された合成音声によってカメラ単位で乗客に伝える。
【００１１】
すなわち、本発明の駅ホームにおける安全監視装置は、駅の線路側ホーム端において複数のステレオカメラにより該ホーム端を撮像し、各ステレオカメラ単位で視野内の撮像画像とホームの座標系に基づいた距離画像を生成する画像処理手段と、前記各ステレオカメラからの距離情報と画像情報に基づき対象を認識する手段と、該抽出された認識対象の状態から安全を確認する手段とからなることを特徴とする。
【００１２】
また、上記構成において、さらに人間のホームなどの空間における動線のログを取得して保存する手段を備えることを特徴とする。
また、さらに前記各ステレオカメラからの画像情報に基づき認識対象を抽出する手段が、高次局所自己相関特徴を用いた認識を行うことを特徴とする。
【００１３】
また、上記構成において、前記距離情報と画像情報両方から対象を認識する手段が、高さの異なる複数のマスク上の重心情報から人と他のものを識別することを特徴とする。
【００１４】
また、上記構成において安全を確認する手段が、ホーム端の前記距離情報と画像情報を取得し、線路範囲上方における画像情報の検知および該画像情報の距離情報から、人の落下もしくは人等のホーム外への突出を識別し、警報を出すことを特徴とする。
【００１５】
また、前記高次局所自己相関特徴が所定の範囲の所定の箇所に存在する前後の時系列の距離情報を同一人と同定するために用いられることを特徴とする。
さらに、前記所定の箇所は所定の範囲内を複数のブロックに分けたものであり、前記時系列の次の距離情報の探索が上記複数のブロックの内の複数個を単位として前記高次局所自己相関特徴を計算することにより行われることを特徴とする。
【００１６】
【発明の実施の形態】
図１はこの発明の一実施例のシステム構成の概略を説明する図であり、図４は図１で説明する情報統合認識装置の全体フローチャートを示す図である。
【００１７】
図１に示すように、複数のステレオカメラ１−１から１−ｎによってホーム端上に死角がないように撮影され、ホーム端上を移動する乗客２を監視している。各ステレオカメラ１は２台以上のカメラの撮像素子が平行に固定されていて、ステレオカメラ１−１から１−ｎの撮像出力は各カメラ内の画像処理装置に与えられる。ステレオカメラ自体は既に公知のものであり、たとえばポイントグレイ社のデジクロップスやサーノフ研究所のアケーディアのようなものが用いられる。
【００１８】
本発明においては、線路側ホーム端における人の線路転落の確実な検知、および複数の人の識別とその全行動ログを取得するものである。行動ログは、動線を管理することで構内の改善やより安全な乗客の誘導を行うため、取得される。
【００１９】
以上のように、本発明においては、ホーム端にいる人を距離情報と画像（テクスチャ）情報（以下、単にテクスチャという。）によって識別しながらホーム端上の位置を特定する。同時に人が線路上に落下した場合を確実に検知し、自動的に停止信号などを送出すると同時に対応するカメラの映像を送出する。また、ホーム端上で行動する全ての人間の全行動を記録する。図４に示すように、その全体の処理では、まず人中心特定・カウント処理２１として、距離情報から人の存在をカウントする処理と、ライン・トラッキング処理２２として、上記人の存在点を時系列で結び、動線を出す処理とを行う。
【００２０】
［人中心特定・カウント処理］
図５に、上記本発明に用いる人カウント・アルゴリズムの概念図を示す。また、図６に人カウント・アルゴリズムのフローを示す。
【００２１】
人数カウント・動線計測プログラムのアルゴリズムは、以下のとおりである。
［１］ｚ軸の距離を取得し、それを使って、高さ別のマスク画像（図５の５，６，７）等を作成する（図６の３１）。なお、平面をｘ−ｙ軸とし、ｚ軸を高さ方向とする。また、図５では、簡略化して３段階のマスクしか図示されていないが、好適な実施例では８段階である。
【００２２】
撮影するカメラは、ステレオカメラであり、距離情報も得られるので、その距離情報から２値画像を作成することができる。すなわち、図５において３つのマスクを上から順番にマスク５，６，７とすると、マスク５は例えば１５０〜１６０ｃｍの高さ、マスク６は１２０〜１３０ｃｍの高さ、マスク７は８０〜９０ｃｍの高さを距離情報から検出して２値画像が作成される。図５のマスク内の黒色部分（数値は１）は、その部分に何かが存在し、白色の部分（数値は０）は何もないことを意味している。
【００２３】
カメラは上から見ているので、これらマスクにおける１０，１１，１２、あるいは１３，１４，１２は人の存在を示している。例えば、１０が頭に相当し、同じｘ−ｙ座標上の各マスク上に画像データ１１，１２が存在する。同じく１３が頭に相当し、同じｘ−ｙ座標上の各マスク上に画像データ１４、１２が存在する。１５は、例えば荷物であり、人とは認識されない。犬とか、ハトは、複数の画像にデータを持たないので排除される。１７，１６は背の低い子供と認識される。結局、図５のマスク上には子供を含む３人がいると認識され、以下の処理が行われる。
【００２４】
［２］カメラ毎のノイズに合わせて、マスクにモルフォロジー処理を行う（図６の３２）。なお、モルフォロジー処理とは、数理形態学に基づく２値画像での画像処理の１種であるが、公知であり、本発明に直接関係しないので、その詳細な説明は省略する。
【００２５】
［３］最上位（最上段）のマスク５をラベリング（図６の３３）し、それぞれの重心を出す（図６の３５）。同様に、最下位のマスク７まで重心を出す。このとき、それぞれの段階よりも上位の段階で決定した重心を含む領域は、既に数えられたものとして重心を出す処理は行わない。この例では、レベルｎ（マスク５）で２人、レベル２（マスク６）で１人、レベル１（マスク７）で０人、合計３人の人がいることを認識する。
【００２６】
ここでラベリング及び重心を出す処理を説明すると、以下のようになる。
図５に示すように、距離情報から高さ方向でスライスを複数作り、それを２値画像にする。この２値画像をラベリング（分別）をして重心を計算する。ラベリングは、画像処理の一般的な手法で、塊がいくつあるかを数える。そして、その塊単位で重心を計算する。上記重心を出す処理とラベリングの具体的方法を、図７〜図９を用いて説明する。
【００２７】
図７，図８は、ラベリング処理の説明図である。図７のように、まず所定距離の画像からスライスした各段階（レベル）において２値画像を作成し、その２値図形に対して、連結成分を１つの領域としてラベル付けをする。
【００２８】
ラベリングの方法は、全画素を左下から右上に走査する。図８に示されるように、その走査が１の画素に出会ったならば、その画素に１番目のラベルを貼り付ける。引き続き走査を実行し、その際の画素が１番目のラベルに連結しているならば、これらの画素にも１番目のラベルを貼り付ける。また、１　の画素ではあるが、その領域が先の領域とは別の場合は、新しいラベルを貼り付ける。図７では２値画像で１と０の領域に分かれていたが、ラベリング後は、図８のように背景である０の領域と各塊単位でラベリングが行われ、同時にこの場合は３個の塊があることが分かる。
【００２９】
図９は、重心を出すときの説明図であり、ラベリング後に得られた、各領域（塊）単位で重心の計算を行う。計算方法は、図９に表示されているように、その領域のｘ座標，ｙ座標をそれぞれすべて足し合わせ、その画素数（面積）で割る。その平均値（平均座標）がその塊の重心座標となる。
【００３０】
実験では、混雑時にステレオカメラ１台の視野の範囲で、１５人位が距離情報だけで識別できた。また、階段のような密集状態でも距離情報だけで、９割以上が取得できる。なお、上記重心の高さが一定範囲にあることにより人間であると認識すること自体は、例えば特開５−３２８３５５号公報に示されるように公知である。
【００３１】
［４］最終的に出そろった重心を人としてカウントし、人数とする。
［ライントラッキング処理］
次に、これら人の重心の移動を追尾し、動線を作成する。図１０に、このライントラッキング処理のフローを示す。
【００３２】
上記のようにして、人を重心情報（距離情報）から認識するが、特にホーム上が混雑していたりして複数の重心情報が存在する場合、重心情報だけでは動線を結ぶ場合に前の点と次の点が同一人物かどうかの識別が正確にはできない（ただし、前フレームと次のフレームを比較して、どちらの可動探索範囲にも１人しかいないときは、その両点を結んで動線とすることができる。）。
【００３３】
そこで、後述する高次局所自己相関特徴（テクスチャ情報）を用いて人の同一性を判定する。
以降の処理を説明すると、
［５］１つのカメラのカバー範囲の画面上で、ｚ軸の値が正確に出る範囲を３×５の領域に区切り（混雑状況マップ）、それぞれに存在する人数をカウントする（図１６の８１）。なお、上記一つのカメラのカバー範囲を「フレーム」という。
【００３４】
［６］次に、前フレームまでのライン（軌跡）と、これらの人とのつながりを検査し、以下の如く同じ人の中心をつなぐ（図１０の４２）。
［７］それぞれのラインは、出現してからのフレーム毎の「ｘ座標」・「ｙ座標」・「ｚ軸の値」の他に、「出現してからのフレーム数」、「終端の高さレベル（マスク画像の４段階）」、「終端周辺のテクスチャから導いた平行移動不変かつ回転不変の局所特徴ベクトル」、「進行方向（上下左右）」、「探索範囲の半径の長さ」、の属性データ（これについては後述する）を持つ。
【００３５】
［８］検査は生きているラインの内で、古いラインから行う（図１０の４１）。
［９］「探索範囲の一辺の長さ」、「進行方向」から探索領域を決定する（「出現してからのフレーム数」が１の場合は「探索範囲の一辺の長さ」だけで決定する）。
【００３６】
［１０］つなぐ人を決定する基準は、
（ア）　「終端の高さレベル」とのレベル差が１以内である。
（イ）　「ある程度の移動量がありながら９０度以上の急激なターンを行っている」に当てはまらない。
（ウ）　上２つを満たす中で直線距離が最短のもの。
である。
【００３７】
［１１］ラインにつなぐ相手が見つかった場合、「出現してからのフレーム数」をインクリメントし、新たな「ｘ座標」・「ｙ座標」・「ｚ軸の値」を追加し、「終端の高さレベル」を変更する（図１０の４６）。次に、ラインのある程度前の段階での座標と、新たな「ｘ座標」・「ｙ座標」とを比べて、新たな「進行方向」を決定する（図１０の４３）。次に、混雑状況マップに於いて、自分を中心とする９領域の内、「進行方向」から判断して背後の３領域を省いた領域に存在する人数により、「探索範囲の半径の長さ」を決定する。そして、新たな「終端周辺のテクスチャから導いた平行移動不変かつ回転不変の局所特徴ベクトル」を導く。
【００３８】
［１２］生きているラインすべてを検査した後、つなぐ相手が見つからなかったラインの内、出現してからのフレーム数がある程度短いものはゴミとして削除する（図１０の４５）。
【００３９】
［１３］一定以上の長さがあり、かつ終端が画面端ではないものについては、テクスチャで補完する。探索領域を細かい領域に区切り、それぞれの領域のテクスチャから局所特徴ベクトルを導く。それらと「終端周辺のテクスチャから導いた平行移動不変かつ回転不変の局所特徴ベクトル」との距離を測り、基準以下の距離を持つものの中で、最も近い距離を持つ領域の中心を使い、［１１］を行う。基準以下の距離を持つ領域がない場合はつながない。
【００４０】
すなわち、距離情報が何らかの理由で取れなかった場合、例えば、図２０の拡大図（７２）において、現フレームの探索範囲の１５ヶ所の特徴点を計算し、その中から最も近い特徴をもつ点が新たな人のいる場所として特定する。
【００４１】
この場合、進行方向、速度、混雑状況で決定された探索領域内に何もなければ、繋ぐ相手がいないものとして動線が途切れることになる。
［１４］一定の長さはあるが、つなぐ先が見つからないラインは死んだラインとする（図１０の４４）。なお、死んだラインは、ログ（動線の全記録）として保存する。
【００４２】
［１５］すべてのラインの処理が終了した後に残った、どのラインにもつながらなかった人は、新たなラインの始まりとする（図１０の４７）。属性のうち、「探索範囲の半径の長さ」は、原則として混雑状況マップに於ける自分の周辺領域の人数から決定する（図１６の９２〜９４）。すなわち、混雑していると識別性が落ちるので、次の探索範囲も細かくしていくことになる。混雑状況は、基本的に（距離情報がとれない場合以外）距離情報から得られる人数で決定する。この時、距離情報が団子状態になったとしても、人は肩幅があるので人数をカウントできる。
【００４３】
［高次局所自己相関特徴］
次に、本発明の特徴の一つでもある前記「高次局所自己相関特徴を用いた認識」について、説明する。なお、「高次局所自己相関特徴を用いた認識」の原理は、詳しくは「パターン認識　理論と応用」（大津展之他著、朝倉書店１９９６年初版発行。）に記載されている。この発明は、上記「高次局所自己相関を用いた認識手法」を回転移動不変に拡張してからホーム上の監視システムに適用した点に特徴がある。
【００４４】
高次局所自己相関特徴は、後述するように局所特徴故の平行移動不変や加法性の特性を有する。さらにそれを回転移動不変になるようにして利用している。すなわち、同じ人が歩く方向を変え（上から見て回転）しても、上記高次局所自己相関特徴は変わらないので同一人物と認識できる。なお、高次局所自己相関特徴は、加法性の特性を利用して高速に計算するために各ブロック単位に計算し、ブロック毎に保持する。
【００４５】
こうして、あるブロックにいた人が、他のブロックに移動した場合。前記重心情報が両ブロックに存在することになるが、上記最初のブロックの高次局所自己相関特徴が次のブロックの高次局所自己相関特徴と同じであるかどうかを認識することにより、両ブロックに存在する前記重心情報（人情報）が同一人物のものかどうかが判定できるのである。このようにして、同一人物の前後の動線を結ぶことができる。動線は重心点を結ぶことにより作成される。このテクスチャ利用の探索処理のフローを図１７に示す。
【００４６】
以下、高次局所自己相関特徴による認識について図１１〜図１４を用いて説明する。
・高次局所自己相関特徴による認識
まず画像（テクスチャ）情報から対象の特徴を抽出する。
【００４７】
ここで用いる高次局所自己相関関数は、以下のように定義する。画面内の対象画像をｆ（ｒ）とすると、Ｎ次自己相関関数は、変位方向（ａ１　，ａ２　，ａ３　，…ａＮ　）に対して
【００４８】
【数１】

【００４９】
で定義される。ここでは、高次自己相関係数の次数Ｎを２とする。また、変位方向を参照点ｒの周りの局所的な３×３画素の領域に限定する。平行移動による等価な特徴を除くと、２値画像に対して特徴の数は全部で２５個になる（図１１の左側）。このときの各特徴の計算は、局所パターンの対応する画素の値の積を全画素に対して足し合わせ、１枚の画像の特徴量とする。
【００５０】
この特徴は平行移動パターンに対して不変であるという大きな利点がある。一方、ここで前処理として利用しているステレオカメラからの距離情報を使った対象領域のみを取り出す手法は、対象を確実に切り出せるが、切り出す領域が不安定という欠点がある。そこで、認識のためにこの平行移動不変の特徴を用いることで、切り出しの変化に対するロバスト性を確保した。すなわち、小領域内の対象位置の変動に対して、この特徴の持つ平行移動に対する不変性の利点が最大限に発揮される。
【００５１】
図１１に２５個＋１０個＝３５個の高次局所自己相関特徴を示した。サイズ３×３のマスクの中心は参照点ｒを示している。“１”で示された画素は加算され、“＊”で示された画素は加算されない。次数を２とした場合は図の左側に示した２５個のパターンが創出されるが、０次と１次の場合の積和の値域が大きく異なることを補正する（正規化する）意味で、０次と１次の場合のみ同じ点を積和するパターンを付け加え全部で３５個のパターンする。しかし、このままでは平行移動には不変であるが、回転には不変でない。そこで、図１４に示したように、回転して同等となるパターンを足し合わせて１つの要素となるようにパターンをまとめた。結果として、ベクトルの要素は１１個となるものを利用した。また値の正規化のために４つのパターンを１つの要素とする場合には４で割った値を利用した。
【００５２】
具体的には、この３×３のマスクが対象画像を１画素づつシフトして全体をスキャンする。すなわち、３×３マスクを全画素上で動かし、そのときに１とマークのある画素の値同士を掛け合わせた値を３×３のマスクを画素単位に動かすたびに足し合わせて行く。つまり積和となる。２とあるのはその画素の値を２回掛けること（２乗）を意味し、３とあるのはその画素を３回掛けること（３乗）を意味する。
【００５３】
この操作が３５種の全てマスクについて実行された上で、（８ｂｉｔ）×（ｘ画素数）×（ｙ画素数）の情報量を持つ画像が１１次元のベクトルに変換される。
そして、最も特徴的な点として、これらの特徴は局所領域で計算されるため平行移動および回転移動に対して不変である。よって、ステレオカメラからの切り出しは不安定であるが、たとえ対象に対する切り出し領域はずれても、各次元の特徴量は近似する。図１２の画像と図１３の表はその例である。この場合は２５次元でグレー画像に対するベクトル要素の上位２桁を示した例である。顔の切り出し画像が３枚の各図でずれているが、表で示した各ベクトルの上位２桁の要素は完全に近似している。もしテンプレートマッチングによる手法を単純に用いた場合は、距離情報による切り出しのずれが認識率に決定的な影響を及ぼす。つまり、この特徴は切り出しの不正確さに対してロバストである。このことが高次局所自己相関特徴とステレオカメラによる切り出しを組合せた最大の利点である。
【００５４】
また、ここでは画像の画素の値は基本を８ｂｉｔ　のグレー画像を基本と考えるが、カラー画像を使って、ＲＧＢ（またはＹＩＱ）などの３次元の値に対して個々に特徴を取り、１１次元の場合は３３次元の１次元ベクトルとすることで、より精度を高めることも可能である。
【００５５】
［動的探索領域決定処理］
ここで、前記探索範囲の動的制御について図１５，図１６，図１８，図１９を用いて説明をする。
【００５６】
［１］まず、一つの画面上で、距離データが正確に出せる領域を、複数に区切る（図１５の５１，図１６の８１）。
［２］人中心特定・カウント処理によって人の中心（と思われる）点が得られているので、それぞれの区域に何人が存在するかカウントする（図１５の５２，図１６の８１）。
【００５７】
［３］新たにラインの最後尾となった点に関して、ラインログを用いて次のフレームでの進行方向を特定する（図１５の５３，図１８の６１〜６５）。
［４］図１８に示すように、点の存在する区域の周囲の内、進行方向を優先させ、また図１６に示すように、選び出した区域の人数をカウントし、その人数にあらかじめ定めておいた定数を積算し、探索範囲の領域を決定する（図１５の５４）。具体的には、図１９に示したように、停止状態から始まって、混雑度合いと速度に応じてその探索範囲を動的に多段階に変更して、動線を繋ぎ合わせたり探索したりする。探索範囲において、進行方向の正反対に関しては、あらかじめ定めておいた適当に小さい値を探索範囲の半径とする。
【００５８】
［５］既出のラインに繋がらず、初めて現れたと思われる人物の点に関しては、周囲の区域を等しく扱い、人数をカウントし、あらかじめ定めておいた定数を積算し、探索範囲の半径とする。
【００５９】
［テクスチャー高速探索処理］
次に、この発明におけるテクスチャー探索処理を高速に行うための工夫を図２０を用いて説明する。
【００６０】
図１９の１段階の探索範囲（図２０の７１）を例にとると、例えば、図２０の７２に示すように、上記探索範囲を２４のブロックに分けて計算し、高次局所
自己相関特徴を各ブロック毎に保持する。
【００６１】
そして、まず前フレームにおける対象の人のいた領域を図２０の７３の４ブロック単位で保持する。上記ブロックを４つを１単位として高次局所自己相関特徴を比較し、次の移動先を探索する。なお、該４ブロックの大きさは、人が一人入る程度の大きさである。したがって、４ブロックに複数の人が入ることは殆どない。仮に、複数の人の重心情報があっても、距離が近い方、次いでテクスチャの類似度から識別される。
【００６２】
４ブロックを図２０の下方に示した［１］〜［１５］のように１５ヶ所のみを疎に探索することにより、計算量を大幅に削減できる。高次局所自己相関特徴は、平行移動不変、回転不変の特徴があるので、正確に人が上記４ブロックの範囲内に入っていなくても、７割程度の対象が上記４ブロックの範囲内に入っていれば近似したベクトルが得られるので、疎な検索は十分可能である。なお、通常の画像検索と異なり、上記高次局所自己相関特徴は加法性があるので、［１］のベクトルの計算は、ａ＋ｂ＋ｇ＋ｈとなり、一次元ベクトルの加算でよい。この加法性を利用した上記疎検索により、計算量が半分以下となる。すなわち、現フレームの探索範囲内の上記図２０の［１］〜［１５］の１５ヶ所の特徴点を計算し、その中で最も近い特徴点を持つ点が新たに同じ人がある領域と判定する。図２０の７２のように、２４ブロック（ａ，・・・，ｘ）に分けて予め特徴を計算したのは、
１５ヶ所×４ブロック＝６０ブロックの計算量を２４ブロックの計算量にとどめるための工夫である。
【００６３】
これらをまとめると、以下のようになる。
・探索範囲における動線の決定方法
１．距離情報から得られた人の重心を探索範囲内でつなげる。
【００６４】
２．探索範囲内において距離情報から求められなかった場合、テクスチャ情報を使って回転フリーの情報（高次局所自己相関特徴）で探索をする。
３．距離情報＋テクスチャ情報を使って動線の精度を高める。
【００６５】
すなわち、基本は、まず距離情報から動線を求め、高次局所自己相関特徴は探索範囲内に人がいない場合に使われるのである。
・テクスチャの高速探索方法
１．高次局所自己相関特徴自身は一回の操作で探索範囲内において２４ブロックに分けて保持する。
【００６６】
２．直前の操作で記憶した対象の特徴量を探索範囲内において、ベクトルのユークリッド距離で比較する。
直前にブロック別に特徴を保持することで、各場所における特徴量は４つの足し算で高速に求められる。
【００６７】
なお、ここで上記ユークリッド距離について説明する。
直前の人がいたエリアから得られた局所特徴（以下、「高次局所自己相関特徴」を簡略化して「局所特徴」という。）と、現フレームのその人が移動したと思われる候補のエリアの局所特徴とを比較し、人の動線を出す場合、まず距離画像から得られた人のいるホームのｘｙ２次元座標で考えて近い方に繋げる。ここまでは、一般的な２次元座標上での距離のことである。しかし、繋ごうとする候補がホーム上の距離で同距離にあったり、不明の場合、テクスチャから得られた局所特徴のベクトルで計算して信頼性を高めることになる。ここからは得られた領域同士が同じ対象（模様）であるかを判断するために前記局所特徴を使うことになる（ホームの上の座標と全く別の座標である。）。
【００６８】
自分の直前位置のエリアの局所特徴（テクスチャ）と距離から得られた候補点のエリアの局所特徴＝２つのベクトル
Ａ＝（ａ１，ａ２，ａ３，・・・，ａｎ）
Ｂ＝（ｂ１，ｂ２，ｂ３，・・・，ｂｎ）
があるこのときのユークリッド距離は２乗平均をとり
√（（ａ１−ｂ１）２乗＋（ａ２−ｂ２）２乗＋（ａ３−ｂ３）２乗＋・・・＋（ａｎ−ｂｎ）２乗）
となる。もし全く同じテクスチャならば距離は０になる。計算方法の基本は一般の３次元までの直線距離算出手法と変わらない。
【００６９】
上記全体動線管理アルゴリズムの具体例を図２１に示す。
・各カメラ単位で人の動線を特定する。
・各カメラは時間同期が取れており、かつ隣り合うカメラ同士は共有領域（のりしろ）をもって連続２次元座標が設定できるように配置されている。そして、各カメラの動線情報を集積することで、全体管理マップ上で全カメラ視野内の動線を作成することができる。
【００７０】
・図２１の場合、各カメラ単独で人を特定し、その動線を繋ぐ。ここでカメラ１の６番目のポントとカメラ２の１番目のポイントは２次元座標と時間が一致するので、連続した動線として全体動線管理マップでは管理される。こうすることにより、複数のカメラから作られる２次元座標内の全動線を管理できる。
【００７１】
・動線を繋ぐ際には、時間、２次元座標だけでなく、高さ（慎重）、テクスチャ情報（頭や服の色）を使って信頼度を高くすることも可能である。
［領域監視・警告処理］
次に、領域監視・警告処理フローを図２２に示す。
【００７２】
図２２に示す領域監視・警告処理フロー（落下判定等のアルゴリズム）は、以下の通りである。
［１］線路上の領域に人がいるとき、高さがホーム（例えば、１．５ｍ　）よりも高ければ（例えば、手だけホーム外にある場合）衝突注意処理を、低ければ落ちたと判断し、落下警報処理を行う。
【００７３】
［２］ホーム上の危険領域に人がいるとき、ライントラックを行っていない場合、即、退避勧告処理を行う。また、ライントラックを行っている場合、ログから判断して、危険領域に留まり続けているならば、退避勧告処理を行う。
【００７４】
このようにして、この発明のシステムは、ホーム端上の人の位置、動きなどから、予め注意を呼びかける状況、そのアナウンス、および映像を転送する状況を予め登録する手段を与える。さらに、カメラ装置に音声合成機能を付加することで、その状況に応じたアナウンスを予め登録された合成音声によってカメラ単位で乗客に伝える。
【００７５】
以上まとめると、以下の如くなる。
１．落下の自動検知：距離情報を静止画と動的な変化を見て判断する。
距離情報を用いるので朝日や夕日が射し込んだり、影が激しく変化したりする状況でも確実に落下を検知できる。また、新聞、ダンボール、鳩・カラス、荷物などを無視できる。
【００７６】
・判断結果は３段階などで伝える。
ａ．確実に落下→停止信号の送信、警報の発生。
ｂ．何かあるかも→その画像をスタッフルームに転送。
ｃ．確実に鳩やゴミなど→無視。
【００７７】
・線路に人がいる状況判断も以下の２種類を判断できる。
ａ．ホームから落ちた。
ｂ．線路側から歩いてきた。
【００７８】
・危険地域（ホーム端ギリギリ）にいるものに対して警告できる。
ａ．人には音声で警告。動かなかったら画像を転送。
ｂ．荷物の場合も画像を転送。
【００７９】
ここで使う情報はグレー画像から得られる時系列距離情報のみ。
２．人の動きの追跡：距離情報を静止画で、また同時にテクスチャ情報（カラー画像）を利用して追跡する。
【００８０】
・人が混雑している状況でも間違えないでリアルタイムで動線管理できる。
・テクスチャを位置、回転に対して対応できる高次局所自己相関特徴でも追跡するので、距離とテクスチャ両方でより正確にできる。
【００８１】
・人を追いかける範囲を混雑状況に応じて動的に変化させるので、ビデオレートで実現できる。
・距離情報とテクスチャ情報を両方使うので、人が交差したときに正確に人の軌跡を判断する交差判定もより正確にできる。
【００８２】
【発明の効果】
以上述べたように、本発明の装置によれば、駅の線路側ホーム端において複数のステレオカメラにより該ホーム端を撮像し、ホーム端にいる人を距離情報とテクスチャ情報によって識別しながらホーム端上の位置を特定することにより、線路側ホーム端における人の線路転落の確実な検知、および複数の人の識別とその全行動ログの取得する駅ホームにおける、より確実な安全監視装置を提供できる。
【００８３】
また、上記構成において、人間のホームなどの空間における動線のログを取得して保存する手段を備えること、またさらに、前記各ステレオカメラからの画像情報に基づき認識対象を抽出する手段が、高次局所自己相関を用いた高解像度画像での認識を行うことを用いることにより、上記識別を確実なものとすることができる。
【００８４】
また、上記構成において、前記距離情報と画像情報両方から対象を認識する手段が、高さの異なる複数のマスク上の重心情報から人と他のものを識別すること、および、上記構成において、ホーム端の前記距離情報と画像情報を取得し、線路範囲上方における画像情報の検知および該画像情報の距離情報から、人の落下もしくは人等のホーム外への突出を識別し、警報を出すことにより、より安全度の高い、確実な駅ホームにおける安全監視装置が提供できる。
【図面の簡単な説明】
【図１】本発明の安全監視装置の概念図である。
【図２】従来の監視カメラの配置を示す図である。
【図３】従来の転落検知マットの説明図である。
【図４】本発明の全体のフローチャートである。
【図５】本発明の人カウントアルゴリズムの説明図である。
【図６】本発明の人中心特定・カウント処理のフローチャートである。
【図７】距離画像からスライスした２値画像の例を示す図である。
【図８】図７のラベリング結果を示す図である。
【図９】重心計算の説明図である。
【図１０】本発明のライン・トラッキング処理のフローチャートである。
【図１１】平行移動不変の高次局所自己相関特徴の説明図である。
【図１２】近似するベクトル例を示す図である。
【図１３】切り出しがずれた同じ顔画像の例を示す図である。
【図１４】本発明に用いる平行移動不変、かつ回転移動不変の高次局所自己相関特徴の説明図である。
【図１５】本発明の探索範囲動的決定処理のフローチャートである。
【図１６】本発明の混雑状況マップを示す図である。
【図１７】本発明のテクスチャ利用の探索処理のフローチャートである。
【図１８】本発明の動的探索領域決定アルゴリズムの説明図である。
【図１９】本発明の動的探索領域の混雑度合いによる変化を示す図である。
【図２０】本発明に用いる高次局所自己相関特徴による高速探索アルゴリズムの説明図である。
【図２１】本発明の全体動線管理アルゴリズムを示す図である。
【図２２】本発明の領域監視・警告処理のフローチャートである。
【符号の説明】
１　　　カメラ
２　　　人
５，６，７　　　マスク画像
１０，１１，１２　　　人の画像
１３，１４　　　人の画像
１６，１７　　　子供の画像

Claims (7)

1. 駅の線路側ホーム端において複数のステレオカメラにより該ホーム端を撮像し、各ステレオカメラ単位で視野内の撮像画像とホームの座標系に基づいた距離情報に基づく画像情報を生成する画像処理手段と、前記各ステレオカメラからの距離情報と画像情報に基づき対象を認識する手段と、認識された対象の状態から安全を確認する手段とからなることを特徴とする駅ホームにおける安全監視装置。
2. さらに、人間のホームなどの空間における動線のログを取得して保存する手段を備えることを特徴とする請求項１記載の駅ホームにおける安全監視装置。
3. 前記各ステレオカメラからの距離情報と画像情報に基づき対象を認識する手段が、高次局所自己相関特徴を用いた認識を行うことを特徴とする請求項１または２記載の駅ホームにおける安全監視装置。
4. 前記距離情報と画像情報から対象を認識する手段が、高さの異なる複数のマスク上の重心情報から人と他のものを識別することを特徴とする請求項１〜３のいずれかに記載の駅ホームにおける安全監視装置。
5. 安全を確認する手段がホーム端の前記距離情報と画像情報を取得し、線路範囲情報における画像情報の検知および該画像情報の距離情報から、人の落下もしくは人等のホーム外への突出を識別し、警報を出すことを特徴とする請求項１〜４のいずれかに記載の駅ホームにおける安全監視装置。
6. 前記高次局所自己相関特徴が所定の範囲の所定の箇所に存在する前後の時系列の距離情報を同一人と同定するために用いられることを特徴とする請求項１〜５のいずれかに記載の駅ホームにおける安全監視装置。
7. 前記所定の箇所は所定の範囲内を複数のブロックに分けたものであり、前記時系列の次の距離情報の探索が上記複数のブロックの内の複数個を単位として前記高次局所自己相関特徴を計算することにより行われることを特徴とする請求項６記載の駅ホームにおける安全監視装置。

Images