JP2004277176A - エスカレータ及び動く歩道のビデオカメラ監視 - Google Patents

エスカレータ及び動く歩道のビデオカメラ監視 Download PDF

Info

Publication number
JP2004277176A
JP2004277176A JP2003361496A JP2003361496A JP2004277176A JP 2004277176 A JP2004277176 A JP 2004277176A JP 2003361496 A JP2003361496 A JP 2003361496A JP 2003361496 A JP2003361496 A JP 2003361496A JP 2004277176 A JP2004277176 A JP 2004277176A
Authority
JP
Japan
Prior art keywords
escalator
monitoring system
moving
image
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003361496A
Other languages
English (en)
Other versions
JP5048912B2 (ja
Inventor
Josef Wiesinger
ヨーゼフ・ビージンガー
Dirk Blondiau
デイルク・ブロンデユー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inventio AG
Original Assignee
Inventio AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inventio AG filed Critical Inventio AG
Publication of JP2004277176A publication Critical patent/JP2004277176A/ja
Application granted granted Critical
Publication of JP5048912B2 publication Critical patent/JP5048912B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B29/00Safety devices of escalators or moving walkways
    • B66B29/005Applications of security monitors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B27/00Indicating operating conditions of escalators or moving walkways
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Abstract

【課題】エスカレータおよび/または動く歩道上における障害物および人の監視であって、エスカレータおよび/または動く歩道の監視領域に存在する人または障害物を確実且つ一義的に検知することができる監視を着想する。
【解決手段】本発明は、少なくとも1つのビデオカメラを備え且つエスカレータおよび/または動く歩道上の障害物および人を検知するための監視システムを開示しており、これにより、監視システムは、立体画像を取得する。
【選択図】 図1

Description

本発明は、独立請求項に規定されるエスカレータおよび/または動く歩道のビデオカメラ監視に関する。
そのような監視システムは、エスカレータ始動ロック装置として、あるいは、エスカレータ再始動制御装置として、様々な実施形態で良く知られている。そのような監視システムにより、エスカレータは、緊急停止の自発的な或いは誤った作動の後に再始動し、あるいは、他の安全装置は、安全装置の監視領域内に人または物が存在しなくなるまでブロックされたまま保持されなければならない。
特に、エスカレータ再始動制御条件は、基準E115によって定められている。すなわち、この基準E115において、鉄道の駅やショッピングセンター等の環境下で人を運ぶために使用されるエスカレータは、安全のために監視されなければならない。監視は、エスカレータが停止される場合および安全な再始動が必要な場合に限定される。安全な再始動は、空の状態、すなわち、エスカレータの入口領域および移動部分の上に人や障害物が無い状態かどうかについてエスカレータが繰り返し検査される状況でのみ行なわれても良い。空の状態である時間として必要な時間は、一般に、10秒に調整される。この時間にわたって繰り返される空の状態に関するチェックは、0.1秒毎に行なわれても良い。
この種の監視システムは、例えば、欧州特許出願公開第1013599号明細書、特開平10−236757号公報、特開平10−265163号公報に記載されている。
欧州特許出願公開第1013599号明細書は、エスカレータ再始動制御のための監視システムを開示している。この監視システムは、エスカレータの上側に配置された一組のカメラにより、エスカレータ上の人または物の存在を検知する。実際の実験では、太陽放射が強い場合、拡散光が弱い場合、雨、小雨、霧の場合に、このシステムが作動しないことが明らかとなり、また、これらの環境下で、エスカレータの空の状態を明確に認識することができないことが明らかとなった。
特開平10−236757号公報は、エスカレータの設置場所に係員を派遣することなく、移動案内装置が遠隔的に監視され、始動および停止制御を行なうことができる遠隔監視システムを開示している。この遠隔監視システムは、エスカレータおよびその周囲を監視するITVカメラと、エスカレータの始動/停止を制御するために遠隔領域に設けられた中央コントローラとを備えている。
特開平10−2365163号公報は、エスカレータ及びその周辺の取得画像に基づいて、現象を判断するとともに、落下事故等に対して迅速に対応するエスカレータコントローラを開示している。
特開平10−236757号公報および特開平10−2365163号公報の両方は、特定の照明状態下で適切に作動せず、また、エスカレータの空の状態を明確に認識することができない監視システムを開示している。特に、エスカレータ上の影や汚れた場所と、エスカレータ自体の上に存在する人や物とを最終的に混同する可能性がある。
欧州特許出願第1013599号明細書 特開平10−236757号公報 特開平10−265163号公報 Peter J.Burt, Tsai−Hong Hong, Azriel Rosenfeldによる「共同階層的計算による画像領域特性の細分化および評価」 M.SpannおよびR.Wilsonによる「統計学的な情報と空間的な情報とを組み合わせる画像細分化への4倍ツリーアプローチ」 M.A.FischlerおよびR.C.Bollesによる「ランダムサンプルコンセンサス:アプリケーションを用いた画像分析および自動カルトグラフィに対するモデルフィッティングのための実例」 David G.Loweによる「パラメータ化された3Dモデルの画像に対する適合」
本発明の目的は、エスカレータおよび/または動く歩道上の障害物および人の監視であって、エスカレータおよび/または動く歩道の監視領域に存在する人または障害物を確実且つ一義的に検知することができる監視を着想することである。
本発明によれば、この目的は、エスカレータおよび/または動く歩道上の障害物および人を検知するための監視システムであって、立体画像を取得するための少なくとも1つのビデオカメラを備えた監視システムによって達成される。
立体画像という語は、僅かに異なる位置に配置された2つのカメラによって撮影され、あるいは、2つの僅かに異なる位置に配置された同じカメラによって撮影された同じ領域の一対の写真を意図しており、これにより、僅かに異なる2つの角度で同じ視野が画像化される。検知されるべきエスカレータ上の対象物は、それらが置かれているエスカレータに比べてカメラに近いという特性を有している。立体画像の利点は、これらの対象物が一対の立体画像内で異なる位置に現われるという点である。エスカレータ上の汚れや銘刻等の乱れは、一対の立体画像内の同じ位置に現われ、このため、エスカレータ上の物および人の存在を一義的に検知することができる。
エスカレータおよび/または動く歩道の安全な動作を妨げるほどの寸法を有する物体や塊は、障害物または人と理解される。
本発明の好ましい実施形態において、ビデオカメラ対は、エスカレータの上側またはエスカレータの手摺に設けられている。この実施形態によれば、エスカレータの最適な視野が得られるという利点がある。すなわち、45°の視野角で、障害物および人は、カメラに接近しすぎる(画像内で大き過ぎる)こともなく、また、カメラから離れ過ぎる(画像内で小さ過ぎる)こともない。
エスカレータが非常に長い場合、エスカレータのストローク全体を都合良く監視するためには、複数対のカメラが必要である。
他の好ましい実施形態において、監視システムは、立体画像を処理するための処理ユニットを有している。この実施形態によれば、監視システムが取得画像を自動的に処理することができ、また、障害物がエスカレータ上に存在するか否かの決定を自発的に行なうことができるという利点がある。
このような立体画像の処理に関しては、本発明の詳細な説明で後述するようなローディング、記憶、比較、差別化、修正、ワーピング、再構成、細分化、グループ分け、エッジ検出、ハフ変換、抽出等のデジタル画像上で好ましく行なわれる任意の操作が意図される。
処理ユニットは、パーソナルコンピュータ、または、カメラあるいは装着される特定の装置を必要としないエスカレータ装置の任意の他の部品に内蔵された規格化された低廉なプロセッサであっても良い。
他の好ましい実施形態において、処理ユニットおよびカメラは、連結手段によって互いに接続されても良く、また、エスカレータ制御装置とも接続されても良い。この実施形態によれば、監視システムが取得画像を自動的に処理することができ、エスカレータ上に障害物が存在するか否かの決定を監視システムが自発的に行なえるとともに、最終的に、得られた情報に基づいて、監視システムによりエスカレータを自動的に再始動させることができるという利点がある。連結手段は、2つ以上の取得・処理・制御ユニット間でのデータの送信や交換を可能とする任意の物理的手段、例えば、ケーブルや信号バスまたはデータ交換バス等であることは言うまでもない。
本発明において、目的は、エスカレータおよび/または動く歩道上の障害物および/または人を検知するための方法であって、少なくとも1つのビデオカメラが立体画像を取得し、これらの画像を処理ユニットが処理する方法によっても達成される。この方法の利点は、実行が簡単で確実であるという点である。
本発明の他の好ましい実施形態は、エスカレータおよび/または動く歩道上の障害物および/または人を検知するためのコンピュータプログラム・プロダクトであって、プロセッサ内でロードされるとともに、前記エスカレータおよび/または動く歩道の立体画像を処理するコンピュータプログラム・プロダクトに関する。このコンピュータプログラム・プロダクトの利点は、あらゆる場所に、局所的にでも遠隔的にでも中央サーバにロードでき、また、更新を簡単に行なえるという点にある。
以下、概略的な図面を参照しながら、本発明の好ましい実施形態について詳細に説明する。
図1は、本発明に係る監視システムが設けられたエスカレータの全体図を示している。エスカレータ1上には、人2が立っている。この人2は、エスカレターの上側の僅かに異なる位置に配置された一対のビデオカメラ3.1、3.2の視野内にいる。したがって、これらのカメラは、エスカレータの一対の立体画像を取得することができる。
像の取得は、一対のカメラを使用して行なわれる。この場合、必要とされるカメラの数ncは、階段の高さHによって決まる。概算値は、nc=4+Hによって与えられる。ここで、Hは、エスカレータの高さである。例えば、階段の高さが4mである場合、4対のステレオカメラ、すなわち、全体で8個のカメラが必要である。
エレベータの内側部分においては、ターンモードすなわち垂直方向の画像範囲が水平方向の画像範囲よりも大きいモードで焦点距離が6mm(公称値)の2つのカメラが推奨される。また、エレベータの上端および下端の入口領域でも、6mmの焦点距離を有する(この場合もターンモード)カメラが必要である。
カメラの配置および数に影響を与える環境・エスカレータパラメータは、例えば最大で100mにまで及ぶ可能性があるエスカレータの長さである。エスカレータは、カバーを付けて或はカバーを付けることなく、屋内または屋外に配置されても良い。エスカレータの階段は、着色されても良く、あるいは、銘刻が施されていても良い。必要条件として、円筒形状を成し且つ直径が0.15mで高さが0.15mの最小寸法を有する不透明な対象物を検知しなければならない。照度は、エスカレータ領域にわたって異なっていても良い。最小照度は、屋内に設置した場合には50ルクス、屋外に設置した場合には15ルクスに設定される。
図2は、一対のカメラがエスカレータの手摺に配置された監視システムの好ましい実施形態を示している。
図3は、エスカレータに沿って配置された2つの支柱の上端に一対のカメラが装着された監視システムの好ましい実施形態を示している。
プログレッシブ走査CCDイメージセンサを有するイメージング・ソース(The Imaging Source)社によって製造されたDFG/BW1フレーム取込み器およびB/Wカメラを使用することができる。
重要な更なる要件は、電圧によって制御可能なレンズである。この要件は、照明状態が大きく変化するために生じる。
使用されるレンズは、焦点距離fが6mmであるH612ER型式のコスミカーレンズ(Cosmicar lens)である。開口径は、1.5から5ボルトの範囲で制御電圧を変化させることにより、f/1.2からf/360の範囲で制御可能である。口径は、NuDAQ 6208マルチチャンネルアナログ出力カードを使用して制御される。
カメラは、連結手段4(例えば、ヒロセケーブル)を介して、処理ユニット5に接続される。処理ユニット5は、ビデオカメラ対によって撮影されたデジタル立体画像を処理する。後述するアルゴリズムにより、処理ユニットは、エスカレータ上に人が居るか否かを検知する。このような検知は、差異修正された一対の立体画像に基づいている。この場合、ワーピング変換は、左側の画像を右側の画像に重ね合わせること及びその逆を行なうことである。3Dカメラの位置は、モデルベースポーズ評価によって得られ、ワーピング変換を得るために差異が使用される。
特に、課題は、現実世界の照明状態下で移動する背景と見なし得るエスカレータ上の物体を検知することである。提案する解決策は、モデルベース背景再構成と、ステレオセットアップでの1つの画像の他の画像に対する透視ワーピング(perspective warping)と、画像ピラミッドにおける差の最終的な検知とから成る。具体的には、幾何学的不変量の使用によりラインの特徴のグループ分けに基づいてモデルベース階段ポーズ推定器が使用される。検知は、歪められていない(ワーピングしていない)画像と歪められた(ワーピングされた)画像との間の絶対ピクセル差を測定することに基づく。この画像差は、システム、人間、人工頭脳学に関するIEEE報告書、11(12):802−809、1981年12月のPeter J.Burt, Tsai−Hong Hong, Azriel Rosenfeldによる「共同階層的計算による画像領域特性の細分化および評価」(Segmentation and Estimation of Image Region Properties Through Cooperative Hierarchical Computation)の画像ピラミッドで説明されており、パターン認識、18(3/4):257−269、1985年のM.SpannおよびR.Wilsonによる「統計学的な情報と空間的な情報とを組み合わせる画像細分化への4倍ツリーアプローチ」(A Quad−Tree Approach to Image Segmentation which Combines Statistical and Spatial Information)で提案されたアルゴリズムを使用して、背景(階段)と前景(障害物)とに分割される。
画像処理は、PC−クラスマシン(インテル・ペンティアム)上で行なわれる。PCボックスの数は、複数であっても良い。好ましい実施形態において、各PCボックスは、2対のステレオを受け持っている。すなわち、各PCボックスは、4つのカメラに接続されている。各PCには、1つのNuDAQ 6208および2つのDFG/BW1カードが設けられている。
ソフトウェアは、C++で書かれており、Linuxオペレーティングシステム下で実行される。有効な画像、コンピュータ・ビジョン、マトリクス代数アルゴリズムは、使用されるインテル・パフォーマンス・プリミティブズ・ライブラリによって与えられる。
主なソフトウェア・コンポーネントは、以下の通りである。
・口径制御を含む取得。
・カメラおよびシステムの較正(オフライン)。
・監視、状態評価、検知(オンライン)。
検知の部分は、エスカレータの点検時間に行なわれる時間が重視される部分であり(オンライン)、一方、較正の部分は、事前に、すなわち、エスカレータ組立時に行なわれる(オフライン)。
取得は、以下の2つの作業を行なう。
・取り込まれた画像を幾つかの取り決められた共有メモリに供給する。
・例えば階段の対象領域(Region of Interest:ROI)での情報内容の最大化等の画像特性に基づいて口径を制御する。
図4は、取得コンポーネントと画像を処理要求画像との間の通信、すなわち、オフラインとオンラインとの間の通信を説明する連携線図を示している。同期化および通信における基本的な原理は、次の通りである。
・コンポーネントがUnix(登録商標)・プロセスである。
・共有メモリを使用して画像データがやりとりされる。
・共有メモリアクセスのための同期化がセマフォーを使用する。
・プロセス間での信号送信がメッセージ待ちキューを使用する。
較正および監視の部分に関しては、以下の7つの主な作業が確認される。
・径方向/接線方向の無ひずみ。
・動作細分化およびROI識別。
・エッジおよびライン抽出。
・幾何学的マッチング、モデル/データライン対応、ポーズ評価。
・差異計算、ワーピングテーブルセットアップ。
・階段状態評価。
・画像ワーピング、細分化、接続されたコンポーネントのラベリング、意志決定支援。
無ひずみの作業は、オフライン部分およびオンライン部分で必要とされる。次の最初の4つのコンポーネントは、オフラインコンポーネントとして要約することができる。一方、最後の2つはオンラインコンポーネントである。
図5は、前述したコンポーネントを用いたシステムにおけるデータフローを示している。外部データストアは、内部較正からの無ひずみパラメータと、階段のCADモデル、すなわち、点および線のリストとを供給する。検知の結果である出力は、他の外部データストアへと送られる。主なコンポーネント、すなわち、取得、オフライン、オンラインは、共有領域においてグループ化される。無ひずみは、オンラインコンポーネントおよびオフラインコンポーネントの両方によって集められた画像に適用される。
前述したように、本システムの主なコンポーネントは、取得部分、オフライン(すなわち較正)部分、オンライン(すなわち検知)部分である。以下、最も興味深いサブ部分、すなわち、オフライン部分における幾何学的マッチング(2Dデータと3Dモデルとの間で対応をとる)およびオンライン部分におけるステレオ画像(立体画像)からの検知について、詳細に説明する。
相対的な方向および位置を表わすモデルベースポーズ評価パラメータ、すなわち、外部カメラパラメータは、データとモデルとの間の対応を使用して見出される。この場合、データは1つの画像から抽出された2Dラインであり、モデルは3Dワイヤーフレーム対象物である。略水平なラインは、方向性画像勾配(directional image gradient)技術およびハフ変換技術に基づく標準的なエッジ検出を使用して画像データから得られる。ステレオ対の画像毎にデータラインとモデルラインとの間で対応をとり、さらには、2つのステレオ対間で対応をとるため、以下のマッチング処理が適用される(複比(cross ratio)に基づくグルーブ分け)。
マッチングにおける第1のステップは、データラインとモデルラインとの間での考えられる対応を識別することである。透視投影下で、ラインの比の比、角度の比の比、すなわち、複比は不変量である。4本のラインから成るグループを、考えられるラインの大きなセットから識別するために、複比が使用される。4本のラインから成るそのようなグループは、この場合には、略直交するラインとの交点に関して得られる複比によって特徴付けられ、階段パターンに対するマッチング候補として役立つ。1つのライン上における4つの点p1,...,p4に関する複比のための定義は、以下のように与えられる。
Figure 2004277176
ここで、X1,...,X4は、ライン上の各点の対応する位置である。
モデルラインに対する対応における良好な候補であるデータラインを選択するために、以下の方法を使用した。
・例えば1つのライン上で等間隔に離れた4つの点に関して、論理的な複比を計算する。この複比Crt=4/3である。
・データから略水平ラインの適当なセットL(サイズNの)を検知する。
・これらのラインと略垂直ラインとの交点を計算する。
・ライン
Figure 2004277176

Figure 2004277176
4要素サブセットの全てを計算する。
セットliに対応する全ての複比ciを計算する。
Figure 2004277176
に対してliを(小さい順に)ソートする。
Crtに対して短い距離のラインに対応するソートされたグループの部分だけが後述するポーズ評価ステップ(位置および方向の評価)へ入力される。
ラインの対応するグループは、
ACMの通信、24(6):381−395、1981年のM.A.FischlerおよびR.C.Bollesによる「ランダムサンプルコンセンサス:アプリケーションを用いた画像分析および自動カルトグラフィに対するモデルフィッティングのための実例」(Random Sample Con−census:A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography)に記載されたRANSACに類似する処理に対して入力される。複比に基づくグループ分けは、RANSACにおけるサンプリングを向上させるとともに、必要な繰り返しの数を減らす。RANSACにおける基本的な考えは、できる限り小さい初期データデットをRANSACが使用し且つ可能である場合には一貫性のあるデータを用いてRANSACがこの初期データセットを拡張するという考えである。サイズがsの特徴を用いたサンプルの無作為抽出の必要な数nsは、FischlerおよびBollesによって以下のように与えらる。
Figure 2004277176
ここで、pcは、s=4ラインの少なくとも1つのサンプルに外れ値(outlier)が無い確率である。選択された任意のサンプルが許容値(inlier)である確率は、piで示されている。この場合、複比に基づいて改良されたサンプリングにより、高いpi、例えばpi=0.8で、pc=0.99を選択して、ns=9と同じ位低い必要なRANSAC繰り返し数が得られると安全に考えることができる。
ポーズの確認は、パターン分析および人工知能に関するIEEE報告書、13(5):441−450、1991年5月のDavid G.Loweによる「パラメータ化された3Dモデルの画像に対する適合」(Fitting Parameterized 3−D Models to Images)によって考え出された処理に基づいている。Loweは、投影パラメータの線形化およびニュートンの方法の適用によって、3Dモデルラインと2D画像ラインとの間での周知の対応の所定のセットから対象物のポーズを導き出すことに関する問題に取り組んでいる。このポーズ評価ステップの結果は、ワールド座標系からカメラ座標系への2つの変換、すなわち、各カメラにおける3つの並進パラメータおよび3つの回転パラメータである。
ステレオ画像からの検知は、検出器較正、すなわち、差異の導出、2次元ワーピング変換の導出、および、検知それ自体、すなわち、一方の画像から他方の画像へのワーピング、ワーピングされた且つワーピングされていない画像の差別化、最終的に、差画像を細分化して決定を得ることを含んでいる。
ワーピング変換は、階段モデルと、2つのワールド座標系−カメラ座標系および前述したポーズ評価処理によって得られた投影変換とから見出される。投影ワーピング変換は、像平面内での両方の座標方向における座標マッピングを含む2つのワーピングテーブルを与える。ワーピングテーブルは、簡単な方法でモデルを介した対応により正確に与えられる差異から計算される。
障害物の検知における主な考えは、1つの画像をワーピングして、例えば、右の画像に対して左の画像をワーピングして、幾つかの比較を行なうことである。検知されるべき階段上の対象物は、それらが配置される階段に比べ、カメラに近いという特性を有している。したがって、ワーピングされた画像内の対象物は、それらがワーピングされていない画像内に現われる場合の位置とは異なる位置に現われる。一方、階段上の汚れや銘刻等の乱れは、ワーピングされた画像とワーピングされていない画像とで同じ位置に現われる。
要約するため、規則的に構造化された非平坦な背景に対してステレオベース障害物検知処理を拡張した。複比の制約に基づくグループ分けは、RANSACサンプリングを向上させた。ポーズ評価は、ステレオ処理を簡略化して促進する外的に較正されたカメラと、ピラミットベース細分化処理を使用して行なわれる対象物検知作業とを与える。この方法の高い信頼性が実験的に見出された。すなわち、障害物を見逃してしまう割合は1%程度、障害物を誤検知する割合は5%程度であった。高さが15cmよりも小さい円筒状の対象物でさえも確実に検知された。
処理ユニットは、制御ライン6を介してエスカレータコントローラ7に接続され、したがって、エスカレータ上の人または障害物の検知に基づいて、停止後にエスカレータの再始動を制御することができる。
PCとエスカレータ制御装置との間の信号接続は、簡単なワイヤを使用する。このワイヤを通じて、階段制御装置からの信号が各PCに送受信される。PCから制御装置への信号は、離接的な形態で組み合わされる。例えば、任意のPCが対象物等が検知された旨の信号を送ると、対象物が検知される。
以下の3つの出力信号が制御装置に送られる。
・検知された対象物。
・警告、例えば、カメラの不具合。
・故障、すなわち、システムが作動しない。
また、システムは、所謂試験モードをサポートしなければならない。このモードでは、画像がカメラからではなく記憶された場所からシステム内へと供給される。したがって、以下の2つの入力信号が必要である。
・停止状態の階段。
・必要とされる試験モード。
監視装置と階段制御装置との間での信号のやりとりは、NuDAO 6208マルチチャンネルアナログ出力カードのデジタル入力/出力チャンネルを使用して行なわれる。アナログ出力チャンネルの他に、NuDAO 6208カードは、4つの入力チャンネルおよび4つの出力チャンネルを供給する。
コントローラは、モータ供給ライン8を介してエスカレータモータ9に接続され、したがって、モータを再始動させることができ、あるいは、モータを静止位置に保持することができる。
監視システムの更なる技術的な要件は、システムが2つの独立したチャンネルまたは制御ユニットから成っていても良いということである。ウォッチドッグ機能が必要とされる。すなわち、システムが利用可能かどうかが連続的にチェックされても良い。
当業者であれば分かるように、立体画像対を使用する開示されたシステムおよび方法は、エレベータカー内の人または物、あるいは、エレベータドアの前側のロビー内における人または物を検知するために使用されても良い。
本発明に係る監視システムを備えたエスカレータの全体図。 一対のカメラがエスカレータの手摺に配置された監視システム。 エスカレータに沿って配置された2つの支柱の上端に一対のカメラが装着された監視システム。 共有メモリを使用して画像データをやりとりすることができる協調図。 システム全体におけるデータフロー図。
符号の説明
1 エスカレータ
2 人
3.1、3.2 ビデオカメラ
4 カメラ処理ユニットの連結手段
5 処理ユニット
6 制御ライン
7 エスカレータコントローラ
8 モータ供給ライン
9 エスカレータモータ

Claims (13)

  1. 障害物および人を検知するための監視システムであって、
    少なくとも1つのビデオカメラと、
    エスカレータおよび/または動く歩道と
    を備え、
    立体画像を取得することを特徴とする、監視システム。
  2. 前記ビデオカメラは、前記エスカレータおよび/または前記動く歩道の上側に設けられていることを特徴とする、請求項1に記載の監視システム。
  3. 前記ビデオカメラは、前記エスカレータおよび/または前記動く歩道の手摺に設けられていることを特徴とする、請求項1に記載の監視システム。
  4. 前記エスカレータおよび/または前記動く歩道の全ストロークを都合良く監視するために、前記エスカレータおよび/または前記動く歩道に沿って複数対のビデオカメラが配置されていることを特徴とする、請求項1から3のいずれか一項に記載の監視システム。
  5. 立体画像を処理する処理ユニットを備えていることを特徴とする、請求項1から4のいずれか一項に記載の監視システム。
  6. 前記ビデオカメラを前記処理ユニットに連結するための手段、特にデータ交換バス、および/または、立体画像を記憶するための手段を備えていることを特徴とする、請求項1から5のいずれか一項に記載の監視システム。
  7. 前記処理ユニットは、モデル画像のデジタルデータと実際の取得画像のデジタルデータとを比較するための原理に基づく画像処理ソフトウェアプログラムがロードされた少なくとも1つのパーソナルコンピュータであることを特徴とする、請求項5または6に記載の監視システム。
  8. 前記処理ユニットがカメラに内蔵されていることを特徴とする、請求項5または6に記載の監視システム。
  9. 停止後に障害物および/または人が前記エスカレータおよび/または前記動く歩道上で検知されない場合にだけ前記エスカレータおよび/または前記動く歩道を再始動する制御装置が前記エスカレータおよび/または前記動く歩道に対して電気的に接続されていることを特徴とする、請求項5から8のいずれか一項に記載の監視システム。
  10. エスカレータおよび/または動く歩道上の障害物および/または人を検知するためのコンピュータプログラム・プロダクトであって、
    プロセッサ内にロードされるとともに、前記エスカレータおよび/または前記動く歩道の立体画像を処理することを特徴とする、コンピュータプログラム・プロダクト。
  11. 停止後に障害物および/または人が前記エスカレータおよび/または前記動く歩道上で検知されない場合にだけ前記エスカレータおよび/または前記動く歩道を再始動することを特徴とする、請求項10に記載のコンピュータプログラム・プロダクト。
  12. エスカレータおよび/または動く歩道上の障害物および人を検知するための方法であって、
    少なくとも1つのビデオカメラが立体画像を取得し、これらの画像を処理ユニットが処理することを特徴とする、方法。
  13. 障害物および/または人が前記エスカレータおよび/または前記動く歩道上で検知されない場合にだけ停止後に前記エスカレータおよび/または前記動く歩道が自動的に再始動されることを特徴とする、請求項12に記載の方法。
JP2003361496A 2002-11-06 2003-10-22 エスカレータ及び動く歩道のビデオカメラ監視 Expired - Fee Related JP5048912B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02405951.1 2002-11-06
EP02405951 2002-11-06

Publications (2)

Publication Number Publication Date
JP2004277176A true JP2004277176A (ja) 2004-10-07
JP5048912B2 JP5048912B2 (ja) 2012-10-17

Family

ID=32405818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003361496A Expired - Fee Related JP5048912B2 (ja) 2002-11-06 2003-10-22 エスカレータ及び動く歩道のビデオカメラ監視

Country Status (5)

Country Link
US (1) US20050088520A1 (ja)
JP (1) JP5048912B2 (ja)
CN (1) CN1315715C (ja)
BR (1) BR0304801A (ja)
CA (1) CA2447967C (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008013358A (ja) * 2006-07-10 2008-01-24 Mitsubishi Electric Building Techno Service Co Ltd エスカレータの地震時自動復旧装置
JP2008201509A (ja) * 2007-02-19 2008-09-04 Mitsubishi Precision Co Ltd 人物挙動判別システム
JP2015520101A (ja) * 2012-04-26 2015-07-16 ザ プロクター アンド ギャンブルカンパニー 匂いセンサーを備えたコンポスト装置
JP2018203496A (ja) * 2017-06-07 2018-12-27 三菱電機ビルテクノサービス株式会社 エスカレーター踏段歩行抑制システムおよびエスカレーター踏段歩行抑制方法
JP2020508273A (ja) * 2017-02-27 2020-03-19 インベンテイオ・アクテイエンゲゼルシヤフトInventio Aktiengesellschaft エスカレータまたは動く歩道の支持構造の3dモデルを生成する方法および装置

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004018016A1 (de) * 2004-04-14 2005-11-10 Sick Ag Verfahren zur Überwachung eines Überwachungsbereichs
WO2006018883A1 (ja) * 2004-08-19 2006-02-23 Mitsubishi Denki Kabushiki Kaisha 昇降機画像監視システム
JP5065861B2 (ja) * 2007-11-15 2012-11-07 株式会社日立製作所 エスカレータ制御装置
GB0802457D0 (en) * 2008-02-09 2008-03-19 Stannah Stairlifts Ltd Improvements in or relating to stairlifts
CN101607668B (zh) * 2008-06-17 2012-06-27 上海阿艾依智控系统有限公司 嵌入式计算机视觉自动扶梯人流监察警报装置
CN101343012B (zh) * 2008-08-26 2013-03-27 北京中星微电子有限公司 一种自动滚梯的控制方法和系统
JP4753320B2 (ja) * 2008-09-09 2011-08-24 東芝エレベータ株式会社 エスカレータ監視システム
JP4937303B2 (ja) * 2009-07-14 2012-05-23 株式会社日立ビルシステム エスカレータ監視装置
US20110176000A1 (en) * 2010-01-21 2011-07-21 Utah State University System and Method for Counting People
WO2012023943A1 (en) 2010-08-20 2012-02-23 Otis Elevator Company Remote controlled passenger conveyor and method for remotely controlling a passenger conveyor
BR112014014861A2 (pt) * 2011-12-21 2017-06-13 Inventio Ag painel iluminável para escada rolante, esteira rolante ou uma cabine de elevador
US10155642B2 (en) * 2014-02-16 2018-12-18 Amir Hussein GHADAMOSSOLTANI Intelligent escalator emergency stop system (IE2S2)
CN105096406A (zh) 2014-04-30 2015-11-25 开利公司 用于建筑能耗设备的视频分析系统和智能楼宇管理系统
CN106660756A (zh) * 2014-05-06 2017-05-10 奥的斯电梯公司 对象检测器以及使用所述对象检测器来控制乘客输送机系统的方法
US11097923B2 (en) 2014-10-14 2021-08-24 Xicore Inc. Systems and methods for actively monitoring and controlling lift devices
CN112850406A (zh) * 2015-04-03 2021-05-28 奥的斯电梯公司 用于乘客运输的通行列表产生
US10239728B2 (en) * 2015-04-09 2019-03-26 Carrier Corporation Intelligent building system for providing elevator occupancy information with anonymity
CN107922168B (zh) * 2015-08-26 2020-09-18 奥的斯电梯公司 输送机装置
CN107662872B (zh) * 2016-07-29 2021-03-12 奥的斯电梯公司 乘客运输机的监测系统及其监测方法
CN107662874B (zh) * 2016-07-29 2021-04-16 奥的斯电梯公司 乘客运输机的扶手入口监测系统及其监测方法
CN117864918A (zh) 2016-07-29 2024-04-12 奥的斯电梯公司 乘客运输装置的监测系统、乘客运输装置及其监测方法
CN107662868B (zh) * 2016-07-29 2022-01-04 奥的斯电梯公司 乘客运输装置的监测系统、乘客运输装置及其监测方法
CN107662875B (zh) * 2016-07-29 2021-07-06 奥的斯电梯公司 乘客运输机的梯级与梳齿板的啮合状态监检测
US10954102B2 (en) 2017-01-26 2021-03-23 Otis Elevator Company Diagnostic step for a passenger conveyor
WO2019229986A1 (ja) * 2018-06-01 2019-12-05 三菱電機ビルテクノサービス株式会社 エスカレーターの画像監視システム
JP7001557B2 (ja) * 2018-07-11 2022-01-19 株式会社日立製作所 乗客コンベア及び乗客コンベアの制御方法
DK3621048T3 (da) * 2018-09-10 2023-01-30 Tk Escalator Norte S A Risikodetekteringssystem for passagerflytningsinstallation
SE1830320A1 (en) * 2018-11-03 2020-05-04 Tracy Of Sweden Ab Method and arrangement for identifying object
CN110203803A (zh) * 2019-06-06 2019-09-06 快意电梯股份有限公司 基于ai智能监控的自动扶梯安全保护方法及装置
CN110482390A (zh) * 2019-08-29 2019-11-22 南京市特种设备安全监督检验研究院 一种自动扶梯/自动人行道夹角人员误入监测识别预警系统及监测识别方法
EP3805141A1 (en) * 2019-10-09 2021-04-14 thyssenkrupp Elevator Innovation Center, S.A. Passenger detection system for a passenger moving system
AU2021243321A1 (en) * 2020-03-25 2022-10-13 Inventio Ag Escalator or moving walkway having an illuminating device for illuminating a transition region
CN111498664A (zh) * 2020-04-03 2020-08-07 通力电梯有限公司 控制多部乘客输送机的启动和停止的控制系统和控制方法
US11390488B2 (en) * 2020-06-26 2022-07-19 Otis Elevator Company Visual inspection diagnostics
CN113460843A (zh) * 2021-07-05 2021-10-01 江苏普瑞尔特控制工程有限公司 自动扶梯智能预警系统
CN113572943A (zh) * 2021-08-27 2021-10-29 通力电梯有限公司 用于人员输送设备的监控系统及人员输送设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10236757A (ja) * 1997-02-26 1998-09-08 Mitsubishi Denki Bill Techno Service Kk 遠隔監視システム
JPH10265163A (ja) * 1997-03-25 1998-10-06 Hitachi Ltd エスカレータ制御装置
JP2000137790A (ja) * 1998-10-29 2000-05-16 Hitachi Ltd マンコンベアの画像監視方法および装置
JP2002157664A (ja) * 2000-11-21 2002-05-31 Mitsubishi Heavy Ind Ltd 監視システム
WO2002056251A1 (fr) * 2000-12-27 2002-07-18 Mitsubishi Denki Kabushiki Kaisha Dispositif de traitement d'images et ascenseur sur lequel il est monte
JP2003524813A (ja) * 1999-02-11 2003-08-19 ティー エル ジョーンズ リミテッド 障害物検知装置
JP3698584B2 (ja) * 1999-02-18 2005-09-21 三菱電機ビルテクノサービス株式会社 エレベータのかご内監視装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01177530A (ja) * 1988-01-08 1989-07-13 Toshiba Corp 立体カメラの支持機構
US5704464A (en) * 1996-06-28 1998-01-06 Otis Elevator Company Passenger sensor for an escalator or moving walk
EP0908060A4 (en) * 1996-06-28 2004-04-28 Stanford Res Inst Int SMALL IMAGE MODULES FOR REAL-TIME STEREO AND MOTION ANALYSIS
US6064760A (en) * 1997-05-14 2000-05-16 The United States Corps Of Engineers As Represented By The Secretary Of The Army Method for rigorous reshaping of stereo imagery with digital photogrammetric workstation
JP2000053361A (ja) * 1998-08-12 2000-02-22 Hitachi Ltd マンコンベアの乗客監視装置
JP2000209614A (ja) * 1999-01-14 2000-07-28 Sony Corp 立体映像システム
US6157337A (en) * 1999-01-29 2000-12-05 Sony Corporation 3D image acquiring and viewing systems and methods
US6259426B1 (en) * 1999-04-21 2001-07-10 Sony Corporation Video image display apparatus and method
US6963662B1 (en) * 2000-11-15 2005-11-08 Sri International Method and system for detecting changes in three dimensional shape
KR200233615Y1 (ko) * 2001-02-23 2001-09-28 주식회사 언아더월드 편광 디스플레이를 갖는 입체영상시스템
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
FR2827051B1 (fr) * 2001-07-09 2003-10-24 Mediterranee Const Ind Procede et systeme de detection securisee par video pour la commande automatique d'un systeme mecanique tel qu'un trottoir roulant ou escalier mecanique
US7397929B2 (en) * 2002-09-05 2008-07-08 Cognex Technology And Investment Corporation Method and apparatus for monitoring a passageway using 3D images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10236757A (ja) * 1997-02-26 1998-09-08 Mitsubishi Denki Bill Techno Service Kk 遠隔監視システム
JPH10265163A (ja) * 1997-03-25 1998-10-06 Hitachi Ltd エスカレータ制御装置
JP2000137790A (ja) * 1998-10-29 2000-05-16 Hitachi Ltd マンコンベアの画像監視方法および装置
JP2003524813A (ja) * 1999-02-11 2003-08-19 ティー エル ジョーンズ リミテッド 障害物検知装置
JP3698584B2 (ja) * 1999-02-18 2005-09-21 三菱電機ビルテクノサービス株式会社 エレベータのかご内監視装置
JP2002157664A (ja) * 2000-11-21 2002-05-31 Mitsubishi Heavy Ind Ltd 監視システム
WO2002056251A1 (fr) * 2000-12-27 2002-07-18 Mitsubishi Denki Kabushiki Kaisha Dispositif de traitement d'images et ascenseur sur lequel il est monte

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008013358A (ja) * 2006-07-10 2008-01-24 Mitsubishi Electric Building Techno Service Co Ltd エスカレータの地震時自動復旧装置
JP2008201509A (ja) * 2007-02-19 2008-09-04 Mitsubishi Precision Co Ltd 人物挙動判別システム
JP2015520101A (ja) * 2012-04-26 2015-07-16 ザ プロクター アンド ギャンブルカンパニー 匂いセンサーを備えたコンポスト装置
JP2020508273A (ja) * 2017-02-27 2020-03-19 インベンテイオ・アクテイエンゲゼルシヤフトInventio Aktiengesellschaft エスカレータまたは動く歩道の支持構造の3dモデルを生成する方法および装置
JP7069194B2 (ja) 2017-02-27 2022-05-17 インベンテイオ・アクテイエンゲゼルシヤフト エスカレータまたは動く歩道の支持構造の3dモデルを生成する方法および装置
JP2018203496A (ja) * 2017-06-07 2018-12-27 三菱電機ビルテクノサービス株式会社 エスカレーター踏段歩行抑制システムおよびエスカレーター踏段歩行抑制方法

Also Published As

Publication number Publication date
JP5048912B2 (ja) 2012-10-17
US20050088520A1 (en) 2005-04-28
CN1498849A (zh) 2004-05-26
CA2447967A1 (en) 2004-05-06
CA2447967C (en) 2014-01-07
CN1315715C (zh) 2007-05-16
BR0304801A (pt) 2004-08-31

Similar Documents

Publication Publication Date Title
JP5048912B2 (ja) エスカレータ及び動く歩道のビデオカメラ監視
US10861302B2 (en) Robust motion filtering for real-time video surveillance
US7321386B2 (en) Robust stereo-driven video-based surveillance
JP3279479B2 (ja) 映像監視方法及び装置
US20190007659A1 (en) Sensor for securing a machine
US7142694B2 (en) Image processing apparatus
CN109211207B (zh) 一种基于机器视觉的螺钉识别与定位装置
JP6805364B2 (ja) 駐車場内に存在する隆起した物体を検出するための方法およびシステム
WO2007027324A2 (en) Detecting non-people objects in revolving doors
JP2004334819A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
JP7194015B2 (ja) センサシステム及び距離測定方法
Okutomi et al. Robust estimation of planar regions for visual navigation using sequential stereo images
CN107680125B (zh) 在视觉系统中自动选择三维对准算法的系统和方法
Borrmann et al. Mutual calibration for 3D thermal mapping
Burschkal et al. Stereo-based obstacle avoidance in indoor environments with active sensor re-calibration
JP6805363B2 (ja) 駐車場内に存在する隆起した物体を検出するための方法およびシステム
US11514565B2 (en) Securing a monitored zone comprising at least one machine
EP1419988A1 (en) Stereoscopic monitoring system for escalators and moving walkways
Aguirre et al. Using a deep learning model on images to obtain a 2d laser people detector for a mobile robot
JP2007200364A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
JP3456029B2 (ja) 画像データに基づく三次元物体認識装置
Burschka et al. Scene classification from dense disparity maps in indoor environments
KR100844640B1 (ko) 물체 인식 및 거리 계측 방법
CN106781601A (zh) 基于三维视觉拼接的船舱内车辆定位跟踪系统与方法
CN116958195A (zh) 物件追踪整合方法及整合装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100507

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100512

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110322

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110617

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110622

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120327

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120720

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees