JP2008100814A - Escalator monitoring device, escalator monitoring method, escalator system and program - Google Patents
Escalator monitoring device, escalator monitoring method, escalator system and program Download PDFInfo
- Publication number
- JP2008100814A JP2008100814A JP2006284847A JP2006284847A JP2008100814A JP 2008100814 A JP2008100814 A JP 2008100814A JP 2006284847 A JP2006284847 A JP 2006284847A JP 2006284847 A JP2006284847 A JP 2006284847A JP 2008100814 A JP2008100814 A JP 2008100814A
- Authority
- JP
- Japan
- Prior art keywords
- escalator
- background
- image
- captured image
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Escalators And Moving Walkways (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、エスカレータの周囲を監視する技術に関する。より詳しくは、エスカレータの周囲に存在する物体の動きを検出する技術に関する。 The present invention relates to a technique for monitoring the surroundings of an escalator. More specifically, the present invention relates to a technique for detecting the movement of an object existing around an escalator.
従来より、エスカレータを含む領域を撮像して、その撮像した画像データに基づいて、エスカレータを監視する技術が提案されている。 Conventionally, a technique has been proposed in which an area including an escalator is imaged and the escalator is monitored based on the captured image data.
このような技術では、連続的に撮像された画像データを比較して、この間に動いた物体を抽出するとともに、その動きを検出する。 In such a technique, image data captured continuously are compared, and an object that has moved during this time is extracted and its motion is detected.
ところが、エスカレータの動きは特に監視する必要がないにもかかわらず、従来の技術では、エスカレータ自体が動く物体であるため、動き検出において、これがノイズとなり、誤検出が発生するという問題があった。また、逆に、エスカレータが動いているにもかかわらず、エスカレータ上で静止している物体については、異常な動作であるにもかかわらず検出できないという問題があった。すなわち、従来の技術では、前後の画像を比較することにより、背景を構成する物体は静止しているため容易に取り除くことができるものの、動いているエスカレータと本来検出したい物体とを見分けることが困難であるという問題があった。 However, although it is not necessary to monitor the movement of the escalator, in the conventional technique, the escalator itself is a moving object. Therefore, in the movement detection, there is a problem that this becomes noise and erroneous detection occurs. Conversely, there is a problem that an object that is stationary on the escalator even though the escalator is moving cannot be detected even though it is an abnormal operation. In other words, in the conventional technology, by comparing the images before and after, the object constituting the background can be easily removed because it is stationary, but it is difficult to distinguish the moving escalator from the object that is originally detected. There was a problem of being.
本発明は、上記課題に鑑みなされたものであり、エスカレータと検査対象物である物体とを区別して、物体の動きを精度よく検出することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to accurately detect the movement of an object by distinguishing between an escalator and an object to be inspected.
上記の課題を解決するため、請求項1の発明は、エスカレータの周囲を監視するエスカレータ監視装置であって、前記エスカレータを含むように設定された撮像領域を撮像した撮像画像を取得する画像取得手段と、前記画像取得手段により取得された撮像画像から、前記エスカレータが順次移動した状態で順次撮像された複数の背景画像を取得する背景取得手段と、前記画像取得手段により取得された撮像画像と前記背景取得手段により取得された背景画像とを比較して、前記背景取得手段により取得された複数の背景画像の中から前記撮像画像に対する背景として最適な背景画像を特定背景画像として選択し、前記撮像画像と前記特定背景画像とを比較することによって前記撮像画像から検査対象物を抽出する物体抽出手段と、前記物体抽出手段により抽出された検査対象物の動きを検出する検出手段とを備えることを特徴とする。
In order to solve the above-mentioned problem, the invention of
また、請求項2の発明は、請求項1の発明に係るエスカレータ監視装置であって、前記エスカレータが撮像されているエスカレータ領域を前記撮像領域内に設定する設定手段をさらに備え、前記物体抽出手段は、前記設定手段により設定されたエスカレータ領域について撮像画像と背景画像とを比較して特定背景画像を選択することを特徴とする。
The invention of
また、請求項3の発明は、請求項1または2の発明に係るエスカレータ監視装置であって、運転中の前記エスカレータを撮像した2以上の撮像画像に基づいて、前記運転中のエスカレータの移動方向を特定する方向特定手段をさらに備え、前記検出手段は、前記方向特定手段により特定された移動方向に応じて、検査対象物の動きを検出することを特徴とする。
The invention according to claim 3 is the escalator monitoring device according to
また、請求項4の発明は、請求項1ないし3のいずれかの発明に係るエスカレータ監視装置であって、前記背景取得手段は、1ステップ周期分の背景画像を取得することを特徴とする。
The invention according to
また、請求項5の発明は、エスカレータの周囲を監視するエスカレータ監視方法であって、前記エスカレータを含むように撮像して撮像画像を取得する撮像工程と、前記撮像画像から、前記エスカレータが順次移動した状態で順次撮像された複数の背景画像を取得する背景取得工程と、前記撮像工程において取得される撮像画像と前記背景画像とを比較する比較工程と、前記比較工程における比較結果に応じて、前記撮像画像と最も一致する背景画像を前記複数の背景画像の中から特定背景画像として選択する選択工程と、前記選択工程において選択された特定背景画像と前記撮像画像とを比較することによって前記撮像画像から検査対象物を抽出する物体抽出工程と、前記物体抽出工程において抽出された検査対象物の動きを検出する検出工程とを備えることを特徴とする。 Further, the invention of claim 5 is an escalator monitoring method for monitoring the surroundings of an escalator, an imaging step of capturing an image so as to include the escalator and acquiring the captured image, and the escalator sequentially moving from the captured image According to a background acquisition step of acquiring a plurality of background images sequentially captured in the state, a comparison step of comparing the captured image acquired in the imaging step and the background image, and a comparison result in the comparison step, The selection step of selecting the background image that most closely matches the captured image as the specific background image from the plurality of background images, and comparing the specific background image selected in the selection step with the captured image. Object extraction process for extracting an inspection object from an image, and detection for detecting movement of the inspection object extracted in the object extraction process Characterized in that it comprises a degree.
また、請求項6の発明は、請求項5の発明に係るエスカレータ監視方法であって、前記エスカレータが撮像されているエスカレータ領域を前記撮像画像の領域内に設定する設定工程をさらに備え、前記比較工程は、前記設定工程により設定されたエスカレータ領域について撮像画像と背景画像とを比較することを特徴とする。
The invention of
また、請求項7の発明は、請求項5または6の発明に係るエスカレータ監視方法であって、運転中の前記エスカレータを撮像した2以上の撮像画像に基づいて、前記運転中のエスカレータの移動方向を特定する方向特定工程をさらに備え、前記検出工程は、前記方向特定工程において特定された移動方向に応じて、検査対象物の動きを検出することを特徴とする。
The invention according to claim 7 is the escalator monitoring method according to
また、請求項8の発明は、請求項5ないし7のいずれかの発明に係るエスカレータ監視方法であって、前記背景取得工程は、背景画像として取得した最初の撮像画像と、前記最初の撮像画像に続いて順次取得された撮像画像とを順次比較し、前記最初の撮像画像と実質的に一致する撮像画像が得られるまで、前記順次取得された撮像画像を順次背景画像として取得することを特徴とする。 The invention of claim 8 is the escalator monitoring method according to any one of claims 5 to 7, wherein the background acquisition step includes an initial captured image acquired as a background image, and the first captured image. Followed by sequentially comparing the captured images sequentially acquired until the captured image substantially matching the first captured image is obtained as the background image. And
また、請求項9の発明は、エスカレータシステムであって、人物を含む物体を昇降させるエスカレータと、前記エスカレータを含むように設定された撮像領域を撮像して撮像画像を取得するカメラと、前記エスカレータの周囲を監視するエスカレータ監視装置とを備え、前記エスカレータ監視装置が、前記カメラにより取得された撮像画像から、前記エスカレータが順次移動した状態で順次撮像された複数の背景画像を取得する背景取得手段と、前記カメラにより取得された撮像画像と前記背景取得手段により取得された背景画像とを比較して、前記背景取得手段により取得された複数の背景画像の中から前記撮像画像に対する背景として最適な背景画像を特定背景画像として選択し、前記撮像画像と前記特定背景画像とを比較することによって前記撮像画像から検査対象物を抽出する物体抽出手段と、前記物体抽出手段により抽出された検査対象物の動きを検出する検出手段とを備えることを特徴とする。
The invention of
また、請求項10の発明は、コンピュータ読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、エスカレータの周囲を監視するエスカレータ監視装置であって、前記エスカレータを含むように設定された撮像領域を撮像した撮像画像を取得する画像取得手段と、前記画像取得手段により取得された撮像画像から、前記エスカレータが順次移動した状態で順次撮像された複数の背景画像を取得する背景取得手段と、前記画像取得手段により取得された撮像画像と前記背景取得手段により取得された背景画像とを比較して、前記背景取得手段により取得された複数の背景画像の中から前記撮像画像に対する背景として最適な背景画像を特定背景画像として選択し、前記撮像画像と前記特定背景画像とを比較することによって前記撮像画像から検査対象物を抽出する物体抽出手段と、前記物体抽出手段により抽出された検査対象物の動きを検出する検出手段とを備えるエスカレータ監視装置として機能させることを特徴とする。
The invention of
請求項1ないし10に記載の発明では、取得された撮像画像から、エスカレータが順次移動した状態で順次撮像された複数の背景画像を取得し、取得された撮像画像と取得された背景画像とを比較して、複数の背景画像の中から撮像画像に対する背景として最適な背景画像を特定背景画像として選択し、撮像画像と特定背景画像とを比較することによって撮像画像から検査対象物を抽出することにより、検査対象物の動きを正確に検出することができる。 According to the first to tenth aspects of the present invention, a plurality of background images sequentially captured in a state where the escalator is sequentially moved is acquired from the acquired captured image, and the acquired captured image and the acquired background image are obtained. In comparison, the optimum background image as the background for the captured image is selected as a specific background image from a plurality of background images, and the inspection object is extracted from the captured image by comparing the captured image with the specific background image Thus, the movement of the inspection object can be accurately detected.
また、請求項2および6に記載の発明では、エスカレータが撮像されているエスカレータ領域を撮像領域内に設定し、設定されたエスカレータ領域について撮像画像と背景画像とを比較して特定背景画像を選択することにより、比較する領域を限定することによって、両画像の全領域を比較する場合に比べて、処理負担を軽減できる。
In the inventions according to
請求項3および7に記載の発明では、運転中のエスカレータを撮像した2以上の撮像画像に基づいて、運転中のエスカレータの移動方向を特定し、特定された移動方向に応じて、検査対象物の動きを検出することにより、検査対象物がエスカレータ上にある場合には、当該検査対象物の動きを、さらに正確に検出することができる。 According to the third and seventh aspects of the invention, the moving direction of the escalator during operation is specified based on two or more captured images obtained by imaging the escalator during driving, and the inspection object is determined according to the specified moving direction. By detecting this movement, when the inspection object is on the escalator, the movement of the inspection object can be detected more accurately.
請求項4に記載の発明では、1ステップ周期分の背景画像を取得することにより、背景画像の枚数を減らすことによって、処理負担が軽減される。 According to the fourth aspect of the present invention, the processing load is reduced by reducing the number of background images by acquiring the background images for one step period.
以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings.
<1. 実施の形態>
図1は、本発明に係るエスカレータシステム1を示す図である。エスカレータシステム1は、人物を含む物体を昇降させるエスカレータ2と、撮像領域10を撮像するカメラ3と、エスカレータ2の周囲を監視するエスカレータ監視装置4とを備える。
<1. Embodiment>
FIG. 1 is a diagram showing an
エスカレータ2は、一般的なエスカレータであって、複数のステップST1〜STn(nは自然数)を備えている。エスカレータ2は、これらの複数のステップを周期的に駆動することによって、物体9(検査対象物:図1では人物)を建物の階層間で昇降させる。エスカレータ2は、エスカレータ監視装置4からの制御により運転される。
The
以下の説明において、撮像領域10内に物体9が存在していない状態を「空状態」と称し、エスカレータ2が動いている状態を「運転中」と称する。さらに、空状態で運転している状態を「空運転中」と称する。例えば、図1に示す状態は「運転中」を示しているが、物体9が存在しているので「空運転中」ではない。
In the following description, a state where the
カメラ3は、例えば、一般的なデジタルカメラとしての機能を有しており、フルフレーム(一秒間当たり30フレーム)での動画像撮影が可能である。カメラ3とエスカレータ監視装置4とは、図1に示すようにケーブルにより接続されており、カメラ3はエスカレータ監視装置4からの制御信号に応じて撮像を行う。
The camera 3 has a function as a general digital camera, for example, and can capture a moving image at a full frame (30 frames per second). The camera 3 and the
図2は、カメラ3が撮像を行うことにより得られる撮像画像411を例示する図である。図2に示すように、カメラ3の撮像領域10は、エスカレータ2を含むように設定されている。図2に示す撮像画像411には物体9が撮影されていないので、当該撮像画像411は「空状態」を撮像した画像であるが、「運転中」であるか否かは1枚の撮像画像411では判定できない。
FIG. 2 is a diagram illustrating a captured
なお、本実施の形態では、撮像領域10はエスカレータ2の一部を含むように設定されているが、もちろんエスカレータ2の全部を含むように設定されてもよい。また、複数のカメラ3を設けて、エスカレータ2を分割して撮像してもよい。
In the present embodiment, the
このようにして、カメラ3が撮像することにより取得される撮像画像411は、エスカレータ監視装置4に向けて順次送信される。なお、図2示すエスカレータ領域11については後述する。
In this way, the captured
図3は、エスカレータ監視装置4の構成を示す図である。エスカレータ監視装置4は、CPU40、記憶装置41、操作部42、通信部44を備えている。エスカレータ監視装置4は、一般的なパーソナルコンピュータとしての構成を有しており、エスカレータ2およびカメラ3の制御装置として機能する。
FIG. 3 is a diagram illustrating a configuration of the
詳細は後述するが、エスカレータ監視装置4は、エスカレータ2の周囲に存在する物体9の動きを検出して、危険を回避させる機能を有している。例えば、エスカレータ2に乗っている人物の転倒動作を検知して、エスカレータ2を停止させる。
Although the details will be described later, the
CPU40は、記憶装置41に記憶されているプログラム410に従って動作することにより、各種データの演算や制御信号の生成を行う。図3に示すように、CPU40は、バス配線によりエスカレータ監視装置4の各構成と接続されており、生成した制御信号によってこれらの構成を制御する。また、生成した制御信号等を通信部44を介してエスカレータ2およびカメラ3に送信することにより、これらの構成も制御する。なお、CPU40の動作および機能についての詳細は後述する。
The
記憶装置41は、各種ROMや、RAMおよびハードディスク装置等から構成されており、プログラム410や警報音等の音声データ等を記憶する。なお、記憶装置41を補完する装置として、エスカレータ監視装置4は、可搬性の記憶媒体に記憶された情報を読み取るディスク装置(FDドライブやCD−ROMドライブ等)をさらに備えていてもよい。
The
操作部42は、例えばキーボードやマウス等から構成される。オペレータは、操作部42を操作することにより、エスカレータ監視装置4(エスカレータシステム1)に必要な指示情報を入力することができる。
The
オペレータが操作部42を操作して入力する指示情報としては、例えば、エスカレータ2を作動させるための開始情報や、エスカレータシステム1を終了させるための終了情報等がある。
Examples of the instruction information input by the operator operating the
表示部43は、一般的な液晶ディスプレイ装置であって、CPU40からの制御信号に基づいて様々な情報を表示し、オペレータにエスカレータシステム1の様々な状態を知らせたり、各種情報を提供する機能を有する。
The
通信部44は、エスカレータ監視装置4と他の装置(エスカレータ2およびカメラ3)とをデータ通信が可能な状態で接続する機能を有する。すなわち、エスカレータ監視装置4は通信部44を備えることにより、他の装置を制御するだけでなく、これらの装置から様々な情報を取得する機能も備えている。特に、通信部44は、撮像画像411を取得する画像取得手段としての機能を有する。
The
図4は、エスカレータ監視装置4の機能ブロックを情報の流れとともに示す図である。図4に示す、背景取得部400、設定部401、物体抽出部402、方向特定部403、および検出部404が、CPU40がプログラム410に従って動作することによって実現される機能ブロックである。
FIG. 4 is a diagram showing the functional blocks of the
背景取得部400は、空運転中のエスカレータ2を撮像することにより得られた複数の撮像画像411から、1ステップ周期の間の撮像画像411を背景画像413として取得して、背景情報412を生成する。背景取得部400は、1枚の撮像画像411から1枚の背景画像413を生成する。したがって、背景情報412には複数の背景画像413が含まれる。
The
なお、空運転中のエスカレータ2をカメラ3が撮像すると、その間に取得される一連の撮像画像411は、エスカレータ2が順次移動している状態で順次連続して撮像された画像となる。
In addition, when the camera 3 images the
また、「1ステップ周期」とは、エスカレータ2の備えるステップ(段差)が、1つ先行するステップの位置まで移動する時間を言う。本実施の形態におけるカメラ3は、先述のようにフルフレーム(30枚/秒)で撮像するので、1秒間に順次連続して取得される撮像画像411の数は30枚である。したがって、例えば、エスカレータ2の1ステップ周期が「1秒」であれば、背景情報412には連続した(順次取得された)30枚の背景画像413が含まれることとなる。
In addition, “one step cycle” refers to the time required for a step (step) provided in the
設定部401は、エスカレータ2が撮像されているエスカレータ領域11(図2)を撮像領域10内に設定して、当該エスカレータ領域11を示す領域情報414を生成する。すなわち、領域情報414には、撮像領域10におけるエスカレータ領域11の位置が示される。
The
なお、本実施の形態における設定部401は、図4に示すように、背景情報412に含まれる背景画像413に基づいてエスカレータ領域11を設定するが、もちろんエスカレータ2が運転中の任意の期間に取得された撮像画像411に基づいて設定してもよい。ただし、エスカレータ領域11を抽出するためには、撮像領域10内において、エスカレータ2が撮像される領域が他の物体9によって隠れていない状況の撮像画像411を用いることが好ましい。
As shown in FIG. 4, the
物体抽出部402は、撮像画像411と背景画像413とを比較して、背景情報412として記憶されている複数の背景画像413の中から撮像画像411に対する背景として最適な背景画像413を特定背景画像として選択する。
The
また、物体抽出部402は、撮像画像411と、当該撮像画像411に対して選択した特定背景画像とを比較することによって、当該撮像画像411から検査対象物(物体9)を抽出し、対象物画像415を生成する。
In addition, the
方向特定部403は、運転中のエスカレータ2を順次撮像した撮像画像411に基づいて、エスカレータ2の移動方向を特定する。方向特定部403は、特定した移動方向を検出部404に伝達する。なお、本実施の形態における方向特定部403は、運転中のエスカレータ2を順次撮像した撮像画像411として、背景情報412に含まれる背景画像413を使用するが、もちろんこれに限定されるものではない。
The
検出部404は、物体抽出部402により生成された対象物画像415と、方向特定部403から伝達されるエスカレータ2の移動方向とに基づいて、物体抽出部402によって検出された物体9の動きを検出する。
The detecting
さらに、検出部404は、検出した物体9の動きに応じて、エスカレータシステム1における危険の有無を判定し、危険であると判定した場合には、その旨を通信部44を介してエスカレータ2に伝達する。この制御信号により、エスカレータ2が運転を停止し、危険を回避する。
Further, the
以上が、エスカレータシステム1の構成および機能の説明である。次に、エスカレータシステム1の動作について説明する。
The above is the description of the configuration and function of the
図5および図6は、エスカレータ監視装置4の動作を示す流れ図である。なお、特に断らない限り、エスカレータシステム1の動作はエスカレータ監視装置4のCPU40の制御によって実現される。
5 and 6 are flowcharts showing the operation of the
エスカレータシステム1の電源が投入されると、エスカレータ監視装置4は所定の初期設定を実行してからエスカレータ2の運転を開始させるとともに、カメラ3による撮像を開始させる(ステップS11)。
When the power of the
これによりカメラ3から撮像画像411がエスカレータ監視装置4に向けて送信され、エスカレータ監視装置4の通信部44が撮像画像411を受信し、記憶装置41上に転送する。
As a result, the captured
本実施の形態におけるエスカレータシステム1では、ステップS11の実行後、後述するステップS26(図6)において撮像を終了するまで、撮像画像411が順次連続して取得されるものとする。すなわち、エスカレータシステム1は、ステップS11を実行してからステップS26を実行するまでの間、他の処理と並行しつつ撮像工程(画像取得工程)を実行する。
In the
このようにして撮像が開始されると、エスカレータシステム1は背景取得工程(ステップS12ないしS16)を実行する。なお、詳細は後述するが、本実施の形態における背景取得工程では、空運転中のエスカレータ2を1ステップ周期以上の期間連続して撮像することによって得られる複数の撮像画像411が必要となる。一方、エスカレータ2の運転開始直後は、未だエスカレータ2を使用する者はおらず、エスカレータ2が「空運転中」であると見なせる。
When imaging is started in this way, the
したがって、本実施の形態におけるエスカレータ監視装置4は、エスカレータ2の運転開始直後のタイミングで背景取得工程を実行する。より詳しくは、エスカレータ2の運転を開始した直後にカメラ3による撮像を開始し、通信部44が最初の撮像画像411を受信したことによって背景取得工程を開始する。ただし、エスカレータ2の空運転状態をオペレータが確認し、操作部42を操作することにより、オペレータがエスカレータ監視装置4に背景取得工程の開始を指示してもよい。
Therefore, the
図7は、3つの撮像画像411a,411b,411cを概略的に例示する図である。なお、図7に示す例では、エスカレータ2が上昇方向に運転されている場合を示す。また、各撮像画像411の撮像領域10のうち、図7では、エスカレータ2のステップが撮像されている領域(破線で囲んだ領域)のみ図示している。
FIG. 7 is a diagram schematically illustrating three captured
図7に示す撮像画像411aは、順次連続して取得した一連の撮像画像411のうちの1番目の画像を示し、エスカレータ2が備えるステップST1,ST2,ST3,ST4が撮像されている。また、撮像画像411bは撮像画像411aが取得されてから所定時間後に取得された画像であり、エスカレータ2が備えるステップST1,ST2,ST3,ST4が撮像されている。さらに、撮像画像411cは撮像画像411aが取得されてから1ステップ周期後に取得された画像であり、エスカレータ2が備えるステップST2,ST3,ST4,ST5が撮像されている。
A captured
空運転中のエスカレータ2を撮像して得られる複数の撮像画像411において、2つの撮像画像411(例えば、撮像画像411aと撮像画像411b)を比較すると、通常はエスカレータ2のステップの位置が異なっている(ズレている)ために、それらは互いに異なる画像と判定される。
When a plurality of captured images 411 (for example, the captured
しかし、エスカレータ2は、同一構造の複数のステップST1,ST2,・・・STnが、繰り返し均等に配置されており、エスカレータ2の運転中はこれらが順次所定の方向(図7では上昇方向)に移動する。したがって、撮像画像411aを撮像したときから1ステップ周期後に撮像された撮像画像411cを見れば、ステップST2がステップST1(ステップST2に1つ先行するステップ)の位置に移動することにより、2つの画像は、図7からも明らかなように、ほぼ同一となる。このように、空運転中のエスカレータ2を順次撮像しつづけることにより得られる複数の撮像画像411は、1ステップ周期ごとにほぼ同一の画像となる。
However, in the
背景取得工程が開始されると、背景取得部400は、開始後、通信部44が最初に取得した撮像画像411を1番目の背景画像413として取得する(ステップS12)。取得した1番目の背景画像413は、背景情報412を生成して、これに含める。
When the background acquisition process is started, the
1番目の背景画像413の取得が終了すると、連続する次の撮像画像411を取得し(ステップS13)、ステップS13で取得した撮像画像411を一番目の背景画像413と比較(差分演算)する(ステップS14)。
When the acquisition of the
次に、ステップS14における比較結果(差分値)により、2つの画像(後に取得した撮像画像411と1番目の背景画像413(最初に取得した撮像画像411))が一致したか否かを判定する(ステップS15)。
Next, it is determined whether or not two images (a captured
後に取得した撮像画像411と一番目の背景画像413とが異なる画像であると判定した場合(ステップS15においてNo)、背景取得部400は、当該後に取得した撮像画像411を次の背景画像413として背景情報412に含める(ステップS16)。
When it is determined that the captured
一方、後に取得した撮像画像411と一番目の背景画像413とが同一の画像であると判定した場合(ステップS15においてYes)、背景取得工程を終了する。このような処理により、図7に示す例では、撮像画像411aから、撮像画像411cの1枚手前の撮像画像411までが、背景画像413として背景情報412に順次含められる。
On the other hand, when it is determined that the captured
このようにして、背景取得工程では、空運転中のエスカレータ2を撮像した撮像画像411から、1ステップ周期の間に撮像された撮像画像411が、背景画像413として順次取得され、背景情報412が生成される。
In this way, in the background acquisition process, the captured
なお、カメラ3が撮像する速度(枚/秒)は既知であるから、エスカレータ監視装置4は、背景情報412に含まれる背景画像413の枚数から、エスカレータ2の1ステップ周期を容易に求めることができる。例えば、カメラ3がフルフレームで撮像する場合、背景画像413の枚数が30枚であれば、1ステップ周期は1秒である。
In addition, since the speed (images / second) taken by the camera 3 is known, the
本実施の形態におけるエスカレータシステム1では、エスカレータ監視装置4がエスカレータ2の制御装置を兼用している。このような場合、エスカレータ監視装置4はエスカレータ2に関するパラメータを設定情報として予め与えられているのが一般的であり、エスカレータ2の1ステップ周期を設定情報として予め記憶装置41に記憶していてもよい。例えば、エスカレータ2の移動速度とステップのサイズとに基づいて1ステップ周期を求めて記憶しておくことができる。このように予め1ステップ周期が既知ならば、背景取得部400は、1ステップ周期の時間を計測しつつ、その間の撮像画像411を背景画像413として取得してもよい。その場合、順次画像を比較する必要がなくなるので処理負担が軽減される。
In the
図5に戻って、背景取得工程が終了すると、設定部401は、背景情報412に基づいて、図2に示すエスカレータ領域11を設定し、領域情報414を生成することにより、領域設定工程(ステップS17)を実行する。
Returning to FIG. 5, when the background acquisition process ends, the
設定部401は、背景情報412に含まれる複数の背景画像413を互いに比較し、画像が変化している領域を検出することにより、動いている物体(移動体)が写っている領域(移動体領域)を検出する。なお、連続して取得される複数の画像から移動体および移動体領域を検出する具体的な処理は、従来より提案されている様々な手法を採用することができるので、ここでは詳細に述べない。
The
一方、背景情報412に含まれる背景画像413は、空運転中のエスカレータ2を連続して撮像した撮像画像411である。したがって、背景情報412における移動体とはエスカレータ2(主にエスカレータ2のステップ部分)に他ならず、移動体領域とはエスカレータ2が撮像されている領域である。また、運転中のエスカレータ2は移動体ではあるが、検出された移動体領域内で移動するだけであり、突発的に撮像領域10内の他の領域に移動することはないので、1ステップ周期分の背景画像413によってその領域を確定しても問題はない。
On the other hand, the
したがって、設定部401は、検出した移動体領域に基づいて、エスカレータ領域11を設定することができる。
Therefore, the
なお、本実施の形態における設定部401は、検出された移動体領域の周囲を適度に狭めた矩形の領域としてエスカレータ領域11を設定する。例えば、検出した移動体領域内に含まれる最大の矩形領域を設定した上で、その矩形領域の上下方向をそれぞれ1/8ずつ、左右方向をそれぞれ1/4ずつ狭めて、この領域をエスカレータ領域11として設定する。
Note that the
これにより、エスカレータ領域11には、確実にエスカレータ2のステップ部分のみを含むように設定できる。また、エスカレータ領域11に含まれる画素数が減少するので、後の演算処理の負担を軽減することができる。
Thus, the
図5に戻って、設定部401による領域設定工程(ステップS17)が終了すると、方向特定部403が方向特定工程を実行する(ステップS18)。方向特定工程とは、背景情報412に基づいて、エスカレータ2の移動方向を特定するための処理である。
Returning to FIG. 5, when the region setting step (step S17) by the
移動する物体(エスカレータ2)を連続的に撮像した画像から、当該物体の移動方向を特定する手法としては、従来より様々な手法が提案されている。詳細は省略するが、移動する物体がエスカレータのステップである画像の場合、移動する方向(上下方向)に同じ形状の物体(ステップ)が存在するという性質がある。したがって、本実施の形態における方向特定部403は以下のような手法を用いる。
Conventionally, various methods have been proposed as methods for specifying the moving direction of an object from images obtained by continuously capturing moving objects (escalator 2). Although details are omitted, when the moving object is an escalator step image, there is a property that an object (step) having the same shape exists in the moving direction (vertical direction). Therefore, the
まず、任意の背景画像413にエッジ検出処理等の画像処理を行って、エスカレータ2の1ステップ分の画素数Nを求める。
First, image processing such as edge detection processing is performed on an
次に、背景情報412に含まれる背景画像413から2枚の背景画像413を選択する。詳細は後述するが、2枚の画像の撮像間隔(経過時間)が、1/2ステップ周期に対して短いか長いかが明らかであるものが好ましいので、本実施の形態では、1番目の背景画像413と5番目の背景画像413とを選択する。
Next, two
ただし、任意の2枚を選択する場合は、第1の背景画像413と第2の背景画像413との背景情報412内の順序から、この2枚の画像の撮像時間差Δtを求め、カメラ3の撮像速度に基づいて、Δt<1/2ステップ周期であるか否かを判定すればよい。例えば、1番目の背景画像413と5番目の背景画像413との撮像時間差Δtは、カメラ3の撮像速度に基づいて、Δt=(5−1)×1/30=1/7.5(秒)と求まる。
However, when two arbitrary images are selected, the imaging time difference Δt between the two images is obtained from the order in the
次に、選択した2枚の背景画像413からそれぞれ比較する領域としてエスカレータ領域11を抽出する。
Next, the
図8は、方向特定部403が移動方向を特定する原理を説明する図である。ここまでに説明した方向特定工程が実行されることによって、図8に示す画像が方向特定部403によって取得されている。なお、図8に示す抽出画像416aは1番目の背景画像413から抽出された画像を示し、抽出画像416bは5番目の背景画像413から抽出された画像を示す。
FIG. 8 is a diagram for explaining the principle by which the
抽出画像416a,416bが求まると、抽出画像416aを下方向に1画素ずつずらしながら1/2N画素ずれるまで、順次抽出画像416bと比較し、比較結果(分散値)を取得する。そして、この間に取得した分散値の最低値を下方向最低値として記憶しておく。
When the extracted
次に、元の位置から上方向に1画素ずつずらしながら1/2N画素ずれるまで、抽出画像416bと比較し、比較結果(分散値)を取得する。そして、この間に取得した分散値の最低値を上方向最低値として記憶しておく。
Next, it is compared with the extracted
このような処理により、図8に太線矢印で示す範囲(N画素分)だけ抽出画像416aをずらしながら、抽出画像416bとの比較が行われ、下方向最低値と上方向最低値とが求まる。
By such processing, the extracted
なお、このとき、抽出画像416aをずらすことによって比較対象となる画素が存在しなくなる画素については比較を行わない。例えば、抽出画像416aを下方向にずらしたときの抽出画像416aの一番下の列の画素と、抽出画像416bの一番上の列の画素は比較しない。
At this time, comparison is not performed for pixels in which the pixel to be compared does not exist by shifting the extracted
図8に示す線L2について具体的に説明する。例えば抽出画像416aを下方向にN画素までずらせば、線L2が線LX2に一致するときに、下方向最低値が最小となる。一方、抽出画像416aを上方向にN画素までずらせば、線L2が線LX1に一致するときに、上方向最低値が最小となる。このときの下方向最低値と上方向最低値とはほぼ同じ値であり、いずれの方向に移動したか判定できない。
The line L2 shown in FIG. 8 will be specifically described. For example, if the extracted
言い換えれば、エスカレータ2はほぼ同一の形状のステップが繰り返し移動するため、無限にずらしていけば、一致点は上下方向のいずれにおいても検出される。この場合、抽出画像416aにおける線L2が、抽出画像416bにおいて線LX1に移動したのか線LX2に移動したのかを判定できない。
In other words, since the
しかし、方向特定部403が抽出画像416aをずらす範囲を上下方向に1/2N画素(全体でN画素)に限定することにより、一致点は一箇所に限定される(下方向最低値と上方向最低値との差が充分ある状態)。
However, by limiting the range in which the
また、方向特定部403は、比較対象の2枚の画像(抽出画像416aと抽出画像416b)が、エスカレータ2の1/2ステップ周期よりも短い撮像時間差Δtで撮像されたという条件に基づいて判定を行う。したがって、抽出画像416aから抽出画像416bが撮像されるまでの間に移動した物体(線L2)は、元の位置から上下方向の1/2N画素以内の位置で見つかるはずである(ほぼ等速移動する線L2は、それ以上遠くに移動していないはずである)。
In addition, the
このようにして、方向特定部403は、下方向最低値と上方向最低値が求まると、これらを比較して、値の小さい方にエスカレータ2が移動したと判定する。図8に示す例では、抽出画像416aを上方向にずらした場合に線L1が線LX0に一致するとともに線L2が線LX1に一致する。そして、このときに得られた上方向最低値が、下方向最低値(一致点がないので比較的大きな値)より充分に小さくなる。したがって、図8に示す例では、方向特定部403は、エスカレータ2の移動方向が「上方向」であると判定する。
In this way, when the lower direction minimum value and the upper direction minimum value are obtained, the
なお、撮像時間差Δtが1/2ステップ周期より大きい場合には、線LX1は線L1と判定できるから、上方向最低値が最小であれば、下方向に移動したと判定する。このように判定すれば、方向特定部403は、任意の2枚の背景画像413に基づいて、方向を特定することが可能である。
If the imaging time difference Δt is larger than the ½ step cycle, the line LX1 can be determined as the line L1, and therefore, if the minimum value in the upward direction is the minimum, it is determined that the line has moved downward. If it determines in this way, the direction specific |
また、抽出画像416aと抽出画像416bとの比較において、一致点における分散値の値は、他の状態における分散値に比べて充分に小さい。したがって、閾値を設定し、この閾値より小さい分散値が求まった時点で、一致点であると判定してもよい。この場合、必ずしもN画素分の比較を行う必要がなくなるので、画像処理における負担が軽減される。例えば、下方向に1/2N画素ずらして得られた下方向最低値が閾値より大きければ、上方向に一致点があると判定してもよい。
Further, in the comparison between the extracted
また、方向特定部403は、抽出画像416aの下方向のずらしと、上方向のずらしとを1画素ずつ交互に行ってもよい。
In addition, the
また、抽出画像416aをずらす方向は必ずしも2方向でなくてもよい。例えば、下方向にN画素ずらし、下方向最低値のみ求め、一致点(下方向最低値が求まった位置)が1/2N画素より上に位置するか下に位置するかを検出することにより移動方向を特定してもよい。例えば、図8に示す例において、抽出画像416aをN画素まで下方向に移動させた場合の線L1の一致点(線LX1)は、抽出画像416aにおける線L1の位置から1/2画素より下に位置しているので、この線LX1が線L1ではなく線L2であると判定でき、移動方向は上方向であると判定できる。
Further, the direction in which the extracted
図5に戻って、方向特定部403は、エスカレータ2の移動方向を特定すると、その結果を検出部404に伝達し、ステップS18の方向特定工程を終了する。なお、エスカレータシステム1では、ステップS18までの処理が、いわゆるシステムの立ち上げ時に実行される処理である。
Returning to FIG. 5, when the
方向特定工程が終了すると、物体抽出部402が物体抽出処理(図6:ステップS21)を実行する。
When the direction specifying process is completed, the
図9および図10は、物体抽出処理の詳細を示す流れ図である。 9 and 10 are flowcharts showing details of the object extraction process.
物体抽出処理が開始されると、物体抽出部402は、まず、バッファと背景カウンタとを初期化する(ステップS32)。バッファとは、後述する分散値と背景カウンタとを記憶する領域である。背景カウンタとは、背景情報412に含まれる背景画像413を特定するためのカウンタである。
When the object extraction process is started, the
次に、通信部44によって取得された撮像画像411を取得するとともに(ステップS32)、背景情報412から背景カウンタに示される背景画像413を取得する(ステップS33)。
Next, the captured
撮像画像411と背景画像413とを取得すると、物体抽出部402は、領域情報414を参照して、取得した撮像画像411と背景画像413のそれぞれから、エスカレータ領域11を抽出する(ステップS34)。これにより、撮像画像411および背景画像413からそれぞれ同じ領域の画像が抽出される。
When the captured
次に、物体抽出部402は、撮像画像411から抽出した画像と、背景画像413から抽出した画像との分散値を求め(ステップS35)、バッファに記憶されている分散値とステップS35で求めた分散値とを比較し、ステップS35で求めた分散値の方が小さいか否かを判定する(ステップS41)。
Next, the
ステップS35で求めた分散値の方が、それまでに記憶されている分散値より小さい場合(ステップS41においてYes)のみ、求めた分散値を新たに分散値としてバッファに記憶するとともに、そのときの背景画像413を示す背景カウンタをバッファに記憶する(ステップS42)。
Only when the variance value obtained in step S35 is smaller than the variance value stored so far (Yes in step S41), the obtained variance value is newly stored in the buffer as the variance value. A background counter indicating the
さらに、背景カウンタに基づいて、背景情報412に含まれる全背景画像413について処理を終了したか否かを判定する(ステップS43)。
Further, based on the background counter, it is determined whether or not the processing has been completed for all the
全ての背景画像413について処理を終了していない場合は、背景カウンタをインクリメントして(ステップS44)、ステップS33の処理に戻り、次の背景画像413について処理を繰り返す。このように、全ての背景画像413について、ステップS33ないしS35,S41,S42の処理を繰り返すことにより、バッファには、撮像画像411と、全ての背景画像413とを比較した際の最小の分散値と、当該最小の分散値が求まったときの背景カウンタの値とが記憶された状態となる。
If the processing has not been completed for all the
なお、図9および図10には詳細に示していないが、本実施の形態における物体抽出部402は、エスカレータ領域11をさらに小領域に分割(例えば4分割)して、分割した小領域について画像の比較を行う。エスカレータ2の構造上の特性から、エスカレータ2を撮像した画像では、例え小領域であってもステップの位置が互いに一致すれば、他の領域でも背景としてのステップの位置は一致しており、最適な背景を選択するための処理においては必ずしも全領域を比較する必要はないからである。
Although not shown in detail in FIG. 9 and FIG. 10, the
具体的には、ある小領域について、一番目の背景画像413から最後の背景画像413までの比較を行い、さらに次の小領域について同様の処理を繰り返し、全ての小領域について終了した時点で、最も小さい分散値を記録したときの背景カウンタの値をバッファに記憶する。
Specifically, for a small area, a comparison is made from the
撮像画像411における小領域に物体9が存在している場合はステップが隠れているために、当該小領域について背景画像413との比較を行っても、分散値の最低値は存在するが、本来の一致点(分散値が充分に低下する点)は発見できない。逆に、このような場合において最低値を記録した背景画像413は最適な背景とは言えない。すなわち、最適な背景を決定する処理においては、撮像画像411に撮像されている物体9がノイズとなるのである。
Since the step is hidden when the
理想的には、リアルタイムで取得される撮像画像411において、エスカレータ2のステップのみが撮像されている領域を検出して、この領域についてのみ撮像画像411と背景画像413とを比較するのが好ましい。しかし、リアルタイムで取得される撮像画像411からこのような領域を検出することは困難である(逆に、これが可能であれば背景画像413との比較する必要もない)ので、本実施の形態におけるエスカレータ監視装置4は、先述のようにエスカレータ領域をさらに小領域に区分して比較処理を行うのである。
Ideally, in the captured
このように、エスカレータ領域11をさらに分割した小領域ごとに比較処理を行うことにより、物体9の存在しない領域について画像の比較が行われる確率が上昇するため、精度が向上する。
Thus, by performing the comparison process for each small area obtained by further dividing the
なお、ある小領域を比較した際の最小の分散値が、閾値(一致点における分散値に基づいて予め決定できる値)より小さければ、他の小領域についての処理を行わずに、この分散値が求まったときの背景カウンタをバッファに記憶するようにしてもよい。これにより、比較回数を減少させることができるので、エスカレータ監視装置4は演算処理の負担を軽減できる。ただし、この場合において、全ての小領域について、全ての背景画像413について比較を行っても、閾値より小さい分散値が記録されない場合は、撮像画像411においてエスカレータ2が全て隠れていることを示している。したがって、このような場合は、そもそもエスカレータ2の動きによる誤検出は発生しないので、背景画像413を選択する必要はない(どの背景画像413を選択しても同じとも言える)。
If the minimum variance value when comparing a certain small area is smaller than a threshold value (a value that can be determined in advance based on the variance value at the coincidence point), this variance value is not performed without performing processing for the other small areas. It is also possible to store a background counter in the buffer when the value is obtained. Thereby, since the frequency | count of a comparison can be decreased, the
図10に戻って、全背景画像413について処理が終了すると(ステップS43においてYes)、物体抽出部402は、バッファに記憶されている背景カウンタに基づいて、撮像画像411との比較において最も小さい分散値を記録した背景画像413を特定背景画像として選択する(ステップS45)。
Returning to FIG. 10, when the processing is completed for all the background images 413 (Yes in step S43), the
次に、選択した特定背景画像と、ステップS32において取得した撮像画像411とを比較して、その差分値(差分画像)を生成することにより、対象物画像415を生成する(ステップS46)。
Next, the
図11は、物体抽出処理の様子を示す図である。図11に示す撮像画像411dは、ステップS32で取得される撮像画像411の例であり、物体9が撮像されている。また、背景画像413aは撮像画像411dに対して背景情報412から選択された特定背景画像である。また、対象物画像415aは、撮像画像411dから生成された対象物画像415の例である。
FIG. 11 is a diagram illustrating a state of the object extraction process. A captured
撮像画像411dが取得されると、ステップS35によって背景情報412に含まれる背景画像413との分散値が順次演算され、ステップS42によって、分散値の最低値を記録した背景カウンタが記憶される。このように、分散値が最低値となる特定背景画像(背景画像413a)とは、エスカレータ2のステップの配置が撮像画像411dと一致する背景画像413である(ただし同一のステップとは限らない)。
When the captured
したがって、撮像画像411dと背景画像413a(特定背景画像)との差分画像(対象物画像415a)は、エスカレータ2が他の背景の被写体(図示せず)とともに削除され、物体9のみが抽出された画像となる。
Therefore, the difference image (
従来の技術のように、撮像画像411dとその前後の撮像画像411とを比較すると、エスカレータ2が移動しているために、エスカレータ2が他の背景の被写体のように削除されず、エスカレータ2(主にステップ)の動きが物体9の動きとともに検出されてしまい、誤検出の原因となっていた。
As in the conventional technique, when the captured
しかし、エスカレータ監視装置4は、物体抽出部402が適切な背景画像413を選択することによって、1枚の撮像画像411(411d)から、1枚の対象物画像415(415a)を生成することにより、エスカレータ2を削除した画像を生成する。
However, in the
なお、より詳しくは、対象物画像415において抽出される物体9は、動いている物体に限定されず、静止している物体も抽出される。すなわち、空運転中に撮像領域10内に存在していなかった物体であれば、その瞬間において動いていなくても検出することができる。
More specifically, the
対象物画像415を生成すると、物体抽出部402は物体抽出工程を終了し、エスカレータ監視装置4は図6に示す処理に戻る。
When the
物体抽出工程(ステップS21)が終了すると、検出部404が、順次物体抽出部402によって作成される対象物画像415に基づいて、物体9の動きを検出する(ステップS22)。物体9が抽出された対象物画像415に基づいて、物体9の動きを検出する手法は様々な手法を適用することが可能であるため、ここでは具体的に述べない。ただし、検出部404は、方向特定部403によって特定されたエスカレータ2の移動方向を考慮しつつ物体9の動きを検出する。
When the object extraction step (step S21) ends, the
次に、検出部404は、検出した物体9の動きに基づいて、異常を検出したか否かを判定する(ステップS23)。異常とは、例えば、物体9が転倒あるいは落下等の動きをしているか否かである。
Next, the
異常を検出した場合は、異常処理を実行する(ステップS24)。異常処理の具体例として、エスカレータ監視装置4は、通信部44を介してエスカレータ2を停止させたり、表示部43に警告メッセージを表示したりする。ただし、これに限定されるものではなく、例えば、警報音を再生したり、警告灯を点灯させてもよい。
If an abnormality is detected, an abnormality process is executed (step S24). As a specific example of the abnormality process, the
さらに、エスカレータ監視装置4は、終了情報が入力されたか否かを判定し(ステップS25)、終了情報が入力されていない場合は、ステップS21に戻って、順次取得される撮像画像411についての処理を繰り返す。
Further, the
一方、終了情報が入力された場合は、カメラ3による撮像を終了して(ステップS26)、処理を終了する。 On the other hand, when the end information is input, the imaging by the camera 3 is ended (step S26), and the process is ended.
以上のように、本実施の形態におけるエスカレータシステム1では、予め空運転中のエスカレータ2を撮像して、複数の背景画像413を取得して背景情報412を生成しておくことにより、当該複数の背景画像413から、撮像画像411の背景として最適な特定背景画像を選択する。さらに、選択した特定背景画像と、撮像画像411とを比較することにより、エスカレータ2を背景を構成する被写体とともに削除して、物体9のみを抽出した対象物画像415を生成する。これにより、連続して撮像される撮像画像411から、動いているエスカレータ2の影響を排除することができるため、動き検出処理の精度が向上する。
As described above, in the
<2. 変形例>
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
<2. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various modifications can be made.
例えば、上記実施の形態に示した各工程は、この順序および内容に限定されるものではなく、同様の効果が得られるならば、その順序および内容が変更されてもよい。また、ここに示した工程に限定されるものでもなく、適宜、画像データに対して二値化処理等が施されてもよい。 For example, the steps shown in the above embodiment are not limited to this order and content, and the order and content may be changed as long as the same effect can be obtained. Moreover, it is not limited to the process shown here, A binarization process etc. may be suitably performed with respect to image data.
また、上記実施の形態において、ソフトウェア的に実現されると説明した各機能ブロックの一部または全部を、専用の論理回路でハードウェア的に実現してもよい。 In the above-described embodiment, a part or all of the functional blocks described as being realized as software may be realized as hardware using a dedicated logic circuit.
また、上記実施の形態では、方向特定部403が画像処理によってエスカレータ2の移動方向を特定すると説明した。しかし、エスカレータ監視装置4がエスカレータ2の制御装置としての機能を有する場合には、エスカレータ2の移動方向は、初期設定において取得される情報(設定情報またはオペレータからの指示情報)に含まれている。したがって、このような情報よって移動方向を特定してもよい。
Moreover, in the said embodiment, it demonstrated that the direction specific |
また、上記実施の形態では、カメラ3がフルフレームでの撮像を行うと説明したが、カメラ3の撮像速度はこれに限定されるものではない。しかし、カメラ3による撮像がまばらになれば、その分、撮像画像411の実際の背景と、特定背景画像との一致度が低下し、精度が低下する。
In the above embodiment, it has been described that the camera 3 performs full-frame imaging, but the imaging speed of the camera 3 is not limited to this. However, if the image pickup by the camera 3 is sparse, the degree of coincidence between the actual background of the picked-up
また、カメラ3としては一般的な既存の監視カメラを兼用してもよい。すなわち、エスカレータ監視装置4に撮像画像411を送信できるものであれば、エスカレータ監視装置4によって制御可能な専用の撮像装置である必要はない。
The camera 3 may also be a common existing surveillance camera. That is, as long as the captured
また、エスカレータ監視装置4は、エスカレータ2と接続されていなくてもよい。すなわち、エスカレータ監視装置4はエスカレータ2の制御装置としての機能を有していなくてもよい。その場合は、エスカレータ2に接続可能な専用のコンピュータではなく、一般的なコンピュータによってエスカレータ監視装置4を構成することができる。
Further, the
1 エスカレータシステム
10 撮像領域
11 エスカレータ領域
2 エスカレータ
3 カメラ
4 エスカレータ監視装置
40 CPU
400 背景取得部
401 設定部
402 物体抽出部
403 方向特定部
404 検出部
41 記憶装置
410 プログラム
411,411a,411b,411c,411d 撮像画像
413,413a 背景画像
414 領域情報
415,415a 対象物画像
42 操作部
43 表示部
44 通信部
9 物体
DESCRIPTION OF
400
Claims (10)
前記エスカレータを含むように設定された撮像領域を撮像した撮像画像を取得する画像取得手段と、
前記画像取得手段により取得された撮像画像から、前記エスカレータが順次移動した状態で順次撮像された複数の背景画像を取得する背景取得手段と、
前記画像取得手段により取得された撮像画像と前記背景取得手段により取得された背景画像とを比較して、前記背景取得手段により取得された複数の背景画像の中から前記撮像画像に対する背景として最適な背景画像を特定背景画像として選択し、前記撮像画像と前記特定背景画像とを比較することによって前記撮像画像から検査対象物を抽出する物体抽出手段と、
前記物体抽出手段により抽出された検査対象物の動きを検出する検出手段と、
を備えることを特徴とするエスカレータ監視装置。 An escalator monitoring device for monitoring the surroundings of an escalator,
Image acquisition means for acquiring a captured image obtained by imaging an imaging region set to include the escalator;
Background acquisition means for acquiring a plurality of background images sequentially imaged in a state where the escalator is sequentially moved from the captured image acquired by the image acquisition means;
The captured image acquired by the image acquisition unit and the background image acquired by the background acquisition unit are compared, and the optimum background for the captured image is selected from among the plurality of background images acquired by the background acquisition unit. An object extraction unit that selects a background image as a specific background image and extracts an inspection object from the captured image by comparing the captured image with the specific background image;
Detecting means for detecting movement of the inspection object extracted by the object extracting means;
An escalator monitoring device comprising:
前記エスカレータが撮像されているエスカレータ領域を前記撮像領域内に設定する設定手段をさらに備え、
前記物体抽出手段は、前記設定手段により設定されたエスカレータ領域について撮像画像と背景画像とを比較して特定背景画像を選択することを特徴とするエスカレータ監視装置。 The escalator monitoring device according to claim 1,
Further comprising setting means for setting an escalator area in which the escalator is imaged in the imaging area;
The escalator monitoring apparatus, wherein the object extraction unit selects a specific background image by comparing a captured image and a background image for the escalator region set by the setting unit.
運転中の前記エスカレータを撮像した2以上の撮像画像に基づいて、前記運転中のエスカレータの移動方向を特定する方向特定手段をさらに備え、
前記検出手段は、前記方向特定手段により特定された移動方向に応じて、検査対象物の動きを検出することを特徴とするエスカレータ監視装置。 The escalator monitoring device according to claim 1 or 2,
Based on two or more captured images obtained by imaging the escalator during driving, further comprising direction specifying means for specifying the moving direction of the escalator during driving,
The escalator monitoring device according to claim 1, wherein the detecting means detects a movement of the inspection object in accordance with the moving direction specified by the direction specifying means.
前記背景取得手段は、1ステップ周期分の背景画像を取得することを特徴とするエスカレータ監視装置。 The escalator monitoring device according to any one of claims 1 to 3,
The escalator monitoring apparatus characterized in that the background acquisition means acquires a background image for one step period.
前記エスカレータを含むように撮像して撮像画像を取得する撮像工程と、
前記撮像画像から、前記エスカレータが順次移動した状態で順次撮像された複数の背景画像を取得する背景取得工程と、
前記撮像工程において取得される撮像画像と前記背景画像とを比較する比較工程と、
前記比較工程における比較結果に応じて、前記撮像画像と最も一致する背景画像を前記複数の背景画像の中から特定背景画像として選択する選択工程と、
前記選択工程において選択された特定背景画像と前記撮像画像とを比較することによって前記撮像画像から検査対象物を抽出する物体抽出工程と、
前記物体抽出工程において抽出された検査対象物の動きを検出する検出工程と、
を備えることを特徴とするエスカレータ監視方法。 An escalator monitoring method for monitoring the surroundings of an escalator,
An imaging step of capturing the captured image by including the escalator;
From the captured image, a background acquisition step of acquiring a plurality of background images sequentially captured in a state where the escalator is sequentially moved,
A comparison step of comparing the captured image acquired in the imaging step with the background image;
In accordance with the comparison result in the comparison step, a selection step of selecting a background image that most closely matches the captured image as a specific background image from the plurality of background images;
An object extraction step of extracting an inspection object from the captured image by comparing the specific background image selected in the selection step with the captured image;
A detection step of detecting the movement of the inspection object extracted in the object extraction step;
An escalator monitoring method comprising:
前記エスカレータが撮像されているエスカレータ領域を前記撮像画像の領域内に設定する設定工程をさらに備え、
前記比較工程は、前記設定工程により設定されたエスカレータ領域について撮像画像と背景画像とを比較することを特徴とするエスカレータ監視方法。 The escalator monitoring method according to claim 5,
A setting step of setting an escalator area in which the escalator is imaged in the area of the captured image;
In the escalator monitoring method, the comparison step compares the captured image and the background image with respect to the escalator region set in the setting step.
運転中の前記エスカレータを撮像した2以上の撮像画像に基づいて、前記運転中のエスカレータの移動方向を特定する方向特定工程をさらに備え、
前記検出工程は、前記方向特定工程において特定された移動方向に応じて、検査対象物の動きを検出することを特徴とするエスカレータ監視方法。 The escalator monitoring method according to claim 5 or 6,
Based on two or more captured images obtained by imaging the escalator during driving, further comprising a direction specifying step for specifying the moving direction of the escalator during driving,
In the escalator monitoring method, the detecting step detects a movement of the inspection object in accordance with the moving direction specified in the direction specifying step.
前記背景取得工程は、
背景画像として取得した最初の撮像画像と、前記最初の撮像画像に続いて順次取得された撮像画像とを順次比較し、前記最初の撮像画像と実質的に一致する撮像画像が得られるまで、前記順次取得された撮像画像を順次背景画像として取得することを特徴とするエスカレータ監視方法。 An escalator monitoring method according to any one of claims 5 to 7,
The background acquisition step includes
The first captured image acquired as a background image and the captured image sequentially acquired subsequent to the first captured image are sequentially compared until the captured image substantially matching the first captured image is obtained. An escalator monitoring method characterized by sequentially acquiring captured images acquired sequentially as a background image.
人物を含む物体を昇降させるエスカレータと、
前記エスカレータを含むように設定された撮像領域を撮像して撮像画像を取得するカメラと、
前記エスカレータの周囲を監視するエスカレータ監視装置と、
を備え、
前記エスカレータ監視装置が、
前記カメラにより取得された撮像画像から、前記エスカレータが順次移動した状態で順次撮像された複数の背景画像を取得する背景取得手段と、
前記カメラにより取得された撮像画像と前記背景取得手段により取得された背景画像とを比較して、前記背景取得手段により取得された複数の背景画像の中から前記撮像画像に対する背景として最適な背景画像を特定背景画像として選択し、前記撮像画像と前記特定背景画像とを比較することによって前記撮像画像から検査対象物を抽出する物体抽出手段と、
前記物体抽出手段により抽出された検査対象物の動きを検出する検出手段と、
を備えることを特徴とするエスカレータシステム。 An escalator system,
An escalator that raises and lowers an object including a person,
A camera that captures an imaged region set to include the escalator and obtains a captured image;
An escalator monitoring device for monitoring the periphery of the escalator;
With
The escalator monitoring device is
From a captured image acquired by the camera, background acquisition means for acquiring a plurality of background images sequentially captured in a state where the escalator is sequentially moved;
By comparing the captured image acquired by the camera with the background image acquired by the background acquisition unit, the optimal background image as the background for the captured image from among the plurality of background images acquired by the background acquisition unit Object extracting means for extracting an inspection object from the captured image by comparing the captured image with the specific background image,
Detecting means for detecting movement of the inspection object extracted by the object extracting means;
An escalator system comprising:
前記エスカレータを含むように設定された撮像領域を撮像した撮像画像を取得する画像取得手段と、
前記画像取得手段により取得された撮像画像から、前記エスカレータが順次移動した状態で順次撮像された複数の背景画像を取得する背景取得手段と、
前記画像取得手段により取得された撮像画像と前記背景取得手段により取得された背景画像とを比較して、前記背景取得手段により取得された複数の背景画像の中から前記撮像画像に対する背景として最適な背景画像を特定背景画像として選択し、前記撮像画像と前記特定背景画像とを比較することによって前記撮像画像から検査対象物を抽出する物体抽出手段と、
前記物体抽出手段により抽出された検査対象物の動きを検出する検出手段と、
を備えるエスカレータ監視装置として機能させることを特徴とするプログラム。 A computer-readable program, wherein the execution of the program by the computer is an escalator monitoring device that monitors the surroundings of the escalator;
Image acquisition means for acquiring a captured image obtained by imaging an imaging region set to include the escalator;
Background acquisition means for acquiring a plurality of background images sequentially imaged in a state where the escalator is sequentially moved from the captured image acquired by the image acquisition means;
The captured image acquired by the image acquisition unit and the background image acquired by the background acquisition unit are compared, and the optimum background for the captured image is selected from among the plurality of background images acquired by the background acquisition unit. An object extraction unit that selects a background image as a specific background image and extracts an inspection object from the captured image by comparing the captured image with the specific background image;
Detecting means for detecting movement of the inspection object extracted by the object extracting means;
A program characterized in that it functions as an escalator monitoring device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006284847A JP5126941B2 (en) | 2006-10-19 | 2006-10-19 | Escalator monitoring device, escalator monitoring method, escalator system and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006284847A JP5126941B2 (en) | 2006-10-19 | 2006-10-19 | Escalator monitoring device, escalator monitoring method, escalator system and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008100814A true JP2008100814A (en) | 2008-05-01 |
JP5126941B2 JP5126941B2 (en) | 2013-01-23 |
Family
ID=39435447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006284847A Expired - Fee Related JP5126941B2 (en) | 2006-10-19 | 2006-10-19 | Escalator monitoring device, escalator monitoring method, escalator system and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5126941B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010058903A (en) * | 2008-09-03 | 2010-03-18 | Hitachi Ltd | Image recognizing device |
JP2010070299A (en) * | 2008-09-17 | 2010-04-02 | Hitachi Ltd | Protection device of escalator |
JP2012017168A (en) * | 2010-07-07 | 2012-01-26 | Hitachi Building Systems Co Ltd | Monitoring apparatus for passenger conveyor |
CN105151938A (en) * | 2015-09-24 | 2015-12-16 | 广州日滨科技发展有限公司 | Elevator video monitoring device and method |
CN110817674A (en) * | 2019-11-20 | 2020-02-21 | 日立楼宇技术(广州)有限公司 | Method, device and equipment for detecting step defect of escalator and storage medium |
JP2020200171A (en) * | 2019-06-12 | 2020-12-17 | 東芝エレベータ株式会社 | Passenger conveyor and inspection method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000034088A (en) * | 1998-07-17 | 2000-02-02 | Hitachi Ltd | Passenger monitoring device for man conveyor |
JP2000137790A (en) * | 1998-10-29 | 2000-05-16 | Hitachi Ltd | Method and device for monitoring image of man conveyor |
JP2001019338A (en) * | 1999-07-09 | 2001-01-23 | Hitachi Ltd | Man conveyor monitoring control device |
JP2002158999A (en) * | 2000-08-31 | 2002-05-31 | Hitachi Kokusai Electric Inc | Method and apparatus for detecting object and intruding object monitoring device |
-
2006
- 2006-10-19 JP JP2006284847A patent/JP5126941B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000034088A (en) * | 1998-07-17 | 2000-02-02 | Hitachi Ltd | Passenger monitoring device for man conveyor |
JP2000137790A (en) * | 1998-10-29 | 2000-05-16 | Hitachi Ltd | Method and device for monitoring image of man conveyor |
JP2001019338A (en) * | 1999-07-09 | 2001-01-23 | Hitachi Ltd | Man conveyor monitoring control device |
JP2002158999A (en) * | 2000-08-31 | 2002-05-31 | Hitachi Kokusai Electric Inc | Method and apparatus for detecting object and intruding object monitoring device |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010058903A (en) * | 2008-09-03 | 2010-03-18 | Hitachi Ltd | Image recognizing device |
CN101665210B (en) * | 2008-09-03 | 2013-05-15 | 株式会社日立制作所 | Image recognition device |
JP2010070299A (en) * | 2008-09-17 | 2010-04-02 | Hitachi Ltd | Protection device of escalator |
JP4595010B2 (en) * | 2008-09-17 | 2010-12-08 | 株式会社日立製作所 | escalator |
JP2012017168A (en) * | 2010-07-07 | 2012-01-26 | Hitachi Building Systems Co Ltd | Monitoring apparatus for passenger conveyor |
CN105151938A (en) * | 2015-09-24 | 2015-12-16 | 广州日滨科技发展有限公司 | Elevator video monitoring device and method |
JP2020200171A (en) * | 2019-06-12 | 2020-12-17 | 東芝エレベータ株式会社 | Passenger conveyor and inspection method |
CN110817674A (en) * | 2019-11-20 | 2020-02-21 | 日立楼宇技术(广州)有限公司 | Method, device and equipment for detecting step defect of escalator and storage medium |
CN110817674B (en) * | 2019-11-20 | 2021-04-20 | 日立楼宇技术(广州)有限公司 | Method, device and equipment for detecting step defect of escalator and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP5126941B2 (en) | 2013-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5126941B2 (en) | Escalator monitoring device, escalator monitoring method, escalator system and program | |
JP2008033532A (en) | Method and apparatus for detecting abnormality in equipment provided with movable part | |
JP4394595B2 (en) | Image transmission apparatus and image transmission method | |
US9965688B2 (en) | Display apparatus, display method, and storage medium | |
CN108391147B (en) | Display control device and display control method | |
JP2010130087A (en) | Monitoring system and method | |
JP2014236312A (en) | Setting device and setting method | |
JP5264457B2 (en) | Object detection device | |
US11195022B2 (en) | Monitoring system for detecting events using obstruction area rate | |
JP2009033564A (en) | Display device and display program | |
JP6766009B2 (en) | Monitoring equipment, monitoring methods, computer programs, and storage media | |
US20220036093A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2007128308A (en) | Monitoring controller and monitoring control method | |
US8965171B2 (en) | Recording control apparatus, recording control method, storage medium storing recording control program | |
JP5193944B2 (en) | Image processing method | |
JP2004139206A (en) | Image display/shooting system | |
JP6303675B2 (en) | Image capturing apparatus and program | |
JP7013110B1 (en) | Model generator, anomaly determination device, anomaly determination system, model generation method and program | |
JP2020036196A (en) | Image processing system, imaging apparatus, image processing method, and program | |
JP2020008924A (en) | License plate recognition device, license plate recognition method, and program | |
JP2013203484A (en) | Passenger conveyor | |
US20230179867A1 (en) | Control apparatus, control method, and non-transitory storage medium | |
JP2010232968A (en) | Monitoring device provided with image pickup device | |
JP2012227780A (en) | Object detection device, object detection method, and program | |
JP6397650B2 (en) | Displacement detection device and information display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090302 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20090302 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121016 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121026 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5126941 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151109 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |