JP2023179121A - elevator system - Google Patents
elevator system Download PDFInfo
- Publication number
- JP2023179121A JP2023179121A JP2022092217A JP2022092217A JP2023179121A JP 2023179121 A JP2023179121 A JP 2023179121A JP 2022092217 A JP2022092217 A JP 2022092217A JP 2022092217 A JP2022092217 A JP 2022092217A JP 2023179121 A JP2023179121 A JP 2023179121A
- Authority
- JP
- Japan
- Prior art keywords
- mirror
- image
- block
- area
- car
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 230000008859 change Effects 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 11
- 238000009434 installation Methods 0.000 description 7
- 230000000873 masking effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Indicating And Signalling Devices For Elevators (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明の実施形態は、乗りかご内に設置されたカメラを用いて利用者を検知するエレベータシステムに関する。 Embodiments of the present invention relate to an elevator system that detects users using a camera installed in a car.
従来、エレベータの乗りかご内にカメラを設置しておき、このカメラで撮影した画像を処理することで、乗りかご内に乗車している利用者の人数などを検知し、その検知結果をエレベータの運転制御に反映させるシステムが知られている。 Conventionally, a camera is installed inside the elevator car, and by processing the images taken by this camera, it is possible to detect the number of passengers in the car, etc., and the detection results are sent to the elevator. A system that reflects this on driving control is known.
この種のシステムでは、画像処理によって利用者を正確に検知することが必要となる。ところが、乗りかご内に鏡が設置されていると、その鏡に映った利用者を誤検知し、乗車人数をダブルカウントしてしまう事象などが発生する。 This type of system requires accurate detection of users through image processing. However, if a mirror is installed inside the car, the mirror may falsely detect a user, resulting in double counting of the number of passengers.
上述した鏡による誤検知を防ぐ方法として、撮影画像上で鏡の設置場所に対応したエリア(鏡エリア)をマスクする方法が一般的である。しかしながら、鏡の設置場所は、乗りかごの仕様によって異なる。このため、上記方法を用いる場合に、物件毎に乗りかごの仕様を調べ、鏡に関する情報(設置場所等)をシステムに与えて、鏡エリアを設定しなければならない。 As a method for preventing the above-mentioned false detection caused by the mirror, a common method is to mask an area (mirror area) corresponding to the installation location of the mirror on the photographed image. However, the installation location of the mirror varies depending on the specifications of the car. Therefore, when using the above method, it is necessary to check the specifications of the car for each property, provide information regarding the mirror (installation location, etc.) to the system, and set the mirror area.
本発明が解決しようとする課題は、鏡に関する情報を必要とせずに、撮影画像上に鏡エリアを設定して、鏡による誤検知を防ぐことのできるエレベータシステムを提供することである。 The problem to be solved by the present invention is to provide an elevator system that can set a mirror area on a photographed image without requiring information about mirrors and prevent false detection caused by mirrors.
一実施形態に係るエレベータシステムは、乗りかご内に鏡が設置されたエレベータシステムにおいて、撮像手段と、特徴量抽出手段と、鏡像ブロック検出手段と、鏡エリア生成手段とを備える。上記撮像手段は、上記乗りかご内から出入口付近の乗場を含む範囲を撮影する。上記特徴量抽出手段は、上記撮像手段によって得られる画像の特徴量をブロック単位で抽出する。上記鏡像ブロック検出手段は、上記特徴量抽出手段によって抽出された上記画像の特徴量の変化に基づいて、上記画像の中で対称的な動きを有する一対のブロックを判断し、上記一対のブロックの一方を鏡像ブロックとして検出する。上記鏡エリア生成手段は、上記鏡像ブロック検出手段によって検出された上記鏡像ブロックの集合体から鏡エリアを生成する。 An elevator system according to one embodiment is an elevator system in which a mirror is installed in a car, and includes an imaging means, a feature extraction means, a mirror image block detection means, and a mirror area generation means. The imaging means photographs a range from inside the car to a landing area near the entrance. The feature extracting means extracts the feature of the image obtained by the imaging means in units of blocks. The mirror image block detection means determines a pair of blocks having symmetrical motion in the image based on a change in the feature amount of the image extracted by the feature amount extraction means, and One is detected as a mirror image block. The mirror area generating means generates a mirror area from the aggregate of the mirror image blocks detected by the mirror image block detecting means.
以下、図面を参照して実施形態を説明する。
なお、開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。
Hereinafter, embodiments will be described with reference to the drawings.
Note that the disclosure is merely an example, and the invention is not limited to the content described in the embodiments below. Modifications that can be easily conceived by those skilled in the art are naturally included within the scope of the disclosure. In order to make the explanation more clear, in the drawings, the size, shape, etc. of each part may be changed from the actual embodiment and shown schematically. In some drawings, corresponding elements are designated by the same reference numerals, and detailed description thereof may be omitted.
図1は一実施形態に係るエレベータシステムの構成を示す図である。なお、ここでは、1台の乗りかごを例にして説明するが、複数台の乗りかごでも同様の構成である。 FIG. 1 is a diagram showing the configuration of an elevator system according to an embodiment. Note that although one car will be described as an example here, the configuration is the same for a plurality of cars.
乗りかご11の出入口上部に、撮像手段として用いられるカメラ12が設置されている。具体的には、カメラ12は、乗りかご11の出入口上部を覆う幕板11aの中にレンズ部分を直下方向に向けて設置される。カメラ12は、例えば魚眼レンズ等の超広角レンズを有し、180度以上の視野角で乗りかご11内を含む撮影対象を広範囲に撮影する。カメラ12は、1秒間に数コマ(例えば30コマ/秒)の画像を連続的に撮影可能である。
A
なお、カメラ12の設置場所は、かごドア13付近であれば、乗りかご11の出入口上部でなくても良い。例えば、乗りかご11の出入口に近い天井面など、乗りかご11内の床面全域を含むかご室内全体と戸開時に出入口付近の乗場15を撮影可能な場所であれば良い。
Note that the
各階の乗場15において、乗りかご11の到着口には乗場ドア14が開閉自在に設置されている。乗場ドア14は、乗りかご11の到着時にかごドア13に係合して開閉動作する。なお、動力源(ドアモータ)は乗りかご11側にあり、乗場ドア14はかごドア13に追従して開閉するだけである。以下の説明においては、かごドア13を戸開している時には乗場ドア14も戸開しており、かごドア13が戸閉している時には乗場ドア14も戸閉しているものとする。
At the
カメラ12によって連続的に撮影された各画像(映像)は、画像処理装置20によってリアルタイムに解析処理される。なお、図1では、便宜的に画像処理装置20を乗りかご11から取り出して示しているが、実際には、画像処理装置20はカメラ12と共に幕板11aの中に収納されている。
Each image (video) continuously captured by the
画像処理装置20には、記憶部21と検知部22とが備えられている。記憶部21は、カメラ12によって撮影された画像を逐次保存すると共に、検知部22の処理に必要なデータを一時的に保存しておくためのバッファエリアを有する。なお、記憶部21には、撮影画像に対する前処理として、歪み補正や拡大縮小、一部切り取り等の処理が施された画像が保存されるとしても良い。
The
検知部22は、例えばマイクロプロセッサからなり、カメラ12の撮影画像を用いて乗りかご11内や乗場15にいる利用者を検知する。この検知部22を機能的に分けると、特徴量抽出部22a、鏡像ブロック検出部22b、鏡エリア生成部22c、検知処理部22dで構成される。なお、これらは、ソフトウェアによって実現しても良いし、IC(Integrated Circuit)等のハードウェアにより実現しても良いし、ソフトウェアおよびハードウェアを併用して実現しても良い。また、画像処理装置20の一部あるいは全部の機能をエレベータ制御装置30に持たせることでも良い。
The
特徴量抽出部22aは、記憶部21に記憶された各画像を時系列順に読み出し、これらの画像からブロック単位で特徴量を抽出する。「ブロック単位」とは、画像を所定サイズのブロックにマトリクス状に区切ったときの単位である。「特徴量」とは、画像の特徴・特性を定量的に表した数値のことであり、例えば輝度勾配、輝度値、ヒストグラムなどを含む。鏡像ブロック検出部22bは、特徴量抽出部22aによって抽出された画像の特徴量の変化に基づいて、画像の中で対称的な動きを有する一対のブロックを判断する。鏡像ブロック検出部22bは、撮影画像上における乗りかご11のかごシル47(図3参照)の位置を基準にして、上記一対のブロックの一方を鏡像ブロックとして検出する。「鏡像ブロック」とは、乗りかご11内に設置された鏡50(図3参照)の中の画像として認識されたブロックのことを言う。鏡エリア生成部22cは、鏡像ブロック検出部22bによって検出された鏡像ブロックの集合体から鏡エリアを生成する。
The feature
検知処理部22dは、カメラ12から時系列順に得られる画像の輝度変化等により、乗りかご11内や乗場15にいる利用者の有無を検知する。なお、利用者以外にも、例えば車椅子等の物を検知対象に含めることでも良い。その際、検知処理部22dは、鏡エリア生成部22cによって認識された鏡エリアをマスクするなど、鏡50に写っている利用者を誤検知しない処理を行う。
The
エレベータ制御装置30は、CPU、ROM、RAM等を備えたコンピュータからなる。エレベータ制御装置30は、運転制御部31と戸開閉制御部32と通知部33とを備える。運転制御部31は、乗りかご11の運転制御を行う。戸開閉制御部32は、乗りかご11が乗場15に到着したときのかごドア13の戸開閉を制御する。詳しくは、戸開閉制御部32は、乗りかご11が乗場15に到着したときにかごドア13を戸開し、所定時間経過後に戸閉する。
The
ここで、例えばかごドア13の戸開動作中に検知処理部22dによって、かごドア13の近くにいる利用者が検知された場合には、戸開閉制御部32は、ドア事故(戸袋への引き込まれ事故)を回避するための戸開閉制御を行う。具体的には、戸開閉制御部32は、かごドア13の戸開動作を一時停止するか、逆方向(戸閉方向)に動かす、あるいは、かごドア13の戸開速度を遅くする。通知部33は、検知処理部22dの検知結果に基づいて、乗りかご11内の利用者に注意を喚起する。
Here, for example, when the
図2は乗りかご11内の出入口周辺部分の構成を示す図である。
乗りかご11の出入口にかごドア13が開閉自在に設けられている。図2の例では2枚戸両開きタイプのかごドア13が示されており、かごドア13を構成する2枚のドアパネル13a,13bが間口方向(水平方向)に沿って互いに逆方向に開閉動作する。なお、「間口」とは、乗りかご11の出入口と同じである。
FIG. 2 is a diagram showing the structure of the area around the entrance and exit in the
A
乗りかご11の出入口の両側に正面柱41a,41bが設けられており、幕板11aと共に乗りかご11の出入口を囲っている。「正面柱」は、出入口柱あるいは出入口枠とも言い、裏側にはかごドア13を収納するための戸袋が設けられているのが一般的である。図2の例では、かごドア13が戸開したときに、一方のドアパネル13aが正面柱41aの裏側に設けられた戸袋42aに収納され、他方のドアパネル13bが正面柱41bの裏側に設けられた戸袋42bに収納される。
正面柱41a,41bの一方あるいは両方に表示器43や、行先階ボタン44などが配設された操作盤45、スピーカ46が設置されている。図2の例では、正面柱41aにスピーカ46、正面柱41bに表示器43、操作盤45が設置されている。
A
また、図3に示すように、乗りかご11の背面49の出入口と対向する場所に、矩形状の鏡50が設置されている。この鏡50は、例えば車椅子利用者が乗りかご11内から降車するときのバックミラーとして利用される。なお、鏡50としては、「ガラスタイプ」だけではなく、「ステンレスミラータイプ」も含む。
Further, as shown in FIG. 3, a
乗りかご11の出入口上部の幕板11aの中央部に、魚眼レンズ等の超広角レンズを有するカメラ12が設置されている。カメラ12は、所定のフレームレート(例えば30フレーム/秒)で、乗りかご11内と出入口付近の乗場15を撮影する。このカメラ12によって撮影された画像は、図1に示した画像処理装置20に与えられ、利用者または物を検知するための検知処理に用いられる。
A
図3はカメラ12の撮影画像の一例を示す図である。かごドア13(ドアパネル13a,13b)と乗場ドア14(ドアパネル14a,14b)が全開した状態で、乗りかご11の出入口上部から180度以上の視野角でかご室内全体と出入口付近の乗場15を撮影した場合を示している。上側は乗場15、下側は乗りかご11内である。
FIG. 3 is a diagram showing an example of an image taken by the
乗場15において、乗りかご11の到着口の両側に三方枠17a,17bが設けられており、その三方枠17a,17bの間の床面16に所定の幅を有する帯状の乗場シル18が乗場ドア14の開閉方向に沿って配設されている。また、乗りかご11の床面19の出入口側に所定の幅を有する帯状のかごシル47がかごドア13の開閉方向に沿って配設されている。
At the
ここで、乗りかご11内に鏡50が設置されている場合、撮影画像上で鏡50に写り込んだ利用者を誤検知して、乗車人数をダブルカウントしてしまうなどの問題が生じる。この場合、撮影画像上で鏡50の設置場所に対応したエリア(鏡エリア)をマスクすれば、鏡50による誤検知を防ぐことができる。しかし、鏡エリアを設定するためには、物件毎に鏡50に関する情報(設置場所等)を事前にシステムに与えておく必要があり、非常に手間がかかる。
Here, if the
以下では、鏡50に関する情報を必要せずに、撮影画像上の鏡50の設置場所に対応した部分に鏡エリアを正しく設定するための方法について説明する。
(a)対称的な動きを検出
図4はフレームNの画像の一例を示す図、図5はフレームN+1の画像の一例を示す図で図である(Nは任意の整数)。図中のP1,P2は利用者を示す。利用者P1は、乗りかご11内で鏡50に写らない位置(この例では、側面48aの近く)に乗車している。利用者P2は、乗りかご11の出入口付近にいて、乗りかご11内に乗車しようとしている状態である。乗りかご11の背面49の出入口と対向する位置に鏡50が設置されており、この鏡50に利用者P2が写り込んでいる。
Below, a method for correctly setting a mirror area in a portion corresponding to the installation location of the
(a) Detecting symmetrical motion FIG. 4 is a diagram showing an example of an image of frame N, and FIG. 5 is a diagram showing an example of an image of frame N+1 (N is an arbitrary integer). P1 and P2 in the figure indicate users. The user P1 is riding in the
撮影画像上において、利用者P2の実像と、鏡50に写り込んだ利用者P2の鏡像は対称的な動きをする。したがって、鏡50の位置を検出するためには、撮影画像上で対称的な動きしている部分を検出すれば良い。具体的には、撮影画像を所定のブロック単位で分割して、そのブロック単位で特徴量(例えば輝度勾配)を抽出する。そして、フレームNの画像とフレームN+1の画像の特徴量をブロック単位で比較したときの変化量を求め、その変化量から対称的な動きを有する一対のブロックを判断する。
On the photographed image, the real image of the user P2 and the mirror image of the user P2 reflected in the
図6は画像間の輝度勾配の変化例を示す図である。A部分は画像の上側(乗場側)、B部分は画像の下側(乗りかごの背面側)である(図4および図5参照)。図中の矢印は輝度の勾配方向を示している。 FIG. 6 is a diagram showing an example of a change in brightness gradient between images. Part A is the upper side of the image (the landing side), and part B is the lower side of the image (the back side of the car) (see FIGS. 4 and 5). The arrows in the figure indicate the direction of the brightness gradient.
フレームNの画像において、A部分のブロックb(Xb,Yb)の輝度勾配が270°、B部分のブロックk(Xk,Yk)の輝度勾配が90°であったとする。フレームN+1の画像において、A部分のブロックb(Xb,Yb)の輝度勾配が225°、B部分のブロックk(Xk,Yk)の輝度勾配が135°であったとする。 Assume that in the image of frame N, the luminance gradient of block b (Xb, Yb) in portion A is 270°, and the luminance gradient of block k (Xk, Yk) in portion B is 90°. Assume that in the image of frame N+1, the luminance gradient of block b (Xb, Yb) in portion A is 225°, and the luminance gradient of block k (Xk, Yk) in portion B is 135°.
ブロックb(Xb,Yb)の輝度勾配の変化量は、-45°(225°-270°)である。ブロックk(Xk,Yk)の輝度勾配の変化量は、+45°(135°-90°)である。輝度勾配の変化量は動きを表している。したがって、当該画像の中でブロックbとブロックkで対称的な動きが生じていることがわかる。この場合、ブロックbの輝度勾配の変化量とブロックkの輝度勾配の変化量とを比較したときの差分はほぼゼロになる。 The amount of change in the brightness gradient of block b (Xb, Yb) is −45° (225°−270°). The amount of change in the brightness gradient of block k (Xk, Yk) is +45° (135°-90°). The amount of change in brightness gradient represents movement. Therefore, it can be seen that symmetrical movement occurs between block b and block k in the image. In this case, the difference when comparing the amount of change in the brightness gradient of block b and the amount of change in the brightness gradient of block k is approximately zero.
なお、図6の例では、A部分のブロックbとB部分のブロックkに着目して説明したが、実際には画像全体からブロック単位で輝度勾配を抽出し、その変化量の差分から撮影画像上で対称的な動きを有する一対のブロックを判断し、その一対のブロックの一方を鏡像ブロックとして検出する。後述するように、鏡50は乗りかご11の背面49に設置されていることが多いので、シル40の位置を基準にして撮影画像の下側に近いブロックを鏡像ブロックとして検出する。
In the example shown in FIG. 6, the description focuses on block b in part A and block k in part B, but in reality, the brightness gradient is extracted from the entire image in units of blocks, and the captured image is determined from the difference in the amount of change. A pair of blocks having symmetrical motion is determined above, and one of the blocks in the pair is detected as a mirror image block. As will be described later, since the
図7に示すように、特徴量として、輝度勾配の他に、輝度値やヒストグラムを抽出し、これらの変化量に基づいて鏡像ブロックを検出することでも良い。図7の例では、特徴量1として「輝度勾配」、特徴量2として「輝度値」、特徴量3として「ヒストグラム」を抽出している。この場合、輝度勾配の変化量と、輝度値の変化量と、ヒストグラムの変化量を予め設定された重み付け値に従って加算した値が鏡像ブロックの検出に用いられる。
As shown in FIG. 7, in addition to the brightness gradient, a brightness value or a histogram may be extracted as the feature amount, and a mirror image block may be detected based on the amount of change thereof. In the example of FIG. 7, "luminance gradient" is extracted as the
特徴量1として抽出される輝度勾配の変化量の差分を「-θb°-θk°」,重み付け値を「Gθ」とすると、特徴量1のスコアSθは、以下のように求められる。
Sθ=(-θb°-θk°)×Gθ
特徴量2として抽出される輝度値の変化量の差分を「βb-βk」,重み付け値を「Gβ」とすると、特徴量2のスコアSβは、以下のように求められる。
Sβ=(βb-βk)×Gβ
特徴量3として抽出されるヒストグラムの変化量の差分を「Histb-Histk」,重み付け値を「Ghist」とすると、特徴量3のスコアShistは、以下のように求められる。
Shist=(Histb-Histk)×Gβ
ここで、Gθ>Gβ>Ghistである。輝度勾配の重み付け値Gθを輝度値とヒストグラムよりも高くしておくのは、輝度勾配は方向に関する特性を持っているため、対称的な動きを判断する場合に最も信頼性が高いからである。
Assuming that the difference in the amount of change in the brightness gradient extracted as
S θ = (-θ b ° - θ k °) × G θ
Assuming that the difference in the amount of change in the brightness value extracted as the feature amount 2 is "β b - β k " and the weighting value is "G β ", the score S β of the feature amount 2 is obtained as follows.
S β = (β b − β k )×G β
Assuming that the difference in the amount of change in the histogram extracted as the feature quantity 3 is "Hist b -Hist k " and the weighting value is "G hist ", the score S hist of the feature quantity 3 is obtained as follows.
S hist = (Hist b −Hist k )×G β
Here, G θ >G β >G hist . The reason why the weighting value G θ of the luminance gradient is set higher than the luminance value and the histogram is that the luminance gradient has directional properties and is most reliable when determining symmetrical movement. .
特徴量1のスコアSθ、特徴量2のスコアSβ、特徴量2のスコアShistを加算した値が予め設定された閾値TH1以内であれば、ブロックbとブロックkは、対称的な動きを有する一対のブロックとして判断される。上記閾値TH1は、乗りかご11の照明環境などを考慮して設定され、理想値0±誤差である。つまり、ブロックbの特徴量変化とブロックkの特徴量変化が対称的であり、両者の特徴量変化を比較したときの差分がゼロに近いほど、対称的な動きを有していると判断される。
If the sum of the score S θ of
このように、輝度勾配の他に、輝度値やヒストグラムを用いれば、撮影画像の中で対称的な動きを有する一対のブロックをより正確に判断できる。また、輝度値やヒストグラム以外の特徴量を加えて判断することでも良い。 In this way, by using the brightness value or histogram in addition to the brightness gradient, it is possible to more accurately determine a pair of blocks that have symmetrical movement in the photographed image. Alternatively, the determination may be made by adding feature amounts other than the brightness value and histogram.
(b)鏡エリアの生成
図8は鏡像ブロックのマーキング例を示す図である。図9は鏡エリアの生成例を示す図である。「M」は鏡像ブロックとして検出されたことを示すマークである。「Mb」は鏡像ブロックが鏡の一部として確定されたことを示すマークである。
(b) Generation of mirror area FIG. 8 is a diagram showing an example of marking of a mirror image block. FIG. 9 is a diagram showing an example of generation of a mirror area. "M" is a mark indicating that the block has been detected as a mirror image block. "Mb" is a mark indicating that the mirror image block has been determined as a part of the mirror.
撮影画像上で乗場15を上側としたとき、上記(a)で検出された対称的な動きを有する一対のブロックのうち、かごシル47よりも下側に存在するブロックを鏡像ブロックとして検出する。これは、一般的に乗りかご11の背面49に鏡50が設置されていることが多いためである。上記一対のブロックの両方がかごシル47よりも下側にある場合には、撮影画像の下側に近い方を鏡像ブロックとして検出する。
When the
図8に示すように、鏡像ブロックとして検出されたブロックにマークMを付していく。撮影画像として時系列順に得られる画像毎に鏡像ブロックを検出し、同じブロックが一定回数C1以上(少なくとも2回以上)、鏡像ブロックとして検出された場合に、当該鏡像ブロックを鏡50の一部として確定し、鏡エリアMEの生成に用いる。このとき、マークMからマークMbに置き換えておく。上記一定回数C1以上とするのは、ノイズ等の影響でイレギュラー的に鏡像ブロックとして誤検出されたブロックを除外するためである。
As shown in FIG. 8, marks M are attached to blocks detected as mirror image blocks. A mirror image block is detected for each image obtained in chronological order as a photographed image, and when the same block is detected as a mirror image block a certain number of times C1 or more (at least 2 times or more), the mirror image block is treated as a part of the
ここで、図9に示すように、マークMbの鏡像ブロックの集合体が例えば75%以上の割合を占めて矩形エリアを形成した場合に、この矩形エリアを鏡エリアMEとして生成する。矩形エリアとしているのは、一般的に鏡の形状は矩形だからである。 Here, as shown in FIG. 9, when the collection of mirror image blocks of the mark Mb occupies 75% or more and forms a rectangular area, this rectangular area is generated as the mirror area ME. The reason why the area is rectangular is that mirrors are generally rectangular in shape.
また、別の方法として、例えば75%以上の割合でマークMbの鏡像ブロックを含むことを条件にして検索対象とする矩形エリアを広げていき、最終的に得られた矩形エリアを鏡エリアMEとして生成することでも良い。 Another method is to expand the rectangular area to be searched on the condition that it includes mirror image blocks of mark Mb at a rate of 75% or more, and use the finally obtained rectangular area as the mirror area ME. You can also generate it.
図10に具体例を示す。いま、「Mb1」~「Mb10」で示される鏡像ブロックが鏡50の一部として確定されているとする。
まず、「Mb1」の鏡像ブロックを含む第1の矩形エリアを検索対象とする。続いて、第1の矩形エリアと隣接する「Mb2」「Mb3」の鏡像ブロックを含む第2の矩形エリアを検索対象とする。以下同様に、第2の矩形エリアと隣接する「Mb4」「Mb5」「Mb6」の鏡像ブロックを含む第3の矩形エリア→第3の矩形エリアと隣接する「Mb7」「Mb8」の鏡像ブロックを含む第4の矩形エリア→第4の矩形エリアと隣接する「Mb9」「Mb10」の鏡像ブロックを含む第5の矩形エリア…といったように、上記条件の下で検索対象とする矩形エリアを広げていき、最終的に得られた第5の矩形エリアを鏡エリアMEとする。
A specific example is shown in FIG. Assume now that mirror image blocks indicated by “Mb1” to “Mb10” have been determined as part of the
First, a first rectangular area including a mirror image block of "Mb1" is searched. Next, a second rectangular area including mirror image blocks of "Mb2" and "Mb3" adjacent to the first rectangular area is searched. Similarly, a third rectangular area containing mirror image blocks of "Mb4", "Mb5" and "Mb6" adjacent to the second rectangular area → mirror image blocks of "Mb7" and "Mb8" adjacent to the third rectangular area. Expand the rectangular area to be searched under the above conditions, such as the fourth rectangular area containing → the fifth rectangular area containing the mirror image blocks of "Mb9" and "Mb10" adjacent to the fourth rectangular area... The fifth rectangular area finally obtained is defined as the mirror area ME.
このような方法を用いれば、例えば画像にノイズが含まれている場合や、鏡50の一部が汚れている場合などにより、鏡像ブロックとして認識されなかったブロックが部分的に含まれていたとしても、鏡エリアMEを正しく生成することができる。
If such a method is used, it is possible to detect if a block that is not recognized as a mirror image block is partially included, for example, if the image contains noise or if a part of the
次に、本実施形態におけるエレベータシステムの動作を説明する。
図11はエレベータシステムの動作を説明するためのフローチャートである。このフローチャートで示される処理は、主として画像処理装置20によって実行される。
Next, the operation of the elevator system in this embodiment will be explained.
FIG. 11 is a flowchart for explaining the operation of the elevator system. The processing shown in this flowchart is mainly executed by the
いま、乗りかご11が任意の階で戸開している場合を想定する。乗りかご11内に設置されたカメラ12は、所定のフレームレートで乗りかご11内と出入口付近の乗場15を撮影している。カメラ12によって撮影された画像は、画像処理装置20の記憶部21に時系列順に記憶される。
Now, assume that the
画像処理装置20の検知部22は、記憶部21に記憶された各画像を時系列順に読み出す(ステップS11)。検知部22は、これらの画像を所定のブロック単位に区切り、そのブロック単位で例えば輝度勾配を特徴量として抽出する(ステップS12)。検知部22は、各画像のそれぞれについて、撮影画像内の特徴量の変化量をブロック単位で比較し、特徴量変化の差分を演算する(ステップS13)。
The
ここで、特徴量変化の差分が予め設定された閾値TH1以内にある一対のブロックが検出された場合、検知部22は、当該ブロックを対称的な動きを有するブロックとして判断する(ステップS14)。検知部22は、かごシル47の位置を基準にして、上記一対のブロックの中で撮影画像の下側に存在するブロックを鏡像ブロックとして検出する(ステップS15)。
Here, if a pair of blocks in which the difference in feature amount change is within the preset threshold TH1 is detected, the
詳しくは、図6で説明したように、フレームNの画像とフレームN+1の画像との間で、ブロックbの輝度勾配の変化量とブロックkの輝度勾配の変化量を比較した場合に、両者の変化量の差分が閾値TH1以内であれば、ブロックbとブロックkが対称的な動きを有する一対のブロックとして判断される。この場合、ブロックkが撮影画像の下側に存在するので、鏡像ブロックとして検出されることになる。 Specifically, as explained in FIG. 6, when comparing the amount of change in the brightness gradient of block b and the amount of change in the brightness gradient of block k between the image of frame N and the image of frame N+1, If the difference in the amount of change is within the threshold TH1, block b and block k are determined to be a pair of blocks having symmetrical movements. In this case, since block k exists below the photographed image, it will be detected as a mirror image block.
このようにして、撮影画像から鏡50の一部として認識される鏡像ブロックがいくつか検出されると、検知部22は、上記鏡像ブロックの集合体から撮影画像上に鏡エリアMEを生成する(ステップS16)。図12に上記ステップS16で実行される鏡エリア生成処理の詳細を示す。
In this way, when some mirror image blocks recognized as part of the
検知部22は、撮影画像上で鏡像ブロックとして検出されたブロックをマーキングする(ステップS21)。その際、検知部22は、各ブロック毎に鏡像ブロックとして検出された回数をカウントする(ステップS22)。一定回数C1以上、同じブロックが鏡像ブロックとして検出された場合に(ステップS23のYes)、検知部22は、当該鏡像ブロックを鏡50の一部として確定し(ステップS24)、その確定された鏡像ブロックの集合体から撮影画像上に鏡エリアMEを生成する(ステップS25)。
The
詳しくは、図9で説明したように、鏡50の一部として確定された鏡像ブロック(Mb)の集合体が一定以上の割合を占めて矩形エリアを形成した場合に、その矩形エリアのエッジに基づいて鏡エリアMEを生成する。あるいは、図10で説明したように、一定以上の割合で鏡像ブロック(Mb)を含むことを条件にして、検索対象とする矩形エリアを広げ、最終的に得られた矩形エリアのエッジに基づいて鏡エリアMEとして生成する。
In detail, as explained in FIG. 9, when a rectangular area is formed by a set of mirror image blocks (Mb) determined as a part of the
撮影画像上に鏡エリアMEが生成されると、以後、検知部22は、鏡エリアMEをマスクして利用者の検知処理を行う(ステップS17)。これにより、鏡50に写る利用者を誤検知することなく、実存する利用者だけを対象にして検知処理を行って、例えば利用者の乗車人数を正確にカウントすることができる。図5の例で言えば、戸開時に利用者P2が乗りかご11内に乗車した場合に、鏡50に写る利用者P2の鏡像を無視し、すでに乗車済みの利用者P1を含め、現在の乗車人数を2名として正しくカウントすることができる。
Once the mirror area ME is generated on the photographed image, the
このように本実施形態によれば、撮影画像上で対称的な動きを有する部分に着目して、鏡50が設置された部分に鏡エリアMEを設定する。したがって、物件毎に鏡50の設置場所を調べなくとも、撮影画像上に鏡エリアMEを正しく設定して、鏡50による誤検知を防ぐことができる。
As described above, according to the present embodiment, the mirror area ME is set in the part where the
なお、上記実施形態では、乗りかご11が戸開している場合を例にして説明したが、乗りかご11が戸閉している場合でも同様である。つまり、戸閉中にカメラ12によって撮影された画像から対称的な動きを有する一対のブロックの一方を鏡像ブロックとして検出することにより、その鏡像ブロックの集合体から鏡エリアMEを生成することができる。
In the above embodiment, the case where the door of the
また、鏡50が側面48aあるいは側面48bに設置されている場合でも、上記同様の手法にて鏡エリアMEを生成することができる。この場合、撮影画像の中から対称的な動きを有する一対のブロックを判断したときに、かごシル47よりも下側にあって、撮影画像の左端あるいは右端に近いブロックを鏡像ブロックとして検出し、その鏡像ブロックの集合体から鏡エリアMEを生成すれば良い。
Further, even when the
また、検出対象の尤度を高めるために、特徴量の速度変化量(強さ)を加えることでも良い。「特徴量の速度変化量」とは、フレーム画像間で特徴量が変化する速度のことである。つまり、同じ速さで特徴量が変化している一対のブロックがあれば、その一対のブロックの一方を鏡像ブロックとして検出する。 Furthermore, in order to increase the likelihood of the detection target, the amount of speed change (strength) of the feature amount may be added. The “amount of speed change in feature amount” refers to the speed at which the feature amount changes between frame images. In other words, if there is a pair of blocks whose feature values change at the same speed, one of the blocks is detected as a mirror image block.
以上述べた少なくとも1つの実施形態によれば、鏡に関する情報を必要とせずに、撮影画像上に鏡エリアを設定して、鏡による誤検知を防ぐことのできるエレベータシステムを提供することができる。 According to at least one embodiment described above, it is possible to provide an elevator system that can set a mirror area on a captured image and prevent false detection caused by mirrors without requiring information regarding mirrors.
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These embodiments and their modifications are included within the scope and gist of the invention, as well as within the scope of the invention described in the claims and its equivalents.
11…乗りかご、11a…幕板、12…カメラ、13…かごドア、14…乗場ドア、15…乗場、16…乗場の床面、17a,17b…三方枠、18…乗場シル、19…乗りかごの床面、20…画像処理装置、21…記憶部、22…検知部、22a…特徴量抽出部、22b…鏡像ブロック検出部、22c…鏡エリア生成部、22d…検知処理部、30…エレベータ制御装置、31…運転制御部、32…戸開閉制御部、33…通知部、41a,41b…正面柱、41a-1,41b-1…正面柱の内側側面、42a,42b…戸袋、43…表示器、44…行先階ボタン、45…操作盤、46…スピーカ、47…かごシル、48a,48b…側面、49…背面、50…鏡、ME…鏡エリア。 11... Car, 11a... Curtain board, 12... Camera, 13... Car door, 14... Landing door, 15... Landing area, 16... Landing floor, 17a, 17b... Three side frame, 18... Landing sill, 19... Riding area Floor surface of the car, 20... Image processing device, 21... Storage unit, 22... Detection unit, 22a... Feature extraction unit, 22b... Mirror image block detection unit, 22c... Mirror area generation unit, 22d... Detection processing unit, 30... Elevator control device, 31... Operation control unit, 32... Door opening/closing control unit, 33... Notification unit, 41a, 41b... Front pillar, 41a-1, 41b-1... Inner side surface of front pillar, 42a, 42b... Door pocket, 43 ...Display, 44...Destination floor button, 45...Operation panel, 46...Speaker, 47...Car sill, 48a, 48b...Side, 49...Back, 50...Mirror, ME...Mirror area.
Claims (10)
上記乗りかご内から出入口付近の乗場を含む範囲を撮影する撮像手段と、
上記撮像手段によって撮影された画像の特徴量をブロック単位で抽出する特徴量抽出手段と、
上記特徴量抽出手段によって抽出された上記画像の特徴量の変化に基づいて、上記画像の中で対称的な動きを有する一対のブロックを判断し、上記一対のブロックの一方を鏡像ブロックとして検出する鏡像ブロック検出手段と、
上記鏡像ブロック検出手段によって検出された上記鏡像ブロックの集合体から鏡エリアを生成する鏡エリア生成手段と
を具備したことを特徴とするエレベータシステム。 In an elevator system where a mirror is installed inside the car,
an imaging means for photographing a range from inside the car to a landing area near the entrance;
Feature extracting means for extracting feature quantities of the image photographed by the imaging means in block units;
A pair of blocks having symmetrical motion is determined in the image based on a change in the feature amount of the image extracted by the feature amount extraction means, and one of the pair of blocks is detected as a mirror image block. Mirror image block detection means;
An elevator system comprising: mirror area generating means for generating a mirror area from an aggregate of the mirror image blocks detected by the mirror image block detecting means.
撮影画像上における上記乗りかごのシルの位置を基準にして、上記一対のブロックの一方を上記鏡像ブロックとして検出することを特徴とする請求項1記載のエレベータシステム。 The mirror image block detection means is
2. The elevator system according to claim 1, wherein one of the pair of blocks is detected as the mirror image block based on the position of the sill of the car on the photographed image.
上記画像の特徴量の変化をブロック単位で比較したときの差分が予め設定された閾値以内にある一対のブロックを検出することを特徴とする請求項1記載のエレベータシステム。 The mirror image block detection means is
2. The elevator system according to claim 1, wherein a pair of blocks in which a difference is within a preset threshold value when a change in feature amount of the image is compared on a block-by-block basis is detected.
上記画像の中で同じブロックが上記鏡像ブロックとして一定回数以上検出された場合に、当該ブロックを上記鏡エリアの生成に用いることを特徴とする請求項1記載のエレベータシステム。 The mirror area generation means described above is
2. The elevator system according to claim 1, wherein when the same block is detected as the mirror image block a certain number of times or more in the image, the block is used to generate the mirror area.
上記鏡像ブロックが一定以上の割合を占めて矩形エリアを形成する場合に、上記矩形エリアを上記鏡エリアとして生成することを特徴とする請求項1記載のエレベータシステム。 The mirror area generation means described above is
2. The elevator system according to claim 1, wherein when the mirror image blocks occupy a certain proportion or more to form a rectangular area, the rectangular area is generated as the mirror area.
一定以上の割合で上記鏡像ブロックを含むことを条件にして検索対象とする矩形エリアを広げ、最終的に得られた矩形エリアを上記鏡エリアとして生成することを特徴とする請求項1記載のエレベータシステム。 The mirror area generation means described above is
2. The elevator according to claim 1, wherein the rectangular area to be searched is expanded on the condition that the mirror image block is included in a proportion equal to or higher than a certain level, and a finally obtained rectangular area is generated as the mirror area. system.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022092217A JP7282952B1 (en) | 2022-06-07 | 2022-06-07 | elevator system |
CN202310661286.7A CN117185071A (en) | 2022-06-07 | 2023-06-06 | Elevator system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022092217A JP7282952B1 (en) | 2022-06-07 | 2022-06-07 | elevator system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7282952B1 JP7282952B1 (en) | 2023-05-29 |
JP2023179121A true JP2023179121A (en) | 2023-12-19 |
Family
ID=86538275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022092217A Active JP7282952B1 (en) | 2022-06-07 | 2022-06-07 | elevator system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7282952B1 (en) |
CN (1) | CN117185071A (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010063001A (en) * | 2008-09-05 | 2010-03-18 | Mitsubishi Electric Corp | Person-tracking device and person-tracking program |
JP2020142896A (en) * | 2019-03-06 | 2020-09-10 | フジテック株式会社 | Car inside monitoring device |
JP6904244B2 (en) * | 2017-12-27 | 2021-07-14 | 三菱電機ビルテクノサービス株式会社 | Elevator device |
-
2022
- 2022-06-07 JP JP2022092217A patent/JP7282952B1/en active Active
-
2023
- 2023-06-06 CN CN202310661286.7A patent/CN117185071A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010063001A (en) * | 2008-09-05 | 2010-03-18 | Mitsubishi Electric Corp | Person-tracking device and person-tracking program |
JP6904244B2 (en) * | 2017-12-27 | 2021-07-14 | 三菱電機ビルテクノサービス株式会社 | Elevator device |
JP2020142896A (en) * | 2019-03-06 | 2020-09-10 | フジテック株式会社 | Car inside monitoring device |
Also Published As
Publication number | Publication date |
---|---|
CN117185071A (en) | 2023-12-08 |
JP7282952B1 (en) | 2023-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7230114B2 (en) | Elevator user detection system | |
CN113428752B (en) | User detection system for elevator | |
JP6702578B1 (en) | Elevator user detection system | |
CN112429609B (en) | User detection system for elevator | |
JP7322250B1 (en) | elevator system | |
JP2023179121A (en) | elevator system | |
JP2023179122A (en) | elevator system | |
JP7187629B1 (en) | Elevator user detection system | |
CN112456287B (en) | User detection system for elevator | |
CN113428750A (en) | User detection system of elevator | |
JP7375137B1 (en) | Elevator user detection system | |
CN113911868B (en) | Elevator user detection system | |
CN112441497B (en) | User detection system for elevator | |
JP7077437B2 (en) | Elevator user detection system | |
JP7367174B1 (en) | elevator system | |
JP6702579B1 (en) | Elevator user detection system | |
CN112551292B (en) | User detection system for elevator | |
JP7135144B1 (en) | Elevator user detection system | |
JP2022036276A (en) | User detection system of elevator | |
JP2020186124A (en) | Elevator user detection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230517 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7282952 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |