JP2023179122A

JP2023179122A - elevator system

Info

Publication number: JP2023179122A
Application number: JP2022092218A
Authority: JP
Inventors: コクロンテー; Kok Long Tae
Original assignee: Toshiba Elevator Co Ltd
Current assignee: Toshiba Elevator and Building Systems Corp
Priority date: 2022-06-07
Filing date: 2022-06-07
Publication date: 2023-12-19
Anticipated expiration: 2042-06-07
Also published as: JP7305849B1; CN117185072A

Abstract

To properly sense a user boarding in an elevator car, while preventing error sensing by a mirror.SOLUTION: An elevator system according to one embodiment, in which a mirror is installed in an elevator car, is provided with photographing means, mirror area setting means and sensing processing means. The photographing means photographs a range including a landing near an entrance from the inside of the elevator car. The mirror area setting means sets a mirror area in a position of the mirror on a photographed image photographed by the photographing means, and sets an edge around the mirror area. When sensing a user boarding on the elevator car from the photographed image, the sensing processing means determines whether the user is in the mirror area, from a state of the edge set around the mirror area by the edge setting means.SELECTED DRAWING: Figure 1

Description

本発明の実施形態は、乗りかご内に設置されたカメラを用いて利用者を検知するエレベータシステムに関する。 Embodiments of the present invention relate to an elevator system that detects users using a camera installed in a car.

従来、エレベータの乗りかご内にカメラを設置しておき、このカメラで撮影した画像を処理することで、乗りかご内に乗車した利用者の人数などを検知し、その検知結果をエレベータの運転制御に反映させるシステムが知られている。 Conventionally, a camera is installed inside the elevator car, and by processing the images taken by this camera, it is possible to detect things such as the number of passengers in the car, and the detection results are used to control the operation of the elevator. A system is known that reflects the

この種のシステムでは、画像処理によって利用者を正確に検知することが必要となる。ところが、乗りかご内に鏡が設置されていると、その鏡に映った利用者を誤検知し、乗車人数をダブルカウントしてしまう事象などが発生する。 This type of system requires accurate detection of users through image processing. However, if a mirror is installed inside the car, the mirror may falsely detect a user, resulting in double counting of the number of passengers.

特開２０２０－１４５５１１号公報JP2020-145511A 特許第５２３０７９３号公報Patent No. 5230793

上述した鏡による誤検知を防ぐ方法として、撮影画像上で鏡の設置場所に対応したエリア（鏡エリア）をマスクする方法が一般的である。しかしながら、鏡エリアをマスクすると、例えば利用者が鏡の正面に立っている場合に、当該利用者が検知されず、乗車人数の未カウントが発生する。 As a method for preventing the above-mentioned false detection caused by the mirror, a common method is to mask an area (mirror area) corresponding to the installation location of the mirror on the photographed image. However, if the mirror area is masked, for example, if the user is standing in front of the mirror, the user will not be detected and the number of passengers will not be counted.

本発明が解決しようとする課題は、鏡による誤検知を防いで、乗りかご内に乗車した利用者を正しく検知することのできるエレベータシステムを提供することである。 The problem to be solved by the present invention is to provide an elevator system that can prevent false detection caused by mirrors and correctly detect a user who has boarded a car.

一実施形態に係るエレベータシステムは、乗りかご内に鏡が設置されたエレベータシステムにおいて、撮像手段と、鏡エリア設定手段と、検知処理手段とを備える。上記撮像手段は、上記乗りかご内から出入口付近の乗場を含む範囲を撮影する。上記鏡エリア設定手段は、上記撮像手段によって得られる撮影画像上の上記鏡の位置に鏡エリアを設定するとともに、上記鏡エリアの周囲にエッジを設定する。上記検知処理手段は、上記撮影画像から上記乗りかご内に乗車した利用者を検知した際に、上記エッジ設定手段によって上記鏡エリアの周囲に設定された上記エッジの状態から上記利用者が上記鏡エリア内にいるか否かを判断する。 An elevator system according to one embodiment is an elevator system in which a mirror is installed in a car, and includes an imaging means, a mirror area setting means, and a detection processing means. The imaging means photographs a range from inside the car to a landing area near the entrance. The mirror area setting means sets a mirror area at the position of the mirror on the photographed image obtained by the imaging means, and also sets an edge around the mirror area. When the detection processing means detects a user who has boarded the car from the photographed image, the detection processing means detects whether the user is in the mirror area based on the state of the edge set around the mirror area by the edge setting means. Determine whether you are within the area.

図１は第１の実施形態に係るエレベータシステムの構成を示す図である。FIG. 1 is a diagram showing the configuration of an elevator system according to a first embodiment. 図２は第１の実施形態における乗りかご内の出入口周辺部分の構成を示す図である。FIG. 2 is a diagram showing the configuration of the area around the entrance and exit in the car in the first embodiment. 図３は第１の実施形態におけるカメラの撮影画像の一例を示す図である。FIG. 3 is a diagram showing an example of an image taken by the camera in the first embodiment. 図４は第１の実施形態における利用者が鏡の一端側にいる場合の撮影画像の一例を示す図である。FIG. 4 is a diagram showing an example of a photographed image when the user is on one end side of the mirror in the first embodiment. 図５は第１の実施形態における利用者が鏡の前にいる場合の撮影画像の一例を示す図である。FIG. 5 is a diagram showing an example of a photographed image when the user is in front of a mirror in the first embodiment. 図６は第１の実施形態における撮影画像の鏡エリアの周辺部分を模式的に示した図であり、利用者が鏡の前にいない場合を示している。FIG. 6 is a diagram schematically showing the peripheral portion of the mirror area of the photographed image in the first embodiment, and shows a case where the user is not in front of the mirror. 図７は第１の実施形態における撮影画像の鏡エリアの周辺部分を模式的に示した図であり、利用者が鏡の前にいる場合を示している。FIG. 7 is a diagram schematically showing the peripheral portion of the mirror area of the photographed image in the first embodiment, and shows a case where the user is in front of the mirror. 図８は第１の実施形態におけるエレベータシステムの動作を説明するためのフローチャートである。FIG. 8 is a flowchart for explaining the operation of the elevator system in the first embodiment. 図９は第２の実施形態における鏡検知設定部の機能構成を示すブロック図である。FIG. 9 is a block diagram showing the functional configuration of the mirror detection setting section in the second embodiment. 図１０は第２の実施形態におけるフレームＮの画像の一例を示す図である。FIG. 10 is a diagram showing an example of an image of frame N in the second embodiment. 図１１は第２の実施形態におけるフレームＮ＋１の画像の一例を示す図である。FIG. 11 is a diagram showing an example of an image of frame N+1 in the second embodiment. 図１２は第２の実施形態における画像間の輝度勾配の変化例を示す図である。FIG. 12 is a diagram showing an example of a change in brightness gradient between images in the second embodiment. 図１３は第２の実施形態における画像間の輝度勾配、輝度値、ヒストグラムの変化例を示す図である。FIG. 13 is a diagram showing examples of changes in brightness gradients, brightness values, and histograms between images in the second embodiment. 図１４は第２の実施形態における鏡像ブロックのマーキング例を示す図である。FIG. 14 is a diagram showing an example of marking of a mirror image block in the second embodiment. 図１５は第２の実施形態における鏡エリアを生成する方法を説明するための図である。FIG. 15 is a diagram for explaining a method of generating a mirror area in the second embodiment. 図１６は第２の実施形態における鏡エリアを生成する他の方法を説明するための図である。FIG. 16 is a diagram for explaining another method of generating a mirror area in the second embodiment. 図１７は第２の実施形態におけるエレベータシステムの動作を説明するためのフローチャートである。FIG. 17 is a flowchart for explaining the operation of the elevator system in the second embodiment. 図１８は上記図１７のステップＳ２６で実行される鏡エリア生成処理の詳細を示すフローチャートである。FIG. 18 is a flowchart showing details of the mirror area generation process executed in step S26 of FIG. 17 above.

以下、図面を参照して実施形態を説明する。
なお、開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。 Hereinafter, embodiments will be described with reference to the drawings.
Note that the disclosure is merely an example, and the invention is not limited to the content described in the embodiments below. Modifications that can be easily conceived by those skilled in the art are naturally included within the scope of the disclosure. In order to make the explanation more clear, in the drawings, the size, shape, etc. of each part may be changed from the actual embodiment and shown schematically. In some drawings, corresponding elements are designated by the same reference numerals, and detailed description thereof may be omitted.

（第１の実施形態）
図１は第１の実施形態に係るエレベータシステムの構成を示す図である。なお、ここでは、１台の乗りかごを例にして説明するが、複数台の乗りかごでも同様の構成である。 (First embodiment)
FIG. 1 is a diagram showing the configuration of an elevator system according to a first embodiment. Note that although one car will be described as an example here, the configuration is the same for a plurality of cars.

乗りかご１１の出入口上部に、撮像手段として用いられるカメラ１２が設置されている。具体的には、カメラ１２は、乗りかご１１の出入口上部を覆う幕板１１ａの中にレンズ部分を直下方向に向けて設置される。カメラ１２は、例えば魚眼レンズ等の超広角レンズを有し、１８０度以上の視野角で乗りかご１１内を含む撮影対象を広範囲に撮影する。カメラ１２は、１秒間に数コマ（例えば３０コマ／秒）の画像を連続的に撮影可能である。 A camera 12 used as an imaging means is installed above the entrance of the car 11. Specifically, the camera 12 is installed in a curtain plate 11a that covers the upper part of the entrance/exit of the car 11 with its lens portion facing directly below. The camera 12 has an ultra-wide-angle lens such as a fisheye lens, and photographs a wide range of objects including the inside of the car 11 with a viewing angle of 180 degrees or more. The camera 12 is capable of continuously capturing images at several frames per second (for example, 30 frames/second).

なお、カメラ１２の設置場所は、かごドア１３付近であれば、乗りかご１１の出入口上部でなくても良い。例えば、乗りかご１１の出入口に近い天井面など、乗りかご１１内の床面全域を含むかご室内全体と戸開時に出入口付近の乗場１５を撮影可能な場所であれば良い。 Note that the camera 12 does not need to be installed above the entrance of the car 11 as long as it is near the car door 13. For example, any location may be used as long as it is possible to photograph the entire interior of the car, including the entire floor surface of the car 11, such as the ceiling near the entrance of the car 11, and the landing area 15 near the entrance when the door is open.

各階の乗場１５において、乗りかご１１の到着口には乗場ドア１４が開閉自在に設置されている。乗場ドア１４は、乗りかご１１の到着時にかごドア１３に係合して開閉動作する。なお、動力源（ドアモータ）は乗りかご１１側にあり、乗場ドア１４はかごドア１３に追従して開閉するだけである。以下の説明においては、かごドア１３を戸開している時には乗場ドア１４も戸開しており、かごドア１３が戸閉している時には乗場ドア１４も戸閉しているものとする。 At the landing 15 on each floor, a landing door 14 is installed at the arrival gate of the car 11 so as to be openable and closable. The landing door 14 engages with the car door 13 to open and close when the car 11 arrives. Note that the power source (door motor) is located on the side of the car 11, and the hall door 14 only opens and closes following the car door 13. In the following description, it is assumed that when the car door 13 is open, the landing door 14 is also open, and when the car door 13 is closed, the landing door 14 is also closed.

カメラ１２によって連続的に撮影された各画像（映像）は、画像処理装置２０によってリアルタイムに解析処理される。なお、図１では、便宜的に画像処理装置２０を乗りかご１１から取り出して示しているが、実際には、画像処理装置２０はカメラ１２と共に幕板１１ａの中に収納されている。 Each image (video) continuously captured by the camera 12 is analyzed in real time by the image processing device 20. In FIG. 1, the image processing device 20 is shown removed from the car 11 for convenience, but in reality, the image processing device 20 is housed together with the camera 12 in the curtain plate 11a.

画像処理装置２０には、記憶部２１と検知部２２とが備えられている。記憶部２１は、カメラ１２によって撮影された画像を逐次保存すると共に、検知部２２の処理に必要なデータを一時的に保存しておくためのバッファエリアを有する。なお、記憶部２１には、撮影画像に対する前処理として、歪み補正や拡大縮小、一部切り取り等の処理が施された画像が保存されるとしても良い。また、記憶部２１は、乗りかご１１内に設置された鏡５０（図３参照）に関する情報（設置場所やサイズ、形状等）を記憶しておくための鏡情報記憶エリア２１ａを有する。 The image processing device 20 includes a storage section 21 and a detection section 22. The storage unit 21 sequentially stores images taken by the camera 12 and has a buffer area for temporarily storing data necessary for processing by the detection unit 22. Note that the storage unit 21 may store images that have been subjected to processing such as distortion correction, enlargement/reduction, and partial cropping as preprocessing for the photographed images. The storage unit 21 also includes a mirror information storage area 21a for storing information (installation location, size, shape, etc.) regarding the mirror 50 (see FIG. 3) installed in the car 11.

検知部２２は、例えばマイクロプロセッサからなり、カメラ１２の撮影画像を用いて乗りかご１１内や乗場１５にいる利用者を検知する。この検知部２２を機能的に分けると、鏡エリア設定部２２ａと、検知処理部２２ｂとで構成される。なお、これらは、ソフトウェアによって実現しても良いし、ＩＣ（Integrated Circuit）等のハードウェアにより実現しても良いし、ソフトウェアおよびハードウェアを併用して実現しても良い。また、画像処理装置２０の一部あるいは全部の機能をエレベータ制御装置３０に持たせることでも良い。 The detection unit 22 is composed of, for example, a microprocessor, and detects a user inside the car 11 or at the landing 15 using an image taken by the camera 12. The detection section 22 is functionally divided into a mirror area setting section 22a and a detection processing section 22b. Note that these may be realized by software, hardware such as an IC (Integrated Circuit), or a combination of software and hardware. Alternatively, the elevator control device 30 may have some or all of the functions of the image processing device 20.

鏡エリア設定部２２ａは、カメラ１２によって得られる撮影画像の鏡５０に対応した位置に鏡エリアを設定するとともに、上記鏡エリアの周囲にエッジを設定する。検知処理部２２ｂは、撮影画像から乗りかご１１内に乗車した利用者を検知した際に、鏡エリア設定部２２ａによって鏡エリアの周囲に設定されたエッジの状態から利用者が鏡エリア内にいるか否かを判断する。 The mirror area setting unit 22a sets a mirror area at a position corresponding to the mirror 50 of the photographed image obtained by the camera 12, and also sets an edge around the mirror area. When the detection processing unit 22b detects a user who has boarded the car 11 from the photographed image, it determines whether the user is within the mirror area based on the state of the edge set around the mirror area by the mirror area setting unit 22a. Decide whether or not.

エレベータ制御装置３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータからなる。エレベータ制御装置３０は、運転制御部３１と戸開閉制御部３２と通知部３３とを備える。運転制御部３１は、乗りかご１１の運転制御を行う。戸開閉制御部３２は、乗りかご１１が乗場１５に到着したときのかごドア１３の戸開閉を制御する。詳しくは、戸開閉制御部３２は、乗りかご１１が乗場１５に到着したときにかごドア１３を戸開し、所定時間経過後に戸閉する。 The elevator control device 30 is composed of a computer including a CPU, ROM, RAM, and the like. The elevator control device 30 includes an operation control section 31, a door opening/closing control section 32, and a notification section 33. The operation control unit 31 controls the operation of the car 11. The door opening/closing control unit 32 controls opening/closing of the car door 13 when the car 11 arrives at the landing 15. Specifically, the door opening/closing control section 32 opens the car door 13 when the car 11 arrives at the landing 15, and closes the door after a predetermined period of time has elapsed.

ここで、例えばかごドア１３の戸開動作中に検知処理部２２ｃによって、かごドア１３の近くにいる利用者が検知された場合には、戸開閉制御部３２は、ドア事故（戸袋への引き込まれ事故）を回避するための戸開閉制御を行う。具体的には、戸開閉制御部３２は、かごドア１３の戸開動作を一時停止するか、逆方向（戸閉方向）に動かす、あるいは、かごドア１３の戸開速度を遅くする。通知部３３は、検知処理部２２ｃの検知結果に基づいて、乗りかご１１内の利用者に注意を喚起する。 Here, for example, if the detection processing unit 22c detects a user near the car door 13 during the door opening operation of the car door 13, the door opening/closing control unit 32 detects a door accident (drawing into the door pocket). Door opening/closing control is performed to avoid accidents. Specifically, the door opening/closing control unit 32 temporarily stops the door opening operation of the car door 13, moves it in the opposite direction (door closing direction), or slows down the door opening speed of the car door 13. The notification unit 33 alerts the users in the car 11 based on the detection result of the detection processing unit 22c.

図２は乗りかご１１内の出入口周辺部分の構成を示す図である。
乗りかご１１の出入口にかごドア１３が開閉自在に設けられている。図２の例では２枚戸両開きタイプのかごドア１３が示されており、かごドア１３を構成する２枚のドアパネル１３ａ，１３ｂが間口方向（水平方向）に沿って互いに逆方向に開閉動作する。なお、「間口」とは、乗りかご１１の出入口と同じである。 FIG. 2 is a diagram showing the structure of the area around the entrance and exit in the car 11. As shown in FIG.
A car door 13 is provided at the entrance of the car 11 so as to be openable and closable. In the example of FIG. 2, a two-door, double-swing type car door 13 is shown, and two door panels 13a and 13b forming the car door 13 open and close in opposite directions along the frontage direction (horizontal direction). . Note that the "frontage" is the same as the entrance and exit of the car 11.

乗りかご１１の出入口の両側に正面柱４１ａ，４１ｂが設けられており、幕板１１ａと共に乗りかご１１の出入口を囲っている。「正面柱」は、出入口柱あるいは出入口枠とも言い、裏側にはかごドア１３を収納するための戸袋が設けられているのが一般的である。図２の例では、かごドア１３が戸開したときに、一方のドアパネル１３ａが正面柱４１ａの裏側に設けられた戸袋４２ａに収納され、他方のドアパネル１３ｂが正面柱４１ｂの裏側に設けられた戸袋４２ｂに収納される。 Front pillars 41a and 41b are provided on both sides of the entrance and exit of the car 11, and surround the entrance and exit of the car 11 together with the curtain plate 11a. The "front pillar" is also called an entrance pillar or an entrance frame, and a door pocket for storing the car door 13 is generally provided on the back side. In the example of FIG. 2, when the car door 13 is opened, one door panel 13a is stored in a door pocket 42a provided on the back side of the front pillar 41a, and the other door panel 13b is placed on the back side of the front pillar 41b. It is stored in the door pocket 42b.

正面柱４１ａ，４１ｂの一方あるいは両方に表示器４３や、行先階ボタン４４などが配設された操作盤４５、スピーカ４６が設置されている。図２の例では、正面柱４１ａにスピーカ４６、正面柱４１ｂに表示器４３、操作盤４５が設置されている。 A display 43, an operation panel 45 with a destination floor button 44, and a speaker 46 are installed on one or both of the front pillars 41a, 41b. In the example of FIG. 2, a speaker 46 is installed on the front pillar 41a, and a display 43 and an operation panel 45 are installed on the front pillar 41b.

また、図３に示すように、乗りかご１１の背面４９の出入口と対向する場所に、矩形状の鏡５０が設置されている。この鏡５０は、例えば車椅子利用者が乗りかご１１内から降車するときのバックミラーとして利用される。なお、鏡５０としては、「ガラスタイプ」だけではなく、「ステンレスミラータイプ」も含む。 Further, as shown in FIG. 3, a rectangular mirror 50 is installed on the back surface 49 of the car 11 at a location facing the entrance/exit. This mirror 50 is used, for example, as a rearview mirror when a wheelchair user exits the car 11. Note that the mirror 50 includes not only a "glass type" but also a "stainless steel mirror type."

乗りかご１１の出入口上部の幕板１１ａの中央部に、魚眼レンズ等の超広角レンズを有するカメラ１２が設置されている。カメラ１２は、所定のフレームレート（例えば３０フレーム／秒）で、乗りかご１１内と出入口付近の乗場１５を撮影する。このカメラ１２によって撮影された画像は、図１に示した画像処理装置２０に与えられ、利用者または物を検知するための検知処理に用いられる。 A camera 12 having an ultra-wide-angle lens such as a fisheye lens is installed in the center of the curtain plate 11a above the entrance of the car 11. The camera 12 photographs the inside of the car 11 and the landing area 15 near the entrance at a predetermined frame rate (for example, 30 frames/second). The image taken by this camera 12 is given to the image processing device 20 shown in FIG. 1, and used for detection processing to detect a user or an object.

図３はカメラ１２の撮影画像の一例を示す図である。かごドア１３（ドアパネル１３ａ，１３ｂ）と乗場ドア１４（ドアパネル１４ａ，１４ｂ）が全開した状態で、乗りかご１１の出入口上部から１８０度以上の視野角でかご室内全体と出入口付近の乗場１５を撮影した場合を示している。上側は乗場１５、下側は乗りかご１１内である。 FIG. 3 is a diagram showing an example of an image taken by the camera 12. With the car door 13 (door panels 13a, 13b) and the landing door 14 (door panels 14a, 14b) fully open, photograph the entire car interior and the landing 15 near the entrance at a viewing angle of 180 degrees or more from above the entrance of the car 11. This shows the case where The upper side is the hall 15, and the lower side is inside the car 11.

乗場１５において、乗りかご１１の到着口の両側に三方枠１７ａ，１７ｂが設けられており、その三方枠１７ａ，１７ｂの間の床面１６に所定の幅を有する帯状の乗場シル１８が乗場ドア１４の開閉方向に沿って配設されている。また、乗りかご１１の床面１９の出入口側に所定の幅を有する帯状のかごシル４７がかごドア１３の開閉方向に沿って配設されている。 In the landing 15, three-sided frames 17a and 17b are provided on both sides of the arrival gate for the car 11, and a strip-shaped landing sill 18 having a predetermined width is installed on the floor 16 between the three-sided frames 17a and 17b. 14 along the opening/closing direction. Further, a band-shaped car sill 47 having a predetermined width is disposed on the entrance/exit side of the floor surface 19 of the car 11 along the opening/closing direction of the car door 13.

ここで、乗りかご１１内に鏡５０が設置されている場合、撮影画像上で鏡５０に写り込んだ利用者を誤検知して、乗車人数をダブルカウントしてしまうなどの問題が生じる。鏡５０による誤検知を防ぐ方法として、撮影画像上で鏡５０の設置場所に対応したエリア（鏡エリア）をマスクする方法が一般的である。しかし、鏡エリアをマスクすると、利用者が鏡５０の正面に立っているような場合に、その利用者までも検知されなくなるため、乗車人数の未カウントが発生する問題がある。 Here, if the mirror 50 is installed inside the car 11, a problem arises in that the user reflected in the mirror 50 on the photographed image is erroneously detected, resulting in double counting of the number of passengers. A common method for preventing false detection by the mirror 50 is to mask an area (mirror area) corresponding to the installation location of the mirror 50 on the photographed image. However, if the mirror area is masked, even if a user is standing in front of the mirror 50, that user will not be detected, resulting in a problem that the number of passengers will not be counted.

この様子を図４および図５に示す。
図４は利用者が鏡５０の一端側にいる場合の撮影画像の一例を示す図、図５は利用者が鏡５０の前にいる場合の撮影画像の一例を示す図である。図中のＰ１，Ｐ２は利用者を示す。利用者Ｐ１は、乗りかご１１内で鏡５０に写らない位置（この例では、側面４８ａの近く）に乗車している。利用者Ｐ２は、鏡５０の近くに乗車しており、この鏡５０に利用者Ｐ２が写り込んでいる。 This situation is shown in FIGS. 4 and 5.
FIG. 4 is a diagram showing an example of a photographed image when the user is on one end side of the mirror 50, and FIG. 5 is a diagram showing an example of a photographed image when the user is in front of the mirror 50. P1 and P2 in the figure indicate users. The user P1 is riding in the car 11 at a position that is not reflected in the mirror 50 (in this example, near the side surface 48a). The user P2 is riding near the mirror 50, and the user P2 is reflected in the mirror 50.

図４に示すように、利用者Ｐ２が鏡５０の近くにいても、鏡５０の前にいなければ、撮影画像上で鏡エリアをマスクしても、利用者Ｐ２を検知することができる。ところが、図５に示すように、利用者Ｐ２が鏡５０の前にいると、鏡エリアをマスクしたときに、利用者Ｐ２が検知されなくなる。 As shown in FIG. 4, even if the user P2 is near the mirror 50, as long as he is not in front of the mirror 50, the user P2 can be detected even if the mirror area is masked on the captured image. However, as shown in FIG. 5, if the user P2 is in front of the mirror 50, the user P2 will not be detected when the mirror area is masked.

以下では、鏡エリアＭＥをマスクせずに、利用者Ｐ２を正しく検知する方法について説明する。
図６および図７は、撮影画像を所定のブロック単位で区切った状態で、鏡エリアの周辺部分を模式的に示した図である。図６は、図４に対応しており、利用者が鏡５０の前にいない場合を示している。図７は、図５に対応しており、利用者が鏡５０の前にいる場合を示している。図中のＭＥは鏡エリア、ＲＩは利用者Ｐ２の実像、ＭＩは利用者Ｐ２の鏡像を示す。 Below, a method for correctly detecting the user P2 without masking the mirror area ME will be described.
FIGS. 6 and 7 are diagrams schematically showing the peripheral portion of the mirror area, with the photographed image divided into predetermined blocks. FIG. 6 corresponds to FIG. 4 and shows a case where the user is not in front of the mirror 50. FIG. 7 corresponds to FIG. 5 and shows a case where the user is in front of the mirror 50. In the figure, ME indicates a mirror area, RI indicates a real image of user P2, and MI indicates a mirror image of user P2.

本実施形態では、鏡５０に関する情報が予め与えられており、この情報に基づいて撮影画像上に鏡エリアＭＥを設定するとともに、この鏡エリアＭＥの周囲にエッジを設定する。「エッジ」とは、境界線のことである。つまり、「鏡エリアＭＥの周囲にエッジを設定する」とは、撮影画像上における鏡エリアＭＥの周囲に当該鏡エリアＭＥの境界線として検知されるエッジを描くことを言う。
ここで、利用者Ｐ２が鏡５０の前にいない場合、利用者Ｐ２の鏡像ＭＩだけが鏡エリアＭＥの中に表れるので、鏡エリアＭＥの周囲に設定されたエッジは連続性を有している（図６参照）。これに対し、利用者Ｐ２が鏡５０の前に来ると、利用者Ｐ２の実像ＲＩが鏡エリアＭＥの上に重なるため、鏡エリアＭＥの周囲に設定されたエッジが部分的に隠れる（図７参照）。したがって、鏡エリアＭＥの周囲に設定されたエッジの状態に着目すれば、撮影画像上で利用者Ｐ２が鏡エリアＭＥ内にいるか否かを判断できる。 In this embodiment, information regarding the mirror 50 is given in advance, and based on this information, a mirror area ME is set on the photographed image, and an edge is set around this mirror area ME. "Edge" is a boundary line. In other words, "setting an edge around the mirror area ME" means to draw an edge around the mirror area ME on the captured image, which is detected as a boundary line of the mirror area ME.
Here, if the user P2 is not in front of the mirror 50, only the mirror image MI of the user P2 appears in the mirror area ME, so the edges set around the mirror area ME have continuity. (See Figure 6). On the other hand, when the user P2 comes in front of the mirror 50, the real image RI of the user P2 overlaps the mirror area ME, so the edges set around the mirror area ME are partially hidden (Fig. 7 reference). Therefore, by paying attention to the state of the edges set around the mirror area ME, it can be determined whether or not the user P2 is within the mirror area ME on the captured image.

図６の例では、鏡エリアＭＥの周囲に設定されたエッジが途切れていないので、鏡エリアＭＥ内に利用者Ｐ２がいないと判断できる。図７の例では、鏡エリアＭＥの周囲に設定されたエッジが途切れているので、鏡エリアＭＥ内に利用者Ｐ２がいると判断できる。この場合、上述した鏡エリアＭＥをマスクする方法では、鏡エリアＭＥ内にいる利用者Ｐ２が検知されず、乗車人数の未カウントが発生する。これに対し、本方式（鏡エリアＭＥのエッジの途切れの有無で利用者を検知する方式）では、鏡エリアＭＥ内にいる利用者Ｐ２を検知できるので、乗車人数を正しくカウントすることができる。 In the example of FIG. 6, since the edges set around the mirror area ME are not interrupted, it can be determined that the user P2 is not inside the mirror area ME. In the example of FIG. 7, since the edge set around the mirror area ME is interrupted, it can be determined that the user P2 is inside the mirror area ME. In this case, with the method of masking the mirror area ME described above, the user P2 within the mirror area ME is not detected, and the number of passengers is not counted. On the other hand, in this method (a method for detecting a user based on the presence or absence of a break in the edge of the mirror area ME), since the user P2 within the mirror area ME can be detected, the number of passengers can be accurately counted.

次に、本実施形態におけるエレベータシステムの動作を説明する。
図８はエレベータシステムの動作を説明するためのフローチャートである。このフローチャートで示される処理は、主として画像処理装置２０によって実行される。 Next, the operation of the elevator system in this embodiment will be explained.
FIG. 8 is a flowchart for explaining the operation of the elevator system. The processing shown in this flowchart is mainly executed by the image processing device 20.

いま、乗りかご１１が任意の階で戸開している場合を想定する。乗りかご１１内に設置されたカメラ１２は、所定のフレームレートで乗りかご１１内と出入口付近の乗場１５を撮影している。カメラ１２によって撮影された画像は、画像処理装置２０の記憶部２１に時系列順に記憶される。 Now, assume that the car 11 is on an arbitrary floor with its door open. A camera 12 installed inside the car 11 photographs the inside of the car 11 and the landing area 15 near the entrance at a predetermined frame rate. Images captured by the camera 12 are stored in the storage unit 21 of the image processing device 20 in chronological order.

画像処理装置２０の検知部２２は、記憶部２１に記憶された各画像を時系列順に読み出す（ステップＳ１１）。検知部２２は、鏡情報記憶エリア２１ａに記憶された鏡に関する情報に基づいて、これらの画像上の鏡５０の位置に鏡エリアＭＥを設定するとともに、この鏡エリアＭＥの周囲にエッジを設定する（ステップＳ１２）。詳しくは、検知部２２は、画像上の鏡５０の位置に鏡エリアＭＥを設定した際に、この鏡エリアＭＥの外周の座標情報に基づいて、この鏡エリアＭＥの境界線であるエッジを描く。 The detection unit 22 of the image processing device 20 reads out each image stored in the storage unit 21 in chronological order (step S11). The detection unit 22 sets a mirror area ME at the position of the mirror 50 on these images based on the information regarding the mirror stored in the mirror information storage area 21a, and sets an edge around this mirror area ME. (Step S12). Specifically, when the mirror area ME is set at the position of the mirror 50 on the image, the detection unit 22 draws an edge that is a boundary line of the mirror area ME based on the coordinate information of the outer periphery of the mirror area ME. .

検知部２２は、各画像の輝度値をブロック単位で比較したときの輝度変化などにより、乗りかご１１内に乗車した利用者を検知する（ステップＳ１３）。なお、検知方法として、例えば乗りかご１１が無人のときに撮影した画像を基準画像として用い、この基準画像と現在撮影された画像とを比較して、利用者の有無を検知することでも良い。 The detection unit 22 detects a user who has boarded the car 11 based on changes in brightness when comparing the brightness values of each image block by block (step S13). Note that as a detection method, for example, an image taken when the car 11 is unoccupied may be used as a reference image, and the presence or absence of a user may be detected by comparing this reference image with the currently taken image.

ここで、利用者が検知された場合に（ステップＳ１４のＹｅｓ）、検知部２２は、鏡５０による誤検知を防ぐために、以下のような処理を実行する。
まず、検知部２２は、撮影画像から鏡エリアＭＥの周囲に設定されたエッジの状態（連続性）を確認する。その結果、鏡エリアＭＥの周囲に設定されたエッジが途切れていた場合には（ステップＳ１５のＹｅｓ）、検知部２２は、利用者が鏡エリアＭＥ内にいると判断する（ステップＳ１６）。この場合、検知部２２は、鏡エリアＭＥ内で検知された利用者の画像を実像として処理し、当該利用者を乗車人数に含めてカウントする（ステップＳ１８）。この状態が図７である。 Here, if the user is detected (Yes in step S14), the detection unit 22 executes the following process in order to prevent false detection by the mirror 50.
First, the detection unit 22 checks the state (continuity) of edges set around the mirror area ME from the photographed image. As a result, if the edge set around the mirror area ME is interrupted (Yes in step S15), the detection unit 22 determines that the user is within the mirror area ME (step S16). In this case, the detection unit 22 processes the image of the user detected in the mirror area ME as a real image, and counts the user by including it in the number of passengers (step S18). This state is shown in FIG.

一方、鏡エリアＭＥの周囲に設定されたエッジが途切れていなかった場合は（ステップＳ１５のＮｏ）、検知部２２は、利用者が鏡エリアＭＥ内にいないと判断する（ステップＳ１７）。この場合、検知部２２は、鏡エリアＭＥ内で検知された利用者の画像を虚像として処理し、乗車人数に含めないように対処する。この状態が図６である。 On the other hand, if the edge set around the mirror area ME is not interrupted (No in step S15), the detection unit 22 determines that the user is not within the mirror area ME (step S17). In this case, the detection unit 22 processes the image of the user detected within the mirror area ME as a virtual image, and takes measures not to include it in the number of passengers. This state is shown in FIG.

このように第１の実施形態によれば、鏡エリアＭＥの周囲に設定されたエッジの状態に着目することで、鏡エリアＭＥ内にいる利用者を正しく検知して、その利用者を乗車人数に含めてカウントすることができる。また、鏡エリアＭＥ内に利用者の虚像が表れている場合に、その虚像を利用者として誤検知することを防ぎ、利用者の実像のみを対象にして、乗車人数を正しくカウントすることができる。 As described above, according to the first embodiment, by focusing on the state of the edges set around the mirror area ME, it is possible to correctly detect a user within the mirror area ME, and add that user to the number of passengers. can be included in the count. In addition, when a virtual image of a user appears in the mirror area ME, it is possible to prevent the virtual image from being mistakenly detected as a user, and to accurately count the number of passengers by using only the real image of the user. .

なお、上記第１の実施形態では、乗りかご１１が戸開している場合を例にして説明したが、乗りかご１１が戸閉している場合でも同様である。つまり、戸閉時に得られるカメラ１２の撮影画像上に鏡エリアＭＥを設定するとともに、鏡エリアＭＥの周囲にエッジを設定することで、このエッジの状態から利用者が鏡エリアＭＥ内にいるか否かを判断すれば良い。 In addition, although the said 1st Embodiment took the case where the door of the car 11 was opened as an example and demonstrated, it is the same even when the door of the car 11 is closed. In other words, by setting a mirror area ME on the photographed image of the camera 12 obtained when the door is closed, and setting an edge around the mirror area ME, it is possible to determine whether the user is within the mirror area ME based on the state of this edge. All you have to do is decide.

また、鏡５０が側面４８ａあるいは側面４８ｂに設置されている場合でも同様であり、撮影画像上の鏡５０の位置に鏡エリアＭＥを設定するとともに、鏡エリアＭＥの周囲にエッジを設定することで、このエッジの状態から利用者が鏡エリアＭＥ内にいるか否かを判断すれば良い。 The same applies even when the mirror 50 is installed on the side surface 48a or the side surface 48b, by setting the mirror area ME at the position of the mirror 50 on the photographed image and setting an edge around the mirror area ME. , it can be determined from the state of this edge whether or not the user is within the mirror area ME.

（第２の実施形態）
次に、第２の実施形態について説明する。
上記第１の実施形態では、予め鏡５０に関する情報が与えられている場合を想定して説明したが、物件によって鏡５０の設置場所やサイズ、形状などが異なるため、物件毎に事前に鏡５０に関する情報を与えておくことは手間がかかる。そこで、第２の実施形態では、鏡５０に関する情報を必要とせずに、撮影画像上で鏡５０の位置を検出して、そこに鏡エリアＭＥを設定する場合について説明する。 (Second embodiment)
Next, a second embodiment will be described.
The above first embodiment has been described assuming that information regarding the mirror 50 is given in advance. However, since the installation location, size, shape, etc. of the mirror 50 differ depending on the property, the mirror 50 is provided in advance for each property. It takes time and effort to provide information about Therefore, in the second embodiment, a case will be described in which the position of the mirror 50 is detected on the captured image and the mirror area ME is set there, without requiring information regarding the mirror 50.

図９は第２の実施形態における鏡エリア設定部２２ａの機能構成を示すブロック図である。鏡エリア設定部２２ａは、図１に示した画像処理装置２０の検知部２２に備えられている。第２の実施形態において、この鏡エリア設定部２２ａは、鏡エリア設定部２２ａは、特徴量抽出部６１、鏡像ブロック検出部６２、鏡エリア生成部６３を有する。 FIG. 9 is a block diagram showing the functional configuration of the mirror area setting section 22a in the second embodiment. The mirror area setting section 22a is included in the detection section 22 of the image processing device 20 shown in FIG. In the second embodiment, the mirror area setting section 22a includes a feature extraction section 61, a mirror image block detection section 62, and a mirror area generation section 63.

特徴量抽出部６１は、記憶部２１に記憶された各画像を時系列順に読み出し、これらの画像からブロック単位で特徴量を抽出する。「ブロック単位」とは、画像を所定サイズのブロックにマトリクス状に区切ったときの単位である。「特徴量」とは、画像の特徴・特性を定量的に表した数値のことであり、例えば輝度勾配、輝度値、ヒストグラムなどを含む。鏡像ブロック検出部６２は、特徴量抽出部６１によって抽出された画像の特徴量の変化に基づいて、画像の中で対称的な動きを有する一対のブロックを判断する。鏡像ブロック検出部６２は、撮影画像上における乗りかご１１のかごシル４７の位置を基準にして、上記一対のブロックの一方を鏡像ブロックとして検出する。「鏡像ブロック」とは、乗りかご１１内に設置された鏡５０の中の画像として認識されたブロックのことを言う。鏡エリア生成部６３は、鏡像ブロック検出部６２によって検出された鏡像ブロックの集合体から鏡エリアを生成する。 The feature amount extraction unit 61 reads out each image stored in the storage unit 21 in chronological order, and extracts feature amounts from these images in units of blocks. A "block unit" is a unit in which an image is divided into blocks of a predetermined size in a matrix. “Feature amount” refers to a numerical value that quantitatively represents the feature/characteristic of an image, and includes, for example, a brightness gradient, brightness value, histogram, and the like. The mirror image block detection unit 62 determines a pair of blocks having symmetrical motion in the image based on the change in the feature amount of the image extracted by the feature amount extraction unit 61. The mirror image block detection unit 62 detects one of the pair of blocks as a mirror image block based on the position of the car sill 47 of the car 11 on the photographed image. The "mirror image block" refers to a block recognized as an image in the mirror 50 installed inside the car 11. The mirror area generation unit 63 generates a mirror area from a collection of mirror image blocks detected by the mirror image block detection unit 62.

以下では、鏡５０に関する情報を必要せずに、撮影画像上の鏡５０の設置場所に対応した部分に鏡エリアＭＥを正しく設定するための方法について説明する。
（ａ）対称的な動きを検出
図１０はフレームＮの画像の一例を示す図、図１１はフレームＮ＋１の画像の一例を示す図で図である（Ｎは任意の整数）。図中のＰ１，Ｐ２は利用者を示す。利用者Ｐ１は、乗りかご１１内で鏡５０に写らない位置（この例では、側面４８ａの近く）に乗車している。利用者Ｐ２は、乗りかご１１の出入口付近にいて、乗りかご１１内に乗車しようとしている状態である。乗りかご１１の背面４９の出入口と対向する位置に鏡５０が設置されており、この鏡５０に利用者Ｐ２が写り込んでいる。 Below, a method for correctly setting the mirror area ME in a portion corresponding to the installation location of the mirror 50 on the photographed image without requiring information regarding the mirror 50 will be described.
(a) Detecting symmetrical motion FIG. 10 is a diagram showing an example of an image of frame N, and FIG. 11 is a diagram showing an example of an image of frame N+1 (N is an arbitrary integer). P1 and P2 in the figure indicate users. The user P1 is riding in the car 11 at a position that is not reflected in the mirror 50 (in this example, near the side surface 48a). The user P2 is near the entrance of the car 11 and is about to get into the car 11. A mirror 50 is installed at a position facing the entrance/exit on the back side 49 of the car 11, and the user P2 is reflected in this mirror 50.

撮影画像上において、利用者Ｐ２の実像と、鏡５０に写り込んだ利用者Ｐ２の鏡像は対称的な動きをする。したがって、鏡５０の位置を検出するためには、撮影画像上で対称的な動きしている部分を検出すれば良い。具体的には、撮影画像を所定のブロック単位で分割して、そのブロック単位で特徴量（例えば輝度勾配）を抽出する。そして、フレームＮの画像とフレームＮ＋１の画像の特徴量をブロック単位で比較したときの変化量を求め、その変化量から対称的な動きを有する一対のブロックを判断する。 On the photographed image, the real image of the user P2 and the mirror image of the user P2 reflected in the mirror 50 move symmetrically. Therefore, in order to detect the position of the mirror 50, it is sufficient to detect a symmetrically moving portion on the photographed image. Specifically, a photographed image is divided into predetermined blocks, and a feature amount (for example, a brightness gradient) is extracted for each block. Then, the amount of change is obtained when the feature amounts of the image of frame N and the image of frame N+1 are compared for each block, and a pair of blocks having symmetrical motion is determined from the amount of change.

図１２は画像間の輝度勾配の変化例を示す図である。Ａ部分は画像の上側（乗場側）、Ｂ部分は画像の下側（乗りかごの背面側）である。図中の矢印は輝度の勾配方向を示している。 FIG. 12 is a diagram showing an example of a change in brightness gradient between images. Portion A is the upper side of the image (landing hall side), and portion B is the lower side of the image (back side of the car). The arrows in the figure indicate the direction of the brightness gradient.

フレームＮの画像において、Ａ部分のブロックｂ（Ｘｂ，Ｙｂ）の輝度勾配が２７０°、Ｂ部分のブロックｋ（Ｘｋ，Ｙｋ）の輝度勾配が９０°であったとする。フレームＮ＋１の画像において、Ａ部分のブロックｂ（Ｘｂ，Ｙｂ）の輝度勾配が２２５°、Ｂ部分のブロックｋ（Ｘｋ，Ｙｋ）の輝度勾配が１３５°であったとする。 Assume that in the image of frame N, the luminance gradient of block b (Xb, Yb) in portion A is 270°, and the luminance gradient of block k (Xk, Yk) in portion B is 90°. Assume that in the image of frame N+1, the luminance gradient of block b (Xb, Yb) in portion A is 225°, and the luminance gradient of block k (Xk, Yk) in portion B is 135°.

ブロックｂ（Ｘｂ，Ｙｂ）の輝度勾配の変化量は、－４５°（２２５°－２７０°）である。ブロックｋ（Ｘｋ，Ｙｋ）の輝度勾配の変化量は、＋４５°（１３５°－９０°）である。輝度勾配の変化量は動きを表している。したがって、当該画像の中でブロックｂとブロックｋで対称的な動きが生じていることがわかる。この場合、ブロックｂの輝度勾配の変化量とブロックｋの輝度勾配の変化量とを比較したときの差分はほぼゼロになる。 The amount of change in the brightness gradient of block b (Xb, Yb) is −45° (225°−270°). The amount of change in the brightness gradient of block k (Xk, Yk) is +45° (135°-90°). The amount of change in brightness gradient represents movement. Therefore, it can be seen that symmetrical movement occurs between block b and block k in the image. In this case, the difference when comparing the amount of change in the brightness gradient of block b and the amount of change in the brightness gradient of block k becomes approximately zero.

なお、図１２の例では、Ａ部分のブロックｂとＢ部分のブロックｋに着目して説明したが、実際には画像全体からブロック単位で輝度勾配を抽出し、その変化量の差分から撮影画像上で対称的な動きを有する一対のブロックを判断し、その一対のブロックの一方を鏡像ブロックとして検出する。後述するように、鏡５０は乗りかご１１の背面４９に設置されていることが多いので、シル４０の位置を基準にして撮影画像の下側に近いブロックを鏡像ブロックとして検出する。 Note that in the example of FIG. 12, the explanation focused on block b in part A and block k in part B, but in reality, the brightness gradient is extracted from the entire image in block units, and the captured image is determined from the difference in the amount of change. A pair of blocks having symmetrical motion is determined above, and one of the blocks in the pair is detected as a mirror image block. As will be described later, since the mirror 50 is often installed on the back surface 49 of the car 11, a block near the bottom of the photographed image is detected as a mirror image block with the position of the sill 40 as a reference.

図１３に示すように、特徴量として、輝度勾配の他に、輝度値やヒストグラムを抽出し、これらの変化量に基づいて鏡像ブロックを検出することでも良い。図１３の例では、特徴量１として「輝度勾配」、特徴量２として「輝度値」、特徴量３として「ヒストグラム」を抽出している。この場合、輝度勾配の変化量と、輝度値の変化量と、ヒストグラムの変化量を予め設定された重み付け値に従って加算した値が鏡像ブロックの検出に用いられる。 As shown in FIG. 13, in addition to the brightness gradient, a brightness value or a histogram may be extracted as the feature amount, and a mirror image block may be detected based on the amount of change thereof. In the example shown in FIG. 13, "luminance gradient" is extracted as feature amount 1, "luminance value" is extracted as feature amount 2, and "histogram" is extracted as feature amount 3. In this case, a value obtained by adding the amount of change in the brightness gradient, the amount of change in the brightness value, and the amount of change in the histogram according to a preset weighting value is used to detect the mirror image block.

特徴量１として抽出される輝度勾配の変化量の差分を「－θ_ｂ°－θ_ｋ°」，重み付け値を「Ｇ_θ」とすると、特徴量１のスコアＳ_θは、以下のように求められる。
Ｓ_θ＝（－θ_ｂ°－θ_ｋ°）×Ｇ_θ
特徴量２として抽出される輝度値の変化量の差分を「β_ｂ－β_ｋ」，重み付け値を「Ｇ_β」とすると、特徴量２のスコアＳ_βは、以下のように求められる。
Ｓ_β＝（β_ｂ－β_ｋ）×Ｇ_β
特徴量３として抽出されるヒストグラムの変化量の差分を「Ｈｉｓｔ_ｂ－Ｈｉｓｔ_ｋ」，重み付け値を「Ｇ_hist」とすると、特徴量３のスコアＳ_histは、以下のように求められる。
Ｓ_hist＝（Ｈｉｓｔ_ｂ－Ｈｉｓｔ_ｋ）×Ｇ_β
ここで、Ｇ_θ＞Ｇ_β＞Ｇ_histである。輝度勾配の重み付け値Ｇ_θを輝度値とヒストグラムよりも高くしておくのは、輝度勾配は方向に関する特性を持っているため、対称的な動きを判断する場合に最も信頼性が高いからである。 Assuming that the difference in the amount of change in the brightness gradient extracted as feature 1 is "-θ _b ° - θ _k °" and the weighting value is "G _θ ", the score S _θ of feature 1 is calculated as follows. It will be done.
S _θ = (-θ _b ° - θ _k °) × G _θ
Assuming that the difference in the amount of change in the brightness value extracted as the feature amount 2 is "β _b - β _k " and the weighting value is "G _β ", the score S _β of the feature amount 2 is obtained as follows.
S _β = (β _b − β _k )×G _β
Assuming that the difference in the amount of change in the histogram extracted as the feature quantity 3 is "Hist _b -Hist _k " and the weighting value is "G _hist ", the score S _hist of the feature quantity 3 is obtained as follows.
S _hist = (Hist _b −Hist _k )×G _β
Here, G _θ >G _β >G _hist . The reason why the weighting value G _θ of the luminance gradient is set higher than the luminance value and the histogram is that the luminance gradient has directional properties and is most reliable when determining symmetrical movement. .

特徴量１のスコアＳ_θ、特徴量２のスコアＳ_β、特徴量２のスコアＳ_histを加算した値が予め設定された閾値ＴＨ１以内であれば、ブロックｂとブロックｋは、対称的な動きを有する一対のブロックとして判断される。上記閾値ＴＨ１は、乗りかご１１の照明環境などを考慮して設定され、理想値０±誤差である。つまり、ブロックｂの特徴量変化とブロックｋの特徴量変化が対称的であり、両者の特徴量変化を比較したときの差分がゼロに近いほど、対称的な動きを有していると判断される。 If the sum of the score S _θ of feature amount 1, the score S _β of feature amount 2, and the score S _hist of feature amount 2 is within a preset threshold TH1, block b and block k move symmetrically. It is judged as a pair of blocks with . The threshold value TH1 is set in consideration of the lighting environment of the car 11, and has an ideal value of 0±error. In other words, the change in the feature amount of block b and the change in the feature amount of block k are symmetrical, and the closer to zero the difference is when comparing the changes in the feature amount between the two, the more symmetrical the movement is judged to be. Ru.

このように、輝度勾配の他に、輝度値やヒストグラムを用いれば、撮影画像の中で対称的な動きを有する一対のブロックをより正確に判断できる。また、輝度値やヒストグラム以外の特徴量を加えて判断することでも良い。 In this way, by using the brightness value or histogram in addition to the brightness gradient, it is possible to more accurately determine a pair of blocks that have symmetrical movement in the photographed image. Alternatively, the determination may be made by adding feature amounts other than the brightness value and histogram.

（ｂ）鏡エリアの生成
図１４は鏡像ブロックのマーキング例を示す図である。図１５は鏡エリアの生成例を示す図である。「Ｍ」は鏡像ブロックとして検出されたことを示すマークである。「Ｍｂ」は鏡像ブロックが鏡の一部として確定されたことを示すマークである。 (b) Generation of mirror area FIG. 14 is a diagram showing an example of marking of a mirror image block. FIG. 15 is a diagram showing an example of generation of a mirror area. "M" is a mark indicating that the block has been detected as a mirror image block. "Mb" is a mark indicating that the mirror image block has been determined as a part of the mirror.

撮影画像上で乗場１５を上側としたとき、上記（ａ）で検出された対称的な動きを有する一対のブロックのうち、かごシル４７よりも下側に存在するブロックを鏡像ブロックとして検出する。これは、一般的に乗りかご１１の背面４９に鏡５０が設置されていることが多いためである。上記一対のブロックの両方がかごシル４７よりも下側にある場合には、撮影画像の下側に近い方を鏡像ブロックとして検出する。 When the landing 15 is placed on the upper side of the photographed image, the block existing below the car sill 47 among the pair of blocks having symmetrical movements detected in (a) above is detected as a mirror image block. This is because the mirror 50 is generally installed on the back surface 49 of the car 11 in many cases. If both of the pair of blocks are located below the car sill 47, the one closer to the bottom of the photographed image is detected as the mirror image block.

図１４に示すように、鏡像ブロックとして検出されたブロックにマークＭを付していく。撮影画像として時系列順に得られる画像毎に鏡像ブロックを検出し、同じブロックが一定回数Ｃ１以上（少なくとも２回以上）、鏡像ブロックとして検出された場合に、当該鏡像ブロックを鏡５０の一部として確定し、鏡エリアＭＥの生成に用いる。このとき、マークＭからマークＭｂに置き換えておく。上記一定回数Ｃ１以上とするのは、ノイズ等の影響でイレギュラー的に鏡像ブロックとして誤検出されたブロックを除外するためである。 As shown in FIG. 14, marks M are attached to blocks detected as mirror image blocks. A mirror image block is detected for each image obtained in chronological order as a photographed image, and when the same block is detected as a mirror image block a certain number of times C1 or more (at least 2 times or more), the mirror image block is treated as a part of the mirror 50. It is confirmed and used to generate the mirror area ME. At this time, mark M is replaced with mark Mb. The reason for setting the number of times C1 or more is to exclude blocks that are irregularly erroneously detected as mirror image blocks due to the influence of noise or the like.

ここで、図１５に示すように、マークＭｂの鏡像ブロックの集合体が例えば７５％以上の割合を占めて矩形エリアを形成した場合に、この矩形エリアを鏡エリアＭＥとして生成する。矩形エリアとしているのは、一般的に鏡の形状は矩形だからである。 Here, as shown in FIG. 15, when the collection of mirror image blocks of the mark Mb occupies 75% or more and forms a rectangular area, this rectangular area is generated as the mirror area ME. The reason why the area is rectangular is that mirrors are generally rectangular in shape.

また、別の方法として、例えば７５％以上の割合でマークＭｂの鏡像ブロックを含むことを条件にして検索対象とする矩形エリアを広げていき、最終的に得られた矩形エリアを鏡エリアＭＥとして生成することでも良い。 Another method is to expand the rectangular area to be searched on the condition that it includes mirror image blocks of mark Mb at a rate of 75% or more, and use the finally obtained rectangular area as the mirror area ME. You can also generate it.

図１６に具体例を示す。いま、「Ｍｂ１」～「Ｍｂ１０」で示される鏡像ブロックが鏡５０の一部として確定されているとする。
まず、「Ｍｂ１」の鏡像ブロックを含む第１の矩形エリアを検索対象とする。続いて、第１の矩形エリアと隣接する「Ｍｂ２」「Ｍｂ３」の鏡像ブロックを含む第２の矩形エリアを検索対象とする。以下同様に、第２の矩形エリアと隣接する「Ｍｂ４」「Ｍｂ５」「Ｍｂ６」の鏡像ブロックを含む第３の矩形エリア→第３の矩形エリアと隣接する「Ｍｂ７」「Ｍｂ８」の鏡像ブロックを含む第４の矩形エリア→第４の矩形エリアと隣接する「Ｍｂ９」「Ｍｂ１０」の鏡像ブロックを含む第５の矩形エリア…といったように、上記条件の下で検索対象とする矩形エリアを広げていき、最終的に得られた第５の矩形エリアを鏡エリアＭＥとする。 A specific example is shown in FIG. Assume now that mirror image blocks indicated by “Mb1” to “Mb10” have been determined as part of the mirror 50.
First, a first rectangular area including a mirror image block of "Mb1" is searched. Next, a second rectangular area including mirror image blocks of "Mb2" and "Mb3" adjacent to the first rectangular area is searched. Similarly, a third rectangular area containing mirror image blocks of "Mb4", "Mb5" and "Mb6" adjacent to the second rectangular area → mirror image blocks of "Mb7" and "Mb8" adjacent to the third rectangular area. Expand the rectangular area to be searched under the above conditions, such as the fourth rectangular area containing → the fifth rectangular area containing the mirror image blocks of "Mb9" and "Mb10" adjacent to the fourth rectangular area... The fifth rectangular area finally obtained is defined as the mirror area ME.

このような方法を用いれば、例えば画像にノイズが含まれている場合や、鏡５０の一部が汚れている場合などにより、鏡像ブロックとして認識されなかったブロックが部分的に含まれていたとしても、鏡エリアＭＥを正しく生成することができる。 If such a method is used, it is possible to detect if a block that is not recognized as a mirror image block is partially included, for example, if the image contains noise or if a part of the mirror 50 is dirty. It is also possible to correctly generate the mirror area ME.

次に、第２の実施形態におけるエレベータシステムの動作を説明する。
図１７はエレベータシステムの動作を説明するためのフローチャートである。このフローチャートで示される処理は、主として画像処理装置２０によって実行される。 Next, the operation of the elevator system in the second embodiment will be explained.
FIG. 17 is a flowchart for explaining the operation of the elevator system. The processing shown in this flowchart is mainly executed by the image processing device 20.

画像処理装置２０の検知部２２は、記憶部２１に記憶された各画像を時系列順に読み出す（ステップＳ２１）。検知部２２は、これらの画像を所定のブロック単位に区切り、そのブロック単位で例えば輝度勾配を特徴量として抽出する（ステップＳ２２）。検知部２２は、各画像のそれぞれについて、撮影画像内の特徴量の変化量をブロック単位で比較し、特徴量変化の差分を演算する（ステップＳ２３）。 The detection unit 22 of the image processing device 20 reads out each image stored in the storage unit 21 in chronological order (step S21). The detection unit 22 divides these images into predetermined block units, and extracts, for example, a brightness gradient as a feature quantity in each block unit (step S22). For each image, the detection unit 22 compares the amount of change in the feature amount in the photographed image on a block-by-block basis, and calculates the difference in the change in the feature amount (step S23).

ここで、特徴量変化の差分が予め設定された閾値ＴＨ１以内にある一対のブロックが検出された場合、検知部２２は、当該ブロックを対称的な動きを有するブロックとして判断する（ステップＳ２４）。検知部２２は、かごシル４７の位置を基準にして、上記一対のブロックの中で撮影画像の下側に存在するブロックを鏡像ブロックとして検出する（ステップＳ２５）。 Here, if a pair of blocks in which the difference in feature amount change is within the preset threshold TH1 is detected, the detection unit 22 determines the blocks as having symmetrical motion (step S24). The detection unit 22 detects, as a mirror image block, the block located at the lower side of the photographed image among the pair of blocks with reference to the position of the car sill 47 (step S25).

詳しくは、図１２で説明したように、フレームＮの画像とフレームＮ＋１の画像との間で、ブロックｂの輝度勾配の変化量とブロックｋの輝度勾配の変化量を比較した場合に、両者の変化量の差分が閾値ＴＨ１以内であれば、ブロックｂとブロックｋが対称的な動きを有する一対のブロックとして判断される。この場合、ブロックｋが撮影画像の下側に存在するので、鏡像ブロックとして検出されることになる。 Specifically, as explained in FIG. 12, when comparing the amount of change in the brightness gradient of block b and the amount of change in the brightness gradient of block k between the image of frame N and the image of frame N+1, If the difference in the amount of change is within the threshold TH1, block b and block k are determined to be a pair of blocks having symmetrical movements. In this case, since block k exists below the photographed image, it will be detected as a mirror image block.

このようにして、撮影画像から鏡５０の一部として認識される鏡像ブロックがいくつか検出されると、検知部２２は、上記鏡像ブロックの集合体から撮影画像上に鏡エリアＭＥを生成する（ステップＳ２６）。図１２に上記ステップＳ２６で実行される鏡エリア生成処理の詳細を示す。 In this way, when some mirror image blocks recognized as part of the mirror 50 are detected from the photographed image, the detection unit 22 generates a mirror area ME on the photographed image from the aggregation of the mirror image blocks ( Step S26). FIG. 12 shows details of the mirror area generation process executed in step S26.

検知部２２は、撮影画像上で鏡像ブロックとして検出されたブロックをマーキングする（ステップＳ３１）。その際、検知部２２は、各ブロック毎に鏡像ブロックとして検出された回数をカウントする（ステップＳ３２）。一定回数Ｃ１以上、同じブロックが鏡像ブロックとして検出された場合に（ステップＳ３３のＹｅｓ）、検知部２２は、当該鏡像ブロックを鏡５０の一部として確定し（ステップＳ３４）、その確定された鏡像ブロックの集合体から撮影画像上に鏡エリアＭＥを生成する（ステップＳ３５）。 The detection unit 22 marks a block detected as a mirror image block on the captured image (step S31). At this time, the detection unit 22 counts the number of times each block is detected as a mirror image block (step S32). When the same block is detected as a mirror image block a certain number of times C1 or more (Yes in step S33), the detection unit 22 determines the mirror image block as a part of the mirror 50 (step S34), and detects the determined mirror image. A mirror area ME is generated on the photographed image from the collection of blocks (step S35).

詳しくは、図１５で説明したように、鏡５０の一部として確定された鏡像ブロック（Ｍｂ）の集合体が一定以上の割合を占めて矩形エリアを形成した場合に、その矩形エリアのエッジに基づいて鏡エリアＭＥを生成する。あるいは、図１６で説明したように、一定以上の割合で鏡像ブロック（Ｍｂ）を含むことを条件にして、検索対象とする矩形エリアを広げ、最終的に得られた矩形エリアのエッジに基づいて鏡エリアＭＥとして生成する。 Specifically, as explained in FIG. 15, when a rectangular area is formed by a collection of mirror image blocks (Mb) determined as a part of the mirror 50 occupying a certain proportion or more, the edge of the rectangular area is A mirror area ME is generated based on this. Alternatively, as explained in FIG. 16, the rectangular area to be searched is expanded on the condition that mirror image blocks (Mb) are included in a certain proportion or more, and the search is performed based on the edges of the finally obtained rectangular area. Generate it as a mirror area ME.

このようにして、撮影画像上に鏡エリアＭＥが生成されると、以後、上記第１の実施形態と同様に、鏡エリアＭＥのエッジに着目した利用者の検知処理が実行される（図８のステップＳ１３～Ｓ１９参照）。 When the mirror area ME is generated on the photographed image in this way, the user detection process focusing on the edges of the mirror area ME is thereafter executed, similarly to the first embodiment (FIG. 8). (see steps S13 to S19).

このように第２の実施形態によれば、撮影画像上で対称的な動きを有する部分に着目して、鏡５０の位置に鏡エリアＭＥを設定する構成とした場合でも、上記第１の実施形態と同様に、鏡エリアＭＥ内にいる利用者を正しく検知することができる。特に、第２の実施形態では、鏡５０に関する情報を必要としないので、乗りかご１１の仕様に関係なく、本発明の方式を適用できるといったメリットがある。 As described above, according to the second embodiment, even if the configuration is such that the mirror area ME is set at the position of the mirror 50 by focusing on a portion having symmetrical movement on the photographed image, the above-described first embodiment Similarly to the configuration, a user within the mirror area ME can be correctly detected. In particular, the second embodiment does not require information regarding the mirror 50, so there is an advantage that the method of the present invention can be applied regardless of the specifications of the car 11.

なお、上記第２の実施形態では、乗りかご１１が戸開している場合を例にして説明したが、乗りかご１１が戸閉している場合でも同様である。つまり、戸閉中にカメラ１２によって撮影された画像から対称的な動きを有する一対のブロックの一方を鏡像ブロックとして検出することにより、その鏡像ブロックの集合体から鏡エリアＭＥを生成することができる。 In addition, in the said 2nd Embodiment, the case where the door of the car 11 was opened was made into an example, and it demonstrated, but it is the same even when the door of the car 11 is closed. That is, by detecting one of a pair of blocks having symmetrical movement as a mirror image block from an image taken by the camera 12 while the door is closed, it is possible to generate a mirror area ME from a collection of the mirror image blocks. .

また、鏡５０が側面４８ａあるいは側面４８ｂに設置されている場合でも、上記同様の手法にて鏡エリアＭＥを生成することができる。この場合、撮影画像の中から対称的な動きを有する一対のブロックを判断したときに、かごシル４７よりも下側にあって、撮影画像の左端あるいは右端に近いブロックを鏡像ブロックとして検出し、その鏡像ブロックの集合体から鏡エリアＭＥを生成すれば良い。 Further, even when the mirror 50 is installed on the side surface 48a or the side surface 48b, the mirror area ME can be generated using the same method as described above. In this case, when a pair of blocks having symmetrical movement is determined from the photographed image, a block located below the car sill 47 and close to the left or right end of the photographed image is detected as a mirror image block, The mirror area ME may be generated from the collection of mirror image blocks.

また、検出対象の尤度を高めるために、特徴量の速度変化量（強さ）を加えることでも良い。「特徴量の速度変化量」とは、フレーム画像間で特徴量が変化する速度のことである。つまり、同じ速さで特徴量が変化している一対のブロックがあれば、その一対のブロックの一方を鏡像ブロックとして検出する。 Furthermore, in order to increase the likelihood of the detection target, the amount of speed change (strength) of the feature amount may be added. The “amount of speed change in feature amount” refers to the speed at which the feature amount changes between frame images. In other words, if there is a pair of blocks whose feature values change at the same speed, one of the blocks is detected as a mirror image block.

以上述べた少なくとも１つの実施形態によれば、鏡による誤検知を防いで、乗りかご内に乗車した利用者を正しく検知することのできるエレベータシステムを提供することができる。 According to at least one embodiment described above, it is possible to provide an elevator system that can prevent false detection caused by mirrors and correctly detect a user who has boarded a car.

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These embodiments and their modifications are included within the scope and gist of the invention, as well as within the scope of the invention described in the claims and its equivalents.

１１…乗りかご、１１ａ…幕板、１２…カメラ、１３…かごドア、１４…乗場ドア、１５…乗場、１６…乗場の床面、１７ａ，１７ｂ…三方枠、１８…乗場シル、１９…乗りかごの床面、２０…画像処理装置、２１…記憶部、２２…検知部、２２ａ…鏡エリア設定部、２２ｂ…検知処理部、３０…エレベータ制御装置、３１…運転制御部、３２…戸開閉制御部、３３…通知部、４１ａ，４１ｂ…正面柱、４１ａ－１，４１ｂ－１…正面柱の内側側面、４２ａ，４２ｂ…戸袋、４３…表示器、４４…行先階ボタン、４５…操作盤、４６…スピーカ、４７…かごシル、４８ａ，４８ｂ…側面、４９…背面、５０…鏡、６１…特徴量抽出部、６２…鏡像ブロック検出部、６３…鏡エリア生成部、ＭＥ…鏡エリア、ＲＩ…実像、ＭＩ…鏡像。 11... Car, 11a... Curtain board, 12... Camera, 13... Car door, 14... Landing door, 15... Landing area, 16... Landing floor, 17a, 17b... Three side frame, 18... Landing sill, 19... Riding area Car floor surface, 20... Image processing device, 21... Storage section, 22... Detection section, 22a... Mirror area setting section, 22b... Detection processing section, 30... Elevator control device, 31... Operation control section, 32... Door opening/closing Control unit, 33... Notification unit, 41a, 41b... Front pillar, 41a-1, 41b-1... Inner side of front pillar, 42a, 42b... Door pocket, 43... Display, 44... Destination floor button, 45... Operation panel , 46... Speaker, 47... Car sill, 48a, 48b... Side, 49... Back, 50... Mirror, 61... Feature quantity extraction section, 62... Mirror image block detection section, 63... Mirror area generation section, ME... Mirror area, RI...Real image, MI...Mirror image.

Claims

In an elevator system where a mirror is installed inside the car,
an imaging means for photographing a range from inside the car to a landing area near the entrance;
Mirror area setting means for setting a mirror area at the position of the mirror on the photographed image obtained by the imaging means, and setting an edge around the mirror area;
When a user who has boarded the car is detected from the captured image, it is determined whether or not the user is within the mirror area based on the state of the edge set around the mirror area by the mirror area setting means. An elevator system characterized by comprising: a detection processing means for determining whether the

The above detection processing means is
If the edge set around the mirror area is interrupted, it is determined that the user is within the mirror area, and the image of the user detected within the mirror area is processed as a real image. The elevator system according to claim 1, characterized in that:

The above detection processing means is
If the edge set around the mirror area is not interrupted, it is determined that the user is not within the mirror area, and the image of the user detected within the mirror area is processed as a mirror image. The elevator system according to claim 1, characterized in that:

The above detection processing means is
2. The elevator system according to claim 1, wherein when it is determined that the user is within the mirror area, the user is included in the number of passengers on board.

The above mirror area setting means is
2. The elevator system according to claim 1, wherein information regarding the mirror in the car is acquired, and the mirror area is set at the position of the mirror on the photographed image based on the information.

The above mirror area setting means is
2. The mirror area is set at the position of the mirror by detecting the position of the mirror based on change information of the feature amount of a portion having symmetrical movement on the photographed image. elevator system.