EP1275609A1 - Secured video detection system and process for automatic controlling of a mechanical system like a moving walkway or an escalator - Google Patents

Secured video detection system and process for automatic controlling of a mechanical system like a moving walkway or an escalator Download PDF

Info

Publication number
EP1275609A1
EP1275609A1 EP02291653A EP02291653A EP1275609A1 EP 1275609 A1 EP1275609 A1 EP 1275609A1 EP 02291653 A EP02291653 A EP 02291653A EP 02291653 A EP02291653 A EP 02291653A EP 1275609 A1 EP1275609 A1 EP 1275609A1
Authority
EP
European Patent Office
Prior art keywords
image
camera
computer
processing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP02291653A
Other languages
German (de)
French (fr)
Inventor
Bernard Ponsot
Gérard Ghibaudo
Jean Duterrage
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CNIM Groupe SA
Original Assignee
Constructions Industrielles de la Mediterrane CNIM SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Constructions Industrielles de la Mediterrane CNIM SA filed Critical Constructions Industrielles de la Mediterrane CNIM SA
Publication of EP1275609A1 publication Critical patent/EP1275609A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B25/00—Control of escalators or moving walkways

Definitions

  • the present invention relates to a method for secure video detection of people or objects, as well as a system allowing the implementation of the process.
  • control comprising video cameras providing images of games fixed and / or mobile mechanical device to be controlled.
  • This system compares permanently images received from cameras with reference images taken in the absence of people on the mechanical device to be controlled, to determine if people are on the mechanical device or in a approach zone thereof, and control the stopping or starting thereof depending on the presence or absence of people on the images received.
  • this system does not offer sufficient operating security, so that it cannot be approved by the approval bodies notified officials.
  • such a system is not designed to signal a malfunction and does not guarantee the relevance of a presence or absence information of a person or object on the mechanical system.
  • the object of the present invention is to eliminate this drawback. This objective is achieved by predicting a process for detecting people or objects in a detection zone, for controlling a mechanical system such as a transport device, depending on the presence of objects or people detected in the detection area, using cameras arranged so that cover the detection area and connected to a monitoring computer coupled to a mechanical system control device.
  • the monitoring provides the system control device to order information for detecting the presence of a person or an object, having a high level of reliability. This ensures that the order that we applies to the system control device to be controlled is consistent and appropriate.
  • the checks carried out during the processing loop are periodic, each control having an execution period adapted according to criticality and probability of failure of the item or data controlled.
  • the step of controlling the quality of the image consists in determining the average luminance of analyzed areas of the image and in compare the average luminance to high and low thresholds, the image being considered of sufficient quality if the average luminance is between the thresholds up and down.
  • the step of controlling the position of each camera consists in analyzing specific predefined zones in the images provided by the camera to determine if these areas are predetermined characteristics, and if these zones do not have said predetermined characteristics, the camera is considered to be faulty because that she was moved.
  • this method further comprises a step of updating the reference images to adapt to changes in ambient light in the detection area.
  • this method further comprises a step of checking of the image processing algorithm, consisting of unwinding the algorithms of image processing on a video test pattern, and to compare the results obtained with reference values.
  • control of the data relates to data of parameterization, reference image data and executed programs by the monitoring computer.
  • the invention also relates to a system for the secure detection of persons. or objects in a detection zone, for controlling a system mechanical such as a transport device, the detection system comprising a set of cameras covering the detection area, and a computer surveillance coupled to cameras and a system controller mechanical.
  • a system mechanical such as a transport device
  • the detection system comprising a set of cameras covering the detection area, and a computer surveillance coupled to cameras and a system controller mechanical.
  • this system further comprises means for determining the ambient brightness of the detection area, and for update reference image data according to the evolution of the ambient light.
  • this system further comprises means for determining the average luminance of analyzed areas of the image and compare the average luminance to high and low thresholds, the image being considered of sufficient quality if the average luminance is between the thresholds up and down.
  • this system comprises means for cyclically checking the correct functioning of the memories of the monitoring calculator.
  • FIG. 1 represents an escalator 1 equipped with a detection system video according to the invention.
  • This system includes a set of cameras 5 to 9 the number and arrangement of which are determined in such a way that their respective fields cover the entire detection area 2 including the entire escalator and the upper and lower approach areas of staircase 1 of a predetermined length.
  • the cameras 5 to 9 are connected to a surveillance device 10 to which they transmit video images of the respective areas they cover.
  • the monitoring device is designed to determine from images transmitted by cameras 5 to 9 if an object or a person is in the detection zone 2
  • the monitoring device is connected to a control device 13 for the staircase 1 by means of two switching devices 11, 12, to know a first switching device 11 for detection signal presence of the monitoring device 10, and a second monitoring device switching 12 of signal of unavailability or failure of the monitoring.
  • video cameras 5 to 9 are possibly connected to the surveillance device 10 via respective amplifiers 5 'to 9', the latter presenting each an additional video output to connect to one or more remote monitoring monitors 18.
  • the monitoring device 10 comprises a computer 20 connected on one side to the cameras 5 to 9 (possibly via video amplifiers 5 'to 9') and on the other to an input / output circuit 16 which is connected to the control device 13 of the staircase 1, the computer 20 and the circuit 16 being supplied by a supply circuit 17.
  • the input / output circuit 16 ensures the shaping and the transmission of the signals between the computer and the control device 13.
  • the main function of the computer 20 is to receive the images from the cameras, to process these images to determine the presence or not of people or objects in detection zone 2, and to develop in depending on the presence or not of people or objects in the area of detection, of the staircase 1 control signals to be applied to the command 13.
  • the computer 20 has a serial connection 14 and a parallel video connection 15 to connect to a microcomputer 19 allowing configuration and maintenance of the system.
  • the computer includes a microprocessor 21 for example of DSP (Digital Signal) type Processor) connected via an address bus 30 and a data bus 31 to memories 22, 23, namely to a non-volatile program memory 22, for example of the EPROM type, one or more data memories 23 which may or may not be volatile.
  • the data memories include at least one non-volatile memory, for example of the Flash type to permanently store the configuration parameters of the system.
  • the input / output port interface circuit 29 comprises a control port and a port for reading the position of the devices switching 11 and 12. It also performs the voucher control function progress of the program executed by the processor 21.
  • the number of inputs of the multiplexer circuit 26 is determined as a function of the maximum number of cameras necessary to cover a detection area.
  • the input video signal to be processed by the computer 20 at a given time is selected by the controller 27 which sends an appropriate control signal to the multiplexer circuit 26.
  • the controller 27 also performs a synchronization function by sending a synchronization signal to the processor 21, each time a new complete image is introduced into the frame memory 24. It also performs a function of multiplexing the address port of the frame memory 24, between the video decoder and the address bus 30.
  • the video decoder 25 performs functions in a known manner amplification with automatic gain control, filtering, extraction synchronization and sampling signals to obtain values of pixels consisting of luminance information and information of chrominance, which are applied at the input of multiplexer 28, to be stored in frame memory 24.
  • Multiplexer 28 provides multiplexing of the data port of the memory of frame between the pixel data of the images supplied by the video decoder 25 and the data bus 31.
  • the computer 20 further comprises an additional bus 40, for example of the I 2 C type connected to the address 30 and data buses 31 via a bus controller 34, the bus 40 allowing the processor 21 to control the video decoder 25, in particular at the start of the computer, for specifying in particular a type of video coding to be used and the horizontal and vertical sampling frequencies of the video images.
  • an additional bus 40 for example of the I 2 C type connected to the address 30 and data buses 31 via a bus controller 34, the bus 40 allowing the processor 21 to control the video decoder 25, in particular at the start of the computer, for specifying in particular a type of video coding to be used and the horizontal and vertical sampling frequencies of the video images.
  • These tests consist in calculating a signature relating to the content of the memory to check and compare the calculated signature with a signature of reference stored in a predefined memory.
  • step 42 the processor reads the number of cameras 5 to 9 active in the memory 23 of the configuration data, to load a loop index n, then controls the multiplexer 26 to select the video channel corresponding to camera n.
  • step 43 it waits for the controller 27 sends it a signal of arrival of an image in the frame memory 24. The arrival of such a signal triggers the processing 44 of the new image and acquisition in frame memory of the image transmitted by camera n-1 next.
  • Image processing is based on an analysis of histograms determined on predefined analysis windows. Detecting people or of objects is made from a comparison between the histograms obtained on the image received and reference histograms obtained on the same analysis windows applied to a reference image taken in the absence of people or objects. This processing also determines whether the image presents sufficient quality to provide a reliable detection result.
  • the processor 21 reads the state of the switching devices 11, 12, for example constituted by relays, and develops a command to apply to these relays according to their state, the result of the treatment image, and previous test results.
  • the processor 21 runs a test sequence 46 including the 411 control tests of loading the program, checking 412 the configuration data, and control 413 of the reference data, as well as control tests 464 of the memories 23, 24 and the internal memory of processor 21, and tests of control 465 of camera positions 5 to 9.
  • the internal memory control test of the processor consists in selecting a first cell from a range of memory to be tested and calculating a signature on all the other cells of the range considered. The value of the selected cell is then inverted and the signature of all the other cells in the range considered is calculated again. Then the value of the selected cell is restored to its initial value and a third signature is calculated on the remaining cells of the range. This is done for all cells in the range considered. If a difference is found in the signatures calculated on the same memory ranges, a failure message is produced. A similar test is applied to the data memory 23.
  • the frame memory 24 test consists first of all in initializing a memory range of memory 24 by a uniform bit stream, for example with value 0x5555 (in hexadecimal).
  • the value of the first cell is inverted (to take the value 0xAAAA in this example) and the others memory area range cells are checked to make sure their contents has not been modified following the modification of the first track.
  • the value of the first cell is again inverted to find its value initial and then this procedure is repeated for each of the cells in the range considered. If a difference is found, a failure message is product.
  • the test of the position of each camera consists in analyzing specific predefined areas in the images supplied by the camera to determine if these areas have predetermined characteristics, and if these areas do not have said predetermined characteristics, the camera is considered to be in default of the fact that it was moved.
  • This test is based on the definition of several control windows in the images provided by the camera. These control windows make it possible to define the position of the camera with respect to escalator 1. They contain fixed images of specific objects taken as a reference, of the staircase or its environment. If this analysis reveals the significant presence of reference objects, for example in at least two windows, the position of the camera is considered correct. On the other hand, if the camera has been moved or its orientation changed, the control windows are no longer centered on the reference objects. Consequently, the test will be negative and the camera will be considered to be faulty.
  • a defect is found, it is stored in a fault log and the command to be applied to fault relay 12 is update to report a failure of the monitoring device 10.
  • the fault log can then be viewed using the microcomputer 19 for configuration and maintenance.
  • step 47 If the number n of the current camera (step 47) corresponds to that of the last camera, then the relay 11, 12 commands determined in step 45 during the processing of the image of each camera and following previous tests, are applied (step 48) to relays through the port circuit of inputs / outputs 29. Then we check by reading the state of the relays that the command relays was executed.
  • the processor 21 performs a registration processing (step 49) consisting in updating the reference data (histograms) obtained from new reference images, to take into account including an evolution of the ambient light.
  • step 50 the processor reads from the input / output port 29 if a command manual registration was applied, and if so, it remembers this request to process it during the registration step 49 executed later.
  • step 51 the processor performs a control of the processing algorithm image. This operation is performed on a virtual configuration of a camera number 0. It consists of rolling out the processing algorithms image on a video test pattern stored in the memory 22, and to compare the results obtained at reference values.
  • the camera number n is decremented in step 52 and if this number is different from 0 (step 53), we return to step 43 of processing the image coming from the camera number n. Otherwise, we return to step 42 where n is reset to the total number of cameras 5 to 9.
  • monitoring time and logic of the program is carried out using a instruction to write a sequential code in a register provided in the circuit 29, inserted in each of the main processing executed by the processor 21.
  • the circuit 29 deactivates the availability relay 12.
  • the image processing 44 which is detailed in FIG. 5 consists in extracting 61 from the image stored in frame memory 24 of the predefined areas (windows) of the image, to develop histograms from the pixels of these areas, to check 63 the quality of the image, and if this quality is sufficient (step 64), to assess 65 from the histograms of the detection data, to compare this data from detection with values obtained from reference images taken the absence of people or object, and to develop 67 an order decision depending on the result of the comparison, indicating the presence or absence of a person or object on the image. In case the image quality is insufficient, this fault is stored 68 in the fault log and the command to apply to fault relay 12 is updated 69 to signal this fault to the control device 13 of the staircase 1.
  • Checking the image quality consists of checking whether the image is not too black or too white when determining the average luminance of the zones analyzed from the image and compare this average luminance to high thresholds and low, the image being considered of sufficient quality if the average luminance is located between the high and low thresholds. We also check the spread of histograms.
  • All the controls described above are carried out at each processing loop or with a predetermined periodicity which may be different from the processing time of the loop.
  • the monitoring device 10 performs periodic control functions so as to verify that all of the elements that compose it are not faulty.
  • the execution of these functions is distributed over time so as not to affect the response time of the system for controlling the staircase 1.
  • the period of execution of each control is adapted according to the criticality of the element controlled and the probability of element failure.
  • the presence detection relays 11 and the relay 12 signal of unavailability of the monitoring device 10 are set to the state inactive.

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Alarm Systems (AREA)

Abstract

The images from cameras are processed to generate detection data when a person or an object is detected in the detection zone. The commands for controller of mechanical system are determined. The quality of image, and the angular position of camera relative to the detection zone are checked. The controller is checked and controlled using the determined commands and the defects detected during the checking. <??>An Independent claim is also included for secure system for detection of persons or objects in detection zone.

Description

La présente invention concerne un procédé de détection sécurisée par vidéo de personnes ou d'objets, ainsi qu'un système permettant la mise en oeuvre du procédé.The present invention relates to a method for secure video detection of people or objects, as well as a system allowing the implementation of the process.

Elle s'applique notamment, mais non exclusivement, à la commande automatique ou semi automatique de systèmes de transport de personnes, tel que les escaliers mécaniques ou les trottoirs roulants.
Bien entendu, elle peut s'appliquer également au convoyage de marchandises, à la détection d'objets ou de personnes dans des zones d'approche ou à proximité de systèmes de transport, ou encore au voisinage de portes d'accès à des zones à sécuriser.It applies in particular, but not exclusively, to the automatic or semi-automatic control of passenger transport systems, such as escalators or moving walks.
Of course, it can also apply to the conveyance of goods, the detection of objects or people in approach areas or near transport systems, or in the vicinity of access doors to areas with to secure.

Actuellement, lorsque l'on souhaite démarrer ou redémarrer un escalier mécanique ou un trottoir roulant à la suite d'un arrêt normal ou de sécurité, il est nécessaire pour des raisons de sécurité des personnes de vérifier qu'aucune personne ni objet ne se trouve sur celui-ci.
Par ailleurs, les mises en marche automatiques à la suite de la détection d'une personne s'approchant du système de transport ne doivent être effectuées qu'après s'être assuré de l'absence de passager ou d'objet dans une zone de sécurité prédéfinie.
Enfin, lors des arrêts normaux du système de transport, il est nécessaire de vérifier que personne ne se trouve sur le système avant de procéder à l'arrêt de celui-ci.Currently, when you want to start or restart an escalator or moving walk following a normal or safety stop, it is necessary for reasons of personal safety to check that no person or object is present on this one.
Furthermore, automatic start-ups following the detection of a person approaching the transport system should only be carried out after ensuring that there are no passengers or objects in an area of preset security.
Finally, during normal shutdowns of the transport system, it is necessary to check that no one is on the system before proceeding to shutdown it.

Dans la demande de brevet n° FR 2 773 791, on a déjà proposé un système de commande comprenant des caméras vidéo fournissant des images de parties fixes et/ou mobiles du dispositif mécanique à commander. Ce système compare en permanence les images reçues des caméras avec des images de référence prises en l'absence de personnes sur le dispositif mécanique à commander, pour déterminer si des personnes se trouvent sur le dispositif mécanique ou dans une zone d'approche de celui-ci, et commander l'arrêt ou le démarrage de celui-ci en fonction de la présence ou l'absence de personnes sur les images reçues. In patent application No. FR 2 773 791, a system has already been proposed. control comprising video cameras providing images of games fixed and / or mobile mechanical device to be controlled. This system compares permanently images received from cameras with reference images taken in the absence of people on the mechanical device to be controlled, to determine if people are on the mechanical device or in a approach zone thereof, and control the stopping or starting thereof depending on the presence or absence of people on the images received.

Il s'avère que ce système n'offre pas une sécurité de fonctionnement suffisante, si bien qu'il ne peut pas être homologué par les organismes d'homologation officiels notifiés. En particulier, un tel système n'est pas conçu pour signaler un défaut de fonctionnement et ne permet pas garantir la pertinence d'une information de présence ou d'absence d'une personne ou d'un objet sur le système mécanique.It turns out that this system does not offer sufficient operating security, so that it cannot be approved by the approval bodies notified officials. In particular, such a system is not designed to signal a malfunction and does not guarantee the relevance of a presence or absence information of a person or object on the mechanical system.

La présente invention a pour but de supprimer cet inconvénient. Cet objectif est atteint par la prévision d'un procédé de détection de personnes ou d'objets dans une zone de détection, pour la commande d'un système mécanique tel qu'un dispositif de transport, en fonction de la présence d'objets ou de personnes détectés dans la zone de détection, à l'aide de caméras disposées de manière à couvrir la zone de détection et reliées à un calculateur de surveillance couplé à un dispositif de commande du système mécanique.The object of the present invention is to eliminate this drawback. This objective is achieved by predicting a process for detecting people or objects in a detection zone, for controlling a mechanical system such as a transport device, depending on the presence of objects or people detected in the detection area, using cameras arranged so that cover the detection area and connected to a monitoring computer coupled to a mechanical system control device.

Selon l'invention, ce procédé est caractérisé en ce qu'il comprend :

  • une phase d'initialisation comprenant une étape de contrôle d'éléments matériels du calculateur de surveillance et de données stockées dans le calculateur de surveillance ;
  • une boucle de traitement comprenant pour chaque caméra active une étape d'acquisition et de traitement d'une image fournie par la caméra, pour élaborer une donnée de détection d'une personne ou d'un objet dans la zone de détection et pour déterminer les commandes à appliquer au dispositif de commande du système mécanique, une étape de contrôle de la qualité de l'image et de la position de la caméra par rapport à la zone de détection, et une étape de contrôle d'éléments matériels du calculateur de surveillance et de données stockées dans le calculateur de surveillance ;
  • une phase de contrôle et de commande du dispositif de commande à l'aide des commandes déterminées dans la boucle de traitement et en fonction de défauts détectés durant les étapes de contrôle.
According to the invention, this process is characterized in that it comprises:
  • an initialization phase comprising a step of checking hardware elements of the monitoring computer and of data stored in the monitoring computer;
  • a processing loop comprising for each camera activates a step of acquiring and processing an image supplied by the camera, in order to develop a data item for detecting a person or an object in the detection zone and for determining the commands to be applied to the control device of the mechanical system, a step for controlling the quality of the image and the position of the camera with respect to the detection zone, and a step for controlling hardware elements of the monitoring computer and data stored in the monitoring computer;
  • a control and command phase of the control device using the commands determined in the processing loop and as a function of faults detected during the control steps.

Grâce à l'ensemble de contrôles et de tests qu'il effectue, le calculateur de surveillance met à disposition du dispositif de commande du système à commander des informations de détection de présence de personne ou d'objet, ayant un niveau de fiabilité élevé. On est ainsi assuré que la commande que l'on applique au dispositif de commande du système à commander est cohérente et appropriée. Thanks to the set of controls and tests it performs, the monitoring provides the system control device to order information for detecting the presence of a person or an object, having a high level of reliability. This ensures that the order that we applies to the system control device to be controlled is consistent and appropriate.

Avantageusement, les contrôles effectués durant la boucle de traitement sont périodiques, chaque contrôle ayant une période d'exécution adaptée en fonction de la criticité et de la probabilité de défaillance de l'élément ou des données contrôlées.Advantageously, the checks carried out during the processing loop are periodic, each control having an execution period adapted according to criticality and probability of failure of the item or data controlled.

Selon une particularité de l'invention, l'étape de contrôle de la qualité de l'image consiste à déterminer la luminance moyenne de zones analysées de l'image et à comparer la luminance moyenne à des seuils haut et bas, l'image étant considérée de qualité suffisante si la luminance moyenne se situe entre les seuils haut et bas.According to a feature of the invention, the step of controlling the quality of the image consists in determining the average luminance of analyzed areas of the image and in compare the average luminance to high and low thresholds, the image being considered of sufficient quality if the average luminance is between the thresholds up and down.

Selon une autre particularité de l'invention, l'étape de contrôle de la position de chaque caméra consiste à analyser des zones spécifiques prédéfinies dans les images fournies par la caméra pour déterminer si ces zones présentent des caractéristiques prédéterminées, et si ces zones ne présentent pas lesdites caractéristiques prédéterminées, la caméra est considérée en défaut du fait qu'elle a été déplacée.According to another feature of the invention, the step of controlling the position of each camera consists in analyzing specific predefined zones in the images provided by the camera to determine if these areas are predetermined characteristics, and if these zones do not have said predetermined characteristics, the camera is considered to be faulty because that she was moved.

De préférence, ce procédé comprend en outre une étape de mise à jour des images de référence pour s'adapter à l'évolution de la luminosité ambiante dans la zone de détection.Preferably, this method further comprises a step of updating the reference images to adapt to changes in ambient light in the detection area.

Egalement de préférence, ce procédé comprend en outre une étape de contrôle de l'algorithme de traitement d'image, consistant à dérouler les algorithmes de traitement d'image sur une mire vidéo, et à comparer les résultats obtenus à des valeurs de référence.Also preferably, this method further comprises a step of checking of the image processing algorithm, consisting of unwinding the algorithms of image processing on a video test pattern, and to compare the results obtained with reference values.

Avantageusement, le contrôle des données concerne des données de paramétrage, des données d'images de référence et des programmes exécutés par le calculateur de surveillance.Advantageously, the control of the data relates to data of parameterization, reference image data and executed programs by the monitoring computer.

L'invention concerne également un système de détection sécurisée de personnes ou d'objets dans une zone de détection, pour la commande d'un système mécanique tel qu'un dispositif de transport, le système de détection comprenant un ensemble de caméras couvrant la zone de détection, et un calculateur de surveillance couplé aux caméras et à un dispositif de commande du système mécanique. The invention also relates to a system for the secure detection of persons. or objects in a detection zone, for controlling a system mechanical such as a transport device, the detection system comprising a set of cameras covering the detection area, and a computer surveillance coupled to cameras and a system controller mechanical.

Selon l'invention, ce système est caractérisé en ce que le calculateur comprend :

  • des moyens pour effectuer successivement pour chaque caméra active l'acquisition et le traitement d'une image fournie par la caméra, pour déterminer des commandes à appliquer au dispositif de commande,
  • des moyens pour contrôler la qualité de l'image et la position de chaque caméra par rapport à la zone de détection, durant l'acquisition et le traitement d'image,
  • des moyens pour contrôler les éléments matériels du calculateur et les données stockées dans le calculateur, durant l'acquisition et le traitement d'image et au cours d'une phase d'initialisation du calculateur de surveillance, et
  • des moyens pour contrôler et commander le dispositif de commande du système mécanique à l'aide des commandes élaborées, si aucune erreur n'a été détectée par les moyens de contrôle.
According to the invention, this system is characterized in that the computer comprises:
  • means for successively carrying out for each active camera the acquisition and processing of an image supplied by the camera, to determine commands to be applied to the control device,
  • means for controlling the quality of the image and the position of each camera relative to the detection zone, during image acquisition and processing,
  • means for controlling the hardware elements of the computer and the data stored in the computer, during image acquisition and processing and during an initialization phase of the monitoring computer, and
  • means for controlling and controlling the control device of the mechanical system using the commands developed, if no error has been detected by the control means.

Selon une particularité de l'invention, ce système comprend en outre des moyens pour déterminer la luminosité ambiante de la zone de détection, et pour mettre à jour des données d'image de référence en fonction de l'évolution de la luminosité ambiante.According to a feature of the invention, this system further comprises means for determining the ambient brightness of the detection area, and for update reference image data according to the evolution of the ambient light.

Selon une autre particularité de l'invention, ce système comprend en outre des moyens pour déterminer la luminance moyenne de zones analysées de l'image et à comparer la luminance moyenne à des seuils haut et bas, l'image étant considérée de qualité suffisante si la luminance moyenne se situe entre les seuils haut et bas.According to another feature of the invention, this system further comprises means for determining the average luminance of analyzed areas of the image and compare the average luminance to high and low thresholds, the image being considered of sufficient quality if the average luminance is between the thresholds up and down.

Selon encore une autre particularité de l'invention, ce système comprend des moyens pour contrôler cycliquement le bon fonctionnement des mémoires du calculateur de surveillance.According to yet another feature of the invention, this system comprises means for cyclically checking the correct functioning of the memories of the monitoring calculator.

Un mode de réalisation préféré de l'invention sera décrit ci-après, à titre d'exemple non limitatif, avec référence aux dessins annexés dans lesquels :

  • La figure 1 représente schématiquement un escalier mécanique équipé du système de détection par caméras selon l'invention ;
  • La figure 2 montre sous la forme d'un schéma-bloc les différents éléments composant le système de détection représenté sur la figure 1 ;
  • La figure 3 montre plus en détail sous la forme d'un schéma-bloc le calculateur du système de détection représenté sur la figure 2 ;
  • La figure 4 montre sous la forme d'un organigramme les différentes étapes du procédé selon l'invention mis en oeuvre par le système de détection représenté sur les figures 1 et 2 ;
  • La figure 5 montre plus en détail les étapes d'un traitement mentionné sur la figure 4.
    • A preferred embodiment of the invention will be described below, by way of nonlimiting example, with reference to the appended drawings in which:
  • FIG. 1 schematically represents an escalator equipped with the camera detection system according to the invention;
  • Figure 2 shows in the form of a block diagram the different elements making up the detection system shown in Figure 1;
  • Figure 3 shows in more detail in the form of a block diagram the computer of the detection system shown in Figure 2;
  • Figure 4 shows in the form of a flowchart the different steps of the method according to the invention implemented by the detection system shown in Figures 1 and 2;
  • FIG. 5 shows in more detail the stages of a processing mentioned in FIG. 4.

    • La figure 1 représente un escalier mécanique 1 équipé d'un système de détection vidéo selon l'invention. Ce système comprend un ensemble de caméras 5 à 9 dont le nombre et la disposition sont déterminés de manière à ce que leurs champs respectifs couvrent la totalité d'une zone de détection 2 incluant l'ensemble de l'escalier mécanique et des zones d'approche haute et basse de l'escalier 1 d'une longueur prédéterminée.FIG. 1 represents an escalator 1 equipped with a detection system video according to the invention. This system includes a set of cameras 5 to 9 the number and arrangement of which are determined in such a way that their respective fields cover the entire detection area 2 including the entire escalator and the upper and lower approach areas of staircase 1 of a predetermined length.

    Les caméras 5 à 9 sont reliées à un dispositif de surveillance 10 auquel elles transmettent des images vidéo des zones respectives qu'elles couvrent. Le dispositif de surveillance est conçu pour déterminer à partir des images transmises par les caméras 5 à 9 si un objet ou une personne se trouve dans la zone de détection 2The cameras 5 to 9 are connected to a surveillance device 10 to which they transmit video images of the respective areas they cover. The monitoring device is designed to determine from images transmitted by cameras 5 to 9 if an object or a person is in the detection zone 2

    Le dispositif de surveillance est relié à un dispositif de commande 13 de l'escalier 1 par l'intermédiaire de deux dispositifs de commutation 11, 12, à savoir un premier dispositif de commutation 11 de signal de détection de présence du dispositif de surveillance 10, et un second dispositif de commutation 12 de signal d'indisponibilité ou de défaillance du dispositif de surveillance.The monitoring device is connected to a control device 13 for the staircase 1 by means of two switching devices 11, 12, to know a first switching device 11 for detection signal presence of the monitoring device 10, and a second monitoring device switching 12 of signal of unavailability or failure of the monitoring.

    Sur la figure 2 montrant plus en détail le système de détection selon l'invention, les caméras vidéo 5 à 9 sont éventuellement reliées au dispositif de surveillance 10 par l'intermédiaire d'amplificateurs 5' à 9' respectifs, ces derniers présentant chacun une sortie vidéo supplémentaire pour se raccorder à un ou plusieurs moniteurs de télésurveillance 18.In FIG. 2 showing in more detail the detection system according to the invention, video cameras 5 to 9 are possibly connected to the surveillance device 10 via respective amplifiers 5 'to 9', the latter presenting each an additional video output to connect to one or more remote monitoring monitors 18.

    Le dispositif de surveillance 10 comprend un calculateur 20 relié d'un côté aux caméras 5 à 9 (éventuellement par l'intermédiaire des amplificateurs vidéo 5' à 9') et de l'autre à un circuit d'entrées/sorties 16 qui est connecté au dispositif de commande 13 de l'escalier 1, le calculateur 20 et le circuit 16 étant alimentés par un circuit d'alimentation 17.
    Le circuit d'entrées/sorties 16 assure la mise en forme et la transmission des signaux entre le calculateur et le dispositif de commande 13.    The monitoring device 10 comprises a computer 20 connected on one side to the cameras 5 to 9 (possibly via video amplifiers 5 'to 9') and on the other to an input / output circuit 16 which is connected to the control device 13 of the staircase 1, the computer 20 and the circuit 16 being supplied by a supply circuit 17.
    The input / output circuit 16 ensures the shaping and the transmission of the signals between the computer and the control device 13.

    Par ailleurs, le calculateur 20 a pour fonction principale de recevoir les images en provenance des caméras, de traiter ces images pour déterminer la présence ou non de personnes ou d'objets dans la zone de détection 2, et d'élaborer en fonction de la présence ou non de personnes ou d'objets dans la zone de détection, des signaux de commande de l'escalier 1 à appliquer au dispositif de commande 13.Furthermore, the main function of the computer 20 is to receive the images from the cameras, to process these images to determine the presence or not of people or objects in detection zone 2, and to develop in depending on the presence or not of people or objects in the area of detection, of the staircase 1 control signals to be applied to the command 13.

    Par ailleurs, le calculateur 20 dispose d'une connexion série 14 et d'une connexion vidéo parallèle 15 pour se connecter à un micro-ordinateur 19 permettant le paramétrage et la maintenance du système.Furthermore, the computer 20 has a serial connection 14 and a parallel video connection 15 to connect to a microcomputer 19 allowing configuration and maintenance of the system.

    Sur la figure 3 montrant l'architecture interne du calculateur 20, le calculateur comprend un microprocesseur 21 par exemple de type DSP (Digital Signal Processor) relié par l'intermédiaire d'un bus d'adresse 30 et d'un bus de données 31 à des mémoires 22, 23, à savoir à une mémoire programme 22 non volatile, par exemple de type EPROM, une ou plusieurs mémoires de données 23 qui peuvent être volatiles ou non. De préférence, les mémoires de données comprennent au moins une mémoire non volatile, par exemple de type Flash pour stocker de manière permanente les paramètres de configuration du système.In FIG. 3 showing the internal architecture of the computer 20, the computer includes a microprocessor 21 for example of DSP (Digital Signal) type Processor) connected via an address bus 30 and a data bus 31 to memories 22, 23, namely to a non-volatile program memory 22, for example of the EPROM type, one or more data memories 23 which may or may not be volatile. Preferably, the data memories include at least one non-volatile memory, for example of the Flash type to permanently store the configuration parameters of the system.

    Le calculateur 20 comprend également connecté aux bus d'adresse 30 et de données 31 :

    • un circuit d'interface de port série 32 réalisant la connexion 14 avec le micro-ordinateur 19,
    • un circuit d'interface de ports d'entrées/sorties 29 réalisant notamment la sortie vidéo 15, et l'interface avec les dispositifs de commutation 11 et 12,
    • des circuits 24 à 28 de gestion et de prétraitement des signaux vidéo transmis par les caméras 5 à 9, et
    • un circuit 33 connecté notamment aux mémoires de données 23, et assurant la génération de tension de sauvegarde de celles-ci, ainsi que la fonction de chien de garde pour déclencher l'initialisation du calculateur 20 en cas de panne.
    The computer 20 also includes connected to the address 30 and data bus 31:
    • a serial port interface circuit 32 making the connection 14 with the microcomputer 19,
    • an input / output port interface circuit 29 producing in particular the video output 15, and the interface with the switching devices 11 and 12,
    • circuits 24 to 28 for managing and preprocessing the video signals transmitted by the cameras 5 to 9, and
    • a circuit 33 connected in particular to the data memories 23, and ensuring the generation of backup voltage of these, as well as the watchdog function to trigger the initialization of the computer 20 in the event of a failure.

    En particulier, le circuit d'interface de ports d'entrées/sorties 29 comprend un port de commande et un port de lecture de la position des dispositifs de commutation 11 et 12. Il réalise également la fonction de contrôle du bon déroulement du programme exécuté par le processeur 21.In particular, the input / output port interface circuit 29 comprises a control port and a port for reading the position of the devices switching 11 and 12. It also performs the voucher control function progress of the program executed by the processor 21.

    Les circuits 24 à 28 de gestion de données vidéo comprennent :

    • un circuit multiplexeur vidéo 26 comportant un amplificateur vidéo et plusieurs entrées vidéo reliées respectivement aux caméras 5 à 9,
    • un décodeur vidéo 25 connecté à la sortie du circuit 26 pour commander ce dernier et numériser les images vidéo reçues des caméras,
    • une ou plusieurs mémoires de trame 24 pour stocker les images numérisées transmises par le décodeur 25,
    • un contrôleur 27 de mémoire de trame relié au port d'adressage de la mémoire de trame 24, et
    • un multiplexeur 28 de bus de données commandé par le contrôleur 27 et relié au port de données de la mémoire de trame 24, et au bus de données 31.
    The video data management circuits 24 to 28 include:
    • a video multiplexer circuit 26 comprising a video amplifier and several video inputs connected respectively to the cameras 5 to 9,
    • a video decoder 25 connected to the output of circuit 26 to control the latter and digitize the video images received from the cameras,
    • one or more frame memories 24 for storing the digitized images transmitted by the decoder 25,
    • a frame memory controller 27 connected to the addressing port of the frame memory 24, and
    • a data bus multiplexer 28 controlled by the controller 27 and connected to the data port of the frame memory 24, and to the data bus 31.

    Le nombre d'entrées du circuit multiplexeur 26 est déterminé en fonction du nombre maximum de caméras nécessaires pour couvrir une zone de détection.
    Le signal vidéo d'entrée à traiter par le calculateur 20 à un instant donné est sélectionné par le contrôleur 27 qui envoie un signal de commande approprié au circuit multiplexeur 26. Le contrôleur 27 assure également une fonction de synchronisation en envoyant un signal de synchronisation au processeur 21, à chaque fois qu'une nouvelle image complète est introduite dans la mémoire de trame 24. Il réalise également une fonction de multiplexage du port d'adresse de la mémoire de trame 24, entre le décodeur vidéo et le bus d'adresse 30.     The number of inputs of the multiplexer circuit 26 is determined as a function of the maximum number of cameras necessary to cover a detection area.
    The input video signal to be processed by the computer 20 at a given time is selected by the controller 27 which sends an appropriate control signal to the multiplexer circuit 26. The controller 27 also performs a synchronization function by sending a synchronization signal to the processor 21, each time a new complete image is introduced into the frame memory 24. It also performs a function of multiplexing the address port of the frame memory 24, between the video decoder and the address bus 30.

    Le décodeur vidéo 25 réalise d'une manière connue des fonctions d'amplification avec contrôle automatique de gain, de filtrage, d'extraction de signaux de synchronisation, et d'échantillonnage, pour obtenir des valeurs de pixels constituées par une information de luminance et une information de chrominance, qui sont appliquées en entrée du multiplexeur 28, pour être stockées dans la mémoire de trame 24.The video decoder 25 performs functions in a known manner amplification with automatic gain control, filtering, extraction synchronization and sampling signals to obtain values of pixels consisting of luminance information and information of chrominance, which are applied at the input of multiplexer 28, to be stored in frame memory 24.

    Le multiplexeur 28 assure le multiplexage du port de données de la mémoire de trame entre les données de pixel des images fournies par le décodeur vidéo 25 et le bus de données 31.Multiplexer 28 provides multiplexing of the data port of the memory of frame between the pixel data of the images supplied by the video decoder 25 and the data bus 31.

    Le calculateur 20 comprend en outre un bus supplémentaire 40, par exemple de type I2C relié aux bus d'adresse 30 et de données 31 par l'intermédiaire d'un contrôleur de bus 34, le bus 40 permettant au processeur 21 de commander le décodeur vidéo 25, en particulier au démarrage du calculateur, pour spécifier notamment un type de codage vidéo à utiliser et des fréquences d'échantillonnage horizontale et verticale des images vidéo.The computer 20 further comprises an additional bus 40, for example of the I 2 C type connected to the address 30 and data buses 31 via a bus controller 34, the bus 40 allowing the processor 21 to control the video decoder 25, in particular at the start of the computer, for specifying in particular a type of video coding to be used and the horizontal and vertical sampling frequencies of the video images.

    La figure 4 illustre le procédé selon l'invention exécuté par le processeur 21.
    Ce procédé comprend tout d'abord, à l'initialisation du calculateur 20, une phase de démarrage 41 incluant une séquence de test du système. Cette séquence de test comprend :

    • un test 411 du programme chargé pour exécution dans la mémoire vive interne du processeur pour exécution,
    • un test 412 des données de configuration du système, qui consiste à vérifier les données de configuration contenues dans la mémoire 23, et
    • un test 413 de contrôle des données de référence contenues dans la mémoire 23.
    FIG. 4 illustrates the method according to the invention executed by the processor 21.
    This method firstly comprises, on initialization of the computer 20, a start-up phase 41 including a test sequence of the system. This test sequence includes:
    • a test 411 of the program loaded for execution in the internal RAM of the processor for execution,
    • a test 412 of the configuration data of the system, which consists in verifying the configuration data contained in the memory 23, and
    • a test 413 for checking the reference data contained in the memory 23.

    Ces tests consistent à calculer une signature portant sur le contenu de la mémoire à vérifier et de comparer la signature calculée avec une signature de référence mémorisée dans une mémoire prédéfinie.These tests consist in calculating a signature relating to the content of the memory to check and compare the calculated signature with a signature of reference stored in a predefined memory.

    A l'étape 42, le processeur lit le nombre de caméras 5 à 9 actives dans la mémoire 23 des données de configuration, pour charger un indice de boucle n, puis commande le multiplexeur 26 pour sélectionner le canal vidéo correspondant à la caméra n. A l'étape 43 suivante, il attend que le contrôleur 27 lui envoie un signal d'arrivée d'une image dans la mémoire de trame 24. L'arrivée d'un tel signal déclenche le traitement 44 de la nouvelle image et l'acquisition en mémoire de trame de l'image transmise par la caméra n-1 suivante. Le traitement d'image est basé sur une analyse d'histogrammes déterminés sur des fenêtres d'analyse prédéfinies. La détection de personnes ou d'objets est effectuée à partir d'une comparaison entre les histogrammes obtenus sur l'image reçue et des histogrammes de référence obtenus sur les mêmes fenêtres d'analyse appliquées à une image de référence prise en l'absence de personnes ou d'objets. Ce traitement détermine également si l'image présente une qualité suffisante pour fournir un résultat de détection fiable.In step 42, the processor reads the number of cameras 5 to 9 active in the memory 23 of the configuration data, to load a loop index n, then controls the multiplexer 26 to select the video channel corresponding to camera n. In the next step 43, it waits for the controller 27 sends it a signal of arrival of an image in the frame memory 24. The arrival of such a signal triggers the processing 44 of the new image and acquisition in frame memory of the image transmitted by camera n-1 next. Image processing is based on an analysis of histograms determined on predefined analysis windows. Detecting people or of objects is made from a comparison between the histograms obtained on the image received and reference histograms obtained on the same analysis windows applied to a reference image taken in the absence of people or objects. This processing also determines whether the image presents sufficient quality to provide a reliable detection result.

    A l'étape 45 suivante, le processeur 21 lit l'état des dispositifs de commutation 11, 12, par exemple constitués par des relais, et élabore une commande à appliquer à ces relais en fonction de l'état de ceux-ci, du résultat du traitement d'image, et de résultats de tests effectués précédemment.In the following step 45, the processor 21 reads the state of the switching devices 11, 12, for example constituted by relays, and develops a command to apply to these relays according to their state, the result of the treatment image, and previous test results.

    Avant d'appliquer la commande ainsi déterminée aux relais, le processeur 21 exécute une séquence de tests 46 comprenant les tests de contrôle 411 de chargement du programme, de contrôle 412 des données de configuration, et de contrôle 413 des données de référence, ainsi que des tests de contrôle 464 des mémoires 23, 24 et de la mémoire vive interne au processeur 21, et des tests de contrôle 465 des positions des caméras 5 à 9.Before applying the command thus determined to the relays, the processor 21 runs a test sequence 46 including the 411 control tests of loading the program, checking 412 the configuration data, and control 413 of the reference data, as well as control tests 464 of the memories 23, 24 and the internal memory of processor 21, and tests of control 465 of camera positions 5 to 9.

    Le test de contrôle de la mémoire interne du processeur consiste à sélectionner une première cellule d'une plage de mémoire à tester et de calculer une signature sur toutes les autres cellules de la plage considérée. La valeur de la cellule sélectionnée est ensuite inversée et on calcule à nouveau la signature de toutes les autres cellules de la plage considérée. Puis la valeur de la cellule sélectionnée est rétablie à sa valeur initiale et une troisième signature est calculée sur les cellules restantes de la plage. On procède ainsi pour toutes les cellules de la plage considérée. Si une différence est constatée dans les signatures calculées sur les mêmes plages mémoire, un message de défaillance est produit.
    Un test analogue est appliqué à la mémoire de données 23.    The internal memory control test of the processor consists in selecting a first cell from a range of memory to be tested and calculating a signature on all the other cells of the range considered. The value of the selected cell is then inverted and the signature of all the other cells in the range considered is calculated again. Then the value of the selected cell is restored to its initial value and a third signature is calculated on the remaining cells of the range. This is done for all cells in the range considered. If a difference is found in the signatures calculated on the same memory ranges, a failure message is produced.
    A similar test is applied to the data memory 23.

    Le test de contrôle de la mémoire de trame 24 consiste tout d'abord à initialiser une plage mémoire de la mémoire 24 par un train binaire uniforme, par exemple de valeur 0x5555 (en hexadécimal). La valeur de la première cellule est inversée (pour prendre la valeur 0xAAAA dans cet exemple) et les autres cellules de la plage zone mémoire sont contrôlées pour vérifier que leur contenu n'a pas été modifié à la suite de la modification de la première plage. Ensuite, la valeur de la première cellule est à nouveau inversée pour retrouver sa valeur initiale, puis cette procédure est répétée pour chacune des cellules de la plage considérée. Si une différence est constatée, un message de défaillance est produit.The frame memory 24 test consists first of all in initializing a memory range of memory 24 by a uniform bit stream, for example with value 0x5555 (in hexadecimal). The value of the first cell is inverted (to take the value 0xAAAA in this example) and the others memory area range cells are checked to make sure their contents has not been modified following the modification of the first track. Then the value of the first cell is again inverted to find its value initial and then this procedure is repeated for each of the cells in the range considered. If a difference is found, a failure message is product.

    Le test de la position de chaque caméra consiste à analyser des zones spécifiques prédéfinies dans les images fournies par la caméra pour déterminer si ces zones présentent des caractéristiques prédéterminées, et si ces zones ne présentent pas lesdites caractéristiques prédéterminées, la caméra est considérée en défaut du fait qu'elle a été déplacée. Ce test est basé sur la définition de plusieurs fenêtres de contrôle dans les images fournies par la caméra. Ces fenêtres de contrôle permettent de définir la position de la caméra par rapport à l'escalier mécanique 1. Elles contiennent des images fixes d'objets spécifiques pris comme référence, de l'escalier ou de son environnement.
    Si cette analyse révèle la présence significative des objets de référence, dans par exemple au moins deux fenêtres, la position de la caméra est considérée correcte. Par contre, si la caméra a été déplacée ou son orientation modifiée, les fenêtres de contrôle ne sont plus centrées sur les objets de référence. Par conséquent, le test sera négatif et la caméra sera considérée en défaut.    The test of the position of each camera consists in analyzing specific predefined areas in the images supplied by the camera to determine if these areas have predetermined characteristics, and if these areas do not have said predetermined characteristics, the camera is considered to be in default of the fact that it was moved. This test is based on the definition of several control windows in the images provided by the camera. These control windows make it possible to define the position of the camera with respect to escalator 1. They contain fixed images of specific objects taken as a reference, of the staircase or its environment.
    If this analysis reveals the significant presence of reference objects, for example in at least two windows, the position of the camera is considered correct. On the other hand, if the camera has been moved or its orientation changed, the control windows are no longer centered on the reference objects. Consequently, the test will be negative and the camera will be considered to be faulty.

    A l'issue de chacun de ces contrôles, si un défaut est constaté, il est stocké dans un journal de défauts et la commande à appliquer au relais de défaillance 12 est mise à jour pour signaler une défaillance du dispositif de surveillance 10. Le journal de défauts peut par la suite être consulté au moyen du micro-ordinateur 19 de paramétrage et de maintenance.After each of these checks, if a defect is found, it is stored in a fault log and the command to be applied to fault relay 12 is update to report a failure of the monitoring device 10. The fault log can then be viewed using the microcomputer 19 for configuration and maintenance.

    Si le numéro n de la caméra en cours (étape 47) correspond à celui de la dernière caméra, alors les commandes des relais 11, 12 déterminées à l'étape 45 lors du traitement de l'image de chaque caméra et à la suite des tests précédents, sont appliquées (étape 48) aux relais au travers du circuit de ports d'entrées/sorties 29. Puis on vérifie en lisant l'état des relais que la commande des relais a été exécutée.If the number n of the current camera (step 47) corresponds to that of the last camera, then the relay 11, 12 commands determined in step 45 during the processing of the image of each camera and following previous tests, are applied (step 48) to relays through the port circuit of inputs / outputs 29. Then we check by reading the state of the relays that the command relays was executed.

    Ensuite, dans tous les cas, le processeur 21 effectue un traitement de recalage (étape 49) consistant à mettre à jour les données de référence (histogrammes) obtenues à partir de nouvelles images de référence, pour tenir compte notamment d'une évolution de la luminosité ambiante.Then, in all cases, the processor 21 performs a registration processing (step 49) consisting in updating the reference data (histograms) obtained from new reference images, to take into account including an evolution of the ambient light.

    A l'étape 50, le processeur lit sur le port d'entrées/sorties 29 si une commande de recalage manuel a été appliquée, et si tel est le cas, il mémorise cette demande pour la traiter lors de l'étape de recalage 49 exécutée ultérieurement.In step 50, the processor reads from the input / output port 29 if a command manual registration was applied, and if so, it remembers this request to process it during the registration step 49 executed later.

    A l'étape 51, le processeur exécute un contrôle de l'algorithme de traitement d'image. Cette opération est effectuée sur une configuration virtuelle d'une caméra de numéro 0. Elle consiste à dérouler les algorithmes de traitement d'image sur une mire vidéo stockée dans la mémoire 22, et à comparer les résultats obtenus à des valeurs de référence.In step 51, the processor performs a control of the processing algorithm image. This operation is performed on a virtual configuration of a camera number 0. It consists of rolling out the processing algorithms image on a video test pattern stored in the memory 22, and to compare the results obtained at reference values.

    Le numéro n de caméra est décrémenté à l'étape 52 et si ce numéro est différent de 0 (étape 53), on retourne à l'étape 43 de traitement de l'image provenant de la caméra numéro n. Dans le cas contraire, on retourne à l'étape 42 où n est réinitialisé au nombre total de caméras 5 à 9.The camera number n is decremented in step 52 and if this number is different from 0 (step 53), we return to step 43 of processing the image coming from the camera number n. Otherwise, we return to step 42 where n is reset to the total number of cameras 5 to 9.

    En parallèle de l'exécution du traitement illustré sur la figure 4, une surveillance temporelle et logique du déroulement du programme est effectuée à l'aide d'une instruction d'écriture d'un code séquentiel dans un registre prévu dans le circuit 29, insérée dans chacun des principaux traitements exécutés par le processeur 21. Dans le cas où le contenu de ce registre n'est pas modifié pendant une certaine durée définie par une temporisation, par exemple de 120 ms, le circuit 29 désactive le relais de disponibilité 12.In parallel with the execution of the processing illustrated in FIG. 4, monitoring time and logic of the program is carried out using a instruction to write a sequential code in a register provided in the circuit 29, inserted in each of the main processing executed by the processor 21. In the event that the content of this register is not modified during a certain duration defined by a time delay, for example 120 ms, the circuit 29 deactivates the availability relay 12.

    Le traitement d'image 44 qui est détaillé sur la figure 5 consiste à extraire 61 de l'image stockée en mémoire de trame 24 des zones prédéfinies (fenêtres) de l'image, à élaborer des histogrammes à partir des pixels de ces zones, à vérifier 63 la qualité de l'image, et si cette qualité est suffisante (étape 64), à évaluer 65 à partir des histogrammes des données de détection, à comparer ces données de détection avec des valeurs obtenues à partir d'images de référence prises en l'absence de personnes ou d'objet, et d'élaborer 67 une décision de commande en fonction du résultat de la comparaison, indiquant la présence ou non d'une personne ou d'un objet sur l'image. Dans le cas où la qualité de l'image est insuffisante, ce défaut est stocké 68 dans le journal de défaut et la commande à appliquer au relais de défaillance 12 est mise à jour 69 pour signaler ce défaut au dispositif de commande 13 de l'escalier 1. The image processing 44 which is detailed in FIG. 5 consists in extracting 61 from the image stored in frame memory 24 of the predefined areas (windows) of the image, to develop histograms from the pixels of these areas, to check 63 the quality of the image, and if this quality is sufficient (step 64), to assess 65 from the histograms of the detection data, to compare this data from detection with values obtained from reference images taken the absence of people or object, and to develop 67 an order decision depending on the result of the comparison, indicating the presence or absence of a person or object on the image. In case the image quality is insufficient, this fault is stored 68 in the fault log and the command to apply to fault relay 12 is updated 69 to signal this fault to the control device 13 of the staircase 1.

    La vérification de la qualité de l'image consiste à vérifier si l'image n'est pas trop noire ou trop blanche en déterminant la luminance moyenne des zones analysées de l'image et à comparer cette luminance moyenne à des seuils haut et bas, l'image étant considérée de qualité suffisante si la luminance moyenne se situe entre les seuils haut et bas. On vérifie également l'étalement des histogrammes.Checking the image quality consists of checking whether the image is not too black or too white when determining the average luminance of the zones analyzed from the image and compare this average luminance to high thresholds and low, the image being considered of sufficient quality if the average luminance is located between the high and low thresholds. We also check the spread of histograms.

    Tous les contrôles décrits précédemment sont effectués à chaque boucle de traitement ou avec une périodicité prédéterminée qui peut être différente du temps de traitement de la boucle.
    D'une manière générale, le dispositif de surveillance 10 exécute des fonctions de contrôle périodiques de manière à vérifier que tous les éléments qui le composent ne sont pas défaillants. L'exécution de ces fonctions est répartie dans le temps de manière à ne pas nuire au temps de réponse du système pour commander l'escalier 1. La période d'exécution de chaque contrôle est adaptée en fonction de la criticité de l'élément contrôlé et de la probabilité de défaillance de l'élément.    All the controls described above are carried out at each processing loop or with a predetermined periodicity which may be different from the processing time of the loop.
    Generally, the monitoring device 10 performs periodic control functions so as to verify that all of the elements that compose it are not faulty. The execution of these functions is distributed over time so as not to affect the response time of the system for controlling the staircase 1. The period of execution of each control is adapted according to the criticality of the element controlled and the probability of element failure.

    A la suite d'une défaillance, les relais 11 de détection de présence et le relais 12 de signal d'indisponibilité du dispositif de surveillance 10 sont mis à l'état inactif.Following a failure, the presence detection relays 11 and the relay 12 signal of unavailability of the monitoring device 10 are set to the state inactive.

    Claims (11)

    Procédé de détection de personnes ou d'objets dans une zone de détection (2), pour la commande d'un système mécanique (1) tel qu'un dispositif de transport, en fonction de la présence d'objets ou de personnes détectés dans la zone de détection, à l'aide de caméras (5 à 9) disposées de manière à couvrir la zone de détection et reliées à un calculateur de surveillance (10) couplé à un dispositif de commande (13) du système mécanique,
    caractérisé en ce qu'il comprend : une phase d'initialisation (41) comprenant une étape de contrôle (411, 412, 413) d'éléments matériels du calculateur de surveillance (10) et de données stockées dans le calculateur de surveillance ; une boucle de traitement comprenant pour chaque caméra active (5 à 9) une étape d'acquisition (43) et de traitement (44) d'une image fournie par la caméra, pour élaborer une donnée de détection d'une personne ou d'un objet dans la zone de détection (2) et pour déterminer (45) les commandes à appliquer au dispositif de commande (13) du système mécanique (2), une étape de contrôle (63) de la qualité de l'image et (465) de la position de la caméra par rapport à la zone de détection, et une étape de contrôle (464, 411, 412, 413) d'éléments matériels du calculateur de surveillance et de données stockées dans le calculateur de surveillance ; une phase de contrôle et de commande (48) du dispositif de commande à l'aide des commandes déterminées dans la boucle de traitement et en fonction de défauts détectés durant les étapes de contrôle.     Method for detecting people or objects in a detection zone (2), for controlling a mechanical system (1) such as a transport device, depending on the presence of objects or people detected in the detection zone, using cameras (5 to 9) arranged so as to cover the detection zone and connected to a monitoring computer (10) coupled to a control device (13) of the mechanical system,
    characterized in that it comprises: an initialization phase (41) comprising a step of checking (411, 412, 413) of hardware elements of the monitoring computer (10) and of data stored in the monitoring computer; a processing loop comprising for each active camera (5 to 9) a step of acquisition (43) and processing (44) of an image supplied by the camera, to develop a data item for detecting a person or an object in the detection zone (2) and to determine (45) the commands to be applied to the control device (13) of the mechanical system (2), a step of checking (63) the quality of the image and ( 465) of the position of the camera with respect to the detection area, and a step of checking (464, 411, 412, 413) of hardware elements of the monitoring computer and of data stored in the monitoring computer; a control and command phase (48) of the control device using the commands determined in the processing loop and as a function of faults detected during the control steps.     Procédé selon la revendication 1,
    caractérisé en ce que les contrôles (411, 412, 413, 464, 465) effectués durant la boucle de traitement sont périodiques, chaque contrôle ayant une période d'exécution adaptée en fonction de la criticité et de la probabilité de défaillance de l'élément ou des données contrôlées.    Method according to claim 1,
    characterized in that the checks (411, 412, 413, 464, 465) carried out during the processing loop are periodic, each check having an execution period adapted according to the criticality and the probability of failure of the element or controlled data.         Procédé selon la revendication 1 ou 2,
    caractérisé en ce que l'étape de contrôle (63) de la qualité de l'image consiste à déterminer la luminance moyenne de zones analysées de l'image et à comparer la luminance moyenne à des seuils haut et bas, l'image étant considérée de qualité suffisante si la luminance moyenne se situe entre les seuils haut et bas.    Method according to claim 1 or 2,
    characterized in that the image quality control step (63) consists in determining the average luminance of analyzed areas of the image and in comparing the average luminance with high and low thresholds, the image being considered of sufficient quality if the average luminance is between the high and low thresholds.         Procédé selon l'une des revendications 1 à 3,
    caractérisé en ce que l'étape de contrôle (465) de la position de chaque caméra consiste à analyser des zones spécifiques prédéfinies dans les images fournies par la caméra pour déterminer si ces zones présentent des caractéristiques prédéterminées, et si ces zones ne présentent pas lesdites caractéristiques prédéterminées, la caméra est considérée en défaut du fait qu'elle a été déplacée.    Method according to one of claims 1 to 3,
    characterized in that the step of checking (465) the position of each camera consists in analyzing specific predefined areas in the images supplied by the camera to determine if these areas have predetermined characteristics, and if these areas do not have said characteristics predetermined characteristics, the camera is considered to be faulty because it has been moved.         Procédé selon l'une des revendications 1 à 4,
    caractérisé en ce qu'il comprend en outre une étape de mise à jour (49) des images de référence pour s'adapter à l'évolution de la luminosité ambiante dans la zone de détection (2).    Method according to one of claims 1 to 4,
    characterized in that it further comprises a step of updating (49) the reference images to adapt to the evolution of the ambient brightness in the detection zone (2).         Procédé selon l'une des revendications 1 à 5,
    caractérisé en ce qu'il comprend en outre une étape de contrôle (51) de l'algorithme de traitement d'image, consistant à dérouler les algorithmes de traitement d'image sur une mire vidéo, et à comparer les résultats obtenus à des valeurs de référence.    Method according to one of claims 1 to 5,
    characterized in that it further comprises a step of controlling (51) the image processing algorithm, consisting in running the image processing algorithms on a video test chart, and in comparing the results obtained with values reference.         Procédé selon l'une des revendications 1 à 6,
    caractérisé en ce que le contrôle (411, 423, 413) des données concerne des données de paramétrage, des données d'images de référence et des programmes exécutés par le calculateur de surveillance.    Method according to one of claims 1 to 6,
    characterized in that the control (411, 423, 413) of the data relates to setting data, reference image data and programs executed by the monitoring computer.         Système de détection sécurisée de personnes ou d'objets dans une zone de détection (2), pour la commande d'un système mécanique (1) tel qu'un dispositif de transport, le système de détection comprenant un ensemble de caméras (5 à 9) couvrant la zone de détection, et un calculateur de surveillance (10) couplé aux caméras et à un dispositif de commande (13) du système mécanique,
    caractérisé en ce que le calculateur (10) comprend : des moyens pour effectuer successivement pour chaque caméra active (5 à 9) l'acquisition et le traitement d'une image fournie par la caméra, pour déterminer des commandes à appliquer au dispositif de commande (13), des moyens pour contrôler la qualité de l'image et la position de chaque caméra par rapport à la zone de détection (2), durant l'acquisition et le traitement d'image, des moyens pour contrôler les éléments matériels du calculateur (10) et les données stockées dans le calculateur, durant l'acquisition et le traitement d'image et au cours d'une phase d'initialisation du calculateur, et des moyens pour contrôler et commander le dispositif de commande (13) du système mécanique à l'aide des commandes élaborées, si aucune erreur n'a été détectée par les moyens de contrôle.     System for the secure detection of people or objects in a detection zone (2), for controlling a mechanical system (1) such as a transport device, the detection system comprising a set of cameras (5 to 9) covering the detection area, and a monitoring computer (10) coupled to the cameras and to a control device (13) of the mechanical system,
    characterized in that the computer (10) comprises: means for successively carrying out for each active camera (5 to 9) the acquisition and processing of an image supplied by the camera, to determine commands to be applied to the control device (13), means for controlling the quality of the image and the position of each camera relative to the detection zone (2), during image acquisition and processing, means for controlling the hardware elements of the computer (10) and the data stored in the computer, during image acquisition and processing and during an initialization phase of the computer, and means for controlling and controlling the control device (13) of the mechanical system using the commands developed, if no error has been detected by the control means.     Système selon la revendication 8,
    caractérisé en ce qu'il comprend en outre des moyens pour déterminer la luminosité ambiante de la zone de détection, et pour mettre à jour des données d'image de référence en fonction de l'évolution de la luminosité ambiante.    System according to claim 8,
    characterized in that it further comprises means for determining the ambient brightness of the detection area, and for updating reference image data as a function of the evolution of the ambient brightness.         Système selon la revendication 8 ou 9,
    caractérisé en ce qu'il comprend en outre des moyens pour déterminer la luminance moyenne de zones analysées de l'image et à comparer la luminance moyenne à des seuils haut et bas, l'image étant considérée de qualité suffisante si la luminance moyenne se situe entre les seuils haut et bas.    System according to claim 8 or 9,
    characterized in that it further comprises means for determining the average luminance of analyzed areas of the image and for comparing the average luminance with high and low thresholds, the image being considered of sufficient quality if the average luminance is located between the high and low thresholds.         Système selon l'une des revendications 8 à 10,
    caractérisé en ce qu'il comprend des moyens pour contrôler cycliquement le bon fonctionnement de mémoires (22, 23, 24) du calculateur (10).    System according to one of claims 8 to 10,
    characterized in that it comprises means for cyclically checking the correct operation of memories (22, 23, 24) of the computer (10).
    EP02291653A 2001-07-09 2002-07-02 Secured video detection system and process for automatic controlling of a mechanical system like a moving walkway or an escalator Withdrawn EP1275609A1 (en)

    Applications Claiming Priority (2)

    Application Number Priority Date Filing Date Title
    FR0109097A FR2827051B1 (en) 2001-07-09 2001-07-09 METHOD AND SYSTEM FOR SECURE VIDEO DETECTION FOR THE AUTOMATIC CONTROL OF A MECHANICAL SYSTEM SUCH AS A MOVING WALKWAY OR MECHANICAL STAIRCASE
    FR0109097 2001-07-09

    Publications (1)

    Publication Number Publication Date
    EP1275609A1 true EP1275609A1 (en) 2003-01-15

    Family

    ID=8865287

    Family Applications (1)

    Application Number Title Priority Date Filing Date
    EP02291653A Withdrawn EP1275609A1 (en) 2001-07-09 2002-07-02 Secured video detection system and process for automatic controlling of a mechanical system like a moving walkway or an escalator

    Country Status (5)

    Country Link
    US (1) US6606538B2 (en)
    EP (1) EP1275609A1 (en)
    JP (1) JP2003046988A (en)
    CA (1) CA2393070C (en)
    FR (1) FR2827051B1 (en)

    Cited By (2)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    DE102012220702A1 (en) * 2012-11-13 2014-05-15 Ifm Electronic Gmbh Monitoring system for detecting persons and/or objects in e.g. escalator, has controller that is connected with safety device so as to initiate safety responses
    CN107032223A (en) * 2017-05-04 2017-08-11 苏州大学 The self-start method and its self-starting device of a kind of staircase

    Families Citing this family (23)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    US6940998B2 (en) 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
    DE10018887B4 (en) * 2000-04-14 2005-02-10 Kone Corp. Method and device for controlling the brake (s) of a passenger conveyor system
    JP5048912B2 (en) * 2002-11-06 2012-10-17 インベンテイオ・アクテイエンゲゼルシヤフト Surveillance and moving walkway video camera surveillance
    US20040223054A1 (en) * 2003-05-06 2004-11-11 Rotholtz Ben Aaron Multi-purpose video surveillance
    US20050219362A1 (en) * 2004-03-30 2005-10-06 Cernium, Inc. Quality analysis in imaging
    US20070170037A1 (en) * 2004-08-19 2007-07-26 Mitsubishi Denki Kabushiki Kaisha Lifting machine image monitoring system
    US7822224B2 (en) 2005-06-22 2010-10-26 Cernium Corporation Terrain map summary elements
    JP2007223720A (en) * 2006-02-23 2007-09-06 Nippon Otis Elevator Co Display device for escalator
    JP4884154B2 (en) * 2006-09-29 2012-02-29 三菱プレシジョン株式会社 Human detection system
    JP2008201509A (en) * 2007-02-19 2008-09-04 Mitsubishi Precision Co Ltd Person behavior discriminating system
    US8954187B1 (en) 2008-08-18 2015-02-10 Loadout Technologies LLC Social network and safety features for process control systems
    RU2513357C2 (en) * 2008-08-18 2014-04-20 Нейл Т. МИЛЕТ System for control over loading of goods
    WO2010124062A1 (en) * 2009-04-22 2010-10-28 Cernium Corporation System and method for motion detection in a surveillance video
    EP2605994B1 (en) * 2010-08-20 2019-12-25 Otis Elevator Company Remote controlled passenger conveyor and method for remotely controlling a passenger conveyor
    WO2015121751A2 (en) * 2014-02-16 2015-08-20 Ghadamossoltani Amir Hussein Intelligent escalator emergency stop system (ie2s2)
    EP3205618B1 (en) * 2016-02-15 2024-04-03 TK Escalator Norte, S.A. Method for controlling a transport device, namely an escalator or a moving walkway
    CN107662872B (en) * 2016-07-29 2021-03-12 奥的斯电梯公司 Monitoring system and monitoring method for passenger conveyor
    CN107662874B (en) 2016-07-29 2021-04-16 奥的斯电梯公司 Handrail entrance monitoring system of passenger conveyor and monitoring method thereof
    CN107662868B (en) * 2016-07-29 2022-01-04 奥的斯电梯公司 Monitoring system of passenger conveyer, passenger conveyer and monitoring method thereof
    CN110461756B (en) * 2017-03-28 2021-01-08 因温特奥股份公司 Monitoring scheme for mechanical state of escalator or moving walkway
    CN107445043A (en) * 2017-08-07 2017-12-08 苏州市远极智能科技有限公司 Staircase all-round property testing and quality monitoring method and system
    EP3805141A1 (en) * 2019-10-09 2021-04-14 thyssenkrupp Elevator Innovation Center, S.A. Passenger detection system for a passenger moving system
    CN111498664A (en) * 2020-04-03 2020-08-07 通力电梯有限公司 Control system and control method for controlling start and stop of multiple passenger conveyors

    Citations (3)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    FR2773791A1 (en) * 1998-01-22 1999-07-23 Otis Elevator Co Secure automatic starting and stopping of mechanical escalators or rolling pathways
    US5958072A (en) * 1997-01-13 1999-09-28 Hewlett-Packard Company Computer-system processor-to-memory-bus interface having repeating-test-event generation hardware
    JP2000149173A (en) * 1998-11-10 2000-05-30 Mitsubishi Electric Corp Elevator monitoring camera and elevator monitoring camera system

    Family Cites Families (8)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    JPH10187230A (en) * 1996-12-20 1998-07-14 Mitsubishi Denki Bill Techno Service Kk Video monitoring system for mobile device
    JPH10265163A (en) * 1997-03-25 1998-10-06 Hitachi Ltd Escalator controller
    JP3903526B2 (en) 1997-05-21 2007-04-11 松下電器産業株式会社 Bath water heater
    JP2000007264A (en) * 1998-06-17 2000-01-11 Hitachi Ltd Man conveyor device
    JP2000034087A (en) * 1998-07-17 2000-02-02 Hitachi Ltd Passenger monitoring method and device in man conveyor
    JP2000137790A (en) * 1998-10-29 2000-05-16 Hitachi Ltd Method and device for monitoring image of man conveyor
    JP2000211873A (en) * 1999-01-25 2000-08-02 Hitachi Ltd Monitoring device for passenger conveyor
    JP2000255964A (en) * 1999-03-08 2000-09-19 Hitachi Ltd Monitoring apparatus for escalator

    Patent Citations (3)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    US5958072A (en) * 1997-01-13 1999-09-28 Hewlett-Packard Company Computer-system processor-to-memory-bus interface having repeating-test-event generation hardware
    FR2773791A1 (en) * 1998-01-22 1999-07-23 Otis Elevator Co Secure automatic starting and stopping of mechanical escalators or rolling pathways
    JP2000149173A (en) * 1998-11-10 2000-05-30 Mitsubishi Electric Corp Elevator monitoring camera and elevator monitoring camera system

    Non-Patent Citations (1)

    * Cited by examiner, † Cited by third party
    Title
    PATENT ABSTRACTS OF JAPAN vol. 2000, no. 08 6 October 2000 (2000-10-06) *

    Cited By (2)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    DE102012220702A1 (en) * 2012-11-13 2014-05-15 Ifm Electronic Gmbh Monitoring system for detecting persons and/or objects in e.g. escalator, has controller that is connected with safety device so as to initiate safety responses
    CN107032223A (en) * 2017-05-04 2017-08-11 苏州大学 The self-start method and its self-starting device of a kind of staircase

    Also Published As

    Publication number Publication date
    CA2393070C (en) 2005-11-15
    US20030007665A1 (en) 2003-01-09
    US6606538B2 (en) 2003-08-12
    CA2393070A1 (en) 2003-01-09
    FR2827051B1 (en) 2003-10-24
    FR2827051A1 (en) 2003-01-10
    JP2003046988A (en) 2003-02-14

    Similar Documents

    Publication Publication Date Title
    CA2393070C (en) Process and system of security video detection for the automatic control of a mechanical system such as a moving sidewalk or moving staircase
    EP2293181B1 (en) Device for verifying the integrity of displayed data and associated method
    FR2486342A1 (en) VIDEO INSPECTION SYSTEM AND METHOD
    WO2020016499A1 (en) Method for coordinating a plurality of device management servers
    EP3958169A1 (en) Facial image processing method and apparatus, computer device, and medium
    EP1313321B1 (en) Method for monitoring an elevator
    FR2684211A1 (en) DEVICE FOR OPERATING INFORMATION RELATING TO FAULTS DETECTED BY ONE OR MORE CENTRAL UNITS OF AN AIRCRAFT.
    EP1390819A1 (en) Predictive diagnostic system in a programmable automaton
    WO2021204772A1 (en) Method and device for document imaging
    EP4340546A1 (en) Method for detecting a malfunction of a luminaire, associated electronic detection device and computer program product
    CA2922591A1 (en) Help system for the implementation of aircraft procedures including a sequence of operations to carried out and associated process
    WO2024165341A1 (en) Method and system for automating camera maintenance operations
    FR2811779A1 (en) DEVICE AND PROCEDURE FOR CONTROL OF OPERATING PROCEDURES
    EP3666664B1 (en) Method and device for optimising testing of systems, in particular of an aircraft
    WO2011098410A1 (en) Device for updating a photometric model
    WO2023118514A1 (en) System for monitoring the movement of passengers in a transport network, and associated method and computer program product
    FR3142430A1 (en) Determination of the closing of railway vehicle doors by audio and/or visual analysis
    FR3063255A1 (en) VEHICLE ANTI-STARTING SYSTEM COMPRISING AN ONBOARD ETHYLOTEST
    EP4065423A2 (en) Method and device for calculating the waiting time before the processors of a vehicle switch to standby
    KR101858625B1 (en) Apparatus and method for detecting window opening of vehicle using room camera
    FR3135948A1 (en) device and method for monitoring a hardware infrastructure
    FR3089312A1 (en) Data correlation method, monitoring method and server for implementing the methods
    FR2757142A1 (en) SYSTEM FOR MONITORING THE OPERATION OF AT LEAST ONE ELEVATOR
    BE1003802A6 (en) TREATMENT PROCESS.
    FR2584510A2 (en) Automation device for quality checking at various stages of the manufacture of a product

    Legal Events

    Date Code Title Description
    PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

    Free format text: ORIGINAL CODE: 0009012

    AK Designated contracting states

    Kind code of ref document: A1

    Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

    AX Request for extension of the european patent

    Free format text: AL;LT;LV;MK;RO;SI

    17P Request for examination filed

    Effective date: 20030215

    RIN1 Information on inventor provided before grant (corrected)

    Inventor name: PONSOT, BERNARD

    Inventor name: GHIBAUDO, GERARD

    Inventor name: DUTERRAGE, JEAN

    AKX Designation fees paid

    Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

    17Q First examination report despatched

    Effective date: 20120910

    REG Reference to a national code

    Ref country code: HK

    Ref legal event code: WD

    Ref document number: 1049988

    Country of ref document: HK

    STAA Information on the status of an ep patent application or granted ep patent

    Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

    18D Application deemed to be withdrawn

    Effective date: 20130122