PROCEDE POUR DETECTER L'OCCUPATION DE SIEGES.
La présente invention concerne un procédé pour détecter dans un lieu, en particulier une salle, quels sièges sont occupés par une personne. L'invention est typiquement applicable dans les salles de cinéma, salles de théâtre, salles d'auditoire, ou dans un avion.
Il existe aujourd'hui différents procédés et dispositifs pour détecter la présence d'une personne dans un siège. La plupart de ceuxci sont basés sur des capteurs de pression incorporés dans les sièges de véhicules (EP1939047, US2008204263). DE10326840 utilise un module d'images et des techniques de traitement d'image pour détecter la présence d'une personne dans le siège d'une voiture. EP1775686A1 utilise également des capteurs de pression incorporés dans les sièges pour détecter l'occupation de sièges dans le cas de cinémas. Un désavantage des procédés basés sur des capteurs incorporés dans les sièges, tels que les capteurs de pression, est qu'ils ne peuvent détecter la présence d'une personne que dans un seul siège. Chaque siège doit donc être modifié et câblé pour installer le senseur.
Le coût total de tels systèmes pour un lieu ayant une multitude de sièges est donc élevé.
Le but de l'invention présente est de détecter l'occupation d'une multitude de sièges dans un lieu tout en gardant le coût du système total largement inférieur au coût des systèmes classiques basés sur des capteurs incorporés dans les sièges. A cette fin un procédé suivant l'invention est caractérisé en ce qu'il comprend les étapes suivantes :
l'acquisition par le moyen d'un module d'image d'au moins une image dudit siège, laquelle image ayant une résolution suffisante pour permettre la détection de ladite personne assise dans ledit siège; l'analyse de I' (des) image(s) par le moyen d'un module de traitement d'image pour déterminer si ledit siège dans l'image est occupé par une personne, et la production d'un état d'occupation dudit siège indiquant en résultat de l'analyse, soit la présence, soit l'absence d'occupation par une personne dudit siège;
la communication dudit état d'occupation à une unité de gestion par le moyen d'un module de communication.
La présente invention est donc basée sur l'usage de la technique d'analyse d'images pour détecter la présence de personnes dans un siège.
Dans le cas de l'invention présente on se limite aux lieux avec une pluralité de sièges orientés vers un point central tel qu'une scène, un écran ou sont disposés le long d'un corridor central, comme c'est la cas dans un avion. Une salle dans le cas de l'invention est donc typiquement une salle de cinéma, salle de théâtre, une salle d'auditoire. Pour des raisons de clarté l'exemple décrit ci-dessous sera limité à une salle, mais il va de soi que l'invention n'est pas limitée à une salle et peut être utilisée dans tout lieu où plusieurs personnes sont réunies et assises dans un siège, comme par exemple des salles, des avions, des autobus, des trains, etc..
Description détaillée de l'invention
Dans la littérature scientifique il existe une pluralité de techniques de traitement d'image pour détecter certains objets. Souvent le nom de reconnaissance d'objets est utilisé pour désigner l'ensemble de ces techniques. Quelques exemples typiques d'objets qui peuvent être détectés sont des visages (Gong, S., McKenna, S., & Psarrou, A. (1999). Dynamic Vision: From Images to Face Récognition. Impérial Collège Press) des chiffres ou lettres (Rice, Nagy, & Nartker. (1999). Optical Character Récognition: An lllustrated Guide to the Frontier. Springer), des véhicules, des personnes (Gravila. (2000). Pedestrian détection from a moving vehicle. Proceedings of the European Conférence on Computer Vision, pp. 37-49). Les méthodes de traitement d'image utilisées pour détecter ces objets sont très variées.
La présente invention utilise ces méthodes pour détecter des sièges et une personne dans un siège. Une liste non exhaustive de ces techniques est : - Template matching Kim, & Araujo. (2007). Grayscale
Template-Matching Invariant to Rotation, Scale, Translation, Brightness and Contrast. IEEE Pacific-Rim Symposium and Image and Video Technology, (pp. 100-113).
- Boosting (Freund, Y. a. (1995). A decision-theoretic generalization of on-line learning and an application to boosting.
Computational Learning Theory: Eurocolt 95, Springer-Verlag , 23-37.
- Réseaux de neurones (Bischop, C. (1995). Neural Networks for Pattem Récognition. Oxford: Oxford University Press. - Méthode des k plus proche voisins Dasarathy, B. V.
(1991). Nearest Neighbor (NN) Norms: NN Pattem Classification Techniques.
- Réseaux bayésien Jensen, F. V. (2001). Bayesian Networks and Décision Graphs. Springer. - Nanda, & davis. (2002). Probabilistic template based pedestrian détection in infrared videos. Proceedings of the Intelligent Vehicles Symposium. IEEE.
- Machines à vecteurs de support Shawe-Taylor, N. C. (2000). An Introduction to Support Vector Machines and other Kemelbased learning methods. Cambridge University Press.
- Viola, & Jones. (2003). Detecting pedestrians using patterns of motion and appearance. Proceedings of the International Conférence on Computer Vision, (pp. 734-741).
- Xu, & Fujirama. (2002). Pedestrian détection and tracking with night vision. Proceedings of the Intelligent Vehicles Symposium.
IEEE. - Arbres de décision Yuan, Y., & Shaw, M. (1995). Induction of fuzzy décision trees. Fuzzy Sets and Systems , pp. 125-139. Figure 1 illustre le procédé suivant l'invention. Celui-ci utilise les modules suivants : - un module de captage d'images (1) qui fait l'acquisition en forme numérique d'une ou plusieurs images des sièges de la salle. Il comprend en outre une ou plusieurs caméras vidéo et est installé dans une position haute dans la salle en sorte que les sièges sont observés par-dessus et la visibilité des personnes dans les sièges est optimale (voire Figure 2).
- un module de traitement d'image (2) qui analyse les images acquises avec le module d'images (1) pour en dériver pour chaque siège s'il est occupé par une personne ou pas.
- un module de communication (3) qui peut communiquer l'état d'occupation de chaque siège de la salle à un utilisateur du procédé.
La figure 2 illustre une position typique du module d'image (1) dans la salle. Ainsi la figure 2a illustre une vue à partir du haut de la salle et la figure 2b une vue de côté de la salle. Les sièges (5) sont tous orientés dans le même sens. Le module d'image (1) est installé dans une position haute, typiquement au plafond de la salle, de telle façon que la visibilité des personnes dans les sièges est optimale. Pour des raisons de simplicité la salle dans l'exemple ci-dessus ne contient que 88 sièges. En pratique le nombre de sièges peut être nettement plus élevé ou même inférieur.
Ainsi, le procédé selon l'invention comprend au moins les étapes suivantes :
1. Acquisition d'images par le moyen d'un module d'images (1). Vu que l'on assume que les sièges sont tous orientés dans la même direction, par exemple vers une scène ou un écran, on peut assurer une vue optimale des personnes assises dans les sièges en s'assurant que le module d'image (1) soit :
- dans une position haute dans la salle, par exemple au plafond (voire Figure 2); - orienté vers les sièges.
Pour assurer une bonne détection des personnes dans les sièges le module de traitement d'images (2) nécessite un nombre suffisant de pixels par siège dans l'image. Ceci implique que la résolution des images générée par le module d'image (1) soit suffisamment grande pour permettre la détection de la personne assise dans le siège. Plus le nombre de sièges à détecter est grand plus la résolution des images doit être grande.
En principe tout dispositif capable de faire une image avec une résolution suffisante et pouvant capter une multitude de sièges dans l'image est un candidat pour être utilisé comme module d'image (1). Le module d'image (1) est donc typiquement, mais non exclusivement, une caméra vidéo ou une caméra photo. Il y a différents types de modules d'image (1) possibles. Evidemment les images formées par certains types de modules sont plus aptes que d'autres. Le module d'images (1) peut faire partie de, mais n'est pas limité aux dispositifs suivants : caméra de surveillance :
La lumière qu'une telle caméra capte se trouve dans le spectre visuel et parfois infra rouge proche. Ces caméras existent en différentes résolutions d'image variant entre la résolution CIF (320 x 240 pixels) et des résolutions avec plusieurs millions de pixels. Pour s'assurer que des personnes puissent être détectées dans le noir complet on peut utiliser un spot émettant de la lumière dans le spectre infra rouge proche.
Celui-ci ne dérange pas les personnes dans la salle car la lumière infra rouge n'est pas visible pour l'oeil humain. On peut dans ce cas considérer d'équiper la caméra avec un filtre passe bande dans le spectre du spot infra rouge. caméra thermique : la lumière captée par une caméra thermique se trouve dans les longueurs d'ondes élevées. L'image d'une telle caméra est alors une représentation de la température des objets dans l'image. Plus la température d'un objet est élevée plus l'objet sera claire dans l'image. Une personne sera typiquement plus chaude que les sièges et donc plus claire dans l'image. Ceci facilite le traitement d'image par le module de traitement d'image (2).
Aujourd'hui la résolution des caméras thermique est également suffisante pour pouvoir capter beaucoup de sièges dans l'image. caméra 3D : une caméra 3D permet de mesurer la distance entre la caméra et les objets dans l'image. Pour faire ceci la caméra émet de la lumière infra rouge modulée vers la scène et capte ensuite la lumière reflétée. La distance vers les objets dans l'image est ensuite calculée en comparant la phase de la lumière émise avec la phase de la lumière reflétée. Ce décalage de phase est en effet une mesure de la distance entre caméra et objets dans l'image. Quand une personne est présente dans un siège la distance mesurée à cet endroit est plus petite que la distance pour le siège vide. Cette information peut alors être utilisée dans le module de traitement d'images (2) pour détecter la présence d'une personne dans un siège.
L'image formée par une caméra 3D est alors une représentation de la distance entre la caméra et les objets dans la scène.
Le module d'images (1) peut consister de plusieurs caméras. La raison pour ceci est d'améliorer les résultats de la détection de personnes par le module de traitement d'image (2). Chaque caméra a en effet ces propriétés qui font que l'image générée est plus appropriée pour être utilisée par le module de traitement d'image (2) dans certaines situations que d'autres caméras. En combinant les résultats de la détection générés par le module de traitement d'image (2) sur différents types de caméras on peut obtenir une détection supérieure qu'avec une seule caméra.
Pour augmenter le nombre de sièges pouvant être détectés sans augmenter la résolution du module d'image on peut considérer d'avoir un module d'image mobile. Ceci est une technique souvent utilisée dans des applications de surveillance. On utilise alors des caméras montées sur un module PTZ (pan, tilt & zoom). Ces modules permettent par le moyen de moteurs électriques de changer l'orientation de la caméra dans la direction voulue et éventuellement changer le zoom de la caméra. Le module d'image peut ainsi prendre différentes images de différentes parties de la salle. Les séquences de mouvement du mécanisme PTZ peuvent être programmées dans un ordinateur et ensuite effectuées par cet ordinateur.
Si les images captées ne sont pas en forme numérique le module d'image transforme les images en forme numérique.
2. Analyse des images par le module de traitement d'image (2)
Le module de traitement d'image (2), typiquement un ordinateur, est connecté au module d'images (1) de façon à avoir accès aux images générées par le module d'images (1). Le but du module de traitement d'image (2) est principalement de déduire des images quels sont les sièges occupés par une personne. Les images disponibles sont en forme numérique ce qui signifie qu'elles sont représentées par une matrice de valeurs. Ces valeurs correspondent aux valeurs des pixels des images générées par le module d'image (1).
Le module de traitement d'image utilise des techniques mathématiques sur ces images pour déterminer quels sièges dans l'image sont occupés par une personne.
On remarque que le module de traitement d'image (2) peut être intégré dans le module d'image (1). Le résultat du module de traitement d'image (2) est que pour chaque siège une décision est prise si une personne est présente dans le siège ou pas.
3. Communication des résultats de détection par le moyen d'un module de communication (3)
Le module de communication (3), typiquement un ordinateur, est connecté au module de traitement d'image (2) et permet à un utilisateur du procédé de l'invention d'avoir accès aux résultats de la détection générés par le module de traitement d'image (2). Pour chaque siège et à chaque moment l'utilisateur pourra ainsi savoir si le siège est occupé par une personne ou pas.
On remarque que le module de communication (3) peut être intégré dans le module de traitement d'image (2).
Le procédé, sujet de l'invention, a plusieurs avantages en comparaison avec les procédés classiques basés sur des capteurs incorporés dans les sièges :
détection pour un grand nombre de sièges : les capteurs incorporés dans les sièges utilisés dans les procédés classiques ne peuvent faire la détection que pour un seul siège. Le procédé de l'invention présente peut détecter la présence de personnes pour une multitude de sièges en même temps. Le coût par siège du nouveau procédé est alors nettement inférieur au coût par siège pour les procédés classiques.
détection non intrusive : le procédé de l'invention présente ne nécessite pas de changement physique des sièges contrairement aux procédés basés sur des capteurs incorporés dans les sièges qui impliquent l'installation d'un senseur dans chaque siège.
coût de câblage réduit : dans le cas de systèmes classiques l'effort de câblage pour centraliser les signaux des capteurs pour tous les sièges est signifiant. Dans le cas du procédé de l'invention le câblage est réduit à la connexion entre le module d'images (1), le module de traitement d'images (2) et le module de communication (3).
durée de vie supérieure : l'humidité et d'autres facteurs environnementaux font que la durée de vie de systèmes basés sur des capteurs incorporés dans les sièges, comme les capteurs de pression, est limitée. Les modules (1), (2) et (3) du procédé de l'invention présente sont soumis à des effets environnementaux nettement moins sévères. On peut donc garantir une durée de vie plus élevée.
METHOD FOR DETECTING THE OCCUPANCY OF SEATS.
The present invention relates to a method for detecting in a place, in particular a room, which seats are occupied by a person. The invention is typically applicable in theaters, theaters, auditoriums, or in an airplane.
There are now various methods and devices for detecting the presence of a person in a seat. Most of these are based on pressure sensors incorporated in the vehicle seats (EP1939047, US2008204263). DE10326840 uses an image module and image processing techniques to detect the presence of a person in the seat of a car. EP1775686A1 also uses pressure sensors incorporated in the seats to detect seat occupancy in the case of cinemas. A disadvantage of processes based on sensors incorporated in the seats, such as pressure sensors, is that they can detect the presence of a person in only one seat. Each seat must be modified and wired to install the sensor.
The total cost of such systems for a place with a multitude of seats is therefore high.
The object of the present invention is to detect the occupation of a multitude of seats in a place while keeping the cost of the total system much lower than the cost of conventional systems based on sensors incorporated in the seats. For this purpose, a method according to the invention is characterized in that it comprises the following steps:
acquisition by means of an image module of at least one image of said seat, which image having a resolution sufficient to allow detection of said person sitting in said seat; analyzing the image (s) by means of an image processing module to determine whether said seat in the image is occupied by a person, and producing a state of occupation the seat indicating, as a result of the analysis, the presence or absence of occupation by a person of that seat;
communicating said occupation state to a management unit by means of a communication module.
The present invention is therefore based on the use of the image analysis technique to detect the presence of people in a seat.
In the case of the present invention, it is limited to places with a plurality of seats oriented towards a central point such as a scene, a screen or are arranged along a central corridor, as is the case in a plane. A room in the case of the invention is therefore typically a movie theater, theater room, an audience room. For the sake of clarity the example described below will be limited to a room, but it goes without saying that the invention is not limited to a room and can be used in any place where several people are gathered and seated in a room. a seat, such as rooms, planes, buses, trains, etc.
Detailed description of the invention
In the scientific literature there is a plurality of image processing techniques for detecting certain objects. Often the object recognition name is used to designate all of these techniques. Some typical examples of objects that can be detected are faces (Gong, S., McKenna, S., & Psarrou, A. (1999) Dynamic Vision: From Images to Face Recognition, Imperial College Press) Figures or Letters (Rice, Nagy, & Nartker, 1999. Optical Character Recognition: An Illustrated Guide to the Frontier, Springer), Vehicles, People (Gravila, (2000) .Pedestrian Detection from a Moving Vehicle. on Computer Vision, pp. 37-49). The image processing methods used to detect these objects are very varied.
The present invention uses these methods to detect seats and a person in a seat. A non-exhaustive list of these techniques is: - Template matching Kim, & Araujo. (2007). Grayscale
Template-Matching Invariant to Rotation, Scale, Translation, Brightness and Contrast. IEEE Pacific-Rim Symposium and Image and Video Technology, (pp. 100-113).
- Boosting (Freund, Y. a., 1995) A decision-theoretic generalization of on-line learning and an application to boosting.
Computational Learning Theory: Eurocolt 95, Springer-Verlag, 23-37.
- Neural Networks (Bischop, C. (1995), Neural Networks for Pattem Recognition, Oxford: Oxford University Press, K-nearest neighbor method, Dasarathy, B. V.
(1991). Nearest Neighbor (NN) Norms: NN Pattem Technical Classification.
- Bayesian Networks Jensen, F. V. (2001). Bayesian Networks and Decision Graphs. Springer. - Nanda, & davis. (2002). Probabilistic template based pedestrian detection in infrared videos. Proceedings of the Intelligent Vehicles Symposium. IEEE.
- Support vector machines Shawe-Taylor, N. C. (2000). An Introduction to Support Vector Machines and other Kemelbased learning methods. Cambridge University Press.
- Viola, & Jones. (2003). Detecting pedestrians using patterns of motion and appearance. Proceedings of the International Conference on Computer Vision, (pp. 734-741).
- Xu, & Fujirama. (2002). Pedestrian detection and tracking with night vision. Proceedings of the Intelligent Vehicles Symposium.
IEEE. - Decision trees Yuan, Y., & Shaw, M. (1995). Induction of fuzzy decision trees. Fuzzy Sets and Systems, pp. 125-139. Figure 1 illustrates the process according to the invention. It uses the following modules: - an image capture module (1) which acquires in digital form one or more images of the seats of the room. It also includes one or more video cameras and is installed in a high position in the room so that the seats are observed above and the visibility of people in the seats is optimal (see Figure 2).
- an image processing module (2) which analyzes the images acquired with the image module (1) to derive for each seat if it is occupied by a person or not.
- A communication module (3) that can communicate the occupation status of each seat of the room to a user of the method.
Figure 2 illustrates a typical position of the image module (1) in the room. Thus Figure 2a shows a view from the top of the room and Figure 2b shows a side view of the room. The seats (5) are all oriented in the same direction. The image module (1) is installed in a high position, typically on the ceiling of the room, so that the visibility of people in the seats is optimal. For reasons of simplicity the room in the example above contains only 88 seats. In practice the number of seats can be significantly higher or even lower.
Thus, the method according to the invention comprises at least the following steps:
1. Acquisition of images by means of an image module (1). Since it is assumed that the seats are all oriented in the same direction, for example towards a stage or a screen, it is possible to ensure an optimal view of the persons sitting in the seats by ensuring that the image module (1 ) is :
- in a high position in the room, for example the ceiling (see Figure 2); - oriented towards the seats.
To ensure proper detection of people in the seats the image processing module (2) requires a sufficient number of pixels per seat in the image. This implies that the image resolution generated by the image module (1) is large enough to allow detection of the person sitting in the seat. The greater the number of seats to be detected, the greater the resolution of the images.
In principle any device capable of imaging with sufficient resolution and capturing a multitude of seats in the image is a candidate to be used as an image module (1). The image module (1) is typically, but not exclusively, a video camera or a photo camera. There are different types of image modules (1) possible. Obviously the images formed by some types of modules are more suitable than others. The image module (1) may be part of, but not limited to, the following devices: surveillance camera:
The light that such a camera captures is in the visual spectrum and sometimes near infrared. These cameras exist in different image resolutions varying between CIF resolution (320 x 240 pixels) and resolutions with several million pixels. To ensure that people can be detected in complete darkness, a spot emitting light in the near infrared spectrum can be used.
This one does not disturb the people in the room because the infrared light is not visible for the human eye. In this case, we can consider equipping the camera with a bandpass filter in the spectrum of the infrared spot. thermal camera: the light captured by a thermal camera is in the long wavelengths. The image of such a camera is then a representation of the temperature of the objects in the image. The higher the temperature of an object, the clearer the object will be in the image. A person will typically be warmer than the seats and therefore clearer in the picture. This facilitates image processing by the image processing module (2).
Today the resolution of thermal cameras is also sufficient to capture many seats in the image. 3D camera: A 3D camera measures the distance between the camera and the objects in the image. To do this the camera emits modulated infrared light to the scene and then captures the reflected light. The distance to the objects in the image is then calculated by comparing the phase of the emitted light with the phase of the reflected light. This phase shift is indeed a measure of the distance between camera and objects in the image. When a person is present in a seat the distance measured at this point is smaller than the distance for the empty seat. This information can then be used in the image processing module (2) to detect the presence of a person in a seat.
The image formed by a 3D camera is then a representation of the distance between the camera and the objects in the scene.
The image module (1) can consist of several cameras. The reason for this is to improve the results of the detection of persons by the image processing module (2). Indeed, each camera has these properties that make the generated image more suitable for use by the image processing module (2) in certain situations than other cameras. By combining the detection results generated by the image processing module (2) on different types of cameras, higher detection can be obtained than with a single camera.
To increase the number of seats that can be detected without increasing the resolution of the image module, it may be considered to have a mobile image module. This is a technique often used in surveillance applications. We then use cameras mounted on a PTZ module (pan, tilt & zoom). These modules allow by means of electric motors to change the orientation of the camera in the desired direction and possibly change the zoom of the camera. The image module can take different images of different parts of the room. The movement sequences of the PTZ mechanism can be programmed into a computer and then performed by that computer.
If the captured images are not in digital form, the image module transforms the images into digital form.
2. Analysis of images by the image processing module (2)
The image processing module (2), typically a computer, is connected to the image module (1) so as to have access to the images generated by the image module (1). The purpose of the image processing module (2) is mainly to deduce images which are the seats occupied by a person. Available images are in digital form meaning they are represented by a matrix of values. These values correspond to the pixel values of the images generated by the image module (1).
The image processing module uses mathematical techniques on these images to determine which seats in the image are occupied by a person.
Note that the image processing module (2) can be integrated in the image module (1). The result of the image processing module (2) is that for each seat a decision is made if a person is present in the seat or not.
3. Communication of the detection results by means of a communication module (3)
The communication module (3), typically a computer, is connected to the image processing module (2) and allows a user of the method of the invention to have access to the detection results generated by the processing module of image (2). For each seat and at every moment the user will be able to know if the seat is occupied by a person or not.
Note that the communication module (3) can be integrated in the image processing module (2).
The method, subject of the invention, has several advantages in comparison with conventional methods based on sensors incorporated in the seats:
detection for a large number of seats: the sensors incorporated in the seats used in conventional processes can only detect for one seat. The method of the present invention can detect the presence of people for a multitude of seats at the same time. The cost per seat of the new process is then much lower than the cost per seat for conventional processes.
non-intrusive detection: the method of the present invention does not require a physical change of the seats unlike the processes based on sensors incorporated in the seats which involve the installation of a sensor in each seat.
reduced cabling cost: in the case of conventional systems the cabling effort to centralize sensor signals for all seats is significant. In the case of the method of the invention, the wiring is reduced to the connection between the image module (1), the image processing module (2) and the communication module (3).
longer service life: Moisture and other environmental factors mean that the life of systems based on sensors incorporated in the seats, such as pressure sensors, is limited. Modules (1), (2) and (3) of the process of the present invention are subject to much less severe environmental effects. We can therefore guarantee a longer life.