EP4022584A1 - Monitoring apparatus, monitoring arrangement, method, computer program and storage medium - Google Patents

Monitoring apparatus, monitoring arrangement, method, computer program and storage medium

Info

Publication number
EP4022584A1
EP4022584A1 EP20764058.2A EP20764058A EP4022584A1 EP 4022584 A1 EP4022584 A1 EP 4022584A1 EP 20764058 A EP20764058 A EP 20764058A EP 4022584 A1 EP4022584 A1 EP 4022584A1
Authority
EP
European Patent Office
Prior art keywords
monitoring
evaluation
designed
person
evaluation data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20764058.2A
Other languages
German (de)
French (fr)
Inventor
Gregor Blott
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP4022584A1 publication Critical patent/EP4022584A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/28—Individual registration on entry or exit involving the use of a pass the pass enabling tracking or indicating presence
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/22—Electrical actuation
    • G08B13/24—Electrical actuation by interference with electromagnetic field distribution
    • G08B13/2402—Electronic Article Surveillance [EAS], i.e. systems using tags for detecting removal of a tagged item from a secure area, e.g. tags for detecting shoplifting
    • G08B13/2451—Specific applications combined with EAS
    • G08B13/2454—Checking of authorisation of a person accessing tagged items in an EAS system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/22—Electrical actuation
    • G08B13/24—Electrical actuation by interference with electromagnetic field distribution
    • G08B13/2402—Electronic Article Surveillance [EAS], i.e. systems using tags for detecting removal of a tagged item from a secure area, e.g. tags for detecting shoplifting
    • G08B13/2465—Aspects related to the EAS system, e.g. system components other than tags
    • G08B13/248—EAS system combined with another detection technology, e.g. dual EAS and video or other presence detection system

Definitions

  • Monitoring device monitoring arrangement, procedure,
  • the invention relates to a monitoring device for monitoring and / or evaluating a monitoring area.
  • the surveillance area is monitored by means of a camera arrangement, the camera arrangement being designed to provide surveillance images.
  • the monitoring device has an evaluation device, the evaluation device being designed to accept the monitoring images and being able to detect a person in the monitoring area based on the monitoring images and generating at least one evaluation data record for the person detected.
  • Public areas or business areas are often video-monitored. This monitoring can be used to detect people. In the case of image-based person recognition, it is often not possible to clearly recognize the person. Particularly when using evaluation tasks, such as in retail analytics, however, clear personal information is necessary in order to be able to carry out meaningful analytics.
  • Camera-based systems that allow unambiguous face recognition are often very expensive and difficult to operate. In particular, this requires a large number of cameras in order to detect people from as many perspectives as possible and with a sufficiently good resolution.
  • Usual camera-based Monitoring systems do not meet these requirements.
  • Such camera systems without face recognition have the disadvantage that after a change of clothing the person cannot be recognized as an individual, that is to say that persons can only be recognized within the surveillance area and in a limited period of time.
  • the document DE 102008041 933 A1 which probably represents the closest prior art, describes a monitoring system for the detection and / or tracking of at least one moving monitored object in a monitored area.
  • the surveillance area is accessible via signature locks that a person must pass through.
  • the signature locks have signature sensors that allow the detection of personal features.
  • a person detected in the signature lock is then monitored and / or tracked in the surveillance area on the basis of cameras.
  • the invention relates to a monitoring device for monitoring and / or evaluating a monitoring area with the features of claim 1. Furthermore, the invention relates to a monitoring arrangement with the features of claim 10, a method with the features of claim 12, a computer program with the features of claim 13 and a storage medium with the features of claim 14. Preferred and / or advantageous embodiments of the invention emerge from the subclaims, the description and the accompanying figures.
  • a monitoring device for monitoring and / or evaluating a monitoring area is proposed.
  • the monitoring device is designed, for example, as a handover device.
  • Monitoring is understood to mean, in particular, image and / or video-based monitoring of the monitoring area.
  • tracking, retail analysis or other feature analysis of the monitoring area can be understood as an evaluation.
  • the evaluation is designed as a personal evaluation.
  • the monitoring area is, for example, a building or a Building section.
  • the monitoring area is designed, for example, as a shop, as a sales area, as a train station or airport.
  • the monitoring area can be monitored and / or monitored using a camera arrangement.
  • a plurality of cameras are arranged in the monitoring area.
  • the cameras are in particular part of the camera arrangement.
  • the camera arrangement is designed, for example, for video monitoring of the monitored area.
  • the camera arrangement is also designed to provide surveillance images.
  • the surveillance images can be provided, for example, in the form of a surveillance video.
  • the cameras are arranged in the monitoring area in such a way that they have an overlap of the monitoring sections. It is provided, for example, that a person or an object can be completely monitored and / or tracked in the monitoring area. Alternatively and / or in addition, non-overlapping monitoring sections can also be used in order to reduce the number of cameras.
  • the camera is designed in particular as a camera with a normal lens and / or with a wide-angle lens and / or with a fisheye lens and / or with a panomorphic lens.
  • the camera with a fisheye lens and / or with a panomorphic lens is preferably aligned in such a way that the detection area of the camera is directed downwards.
  • the monitoring area has an identification device and / or an identification device is arranged in the monitoring area.
  • the identification device is designed to determine a global identifier for a person.
  • a global identifier is understood, for example, to be a unique identification or a unique date associated with the person.
  • the global identifier relates to the identity of the person.
  • the identifier for the identification device can be determined by retrieval and / or comparison with an external database.
  • the global identifier is determined by the identification device to belong to the person who is on and / or in interaction with the identification device.
  • the global The identifier can, for example, be a data record belonging to the person.
  • Each person preferably has only a single global identifier.
  • a global identifier is only uniquely assigned to one person at a time.
  • the monitoring device has an evaluation device.
  • the evaluation device can be designed as a hardware module or as a software module.
  • the evaluation device can be coupled with the camera arrangement in terms of data for taking over the surveillance images.
  • the coupling between the camera arrangement and the evaluation device can be a radio or cable-based coupling; in particular, the evaluation device can have a software interface and / or a virtual interface and takeover of the surveillance images.
  • the evaluation device is designed for real-time transfer of the surveillance images from the camera arrangement.
  • the surveillance images of the camera arrangement can be temporarily stored and / or stored in a database, the evaluation device having access to the database and / or the stored surveillance images.
  • the evaluation device is designed to detect a person in the monitoring area based on the monitoring images.
  • the evaluation device is designed to determine the person on the basis of features and / or classifiers.
  • the evaluation device can be designed to detect a movement in the monitoring area based on the monitoring images.
  • the evaluation device is also designed to generate at least one evaluation data set for and / or for the detected person.
  • the evaluation device is designed to generate an evaluation data record for each detected person, the evaluation data record preferably being specific for the respective detected person.
  • the evaluation data record can, for example, contain information about the person, for example features or the monitoring images about the person.
  • the evaluation data record can include an evaluation and / or an analysis of the person in the monitoring area and / or their movement.
  • the evaluation device designed to evaluate the monitoring images of the person based on an evaluation task and to store the result of the evaluation in the evaluation data set.
  • the monitoring device has a fusion device for generating a personalized evaluation data set.
  • the fusion device can be designed as a software or hardware module.
  • the evaluation data set or sets are provided to the fusion device.
  • the fusion device is designed to assign an associated global identifier to the evaluation data record of one or the detected person in order to generate the personalized evaluation data record.
  • the functional device is designed to connect a generated evaluation data record, which has not yet been globally identifiable, to a global identifier.
  • the fusion device is data-technically coupled and / or can be coupled to the identification device, the global identifier being retrievable from the fusion device and / or being made available to the fusion device.
  • the invention is based on the consideration of using a camera arrangement for generating surveillance images and / or making it usable and, based on the surveillance images, carrying out an evaluation of the person in the surveillance area, this surveillance and / or evaluation not yet being personal and / or only is locally identifiable.
  • this not yet global identification of the evaluation is assigned the associated global identifier.
  • a data record is first generated, and then the generated data record is assigned the global identification and / or the global identifier.
  • the evaluation device is designed to generate the analysis data as image-based evaluation data.
  • the evaluation device is designed to evaluate the surveillance images.
  • the evaluation can, for example, represent a feature-based or classification-based evaluation.
  • the evaluation device can be designed to generate the evaluation data based on the monitoring images and additional data, the additional data for example include a room plan, a product and / or goods plan, facility and / or route information.
  • the evaluation device is designed to evaluate the monitoring images as an evaluation data set to determine whether a person is depicted or included and in particular to assign properties to the person and / or to determine properties for this person, for example gender, clothing and / or people, animals or objects being carried.
  • the evaluation device is designed as an evaluation data record comprising a data record including a local ID, for example person 1, a gender, and clothing color.
  • This refinement is based on the consideration of carrying out an evaluation of the monitoring images without the global identifier and of assigning the global identifier to the analysis data and / or the evaluation data record only after the image-based evaluation.
  • the evaluation device is designed to track and / or follow the detected person and / or detected people in the monitoring area.
  • the evaluation device is designed to determine the path, the path and / or the trajectory of the person in the monitoring area.
  • the trajectory can include information about the speed and / or length of stay of the detected person along the path and / or their path in the monitoring area.
  • the evaluation device is also preferably designed to provide the results of the tracking and / or the tracking of the detected person as tracking data.
  • the evaluation data record includes the tracking data. This refinement is based on the consideration of providing a person whose global identifier has not yet been determined and / or assigned for tracking and tracking data based on the monitoring images, the global identifier being assigned only after tracking and / or generation of the tracking data.
  • the evaluation device is designed to carry out a retail analysis based on the monitoring images for the detected person and / or for detected people in the monitoring area.
  • the evaluation device has information about this the product range and / or the arrangement of the products in the monitoring area provided.
  • the evaluation device is also designed to provide the retail analysis generated and / or carried out on the basis of the monitoring images as retail analysis data.
  • the retail analysis data include which products the person purchases, which route and / or length of stay is available for the person, which product he is viewing, acquiring and / or not acquiring, which alternatives he is choosing and / or to which place he is after purchasing a product changes.
  • the fusion device is designed to assign the global identifier to the evaluation data record, which comprises the retail analysis data, the tracking data and / or general evaluation data and / or analysis data.
  • This refinement is based, for example, on the consideration of carrying out a retail analysis for a person based on the surveillance camera recordings without knowing exactly which person is involved, and only after the analysis and / or in the course of the analysis of the evaluation data set the global one Assign identifier.
  • the global identifier includes a personal identity, a name, a year of birth, date of birth, a reference number and / or a customer number.
  • a reference number can, for example, be a passport number such as an identity card or passport number.
  • Reference numbers can also be, for example, credit card numbers, bank details or the number of a central data record.
  • Customer numbers are, for example, numbers that the person owns and / or are assigned to customer loyalty programs.
  • the evaluation device is designed to determine personal features for the detected person. Personal characteristics are, for example: gender, age, ethnicity and / or clothing or the color or contrast of clothing.
  • the evaluation data record preferably includes the optical personal features, the fusion device being designed to determine optical personal features as comparison data based on the monitoring images of the person and / or based on additionally recorded images of the person on the identification device.
  • the identification device comprises a camera for recording the images, optical personal characteristics of the person being determined on the basis of these images.
  • the optical personal features determined by the identification device are in particular of the same type and / or designed in the same way as the optical personal features of the evaluation device.
  • the fusion device is designed, in particular, to carry out and / or determine an association of the global identifier with the evaluation data set based on a comparison of the personal features determined by the identification device with the personal features determined by the evaluation device. For example, the global identifier is assigned to the evaluation data record in which the optical personal features determined by the evaluation device and determined by the fusion device match and / or have a minimum match.
  • This refinement is based on the idea of assigning the global identifier to the evaluation data set by determining optical personal features for the person of the respective global identifier on the identification device, which are compared with the personal features of the persons detected in the monitoring area.
  • assigning the global identifier to the evaluation data set by determining optical personal features for the person of the respective global identifier on the identification device, which are compared with the personal features of the persons detected in the monitoring area.
  • the evaluation device is designed to determine optical personal features, the optical personal features being designed, for example, as described above.
  • the personalized evaluation data record includes, in particular, the optical personal characteristics. For example, information about the current clothing of the respective person and / or his or her person is provided to the evaluation data record Appearance assigned and / or provided.
  • the monitoring device is preferably designed to provide combination data externally, for example to a further monitoring device or a database.
  • the combination data include in particular the optical personal characteristics and the global identifier. This refinement is based on the idea of providing the optical personal features externally, in particular together with the global identifier.
  • a further monitoring device can access the optical personal features so that they can be used on the same day to identify a person, for example it can be assumed that the person will not move and / or change within a certain period of time.
  • the evaluation device is designed to follow and / or track the detected person up to the identification device.
  • the evaluation data record includes the person's information from the determination that he is in the monitoring area and / or that his movement has been determined to the identification device.
  • the optical personal characteristics are determined and the comparison with the optical personal characteristics determined by the evaluation device.
  • the fusion device is designed to assign the global identifier to the evaluation data set of the persons tracked and / or tracked up to the identification device.
  • This refinement is based on the idea of tracking the person until the point where the global identifier can be determined for the first time, in particular by the identification device, the global identifier and evaluation data only then being merged and the evaluation data set thus being assigned the global identifier can be.
  • a monitoring arrangement forms a further object of the invention.
  • the monitoring arrangement comprises the monitoring device.
  • the monitoring arrangement comprises the identification device for determining the global identifier.
  • the monitoring arrangement can use the camera arrangement for imaging Include monitoring of the monitoring area.
  • an arrangement can be provided which, based on monitoring images of a monitoring area and the determination of the global identifier by means of the identification device, enables a personalized evaluation data set to be generated.
  • the identification device is arranged at an exit of the monitoring area and / or of the building.
  • the identification device is designed as a security lock.
  • a security gate can, for example, be a turnstile or a door, with the person having to prove their identity at the security gate.
  • proof of identity can be provided at the security gate using a key, access card or passport.
  • the identification device forms a cash register device.
  • the checkout device is designed as a checkout device with a cashier; alternatively, the checkout device can form a checkout device for personal and / or independent payment and / or cashing.
  • the cash register device is characterized in that the person identifies himself by means of the payment, for example by using personalized means of payment and / or cards.
  • the identification device in particular the cash register device, is designed to determine the global identifier based on a bonus program card and / or a bonus program.
  • bonus programs are customer loyalty programs in which the identification of the person is possible in particular by using the card.
  • the identification device is designed to determine the global identifier based on a payment card or a means of payment.
  • the global identifier and / or the identity of the person can be assigned using the account data.
  • the identification device is designed to determine the global identifier based on radio data from a smart device and / or smartphone. For example, this can be based on the device number of the smart device and / or smartphones, alternatively and / or additionally based on the call number.
  • Another object of the invention is a method for monitoring and / or evaluating a monitoring area. It is provided that a person is detected in the surveillance area based on surveillance images. In particular, the movement and / or the behavior of the person in the surveillance area is analyzed and / or evaluated based on the surveillance images and / or based on additional data. The result of the evaluation and / or the analysis is used in particular to generate an evaluation data set.
  • the method also provides that a global identifier of the person and / or of people in the surveillance area is determined. For example, the global identifier is determined by identifying the person at an identification device in the monitoring area and / or by using means of payment or customer loyalty programs.
  • the method provides, in particular, that the evaluation data record is generated first and that the global identifier is only assigned to it at a later point in time.
  • the invention is based on the consideration that image-based monitoring systems are often designed in such a way that the full identity of the person cannot be determined based thereon. It is often only at a later point in time, for example at security gates or checkout areas, that it is possible to determine the unique identity of the person, in particular in the form of the global identifier.
  • an evaluation data record that is initially generated without the global identifier and only then is assigned the global identifier, an inexpensive and simple generation of personalized evaluation data can be ensured and / or provided.
  • a computer program forms a further subject of the invention.
  • the computer program includes, in particular, a program code.
  • the computer program can in particular be executed on the monitoring device, the monitoring arrangement and / or a computer.
  • the computer program is designed, when executed, to carry out the method as described above.
  • Another object of the invention is a storage medium with the computer program.
  • the computer program is stored on the storage medium.
  • the storage medium forms, in particular, a machine-readable storage medium, for example a floppy disk, a CD, DVD or general storage medium.
  • FIG. 1 exemplary monitoring of a monitoring area with the monitoring device.
  • FIG. 1 shows a monitoring area 1 which is monitored by image and / or video technology by means of a plurality of cameras 2.
  • the monitoring area 1 is designed as a section of a sales area of a department store and / or shop.
  • the monitoring area 1 comprises a plurality of shelves 3 in which goods are arranged.
  • the monitoring area 1 and the shelves 3 are monitored by means of the cameras 2 using images.
  • the surveillance area 1 is preferably continuously monitored by means of the cameras 2.
  • the monitoring area 1 can be entered by people via an entrance 4.
  • the access 4 is designed as a simple door or sliding door. Access to the surveillance area 1 via access 4 is possible for the person in particular without identification and / or disclosure of their identity.
  • the monitoring area 1 can be left by people via an exit 5. In particular, it is ensured that a person cannot leave the monitored area 1 via the entrance 4, but inevitably via the exit 5.
  • a person enters the monitoring area 1 via the access 4 they are captured by at least one camera 2 using images and / or video technology.
  • the person can be recorded by several cameras 2 at the same time.
  • the cameras 2 are preferably part of a camera arrangement.
  • the camera arrangement and / or the cameras 2 are designed to provide monitoring images to a monitoring device 6.
  • the monitoring device 6 can in particular be arranged externally, for example in a control center.
  • the monitoring device is designed, for example, as a computer unit.
  • the evaluation device is designed to generate evaluation data records for persons 7a, b, c and d based on the surveillance images provided and / or recorded by the cameras 2.
  • the evaluation data record of the respective person 7a-d can have a local identifier, for example assigned by means of a counter.
  • the evaluation data set comprises evaluation data and / or analyzes, the evaluations and / or analyzes being image-based and based on the monitoring images from the cameras 2.
  • the evaluation device is designed to determine trajectories 8a-d for each person 7a-d.
  • the person 7a-d is tracked and / or followed in the monitoring area, with their movement path and / or movement profile being stored.
  • the trajectory can include speeds and / or dwell times in the monitoring area.
  • the evaluation and, in particular, the tracking and tracking of the persons 7a-d is carried out by the evaluation device without the uniqueness of the person and / or global identifier.
  • identification devices 9 are arranged in the monitoring area 1.
  • the identification devices 9 form, for example, checkout areas.
  • the person and / or persons 7a-b must be based in the checkout area in order to leave the monitoring area 1.
  • a person who buys articles has to pay for them at the identification device 9.
  • People 7a-d often use electronic means of payment and / or card payments.
  • people 7a-d often use a bonus program and / or customer loyalty program.
  • a global identifier for the person can be determined by the identification device 9 through the payment by means of cards and / or electronic methods and in particular through the use of customer loyalty and / or bonus programs.
  • the global identifier is, for example, the person's name, address and / or date of birth.
  • the global identifier can include a customer number or personal number.
  • the identification device 9 is designed to provide the global identifier externally, in particular to the evaluation device and / or to a fusion device.
  • the fusion device can in particular form a common module together with the evaluation device.
  • the fusion device is also provided with the training data set.
  • the fusion device now carries the still anonymous and / or non-personalized
  • Evaluation data record together with the respective global identifier.
  • the fusion device can determine for this purpose that the trajectory 8a of the person 7a passed the identification device 9 at a certain point in time, so that the global identifier that was determined on this identification device 9 at this point in time is assigned to the evaluation data record of the associated trajectory.
  • the person 7a-b in the checkout area in particular in the vicinity of the identification devices 9, is monitored and / or recorded by video and / or image technology. If the global identifier of a person is established, a video and / or image recording can for example take place at the same time, optical features of the person being determined based on this video and / or image recording. By comparing the optical characteristics of the person determined in this way with the surveillance images and / or the evaluation data records determined by the evaluation device 6, an assignment of the global identifier to the evaluation data record can take place.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

The invention relates to a monitoring apparatus (6) for monitoring and/or evaluating a monitoring region (1), the monitoring region (1) being monitored using image technology by means of a camera arrangement, the camera arrangement being designed to provide monitoring images, the monitoring region (1) having an identification device (9), the identification device (9) being designed to determine a global identifier for a person (7a-d). The monitoring apparatus has: an evaluation device, the evaluation device being couplable to the camera arrangement in order to transfer the monitoring images using data technology, the evaluation device being designed to detect a person (7a-d) in the monitoring region (1) on the basis of the monitoring images and to generate at least one evaluation data set for the detected person (7a-d); and a fusion device for generating a personalized evaluation data set, the fusion device being designed to assign the global identifier associated with the person to the evaluation data set of a detected person (7a-d) in order to generate the personalized evaluation data set.

Description

Beschreibung description
Titel title
Überwachungsvorrichtung, Überwachungsanordnung, Verfahren,Monitoring device, monitoring arrangement, procedure,
Computerprogramm und Speichermedium Computer program and storage medium
Stand der Technik State of the art
Die Erfindung betrifft eine Überwachungsvorrichtung zur Überwachung und/oder zur Auswertung eines Überwachungsbereichs. Der Überwachungsbereich ist mittels einer Kameraanordnung bildtechnisch überwacht, wobei die Kameraanordnung ausgebildet ist, Überwachungsbilder bereitzustellen. Die Überwachungsvorrichtung weist eine Auswerteeinrichtung auf, wobei die Auswerteeinrichtung zur Übernahme der Überwachungsbilder ausgebildet ist und basierend auf den Überwachungsbildern eine Person in Überwachungsbereich detektieren kann und für die detektierte Person mindestens einen Auswertungsdatensatz generiert. The invention relates to a monitoring device for monitoring and / or evaluating a monitoring area. The surveillance area is monitored by means of a camera arrangement, the camera arrangement being designed to provide surveillance images. The monitoring device has an evaluation device, the evaluation device being designed to accept the monitoring images and being able to detect a person in the monitoring area based on the monitoring images and generating at least one evaluation data record for the person detected.
Häufig sind öffentliche Bereiche oder Geschäftsbereiche videoüberwacht. Mittels dieser Überwachung können Personen detektiert werden. Bei der bildbasierten Personenerkennung fehlt häufig die Möglichkeit, die Personen eindeutig wiederzuerkennen. Insbesondere bei der Anwendung von Auswertungsaufgaben, wie beispielsweise in der Retail-Analytik, sind jedoch eindeutige Personeninformationen nötig, um eine aussagekräftige Analytik betreiben zu können. Public areas or business areas are often video-monitored. This monitoring can be used to detect people. In the case of image-based person recognition, it is often not possible to clearly recognize the person. Particularly when using evaluation tasks, such as in retail analytics, however, clear personal information is necessary in order to be able to carry out meaningful analytics.
Kamerabasierte Systeme, die eine eindeutige Gesichtserkennung erlauben, sind häufig sehr teuer und schwer zu betreiben. Insbesondere ist hierzu eine Vielzahl an Kameras nötig, um die Personen von möglichst vielen Perspektiven und in einer genügend guten Auflösung zu detektieren. Übliche kamerabasierte Überwachungssysteme genügen diesen Anforderungen nicht. Solche Kamerasysteme ohne Gesichtswiedererkennung haben den Nachteil, dass nach einem Wechsel der Kleidung die Person als Individuum nicht wiedererkannt werden kann, das heißt das Personen nur innerhalb des Überwachungsbereichs und in einer begrenzten Zeitspanne wiedererkennbar sind. Camera-based systems that allow unambiguous face recognition are often very expensive and difficult to operate. In particular, this requires a large number of cameras in order to detect people from as many perspectives as possible and with a sufficiently good resolution. Usual camera-based Monitoring systems do not meet these requirements. Such camera systems without face recognition have the disadvantage that after a change of clothing the person cannot be recognized as an individual, that is to say that persons can only be recognized within the surveillance area and in a limited period of time.
Die Druckschrift DE 102008041 933 Al, die wohl dem nächstkommenden Stand der Technik bildet, beschreibt ein Überwachungssystem zur Detektion und/oder zur Verfolgung von mindestens einem bewegten Überwachungsobjekt in einem Überwachungsbereich. Der Überwachungsbereich ist zugänglich über Signaturschleusen, die eine Person passieren muss. Die Signaturschleusen weisen Signatursensoren auf, die eine Detektion von Personenmerkmalen erlauben. Eine in der Signaturschleuse detektierte Person wird anschließend im Überwachungsbereich kamerabasiert überwacht und/oder getrackt. The document DE 102008041 933 A1, which probably represents the closest prior art, describes a monitoring system for the detection and / or tracking of at least one moving monitored object in a monitored area. The surveillance area is accessible via signature locks that a person must pass through. The signature locks have signature sensors that allow the detection of personal features. A person detected in the signature lock is then monitored and / or tracked in the surveillance area on the basis of cameras.
Offenbarung der Erfindung Disclosure of the invention
Die Erfindung betrifft eine Überwachungsvorrichtung zur Überwachung und/oder zur Auswertung eines Überwachungsbereichs mit den Merkmalen des Anspruchs 1. Ferner betrifft die Erfindung eine Überwachungsanordnung mit den Merkmalen des Anspruchs 10, ein Verfahren mit den Merkmalen des Anspruchs 12, ein Computerprogramm mit den Merkmalen des Anspruchs 13 und ein Speichermedium mit den Merkmalen des Anspruchs 14. Bevorzugte und/oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der Beschreibung und den beigefügten Figuren. The invention relates to a monitoring device for monitoring and / or evaluating a monitoring area with the features of claim 1. Furthermore, the invention relates to a monitoring arrangement with the features of claim 10, a method with the features of claim 12, a computer program with the features of claim 13 and a storage medium with the features of claim 14. Preferred and / or advantageous embodiments of the invention emerge from the subclaims, the description and the accompanying figures.
Es wird eine Überwachungsvorrichtung zur Überwachung und/oder zur Auswertung eines Überwachungsbereichs vorgeschlagen. Die Überwachungsvorrichtung ist beispielsweise als eine Handover-Vorrichtung ausgebildet. Als Überwachung wird insbesondere eine bild- und/oder videobasierte Überwachung des Überwachungsbereichs verstanden. Als Auswertung kann insbesondere ein Tracking, eine Retail-Analyse oder anderweitige Merkmalsanalyse des Überwachungsbereichs verstanden werden. Im Speziellen ist die Auswertung als eine personengebundene Auswertung ausgebildet. Der Überwachungsbereich ist beispielsweise ein Gebäude oder ein Gebäudeabschnitt. Im Speziellen ist der Überwachungsbereich beispielsweise als ein Laden, als ein Verkaufsbereich, als ein Bahnhof oder Flughafen ausgebildet. A monitoring device for monitoring and / or evaluating a monitoring area is proposed. The monitoring device is designed, for example, as a handover device. Monitoring is understood to mean, in particular, image and / or video-based monitoring of the monitoring area. In particular, tracking, retail analysis or other feature analysis of the monitoring area can be understood as an evaluation. In particular, the evaluation is designed as a personal evaluation. The monitoring area is, for example, a building or a Building section. In particular, the monitoring area is designed, for example, as a shop, as a sales area, as a train station or airport.
Der Überwachungsbereich ist mittels einer Kameraanordnung bildtechnisch überwacht und/oder bildtechnisch überwachbar. Beispielsweise ist in dem Überwachungsbereich eine Mehrzahl an Kameras angeordnet. Die Kameras sind insbesondere Teil der Kameraanordnung. Die Kameraanordnung ist beispielsweise zur videotechnischen Überwachung des Überwachungsbereichs ausgebildet. Die Kameraanordnung ist ferner ausgebildet, Überwachungsbilder bereitzustellen. Die Überwachungsbilder können beispielsweise in Form eines Überwachungsvideos bereitgestellt sein. Im Speziellen ist es vorgesehen, dass die Kameras im Überwachungsbereich so angeordnet sind, dass diese einen Überlapp der Überwachungsabschnitte aufweisen. Dabei ist es beispielsweise vorgesehen, dass eine Person oder ein Gegenstand vollständig im Überwachungsbereich überwachbar und/oder verfolgbar ist. Alternativ und/oder ergänzend können auch nicht überlappende Überwachungsabschnitte verwendet werden um die Anzahl von Kameras zu reduzieren. Die Kamera ist insbesondere als Kamera mit einem Normalobjektiv und/oder mit einem Weitwinkelobjektiv und/oder mit einem Fischaugenobjektiv und/oder mit einem panomorphen Objektiv ausgestaltet. Dabei ist die Kamera mit Fischaugenobjektiv und/oder mit einem panomorphen Objektiv vorzugsweise derart ausgerichtet, dass der Erfassungsbereich der Kamera nach unten gerichtet ist. The monitoring area can be monitored and / or monitored using a camera arrangement. For example, a plurality of cameras are arranged in the monitoring area. The cameras are in particular part of the camera arrangement. The camera arrangement is designed, for example, for video monitoring of the monitored area. The camera arrangement is also designed to provide surveillance images. The surveillance images can be provided, for example, in the form of a surveillance video. In particular, it is provided that the cameras are arranged in the monitoring area in such a way that they have an overlap of the monitoring sections. It is provided, for example, that a person or an object can be completely monitored and / or tracked in the monitoring area. Alternatively and / or in addition, non-overlapping monitoring sections can also be used in order to reduce the number of cameras. The camera is designed in particular as a camera with a normal lens and / or with a wide-angle lens and / or with a fisheye lens and / or with a panomorphic lens. The camera with a fisheye lens and / or with a panomorphic lens is preferably aligned in such a way that the detection area of the camera is directed downwards.
Der Überwachungsbereich weist eine Identifikationseinrichtung auf und/oder eine Identifikationseinrichtung ist im Überwachungsbereich angeordnet. Insbesondere können mehrere Identifikationseinrichtungen im Überwachungsbereich angeordnet sein und/oder dieser solche aufweisen. Die Identifikationseinrichtung ist ausgebildet, einen globalen Identifikator für eine Person zu bestimmen. Als globaler Identifikator wird beispielsweise eine eindeutige Identifikation oder ein eindeutiges Datum zugehörig zur Person verstanden. Beispielsweise betrifft der globale Identifikator die Identität der Person. Beispielsweise kann der Identifikator für die Identifikationseinrichtung durch Abruf und/oder Abgleich mit einer externen Datenbank bestimmt werden. Insbesondere wird von der Identifikationseinrichtung der globale Identifikator bestimmt zugehörig zu der Person, die sich an und /oder in Wechselwirkung mit der Identifikationseinrichtung befindet. Der globale Identifikator kann beispielsweise ein zur Person gehöriger Datensatz sein. Vorzugsweise weist jede Person nur einen einzigen globalen Identifikator auf. Insbesondere ist ein globaler Identifikator jeweils nur einer Person eindeutig zugeordnet. The monitoring area has an identification device and / or an identification device is arranged in the monitoring area. In particular, several identification devices can be arranged in the monitoring area and / or have such. The identification device is designed to determine a global identifier for a person. A global identifier is understood, for example, to be a unique identification or a unique date associated with the person. For example, the global identifier relates to the identity of the person. For example, the identifier for the identification device can be determined by retrieval and / or comparison with an external database. In particular, the global identifier is determined by the identification device to belong to the person who is on and / or in interaction with the identification device. The global The identifier can, for example, be a data record belonging to the person. Each person preferably has only a single global identifier. In particular, a global identifier is only uniquely assigned to one person at a time.
Die Überwachungsvorrichtung weist eine Auswerteeinrichtung auf. Die Auswerteeinrichtung kann als ein Hardware- oder als ein Softwaremodul ausgebildet sein. Die Auswerteeinrichtung ist zur Übernahme der Überwachungsbilder datentechnisch mit der Kameraanordnung koppelbar. Die Kopplung zwischen Kameraanordnung und Auswerteeinrichtung kann eine funk- oder eine kabelgebundene Kopplung sein, insbesondere kann die Auswerteeinrichtung eine Softwareschnittstelle und/oder virtuelle Schnittstelle und Übernahme der Überwachungsbilder aufweisen. Insbesondere kann es vorgesehen sein, dass die Auswerteeinrichtung zur Realtime-Übernahme der Überwachungsbilder von der Kameraanordnung ausgebildet ist. Alternativ und/oder ergänzend können die Überwachungsbilder der Kameraanordnung zwischengespeichert und/oder in einer Datenbank hinterlegt sein, wobei die Auswerteeinrichtung Zugriff auf die Datenbank und /oder die hinterlegten Überwachungsbilder hat. The monitoring device has an evaluation device. The evaluation device can be designed as a hardware module or as a software module. The evaluation device can be coupled with the camera arrangement in terms of data for taking over the surveillance images. The coupling between the camera arrangement and the evaluation device can be a radio or cable-based coupling; in particular, the evaluation device can have a software interface and / or a virtual interface and takeover of the surveillance images. In particular, it can be provided that the evaluation device is designed for real-time transfer of the surveillance images from the camera arrangement. Alternatively and / or in addition, the surveillance images of the camera arrangement can be temporarily stored and / or stored in a database, the evaluation device having access to the database and / or the stored surveillance images.
Die Auswerteeinrichtung ist ausgebildet, basierend auf den Überwachungsbildern eine Person im Überwachungsbereich zu detektieren. Beispielsweise ist die Auswerteeinrichtung ausgebildet die Person anhand von Merkmalen und/oder Klassifikatoren zu bestimmen. Insbesondere kann die Auswerteeinrichtung ausgebildet sein, eine Bewegung im Überwachungsbereich basierend auf den Überwachungsbildern zu Detektieren. Die Auswerteeinrichtung ist ferner ausgebildet für und/oder zu der detektierten Person mindestens einen Auswertungsdatensatz zu generieren. Insbesondere ist die Auswerteeinrichtung ausgebildet für jede detektierte Person einen Auswertungsdatensatz zu generieren, wobei der Auswertungsdatensatz vorzugsweise spezifisch für die jeweilige detektierte Person ist. Der Auswertungsdatensatz kann beispielsweise eine Information zur Person aufweisen, beispielsweise Merkmale oder die Überwachungsbilder zur Person. Ferner kann der Auswertungsdatensatz eine Auswertung und/oder einer Analyse der Person im Überwachungsbereich und/oder deren Bewegung umfassen. Beispielsweise ist die Auswerteeinrichtung ausgebildet, basierend auf einer Auswertungsaufgabe die Überwachungsbilder zur Person auszuwerten und das Ergebnis der Auswertung im Auswertungsdatensatz zu hinterlegen. The evaluation device is designed to detect a person in the monitoring area based on the monitoring images. For example, the evaluation device is designed to determine the person on the basis of features and / or classifiers. In particular, the evaluation device can be designed to detect a movement in the monitoring area based on the monitoring images. The evaluation device is also designed to generate at least one evaluation data set for and / or for the detected person. In particular, the evaluation device is designed to generate an evaluation data record for each detected person, the evaluation data record preferably being specific for the respective detected person. The evaluation data record can, for example, contain information about the person, for example features or the monitoring images about the person. Furthermore, the evaluation data record can include an evaluation and / or an analysis of the person in the monitoring area and / or their movement. For example, the evaluation device designed to evaluate the monitoring images of the person based on an evaluation task and to store the result of the evaluation in the evaluation data set.
Die Überwachungsvorrichtung weist eine Fusionseinrichtung zur Generierung eines personalisierten Auswertungsdatensatzes auf. Die Fusionseinrichtung kann als ein Software- oder Hardwaremodul ausgebildet sein. Der Fusionseinrichtung sind insbesondere der oder die Auswertungsdatensätze bereitgestellt. Die Fusionseinrichtung ist ausgebildet, zur Generierung des personalisierten Auswertungsdatensatz dem Auswertungsdatensatz einer oder der detektierten Person einen zugehörigen globalen Identifikator zuzuordnen. Die Funktionseinrichtung ist dabei ausgebildet, einen erzeugten Auswertungsdatensatz, der bisher noch nicht global identifizierbar ist, mit einem globalen Identifikator zu verbinden. Insbesondere ist die Fusionseinrichtung datentechnisch mit der Identifikationseinrichtung gekoppelt und/oder koppelbar, wobei der globale Identifikator von der Fusionseinrichtung abrufbar ist und/oder dieser der Fusionseinrichtung bereitgestellt ist. The monitoring device has a fusion device for generating a personalized evaluation data set. The fusion device can be designed as a software or hardware module. In particular, the evaluation data set or sets are provided to the fusion device. The fusion device is designed to assign an associated global identifier to the evaluation data record of one or the detected person in order to generate the personalized evaluation data record. The functional device is designed to connect a generated evaluation data record, which has not yet been globally identifiable, to a global identifier. In particular, the fusion device is data-technically coupled and / or can be coupled to the identification device, the global identifier being retrievable from the fusion device and / or being made available to the fusion device.
Der Erfindung liegt die Überlegung zu gründe, eine Kameraanordnung zur Generierung von Überwachungsbildern zu verwenden und/oder verwendbar zu machen und basierend auf den Überwachungsbildern eine Auswertung der Person im Überwachungsbereich durchzuführen, wobei diese Überwachung und/oder Auswertung noch nicht personengebunden ist und/oder nur lokal identifizierbar ist. Mittels der Fusionseinrichtung wird dieser noch nicht globalen Identifikation der Auswertung der zugehörige globale Identifikator zugeordnet. Somit wird erst ein Datensatz generiert, und anschließend den generierten Datensatz die globale Identifikation und/oder der globale Identifikator zugeordnet. The invention is based on the consideration of using a camera arrangement for generating surveillance images and / or making it usable and, based on the surveillance images, carrying out an evaluation of the person in the surveillance area, this surveillance and / or evaluation not yet being personal and / or only is locally identifiable. By means of the fusion device, this not yet global identification of the evaluation is assigned the associated global identifier. Thus, a data record is first generated, and then the generated data record is assigned the global identification and / or the global identifier.
Eine Ausgestaltung der Erfindung sieht vor, dass die Auswerteeinrichtung ausgebildet ist, die Analysedaten als bildbasierte Auswertungsdaten zu generieren. Beispielsweise ist die Auswerteeinrichtung ausgebildet, die Überwachungsbilder auszuwerten. Die Auswertung kann beispielsweise eine merkmals- oder klassifikationbasierte Auswertung darstellen. Insbesondere kann die Auswerteeinrichtung ausgebildet sein, die Auswertungsdaten basierend auf den Überwachungsbildern und Zusatzdaten zu generieren, wobei die Zusatzdaten beispielsweise einen Raumplan, einen Produkt- und/oder Warenplan, Einrichtungs- und/oder Wegführungsinformationen umfassen. Beispielsweise ist die Auswerteeinrichtung ausgebildet, als Auswertungsdatensatz die Überwachungsbilder auszuwerten, ob eine Person abgebildet oder umfasst ist und insbesondere der Person Eigenschaften zuzuordnen und/oder Eigenschaften für diese Person zu bestimmen, beispielsweise Geschlecht, Kleidung und/oder mitgeführte Personen, Tiere oder Objekte. Beispielsweise ist die Auswerteeinrichtung ausgebildet als Auswertungsdatensatz einen Datensatz umfassend eine lokale ID, beispielsweise Person 1, ein Geschlecht, und Kleidungsfarbe. Diese Ausgestaltung liegt die Überlegung zugrunde, eine Auswertung der Überwachungsbilder ohne den globalen Identifikator durchzuführen, und erst nach der bildbasierten Auswertung den Analysedaten und/oder dem Auswertungsdatensatz den globalen Identifikator zuzuordnen. One embodiment of the invention provides that the evaluation device is designed to generate the analysis data as image-based evaluation data. For example, the evaluation device is designed to evaluate the surveillance images. The evaluation can, for example, represent a feature-based or classification-based evaluation. In particular, the evaluation device can be designed to generate the evaluation data based on the monitoring images and additional data, the additional data for example include a room plan, a product and / or goods plan, facility and / or route information. For example, the evaluation device is designed to evaluate the monitoring images as an evaluation data set to determine whether a person is depicted or included and in particular to assign properties to the person and / or to determine properties for this person, for example gender, clothing and / or people, animals or objects being carried. For example, the evaluation device is designed as an evaluation data record comprising a data record including a local ID, for example person 1, a gender, and clothing color. This refinement is based on the consideration of carrying out an evaluation of the monitoring images without the global identifier and of assigning the global identifier to the analysis data and / or the evaluation data record only after the image-based evaluation.
Optional ist es vorgesehen, dass die Auswerteeinrichtung ausgebildet ist, die detektierte Person und/oder detektierte Personen im Überwachungsbereich zu tracken und/oder zu verfolgen. Beispielsweise ist die Auswerteeinrichtung ausgebildet, den Pfad, den Weg und/oder die Trajektorie der Person im Überwachungsbereich zu bestimmen. Beispielsweise kann die Trajektorie Informationen über Geschwindigkeit und/oder Verweildauer der detektierten Person entlang des Pfades und/oder ihres Weges im Überwachungsbereich umfassen. Die Auswerteeinrichtung ist ferner vorzugsweise ausgebildet, die Ergebnisse des Trackens und/oder des Verfolgens der detektierten Person als Trackingdaten bereitzustellen. Dabei ist es insbesondere Vorgesehen, dass der Auswertungsdatensatz die Trackingdaten umfasst. Dieser Ausgestaltung liegt die Überlegung zugrunde, basierend auf den Überwachungsbildern eine Person deren globaler Identifikator noch nicht bestimmt und/ oder zugeordnet ist, zu Tracken und Trackingdaten bereitzustellen, wobei erst nach dem Tracken und/oder Generierung der Trackingdaten der globale Identifikator zugeordnet wird. It is optionally provided that the evaluation device is designed to track and / or follow the detected person and / or detected people in the monitoring area. For example, the evaluation device is designed to determine the path, the path and / or the trajectory of the person in the monitoring area. For example, the trajectory can include information about the speed and / or length of stay of the detected person along the path and / or their path in the monitoring area. The evaluation device is also preferably designed to provide the results of the tracking and / or the tracking of the detected person as tracking data. In particular, it is provided that the evaluation data record includes the tracking data. This refinement is based on the consideration of providing a person whose global identifier has not yet been determined and / or assigned for tracking and tracking data based on the monitoring images, the global identifier being assigned only after tracking and / or generation of the tracking data.
Insbesondere ist es vorgesehen, dass die Auswerteeinrichtung ausgebildet ist, basierend auf den Überwachungsbildern für die detektierte Person und/oder für detektierte Personen im Überwachungsbereich eine Retail-Analyse durchzuführen. Beispielsweise ist der Auswerteeinrichtung dazu Information über das Produktsortiment und/oder die Anordnung der Produkte im Überwachungsbereich bereitgestellt. In particular, it is provided that the evaluation device is designed to carry out a retail analysis based on the monitoring images for the detected person and / or for detected people in the monitoring area. For example, the evaluation device has information about this the product range and / or the arrangement of the products in the monitoring area provided.
Die Auswerteeinrichtung ist ferner ausgebildet, die auf Basis der Überwachungsbilder generierte und/oder durchgeführte Retail-Analyse als Retail- Analysedaten bereitzustellen. Beispielsweise umfassen die Retail-Analysedaten, welche Produkte die Person erwirbt, welchen Weg und/oder Verweildauern für die Person vorliegt, welches Produkt er betrachtet, erwirbt und/oder nicht erwirbt, welche Alternativen er wählt und/oder zu welchem Ort er nach einem Produktkauf wechselt. Die Fusionseinrichtung ist ausgebildet, dem Auswertungsdatensatz, der die Retail-Analysedaten, die Trackingdaten und/oder allgemeinen Auswertedaten und/oder Analysedaten umfasst, den globalen Identifikator zuzuordnen. Dieser Ausgestaltung liegt beispielsweise die Überlegung zugrunde, für eine Person basiert auf den Überwachungskameraaufnahmen eine Retail-Analyse durchzuführen, ohne noch zu wissen, um welche Person es sich genau handelt, und erst nach der Analyse und/oder im Verlauf der Analyse dem Auswertungsdatensatz den globalen Identifikator zuzuordnen. The evaluation device is also designed to provide the retail analysis generated and / or carried out on the basis of the monitoring images as retail analysis data. For example, the retail analysis data include which products the person purchases, which route and / or length of stay is available for the person, which product he is viewing, acquiring and / or not acquiring, which alternatives he is choosing and / or to which place he is after purchasing a product changes. The fusion device is designed to assign the global identifier to the evaluation data record, which comprises the retail analysis data, the tracking data and / or general evaluation data and / or analysis data. This refinement is based, for example, on the consideration of carrying out a retail analysis for a person based on the surveillance camera recordings without knowing exactly which person is involved, and only after the analysis and / or in the course of the analysis of the evaluation data set the global one Assign identifier.
Eine Ausgestaltung der Erfindung sieht vor, dass der globale Identifikator eine Personenidentität, einen Namen, ein Geburtsjahr, Geburtsdatum, eine Referenznummer und/oder eine Kundennummer umfasst. Beispielsweise kann als Personenidentität Vor- und Nachname der Person, insbesondere zusammen mit dem Geburtsjahr verstanden werden. Eine Referenznummer kann beispielsweise eine Passnummer wie Personalausweis- oder Reisepassnummer sein. Ferner können Referenznummern beispielsweise Kreditkartennummern, Bankverbindungsdaten oder Nummer eines zentralen Datensatzes sein. Kundennummern sind beispielsweise Nummern, die die Person zu Kundenbindungsprogrammen besitz und/oder dieser zugeordnet sind. Diese Ausgestaltung liegt die Überlegung zugrunde, als personalisierten Auswertungsdatensatz einen Datensatz bereitstellen zu können, der neben der erfolgten Analyse eindeutige Informationen zur Personenidentität aufweist, die insbesondere betreiberübergreifend, länderübergreifend und/oder global aussagekräftig sind. Besonders bevorzugt ist es, dass die Auswerteeinrichtung ausgebildet ist, für die detektierte Person, Personenmerkmale zu bestimmen. Personenmerkmale sind zum Beispiel: Geschlecht, Alter, Ethnie und/oder Kleidung beziehungsweise Farbe oder Kontrast der Kleidung. Der Auswertungsdatensatz umfasst vorzugsweise die optischen Personenmerkmale, wobei die Fusionseinrichtung ausgebildet ist, basierend auf den Überwachungsbildern der Person und/oder basierend auf zusätzlich aufgenommen Bilder der Person an der Identifikationseinrichtung optische Personenmerkmale als Vergleichsdaten zu bestimmen. Beispielsweise umfasst die Identifikationseinrichtung eine Kamera zur Aufnahme der Bilder, wobei anhand dieser Bilder optische Personenmerkmale der Person bestimmt werden. Die von der Identifikationseinrichtung bestimmten optischen Personenmerkmalen sind insbesondere gleicher Art und/oder gleichartig ausgebildet wie die optischen Personenmerkmale der Auswerteeinrichtung. Die Fusionseinrichtung ist insbesondere ausgebildet, basierend auf einem Vergleich der von der Identifikationseinrichtung bestimmten Personenmerkmale mit den Personenmerkmalen bestimmt von der Auswerteeinrichtung eine Zuordnung des globalen Identifikators zum Auswertungsdatensatz durchzuführen und/oder zu bestimmen. Beispielsweise wird der globale Identifikator dem Auswertungsdatensatz zugeordnet, bei dem die optischen Personenmerkmale bestimmt von der Auswerteeinrichtung und bestimmt von der Fusionseinrichtung übereinstimmen und/oder eine Mindestübereinstimmung aufweisen. Diese Ausgestaltung liegt die Überlegung zugrunde, eine Zuordnung des globalen Identifikators zum Auswertungsdatensatz dadurch durchzuführen, dass für die Person des jeweiligen globalen Identifikators an der Identifikationseinrichtung optische Personenmerkmale bestimmt werden, die mit Personenmerkmalen der detektierten Personen im Überwachungsbereich abgeglichen werden. Insbesondere wird so eine zuverlässige, einfache und kostengünstige Zuordnung vom globalen Identifikator zu Auswertungsdatensatz ermöglicht. One embodiment of the invention provides that the global identifier includes a personal identity, a name, a year of birth, date of birth, a reference number and / or a customer number. For example, the first and last name of the person, especially together with the year of birth, can be understood as the personal identity. A reference number can, for example, be a passport number such as an identity card or passport number. Reference numbers can also be, for example, credit card numbers, bank details or the number of a central data record. Customer numbers are, for example, numbers that the person owns and / or are assigned to customer loyalty programs. This refinement is based on the idea of being able to provide a data record as a personalized evaluation data record which, in addition to the analysis carried out, has clear information on personal identity that is particularly meaningful across operators, across countries and / or globally. It is particularly preferred that the evaluation device is designed to determine personal features for the detected person. Personal characteristics are, for example: gender, age, ethnicity and / or clothing or the color or contrast of clothing. The evaluation data record preferably includes the optical personal features, the fusion device being designed to determine optical personal features as comparison data based on the monitoring images of the person and / or based on additionally recorded images of the person on the identification device. For example, the identification device comprises a camera for recording the images, optical personal characteristics of the person being determined on the basis of these images. The optical personal features determined by the identification device are in particular of the same type and / or designed in the same way as the optical personal features of the evaluation device. The fusion device is designed, in particular, to carry out and / or determine an association of the global identifier with the evaluation data set based on a comparison of the personal features determined by the identification device with the personal features determined by the evaluation device. For example, the global identifier is assigned to the evaluation data record in which the optical personal features determined by the evaluation device and determined by the fusion device match and / or have a minimum match. This refinement is based on the idea of assigning the global identifier to the evaluation data set by determining optical personal features for the person of the respective global identifier on the identification device, which are compared with the personal features of the persons detected in the monitoring area. In particular, a reliable, simple and inexpensive assignment of the global identifier to the evaluation data set is made possible in this way.
Eine Ausgestaltung der Erfindung sieht vor, dass die Auswerteeinrichtung ausgebildet ist, optische Personenmerkmale zu bestimmen, wobei die optischen Personenmerkmale beispielsweise wie oben beschrieben ausgeführt sind. Der personalisierte Auswertungsdatensatz umfasst insbesondere die optischen Personenmerkmale. Beispielsweise werden dem Auswertungsdatensatz so Informationen über die aktuelle Kleidung der jeweiligen Person und/oder dessen Aussehen zugeordnet und/oder bereitgestellt. Die Überwachungsvorrichtung ist vorzugsweise ausgebildet Kombinationsdaten nach extern bereitzustellen, beispielsweise einer weiteren Überwachungsvorrichtung oder einer Datenbank. Die Kombinationsdaten umfassen insbesondere die optischen Personenmerkmale und den globalen Identifikator. Dieser Ausgestaltung liegt die Überlegung zugrunde, die optischen Personenmerkmale nach extern bereitzustellen, insbesondere zusammen mit dem globalen Identifikator. Beispielsweise kann eine weitere Überwachungsvorrichtung auf die optischen Personenmerkmale zugreifen, sodass diese beispielsweise am selben Tag nutzbar sind um eine Person zu identifizieren, beispielsweise kann davon ausgegangen werden, dass sich die Person innerhalb einer gewissen Zeitspanne nicht umzieht und/oder verändert. One embodiment of the invention provides that the evaluation device is designed to determine optical personal features, the optical personal features being designed, for example, as described above. The personalized evaluation data record includes, in particular, the optical personal characteristics. For example, information about the current clothing of the respective person and / or his or her person is provided to the evaluation data record Appearance assigned and / or provided. The monitoring device is preferably designed to provide combination data externally, for example to a further monitoring device or a database. The combination data include in particular the optical personal characteristics and the global identifier. This refinement is based on the idea of providing the optical personal features externally, in particular together with the global identifier. For example, a further monitoring device can access the optical personal features so that they can be used on the same day to identify a person, for example it can be assumed that the person will not move and / or change within a certain period of time.
Optional ist es vorgesehen, dass die Auswerteeinrichtung ausgebildet ist, die detektierte Person bis zur Identifikationseinrichtung zu verfolgen und oder zu tracken. Beispielsweise umfasst der Auswertungsdatensatz die Informationen der Person von der Feststellung, dass diese in dem Überwachungsbereich ist und/oder deren Bewegung festgestellt wurde bis hin zu der Identifikationseinrichtung. An der Identifikationseinrichtung erfolgt dann beispielsweise die Bestimmung der optischen Personenmerkmale und der Abgleich mit den optischen Personenmerkmalen ermittelt durch die Auswerteeinrichtung. Die Fusionseinrichtung ist ausgebildet, dem Auswertungsdatensatz der bis zur Identifikationseinrichtung verfolgten und oder getrackten Personen den globalen Identifikator zuzuordnen. Dieser Ausgestaltung liegt die Überlegung zugrunde, die Person bis dahin zu verfolgen, wo erstmalig der globale Identifikator bestimmt werden kann, insbesondere von der Identifikationseinrichtung, wobei die Fusion von globalen Identifikator und Auswertungsdaten erst dann erfolgt und so den bis daher hingesammelten Auswertungsdatensatz der globale Identifikator zugeordnet werden kann. It is optionally provided that the evaluation device is designed to follow and / or track the detected person up to the identification device. For example, the evaluation data record includes the person's information from the determination that he is in the monitoring area and / or that his movement has been determined to the identification device. At the identification device, for example, the optical personal characteristics are determined and the comparison with the optical personal characteristics determined by the evaluation device. The fusion device is designed to assign the global identifier to the evaluation data set of the persons tracked and / or tracked up to the identification device. This refinement is based on the idea of tracking the person until the point where the global identifier can be determined for the first time, in particular by the identification device, the global identifier and evaluation data only then being merged and the evaluation data set thus being assigned the global identifier can be.
Einen weiteren Gegenstand der Erfindung bildet eine Überwachungsanordnung. Die Überwachungsanordnung umfasst die Überwachungsvorrichtung. Ferner umfasst die Überwachungsanordnung die Identifikationseinrichtung zur Bestimmung des globalen Identifikators. Insbesondere kann die Überwachungsanordnung die Kameraanordnung zur bildtechnischen Überwachung des Überwachungsbereichs umfassen. Mit der Überwachungsanordnung ist insbesondere eine Anordnung bereitstellbar, die basierend auf Überwachungsbildern eines Überwachungsbereichs und der Feststellung des globalen Identifikators mittels der Identifikationseinrichtung die Generierung eines personalisierten Auswertungsdatensatzes ermöglicht. Insbesondere ist die Identifikationseinrichtung an einem Ausgang des Überwachungsbereichs und/oder des Gebäudes angeordnet. A monitoring arrangement forms a further object of the invention. The monitoring arrangement comprises the monitoring device. Furthermore, the monitoring arrangement comprises the identification device for determining the global identifier. In particular, the monitoring arrangement can use the camera arrangement for imaging Include monitoring of the monitoring area. With the monitoring arrangement, in particular, an arrangement can be provided which, based on monitoring images of a monitoring area and the determination of the global identifier by means of the identification device, enables a personalized evaluation data set to be generated. In particular, the identification device is arranged at an exit of the monitoring area and / or of the building.
Eine Ausgestattung der Erfindung sieht vor, dass die Identifikationseinrichtung als eine Personenschleuse ausgebildet ist. Eine Personenschleuse kann beispielsweise ein Drehkreuz oder eine Tür sein, wobei an der Personenschleuse die Person ihre Identität nachweisen muss. Beispielsweise kann der Identitätsnachweis an der Personenschleuse mittels eines Schlüssels, Zugangskarte oder Passes erfolgen. Besonders bevorzugt ist es, dass die Identifikationseinrichtung eine Kasseneinrichtung bildet. Beispielsweise ist die Kasseneinrichtung als Kasseneinrichtung mit Kassierer ausgebildet, alternativ kann die Kasseneinrichtung eine Kasseneinrichtung zur personenlosen und/oder selbstständigen Zahlung und/oder Kassieren bilden. Insbesondere ist die Kasseneinrichtung dadurch gekennzeichnet, dass sich die Person mittels der Zahlung identifiziert, beispielsweise durch Verwendung personifizierter Zahlungsmittel und/oder Karten. One feature of the invention provides that the identification device is designed as a security lock. A security gate can, for example, be a turnstile or a door, with the person having to prove their identity at the security gate. For example, proof of identity can be provided at the security gate using a key, access card or passport. It is particularly preferred that the identification device forms a cash register device. For example, the checkout device is designed as a checkout device with a cashier; alternatively, the checkout device can form a checkout device for personal and / or independent payment and / or cashing. In particular, the cash register device is characterized in that the person identifies himself by means of the payment, for example by using personalized means of payment and / or cards.
Besonders bevorzugt ist es, dass die Identifikationseinrichtung ausgebildet ist, insbesondere die Kasseneinrichtung, den globalen Identifikator basierend auf eine Bonusprogrammkarte und/oder einem Bonusprogramm zu bestimmen. Beispielsweise sind Bonusprogramme Kundenbindungsprogramme, bei denen insbesondere durch Verwendung der Karte die Identifizierung der Person möglich ist. Ferner kann es vorgesehen sein, dass die Identifikationseinrichtung ausgebildet ist dem globalen Identifikator basierend auf einer Zahlungskarte oder eines Zahlungsmittels zu bestimmen. Beispielsweise kann die Zuordnung des globalen Identifikators und/oder der Identität der Person anhand der Kontodaten erfolgen. Insbesondere kann es vorgesehen sein, dass die Identifikationseinrichtung ausgebildet ist, den globalen Identifikator basierend auf Funkdaten eines Smartgerätes und/oder Smartphones zu bestimmen. Beispielsweise kann dies basierend auf der Gerätenummer des Smartgerätes und/oder Smartphones erfolgen, alternativ und/oder ergänzend basierend auf der Rufnummer. It is particularly preferred that the identification device, in particular the cash register device, is designed to determine the global identifier based on a bonus program card and / or a bonus program. For example, bonus programs are customer loyalty programs in which the identification of the person is possible in particular by using the card. Furthermore, it can be provided that the identification device is designed to determine the global identifier based on a payment card or a means of payment. For example, the global identifier and / or the identity of the person can be assigned using the account data. In particular, it can be provided that the identification device is designed to determine the global identifier based on radio data from a smart device and / or smartphone. For example, this can be based on the device number of the smart device and / or smartphones, alternatively and / or additionally based on the call number.
Einen weiteren Gegenstand der Erfindung bildet ein Verfahren zur Überwachung und/oder Auswertung eines Überwachungsbereichs. Dabei ist es vorgesehen, dass basierend auf Überwachungsbildern eine Person im Überwachungsbereich detektiert wird. Insbesondere wird die Bewegung und/oder das Verhalten der Person im Überwachungsbereich basierend auf den Überwachungsbildern und/oder basierend auf Zusatzdaten analysiert und/oder ausgewertet. Das Ergebnis der Auswertung und/oder der Analyse wird insbesondere zur Generierung eines Auswertungsdatensatzes verwendet. Das Verfahren sieht ferner vor, dass ein globaler Identifikator der Person und/oder von Personen im Überwachungsbereich bestimmt wird. Beispielsweise wird durch ein Ausweisen der Person an einer Identifikationseinrichtung im Überwachungsbereich und/oder durch Verwendung von Zahlungsmitteln oder Kundenbindungsprogrammen, der globale Identifikator bestimmt. Das Verfahren sieht dabei insbesondere vor, dass erst der Auswertungsdatensatz generiert wird und diesem erst zu einem späteren Zeitpunkt der globale Identifikator zugeordnet wird. Another object of the invention is a method for monitoring and / or evaluating a monitoring area. It is provided that a person is detected in the surveillance area based on surveillance images. In particular, the movement and / or the behavior of the person in the surveillance area is analyzed and / or evaluated based on the surveillance images and / or based on additional data. The result of the evaluation and / or the analysis is used in particular to generate an evaluation data set. The method also provides that a global identifier of the person and / or of people in the surveillance area is determined. For example, the global identifier is determined by identifying the person at an identification device in the monitoring area and / or by using means of payment or customer loyalty programs. The method provides, in particular, that the evaluation data record is generated first and that the global identifier is only assigned to it at a later point in time.
Der Erfindung liegt die Überlegung zugrunde, dass bildbasierte Überwachungen häufig so ausgebildet sind, dass darauf basierend nicht die volle Identität der Person bestimmbar ist. Häufig ist erst zu einem späteren Zeitpunkt beispielsweise an Personenschleusen oder Kassenbereichen, ist möglich die eindeutige Identität der Person, insbesondere in Form des globalen Identifikators zu bestimmen. Durch das generieren eines Auswertungsdatensatzes der vorerst noch ohne den globalen Identifikator generiert wird und erst anschließend der globale Identifikator zugeordnet wird, kann eine günstige und einfache Generierung von personalisierten Auswertungsdaten gewährleistet und/oder bereitgestellt werden. The invention is based on the consideration that image-based monitoring systems are often designed in such a way that the full identity of the person cannot be determined based thereon. It is often only at a later point in time, for example at security gates or checkout areas, that it is possible to determine the unique identity of the person, in particular in the form of the global identifier. By generating an evaluation data record that is initially generated without the global identifier and only then is assigned the global identifier, an inexpensive and simple generation of personalized evaluation data can be ensured and / or provided.
Einen weiteren Gegenstand der Erfindung bildet ein Computerprogramm. Das Computerprogramm umfasst insbesondere einen Programmcode. Das Computerprogramm ist insbesondere ausführbar auf der Überwachungsvorrichtung, der Überwachungsanordnung und/oder einem Computer. Das Computerprogramm ist ausgebildet, bei Ausführung, das Verfahren wie vorher beschrieben durchzuführen. Einen weiteren Gegenstand der Erfindung bildet ein Speichermedium mit dem Computerprogramm. Das Computerprogramm ist auf dem Speichermedium gespeichert. Das Speichermedium bildet insbesondere ein maschinenlesbares Speichermedium, beispielsweise eine Diskette, eine CD, DVD oder allgemeines Speichermedium. A computer program forms a further subject of the invention. The computer program includes, in particular, a program code. The computer program can in particular be executed on the monitoring device, the monitoring arrangement and / or a computer. The computer program is designed, when executed, to carry out the method as described above. Another object of the invention is a storage medium with the computer program. The computer program is stored on the storage medium. The storage medium forms, in particular, a machine-readable storage medium, for example a floppy disk, a CD, DVD or general storage medium.
Weitere Vorteile, Wirkungen und Ausgestaltungen der Erfindung ergeben sich aus der Figur und dessen Beschreibung. Dabei zeigt: Further advantages, effects and configurations of the invention emerge from the figure and its description. It shows:
Figur 1: beispielhafte Überwachung eines Überwachungsbereichs mit der Überwachungsvorrichtung. FIG. 1: exemplary monitoring of a monitoring area with the monitoring device.
Figur 1 zeigt einen Überwachungsbereich 1 der mittels einer Mehrzahl an Kameras 2 bild- und/oder videotechnisch überwacht ist. Der Überwachungsbereich 1 ist als ein Abschnitt eines Verkaufsbereiches eines Kaufhauses und/oder Ladens ausgebildet. Der Überwachungsbereich 1 umfasst eine Mehrzahl an Regalen 3 in welchem Waren angeordnet sind. Der Überwachungsbereich 1 und die Regale 3 werden mittels der Kameras 2 bildtechnisch überwacht. Mittels der Kameras 2 ist vorzugsweise der Überwachungsbereich 1 lückenlos überwacht. FIG. 1 shows a monitoring area 1 which is monitored by image and / or video technology by means of a plurality of cameras 2. The monitoring area 1 is designed as a section of a sales area of a department store and / or shop. The monitoring area 1 comprises a plurality of shelves 3 in which goods are arranged. The monitoring area 1 and the shelves 3 are monitored by means of the cameras 2 using images. The surveillance area 1 is preferably continuously monitored by means of the cameras 2.
Der Überwachungsbereich 1 ist über einen Zugang 4 von Personen betretbar. Beispielsweise ist der Zugang 4 als eine einfache Tür oder Schiebetür ausgebildet. Der Zugang zum Überwachungsbereich 1 über den Zugang 4 ist für die Person insbesondere ohne Ausweis und/oder Bekanntgabe ihrer Identität möglich. Der Überwachungsbereich 1 ist über einen Ausgang 5 für die Personen verlassbar. Insbesondere ist es sichergestellt, dass eine Person nicht über den Zugang 4 den Überwachungsbereich 1 verlassen kann sondern zwangsläufig über den Ausgang 5. The monitoring area 1 can be entered by people via an entrance 4. For example, the access 4 is designed as a simple door or sliding door. Access to the surveillance area 1 via access 4 is possible for the person in particular without identification and / or disclosure of their identity. The monitoring area 1 can be left by people via an exit 5. In particular, it is ensured that a person cannot leave the monitored area 1 via the entrance 4, but inevitably via the exit 5.
Betritt eine Person über den Zugang 4 den Überwachungsbereich 1 wird sie von mindestens einer Kamera 2 bildtechnisch und/oder videotechnisch erfasst. If a person enters the monitoring area 1 via the access 4, they are captured by at least one camera 2 using images and / or video technology.
Insbesondere kann das Erfassen der Person von mehreren Kameras 2 gleichzeitig erfolgen. Die Kameras 2 sind vorzugsweise Teil einer Kameraanordnung. Die Kameraanordnung und/oder die Kameras 2 sind ausgebildet Überwachungsbilder an eine Überwachungsvorrichtung 6 bereitzustellen. Die Überwachungsvorrichtung 6 kann insbesondere extern angeordnet sein, beispielsweise in einer Zentrale. Die Überwachungsvorrichtung ist beispielsweise als eine Rechnereinheit ausgebildet. In particular, the person can be recorded by several cameras 2 at the same time. The cameras 2 are preferably part of a camera arrangement. The The camera arrangement and / or the cameras 2 are designed to provide monitoring images to a monitoring device 6. The monitoring device 6 can in particular be arranged externally, for example in a control center. The monitoring device is designed, for example, as a computer unit.
Die Auswerteeinrichtung ist ausgebildet, basierend auf den Überwachungsbildern, bereitgestellt und/oder aufgenommen durch die Kameras 2 für Personen 7a, b, c und d Auswertungsdatensätze zu generieren. Beispielsweise kann der Auswertungsdatensatz der jeweiligen Person 7a-d einen lokalen Identifikator, beispielsweise zugeordnet mittels eines Zählers, aufweisen. Insbesondere umfasst der Auswertungsdatensatz Auswertungsdaten und/oder Analysen, wobei die Auswertungen und/oder Analysen bildbasiert ausgebildet sind und auf den Überwachungsbildern der Kameras 2 basieren. The evaluation device is designed to generate evaluation data records for persons 7a, b, c and d based on the surveillance images provided and / or recorded by the cameras 2. For example, the evaluation data record of the respective person 7a-d can have a local identifier, for example assigned by means of a counter. In particular, the evaluation data set comprises evaluation data and / or analyzes, the evaluations and / or analyzes being image-based and based on the monitoring images from the cameras 2.
Die Auswerteeinrichtung ist ausgebildet für die Personen 7a-d jeweils Trajektorien 8a-d zu bestimmen. Dazu wird die Person 7a-d im Überwachungsbereich getrackt und/oder verfolgt, wobei deren Bewegungspfad und/oder Bewegungsprofil gespeichert wird. Beispielsweise kann die Trajektorie Geschwindigkeiten und/oder Verweildauern im Überwachungsbereich umfassen. Die Auswertung und im Speziellen das Verfolgen und Tracken der Personen 7a-d erfolgt durch die Auswerteeinrichtung ohne Eindeutigkeit der Person und/oder globalen Identifikator. The evaluation device is designed to determine trajectories 8a-d for each person 7a-d. For this purpose, the person 7a-d is tracked and / or followed in the monitoring area, with their movement path and / or movement profile being stored. For example, the trajectory can include speeds and / or dwell times in the monitoring area. The evaluation and, in particular, the tracking and tracking of the persons 7a-d is carried out by the evaluation device without the uniqueness of the person and / or global identifier.
Im Ausgangsbereich nahe des Ausgangs 5 sind im Überwachungsbereich 1 Identifikationseinrichtungen 9 angeordnet. Die Identifikationseinrichtungen 9 bilden beispielsweise Kassenbereiche. Die Person und/oder die Personen 7a-b müssen um den Überwachungsbereich 1 zu verlassen den Kassenbereich basieren. Eine Person die Artikel kauft, muss an der Identifikationseinrichtung 9 diese bezahlen. Häufig verwenden Personen 7a-d hierbei elektronische Zahlungsmittel und/oder Kartenzahlung. Ferner wird von Personen 7a-d häufig ein Bonusprogramm und/oder Kundenbindungsprogramm angewendet. Durch die Zahlung mittels Karten und/oder elektronischen Verfahren und im Speziellen durch die Verwendung von Kundenbindungs- und/oder Bonusprogrammen kann von der Identifikationseinrichtung 9 ein globaler Identifikator der Person bestimmt werden. Der globale Identifikator ist beispielsweise Name, Anschrift und/oder Geburtsdaten der Person. Ferner kann der globale Identifikator eine Kundennummer oder Personennummer umfassen. Die Identifikationseinrichtung 9 ist ausgebildet den globalen Identifikator nach extern bereitzustellen, insbesondere an die Auswerteeinrichtung und/oder an eine Fusionseinrichtung. Die Fusionseinrichtung kann insbesondere zusammen mit der Auswerteeinrichtung ein gemeinsames Modul bilden. In the exit area near the exit 5, identification devices 9 are arranged in the monitoring area 1. The identification devices 9 form, for example, checkout areas. The person and / or persons 7a-b must be based in the checkout area in order to leave the monitoring area 1. A person who buys articles has to pay for them at the identification device 9. People 7a-d often use electronic means of payment and / or card payments. Furthermore, people 7a-d often use a bonus program and / or customer loyalty program. A global identifier for the person can be determined by the identification device 9 through the payment by means of cards and / or electronic methods and in particular through the use of customer loyalty and / or bonus programs. The global identifier is, for example, the person's name, address and / or date of birth. Furthermore, the global identifier can include a customer number or personal number. The identification device 9 is designed to provide the global identifier externally, in particular to the evaluation device and / or to a fusion device. The fusion device can in particular form a common module together with the evaluation device.
Der Fusionseinrichtung ist ferner der Ausbildungsdatensatz bereitgestellt. Die Fusionseinrichtung führt nun den noch anonymen und/oder nicht personifiziertenThe fusion device is also provided with the training data set. The fusion device now carries the still anonymous and / or non-personalized
Auswertungsdatensatz mit dem jeweiligen globalen Identifikator zusammen. Beispielsweise kann hierzu die Fusionseinrichtung feststellen, dass die Trajektorie 8a der Person 7a zu einem gewissen Zeitpunkt an der Identifikationseinrichtung 9 vorbeiführte, sodass der globale Identifikator der zu diesem Zeitpunkt an dieser Identifikationseinrichtung 9 bestimmt wurde, dem Auswertungsdatensatz der zugehörigen Trajektorie zugeordnet wird. Alternativ und/oder ergänzend kann es vorgesehen sein, dass die Person 7a-b im Kassenbereich, insbesondere in der Nähe der Identifikationseinrichtungen 9 Video- und/oder bildtechnisch überwacht und/oder aufgenommen wird. Wird der globale Identifikator einer Person festgestellt, kann beispielsweise gleichzeitig eine Video- und oder Bildaufnahme erfolgen, wobei basierend auf dieser Video- und/oder Bildaufnahme optische Merkmale der Person bestimmt werden. Durch einen Abgleich der so bestimmten optischen Merkmale der Person mit den Überwachungsbildern und/oder den Auswertungsdatensätzen bestimmt durch die Auswerteeinrichtung 6, kann eine Zuordnung vom globalen Identifikator zum Auswertungsdatensatz erfolgen. Evaluation data record together with the respective global identifier. For example, the fusion device can determine for this purpose that the trajectory 8a of the person 7a passed the identification device 9 at a certain point in time, so that the global identifier that was determined on this identification device 9 at this point in time is assigned to the evaluation data record of the associated trajectory. Alternatively and / or in addition, it can be provided that the person 7a-b in the checkout area, in particular in the vicinity of the identification devices 9, is monitored and / or recorded by video and / or image technology. If the global identifier of a person is established, a video and / or image recording can for example take place at the same time, optical features of the person being determined based on this video and / or image recording. By comparing the optical characteristics of the person determined in this way with the surveillance images and / or the evaluation data records determined by the evaluation device 6, an assignment of the global identifier to the evaluation data record can take place.

Claims

Ansprüche Expectations
1. Überwachungsvorrichtung (6) zur Überwachung und/oder Auswertung eines Überwachungsbereichs (1), wobei der Überwachungsbereich (1) mittels einer Kameraanordnung bildtechnisch überwacht ist, wobei die Kameraanordnung ausgebildet ist, Überwachungsbilder bereitzustellen, wobei der Überwachungsbereich (1) eine Identifikationseinrichtung (9) aufweist, wobei die Identifikationseinrichtung (9) ausgebildet ist, für eine Person (7a-d) einen globalen Identifikator zu bestimmen, mit einer Auswerteeinrichtung, wobei die Auswerteeinrichtung zur Übernahme der Überwachungsbilder datentechnisch mit der Kameraanordnung koppelbar ist, wobei die Auswerteeinrichtung ausgebildet ist, basierend auf den Überwachungsbildern eine Person (7a-d) im Überwachungsbereich (1) zu detektieren und für die detektierte Person (7a-d) mindestens einen Auswertungsdatensatz zu generieren, gekennzeichnet durch eine Fusionseinrichtung zur Generierung eines personalisierten Auswertungsdatensatzes, wobei die Fusionseinrichtung ausgebildet ist, zur Generierung des personalisierten Auswertungsdatensatzes dem Auswertungsdatensatz einer detektierten Person (7a-d) den zur Person gehörigen globalen Identifikator zuzuordnen. 1. Monitoring device (6) for monitoring and / or evaluating a monitoring area (1), the monitoring area (1) being monitored by means of a camera arrangement, the camera arrangement being designed to provide monitoring images, the monitoring area (1) having an identification device (9 ), wherein the identification device (9) is designed to determine a global identifier for a person (7a-d), with an evaluation device, wherein the evaluation device can be coupled to the camera arrangement in terms of data technology for taking over the surveillance images, the evaluation device being designed based on the surveillance images, to detect a person (7a-d) in the surveillance area (1) and to generate at least one evaluation data set for the detected person (7a-d), characterized by a fusion device for generating a personalized evaluation data set, wherein the fusion device is designed to assign the global identifier belonging to the person to the evaluation data record of a detected person (7a-d) in order to generate the personalized evaluation data record.
2. Überwachungsvorrichtung (6) nach Anspruch 1, dadurch gekennzeichnet, dass die Auswerteeinrichtung ausgebildet ist, den Auswertungsdatensatz basierend auf einer bildbasierten Auswertung der Überwachungsbilder zu generieren. 2. Monitoring device (6) according to claim 1, characterized in that the evaluation device is designed to generate the evaluation data set based on an image-based evaluation of the monitoring images.
3. Überwachungsvorrichtung (6) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auswerteeinrichtung ausgebildet ist, die detektierte Person (7a-d) im Überwachungsbereich zu tracken und als Trackingdaten bereitzustellen, wobei der Auswertungsdatensatz die Trackingdaten umfasst. 3. Monitoring device (6) according to claim 1 or 2, characterized in that the evaluation device is designed to track the detected person (7a-d) in the monitoring area and to provide them as tracking data, the evaluation data set comprising the tracking data.
4. Überwachungsvorrichtung (6) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung ausgebildet ist, basierend auf den Überwachungsbildern für die detektierte Person (7a-d) eine Retail-Analyse durchzuführen und als Retailanalysedaten bereitzustellen, wobei der Auswertungsdatensatz die Retailanalysedaten umfasst. 4. Monitoring device (6) according to one of the preceding claims, characterized in that the evaluation device is designed to carry out a retail analysis based on the monitoring images for the detected person (7a-d) and to provide it as retail analysis data, the evaluation data set comprising the retail analysis data .
5. Überwachungsvorrichtung (6) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der globale Identifikator eine Personenidentität, einen Namen, ein Geburtsjahr, eine Referenznummer und/oder eine Kundennummer umfasst. 5. Monitoring device (6) according to one of the preceding claims, characterized in that the global identifier comprises a personal identity, a name, a year of birth, a reference number and / or a customer number.
6. Überwachungsvorrichtung (6) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung ausgebildet ist, optische Personenmerkmale zu bestimmen, wobei der Auswertungsdatensatz die optischen Personenmerkmale umfasst, wobei die Fusionseinrichtung ausgebildet ist, basierend auf Bildern der Person an der6. Monitoring device (6) according to one of the preceding claims, characterized in that the evaluation device is designed to determine optical personal features, the evaluation data set comprising the optical personal features, wherein the fusion device is designed based on images of the person on the
Identifikationseinrichtung (9) optische Personenmerkmale als Vergleichsdaten zu bestimmen, wobei die Fusionseinrichtung ausgebildet ist, basierend auf einem Vergleich der Vergleichsdaten mit dem Auswertungsdatensatz und/oder mit den Auswertungsdatensätzen den globalen Identifikator dem entsprechenden Auswertungsdatensatz zuzuordnen. Identification device (9) to determine optical personal features as comparison data, the fusion device being designed to assign the global identifier to the corresponding evaluation data set based on a comparison of the comparison data with the evaluation data set and / or with the evaluation data sets.
7. Überwachungsvorrichtung (6) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung ausgebildet ist, optische Personenmerkmale zu bestimmen, wobei der personalisierte7. Monitoring device (6) according to one of the preceding claims, characterized in that the evaluation device is designed to determine optical personal features, the personalized
Auswertungsdatensatz die optischen Personenmerkmale umfasst, wobei die Überwachungsvorrichtung (6) ausgebildet ist, den personalisiertenEvaluation data set comprises the optical personal characteristics, the monitoring device (6) being designed to be the personalized
Auswertungsdatensatz nach extern bereitzustellen. Provide evaluation data set externally.
8. Überwachungsvorrichtung (6) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung ausgebildet, ist die detektierte Person (7a-d) bis zu der Identifikationseinrichtung (9) zu verfolgen und/oder zu tracken, wobei die Fusionseinrichtung ausgebildet ist, dem Auswertungsdatensatz der bis zur Identifikationseinrichtung (9) verfolgten Person (7a-d) den globalen Identifkator zuzuordnen. 8. Monitoring device (6) according to one of the preceding claims, characterized in that the evaluation device is designed to track and / or track the detected person (7a-d) up to the identification device (9), the fusion device being designed to assign the global identifier to the evaluation data record of the person (7a-d) tracked up to the identification device (9).
9. Überwachungsanordnung umfassend die Überwachungsvorrichtung (6) nach einem der vorherigen Ansprüche und die Identifikationseinrichtung (9) zur Bestimmung des globalen Identifikators. 9. Monitoring arrangement comprising the monitoring device (6) according to one of the preceding claims and the identification device (9) for determining the global identifier.
10. Überwachungsanordnung nach Anspruch 9, dadurch gekennzeichnet, dass die Identifikationseinrichtung (9) eine Personenschleuse und/oder eine Kasseneinrichtung bildet. 10. Monitoring arrangement according to claim 9, characterized in that the identification device (9) forms a security lock and / or a till device.
11. Überwachungsanordnung nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass die Identifikationseinrichtung (9) ausgebildet ist, den globalen Identifikator basierend auf einer Bonusprogrammkarte, einer Zahlungskarte, einem elektronischen Zahlungsverfahren und/oder Funkdaten eines Smartgerätes der Person zu bestimmen. 11. Monitoring arrangement according to claim 9 or 10, characterized in that the identification device (9) is designed to determine the global identifier based on a bonus program card, a payment card, an electronic payment method and / or radio data of a smart device of the person.
12. Verfahren zur Überwachung und/oder Auswertung eines Überwachungsbereichs (1), wobei basierend auf Überwachungsbildern eine Person (7a-d) im Überwachungsbereich (1) detektiert wird, wobei für die detektierte Person (7a-d) ein Auswertungsdatensatz generiert wird, wobei ein globaler Identifikator der Person (7a-d) bestimmt wird, wobei dem generierten Auswertungsdatensatz der globale Identifikator zugeordnet wird. 12. A method for monitoring and / or evaluating a monitoring area (1), a person (7a-d) being detected in the monitoring area (1) based on monitoring images, an evaluation data set being generated for the detected person (7a-d), wherein a global identifier of the person (7a-d) is determined, the global identifier being assigned to the generated evaluation data record.
13. Computerprogramm zur Ausführung auf einer Rechnereinheit, insbesondere der Überwachungseinrichtung (6) nach einem der Ansprüche 1 bis 8, wobei das Computerprogramm ausgebildet ist, bei Ausführung auf der Rechnereinheit, das Verfahren nach Anspruch 10 durchzuführen und/oder zu bewirken. 13. Computer program for execution on a computer unit, in particular the monitoring device (6) according to one of claims 1 to 8, wherein the computer program is designed to carry out and / or effect the method according to claim 10 when executed on the computer unit.
14. Maschinenlesbares Speichermedium, wobei auf dem maschinenlesbaren Speichermedium das Computerprogramm nach Anspruch 13 gespeichert ist. 14. Machine-readable storage medium, the computer program according to claim 13 being stored on the machine-readable storage medium.
EP20764058.2A 2019-08-29 2020-08-25 Monitoring apparatus, monitoring arrangement, method, computer program and storage medium Pending EP4022584A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019213037.2A DE102019213037A1 (en) 2019-08-29 2019-08-29 Monitoring device, monitoring arrangement, method, computer program and storage medium
PCT/EP2020/073711 WO2021037831A1 (en) 2019-08-29 2020-08-25 Monitoring apparatus, monitoring arrangement, method, computer program and storage medium

Publications (1)

Publication Number Publication Date
EP4022584A1 true EP4022584A1 (en) 2022-07-06

Family

ID=72266286

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20764058.2A Pending EP4022584A1 (en) 2019-08-29 2020-08-25 Monitoring apparatus, monitoring arrangement, method, computer program and storage medium

Country Status (3)

Country Link
EP (1) EP4022584A1 (en)
DE (1) DE102019213037A1 (en)
WO (1) WO2021037831A1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008041933A1 (en) 2008-09-10 2010-03-11 Robert Bosch Gmbh Monitoring system, method for detecting and / or tracking a surveillance object and computer programs
JP4751442B2 (en) * 2008-12-24 2011-08-17 株式会社東芝 Video surveillance system
US9544551B2 (en) * 2014-09-29 2017-01-10 Tyco Fire & Security Gmbh Store intelligence platform using proximity sensing
EP3291191B1 (en) * 2016-08-29 2019-10-09 Panasonic Intellectual Property Management Co., Ltd. Suspicious person report system and suspicious person report method

Also Published As

Publication number Publication date
DE102019213037A1 (en) 2021-03-04
WO2021037831A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
US7319779B1 (en) Classification of humans into multiple age categories from digital images
EP2324461B1 (en) Monitoring system, method and computer program for detecting and/or tracking a monitoring object
CN109272347A (en) A kind of statistical analysis technique and system of shops's volume of the flow of passengers
CN111597999A (en) 4S shop sales service management method and system based on video detection
DE102011085430A1 (en) Signature-based job monitoring system and method for drive-in services
DE102009028604A1 (en) Device snake recognition device, method and computer program
DE112009000485T5 (en) Object comparison for tracking, indexing and searching
Li et al. Real-world re-identification in an airport camera network
Taylor et al. CCTV: Reflections on its use, abuse and effectiveness
EP3611659B1 (en) Device for providing a plurality of biometric features of a plurality of people in a group
Ancheta et al. FEDSecurity: implementation of computer vision thru face and eye detection
KR20190128478A (en) Automatic Gate Management System based on Kiosk
De Marsico Face recognition in adverse conditions
Cameron CCTV and (In) dividuation
DE102020203461A1 (en) Monitoring system, method, computer program and storage medium
WO2021037831A1 (en) Monitoring apparatus, monitoring arrangement, method, computer program and storage medium
US20030095687A1 (en) System and method for generating alert conditions in a surveillance system
US11818453B2 (en) Method for tracking target objects in a specific space, and device using the same
US11388330B1 (en) Method for tracking target objects in a specific space, and device using the same
Garg et al. Smart Authentication Process for Human and Vehicles Using AI Techniques: An Approach for making better life in 21 st Century Smart Cities
Sigaravelu et al. Image based theft detection with live streaming
Gorodnichy et al. Recognizing people and their activities in surveillance video: technology state of readiness and roadmap
US11403880B2 (en) Method and apparatus for facilitating identification
DE102019212594A1 (en) Method for estimating the weight of a product
DE102007055704A1 (en) Device for counting animals, particularly economically useful animals for transport, has recording unit for image-based recording of number of animals in spacious area, and memory unit for storing results of count

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220329

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240321