DE102006000494A1 - Image-based recognition and signaling system for use in e.g. mobile telephone, has signaling unit provided for making determination over signaling of events by comparison of reference values of individual events between each other - Google Patents
Image-based recognition and signaling system for use in e.g. mobile telephone, has signaling unit provided for making determination over signaling of events by comparison of reference values of individual events between each other Download PDFInfo
- Publication number
- DE102006000494A1 DE102006000494A1 DE102006000494A DE102006000494A DE102006000494A1 DE 102006000494 A1 DE102006000494 A1 DE 102006000494A1 DE 102006000494 A DE102006000494 A DE 102006000494A DE 102006000494 A DE102006000494 A DE 102006000494A DE 102006000494 A1 DE102006000494 A1 DE 102006000494A1
- Authority
- DE
- Germany
- Prior art keywords
- signaling
- event
- events
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19684—Portable terminal, e.g. mobile phone, used for viewing video remotely
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Alarm Systems (AREA)
Abstract
Description
Stand der TechnikState of the art
Die vorgeschlagene Erfindung betrifft ein System und ein Verfahren auf dem Bereich der automatischen Bildverarbeitung, und zwar ein System und ein Verfahren zur bildbasierten Erkennung und zur Signalisierung von definierten Ereignissen.The The proposed invention relates to a system and a method the field of automatic image processing, namely a system and a method for image-based recognition and signaling of defined events.
Unter Signalisierung wird hier und im Weiteren eine beliebige Art einer Mitteilung, einer Meldung, einer Ankündigung oder einer Anzeige eines Ereignisses verstanden. Bei einer Signalisierungsnachricht wird hier im Weiteren eine beliebige Art verstanden, die Signalisierung technisch auszuführen, so zum Beispiel eine Text-, Audio, Bild-, oder Videonachricht. Die Signalisierungsnachrichten können auch zu Signalisierungslisten zusammengefasst ausgegeben werden. Unter Objekten werden hier und im Weiteren Menschen, Tiere oder Gegenständer verstanden.Under Signaling is here and in the following an arbitrary kind of Message, a message, an announcement or an ad understood an event. In a signaling message is understood here in the following any kind, the signaling to carry out technically such as a text, audio, picture, or video message. The Signaling messages can also summarized to signaling lists summarized. Under Objects are understood here and hereinafter as meaning humans, animals or backrests.
Die Anwendungsgebiete des Systems sind vielfältig. Angefangen von den videobasierten Überwachungssystemen bis hinzu zu automatischen Zählsystemen – im letzten Jahrzehnt wurden immer neue Anwendungsfelder erschlossen.The Fields of application of the system are manifold. Starting with the video-based surveillance systems up to automatic counting systems - in the last Decades of new fields of application were opened up.
Ein Problem, dass allen bildbasierten automatischen Systemen zurzeit noch gemein ist, sind die hohen Fehlerraten. Die hohe Fehlerrobustheit, die bei anderen Sensorenarten längst erreicht wurde und so von den Anwendern auch bei Systemen zur automatischen Bildverarbeitung erwartet wird, liegt bei diesen Systemen noch in weiter Ferne. Die an diese Systeme von den Anwendern gestellten hohen Erwartungen werden nicht erfüllt, so dass bei den Anwendern die Akzeptanz für die Systeme fehlt.One Problem that all image-based automatic systems currently have still common, are the high error rates. The high error robustness, the long ago with other types of sensors has been achieved and so by users even with systems for automatic Image processing is expected in these systems is still in far distance. The users put to these systems high expectations are not met, so users the acceptance for the systems are missing.
Ein zweites Problem, dass vor Allem bei Systemen mit einer gleichzeitigen Verarbeitung von mehreren Bildströmen mit hohen Bewegungsraten in Erfassungsbereichen der Bildsensoren besteht, ist die Überflutung von Anwendern mit Signalisierungsnachrichten über erkannte Ereignisse. Ein typisches Beispiel sind die videobasierten Überwachungssysteme.One second problem, especially in systems with a simultaneous Processing of several image streams with high movement rates in detection areas of the image sensors, is the flooding of users with signaling messages about detected events. One typical examples are the video-based surveillance systems.
Auch wenn ein Ereignis richtig erkannt wurde und auf dem Bildschirm visualisiert wird, ist der Anzeigebereich eines Bildschirms begrenzt, so dass es bei vielen Bildsequenzen und Signalisierungsnachrichten für den Anwender unter Umständen schwierig wird, einen Überblick über die Gesamtsituation zu behalten. Besonders kritisch ist das Problem dann, wenn der Anzeigebereich technisch bedingt ohnehin sehr klein ist, wie es zum Beispiel bei mobilen Geräten wie PDAs, mobilen Telefongeräten, Smartfons und Ähnlichem der Fall ist. Es kann sich auch um die Fälle handeln, bei denen jeweils nur eine einzige Signalisierungsnachricht auf einmal weitergegeben werden kann. Dies ist zum Beispiel bei den Audio-Benachrichtigungen mittels eines Lautsprechers immer der Fall.Also if an event was detected correctly and visualized on the screen is, the display area of a screen is limited, so that with many image sequences and signaling messages for the user in certain circumstances difficult to keep track of the To keep the overall situation. Particularly critical is the problem then, if the display area for technical reasons anyway very small is, as it is for example in mobile devices such as PDAs, mobile phones, smartphones and the like the case is. It can also be the cases where each only a single signaling message will be forwarded at once can. This is for example with the audio notifications via a speaker is always the case.
Für eine schnelle Beurteilung der Situation kann es für den Anwender nützlich sein, sich Einzelheiten über das erkannte Ereignis (Attribute einer Signalisierungsnachricht) anzusehnen, was zu einem zusätzlichen Bedarf an Anzeigeplatz auf dem Bildschirm führt.For a quick Assessing the situation it may be useful for the user details about the detected event (attributes of a signaling message) to crave, resulting in an additional Need for display space on the screen leads.
Aufgabe der ErfindungObject of the invention
Die Aufgabe der Erfindung ist es somit, ein trotz seiner Fehleranfälligkeit nützliches und von den Anwendern akzeptiertes System zur bildbasierten Erkennung und zur Signalisierung von definierte Ereignissen anzugeben, wobei das System mindestens eine Signalisierungseinheit sowie mindestens eine automatische Erfassungseinheit beinhalten soll. Die bildbasierte Erfassungseinheit ist dabei dazu bestimmt, das Auftreten von definierten Ereignissen zu erkennen.The The object of the invention is thus, despite its error rate useful and user-accepted image-based recognition system and to indicate the signaling of defined events, wherein the system at least one signaling unit and at least should include an automatic detection unit. The image-based Detection unit is intended to determine the occurrence of defined Recognize events.
Die gestellte Aufgabe wird auf zweifache Weise gelöst.The This task is solved in two ways.
Der erste Lösungsweg nach Merkmalen des Anspruchs 1 bzw. des Anspruchs 30 besteht darin, dass den einzelnen Ereignissen Referenzwerte R für die Reihenfolge der Signalisierung zugeordnet werden und dass die Entscheidung über die Signalisierung eines Ereignisses im System durch den Vergleich von Referenzwerten R einzelner Ereignisse zwischen einander getroffen wird.Of the first solution according to features of claim 1 and claim 30 is that the individual events reference values R for the order of signaling be assigned and that the decision on the signaling of a Event in the system by comparing reference values R individual Events between each other.
So sind beispielsweise Ereignisse mit den Referenzwerten R1 bis R5 aufgetreten, deren Nummerierung durch die zeitliche Reihenfolge des Auftrittes der einzelnen Ereignisse bedingt ist und denen die Referenzwerte für die Reihenfolge der Signalisierung wie folgt zugeordnet wurden: R1 = 10, R2 = 12; R3 = 16, R4 = 9, R5 = 17.So are, for example, events with the reference values R1 to R5 occurred, their numbering by the chronological order the appearance of the individual events is conditional and which the Reference values for the order of signaling were assigned as follows: R1 = 10, R2 = 12; R3 = 16, R4 = 9, R5 = 17.
Nach einem Vergleich der Referenzwerte zwischen einander und mit einem Schwellenwert S = 10 nach Merkmalen des Anspruchs 3 bzw. des Anspruchs 32 werden Signalisierungsnachrichten SN wie folgt nacheinander herausgeschickt: SN5, SN3, SN2, SN1.To a comparison of the reference values between each other and with a Threshold S = 10 according to features of claim 3 or claim 32, signaling messages SN are sequentially sent out as follows: SN5, SN3, SN2, SN1.
Bei dem zweiten Lösungsweg nach Merkmalen des Anspruchs 2 bzw. des Anspruchs 31 besteht darin, dass den einzelnen Ereignissen Referenzwerte für die Wahrscheinlichkeit einer fehlerfreien Erkennung eines Ereignisses zugeordnet werden und dass die Entscheidung über die Signalisierung eines Ereignisses im System durch den Vergleich von Referenzwerten einzelner Ereignisse zwischen einander getroffen wird.In the second approach according to features of claim 2 or claim 31 is that the individual events reference values for the probability of error-free detection of an event are assigned and that the decision on the signaling of an event in the system by comparing Refe values of individual events between each other.
So sind beispielsweise Ereignisse mit den Referenzwerten für die Wahrscheinlichkeit einer fehlerfreien Erkennung RW1 bis RW5 aufgetreten, wobei die Nummerierung der Referenzwerte durch die zeitliche Reihenfolge des Auftrittes der einzelnen Ereignisse bedingt ist und deren Werte wie folgt geschätzt wurden: RW1 = 80%, RW2 = 40%; RW3 = 55%, RW4 = 95%, R5 = 70%.So are, for example, events with the reference values for the probability an error-free detection RW1 to RW5 occurred, the Numbering of the reference values by the chronological order of the Occurrence of individual events is conditional and their values estimated as follows were: RW1 = 80%, RW2 = 40%; RW3 = 55%, RW4 = 95%, R5 = 70%.
Nach einem Vergleich der Referenzwerte zwischen einander und mit einem Schwellenwert SW = 50% nach Merkmalen des Anspruchs 3 bzw. des Anspruchs 32 werden Signalisierungsnachrichten SN wie folgt nacheinander herausgeschickt: SN4, SN1, SN5, SN3.To a comparison of the reference values between each other and with a Threshold SW = 50% according to features of claim 3 or the claim 32, signaling messages SN are sequentially sent out as follows: SN4, SN1, SN5, SN3.
Bei einem Ereignis kann es auch um eine Kombination von Ereignissen handeln, wie es im Anspruch 4 bzw. im Anspruch 33 definiert wird, wobei die Beziehung zwischen den einzelnen Ereignissen beispielsweise über logische Verknüpfungen "AND, OR, XOR, <, >, <=, >=, festgelegt werden kann. So kann zum Beispiel ein Ereignis ER1 als ER1 = ER2 OR ER3 definiert werden, wobei ER2 seinerseits aus Kombination ER2 = ER4 AND ER5 AND ER6 besteht.at An event can also be a combination of events act as defined in claim 4 or in claim 33, the relationship between the individual events being logical, for example Shortcuts "AND, OR, XOR, <,>, <=,> =, can be determined. For example, an event can be ER1 as ER1 = ER2 OR ER3, where ER2 is itself a combination ER2 = ER4 AND ER5 AND ER6.
Bei den Merkmalen der Erfindung nach Anspruch 5 bzw. nach Anspruch 34 wird der besagte Referenzwert R für die Reihenfolge der Signalisierung eines Ereignisses als eine Funktion R = fkt(E) von mindestens einer Eigenschaft des Ereignisses berechnet. In den Merkmalen des Anspruchs 6 bzw. des Anspruchs 35 werden einige Beispiele für mögliche Eigenschaften eines Ereignisses benannt. So kann es sich bei einer Eigenschaft des Ereignisses um einen vom Anwender manuell zugeordneten Prioritätswert für die Reihenfolge der Signalisierung handeln. Einem Anwender kann zum Beispiel das Ereignis "Objektart = = Koffer AND Aufenthaltsdauer > 30 Minuten" höher einstufen als "Objektart = = Mensch AND Aufenthaltsdauer > 40 Minuten", wenn der Anwender zum Überwachungspersonal einer Bahnstation gehört und insbesondere auf länger stehende Gepäckstücke aufmerksam gemacht werden möchte.at the features of the invention according to claim 5 or according to claim 34 becomes the said reference value R for the order of signaling an event as a function R = fct (E) of at least one Property of the event calculated. In the features of the claim 6 or of claim 35 will be some examples of possible properties named an event. So it may be at a property the event by a user-assigned priority order value act the signaling. A user can, for example, the Event "object type = = Suitcases AND duration of stay> 30 Minutes "higher as "object type = = Person AND duration of stay> 40 Minutes ", if the User to the monitoring personnel heard a train station and especially for longer standing luggage carefully would like to be made.
Als eine Eigenschaft des Ereignisses kann auch der im Anspruch 2 bzw. im Anspruch 31 definierter geschätzter Referenzwert für die Wahrscheinlichkeit einer fehlerfreien Erkennung eines Ereignisses eingesetzt werden (R = fkt(RW)).When a property of the event may also be in the claim 2 or estimated value defined in claim 31 Reference value for the probability of error-free detection of an event be used (R = fkt (RW)).
Sehr
wichtige Eigenschaften sind der Auftrittsort O (über den zugeordneten Sensor
oder über die
tatsächlichen
räumlichen
Koordinaten festgelegt), die Auftrittsdauer D (die zeitliche Dauer
eines Ereignisses) und der Auftrittszeitpunkt Z (R = fkt(O OR D OR
Z)). So kann zum Beispiel ein Ereignis "Objektart = = Koffer AND Aufftrittsdauer > 1 Stunde" abhängig davon,
ob es zu nächtlicher
Stunde oder zu Tageszeit, an einem Bahnsteig oder vor dem Bahnhofeingang
auftritt, unterschiedlich für
das Überwachungspersonal
relevant sein. Entsprechend können
die den einzelnen Eigenschaften vergebenen Prioritätswerte (beispielsweise
Z1 = Priorität(Auftrittszeitpunkt
= = "tagsüber") = 1, Z2 = Priorität (Auftrittszeitpunkt
= "nachts") = 0,5; O1 = Priorität (Auftrittsort
= = "Bahnsteig") = 0,8; O2 = Priorität (Auftrittsort
= = "Bahnhofeingang") = 0,6) gleich oder
unterschiedlich gewichtet (mit gew1 = 0.3 und gew2 = 0.7) in den
Referenzwerten R1 und R2 beispielsweise wie folgt berücksichtigt
werden:
Ausgehend von diesen Referenzwerten und nach dem Vergleich mit dem Schwellenwert Sw = 0,1 wird die Signalisierungsnachricht für das Ereignis 2 vor der Signalisierungsnachricht für das Ereignis 1 generiert.outgoing from these benchmarks and after comparison with the threshold Sw = 0,1 becomes the signaling message for event 2 before the signaling message for the Event 1 generated.
Eine weitere wichtige Eigenschaft ist die Übereinstimmung oder die Ähnlichkeit Q eines erkannten Ereignisses mit einem definierten Ereignis. Diese Eigenschaft kommt vor allem bei aus mehreren Einzelereignissen bestehender Ereignisse zum Tragen, wie es im Anspruch 5 bzw. im Anspruch 34 beschrieben wird. Bei einem als Ereignis, zum Beispiel, was als "Objektart = = Auto AND Objektgröße > 500 Pixel AND Homogenität der Objektfarbe > 70%" definiert wurde, kann es hilfreich sein, nicht nur die vollständig sondern auch die teilweise mit dem definierten Ereignis übereinstimmende erkannte Ereignisse zu signalisieren. Bei der Fehleranfälligkeit der bildbasierten Erfassungssysteme kann es durchhaus vorkommen, dass insbesondere die Objektart falsch erkannt wird, so bei dem angeführten Beispiel ratsam wäre, auch Ereignisse mit einer Übereinstimmung Q von 66,(6)% zu signalisieren. Diese Vorgehensweise kann auch bei der nachträglichen Suche im Ereignis-Archiv nach ähnlichen Ereignissen hilfreich sein, wobei die einzelnen Eigenschaften sowohl gleich als auch unterschiedlich gewichtet in die Suchanfrage eingehen können.A another important feature is the correspondence or similarity Q of a detected event with a defined event. These Property comes mainly from several individual events existing Events come to fruition, as in claim 5 or in claim 34 is described. In case of an event, for example, what is called "object type = = car AND object size> 500 pixels AND homogeneity of object color> 70% "has been defined It can be helpful, not only the complete but also the partial matching the defined event to signal detected events. In the susceptibility to errors the image-based detection systems can occur throughout the house, that in particular the object type is detected incorrectly, so in the cited Example would be advisable also events with a match Q of 66, (6)% signal. This procedure can also be applied to the subsequent Search in the event archive for similar Events are helpful, with the individual properties both equal and differently weighted in the search can.
Zu weiteren Eigenschaften eines Ereignisses können zum Beispiel die mittlere Geschwindigkeit, die Farbverteilung, die Kantenverteilung, die Textur, die Bewegungsbahn, das Verhalten oder die Anzahl an dem Ereignis beteiligter Objekte gehören. Im Weiteren können auch Referenzwerte RWE für die Wahrscheinlichkeit einer fehlerfreien Schätzung einzelner Eigenschaften ermittelt werden.Additional properties of an event may include, for example, mean velocity, color distribution, edge distribution, texture, trajectory, behavior, or number of objects involved in the event. In addition, reference values RWE for the probability of error-free estimation individual properties are determined.
Weiterhin ist es wichtig, den Zeitpunkt der erstmaligen Signalisierung sowie die Anzahl der Signalisierungen eines Ereignisses zu berücksichtigen.Farther It is important to know the time of initial signaling as well to consider the number of signaling of an event.
Als Beispiel wird hier ein Videoüberwachungssystem für die Überwachung eines Privatgeländes mit acht Bildsequenzen von acht Videokameras sowie einem einzigen Bildschirm zur Anzeige der Bildsequenzen angeführt. Der Wachmann beobachtet den Bildschirm, wird aber von einem automatischen bildbasierten System zur Erkennung und zur Signalisierung von Einbrüchen unterstützt. Das System ist sehr fehleranfällig und liefert bei den Außenvideokameras insbesondere bei Regen und Schnee sehr viele Falschalarme, ist dafür aber so empfindlich eingestellt, dass er einen echten Einbruch mit einer 99% Sicherheit erkennt. Als Signalisierungsart wird hier eine Anzeige der Signalisierungsnachrichten (als Text- und Bildnachrichten aufgebaut) in einer Signalisierungsliste an einem Bildschirm gewählt wird. Die Signalisierungsliste wird in zeitlich nahe liegenden Abständen (beispielsweise 50 ms) abhängig von den neu berechneten Prioritätswerten aktualisiert und neu auf dem Bildschirm aufgebaut. Bei einem konventionellen Videoüberwachungssystem müsste der Wachmann jede einzige Signalisierungsnachricht "quittieren", d. h. den Empfang der Signalisierungsnachricht bestätigen oder diese auf eine andere Art behandeln. Bei dem beschriebenen System ist es aber von Anfang an klar, dass wegen der empfindlich eingestellten Ereigniserkennung sehr viele Falschalarme signalisiert werden. So wird es der Signalisierungseinheit die Möglichkeit gegeben, über die Berücksichtigung des Zeitpunktes der erstmaligen Signalisierung und der Anzahl der Signalisierungen dem Ereignis irgendwann (nach einem eingestellten zeitlichen Schwellenwert, zum Beispiel nach 10 Minuten) die Priorität für Reihenfolge der Signalisierung gleich Null zu setzen und das Ereignis aus der Liste automatisch zu löschen. Sicherheitshalber kann der Wachmann nach der Erlaubnis fürs Löschen von einer oder mehreren Signalisierungseinträgen aus der Liste "gefragt" werden, zum Beispiel dadurch, dass ein Dialogfenster mit der Frage "Einträge 2, 10, 11, 12 und 15 löschen?" erscheint. Insbesondere bei den bereits signalisierten Ereignissen mit kleinen Referenzwerten für die Wahrscheinlichkeit einer fehlerfreien Erkennung ist diese Möglichkeit der automatischen Unterdrückung von erneuten Signalisierungen wichtig. Diese Vorgehensweise entspricht Merkmalen der Ansprüche 28 und 29 bzw. der Ansprüche 57 und 58.When Example becomes here a video surveillance system for monitoring a private property with eight image sequences from eight video cameras and a single one Screen for displaying the image sequences. The security guard is watching the screen, but is of an automatic image-based System for intrusion detection and signaling supported. The System is very error prone and delivers to the outdoor video cameras especially in rain and snow a lot of false alarms, but it is so sensitive he set a real slump with a 99% Safety recognizes. As Signalisierungsart here is an indication the signaling messages (structured as text and picture messages) is selected in a signaling list on a screen. The signaling list is in temporally close intervals (for example 50 ms) from the newly calculated priority values updated and rebuilt on the screen. In a conventional Video surveillance system should the guard "acknowledge" every single signaling message, d. H. the reception confirm the signaling message or this to another Kind of treat. In the described system, it is from the beginning clear that because of the sensitive set event detection many false alarms are signaled. So it becomes the signaling unit the possibility given, over the consideration the time of initial signaling and the number of Signaling the event sometime (after a set time threshold, for example after 10 minutes) the priority for order the signaling equal to zero and the event from the Automatically delete the list. For safety's sake, the security guard may ask for permission to delete one or more signaling entries are "asked" from the list, for example by deleting a dialog box with the question "Entries 2, 10, 11, 12 and 15?" appears. Especially in the already signaled events with small reference values for the Probability of error-free detection is this possibility automatic suppression important from re-signaling. This procedure corresponds Features of the claims 28 and 29 or the claims 57 and 58.
Nach Merkmalen des Anspruchs 7 bzw. des Anspruchs 36 können den einzelnen Eigenschaften eines Ereignisses Gewichtungen und/oder Prioritätswerte manuell zugeordnet werden. Die beschriebenen Referenzwerte, Gewichtungen und Schwellenwerte während der Initialisierung des Systems und/oder auch während der laufenden Bildanalyse durch den Zugriff auf diesen Werten entsprechende Speichereinheiten geändert werden. Es kann sich zum Beispiel durchaus sinnvoll erweisen, bei einem Ereignis "Objektart = = Koffer AND Objektfarbe = = schwarz" erstens bei der Berechnung der Referenzwerte für eine fehlerfreie Erkennung des Ereignisses die Eigenschaft Objektart höher zu bewerten, als die Eigenschaft Objektfarbe und zweitens bei der Entscheidung über die Reihenfolge der Signalisierung die Möglichkeit zu haben, die Priorität der Eigenschaften manuell zu ändern. So kann die Signalisierungsreihenfolge bei Bedarf durch den Anwender geändert werden.To Features of claim 7 and claim 36, the individual properties of an event weights and / or priority values be assigned manually. The described reference values, weights and thresholds during the initialization of the system and / or during the ongoing image analysis by to change the access to these values corresponding storage units. For example, it may make sense to use an event "object type = = suitcase AND object color = = black "first in calculating the reference values for error-free detection of the event valuate the property object type higher than the property Object color and secondly when deciding on the order of signaling the possibility to have the priority to manually change the properties. Thus, the signaling order can be changed by the user if necessary changed become.
Nach Merkmalen des Anspruchs 8 bzw. des Anspruchs 37 werden die Referenzwerte für die Reihenfolge der Signalisierung der Ereignisse in zeitlich nahe liegenden Abständen neu berechnet. Dies ist vor Allem bei Ereignissen mit sich dynamisch ändernden Eigenschaften wichtig, was sehr oft der Fall ist. Ein Beispiel für eine dynamische Eigenschaft ist die Auftrittsdauer eines Ereignisses die Eigenschaft ändert sich, bis das Ereignis vorbei ist. Auch andere ihrer Art nach statische Eigenschaften wie die Größe, die Art oder die Farbe eines Objektes können dynamische Züge erhalten, da die Schätzung dieser Eigenschaften fehleranfällig ist und für gewöhnlich durch eine Mittelung über die Zeit mehrerer Schätzungsergebnisse ermittelt wird.To Features of claim 8 and of claim 37 become the reference values for the Sequence of signaling of events in near-time intervals recalculated. This is especially true of events with dynamically changing ones Properties important, which is very often the case. An example of a dynamic one Property is the occurrence time of an event the property changes, until the event is over. Also others of their kind static Properties like the size, the Type or the color of an object can get dynamic traits, because the estimate these properties error prone is and for usually through an averaging over the time of multiple estimation results is determined.
Nach
Merkmalen des Anspruchs 9 bzw. des Anspruchs 38 wird der der Referenzwert
RW einer fehlerfreien Schätzung
eines Ereignisses in Abhängigkeit
von den Referenzwerten RWE für
die Wahrscheinlichkeiten von fehlerfreien Schätzungen einzelner Eigenschaften
eines Ereignisses berechnet. Somit ist der RW = fkt (RWE1 bis RWEN),
wobei die N Referenzwerte RWE auch gewichtet (Gewichte g1 bis gN)
in die Berechnung eingehen können:
Nach
Merkmalen der Ansprüche
10 bis 12 bzw. der Ansprüche
39 bis 41, beinhaltet die Signalisierungsnachricht über ein
Ereignis Angaben über die
Wahrscheinlichkeit einer fehlerfreien Erkennung dieses Ereignisses,
Angaben über
mindestens eine Eigenschaft eines Ereignisses und/oder ein dem Zeitpunkt
des Erkennens des Ereignisses zeitlich nahe liegendes Bild der entsprechender
Bildsequenz. So kann die Signalisierungsnachricht über der
Ereignisse E1 und E2 die wörtliche
Beschreibung der Ereignisse (beispielsweise "Eindringling im Hof des Hauses 15 erkannt" oder "Gelber Koffer steht
seit 50 Minuten am Bahnsteig 2")
sowie die Einträge "Erkennung mit einer
Sicherheit von 60 %" und "Erkennung mit einer
Sicherheit von 90% und die zugehörigen
Bilder beinhalten. Die einzelnen Ereignisse E1 und E2 sind dabei über ihre
Eigenschaften wie folgt definiert:
E1 = ((Objektart = = Mensch)
OR (Objektart = = unbekannt AND Objektgröße > 100 Pixel)) AND (Auftrittsort = = Kamera
23);
E2 = (Objektart = = Kein Mensch AND (30 Pixel < Objektgröße < 100 Pixel)) AND
(Auftrittsort = = Kamera 19).According to features of claims 10 to 12 or claims 39 to 41, the signaling message includes an event about the probability of error-free detection of this event, information about at least one property of an event and / or a time of detection of the event in time lying image of the corresponding image sequence. Thus, the signaling message on the events E1 and E2, the verbatim description of events (for example, "intruder in the yard of the house 15 detected" or "Yellow suitcase is 50 minutes at platform 2") and the entries "detection with a security of 60% "and" detection with a security of 90% and the associated images include. The individual events E1 and E2 are defined by their properties as follows:
E1 = ((object type = = human) OR (object type = = unknown AND object size> 100 pixels)) AND (location = = camera 23);
E2 = (object type = = no human AND (30 pixels <object size <100 pixels)) AND (location = = camera 19).
Bei der Festlegung der Reihenfolge der Signalisierung der Ereignisse nach Merkmalen des Anspruchs 2 bzw. des Anspruchs 31 wird das Ereignis E2 als das mit einer größeren Wahrscheinlichkeit fehlerfrei erkannte vor dem Ereignis E1 signalisiert. Wenn zusätzlich nach Merkmalen des Anspruchs 4 bzw. des Anspruchs 33 weitere Eigenschaften der Ereignisse berücksichtigt werden, kann der Referenzwert für die Reihenfolge der Signalisierung über eine gewichtete Kombination Referenzwerte mehrerer Eigenschaften festgelegt. werden.at determining the order of signaling of the events according to features of claim 2 or claim 31, the event E2 than that with a greater probability error-free signaled before the event E1. If in addition to features of claim 4 or claim 33 further properties of Events considered can be the reference value for the order of signaling over a weighted combination Reference values of multiple properties set. become.
Bei einer Ausführung der Erfindung nach Merkmalen des Anspruchs 13 bzw. des Anspruchs 42 beinhaltet das System eine Nachrichteneinheit, so dass die Signalisierungsnachricht mittels dieser Nachrichteneinheit an einen weit entfernten Empfänger verschickt werden kann. Bei der Nachrichteneinheit kann es sich zum Beispiel um einen Wireless-Sender handeln. Bei der technischen Ausführung des Systems können als Sensoren der bildbasierten Erfassungseinheit zum Beispiel eine oder mehrere Videokameras, Infrarotkameras, Laserscanner eingesetzt werden, wie es in den Ansprüchen 14 bis 16 bzw. in den Ansprüchen 43 bis 45 verdeutlicht ist.at an execution The invention according to features of claim 13 and claim 42 The system includes a message unit such that the signaling message sent by this message unit to a distant receiver can be. The message unit may be, for example to trade a wireless transmitter. In the technical execution of the Systems can as sensors of the image-based detection unit, for example, a or multiple video cameras, infrared cameras, laser scanners used be, as it is in the claims 14 to 16 or in the claims 43 to 45 is illustrated.
Die beschriebene Erfindung ist insbesondere für den Einsatz in bildbasierten Systemen der Sicherheitsüberwachung, der Brandtechnik sowie für den Einsatz in bildbasierten Zählsystemen geeignet.The described invention is particularly suitable for use in image-based Security surveillance systems, the fire technology as well as for the use in image-based counting systems suitable.
Bei einem System nach Merkmalen des Anspruchs 17 und bei einem Verfahren nach Merkmalen des Anspruchs 46 werden als Eigenschaften eines Ereignisses nicht nur am Ereignis beteiligte Objekte, sondern auch die Umgebung dieser Objekte betrachtet. So können als zusätzliche Eigenschaften die Anzahl, das Verhalten und die Bewegungsart von Personen in der Nähe eines oder mehreren dem Ereignis zugeordneten Objekten ermittelt und betrachtet. Rennende Personen in der Umgebung eines Objektes, zum Beispiel, würden sich gut als solche charakteristischen Eigenschaften eignen. Es können auch andere Analysedaten betrachtet werden, wie zu Beispiel die mittlere Bewegungshäufigkeit in der Umgebung.at a system according to features of claim 17 and in a method according to features of claim 46 are used as properties of an event not only objects involved in the event, but also the environment considered of these objects. So can as additional Properties include the number, behavior, and movement type of People nearby one or more objects associated with the event and considered. People in the vicinity of an object, for example, would are well suited as such characteristic properties. It can also other analysis data are considered, such as the mean frequency of movement in the neighborhood.
Wenn das Ausführungsbeispiel mit der Erkennung von vergessenen oder entfernten Objekten in einer im Allgemeinen bewegungsreichen Umgebung wieder aufnimmt, kann eine sinnvolle. Art der Erkennung von solchen Objekten nach Merkmalen des Anspruchs 18 bzw. des Anspruchs 47 angegeben werden. Und zwar werden mehrere (mindestens zwei) virtuelle Referenzbilder aus realen Bildern so aufgebaut, dass die unterschiedlichen Referenzbilder die unterschiedlich langfristigen Änderungen im Erfassungsbereich des Sensors berücksichtigen. Diese Berücksichtigung findet durch eine langsamere oder schnellere Anpassung (Lernrate) der einzelnen Bildpixel der Referenzbilder an die geänderte Situation statt. Dies kann zum Beispiel dadurch geschehen, dass Helligkeitswerte einzelner Pixel der Referenzbilder als eine gewichtete Summe von zugehörigen Helligkeitswerten aus mehreren Bildern der Bildsequenz berechnet werden. Durch die Art der Gewichtung wird die Lernrate reguliert.If the embodiment with the recognition of forgotten or removed objects in one in general, can resume a motion-rich environment meaningful. Type of recognition of such objects according to characteristics of Claim 18 or of claim 47 are given. And that will be multiple (at least two) virtual reference images from real images designed so that the different reference pictures the different long-term changes in the detection range of the sensor. This consideration takes place through a slower or faster adaptation (learning rate) the individual image pixels of the reference images to the changed situation instead of. This can be done, for example, by having brightness values individual pixels of the reference images as a weighted sum of associated Brightness values calculated from several pictures of the picture sequence become. The type of weighting regulates the learning rate.
So kann nach einer geeigneten Kombination der Referenzbilder, zum Beispiel durch eine Differenzierung, auf dauerhafte Veränderung im Erfassungsbereich des Sensors geschlossen werden, so dass die entfernten und/oder die hinzugekommenen Objekte nach Merkmalen der Ansprüche 19 und 20 bzw. der Ansprüche 48 und 49 erkannt werden können. Dies können sowohl Gegenstände wie vergessene Koffer, Graffitis oder gestohlene Autos als auch lebende und sich wenig bewegende Objekte wie liegende oder lange auf demselben Platz sitzende Personen sein.So can look for a suitable combination of reference pictures, for example through a differentiation, to permanent change in the coverage area the sensor can be closed so that the removed and / or the added objects according to features of claims 19 and 20 or the claims 48 and 49 can be detected. This can both objects like forgotten suitcases, graffiti or stolen cars as well living and less moving objects like reclining or long be sitting in the same place.
Es kann auch nützlich sein, ein Ereignis mit zugehörigen Eigenschaften als ein Musterereignis zu speichern. So wird somit die Möglichkeit geboten, nicht nur nach bestimmten fest definierten Ereignissen zu suchen oder "Ausschau zu halten", sondern auch die Eigenschaften der besonders interessierenden Ereignisse zu spezialisieren oder neu zu konfigurieren. So kann es zum Beispiel aus der Mehrzahl der mit dem Referenzwert für die Wahrscheinlichkeit für eine fehlerfreie Erkennung von > 50% erkannten Ereignisse (somit werden es auch die nicht vollständig übereinstimmende Ereignisse signalisiert) mit der Beschreibung "Objektart = = Mensch AND Objektgröße = = 170 cm AND Objektfarbe = = rot" speziell das Ereignis "Objektart = = Mensch AND Objektgröße = = 150 AND Objektfarbe = = rot" ausgewählt und als Musterereignis gespeichert werden. Auf diese Vorgehensweise bezieht sich der Anspruch 21 bzw. der Anspruch 50.It can also be useful be an event associated with it To save properties as a pattern event. So it becomes so the possibility not only according to certain well-defined events to look for or "look out but also to specialize the properties of the events of particular interest or reconfigure. So it can be, for example, the majority the one with the reference value for the probability of one error-free detection of> 50% recognized events (thus it will be the inconsistent Signals events) with the description "object type = = human AND object size = = 170 cm AND object color = = red "special the event "object type = = Human AND object size = = 150 AND object color = = red "selected and saved as a pattern event. On this procedure refers to the claim 21 and the claim 50th
Außer der beschriebenen Signalisierung eines Ereignisses können weitere Maßnahmen zur Behandlung der Signalisierungsnachrichten getroffen werden. Diese Maßnahmen können den einzelnen Ereignissen direkt (parallel zur Signalisierung) oder über einen Maßnahmekatalog für die Vorgehensweise nach der Signalisierung indirekt zugeordnet werden. Bei der ersten Variante werden vom System weitere Geräte wie die Nachrichteneinheit, die Brandschutzanlage, die Steuerung von Türen oder Aufzügen, die Ansteuerung der Beleuchtung direkt angesteuert. Bei einer indirekten Zuordnung werden dieselben oder ähnliche Maßnahmen ergriffen, aber nur nach einer Bestätigung seitens des Anwenders. Die beschriebenen Merkmale beziehen sich auf die Ansprüche 22 und 23 bzw. auf die Ansprüche 51 und 52.In addition to the described signaling of an event, further measures for handling the signaling messages can be taken. These measures can be assigned directly to the individual events (parallel to the signaling) or via a catalog of measures for the procedure after the signaling. In the first variant, the system makes other devices, such as the message unit, the Fire protection system, the control of doors or elevators, the control of lighting controlled directly. For an indirect assignment, the same or similar measures are taken, but only after confirmation by the user. The features described relate to claims 22 and 23 and to claims 51 and 52, respectively.
Selbstverständlich muss dem Anwender die Möglichkeit gegeben werden, das System/die Systemeinstellungen nicht nur während der Initialisierung, sondern auch während der laufenden Bildanalyse neu zu konfigurieren sowie die Signalisierungsmeldungen zu bearbeiten. Dies wird über die Möglichkeit realisiert, die Prioritätswerte, die Schwellenwerte und die Zuordnung der auszuführenden Maßnahmen nach Merkmalen des Anspruchs 24 bzw. des Anspruchs 53 auch für die bereits signalisierten Ereignisse zu ändern.Of course you have to the possibility for the user given the system / system settings not only during the Initialization, but also during to reconfigure the current image analysis and the signaling messages to edit. This is about realized the possibility the priority values, the thresholds and the allocation of the measures to be carried out according to the characteristics of the Claim 24 and the claim 53 also for the already signaled To change events.
Da die Anzahl der Signalisierungsnachrichten unter Umständen sehr groß werden kann, wird bei der in Merkmalen des Anspruchs 25 bzw. des Anspruchs 54 beschriebenen Ausführung des Erfindung die Signalisierungsnachricht so aufgebaut, dass diese nicht alle ermittelten Eigenschaften eines Ereignisses enthält. Die Übermittlung von weiteren Eigenschaften wird nach einer Anforderung seitens des Anwenders gestartet.There the number of signaling messages may be very high grow up can, is in the in features of claim 25 and the claim 54 described embodiment of the invention, the signaling message designed so that this does not contain all the determined properties of an event. The transmission Other features will be available upon request by the user started.
Nach Merkmalen des Anspruchs 26 bzw. des Anspruchs 55 werden die erkannten Ereignisse sowie die zugehörigen Eigenschaften zumindest partiell zumindest für eine definierte Mindestzeit im System gespeichert, so dass eine nachträgliche Suche nach Ereignissen mit bestimmten Eigenschaften möglich ist. Die Dauer und der Umfang der Speicherung können von datenschutzrechtlichen Bestimmungen und/oder von dem zur Verfügung stehenden Speicherplatz abhängen.To Features of claim 26 and claim 55 are recognized Events as well as the associated ones Properties at least partially at least for a defined minimum time stored in the system, allowing a subsequent search for events with certain characteristics is possible. The duration and scope of storage may be of data protection law Provisions and / or the available storage space depend.
Nach Merkmalen des Anspruchs 27 bzw. des Anspruchs 56 werden die Signalisierungsnachrichten zu einer Signalisierungsliste zusammengefasst und auf einem Bildschirm angezeigt. Dies ist die bevorzugte Ausführung der Erfindung.To Features of claim 27 and claim 56, the signaling messages to summarized in a signaling list and on a screen displayed. This is the preferred embodiment of the invention.
Claims (58)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102006000494A DE102006000494A1 (en) | 2006-09-28 | 2006-09-28 | Image-based recognition and signaling system for use in e.g. mobile telephone, has signaling unit provided for making determination over signaling of events by comparison of reference values of individual events between each other |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102006000494A DE102006000494A1 (en) | 2006-09-28 | 2006-09-28 | Image-based recognition and signaling system for use in e.g. mobile telephone, has signaling unit provided for making determination over signaling of events by comparison of reference values of individual events between each other |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102006000494A1 true DE102006000494A1 (en) | 2008-04-03 |
Family
ID=39133891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102006000494A Withdrawn DE102006000494A1 (en) | 2006-09-28 | 2006-09-28 | Image-based recognition and signaling system for use in e.g. mobile telephone, has signaling unit provided for making determination over signaling of events by comparison of reference values of individual events between each other |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102006000494A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3557549A1 (en) | 2018-04-19 | 2019-10-23 | PKE Holding AG | Method for evaluating a motion event |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030133614A1 (en) * | 2002-01-11 | 2003-07-17 | Robins Mark N. | Image capturing device for event monitoring |
US20060053342A1 (en) * | 2004-09-09 | 2006-03-09 | Bazakos Michael E | Unsupervised learning of events in a video sequence |
DE102005045077A1 (en) * | 2004-12-15 | 2006-06-29 | Agilent Technologies, Inc. (n.d.Ges.d.Staates Delaware), Palo Alto | A method and apparatus for distributed analysis of images |
-
2006
- 2006-09-28 DE DE102006000494A patent/DE102006000494A1/en not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030133614A1 (en) * | 2002-01-11 | 2003-07-17 | Robins Mark N. | Image capturing device for event monitoring |
US20060053342A1 (en) * | 2004-09-09 | 2006-03-09 | Bazakos Michael E | Unsupervised learning of events in a video sequence |
DE102005045077A1 (en) * | 2004-12-15 | 2006-06-29 | Agilent Technologies, Inc. (n.d.Ges.d.Staates Delaware), Palo Alto | A method and apparatus for distributed analysis of images |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3557549A1 (en) | 2018-04-19 | 2019-10-23 | PKE Holding AG | Method for evaluating a motion event |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9911294B2 (en) | Warning system and method using spatio-temporal situation data | |
DE112016005965T5 (en) | DEVICE FOR MONITORING UNSATURATED OBJECTS, WITH THE SAME SYSTEM FOR MONITORING UNAFFECTED OBJECTS, AND METHOD FOR MONITORING UNAFFECTED OBJECTS | |
DE102008007199A1 (en) | Masking module for a video surveillance system, method for masking selected objects and computer program | |
AT506928A1 (en) | METHOD OF VIDEO ANALYSIS | |
DE102007031302A1 (en) | Device for detecting and / or classifying motion patterns in a sequence of images from a surveillance scene, method and computer program | |
DE112016006300T5 (en) | Unattended object surveillance device, unattended object surveillance system and unattended surveillance system | |
DE102009044083A1 (en) | System and method for counting the number of persons | |
DE102006053286A1 (en) | Method for detecting movement-sensitive image areas, apparatus and computer program for carrying out the method | |
DE102013217223A1 (en) | Monitoring system and method for displaying a monitoring area | |
DE10042935B4 (en) | Method for monitoring a predetermined area and system | |
EP1200945A2 (en) | Method for identifying change of scenery and corresponding monitoring device | |
WO2022142414A1 (en) | High-rise littering monitoring method and apparatus, electronic device, and storage medium | |
KR102560060B1 (en) | Control and management System for biosecurity of livestock farms based on deep learning video analysis technology | |
DE112021005703T5 (en) | INFORMATION PROCESSING EQUIPMENT AND INFORMATION PROCESSING PROCEDURES | |
DE102006000494A1 (en) | Image-based recognition and signaling system for use in e.g. mobile telephone, has signaling unit provided for making determination over signaling of events by comparison of reference values of individual events between each other | |
EP2483834A1 (en) | Method and apparatus for recognizing erroneous detection of an object in an image | |
DE102019123220A1 (en) | Summarize videos from multiple moving video cameras | |
DE102019114451A1 (en) | Activity areas in video content | |
DE102017222675A1 (en) | Person recognition by means of a camera | |
DE102018121110A1 (en) | Method and device for documenting a status of an autonomous robot | |
DE10210926A1 (en) | Device for tracking at least one object in a scene | |
DE102006027120A1 (en) | Image processing method, video surveillance system and computer program | |
EP3627370B1 (en) | Method and system for processing person-related optical and / or acoustic signals | |
DE102013224376A1 (en) | Video surveillance procedure | |
EP2462557B2 (en) | Method for video analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OM8 | Search report available as to paragraph 43 lit. 1 sentence 1 patent law | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |
Effective date: 20130403 |