EP2602739A1

EP2602739A1 - Device and method for automatic detection of an event in sensor data

Info

Publication number: EP2602739A1
Application number: EP12170411.8A
Authority: EP
Inventors: Thomas Riegel; Daniel Buschek
Original assignee: Siemens AG
Current assignee: Siemens Schweiz AG
Priority date: 2011-12-07
Filing date: 2012-06-01
Publication date: 2013-06-12
Also published as: US20140347480A1; US9538146B2; WO2013083327A1

Abstract

The device (1) has a video camera (2) for recording sensor data (6). A feature identification unit (3) automatically identify predetermined number of features (8) e.g. saturation, in the received data. A rating detecting unit (4) acquires an evaluation for each feature, where the evaluation relates to an event to be detected and is based on a set of evaluation criteria (7). A detection device (5) automatically acquires the event to be detected by using the identified features based on the detected evaluations. The receiving unit is designed as a camera, a microphone, a position sensor, an attitude sensor, an accelerometer and/or a light sensor. An independent claim is also included for a method for automatically detecting an event in a sensor data.

Description

Technical area

Die vorliegende Erfindung offenbart eine Vorrichtung zur automatischen Detektion eines Ereignisses in Sensordaten. Ferner offenbart die vorliegende Erfindung ein entsprechendes Verfahren.The present invention discloses an apparatus for automatically detecting an event in sensor data. Furthermore, the present invention discloses a corresponding method.

Technical background

In vielen Anwendungen ist es notwendig, das Auftreten eines Ereignisses anhand von Sensordaten, z.B. einem Video, zu bestimmen.In many applications, it is necessary to detect the occurrence of an event based on sensor data, e.g. a video, to determine.

Es ist z.B. in der Videoüberwachung notwendig, z.B. das Eindringen einer Person in ein Gebäude zu detektieren. Es kann z.B. aber auch notwendig sein, in den Aufzeichnungen eines Seismographen das Auftreten eines Erdbebens vorherzusagen.It is e.g. necessary in video surveillance, e.g. to detect the intrusion of a person into a building. It can e.g. but also be necessary to predict the occurrence of an earthquake in the records of a seismograph.

Um solche Ereignisse bzw. das Auftreten solcher Ereignisse in einem Video oder in den Aufzeichnungen eines Seismographen zu detektieren werden heute unterschiedliche Computerunterstütze Verfahren angewendet.To detect such events or the occurrence of such events in a video or in the recordings of a seismograph, various computer assisted methods are used today.

Dabei werden z.B. bei Videosequenzen in denen man bestimmte Situationen oder Ereignisse finden möchte, für die aber keine direkten bzw. dedizierten Videoanalyseverfahren existieren, bestimmte Merkmale extrahiert. Dazu werden bekannte Merkmalsextraktoren (z.B. Änderungsdetektoren, Objekterkenner, etc.) genutzt, deren Ergebnisse nur Indizien bzw. Hinweise auf das Auftreten der gesuchten Situation bzw. des gesuchten Ereignisses sind. Daher werden heute alle Abschnitte, die wenigstens eines der Merkmale enthalten, aus den Videosequenzen extrahiert. Die entsprechenden Abschnitte müssen daraufhin von einem Menschen zur Bewertung und endgültigen Entscheidung in Augenschein genommen werden.For example, in video sequences in which one wishes to find specific situations or events but for which there are no direct or dedicated video analysis methods, certain features are extracted. For this purpose, known feature extractors (eg change detectors, object recognizers, etc.) are used, the results of which are indicative only or references to the Occurrence of the situation or the event sought. Therefore, today all sections containing at least one of the features are extracted from the video sequences. The relevant sections must then be reviewed by a human for evaluation and final decision.

Insbesondere wenn sich die automatisch erzeugten Merkmale einzeln nur schlecht dazu eignen, dass Suchszenario zu beschreiben, ist eine zuverlässige Eingrenzung auf bzw. eine zuverlässige Ausgrenzung von Abschnitten einer Videosequenz nur in geringem Maße möglich, so dass eine sehr zeitaufwändige menschliche Überprüfung notwendig wird.In particular, if the automatically generated features are individually poorly suited to describe the search scenario, a reliable limitation to or a reliable exclusion of sections of a video sequence is only possible to a small extent, so that a very time-consuming human verification is necessary.

Schließlich kann eine Suche nach einem Ereignis interaktiv durch menschliche Expertise gelöst werden, wobei üblicherweise mit den Abschnitten begonnen wird, die die selektivsten Merkmale aufweisen und sequentiell alle in Frage kommenden Abschnitte durch einen Menschen bewertet werden.Finally, a search for an event can be interactively resolved by human expertise, typically starting with the sections that have the most selective features and sequentially scoring all candidate sections by a human.

Als Alternative bieten sich speziell trainierte Klassifikatoren an, die an Hand einer Trainingsmenge ihre internen Gewichte zu den gefundenen Merkmalen so lernen, dass der vorgegebene Trainingssatz mit der gewünschten Genauigkeit erkannt wird. Diese werden dann auf die Videosequenz angewendet. Diese Verfahren liefern allerding lediglich dann zufriedenstellende Ergebnisse, wenn der Trainingssatz in ausreichendem Maß mit der Videosequenz korreliert.As an alternative, there are specially trained classifiers that, on the basis of a training set, learn their internal weights for the features found in such a way that the given training set is recognized with the desired accuracy. These are then applied to the video sequence. However, these methods only provide satisfactory results if the training set correlates sufficiently with the video sequence.

Ferner sind Suchsysteme bekannt, die eine gewichtete Summe einzelner Merkmale als Suchkriterium verwenden. Hierbei erfolgt eine Gewichtung der einzelnen Merkmalen mit einem Faktor z.B. zwischen 0 und 1. Die einzelnen gewichteten Maßzahlen der einzelnen Merkmale werden daraufhin aufsummiert und ergeben eine vergleichbare Maßzahl. Diese eindimensionalen Modelle bieten keine Möglichkeit, Unsicherheiten bei der Berechnung der Maßzahlen für die Merkmale zu berücksichtigen. Ferner sind die in diesen Systemen verwendeten Merkmale (z.B. Helligkeit, Kontrast, Farbe, etc.) ungeeignet, um eine inhaltsbasierte Suche (eine Suche nach bestimmten Ereignissen) durchzuführen.Furthermore, search systems are known which use a weighted sum of individual features as a search criterion. In this case, a weighting of the individual features takes place with a factor, for example, between 0 and 1. The individual weighted measures The individual features are then summed up and give a comparable measure. These one-dimensional models do not provide a way to account for uncertainties in the calculation of metrics for the features. Further, the features used in these systems (eg, brightness, contrast, color, etc.) are inadequate for performing a content-based search (search for particular events).

Die EP 2333 736 A2 zeigt ein Verfahren, bei welchem Objekte in einem Video detektiert werden und die Situationen, in welchen sich die Objekte befinden, mittels der sog. "Subjective Logic" bewertet werden.The EP 2333 736 A2 shows a method in which objects are detected in a video and the situations in which the objects are located are evaluated by means of the so-called "subjective logic".

Summary

Es ist daher eine Aufgabe der vorliegenden Erfindung, eine Möglichkeit bereitzustellen, Sensordaten automatisch auf das Auftreten eines Ereignisses hin zu untersuchen.It is therefore an object of the present invention to provide a way to automatically examine sensor data for the occurrence of an event.

Diese Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche gelöst.This object is achieved by the features of the independent claims.

Demgemäß ist vorgesehen:

Eine Vorrichtung zur automatischen Detektion eines Ereignisses in Sensordaten, mit einer Aufnahmeeinrichtung, welche dazu ausgebildet ist, die Sensordaten aufzunehmen, einer Merkmalsidentifikationseinrichtung, welche dazu ausgebildet ist, eine vorgegebene Menge von Merkmalen der Sensordaten in den aufgenommenen Sensordaten automatisch zu identifizieren, einer Bewertungserfassungseinrichtung, welche dazu ausgebildet ist, jeweils eine auf das zu detektierende Ereignis bezogene und basierend auf einem Satz von Bewertungskriterien gebildete Bewertung zu jedem der Merkmale aus der vorgegebenen Menge von Merkmalen zu erfassen, und mit einer Detektionseinrichtung, welche dazu ausgebildet ist, das zu detektierende Ereignis mittels der durch die Merkmalsidentifikationseinrichtung identifizierten Merkmale basierend auf den erfassten Bewertungen zu der vorgegebenen Menge von Merkmalen automatisch zu detektieren.
Ein Verfahren zum automatischen Detektieren eines Ereignisses in Sensordaten, mit den Schritten Aufnehmen der Sensordaten, automatisches Identifizieren einer vorgegebenen Menge von Merkmalen der Sensordaten aus den aufgenommenen Sensordaten, Erfassen jeweils einer auf das zu detektierende Ereignis bezogenen und basierend auf einem Satz von Bewertungskriterien gebildeten Bewertung zu jedem der Merkmale aus der vorgegebenen Menge von Merkmalen, und automatisches Detektieren des zu detektierenden Ereignisses mittels der identifizierten Merkmale basierend auf den erfassten Bewertungen zu der vorgegebenen Menge von Merkmalen.

Accordingly, it is provided:

A device for the automatic detection of an event in sensor data, comprising a recording device which is designed to record the sensor data, a feature identification device which is designed to automatically identify a predefined set of characteristics of the sensor data in the recorded sensor data, a evaluation detection device which is designed to each one related to the event to be detected and to detect, based on a set of evaluation criteria, a score for each of the features from the predetermined set of features, and a detection device configured to detect the event to be detected using the features identified by the feature identifier based on the detected scores for the feature automatically detect a given set of features.
A method for automatically detecting an event in sensor data, comprising the steps of recording the sensor data, automatically identifying a predetermined set of characteristics of the sensor data from the recorded sensor data, respectively acquiring an evaluation related to the event to be detected and based on a set of evaluation criteria each of the features of the predetermined set of features, and automatically detecting the event to be detected using the identified features based on the detected scores for the predetermined set of features.

Die der vorliegenden Erfindung zu Grunde liegende Erkenntnis besteht darin, dass für eine Analyse von Sensordaten einfache Merkmale, wie z.B. die Helligkeit oder die Sättigung eines Bildes bzw. Videos nur schlecht geeignet sind, um automatisch Rückschlüsse auf das Auftreten eines Ereignisses in den Sensordaten zu ziehen.The insight underlying the present invention is that, for an analysis of sensor data, simple features such as e.g. the brightness or saturation of an image or video are poorly suited to automatically draw conclusions about the occurrence of an event in the sensor data.

Die der vorliegenden Erfindung zu Grunde liegende Idee besteht nun darin, dieser Erkenntnis Rechnung zu tragen und eine Möglichkeit bereitzustellen, mit welcher höherwertige Merkmale der Sensordaten in die Detektion eines Ereignisses einbezogen werden können. Dabei sind unter höherwertigen Merkmalen diejenigen Merkmale zu verstehen, welche z.B. eine Analyse des Inhalts eines Bildes erfordern und welche nicht lediglich einfache technische Merkmale, wie z.B. Helligkeit oder die Sättigung, darstellen.The idea underlying the present invention is now to take this knowledge into account and to provide a possibility with which higher-grade features of the sensor data can be included in the detection of an event. Here are among higher quality Features to understand those features that require, for example, an analysis of the content of an image and which not merely simple technical features, such as brightness or saturation represent.

Um eine automatische Analyse von Sensordaten zu ermöglichen, sieht die vorliegende Erfindung daher vor, das Expertenwissen mindestens eines Experten zu einer gestellten Aufgabe, z.B. dem Erkennen einer Situation in einem Video, abzufragen und zur automatischen Analyse der Sensordaten zu nutzen.In order to enable an automatic analysis of sensor data, the present invention therefore provides for the expert knowledge of at least one expert on a given task, e.g. detecting a situation in a video, and using it to automatically analyze the sensor data.

Dazu sieht die vorliegende Erfindung vor, dass eine Aufnahmevorrichtung die Sensordaten aufnimmt, so dass diese daraufhin automatisch analysiert werden können.For this purpose, the present invention provides that a recording device receives the sensor data, so that they can then be automatically analyzed.

Die vorliegende Erfindung sieht ferner eine Merkmalsidentifikationseinrichtung vor, welche bestimmte vorgegebene Merkmale aus den Sensordaten automatisch extrahiert. Dabei kann die Menge der vorgegebenen Merkmale z.B. durch die Verfügbarkeit von Analysealgorithmen und Analysemöglichkeiten für die jeweiligen Sensordaten vorgegeben sein.The present invention further provides a feature identification device which automatically extracts certain predetermined features from the sensor data. In this case, the amount of the predetermined features, e.g. be predetermined by the availability of analysis algorithms and analysis options for the respective sensor data.

Die vorliegende Erfindung beruht nun ferner auf der Erkenntnis, dass auch ein Mensch das Auftreten eines Ereignisses in den Sensordaten nie mit einhundertprozentiger Sicherheit bewerten kann. Vielmehr beurteilt ein Mensch eine Vielzahl von Merkmalen, welche er aus den Sensordaten extrahiert und beurteilt diese einzelnen Merkmale, aus welchen er anschließend eine Schlussfolgerung zieht.The present invention is further based on the finding that even a human can never evaluate the occurrence of an event in the sensor data with one hundred percent certainty. Rather, a human judges a variety of features, which he extracts from the sensor data and assesses these individual characteristics, from which he then draws a conclusion.

Daher sieht die vorliegende Erfindung eine Bewertungserfassungseinrichtung vor, welche es einem Experten ermöglicht, zu jedem der Merkmale aus der Menge von Merkmalen, welche automatisch in den Sensordaten identifiziert werden können, eine Bewertung abzugeben. Dabei wird unter dem Begriff "Experte" eine Person verstanden, welche dazu in der Lage ist, die Merkmale bezüglich deren Relevanz für das zu detektierende Ereignisses zu beurteilen. Ein "Experte" muss also über kein besonderes Fachwissen verfügen, wenn dies zur Beurteilung des zu detektierenden Ereignisses irrelevant ist.Therefore, the present invention provides an evaluation device that allows an expert to each of the features of the set of features, which automatically in the sensor data can be identified to give a rating. In this case, the term "expert" means a person who is capable of assessing the features with regard to their relevance to the event to be detected. So an "expert" does not have to have any special expertise if this is irrelevant to the assessment of the event to be detected.

Dem Experten steht dabei ein Satz von Bewertungskriterien zur Verfügung, welcher dem Experten den Rahmen für die Bewertung der Merkmale vorgibt. Der Experte kann z.B. eine Relevanz eines Merkmals bewerten. Ferner kann der Experte z.B. auch bewerten, wie zuverlässig die automatische Identifikation eines der Merkmale durch die Merkmalsidentifikationseinrichtung ist.The expert has at his disposal a set of evaluation criteria, which gives the expert the framework for the evaluation of the characteristics. The expert may e.g. evaluate a relevance of a characteristic. Furthermore, the expert may e.g. also evaluate how reliable the automatic identification of one of the features by the feature identification means is.

Zur Abfrage der Bewertungen der einzelnen Merkmale bietet sich insbesondere ein Satz von Bewertungskriterien an, welcher den Regeln der "Subjective Logic" entspricht.In order to query the evaluations of the individual features, a set of evaluation criteria is particularly suitable, which corresponds to the rules of the "subjective logic".

Die "Subjective Logic" ermöglicht es einem Experten eine Bewertung sehr intuitiv als eine "Subjective Opinion" mit Hilfe eines Opinion-Dreiecks abzugeben. Dabei besteht für den Experten die Möglichkeit in dem Opinion-Dreieck seine Einschätzung bezüglich des Zutreffens, des Nicht-Zutreffens, seiner Unsicherheit und eine A-priori-Wahrscheinlichkeit bezüglich des jeweiligen Merkmals anzugeben.The "subjective logic" allows an expert to deliver a rating very intuitively as a "subjective opinion" with the help of an Opinion Triangle. In this case, the expert has the option of specifying in the opinion triangle his assessment concerning the correctness, the non-conformity, his uncertainty and an a-priori probability with regard to the respective feature.

Weitere Informationen zur "Subjective Logic" können dem Dokument "Subjective Logic" von Audun Jøsang, University of Oslo, abzurufen unter "http://persons.unik.no/josang/papers/subjective-logic.pdf", entnommen werden.Further information on "Subjective Logic" can be found in the "Subjective Logic" document by Audun Jøsang, University of Oslo, at "http://persons.unik.no/josang/papers/subjective-logic.pdf".

Die Detektionseinrichtung stellt anschließend basierend auf den Bewertungen, insbesondere basierend auf der bewerteten Relevanz der einzelnen Merkmale für das zu detektierende Ereignis, und den in den Sensordaten identifizierten Merkmalen fest, ob das zu detektierende Ereignis in den Sensordaten enthalten ist.The detection device then determines whether the event to be detected is contained in the sensor data, based on the evaluations, in particular based on the evaluated relevance of the individual features for the event to be detected, and the features identified in the sensor data.

Die vorliegende Erfindung ermöglicht es also, bei der Suche nach Ereignissen, die nicht direkt an Hand der beobachteten Merkmale detektiert werden können, diese Ereignisse in den Sensordaten anhand einer Kombination von schwachen Indizien zu detektieren. Dabei wird die Meinung eines Experten darüber abgefragt, inwieweit ein bestimmtes Merkmal zur Suchaufgabe beiträgt. Dies kann, wie oben bereits geschildert z.B. mit Hilfe des Opinion-Dreiecks erfolgen.Thus, in the search for events that can not be detected directly on the basis of the observed features, the present invention makes it possible to detect these events in the sensor data on the basis of a combination of weak indicators. The opinion of an expert is asked about the extent to which a certain feature contributes to the search task. This can, as already described above, e.g. done with the help of the Opinion triangle.

Vorteilhafte Ausführungsformen und Weiterbildungen ergeben sich aus den Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren.Advantageous embodiments and further developments emerge from the dependent claims and from the description with reference to the figures.

In einer Ausführungsform weist die Aufnahmeeinrichtung zumindest eine Kamera und/oder ein Mikrofon und/oder einen Positionssensor und/oder einen Lagesensor und/oder einen Beschleunigungsmesser und/oder einen Helligkeitssensor und/oder weitere Sensoren zur Aufnahme der Sensordaten auf. Dies ermöglicht es, auf einfache Weise eine Vielzahl von Sensordaten unterschiedlicher Art aufzunehmen.In one embodiment, the receiving device has at least one camera and / or a microphone and / or a position sensor and / or a position sensor and / or an accelerometer and / or a brightness sensor and / or further sensors for recording the sensor data. This makes it possible to easily record a variety of sensor data of different types.

In einer Ausführungsform ist die Merkmalsidentifikationseinrichtung dazu ausgebildet, beim Identifizieren in den aufgenommenen Sensordaten ein vorgegebenes Muster zu identifizieren. Dies ermöglicht es, das Auftreten bestimmter wiederkehrender Muster in den Sensordaten festzustellen. Dabei kann ein Muster ein bestimmtes visuelles Muster in einem Bild bzw. Video, aber auch ein hörbares Muster in einer Tonaufnahme, oder z.B. ein Muster in den Messreihen eines Lage-, Beschleunigungs-,Helligkeitssensors oder eines anderen Sensors (sowohl im Zeit- als auch im Frequenzbereich) sein.In one embodiment, the feature identification device is designed to identify a predetermined pattern when identifying in the recorded sensor data. This makes it possible to detect the occurrence of certain recurrent patterns in the sensor data. It can a pattern a particular visual pattern in a picture or video, but also an audible pattern in a sound recording, or eg a pattern in the measurement series of a position, acceleration, brightness sensor or other sensor (both in the time and in the frequency domain ) be.

Zusätzlich oder alternativ ist die Merkmalsidentifikationseinrichtung dazu ausgebildet, beim Identifizieren in als eine Bildaufnahme und/oder Videoaufnahme vorliegenden Sensordaten enthaltene Objekte zu identifizieren. Dies ermöglicht eine genaue Aussage über den Inhalt eines Bildes bzw. Videos zu treffen. Als Objekt ist dabei jedes beliebige Objekt zu verstehen, welches durch einen Merkmalsextraktor automatisch in den Sensordaten identifiziert werden kann.Additionally or alternatively, the feature identification device is designed to identify objects contained in sensor data present as an image recording and / or video recording during identification. This makes it possible to make a precise statement about the content of an image or video. An object is to be understood as any object which can be automatically identified in the sensor data by a feature extractor.

Zusätzlich oder alternativ ist die Merkmalsidentifikationseinrichtung dazu ausgebildet, beim Identifizieren in der Bildaufnahme und/oder Videoaufnahme die Anzahl der vorhandenen Personen zu identifizieren. Diese Ausführungsform stellt einen Sonderfall eines Merkmalsextraktors dar und ermöglicht es, in einem Bild bzw. Video Personen zu identifizieren. Dies ist insbesondere dann von Vorteil, wenn die Personen mit dem zu detektierenden Ereignis in Verbindung stehen.Additionally or alternatively, the feature identification device is designed to identify the number of existing persons when identifying in the image recording and / or video recording. This embodiment represents a special case of a feature extractor and makes it possible to identify persons in an image or video. This is particularly advantageous if the persons are in connection with the event to be detected.

Zusätzlich oder alternativ ist die Merkmalsidentifikationseinrichtung dazu ausgebildet, beim Identifizieren in der Bildaufnahme und/oder Videoaufnahme die Ausrichtung und/oder Position und/oder Bewegungsrichtung und/oder Bewegung zumindest einer in der Bildaufnahme und/oder Videoaufnahme enthaltenen Personen zu identifizieren. Dies ermöglicht es, nicht nur das Vorhandensein einer Person in einem Bild bzw. Video zu identifizieren, sondern weitere Informationen bereitzustellen, die bei der Detektion des zu detektierenden Ereignisses hilfreich sein können.Additionally or alternatively, the feature identification device is designed to identify the orientation and / or position and / or movement direction and / or movement of at least one person included in the image recording and / or video recording when identifying in the image recording and / or video recording. This makes it possible to not only identify the presence of a person in a picture or video, but to provide further information, which may be helpful in detecting the event to be detected.

Zusätzlich oder alternativ ist die Merkmalsidentifikationseinrichtung dazu ausgebildet, beim Identifizieren in der Videoaufnahme einen Wechsel zwischen zumindest zwei Szenen zu identifizieren. Einen Szenenwechsel in einem Video zu erkennen, ermöglicht es, ein Video in seine Bestandteile zu zerlegen, und diese separat zu analysieren.Additionally or alternatively, the feature identification device is designed to identify a change between at least two scenes when identifying in the video recording. Recognizing a scene change in a video makes it possible to break down a video into its components and analyze them separately.

Zusätzlich oder alternativ ist die Merkmalsidentifikationseinrichtung dazu ausgebildet, beim Identifizieren in als eine Tonaufnahme vorliegenden Sensordaten ein potentiell auf ein Auftreten des zu detektierenden Ereignisses hinweisendes Geräusch zu identifizieren. Das Erkennen eines vorgegebenen Geräusches entspricht einem Sonderfall einer Mustererkennung und ermöglicht es, Geräusche zu detektieren, die eindeutige Hinweise auf ein zu detektierendes Ereignis liefern.Additionally or alternatively, the feature identification device is designed to identify when identifying in sensor data present as a sound recording a potentially indicative of an occurrence of the event to be detected noise. The recognition of a given sound corresponds to a special case of pattern recognition and makes it possible to detect noises which provide clear indications of an event to be detected.

Zusätzlich oder alternativ ist die Merkmalsidentifikationseinrichtung dazu ausgebildet, beim Identifizieren in der Tonaufnahme einen Wechsel zwischen zumindest zwei Szenen zu identifizieren. Einen Szenenwechsel in einer Tonaufnahme zu erkennen, ermöglicht es, die Tonaufnahme in ihre Bestandteile zu zerlegen, und diese separat zu analysieren.Additionally or alternatively, the feature identification device is designed to identify a change between at least two scenes when identifying in the sound recording. Recognizing a scene change in a sound recording makes it possible to break down the sound recording into its components, and to analyze them separately.

Zusätzlich oder alternativ ist die Merkmalsidentifikationseinrichtung dazu ausgebildet, beim Identifizieren in der Tonaufnahme zumindest eine in der Tonaufnahme enthaltene Anzahl menschlicher Stimmen zu identifizieren. Diese Ausführungsform stellt einen Sonderfall eines Merkmalsextraktors dar und ermöglicht es, in einer Tonaufnahme Personen zu identifizieren. Dies ist insbesondere dann von Vorteil, wenn die Personen mit dem zu detektierenden Ereignis in Verbindung stehen.Additionally or alternatively, the feature identification device is designed to identify at least one number of human voices contained in the sound recording when identifying in the sound recording. This embodiment represents a special case of a feature extractor and makes it possible to identify persons in a sound recording. This is particularly advantageous if the persons are in connection with the event to be detected.

In einer Ausführungsform weist der Satz von Bewertungskriterien einen Akzeptanzwert und/oder einen Ablehnungswert und/oder einen Unsicherheitswert und/oder einen Basis-Wert auf. Ferner ist die Bewertungserfassungseinrichtung dazu ausgebildet, zu jeder Bewertung einen entsprechenden Akzeptanzwert und/oder einen entsprechenden Ablehnungswert und/oder einen entsprechenden Unsicherheitswert und/oder einen entsprechenden Basis-Wert zu erfassen. Diese Werte entsprechen den in der "Subjective Logic" verwendeten Kennzahlen für die "Subjective Opinions". Werden die Bewertungen eines Experten entsprechend der "Subjective Logic" abgefragt, wird es sehr einfach möglich, zur Detektion eines zu detektierenden Ereignisses in den Sensordaten das Kalkül des "Subjective Logic" zu verwenden.In one embodiment, the set of evaluation criteria comprises an acceptance value and / or a rejection value and / or an uncertainty value and / or a base value. Furthermore, the evaluation detection device is designed to record for each evaluation a corresponding acceptance value and / or a corresponding rejection value and / or a corresponding uncertainty value and / or a corresponding base value. These values correspond to the Subjective Opinions used in Subjective Logic. If the expert's assessments are queried according to the "subjective logic", it becomes very easy to use the calculus of the "subjective logic" to detect an event to be detected in the sensor data.

In einer Ausführungsform ist die Detektionseinrichtung dazu ausgebildet, zu den extrahierten Merkmalen basierend auf zu dem Satz von Bewertungskriterien korrespondierenden arithmetischen Regeln jeweils einen Opinionwert für zumindest einen Ausschnitt der aufgenommenen Sensordaten bezüglich des zu detektierenden Ereignisses zu berechnen. Dieser Opinionwert kann daraufhin auf einen eindimensionalen Wahrscheinlichkeitswert projiziert werden. Dies ermöglicht es, eine einfach vergleichbare Maßzahl für den entsprechenden Ausschnitt aus den Sensordaten zu berechnen und bereitzustellen.In one embodiment, the detection device is designed to calculate, in each case, an Opinion value for at least a section of the recorded sensor data with respect to the event to be detected based on the arithmetic rules corresponding to the set of evaluation criteria. This Opinion value can then be projected onto a one-dimensional probability value. This makes it possible to calculate and provide an easily comparable measure for the corresponding section of the sensor data.

In einer Ausführungsform ist eine Schwellwerterfassungseinrichtung vorgesehen, die dazu ausgebildet ist, für mindestens eines der Merkmale aus der Menge von Merkmalen einen basierend auf dem Satz von Bewertungskriterien gebildeten Schwellwert zu erfassen und diejenigen Ausschnitte der aufgenommenen Sensordaten, für die das mindestens eine Merkmal den entsprechenden vorgegebenen Schwellwert unterschreitet, aus der Detektion des zu detektierenden Merkmals auszuschließen. Dadurch kann der Rechenaufwand für die folgenden Berechnungen verringert werden.In one embodiment, threshold detection means is provided which is adapted to, for at least one of the features of the set of features, a threshold value formed based on the set of evaluation criteria to detect and exclude those sections of the recorded sensor data for which the at least one feature falls below the corresponding predetermined threshold, from the detection of the feature to be detected. As a result, the computational effort for the following calculations can be reduced.

In einer Ausführungsform ist die Detektionseinrichtung dazu ausgebildet, zu den erfassten Bewertungen basierend auf den dem Satz von Bewertungskriterien korrespondierenden arithmetischen Regeln jeweils einen Opinionwert für zumindest einen Ausschnitt der aufgenommenen Sensordaten bezüglich des zu detektierenden Ereignisses zu berechnen. Dies ermöglicht es, auch für die Bewertungen eine einfach vergleichbare Maßzahl zu berechnen und bereitzustellen.In one embodiment, the detection device is configured to calculate, in each case, an Opinion value for at least a section of the recorded sensor data relating to the event to be detected based on the arithmetic rules corresponding to the set of evaluation criteria. This makes it possible to calculate and provide an easily comparable measure for the evaluations.

In einer Ausführungsform ist die Detektionseinrichtung dazu ausgebildet, beim Detektieren mindestens einen Ausschnitt der Sensordaten, für welchen eine Wahrscheinlichkeit für das Auftreten des zu detektierenden Ereignisses einen aus den erfassten Bewertungen berechneten Opinionwert und dem davon abgeleiteten Wahrscheinlichkeitswert übertrifft, basierend auf den dem Satz von Bewertungskriterien korrespondierenden arithmetischen Regeln und den zu den extrahierten Merkmalen berechneten Opinionwerten zu identifizieren. Dadurch wird eine sehr einfache Detektion eines Ereignisses in Sensordaten ermöglicht.In one embodiment, the detection device is configured to detect, on detection, at least a portion of the sensor data for which a probability of occurrence of the event to be detected exceeds an Opinion value calculated from the acquired scores and the probability value derived therefrom, based on the set of scoring criteria arithmetic rules and the Opinion values calculated on the extracted features. This allows a very simple detection of an event in sensor data.

Die obigen Ausgestaltungen und Weiterbildungen lassen sich, sofern sinnvoll, beliebig miteinander kombinieren. Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmalen der Erfindung. Insbesondere wird dabei der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der vorliegenden Erfindung hinzufügen.The above embodiments and developments can, if appropriate, combine with each other as desired. Further possible refinements, developments and implementations of the invention also include combinations not explicitly mentioned above or below with regard to the exemplary embodiments described features of the invention. In particular, the person skilled in the art will also add individual aspects as improvements or additions to the respective basic form of the present invention.

Contents of the drawings

Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren der Zeichnungen angegebenen Ausführungsbeispiele näher erläutert. Es zeigen dabei:

Fig. 1: ein Blockschaltbild einer Ausführungsform einer erfindungsgemäßen Vorrichtung;
Fig. 2: ein Ablaufdiagramm einer Ausführungsform eines erfindungsgemäßen Verfahrens;
Fig. 3: ein Diagramm einer Ausführungsform einer erfindungsgemäßen Bewertung;
Fig. 4: eine Darstellung einer Ausführungsform einer erfindungsgemäßen Bewertungserfassungseinrichtung;
Fig. 5: eine Darstellung einer Ausführungsform einer erfindungsgemäßen Schwellwerterfassungseinrichtung.

The present invention will be explained in more detail with reference to the exemplary embodiments indicated in the schematic figures of the drawings. It shows:

Fig. 1: a block diagram of an embodiment of a device according to the invention;
Fig. 2: a flowchart of an embodiment of a method according to the invention;
Fig. 3: a diagram of an embodiment of a valuation according to the invention;
Fig. 4: a representation of an embodiment of a valuation detection device according to the invention;
Fig. 5: a representation of an embodiment of a threshold value detection device according to the invention.

In allen Figuren sind gleiche bzw. funktionsgleiche Elemente und Vorrichtungen - sofern nichts anderes angegeben ist - mit denselben Bezugszeichen versehen worden.In all figures, identical or functionally identical elements and devices have been provided with the same reference numerals, unless stated otherwise.

Description of exemplary embodiments

Fig. 1 zeigt ein Blockschaltbild einer Ausführungsform einer erfindungsgemäßen Vorrichtung 1. Fig. 1 shows a block diagram of an embodiment of a device 1 according to the invention.

Die Vorrichtung 1 in Fig. 1 weist eine Aufnahmeeinrichtung 2 auf, welche mit einer Merkmalsidentifikationseinrichtung 3 gekoppelt ist. Die Merkmalsidentifikationseinrichtung 3 wiederum ist mit einer Detektionseinrichtung 5 gekoppelt. Die Vorrichtung 1 weist ferner eine Bewertungserfassungseinrichtung 4 auf, die ebenfalls mit der Detektionseinrichtung 5 gekoppelt ist.The device 1 in Fig. 1 has a receiving device 2, which is coupled to a feature identification device 3. The feature identification device 3 in turn is coupled to a detection device 5. The device 1 also has a valuation detection device 4, which is also coupled to the detection device 5.

In einer Ausführungsform ist die Aufnahmeeinrichtung 2 als Videokamera 2 ausgeführt, die die Sensordaten als eine Videoaufnahme 6 aufnimmt.In one embodiment, the recording device 2 is designed as a video camera 2, which receives the sensor data as a video recording 6.

Diese Videoaufnahme 6 stellt die Videokamera 2 der Merkmalsidentifikationseinrichtung 3 bereit, die eine Vielzahl von Merkmalen 8 in den Videoaufnahmen 6 identifiziert. Dabei kann die Merkmalsidentifikationseinrichtung 3 die Videoaufnahme 6 in Echtzeit verarbeiten oder abwarten, bis die gesamte Videoaufnahme 6 bereitsteht, bis die Merkmale 8 in der Videoaufnahme analysiert werden. Dazu kann die Videoaufnahme 6 z.B. auch in einem Datenspeicher zwischengespeichert werden.This video recording 6 provides the video camera 2 to the feature identification device 3, which identifies a plurality of features 8 in the video recordings 6. In this case, the feature identification device 3 can process the video recording 6 in real time or wait until the entire video recording 6 is ready until the features 8 in the video recording are analyzed. For this, the video recording 6 can be e.g. also be cached in a data store.

Die Merkmalsidentifikationseinrichtung 3 in Fig. 1 ist dazu ausgebildet, in der Videoaufnahme 6 die Anzahl der in einer Szene vorhandenen Personen, die Ausrichtung der Personen und/oder deren Gesichter, die Dauer der Szene und die Position der Szene in der Videoaufnahme automatisch zu identifizieren. Dabei kann sich die Merkmalsidentifikationseinrichtung 3 in einer Ausführungsform einer Vielzahl bekannter Merkmalsextraktoren bedienen.The feature identification device 3 in Fig. 1 is designed to automatically identify in the video recording 6 the number of persons present in a scene, the orientation of the persons and / or their faces, the duration of the scene and the position of the scene in the video recording. In this case, the feature identification device 3 can be used in one embodiment of a plurality of known feature extractors.

Ferner ist die Bewertungserfassungseinrichtung 4 dazu ausgebildet, als Bewertungen von einem Experten eine Relevanz (z.B. als "Subjective Opinions") oder auch einen sog. Opinionwert für die Merkmale 8 abzufragen, die die Merkmalsidentifikationseinrichtung 3 identifiziert hat. Die Bewertungserfassungseinrichtung 4 fragt als Bewertungen von einem Benutzer also eine Relevanz für die Merkmale:

Anzahl der in einer Szene vorhandenen Personen;
Ausrichtung der Personen und/oder deren Gesichter;
Dauer der Szene; und
Position der Szene in der Videoaufnahme

Furthermore, the evaluation detection device 4 is designed to query as assessments by an expert a relevance (eg as "subjective opinions") or also a so-called opinion value for the features 8 that the feature identification device 3 has identified. The evaluation detection device 4 thus asks a relevance for the characteristics as evaluations from a user:

Number of people present in a scene;
Orientation of the persons and / or their faces;
Duration of the scene; and
Position of the scene in the video recording

von einem Benutzer ab. Dabei können für die einzelnen Merkmale 8 z.B. Werte vorgegeben werden und der Experte bewertet die Relevanz eines Merkmals 8 in Kombination mit den vorgegebenen Werten. Dadurch wird das Verständnis des Experten zu der gegebenen Aufgabe modelliert und für automatische Berechnungen nutzbar gemacht.from a user. In this case, for the individual features 8, e.g. Values are given and the expert assesses the relevance of a feature 8 in combination with the given values. This will model the expert's understanding of the given task and make it usable for automatic calculations.

Beispielsweise kann für die Anzahl der Personen vorgegeben werden, dass drei Personen in einer Szene zu sehen sein müssen, um das Merkmal 8 der "Anzahl der in einer Szene vorhandenen Personen" zu erfüllen. Werden nur zwei Personen in einer Szene identifiziert, gilt dieses Merkmal 8 als nicht erfüllt. Es können aber z.B. auch zwei Merkmale zu der "Anzahl der in einer Szene vorhandenen Personen" definiert werden, wobei einmal drei und einmal zwei Personen oder andere Anzahlen von Personen vorgegeben werden.For example, for the number of persons, it may be specified that three persons must be seen in a scene in order to fulfill the characteristic 8 of the "number of persons present in a scene". If only two persons are identified in a scene, this feature 8 is considered not fulfilled. However, it may be e.g. also two characteristics to the "number of persons present in a scene" are defined, wherein once three and once two people or other numbers of persons are given.

In der Ausführungsform der Fig. 1 werden die Bewertungen 7 als "Subjective Opinions" geeignet modelliert, die basierend auf den Grundlagen der "Subjective Logic" erstellt werden, d.h. die Bewertungen entsprechen möglichst genau den realen, tatsächlich auftretenden Gegebenheiten. Eine Ausführungsform der Bewertungserfassungseinrichtung 4 wird unter Fig. 4 näher erklärt.In the embodiment of the Fig. 1 the ratings 7 are modeled as "Subjective Opinions" based on based on the principles of "subjective logic", ie the evaluations correspond as closely as possible to the real, actually occurring conditions. An embodiment of the evaluation detection device 4 is under Fig. 4 explained in more detail.

Schließlich detektiert die Detektionseinrichtung 5 basierend auf den identifizierten Merkmalen 8, dem Bewertungsmodell, welches aus dem Satz von Bewertungskriterien hervorgeht, und den abgefragten Relevanzen der Merkmale 8 in den Sensordaten 6 ein zu detektierendes Ereignis basierend auf dem Kalkül der "Subjective Logic".Finally, the detection device 5 detects, based on the identified features 8, the evaluation model resulting from the set of evaluation criteria, and the queried relevances of the features 8 in the sensor data 6, an event to be detected based on the "subjective logic" calculation.

In einem einfachsten und intuitivsten Fall, werden die einzelnen von einem Experten modellierten Bewertungen 7 mittels einer UND-Verknüpfung kumuliert. Diese Kumulation mittels einer UND-Verknüpfung wird in der "Subjective Logic" mit dem ^-Operator ausgedrückt.In a simplest and most intuitive case, the individual ratings 7 modeled by an expert are cumulated using an AND link. This accumulation by means of an AND operation is expressed in the "subjective logic" with the ^ operator.

Vor dem Kumulieren der einzelnen Bewertungen 7 mittels einer Konjunktion entsprechend der "Subjective Logic" kann auch eine Schwellwertbildung erfolgen, durch welche diejenigen Merkmale 8, deren Relevanz für die Detektion des Ereignisses eine vorgegeben Schwelle unterschreitet, aus der Menge der Merkmale 8 entfernt werden. Dadurch kann der Rechenaufwand für die folgenden Berechnungen verringert werden. Der jeweilige Schwellwert kann dabei auch als Opinionwert dargestellt werden.Before cumulating the individual evaluations 7 by means of a conjunction in accordance with the "subjective logic", a threshold value can also be formed by which those features 8 whose relevance for the detection of the event falls below a predetermined threshold are removed from the set of features 8. As a result, the computational effort for the following calculations can be reduced. The respective threshold value can also be represented as an Opinion value.

Anschließend berechnet die Detektionseinrichtung 5 für jede Szene aus den kumulierten Bewertungen 7, einen eindimensionalen Wahrscheinlichkeitswert. Anhand des berechneten Wahrscheinlichkeitswertes erstellt die Detektionseinrichtung 5 eine Reihenfolge der einzelnen Szenen beginnend mit derjenigen Szene, welche den höchsten Wahrscheinlichkeitswert aufweist.Subsequently, the detection device 5 calculates a one-dimensional probability value for each scene from the cumulative evaluations 7. Based on the calculated probability value, the detection device 5 creates an order of the individual scenes starting with the scene which has the highest probability value.

Da das Detektieren von Ereignissen Prinzip-bedingt nicht mit einhundertprozentiger Sicherheit sondern lediglich mit einer entsprechenden Wahrscheinlichkeit durchgeführt werden kann, ist unter dem Begriff des Detektierens kein exaktes Detektieren, sondern ein Abschätzen des Vorhandenseins eines Ereignisses in den Sensordaten zu verstehen.Since the detection of events can not be performed with one hundred percent certainty, but only with a corresponding probability, the term detection does not mean exact detection but estimation of the presence of an event in the sensor data.

Dementsprechend sind diejenigen Szenen, welche für die kumulierten Bewertungen 7 die höchsten Werte aufweisen, diejenigen Szenen, welch das zu detektierende Ereignis mit der größten Wahrscheinlichkeit enthalten.Accordingly, those scenes which have the highest values for the cumulative scores 7 are those scenes containing the most probable event to be detected.

In einer Ausführungsform kann es z.B. eine Aufgabe sein, in einer Fernsehsendung, bei welcher ein Moderator mit den Gästen der Fernsehsendung Wetten abschließt, diejenigen Szenen zu identifizieren, in welcher der Moderator eine Wette verkündet.In one embodiment, it may e.g. a task in a television program in which a presenter concludes bets with the guests of the television program to identify those scenes in which the presenter announces a bet.

Die Menge der Merkmale umfasst in dieser Ausführungsform z.B.:

Zeitlicher Abstand einer Szene zu der Wette;
Dauer der Szene;
Anzahl der Gesichter in der Szene;
Anzahl der Gesichter, welche in der Szene im Profil zu sehen sind.

The set of features in this embodiment includes, for example:

Time interval of a scene to the bet;
Duration of the scene;
Number of faces in the scene;
Number of faces visible in profile in the scene.

Ein Experte bewertet jedes Merkmal 8 entsprechend seiner Auffassung bezüglich der Relevanz des jeweiligen Merkmals 8. Dazu stehen ihm vier Parameter entsprechend der "Subjective Logic" bereit, welche er z.B. zu jedem Merkmal 8 in einem Opinion-Dreieck 11 eintragen kann. Die Parameter sind das Zutreffen eines Merkmals, das Nicht-Zutreffen eines Merkmals, die Unsicherheit des Experten gegenüber dem jeweiligen Merkmal, sowie die a-priori Eintrittswahrscheinlichkeit des Merkmals. Ein entsprechendes Opinion-Dreieck 11 wird in Fig. 3 gezeigt.An expert evaluates each feature 8 according to its view of the relevance of the respective feature 8. See If four parameters are available to him according to the "subjective logic", which he can enter, for example, for each feature 8 in an Opinion Triangle 11. The parameters are the suitability of a feature, the non-conformity of a feature, the uncertainty of the expert with respect to the respective feature, and the a priori probability of occurrence of the feature. A corresponding Opinion triangle 11 is in Fig. 3 shown.

Schließlich kumuliert die Detektionseinrichtung 5 für jede Szene die entsprechenden Bewertungen 7 und gibt eine Rangfolge für die Szenen aus, wobei die Szenen entsprechend dem Wert der kumulierten Bewertungen 7 angeführt werden.Finally, the detection means 5 cumulates the corresponding scores 7 for each scene and outputs a ranking for the scenes, the scenes being cited according to the value of the cumulative scores 7.

In einer Ausführungsform sind die Merkmalsidentifikationseinrichtung 3, die Bewertungserfassungseinrichtung 4 und die Detektionseinrichtung 5 als Computerprogrammmodule ausgebildet, welche auf einem handelsüblichen Computer, welcher z.B. mit einem Windows- oder Linux-Betriebssystem betrieben wird, ausgebildet ist.In one embodiment, the feature identification means 3, the evaluation detection means 4 and the detection means 5 are designed as computer program modules which are mounted on a commercial computer, e.g. is operated with a Windows or Linux operating system is designed.

In weiteren Ausführungsformen sind die Merkmalsidentifikationseinrichtung 3, die Bewertungserfassungseinrichtung 4 und die Detektionseinrichtung 5 als anwendungsspezifische integrierte Schaltkreise, als programmierbare Logikbausteine, als Mikrocontroller oder allgemein als Hardware, Software, Firmware oder eine beliebige Kombination daraus ausgebildet.In further embodiments, the feature identification device 3, the evaluation detection device 4 and the detection device 5 are designed as application-specific integrated circuits, as programmable logic devices, as microcontrollers or generally as hardware, software, firmware or any combination thereof.

Fig. 2 zeigt ein Ablaufdiagramm einer Ausführungsform eines erfindungsgemäßen Verfahrens. Fig. 2 shows a flowchart of an embodiment of a method according to the invention.

In einem ersten Schritt S1 werden die Sensordaten 6 aufgenommen. Anschließend wird in einem zweiten Schritt S2 eine vorgegebene Menge von Merkmalen 8 der Sensordaten 6 in den aufgenommenen Sensordaten 6 automatisch identifiziert.In a first step S1, the sensor data 6 are recorded. Subsequently, in a second step S2, a predetermined Set of features 8 of the sensor data 6 in the recorded sensor data 6 automatically identified.

In einem dritten Schritt S3 wird jeweils eine auf das zu detektierende Ereignis bezogene und basierend auf einem Satz von Bewertungskriterien gebildete Bewertung 7 zu jedem der Merkmale 8 aus der vorgegebenen Menge von Merkmalen 8 von einem Experten modelliert.In a third step S3, an evaluation 7 relating to the event to be detected and based on a set of evaluation criteria is modeled by an expert for each of the features 8 from the predefined set of features 8.

Schließlich wird in einem vierten Schritt S4 das zu detektierende Ereignis automatisch mittels der identifizierten Merkmale 8 basierend auf den modellierten Bewertungen zu der vorgegebenen Menge von Merkmalen 8 detektiert.Finally, in a fourth step S4, the event to be detected is automatically detected by means of the identified features 8 based on the modeled scores for the predetermined set of features 8.

Fig. 3 zeigt ein Diagramm einer Ausführungsform einer erfindungsgemäßen Bewertung 7 in einem Opinion-Dreieck 11. Fig. 3 shows a diagram of an embodiment of a rating according to the invention 7 in an Opinion triangle 11th

Fig. 3 zeigt ein Opinion-Dreieck 11 gemäß den Regeln der "Subjective Logic", welches als gleichschenkliges Dreieck 11 ausgebildet ist. In Fig. 3 ist das Dreieck 11 derart orientiert, das die untere Seite des Dreiecks 11 horizontal liegt. Fig. 3 shows an Opinion triangle 11 according to the rules of "Subjective Logic", which is formed as an isosceles triangle 11. In Fig. 3 is the triangle 11 oriented so that the lower side of the triangle 11 is horizontal.

Ferner ist von der Mitte jeder der Seiten des Dreiecks 11 jeweils ein Pfeil in die der jeweiligen Seite gegenüberliegende Ecke des Dreiecks 11 als Maß-Achse eingetragen. Dabei stellt der Ursprung des Pfeils jeweils einen Wert von 0 und das Ende eines Pfeils einen Wert von 1 dar. Dabei steht der Pfeil von der unteren Seite des Dreiecks 11 in die obere Ecke des Dreiecks 11 den Wert "u" dar. Ferner stellt der Pfeil von der linken Seite des Dreiecks 11 in die rechte untere Ecke des Dreiecks 11 den Wert "b" dar. Schließlich stellt der Pfeil von der rechten Seite des Dreiecks 11 in die linke untere Ecke des Dreiecks 11 den Wert "d" dar.Further, from the center of each of the sides of the triangle 11, an arrow is entered in each of the respective side opposite corner of the triangle 11 as a Maß-axis. In this case, the origin of the arrow in each case represents a value of 0 and the end of an arrow is a value of 1, where the arrow from the lower side of the triangle 11 into the upper corner of the triangle 11 represents the value "u" The arrow from the left side of the triangle 11 into the lower right corner of the triangle 11 represents the value "b". Finally, the arrow from the right side of the triangle 11 into the lower left corner of the triangle 11 represents the value "d".

Wird eine Bewertung (Opinion) in dem Opinion-Dreieck 11 der Fig. 3 eingetragen, so erfüllt diese Bewertung immer die Bedingung: $b = d + u = 1$

If a rating (Opinion) in the Opinion triangle 11 of Fig. 3 entered, this rating always fulfills the condition:

b = d + u = 1

Dabei steht der Wert "b" ("belief") dafür, wie sehr der Experte glaubt, dass dieses Merkmal für die Detektion des Ereignisses relevant ist. Genauso steht der Wert "d" ("disbelief") dafür, wie wenig der Experte glaubt, dass dieses Merkmal für die Detektion des Ereignisses relevant ist. Der Wert "u" gibt an, wie sicher sich der Experte ist, dass seine Einschätzung zutreffend ist. Ferner wird für in einem Opinion-Dreieck 11 immer auch ein Wert "a" angegeben, auch "atomicity" genannt, der die a-priori Wahrscheinlichkeit für ein Merkmal darstellt.The value "b" ("belief") stands for how much the expert believes that this feature is relevant to the detection of the event. Similarly, the value "d" ("disbelief") stands for how little the expert believes that this feature is relevant to the detection of the event. The value "u" indicates how confident the expert is that his assessment is correct. Further, in an Opinion Triangle 11, there is always also given a value "a", also called "atomicity", which represents the a-priori probability for a feature.

In Fig. 3 ist eine Bewertung O eingetragen, welche einen Wert "b" von 0,7, einen "d" Wert von 0,1 und einen "u" Wert von 0,2, sowie einen "a_x" Wert von 0,5 hat (ohne Beschränkung der Allgemeinheit). Dadurch kann ein Experte ausdrücken, dass er das jeweilige Merkmal als durchaus wichtig für die Detektion des Ereignisses ansieht ("b" = 0,7). Ferner drückt die Bewertung in Fig. 3 aus, dass der Experte sich auch relativ sicher ("u" = 0,2) bezüglich seiner Bewertung ist.In Fig. 3 a rating O is entered which has a value "b" of 0.7, a "d" value of 0.1 and a "u" value of 0.2, and an "a _x " value of 0.5 ( Without loss of generality). As a result, an expert can express that he regards the respective feature as very important for the detection of the event ("b" = 0.7). Furthermore, the rating expresses in Fig. 3 that the expert is also relatively safe ("u" = 0.2) in terms of his rating.

In dem Opinion-Dreieck 11 ist ferner eine Senkrechte von der Bewertung O auf die untere Seite des Dreiecks 11 eingezeichnet. Der Projektionspunkt von O parallel zur Geraden durch die Punkte "u" und "a_x" der Senkrechten auf der unteren Seite des Dreiecks 11 kennzeichnet die Wahrscheinlichkeit, dass das entsprechende Merkmal 8, entsprechend der herkömmlichen Wahrscheinlichkeitsbetrachtung, zutreffend ist und kann daher einen Wert zwischen 0 (linke untere Ecke des Dreiecks 11) und 1 (rechte untere Ecke des Dreiecks 11) annehmen.In the Opinion triangle 11 is also a vertical from the score O on the lower side of the triangle 11 located. The projection point of O parallel to the straight line through the points "u" and "a _x " of the vertical on the lower side of the triangle 11 characterizes the probability that the corresponding feature 8, according to the conventional probability consideration, is true and therefore can take a value between 0 (lower left corner of triangle 11) and 1 (lower right corner of triangle 11).

In Fig. 3 ist in der Mitte der unteren Achse des Dreiecks 11 ferner ein Wert a_x = 0.5 dargestellt, welcher die sog. Atomizität ("atomicity") für das Opinion-Dreieck 11 darstellt.In Fig. 3 Furthermore, in the middle of the lower axis of the triangle 11, a value a _x = 0.5 is shown, which represents the so-called "atomicity" for the Opinion triangle 11.

Fig. 4 zeigt eine Darstellung einer Ausführungsform einer erfindungsgemäßen Bewertungserfassungseinrichtung 4. Fig. 4 shows a representation of an embodiment of a valuation detection device 4 according to the invention.

Die Bewertungserfassungseinrichtung 4 in Fig. 4 ist als Darstellung eines Computerbildschirms dargestellt, in welcher ein Experte in einem Opinion-Dreieck 11 seine Bewertungen für die Relevanz für eine Vielzahl von Merkmalen 8 eingeben kann. Dabei bezieht sich die Fig. 4 auf das Beispiel der Fig. 1 in welchem Szenen einer Sendung analysiert werden, welche das Abschließen von Wetten mit den Gästen der Sendung zum Inhalt hat. Die Aufgabe ist weiterhin, diejenigen Szenen zu identifizieren, in welchen die jeweiligen Wetten verkündet werden.The evaluation detection device 4 in Fig. 4 is presented as an illustration of a computer screen in which an expert in an Opinion Triangle 11 can enter his ratings for relevance to a variety of features 8. This refers to the Fig. 4 on the example of Fig. 1 in which scenes of a program are analyzed, which has the conclusion of betting with the guests of the program to the content. The task is also to identify those scenes in which the respective bets are announced.

Dazu weist die Bewertungserfassungseinrichtung 4 einen oberen Bereich auf, in welchem dem Benutzer ein Ausschnitt 10 der Sensordaten, das Opinion-Dreieck 11 und die Wahrscheinlichkeitsdichtefunktionen 12 der einzelnen Bewertungen angezeigt werden.For this purpose, the evaluation detection device 4 has an upper area, in which the user a section 10 of the sensor data, the Opinion triangle 11 and the probability density functions 12 of the individual reviews are displayed.

In einem unteren Teil der Bewertungserfassungseinrichtung 4 wird dem Benutzer der Verlauf über die Zeit des Wahrscheinlichkeitswertes der einzelnen Abschnitte der Sensordaten gezeigt.In a lower part of the evaluation device 4, the user is shown the course over the time of the probability value of the individual sections of the sensor data.

In dem Opinion-Dreieck 11 in Fig. 4 sind vier Bewertungen 7 und der daraus kumulierte Bewertungswert "final" eingetragen. Die Bewertungen 7 beziehen sich auf die Anzahl der Gesichter, welche im Profil zu sehen sind, den zeitlicher Abstand der Szene zu der Wette, die Dauer der Szene und die Anzahl der Gesichter, welche in der Szene identifiziert wurden.In the Opinion triangle 11 in Fig. 4 are four ratings 7 and the cumulative score "final" registered. The scores 7 relate to the number of faces seen in the profile, the time distance of the scene to the bet, the duration of the scene, and the number of faces identified in the scene.

In dem unteren Bereich der Bewertungserfassungseinrichtung 4 ist eine Wahrscheinlichkeitswertkurve dargestellt, welche den Wahrscheinlichkeitswert für die einzelnen Szenen der Sendung entsprechend den aktuellen Bewertungen 7 angibt. Ferner sind zwei Szenen markiert, für welche der Wahrscheinlichkeitswert einen vorgegebenen (z.B. von einem Experten abgefragten) Mindestwert überschreitet.In the lower area of the evaluation detection device 4, a probability value curve is shown, which indicates the probability value for the individual scenes of the transmission according to the current evaluations 7. Further, two scenes are marked for which the probability value exceeds a predetermined minimum value (e.g., requested by an expert).

Fig. 5 zeigt eine Darstellung einer Ausführungsform einer erfindungsgemäßen Schwellwerterfassungseinrichtung 14. Fig. 5 shows a representation of an embodiment of a threshold value detection device 14 according to the invention.

Die Schwellwerterfassungseinrichtung 14 in Fig. 5 ist ebenfalls als Darstellung eines Computerbildschirms dargestellt, in welcher ein Experte vier als Opinion ausgeführte Schwellwerte 16-1 - 16-4 in Form einer Dreiecks-Repräsentation für die vier Merkmale:

Zeitlicher Abstand einer Szene zu der Wette;
Dauer der Szene;
Anzahl der Gesichter in der Szene; und
Anzahl der Gesichter, welche in der Szene im Profil zu sehen sind

eingeben kann. Dabei bezieht sich die Fig. 5 ebenfalls auf das Beispiel der Fig. 1 in welchem Szenen einer Sendung analysiert werden, welche das Abschließen von Wetten mit den Gästen der Sendung zum Inhalt hat. Die Aufgabe ist weiterhin, diejenigen Szenen zu identifizieren, in welchen die jeweiligen Wetten verkündet werden.The threshold value detection device 14 in FIG Fig. 5 is also shown as an illustration of a computer screen in which an expert has four threshold Opinion values 16-1-16-4 in the form of a triangle representation for the four features:

Time interval of a scene to the bet;
Duration of the scene;
Number of faces in the scene; and
Number of faces visible in profile in the scene

can enter. This refers to the Fig. 5 also on the example of Fig. 1 in which scenes of a broadcast are analyzed, which conclude the betting with the Guests of the program has to content. The task is also to identify those scenes in which the respective bets are announced.

Dazu weist die Schwellwerterfassungseinrichtung 14 einen oberen Bereich auf, in welchem dem Benutzer bzw. Experten in einer Schwellwerteinrichtung 15 vier Opinion-Dreiecke für die Schwellwerte 16-1 - 16-4 zu den oben genannten Merkmalen angezeigt werden. In diesen Opinion-Dreiecken kann der Benutzer bzw. Experte durch Ziehen eines Punktes z.B. mit einer Computer Maus oder durch Deuten auf den Punkt an einem Touchscreen die jeweiligen Schwellwerte 16-1 - 16-4 festlegen. In den weiteren Berechnungen zur Detektion S4 des zu detektierenden Ereignisses werden daraufhin nur diejenigen Ausschnitte aus den Sensordaten verwendet 10-1 - 10-4 und in dem oberen Bereich als Bildausschnitte angezeigt, für welche alle Merkmale über dem entsprechenden Schwellwert 16-1 - 16-4 liegen.For this purpose, the threshold value detection device 14 has an upper area, in which the user or expert in a threshold value device 15 four Opinion triangles for the threshold values 16-1 - 16-4 are displayed to the above features. In these Opinion triangles, the user or expert may be drawn by dragging a dot, e.g. Set the thresholds 16-1 - 16-4 with a computer mouse or by pointing at the point on a touch screen. In the further calculations for the detection S4 of the event to be detected, only those sections of the sensor data are then used 10-1 - 10-4 and displayed in the upper area as image sections, for which all the features above the corresponding threshold 16-1 - 16- 4 lie.

Im unteren Teil der Schwellwerterfassungseinrichtung 14 wird dem Benutzer der Verlauf über die Zeit des Wahrscheinlichkeitswertes der einzelnen Abschnitte der Sensordaten gezeigt.In the lower part of the threshold value detection device 14, the user is shown the course over the time of the probability value of the individual sections of the sensor data.

Wird eine Schwellwerterfassungseinrichtung 14 vorgesehen, kann die Anzahl der Berechnungen reduziert werden. Ferner kann die Anzahl der Ausschnitte aus den Sensordaten, welche nach der Detektion evtl. eine Person analysieren muss reduziert werden.When a threshold detection means 14 is provided, the number of calculations can be reduced. Furthermore, the number of clippings from the sensor data, which may have to analyze a person after the detection must be reduced.

Obwohl die vorliegende Erfindung anhand bevorzugter Ausführungsbeispiele vorstehend beschrieben wurde, ist sie darauf nicht beschränkt, sondern auf vielfältige Art und Weise modifizierbar. Insbesondere lässt sich die Erfindung in mannigfaltiger Weise verändern oder modifizieren, ohne vom Kern der Erfindung abzuweichen.Although the present invention has been described above with reference to preferred embodiments, it is not limited thereto, but modifiable in a variety of ways. In particular, the invention can be in manifold Modify or modify, without departing from the gist of the invention.

Claims

Device (1) for the automatic detection of an event in sensor data (6), with
a receiving device (2) which is adapted to receive the sensor data (6);
a feature identification device (3) which is designed to automatically identify a predefined set of features (8) of the sensor data (6) in the recorded sensor data (6);
a rating detection means (4) which is adapted to detect in each case an evaluation (7) related to the event to be detected and formed on the basis of a set of evaluation criteria for each of the features (8) from the predetermined set of features (8); and with a detection device (5) which is designed to automatically detect the event to be detected by means of the features (8) identified by the feature identification device (3) on the basis of the detected evaluations of the predetermined set of features (8).

Device according to claim 1,
characterized in that
the receiving device (2) has at least one camera and / or a microphone and / or a position sensor and / or a position sensor and / or an accelerometer and / or a brightness sensor for receiving the sensor data (6).

Device according to one of the preceding claims,
characterized in that the feature identification means (3) is adapted to identify: to identify a pattern in the recorded sensor data (6); and or

identify objects contained in sensor data (6) present as an image recording and / or video recording;

and or

to identify the number of existing persons in the image recording and / or video recording; and / or in the image recording and / or video recording to identify the orientation and / or position and / or movement direction and / or movement of at least one person included in the image recording and / or video recording; and / or to identify in the video recording a change between at least two scenes; and or

in sensor data (6) present as a sound recording, identifying a sound potentially indicative of an occurrence of the event to be detected; and / or in the sound recording to identify a change between at least two scenes; and or

to identify in the sound recording at least one number of human voices contained in the sound recording.

Device according to one of the preceding claims,
characterized in that
the set of evaluation criteria score (7) has an acceptance value and / or a rejection value and / or an uncertainty value and / or a base value; and
the evaluation detection device (4) is designed to record for each evaluation (7) a corresponding acceptance value and / or a corresponding rejection value and / or a corresponding uncertainty value and / or a corresponding base value.

Device according to one of the preceding claims,
characterized in that
the detection device (5) is configured to calculate an opionion value for at least a section of the recorded sensor data (6) with respect to the event to be detected, based on arithmetic rules corresponding to the set of evaluation criteria, to the extracted features (8).

Device according to one of the preceding claims,
characterized in that a
Threshold detection device is provided which is adapted to detect for at least one of the features from the set of features a threshold value formed based on the set of evaluation criteria and those sections of the recorded sensor data for which the at least one feature falls below the predetermined threshold, from the Exclude detection of the feature to be detected.

Device according to one of the preceding claims,
characterized in that
the detection device (5) is designed to calculate, in each case, an Opinion value for at least one of the sections of the recorded sensor data (6) with respect to the event to be detected, based on the arithmetic rules corresponding to the set of evaluation criteria.

Device according to claims 6 and 7,
characterized in that
the detection device (5) is designed to detect at least one of the sections of the sensor data (6) for which a probability for the occurrence of the event to be detected exceeds a probability value calculated from the detected evaluations, based on the arithmetic corresponding to the set of evaluation criteria To identify rules and the Opinion values calculated on the extracted features (8).

Method for automatically detecting an event in sensor data (6), comprising the steps of: Taking (S1) the sensor data (6);

automatically identifying (S2) a predetermined set of features (8) of the sensor data (6) from the recorded sensor data (6);

Modeling (S3) in each case an evaluation (7) related to the event to be detected and formed on the basis of a set of evaluation criteria for each of the features (8) from the predetermined set of features (8); and

automatically detecting (S4) the event to be detected by means of the identified features (8) based on the detected scores for the predetermined set of features (8).

Method according to claim 8,
characterized in that the sensor data (6) are recorded by means of a camera and / or a microphone and / or a position sensor and / or a position sensor and / or an acceleration sensor and / or a brightness sensor.

Method according to one of the preceding claims 9 and 10, characterized
that when automatically identifying (S2): identifying a pattern in the recorded sensor data (6); and or

be identified in as an image recording and / or video recording present sensor data (6) contained objects;

and or

the number of existing persons is identified in the image recording and / or video recording; and / or the orientation and / or position and / or direction of movement and / or movement of at least one person included in the image recording and / or video recording is identified in the image recording and / or video recording; and / or in the video recording a change between at least two scenes is identified; and or

in sensor data (6) present as a sound recording, identifying a sound indicative of an occurrence of the event to be detected; and / or in the sound recording a change between at least two scenes is identified; and or

at least one number of human voices contained in the sound recording is identified in the sound recording.

Method according to one of the preceding claims 9 to 11, characterized in that
the set of evaluation criteria has an acceptance value and / or a rejection value and / or an uncertainty value and / or a base value; and
when acquiring the assessments for each of the features (8), a corresponding acceptance value and / or a corresponding rejection value and / or a corresponding uncertainty value and / or a corresponding base value are recorded and / or modeled.

Method according to one of the preceding claims 9 to 12, characterized in that
in automatically analyzing the extracted features (8) is calculated based on arithmetic rules corresponding to the set of evaluation criteria each an Opinionwert for at least a portion of the recorded sensor data (6) with respect to the event to be detected; and
in the case of automatically analyzing the acquired evaluations based on the arithmetic rules corresponding to the set of evaluation criteria, in each case calculating an Opinion value for at least one of the sections of the recorded sensor data (6) with respect to the event to be detected.

Method according to claim 13,
characterized in that
upon automatically detecting at least one of the snapshots of the sensor data (6) based on the arithmetic rules corresponding to the set of scoring criteria and the scores calculated on the extracted features (8), for which a probability of occurrence of the event to be detected is identified exceeds the probability value calculated from the collected assessments.

Method according to one of the preceding claims 9 to 14,
characterized in that
before automatic detection (S4) for at least one of the features from the set of features a threshold value formed based on the set of evaluation criteria is detected and those sections of the recorded sensor data for which the at least one feature meets the predetermined Threshold below, be excluded from the detection of the feature to be detected.