DE102012014022A1

DE102012014022A1 - Method for object- and scene related storage of image-, sensor- or sound sequences, involves storing image-, sensor- or sound data from objects, where information about objects is generated from image-, sensor- or sound sequences

Info

Publication number: DE102012014022A1
Application number: DE201210014022
Authority: DE
Inventors: Dr. Waschulzik Thomas
Original assignee: Individual
Current assignee: Individual
Priority date: 2012-07-14
Filing date: 2012-07-14
Publication date: 2014-01-16

Abstract

The method involves storing an image-, sensor- or sound data from the objects, such as technical or natural objects, sceneries, rooms, fabric structures, people, animals, plants, microorganisms, liquids, gases or recording objects. The information about the objects is totally or partially generated from the image-, sensor- or sound sequences. A scene or scene series made of the objects is provided with the information about the spatial relations to each other and the environmental conditions, illumination, background or background noise. An independent claim is included for a device for carrying out the storage method.

Description

Die Erfindung betrifft ein Verfahren und eine Einrichtung zur objekt- und szenenbezogenen Speicherung von Bild-, Sensor- und/oder Tonsequenzen, insbesondere in der Mikroskopie, der optischen Qualitätssicherung, in der Überwachungs- und Sicherheitstechnik und in dergleichen Bereichen, in denen eine Speicherung von Bild-, Sensor- und/oder Tonsequenzen zur späteren Bearbeitung, Analyse und/oder Visualisierung sowie Wiedergabe durchgeführt wird.The invention relates to a method and a device for object and scene-related storage of image, sensor and / or sound sequences, in particular in microscopy, optical quality assurance, in surveillance and security technology and in the same areas in which a storage of Image, sensor and / or sound sequences for later editing, analysis and / or visualization and playback is performed.

Aus dem Stand der Technik ist bekannt, dass Bild- und/oder Tondaten in den Applikationen, wie Mikroskopie, optische Qualitätssicherung, Überwachungs- und Sicherheitstechnik sowie der Filmindustrie zur Bearbeitung gespeichert werden. Im MPEG-4 Standard werden Bildsequenzen abgespeichert und die Speicherung wird dadurch optimiert, dass nur einzelne Bilder und die Unterschiede zu den Folgebildern gespeichert werden. Durch die fortscheitende Verbesserung der Bildanalysealgorithmen und preiswerteren Möglichkeiten der parallelen Verarbeitung von Daten, z. B. durch Multicore-CPUs, ergeben sich immer bessere Möglichkeiten, die in den Videoinformationen enthaltenen Objekte zu erkennen und aus den Videodaten die 2,5D- bzw. 3D-Form und Texturinformation der Objekte zu bestimmen. Damit wird es möglich, die Bildinformationen direkt den aufgenommen realen Objekten zuzuordnen und das Szenenrendering für die Wiedergabe auf der Basis der bei den Objekten und Szenen gespeicherten Information durchzuführen. Nachteilig ist, dass in vielen Applikationen durch die zunehmende Anzahl der Sensoren die Datenströme wachsen und die Kosten für die Übertragung und Speicherung der Daten erheblich zunehmen. Durch die Verbesserung der Objekterkennung und die Verfügbarkeit der immer günstiger werdenden Parallelverarbeitung entstehen neue Verhältnisse bei denen es attraktiver wird, die Sensorinformationen weiter vorzuverarbeiten und zu verdichten, auch um die Verwendbarkeit der Sensorinformationen zu verbessern. Eine frühe Segmentierung und Erkennung der in dem Datenstrom enthaltenen Objekte führt zu einer früheren Veredelung der Daten, da auswertende Programme auf der viel höheren Abstraktionsebene der Objekte auf den Datenstrom zugreifen können. Aus den Objekten, die in den Sensordaten erkannt werden, können dann Szenen zusammengesetzt werden, welche die gefundenen Objekte, ihre räumlichen Relationen, die Beleuchtung, die Sensorpositionen und die zeitlichen Veränderungen enthalten. Bei Bedarf können aus den Objekten auch die Rohdaten rekonstruiert werden, aus denen dann eine Erkennung anderer Objekte vorgenommen werden kann, ohne dass ein schädigender Informationsverlust bei dem ersten Objekterkennungs- und Komprimierungsschritt auftritt. Durch die Vielzahl der verfügbaren Rechnerkerne können z. B. auch Rechnerkerne für die Erkennung einer Untermenge der insgesamt zu erkennenden Objekte ausgewählt werden. Der Datenstrom wird parallel allen oder mehreren Rechnerkernen zur Verfügung gestellt und die auf den Rechnerkernen ablaufenden Algorithmen suchen dann in diesem Datenstrom die Objekte, für deren Erkennung die Algorithmen entwickelt worden sind oder für deren Erkennung ihre Parameter geeignet sind. Es gibt ein Protokoll für die Kommunikation der auf den informationsverarbeitenden Einheiten ablaufenden Prozesse, über das die erkannten Objekte zusammen mit der Positionsinformation und den damit erklärten Bildinformationen an die anderen informationsverarbeitenden Einheiten zurückgemeldet werden. Auf Grund dieser Information können die anderen Suchprozesse ihre Suchbereiche in den Sensordaten anpassen. Dabei können sowohl Suchbereiche ausgelassen werden, in denen die Sensordaten bereits ausreichend erklärt worden sind, da dort keine weiteren Objekte mehr zu finden sind, als auch Suchbereiche intensiver bearbeitet werden, da in der Nähe von bestimmten Objekten andere Objekte mit erhöhter Wahrscheinlichkeit auftreten können. Durch diesen Ansatz können sehr einfach Bibliotheken für die Erkennung von unterschiedlichen Objekten miteinander kombiniert werden, welche große Mengen an Objekten erkennen, da nur das Protokoll der Kommunikation zwischen den Rechnerkernen standardisiert werden muss und die Algorithmen, die für die Erkennung einer Untermenge von Objekten zuständig sind, weitgehend unabhängig voneinander implementiert werden können.From the prior art it is known that image and / or sound data in the applications, such as microscopy, optical quality assurance, surveillance and security technology and the film industry are stored for editing. The MPEG-4 standard saves image sequences and optimizes storage by saving only individual images and the differences to the subsequent images. With the advancement of image analysis algorithms and cheaper ways of processing data in parallel, e.g. As by multicore CPUs, there are always better ways to recognize the objects contained in the video information and to determine from the video data, the 2.5D or 3D shape and texture information of the objects. This makes it possible to assign the image information directly to the recorded real-world objects and to perform the scene rendering for the reproduction on the basis of the information stored in the objects and scenes. The disadvantage is that in many applications, the data streams are growing due to the increasing number of sensors and the costs for the transmission and storage of the data are increasing considerably. By improving the object recognition and the availability of increasingly cheaper parallel processing, new circumstances arise in which it becomes more attractive to further preprocess and densify the sensor information, also in order to improve the usability of the sensor information. An early segmentation and recognition of the objects contained in the data stream results in an earlier refinement of the data, since evaluating programs at the much higher abstraction level of the objects can access the data stream. From the objects that are detected in the sensor data, scenes can then be put together that contain the found objects, their spatial relations, the lighting, the sensor positions and the temporal changes. If required, the raw data can also be reconstructed from the objects, from which it is then possible to detect other objects without a damaging loss of information occurring during the first object recognition and compression step. Due to the large number of available computer cores z. B. also computer cores for the detection of a subset of the total to be recognized objects are selected. The data stream is made available in parallel to all or several computer cores and the algorithms running on the computer cores then search in this data stream for the objects for whose recognition the algorithms have been developed or for whose recognition their parameters are suitable. There is a protocol for the communication of the processes running on the information processing units, via which the detected objects are reported back to the other information processing units together with the position information and the image information explained with it. Based on this information, the other search processes can adjust their search ranges in the sensor data. In this case, both search areas can be omitted in which the sensor data has already been sufficiently explained, since there are no more objects to find, as well as search areas are processed more intense, since in the vicinity of certain objects other objects can occur with increased probability. This approach makes it very easy to combine libraries for detecting different objects, which detect large amounts of objects, because only the protocol of communication between the computer cores needs to be standardized and the algorithms responsible for detecting a subset of objects , can be implemented largely independently of each other.

Ausgehend von diesem Stand der Technik liegt der Erfindung die Aufgabe zugrunde, ein Verfahren und eine Einrichtung zur objekt- und szenenbezogenen Speicherung von Bild-, Sensor- und/oder Tonsequenzen mit erheblicher Reduktion des Speicherbedarfs für große Datenmengen und mit geringem oder steuerbarem Informationsverlust bei gleichzeitiger Verbesserung der Systemeigenschaften zu schaffen, so dass Objekte einfacher und in besserer Qualität aufgenommen, gespeichert und mit Datenbanken verglichen werden können und gleichzeitig eine Reduzierung der Herstellkosten für Systeme mit großem Datenvolumen und mehreren Sensoren erreichbar ist.Based on this prior art, the present invention seeks to provide a method and apparatus for object and scene-related storage of image, sensor and / or sound sequences with significant reduction of memory requirements for large amounts of data and with little or controllable loss of information at the same time To improve system features so that objects can be captured, stored and compared with databases in a simpler and better quality, while at the same time reducing manufacturing costs for large data volume systems and multiple sensors.

Das Verfahren soll in unterschiedlichen technischen Gebieten, z. B. in der Mikroskopie, der optischen Qualitätssicherung, der Überwachungs- und Sicherheitstechnik, der Filmtechnik und dergleichen Bereichen eingesetzt werden, in denen eine Speicherung von Bild-, Sensor- und/oder Tonsequenzen zur späteren Bearbeitung, Analyse und/oder Visualisierung durchgeführt wird. Insbesondere für die objekt- und szenenbezogene Speicherung von Videoinformationen soll das Verfahren dazu eingesetzt werden, die Bildqualität zu verbessern und den Speicherplatzbedarf zu reduzieren, so dass die mit umfangreichen Informationen angereicherten Objekte und Szenen von Objekten direkt für Interaktionen verwendbar sind.The method should be used in different technical fields, eg. As in microscopy, optical quality assurance, surveillance and security technology, film technology and the like areas are used in which a storage of image, sensor and / or sound sequences for later processing, analysis and / or visualization is performed. In particular, for the object and scene-related storage of video information, the method should be used to improve the image quality and reduce storage space requirements, so that with extensive information enriched objects and scenes of objects are directly usable for interactions.

Gleichzeitig soll die Aufgabe dahingehend erweitert werden, dass durch die Kombination des Einsatzes mehrerer Sensoren mit der Vernetzung der Informationsverarbeitung der Datenströme und der szenen- und objektbasierten Verarbeitung der Umfang und Informationsgehalt der erfassten Daten und die Verwendbarkeit der erfassten Informationen verbessert werden, so dass auch die Kosten für die Gewinnung und Speicherung der Daten reduziert werden.At the same time, the task is to be extended to the effect that the combination of the use of several sensors with the networking of the information processing of the data streams and the scene and object-based processing of the scope and information content of the collected data and the usability of the collected information are improved, so that the Costs for obtaining and storing the data are reduced.

Zur Lösung dieser Aufgaben schlägt die Erfindung ein Verfahren zur objekt- und szenenbezogenen Speicherung von Bild-, Sensor- und/oder Tonsequenzen vor, das dadurch gekennzeichnet ist, dass Bild-, Sensor- und/oder Tondaten von Objekten, wie technische und/oder natürliche Gegenstände, Landschaften, Räume, Material-/Gewebestrukturen, Menschen, Tiere, Pflanzen, Mikroorganismen, Flüssigkeiten, Gasen oder dergleichen aufzunehmender Objekte, gespeichert und die Informationen über die Objekte ganz oder teilweise aus den Bild-, Sensor- und/oder Tonsequenzen erzeugt werden. Eine Szene oder Szenenabfolge, die aus diesen Objekten gebildet wird, enthält dann Informationen über die räumlichen Beziehungen der Objekte und/oder der aufnehmenden Sensoren zueinander sowie die Umgebungsverhältnisse, die Beleuchtung, den Hintergrund oder die Hintergrundgeräusche. Eine Speicherung der Bild-, Sensor- und/oder Tondaten wird derart durchgeführt, dass diese Daten auf eine ganz- oder teilweise mögliche Zuordnung zu den Objekten überprüft werden, so dass bei einer möglichen Zuordnung neben dieser Entsprechung nur die geänderten Informationen, eine neue Textur, eine veränderte Form, eine veränderte Lagebeziehung oder eine veränderte Beleuchtung gespeichert wird, so dass eine Wiederherstellung von Bild-, Sensor- und/oder Tonsequenzen des aufgenommenen Sachverhaltes ganz oder teilweise aus den gespeicherten Daten erfolgt. Abschließend sind die gefundenen Objekte nicht immer wieder als Ganzes zu speichern, sondern es wird nach der ersten Speicherung als Referenzobjekt nur der Verweis auf das Objekt zusammen mit den Abweichungen des gefundenen Objektes von dem Referenzobjekt übertragen oder gespeichert. Dabei kann das Gespeicherte mit der Zeit angepasst werden, wenn festgestellt wird, dass sich bestimmte Eigenschaften dauerhaft geändert haben. Dadurch entsteht ein sich in der Zeit veränderndes Referenzobjekt, dessen Veränderungen über die Zeit verfolgt werden können. Die gefundenen Objekte werden bewertet und es wird überprüft, ob die gefundenen Objekte im Sinne der Applikation nützlich sind.To solve these problems, the invention proposes a method for object and scene-related storage of image, sensor and / or sound sequences, which is characterized in that image, sensor and / or sound data of objects, such as technical and / or natural objects, landscapes, spaces, material / tissue structures, humans, animals, plants, microorganisms, liquids, gases or the like of recorded objects, stored and the information about the objects wholly or partly generated from the image, sensor and / or sound sequences become. A scene or scene sequence formed from these objects then contains information about the spatial relationships of the objects and / or the receiving sensors with each other as well as the environmental conditions, the lighting, the background or the background noise. A storage of the image, sensor and / or sound data is performed such that these data are checked for a wholly or partially possible assignment to the objects, so that in a possible assignment next to this correspondence only the changed information, a new texture , a changed shape, a changed positional relationship or a changed lighting is stored, so that a restoration of image, sensor and / or sound sequences of the recorded facts takes place wholly or partly from the stored data. Finally, the objects found are not always to be stored as a whole, but it is transferred to the first storage as a reference object only the reference to the object together with the deviations of the found object from the reference object or stored. The stored data can be adjusted over time if it is determined that certain properties have changed permanently. This creates a time-varying reference object whose changes can be tracked over time. The objects found are evaluated and it is checked whether the found objects are useful in the sense of the application.

Abweichungen der Objekte können z. B. die Orientierung des Objektes im Raum, eine unterschiedliche Projektionsrichtung oder die Beleuchtung des Objektes sein, wie Intensität, Strukturierung, Richtung, spektrale Zusammensetzung oder die Größe oder die Verzerrung des Objektes, d. h. eine Veränderung der Gestalt des Objektes oder die Änderungen in der Textur. Je geringer die Abweichungen des Referenzobjektes von dem gefundenen Objekt sind, umso höher ist die erreichte Kompression. Um eine hohe Kompression zu erreichen, kann die Änderung als Referenz zu dem am besten passenden Zustand des Objektes übertragen werden. Dies ist z. B. bei Zeitsequenzen nützlich, wenn nur die Änderungen des Objektes seit der letzten Übertragung übertragen werden müssen. Das stellt einen erheblichen Vorteil bei der Kompression im Verhältnis zu den heutigen Algorithmen dar, bei denen eine Änderung der Rohdaten übertragen wird. Bei einer Drehung des Objektes muss dann nur der neue Drehwinkel des Objektes übertragen werden, z. B. die allgemeine Drehung, und es müssen nicht alle geänderten Pixel übertragen werden. Steht die Komprimierung der Daten im Vordergrund, dann wird die Objekthypothese zum Beispiel dann angenommen, wenn sich durch diese Hypothese eine Datenkomprimierung ergibt. In diesem Fall ist es hilfreich, kontinuierlich zum Beispiel unter Nutzung der Gestaltkriterien nach neuen potentiellen Objekten zu suchen, die häufiger auftauchen können. Zu dem Zeitpunkt, an dem ein neues nützliches Objekt gefunden wurde, wird dieses neue Objekt in der Objektbasis gespeichert und zur Komprimierung des Bild- und/oder Tondatenstroms genutzt. Steht beispielsweise in der Mikroskopie die Identifikation von Objekten, Mikroben und ihre zeitliche Verfolgung, d. h. die Bewegung der Objekte, Mikroben in Zeit und Raum im Vordergrund, so wird dort die Erkennungshypothese mit in dem Datenstrom gespeichert. Liegt der Fokus in der Überwachungs- und Sicherheitstechnik auf der Erzeugung von Alarmen, dann werden diese Alarme bei dem Erreichen einer bestimmten Erkennungsschwelle erzeugt. Der erreichte Komprimierungsfaktor für einen Teil des Datenstroms, der einem Objekt zugeordnet werden kann, ist dann ein möglicher Indikator für die Qualität der Objekterkennung. Um die Erkennung und Verfolgung von Objekten zu vereinfachen, wird in allen Situationen, in denen neue Objekte in den Kontext eintreten können, auf eine hochqualitative und detaillierte Erfassung der Objekte Wert gelegt. Ein Szenenobjekt ist dabei eine Menge von Szenenobjekten mit hierarchischer Struktur z. B. Szenen, die sich parallel in den Zimmern eines Gebäudes abspielen) und einer räumlichen und zeitlichen Relation zueinander (z. B. die Szenenabfolgen eines Filmes). Eine Szene hat weiterhin ein räumliches und zeitliches Koordinatensystem, in das sich eine Menge von Objekten einordnet. Ein Szenenobjekt besteht aus einer Menge von Subobjekten mit hierarchisch Struktur und einer Menge von Eigenschaften (jeweils statisch oder mit Modellen über die zeitliche Veränderung). Die Sensoren und/oder die unterstützenden Systeme (wie z. B. die Beleuchtung), die zur Aufzeichnung der Szene verwendet werden, können mit in die Szenenbeschreibung integriert werden. Die Eigenschaften eines Szenenobjektes werden bestimmt durch die Position im Raum, die räumliche Ausdehnung, die innere Struktur (ggf. hierarchisch), die äußere Struktur, die Sensoreigenschaften und die Effektoren. Die innere Struktur von Szenenobjekten ergibt sich aus Komponenten, die wieder Szenenobjekte sein können, und einem Deformationsmodell des Objektes. Das Deformationsmodell des Objektes umfasst Modelle über die Bewegung des Objektes, z. B. Deformation des menschlichen Körpers beim Atmen, wobei die Oberflächenänderung als gesamtes über Stützpunkte und Interpolation, jedoch nicht über die Modellierung einzelner Gelenke erfolgt. Es werden zum Beispiel 2-oder 3-dimensionale Polynomnetze oder Splines zur Modellierung der Oberflächen eingesetzt. Die Art des Modells wird entweder aus den registrierten Sensordaten bestimmt oder über die Objekterkennung erlangt, wenn einer Untermenge der Sensordaten erfolgreich einem Objekt oder Objekttyp zugeordnet werden kann. Wenn den Sensordaten noch kein Modell aufgrund der Objekterkennung zugeordnet werden konnte, dann wird für die Sensordaten zunächst ein Oberflächenmodell über Stützpunkte erstellt und dann werden die Sensordaten nach der Registrierung der Daten darauf untersucht, ob sie an bestimmten Stellen Gelenke haben, bezogen auf die Position und Orientierung im Objekt und den Freiheitsgraden mit Winkeln der Beweglichkeit. Das Deformationsmodell des Objektes umfasst dabei weiterhin den Gang eines Lebewesen oder eines künstlichen Objektes. Das Bewegungsmodell kann zusammen mit weiteren Parametern oder Berechnungsverfahren auch über die Objekterkennung gewonnen werden. Die äußere Struktur eines Szenenobjektes besteht aus der Oberfläche, der Textur und den Reflexionseigenschaften, diese Eigenschaften werden mit den Methoden der Bildverarbeitung aus den Sensordaten ermittelt oder nach erfolgreicher Objekterkennung aus dem über das erkannte Objekt vorhandene Modellwissen entnommen. Die Sensoreigenschaften eines Szeneobjektes sind die Sensororientierung der Sensortyp, zum Beispiel akustisch, optisch oder geographisch. Die Sensortypen unterscheiden sich dabei hinsichtlich der räumlichen und zeitlichen Auflösung, der Wellenlängen oder Frequenzbereiche, der Bittiefe und der Sensordatenformate. Die Bestimmung der Eigenschaften eines Szenenobjektes bezüglich der Effektoren richtet sich beispielsweise nach der Schallabgabe, der Abgabe von Strahlung (z. B. zur Beleuchtung oder Entfernungsmessung) oder der räumlichen Veränderung von anderen Objekten, durch deren Bewegung oder Verformung oder der Veränderung von anderen Objekteigenschaften.Deviations of the objects can z. Example, the orientation of the object in space, a different projection direction or the illumination of the object, such as intensity, structuring, direction, spectral composition or the size or distortion of the object, ie a change in the shape of the object or the changes in the texture , The smaller the deviations of the reference object from the found object, the higher the achieved compression. To achieve high compression, the change may be transmitted as a reference to the best fit state of the object. This is z. B. useful in time sequences, if only the changes of the object since the last transmission must be transmitted. This represents a significant advantage in compression relative to today's algorithms, where a change in the raw data is transmitted. Upon rotation of the object then only the new angle of rotation of the object must be transmitted, z. The general rotation, and not all changed pixels need to be transmitted. If the compression of the data is in the foreground, then the object hypothesis is assumed, for example, if this hypothesis results in data compression. In this case, it is helpful to continually search for new potential objects, for example, using the gestalt criteria, which can appear more frequently. By the time a new useful object is found, this new object is stored in the object base and used to compress the image and / or sound data stream. If, for example, in microscopy the identification of objects, microbes and their temporal tracking, ie the movement of the objects, microbes in time and space in the foreground, then there the recognition hypothesis is stored in the data stream. If the focus in monitoring and safety technology is on the generation of alarms, then these alarms are generated when a certain detection threshold is reached. The achieved compression factor for a part of the data stream which can be assigned to an object is then a possible indicator of the quality of the object recognition. In order to simplify the detection and tracking of objects, in all situations where new objects can enter the context, a high-quality and detailed capture of the objects is emphasized. A scene object is a set of scene objects with hierarchical structure z. For example, scenes that take place in parallel in the rooms of a building) and a spatial and temporal relation to each other (eg, the sequence of scenes of a movie). A scene also has a spatial and temporal coordinate system, in which a lot of objects are arranged. A scene object consists of a set of subobjects with a hierarchical structure and a set of Properties (either static or with models over the temporal change). The sensors and / or the supporting systems (such as the lighting) used to record the scene may be included in the scene description. The properties of a scene object are determined by the position in space, the spatial extent, the internal structure (possibly hierarchical), the external structure, the sensor properties and the effectors. The inner structure of scene objects results from components, which can again be scene objects, and a deformation model of the object. The deformation model of the object includes models about the movement of the object, e.g. B. Deformation of the human body during breathing, wherein the surface change as a whole on interpolation points and interpolation, but not on the modeling of individual joints. For example, 2 or 3-dimensional polynomial networks or splines are used to model the surfaces. The type of model is either determined from the registered sensor data or obtained via object recognition when a subset of the sensor data can be successfully assigned to an object or object type. If the sensor data could not yet be assigned to a model based on the object recognition, then a surface model is created for the sensor data via interpolation points and then the sensor data after registration of the data is examined as to whether they have joints in certain places, relative to the position and Orientation in the object and the degrees of freedom with angles of mobility. The deformation model of the object further includes the passage of a living being or an artificial object. The motion model can also be obtained via object recognition together with other parameters or calculation methods. The outer structure of a scene object consists of the surface, the texture and the reflection properties, these properties are determined with the methods of image processing from the sensor data or, after successful object recognition, taken from the existing model knowledge about the detected object. The sensor properties of a scene object are the sensor orientation of the sensor type, for example acoustically, optically or geographically. The sensor types differ with regard to the spatial and temporal resolution, the wavelengths or frequency ranges, the bit depth and the sensor data formats. The determination of the properties of a scene object with regard to the effectors depends, for example, on the emission of sound, the emission of radiation (eg for illumination or distance measurement) or the spatial change of other objects, their movement or deformation or the change of other object properties.

Anwendungsgebiete für die gezielte Einsetzung von Sensoren oder Aufnahmeverfahren zur Vereinfachung der Objekterkennung sind in der optischen Mikroskopie und der Elektronen- oder Partikelstrahlmikroskopie z. B. eine systematische Änderung der optischen oder elektronischen Fokusebene, um alle Ebenen eines Objektes zu erfassen und für die Erkennung verwenden zu können. Ferner kann eine Zuschaltung anderer Sensoren (z. B. Entfernungssensoren, energiedispersive Röntgenspektroskopie, Ablation mit einem Partikelstrahl und Massenspektrometer), eine multispektrale Aufnahme, eine Erhöhung der Aufnahmefrequenz, eine systematische Bewegung der Kamera oder des Objektträgers, eine Variation der Aufnahmegeschwindigkeit oder eine dynamische Veränderung der Auflösung verwendet werden, wenn neue Objekte z. B. durch Zugabe, Zellteilung oder Bewegung in den beobachteten Bereich eintreten.Application areas for the targeted use of sensors or recording methods to simplify the object recognition are in optical microscopy and electron or particle beam microscopy z. B. a systematic change of the optical or electronic focal plane to capture all levels of an object and to use for detection can. In addition, the addition of other sensors (eg distance sensors, energy dispersive X-ray spectroscopy, particle beam ablation and mass spectrometer), multi-spectral recording, an increase in the recording frequency, a systematic movement of the camera or the slide, a variation of the recording speed or a dynamic change the resolution used when new objects such. B. enter by addition, cell division or movement in the observed area.

Eine erhebliche Reduktion des Speicherbedarfs für große Datenmengen wird dadurch erreicht, dass mehrere Sensoren mit unterschiedlichen Eigenschaften miteinander kombiniert werden oder die Informationen von bereits zuvor aufgenommenen Szenen verwendet werden. Die Informationen aus Sensordaten, die zu einem späteren Zeitpunkt erfasst wurden, z. B. Details oder spektrale Informationen, können zum Rendering von früheren Zeitpunkten auf einer virtuellen Kameratrajektorie mit ausgenutzt werden, wenn davon ausgegangen werden kann, dass sich das Objekt in dem entsprechenden Zeitraum nicht verändert hat. Zur Vermeidung von Fehlinformationen können Informationen, die zu einem anderen Zeitpunkt aufgenommen worden sind, z. B. in der Überwachungstechnik, durch Falschfarben hervorgehoben werden, damit der Betrachter erkennen kann, dass diese Informationen in den Originalsensordaten nicht vorhanden waren. Dass die Objekte einfacher und in besserer Qualität aufgenommen, gespeichert und mit Datenbanken verglichen werden können, wird dadurch erreicht, dass die Daten von unterschiedlichen Aufnahmezeitpunkten und von unterschiedlichen Aufnahmeorten abgerufen werden können. Geht z. B. in der Überwachungstechnik eine Person von einem Raum in den anderen, so können Informationen über das Gesicht der Person, die in einem andern Raum aufgenommen worden sind, zu der Person auch in einem anderen Raum abgerufen werden. Die Daten werden aus unterschiedlichen Blickwinkeln, mit unterschiedlichem Detaillierungsgrad, mit unterschiedlichen Belichtungszeiten und aus unterschiedlichen spektralen Bereichen, z. B. normaler sichtbarerer Bereich mit Informationen aus dem infraroten oder ultravioletten Spektralbereich, miteinander für das Szenenrendering kombiniert. Dabei kann immer die beste verfügbare plausible Information verwendet werden. Auf diesem Weg kann man mit vertretbarem finanziellem Aufwand eine erhebliche Verbesserung der Datenqualität erreichen.A significant reduction in storage requirements for large amounts of data is achieved by combining multiple sensors with different characteristics or by using the information from previously recorded scenes. The information from sensor data collected at a later time, e.g. As details or spectral information can be used to render from earlier times on a virtual camera trajectory with, if it can be assumed that the object has not changed in the appropriate period. To avoid misinformation information that has been recorded at another time, for. As in the surveillance technique, be highlighted by false colors, so that the viewer can recognize that this information was not present in the original sensor data. The ability to capture, store and compare databases with databases in a simpler and better quality is achieved by retrieving the data from different recording times and from different locations. Go z. For example, in the surveillance technique, one person from one room to the other, information about the person's face taken in another room can be retrieved to the person in another room. The data is taken from different angles, with different levels of detail, with different exposure times and from different spectral ranges, eg. B. normal visible area with information from the infrared or ultraviolet spectral range, combined with each other for the scene rendering. The best available plausible information can always be used. In this way you can with reasonable financial Effort to achieve a significant improvement in data quality.

Vorteilhaft ist vorgesehen, dass aufgrund der gespeicherten Datenmenge und den aus dem Datenstrom erzeugten Objekten und/oder Szenen von Objekten die Bildqualität durch Eliminieren des Rauschens einzelner Kamerabilder so verbessert wird, dass die Details, die auf Grund der Auflösungsbegrenzung eines Sensors oder des Blickwinkels einer Kamera in einer bestimmten Kameraeinstellung nicht mehr zu erkennen sind, aus anderen Aufnahmen in das generierte Bild eingeblendet werden und diese Detailinformationen in dem Referenzobjekt aufgesammelt und abgespeichert werden, um zur weiteren Verarbeitung anschließend zur Verfügung zu stehen. Die Details, die aufgrund der beschränkten Intensitätsauflösung des Kamerasensors bei der aktuellen Bildeinstellung und Beleuchtung nicht mehr zu detektieren sind, werden aus dem Referenzobjekt eingeblendet.It is advantageously provided that due to the stored data volume and the objects and / or scenes of objects generated from the data stream, the image quality is improved by eliminating the noise of individual camera images such that the details due to the resolution limit of a sensor or the viewing angle of a camera can no longer be seen in a particular camera setting, be faded in from other shots in the generated image and this detail information collected and stored in the reference object to be available for further processing subsequently available. The details, which are no longer detectable due to the limited intensity resolution of the camera sensor in the current image setting and lighting, are displayed from the reference object.

Bevorzugt ist vorgesehen, dass zur Reduzierung des Speicherplatzes die in verschiedenen Bild-, Sensor-, und/oder Tondaten enthaltenen redundanten Informationen bedarfsweise nur einmal in dem Referenzobjekt und/oder in einer Szene des Objektes abgespeichert werden. Die anderen Daten können dann aus dem Wissen über die Objekte und Szenen der Objekte, der Beleuchtung, dem Hintergrund, der Orientierung der Objekte und dergleichen Daten rekonstruiert werden, so dass nur die Abweichungen, die nicht mit dem Modell in Einklang stehen, zusätzlich zu dem Modell zu speichern sind. Dadurch wird erreicht, dass durch eine Verbesserung des Modells der abgebildeten Objekte auch gleichzeitig der Komprimierungsfaktor steigt. Je mehr hochqualitative Informationen zur Verfügung stehen, um so weniger redundante Informationen müssen gespeichert werden. Aus diesem Grund wird der technische Aufbau so gewählt, dass bereits am Anfang, wenn ein Objekt in eine Szene eintritt, eine möglichst hohe Qualität des Modells eines Objektes im Referenzobjekt angestrebt wird. Dieser Mehraufwand bei den ersten Aufnahmen zahlt sich durch den später höheren Komprimierungsfaktor und die über den gesamten Zeitraum verbesserte Qualität der Daten wieder aus. Die mit umfangreichen Informationen angereicherten Objekte und/oder Szenen von Objekten sind direkt für Interaktionen nutzbar, so dass ein Betrachter in einer Szene Objekte drehen und von anderen Perspektiven in anderen Auflösungen oder in anderen spektralen Bereichen betrachten kann oder diese Informationen sind zu einer externen Verwendung (Archivierung, Manipulation, Vergleich) zu exportieren. Die mit umfangreichen Informationen angereicherten Referenzobjekte und/oder Szenen von Referenzobjekten sind direkt für Interaktionen nutzbar, indem 3D-Bilder durch Drehung der Objekte in anderen Positionen angeschaut werden können, d. h. ein Betrachter der Objekte kann Szenen der Objekte aus einem anderen Blickwinkel betrachten, der bei der Originalfassung nicht aufgenommen wurde. In der Mikroskopie können z. B. Lagebeziehungen, die aus dem Blickwinkel der Aufnahme nicht zu erkennen waren, auf Grund des Modellwissens und den in den Referenzobjekten gesammelten Informationen rekonstruiert werden. Es wird durch die Objekterkennung, deren Ergebnis in dem Referenzobjekt gespeichert wird, weiterhin ein Verfahren zur automatischen Annotation von Objekten und Szenen von Objekten durchgeführt, das beispielsweise sowohl zur Verbesserung der Suchfunktionalität innerhalb der Bild-, Sensor- und/oder Tondaten verwendet wird, als auch die Speicherung von Objekten, Szenen oder Tönen in unterschiedlicher verlustbehafteter Komprimierung je nach Art und Bedeutung des Objektes oder der Szene erlaubt. Auf Grund der in den Objekten gesammelten Daten können auch einfach höherdimensionale Repräsentationen aus den ursprünglich niedrigdimensionaleren Sensorinformationen gewonnen werden. So können weitere spektrale Informationen in weiteren Dimensionen hinzugefügt werden oder aus zweidimensionalen Kamerabildern kann über die in den Objekten gespeicherten Informationen auch ein dreidimensionales Kamerabild z. B. für 3D-Filme erzeugt werden.It is preferably provided that, in order to reduce the storage space, the redundant information contained in different image, sensor and / or audio data is, if necessary, stored only once in the reference object and / or in a scene of the object. The other data may then be reconstructed from the knowledge of the objects and scenes of the objects, the lighting, the background, the orientation of the objects, and the like, so that only the deviations that are not consistent with the model, in addition to that Model are to save. As a result, by improving the model of the imaged objects, the compression factor also increases at the same time. The more high-quality information available, the less redundant information needs to be stored. For this reason, the technical structure is chosen so that even at the beginning, when an object enters a scene, the highest possible quality of the model of an object in the reference object is sought. This additional effort in the first recordings pays off again due to the later higher compression factor and the improved quality of the data over the entire period. The richly enriched objects and / or scenes of objects are directly usable for interactions so that a viewer in one scene can rotate and view objects from other perspectives in other resolutions or in other spectral regions, or this information is for external use ( Archiving, manipulation, comparison). The richly enriched reference objects and / or scenes of reference objects are directly usable for interactions by viewing 3D images by rotating the objects in other positions, i. H. a viewer of the objects may view scenes of the objects from a different angle that was not captured in the original frame. In microscopy z. For example, positional relationships, which could not be recognized from the point of view of the photograph, are reconstructed on the basis of the model knowledge and the information collected in the reference objects. The object recognition, the result of which is stored in the reference object, furthermore carries out a method for the automatic annotation of objects and scenes of objects which, for example, is used both to improve the search functionality within the image, sensor and / or sound data Also, the storage of objects, scenes or sounds in different lossy compression depending on the nature and meaning of the object or the scene allowed. Due to the data collected in the objects, it is also possible to simply obtain higher-dimensional representations from the originally lower-dimensional sensor information. Thus, further spectral information can be added in additional dimensions or from two-dimensional camera images can also be stored on the information stored in the objects and a three-dimensional camera image z. B. generated for 3D movies.

Des weiteren ist vorteilhaft vorgesehen, dass zur Verbesserung der Komprimierung die Information aus der Objekt- und Szenenerkennung dazu genutzt wird, dass Objekte, Szenen oder Töne in unterschiedlicher verlustbehafteter Komprimierung je nach Art und Bedeutung des Objektes oder der Szene gespeichert werden. Wenn bei der Planung einer Aufnahme eine oder mehrere virtuelle Kamera-/Sensortrajektorien in einer Szene hinterlegt werden, dann kann bei der Komprimierung der Daten auch berücksichtigt werden, dass alle Informationen, welche von der virtuellen Kamera aufgenommen wurden, mit einem höheren Detaillierungsgrad gespeichert werden. Die virtuelle Kameratrajektorie kann in der Zeit und in dem Raum definiert werden. Sie kann aber auch zusätzliche Information über die Auflösung, die Schärfentiefe die Frequenzbereiche in denen Sensorinformationen erfasst werden sollen und andere Aspekte der gewünschten Sensorinformation enthalten. Dadurch wird die Gestaltung der Aufnahme erleichtert, da alle Sensoren selbständig für die geplante Trajektorie die Sensoreinstellungen und den Sensordatenstrom optimieren können und damit den Aufnehmenden von dieser Tätigkeit entlasten. Die Szenenaspekte, welche nicht von der virtuellen Kamera aufgenommen wurden, werden dann nicht oder mit einem geringeren Detaillierungsgrad gespeichert. Entsprechend können auch optische oder andere Eigenschaften der virtuellen Kamera festgelegt werden, die bei der Komprimierung der Daten berücksichtigt werden. Es ist dabei von Vorteil, wenn Annotationen, die zu einem Zeitpunkt einmal manuell gemacht oder die durch die Objekterkennung gewonnen wurden und einem Objekt zugeordnet worden sind, dann über den gesamten Zeitraum der Aufnahmen verwendet werden. Dadurch werden automatische Annotationen von Szenen einfacher und besser. So können z. B. Gebäudeteile, die von Sensoren erfasst werden, den entsprechenden Objekten in den Gebäudeplänen zugeordnet werden oder es kann der Name einer Person, die auf Grund des Gesichtes oder eines Zugangsschlüssels erkannt wurde, dem Objekt in der Szene zugeordnet werden und auf Anfrage eines Benutzers, in dem er z. B. auf eine Abbildung der Person in einer gerenderten Szene zeigt, zusammen mit Zugangsberechtigungen, die auf Grund der Identifikation der Person aus Datenbanken dazugeladen wurden, abgerufen werden. Dadurch, dass die Objekte mit ihren Informationen über ihre Ausdehnung, Form, Oberflächenbeschaffenheit und ihren Annotationen über die Szene in ihren räumlichen Zusammenhang gebracht werden können, können Alarme, z. B.Furthermore, it is advantageously provided that the information from the object and scene recognition is used to improve the compression that objects, scenes or sounds are stored in different lossy compression depending on the nature and meaning of the object or the scene. If, during the planning of a recording, one or more virtual camera / sensor trajectories are stored in a scene, then it can also be taken into account when compressing the data that all the information recorded by the virtual camera is stored with a higher degree of detail. The virtual camera trajectory can be defined in time and in space. It may also contain additional information about the resolution, the depth of field, the frequency ranges in which sensor information is to be acquired and other aspects of the desired sensor information. This simplifies the design of the recording, since all sensors can independently optimize the sensor settings and the sensor data stream for the planned trajectory and thus relieve the receiver of this activity. The scene aspects that were not captured by the virtual camera are then not stored or with a lower level of detail. Accordingly, optical or other properties of the virtual camera can be defined, which are taken into account when compressing the data. It is advantageous if annotations that were made manually at one time or that were obtained by the object recognition and one Object have been assigned, then be used over the entire period of recordings. This makes automatic annotations of scenes easier and better. So z. For example, parts of buildings that are detected by sensors can be assigned to the corresponding objects in the building plans, or the name of a person who has been identified on the basis of the face or an access key can be assigned to the object in the scene and at the request of a user. in which he z. As an illustration of the person in a rendered scene shows, along with access permissions that have been loaded on the basis of identification of the person from databases retrieved. The fact that the objects with their information about their extent, shape, surface texture and their annotations on the scene can be brought into their spatial context, alarms, z. B.

wenn ein großes Gepäckstück verlassen an einer tragenden Säule des Gebäudes steht oder eine Person in einem Laden Ware in die Tasche seiner Kleidung steckt, einfach implementiert werden. Die Flexibilität der Verwendung der erfassten Daten zu unterschiedlichen Einsatzgebieten wird dadurch erreicht, dass eine Wiedergabe der Daten entsprechend der Aufnahme eines Sensors nicht nur aus dem Blickwinkel des Sensors erfolgt. Der Betrachter kann sich durch eine Szene bewegen und die Szene aus anderen Blickwinkeln betrachten. Über mehrere Bilder und Sequenzen hinweg werden die Objekte, die sich in einer Szene befinden, digitalisiert, dabei werden Bildinformationen angereichert und es wird ein räumliches Modell der Objekte einschließlich ihrer Oberflächenbeschaffenheit z. B. Textur aufgebaut. Dieses Modell kann durch die Objekterkennung ergänzt werden, wenn zu dem erkannten Objekt Zusatzinformationen aus anderen Aufnahmen oder anderen Informationsquellen (Annotationen) vorhanden sind. Auf der Basis dieses Modellwissens kann dann auch aus anderen Blickwinkeln die Szene gerendert werden. Der Anwender kann die Szene manipulieren und die Objekte in Relation zueinander bewegen und somit beispielsweise das Drehbuch eines Filmes verändern. Dies kann entweder manuell passieren oder auch auf der Basis von Bewegungsmodellen, welche den Objekten zugrunde liegen, wenn beispielsweise eine Person durch den Raum läuft. Die Parameter für diese Bewegungsmodelle können ebenfalls aus den Bilddaten generiert werden. Der Anwender kann Objekte in der Szene verändern, z. B. die Oberflächentextur von Objekten. So können bestimmte Sachverhalte in Szenen dadurch retuschiert werden, dass bestimmte Eigenschaften, z. B. die Form eines Objektes über das Referenzobjekt, manipuliert werden, so dass große z. B. künstlerische Veränderungen einfach und kostengünstig für alle folgenden Szenen durchgeführt werden können. Der Anwender kann Objekte in der Szene austauschen und z. B. einen Schauspieler durch seine eigene Person oder durch Personen aus seiner Umgebung ersetzen und Spielfilme individualisieren. Der Anwender kann auch mit den erfassten Objekten als Regisseur eigene Filme erstellen. Die aus den Aufnahmen gewonnenen Objekte können die Basis für andere Applikationen, z. B. Spiele, werden, so dass sehr einfach und kostengünstig zu Filmen auch filmgetreue Computerspiele erstellt werden können. Es können dem Anwender jedoch auch in Überwachungssituationen genau die oben genannten Manipulationen verboten werden, um Daten zu erheben, die zur Unterstützung von Aussagen vor Gericht verwendet werden können. In wissenschaftlichen Kontexten können die gewonnenen Informationen zur Modellbildung verwendet werden. Die Informationen, die zu einem Objekt gesammelt wurden, können auch dazu verwendet werden, um in einer Überwachungssituation sehr detaillierte Informationen über einen Täter zu sammeln, so dass ein 2,5-dimensionales Abbild seines Gesichtes und/oder ein Bewegungsmodell erstellt wird, welches für Fahndungszwecke genutzt werden kann.When a large piece of luggage leaves a supporting pillar of the building or a person in a store puts goods in the pocket of his clothes, they can easily be implemented. The flexibility of using the acquired data for different applications is achieved in that a reproduction of the data corresponding to the inclusion of a sensor is not only from the perspective of the sensor. The viewer can move through a scene and look at the scene from different angles. Over several images and sequences, the objects that are in a scene are digitized, image information is enriched and it becomes a spatial model of the objects including their surface texture z. B. texture built. This model can be supplemented by object recognition if additional information from other images or other information sources (annotations) is available for the detected object. Based on this model knowledge, the scene can then also be rendered from other angles. The user can manipulate the scene and move the objects in relation to each other and thus change, for example, the script of a film. This can happen either manually or based on movement models that underlie the objects, for example when a person walks through the room. The parameters for these motion models can also be generated from the image data. The user can change objects in the scene, e.g. For example, the surface texture of objects. Thus, certain facts in scenes can be retouched by certain characteristics, such. B. the shape of an object on the reference object to be manipulated, so that large z. B. artistic changes can be easily and inexpensively performed for all subsequent scenes. The user can exchange objects in the scene and z. B. replace an actor by his own person or by people from his environment and individualize feature films. The user can also create own films with the captured objects as a director. The objects obtained from the images can be the basis for other applications, such. As games, so that very simple and inexpensive to movies and faithful computer games can be created. However, even in surveillance situations, the user may be prohibited from using the abovementioned manipulations to collect data that may be used to support statements in court. In scientific contexts, the information obtained can be used for modeling. The information collected about an object can also be used to gather very detailed information about a culprit in a surveillance situation so that a 2.5-dimensional image of his face and / or a movement model is created for Search purposes can be used.

Ebenso ist bevorzugt vorgesehen, dass die Aufteilung eines Sensorbildes in Segmente mit unterschiedlicher Relevanz oder mit unterschiedlichem semantischen Zusammenhang erfolgt, so dass je nach Relevanz eine andere Komprimierungsstufe beim Einsatz verlustbehafteter Komprimierungsverfahren verwendet wird, beispielsweise eine niedrige Relevanz und eine hohe Komprimierungsstufe oder eine hohe Relevanz und eine niedrige Komprimierungsstufe mit geringem oder keinem Informationsverlust. Die Aufteilung eines Sensorbildes erfolgt dabei mittels einer Bewegungsanalyse oder einer Online-Objekterkennung beispielsweise in einen statischen Hintergrund und einen dynamischen Anteil bewegter Objekte, so dass eine Komprimierung der objektbezogenen Information auch von dem Objekt oder Objekttyp abhängig ist.Likewise, it is preferably provided that the division of a sensor image into segments with different relevance or with different semantic context takes place so that, depending on the relevance, a different compression level is used when using lossy compression methods, for example a low relevance and a high compression level or a high relevance and a low compression level with little or no loss of information. The division of a sensor image is carried out by means of a motion analysis or an online object detection, for example, in a static background and a dynamic proportion of moving objects, so that a compression of the object-related information is also dependent on the object or object type.

Eine Erhöhung des Durchsatzes oder eine einfache Separation verschiedener Objektklassen, Szenenbestandteile oder semantischer Zusammenhänge wird dadurch erreicht, dass eine Speicherung der unterschiedlichen Komprimierungsstufen oder semantischen Zusammenhänge auf unterschiedlichen Speichermedien erfolgt, so dass einfach Objekte, Szenenbestandteile oder Objekte mit einem semantischen Zusammenhang geändert, ersetzt oder gelöscht werden können, ohne die anderen Objekte zu beeinflussen oder durch deren Datenvolumen beeinflusst zu werden. Eine Speicherung der unterschiedlichen Komprimierungsstufen der Objektklassen auf unterschiedlichen Speichermedien, z. B. Platten, ist vorteilhaft, um den Durchsatz zu erhöhen und eine einfache Separation später zu ermöglichen. So kann dann beispielsweise einfach der Hintergrund oder eine Objektklasse gelöscht werden, ohne die anderen Objekte zu beeinflussen.An increase in the throughput or a simple separation of different object classes, scene components or semantic correlations is achieved by storing the different compression levels or semantic relationships on different storage media, so that simply objects, scene components or objects with a semantic context changed, replaced or deleted can be influenced without affecting the other objects or being influenced by their data volumes. A storage of the different compression levels of the object classes on different storage media, eg. As plates, is advantageous to increase the throughput and allow easy separation later. For example, you can simply delete the background or an object class without affecting the other objects.

Zudem ist vorteilhaft vorgesehen, dass zur gezielten Ausnutzung der für die Aufnahmen vorhandenen Speichermedien eine dynamische Steuerung des Kompressionsfaktors für die unterschiedlichen Objekt und Szenenkategorien erfolgt. Wenn noch ausreichend Speicherplatz zur Verfügung steht, kann mit einer hohen Detailtreue begonnen werden. Ist erkennbar, dass der Speicherplatz knapp wird, kann die Detailtreue für die verschiedenen Objekt- oder Szenenkategorien gegebenenfalls auch nachträglich einfach reduziert werden, so dass das applikative Ziel bestmöglich erreicht wird. Die Kompression kann auch mit geeigneten applikationsabhängigen Filtern unterstützt werden. Diese Filter können z. B. Rauschen eliminieren oder Details, deren räumliche Größe kleiner als eine vorgegebene Grenze sind. Andere Filter können bestimmte Frequenzen aus den Tönen entfernen oder spektrale Informationen in den Bilddaten. Die Filter und Filterparameter sind dabei abhängig von erkannten Objekten, von Lagebeziehungen von Objekten in einer Szene, vom aktuellen Blickwinkel der Kamera in Relation zu einer geplanten virtuellen Kameratrajektorie (für ein späteres Abspielen der Szene), von der Größe der räumlichen Details, von der Frequenz der Bildinformation (Elimination von Rauschen oder nicht sichtbaren Aspekten), von der Frequenz der Toninformation oder von der aktuellen Beleuchtungssituation. Eine Steuerung des Kompressionsfaktors ist vorteilhaft, um vorhandene Datenübertragungswege oder Speichermedien, wie Hauptspeicher und Platte, optimal auszunutzen. Der Ringpuffer bei einer Videoüberwachung kann dann so konfiguriert werden, dass Daten über bewegte Objekte im Raum viel länger gespeichert werden als die Hintergründe oder die statischen Objekte im Raum. In addition, it is advantageously provided that dynamic control of the compression factor for the different object and scene categories takes place for targeted utilization of the storage media available for the recordings. If there is enough space left, you can start with a high level of detail. If it becomes apparent that the storage space becomes scarce, the detail fidelity for the various object or scene categories can optionally also be subsequently easily reduced, so that the applicative goal is achieved in the best possible way. The compression can also be supported with suitable application-dependent filters. These filters can, for. Noise, or details whose spatial size is less than a predetermined limit. Other filters can remove certain frequencies from the tones or spectral information in the image data. The filters and filter parameters are dependent on detected objects, on the position relationships of objects in a scene, on the current viewing angle of the camera in relation to a planned virtual camera trajectory (for later playback of the scene), on the size of the spatial details, on the frequency the image information (elimination of noise or non-visible aspects), the frequency of the sound information or the current lighting situation. Control of the compression factor is advantageous for optimally utilizing existing data transmission paths or storage media, such as main memory and disk. The ring buffer in video surveillance can then be configured to store data about moving objects in space much longer than the backgrounds or static objects in the room.

Die Hintergründe oder statischen Objekte können dann bei einem Abspielen aus einem Objekt- und Szenenspeicher oder aus anderen Sequenzen, z. B. mit einer Falschfarbenkennzeichnung, eingespielt werden, damit erkennbar ist, dass es sich nicht um die Originaldaten sondern um aus anderen Sensordaten generierte Informationen handelt. Die Kosten für die Speicherung der Daten können durch eine Vielzahl von unterschiedlichen Möglichkeiten ganz erheblich reduziert werden, z. B. durch Reduktion der Redundanz. Die Bildinformation über ein Objekt beinhaltet eine erhebliche Redundanz, da die gleichen Informationen immer wieder abgespeichert werden. Bei den MPEG-Kodierungen wird der Sachverhalt ausgenutzt, dass die Ähnlichkeit zwischen aufeinanderfolgenden Bildern zur Kompression ausgenutzt wird. Dadurch, dass nun die Ähnlichkeit der Information, die zu einem Objekt gehört, auch über unterschiedliche Szenen und unterschiedliche Sensoren hinweg zur Kompression ausgenutzt werden kann, entsteht eine vollkommen neue Dimension der Kompression, welche eine Verwendung von massiv parallelen Kamerasystemen erst wirtschaftlich attraktiv macht, da man bei der konventionellen Speicherung durch Datenflut sehr hohe Kosten und Aufwände hat. Bei dem hier vorgestellten neuen Verfahren verbessert sich die Komprimierung durch die Erhöhung der Anzahl der Sensoren, da die Qualität des Modells eines Objektes verbessert wird. Auf Grund des verbesserten Modells können die Sensordaten noch besser dem Objekt zugeordnet werden, wodurch die Qualität der Digitalisierung der Szene aber auch der erreichbare Komprimierungsfaktor verbessert wird. Ferner können auch mehr Informationen über die Oberflächenbeschaffenheit der Objekte, die Bewegungsmodelle und die Beleuchtungssituation gewonnen werden, wodurch das Modell verbessert wird und ein größerer Teil der von den Sensoren erfassten Informationen richtig den Objekten, der Beleuchtungssituation oder dem Sensorrauschen zugeordnet werden kann. Das Rauschen in den Sensordaten kann dann reduziert werden, wodurch sich die Bildqualität verbessert und der Speicherbedarf sinkt. Damit wird der Datenstrom geringer, der zur Wiederherstellung der ursprünglichen Sensorinformation abgespeichert werden muss. Dabei kann auch zwischen Hauptsensoren und Hilfssensoren unterschieden werden, wobei die Daten der Hauptsensoren so gespeichert werden, dass deren Sensordatenstrom wiederhergestellt werden kann, während die Hilfssensoren nur dazu verwendet werden, um z. B. die Beleuchtungssituation besser zu erfassen oder zusätzliche Objektdetails aus anderen Blickwinkeln aufzunehmen. Die Kosten für die Speicherung der Daten können weiterhin durch kontextspezifische Komprimierungsstufen reduziert werden. Dadurch, dass durch die Objektsegmentierung und die Zuordnung der Sensordaten zu einem Objekt die Daten zu einem Objekt auch über verschiedene Blickwinkel und Sequenzen hinweg an einer Stelle gespeichert werden, ist die Objekterkennung erheblich vereinfacht und es kann auch die Qualität der Objekterkennung verbessert werden und Szenen können somit leicht und zuverlässig annotiert und je nach Kontext kann entsprechend auch die Komprimierung der Daten gesteuert werden. So kann die Akquisition von Daten in einem Raum in dem sich nur die Beleuchtung ändert, in dem sich aber keine Objekte bewegen, in einer Überwachungssituation dramatisch reduziert werden. Nachdem aber eine Person in dem Raum war, muss vielfach der Raum erneut digitalisiert werden, um festzustellen, ob etwas aus dem Raum entfernt oder zu ihm hinzugefügt wurde. Wurden keine Änderungen festgestellt, können die Daten der erneuten Digitalisierung nach der Speicherung der Information verworfen werden.The backgrounds or static objects can then be played back from an object and scene memory or from other sequences, e.g. B. with a false color marking, are recorded, so that it is recognizable that it is not the original data but generated from other sensor data information. The cost of storing the data can be significantly reduced by a variety of different ways, e.g. B. by reducing the redundancy. The image information about an object contains a considerable redundancy, since the same information is stored again and again. The MPEG coding exploits the fact that the similarity between consecutive pictures is exploited for compression. The fact that now the similarity of the information that belongs to an object can be exploited over different scenes and different sensors for compression, creates a completely new dimension of compression, which makes the use of massively parallel camera systems only economically attractive because In the case of conventional storage due to the flood of data, one has very high costs and expenses. In the new method presented here, compression improves by increasing the number of sensors because the quality of the model of an object is improved. Due to the improved model, the sensor data can be better assigned to the object, which improves the quality of the digitization of the scene as well as the achievable compression factor. Furthermore, more information about the surface finish of the objects, the motion models, and the lighting situation may also be obtained, thereby enhancing the model and allowing a greater portion of the information sensed by the sensors to be properly associated with the objects, the lighting situation, or the sensor noise. The noise in the sensor data can then be reduced, which improves the picture quality and reduces the memory requirement. This reduces the data flow which must be stored to restore the original sensor information. It can also be distinguished between main sensors and auxiliary sensors, the data of the main sensors are stored so that their sensor data stream can be restored, while the auxiliary sensors are only used to z. B. to better capture the lighting situation or to record additional object details from different angles. The cost of storing the data can still be reduced by using context-specific compression levels. Because the object segmentation and the assignment of the sensor data to an object store the data on an object even at different points of view and sequences, the object recognition is considerably simplified and the quality of the object recognition can also be improved and scenes can be created thus annotated easily and reliably and depending on the context, the compression of the data can be controlled accordingly. Thus, the acquisition of data in a room in which only the lighting changes, but in which no objects move, can be dramatically reduced in a surveillance situation. However, after a person was in the room, the room often needs to be digitized again to see if something has been removed or added to the room. If no changes have been detected, the re-digitization data may be discarded after the information has been stored.

Eine inhaltsbasierte Steuerung des Speicherortes erfolgt dadurch, dass in Abhängigkeit von der dargestellten Szene auch für jedes einzelne Objekt entschieden werden kann, wie detailliert und wo es gespeichert werden soll. Die Auswahl von bestimmten Speicherorten kann dazu verwendet werden, dass für bestimmte Objekte eine zugesicherte Bandbreite für die Digitalisierung und Speicherung zur Verfügung steht und dass ausgewählte Informationen, z. B. über den Hintergrund oder die Beleuchtung, gezielt gelöscht, kopiert oder geändert werden können, ohne andere Informationen zu beeinflussen oder von anderen Informationen beeinflusst zu werden. Es steht ein großes Spektrum an Parametern zur Verfügung, über das die Komprimierung der Daten passend zur Nutzungssituation gesteuert werden kann.A content-based control of the storage location takes place in that, depending on the scene shown, it is also possible to decide for each individual object how detailed and where it should be stored. Selecting specific locations may be used be that for certain objects a guaranteed bandwidth for digitization and storage is available and that selected information, such. Over the background or the lighting, can be selectively deleted, copied or changed without affecting other information or be influenced by other information. There is a wide range of parameters available to control the compression of the data according to the usage situation.

Es ist weiterhin bevorzugt vorgesehen, dass eine Bibliothek von häufig vorkommenden Objekten zur Verbesserung der Erkennung und Segmentierung von Objekten eingerichtet wird, dass die Objektbibliothek Modelle und/oder spezielle Algorithmen zur Identifikation der Objekte enthält, und dazu Gestaltgesetze, wie das Gesetz der Prägnanz, der Nähe, der Ähnlichkeit, der Kontinuität, der Geschlossenheit, der gemeinsamen Bewegung, der fortgesetzt durchgehenden Linie, der gemeinsamen Region, der Gleichzeitigkeit oder der verbundenen Elemente verwendet werden. In Ergänzung dazu können auch Verfahren, welche die räumliche Nähe von charakteristischen Merkmalen auswerten, verwendet werden.It is furthermore preferably provided that a library of frequently occurring objects is set up to improve the recognition and segmentation of objects, that the object library contains models and / or special algorithms for identifying the objects, and structural laws, such as the law of conciseness, the Proximity, similarity, continuity, unity, joint movement, continuous line, common region, simultaneity or related elements. In addition to this, methods that evaluate the spatial proximity of characteristic features can also be used.

Ein weiterer Vorteil des Verfahrens zur objekt- und szenenbezogenen Speicherung von Bild-, Sensor- und/oder Tondaten besteht darin, dass die Akquisition der Sensorinformation von der Qualität der bisherigen Digitalisierung beeinflusst wird, d. h. dass Aufnahmen von Aspekten mit hohem Detaillierungsgrad gemacht werden, die bisher noch nicht erfasst wurden oder Aufnahmen von Aspekten mit niedrigem Detaillierungsgrad gemacht werden, wenn diese bereits schon sehr genau digitalisiert wurden und die Aspekte mit dem Referenzmodell übereinstimmen. Die Akquisition von Aspekten von Objekten kann auch von dem Ergebnis der Objekterkennung abhängen. So wird man von einem gesuchten Verbrecher möglichst viele Details zu erfassen, von einem bekannten Stuhl, der von geringem Interesse für eine Applikation ist, wird man nur wenige Details erfassen.Another advantage of the method for object and scene-related storage of image, sensor and / or sound data is that the acquisition of the sensor information is influenced by the quality of the previous digitization, i. H. to capture high-detail aspects that have not yet been captured, or to capture low-detail aspects that have already been digitized very accurately and that are consistent with the reference model. The acquisition of aspects of objects may also depend on the result of the object recognition. Thus, to capture as many details as possible from a wanted criminal, from a well-known chair that is of little interest to an application, one will capture only a few details.

Das grundsätzlich Neue dieser Erfindung ist, dass das erkannte Objekt und die Szene in den Mittelpunkt der Speicherung und Verarbeitung rückt und nicht mehr wie bisher der Sensordatenstrom. Durch diesen Wechsel des zentralen Bezugsobjektes der Speicherung ergeben sich vollkommen neue Eigenschaften und Möglichkeiten für das Arbeiten mit den gespeicherten Daten. Es können beispielsweise die Daten von mehreren Kameras bei einem Objekt gespeichert werden. Ferner können Entscheidungen über die Speicherung und Verarbeitung der Informationen auf Grund des Wissens über das Objekt getroffen werden.The fundamental novelty of this invention is that the detected object and the scene are at the center of storage and processing and not the sensor data stream as before. This change of the central reference object of storage results in completely new properties and possibilities for working with the stored data. For example, the data from multiple cameras can be stored on an object. Furthermore, decisions about the storage and processing of the information may be made based on the knowledge of the object.

Die Einrichtung zur Durchführung des Verfahrens ist dadurch gekennzeichnet, dass sie eine oder mehrere Kameras parallel oder sequentiell zur Aufnahme aufweist, wobei die Daten mehrerer Sensoren in ein Szenemodell integrierbar sind und wobei die Kameras zur automatischen Erfassung der Datenmengen eine große Bandbreite von Blickwinkeln, Schärfeebenen, Auflösungsstufen oder eine große spektrale Bandbreite aufweisen. Die Kameras sind so zueinander angeordnet, dass die Aufnahmereihenfolge der Objekte, die in einen überwachten Bereich eintreten, mit einem hohen Detaillierungsgrad aufnehmbar sind und dass mehrere informationsverarbeitende Einheiten parallel den Datenstrom von einer oder mehreren Kameras analysieren, wobei deren Ergebnisse zur Objekterkennung zwischen den informationsverarbeitenden Einheiten austauschbar sind und die Information über die Ausrichtung der Kameras im Raum genutzt wird und dass vor der Objekterkennung eine Datenverdichtung oder Vorverarbeitung vorgesehen ist, um die Informationen, die von einem Objekt ausgehen, einander zuzuordnen. Die parallele Nutzung von mehreren Kameras erlaubt gleichzeitig unterschiedliche Blickwinkel, Zoomstufen, Fokuseinstellungen und spektrale Bereiche aufzunehmen. Wenn die Anzahl der parallel verwendeten Sensoren/Kameras steigt, wächst auch die Attraktivität dieses Verfahrens, da alle Sensoren/Kameras ihre Informationen in die gleiche Szenerepräsentation integrieren können und dabei wechselseitig von den bereits identifizierten Objekten aus den Datenströmen der anderen Sensoren profitieren, indem mehrere Sensoren mit unterschiedlichen Eigenschaften miteinander kombiniert werden. Beispiele von Sensoren sind Mikrofone, Kameras, die auch gleichzeitig die Entfernung der Bildpunkte bestimmen, Kameras mit flexiblem Fokus, Autofokus, Blenden, veränderbaren Objektiven bezüglich Brennweite, Vergrößerung und Schärfentiefe, Radarsensoren, Ultraschallsensoren, Laserscanner, Mikrowellenradiometer, Entfernungssensor, Empfänger für kodierte Erkennungssignale von Objekten (z. B. RFID) oder Teilobjekten. Es können auch Sensoren verwendet werden, welche in der Lage sind die chemische Zusammensetzung von Objekten zu identifizieren, wie die energiedispersive Röntgenspektroskopie oder Massenspektrometer. Dazu werden mit speziellen Sensoren beispielsweise mikroskopisch kleine Proben der Objekte genommen, welche dann detailliert auf ihre Zusammensetzung untersucht werden. Die Sensordaten werden zunächst in den Sensordaten des Sensorobjektes gespeichert. Es wird dann der Sensordatenstrom analysiert und es werden die Sensordaten den Objekten zugeordnet. So werden die Bilddatenpunkte, die von einer Person aufgenommen wurden, nicht mehr dem aufnehmenden Sensor, sondern der aufgenommenen Person zugeordnet. Bei diesem Übergang kann im Sensordatenstrom noch vermerkt werden, wohin die Sensordaten zugeordnet worden sind, damit der vollständige Sensordatenstrom wiederhergestellt werden kann. Für die Zuordnung der Sensordaten zu den Objekten werden nach Möglichkeit alle verfügbaren Informationen verwendet, um die Zuordnung schnell sicher und genau durchführen zu können. Das kann beispielsweise ein Sender sein, der die Position, Bewegung und/oder Orientierung eines Szenenobjektes im Raum angibt, oder die Position des Objektes im Szenenmodell in Relation zu anderen Szenenobjekten ermöglicht oder eine Sensorinformation sein, die eine Erkennung des Objektes ermöglicht, welche zu einer Aktualisierung der Position, Orientierung, Textur, Farbe, Form oder dergleichen des Szenenobjektes in der Szene führt. Es können auch Informationen über die Bewegung und/oder Verformung von Objekten im Raum sein, welche dazu führen, dass die nächsten Sensordaten von einem Objekt aus einer anderen Richtung oder mit einer anderen Orientierung zu erwarten sind oder Informationen von Registrierungsalgorithmen, dass Sensordaten, die einem Szeneobjekt zugeordnet worden sind, jetzt in einem anderen Sensordatenbereich zu finden sind oder dass sich die Skalierung der Sensordaten (z. B. bei der Annäherung des Szenenobjektes an die Kamera) verändert hat. Aus der Information über die Orientierung und Bewegung des Sensorobjektes, sowie der Veränderung der Eigenschaften des Sensors (z. B. Veränderung des Zoomfaktors einer Kamera) lässt sich dann die neue Relativposition des Szeneobjektes bestimmen. Diese wird dann bei Bedarf nach einem Abgleich der Information von anderen Sensoren in der Szene gespeichert. Wenn ein Objekt gezielt, z. B. zur gezielten hochdimensionalen Erfassung bei Filmen oder Spielen oder beim Zutritt oder beim Verlassen des überwachten Raumes, durch technische Maßnahmen vereinzelt wird, können die Messwerte sicher dem vereinzelten Objekt zugeordnet werden. Bei diesem Vorgehen erhält man die höchste Qualität der Daten. Dabei kann z. B. auch das Gewicht des Objektes bestimmt werden, um festzustellen, ob z. B. eine Person während des Besuches mehr an Gewicht gewonnen hat, als man aufgrund der Kasseninformation über das Gewicht der gekauften Objekte erwarten sollte. Dies könnte einen intelligenten Alarm auslösen, um diese Person hinsichtlich eines möglichen Diebstahldeliktes genauer zu untersuchen. Ebenso könnte ein nicht erwarteter Gewichtsverlust auf ein Ablegen einer Bombe hindeuten.The device for carrying out the method is characterized in that it has one or more cameras for recording in parallel or sequentially, wherein the data of a plurality of sensors can be integrated into a scene model and wherein the cameras for the automatic acquisition of the data quantities cover a wide range of viewing angles, planes of sharpness, Have resolution levels or a large spectral bandwidth. The cameras are arranged relative to one another such that the acquisition order of the objects entering a monitored area can be recorded with a high degree of detail, and that a plurality of information processing units analyze in parallel the data stream from one or more cameras, the results of which are object recognition between the information processing units are interchangeable and the information about the orientation of the cameras in the room is used and that prior to the object recognition data compression or preprocessing is provided to the information that emanate from an object to each other. The parallel use of multiple cameras allows different viewing angles, zoom levels, focus settings and spectral ranges to be recorded simultaneously. As the number of sensors / cameras used in parallel increases, so does the attractiveness of this method, as all sensors / cameras can integrate their information into the same scene presentation, and thereby mutually benefit from the already identified objects from the data streams of the other sensors by using multiple sensors be combined with different properties. Examples of sensors are microphones, cameras which simultaneously determine pixel removal, flexible focus cameras, autofocus, iris, variable focal length, magnification and depth of field lenses, radar sensors, ultrasonic sensors, laser scanners, microwave radiometers, distance sensors, encoded detection signals receivers Objects (eg RFID) or subobjects. It is also possible to use sensors which are able to identify the chemical composition of objects, such as energy-dispersive X-ray spectroscopy or mass spectrometers. For this purpose, for example, microscopic samples of the objects are taken with special sensors, which are then examined in detail for their composition. The sensor data are first stored in the sensor data of the sensor object. The sensor data stream is then analyzed and the sensor data is assigned to the objects. Thus, the image data items recorded by a person are no longer assigned to the receiving sensor but to the recorded person. In this transition can be noted in the sensor data stream, where the sensor data has been assigned, so that the full sensor data stream can be restored. For the assignment of the sensor data to the objects, all available information is used as far as possible in order to be able to perform the assignment quickly and safely. This can be, for example, a transmitter that indicates the position, movement and / or orientation of a scene object in space, or allows the position of the object in the scene model in relation to other scene objects or sensor information that allows detection of the object, which to a Updating the position, orientation, texture, color, shape or the like of the scene object in the scene. It may also be information about the movement and / or deformation of objects in space, which lead to the next sensor data being expected from an object from another direction or with a different orientation, or information from registration algorithms, sensor data, to a user Scene object have been assigned, are now found in another sensor data area or that the scaling of the sensor data has changed (eg when approaching the scene object to the camera). From the information about the orientation and movement of the sensor object, as well as the change of the characteristics of the sensor (eg change of the zoom factor of a camera), the new relative position of the scene object can then be determined. This is then stored as needed for matching the information from other sensors in the scene. If an object targeted, z. As for targeted high-dimensional detection in movies or games or when entering or leaving the monitored space is separated by technical measures, the measured values can be safely assigned to the isolated object. With this procedure one obtains the highest quality of the data. It can be z. As well as the weight of the object are determined to determine whether z. B. a person has gained more weight during the visit, as one should expect on the basis of the cash information about the weight of the purchased objects. This could trigger an intelligent alarm to more closely examine that person for a possible theft offense. Likewise, an unexpected weight loss could indicate a bomb being dropped.

Das vorliegende erfindungsgemäße Verfahren und die Einrichtung zur Durchführung des Verfahrens sind überall dort einsetzbar, wo große Datenmengen verarbeitet werden müssen und eine erhebliche Reduktion des Speicherbedarfs für große Sensordatenmengen zu einer Reduzierung der Kosten führt, bei geringem oder steuerbarem Informationsverlust und bei gleichzeitiger Verbesserung der Systemeigenschaften. Das erfindungsgemäße Verfahren ermöglicht in der Mikroskopie die Aufteilung des Bildes in mehrere Teile mit unterschiedlicher Relevanz. Je nach Relevanz wird eine andere Komprimierungsstufe beim Einsatz verlustbehafteter Komprimierungsverfahren verwendet, bei niedriger Relevanz eine hohe Komprimierungsstufe, bei hoher Relevanz eine niedrige Komprimierungsstufe mit geringem oder keinem Informationsverlust. Es erfolgt eine Aufteilung des Bildes in Objekte mittels einer Online-Objekterkennung. Die Speicherung der unterschiedlichen Komprimierungsstufen erfolgt auf unterschiedlichen Speichermedien, um den Durchsatz zu erhöhen. Durch eine bessere Aufzeichnung und Aufteilung der aufgenommenen Bilddaten verbessert sich die Suchfunktionalität, die Komprimierungsstufen sind steuerbar, so dass vorhandene Pufferspeicher, z. B. Hauptspeicher und Platte, optimal ausgenutzt werden. Das Verfahren ermöglicht den Einsatz von Techniken der virtuellen Realität, um dem Anwender neue Blickrichtungen zu ermöglichen, da aus den 3D-Objektinformationen und aktuellen 2D-Bildern oder 3D-Bildern mit definierbarer Auflösung 3D-Szenarien und 2D- oder 3D-Filme berechnet werden können. Mit der vorliegenden Erfindung wird in der Mikroskopie weiterhin eine erhebliche Reduktion des Speicherbedarfs für große Bilddatenmengen mit geringem oder steuerbarem Informationsverlust bei gleichzeitiger Verbesserung der Systemeigenschaften erreicht. Dadurch reduzieren sich die Herstellkosten für Systeme mit großem Datenvolumen durch die Einsparung von Speichermedien. Die etwas höheren Kosten für die CPUs werden in Zukunft durch die Verfügbarkeit von preiswerten Multicore-CPUs immer weniger ins Gewicht fallen. Die Bildanalysealgorithmen sind so gewählt, dass der Vorteil der Multicore-CPUs voll ausgenutzt werden kann. Es erfolgt eine Steigerung der Attraktivität der Systeme durch die Verbesserung der Performance, da nach der Komprimierung nur noch geringere Datenmengen bewegt werden müssen. Es erfolgt eine Verbesserung der Aufzeichnung und inhaltsbasierten Suche und eine Erleichterung des Trackings in den Sensor-Bilderströmen. Insgesamt stellt der Wechsel von der sequenzbasierten Speicherung der Bilder zu einer objekt- und szenenbasierten Speicherung mit einem hohen Komprimierungsfaktor eine große Innovation dar. In der Sicherheits- und Überwachungstechnik und in der Filmindustrie wird eine Vereinfachung der Objekterkennung dadurch erreicht, dass an den möglichen Zutrittspunkten in den überwachten Bereich technische Vorkehrungen getroffen werden, mit denen initial eine möglichst hochqualitative und umfassende Erfassung der Objekte möglich ist. Das kann z. B. durch den Einbau von Kamerasystemen in Eingangstüren, Eintrittsbarrieren oder im Eingangsbereich erfolgen, durch die Nutzung von strukturierten Beleuchtungen zur Erfassung der Oberflächenstruktur der beweglichen Objektteile mit den typischen Bewegungswinkeln. Weitere Verfahren zur Verbesserung der initialen Objektinformation können durch die gezielt variierte Fokussierung, Vergrößerung, Beleuchtung, Intensität, Richtung, Aufnahmefrequenz sowie Auflösung erreicht werden. Zusätzlich kann beim Zutritt neuer Objekte in den überwachten Bereich eine Suche in der vorhandenen Objektbasis durchgeführt werden, um zu dem eintretenden Objekt in der Objektbasis vorhandene Informationen zu laden. Mit dem Einsatz der objekt- und szenenbasierten Speicherung der Bild- und/oder Tondaten in der Sicherheits- und Überwachungstechnik kann der zu benötigende Speicherbedarf reduziert werden, da nicht die hoch redundanten Videoinformationen gespeichert wird, sondern die weniger redundanten Informationen über die Objekte oder Szene der Objekte mit den Abweichungen der Sensordaten zum aktuellen Modell, die Informationen für die Objekte im Raum, die Beziehung der Objekte zueinander, die Veränderung der Objekte und die Beleuchtungsverhältnisse. Außerdem erfolgt eine Verbesserung der Bild- und Tondaten durch den Übergang zu den objektbezogenen Informationen. Es können nicht nur die in einer kurzen Videosequenz enthaltenen Informationen verwendet werden, sondern es können Daten von verschiedenen Kameras, wie Zeitpunkt der Aufnahme, Blickrichtungen, Beleuchtungsverhältnisse oder dergleichen Daten miteinander in Beziehung gesetzt werden. Für jede Kamera werden Position, Blickrichtung und Fokussierung der Kamera im Raum, Freiheitsgrade der Bewegung der Kamera im Raum, Freiheitsgrade der Veränderung der optischen Eigenschaften der Kameras im Raum, Position und Eigenschaften der Lichtquellen im Raum gespeichert. Objekte sind dabei statische Objekte, wie Landschaften, Gebäude, Einrichtung, sowie dynamische Objekte, wie Personen, Tiere, bewegliche Gegenstände, Flüssigkeiten, Gase. Für jedes Objekt werden der Prototyp des Objektes, spektrale und Intensitätsinformationen in hochdimensionalem Format sowie Referenzen zu anderen Informationen, die aus anderen Datenbanken über eine Objekterkennung oder eine Identifikationskarte zugeordnet wurden, gespeichert. Ferner können typische Bewegungsmuster von Objekten in den Räumen gespeichert werden und Abweichungen von den typischen Bewegungsmustern können für intelligente Alarme verwendet werden. Durch die objektbezogene Speicherung der Daten können Objekte viel einfacher und besser mit Datenbanken verglichen werden und zueinander in Beziehung gesetzt werden. Dies betrifft objektbezogene Alarme, wenn beispielsweise ein großer Gegenstand an einer tragenden Säule des Gebäudes steht oder der zeitlichen Verlauf betrachtet wird, wenn Objekte, wie z. B. Kleidung oder ein Koffer aufgenommen oder abgelegt werden oder sich die Taschenform oder das Gewicht sich unerwartet ändert. Die Objekte können auch mit Bewegungsmodellen versehen werden, damit ein Mensch, auch wenn er geht steht oder sitzt, von dem System erkannt werden kann. Die Parameter des Bewegungsmodells, wie Lage, Freiheitsgrade und Orientierung von Gelenken, typische Bewegungsrichtungen und Bewegungsgeschwindigkeiten, können entweder im Objektmodell hinterlegt oder ebenfalls aus den Sensordaten generiert werden. Durch die objekt- und szenenbezogene Speicherung können außerdem die ermittelten Daten in besserer Qualität aufgenommen und gespeichert werden. Die Datenspeicherung kann kompakter erfolgen, die Redundanz kann reduziert werden. Es erfolgt eine gezielte Steuerung der Datenaufnahme zur Komplettierung des gesamten Datensatzes durch Nutzung der Freiheitsgrade der Kameras, Blickrichtung, Zoom, Fokus, spektrale Eigenschaften, Beleuchtung und Barrieren. Um die Systemeigenschaften zu verbessern, ist es vorteilhaft, Objekte beim Eintreffen und Verlassen des überwachten Bereichs mit hoher Qualität aufzunehmen. Je besser die initiale Information über ein Objekt ist, um so einfacher kann später eine Registrierung mit weiteren Bildinformationen erfolgen. Die Verfolgung von Objekten durch einen überwachten Raum soll über wechselnde Kameras und Blickrichtungen erfolgen. Damit ergibt sich die Möglichkeit, ein Objekt möglichst früh zu bewerten. Je früher eine hoch qualitative Information zur Verfügung steht, um so weniger Rechenzeit wird für die Registrierung der Daten benötigt und desto stärker können auch die Daten verdichtet werden. Hochqualitative Sensoren müssen nur im Zutritts- und Austrittsbereich und gegebenenfalls an besonders interessanten Stellen installiert werden und in den anderen Bereichen kann die hohe Qualität der Information über die Objekte im Sensorbereich aus den gespeicherten Objekten entnommen werden. Dem Bedienpersonal und den automatischen Algorithmen stehen über einen längeren Zeitraum bessere Informationen zur Verfügung. Es werden spezielle Eintrittsbarrieren konstruiert, die eine umfassende Digitalisierung der Zutritte und Austritte aus dem überwachten Bereich erlauben, die einen Eintretenden gezielt so an einem Sensor oder einer Gruppe von Sensoren vorbeiführen, damit eine umfassende Erfassung und falls möglich auch eine Erkennung möglich ist. Dabei kann auch das Gewicht einer Person oder eines Objektes beim Ein- und Austritt des gesicherten Bereichs erfasst werden. Danach kann sich das System auf die Verfolgung des Objektes und eine Überprüfung der Erkennung der Sensordaten in regelmäßigen Abständen beschränken. Durch die Nutzung des erfindungsgemäßen Verfahrens und der Einrichtung zur Durchführung des Verfahrens in der Sicherheits- und Überwachungstechnik können die Kosten für die Bilddatenspeicherung um ca. 70% reduziert werden. Ein neues 2,5-D-Fahndungsfoto kann einfach und sicher mit anderen Fahndungsfotos abgeglichen werden. Es erfolgt ein Auslösen von Alarmen, wenn bestimmte Objekte aus dem Überwachungsbereich entfernt oder in den Überwachungsbereich eingeführt werden. Mit dem neuen Verfahren zur objekt- und szenenbezogenen Speicherung von Bild-, Sensor- und/oder Tonsequenzen wird damit wesentlich der Umfang und Informationsgehalt der erhaltenen Daten verbessert und die Kosten für die Gewinnung und Speicherung der Daten werden reduziert.The present inventive method and the device for carrying out the method can be used anywhere where large amounts of data must be processed and a significant reduction in memory requirements for large quantities of sensor data leads to a reduction in costs, with little or controllable loss of information and at the same time improving the system properties. The method according to the invention makes it possible in microscopy to divide the image into several parts with different relevance. Depending on the relevance, a different compression level is used when using lossy compression methods, low relevance means a high compression level, high relevance a low compression level with little or no loss of information. There is a division of the image into objects by means of an online object recognition. The different compression levels are stored on different storage media to increase throughput. Improved recording and distribution of the recorded image data improves the search functionality, the compression levels are controllable, so that existing buffer memory, eg. As main memory and disk, be optimally utilized. The method enables the use of virtual reality techniques to give the user new viewing directions, as 3D scenarios and 2D or 3D films can be calculated from the 3D object information and current 2D or 3D images with definable resolution , With the present invention, a considerable reduction of the memory requirement for large amounts of image data with little or controllable loss of information while simultaneously improving the system properties is achieved in microscopy. This reduces the manufacturing costs for systems with large data volumes by saving storage media. The slightly higher costs for the CPUs will be less and less important in the future due to the availability of inexpensive multi-core CPUs. The image analysis algorithms are chosen so that the advantage of the multi-core CPUs can be fully exploited. There is an increase in the attractiveness of the systems by improving the performance, since after compression only smaller amounts of data must be moved. There is an improvement in the recording and content-based search and a facilitation of tracking in the sensor image streams. Overall, switching from sequence-based storage of images to object- and scene-based storage with a high compression factor is a major innovation. In security and surveillance technology and in the film industry, object recognition simplification is achieved by addressing the possible access points in the supervised area technical precautions are taken, with which initially as high as possible and comprehensive capture of the objects is possible. This can z. B. by the installation of camera systems in entrance doors, entry barriers or in the entrance area, through the use of structured lighting for detecting the surface structure of the movable object parts with the typical angles of movement. Further methods for improving the initial object information can be achieved by the specifically varied focusing, magnification, illumination, intensity, direction, Recording frequency and resolution can be achieved. In addition, when new objects enter the monitored area, a search can be performed on the existing object base to load information about the object in the object base. With the use of object- and scene-based storage of image and / or sound data in security and surveillance technology, the memory requirement to be used can be reduced because not the highly redundant video information is stored, but the less redundant information about the objects or scene of the Objects with the deviations of the sensor data to the current model, the information for the objects in the room, the relationship of the objects to each other, the change of the objects and the lighting conditions. In addition, the image and sound data is improved by the transition to the object-related information. Not only can the information contained in a short video sequence be used, but data from various cameras, such as time of taking, viewing directions, lighting conditions, or the like, can be related. For each camera, the position, viewing direction and focus of the camera in the room, degrees of freedom of movement of the camera in space, degrees of freedom of change of the optical properties of the cameras in the room, position and characteristics of the light sources stored in the room. Objects are static objects, such as landscapes, buildings, furnishings, as well as dynamic objects, such as persons, animals, moving objects, liquids, gases. For each object the prototype of the object, spectral and intensity information in high-dimensional format as well as references to other information, which were assigned from other databases via an object recognition or an identification card, are stored. Furthermore, typical movement patterns of objects in the rooms can be stored and deviations from the typical movement patterns can be used for intelligent alarms. Object-related storage of data makes it much easier and easier to compare objects to databases and relate them to each other. This relates to object-related alarms, for example, when a large object is on a supporting pillar of the building or the time course is considered when objects such. As clothes or a suitcase are taken or stored or the bag shape or weight changes unexpectedly. The objects can also be provided with movement models so that a human, even if he is walking or sitting, can be recognized by the system. The parameters of the movement model, such as position, degrees of freedom and orientation of joints, typical directions of movement and movement speeds, can either be stored in the object model or also be generated from the sensor data. Object and scene-related storage also allows the data to be recorded and stored in better quality. The data storage can be made more compact, the redundancy can be reduced. There is a targeted control of the data recording to complete the entire data set by using the degrees of freedom of the cameras, viewing direction, zoom, focus, spectral properties, lighting and barriers. In order to improve the system properties, it is advantageous to record objects as they arrive and leave the monitored area with high quality. The better the initial information about an object, the easier it can later be to register with further image information. The tracking of objects through a monitored room should be done via changing cameras and viewing directions. This results in the possibility of valuing an object as early as possible. The sooner high-quality information is available, the less computation time is needed to register the data and the more the data can be compressed. High-quality sensors only need to be installed in the access and exit areas and, where applicable, in particularly interesting places, and in the other areas the high quality of the information about the objects in the sensor area can be taken from the stored objects. Operators and automated algorithms have better information over a longer period of time. Special entry barriers are designed that allow for a full digitization of accesses and exits from the monitored area, which selectively direct an entrant past a sensor or group of sensors for comprehensive detection and, if possible, detection. In this case, the weight of a person or an object when entering and leaving the secured area can be detected. Thereafter, the system may be limited to tracking the object and checking the recognition of the sensor data at regular intervals. By using the method according to the invention and the device for carrying out the method in security and surveillance technology, the costs for image data storage can be reduced by approximately 70%. A new 2.5-D-Fahndungsfoto can be easily and safely compared with other wanted photos. An alarm is triggered when certain objects are removed from the surveillance area or inserted into the surveillance area. The new method for object and scene-based storage of image, sensor and / or sound sequences thus substantially improves the scope and information content of the data received and reduces the costs for obtaining and storing the data.

Die Erfindung beschränkt sich nicht auf die genannten Anwendungsbeispiele, sondern ist überall in den Bereichen, die einen hohen Speicherbedarf von Daten erfordern, einsetzbar. Sie umfasst insbesondere auch Varianten, die durch Kombination von den in Verbindung mit der vorliegenden Erfindung beschriebenen Merkmalen gebildet werden können. Alle in der vorstehenden Beschreibung erwähnten Merkmale sind weitere Bestandteile der Erfindung, auch wenn sie nicht besonders hervorgehoben und in den Ansprüchen erwähnt sind.The invention is not limited to the mentioned application examples, but is everywhere in the areas that require a large memory requirement of data, can be used. In particular, it also includes variants which can be formed by combination of the features described in connection with the present invention. All features mentioned in the foregoing description are further constituents of the invention, although they are not particularly emphasized and mentioned in the claims.

Claims

Method for object and scene-related storage of image, sensor and / or sound sequences, in particular in microscopy, optical quality assurance, surveillance and security technology and in similar areas in which a storage of image, sensor and / or sound sequences is carried out for later processing, analysis and / or visualization and reproduction, characterized in that image, sensor and / or sound data of objects, such as technical and / or natural objects, landscapes, spaces, material / tissue structures, people, animals , Plants, microorganisms, liquids, gases or the like of recorded objects and the information about the objects are wholly or partly generated from the image, sensor and / or sound sequences that a scene or sequence of scenes formed from these objects is information about the spatial relationships of the objects and / or the receiving sensors to each other and d The ambient conditions, the lighting, the background or background noise, that a storage of the data is performed such that the image, sensor and / or sound data is checked for a wholly or partially possible assignment to the objects, so that in a possible assignment next to this correspondence only the changed information, a new texture, a changed shape, changed positional relationships or a changed lighting are stored so that a restoration of image, sensor and / or sound sequences of the recorded facts wholly or partly from the stored Data is done and that finally the found objects are not always to be stored as a whole, but after the first storage as reference objects only the reference to the object is transmitted or stored together with the deviations of the found object from the reference object.

A method according to claim 1, characterized in that due to the stored data amount and the objects generated from the data stream and / or scenes of objects, the image quality is improved by eliminating the noise of individual camera images so that the details due to the resolution limit of a sensor or of the viewing angle of a camera in a particular camera setting are no longer visible, are faded in from other shots in the generated image, and this detail information in the reference object are collected and stored to be available for further processing subsequently available.

Method according to one of claims 1 and 2, characterized in that the details that are no longer detectable due to the limited intensity resolution of the camera sensor in the current image adjustment and lighting, are displayed from the reference object.

Method according to one of Claims 1 to 3, characterized in that in order to reduce the storage space requirement, the redundant information contained in different image, sensor and / or audio data is stored, if necessary, only once in the reference object and / or in a scene of the object, the other data is reconstructed from the knowledge of the objects and scenes of the objects, the lighting, the background, the orientation of the objects, and the like data, so that only the deviations that are not consistent with the model, in addition to the model save.

Method according to one of claims 1 to 4, characterized in that the enriched with extensive information objects and / or scenes of objects are directly usable for interactions, so that a viewer in a scene objects rotate and from other perspectives, in other resolutions or in other spectral areas, or this information is to be exported to external use.

Method according to one of claims 1 to 5, characterized in that a viewer of objects and / or scenes of objects can view them from a viewing angle, which was not included in the original version, and that the positional relationships of the objects to each other and the calculated image data for This new perspective, which was not apparent from the original viewpoint of the photograph, can be determined on the basis of the model knowledge and the information collected in the reference objects.

Method according to one of claims 1 to 6, characterized in that an automatic Annotation of objects and / or scenes of objects is used, which is used both to improve the search functionality within the image and / or sound data, as well as the storage of objects, scenes or sounds in different lossy compression depending on the nature and meaning of the object or the scene allowed.

Method according to one of claims 1 to 7, characterized in that the division of a sensor image into segments with different relevance or with different semantic context, so that, depending on relevance, a different compression level is used in the use of lossy compression method, and that the division of a sensor image by means of a motion analysis or an online object recognition in a static background and a dynamic proportion of moving objects, so that a compression of the object-related information is also dependent on the object or object type.

Method according to one of claims 1 to 8, characterized in that in order to increase the throughput or a simple separation of different object classes, scene components or semantic correlations, a storage of the different compression levels or semantic correlations on different storage media, so that objects, scene components or semantic relationships easy can be changed, replaced or deleted without affecting the other objects or being influenced by their data volumes.

Method according to one of claims 1 to 9, characterized in that for the targeted utilization of existing for recording storage media, a dynamic control of the compression factor for the different object and or scene categories is done so that filters and filter parameters of detected objects, of positional relationships of objects in a scene, depending on the positional relationship of the viewing angle in relation to a planned virtual camera trajectory, the size of the spatial details, the frequency of the image information, the frequency of the sound information or the current lighting situation.

Method according to one of claims 1 to 10, characterized in that a library of frequently occurring objects for improving the detection and segmentation of objects is set up and that the object library contains models and / or special algorithms for the identification of the library objects.

Method according to one of Claims 1 to 11, characterized in that the sound information originating from an object is stored in this object and that the sound information is also synthesized according to the viewing angle when rendering a scene, so that the spatial allocation of the sound information contributes the playback from other angles can correspond to the actual spatial conditions in the recordings.

Method according to one of Claims 1 to 12, characterized in that the acquisition of the sensor information is controlled by the quality of the previous digitization or by the detected objects or the semantic correlations in a scene, in order to specifically obtain details or aspects relevant to the application ,

Means for carrying out the method according to claim 1 to 13, characterized in that the device comprises one or more cameras in parallel or sequentially for recording, wherein the data of a plurality of sensors can be integrated into a scene model, wherein the cameras for automatic detection of the data amount a large bandwidth of angles of view, planes of sharpness, resolution levels or a large spectral bandwidth, and wherein the cameras are arranged in such a way that the recording of objects entering a monitored area is initially provided with a high degree of detail.

Means for carrying out the method according to claim 14, characterized in that a plurality of information-processing units analyze the data stream in parallel from one or more cameras, the results of which are interchangeable between the information-processing units for object recognition and using the information about the orientation of the cameras in the room is that prior to object detection, a data compression or preprocessing is provided to the information originating from an object to each other.