DE102005040881B4

DE102005040881B4 - Apparatus and method for visual object classification

Info

Publication number: DE102005040881B4
Application number: DE102005040881A
Authority: DE
Inventors: Ioana Dipl.-Inform. 76131 Gheta; Michael Dr.-Ing. 76137 Heizmann; Jürgen Prof. Dr.-Ing. 69234 Beyerer
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV; Universitaet Karlsruhe
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV; Universitaet Karlsruhe
Priority date: 2005-08-29
Filing date: 2005-08-29
Publication date: 2011-06-22
Anticipated expiration: 2025-08-30
Also published as: DE102005040881A1

Abstract

Beschrieben wird eine Vorrichtung sowie ein Verfahren zur visuellen Objektklassifikation mit einer Vielzahl von mindestens ein Objekt jeweils räumlichn, die jeweils eine Aufnahmeoptik vorsehen und eine räumlich feste oder einstellbar variable Anordnung zueinander einnehmen und jeweils wenigstens ein Bild generieren, sowie einer Bildauswerteeinheit, in der die Bilder wenigstens eines Teils der Sensoreinheiten unter Vorgabe eines Kriteriums auswertbar sind. Die Erfindung zeichnet sich dadurch aus, dass sich jede einzelne bildgebende Sensoreinheit in wenigstens einem der nachfolgenden visuellen Erfassungskriterien von allen anderen Sensoreinheiten unterscheidet und sich mindestens ein Paar von Sensoreinheiten in zwei dieser Erfassungskriterien unterscheidet. Der nicht abgeschlossene Satz von Erfassungskriterien umfasst wenigstens die spektrale Empfindlichkeit, die Fokuslage einer jeden bildgebenden Sensoreinheit vorgeschalteten Aufnahmeoptik, den Schärfentiefebereich der Aufnahmeoptik, die Brennweiteneinstellung der Aufnahmeoptik, den erfassbaren Polarisationszustand, den erfassbaren Kohärenzzustand des Lichtes, die Belichtungsdauer, die Ortsauflösung der bildgebenden Sensoreinheiten sowie den triggerbaren Zeitpunkt der Belichtung. Ferner ist das mindestens eine Objekt, anhand der simultan, mit unterschiedlichen Erfassungskriterien erfassten Bilder, hinsichtlich seiner geometrischen Eigenschaften und zusätzlich hinsichtlich seiner spektralen Eigenschaften und/oder seiner Polarisationseigenschaften automatisch klassifizierbar.A device and a method for visual object classification are described with a plurality of at least one object each spatially, each providing a recording optics and a spatially fixed or adjustable variable arrangement to each other and each generating at least one image, as well as an image evaluation unit in which the images at least some of the sensor units can be evaluated by specifying a criterion. The invention is characterized in that each individual imaging sensor unit differs in at least one of the following visual detection criteria from all other sensor units and at least one pair of sensor units differs in two of these detection criteria. The incomplete set of detection criteria includes at least the spectral sensitivity, the focus position of each imaging sensor unit upstream recording optics, the depth of field of the recording optics, the focal length setting of the recording optics, the detectable polarization state, the detectable coherence state of the light, the exposure time, the spatial resolution of the imaging sensor units and the triggerable time of exposure. Furthermore, the at least one object can be automatically classified with respect to its geometric properties and additionally with respect to its spectral properties and / or its polarization properties on the basis of the images captured simultaneously with different capture criteria.

Description

Technisches GebietTechnical area

Die Erfindung bezieht sich auf eine Vorrichtung sowie ein Verfahren zur visuellen Objektklassifikation mit einer Vielzahl von mindestens ein Objekt jeweils räumlich getrennt erfassenden, bildgebenden Sensoreinheiten, die jeweils eine Aufnahmeoptik vorsehen und eine räumlich feste oder einstellbar variable Anordnung zueinander einnehmen und jeweils wenigstens ein Bild generieren, sowie einer Bildauswerteeinheit, in der die Bilder wenigstens eines Teils der Sensoreinheiten unter Vorgabe eines Kriteriums auswertbar sind. The invention relates to a device and a method for visual object classification with a plurality of at least one object in each case spatially separated, imaging sensor units, each providing a receiving optics and a spatially fixed or adjustable variable arrangement to each other and each generate at least one image, and an image evaluation unit, in which the images of at least part of the sensor units can be evaluated while specifying a criterion.

Stand der TechnikState of the art

In der Literatur werden zahlreiche Beispiele von Bildaufnahmesensor-Arrays beschrieben, die meist in Form von Video- oder Digital-Kamera-Arrays ausgebildet sind. Derartige Kamera-Arrays dienen in erster Linie rein geometrischen Bild- oder Szeneaufnahmegesichtspunkten, wie etwa der dreidimensionalen Szenenaufnahme unter Nutzung der Stereobildaufnahmetechnik. So erlauben zweidimensionale Kamera-Arrayanordnungen durch Zusammenfügen zweier Szenebilder, die jeweils von einem unterschiedlichen Kamerastandpunkt bzw. Blickwinkel aus aufgenommen worden sind, eine stereoskopische Betrachtungsweise der Szene. Je nach Beschaffenheit der Szene, Abstand zwischen einzelnen Szeneobjekten zum Kamera-Array und/oder Betrachtungsinteresse von einem Nutzer kann die Stereobasis und damit der erzielbare Raumeindruck des Szenebildes durch Kombinieren von Kameras, die an unterschiedlichen Positionen innerhalb des Arrays angeordnet sind, nahezu beliebig variiert werden.The literature describes numerous examples of imaging sensor arrays, most of which are in the form of video or digital camera arrays. Such camera arrays primarily serve purely geometric image or scene shooting concerns, such as three-dimensional scene capture using the stereo imaging technique. Thus, two-dimensional camera array arrangements allow a stereoscopic view of the scene by combining two scene images, each taken from a different camera viewpoint. Depending on the nature of the scene, distance between individual scene objects to the camera array and / or viewing interest of a user, the stereo base and thus the achievable spatial impression of the scene image can be varied almost arbitrarily by combining cameras, which are arranged at different positions within the array ,

Eine andere Möglichkeit einer Nutzung derartiger Kamera-Arrayanordnungen betrifft die unterschiedliche Einstellung der Fokuslagen, mit denen die Objektiveinheiten der einzelnen Kameras zur Bildaufnahme eingestellt werden. Indem jede Kameraoptik mit einer abweichenden Fokuslage ein und dieselbe Szene aufnimmt, ist es durch anschließenden Bildvergleich aller Szenebilder möglich, eine Tiefenkarte von der mit der Vielzahl an Kameras aufgenommenen Szene zu erhalten.Another possibility of using such camera array arrangements relates to the different setting of the focal positions with which the lens units of the individual cameras are set for image acquisition. By each camera optics with a different focal position takes one and the same scene, it is possible by subsequent image comparison of all scene images to obtain a depth map of the scene with the plurality of cameras.

In einem Artikel von WILBURN, B.; JOSHI N.; VAISH V.; TALVALA E.; ANTUNEZ E.; BARTH A.; ADAMS A.; HOROWITZ M.; LEVOY M., ”High performance imaging using large camera arrays, ACM SIGGRAPH conference proceedings, 2005, wird ein Kamera-Array beschrieben, das mit einer großen Anzahl von Kameras zusätzlich die Fusion von Bildserien zu Hochgeschwindigkeits-Videos, zu Bildern höherer Helligkeitsdynamik und höherer Auflösung ermöglicht.In an article by WILBURN, B .; JOSHI N .; VAISH V .; TALVALA E .; ANTUNEZ E .; BARTH A .; ADAMS A .; HOROWITZ M .; LEVOY M., ACM SIGGRAPH conference proceedings, 2005, describes a camera array that, with a large number of cameras, additionally merges image series into high-speed videos, higher-brightness images, and higher-quality images Resolution possible.

Eng verwandt damit sind Einrichtungen und Verfahren, die an Stelle des Sensor-Arrays nur eine bildgebende Sensoreinheit einsetzen und somit Bildserien sequentiell durch Änderung der Erfassungs- oder Beleuchtungsparameter gewinnen. Eine derartige Sensoreinheit ist aus dem Artikel SCHECHNER, Y. UND NAYAR, S., „Generalized mosaicing”. In: Eighth IEEE International Conference on Computer Vision, Proceedings, S. 17–24, 2001, bekannt. Das bekannte Aufnahmeverfahren liefert Panoramabilder mit hoher Helligkeitsdynamik und zusätzlichen Spektralinformationen. Einzelsensoren sind allerdings nicht in der Lage, dynamische Szenen hinreichend schnell zu erfassen, da zur Variation der Erfassungsparameter eine gewisse Zeit benötigt wird.Closely related to this are devices and methods which instead of the sensor array use only one imaging sensor unit and thus acquire image series sequentially by changing the acquisition or illumination parameters. Such a sensor unit is from the article SCHECHNER, Y. AND NAYAR, S., "Generalized mosaicing". In: Eighth IEEE International Conference on Computer Vision, Proceedings, p. 17-24, 2001, known. The known recording method provides panoramic images with high brightness dynamics and additional spectral information. Individual sensors, however, are not able to capture dynamic scenes sufficiently quickly because a certain amount of time is required to vary the acquisition parameters.

In der DE 69216005 T2 wird ein Überwachungssystem, das aus mehreren Kameras besteht, beschrieben, das sich durch eine besonders einfache Bedienbarkeit bei der Verfolgung von Personen auf einem Gelände auszeichnet.In the DE 69216005 T2 describes a surveillance system that consists of several cameras, which is characterized by a particularly simple operation in the pursuit of people on a terrain.

Die bisher bekannten Ansätze sind insgesamt nicht geeignet, um mehr als geometrische Eigenschaften beliebiger Szenen in hinreichender Qualität zu untersuchen.Overall, the previously known approaches are not suitable for investigating more than geometrical properties of arbitrary scenes in sufficient quality.

Darstellung der ErfindungPresentation of the invention

Der Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung sowie ein Verfahren zur visuellen Objektklassifikation mit einer Vielzahl von mindestens ein Objekt jeweils räumlich getrennt erfassenden, bildgebenden Sensoreinheiten, die jeweils eine Aufnahmeoptik vorsehen und eine räumlich feste oder einstellbar variable Anordnung zueinander einnehmen und jeweils wenigstens ein Bild generieren, sowie einer Bildauswerteeinheit, in der die Bilder wenigstens eines Teils der Sensoreinheiten unter Vorgabe eines Kriteriums auswertbar sind, derart auszubilden, dass insbesondere dynamische Szenen mit einer verbesserten Qualität aufgenommen werden können, so dass mittels nachträglicher Bildauswertung aus den von den einzelnen bildgebenden Sensoreinheiten aufgenommenen Szenebilder eine weitaus umfassendere Informationsmenge entnommen werden kann, als es bisher möglich ist.The invention is based on the object, an apparatus and a method for visual object classification with a plurality of at least one object each spatially separated, imaging sensor units, each providing a receiving optics and a spatially fixed or adjustable variable arrangement to each other and occupy at least one image generate, as well as an image evaluation unit, in which the images of at least a portion of the sensor units are evaluated under specification of a criterion form such that in particular dynamic scenes can be recorded with an improved quality, so that recorded by means of subsequent image analysis from the individual imaging sensor units Scene views a much more comprehensive amount of information can be removed than was previously possible.

Die Lösung der der Erfindung zugrunde liegenden Aufgabe ist im Anspruch 1 angegeben. Ein lösungsgemäßes Verfahren ist Gegenstand des Anspruches 13. Den Erfindungsgedanken vorteilhaft weiterbildende Merkmale sind den Unteransprüchen sowie der weiteren Beschreibung insbesondere unter Bezugnahme auf die Ausführungsbeispiele zu entnehmen.The solution of the problem underlying the invention is specified in claim 1. A solution according to the method is the subject of claim 13. The features of the invention advantageously further developing features are described in the dependent claims and the further description in particular with reference to the embodiments.

Lösungsgemäß zeichnet sich eine Vorrichtung mit den Merkmalen des Oberbegriffes des Anspruches 1 dadurch aus, dass sich jede einzelne bildgebende Sensoreinheit in wenigstens einem der nachfolgend beschriebenen visuellen Erfassungskriterien von allen anderen Sensoreinheiten unterscheidet und sich mindestens ein Paar von Sensoreinheiten um wenigstens zwei der Erfassungskriterien unterscheidet: spektrale Empfindlichkeit, Fokuslage der Aufnahmeoptik, Schärfentiefebereich der Aufnahmeoptik, Brennweite der Aufnahmeoptik, erfassbarer Polarisationszustand, erfassbarer Kohärenzzustand, Belichtungsdauer, Ortsauflösung sowie Zeitpunkt der Belichtung. Die vorstehende Aufzählung unterschiedlicher visueller Erfassungskriterien, mit denen mindestens ein Objekt von einer bildgebenden Sensoreinheit aufgenommen wird, ist nicht abschließend zu verstehen, umfasst jedoch für die derzeit avisierten Anwendungen des Systems die relevantesten Erfassungskriterien. Ferner ist das mindestens eine Objekt, anhand der simultan, mit unterschiedlichen Erfassungskriterien erfassten Bilder, hinsichtlich seiner geometrischen Eigenschaften und zusätzlich hinsichtlich seiner spektralen Eigenschaften und/oder seiner Polarisationseigenschaften automatisch klassifizierbar.According to the solution, a device with the features of the preamble of claim 1 is characterized in that each individual in at least one of the visual detection criteria described below differs from all other sensor units, and at least one pair of sensor units differs by at least two of the detection criteria: spectral sensitivity, focal position of the optical system, depth of field of the optical system, focal length of the optical system, detectable polarization state, detectable coherence state, Exposure time, spatial resolution and time of exposure. The above enumeration of different visual detection criteria used to capture at least one object from an imaging sensor unit is not exhaustive, but includes the most relevant detection criteria for the currently envisaged applications of the system. Furthermore, the at least one object can automatically be classified with regard to its geometric properties and additionally with regard to its spectral properties and / or its polarization properties on the basis of the images acquired simultaneously with different detection criteria.

So ist es bei Sichtprüfungsaufgaben oft erwünscht, hohe Informationsdichten in sehr kurzer Zeit über eine Szene zu erhalten. Die lösungsgemäße Vorrichtung bietet vor allem die Möglichkeit, eine automatische Sichtprüfung an industriellen Objekten vorzunehmen, die bspw. mit einer hohen Fördergeschwindigkeit längs einer Produktionsstrecke transportiert werden, und dies mit einer bislang nicht erreichbaren Informationsdichte. Ein weiteres Aufgabengebiet liegt in der Umfeldwahrnehmung, bei der sich mit der vorgeschlagenen Einrichtung zusätzlich zur robusten Schätzung von Tiefeninformation, wie es bei dem eingangs erläuterten Stand der Technik auch der Fall ist, weitere wichtige Eigenschaften der Umgebung bestimmen lassen.Thus it is often desirable for visual inspection tasks to obtain high information densities in a very short time over a scene. Above all, the device according to the solution offers the possibility of carrying out an automatic visual inspection on industrial objects which, for example, are transported along a production line at a high conveying speed, and this with a hitherto unachievable information density. A further area of responsibility lies in the perception of surroundings, in which, in addition to the robust estimation of depth information, as is also the case with the prior art explained at the outset, the proposed device can determine further important properties of the environment.

Der lösungsgemäße Schlüssel hierzu ist die Verwendung eines Bildaufnahmesensoren-Arrays, bei dem die einzelnen Sensoren individuell konfiguriert werden. Dadurch ergibt sich die Möglichkeit, die Sensoren gleichzeitig mit verschiedenen Eigenschaften, z. B. hinsichtlich Fokussierung, Blendenwahl, Brennweite sowie Blickrichtung, Rollwinkel, spektraler und Polarisationsempfindlichkeit, zu betreiben. Erst durch Kombination wenigstens zweier Erfassungskriterien pro bildgebender Sensoreinheit sowie deren Variation über die jeweils in Einsatz befindlichen Sensoreinheiten eröffnet sich die Möglichkeit, eine Szene multisensitiv, d. h. mit einer Vielzahl von unterschiedlichen visuellen Informationsabfragekriterien, zu erfassen und anhand der durch die Sensoreinheiten von der Szene gewonnenen Bilder, die nachfolgend als Bildserie bezeichnet werden, im Rahmen einer Bildauswertung unter Maßgabe bestimmter Auswertekriterien zu untersuchen. Gilt es beispielsweise Stückgüter von bestimmter Beschaffenheit im Rahmen eines Sortiervorganges zu detektieren, wobei sich die Szeneobjekte in Form, Farbe und Konsistenz voneinander unterscheiden, so gilt es die einzelnen bildgebenden Sensoreinheiten derart zu konfektionieren, so dass sie in der Lage sind, eben diese Erfassungskriterien selektiv zu detektieren. Die Form und Größe von Szeneobjekten lässt sich bspw. im Wege einer stereoskopischen Bildauswertung an Hand der gewonnenen Bildserie abschätzen, insbesondere durch Wahl geeigneter Stereobasen, indem in geeigneter Weise Szenebilder von in einem passenden Abstand voneinander angeordneten bildgebenden Sensoreinheiten für eine Bildauswertung ausgewählt werden. Auch eignet sich zur Größenbestimmung von Szeneobjekten in Blickrichtung der Sensoreinheiten der Vergleich von Szenebildern, die von bildgebenden Sensoreinheiten mit jeweils unterschiedlich eingestellten Fokuslagen aufgenommen worden sind. Zur Farbbestimmung von Szeneobjekten ist es hingegen erforderlich, Sensoreinheiten mit unterschiedlichen spektralen Empfindlichkeiten auszustatten, bspw. durch Vorschalten bestimmter Farbfilter vor die jeweilige Aufnahmeoptik der betreffenden Sensoreinheit. Gilt es darüber hinaus die Materialbeschaffenheit und/oder lokale Reflexionseigenschaften der Oberfläche von in Betracht zu ziehenden Szeneobjekten zu bestimmen bzw. zu beurteilen, so kann dies durch selektive Erfassung des Polarisationszustandes des an den einzelnen Szeneobjekten reflektierten oder von diesen ausgesandten Lichtes erfolgen, indem die das Szenebild abbildenden Aufnahmeoptiken der einzelnen bildgebenden Sensoreinheiten mit einem Polarisationsfilter ausgestattet sind.The solution according key is the use of an image sensor array, in which the individual sensors are configured individually. This results in the possibility of the sensors simultaneously with different properties, eg. As regards focusing, aperture selection, focal length and viewing direction, roll angle, spectral and polarization sensitivity to operate. Only by combining at least two detection criteria per imaging sensor unit and their variation via the sensor units in use in each case opens up the possibility of a scene multi-sensitive, d. H. with a multiplicity of different visual information retrieval criteria, to be detected and examined on the basis of the images obtained by the sensor units from the scene, which are referred to below as image series, within the framework of an image evaluation subject to certain evaluation criteria. If, for example, it is intended to detect piece goods of a specific nature in the context of a sorting process, whereby the scene objects differ in shape, color and consistency from one another, then the individual imaging sensor units must be assembled in such a way that they are able to selectively apply precisely these detection criteria to detect. The shape and size of scene objects can be estimated, for example, by means of a stereoscopic image evaluation on the basis of the acquired image series, in particular by selecting suitable stereo bases, by suitably selecting scene images of image sensor units which are arranged at a suitable distance from each other for image evaluation. Also suitable for determining the size of scene objects in the direction of the sensor units, the comparison of scene images that have been taken by imaging sensor units, each with differently set focus positions. For color determination of scene objects, on the other hand, it is necessary to equip sensor units with different spectral sensitivities, for example, by connecting certain color filters in front of the respective recording optics of the relevant sensor unit. If, in addition, the material properties and / or local reflection properties of the surface of scene objects to be considered are to be determined or assessed, this can be done by selective detection of the polarization state of the light reflected or emitted by the individual scene objects, in which the Scene image imaging receiving optics of the individual imaging sensor units are equipped with a polarizing filter.

Die einzelnen Bildaufnahmesensoren werden vorzugsweise auf einem starren Träger angeordnet, so dass sie gemeinsam von einem Manipulator, bspw. von einem Roboterarm, positionierbar sind und zusammen auf eine Szene ausgerichtet werden können. Vor Beginn der eigentlichen Messung bzw. Bildaufnahme werden die Sensoreinheiten in ihren sechs Positionsfreiheitsgraden sowie hinsichtlich ihrer visuellen Erfassungskriterien eingestellt und bei Bedarf kalibriert. In einer besonders bevorzugten Ausführungsform sind die bildgebenden Sensoreinheiten jeweils einzeln mit einer motorisch ansteuerbaren Justiereinheit verbunden ist, durch die die räumliche Lage jeder einzelnen bildgebenden Sensoreinheit um wenigstens einen Freiheitsgrad änderbar ist, so dass das Sichtfeld (FOV) jeder einzelnen bildgebenden Sensoreinheit variabel und unabhängig voneinander einstellbar ist. Die Einstellung erfolgt in vorteilhafter Weise mittels einer Steuereinheit, die mit allen bildgebenden Sensoreinheiten drahtgebunden oder vorzugsweise drahtlos kommuniziert und die es über ein Eingabemittel ermöglicht, entsprechende Steuerbefehle abzusetzen.The individual image sensor sensors are preferably arranged on a rigid carrier, so that they can be positioned together by a manipulator, for example by a robot arm, and can be aligned together on a scene. Before starting the actual measurement or image recording, the sensor units are adjusted in their six degrees of freedom of movement as well as with respect to their visual detection criteria and calibrated if necessary. In a particularly preferred embodiment, the imaging sensor units are each connected individually to a motor-driven adjustment unit, by which the spatial position of each individual imaging sensor unit can be changed by at least one degree of freedom, so that the field of view (FOV) of each individual imaging sensor unit variable and independently is adjustable. The setting is advantageously carried out by means of a control unit which communicates with all imaging sensor units by wire or preferably wirelessly and which makes it possible via an input means to issue corresponding control commands.

Mit Hilfe der zentralen Steuereinheit ist es möglich, alle bildgebenden Sensoreinheiten für Einzelbildaufnahmen gleichzeitig auszulösen bzw. zu triggern, um auf diese Weise eine informationsreiche Bildserie zu erhalten, die sich zu Zwecken einer nachträglichen Auswertung beliebig fusionieren bzw. zusammenfügen lassen. Die bildgebenden Sensoreinheiten können aber auch sequentiell getriggert werden. Die parallele bzw. zeitgleiche Triggerung sichert die Konsistenz des Bildaufnahmezeitpunkts, eine zeitlich gestaffelte Triggerung ermöglicht hingegen die Erfassung hochdynamischer Vorgänge innerhalb des Szenebildes. With the aid of the central control unit, it is possible to simultaneously trigger or trigger all the imaging sensor units for individual image recordings in order to obtain an information-rich image series that can be arbitrarily fused or combined for purposes of subsequent evaluation. The imaging sensor units can also be triggered sequentially. Parallel or simultaneous triggering ensures the consistency of the image acquisition time, whereas time-staggered triggering enables the acquisition of highly dynamic processes within the scene image.

Die Bilder der Sensoreneinheiten weisen einen unterschiedlichen Grad an Übereinstimmung auf, abhängig davon, mit welcher Variation hinsichtlich der Erfassungskriterien die Sensoreinheiten betrieben worden sind.The images of the sensor units have a different degree of coincidence, depending on which variation with respect to the detection criteria the sensor units have been operated on.

Um bspw. eine Tiefeninformation aus dem aufgenommenen Szenebild anhand der gewonnenen Bildserie zu erhalten, muss mindestens eine Stereoaufnahme gemacht oder eine Fokusserie erfasst werden. Zur Erhöhung der Helligkeitsdynamik und der Schärfentiefe besteht die Möglichkeit, Empfindlichkeit, Blende und Belichtungszeit der Sensoren unterschiedlich einzustellen. Die sequentielle Triggerung ist z. B. für die Erzeugung der Hochgeschwindigkeits-Videos notwendig. Dazu werden die Sensoren leicht zeitversetzt ausgelöst, so dass die erzielbare Bildrate des Sensor Arrays ein Vielfaches der Bildrate eines Einzelsensors ist.In order, for example, to obtain depth information from the recorded scene image on the basis of the acquired image series, at least one stereo image must be taken or a focus series recorded. To increase the brightness dynamics and the depth of field, it is possible to set the sensitivity, aperture and exposure time of the sensors differently. The sequential triggering is z. B. necessary for the generation of high-speed video. For this purpose, the sensors are triggered slightly delayed, so that the achievable frame rate of the sensor array is a multiple of the frame rate of a single sensor.

Die gewonnenen Teilinformationen aus der Fusion von Szenebildern bzgl. eines einzelnen Erfassungskriteriums können weiter fusioniert werden, um ein vollständigeres Bild der Szene zu bekommen. Zum Beispiel können Panorama-Tiefenkarten erzeugt werden, indem die Distanz in unterschiedliche Blickrichtungen mit Hilfe von Stereoaufnahmen oder Fokusserien geschätzt wird und die Ergebnisse zu einem Panoramabild fusioniert werden. Um die Tiefeninformation zuverlässiger zu machen, können die Tiefenkarten aus Stereobildern und Fokusserien fusioniert werden.The obtained partial information from the fusion of scene images with respect to a single detection criterion can be further fused to get a more complete picture of the scene. For example, panoramic depth maps can be generated by estimating the distance in different directions using stereo images or focus series and fusing the results into a panoramic image. To make the depth information more reliable, the depth maps can be fused from stereo images and focus series.

So können die gewonnenen Bildserien, die über eine hohe Informationsdichte verfügen, aufgrund der variabel eingestellten Erfassungskriterien pro bildgebender Sensoreinheit mit Hilfe geeigneter Bildauswerteprogramme mittels einer rechnergestützten Bildauswerteeinheit nachträglich unter Vorgabe bestimmter Untersuchungskriterien analysiert werden. Der vorhandene Datenumfang in der von einer Szene aufgenommenen Bildserie gestattet es, die abgespeicherte Bildserie auch nach anderen Untersuchungs- oder Selektionskriterien zu analysieren.Thus, the image series obtained, which have a high information density, due to the variably set detection criteria per imaging sensor unit with the help of suitable image analysis programs by means of a computer-aided Bildauswerteeinheit be subsequently analyzed under specification of certain examination criteria. The existing scope of data in the image series recorded by a scene makes it possible to analyze the stored image series according to other examination or selection criteria.

Diese variable Auswertemöglichkeit von vorliegenden Bilddaten über ein Szenebild wird durch ein lösungsgemäßes Verfahren zur visuellen Szeneerfassung mit einer Vielzahl von, eine Szene jeweils räumlich getrennt erfassenden, bildgebenden Sensoreinheiten ermöglicht, das sich dadurch auszeichnet, dass im Zeitpunkt der Bildaufnahme jede einzelne bildgebende Sensoreinheit sich in wenigstens einem der nachfolgenden visuellen Erfassungskriterien von allen anderen Sensoreinheiten unterscheidet und sich mindestens ein Paar von Sensoreinheiten um wenigstens zwei dieser Erfassungskriterien unterscheidet. Der nicht abgeschlossene Satz von Erfassungskriterien umfasst wenigstens die spektrale Empfindlichkeit, die Fokuslage einer jeden bildgebenden Sensoreinheit vorgeschalteten Aufnahmeoptik, den Schärfentiefebereich der Aufnahmeoptik, die Brennweiteneinstellung der Aufnahmeoptik, den erfassbaren Polarisationszustand, den erfassbaren Kohärenzzustand des Lichtes, die Belichtungsdauer, die Ortsauflösung der bildgebenden Sensoreinheiten sowie den triggerbaren Zeitpunkt der Belichtung.This variable evaluation possibility of existing image data on a scene image is made possible by a method according to the invention for visual scene capture with a plurality of, one scene each spatially separated, imaging sensor units, which is characterized in that at the time of image acquisition, each individual imaging sensor unit in at least one of the following visual detection criteria different from all other sensor units and at least one pair of sensor units differs by at least two of these detection criteria. The incomplete set of detection criteria comprises at least the spectral sensitivity, the focus position of each imaging unit upstream recording optics, the depth of field of the receiving optics, the focal length adjustment of the receiving optics, the detectable polarization state, the detectable coherence state of the light, the exposure time, the spatial resolution of the imaging sensor units and the triggerable time of exposure.

In einer vereinfachten Annahme von n unterschiedlichen Erfassungskriterien, die es gilt mit den bildgebenden Sensoreinheiten zu detektieren und die darüber hinaus lediglich maximal zwei Zustandsmöglichkeiten annehmen können, sind maximal 2ⁿ bildgebende Sensoreinheiten vorzusehen. Gilt es bspw., in einer Menge von farbigen Objekten mit unterschiedlichem, jeweils einheitlichem Abstand größer/gleich 3 m zur bildgebenden Sensoreinheit die Szeneobjekte nach den Klassifikationskriterien „blau”/„nicht blau” und „genau 3 m entfernt”/„weiter als 3 m entfernt” zu untersuchen, d. h. n = 2, so bedarf es lediglich nach der spektralen Farbinformation blau zu suchen, bspw. durch Vorsatz eines Blaufilters vor zwei der bildgebenden Sensoreinheit, wobei die Fokuslage der Abbildungsoptiken von zwei bildgebenden Sensoreinheiten, von denen eine mit einem Blaufilter versehen ist, auf exakt 3 Meter einzustellen ist. Alle Objekte, deren Farbe und/oder Abstände zu den Sensoreinheiten nicht den jeweiligen Erfassungskriterien der Sensoreinheiten entsprechen, werden unscharf und/oder farbabweichend dargestellt und können dementsprechend klassifiziert werden.In a simplified assumption of n different detection criteria, which apply with the imaging sensor units to detect and beyond only a maximum of two state options can take, a maximum of 2 ⁿ imaging sensor units are provided. Is it, for example, in a lot of colored objects with different, each uniform distance greater than or equal to 3 m to the imaging sensor unit, the scene objects according to the classification criteria "blue" / "not blue" and "exactly 3 m away" / "further than 3 m away, ie, by intent of a blue filter before two of the imaging sensor unit, wherein the focus position of the imaging optics of two imaging sensor units, one of which with a Blue filter is to be set to exactly 3 meters. All objects whose color and / or distances to the sensor units do not correspond to the respective detection criteria of the sensor units are shown out of focus and / or color-deviating and can be classified accordingly.

In Fällen, in denen die in Betracht zu ziehenden Erfassungskriterien mehr als nur zwei Selektionsmöglichkeiten zulassen, ist die Szene mit maximal

bildgebenden Sensoreinheiten aufzunehmen, wobei p_i die Anzahl der Abtastpunkte für das Erfassungskriterium i, d. h. die Anzahl der Selektionsmöglichkeiten jeweils eines Erfassungskriteriums, und n die Anzahl der variierten bzw. zu variierenden Erfassungskriterien ist.In cases in which the consideration criteria to be considered allow more than just two selection possibilities, the scene is at maximum

receiving imaging sensor units, where p _i is the number of sampling points for the detection criterion i, ie the number of selection options, respectively a detection criterion, and n is the number is the varied or to varying detection criteria.

Unter Verwendung eines geeignet dimensionierten lösungsgemäßen bildgebenden Arrays aus Sensoreinheiten ist es somit möglich, die aufgenommenen Bildserien zum Zwecke der Rauschreduzierung, Optimierung der Helligkeitsdynamik, Optimierung der spektralen Empfindlichkeit, Verbesserung der Ortsauflösung, der Schärfentiefe und/oder der zeitlichen Auflösung im Rahmen einer nachträglichen Bildauswertung durch geeignete Fusion von Einzelbildern auszuwerten. Mit Hilfe des lösungsgemäßen Verfahrens ist es somit möglich, geometrische und visuelle Eigenschaften einer Szene zu analysieren und/oder Materialbestimmung von Szeneobjekten durchzuführen.By using a suitably dimensioned imaging array of sensor units in accordance with the invention, it is thus possible to record the recorded image series for noise reduction, optimization of the brightness dynamics, optimization of the spectral sensitivity, improvement of spatial resolution, depth of field and / or temporal resolution as part of a subsequent image evaluation evaluate suitable fusion of individual images. With the aid of the method according to the invention, it is thus possible to analyze geometrical and visual properties of a scene and / or to carry out material determination of scene objects.

Der Einsatz mehrerer Sensoren bietet zudem den Vorteil, dass eine zeitaufwendige mechanische Verstellung oder Bewegung der Sensoreinheiten entfallen kann und die Bildserie somit simultan erfasst werden kann.The use of multiple sensors also offers the advantage that a time-consuming mechanical adjustment or movement of the sensor units can be omitted and the image series can thus be detected simultaneously.

Kurze Beschreibung der ErfindungBrief description of the invention

Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen exemplarisch beschrieben. Es zeigen:The invention will now be described by way of example without limitation of the general inventive idea by means of embodiments with reference to the drawings. Show it:

1 Array aus bildgebenden Sensoreinheiten mit fester Positionierung um ein Szenenobjekt sowie 1 Array of imaging sensor units with fixed positioning around a scene object as well

2 Array aus bildgebenden Sensoreinheiten mit beweglicher Relativanordnung zu einem Szeneobjekt 2 Array of imaging sensor units with movable relative arrangement to a scene object

Wege zur Ausführung der Erfindung, gewerbliche VerwendbarkeitWays to carry out the invention, industrial usability

In 1 ist eine Vielzahl von bildgebenden Sensoreinheiten 2 dargestellt, die in einer räumlich festen Anordnung ringförmig um ein Szeneobjekt 1 angeordnet sind. Mit dieser Bildsensoranordnung ist eine optische Abdeckung eines bestimmten Raumwinkelbereichs über die Szene gesichert, so dass Objekte, deren Oberflächen Krümmungen oder Risse aufweisen, vollständig untersucht werden können. Zur räumlichen Positionierung des Szeneobjektes 1 ist eine Positioniereinrichtung 5 vorgesehen, die das Objekt 1 um sechs Freiheitsgrade 4 einzustellen vermag, die es gilt zu Zwecken einer Kalibrierung und während der Messung bzw. Bilderfassung fix einzuhalten.In 1 is a variety of imaging sensor units 2 represented in a spatially fixed arrangement annularly around a scene object 1 are arranged. With this image sensor arrangement, an optical coverage of a certain solid angle range is secured over the scene, so that objects whose surfaces have bends or cracks can be examined completely. For the spatial positioning of the scene object 1 is a positioning device 5 provided the object 1 by six degrees of freedom 4 It is applicable for purposes of calibration and during the measurement or image capture adhered to.

Grundsätzlich ist es möglich, die bildgebenden Sensoreinheiten 1 wie in der 1 dargestellt ringförmig in einer Ebene anzuordnen, jedoch kann die Sensorenanordnung je nach Aufgabenstellung linear, in einer Ebene, auf einer Kugeloberfläche oder beliebig im Raum vorgenommen werden, wobei die Sensoren darüber hinaus dicht oder weiträumig gepackt werden können. Die Abdeckung des gesamten Raumwinkelbereichs über der Szene sichert die Zugänglichkeit für eine komplette Untersuchung z. B. von Objekten, deren Oberflächen Krümmungen oder Risse aufweisen. Ferner sind die jeder bildgebenden Sensoreinheit 2 zugeordneten Abbildungsoptiken 2' mit Spektral- und/oder Polarisationsfiltern 3 ausgestattet, die bei Bedarf aktivierbar sind.In principle, it is possible to use the imaging sensor units 1 like in the 1 arranged annularly arranged in a plane, however, the sensor arrangement can be made depending on the task linear, in a plane on a spherical surface or arbitrarily in space, the sensors can also be packed tightly or widely. Covering the entire solid angle area above the scene ensures accessibility for a complete examination, e.g. B. of objects whose surfaces have bends or cracks. Further, each of the imaging sensor units is 2 associated imaging optics 2 ' with spectral and / or polarizing filters 3 equipped, which can be activated if necessary.

Das Objekt 1 ist mit Hilfe der von einer Steuereinheit 6 kontrollierbaren Positioniereinrichtung 5 beliebig positionierbar, so dass die gesamte Oberfläche des Objektes 1 in das Blickfeld einer oder mehrerer Sensoren bewegt werden kann.The object 1 is with the help of a control unit 6 controllable positioning device 5 freely positionable, so that the entire surface of the object 1 can be moved into the field of view of one or more sensors.

Die Steuereinheit 6 kann vorzugsweise aus mehreren Rechnereinheiten bestehen und kontrolliert das Bildaufnahmesensoren-Array in der Gesamtheit sowie jede Sensoreinheit 2 einzeln, durch Vorgabe der jeweiligen Erfassungskriterien, mit denen das Szenenobjekt 1 von jeder einzelnen bildgebenden Sensoreinheit 2 aufgenommen wird. Außerdem löst die Steuereinheit 6 die Bilderfassung aus und führt zudem die Bildauswertung und Fusion, d. h. Bilderzusammenfügung, durch. Zusätzlich kann die Steuereinheit 6 mit Hilfe von bisherigen Bildaufnahmen das Bildaufnahmesensoren-Array und die Bilderfassungsparameter optimieren.The control unit 6 may preferably consist of several computer units and controls the image sensor array in the whole and each sensor unit 2 individually, by specifying the respective detection criteria with which the scene object 1 from each individual imaging sensor unit 2 is recorded. It also triggers the control unit 6 the image capture and also performs the image analysis and fusion, ie image merging. In addition, the control unit 6 Optimize the image acquisition sensor array and image acquisition parameters using previous images.

In 2 ist eine weitere mögliche Realisierung einer lösungsgemäßen Bildsensoranordnung 7 dargestellt. Das Bildaufnahmesensoren-Array 7 besitzt nun zusätzlich sechs translatorische und rotatorische Freiheitsgrade und ist mit Hilfe eines Manipulators 8, bspw. in Form einer Roboterkinematik, über die Steuereinheit 6 frei positionierbar. Dadurch entsteht die Möglichkeit, das Sensor-Array als eine Art Sensorkopf ähnlich eines Einzelsensor zu betreiben. Wird die Rechnereinheit 6 mit der Funktionalität zur Auswertung und Interpretation der aufgenommenen Bilder ausgestattet, so besteht die Möglichkeit, die Positionierung des Sensor-Arrays zu regeln und so lange zu variieren, bis eine gewünschte Information in hinreichender Qualität vorliegt. In einer derart on-line überwachten Bildaufnahme können die Erfassungskriterien ebenso über die Steuereinheit 6 bei jeder einzelnen bildgebenden Sensoreinheit 2 variiert werden, um letztlich eine optimierte Bildinformation vom Szeneobjekt 1 zu gewinnen. Auf die bereits in 1 eingeführten und beschrieben Bezugszeichen wird an dieser Stelle, um Wiederholungen zu vermeiden, verwiesen.In 2 is another possible realization of a solution according to the invention image sensor array 7 shown. The image sensor array 7 now also has six translatory and rotary degrees of freedom and is using a manipulator 8th , for example in the form of a robot kinematics, via the control unit 6 freely positionable. This creates the opportunity to operate the sensor array as a kind of sensor head similar to a single sensor. Will the computer unit 6 equipped with the functionality for the evaluation and interpretation of the recorded images, it is possible to control the positioning of the sensor array and to vary until a desired information is available in sufficient quality. In such an on-line monitored image acquisition, the detection criteria can also via the control unit 6 at each individual imaging sensor unit 2 be varied to ultimately optimized image information from the scene object 1 to win. On the already in 1 reference numbers introduced and described will be referenced herein to avoid repetition.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: SzeneobjektSceneObject
22: Bildgebende SensoreinheitenImaging sensor units
2'2 ': Abbildungsoptikimaging optics
33: Spektral- und/oder PolarisationsfilterSpectral and / or polarizing filters
44: Freiheitsgradedegrees of freedom
55: Positioniereinrichtungpositioning
66: Steuereinheitcontrol unit
77: BildsensorarrayanordnungImage sensor array arrangement
88th: Manipulatormanipulator

Claims

Device for visual object classification with a plurality of at least one object in each case spatially separated, imaging sensor units each provide a receiving optics and a spatially fixed or adjustable variable arrangement to each other and each generate at least one image, and an image evaluation unit in which the images at least characterized in that each individual imaging sensor unit differs from all other sensor units in at least one of the following visual detection criteria and at least one pair of sensor units differ by at least two of the detection criteria: spectral sensitivity, Focal position of the recording optics, depth of field of the optical system, focal length of the optical system, detectable polarization state, detectable coherence state, exposure time uer, - spatial resolution, - time of exposure, and that the at least one object, based on the simultaneous, with different detection criteria captured images, with respect to its geometric properties and additionally with regard to its spectral properties and / or polarization properties is automatically classifiable.

Apparatus according to claim 1, characterized in that the imaging sensor units 2-dimensional array-shaped or three-dimensionally arranged.

Apparatus according to claim 1 or 2, characterized in that a maximum of 2 ⁿ imaging sensor units are provided, wherein n corresponds to the number of different detection criteria.

Apparatus according to claim 1 or 2, characterized in that maximum for the scanning of the parameter space of the detection criteria

Imaging sensor units are used, where p _{i is} the number of sampling points for the detection criterion i and n is the number of varied detection criteria.

Device according to one of claims 1 to 4, characterized in that the imaging sensor units are arranged on a common mechanical support structure.

Apparatus according to claim 5, characterized in that the support structure is mounted spatially positionable.

Device according to one of claims 1 to 6, characterized in that a control unit is provided which communicates with all imaging sensor units wired or wirelessly.

Apparatus according to claim 7, characterized in that the control unit emits for all imaging sensor units simultaneously or temporally sequential trigger signals for the respective image triggering of the individual imaging sensor signals.

Apparatus according to claim 7 or 8, characterized in that the control unit generates control signals, by which at least one detection criterion is variably adjustable.

Device according to one of claims 1 to 9, characterized in that the imaging sensor units are spatially individually positioned so that the field of view (FOV) of each imaging sensor unit is variable and independently adjustable.

Device according to claims 7 to 9 or claim 10, characterized in that each of the imaging sensor units is connected to a motor-driven adjustment unit, by which the spatial position of each individual imaging sensor unit can be changed by at least one degree of freedom, and that the control unit with the adjusting units Supplied control signals.

Device according to one of claims 7 to 11, characterized in that the image evaluation unit and the control unit are combined in a computer unit.

A method for visual object classification with a plurality of at least one object in each case spatially separated, imaging sensor units that detect the at least one object from different angles and each generate at least one image, wherein the images of at least a portion of the imaging sensor units are evaluated in superimposition or merging based on at least two evaluation criteria, characterized in that at the time of imaging each individual imaging sensor unit in at least one of the following visual detection criteria of all other sensor units and at least one pair of sensor units differs by at least two of the detection criteria: spectral sensitivity, focal position of the optical system, depth of field of the optical system, focal length of the optical system, detectable polarization state, detectable coherence state, exposure duration, spatial resolution, time the exposure and that the at least one object, based on the simultaneously captured with different detection criteria images, in terms of its geometric properties and additionally classified automatically with regard to its spectral properties and / or its polarization properties.

A method according to claim 13, characterized in that the evaluation comprises a material determination.