DE202012101965U1

DE202012101965U1 - stereo camera

Info

Publication number: DE202012101965U1
Application number: DE202012101965U
Authority: DE
Original assignee: Sick AG
Current assignee: Sick AG
Priority date: 2012-05-30
Filing date: 2012-05-30
Publication date: 2012-06-26
Anticipated expiration: 2022-05-31

Abstract

Stereokamera (10), die ein erstes Kameramodul (14a) und ein zweites Kameramodul (14b) mit einer ersten Empfangsoptik (18a) und einer zweiten Empfangsoptik (18b) und einem ersten Bildsensor (16a) und einem zweiten Bildsensor (16b) mit jeweils einer Vielzahl von lichtempfindlichen Pixelelementen zur Aufnahme von ersten Bilddaten und zweiten Bilddaten aus einem Raumbereich (12) und eine Stereoskopieeinheit (30) aufweist, welche dafür ausgebildet ist, aus korrespondierenden Merkmalen in den ersten Bilddaten und den zweiten Bilddaten eine Disparität und daraus eine Entfernung für die Merkmale zu schätzen, um so dreidimensionale Bilddaten des Raumbereichs (12) zu erzeugen, gekennzeichnet durch eine Kalibrationseinheit (32), die dafür ausgebildet ist, durch Auswahl aktiver Pixelelemente in einem ersten Teilbereich des ersten Bildsensors (16a) einen effektiven ersten Bildsensor (42a) und in einem zweiten Teilbereich des zweiten Bildsensors (16b) einen effektiven zweiten Bildsensor (42b) zu erzeugen, so dass die ersten Bilddaten und die zweiten Bilddaten Signalen des effektiven ersten Bildsensors (42a) und des...Stereo camera (10) which has a first camera module (14a) and a second camera module (14b) with first receiving optics (18a) and second receiving optics (18b) and a first image sensor (16a) and a second image sensor (16b) each with one A plurality of light-sensitive pixel elements for recording first image data and second image data from a spatial area (12) and a stereoscopic unit (30) which is designed to generate a disparity from corresponding features in the first image data and the second image data and, from this, a distance for the Estimate features so as to generate three-dimensional image data of the spatial area (12), characterized by a calibration unit (32) which is designed to generate an effective first image sensor (42a) by selecting active pixel elements in a first sub-area of the first image sensor (16a) and to produce an effective second image sensor (42b) in a second partial area of the second image sensor (16b) eugen, so that the first image data and the second image data signals of the effective first image sensor (42a) and the ...

Description

Die Erfindung betrifft eine Stereokamera zur Justage und Kalibration einer Stereokamera nach dem Oberbegriff von Anspruch 1. The invention relates to a stereo camera for adjusting and calibrating a stereo camera according to the preamble of claim 1.

Im Gegensatz zu einer herkömmlichen Kamera nimmt eine 3D-Kamera auch eine Tiefeninformation auf und erzeugt somit dreidimensionale Bilddaten, die auch als Entfernungsbild oder Tiefenkarte bezeichnet werden. Die zusätzliche Entfernungsdimension lässt sich in einer Vielzahl von Anwendungen nutzen, um mehr Informationen über Objekte in der von der Kamera erfassten Szenerie zu gewinnen. In contrast to a conventional camera, a 3D camera also records depth information and thus generates three-dimensional image data, which is also referred to as a distance image or depth map. The extra range dimension can be used in a variety of applications to gain more information about objects in the scene captured by the camera.

Ein Beispiel dafür ist die Sicherheitstechnik. Eine typische sicherheitstechnische Anwendung ist die Absicherung einer gefährlichen Maschine, wie etwa einer Presse oder eines Roboters, wo bei Eingriff eines Körperteils in einen Gefahrenbereich um die Maschine herum eine Absicherung erfolgt. Dies kann je nach Situation die Abschaltung der Maschine oder das Verbringen in eine sichere Position sein. Mit der zusätzlichen Tiefeninformation lassen sich dreidimensionale Schutzbereiche definieren, die genauer an die Gefahrensituation anpassbar sind als zweidimensionale Schutzfelder, und es kann auch besser beurteilt werden, ob sich eine Person in kritischer Weise an die Gefahrenquelle annähert. An example of this is the safety technology. A typical safety application is the protection of a dangerous machine, such as a press or a robot, where protection is provided when a body part is engaged in a hazardous area around the machine. Depending on the situation, this can be the shutdown of the machine or the move to a safe position. With the additional depth information, three-dimensional protection areas can be defined which are more precisely adaptable to the danger situation than two-dimensional protection fields, and it can also be better assessed whether a person approaches the danger source in a critical manner.

In einer weiteren Anwendung werden erfasste Bewegungen als Befehl an eine mit der 3D-Kamera verbundene Steuerung interpretiert. Dazu werden beispielsweise Gesten erfasst. Obwohl dies in erster Linie aus der Unterhaltungselektronik bekannt ist, kann es auch genutzt werden, um einen Sensor in der Sicherheitstechnik zu bedienen oder zu konfigurieren, wie etwa in der DE 10 2010 017 857 beschrieben. In another application, detected movements are interpreted as a command to a controller connected to the 3D camera. For example, gestures are recorded. Although this is primarily known from consumer electronics, it can also be used to operate or configure a sensor in security technology, such as in the US Pat DE 10 2010 017 857 described.

Ein bekanntes Prinzip zur Erfassung dreidimensionaler Bilddaten beruht auf Triangulation unter Zuhilfenahme einer aktiven Musterbeleuchtung. Bei stereoskopischen Systemen werden dann jeweils mindestens zwei Aufnahmen aus unterschiedlicher Perspektive erzeugt. In den überlappenden Bildbereichen werden gleiche Strukturen identifiziert und aus der Disparität und den optischen Parametern des Kamerasystems mittels Triangulation Entfernungen und somit das dreidimensionale Bild beziehungsweise die Tiefenkarte berechnet. Eine Stereokamera ist prinzipiell auch in der Lage, passiv zu arbeiten, d. h. ohne eine eigene Musterbeleuchtung. Dann können aber in strukturlosen Szenerien Lückenbereiche entstehen, in denen kein zuverlässiger Tiefenwert vorliegt. A well-known principle for the acquisition of three-dimensional image data is based on triangulation with the aid of an active pattern illumination. In stereoscopic systems, at least two images are then generated from different perspectives. In the overlapping image areas, the same structures are identified and calculated from the disparity and the optical parameters of the camera system by means of triangulation distances and thus the three-dimensional image or the depth map. In principle, a stereo camera is also able to work passively, i. H. without a custom pattern lighting. But then, in structureless scenes, gaps can arise in which no reliable depth value exists.

Andere Triangulationssysteme, wie beispielsweise in der US 2008/0240502 A1 beschrieben, verwenden nur eine Kamera und werten die Veränderungen des projizierten Musters durch Objekte in verschiedenen Entfernungen aus. Dazu wird dem System das Beleuchtungsmuster eingelernt und so eine Erwartungshaltung für die Bilddaten bei verschiedenen Objektentfernungen und -strukturen generiert. Eine Möglichkeit besteht darin, das Beleuchtungsmuster auf Objekten, insbesondere einer Fläche, in verschiedenen Entfernungen als Referenzbild einzulernen. In einem derartigen System ist eine aktive Beleuchtung von vorne herein unverzichtbar. Other triangulation systems, such as in the US 2008/0240502 A1 use only one camera and evaluate the changes in the projected pattern through objects at different distances. For this purpose, the system acquires the illumination pattern and thus generates an expectation for the image data at different object distances and structures. One possibility is to train the illumination pattern on objects, in particular a surface, at different distances as a reference image. In such a system, active lighting is indispensable from the outset.

Die 3D-Kamera wird herkömmlich für einen ordnungsgemäßen Betrieb zunächst justiert und anschließend kalibriert. Unter Justage wird dabei die mechanische Ausrichtung der verschiedenen Komponenten verstanden. Das betrifft einerseits die Kameramodule in sich, also in erster Linie die Ausrichtung zwischen Bildsensor und Empfangsobjektiv, und andererseits die Ausrichtung der Kameramodule untereinander beziehungsweise zu dem Beleuchtungsmodul. Durch Kalibration stellt das System nach erfolgreicher Ausrichtung wichtige Betriebsparameter ein, beispielsweise Verzeichnungsparameter, Basisabstand, Sichtbereich, Öffnungswinkel und dergleichen. The 3D camera is conventionally first adjusted for proper operation and then calibrated. Adjustment is understood to mean the mechanical orientation of the various components. On the one hand, this concerns the camera modules in themselves, ie primarily the alignment between the image sensor and the receiving lens, and, on the other hand, the alignment of the camera modules with each other or with the illumination module. By calibration, after successful alignment, the system adjusts important operating parameters, such as distortion parameters, base distance, field of view, aperture angle, and the like.

Eine ungenaue Justage beeinträchtigt die Leistungsfähigkeit der 3D-Kamera. Ein Kameramodul mit einer Fehlausrichtung zwischen Bildsensor und Empfangsobjektiv liefert keine optimalen Bilddaten. Eine Verkippung bewirkt zumindest bei sehr lichtstarken Objektiven eine Defokussierung von Bildbereichen. Die laterale Ausrichtung ist wichtig für den Sichtbereich (field of view) und die optische Abbildungsqualität des Kameramoduls. Dabei sind die Anforderungen an die Genauigkeit der Ausrichtung hoch. Beispielsweise sollte die Bildsensormitte mit der optischen Achse des Empfangsobjektivs bis auf einen Pixelabstand von typischerweise einigen Mikrometern übereinstimmen. An inaccurate adjustment affects the performance of the 3D camera. A camera module with a misalignment between the image sensor and the receiving lens does not provide optimal image data. A tilt causes a defocusing of image areas, at least in the case of very fast lenses. The lateral alignment is important for the field of view and the optical imaging quality of the camera module. The requirements for the accuracy of the alignment are high. For example, the image sensor center should coincide with the optical axis of the receiving lens except for a pixel pitch of typically a few microns.

Derartige Genauigkeiten lassen sich herkömmlich nur mit einer aktiven Justage erzielen. Dabei wird ein auf der optischen Achse positioniertes Justageobjekt im Objektraum mit dem Bildsensor beobachtet. Das Justageobjekt wird dabei durch Verschieben des Bildsensors gegenüber dem Empfangsobjektiv in der Mitte des Bildes erfasst. Für diese Verschiebung sind mikrometergenaue Positioniersysteme erforderlich. Such accuracies can be achieved conventionally only with an active adjustment. In this case, an alignment object positioned on the optical axis is observed in the object space with the image sensor. The adjustment object is detected by moving the image sensor relative to the receiving lens in the middle of the image. Micrometer-accurate positioning systems are required for this shift.

Die Justage kann manuell von einem Werker durch Ausrichtung eines Justagekreuzes zu dem Justageobjekt durchgeführt werden. Das ist zwar ein genauer Prozess, aber technisch anspruchsvoll und zeitaufwändig. Es gibt auch vollautomatische Justageeinrichtungen mit Bilderkennungssoftware und elektronisch ansteuerbaren Positioniersystemen, die aber sehr aufwändig sind und sich deshalb allenfalls bei großen Stückzahlen rechnen. The adjustment can be carried out manually by a worker by aligning an adjustment cross to the adjustment object. Although this is an accurate process, it is technically demanding and time consuming. There are also fully automatic adjustment devices with image recognition software and electronically controllable positioning systems, which, however, are very complex and therefore pay off at best for large quantities.

Aus der EP 1 533 998 B1 ist ein Verfahren zum Austausch von Kameras bekannt. Dabei ist vorgesehen, im Betrieb nur ein Teilarray des verfügbaren Empfangsarrays zu aktivieren und die Position des Teilarrays zu Zwecken der Positionierung variabel einzustellen. Diese Einstellung erfolgt aber unabhängig von einer Kalibration. Außerdem befasst sich die EP 1 533 998 B1 nicht mit 3D-Kameras, so dass besondere Anforderungen an die Kalibrierung und Ausrichtung solcher komplexer Systeme keine Rolle spielen. From the EP 1 533 998 B1 a method for exchanging cameras is known. In this case, it is intended to activate only a subarray of the available receive array during operation and to variably set the position of the subarray for purposes of positioning. However, this setting is independent of a calibration. In addition, the deals EP 1 533 998 B1 not with 3D cameras, so special requirements for the calibration and alignment of such complex systems are irrelevant.

Die DE 10 2005 063 217 A1 beschreibt ein Verfahren zum Konfigurieren einer Überwachungseinrichtung zum Überwachen eines Raumbereichs. Dabei werden zur Einrichtung und Funktionsüberwachung Marken in dem Raumbereich angebracht. Das Dokument befasst sich aber nicht mit der Ausrichtung und Kalibration des Sensors selbst, sondern gegenüber seiner Umgebung. The DE 10 2005 063 217 A1 describes a method for configuring a monitoring device for monitoring a spatial area. Here, brands are installed in the room area for the establishment and function monitoring. The document is not concerned with the orientation and calibration of the sensor itself, but with its surroundings.

In der EP 2 202 994 B1 wird eine 3D-Kamera zur Raumüberwachung beschrieben, die anhand von Teilbereichen des erfassten Bildes erkennt, ob die Kalibrierung noch für die sichere Funktion ausreicht. Andernfalls wird ein Abschaltsignal ausgegeben. Damit wird der Vorgang der Kalibration selbst nicht erleichtert. Außerdem wird eine fehlerhafte Kalibration zwar rechtzeitig erkannt, aber es werden keine Gegenmaßnahmen zur Korrektur diskutiert. Damit wird der herkömmliche Weg eingeschlagen, im Fehlerfall eine Wartung zu veranlassen und gegebenenfalls eine Rekalibrierung im Werk vorzunehmen. In the EP 2 202 994 B1 describes a 3D camera for room monitoring, which detects on the basis of partial areas of the captured image, whether the calibration is still sufficient for safe operation. Otherwise, a shutdown signal is output. This does not facilitate the process of calibration itself. In addition, a faulty calibration is detected in good time, but no countermeasures for correction are discussed. This is the conventional way to initiate a maintenance in the event of a fault and, if necessary, carry out a recalibration at the factory.

Es ist daher Aufgabe der Erfindung, die Justage einer Stereokamera zu vereinfachen. It is therefore an object of the invention to simplify the adjustment of a stereo camera.

Diese Aufgabe wird durch eine Stereokamera zur Justage und Kalibration einer Stereokamera nach Anspruch 1 gelöst. Dabei geht die Erfindung von dem Grundgedanken aus, dass die Bildsensoren über eine größere Pixelzahl verfügen, als im Betrieb benötigt wird. Damit kann eine elektronische Ausrichtung erfolgen, indem eine Untermenge dieser Pixelelemente ausgewählt und nur die Signale dieser Pixelelemente für den Betrieb beziehungsweise die Erzeugung von Bilddaten verwendet wird. Die übrigen Pixelelemente werden deaktiviert, beispielsweise indem deren Signale nicht ausgelesen oder nicht beachtet werden. Der Teilbereich mit den ausgewählten, aktiven Pixelelementen des jeweiligen Bildsensors wird deshalb als effektiver Bildsensor bezeichnet, weil nur dessen Signale Auswirkungen auf das von dem Kameramodul gelieferte Bild haben. Häufig sind die Pixelelemente zu einer Matrix angeordnet, und die aktiven Pixelelemente bilden einen matrixförmigen Teilbereich. Durch geeignete Auswahl kann der Teilbereich verschoben und damit eine neue Positionierung der effektiven Bildsensoren erreicht werden. This object is achieved by a stereo camera for adjusting and calibrating a stereo camera according to claim 1. The invention is based on the basic idea that the image sensors have a larger number of pixels than is needed in operation. Thus, electronic alignment can be achieved by selecting a subset of these pixel elements and using only the signals of these pixel elements for the operation or generation of image data. The other pixel elements are deactivated, for example by their signals are not read or ignored. The subregion with the selected, active pixel elements of the respective image sensor is therefore referred to as an effective image sensor, because only its signals have an effect on the image delivered by the camera module. Frequently, the pixel elements are arranged in a matrix, and the active pixel elements form a matrix-shaped subarea. By appropriate selection of the sub-area can be moved and thus a new positioning of the effective image sensors can be achieved.

Diese elektronische Ausrichtmöglichkeit wird dann ausgenutzt, um einen bestmöglich übereinstimmenden gemeinsamen Sichtbereich der Kameramodule einzustellen. Eine perfekte Übereinstimmung wird dabei in der Praxis weder möglich noch erforderlich sein. Ziel ist, möglichst viel Bildinformation zu erfassen, in denen sinnvoll nach korrespondierenden Merkmalen gesucht werden kann. This electronic Ausrichtmöglichkeit is then exploited to set the best possible matching common field of view of the camera modules. A perfect match will be neither possible nor necessary in practice. The goal is to capture as much image information as possible, in which it is possible to search meaningfully for corresponding features.

Die Erfindung hat den Vorteil, dass die aufwändige aktive, mechanische Ausrichtung durch eine passive, elektronische Justage ersetzt wird. Dadurch werden erhebliche Produktions- bzw. Wartungskosten eingespart. Dabei werden die Genauigkeitsanforderungen von bis zu einem Pixelraster ohne Weiteres erreicht. Die Justage der Stereokamera und der Kameramodule wird mit der ohnehin erforderlichen Kalibration verknüpft, und ein eigener, vorgeschalteter Justageschritt kann entfallen. The invention has the advantage that the complex active, mechanical alignment is replaced by a passive, electronic adjustment. This saves considerable production or maintenance costs. The accuracy requirements of up to one pixel grid are easily achieved. The adjustment of the stereo camera and the camera modules is linked to the already required calibration, and a separate, upstream adjustment step can be omitted.

Die Kalibrationseinheit ist bevorzugt dafür ausgebildet, anhand der ersten Bilddaten und der zweiten Bilddaten eine Ausrichtung des ersten Kameramoduls und des zweiten Kameramoduls zueinander zu bestimmen und die aktiven Pixelelemente so auszuwählen, dass das erste Kameramodul und das zweite Kameramodul eine vorgegebene gemeinsame Ausrichtung aufweisen. Mit dieser elektronischen Ausrichtung wird ein Schielen der Stereokamera kompensiert. Eine denkbare Anforderung ist, dass beide Kameramodule gerade parallel zueinander ausgerichtet sind. Ebenso könnte aber auch eine andere, vorgegebene gemeinsame Ausrichtung gewünscht sein, solange diese wohldefiniert und bekannt ist. Dabei ist gewöhnlich zumindest eine symmetrische Ausrichtung angestrebt. The calibration unit is preferably configured to use the first image data and the second image data to determine an orientation of the first camera module and the second camera module relative to each other and to select the active pixel elements so that the first camera module and the second camera module have a predetermined common orientation. With this electronic alignment a squint of the stereo camera is compensated. One conceivable requirement is that both camera modules are aligned parallel to one another. Likewise, however, another, predetermined common orientation could be desired as long as it is well-defined and known. It is usually desirable at least a symmetrical orientation.

Wie an der im letzten Absatz beschriebenen Ausführungsform zu erkennen, werden an die Auswahl der aktiven Pixelelemente häufig mehrere Anforderungen gestellt. In diesem Beispiel sollen ein optimaler gemeinsamer Sichtbereich eingestellt und zugleich ein Schielen verhindert werden. Das System kann durch solche mehrfachen Anforderungen überbestimmt sein, d. h. es ist dann nicht möglich, beide Bedingungen optimal zu erfüllen. Hier geht es dann darum, den entstehenden Zielkonflikt durch Auffinden eines gemeinsamen Optimums aufzulösen, beispielsweise in einem iterativen Optimierungsverfahren. Dabei kann den Anforderungen auch eine unterschiedliche Priorität zugewiesen werden. As can be seen from the embodiment described in the last paragraph, the selection of the active pixel elements often involves several requirements. In this example, an optimal common field of view should be set and at the same time a squint prevented. The system may be over-determined by such multiple requirements, i. H. It is then not possible to optimally fulfill both conditions. Here it is a question of resolving the resulting conflict of objectives by finding a common optimum, for example in an iterative optimization process. The requirements can also be assigned a different priority.

Der gemeinsame Sichtbereich und das Schielen betrifft eine Beziehung der beiden Kameramodule zueinander, demnach extrinsische Parameter. Aber auch die Kameramodule in sich sind zu justieren und zu kalibrieren. Die Erfindung umfasst daher auch Ausführungsformen, in denen solche intrinsischen Parameter bei der optimalen Auswahl der aktiven Pixelelemente berücksichtigt werden. The common field of view and the squint refers to a relationship of the two camera modules to each other, therefore extrinsic parameters. But also the camera modules are to be adjusted and calibrated. The invention therefore also includes embodiments in which such intrinsic parameters are taken into account in the optimal selection of the active pixel elements.

Dazu ist in einer bevorzugten Ausführungsform die Kalibrationseinheit dafür ausgebildet, anhand der ersten Bilddaten und der zweiten Bilddaten einen ersten Verzeichnungsmittelpunkt der ersten Empfangsoptik und einen zweiten Verzeichnungsmittelpunkt der zweiten Empfangsoptik zu bestimmen und die aktiven Pixelelemente derart auszuwählen, dass der erste Verzeichnungsmittelpunkt in der Mitte oder nahe der Mitte des effektiven ersten Bildsensors und der zweite Verzeichnungsmittelpunkt in der Mitte oder nahe der Mitte des effektiven zweiten Bildsensors liegt. Der Verzeichnungsmittelpunkt muss im Rahmen der Kalibration zur Verzeichnungskorrektur gemeinsam mit weiteren Verzeichnungsparametern ohnehin bestimmt werden. Dazu wird ein bekanntes Bild, beispielsweise ein Gitternetz, aufgenommen und mit der Referenz verglichen. In dieser Ausführungsform wird diese Verzeichnungsinformation zugleich für die Ausrichtung ausgenutzt. For this purpose, in a preferred embodiment, the calibration unit is adapted to determine from the first image data and the second image data a first distortion center of the first receiving optics and a second center of distortion of the second receiving optics and to select the active pixel elements such that the first center of distortion in the middle or near the center of the effective first image sensor and the second center of distortion lies in the middle or near the center of the effective second image sensor. The distortion center point must be determined anyway in the context of the calibration for distortion correction together with further distortion parameters. For this purpose, a known image, such as a grid, recorded and compared with the reference. In this embodiment, this distortion information is simultaneously utilized for alignment.

In den meisten Fällen ist es optimal, den Verzeichnungsmittelpunkt in die Mitte der effektiven Bildsensoren zu legen. Das gilt aber nicht für alle Empfangsoptiken. Außerdem ist oft nicht möglich, genau die Mitte auszuwählen, weil dann keine Optimierungsfreiheit für die übrigen, beispielsweise extrinsischen Parameter gelassen würde. Durch die Ausrichtung auf den Verzeichnungsmittelpunkt wird im Übrigen die Verzeichnung meist noch nicht ausreichend korrigiert. Das geschieht erst anschließend durch Bildverarbeitung. Die Gesamtverzeichnung wird aber auf diese Weise minimiert, so dass die Softwarekorrektur vereinfacht ist und bessere Ergebnisse liefert. In most cases, it is best to place the center of distortion in the center of the effective image sensors. But that does not apply to all receiving optics. In addition, it is often not possible to select exactly the middle, because then no freedom of optimization would be left for the remaining, for example, extrinsic parameters. Due to the alignment with the center of the distortion, moreover, the distortion is usually not sufficiently corrected. This happens only afterwards by image processing. However, the total distortion is minimized in this way, so the software correction is simplified and gives better results.

Die Kalibrationseinheit ist bevorzugt dafür ausgebildet, anhand der ersten Bilddaten und der zweiten Bilddaten eine Ausrichtung der optischen Achsen der ersten Empfangsoptik und zweiten Empfangsoptik zu bestimmen und die aktiven Pixelelemente derart auszuwählen, dass die optische Achse der ersten Empfangsoptik in der Mitte oder nahe der Mitte des effektiven ersten Bildsensors und die optische Achse der zweiten Empfangsoptik in der Mitte oder nahe der Mitte des effektiven zweiten Bildsensors liegt. Häufig stimmt die durch die optische Achse der Empfangsoptiken definierte Mitte mit dem Verzeichnismittelpunkt überein. Das ist aber nicht notwendig der Fall, und dann gilt es, ein gemeinsames Optimum aufzufinden. The calibration unit is preferably designed to determine, based on the first image data and the second image data, an alignment of the optical axes of the first receiving optics and second receiving optics and to select the active pixel elements such that the optical axis of the first receiving optics is in the middle or near the center of the first receiving optics effective first image sensor and the optical axis of the second receiving optics in the middle or near the center of the effective second image sensor is located. Frequently, the center defined by the optical axis of the receiving optics coincides with the directory center. But that is not necessarily the case, and then it is important to find a common optimum.

Die Kalibrationseinheit ist bevorzugt dafür ausgebildet, eine veränderbar vorgegebene Anzahl aktiver Pixelelemente auszuwählen und somit die Größe des effektiven ersten Bildsensors und des effektiven zweiten Bildsensors einzustellen. Meist ist nämlich weniger der Bildsensor selbst, sondern die erforderliche Rechenkapazität der Flaschenhals für die Anzahl der auswertbaren Bildpunkte. Man kann nun diese Wechselbeziehung zwischen Anzahl auszuwertender Pixelelemente und damit Größe des Sichtfeldes einerseits und der Wiederholrate der Stereokamera und damit der Dauer für die Auswertung eines Frames zu einem einstellbaren Parameter machen. Je nach Anwendung oder konkreter Situation kann dann ein größerer Sichtbereich oder eine kürzere Wiederholrate beziehungsweise Ansprechzeit gewählt werden. Damit entsteht für den Benutzer eine höhere Flexibilität. The calibration unit is preferably designed to select a variably predetermined number of active pixel elements and thus to set the size of the effective first image sensor and the effective second image sensor. In most cases, less is the image sensor itself, but the required computing capacity of the bottleneck for the number of evaluable pixels. One can now make this correlation between the number of pixel elements to be evaluated and thus the size of the field of view on the one hand and the repetition rate of the stereo camera and thus the duration for the evaluation of a frame to an adjustable parameter. Depending on the application or specific situation, a larger field of view or a shorter repetition rate or response time can then be selected. This creates more flexibility for the user.

Die Stereokamera weist bevorzugt eine Beleuchtungseinheit mit einer Lichtquelle und einem Mustererzeugungselement auf, um den Raumbereich mit einem strukturierten Beleuchtungsmuster zu beleuchten. Dadurch können Lücken in der Tiefenkarte aufgrund von gleichförmigen Bereichen in der Szenerie vermieden werden. Die Stereokamera wird unabhängig von den Umgebungsbedingungen, indem sie sich ihre erforderlichen Licht- und Strukturverhältnisse selbst schafft. The stereo camera preferably has a lighting unit with a light source and a pattern generating element to illuminate the room area with a structured lighting pattern. This can help to avoid gaps in the depth map due to uniform areas in the scenery. The stereo camera is independent of the ambient conditions, by itself creates their required light and structure conditions.

Die Kalibrationseinheit ist bevorzugt dafür ausgebildet, die aktiven Pixelelemente so auszuwählen, dass der Sichtbereich des effektiven ersten Bildsensors und des effektiven zweiten Bildsensors vollständig mit dem strukturierten Beleuchtungsmuster ausgeleuchtet ist. Meist wird das Beleuchtungsfeld von vorneherein etwas größer sein als das Sichtfeld, so dass die Justageanforderungen an dieser Stelle nicht besonders hoch sind. Die elektronische Ausrichtung durch Auswahl aktiver Pixelelemente macht es aber möglich, diese Größenreserve sehr gering zu halten. Es ist besonders bevorzugt auch denkbar, dafür zu sorgen, dass bestimmte Strukturelemente des Beleuchtungsmusters an bestimmten Positionen des effektiven ersten Bildsensors und des effektiven zweiten Bildsensors liegen. Damit ist eine ganz exakte Ausrichtung zwischen Beleuchtungseinheit und Kameramodulen erreichbar, bei der im Sichtbereich ein bekanntes, wohldefiniertes Beleuchtungsmuster erfasst wird. Ein derart eingelerntes Beleuchtungsmuster kann verwendet werden, um schon mit einem Kameramodul allein Entfernungen zu schätzen, wie einleitend erläutert. Diese zusätzlichen Entfernungsdaten können beispielsweise zur Plausibilisierung der stereoskopisch bestimmten Tiefenkarte verwendet werden. The calibration unit is preferably configured to select the active pixel elements such that the viewing area of the effective first image sensor and of the effective second image sensor is completely illuminated with the structured illumination pattern. In most cases, the illumination field will be slightly larger than the field of view from the outset, so that the adjustment requirements at this point are not particularly high. The electronic alignment by selecting active pixel elements, however, makes it possible to keep this size reserve very low. It is particularly preferably also conceivable to ensure that certain structural elements of the illumination pattern are located at specific positions of the effective first image sensor and the effective second image sensor. This achieves a very exact alignment between the illumination unit and the camera modules, in which a known, well-defined illumination pattern is detected in the field of vision. Such a trained illumination pattern can be used to estimate distances even with a camera module alone, as explained in the introduction. This additional distance data can be used, for example, to check the plausibility of the stereoscopic depth map.

Die Kalibrationseinheit ist bevorzugt dafür ausgebildet, Informationen über mindestens ein Kalibrationsmerkmal in dem Raumbereich zu speichern und dann, wenn die gespeicherte Information nicht mit einer aktuell aus den ersten Bilddaten und den zweiten Bilddaten abgeleiteten Information über das Kalibrationsmerkmal übereinstimmt, eine Rekalibration vorzunehmen. Die Stereokamera überprüft auf diese Weise automatisch, ob die Kalibration und Ausrichtung noch der Spezifikation entspricht. In diesem Fall kann eine Wartungsanforderung ausgegeben werden. Erfindungsgemäß ist aber auch möglich, dass sich die Stereokamera permanent, zyklisch oder auf Aufforderung im Betrieb selbst rekalibriert. Dadurch kann der anfängliche Zustand erhalten und eine Rekalibrierung im Werk mit dem damit verbundenen kostspieligen Systemstillstand vermieden werden. The calibration unit is preferably designed to store information about at least one calibration feature in the spatial area and then, if the stored information does not coincide with a currently derived from the first image data and the second image data information about the calibration feature to recalibrate. In this way, the stereo camera automatically checks whether the calibration and alignment still comply with the specification. In this case, a maintenance request can be issued. However, according to the invention it is also possible for the stereo camera to be permanent, cyclical or recalibrated on request at the facility itself. This allows the initial condition to be maintained and recalibration in the factory with the associated costly system downtime avoided.

Die Kalibrationseinheit ist bevorzugt dafür ausgebildet, während der Rekalibration die aktiven Pixelelemente erneut anhand eines übereinstimmenden Sichtbereichs der effektiven Bildsensoren, einer gemeinsamen Ausrichtung der Kameramodule, eines Verzeichnungsmittelpunktes der Empfangsoptiken und/oder einer Ausrichtung der optischen Achsen der Empfangsoptiken auszuwählen. Es erfolgt also mit der Rekalibration zugleich eine erneute automatische Ausrichtung. Die Stereokamera wird damit wesentlich unempfindlicher gegenüber Störungen, beispielsweise Vibration oder Stößen oder sonstigen Einflüssen. The calibration unit is preferably designed to select the active pixel elements again during the recalibration on the basis of a matching field of view of the effective image sensors, a common orientation of the camera modules, a center of distortion of the receiving optics and / or an alignment of the optical axes of the receiving optics. It thus takes place with the recalibration at the same time a new automatic alignment. The stereo camera is thus much less sensitive to interference, such as vibration or shocks or other influences.

Die Kalibrationseinheit ist bevorzugt dafür ausgebildet, mindestens ein Kalibrationsmerkmal in dem Raumbereich zu erfassen und die aktiven Pixelelemente derart auszuwählen, dass die Lage des Sichtbereichs unter Berücksichtigung der Position des Kalibrationsmerkmals bestimmt ist. Das ist nach der Ausrichtung aufgrund von intrinsischen und extrinsischen Parametern eine dritte Optimierungsebene, bei der nun auch die Ausrichtung der Stereokamera als Ganzes gegenüber ihrer Umgebung berücksichtigt wird. Auf diese Weise sind die Anforderungen bei der Montage vor Ort wesentlich verringert, da der gewünschte Sichtbereich automatisch erkannt und eingestellt wird. The calibration unit is preferably designed to detect at least one calibration feature in the spatial area and to select the active pixel elements such that the position of the viewing area is determined taking into account the position of the calibration feature. This is a third level of optimization after alignment due to intrinsic and extrinsic parameters, which now also takes into account the orientation of the stereo camera as a whole to its surroundings. In this way, the requirements for on-site assembly are significantly reduced because the desired field of view is automatically detected and set.

Das Kalibrationsmerkmal ist bevorzugt eine in dem Raumbereich angebrachte Kalibrationsmarke, ein natürliches Strukturelement der Szenerie in dem Raumbereich oder ein Strukturelement eines strukturierten Beleuchtungsmusters einer Beleuchtungseinheit der Stereokamera. Eigens angebrachte Kalibrationsmarken sind besonders zuverlässig und an die Anforderungen anpassbar, bedeuten aber einen Zusatzaufwand bei der Erstinstallation. Sofern hinreichende natürliche Strukturen vorhanden sind, ist es besonders einfach, sie auch zu nutzen, jedoch ist deren Existenz nicht immer gewährleistet. Eine eigene Beleuchtungseinheit wird für die aktive Stereoskopie ohnehin benötigt, so dass die Verwendung von Strukturelementen des Beleuchtungsmusters oft die bevorzugte Wahl darstellt. The calibration feature is preferably a calibration mark applied in the spatial area, a natural structural element of the scene in the spatial area or a structural element of a structured illumination pattern of a lighting unit of the stereo camera. Specially applied calibration marks are particularly reliable and adaptable to the requirements, but mean additional expenditure during the initial installation. If sufficient natural structures exist, it is particularly easy to use them, but their existence is not always guaranteed. A separate illumination unit is needed anyway for the active stereoscopy, so that the use of structural elements of the illumination pattern is often the preferred choice.

Die Stereokamera ist bevorzugt als Sicherheitskamera ausgebildet und umfasst eine Schutzfeldauswertungseinheit, welche unzulässige Eingriffe in innerhalb des Raumbereichs definierte Schutzfelder erkennt und daraufhin ein Abschaltsignal erzeugt, wobei ein Sicherheitsausgang vorgesehen ist, um darüber das Abschaltsignal an eine überwachte Maschine auszugeben. Eine exakte Ausrichtung und Kalibration sowie die Überwachung, ob diese im Betrieb auch erhalten bleiben, ist für sicherheitstechnische Anwendungen mit ihren hohen Anforderungen an die Verlässlichkeit besonders vorteilhaft. The stereo camera is preferably embodied as a security camera and comprises a protective field evaluation unit which detects impermissible interventions in protective fields defined within the spatial area and then generates a shutdown signal, wherein a safety output is provided in order to output the shutdown signal to a monitored machine. Accurate alignment and calibration, as well as the monitoring of whether they are retained during operation, are particularly advantageous for safety applications with their high demands on reliability.

Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in: The invention will be explained in more detail below with regard to further features and advantages by way of example with reference to embodiments and with reference to the accompanying drawings. The illustrations of the drawing show in:

1 eine Übersichtsdarstellung einer Stereokamera, die einen Roboterarm überwacht; 1 an overview of a stereo camera that monitors a robot arm;

2 eine schematische Schnittdarstellung zur Erläuterung der Sichtfelder eines Bildsensors und eines effektiven Bildsensors nach Auswahl aktiver Pixelelemente; 2 a schematic sectional view for explaining the fields of view of an image sensor and an effective image sensor after selection of active pixel elements;

3 eine Draufsicht auf einen Bildsensor und eine beispielhafte Auswahl aktiver Pixelelemente; und 3 a plan view of an image sensor and an exemplary selection of active pixel elements; and

4 eine schematische Schnittdarstellung zweier Bildsensoren und deren gemeinsamen Sichtfelds nach Auswahl aktiver Pixelelemente. 4 a schematic sectional view of two image sensors and their common field of view after selecting active pixel elements.

1 zeigt in einer schematischen dreidimensionalen Darstellung den allgemeinen Aufbau einer Stereokamera 10, die zur Überwachung eines Raum- oder Überwachungsbereichs 12 eingesetzt ist. Einige Aspekte der Erfindung, insbesondere die gemeinsame Kalibration und Justage in einem Schritt, sind auch für andere triangulationsbasierte 3D-Kameras vorteilhaft, etwa solche 3D-Kameras mit nur einem Bildsensor und Auswertung der entfernungsabhängigen Veränderungen eines Beleuchtungsmusters, wie sie beispielhaft in der Einleitung genannt sind. 1 shows in a schematic three-dimensional representation of the general structure of a stereo camera 10 for monitoring a room or surveillance area 12 is used. Some aspects of the invention, in particular the joint calibration and adjustment in one step, are also advantageous for other triangulation-based 3D cameras, for example such 3D cameras with only one image sensor and evaluation of the distance-dependent changes of a lighting pattern, as exemplified in the introduction ,

Mit Überwachung sind im speziellen sicherheitstechnische Anwendungen gemeint. Das kann die Absicherung einer gefährlichen Maschine sein, indem dreidimensionale Schutzbereiche in dem Überwachungsbereich 12 definiert werden, die von der 3D-Kamera auf unzulässige Eingriffe überwacht werden. Mit der Stereokamera 10 sind aber auch andere Anwendungen denkbar, beispielsweise das Erfassen von bestimmten Bewegungen, die als Befehl an die Stereokamera 10 oder an ein daran angeschlossenes System interpretiert werden. By monitoring are meant in particular safety applications. This can be the safeguarding of a dangerous machine by providing three-dimensional protection areas in the surveillance area 12 defined by the 3D camera for undue interference. With the stereo camera 10 But other applications are conceivable, for example, the detection of certain movements, as a command to the stereo camera 10 or to a connected system.

In der Stereokamera 10 sind zwei Kameramodule 14a, 14b in einem bekannten festen Abstand zueinander montiert und nehmen jeweils Bilder des Überwachungsbereichs 12 auf. In jeder Kamera ist ein Bildsensor 16a, 16b vorgesehen, üblicherweise ein matrixförmiger Aufnahmechip, der ein rechteckiges Pixelbild aufnimmt, beispielsweise ein CCD- oder ein CMOS-Sensor. Den Bildsensoren 16a, 16b ist jeweils ein Objektiv mit einer abbildenden Optik zugeordnet, welches als Linse 18a, 18b dargestellt ist und in der Praxis als jede bekannte Abbildungsoptik realisiert sein kann. Der Sichtwinkel dieser Optiken ist in 1 durch gestrichelte Linien dargestellt, die jeweils eine Sichtpyramide 20a, 20b bilden. In the stereo camera 10 are two camera modules 14a . 14b mounted at a known fixed distance from each other and take pictures of the surveillance area 12 on. In every camera is an image sensor 16a . 16b provided, usually a matrix-shaped recording chip which receives a rectangular pixel image, for example a CCD or a CMOS sensor. The image sensors 16a . 16b is each associated with a lens with an imaging optics, which as a lens 18a . 18b is shown and may be implemented in practice as any known imaging optics. The viewing angle of these optics is in 1 represented by dashed lines, each with a viewing pyramid 20a . 20b form.

In der Mitte zwischen den beiden Bildsensoren 16a, 16b ist eine Beleuchtungseinheit 22 mit einer Lichtquelle 24, beispielsweise einem Laser, und einem Mustererzeugungselement 26 dargestellt, wobei diese räumliche Anordnung nur als Beispiel zu verstehen ist. Die Beleuchtungseinheit 22 erzeugt in dem Raumbereich 12 ein strukturiertes Beleuchtungsmuster, um sicherzustellen, dass die zu überwachende Szenerie keine strukturlosen Bereiche enthält. In the middle between the two image sensors 16a . 16b is a lighting unit 22 with a light source 24 For example, a laser, and a pattern generating element 26 represented, this spatial arrangement is to be understood only as an example. The lighting unit 22 generated in the room area 12 a structured lighting pattern to ensure that the scene to be monitored does not contain any structureless areas.

Mit den beiden Bildsensoren 16a, 16b und der Beleuchtungseinheit 22 ist eine Steuerungs- beziehungsweise Auswertungseinheit 28 verbunden. Die Auswertungseinheit 28 kann alternativ zur dargestellten Anordnung innerhalb der Stereokamera auch ganz oder teilweise in einer übergeordneten externen Steuerung implementiert sein. Neben allgemeinen Steuerungsaufgaben, beispielsweise der Ansteuerung der Beleuchtungseinheit 22, erfüllt die Auswertungseinheit 28 drei Aufgaben. Eine Stereoskopieeinheit 30 empfängt Bilddaten der Bildsensoren 16a, 16b und berechnet daraus mit Hilfe einer stereoskopischen Disparitätsschätzung dreidimensionale Bilddaten (Entfernungsbild, Tiefenkarte) des Überwachungsbereichs 12. Eine Kalibrationseinheit 32 dient der initialen oder regelmäßigen Kalibration und Justage, und deren Funktion wird weiter unten unter Bezugnahme auf die 2 bis 4 näher erläutert. Eine Schutzfeldauswertungseinheit 34, die nur bei Ausführungsformen als Sicherheitskamera vorhanden ist, überprüft in dem Raumbereich 12 definierte Schutzfelder 36 auf unzulässige Objekteingriffe. With the two image sensors 16a . 16b and the lighting unit 22 is a control or evaluation unit 28 connected. The evaluation unit 28 As an alternative to the illustrated arrangement, it may also be implemented wholly or partially in a higher-level external control within the stereo camera. In addition to general control tasks, such as the control of the lighting unit 22 , meets the evaluation unit 28 three tasks. A stereoscopic unit 30 receives image data from the image sensors 16a . 16b and calculates therefrom by means of a stereoscopic disparity estimation three-dimensional image data (distance image, depth map) of the surveillance area 12 , A calibration unit 32 is used for initial or regular calibration and adjustment, and its function is described below with reference to the 2 to 4 explained in more detail. A protective field evaluation unit 34 , which is present only in embodiments as a security camera, checked in the space area 12 defined protective fields 36 on inadmissible object interventions.

Erkennt die Schutzfeldauswertungseinheit 34 einen unzulässigen Eingriff in einen Schutzbereich, so wird eine Warnung ausgegeben oder eine Gefahrenquelle abgesichert, beispielsweise ein Roboterarm 38 oder eine sonstige Maschine gestoppt. Sicherheitsrelevante Signale, also vor allem das Abschaltsignal, werden über einen Sicherheitsausgang 40 ausgegeben (OSSD, Output Signal Switching Device). In nichtsicherheitstechnischen Anwendungen kann auf diese Funktionalität auch verzichtet werden. Detects the protective field evaluation unit 34 an inadmissible interference with a protected area, a warning is issued or a source of danger is secured, for example a robot arm 38 or another machine stopped. Safety-related signals, in particular the shutdown signal, are transmitted via a safety output 40 output (OSSD, Output Signal Switching Device). In non-safety applications, this functionality can also be dispensed with.

Um für sicherheitstechnische Anwendungen geeignet zu sein, ist die Stereokamera 10 fehlersicher ausgelegt. Dies bedeutet unter anderem, dass die Stereokamera 10 sich selber in Zyklen unterhalb der geforderten Ansprechzeit testen kann, insbesondere auch Defekte der Beleuchtungseinheit 22 oder Kalibrations- und Justagefehler erkennt, und dass der Sicherheitsausgang 40 sicher, beispielsweise zweikanalig ausgelegt ist. Ebenso ist auch die Auswertungseinheit 28 selbstsicher, wertet also auf allen sicherheitskritischen Pfaden zweikanalig aus oder verwendet Algorithmen, die sich selbst prüfen können. Derartige Vorschriften sind für allgemeine berührungslos wirkende Schutzeinrichtungen beispielsweise in der EN 61496-1 bzw. der EN 13849-1 normiert. Eine entsprechende Norm für Sicherheitskameras befindet sich in der Vorbereitung. To be suitable for safety applications, the stereo camera 10 failsafe designed. This means, among other things, that the stereo camera 10 itself in cycles below the required response time can test, in particular also defects of the lighting unit 22 or detects calibration and adjustment errors, and that the safety output 40 safe, for example, two-channel design. Likewise, the evaluation unit 28 self-assured, so it evaluates on all safety-critical paths two-channel or uses algorithms that can check themselves. Such regulations are for general non-contact protective devices, for example in the EN 61496-1 or the EN 13849-1 normalized. A corresponding standard for security cameras is in preparation.

2 zeigt in einem schematischen Querschnitt ein Kameramodul 14 mit dessen Bildsensor 16 und Empfangsoptik 18. Für die Funktionsfähigkeit der Stereokamera 10 ist erforderlich, einerseits die Bildsensoren 16a, 16b und Empfangsoptiken 18a, 18b zueinander auszurichten und zu kalibrieren, andererseits aber auch die beiden Kameramodule 14a, 14b zueinander und zu der Beleuchtungseinheit 22. Die Kalibration und Ausrichtung betrifft auch etwaige zusätzliche Kameramodule, etwa ein drittes Kameramodul. 2 shows a schematic cross-section of a camera module 14 with its image sensor 16 and receiving optics 18 , For the functionality of the stereo camera 10 is required, on the one hand, the image sensors 16a . 16b and receiving optics 18a . 18b to align and calibrate each other, but on the other hand, the two camera modules 14a . 14b to each other and to the lighting unit 22 , The calibration and alignment also affects any additional camera modules, such as a third camera module.

Bei der Herstellung der Stereokamera 10 werden die Bildsensoren 16a, 16b zunächst passiv über mechanische Anschläge oder dergleichen in Position gebracht und fixiert. Die mechanische Justagegenauigkeit erreicht noch nicht das erforderliche Maß und liegt regelmäßig im Bereich mehrerer Pixelabstände. Deshalb ist vorgesehen, einen Bildsensor 16 mit mehr Pixelelementen zu verwenden, als im Betrieb benötigt werden. Dies ist in einer Draufsicht auf den Bildsensor 16 in 3 illustriert. Während der Kalibration, bei welcher die verschiedenen intrinsischen und extrinsischen Kalibrationsparameter bestimmt werden, kann durch Auswahl eines Teilbereichs aktiver Pixelelemente ein effektiver Bildsensor 42 definiert und dadurch eine elektronische Justage vorgenommen werden. Dies bedeutet, dass nur die Signale der aktiven Pixelelemente des Teilbereichs weiterverarbeitet und die übrigen Pixelelemente nicht genutzt werden. In the production of the stereo camera 10 become the image sensors 16a . 16b first passively brought about mechanical stops or the like in position and fixed. The mechanical alignment accuracy does not yet reach the required level and is regularly in the range of several pixel distances. Therefore, it is provided an image sensor 16 with more pixel elements than needed during operation. This is in a plan view of the image sensor 16 in 3 illustrated. During calibration, during which the various intrinsic and extrinsic calibration parameters are determined, an effective image sensor can be selected by selecting a portion of active pixel elements 42 defined and thereby made an electronic adjustment. This means that only the signals of the active pixel elements of the subarea are processed further and the remaining pixel elements are not used.

2 zeigt das Sichtfeld 44 des gesamten Bildsensors 16 und das eingeschränkte Sichtfeld 46 des effektiven Bildsensors 42. Beispielsweise umfasst der Bildsensor 16 insgesamt 1280×1024 Pixel, für den effektiven Bildsensor 42 werden davon aber nur 800×600 Pixel ausgewählt. In der Regel ist nämlich nicht die Auflösung des Bildsensors 16, sondern die Rechenkapazität der begrenzende Faktor für die maximale ausgewertete Pixelanzahl. Somit steht für eine elektronische Justage horizontal wie vertikal eine Toleranz von ±200 Pixelelementen oder etwa einem Millimeter zur Verfügung. 2 shows the field of view 44 of the entire image sensor 16 and the limited field of view 46 the effective image sensor 42 , For example, the image sensor includes 16 a total of 1280 × 1024 pixels, for the effective image sensor 42 However, only 800x600 pixels are selected. As a rule, this is not the resolution of the image sensor 16 but the computing capacity is the limiting factor for the maximum number of pixels evaluated. Thus, for horizontal and vertical electronic adjustment, a tolerance of ± 200 pixel elements or about one millimeter is available.

Unter intrinsischen Parameter sind solche zu verstehen, die sich nur auf ein Kameramodul 14a, 14b beziehen, während extrinsische Parameter das Zusammenspiel eines Kameramoduls 14a, 14b mit dem anderen Kameramodul 14b, 14a oder der Beleuchtungseinheit 22 betreffen. Zu den intrinsischen Kalibrationsparametern zählen die Verzeichnungs- und Objektivparameter der Empfangsoptik 16. Extrinsische Kalibrationsparameter beinhalten die Ausrichtung der Kameramodule 14a, 14b zueinander, welche das gemeinsame Sichtfeld und ein Schielen beeinflussen, und zu der Beleuchtungseinheit 22. Intrinsic parameters are to be understood as meaning only a camera module 14a . 14b while extrinsic parameters involve the interaction of a camera module 14a . 14b with the other camera module 14b . 14a or the lighting unit 22 affect. Intrinsic calibration parameters include the distortion and lens parameters of the receiving optics 16 , Extrinsic calibration parameters include the orientation of the camera modules 14a . 14b to each other, which influence the common field of view and squinting, and to the lighting unit 22 ,

Die Kalibration wird mit der gesamten Bildsensorfläche des Bildsensors 16 durchgeführt. Der Teilbereich des effektiven Bildsensors 14 wird dann in Abhängigkeit von einem oder mehreren der intrinsischen beziehungsweise extrinsischen Parameter ausgewählt. Dazu wird eine automatische Optimierung, beispielweise durch Iteration, mittels einer in der Kalibrationseinheit 32 implementierten Kalibrationssoftware ausgeführt, bei der die verschiedenen Anforderungen bestmöglich miteinander in Einklang gebracht werden. Einflussparameter sind dabei die Position der optischen Achse der Empfangsoptik 18, die Position des Verzeichnungsmittelpunkts, der vorgegebene Sichtbereich, ein gemeinsames Sichtfeld sowie die gemeinsame Ausrichtung der Kameramodule 14 untereinander und zu der Beleuchtungseinheit 22. The calibration is done with the entire image sensor area of the image sensor 16 carried out. The subarea of the effective image sensor 14 is then selected depending on one or more of the intrinsic and extrinsic parameters, respectively. For this purpose, an automatic optimization, for example by iteration, by means of a in the calibration unit 32 implemented calibration software, in which the various requirements are reconciled in the best possible way. Influence parameters are the position of the optical axis of the receiving optics 18 , the position of the center of distortion, the default field of view, a common field of view and the common orientation of the camera modules 14 with each other and with the lighting unit 22 ,

In 3 wird der Teilbereich des effektiven Bildsensors 42 beispielhaft aufgrund der Position der optischen Achse 48 gefunden. Diese Position entspricht hier dem Mittelpunkt des Sichtbereichs 50 der Empfangsoptik 18. Der Teilbereich des effektiven Bildsensors 42 liegt asymmetrisch innerhalb des gesamten Bildsensors 16 und gleicht damit die Verschiebung zwischen dem Bildsensor 16 und der Empfangsoptik 18 aus. Ganz ähnlich bestimmt sich der Teilbereich des effektiven Bildsensors 42 bei Berücksichtigung eines anderen intrinsischen Parameters, etwa des Verzeichnungsmittelpunktes, oder bei einer Optimierung hinsichtlich mehrerer intrinsischer Parameter. In 3 becomes the subrange of the effective image sensor 42 for example, due to the position of the optical axis 48 found. This position corresponds here to the center of the field of view 50 the receiving optics 18 , The subarea of the effective image sensor 42 lies asymmetrically within the entire image sensor 16 and compensates for the displacement between the image sensor 16 and the receiving optics 18 out. Similarly, the subregion of the effective image sensor is determined 42 considering another intrinsic parameter, such as the center of the distortion, or optimizing for multiple intrinsic parameters.

In 4 wird der Teilbereich des effektiven Bildsensors 42 aufgrund eines möglichst gut übereinstimmenden Sichtfeldes 52 aufgefunden. Während der Kalibration wird den beiden Kameramodulen 14a, 14b ein Testziel an verschiedenen Positionen, in verschiedenen Orientierungen und Abständen angeboten, beispielsweise ein LED-Feld oder ein LED-Würfel. Durch iteratives Aktivieren verschiedener LEDs und Tiefenschätzungen einigen sich die Kameramodule, welche Bereiche sie an welchen Positionen der Bildsensoren 16a, 16b gemeinsam erkennen. Daraus leitet dann die Kalibrationseinheit 32 ab, wie die Teilbereiche und damit die aktiven Pixelelemente und effektiven Bildsensoren 42a, 42b in den beiden Kameramodulen 14a, 14b zu wählen sind, damit die einzelnen Sichtbereiche 46a, 46b ein übereinstimmendes Sichtfeld 52 in der gewünschten Größe und Position ergeben. In 4 becomes the subrange of the effective image sensor 42 due to the best possible matching field of view 52 discovered. During the calibration, the two camera modules 14a . 14b a test target in different positions, in different orientations and distances offered, for example an LED field or an LED cube. By iteratively activating different LEDs and depth estimates, the camera modules agree on which areas they are at which positions of the image sensors 16a . 16b recognize together. The calibration unit then derives from this 32 As the subregions and thus the active pixel elements and effective image sensors 42a . 42b in the two camera modules 14a . 14b to choose, so that the individual viewing areas 46a . 46b a matching field of view 52 in the desired size and position.

Die Kalibration und Justage muss auch nach der Herstellung im Betrieb stabil bleiben. Schon kleinste mechanische Verschiebungen in den Kameramodulen 14a, 14b oder zwischen den Kameramodulen 14a, 14b haben einen großen Einfluss auf die Messwertgenauigkeit. Deshalb beobachtet in einer bevorzugten Ausführungsform die Stereokamera 10 im Betrieb Kalibrationsmarken, um zu erkennen, wenn die Kalibration oder Justage nicht mehr den Anforderungen genügt. Dabei kann es sich um eigens angebrachte Kalibrationsmarken, um natürliche Strukturen der Szenerie oder um Strukturelemente des Beleuchtungsmusters der Beleuchtungseinheit 22 handeln. Eine Abweichung kann als Warnung gemeldet werden, woraufhin dann eine Wartung beziehungsweise Rekalibrierung im Werk erfolgt. The calibration and adjustment must remain stable after production during operation. Even the smallest mechanical shifts in the camera modules 14a . 14b or between the camera modules 14a . 14b have a big influence on the measured value accuracy. Therefore, in a preferred embodiment, the stereo camera observes 10 Calibration marks in operation to detect when the calibration or adjustment no longer meets the requirements. These can be specially applied calibration marks, natural structures of the scenery or structural elements of the lighting pattern of the lighting unit 22 act. A deviation can be reported as a warning, after which a maintenance or recalibration takes place at the factory.

Eleganter ist jedoch eine Rekalibrierung vor Ort oder sogar im Betrieb. Dabei dienen die Kalibrationsmarken als definierte Strukturgeometrien, aus denen wie bei der Herstellung die Kalibrationsparameter bestimmt werden. Auf Basis dieser aktualisierten Kalibrationsparameter erfolgt dann eine Rekalibration und zugleich eine erneute Ausrichtung durch Auswahl von aktiven Pixelelementen, die gegebenenfalls einen neuen Teilbereich und damit andere effektive Bildsensoren 42a, 42b festlegen. Die ursprüngliche Kalibration und Ausrichtung kann hier recht verlässliche Ausgangswerte für die Optimierung liefern. Durch die Rekalibrierung und Neuausrichtung wird der Sichtbereich der Stereokamera 10 gewährleistet, und es werden geometrische Verschiebungen ausgeglichen. More elegant, however, is a recalibration on site or even during operation. The calibration marks serve as defined structural geometries, from which the calibration parameters are determined as in the production. On the basis of these updated calibration parameters, recalibration and, at the same time, a re-alignment takes place by selecting active pixel elements, which optionally have a new subarea and thus other effective image sensors 42a . 42b establish. The original calibration and alignment can provide quite reliable initial values for the optimization here. Due to the recalibration and realignment, the field of view of the stereo camera 10 ensures, and geometric shifts are compensated.

Ändern sich während des Betriebs die Anforderungen, so kann der Benutzer bei gleich bleibender Messgenauigkeit zwischen einem größeren Sichtbereich der Stereokamera 10 mit langsamerer Bildwiederholrate und einem reduzierten Sichtbereich mit höherer Bildwiederholrate wählen. If the requirements change during operation, the user can choose between a wider field of view of the stereo camera with the same accuracy of measurement 10 with a slower frame rate and a reduced field of view with a higher frame rate.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102010017857 [0004]
US 2008/0240502 A1 [0006]
EP 1533998 B1 [0011, 0011]
DE 102005063217 A1 [0012]
EP 2202994 B1 [0013]

Zitierte Nicht-PatentliteraturCited non-patent literature

EN 61496-1 [0043]
EN 13849-1 [0043]

Claims

Stereo camera ( 10 ), which is a first camera module ( 14a ) and a second camera module ( 14b ) with a first receiving optics ( 18a ) and a second receiving optics ( 18b ) and a first image sensor ( 16a ) and a second image sensor ( 16b ) each having a plurality of photosensitive pixel elements for receiving first image data and second image data from a spatial region ( 12 ) and a stereoscopic unit ( 30 ) which is adapted to estimate a disparity and therefrom a distance for the features from corresponding features in the first image data and the second image data, so as to obtain three-dimensional image data of the spatial region ( 12 ), characterized by a calibration unit ( 32 ), which is designed for this purpose by selecting active pixel elements in a first subregion of the first image sensor ( 16a ) an effective first image sensor ( 42a ) and in a second subregion of the second image sensor ( 16b ) an effective second image sensor ( 42b ) such that the first image data and the second image data are signals of the effective first image sensor ( 42a ) and the effective second image sensor ( 42b ), and wherein the selection of the active pixel elements takes place in such a way that the field of view ( 46a . 46b . 52 ) of the effective first image sensor ( 42a ) and the effective second image sensor ( 42b ) matches.

Stereo camera ( 10 ) according to claim 1, wherein the calibration unit ( 32 ) is designed for, based on the first image data and the second image data alignment of the first camera module ( 14a ) and the second camera module ( 14b ) and to select the active pixel elements such that the first camera module ( 14a ) and the second camera module ( 14b ) have a predetermined common orientation.

Stereo camera ( 10 ) according to claim 1 or 2, wherein the calibration unit ( 32 ) is designed for, based on the first image data and the second image data, a first center of distortion of the first receiving optical system ( 18a ) and a second center of distortion of the second receiving optical system ( 18b ) and to select the active pixel elements such that the first center of distortion in the middle or near the center of the effective first image sensor ( 42a ) and the second center of distortion in the middle or near the center of the effective second image sensor ( 42b ) lies.

Stereo camera ( 10 ) according to one of the preceding claims, wherein the calibration unit ( 32 ) is adapted to, based on the first image data and the second image data alignment of the optical axes ( 48 ) of the first receiving optics ( 18a ) and second receiving optics ( 18b ) and to select the active pixel elements such that the optical axis ( 48 ) of the first receiving optics ( 18a ) in the middle or near the center of the effective first image sensor ( 42a ) and the optical axis ( 48 ) of the second receiving optics ( 18b ) in the middle or near the center of the effective second image sensor ( 42b ) lies.

Stereo camera ( 10 ) according to one of the preceding claims, wherein the calibration unit ( 32 ) is adapted to select a variably predetermined number of active pixel elements and thus the size of the effective first image sensor ( 42a ) and the effective second image sensor ( 42b ).

Stereo camera ( 10 ) according to one of the preceding claims, comprising a lighting unit ( 22 ) with a light source ( 24 ) and a pattern generating element ( 26 ) to the space area ( 12 ) with a structured illumination pattern.

Stereo camera ( 10 ) according to claim 6, wherein the calibration unit ( 32 ) is adapted to select the active pixel elements so that the field of view ( 46a . 46b . 52 ) of the effective first image sensor ( 42a ) and the effective second image sensor ( 42b ) is completely illuminated with the structured illumination pattern, in particular with certain structural elements at specific positions of the effective first image sensor ( 42a ) and the effective second image sensor ( 42b ).

Stereo camera ( 10 ) according to one of the preceding claims, wherein the calibration unit ( 32 ) is adapted to provide information about at least one calibration feature in the spatial area ( 12 ) and, when the stored information does not coincide with information about the calibration feature currently derived from the first image data and the second image data, recalibrate.

Stereo camera ( 10 ) according to claim 8, wherein the calibration unit ( 32 ) is adapted, during the recalibration, the active pixel elements again on the basis of a matching field of view ( 46a . 46b . 52 ) of the effective image sensors ( 42a . 42b ), a common orientation of the camera modules ( 14a . 14b ), a center of distortion of the receiving optics ( 18a . 18b ) and / or an alignment of the optical axes ( 48 ) of the receiving optics ( 18a . 18b ).

Stereo camera ( 10 ) according to one of the preceding claims, wherein the calibration unit ( 32 ) is adapted to at least one calibration feature in the spatial area ( 12 ) and to select the active pixel elements such that the position of the field of vision ( 46a . 46b . 52 ) is determined taking into account the position of the calibration feature.

Stereo camera ( 10 ) according to one of claims 8 to 10, wherein the calibration feature is one in the spatial region ( 12 ) attached calibration mark, a natural structural element of the scenery in the space area ( 12 ) or a structural element of a structured illumination pattern of a lighting unit ( 22 ) of the stereo camera ( 10 ).

Stereo camera ( 10 ) according to one of the preceding claims, which is designed as a security camera and a protective field evaluation unit ( 34 ), which impermissible interventions within the spatial area ( 12 ) defined protective fields ( 36 ) and then generates a shutdown signal, and wherein a safety output ( 40 ) is provided in order to transmit the switch-off signal to a monitored machine ( 38 ).