DE102018105219A1

DE102018105219A1 - Optical measuring system for low-sensitivity measurement and its use

Info

Publication number: DE102018105219A1
Application number: DE102018105219.7A
Authority: DE
Inventors: Christoph Wiedemann; Florian Forster
Original assignee: IFM Electronic GmbH
Current assignee: IFM Electronic GmbH
Priority date: 2018-03-07
Filing date: 2018-03-07
Publication date: 2019-09-12

Abstract

Die Erfindung betrifft ein optisches Messsystem (10) zur tiefensensitiven Vermessung einer Szene (12), insbesondere ein Kamerasystem (14) zur dreidimensionalen Abbildung der Szene (12), mit einem Kameramodul (16), welches als Hauptkomponenten (20, 22) eine Beleuchtungseinrichtung (20) zur strukturierten Beleuchtung der Szene (12) und einen bildgebenden Sensor (22) zur Abbildung der Szene (12) aufweist, und mit zumindest einer Auswerteeinrichtung (26) zur Auswertung von Sensordaten. Es ist vorgesehen, dass das optische Messsystem (10) weiterhin zumindest ein weiteres Kameramodul (18), welches als Hauptkomponenten (20, 22) ebenfalls eine Beleuchtungseinrichtung (20) zur strukturierten Beleuchtung der Szene (12) und einen bildgebenden Sensor (22) zur Abbildung der Szene (12) aufweist, sowie Synchronisationsmittel (38) zum Synchronisieren des Betriebs der Hauptkomponenten (20, 22) unterschiedlicher Kameramodule (20 ,22) umfasst.
Die Erfindung betrifft weiterhin die Verwendung eines derartigen optisches Messsystems (10) zur tiefensensitiven Vermessung einer Szene (12).

The invention relates to an optical measuring system (10) for the depth - sensitive measurement of a scene (12), in particular a camera system (14) for three - dimensional imaging of the scene (12), comprising a camera module (16) having as main components (20, 22) a lighting device (20) for structured illumination of the scene (12) and an imaging sensor (22) for imaging the scene (12), and with at least one evaluation device (26) for evaluating sensor data. It is provided that the optical measuring system (10) further comprises at least one further camera module (18), which as main components (20, 22) also a lighting device (20) for the structured illumination of the scene (12) and an imaging sensor (22) Illustration of the scene (12) and synchronization means (38) for synchronizing the operation of the main components (20, 22) of different camera modules (20, 22).
The invention further relates to the use of such an optical measuring system (10) for the depth-sensitive measurement of a scene (12).

Description

Die Erfindung betrifft ein optisches Messsystem zur tiefensensitiven Vermessung einer Szene, insbesondere ein Kamerasystem zur dreidimensionalen Abbildung der Szene, mit einem Kameramodul, welches als Hauptkomponenten eine Beleuchtungseinrichtung zur strukturierten Beleuchtung der Szene und einen bildgebenden Sensor zur Abbildung der Szene aufweist, und mit zumindest einer Auswerteeinrichtung zur Auswertung von entsprechenden Sensordaten.The invention relates to an optical measuring system for the depth-sensitive measurement of a scene, in particular a camera system for three-dimensional imaging of the scene, comprising a camera module having as main components an illumination device for structured illumination of the scene and an imaging sensor for imaging the scene, and with at least one evaluation device for evaluation of corresponding sensor data.

Die Erfindung betrifft weiterhin die Verwendung eines derartigen optischen Messsystems zur tiefensensitiven Vermessung einer Szene.The invention further relates to the use of such an optical measuring system for the depth-sensitive measurement of a scene.

Zur Ermittlung der Entfernungs- bzw. Tiefeninformationen einer Szene sind verschiedene Verfahren bekannt, wie Lichtlaufzeitmessungen (Time-of-Flight), Interferometrie oder Triangulation. Eines der bekannten Triangulationsverfahren ist das Projektionsverfahren, bei dem ein Beleuchtungsmuster auf die zu vermessende Oberfläche projiziert und aus Veränderungen des Musters durch die Objekte in der Szene eine Tiefeninformation abgeleitet wird. Die Beleuchtung mit einem derartigen Beleuchtungsmuster wird auch als strukturierte Beleuchtung bezeichnet, wobei die strukturierte Beleuchtung zusätzlich zu dieser räumlichen Strukturierung optional auch eine zeitliche Strukturierung aufweisen kann.To determine the distance or depth information of a scene, various methods are known, such as time-of-flight measurements, interferometry or triangulation. One of the known triangulation methods is the projection method, in which an illumination pattern is projected onto the surface to be measured, and depth information is derived from changes in the pattern by the objects in the scene. The illumination with such an illumination pattern is also referred to as structured illumination, wherein the structured illumination may optionally also have a temporal structuring in addition to this spatial structuring.

Die Druckschrift WO 2015/199615 A1 zeigt ein bildgebendes System zur dreidimensionalen Abbildung einer Szene, mit einem Kameramodul, welches als Hauptkomponenten eine Beleuchtungseinrichtung zur strukturierten Beleuchtung der Szene und einen bildgebenden Sensor zur Abbildung der Szene sowie als weitere Komponente eine Auswerteeinrichtung zur Auswertung von entsprechenden Sensordaten aufweist. Ein derartiges System kann auch als Einzelmodul-System bezeichnet werden.The publication WO 2015/199615 A1 shows an imaging system for three-dimensional imaging of a scene, with a camera module, which has as main components a lighting device for structured illumination of the scene and an imaging sensor for imaging the scene and as an additional component an evaluation device for the evaluation of corresponding sensor data. Such a system may also be referred to as a single module system.

Bei vorgegebenen Basisbreite b und vorgegebenem Öffnungswinkel des Kameramoduls ergibt sich eine bestimmte Genauigkeit der Tiefenschätzung einer Tiefe senkrecht zur Projektionsebene der Beleuchtungseinrichtung. Die Genauigkeit d_z der Tiefenschätzungen ist proportional zu $d_{z} \sim \frac{Z^{2}}{f \cdot b}$

mit der Brennweite f, der Basisbreite b und der Tiefe Z, die senkrecht zur Projektionsebene definiert ist. Die Meßgenauigkeit der Disparitäten in Pixeln ist dabei als konstant angenommen. Um die Reichweite zu verdoppeln wäre eine 4-fache Basisbreite nötig. Neben der unhandlichen mechanischen Größe nimmt auch der Rechenaufwand zu, da ein größerer Bereich an Pixel-Disparitäten ausgewertet werden muss.Given a given base width b and a given opening angle of the camera module, a certain accuracy of the depth estimation of a depth perpendicular to the projection plane of the illumination device results. The accuracy of d _z of the depth estimates is proportional to

d_{z} ~ \frac{Z^{2}}{f \cdot b}

with the focal length f, the base width b and the depth Z, which is defined perpendicular to the projection plane. The measurement accuracy of the disparities in pixels is assumed to be constant. To double the range would require a 4-fold base width. In addition to the cumbersome mechanical size also increases the computational effort, since a larger range of pixel disparities must be evaluated.

Aufgabe der Erfindung ist es, ein optisches Messsystem und eine entsprechende Verwendung dieses Systems anzugeben, die die Realisierung einer größere Reichweite ermöglichen ohne die angesprochenen Schwierigkeiten aufzuwerfen.The object of the invention is to provide an optical measuring system and a corresponding use of this system, which allow the realization of a greater range without raising the mentioned difficulties.

Die Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche gelöst.The object is achieved by the features of the independent claims.

Bei dem erfindungsgemäßen optischen Messsystem mit den im Oberbegriff des Anspruchs 1 genannten Merkmalen ist vorgesehen, dass das System weiterhin (i) zumindest ein weiteres Kameramodul, welches als Hauptkomponenten ebenfalls eine Beleuchtungseinrichtung zur strukturierten Beleuchtung der Szene und einen bildgebenden Sensor zur Abbildung der Szene aufweist, sowie (ii) Synchronisationsmittel zum Synchronisieren des Betriebs der Hauptkomponenten unterschiedlicher Kameramodule umfasst. Die Auswerteeinrichtung ist insbesondere eine Auswerteeinrichtung zur Auswertung der Sensordaten aller bildgebenden Sensoren des Systems. Als Beleuchtungseinrichtung zur strukturierten Beleuchtung kann beispielsweise ein Projektor dienen, der Beleuchtungsmuster auf die zu vermessende Szene projiziert.In the optical measuring system according to the invention with the features mentioned in the preamble of claim 1, it is provided that (i) at least one further camera module, which as main components also has a lighting device for structured illumination of the scene and an imaging sensor for imaging the scene, and (ii) synchronization means for synchronizing the operation of the major components of different camera modules. The evaluation device is in particular an evaluation device for evaluating the sensor data of all imaging sensors of the system. As a lighting device for structured illumination, for example, a projector can be used, the projected illumination pattern on the scene to be measured.

Die Kameramodule sind einzeln positionierbar, zum Beispiel auf statischen oder mobilen Plattformen wie etwa einer mobilen Arbeitsmaschine, einem Fahrzeug oder einer statischen Plattform. Während die Anordnung der Hauptkomponenten Beleuchtungseinrichtung und bildgebender Sensor bei den Modulen modulintern wohldefiniert ist, bedarf es bei der Kombination von Hauptkomponenten verschiedener Module einer Kalibrierung. Die Synchronisationsmittel werden sowohl für diese Kalibrierung als auch für den eigentlichen (Mess- bzw. Kamera-)Betrieb des Systems benötigt.The camera modules are individually positionable, for example on static or mobile platforms such as a mobile work machine, a vehicle or a static platform. While the arrangement of the main components illumination device and imaging sensor in the modules is well-defined module-internally, the combination of main components of different modules requires a calibration. The synchronization means are needed for this calibration as well as for the actual (measurement or camera) operation of the system.

Durch eine geschickte Auswertung kann nun der Rechenaufwand im Vergleich zur Verwendung von nur einer Beleuchtungseinrichtung und einem bildgebenden Sensor, also dem erwähnten Einzelmodul-System, reduziert werden. Dazu wird ein Nahbereich der Szene durch die einzelnen Module detektiert, während ein Fernbereich über eine Kombination der Module detektiert wird. Ein „überlappender Sichtbereich“ im Nahbereich ist im Vergleich zu einem Einzelmodul-System größer. Durch diese Maßnahmen sind hohe Reichweiten auch bei kleinen Modulgrößen möglich.By a clever evaluation of the computational effort compared to the use of only one illumination device and an imaging sensor, ie the mentioned single-module system can now be reduced. For this purpose, a close range of the scene is detected by the individual modules, while a long range is detected via a combination of the modules. An "overlapping field of view" in the near range is larger in comparison to a single module system. These measures make high ranges possible even with small module sizes.

Mit Vorteil ist die Auswerteeinrichtung oder zumindest eine der Auswerteeinrichtungen derart ausgebildet, dass sie die Sensordaten der Kameramodule für einen Nahbereich der Szene einzeln auswertet, und für einen Fernbereich der Szene die Sensordaten der Kombination von mindestens zwei der Kameramodule auswertet.Advantageously, the evaluation device or at least one of the evaluation devices is designed such that it individually measures the sensor data of the camera modules for a close range of the scene evaluates, and evaluates the sensor data of the combination of at least two of the camera modules for a remote area of the scene.

Gemäß einer bevorzugten Ausführungsform der Erfindung ist das System eingerichtet, im Mess- bzw. Kamerabetrieb die Sensoren unterschiedlicher Kameramodule sowohl mit der Beleuchtungseinrichtung des jeweils eigenen Kameramoduls als auch mit der Beleuchtungseinrichtung des weiteren Kameramoduls oder zumindest eines der weiteren Kameramodule zu betreiben.According to a preferred embodiment of the invention, the system is set up to operate the sensors of different camera modules during measurement or camera operation both with the illumination device of the respective own camera module and with the illumination device of the further camera module or at least one of the further camera modules.

Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung umfassen die Synchronisationsmittel ein die Kameramodule datenübertragungstechnisch verbindendes Datenübertragungssystem. Im einfachsten Fall wird dies über ein einfaches Datenkabel realisiert.According to a further preferred embodiment of the invention, the synchronization means comprise a data transmission system connecting the camera modules in terms of data transmission technology. In the simplest case, this is realized via a simple data cable.

Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung umfassen die Synchronisationsmittel weiterhin eine Steuereinrichtung (auch Controller genannt) zum Ansteuern der Hauptkomponenten mehrerer Kameramodule, insbesondere aller Kameramodule des Systems.According to a further preferred embodiment of the invention, the synchronization means further comprise a control device (also called controller) for controlling the main components of a plurality of camera modules, in particular all camera modules of the system.

Insbesondere ist vorgesehen, dass die Steuereinrichtung Teil eines der Kameramodule oder eine modulexterne Steuereinrichtung ist.In particular, it is provided that the control device is part of one of the camera modules or a module-external control device.

Gemäß einer bevorzugten Ausgestaltung der Erfindung ist die Auswerteeinrichtung Teil eines der Kameramodule oder eine modulexterne Auswerteeinrichtung.According to a preferred embodiment of the invention, the evaluation device is part of one of the camera modules or a module-external evaluation device.

Gemäß noch einer weiteren bevorzugten Ausgestaltung der Erfindung ist das System eingerichtet, in einem Kalibrierbetrieb mehrere Sensoren mit der Beleuchtung derselben Beleuchtungseinrichtung zu betreiben.In accordance with yet another preferred embodiment of the invention, the system is set up to operate a plurality of sensors with the illumination of the same illumination device in a calibration operation.

Bei der Verwendung eines optischen Messsystems zur tiefensensitiven Vermessung, insbesondere zur dreidimensionalen Abbildung, einer Szene ist vorgesehen, dass das System ein vorstehend genanntes optisches Messsystem ist. Durch diese Maßnahme sind hohe Reichweiten bei kleinen Modulgrößen möglich. Durch eine geschickte Auswertung kann der Rechenaufwand im Vergleich zur Verwendung von nur einer Beleuchtungseinrichtung und einem bildgebenden Sensor (Einzelmodul-System) reduziert werden.When using an optical measuring system for depth-sensitive measurement, in particular for the three-dimensional imaging of a scene, it is provided that the system is an optical measuring system mentioned above. By this measure, high ranges are possible with small module sizes. By a clever evaluation of the computational effort compared to the use of only a lighting device and an imaging sensor (single module system) can be reduced.

Dabei ist insbesondere vorgesehen, dass die Sensordaten der Kameramodule für einen Nahbereich der Szene einzeln ausgewertet werden und für einen Fernbereich der Szene die Sensordaten der Kombination von mindestens zwei der Kameramodule auswertet werden. Die Auswertung erfolgt bevorzugt durch die Auswerteeinrichtung, eine der Auswerteeinrichtungen oder die Auswerteeinrichtungen in Kombination.In this case, provision is made in particular for the sensor data of the camera modules to be evaluated individually for a near area of the scene and for a remote area of the scene to be evaluated for the sensor data of the combination of at least two of the camera modules. The evaluation is preferably carried out by the evaluation device, one of the evaluation devices or the evaluation devices in combination.

Weiterhin ist bevorzugt vorgesehen, dass die Sensoren unterschiedlicher Kameramodule sowohl mit der Beleuchtungseinrichtung des eigenen Kameramoduls als auch mit der Beleuchtungseinrichtung eines anderen dieser Kameramodule betrieben werden.Furthermore, it is preferably provided that the sensors of different camera modules are operated both with the illumination device of the own camera module and with the illumination device of another of these camera modules.

Die Erfindung betrifft weiterhin ein Verfahren zum Kalibrieren eines vorstehend genannten optischen Messsystems, wobei mehrere Sensoren mit derselben Beleuchtungseinrichtung betrieben werden.The invention further relates to a method for calibrating an aforementioned optical measuring system, wherein a plurality of sensors are operated with the same lighting device.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.The invention will be explained in more detail by means of embodiments with reference to the drawings.

Es zeigen:

1 eine schematische Darstellung eines optisches Messsystems zur tiefensensitiven Vermessung einer Szene gemäß einer bevorzugten Ausführungsform der Erfindung,
2 eine graphische Darstellung der zeitlichen Bildauswertungs-Sequenzen beim Mess- bzw. Kamerabetrieb in einem ersten Betriebsmode,
3 eine graphische Darstellung der zeitlichen Bildauswertungs-Sequenzen beim Mess- bzw. Kamerabetrieb in einem zweiten Betriebsmode,
4 eine graphische Darstellung der zeitlichen Bildauswertungs-Sequenzen beim Mess- bzw. Kamerabetrieb in einem dritten Betriebsmode und
5 eine graphische Darstellung der zeitlichen Bildauswertungs-Sequenzen beim Mess- bzw. Kamerabetrieb in einem vierten Betriebsmode oder bei einem Kalibrierbetrieb.

Show it:

1 a schematic representation of an optical measuring system for low-sensitive measurement of a scene according to a preferred embodiment of the invention,
2 a graphical representation of the temporal image evaluation sequences in the measurement or camera operation in a first operating mode,
3 a graphical representation of the temporal image evaluation sequences in the measurement or camera operation in a second operating mode,
4 a graphical representation of the temporal image evaluation sequences in the measurement or camera operation in a third operating mode and
5 a graphical representation of the temporal image evaluation sequences in measurement or camera operation in a fourth mode or in a calibration mode.

Die 1 zeigt eine schematische Darstellung eines optisches Messsystems 10 zur tiefensensitiven Vermessung einer Szene 12. Das in diesem Beispiel gezeigte optische Messsystem 10 ist ein Kamerasystem 14 zur dreidimensionalen Abbildung dieser Szene 12. Das optische Messsystem 10 weist mehrere Kameramodule16, 18 auf. Im gezeigten Beispiel sind dies zwei Kameramodule, nämlich ein erstes Kameramodul 16 und ein weiteres Kameramodul 18. Jedes dieser Kameramodule 16, 18 weist als Hauptkomponenten 20, 22 eine Beleuchtungseinrichtung 20 zur strukturierten Beleuchtung der Szene 12 und einen bildgebenden Sensor 22 zur Abbildung der Szene 12 auf. Die Beleuchtungseinrichtungen 20 sind bevorzugt zeitanhängig betreibbar. Neben diesen Hauptkomponenten 20, 22 weist jedes der Kameramodule noch eine Elektronikeinheit 24 auf. Diese Elektronikeinheit 24 bildet einerseits eine Auswerteeinrichtung 26 zur Auswertung von Sensordaten und andererseits eine Steuereinrichtung 28 zur Steuerung des jeweiligen Kameramoduls 16, 18 und/oder zur Steuerung des Gesamtsystems 10, 14. Jedes der Kameramodule 16, 18 weist weiterhin eine Schnittstelle 30 auf, über die das jeweilige Kameramodul 16, 18 bzw. seine Komponenten 20 ,22, 24 datenübertragungstechnisch nach außen verbindbar sind. Zwischen den Kameramodulen 16, 18 ist über die Schnittstellen 30 und eine die Schnittstellen 30 verbindende Datenleitung 32 (z.B. in Form eines Kabels) ein Datenübertragungssystem 34 geschaffen.The 1 shows a schematic representation of an optical measuring system 10 for deep-sensitive measurement of a scene 12 , The optical measuring system shown in this example 10 is a camera system 14 for the three-dimensional image of this scene 12 , The optical measuring system 10 has several camera modules 16, 18. In the example shown, these are two camera modules, namely a first camera module 16 and another camera module 18 , Each of these camera modules 16 . 18 has as main components 20 . 22 a lighting device 20 for the structured lighting of the scene 12 and an imaging sensor 22 to picture the scene 12 on. The lighting equipment 20 are preferably time-dependent operable. Besides these main components 20 . 22 Each of the camera modules has an electronic unit 24 on. This electronics unit 24 on the one hand forms an evaluation device 26 for the evaluation of sensor data and on the other hand a control device 28 for controlling the respective camera module 16 . 18 and / or to control the overall system 10 . 14 , Each of the camera modules 16 . 18 also has an interface 30 on, over which the respective camera module 16 . 18 or its components 20 , 22, 24 are technically connectable to the outside. Between the camera modules 16 . 18 is over the interfaces 30 and one the interfaces 30 connecting data line 32 (eg in the form of a cable) a data transmission system 34 created.

Eine der beiden Steuereinrichtungen 28, beispielsweise die Steuereinrichtung 28 des einen Kameramoduls 16 bildet die Steuereinrichtung 28 des Mess- bzw. Kamerasystems 10, 14. Sie ist daher in Bezug auf zumindest einige Funktionen des Systems 10, 14 eine der anderen Steuereinrichtung 28 übergeordnete Steuereinrichtung 36. Das Messsystem 10 weist weiterhin Synchronisationsmittel 38 zum Synchronisieren des Betriebs der Hauptkomponenten 20, 22 der unterschiedlichen Kameramodule 16, 18 auf. Diese Synchronisationsmittel 36 werden von den Elektronikeinheiten 24, den Schnittstellen 30 sowie der Datenleitung 32 gebildet.One of the two control devices 28 For example, the control device 28 of a camera module 16 forms the control device 28 of the measuring or camera system 10 . 14 , It is therefore related to at least some functions of the system 10 . 14 one of the other control devices 28 higher-level control device 36 , The measuring system 10 also has synchronization means 38 to synchronize the operation of the main components 20 . 22 the different camera modules 16 . 18 on. This synchronization means 36 be from the electronics units 24 , the interfaces 30 as well as the data line 32 educated.

Die Kameramodule 16, 18 sind einzeln positionierbar, zum Beispiel auf einer statischen oder mobilen Plattform 40. Während die Anordnung der Hauptkomponenten Beleuchtungseinrichtung 20 und bildgebender Sensor 22 innerhalb der zugehörigen Kameramodule 16, 18 wohldefiniert ist, bedarf es bei der Kombination von Hauptkomponenten 20, 22 verschiedener Module 16, 18 einer Kalibrierung. Die Synchronisationsmittel 38 werden sowohl für diese Kalibrierung als auch für den eigentlichen (Mess- bzw. Kamera-)Betrieb des Systems 10, 14 benötigt.The camera modules 16 . 18 are individually positionable, for example on a static or mobile platform 40 , While the arrangement of the main components lighting device 20 and imaging sensor 22 within the associated camera modules 16 . 18 Well-defined, it requires the combination of major components 20 . 22 different modules 16 . 18 a calibration. The synchronization means 38 Both for this calibration and for the actual (measurement or camera) operation of the system 10 . 14 needed.

Auch bei den Auswerteeinrichtungen 26 bildet eine der Auswerteeinrichtungen 26 eine übergeordnete Auswerteeinrichtung 42 des Mess- bzw. Kamerasystems 10, 14. Alternativ ist auch denkbar, dass das Mess- bzw. Kamerasystem 10, 14 zusätzlich noch eine modulexterne Auswerteeinrichtung als Auswerteeinrichtung 42 des Mess- bzw. Kamerasystems 10, 14 aufweist (nicht gezeigt). Die Auswerteeinrichtungen 26, 42 sind dabei so eingerichtet, dass sie die Sensordaten der Kameramodule 16, 18 für einen Nahbereich der Szene 12 einzeln und für einen Fernbereich der Szene 12 die Sensordaten der Kombination von beiden Kameramodulen 16, 18 auswerten.Also with the evaluation devices 26 forms one of the evaluation devices 26 a higher-level evaluation device 42 of the measuring or camera system 10 . 14 , Alternatively, it is also conceivable that the measuring or camera system 10 . 14 in addition, a module-external evaluation as an evaluation 42 of the measuring or camera system 10 . 14 has (not shown). The evaluation facilities 26 . 42 are set up to receive the sensor data from the camera modules 16 . 18 for a close-up of the scene 12 individually and for a distant area of the scene 12 the sensor data of the combination of both camera modules 16 . 18 evaluate.

Durch diese Maßnahmen sind hohe Mess- bzw. Abbildungsreichweiten auch bei kleinen Modulgrößen der Kameramodule 16, 18 möglich. Durch eine geschickte Auswertung kann der Rechenaufwand im Vergleich zur Verwendung von nur einer Beleuchtungseinrichtung 20 und einem bildgebenden Sensor 22 reduziert werden.As a result of these measures, high measurement or image ranges are possible even with small module sizes of the camera modules 16 . 18 possible. By a clever evaluation of the computational effort compared to the use of only one lighting device 20 and an imaging sensor 22 be reduced.

Die notwendige Kalibrierung erfolgt auf den Sensoren 22 oder auf der zumindest einen mit den Sensoren 22 verbundenen Auswerteeinrichtung 26, entweder manuell getriggert durch den Benutzer bzw. in der Fahrzeugproduktion oder ständig automatisch im Hintergrund. Die letzte Variante ist in der Regel zu präferieren, um dynamische Einflüsse auf die Kalibrierung ausgleichen zu können. Bei der Kalibrierung werden die Distanzdatenschätzungen der einzelnen Kameramodule 16, 18 (Einzel-Module) verwendet, um die Suchbereiche für die Korrespondenzschätzungen klein zu halten.The necessary calibration is done on the sensors 22 or on the at least one with the sensors 22 associated evaluation device 26 , either manually triggered by the user or in vehicle production or constantly automatically in the background. As a rule, the last variant is to be preferred in order to be able to compensate for dynamic influences on the calibration. During calibration, the distance data estimates of the individual camera modules 16 . 18 (Single modules) is used to keep the search ranges for the correspondence estimates small.

Um besonders fremdlichrobust zu sein, empfiehlt sich eine Amplituden-Modulation des ausgesendeten Lichtsignals der Beleuchtungseinrichtungen 20 („Structured Light from ToF“). Die bildgebenden Sensoren 22 sind dann vorzugsweise auf für den Empfang eines amplitudenmodulierten Lichtsignals ausgebildet. Besonders bevorzugt kann für den Empfang des modulierten Lichts der bildgebende Sensor 22 als PMD-Sensor ausgebildet sein, wie sie beispielsweise in der DE 197 04 496 A1 beschrieben sind. Durch Bildung der Differenz beider Kanäle (A, B) lässt sich das Hintergrundlicht ausblenden und der Sensor ist im Wesentlichen nur für das modulierte Licht empfindlich. Ebenso oder zusätzlich ist es denkbar, zwei um 180° in der Phase versetzte Messungen durchzuführen.In order to be particularly strangely robust, an amplitude modulation of the emitted light signal of the illumination devices is recommended 20 ("Structured Light from ToF"). The imaging sensors 22 are then preferably formed to receive an amplitude-modulated light signal. Particularly preferred for the reception of the modulated light of the imaging sensor 22 be designed as a PMD sensor, as shown for example in the DE 197 04 496 A1 are described. By forming the difference of both channels ( A . B ), the background light can be hidden and the sensor is essentially sensitive only to the modulated light. Likewise or in addition, it is conceivable to carry out two measurements offset by 180 ° in phase.

Mögliche Synchronisations-Schemata für den laufenden Betrieb finden sich in den 2 bis 5. Diese Figuren zeigen graphische Darstellungen der zeitlichen Bildauswertungs-Sequenzen beim laufenden (Mess- bzw. Kamera-)Betrieb in vier verschiedenen Betriebsmodi. Die in 5 gezeigte graphische Darstellung entspricht aber auch zeitlichen Bildauswertungs-Sequenzen bei einem Kalibrierbetrieb. Bezogen sind die Graphen auf die jeweiligen Komponenten: Beleuchtungseinrichtung 20, Sensor 22 und Auswerteeinrichtung 26 des einen Moduls 16 (hier gekennzeichnet mit L1, S1, A1) und des weiteren Moduls 18 (hier gekennzeichnet mit L2, S2, A2).Possible synchronization schemes for ongoing operation can be found in the 2 to 5 , These figures show graphs of temporal image evaluation sequences in ongoing (measurement or camera) operation in four different modes of operation. In the 5 However, the graphic representation shown also corresponds to temporal image evaluation sequences in a calibration operation. The graphs refer to the respective components: Lighting device 20 , Sensor 22 and evaluation 26 one module 16 (marked here with L1 . S1 . A1 ) and the other module 18 (marked here with L2 . S2 . A2 ).

Im laufenden Betrieb empfiehlt sich die zeitliche Bildauswertungs-Sequenz nach 2 mit den Hauptkomponenten-Kombinationen L1, S1; L2, S2; L1, S2; und L2, S1. Hierbei können die Kombinationen L1, S1 und L2, S2 gleichzeitig stattfinden, wenn verschiedene Modulationsfrequenzen verwendet werden. Das Gleiche gilt für L1, S2 und L2, S1 nach 3. Die bildegebenden Sensoren 22 sind dann dementsprechend für den Empfang der jeweiligen Frequenz der Amplitudenmodulation ausgebildet. Besonders vorteilhaft sind auch die Sensoren 22 als PMD-Sensor bzw. mit Zweikanaligen Pixeln ausgebildet.During operation, the temporal image evaluation sequence is recommended 2 with the main component combinations L1 . S1 ; L2 . S2 ; L1 . S2 ; and L2 . S1 , Here are the combinations L1 . S1 and L2 . S2 take place simultaneously when different modulation frequencies are used. The same applies L1 . S2 and L2 . S1 to 3 , The imaging sensors 22 are then formed accordingly for the reception of the respective frequency of the amplitude modulation. Particularly advantageous are the sensors 22 as a PMD sensor or formed with two-channel pixels.

Anstatt zwei Bilder für den Fernbereich II auszuwerten kann auch ein einzelnes Paar genügen, wie in 4 angedeutet. Ein weiterer Betriebsmodus besteht im gleichzeitigen Betrieb der beiden Sensoren 22 (gekennzeichnet durch S1, S2) mit einer Lichtquelle 20 (gekennzeichnet mit L1 oder alternativ L2), nach 5. Hierbei wird die Dauer einer Akquise minimiert, und die Auswerteeinrichtung 26 (hier mit A1 gekennzeichnet) des einen Kameramoduls 16 berechnet den Nahbereich I, die Auswerteeinrichtung 26 (hier mit A2 gekennzeichnet) des weiteren Kameramoduls 18 berechnet den Fernbereich II. Instead of two images for the long-range II A single pair can be sufficient as well 4 indicated. Another operating mode is the simultaneous operation of the two sensors 22 (marked by S1 . S2 ) with a light source 20 (signed with L1 or alternatively L2 ), to 5 , Here, the duration of an acquisition is minimized, and the evaluation 26 (herewith A1 characterized) of a camera module 16 calculates the near range I , the evaluation device 26 (herewith A2 marked) of the other camera module 18 calculates the distance range II ,

Für den Kalibrier-Betrieb ist es günstig, beide Sensoren 22 (gekennzeichnet mit S1, S2) mit der gleichen Beleuchtungseinrichtung 20 (hier mit L1 gekennzeichnet) des einen Kameramoduls 16 oder (hier mit L2 gekennzeichnet) des weiteren Kameramoduls 18 zu betreiben (5). Hierbei werden Korrespondenzen zwischen den Bildern der Sensoren 22 der beiden Kameramodule 16, 18 etabliert, die durch die Distanzmessung aus dem kalibrierten Modul 16 (hier gekennzeichnet mit S1, L1) sowie von der ungefähr bekannten Initial-Kalibrierung zwischen dem Sensor 22 des weiteren Kameramoduls 18 (gekennzeichnet mit S2) und der Beleuchtungseinrichtung 20 des einen Kameramoduls 16 (gekennzeichnet mit L1) eingeschränkt sind, sodass der Suchbereich klein bleibt. Wurden genügend viele unabhängige Korrespondenzen etabliert, so kann das System der Hauptkomponenten-Kombination S2, L1 kalibriert werden. Das Vorgehen zum Kalibrieren der Kombination S1,L2 ist analog.For the calibration operation, it is favorable, both sensors 22 (signed with S1 . S2 ) with the same lighting device 20 (herewith L1 characterized) of a camera module 16 or (here with L2 marked) of the other camera module 18 to operate ( 5 ). Here are correspondences between the images of the sensors 22 the two camera modules 16 . 18 established by the distance measurement from the calibrated module 16 (marked here with S1 . L1 ) as well as the approximately known initial calibration between the sensor 22 the other camera module 18 (signed with S2 ) and the lighting device 20 of a camera module 16 (signed with L1 ) so that the search range remains small. If enough independent correspondence has been established, then the system can be the main component combination S2 . L1 be calibrated. The procedure for calibrating the combination S1 . L2 is analog.

Beide Sensoren 22 benötigen die Möglichkeit zum Datenaustausch; für die Kalibrierung müssen die Sensordaten von einem der beiden Sensoren 22 zur Auswerteeinrichtung 26 des jeweils anderen Kameramoduls 18, 16 versendet werden. Für den Live-Betrieb kann es günstig sein, die einzelnen Distanzbilder zu einem Ganzen zusammenzufügen. Der Datenaustausch kann entweder über einen gesonderten Kanal stattfinden (z.B. Ethernet), oder über das bereits vorhandene LVDS Kabel 32 (LVDS: Low Voltage Differential Signaling) im Wechsel mit den Modulations-Signalen.Both sensors 22 need the possibility for data exchange; for calibration, the sensor data must be from one of the two sensors 22 to the evaluation device 26 of the other camera module 18 . 16 to be shipped. For the live operation, it may be beneficial to combine the individual distance images into a whole. The data exchange can take place either over a separate channel (eg Ethernet), or over the already existing LVDS cable 32 (LVDS: Low Voltage Differential Signaling) alternating with the modulation signals.

Rechenaufwand: Für die Fernbereichs-Messungen genügt ein eingeschränkter Disparitäts-Bereich, da der Nahbereich I bereits durch die einzelnen Kameramodule 16, 18 abgedeckt ist.Calculation effort: For the far-range measurements, a limited disparity range is sufficient, since the near range I already through the individual camera modules 16 . 18 is covered.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1010: Messsystemmeasuring system
1212: Szenescene
1414: Kamerasystemcamera system
1616: Kameramodulcamera module
1818: Kameramodul, weiteresCamera module, further
2020: Beleuchtungseinrichtunglighting device
2222: bildgebender SensorImaging sensor
2424: Elektronikeinheitelectronics unit
2626: Auswerteeinrichtungevaluation
2828: Steuereinrichtungcontrol device
3030: Schnittstelleinterface
3232: Datenleitungdata line
3434: DatenübertragungssystemData transfer system
3636: übergeordnete Steuereinrichtunghigher-level control device
3838: Synchronisationsmittelsynchronization means
4040: Plattformplatform
4242: übergeordnete Auswerteeinrichtunghigher-level evaluation device
II: Nahbereich (Szene)Close range (scene)
IIII: Fernbereich (Szene)Long range (scene)

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

WO 2015/199615 A1 [0004]
DE 19704496 A1 [0030]

Claims

Optical measuring system (10) for the depth-sensitive measurement of a scene (12), in particular a camera system (14) for three-dimensional imaging of the scene (12), comprising - a camera module (16) having as main components (20, 22) a lighting device (20) for structured illumination of the scene (12) and an imaging sensor (22) for imaging the scene (12), and - at least one evaluation device (26) for the evaluation of sensor data, characterized by - at least one further camera module (18), which as main components (20, 22) also comprises a lighting device (20) for structured illumination of the scene (12) and an imaging sensor (22) for imaging the scene (12), and - synchronization means (38) for synchronizing the operation of the main components (20, 20; 22) of different camera modules (20, 22).

System after Claim 1 , characterized in that the evaluation device (26) or at least one of the evaluation devices (26, 42) is designed such that it evaluates the sensor data of the camera modules (16, 18) for a short range (I) of the scene (12) individually and for a far range (II) of the scene (12) evaluates the sensor data of the combination of at least two of the camera modules (16, 18).

System after Claim 1 or 2 , characterized in that it is set up, during measurement operation, the sensors (22) of different camera modules (16, 18) both with the illumination device (20) of the respective own camera module (16, 18) and with the illumination device (20) of the further camera module (18, 16) or at least one of the other camera modules to operate.

System according to one of Claims 1 to 3 , characterized in that the synchronization means (38) comprise a data transmission system (34) connecting the camera modules (16, 18) in terms of data transmission technology.

System after Claim 3 or 4 , characterized in that the synchronization means (38) comprise a control device (36) for controlling the main components (20, 22) of a plurality of the camera modules (16, 18), in particular all the camera modules (16, 18) of the system (10, 14).

System according to one of Claims 3 to 5 , characterized in that the control device (28) is part of one of the camera modules (16, 18) or a module-external control device.

System according to one of Claims 1 to 6 , characterized in that the evaluation device (26) is part of one of the camera modules (16, 18) or a module-external evaluation device (26).

System according to one of Claims 1 to 7 , characterized in that it is set up to operate a plurality of sensors (22) with the same illumination device (20) in a calibration operation.

Use of an optical measuring system (10) according to one of Claims 1 to 8th for depth-sensitive measurement, in particular for three-dimensional imaging of a scene (12).

Using the optical measuring system (10) according to Claim 9 , characterized in that the sensor data of the camera modules (16, 18) for a close range (I) of the scene (12) are evaluated individually and for a far range (II) of the scene (12) the sensor data of the combination of at least two of the camera modules (12). 16, 18) are evaluated.

Using the optical measuring system (10) according to Claim 9 or 10 , characterized in that the sensors (22) of different camera modules (16, 18) are operated both with the illumination device (20) of the own camera module (16, 18) and with the illumination device (20) of another camera module (18, 20) ,