DE102022002668A1 - Vehicle surface analysis device and method for vehicle surface analysis - Google Patents
Vehicle surface analysis device and method for vehicle surface analysis Download PDFInfo
- Publication number
- DE102022002668A1 DE102022002668A1 DE102022002668.6A DE102022002668A DE102022002668A1 DE 102022002668 A1 DE102022002668 A1 DE 102022002668A1 DE 102022002668 A DE102022002668 A DE 102022002668A DE 102022002668 A1 DE102022002668 A1 DE 102022002668A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- vehicle
- image recording
- coordinates
- time stamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005211 surface analysis Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims description 38
- 238000011156 evaluation Methods 0.000 claims abstract description 35
- 230000033001 locomotion Effects 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims description 24
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 description 9
- 238000011161 development Methods 0.000 description 8
- 230000018109 developmental process Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30156—Vehicle coating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Die Erfindung betrifft eine Fahrzeugoberflächenanalysevorrichtung, wobei eine Bildkameraanordnung mindestens eine erste und eine zweite Bildkamera aufweist, die im Wesentlichen parallele Bildachsen und einen lateralen Abstand aufweisen und zu einer lateralen Relativbewegung zu einem Fahrzeug und zur Erfassung von Objektpunkten des Fahrzeugs als Bildpunktdaten, zu einem ersten Zeitpunkt t1 als eine erste Bildaufnahme, zu einem zweiten Zeitpunkt t2 als eine zweite Bildaufnahme, zu einem dritten Zeitpunkt t3 als eine dritte Bildaufnahme, ausgebildet sind, wobei jede der Bildkameras mindestens eine der Bildaufnahmen bereitstellt, und wobei eine Auswertungseinheit ausgebildet ist, die erste Bildaufnahme mit einem ersten Zeitstempel, die zweite Bildaufnahme mit einem zweiten Zeitstempel, die dritte Bildaufnahme mit einem dritten Zeitstempel zu versehen, und einen Referenzobjektpunkt des Fahrzeugs anhand der ersten Bildaufnahme zu identifizieren und diesem identifizierten Referenzobjektpunkt Koordinaten (x1, y1) zuzuordnen, den identifizierten Referenzobjektpunkt anhand der zweiten und der dritten Bildaufnahme zu erkennen und diesem Referenzobjektpunkt Koordinaten (x1', y1') bzw. (x1", y1") zuzuordnen, und mittels der Zeitstempel, des Kameraabstands, einer Winkelposition weiterer Objektpunkte in den Bildaufnahmen und der zuvor errechneten Relativgeschwindigkeit diesen weiteren Objektpunkten Flächenkoordinaten (xn, yn) zuzuordnen und den Flächenkoordinaten (xn, yn) Tiefenkoordinaten (zn) zuzuordnen und mittels der erhaltenen Raumkoordinaten (xn, yn, zn) eine finale Bildaufnahme des Fahrzeugs zu erstellen.The invention relates to a vehicle surface analysis device, wherein an image camera arrangement has at least a first and a second image camera, which have essentially parallel image axes and a lateral distance and for a lateral relative movement to a vehicle and for detecting object points of the vehicle as image point data, at a first point in time t1 as a first image recording, at a second time t2 as a second image recording, at a third time t3 as a third image recording, each of the image cameras providing at least one of the image recordings, and wherein an evaluation unit is designed to include the first image recording a first time stamp, the second image recording with a second time stamp, the third image recording with a third time stamp, and to identify a reference object point of the vehicle based on the first image recording and to assign coordinates (x1, y1) to this identified reference object point, the identified reference object point based on the to recognize the second and third image recordings and to assign coordinates (x1', y1') or (x1", y1") to this reference object point, and using the time stamp, the camera distance, an angular position of further object points in the image recordings and the previously calculated relative speed to assign surface coordinates (xn, yn) to further object points and to assign depth coordinates (zn) to the surface coordinates (xn, yn) and to create a final image of the vehicle using the spatial coordinates (xn, yn, zn) obtained.
Description
Die Erfindung betrifft eine Fahrzeugoberflächenanalysevorrichtung, bei der mithilfe einer Stereokamera die Oberfläche eines Fahrzeugs analysiert werden kann. Weiterhin betrifft die Erfindung ein Verfahren zur Fahrzeugoberflächenanalyse.The invention relates to a vehicle surface analysis device in which the surface of a vehicle can be analyzed using a stereo camera. The invention further relates to a method for vehicle surface analysis.
Der Stand der Technik beschreibt technische Lösungen für Fahrzeugoberflächenanalysen sowohl in Form von taktilen als auch von berührungslosen, zerstörungsfreien und optischen Verfahren und den dazugehörigen Vorrichtungen.The state of the art describes technical solutions for vehicle surface analyzes in the form of both tactile and non-contact, non-destructive and optical methods and the associated devices.
Nachteilig bei taktilen Verfahren ist die geringe Geschwindigkeit, die Anforderungen an einen bestimmten Arbeitsabstand sowie die Gefahr von Beschädigungen der zu erfassenden Fahrzeugoberfläche.The disadvantages of tactile methods are the low speed, the requirement for a specific working distance and the risk of damage to the vehicle surface to be detected.
Bei den berührungslosen Verfahren sind beispielsweise neben Ultraschall-Verfahren, Lasertriangulationsverfahren, Lidar-Messungen, Time-of-Flight-Aufnahmen auch rein bildaufnehmende Verfahren bekannt. Nachteilig sind je nach Verfahren insbesondere eine geringe Auflösung, eine geringe Anzahl an erfassbaren Objektpunkten oder bei bildaufnehmenden Verfahren die Anforderungen an die zu erfassenden Oberflächen.In the case of non-contact methods, for example, in addition to ultrasound methods, laser triangulation methods, lidar measurements, time-of-flight recordings, purely image-recording methods are also known. Depending on the method, the disadvantages are in particular a low resolution, a small number of object points that can be detected or, in the case of image-recording methods, the requirements for the surfaces to be captured.
Ferner bekannt ist hier der typische Aufbau von Stereokameras. Dabei werden mindestens zwei Kameras in einem bekannten, fest definierten Abstand angeordnet. Es werden jeweils immer zwei Fotos von einem überlappenden Erfassungsbereich aufgenommen. Aus den verschiedenen Perspektiven können aufgrund der Parallaxe Raum-Informationen errechnet werden.The typical structure of stereo cameras is also known here. At least two cameras are arranged at a known, clearly defined distance. Two photos are always taken from an overlapping detection area. Spatial information can be calculated from the different perspectives based on the parallax.
Ein großer Nachteil dieser Methode ist das Problem, die Raumkoordinaten großer Objektoberflächen wie bei Fahrzeugen zu erfassen, wenn das zu analysierende Objekt den aufzunehmenden Bildausschnitt überragt. Es ist nur bedingt und mit hoher computergestützter Rechenleistung möglich, mehrere Aufnahmen mit Teilausschnitten zu einer Gesamtaufnahme zusammenzusetzen. Zudem bedarf es nachteilig einer jeweils definierten Lagebeziehung des Objekts zu den Kameras. Auch die die alternative Aufnahme nur eines Gesamtbildes als Stereobildaufnahme bei großen Objekten ist wegen der dann geringen Auflösung nachteilig. Ein weiterer Nachteil der herkömmlichen Stereoaufnahmen ist zudem die Anfälligkeit von Störeinflüssen, wie Reflektionen oder ungünstiger Lichteinfall.A major disadvantage of this method is the problem of recording the spatial coordinates of large object surfaces, such as vehicles, if the object to be analyzed protrudes beyond the image section to be recorded. It is only possible to a limited extent and with high computer-aided processing power to combine several recordings with partial sections into a complete recording. In addition, it is disadvantageous that a defined positional relationship between the object and the cameras is required. The alternative of recording only an entire image as a stereo image recording of large objects is also disadvantageous because of the low resolution. Another disadvantage of conventional stereo recordings is the susceptibility to interference, such as reflections or unfavorable light.
Aufgabe der Erfindung ist es eine Vorrichtung zur Erfassung der Raumkoordinaten der Oberfläche von Fahrzeugen bereitzustellen, die ein fehlertolerantes Gesamtbild der Fahrzeugoberfläche erzeugen kann, die einfach zu bedienen und kostengünstig herstellbar ist.The object of the invention is to provide a device for detecting the spatial coordinates of the surface of vehicles, which can generate a fault-tolerant overall image of the vehicle surface, which is easy to use and inexpensive to produce.
Die Aufgabe wird in Bezug auf die Fahrzeuganalysevorrichtung durch die im Patentanspruch 1 aufgeführten Merkmale und in Bezug auf das Verfahren durch die im Patentanspruch 2 aufgeführten Merkmale gelöst. Bevorzugte Weiterbildungen ergeben sich aus den jeweiligen Unteransprüchen.The task is solved in relation to the vehicle analysis device by the features listed in
Die erfindungsgemäße Fahrzeugoberflächenanalysevorrichtung weist als Grundkomponenten eine Bildkameraanordnung und eine Auswertungseinheit auf.The vehicle surface analysis device according to the invention has an image camera arrangement and an evaluation unit as basic components.
Mit der erfindungsgemäßen Fahrzeuganalysevorrichtung wird eine Lösung geschaffen, mit der von einem Fahrzeug, das den Erfassungsbereich der Bildkameraanordnung durchfährt, ein hochauflösendes digitales Abbild der dreidimensionalen Oberfläche des Fahrzeugs erzeugt werden kann, wobei weder die Geschwindigkeit der Bewegung noch der Abstand zu der Bildkameraanordnung definiert sein müssen. Im Einzelnen ergibt sich dies aus dem nachfolgend beschrieben Aufbau und dem Zusammenwirken von Bildkameraanordnung und Auswertungseinheit wie folgt.The vehicle analysis device according to the invention creates a solution with which a high-resolution digital image of the three-dimensional surface of the vehicle can be generated from a vehicle that passes through the detection range of the image camera arrangement, whereby neither the speed of the movement nor the distance to the image camera arrangement need to be defined . This results in detail from the structure described below and the interaction of the image camera arrangement and evaluation unit as follows.
Die Bildkameraanordnung ist in der Weise einer Stereokamera aufgebaut und weist mindestens eine erste Bildkamera und eine zweite Bildkamera auf. Die Bildkameras können beispielsweise handelsübliche Industriekameras sein. Das optische System und die Auflösung sind an den Anwendungsfall angepasst.The image camera arrangement is constructed in the manner of a stereo camera and has at least a first image camera and a second image camera. The image cameras can be, for example, commercially available industrial cameras. The optical system and the resolution are adapted to the application.
Hierbei weist die erste Bildkamera einen ersten Bildkameraerfassungsbereich auf, der zumindest abschnittweise ein Fahrzeug erfasst. Die zweite Bildkamera weist dementsprechend einen zweiten Bildkameraerfassungsbereich auf, der ebenfalls zumindest abschnittsweise das Fahrzeug erfasst.Here, the first image camera has a first image camera detection area, which captures a vehicle at least in sections. The second image camera accordingly has a second image camera detection area, which also captures the vehicle at least in sections.
Zudem weisen die Bildkameras im Wesentlichen parallele Bildachsen auf, die mit einem lateralen Abstand beabstandet angeordnet sind. Die Bildachsen werden nachfolgend auch als optische Achsen bezeichnet. Als lateraler Abstand wird ein seitlicher Abstand verstanden, wobei die Bildachsen quer, vorzugsweise orthogonal zu der Erstreckung des lateralen Abstands angeordnet sind. Zudem stehen die beiden Bildkameras zueinander in einer festen Lagebeziehung.In addition, the image cameras have essentially parallel image axes, which are arranged at a lateral distance. The image axes are also referred to below as optical axes. The term lateral distance is understood to mean a lateral distance, with the image axes being arranged transversely, preferably orthogonally, to the extent of the lateral distance. In addition, the two image cameras are in a fixed positional relationship to one another.
Die Bildkameras sind zu einer lateralen Relativbewegung zu dem Fahrzeug ausgebildet. Die Bewegungsrichtung des Fahrzeugs weicht von den optischen Achsen der Bildkameras ab. Vorzugsweise ist die Bewegungsrichtung des Fahrzeugs orthogonal zu den beiden parallelen optischen Achsen der Bildkameras. Als laterale Relativbewegung wird hierbei verstanden, dass sich die Lagebeziehung zwischen dem Fahrzeug und den Bildkamera in einer Achse quer zu den optischen Achsen der Bildkameras und in deren Ebene verändert, wobei dies vorzugsweise durch eine Fahrtbewegung des Fahrzeugs vor einer ortsfesten Bildkameraanordnung bewirkt wird. Alternativ ist auch eine aktive Bewegung der Bildkameraanordnung relativ zu einem stehenden Fahrzeug möglich.The image cameras are designed to move laterally relative to the vehicle. The direction of movement of the vehicle deviates from the optical axes of the image cameras. Preferably, the direction of movement of the vehicle is orthogonal to the two parallel optical axes sen of the image cameras. A lateral relative movement is understood here to mean that the positional relationship between the vehicle and the image camera changes in an axis transverse to the optical axes of the image cameras and in their plane, this being preferably caused by a movement of the vehicle in front of a stationary image camera arrangement. Alternatively, an active movement of the image camera arrangement relative to a stationary vehicle is also possible.
Die Bilderfassungsbereiche der Bildkameras sind so angeordnet, dass sie vom Fahrzeug vorzugsweise vollständig durchfahren werden. Die Messstrecke ist üblicherweise eben und optional mit zusätzlichen Lichtquellen ausgestattet. Vorteilhaft kann auch eine Umhausung vorgesehen werden, um Störeinflüsse zu minimieren.The image capture areas of the image cameras are arranged so that the vehicle preferably travels completely through them. The measuring section is usually flat and optionally equipped with additional light sources. An enclosure can also advantageously be provided in order to minimize disruptive influences.
Die Bildkameras sind zur Erfassung von Objektpunkten des Fahrzeugs als Bildpunktdaten ausgebildet, die dann eine Bildaufnahme bilden. Dabei ist die Bildkamera für eine Erfassung zu einem ersten Zeitpunkt als eine erste Bildaufnahme, zu einem zweiten Zeitpunkt als eine zweite Bildaufnahme und zu einem dritten Zeitpunkt als eine dritte Bildaufnahme ausgebildet.The image cameras are designed to capture object points of the vehicle as pixel data, which then form an image recording. The image camera is designed for recording at a first time as a first image recording, at a second time as a second image recording and at a third time as a third image recording.
Jede der Bildkameras stellt erfindungsgemäß mindestens eine der Bildaufnahmen bereit. Dies bedeutet zugleich, dass eine der erfindungsgemäß mindestens drei Bildaufnahmen durch eine andere Bildkamera aufgenommen wird als die beiden anderen der mindestens drei Bildaufnahmen. Dabei kann beispielsweise durch die erste Bildkamera die erste und die zweite Bildaufnahme und durch die zweite Bildkamera die dritte Bildaufnahme erfolgt sein. Es ist aber auch möglich, dass nur die erste Bildaufnahme durch die erste Bildkamera und dass die zweite und dritte Bildaufnahme durch die zweite Bildkamera erfolgt. Die insgesamt drei für die Erkennung der Position und der Geschwindigkeit der Fahrzeugoberfläche erfindungswesentlichen Bildaufnahmen werden nachfolgend auch als die tracking-essentiellen Bildaufnahmen bezeichnet.According to the invention, each of the image cameras provides at least one of the image recordings. This also means that one of the at least three image recordings according to the invention is recorded by a different image camera than the other two of the at least three image recordings. For example, the first and second image recordings can be carried out by the first image camera and the third image recording can be carried out by the second image camera. However, it is also possible for only the first image to be captured by the first image camera and for the second and third images to be captured by the second image camera. The three image recordings that are essential to the invention for detecting the position and speed of the vehicle surface are also referred to below as the tracking-essential image recordings.
Zur Berechnung der finalen Bildaufnahme, sind mindestens drei Bildaufnahmen erforderlich. Vorzugsweise erfassen die drei Bildaufnahmen lediglich Ausschnitte der Fahrzeugoberfläche und es werden darüber hinaus sequentiell weitere Bildaufnahmen des Fahrzeugs mit einem zeitlichen Abstand vorgenommen, so dass bei gleichbleibender Geschwindigkeit des Fahrzeugs die gesamte Fahrzeugoberfläche aufgenommen wird. Besonders bevorzugt weisen die Bildkameras hierbei einen streifenförmigen Erfassungsbereich quer zu der Bewegungsrichtung der Relativbewegung auf, so dass eine Vielzahl von Bildaufnahmen mit einer hohen Auflösung zu der finalen Bildaufnahme verarbeitet werden können.To calculate the final image capture, at least three image captures are required. Preferably, the three image recordings only capture sections of the vehicle surface and further image recordings of the vehicle are taken sequentially at a time interval so that the entire vehicle surface is recorded while the vehicle speed remains the same. The image cameras particularly preferably have a strip-shaped detection area transverse to the direction of movement of the relative movement, so that a large number of image recordings with a high resolution can be processed into the final image recording.
Die Auswertungseinheit ist mit der Bildkameraanordnung verbunden und ausgebildet, die erste Bildaufnahme mit einem ersten Zeitstempel, die zweite Bildaufnahme mit einem zweiten Zeitstempel und die dritte Bildaufnahme mit einem dritten Zeitstempel zu versehen. Hierfür ist die Auswertungseinheit vorzugsweise als Prozessor oder Rechner ausgelegt, der ein entsprechendes Bilderkennungsmodul beinhaltet. Optimiert wird die Bilderkennung vorzugsweise hardwareseitig durch spezialisierte Grafikprozessoren und softwareseitig durch Algorithmen der künstlichen Intelligenz, die nach bestimmten leicht erkennbaren Merkmalen sucht, die in allen gesammelten Bildern erkennbar sind.The evaluation unit is connected to the image camera arrangement and is designed to provide the first image recording with a first time stamp, the second image recording with a second time stamp and the third image recording with a third time stamp. For this purpose, the evaluation unit is preferably designed as a processor or computer that contains a corresponding image recognition module. Image recognition is optimized preferably on the hardware side by specialized graphics processors and on the software side by artificial intelligence algorithms, which look for certain easily recognizable features that can be recognized in all collected images.
Weiterhin ist die Auswertungseinheit dazu ausgebildet, einen Objektpunkt des Fahrzeugs anhand der ersten Bildaufnahme zu identifizieren und diesem identifizierten Objektpunkt die Koordinaten (x1, y1) zuzuordnen. Vorteilhaft kann dies hierbei ein markanter, also ein gut erkennbarer und abgrenzbarer Objektpunkt sein. Der identifizierte Objektpunkt wird nachfolgend als Referenzobjektpunkt bezeichnet.Furthermore, the evaluation unit is designed to identify an object point of the vehicle based on the first image recording and to assign the coordinates (x1, y1) to this identified object point. This can advantageously be a striking, i.e. an easily recognizable and delimitable object point. The identified object point is hereinafter referred to as the reference object point.
Danach ist es Teil der erfindungsgemäßen Lösung den identifizierten Referenzobjektpunkt des Fahrzeugs anhand der zweiten Bildaufnahme zu erkennen und diesem Referenzobjektpunkt die Koordinaten (x1', y1') in der zweiten Bildaufnahme zuzuordnen.It is then part of the solution according to the invention to recognize the identified reference object point of the vehicle based on the second image recording and to assign the coordinates (x1', y1') in the second image recording to this reference object point.
Ferner entspricht es der erfindungsgemäßen Lösung, den identifizierten Referenzobjektpunkt des Fahrzeugs anhand der dritten Bildaufnahme zu erkennen und diesem Referenzobjektpunkt Koordinaten (x1", y1") in der dritten Bildaufnahme zuzuordnen.Furthermore, it corresponds to the solution according to the invention to recognize the identified reference object point of the vehicle based on the third image recording and to assign coordinates (x 1 ", y 1 ") to this reference object point in the third image recording.
Der markante Referenzobjektpunkt dient dazu, einen 2D-Referenzpunkt zu ermitteln, mit dessen Hilfe die Bilder positionsreferenziert zusammenzusetzen sind.The prominent reference object point is used to determine a 2D reference point, with the help of which the images can be put together in a position-referenced manner.
Zudem ist die Auswertungseinheit ausgebildet, mittels der Zeitstempel, eines Abstands zwischen dem ersten und dem zweiten Bildkameraerfassungsbereich, einer Winkelposition des identifizierten Objektspunkts in der ersten, zweiten und dritten Bildaufnahmeaufnahme, eine Relativgeschwindigkeit der lateralen Relativbewegung des Fahrzeugs zu bestimmen.In addition, the evaluation unit is designed to determine a relative speed of the lateral relative movement of the vehicle by means of the time stamp, a distance between the first and the second image camera detection area, an angular position of the identified object point in the first, second and third image recording recordings.
Dem liegt zu Grunde, dass die Position des identifizierten Referenzobjektpunkts durch einen Winkelabstand zwischen der jeweiligen Winkelposition beispielsweise in der ersten und in der zweiten Bildaufnahme gekennzeichnet ist. Lediglich auf der Grundlage dieses Winkelabstands kann bei einem nicht definierten Abstand des Fahrzeugs zu den Bildkameras die Geschwindigkeit der Relativbewegung nicht bestimmt werden. Umgekehrt kann bei einer nicht definierten Geschwindigkeit keine Bestimmung der Tiefeninformation errechnet werden. Wird jedoch die Winkelposition des identifizierten Referenzobjektpunkts in der dritten Bildaufnahme verbunden mit dem definierten und für die weitere Berechnung bekannten lateralen Abstand zwischen den beiden Bildkameras einbezogen, kann das Verhältnis von lateraler Positionsänderung des identifizierten Referenzobjektpunkts zwischen den Aufnahmen sowie dessen Abstand zu den Bildkameras errechnet werden. Zusätzlich mit der durch die Zeitstempel vorliegenden Zeitinformation kann die Auswertungseinheit somit die Relativgeschwindigkeit errechnen. Auf der Grundlage der nun bekannten Relativgeschwindigkeit ist auch die Weg-Zeit-Beziehung bekannt und damit bestimmbar, welche Position das Fahrzeug zu welchem Zeitpunkt einnimmt. Somit ist zugleich die relative Position für alle Objektpunkte relativ zwischen den Bildaufnahmen zueinander bestimmt.This is based on the fact that the position of the identified reference object point is determined by an angular distance between the respective angular positions tion is marked, for example, in the first and second image recordings. The speed of the relative movement cannot be determined solely on the basis of this angular distance if the distance between the vehicle and the image cameras is not defined. Conversely, if the speed is not defined, the depth information cannot be determined. However, if the angular position of the identified reference object point in the third image recording is included in conjunction with the defined lateral distance between the two image cameras that is known for further calculation, the ratio of the lateral change in position of the identified reference object point between the images and its distance to the image cameras can be calculated. In addition to the time information available from the time stamps, the evaluation unit can calculate the relative speed. Based on the now known relative speed, the distance-time relationship is also known and can therefore be determined which position the vehicle occupies at which point in time. This means that at the same time the relative position for all object points is determined relative to one another between the image recordings.
Dem entsprechend ist die Auswertungseinheit somit ausgebildet, mittels der Zeitstempel, des Abstands zwischen dem ersten und dem zweiten Bildkameraerfassungsbereich, einer Winkelposition weiterer Objektspunkte in einer der ersten, zweiten und dritten Bildaufnahmeaufnahme und der Relativgeschwindigkeit diesen weiteren Objektpunkten die Flächenkoordinaten (xn, yn) zuzuordnen. Danach werden den Flächenkoordinaten (xn, yn) Tiefenkoordinaten (zn) zugeordnet und mittels der erhaltenen Raumkoordinaten (xn, yn, zn) eine finale Bildaufnahme des Fahrzeugs erstellt. So kann zusätzlich zu den reinen 2D-Bilddaten eine räumliche Struktur ähnlich einem Relief der Fahrzeugoberfläche ermittelt werden.Accordingly, the evaluation unit is designed to use the time stamp, the distance between the first and the second image camera detection area, an angular position of further object points in one of the first, second and third image recordings and the relative speed of these further object points to give the surface coordinates (x n , y n ) to assign. Depth coordinates (z n ) are then assigned to the surface coordinates (x n , y n ) and a final image of the vehicle is created using the spatial coordinates (x n , y n , z n ) obtained. In addition to the pure 2D image data, a spatial structure similar to a relief of the vehicle surface can be determined.
Die erfindungsgemäße Fahrzeugoberflächenanalysevorrichtung weist insbesondere die nachfolgenden Vorteile auf.The vehicle surface analysis device according to the invention has in particular the following advantages.
Ein besonderer Vorteil besteht darin, dass auch bei problematischen Oberflächen, deren Objektpunkte teilweise wenig markant sind und bei denen Reflexionen eine Erkennung stören, wie dies bei lackierten oder verglasten Fahrzeugoberflächenabschnitten der Fall ist, eine 3-D-Erfassung in hoher Qualität möglich ist.A particular advantage is that high-quality 3D capture is possible even on problematic surfaces whose object points are sometimes not very distinctive and where reflections interfere with detection, as is the case with painted or glazed vehicle surface sections.
Hierfür kann anhand der möglichen Auswahl von markanten Objektpunkten als Merkmale eine sichere Zuordnung der Positionen der Objektpunkte zwischen mehreren Bildaufnahmen erreicht werden. Es ist hierbei vorteilhaft, dass solche Objektpunkte als Referenzobjektpunkte ausgewählt werden können, die besonders markant sind und sich für eine Merkmalsverfolgung zwischen den mehreren Bildaufnahmen besonders eignen. Hierbei ist es auch möglich, dass diese markanten Objektpunkte für die finale Bildaufnahme als solche weniger oder nicht interessant sind, so dass diese lediglich eine Hilfsfunktion für eine zuverlässige Merkmalsverfolgung, nachfolgend auch bezeichnet als Feature Tracking, übernehmen.For this purpose, a reliable assignment of the positions of the object points between several image recordings can be achieved using the possible selection of prominent object points as features. It is advantageous here that such object points can be selected as reference object points that are particularly distinctive and are particularly suitable for feature tracking between the multiple image recordings. It is also possible that these prominent object points are less or not interesting as such for the final image recording, so that they only take on an auxiliary function for reliable feature tracking, hereinafter also referred to as feature tracking.
Darauf basierend können die von den Objektpunkten aufgenommenen Bildpunkte der mehreren Aufnahmen auch dann einander zugeordnet werden, wenn deren Aufnahmequalität jeweils für sich betrachtet nur gering ist. In der finalen Bildaufnahme können geringe Aufnahmequalitäten eines Bildpunktes aus einer der Bildaufnahmen durch höhere Aufnahmequalitäten der anderen Bildaufnahmen kompensiert werden. Auf diese Weise stützen sich die Bildpunkt der mehreren Aufnahmen wechselseitig.Based on this, the image points of the multiple recordings recorded by the object points can be assigned to one another even if their recording quality, viewed individually, is only low. In the final image recording, low recording qualities of an image point from one of the image recordings can be compensated for by higher recording qualities of the other image recordings. In this way, the pixels of the several recordings support each other.
Weiterhin wurde vorteilhaft eine Lösung gefunden, bei der über die aus dem Stand der Technik als solche bekannte Stereofotogrammetrie ein vergleichsweise großes Objekt wie eine Fahrzeugoberfläche in einer hohen Auflösung in einer finalen Bildaufnahme dargestellt werden kann, ohne dass eine aufwändige Positionierung zwischen den Bildkameras und dem Fahrzeug erforderlich ist. Vielmehr kann das Fahrzeug einfach an den Bildkameras vorbeigefahren werden, ohne dass ein exakter Abstand eingestellt werden muss.Furthermore, a solution was advantageously found in which a comparatively large object such as a vehicle surface can be displayed in a final image recording in a high resolution using the stereo photogrammetry known from the prior art, without any complex positioning between the image cameras and the vehicle is required. Rather, the vehicle can simply be driven past the image cameras without having to set an exact distance.
Es besteht vorteilhaft auch die Möglichkeit, über die tracking-essentiellen drei Bildaufnahmen hinaus weitere Bildaufnahmen zu erzeugen, so dass auch aus den weiteren Bildaufnahmen Bildpunkte zu Objekten vorliegen und zu einer in der Länge theoretisch nicht begrenzten finalen Bildaufnahme zusammengesetzt werden können.It is also advantageously possible to generate further image recordings in addition to the three image recordings that are essential for tracking, so that image points from the additional image recordings are also available to form objects and can be put together to form a final image recording that is theoretically not limited in length.
Vorteilhaft ist dies zudem möglich, ohne dass aufwändige Zusatzvorrichtung vorgesehen werden müssen. Vielmehr kann die erfindungsgemäße Lösung auf der Basis einer an sich bekannten und allgemein verfügbaren Stereokamera erfolgen.This is also advantageously possible without the need for complex additional devices. Rather, the solution according to the invention can be based on a known and generally available stereo camera.
In diesem Zusammenhang bedarf es zudem keiner exakten parallelen Ausrichtung der optischen Achsen der Bildkameras, da es lediglich auf die Bestimmung der Winkelposition und auf den lateralen Abstand zwischen den Bildkameras ankommt.In this context, there is no need for an exact parallel alignment of the optical axes of the image cameras, since all that matters is determining the angular position and the lateral distance between the image cameras.
Zudem ist es vorteilhaft, dass eine Fahrzeugoberflächenanalyse bei Fahrzeugen in Bewegung ermöglicht wird. So kann beispielsweise in einer Werkstatt automatisiert eine Fahrzeugoberflächenanalyse durchgeführt werden, wenn ein Fahrzeug in einen Inspektions- oder Reparaturplatz eingefahren wird.It is also advantageous that a vehicle surface analysis is made possible when vehicles are in motion. For example, a vehicle surface analysis can be carried out automatically in a workshop when a vehicle is in is brought into an inspection or repair area.
Nach einer vorteilhaften Weiterbildung ist die Fahrzeugoberflächenanalysevorrichtung dadurch gekennzeichnet, dass die Auswertungseinheit ausgebildet ist, den Raumkoordinaten (xn, yn, zn) Helligkeits- oder Farbwerte (gn) zuzuordnen und mittels der Datentupel (xn, yn, zn, gn) die finale Bildaufnahme zu erstellen.According to an advantageous development, the vehicle surface analysis device is characterized in that the evaluation unit is designed to assign brightness or color values (g n ) to the spatial coordinates (x n , y n , z n ) and by means of the data tuples (x n , y n , z n , g n ) to create the final image recording.
Vorteilhaft kann somit die finale Bildaufnahme sowohl Raumkoordinaten als auch ein visuelles Bild der Fahrzeugoberfläche beinhalten. Hierzu kann die finale Bildaufnahme vorzugsweise mehrere Layer aufweisen. Beschädigungen, Verformungen, Lackreparaturen oder sonstige Normabweichungen können optional mit Technologien der virtuellen Realitäten direkt angezeigt werden oder über Augmented Reality als Unterstützung für Reparaturentscheidungen oder -verfahren aufgearbeitet werden.The final image recording can therefore advantageously contain both spatial coordinates and a visual image of the vehicle surface. For this purpose, the final image recording can preferably have several layers. Damage, deformation, paint repairs or other deviations from the standard can optionally be displayed directly using virtual reality technologies or processed using augmented reality to support repair decisions or procedures.
Gemäß einer anderen Weiterbildung ist die Fahrzeugoberflächenanalysevorrichtung dadurch gekennzeichnet, dass die optischen Achsen der Bildkameras parallel angeordnet sind.According to another development, the vehicle surface analysis device is characterized in that the optical axes of the image cameras are arranged in parallel.
Durch die parallele Anordnung vereinfacht sich vorteilhaft das Rechenverfahren zur Ermittlung des 3D-Reliefs der Fahrzeugoberfläche.The parallel arrangement advantageously simplifies the calculation process for determining the 3D relief of the vehicle surface.
Entsprechen einer anderen vorteilhaften Weiterbildung ist die Fahrzeugoberflächenanalysevorrichtung dadurch gekennzeichnet, dass die Bildachsen der Bildkameras orthogonal zu der Relativbewegung des Fahrzeugs angeordnet sind. Die orthogonale Anordnung bietet den Vorteil, dass perspektivische Verzerrungen möglichst klein gehalten werden, was ebenso zu einer Verringerung der benötigten Rechenleistung und -zeit der Auswertungseinheit führt.According to another advantageous development, the vehicle surface analysis device is characterized in that the image axes of the image cameras are arranged orthogonally to the relative movement of the vehicle. The orthogonal arrangement offers the advantage that perspective distortions are kept as small as possible, which also leads to a reduction in the computing power and time required by the evaluation unit.
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zur Fahrzeugoberflächenanalyse.Another aspect of the invention relates to a method for vehicle surface analysis.
Die Beschreibungsinhalte zur erfindungsgemäßen Vorrichtung gelten zu dem erfindungsgemäßen Verfahren in entsprechender Weise unter Einbeziehung der nachfolgenden Aspekte.The description content of the device according to the invention applies in a corresponding manner to the method according to the invention, taking into account the following aspects.
Das Verfahren wird mittels der Bildkameraanordnung und der Auswertungseinheit durchgeführt und weist die nachfolgend beschriebenen Verfahrensschritte auf.
- a) Erfassen von Bildpunktdaten von Objektpunkten des Fahrzeugs mittels der Bildkameras zu einem ersten Zeitpunkt als eine erste Bildaufnahme und Übertragen an die Auswertungseinheit und Erzeugen eines ersten Zeitstempels.
- b) Durchführen einer gleichförmigen lateralen Relativbewegung des Fahrzeugs.
- c) Erfassen von Bildpunktdaten von Objektpunkten des Fahrzeugs mittels der Bildkameras zu einem zweiten Zeitpunkt als eine zweite Bildaufnahme und Übertragen an die Auswertungseinheit und Erzeugen eines zweiten Zeitstempels.
- d) Fortsetzen der gleichförmigen lateralen Relativbewegung des Fahrzeugs.
- e) Erfassen von Bildpunktdaten von Objektpunkten des Fahrzeugs mittels der Bildkameras zu einem dritten Zeitpunkt als eine dritte Bildaufnahme und Übertragen an die Auswertungseinheit und Erzeugen eines dritten Zeitstempels.
- a) Capturing pixel data from object points of the vehicle using the image cameras at a first time as a first image recording and transmitting it to the evaluation unit and generating a first time stamp.
- b) Performing a uniform lateral relative movement of the vehicle.
- c) capturing image point data from object points of the vehicle using the image cameras at a second time as a second image recording and transmitting it to the evaluation unit and generating a second time stamp.
- d) Continuing the uniform lateral relative movement of the vehicle.
- e) Capturing pixel data from object points of the vehicle using the image cameras at a third time as a third image recording and transmitting it to the evaluation unit and generating a third time stamp.
In der Gruppe der Verfahrensschritte a) bis e) werden die drei erfindungsgemäßen Bildaufnahmen erstellt, wobei hierbei das Fahrzeug die Relativbewegung quer zu den optischen Achsen der Bildkameras ausführt. Vorzugsweise wird das Fahrzeug für eine einfache Verfahrensführung vor den Bildkameras vorbeigefahren. Je gleichförmiger die Bewegung des Fahrzeugs auf der Messstrecke erfolgt, desto genauer sind die Messergebnisse. Allerdings kann aus der Vielzahl der weiteren Bildaufnahmen eine Fehlerkorrektur für die Geschwindigkeit auf bestimmten Abschnitten ermittelt werden, was zur Verbesserung des Ergebnisses führt. Im Ergebnis der Verfahrensschritte werden drei Bildaufnahmen jeweils mit einem Zeitstempel erhalten, wobei zwei der Bildaufnahmen von der einen Bildkamera und eine weitere Bildaufnahme von der anderen Bildkamera aufgenommen wurden.
- f) Identifizieren eines Objektpunkts mittels der ersten Bildaufnahme als einen Referenzobjektpunkt und Zuordnen von Koordinatendaten (x, y).
- f) identifying an object point using the first image recording as a reference object point and assigning coordinate data (x, y).
Vorteilhaft kann hier die Bildverarbeitung der Auswertungseinheit einen markanten Objektpunkt auswählen, so dass dieser dann in den beiden weiteren Aufnahmen ebenfalls zuverlässig erkennbar ist. Es kann sich insbesondere auch um einen solchen Objektpunkt handeln, der für die Fahrzeugoberflächenanalyse als solcher nicht von Interesse ist. Optional können auch mehrere Objektpunkte als Referenzobjektpunkte identifiziert werden.
- g) Erkennen des identifizierten Referenzobjektpunkts mittels der zweiten Bildaufnahme und zuordnen von Koordinatendaten (x', y') und erkennen des identifizierten Referenzobjektpunkts mittels der dritten Bildaufnahme und zuordnen von Koordinatendaten (x'', y'').
- g) recognizing the identified reference object point using the second image recording and assigning coordinate data (x', y') and recognizing the identified reference object point using the third image recording and assigning coordinate data (x'', y'').
Dieser Verfahrensschritt betrifft die Wiedererkennung des im Verfahrensschritt f) in einer der drei Bildaufnahmen identifizierten Referenzobjektpunkts in den beiden weiteren Bildaufnahmen. Diese Verfolgung des Merkmals wird auch als Feature Tracking bezeichnet. Das Feature Tracking ist erfindungsgemäß ein Hilfsmittel, um in Verbindung mit den Zeitstempeln eine Geschwindigkeit der Relativbewegung und damit eine Weg-Zeit-Beziehung zwischen den drei positionsessentiellen und optional weiteren Bildaufnahmen herstellen zu können.
- h) Bestimmen einer Relativgeschwindigkeit der lateralen Relativbewegung mittels
- - der Zeitstempel,
- - eines Abstands zwischen dem ersten und dem zweiten Bildkameraerfassungsbereich und
- - einer Winkelposition des identifizierten Objektspunkts in der ersten, zweiten und dritten Bildaufnahme
- h) Determining a relative speed of the lateral relative movement using
- - the timestamp,
- - a distance between the first and the second image camera detection area and
- - an angular position of the identified object point in the first, second and third image recordings
In diesem Verfahrensschritt wird zunächst der räumliche Abstand des identifizierten Referenzobjektpunkts errechnet. Dies erfolgt auf der Grundlage der jeweiligen Winkelposition in den Bildaufnahmen sowie zusätzlich auf der Grundlage des bekannten lateralen Abstands zwischen den Bildkameras. Auf dieser Basis kann dann anhand der zurückgelegten Wegstrecke und der Zeitdifferenz des markanten Referenzobjektpunkts zwischen den Bildaufnahmen die Geschwindigkeit des Objekts errechnet werden.
- i) Zuordnen von Flächenkoordinaten (xn, yn) zu weiteren Objektpunkten und zuordnen von Tiefenkoordinaten (zn) mittels,
- - der Zeitstempel,
- - des Abstands zwischen dem ersten und dem zweiten Bildkameraerfassungsbereich
- - einer Winkelposition weiterer Objektspunkte in einer der ersten, zweiten und dritten Bildaufnahmeaufnahme
- - und der Relativgeschwindigkeit
- i) assigning surface coordinates (x n , y n ) to further object points and assigning depth coordinates (z n ) using,
- - the timestamp,
- - the distance between the first and the second image camera detection area
- - an angular position of further object points in one of the first, second and third image recordings
- - and the relative speed
Aufgrund der Relativgeschwindigkeit und der Zeitinformation aus den Zeitstempeln ist nun der Abstand auch der weiteren Objektpunkte bestimmbar, wobei mittels Triangulation die Information der weiteren Objektpunkte um die Tiefenwerte als dritte Dimension erweitert wird. Es liegen nun für alle interessierenden Objektpunkte die Raumkoordinatendaten vor.
- j) Erzeugen einer finalen Bildaufnahme des Fahrzeugs mittels der erhaltenen Raumkoordinaten (xn, yn, zn)
- j) Generating a final image of the vehicle using the spatial coordinates obtained (x n , y n , z n )
In diesem letzten Verfahrensschritt werden die Raumkoordinaten der einzelnen Objektpunkte zu einem Gesamtbild der Fahrzeugoberfläche als digitales 3D-Objekt zusammengefügt. Damit wird die finale Bildaufnahme des Fahrzeugs erhalten.In this final process step, the spatial coordinates of the individual object points are combined to form an overall image of the vehicle surface as a digital 3D object. This creates the final image of the vehicle.
Das Verfahren bietet somit den Vorteil, dass ein vollständiger digitaler Zwilling der realen Fahrzeugoberfläche erstellt werden kann. Dies erfolgt zerstörungsfrei und ohne taktile Berührungen. Der digitale Zwilling kann nun zur elektronischen Analyse von Normabweichungen und zur Visualisierung genutzt werden.The process therefore offers the advantage that a complete digital twin of the real vehicle surface can be created. This is done non-destructively and without tactile contact. The digital twin can now be used for electronic analysis of standard deviations and for visualization.
Ferner treffen die bei der erfindungsgemäßen Fahrzeugoberflächenanalysevorrichtung beschriebenen Vorteile in entsprechender Weise auch auf das Verfahren zu. Furthermore, the advantages described in the vehicle surface analysis device according to the invention also apply in a corresponding manner to the method.
Das erfindungsgemäße Verfahren kann auch als dynamische Stereofotogrammetrie bezeichnet werden, welche erfindungsgemäß jedoch vorteilhaft auch ohne definierte Abstände der Fahrzeugoberfläche von den Bildkameras durchführbar ist.The method according to the invention can also be referred to as dynamic stereo photogrammetry, which according to the invention can advantageously also be carried out without defined distances between the vehicle surface and the image cameras.
In einer Weiterbildung ist das Verfahren zur Fahrzeugoberflächenanalyse dadurch gekennzeichnet, dass bei der Fortsetzung der lateralen Relativbewegung mindestens eine weitere Bildaufnahme und das Erzeugen eines weiteren Zeitstempels durchgeführt wird.In a further development, the method for vehicle surface analysis is characterized in that at least one further image recording and the generation of a further time stamp are carried out when the lateral relative movement continues.
Hierbei erfolgt das Zuordnen von Flächenkoordinaten (xn, yn) und von Tiefenkoordinaten (zn) in der weiteren Bildaufnahme zu den weiteren Objektpunkten. Auch das Zuordnen von Tiefenkoordinaten (zn) mittels des weiteren Zeitstempels, des Abstands zwischen dem ersten und dem zweiten Bildkameraerfassungsbereich, einer Winkelposition der weiteren Objektspunkte in der weiteren Bildaufnahmeaufnahme und der Relativgeschwindigkeit erfolgt dementsprechend. Im Verfahrensschritt j) erfolgt das Erzeugen einer finalen Bildaufnahme des Fahrzeugs mittels der erhaltenen Raumkoordinaten (xn, yn, zn) unter Einbeziehung der weiteren Bildaufnahme.This involves assigning area coordinates (x n , y n ) and depth coordinates (z n ) to the other object points in the further image recording. The assignment of depth coordinates (z n ) by means of the further time stamp, the distance between the first and the second image camera detection area, an angular position of the further object points in the further image recording and the relative speed also takes place accordingly. In method step j), a final image recording of the vehicle is generated using the spatial coordinates (xn, yn, zn) obtained, taking into account the further image recording.
Diese Weiterbildung beruht darauf, dass durch die aus den Verfahrensschritten a) bis h) bekannte Weg-Zeit-Beziehung für die Zuordnung mindestens einer weiteren Bildaufnahme über die drei erforderlichen tracking-essentiellen Bildaufnahmen hinaus herangezogen werden kann. Vorzugsweise handelt es sich jedoch um eine Mehrzahl zeitlicher sequentieller Bildaufnahmen.This further development is based on the fact that the path-time relationship known from method steps a) to h) can be used to assign at least one further image recording beyond the three required tracking-essential image recordings. However, it is preferably a plurality of temporally sequential image recordings.
Diese eine oder die mehreren weiteren Bildaufnahmen können sowohl interpolierend - also zwischen der ersten und der dritten Bildaufnahme - als auch extrapolierend vor der ersten oder nach der dritten Bildaufnahme erfolgen.These one or more additional image recordings can be done both interpolatingly - i.e. between the first and the third image recording - and extrapolating before the first or after the third image recording.
Vorteilhaft ist es sogar möglich, die drei erforderlichen tracking-essentiellen Bildaufnahmen lediglich für das Feature Tracking heranzuziehen und die Bildpunkte für die weiteren Objektpunkte, aus anderen, weiteren Bildaufnahmen bereitzustellen. It is advantageously even possible to use the three required tracking-essential image recordings only for the feature tracking and to provide the image points for the further object points from other, further image recordings.
Dadurch ist es möglich, für die tracking-essentiellen Bildaufnahmen und für die weiteren Bildaufnahmen jeweils unterschiedliche, an die jeweiligen Anforderungen angepasste Bedingungen wie Belichtungszeiten, zusätzliche Beleuchtungsquellen, geeignete Aufnahmewinkel und Ähnliches bereitzustellen. So kann eine besonders zuverlässige Objektpunktidentifizierung bei den tracking-essentiellen Bildaufnahmen auf der einen Seite und beispielsweise eine besonders gute Farbwiedergabe bei den weiteren Bildaufnahmen auf der anderen Seite erreicht werden.This makes it possible to provide different conditions adapted to the respective requirements, such as exposure times, additional lighting sources, suitable recording angles and the like, for the tracking-essential image recordings and for the further image recordings. In this way, particularly reliable object point identification can be achieved in the tracking-essential image recordings on the one hand and, for example, particularly good color reproduction in the further image recordings on the other side.
Gemäß einer weiteren vorteilhaften Weiterbildung des Verfahrens zur Fahrzeugoberflächenanalyse ist dieses dadurch gekennzeichnet, dass Helligkeits- oder Farbwerte (gn) aus mindestens einer Bildaufnahme zu den Raumkoordinaten (xn, yn, zn) zugeordnet werden und dass die finale Bildaufnahme mittels der so erhaltenen Datentupel (xn, yn, zn, gn) erstellt wird.According to a further advantageous development of the method for vehicle surface analysis, this is characterized in that brightness or color values (g n ) from at least one image recording are assigned to the spatial coordinates (x n , y n , z n ) and that the final image recording is done using the so obtained data tuple (x n , y n , z n , g n ) is created.
Diese Weiterbildung sieht eine Lösung vor, bei der die finale Bildaufnahme sowohl Informationen zur räumlichen Struktur der Fahrzeugoberfläche, als auch zu deren visuellen Erscheinungsbild beinhaltet. Diese Informationen können bevorzugt durch mehrere Layer der finalen Bildaufnahme ausgegeben werden.This further development provides a solution in which the final image capture contains information about the spatial structure of the vehicle surface as well as its visual appearance. This information can preferably be output through several layers of the final image recording.
Die Erfindung wird als Ausführungsbeispiel anhand von
-
1 schematische Darstellung der Fahrzeugoberflächenanalysevorrichtung beim Einfahren des Fahrzeugs in den Messbereich -
2 schematische Darstellung der Fahrzeugoberflächenanalysevorrichtung beim Durchfahren des Fahrzeugs innerhalb des Messbereichs -
3 schematische Darstellung der Fahrzeugoberflächenanalysevorrichtung beim Ausfahren des Fahrzeugs aus dem Messbereich
-
1 Schematic representation of the vehicle surface analysis device as the vehicle enters the measuring area -
2 Schematic representation of the vehicle surface analysis device as the vehicle drives through within the measuring range -
3 Schematic representation of the vehicle surface analysis device as the vehicle leaves the measuring area
Hierbei beziehen sich gleiche Bezugszeichen in den verschiedenen Figuren auf jeweils gleiche Merkmale oder Bauteile. Die Bezugszeichen werden in der Beschreibung auch dann verwandt, sofern sie in der betreffenden Figur nicht dargestellt sind.The same reference numbers in the different figures refer to the same features or components. The reference numbers are used in the description even if they are not shown in the relevant figure.
Die
Die Vorrichtung besteht aus der Bildkameraanordnung 1 und der Auswertungseinheit 4. Die Bildkameraanordnung 1 mit der ersten Bildkamera 1.1 und der zweiten Bildkamera 1.2 ist mit der Auswertungseinheit 4 verbunden, so dass die Bildaufnahmen an die Auswertungseinheit 4 übertragen werden.The device consists of the
Die erste Bildachse 3.1 der ersten Bildkamera 1.1 und die zweite Bildachse 3.2 der zweiten Bildkamera 1.2 sind mit einem definierten Abstand 3.3 parallel zueinander angeordnet. Die erste Bildkamera 1.1 weist den ersten Bildkameraerfassungsbereich 2.1 und die zweite Bildkamera 1.2 weist den zweiten Bildkameraerfassungsbereich 2.2 auf.The first image axis 3.1 of the first image camera 1.1 and the second image axis 3.2 of the second image camera 1.2 are arranged parallel to one another at a defined distance 3.3. The first image camera 1.1 has the first image camera detection area 2.1 and the second image camera 1.2 has the second image camera detection area 2.2.
Das Fahrzeug 5 bewegt sich zur Durchführung des Verfahrens zu Fahrzeugoberflächenanalyse lateral zu den Bildachsen 3.1, 3.2 der Bildkameras 1.1, 1.2 in deren Bildkameraerfassungsbereiche 2.1, 2.2 hinein. Dies ist durch den nach links zeigenden Pfeil dargestellt. Zu einem ersten Zeitpunkt t1 wird im Ausführungsbeispiel von der zweiten Bildkamera 1.2 eine erste Bildaufnahme aufgenommen. Die Winkelposition eines Objektpunkts der durch die Auswertungseinheit 4 identifiziert und nachfolgend als Referenzobjektpunkt 6 bezeichnet wird, ist durch einen von der zweiten Bildkamera 1.2 ausgehenden Pfeil veranschaulicht.To carry out the vehicle surface analysis method, the
Die
Die
Nachfolgend werden die drei Bildaufnahmen in der Auswertungseinheit 3 analysiert. Bei der Auswertung wird ein Objektpunkt, bei dem es sich hier um den Referenzobjektpunkt 6 handelt, als ein spezielles Feature erkannt und getrackt, sodass die Relativgeschwindigkeit des Fahrzeugs 5 ermittelt werden kann.The three image recordings are then analyzed in the evaluation unit 3. During the evaluation, an object point, which here is the
Anhand der Zeitstempel und der errechneten Relativgeschwindigkeit des Fahrzeugs 5, die die Weg-Zeit-Beziehung definiert, können in den Bildaufnahmen aufgenommene Bildpunkte von weiteren Objektpunkten einander zugeordnet werden.Based on the time stamp and the calculated relative speed of the
Durch die Stereokameraaufnahmen kann ein Relief der Fahrzeugoberfläche erstellt werden, bei dem jeder Objektpunkt als Bildpunkt mit einem Zahlentupel (xn, yn, zn) als Raumkoordinate beschrieben ist. Die somit erzeugte finale Bildaufnahme wird von der Auswertungseinheit 5 als digitales Abbild der Fahrzeugfläche ausgegeben und kann optional elektronisch weiterverarbeitet werden.The stereo camera recordings can be used to create a relief of the vehicle surface, in which each object point is described as an image point with a number tuple (x n , y n , z n ) as the spatial coordinate. The final image recording thus generated is output by the
Verwendete BezugszeichenReference symbols used
- 11
- BildkameraanordnungImage camera arrangement
- 1.11.1
- erste Bildkamerafirst image camera
- 1.21.2
- zweite Bildkamerasecond image camera
- 2.12.1
- erster Bildkameraerfassungsbereichfirst image camera detection area
- 2.22.2
- zweiter Bildkameraerfassungsbereichsecond image camera detection area
- 3.13.1
- erste Bildachsefirst image axis
- 3.23.2
- zweite Bildachsesecond image axis
- 3.33.3
- lateraler Abstandlateral distance
- 44
- AuswertungseinheitEvaluation unit
- 55
- Fahrzeugvehicle
- 66
- ReferenzobjektpunktReference object point
Claims (7)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022002668.6A DE102022002668A1 (en) | 2022-07-21 | 2022-07-21 | Vehicle surface analysis device and method for vehicle surface analysis |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022002668.6A DE102022002668A1 (en) | 2022-07-21 | 2022-07-21 | Vehicle surface analysis device and method for vehicle surface analysis |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102022002668A1 true DE102022002668A1 (en) | 2024-02-01 |
Family
ID=89508434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102022002668.6A Pending DE102022002668A1 (en) | 2022-07-21 | 2022-07-21 | Vehicle surface analysis device and method for vehicle surface analysis |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102022002668A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019186545A1 (en) | 2018-03-29 | 2019-10-03 | Uveye Ltd. | System of vehicle inspection and method thereof |
US20200098122A1 (en) | 2018-05-04 | 2020-03-26 | Aquifi, Inc. | Systems and methods for three-dimensional data acquisition and processing under timing constraints |
CN112470188A (en) | 2018-05-25 | 2021-03-09 | 艾奎菲股份有限公司 | System and method for multi-camera placement |
US20210396684A1 (en) | 2019-09-11 | 2021-12-23 | Proov Station | Assembly for detecting defects on a motor vehicle bodywork |
-
2022
- 2022-07-21 DE DE102022002668.6A patent/DE102022002668A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019186545A1 (en) | 2018-03-29 | 2019-10-03 | Uveye Ltd. | System of vehicle inspection and method thereof |
US20200098122A1 (en) | 2018-05-04 | 2020-03-26 | Aquifi, Inc. | Systems and methods for three-dimensional data acquisition and processing under timing constraints |
CN112470188A (en) | 2018-05-25 | 2021-03-09 | 艾奎菲股份有限公司 | System and method for multi-camera placement |
US20210396684A1 (en) | 2019-09-11 | 2021-12-23 | Proov Station | Assembly for detecting defects on a motor vehicle bodywork |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE19636028C1 (en) | Stereo image object detection, esp. for road vehicles | |
DE102015002760B4 (en) | Robot simulation system that simulates the process of removing workpieces | |
DE102008041523B4 (en) | Method for three-dimensional measurement and device for three-dimensional measurement | |
DE10020893B4 (en) | Method for optical shape detection of objects | |
DE102017116952A1 (en) | SYSTEM AND METHOD FOR IMPROVED SCORING OF 3D LAYERS AND REMOVAL OF DISTURBANCES IN 3D IMAGE DATA | |
DE10326943A1 (en) | Autonomous vehicle and associated method and device for motion determination, motion control and object detection | |
DE10137241A1 (en) | Arrangement, for detecting and measuring objects, optically projects markers onto object, records partial views of object in global coordinate system using information re-detected markers | |
DE102005034597A1 (en) | Method and device for generating a depth map | |
DE102016200386B4 (en) | Method for controlling a manipulator system | |
DE112016006262T5 (en) | Three-dimensional scanner and processing method for measuring support for this | |
DE102021103726A1 (en) | Measurement parameter optimization method and device as well as computer control program | |
DE102017011177A1 (en) | Method for determining a bending angle of a vehicle combination, determination device and vehicle combination | |
DE2259762B2 (en) | Process for the automatic evaluation of stereo images | |
EP1098268A2 (en) | Method for the threedimensional optical measurement of object surfaces | |
DE102005060980B4 (en) | Method and system for determining a collision-free three-dimensional space volume along a movement path with respect to a real environment | |
DE102022002668A1 (en) | Vehicle surface analysis device and method for vehicle surface analysis | |
DE202022001640U1 (en) | Vehicle surface analysis device | |
DE102008026657A1 (en) | Method for imaged representation of three dimensional acoustic objects as measuring object, involves bringing images in relation to acoustic reference image of measuring object immediately or at time point | |
DE3817321A1 (en) | Method and device for carrying out the dimensional checking (inspection) of a workpiece in an optoelectronic way | |
EP1756748B1 (en) | Method for the classification of an object by means of a stereo camera | |
EP2902963B1 (en) | Method for producing an image of an object | |
EP3561772B1 (en) | Method for calibrating an linescanning image recording unit | |
DE102004050020B4 (en) | Evaluation device and evaluation method for a crash test | |
WO2012052308A1 (en) | Determination of the base width of a stereo image capture system | |
EP3985608B1 (en) | Computer-implemented method for creating multidimensional object data structures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |