DE102017221381A1 - Method, apparatus and computer program for determining a distance to an object - Google Patents

Method, apparatus and computer program for determining a distance to an object Download PDF

Info

Publication number
DE102017221381A1
DE102017221381A1 DE102017221381.7A DE102017221381A DE102017221381A1 DE 102017221381 A1 DE102017221381 A1 DE 102017221381A1 DE 102017221381 A DE102017221381 A DE 102017221381A DE 102017221381 A1 DE102017221381 A1 DE 102017221381A1
Authority
DE
Germany
Prior art keywords
learning system
machine learning
images
distance
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017221381.7A
Other languages
German (de)
Inventor
Johannes Maximilian Doellinger
Joerg Wagner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102017221381.7A priority Critical patent/DE102017221381A1/en
Priority to EP18807901.6A priority patent/EP3718045A1/en
Priority to CN201880076963.6A priority patent/CN111373411A/en
Priority to PCT/EP2018/081222 priority patent/WO2019105737A1/en
Publication of DE102017221381A1 publication Critical patent/DE102017221381A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (20) zum Ermitteln eines Abstandes zu einem Objekt, umfassend die folgenden Schritte: Erfassen von mindestens zwei Bildern (12a,12b), wobei zum Erfassen wenigstens eines ersten der mindestens zwei Bilder (12b) ein vor einer Kamera angeordneter Polarisationsfilter (13) verwendet wird. Ermitteln des Abstandes anhand eines zweiten der mindestens zwei erfassten Bilder (12b) mittels eines maschinellen Lernsystems (11), wobei das maschinelle Lernsystem (11) während des Ermittelns des Abstandes auch das erste der mindestens zwei erfassten Bilder (12a) verwendet, um eine Reflexion in einem der mindestens zwei erfassten Bilder (12a,12b) beim Ermitteln des Abstandes nicht zu berücksichtigen. Die Erfindung betrifft ferner ein Computerprogramm und eine Vorrichtung zum Ausführen des Verfahrens (20) und ein maschinenlesbares Speicherelement (16), auf dem das Computerprogramm gespeichert ist.

Figure DE102017221381A1_0000
The invention relates to a method (20) for determining a distance to an object, comprising the following steps: detecting at least two images (12a, 12b), wherein for capturing at least a first of the at least two images (12b) arranged in front of a camera Polarizing filter (13) is used. Determining the distance from a second of the at least two captured images (12b) by means of a machine learning system (11), wherein the machine learning system (11) also uses the first of the at least two captured images (12a) to determine a reflection while determining the distance in one of the at least two captured images (12a, 12b) in determining the distance not to be considered. The invention further relates to a computer program and a device for carrying out the method (20) and a machine-readable memory element (16) on which the computer program is stored.
Figure DE102017221381A1_0000

Description

Technisches GebietTechnical area

Die Erfindung betrifft ein Verfahren zum Ermitteln eines Abstandes zu einem Objekt. Ebenso betrifft die Erfindung ein Computerprogramm und eine Vorrichtung, die jeweils eingerichtet sind, das Verfahren auszuführen.The invention relates to a method for determining a distance to an object. Likewise, the invention relates to a computer program and apparatus each adapted to carry out the method.

Stand der TechnikState of the art

Die DE 102011081384 B4 offenbart ein Verfahren zur Abstandsbestimmung mit den folgenden Schritten: Ermitteln eines zeitlichen Versatzes zwischen einer Veränderung einer Abstrahlcharakteristik eines Scheinwerfers eines Fahrzeugs und einer Auswirkung der Veränderung der Abstrahlcharakteristik auf einen Bildbereich eines Bildes. Bestimmen eines Abstands zu einem durch den Bildbereich abgebildeten Objekt in dem Umfeld des Fahrzeugs, basierend auf dem zeitlichen Versatz.The DE 102011081384 B4 discloses a method of determining a distance, comprising the steps of: determining a time offset between a change in a radiation characteristic of a headlamp of a vehicle and an effect of a change in the radiation characteristic on an image area of an image. Determining a distance to an object imaged by the image area in the environment of the vehicle based on the time offset.

Die DE 102011005368 A1 offenbart ein Fahrerassistenzsystem zum Rangieren und/oder zum Einparken eines Fahrzeuges mit einer Videokamera. Es wird ein Videobild mit einem Objekt, das sich in der Umgebung des Fahrzeuges befindet, ermittelt und dieses Videobild wird mit weiteren ermittelten Informationen (z.B. ein Abstand zu dem Objekt) angereichert.The DE 102011005368 A1 discloses a driver assistance system for maneuvering and / or parking a vehicle with a video camera. It is a video image with an object that is located in the environment of the vehicle, determined and this video image is enriched with other information determined (eg, a distance to the object).

Vorteile der ErfindungAdvantages of the invention

Das Verfahren mit den Merkmalen des unabhängigen Anspruchs 1 und die Vorrichtung mit den Merkmalen des unabhängigen Anspruchs 6 haben demgegenüber die folgenden Vorteile: Es wird eine zuverlässigere Ermittlung einer Distanz zu einem Objekt anhand eines erfassten Bildes erzielt, wobei die Ermittlung nicht durch eine Reflexion negativ beeinflusst wird. Reflexionen von Objekten auf glatten bzw. spiegelnden Oberflächen können dazu führen, dass Entfernungsmessungen ausschließlich anhand von Bildern falsche Ergebnisse liefern. Das Verfahren und die Vorrichtung stellen daher eine einfache und kostengünstige Möglichkeit dar, eine robustere und zuverlässigere Entfernungsmessung durchzuführen, die nicht durch Reflexionen beeinträchtigt oder getäuscht wird. Ein weiterer Vorteil ist, dass durch das maschinelle Lernsystem keine komplexen Bildverarbeitungsalgorithmen entwickelt werden müssen, die als Erstes ein Objekt in einem Bild detektieren, als Zweites deren zugehörigen Abstand bzw. eine zugehörige Tiefeninformation aus dem Bild ermitteln und dabei Robust gegenüber Reflexionen sind. Das maschinelle Lernsystem entwickelt eigenständig durch bereitgestellte Trainingsdaten eine Methodik, um den Abstand zu einem Objekt zu ermitteln und auch Reflexionen in den erfassten Bildern zu erkennen und entsprechend zu berücksichtigen. Dies führt dazu, dass das Verfahren und die Vorrichtung während der Ermittlung des Abstandes nicht durch Reflexionen getäuscht werden und deshalb zuverlässiger Abstände ermitteln.The method having the features of independent claim 1 and the device having the features of independent claim 6, on the other hand, have the following advantages: a more reliable determination of a distance to an object from a captured image is achieved, wherein the determination is not adversely affected by reflection becomes. Reflecting objects on smooth or mirrored surfaces can cause distance measurements based on images to produce incorrect results. The method and apparatus therefore provide a simple and cost effective way of making a more robust and reliable range finding that is unaffected by reflections or deceived. A further advantage is that the machine learning system does not require the development of complex image processing algorithms which firstly detect an object in an image, secondly determine their associated distance or associated depth information from the image and are thereby robust to reflections. The machine learning system independently develops training data provided by a methodology to determine the distance to an object and to recognize reflections in the captured images and to take into account accordingly. As a result, during the determination of the distance, the method and the device are not deceived by reflections and therefore determine reliable distances.

Offenbarung der ErfindungDisclosure of the invention

In einem ersten Aspekt betrifft die Erfindung ein Verfahren zum Ermitteln eines Abstandes zu einem Objekt. Das Verfahren umfasst folgende Schritte:

  • - Erfassen von mindestens zwei Bildern. Zum Erfassen wenigstens eines ersten der mindestens zwei Bilder wird ein vor einer Kamera angeordneter Polarisationsfilter verwendet.
  • - Ermitteln des Abstandes anhand eines zweiten der mindestens zwei erfassten Bilder mittels eines maschinellen Lernsystems. Das maschinelle Lernsystem verwendet während des Ermittelns des Abstandes auch das erste der mindestens zwei erfassten Bilder, um eine Reflexion in einem der mindestens zwei erfassten Bilder beim Ermitteln des Abstandes nicht zu berücksichtigen.
In a first aspect, the invention relates to a method for determining a distance to an object. The method comprises the following steps:
  • - Capture at least two images. For detecting at least a first of the at least two images, a polarization filter arranged in front of a camera is used.
  • Determining the distance based on a second of the at least two captured images by means of a machine learning system. The machine learning system also uses the first of the at least two captured images during the determination of the distance to disregard reflection in one of the at least two captured images when determining the distance.

Unter „Ermitteln eines Abstandes zu einem Objekt“ kann verstanden werden, dass ein Abstand, insbesondere eine Entfernung, zwischen einem vorgebbaren Referenzpunkt und dem Objekt ermittelt wird. Vorzugsweise entspricht der Referenzpunkt der Position, an welcher sich die Kamera befindet. Der Referenzpunkt kann sich aber auch vor bzw. hinter der Kamera befinden. Es sei angemerkt, dass das Verfahren unabhängig von der Position des Referenzpunktes ist, da je nach gewählten Referenzpunkt das maschinelle Lernsystem passend angelernt werden kann. Unter einer Reflexion kann jede Art von auftretenden Spiegelbilder eines Objektes verstanden werden. Beispielhaft kann durch eine reflektierende Oberfläche das Spiegelbild eines Objektes oder eine Verzerrung und/oder eine Verdrehung des Spiegelbilds auftreten, welche im Folgenden mit dem Begriff Reflexion bezeichnet werden.By "determining a distance to an object" it can be understood that a distance, in particular a distance, between a predefinable reference point and the object is determined. Preferably, the reference point corresponds to the position at which the camera is located. The reference point can also be in front of or behind the camera. It should be noted that the method is independent of the position of the reference point, since depending on the selected reference point, the machine learning system can be adapted appropriately. A reflection can be understood as any type of mirror image of an object that occurs. By way of example, the mirror image of an object or a distortion and / or a rotation of the mirror image may occur through a reflective surface, which are referred to below as the term reflection.

Die mindestens zwei erfassten Bilder können entweder gleichzeitig oder unmittelbar nacheinander, insbesondere an einem vorgebbaren Zeitpunkt, erfasst werden. Die Bilder können auch mittels mehren unterschiedlich positionierten Kameras erfasst werden.The at least two acquired images can be recorded either simultaneously or immediately one after the other, in particular at a predefinable time. The images can also be captured by means of several differently positioned cameras.

Der Vorteil gemäß dieses Verfahrens ist, dass dem maschinellen Lernsystem durch die mindestens zwei erfassten Bilder, die unterschiedlich gefiltert sind, ausreichend Information zur Verfügung gestellt werden, dass die Reflexion die Abstandsermittlung nicht beeinträchtigt. Beispielsweise ist eines der erfassten Bilder ungefiltert und das andere Bild mit einem Polarisationsfilter gefiltert oder beide sind mit einem Polarisationsfilter gefiltert erfasst worden, wobei die Polarisationsfilter jeweils eine unterschiedliche Ausrichtung der Polarisationseben aufweisen.The advantage of this method is that sufficient information is provided to the machine learning system through the at least two captured images that are differently filtered that the reflection does not affect the distance determination. For example, one of the captured images is unfiltered and the other image Filtered with a polarizing filter or both have been detected filtered with a polarizing filter, wherein the polarizing filter each have a different orientation of the polarization planes.

Besonders vorteilhaft ist, wenn das maschinelle Lernsystem derart angelernt wird, dass das maschinelle Lernsystem anhand des zweiten der mindestens zwei erfassten Bilder den Abstand ermittelt. Des Weiteren kann in dieser Ausführungsform das maschinelle Lernsystem derart angelernt werden, dass das maschinelle Lernsystem anhand des ersten der mindestens zwei erfassten Bilder die Reflexion beim Ermitteln des Abstandes nicht berücksichtigt.It is particularly advantageous if the machine learning system is taught in such a way that the machine learning system determines the distance on the basis of the second of the at least two captured images. Furthermore, in this embodiment, the machine learning system can be taught in such a way that the machine learning system does not consider the reflection when determining the distance on the basis of the first of the at least two captured images.

Der Vorteil gemäß dieses Verfahrens ist, dass durch das Anlernen des maschinellen Lernsystems, dieses eigenständig eine Abstandsermittlung erlernt. Daher müssen hierfür keine komplexen Algorithmen entwickelt werden, um diese komplexe Bildverarbeitungsaufgabe zu lösen. Ferner ist das angelernte maschinelle Lernsystem im Betrieb recheneffizienter bzw. schneller als herkömmliche Bildverarbeitungsalgorithmen zur Entfernungsmessung anhand erfasster Bilder. Denn das Anlernen des maschinellen Lernsystems gleicht einer Optimierung des maschinellen Lernsystems in jeglicher Hinsicht und des Weiteren können maschinelle Lernsysteme, insbesondere neuronale Netze, durch eine Verkettung der Rechenoperationen in dem maschinellen Lernsystem eine höhere Leistungsfähigkeit erreichen.The advantage of this method is that by learning the machine learning system, it learns independently a distance determination. Therefore, no complex algorithms have to be developed for this to solve this complex image processing task. Furthermore, the learned machine learning system is more computationally efficient in operation than conventional image processing algorithms for distance measurement based on acquired images. For learning the machine learning system is like optimizing the machine learning system in all respects, and further, machine learning systems, especially neural networks, can achieve higher performance by concatenating the arithmetic operations in the machine learning system.

Besonders vorteilhaft ist, wenn das maschinelle Lernsystem zusätzlich angelernt wird, eine Objektklassifikation anhand des zweiten der mindestens zwei erfassten Bilder zu ermitteln und die Reflexion anhand des ersten der mindestens zwei erfassten Bilder beim Ermitteln der Objektklassifikation nicht zu berücksichtigen. Vorteilhaft ist ferner, wenn das maschinelle Lernsystem beim Ermitteln des Abstandes auch die Objektklassifikation ermittelt.It is particularly advantageous when the machine learning system is additionally trained to determine an object classification based on the second of the at least two captured images and not to consider the reflection based on the first of the at least two captured images in determining the object classification. It is also advantageous if the machine learning system determines the object classification when determining the distance.

Dies hat den Vorteil, dass innerhalb eines Verarbeitungsschrittes des maschinellen Lernsystems neben der Entfernungsmessung auch die Objektklassifikation durchgeführt wird, wodurch aus den erfassten Bildern mehrere Informationen gleichzeitig extrahiert werden können.This has the advantage that, in addition to the distance measurement, the object classification is carried out within a processing step of the machine learning system, as a result of which a plurality of information can be extracted simultaneously from the acquired images.

Ebenfalls besonders vorteilhaft ist, wenn an vorgebbaren nacheinander folgenden Zeitpunkten jeweils mindestens zwei Bilder erfasst werden und das maschinelle Lernsystem zusätzlich angelernt wird, um einen optischen Fluss zu ermitteln und auch angelernt wird, die Reflexion beim Ermitteln des optischen Flusses nicht zu berücksichtigen. Des Weiteren ermittelt das maschinelle Lernsystem einen optischen Fluss anhand von den an den vorgebbaren nacheinander folgenden Zeitpunkten erfassten Bildern.It is also particularly advantageous if at least two images are acquired at predefinable successive times and the machine learning system is additionally taught in order to determine an optical flow and also learn to disregard the reflection when determining the optical flow. Furthermore, the machine learning system determines an optical flow on the basis of the images acquired at the predeterminable consecutive times.

Unter dem optischen Fluss kann eine Größe, insbesondere ein Vektor, verstanden werden, die eine Bewegung eines Punktes in dem Bild charakterisiert, beispielsweise eine Geschwindigkeit und/oder eine Richtung dieses Punktes relativ zu einem gewählten Bezugspunkt. Vorteilhaft ist, wenn der Bezugspunkt des optischen Flusses und der Referenzpunkt der Ermittlung des Abstands auf einer identischen Position liegen.The optical flow can be understood to mean a variable, in particular a vector, which characterizes a movement of a point in the image, for example a speed and / or a direction of this point relative to a selected reference point. It is advantageous if the reference point of the optical flow and the reference point of the determination of the distance are in an identical position.

Vorteilhaft ist, wenn die erfassten Bilder gespeichert werden und das maschinelle Lernsystem mittels der gespeicherten erfassten Bildern nachgelernt wird. Dies weist den Vorteil auf, dass das Verfahren zum Ermitteln des Abstandes mit den erfassten Bildern weiter verbessert wird, um eine höhere Genauigkeit der Abstandsmessung zu erzielen.It is advantageous if the captured images are stored and the machine learning system is learned by means of the stored captured images. This has the advantage that the method for determining the distance with the acquired images is further improved in order to achieve a higher accuracy of the distance measurement.

Vorteilhaft ist, wenn abhängig von dem Ergebnis der Ermittlung des Abstandes ein Aktor angesteuert wird. Der Aktor kann eine zumindest teilautonome Maschine wie z.B. ein Roboter oder ein Fahrzeug sein. Ferner ist vorteilhaft, wenn das maschinelle Lernsystem ein tiefes neuronales Netz, insbesondere ein „Convolutional Neural Network“ oder ein „Recurrent Neural Network“ ist.It is advantageous if, depending on the result of determining the distance, an actuator is actuated. The actuator may comprise an at least partially autonomous machine, such as be a robot or a vehicle. Furthermore, it is advantageous if the machine learning system is a deep neural network, in particular a "convolutional neural network" or a "recurrent neural network".

In einem weiteren Aspekt betrifft die Erfindung eine Vorrichtung, die eingerichtet ist, das Verfahren nach dem ersten Aspekt der Erfindung auszuführen. Die Vorrichtung umfasst folgende Merkmale: Zumindest eine Kamera zum Erfassen der mindestens zwei Bilder und zumindest einen Polarisationsfilter. Der Polarisationsfilter ist vor der Kamera angeordnet und wird zum Erfassen des ersten der mindestens zwei Bilder verwendet. Die Vorrichtung umfasst auch das maschinelle Lernsystem.In another aspect, the invention relates to a device adapted to carry out the method according to the first aspect of the invention. The device comprises the following features: At least one camera for capturing the at least two images and at least one polarization filter. The polarizing filter is arranged in front of the camera and is used to capture the first of the at least two images. The device also includes the machine learning system.

Vorteilhaft ist, wenn die Vorrichtung auch den Aktor, insbesondere eine zumindest teilautonome Maschine wie z.B. einen Roboter oder ein Fahrzeug, umfasst. Ferner ist vorteilhaft, wenn das maschinelle Lernsystem ein tiefes neuronales Netz, insbesondere ein „Convolutional Neural Network“ oder ein „Recurrent Neural Network“ ist.It is advantageous if the device also includes the actuator, in particular an at least partially autonomous machine such as e.g. a robot or a vehicle. Furthermore, it is advantageous if the machine learning system is a deep neural network, in particular a "convolutional neural network" or a "recurrent neural network".

Der Vorteil der Vorrichtung ist, dass mittels des insbesondere linearen, Polarisationsfilters Reflexionen, die unpolarisiert sind, herausgefiltert werden, sodass das erfasste Bild ein zumindest teilweise reflexionsfreies Bild ist. Mittels des maschinellen Lernsystems kann hierauf eine genaue Abstandsermittlung durchgeführt werden, die nicht durch die Reflexion beeinträchtig wird.The advantage of the device is that reflections which are unpolarized are filtered out by means of the in particular linear, polarization filter, so that the captured image is an at least partially reflection-free image. By means of the machine learning system can be carried out on this a precise distance determination, which is not affected by the reflection.

Vorteilhaft ist, wenn eine Mehrzahl von unterschiedlichen Polarisationsfiltern verwendet wird und die Kamera jeweils ein gefiltertes Bild mittels einer der unterschiedlichen Polarisationsfilter erfasst. Vorteilig hieran ist, dass durch die Mehrzahl von unterschiedlich polarisationsgefilterten Bildern mit jeweils unterschiedlichen Polarisationsfiltern ein Bild vorhanden ist, welches mit einer geeigneten Ausrichtung des Polarisationsfilters aufgenommen wurde, sodass dieses Bild ein reflexionsfreies Bild ist bzw. ein Ausschnitt des Bildes reflexionsfrei ist. Dadurch stehen mehrere unterschiedlich gefilterte Bilder zur Verfügung, wodurch die Genauigkeit und Zuverlässigkeit der Abstandsermittlung zusätzlich erhöht werden kann.It is advantageous if a plurality of different polarizing filters is used and each camera captures a filtered image using one of the different polarizing filters. An advantage of this is that an image is present through the plurality of different polarization filtered images, each with different polarization filters, which was recorded with a suitable orientation of the polarizing filter, so that this image is a reflection-free image or a section of the image is free of reflection. As a result, several differently filtered images are available, whereby the accuracy and reliability of the distance determination can be further increased.

Ebenso vorteilhaft ist, wenn eine Polarisationsebene einer der Polarisationsfilter zu den Polarisationsebenen der weiteren Polarisationsfilter nicht gleich ausgerichtet ist.It is also advantageous if a polarization plane of one of the polarization filters is not aligned identically to the polarization planes of the further polarization filters.

Vorteilhaft ist ferner, wenn der Polarisationsfilter mehrere hintereinander angeordnete Polarisationsfilter umfasst, wobei eine der Polarisationsebenen der hintereinander angeordneten Polarisationsfilter nicht senkrecht zu den jeweiligen Polarisationsebenen der hintereinander angeordneten Polarisationsfilter liegt. Der Vorteil ist, dass das polarisationsgefilterte Bild stärker reduzierte Reflexionen enthalten kann.It is also advantageous if the polarization filter comprises a plurality of successively arranged polarization filter, wherein one of the polarization planes of the successively arranged polarization filter is not perpendicular to the respective polarization planes of the successively arranged polarization filter. The advantage is that the polarization-filtered image can contain more reduced reflections.

In einer Weiterentwicklung der Vorrichtung ist der Polarisationsfilter ein zirkularer Polarisationsfilter. Dies weist den Vorteil auf, dass zirkulare Polarisationsfilter eine höhere Kompatibilität mit den üblicherweise verwendeten digitalen Kameras aufweisen, die z.B. einen Autofokus oder einen automatisierten Belichtungsmesser haben.In a further development of the device, the polarization filter is a circular polarization filter. This has the advantage that circular polarizing filters have higher compatibility with commonly used digital cameras, e.g. have an autofocus or an automated light meter.

Besonders vorteilhaft ist, wenn der Polarisationsfilter zusätzlich einen Farbfilter umfasst. Der Vorteil hierbei ist, dass typischerweise Polarisationsfilter verstärkt den Blauanteil des Lichts herausfiltern, da dieser durch die Streuung des Lichts in der Atmosphäre stark unpolarisiert ist. Deshalb kann durch den Farbfilter der verstärkten Reduktion des Blauanteils entgegengewirkt und eine Farbneutralität der Bilder bewahrt werden.It is particularly advantageous if the polarization filter additionally comprises a color filter. The advantage here is that polarizing filters typically filter out the blue portion of the light, as it is highly unpolarized by the scattering of the light in the atmosphere. Therefore, the color filter can counteract the increased reduction of the blue component and preserve the color neutrality of the images.

In einem weiteren Aspekt betrifft die Erfindung ein Computerprogramm, welches eingerichtet ist, eines der oben genannten Verfahren auszuführen, also Anweisungen umfasst, die einen Computer veranlassen, eines der oben genannten Verfahren mit all seinen Schritten auszuführen, wenn das Computerprogramm auf diesem Computer abläuft. Ferner betrifft die Erfindung ein maschinenlesbares Speicherelement, auf welchem das Computerprogramm gespeichert ist.In a further aspect, the invention relates to a computer program which is arranged to execute one of the above-mentioned methods, ie comprises instructions which cause a computer to execute one of the above-mentioned methods in all its steps when the computer program runs on that computer. Furthermore, the invention relates to a machine-readable storage element on which the computer program is stored.

Ausführungsbeispiele der vorliegenden Erfindung sind in den beiliegenden Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Dabei zeigen:Embodiments of the present invention are illustrated in the accompanying drawings and explained in more detail in the following description. Showing:

Figurenlistelist of figures

  • 1 eine schematische Darstellung einer Vorrichtung zum Ermitteln eines Abstandes zu einem Objekt; und 1 a schematic representation of a device for determining a distance to an object; and
  • 2 eine schematische Darstellung einer Ausführungsform eines Verfahren zum Ermitteln eines Abstandes zu einem Objekt. 2 a schematic representation of an embodiment of a method for determining a distance to an object.

1 zeigt eine schematische Darstellung einer beispielhaften Vorrichtung (10) für eine zuverlässige und robuste Ermittlung eines Abstandes zu einem Objekt anhand eines erfassten Bildes. Die Ermittlung des Abstandes wird durch unerwünschte Reflexionen, insbesondere durch Spiegelbilder, nicht beeinträchtigt. 1 shows a schematic representation of an exemplary device ( 10 ) for a reliable and robust determination of a distance to an object based on a captured image. The determination of the distance is not affected by unwanted reflections, in particular by mirror images.

Die Vorrichtung (10) umfasst ein maschinelles Lernsystem (11), welches anhand von mindestens zwei erfassten Bildern (12a,12b) einen Abstand zu einem Objekt ermittelt. Das maschinelle Lernsystem (11) ist bevorzugt ein „Convolutional Neural Network“. Wenigstens eines der mindestens zwei erfassten Bilder (12b) wird mit einem vor einer Kamera angeordneten Polarisationsfilter (13) erfasst. Mittels des Polarisationsfilters (13) können die unerwünschten Reflexionen an glatten oder spiegelnden Oberflächen, wie zum Beispiel an Fenstern oder an Wasseroberflächen unterdrückt werden. Daraus resultiert, dass die erfassten Bilder (12a,12b) unterschiedlich gefiltert sind. Die unterschiedlichen gefilterten Bilder (12a,12b) werden anschließend mit dem unten genannten Verfahren von dem maschinellen Lernsystem (11) zur Ermittlung des Abstandes verwendet. Das maschinelle Lernsystem (11) erkennt anhand der zwei unterschiedlich gefilterten Bilder eine Reflexion und berücksichtigt diese nicht bei der Ermittlung des Abstandes.The device ( 10 ) includes a machine learning system ( 11 ), which is determined on the basis of at least two recorded images ( 12a . 12b ) determines a distance to an object. The machine learning system ( 11 ) is preferably a "Convolutional Neural Network". At least one of the at least two captured images ( 12b) is used with a polarization filter arranged in front of a camera ( 13 ) detected. By means of the polarization filter ( 13 ), the unwanted reflections can be suppressed on smooth or specular surfaces, such as on windows or on water surfaces. As a result, the captured images ( 12a . 12b ) are filtered differently. The different filtered images ( 12a . 12b ) are subsequently processed by the machine learning system (cf. 11 ) used to determine the distance. The machine learning system ( 11 ) recognizes a reflection on the basis of the two differently filtered images and does not take these into account when determining the distance.

Unter der Bezeichnung „Abstand zu einem Objekt“ kann verstanden werden, dass das maschinelle Lernsystem (11) einen Abstand zwischen einem Referenzpunkt und dem Objekt ermittelt. Der Referenzpunkt kann zum Beispiel die Position der Kamera sein. Alternativ oder zusätzlich können mehrere unterschiedlich platzierte Kameras zur Erfassung der Bilder verwendet werden. Hierfür muss der Referenzpunkt dementsprechend gewählt werden. Denkbar ist auch, dass der Referenzpunkt vor bzw. hinter oder seitlich der Kamera liegt, z.B. wenn die Kamera an der Windschutzscheibe eines Fahrzeugs platziert ist, kann der Referenzpunkt nahe der Stoßstange gewählt werden.By the term "distance to an object" it can be understood that the machine learning system ( 11 ) determines a distance between a reference point and the object. The reference point may be, for example, the position of the camera. Alternatively or additionally, a plurality of differently placed cameras can be used to capture the images. For this, the reference point must be selected accordingly. It is also conceivable that the reference point lies in front of or behind or to the side of the camera, eg when the camera is placed on the windshield of a vehicle, the reference point near the bumper can be selected.

Anhand des ersten erfassten Bildes (12a), kann das maschinelle Lernsystem (11) den Abstand zu dem Objekt ermitteln. Das maschinelle Lernsystem (11) verwendet ein weiteres erfasstes Bild (12b), um eine Reflexion in den Bildern während der Ermittlung des Abstandes nicht zu berücksichtigen. Denn durch das weitere Bild (12b) können dem maschinellen Lernsystem (11) weitere Informationen gestellt werden, sodass das maschinelle Lernsystem (11) eine Reflexion in den verwendeten Bildern (12a,12b) erkennen kann. Dies hat den vorteilhaften Effekt, dass die Reflexion nicht in das Ermitteln des Abstandes einfließt und damit fehlerhafte Ergebnis der Abstandsermittlung vermieden werden können.Based on the first captured image ( 12a) , the machine learning system ( 11 ) determine the distance to the object. The machine Learning system ( 11 ) uses another captured image ( 12b) to disregard a reflection in the images during the determination of the distance. Because by the further picture ( 12b) can assist the machine learning system ( 11 ), so that the machine learning system ( 11 ) a reflection in the images used ( 12a , 12b) can recognize. This has the advantageous effect that the reflection is not included in the determination of the distance and thus erroneous result of the distance determination can be avoided.

Nachdem das maschinelle Lernsystem (11) die Distanz ermittelt hat, kann optional das Ergebnis des maschinellen Lernsystems (11) von einer Steuerungseinheit der Vorrichtung (10) verwendet werden, um abhängig von diesem Ergebnis eine Steuergröße (14) zu ermitteln. Die Steuergröße (14) kann zum Steuern eines Aktors (17) verwendet werden. Beispielsweise kann der Aktor (17) eine zumindest teilautonome Maschine, insbesondere ein Roboter oder ein Fahrzeug, sein. Beispielhaft kann ein Einparkvorgang der zumindest teilautonomen Maschine mit der Steuergröße (14) durchgeführt werden. Alternativ kann der Aktor (17) auch eine Ausrichtung einer Polarisationsebene des Polarisationsfilters (13) abhängig von der Steuergröße (14) passend nachjustieren, sodass das Ergebnis des maschinellen Lernsystems (11) mit einem weiteren unterschiedlich gefilterten Bild überprüft werden kann.After the machine learning system ( 11 ) has determined the distance, optionally the result of the machine learning system ( 11 ) from a control unit of the device ( 10 ) can be used, depending on this result, a control variable ( 14 ) to investigate. The control quantity ( 14 ) can be used to control an actuator ( 17 ) be used. For example, the actuator ( 17 ) an at least partially autonomous machine, in particular a robot or a vehicle. By way of example, a parking operation of the at least partially autonomous machine with the control variable ( 14 ) be performed. Alternatively, the actuator ( 17 ) also an alignment of a polarization plane of the polarization filter ( 13 ) depending on the control quantity ( 14 ), so that the result of the machine learning system ( 11 ) can be checked with another differently filtered image.

Optional kann das maschinelle Lernsystem (11) auch ein Distanzbild erzeugen. Das Distanzbild kann ein Bild sein, in dem die ermittelten Informationen des maschinellen Lernsystems (11), z.B. der Abstand zu dem Objekt, überlagert auf einem Ausschnitt eines der erfassten Bilder (12a,12b) ausgegeben werden. Beispielsweise kann hierbei jedem Pixel jeweils eine der ermittelten Informationen zugeordnet werden.Optionally, the machine learning system ( 11 ) also create a distance image. The distance image can be an image in which the determined information of the machine learning system ( 11 ), eg the distance to the object, superimposed on a section of one of the captured images ( 12a . 12b ). For example, each pixel can be assigned one of the determined information.

In einer alternativen Ausführungsform der Vorrichtung (10) erhält das maschinelle Lernsystem (11) eine Mehrzahl von erfassten Bilder (12a,12b), wobei die Bilder alle mittels unterschiedlichen Polarisationsfiltern erfasst wurden. D.h. eine Polarisationsebene der Polarisationsfilter ist zu den Polarisationsebenen der anderen Polarisationsfilter unterschiedlich ausgerichtet, sodass unterschiedlich gefilterte Bilder erfasst werden und zur Abstandsermittlung verwendet werden können.In an alternative embodiment of the device ( 10 ) receives the machine learning system ( 11 ) a plurality of captured images ( 12a . 12b ), the images all being detected by means of different polarizing filters. That is, one polarization plane of the polarizing filters is differently aligned with the polarization planes of the other polarizing filters, so that differently filtered images can be detected and used for distance detection.

Ferner umfasst die Vorrichtung (10) eine Recheneinheit (15) und ein Speicherelement (16), auf dem ein Computerprogram gespeichert ist. Das Computerprogramm kann Befehle umfasst, die bewirken, dass beim Ausführen des Computerprogramms auf z.B. der Recheneinheit (15) eine der Ausführungsformen des unten genannten Verfahrens ausgeführt wird.Furthermore, the device comprises ( 10 ) a computing unit ( 15 ) and a memory element ( 16 ) on which a computer program is stored. The computer program may comprise commands which cause, for example, when executing the computer program on the arithmetic unit ( 15 ) one of the embodiments of the method mentioned below is performed.

2 zeigt eine schematische Darstellung einer Ausführungsform eines Verfahrens (20) zur Ermittlung einer Distanz zu einem Objekt anhand der erfassten Bilder (12a,12b). 2 shows a schematic representation of an embodiment of a method ( 20 ) for determining a distance to an object on the basis of the captured images ( 12a , 12b).

Das Verfahren (20) beginnt mit Schritt 21. In Schritt 21 wird dem maschinellen Lernsystem (11) der Vorrichtung (10) ein Trainingsdatensatz z.B. aus einer Datenbank bereitgestellt. Der Trainingsdatensatz kann beispielsweise eine Mehrzahl von Trainingsbildern enthalten, die jeweils reale erfasste Bilder oder von einem Computer erzeugte Bilder sein können. Die Trainingsbilder können mit bzw. ohne Reflexionen sein. Vorzugsweise können jeweils mehrere Bilder eine gleiche Szene darstellen, diese sind aber jeweils unterschiedlich gefiltert, bevorzugt mit dem Polarisationsfilter (13) aus 1. Vorzugsweise sind die Trainingsdaten mittels eines Abstandswertes gelabelt und bevorzugt mit einem Vermerk, ob eine Reflexion in dem Trainingsbild vorhanden ist, oder nicht. Die Abstandswerte der Trainingsbilder können mittels einer „ground truth“ Methode bestimmt werden. Die Label können im nachfolgenden genutzt werden, um das maschinelle Lernsystem (11) gezielter zur Abstandsermittlung unter Vernachlässigung der Reflexionen anzulernen.The procedure ( 20 ) starts with step 21 , In step 21 is the machine learning system ( 11 ) of the device ( 10 ) provided a training record eg from a database. For example, the training data set may include a plurality of training images, each of which may be real captured images or images generated by a computer. The training images can be with or without reflections. Preferably, a plurality of images may each represent an identical scene, but these are each filtered differently, preferably with the polarization filter (FIG. 13 ) out 1 , Preferably, the training data are labeled by means of a distance value and preferably with a note as to whether or not reflection is present in the training image. The distance values of the training images can be determined by means of a "ground truth" method. The labels can subsequently be used to create the machine learning system ( 11 ) to learn more targeted for distance determination neglecting the reflections.

Nachdem der Trainingsdatensatz dem maschinellen Lernsystem (11) bereitgestellt wurde, wird das maschinelle Lernsystem (11) derart angelernt, dass das maschinelle Lernsystem abhängig von einem erfassten Bild und unter Berücksichtigung eines weiteren erfassten Bildes eine Distanz zu einem Objekt in dem erfassten Bild ermittelt. Das weitere erfasste Bild ist insbesondere ein gefiltertes Bild mittels eines Polarisationsfilters oder mittels einer unterschiedlich ausgerichteten Polarisationsebene des Polarisationsfilters. Dabei kann das maschinelle Lernsystem auch derart angelernt sein, dass das maschinelle Lernsystem anhand des Weiteren bereitgestellten Bildes, Reflexionen in den Bildern nicht zur Ermittlung der Distanz zu einem Objekt berücksichtigt. Vorzugsweise wird zum Anlernen des maschinellen Lernsystems (11) ein Gradientenabstiegsverfahren zum Bestimmen der Parameterwerte des maschinellen Lernsystems (11) verwendet. Das Gradientenabstiegsverfahren kann auf eine Kostenfunktion angewendet werden. Die Kostenfunktion kann abhängig von den Parametern des maschinellen Lernsystems (11) und vorzugsweise von den Labeln der verwendeten Trainingsdaten sein.After the training data set is sent to the machine learning system ( 11 ), the machine learning system ( 11 ) such that the machine learning system determines a distance to an object in the acquired image as a function of a captured image and taking into account a further acquired image. The further acquired image is in particular a filtered image by means of a polarization filter or by means of a differently oriented polarization plane of the polarization filter. In this case, the machine learning system can also be taught in such a way that the machine learning system, on the basis of the further provided image, does not consider reflections in the images for determining the distance to an object. Preferably, to teach the machine learning system ( 11 ) a gradient descent method for determining the parameter values of the machine learning system ( 11 ) used. The gradient descent method can be applied to a cost function. The cost function may depend on the parameters of the machine learning system ( 11 ) and preferably from the labels of the training data used.

Optional kann auch in Schritt 21 das maschinelle Lernsystem (11) des Weiteren angelernt werden, dass das maschinelle Lernsystem (11) eine Objektdetektion, insbesondere eine Objektklassifikation, anhand der bereitgestellten Bilder ermitteln kann. Bevorzugt sind hierfür die Trainingsbilder zusätzlich oder alternativ mit Label, die die Objektklassen charakterisieren, gelabelt. Ebenso kann hierbei das maschinelle Lernsystem (11) derart angelernt werden, dass das maschinelle Lernsystem (11) unter Berücksichtigung des weiteren Bildes, insbesondere mittels eines Polarisationsfilters gefilterten Bildes, Reflexionen in den Bildern nicht zur Ermittlung der Objektdetektion berücksichtigt.Optionally, also in step 21 the machine learning system ( 11 ) are further taught that the machine learning system ( 11 ) can detect an object detection, in particular an object classification, based on the images provided. For this purpose, the training images are preferably additionally or alternatively labeled, which characterize the object classes. Likewise, the machine learning system ( 11 ) are taught in such a way that the machine learning system ( 11 ), taking into account the further image, in particular by means of a polarization filter filtered image, reflections in the images are not taken into account for determining the object detection.

Nachdem Schritt 21 abgeschlossen ist, folgt Schritt 22. In Schritt 22 werden mindestens zwei Bilder erfasst, insbesondere an einem vorgebbaren Zeitpunkt. Ein erstes der mindestens zwei Bilder wird mittels eines Polarisationsfilters, der vor der Kamera angeordnet ist, gefiltert erfasst. Bevorzugt weist dieser Polarisationsfilter die gleiche Ausrichtung der Polarisationsebene auf, wie die verwendeten Polarisationsfilter zur Erfassung der Bilder des Trainingsdatensatzes. Dies hat den vorteilhaften Effekt, dass die erfassten Bilder ähnlich wie die Trainingsbildern des maschinellen Lernsystems (11) erfasst werden, wodurch eine höhere Genauigkeit der Ermittlung des Abstandes zu einem Objekt erzielt werden kann.After step 21 is completed, follow step 22 , In step 22 At least two images are captured, especially at a predetermined time. A first of the at least two images is detected by means of a polarizing filter, which is arranged in front of the camera, filtered. Preferably, this polarization filter has the same orientation of the plane of polarization as the polarization filter used to capture the images of the training data set. This has the advantageous effect that the captured images are similar to the training images of the machine learning system ( 11 ), whereby a higher accuracy of the determination of the distance to an object can be achieved.

Anschließend ermittelt das maschinelle Lernsystem (11) anhand eines der mindestens zwei erfassten Bilder den Abstand zu dem Objekt. Das weitere erfasste Bild, insbesondere das mittels des Polarisationsfilter gefilterte Bild, wird während der Ermittlung des Abstandes zu einem Objekt mittels des maschinellen Lernsystems verwendet, dass Reflexionen in einen der beiden Bildern nicht für die Ermittlung des Abstands zu einem Objekt berücksichtigt werden.Subsequently, the machine learning system ( 11 ) based on one of the at least two captured images, the distance to the object. The further captured image, in particular the image filtered by the polarization filter, is used during the determination of the distance to an object by means of the machine learning system, that reflections in one of the two images are not taken into account for the determination of the distance to an object.

In einer alternativen oder zusätzlichen Ausführungsform des Verfahrens (20), bei dem das maschinelle Lernsystem (11) auch für eine Objektdetektion, insbesondere eine Objektklassifikation, angelernt wurde, kann in Schritt 22 anhand der erfassten Bilder (12a,12b) auch eine Objektdetektion ermittelt werden. Der vorteilhafte Effekt hierbei ist, dass durch die unterschiedlichen gefiltert erfassten Bilder, Reflexionen in den Bildern bestimmt werden können und mittels des maschinellen Lernsystems (11) nicht in der Ermittlung der Objektdetektion berücksichtigt werden. Dadurch kann eine zuverlässigere Objektedetektion erzielt werden, denn beispielsweise eine Reflexion eines Passanten in einem Schaufensterfenster kann zu einer fehlerhaften Objektdetektion bzw. Klassifikation führen.In an alternative or additional embodiment of the method ( 20 ), in which the machine learning system ( 11 ) has also been trained for an object detection, in particular an object classification, in step 22 based on the captured images ( 12a . 12b ) also an object detection can be determined. The advantageous effect here is that reflections in the images can be determined by the different filtered images captured and by means of the machine learning system ( 11 ) are not taken into account in the determination of the object detection. As a result, a more reliable object detection can be achieved, because, for example, a reflection of a passerby in a shop window can lead to a faulty object detection or classification.

Nachdem Schritt 22 beendet wurde, folgt optional Schritt 23. In Schritt 23 kann abhängig von dem Ergebnis des maschinellen Lernsystems (11) eine Steuerungsgröße (14) zum Steuern des Aktors (17) ermittelt werden. Der Aktor (17), insbesondere eine zumindest teilautonome Maschine wie ein Roboter oder ein Fahrzeug, kann beispielhaft eine Bewegung bzw. Fahrmanöver abhängig von der Steuerungsgröße ausführen.After step 22 ended, optional step follows 23 , In step 23 may depend on the outcome of the machine learning system ( 11 ) a control variable ( 14 ) for controlling the actuator ( 17 ) be determined. The actor ( 17 ), in particular an at least partially autonomous machine such as a robot or a vehicle, can perform, for example, a movement or driving maneuver depending on the control variable.

In einer weiteren alternativen Ausführungsform des Verfahrens (20) kann in Schritt 21 das maschinelle Lernsystem (11) auch derart angelernt werden, dass das maschinelle Lernsystem (11) anhand von einer Abfolge von erfassten Bildern an unterschiedlichen vorgebbaren nacheinander folgenden Zeitpunkten einen optischen Fluss ermitteln kann. Es sei angemerkt, dass das maschinelle Lernsystem (11) hierfür ebenso angelernt werden muss, dass Reflexionen in den Bildern nicht für die Ermittlung des optischen Flusses berücksichtigt werden. Vorzugsweise sind die Trainingsbilder zum Anlernen des maschinellen Lernsystems (11) zusätzlich oder alternativ mit Label, die den optischen Fluss charakterisieren, gelabelt. Optional kann mittels dieses angelernten maschinelle Lernsystems (11) in Schritt 22 einer Mehrzahl von unterschiedlichen erfassten Bildern, die an vorgebbaren Zeitpunkten erfasst wurden, den optischen Fluss eines Objektes ermitteln.In a further alternative embodiment of the method ( 20 ) can in step 21 the machine learning system ( 11 ) are also taught in such a way that the machine learning system ( 11 ) can determine an optical flow on the basis of a sequence of captured images at different predefinable successive times. It should be noted that the machine learning system ( 11 ) must also be taught so that reflections in the images are not considered for the determination of the optical flow. Preferably, the training images for teaching the machine learning system ( 11 ) additionally or alternatively labeled with labels characterizing the optical flow. Optionally, by means of this semi-skilled machine learning system ( 11 ) in step 22 a plurality of different captured images, which were detected at predetermined times, determine the optical flow of an object.

Optional kann Schritt 21 auch mehrfach hintereinander wiederholt werden, solange bis eine vorgebbare ausreichend hohe Genauigkeit der Abstandsmessung erreicht wird.Optionally, step 21 Repeat several times in succession until a predetermined sufficiently high accuracy of the distance measurement is achieved.

Damit endet das Verfahren (20).This ends the procedure ( 20 ).

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102011081384 B4 [0002]DE 102011081384 B4 [0002]
  • DE 102011005368 A1 [0003]DE 102011005368 A1 [0003]

Claims (13)

Verfahren (20) zum Ermitteln eines Abstandes zu einem Objekt, umfassend: - Erfassen von mindestens zwei Bildern (12a,12b), wobei zum Erfassen eines ersten der mindestens zwei Bilder (12b) ein vor einer Kamera angeordneter Polarisationsfilter (13) verwendet wird; und - Ermitteln des Abstandes anhand eines zweiten der mindestens zwei erfassten Bilder (12b) mittels eines maschinellen Lernsystems (11), wobei das maschinelle Lernsystem (11) während des Ermittelns des Abstandes auch das erste der mindestens zwei erfassten Bilder (12a) verwendet, um eine Reflexion in einem der mindestens zwei erfassten Bilder (12a,12b) beim Ermitteln des Abstandes nicht zu berücksichtigen.A method (20) for determining a distance to an object, comprising: - detecting at least two images (12a, 12b), wherein for detecting a first of the at least two images (12b), a polarization filter (13) arranged in front of a camera is used; and - Determining the distance from a second of the at least two captured images (12b) by means of a machine learning system (11), wherein the machine learning system (11) during the determination of the distance and the first of the at least two captured images (12a) uses a Reflection in one of the at least two captured images (12a, 12b) to take into account when determining the distance. Verfahren nach Anspruch 1, wobei das maschinelle Lernsystem (11) derart angelernt wird, dass das maschinelle Lernsystem (11) anhand des zweiten der mindestens zwei erfassten Bilder (12b) den Abstand ermittelt, wobei das maschinelle Lernsystem (11) des Weiteren derart angelernt wird, dass das maschinelle Lernsystem (11) anhand des ersten der mindestens zwei erfassten (12b) Bilder die Reflexion beim Ermitteln des Abstandes nicht berücksichtigt.Method according to Claim 1 wherein the machine learning system (11) is taught such that the machine learning system (11) determines the distance from the second of the at least two captured images (12b), wherein the machine learning system (11) is further taught such that the mechanical Learning system (11) based on the first of the at least two captured (12b) images does not take into account the reflection when determining the distance. Verfahren nach einem der vorherigen Ansprüche, wobei das maschinelle Lernsystem (11) zusätzlich angelernt wird, eine Objektklassifikation anhand des zweiten der mindestens zwei erfassten Bilder (12a) zu ermitteln und die Reflexion anhand des ersten der mindestens zwei erfassten Bilder (12b) beim Ermitteln der Objektklassifikation nicht zu berücksichtigen, wobei das maschinelle Lernsystem (11) beim Ermitteln des Abstandes auch eine Objektklassifikation ermittelt.Method according to one of the preceding claims, wherein the machine learning system (11) is additionally trained to determine an object classification based on the second of the at least two captured images (12a) and the reflection based on the first of the at least two captured images (12b) in determining the Not to consider object classification, the machine learning system (11) also determines an object classification when determining the distance. Verfahren nach einem der vorherigen Ansprüche, wobei an vorgebbaren nacheinander folgenden Zeitpunkten jeweils mindestens zwei Bilder (12a,12b) erfasst werden, wobei das maschinelle Lernsystem (11) zusätzlich angelernt wird, um einen optischen Fluss zu ermitteln und auch die Reflexion beim Ermitteln des optischen Flusses nicht zu berücksichtigen, wobei das maschinelle Lernsystem (11) einen optischen Fluss anhand von den an den vorgebbaren nacheinander folgenden Zeitpunkten erfassten Bildern ermittelt.Method according to one of the preceding claims, wherein at predeterminable successive times each time at least two images (12a, 12b) are detected, wherein the machine learning system (11) is additionally taught in order to determine an optical flow and also to ignore the reflection when determining the optical flow, wherein the machine learning system (11) determines an optical flow based on the images acquired at the predeterminable consecutive times. Verfahren nach einem der vorherigen Ansprüche, wobei die erfassten Bilder (12a,12b) gespeichert werden und das maschinelle Lernsystem mittels der gespeicherten erfassten Bildern (12a,12b) nachgelernt wird.Method according to one of the preceding claims, wherein the captured images (12a, 12b) are stored and the machine learning system is read by means of the stored captured images (12a, 12b). Vorrichtung (10), die eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 5 auszuführen, umfassend: - Zumindest eine Kamera zum Erfassen der mindestens zwei Bilder (12a,12b) und zumindest einen Polarisationsfilter (13), wobei der Polarisationsfilter (13) vor der Kamera angeordnet ist und zum Erfassen des ersten der mindestens zwei Bilder (12b) verwendet wird; und - das maschinelle Lernsystem (11).Apparatus (10) arranged to perform the method according to any one of Claims 1 to 5 comprising at least one camera for capturing the at least two images (12a, 12b) and at least one polarization filter (13), the polarization filter (13) being arranged in front of the camera and for capturing the first of the at least two images (12b) is used; and - the machine learning system (11). Vorrichtung nach Anspruch 6, wobei eine Mehrzahl von unterschiedlichen Polarisationsfilter verwendet wird, wobei die Kamera jeweils ein Bild mittels einer der unterschiedlichen Polarisationsfilter erfasst.Device after Claim 6 wherein a plurality of different polarizing filters are used, wherein the camera captures one image by means of one of the different polarizing filters. Vorrichtung nach Anspruch 7, wobei eine Polarisationsebene einer der Polarisationsfilter zu den Polarisationsebenen der weiteren Polarisationsfilter nicht gleich ausgerichtet ist.Device after Claim 7 in which one polarization plane of one of the polarization filters is not aligned identically to the polarization planes of the further polarization filters. Vorrichtung nach einem der Ansprüche 6 bis 8, wobei der Polarisationsfilter (13) mehrere hintereinander angeordnete Polarisationsfilter umfasst, wobei eine Polarisationsebene der hintereinander angeordneten Polarisationsfilter nicht senkrecht zu den jeweiligen Polarisationsebenen der hintereinander angeordneten Polarisationsfilter angeordnet ist.Device according to one of Claims 6 to 8th , wherein the polarization filter (13) comprises a plurality of successively arranged polarization filter, wherein a polarization plane of the successively arranged polarization filter is not arranged perpendicular to the respective polarization planes of the successively arranged polarization filter. Vorrichtung nach einem der Ansprüche 6 bis 8, wobei der Polarisationsfilter (13) ein zirkularer Polarisationsfilter ist.Device according to one of Claims 6 to 8th wherein the polarizing filter (13) is a circular polarizing filter. Vorrichtung nach einem der Ansprüche 6 bis 10, wobei der Polarisationsfilter (13) zusätzlich einen Farbfilter umfasst.Device according to one of Claims 6 to 10 , wherein the polarization filter (13) additionally comprises a color filter. Computerprogramm, umfassend Befehle, die beim Ausführen des Computerprogramms auf einem Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 5 auszuführen.A computer program comprising instructions for causing the computer program on a computer to execute the method according to any one of Claims 1 to 5 perform. Maschinenlesbares Speicherelement (16), auf dem das Computerprogram nach Anspruch 12 gespeichert ist.Machine readable memory element (16) on which the computer program is based Claim 12 is stored.
DE102017221381.7A 2017-11-29 2017-11-29 Method, apparatus and computer program for determining a distance to an object Pending DE102017221381A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102017221381.7A DE102017221381A1 (en) 2017-11-29 2017-11-29 Method, apparatus and computer program for determining a distance to an object
EP18807901.6A EP3718045A1 (en) 2017-11-29 2018-11-14 Method, device and computer program for determining a distance to an object
CN201880076963.6A CN111373411A (en) 2017-11-29 2018-11-14 Method, device and computer program for determining a distance to an object
PCT/EP2018/081222 WO2019105737A1 (en) 2017-11-29 2018-11-14 Method, device and computer program for determining a distance to an object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017221381.7A DE102017221381A1 (en) 2017-11-29 2017-11-29 Method, apparatus and computer program for determining a distance to an object

Publications (1)

Publication Number Publication Date
DE102017221381A1 true DE102017221381A1 (en) 2019-05-29

Family

ID=64456944

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017221381.7A Pending DE102017221381A1 (en) 2017-11-29 2017-11-29 Method, apparatus and computer program for determining a distance to an object

Country Status (4)

Country Link
EP (1) EP3718045A1 (en)
CN (1) CN111373411A (en)
DE (1) DE102017221381A1 (en)
WO (1) WO2019105737A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256576A (en) * 2021-05-18 2021-08-13 福州大学 Automatic optical element detection system and method based on polarization imaging and machine learning
DE102021202454A1 (en) 2021-03-15 2022-09-15 Zf Friedrichshafen Ag Environment modeling based on camera data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011005368A1 (en) 2011-03-10 2012-09-13 Robert Bosch Gmbh Driver assistance system for vehicle, particularly designed as assistance system for shunters or for parking vehicle, has video camera, by which video image of surrounding area of vehicle is recorded with objects
US20170010120A1 (en) * 2015-02-10 2017-01-12 Mobileye Vision Technologies Ltd. Systems and methods for identifying landmarks
DE102011081384B4 (en) 2011-08-23 2017-05-04 Robert Bosch Gmbh Method and device for distance determination for a vehicle

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004053416A1 (en) * 2004-11-05 2006-05-11 Robert Bosch Gmbh Stereoscopic distance measurement system to determine distance of object from motor vehicle has splitter mirror element to deflect first part of virtual beam bundle from camera which is then overlapped by second part of beam bundle
DE102009026463A1 (en) * 2009-05-26 2010-12-09 Robert Bosch Gmbh Image acquisition method for acquiring multiple images by means of an automotive camera system and associated image capture device of the camera system
DE102011051583A1 (en) * 2011-07-05 2013-01-10 Conti Temic Microelectronic Gmbh Image pickup device for a vehicle
DE102012018121A1 (en) * 2012-09-13 2013-04-04 Daimler Ag Image detecting device for detecting images of environment of motor vehicle, has stereo camera unit which has optical unit for detecting images of environment and another optical unit for detecting images of environment
JP5893601B2 (en) * 2013-10-31 2016-03-23 富士重工業株式会社 Vehicle control system
DE102014224762B4 (en) * 2014-12-03 2016-10-27 Volkswagen Aktiengesellschaft Method and device for obtaining information about an object in a non-accessible, adjacent surrounding area of a motor vehicle
DE102016206493A1 (en) * 2015-06-23 2016-12-29 Robert Bosch Gmbh Method and camera system for determining the distance of objects to a vehicle
CN108028892B (en) * 2015-09-30 2021-02-09 索尼公司 Information acquisition apparatus and information acquisition method
US10055652B2 (en) * 2016-03-21 2018-08-21 Ford Global Technologies, Llc Pedestrian detection and motion prediction with rear-facing camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011005368A1 (en) 2011-03-10 2012-09-13 Robert Bosch Gmbh Driver assistance system for vehicle, particularly designed as assistance system for shunters or for parking vehicle, has video camera, by which video image of surrounding area of vehicle is recorded with objects
DE102011081384B4 (en) 2011-08-23 2017-05-04 Robert Bosch Gmbh Method and device for distance determination for a vehicle
US20170010120A1 (en) * 2015-02-10 2017-01-12 Mobileye Vision Technologies Ltd. Systems and methods for identifying landmarks

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021202454A1 (en) 2021-03-15 2022-09-15 Zf Friedrichshafen Ag Environment modeling based on camera data
CN113256576A (en) * 2021-05-18 2021-08-13 福州大学 Automatic optical element detection system and method based on polarization imaging and machine learning

Also Published As

Publication number Publication date
CN111373411A (en) 2020-07-03
WO2019105737A1 (en) 2019-06-06
EP3718045A1 (en) 2020-10-07

Similar Documents

Publication Publication Date Title
DE102018206208A1 (en) Method, device, product and computer program for operating a technical system
DE102017107264A1 (en) VISIBLE RAIN RECOGNITION USING DEEP LEARNING
DE102015216908A1 (en) Method of detecting objects on a shelf
DE102020110157A1 (en) Image recognition device
WO2013178407A1 (en) Method and device for processing stereoscopic data
DE102018100909A1 (en) Method of reconstructing images of a scene taken by a multifocal camera system
DE102020215860A1 (en) Correction of images from an all-round view camera system in the event of rain, light and dirt
DE102017221381A1 (en) Method, apparatus and computer program for determining a distance to an object
DE102010021221A1 (en) Camera direction determining method for use in vehicle, involves reconstructing vehicle coordination system from points, and determining camera direction from rotation of camera-coordination system relative to vehicle coordination system
DE102014009522A1 (en) Method for detecting an environment of a vehicle
DE102017217063A1 (en) A recognition system, method of operation and training method for generating a 3D model with reference data
EP4264565A1 (en) Correction of images from a camera in case of rain, incident light and contamination
DE102017223264A1 (en) Method and device for driving an actuator
DE102016109027A1 (en) Method for checking the position of characteristic points in light distributions
DE102019007344A1 (en) Method for determining a slip movement of a vehicle wheel
DE102019211459A1 (en) Method and device for checking a calibration of environmental sensors
DE102019129101A1 (en) A method and system for estimating a bounding box that includes a target vehicle
WO2015149970A1 (en) Method and device for adapting a three-dimensional projection surface for projecting a plurality of adjacent camera images
DE102017217156B4 (en) Method and device for controlling a driver assistance system using a stereo camera system with a first and a second camera
DE102014202639A1 (en) Method for determining movement of vehicle, involves outputting movement of vehicle when quality value formed for evaluating detected vehicle movement estimate is available in predetermined relationship to reference value
DE102018205146A1 (en) Test method for high-resolution headlamps using AI
DE102019212279B3 (en) Method and device for checking a calibration of environmental sensors
DE102017010492A1 (en) Method for determining at least one projection surface in an environment of a motor vehicle
DE102016222548A1 (en) Method and control unit for determining a distortion characteristic of an optical medium during travel operation
DE102007021107A1 (en) Camera system main point determining system for driver assistance system, has comparing device comparing imaged position with calculated position of calibration mark and providing error measure of main point depending on comparison result

Legal Events

Date Code Title Description
R163 Identified publications notified