EP4427193A1 - Verfahren und system zum festlegen der position und ausrichtung einer virtuellen kamera eines umfeldbeobachtungssystems - Google Patents

Verfahren und system zum festlegen der position und ausrichtung einer virtuellen kamera eines umfeldbeobachtungssystems

Info

Publication number
EP4427193A1
EP4427193A1 EP22793670.5A EP22793670A EP4427193A1 EP 4427193 A1 EP4427193 A1 EP 4427193A1 EP 22793670 A EP22793670 A EP 22793670A EP 4427193 A1 EP4427193 A1 EP 4427193A1
Authority
EP
European Patent Office
Prior art keywords
information
vehicle
vehicle environment
stored
environment information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22793670.5A
Other languages
English (en)
French (fr)
Inventor
Markus EICH
Ulrich Schaub
Wolfgang Fey
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Publication of EP4427193A1 publication Critical patent/EP4427193A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Definitions

  • the invention relates to the field of vehicle surroundings monitoring systems.
  • the invention relates to a method and a system for determining the position and alignment of a virtual camera of an area monitoring system.
  • Surroundings monitoring systems in vehicles are known in principle.
  • surroundings monitoring systems are known which enable a three-dimensional, perspective 360° all-round view around the vehicle, so-called 3D surround view systems.
  • the image information from multiple cameras is linked to form an all-round view and mapped onto a three-dimensional surface in order to obtain a three-dimensional perspective view.
  • the spatially perspective representation of the surroundings of the vehicle can be done from different perspectives.
  • the position and orientation of a virtual camera i.e. the position and line of sight from which a virtual viewer sees the scene, can be changed so that different areas of the vehicle's surroundings can be viewed.
  • the position and orientation of the virtual camera can be selected, for example, in such a way that both a surrounding area and the vehicle can be seen in this surrounding area.
  • the position and orientation of the virtual camera must be selected by the user depending on the situation in order to be able to display a relevant area on a display unit of the vehicle.
  • the vehicle user is distracted from controlling the vehicle, which is perceived as disadvantageous and can lead to accidents. Proceeding from this, it is the object of the invention to specify a method that enables the position and orientation of a virtual camera of a surroundings monitoring system to be determined automatically.
  • a method for determining the position and orientation of a virtual camera of an area monitoring system is disclosed. Based on this virtual camera position and camera orientation, the environmental information of a vehicle is displayed on a display unit of the vehicle. In other words, the perspective from which the environmental information is viewed is defined by determining the position and orientation of a virtual camera.
  • the procedure comprises the following steps:
  • the vehicle environment is recorded using a plurality of cameras of the vehicle and current vehicle environment information is generated based on the information from the cameras.
  • the image information provided by the cameras is linked to one another in such a way that it enables a 360° all-round view of the current vehicle environment.
  • a storage unit is provided in which several data sets are stored.
  • the data records each include stored information about the surroundings of the vehicle, which was recorded using a number of cameras in the vehicle.
  • the data sets each include information on the virtual camera position and camera orientation, so that stored vehicle environment information is assigned to the virtual camera position and camera orientation via the respective data set.
  • the data sets are preferably generated by the driver in driving situations by storing a selected virtual camera position and camera orientation together with the vehicle environment information.
  • the currently detected vehicle environment information is compared with the vehicle environment information stored in the memory unit of at least one data set.
  • At least one similarity parameter is then determined for at least one data set.
  • the similarity parameter indicates in each case the degree of similarity of the currently recorded vehicle surroundings information to the stored vehicle surroundings information of the respective data set.
  • the similarity parameter is compared to a threshold. If the similarity parameter is greater than a predetermined threshold value, information about the virtual camera position and camera orientation of the data record that contains the stored information about the surroundings of the vehicle is read out. In addition, the virtual camera position and the camera orientation is determined based on the read out information on the virtual camera position and camera orientation, ie the environment information is displayed from a perspective that is defined by the read out information about the virtual camera position and camera orientation.
  • the method has the technical advantage that the environment monitoring system can automatically select a virtual camera position and virtual camera orientation for vehicle surroundings where a virtual camera position and virtual camera orientation have already been defined in the past and based on the virtual camera position and virtual camera orientation the representation of the vehicle environment the display unit of the vehicle.
  • the environment monitoring system can automatically select a virtual camera position and virtual camera orientation for vehicle surroundings where a virtual camera position and virtual camera orientation have already been defined in the past and based on the virtual camera position and virtual camera orientation the representation of the vehicle environment the display unit of the vehicle.
  • the comparison of the current vehicle environment information with the stored vehicle environment information includes a determination of image similarities and a comparison of image features between the current vehicle environment information and the stored vehicle environment information. In this way, image processing can be used to determine whether the vehicle is in a position for which information on the virtual camera position and virtual camera orientation has already been stored.
  • multiple similarity parameters are determined for multiple different data sets.
  • the maximum similarity parameter is determined, which shows the greatest agreement between the current Vehicle environment information and the stored vehicle environment information indexed.
  • the maximum similarity parameter is then used for the threshold value comparison.
  • the information on the virtual camera position and camera orientation of that data set that contains the stored vehicle environment information that led to the maximum similarity parameter is read out.
  • the vehicle surroundings information of several datasets can be examined and that dataset can be used to determine the virtual camera position and virtual camera orientation whose stored vehicle surroundings information has the greatest correspondence or similarity with the current vehicle surroundings information.
  • the data sets each have position-related environmental information.
  • comparing the current vehicle environment information with the stored vehicle environment information, determining the at least one similarity parameter and comparing the similarity parameter with the threshold value it is determined whether the vehicle is in a vehicle position for which a virtual camera position and a virtual camera orientation have already been defined.
  • the camera-based environment detection and the comparison with known environment information is used to determine whether there is a match with a known vehicle environment for which a viewing perspective has already been defined in the past.
  • the vehicle has a sensor-based position determination system, for example a GPS-based position determination system.
  • the records point in each case position data that were provided by the position determination system in the past.
  • the position data indicate the geographic position at which the respective stored information about the surroundings of the vehicle was recorded.
  • the position data are, for example, geographic coordinates of a global coordinate system.
  • position information is determined using the sensor-based position determination system. This position information is compared with the position data stored in the data sets. By comparing the position information with the position data stored in the data sets, the data sets are restricted in terms of which data sets or stored vehicle environment information contained in the respective data sets a similarity parameter has to be determined for.
  • a sensor-based position determination system has an inaccuracy or fuzziness in the position determination that does not enable an exact position determination. The inaccuracy or fuzziness is typically in the range of a few meters.
  • the sensor-based position determination system cannot be used to determine the exact position of the vehicle, but it is possible to use the sensor-based position determination system to support the visual position determination, which is based on the stored data sets, to the effect that the current vehicle environment information is compared with the stored information Vehicle environment information on the relevant data sets can be reduced, which were recorded in the area of the current vehicle position. As a result, the computing effort for the comparison can be significantly reduced.
  • a computing unit of the vehicle uses the information provided by the cameras to generate three-dimensional environmental information based on the virtual camera position and the camera orientation, which is displayed on the vehicle's display unit as spatially perspective environmental information.
  • the virtual camera position and the camera orientation specify the perspective from which the environmental information is viewed and the sector of the environmental information displayed on the display unit.
  • the spatially perspective environmental information includes a perspective view of the vehicle itself of the vehicle in the environment. This enables better driver support through the environment detection system, since the driver can better recognize how the vehicle is positioned relative to the environment.
  • the invention relates to a system for determining the position and alignment of a virtual camera of an area monitoring system.
  • the system includes several cameras distributed around a vehicle, a computing unit for processing the information provided by the cameras be, a memory unit and a display unit, which is designed to display information about the vehicle's surroundings.
  • the processing unit is configured to perform the following steps:
  • the data sets comprising information about the virtual camera position and camera orientation that is stored in each case and that has been recorded by means of a plurality of cameras of the vehicle, and this stored information about the vehicle environment;
  • the similarity parameter in each case indicating the degree of similarity of the current vehicle environment information to the stored vehicle environment information of the respective data set;
  • the computing unit is designed to compare the current vehicle environment information with the stored vehicle environment information to determine image similarities and to compare image features between the current vehicle environment information and the stored vehicle environment information. In this way, image processing can be used to determine whether the vehicle is in a position for which information on the virtual camera position and virtual camera orientation has already been stored.
  • the computing unit is designed to determine a plurality of similarity parameters for a plurality of different data sets, to determine the maximum similarity parameter that indicates the greatest match between the current vehicle environment information and the stored vehicle environment information, to use the maximum similarity parameter for the threshold value comparison and the information to read out the virtual camera position and camera orientation of the data set that contains the stored vehicle environment information that led to the maximum similarity parameter.
  • the vehicle surroundings information of several datasets can be examined and that dataset can be used to determine the virtual camera position and virtual camera orientation whose stored vehicle surroundings information has the greatest correspondence or similarity with the current vehicle surroundings information.
  • the vehicle has a sensor-based position determination system.
  • the processing unit is configured to date in the data records
  • To store position determination system provided position data that indicate the geographic position at which the respective stored vehicle environment information was detected.
  • the position data indicate the geographic position at which the respective stored information about the surroundings of the vehicle was recorded.
  • the position data are, for example, geographic coordinates of a global coordinate system. It is thus possible to use the current position information from the position determination system to assess the relevance of data sets without having to compare the current vehicle environment information with the stored vehicle environment information.
  • the sensor-based position determination system is designed to determine geographic position information.
  • the processing unit is configured to compare the geographical position information with the position data stored in the data sets and to restrict the data sets for which a similarity parameter is determined in each case by comparing the position information with the position data stored in the data sets.
  • the computing unit is configured to generate three-dimensional environmental information from the information provided by the cameras based on the virtual camera position and the camera orientation, which is displayed on the vehicle's display unit as spatially perspective environmental information.
  • the environment information can be displayed naturally and user-friendly by the environment detection system
  • the computing unit is configured to display a perspective view of the vehicle itself in the spatially perspective environmental information. This enables better driver support through the environment detection system, since the driver can better recognize how the vehicle is positioned relative to the environment.
  • FIG. 1 shows an example of a schematic plan view of a vehicle that has a system for displaying information about the surroundings on a display unit;
  • Fig. 2 an example of the representation of a hemisphere as a 3D bowl on which
  • Surrounding information in the area surrounding the vehicle be mapped in order to be able to display the environment information in perspective;
  • FIG. 3 shows an example of a schematic block diagram of a system for determining the position and alignment of a virtual camera for the perspective display of environmental information in the area surrounding the vehicle;
  • FIG. 4 shows a flowchart that explains the steps of the method for determining the position and orientation of a virtual camera for the perspective display of information surrounding the vehicle.
  • FIG. 1 shows a vehicle 1 by way of example and schematically, which has a system for the three-dimensional display of the area surrounding the vehicle 1 on a display unit 2, also referred to below as a 3D surround view system.
  • the display unit 2 is provided in particular in the vehicle interior and is used to support the driver during driving maneuvers, for example when reversing or parking in a parking space.
  • the vehicle 1 has a plurality of cameras 3 which are provided on the outside of the vehicle 1 and distributed around the circumference of the vehicle 1 .
  • the vehicle 1 can have a front camera, a rear camera and at least one side camera on each side.
  • the cameras 3 are preferably arranged and configured in such a way that the combination of the images provided by the respective cameras 3 enables a 360° display of the area surrounding the vehicle 1 .
  • the vehicle 1 is preferably designed to use the image information provided by the at least two cameras 3 to generate three-dimensional environmental information that is displayed on the display unit 2 as spatially perspective environmental information.
  • FIG. 2 shows an example of a perspective representation of the three-dimensional space in the area surrounding vehicle 1.
  • a 3D bowl for example.
  • spatially perspective environmental information can be calculated by the computing unit 5 provided on the vehicle.
  • the vehicle 1 itself or its contour is preferably recognizable.
  • this type of perspective all-round view enables perspective viewing of the area surrounding vehicle 1 from a specific reference point or viewing point, which is referred to below as the camera position.
  • the camera position can be varied, i.e. the virtual position from which vehicle 1 and its surroundings are viewed can be changed (virtual movement in the 3D bowl). This achieves a more realistic representation of the area surrounding vehicle 1 .
  • the camera orientation can be changed from a fixed camera position, i.e. the angle at which the vehicle 1 or the area around the vehicle 1 is viewed from the camera position.
  • the vehicle 1 is designed to automatically determine the camera position and the camera orientation in that the vehicle 1 has a visual environment recognition system that is configured to determine whether the vehicle 1 is currently in a position for which a camera position and one Camera orientation specified by the vehicle user.
  • the visual environment recognition system uses the image information provided by the cameras 3, generates current vehicle environment information from this and compares this with stored vehicle environment information, on which the vehicle user has already defined a camera position and a camera alignment.
  • the vehicle comprises a computing unit 5, by means of which the camera position and the camera orientation are automatically determined.
  • 3 shows, in an exemplary schematic block diagram, the structure of the system for automatically determining the camera position and the camera orientation.
  • a processing unit of the vehicle 5 implements, for example, a visual environment recognition system 7 and a 3D surround view system 8.
  • the environment recognition system 7 is coupled to the cameras 3 of the vehicle 1 and receives image information from them.
  • the image information from the individual cameras 3 is then combined and further processed into current information about the surroundings of the vehicle.
  • the image information from the individual cameras 3 can be linked to one another in such a way that they add up to a 360° all-round view.
  • the environment recognition system 7 is coupled to a storage unit 4 .
  • the storage unit 4 is designed to store one or preferably a plurality of data sets.
  • a data set includes information about the surroundings of the vehicle that was determined at a past point in time based on the image information from the cameras 3 .
  • the vehicle surroundings information can in particular also have been obtained from the surroundings recognition system 7 by combining image information from a number of cameras 3 .
  • the data records each provide information on virtual camera position and virtual camera alignment that have already been used by a vehicle user in the current vehicle environment.
  • the storage unit 4 is used to store user-related virtual camera position and virtual camera orientation information at specific locations that are visited several times by the vehicle user, for example.
  • the environment recognition system 7 is configured to detect, by comparing the currently detected vehicle environment information with stored vehicle environment information that is stored in the data sets in the memory unit 4 of the vehicle 1, whether the vehicle 1 is in a position for which a virtual Camera position and a camera orientation was determined by the vehicle user.
  • Vehicle environment information compared with the stored vehicle environment information by image similarities and / or feature matches are determined. Based on the comparison of the captured vehicle environment information with the stored vehicle environment information, a similarity parameter is determined, which indicates the probability that the currently captured vehicle environment information was recorded from the same vehicle position as the stored vehicle environment information. If the similarity parameter exceeds a predetermined threshold value, it is assumed that the current vehicle position is the same position at which the stored vehicle environment information was recorded. In this case, the information on the virtual camera position and camera orientation assigned to the stored vehicle environment information is read out from the storage unit 4 and the virtual camera position and the virtual camera position are used for this purpose Set camera orientation based on the current vehicle position.
  • the virtual camera position read out and the camera orientation are transferred in particular to the 3D surround view system 8 which, based thereon, causes the current vehicle environment information to be displayed on the display unit 2 of the vehicle 1 .
  • vehicle 1 has a sensor-based position determination system 6 .
  • the sensor-based position determination system 6 can be a satellite-protected GPS system (GPS: Global Positioning System), for example.
  • GPS Global Positioning System
  • Position determination system 6 makes it possible to determine position information of vehicle 1 .
  • This position information is in particular a coordinate in a global coordinate system that indicates where the vehicle is currently located.
  • the position information can be used to support the visual position determination, which is based on pictorial environmental information.
  • a restriction can be made on data sets that are to be examined with regard to a match between current vehicle environment information and stored vehicle environment information.
  • the data sets can also have position information that was obtained by the position determination system 6 .
  • the data records can be determined which originate from positions in the vicinity of the current position of the vehicle 1 and only a comparison of the stored ones can be carried out Vehicle surroundings information of those data sets with the current vehicle surroundings information that were recorded at a position that is close to the current position of the vehicle 1 .
  • the data sets stored in the storage unit 4 are preferably assigned to a profile of a vehicle user. This makes it possible to store the position and orientation of the virtual camera depending on the vehicle user and then to use it when determining the position and orientation of the virtual camera depending on the current user profile.
  • FIG. 4 shows a block diagram illustrating the steps of the method for determining the position and orientation of the virtual camera.
  • the vehicle environment is captured using a plurality of cameras of the vehicle and current vehicle environment information is generated based on the information from the cameras (S10).
  • the data records each include stored information about the surroundings of the vehicle, which was recorded using a number of cameras in the vehicle.
  • the data records also include information about the virtual camera position and camera orientation, which is associated with this stored information about the surroundings of the vehicle (S11).
  • the current information surrounding the vehicle is then compared with the stored information surrounding the vehicle of at least one data set (S12).
  • At least one similarity parameter is then determined for at least one data set.
  • the similarity parameter indicates in each case the degree of similarity of the current vehicle surroundings information to the stored vehicle surroundings information of the respective data set (S13).
  • the similarity parameter is greater than a predetermined threshold value
  • information about the virtual camera position and camera orientation of the data record that contains the stored information about the surroundings of the vehicle is read out. Based on the read virtual camera position and camera orientation information, the virtual camera position and camera orientation are set (S14).

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Festlegung einer virtuellen Kameraposition und Kameraausrichtung, um basierend auf dieser virtuellen Kameraposition und Kameraausrichtung die Umgebung eines Fahrzeugs (1) auf einer Anzeigeeinheit (2) des Fahrzeugs (1) darstellen zu können.

Description

Verfahren und System zum Festlegen der Position und Ausrichtung einer virtuellen Kamera eines Umfeldbeobachtungssystems
Die Erfindung betrifft das Gebiet der Umfeldbeobachtungssysteme von Fahrzeugen. Insbesondere betrifft die Erfindung ein Verfahren und ein System zur Festlegung der Position und Ausrichtung einer virtuellen Kamera eines Umfeldbeobachtungssystems.
Umfeldbeobachtungssysteme bei Fahrzeugen sind grundsätzlich bekannt. Insbesondere sind Umfeldbeobachtungssysteme bekannt, die einen dreidimensionalen, perspektivischen 360°-Rundumblick um das Fahrzeug ermöglichen, sog. 3D-Surroundview-Systeme. Bei derartigen Systemen werden die Bildinformationen mehrerer Kameras zu einer Rundumblickdarstellung verknüpft und auf eine dreidimensionale Oberfläche gemappt, um eine räumlich perspektivische Darstellung zu erhalten. Die räumlich perspektivische Darstellung der Umgebung des Fahrzeugs kann bei den bekannten Systemen aus unterschiedlichen Perspektiven erfolgen. So können die Position und Ausrichtung einer virtuellen Kamera, d.h. die Position und Blickrichtung, aus der ein virtueller Betrachter die Szene sieht, geändert werden, so dass unterschiedliche Bereiche der Umgebung des Fahrzeugs betrachtet werden können. Insbesondere können die Position und Ausrichtung der virtuellen Kamera beispielsweise derart gewählt werden, dass sowohl ein Umgebungsbereich als auch das Fahrzeug in diesem Umgebungsbereich erkennbar sind.
In bisherigen Umfeldbeobachtungssystemen müssen die Position und Ausrichtung der virtuellen Kamera durch den Nutzer situationsabhängig jeweils geeignet gewählt werden, um einen relevanten Bereich auf einer Anzeigeeinheit des Fahrzeugs darstellen zu können. Dadurch wird der Fahrzeugnutzer von der Steuerung des Fahrzeugs abgelenkt, was als nachteilig empfunden wird und zu Unfällen führen kann. Ausgehend hiervon ist es Aufgabe der Erfindung, em Verfahren anzugeben, das eine selbststätige Festlegung der Position und Ausrichtung einer virtuellen Kamera eines Umfeldbeobachtungssystems ermöglicht.
Die Aufgabe wird durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 gelöst. Bevorzugte Ausführungsformen sind Gegenstand der Unteransprüche. Ein System zur Festlegung der Position und Ausrichtung einer virtuellen Kamera eines Umfeldbeobachtungssystems ist Gegenstand des nebengeordneten Patentanspruchs 9.
Gemäß einem ersten Aspekt wird ein Verfahren zur Festlegung der Position und Ausrichtung einer virtuellen Kamera eines Umfeldbeobachtungssystems offenbart. Basierend auf dieser virtuellen Kameraposition und Kameraausrichtung werden die Umgebungsinformationen eines Fahrzeugs auf einer Anzeigeeinheit des Fahrzeugs bildlich dargestellt. In anderen Worten wird durch die Festlegung der Position und Ausrichtung einer virtuellen Kamera die Perspektive definiert, aus der die Umgebungsinformationen betrachtet werden. Das Verfahren umfasst dabei die folgenden Schritte:
Zunächst wird die Fahrzeugumgebung mittels mehrerer Kameras des Fahrzeugs erfasst und es werden aktuelle Fahrzeugumgebungsinformationen basierend auf den Informationen der Kameras erzeugt. Insbesondere werden die von den Kameras bereitgestellten Bildinformationen derart miteinander verknüpft, dass diese eine 360°-Rundumdarstellung der aktuellen Fahrzeugumgebung ermöglichen. Zudem wird eine Speichereinheit bereitgestellt, in der mehrere Datensätze gespeichert sind. Die Datensätze umfassen jeweils abgespeicherte Fahrzeugumgebungsinformationen, die mittels mehrerer Kameras des Fahrzeugs erfasst wurden. Zudem umfassen die Datensätze jeweils Informationen zu virtueller Kameraposition und Kameraausrichtung, so dass über den jeweiligen Datensatz eine Zuordnung von abgespeicherten Fahrzeugumgebungsinformationen zu virtueller Kameraposition und Kameraausrichtung erfolgt. Die Datensätze werden vorzugsweise durch den Fahrer in Fahrsituationen erzeugt, indem eine gewählte virtuelle Kameraposition und Kameraausrichtung zusammen mit den Fahrzeugumgebungsinformationen abgespeichert werden.
Anschließend werden die aktuell erfassten Fahrzeugumgebungsinformationen mit den in der Speichereinheit abgespeicherten Fahrzeugumgebungsinformationen zumindest eines Datensatzes verglichen.
Daraufhin wird zumindest ein Ähnlichkeitsparameter zu zumindest einem Datensatz ermittelt. Der Ähnlichkeitsparameter gibt jeweils den Grad der Ähnlichkeit der aktuell erfassten Fahrzeugumgebungsinformationen zu den abgespeicherten Fahrzeugumgebungsinformationen des jeweiligen Datensatzes an.
Zuletzt wird der Ähnlichkeitsparameter mit einem Schwellwert verglichen. Falls der Ähnlichkeitsparameter größer ist als ein vorgegebener Schwellwert, werden Informationen zu virtueller Kameraposition und Kameraausrichtung des Datensatzes, der die abgespeicherten Fahrzeugumgebungsinformationen enthält, ausgelesen. Zudem wird die virtuelle Kameraposition und die Kameraausrichtung basierend auf den ausgelesenen Informationen zu virtueller Kameraposition und Kameraausrichtung festgelegt, d.h. die Darstellung der Umgebungsinformationen erfolgt aus einer Perspektive, die durch die ausgelesenen Informationen zu virtueller Kameraposition und Kameraausrichtung festgelegt wird.
Das Verfahren hat den technischen Vorteil, dass das Umfeldbeobachtungssystem selbsttätig eine virtuelle Kameraposition und virtuelle Kameraausrichtung für Fahrzeugumgebungen wählen kann, an denen bereits in der Vergangenheit eine virtuelle Kameraposition und virtuelle Kameraausrichtung festgelegt wurde und basierend auf der virtuellen Kameraposition und virtuellen Kameraausrichtung die Darstellung der Fahrzeugumgebung auf der Anzeigeeinheit des Fahrzeugs erfolgt. Dadurch ist keine Fahrerinteraktion mit dem Umfeldbeobachtungssystem nötig, sofern der Fahrer die in der Vergangenheit getroffene virtuelle Kameraposition und virtuelle Kameraausrichtung erneut verwenden möchte. Dadurch kann sich der Fahrer besser auf das Fahrmanöver konzentrieren und wird nicht durch die Interaktion mit dem Umfeldbeobachtungssystem abgelenkt, was die Nutzerfreundlichkeit des Fahrerassistenzsystems erhöht.
Gemäß einem Ausführungsbeispiel umfasst das Vergleichen der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen ein Bestimmen von Bildähnlichkeiten und einen Abgleich von Bildmerkmalen zwischen den aktuellen Fahrzeugumgebungsinformationen und den abgespeicherten Fahrzeugumgebungsinformationen. Dadurch kann durch Bildverarbeitung ermittelt werden, ob sich das Fahrzeug an einer Position befindet, für die bereits Informationen zu virtueller Kameraposition und virtueller Kameraausrichtung hinterlegt sind.
Gemäß einem Ausführungsbeispiel werden mehrere Ähnlichkeitsparameter zu mehreren unterschiedlichen Datensätzen ermittelt. Es wird der maximale Ähnlichkeitsparameter bestimmt, der die größte Übereinstimmung zwischen den aktuellen Fahrzeugumgebungsinformationen und den abgespeicherten Fahrzeugumgebungsinformationen indiziert. Zum Schwellwertvergleich wird dann der maximale Ähnlichkeitsparameter verwendet. Zur Festlegung der virtuellen Kameraposition und virtuellen Kameraausrichtung werden die Informationen zu virtueller Kameraposition und Kameraausrichtung desjenigen Datensatzes ausgelesen, der die abgespeicherten Fahrzeugumgebungsinformationen enthält, die zu dem maximalen Ähnlichkeitsparameter geführt haben. Dadurch können die Fahrzeugumgebungsinformationen mehrerer Datensätze untersucht werden und derjenige Datensatz zur Festlegung der virtuellen Kameraposition und virtuellen Kameraausrichtung verwendet werden, dessen abgespeicherte Fahrzeugumgebungsinformationen die größte Übereinstimmung bzw. Ähnlichkeit mit den aktuellen Fahrzeugumgebungsinformationen aufweisen.
Gemäß einem Ausführungsbeispiel weisen die Datensätze jeweils positionsbezogene Umgebungsinformationen auf. Durch den Vergleich der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen, die Ermittlung des zumindest einen Ähnlichkeitsparameters und den Vergleich des Ähnlichkeitsparameters mit dem Schwellwert festgestellt wird, ob sich das Fahrzeug an einer Fahrzeugposition befindet, zu der eine virtuelle Kameraposition und eine virtuelle Kameraausrichtung bereits festgelegt wurde. Es wird damit durch die kamerabasierte Umgebungserfassung und den Vergleich mit bekannten Umgebungsinformationen festgestellt, ob eine Übereinstimmung mit einer bekannten Fahrzeugumgebung gegeben ist, für die in der Vergangenheit bereits eine Betrachtungsperspektive festgelegt wurde.
Gemäß einem Ausführungsbeispiel weist das Fahrzeug ein sensorbasiertes Positionsbestimmungssystem, beispielsweise ein GPSbasiertes Positionsbestimmungssystem auf. Die Datensätze weisen jeweils Positionsdaten auf, die vom Positionsbestimmungssystem in der Vergangenheit bereitgestellt wurden. Die Positionsdaten geben die geographische Position an, an der die jeweiligen abgespeicherten Fahrzeugumgebungsinformationen erfasst wurden. Die Positionsdaten sind beispielsweise geographische Koordinaten eines globalen Koordinatensystems. Damit ist es über die aktuelle Positionsinformation des Positionsbestimmungssystems und den Vergleich der aktuellen Positionsinformation mit den Positionsdaten der Datensätze möglich, die Relevanz der jeweiligen Datensätze einzuschätzen, ohne einen Vergleich der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen vornehmen zu müssen.
Gemäß einem Ausführungsbeispiel werden Positionsinformationen mittels des sensorbasierten Positionsbestimmungssystems bestimmt. Diese Positionsinformationen werden mit den in den Datensätzen abgespeicherten Positionsdaten verglichen. Durch den Vergleich der Positionsinformationen mit den in den Datensätzen abgespeicherten Positionsdaten erfolgt eine Einschränkung der Datensätze, und zwar dahingehend, für welche Datensätze bzw. in den jeweiligen Datensätzen enthaltenen abgespeicherten Fahrzeugumgebungsinformationen jeweils eine Bestimmung eines Ähnlichkeitsparameters zu erfolgen hat. Ein sensorbasiertes Positionsbestimmungssystem hat eine Ungenauigkeit bzw. Unschärfe in der Positionsbestimmung, die keine exakte Positionsbestimmung ermöglicht. Die Ungenauigkeit bzw. Unschärfe liegt typischerweise im Bereich einiger Meter. Durch das sensorbasierte Positionsbestimmungssystem lässt sich damit keine exakte Positionsbestimmung des Fahrzeugs erreichen, aber es ist möglich, die visuelle Positionsbestimmung, die auf den abgespeicherten Datensätzen basiert, durch das sensorbasierte Positionsbestimmungssystem zu unterstützen, und zwar dahingehend, dass der Vergleich der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen auf die relevanten Datensätze reduziert werden kann, die im Bereich der aktuellen Fahrzeugposition aufgenommen wurden. Dadurch kann der Rechenaufwand für den Vergleich entscheidend reduziert werden.
Gemäß einem Ausführungsbeispiel erzeugt eine Recheneinheit des Fahrzeugs aus den von den Kameras bereitgestellten Informationen basierend auf der virtuellen Kameraposition und der Kameraausrichtung dreidimensionale Umgebungsinformationen, die auf der Anzeigeeinheit des Fahrzeugs als räumlich perspektivische Umgebungsinformationen dargestellt werden. Die virtuelle Kameraposition und die Kameraausrichtung gibt dabei die Perspektive, aus der die Umgebungsinformationen betrachtet werden, und den Sektor der auf der Anzeigeeinheit dargestellten Umgebungsinformationen vor. Dadurch können durch das Umfelderfassungssystem die Umgebungsinformationen natürlich und nutzerfreundlich dargestellt werden.
Gemäß einem Ausführungsbeispiel enthalten die räumlich perspektivischen Umgebungsinformationen eine perspektivische Ansicht des Fahrzeugs selbst. Beispielsweise kann der Umgebungsbereich über das Fahrzeug selbst hinweg perspektivisch dargestellt werden, d.h. es ist in den perspektivischen Umgebungsinformationen nicht nur die Umgebung des Fahrzeugs selbst, sondern auch die Lage bzw. Einbettung des Fahrzeugs in die Umgebung erkennbar. Dadurch wird eine bessere Fahrerunterstützung durch das Umfelderfassungssystem ermöglicht, da der Fahrer besser erkennen kann, wie das Fahrzeug relativ zur Umgebung positioniert ist.
Gemäß einem weiteren Aspekt betrifft die Erfindung ein System zur Festlegung der Position und Ausrichtung einer virtuellen Kamera eines Umfeldbeobachtungssystems. Das System umfasst mehrere um ein Fahrzeug herum verteilt angeordnete Kameras, eine Recheneinheit zur Verarbeitung der Informationen, die von den Kameras bereitgestellt werden, eine Speichereinheit und eine Anzeigeeinheit, die zur Darstellung von Umgebungsinformationen des Fahrzeugs ausgebildet ist. Die Recheneinheit ist dazu konfiguriert, die folgenden Schritte zu vollziehen:
- Erfassen der Fahrzeugumgebung mittels mehrerer Kameras des Fahrzeugs und Erzeugen von aktuellen Fahrzeugumgebungsinformationen basierend auf Informationen der Kameras;
- Abspeichern mehrerer Datensätze in der Speichereinheit, wobei die Datensätze jeweils abgespeicherte Fahrzeugumgebungsinformationen, die mittels mehrerer Kameras des Fahrzeugs erfasst wurden, und diesen abgespeicherten Fahrzeugumgebungsinformationen zugeordnete Informationen zu virtueller Kameraposition und Kameraausrichtung umfassen;
- Vergleichen der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen zumindest eines Datensatzes;
- Ermitteln zumindest eines Ähnlichkeitsparameters zu zumindest einem Datensatz, wobei der Ähnlichkeitsparameter jeweils den Grad der Ähnlichkeit der aktuellen Fahrzeugumgebungsinformationen zu den abgespeicherten Fahrzeugumgebungsinformationen des jeweiligen Datensatzes angibt;
- falls der Ähnlichkeitsparameter größer ist als ein vorgegebener Schwellwert, Auslesen der Informationen zu virtueller Kameraposition und Kameraausrichtung des Datensatzes, der die abgespeicherten Fahrzeugumgebungsinformationen enthält und Festlegen der virtuellen Kameraposition und der Kameraausrichtung basierend auf den ausgelesenen Informationen zu virtueller Kameraposition und Kameraausrichtung. Gemäß einem Ausführungsbeispiel des Systems ist die Recheneinheit dazu ausgebildet, zum Vergleichen der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen Bildähnlichkeiten zu bestimmen und Bildmerkmale zwischen den aktuellen Fahrzeugumgebungsinformationen und den abgespeicherten Fahrzeugumgebungsinformationen abzugleichen. Dadurch kann durch Bildverarbeitung ermittelt werden, ob sich das Fahrzeug an einer Position befindet, für die bereits Informationen zu virtueller Kameraposition und virtueller Kameraausrichtung hinterlegt sind.
Gemäß einem Ausführungsbeispiel des Systems ist die Recheneinheit dazu ausgebildet, mehrere Ähnlichkeitsparameter zu mehreren unterschiedlichen Datensätzen zu ermitteln, den maximalen Ähnlichkeitsparameter zu bestimmen, der die größte Übereinstimmung zwischen den aktuellen Fahrzeugumgebungsinformationen und den abgespeicherten Fahrzeugumgebungsinformationen indiziert, zum Schwellwertvergleich den maximalen Ähnlichkeitsparameter zu verwenden und die Informationen zu virtueller Kameraposition und Kameraausrichtung des Datensatzes auszulesen, der die abgespeicherten Fahrzeugumgebungsinformationen, die zum maximalen Ähnlichkeitsparameter geführt haben, enthält. Dadurch können die Fahrzeugumgebungsinformationen mehrerer Datensätze untersucht werden und derjenige Datensatz zur Festlegung der virtuellen Kameraposition und virtuellen Kameraausrichtung verwendet werden, dessen abgespeicherte Fahrzeugumgebungsinformationen die größte Übereinstimmung bzw. Ähnlichkeit mit den aktuellen Fahrzeugumgebungsinformationen aufweisen.
Gemäß einem Ausführungsbeispiel des Systems weist das Fahrzeug ein sensorbasiertes Positionsbestimmungssystem auf. Die Recheneinheit ist dazu konfiguriert, in den Datensätzen jeweils vom Positionsbestimmungssystem bereitgestellte Positionsdaten zu speichern, die die geographische Position angeben, an der die jeweiligen abgespeicherten Fahrzeugumgebungsinformationen erfasst wurden. Die Positionsdaten geben die geographische Position an, an der die jeweiligen abgespeicherten Fahrzeugumgebungsinformationen erfasst wurden. Die Positionsdaten sind beispielsweise geographische Koordinaten eines globalen Koordinatensystems. Damit ist es über die aktuelle Positionsinformation des Positionsbestimmungssystems möglich, die Relevanz von Datensätzen einzuschätzen, ohne einen Vergleich der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen vornehmen zu müssen.
Gemäß einem Ausführungsbeispiel des Systems ist das sensorbasierte Positionsbestimmungssystem zur Bestimmung von geographischen Positionsinformationen ausgebildet. Die Recheneinheit ist dazu konfiguriert, die geographischen Positionsinformationen mit den in den Datensätzen abgespeicherten Positionsdaten zu vergleichen und durch den Vergleich der Positionsinformationen mit den in den Datensätzen abgespeicherten Positionsdaten die Datensätze einzuschränken, für die jeweils eine Bestimmung eines Ähnlichkeitsparameters erfolgt. Dadurch kann der Rechenaufwand für den Vergleich der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen entscheidend reduziert werden.
Gemäß einem Ausführungsbeispiel des Systems ist die Recheneinheit dazu konfiguriert, aus den von den Kameras bereitgestellten Informationen basierend auf der virtuellen Kameraposition und der Kameraausrichtung dreidimensionale Umgebungsinformationen zu erzeugen, die auf der Anzeigeeinheit des Fahrzeugs als räumlich perspektivische Umgebungsinformationen dargestellt werden. Dadurch können die Umgebungsinformationen durch das Umfelderfassungssystem natürlich und nutzerfreundlich dargestellt werden Gemäß einem Ausführungsbeispiel des Systems ist die Recheneinheit dazu konfiguriert, in den räumlich perspektivischen Umgebungsinformationen eine perspektivische Ansicht des Fahrzeugs selbst darzustellen. Dadurch wird eine bessere Fahrerunterstützung durch das Umfelderfassungssystem ermöglicht, da der Fahrer besser erkennen kann, wie das Fahrzeug relativ zur Umgebung positioniert ist.
Die Ausdrücke „näherungsweise“, „im Wesentlichen“ oder „etwa“ bedeuten im Sinne der Erfindung Abweichungen vom jeweils exakten Wert um +/- 10%, bevorzugt um +/- 5% und/oder Abweichungen in Form von für die Funktion unbedeutenden Änderungen.
Weiterbildungen, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich auch aus der nachfolgenden Beschreibung von Ausführungsbeispielen und aus den Figuren. Dabei sind alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger Kombination grundsätzlich Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Ansprüchen oder deren Rückbeziehung. Auch wird der Inhalt der Ansprüche zu einem Bestandteil der Beschreibung gemacht.
Die Erfindung wird im Folgenden anhand der Figuren an Ausführungsbeispielen näher erläutert. Es zeigen:
Fig. 1 beispielhaft eine schematische Draufsichtdarstellung eines Fahrzeugs, das ein System zur Darstellung von Umgebungsinformationen auf einer Anzeigeeinheit aufweist;
Fig. 2 beispielhaft die Darstellung einer Halbkugel als 3D-bowl, auf die
Umgebungsinformationen im Umgebungsbereich des Fahrzeugs gemappt werden, um die Umgebungsinformationen perspektivisch darstellen zu können;
Fig. 3 beispielhaft ein schematisches Blockdiagramm eines Systems zur Festlegung der Position und Ausrichtung einer virtuellen Kamera zur perspektivischen Darstellung von Umgebungsinformationen im Umgebungsbereich des Fahrzeugs; und
Fig. 4 ein Ablaufdiagramm, das die Schritte des Verfahrens zur Festlegung der Position und Ausrichtung einer virtuellen Kamera zur perspektivischen Darstellung von Umgebungsinformationen des Fahrzeugs verdeutlicht.
Figur 1 zeigt beispielhaft und schematisch ein Fahrzeug 1 , das ein System zur dreidimensionalen Darstellung des Umgebungsbereichs des Fahrzeugs 1 auf einer Anzeigeeinheit 2, nachfolgend auch als 3D- Surroundview-System bezeichnet, aufweist. Die Anzeigeeinheit 2 ist insbesondere im Fahrzeuginnenraum vorgesehen und dient zur Unterstützung des Fahrers bei Fahrmanövern, beispielsweise beim Rückwärtsfahren oder Einparken in einer Parklücke.
Das Fahrzeug 1 weist mehrere Kameras 3 auf, die außenseitig am Fahrzeug 1 und umfangsseitig verteilt um das Fahrzeug 1 herum vorgesehen sind. Beispielsweise kann das Fahrzeug 1 eine Front-, eine Heck- und an jeder Seite zumindest eine Seitenkamera aufweisen. Die Kameras 3 sind vorzugsweise derart angeordnet und konfiguriert, dass durch das Zusammensetzen der von den jeweiligen Kameras 3 bereitgestellten Bilder eine 360°-Darstellung des Umgebungsbereichs des Fahrzeugs 1 möglich wird.
Das Fahrzeug 1 ist vorzugsweise dazu ausgebildet, aus den von den zumindest zwei Kameras 3 bereitgestellten Bildinformationen dreidimensionale Umgebungsinformationen zu erzeugen, die auf der Anzeigeeinheit 2 als räumlich perspektivische Umgebungsinformationen dargestellt werden.
Fig. 2 zeigt beispielhaft eine perspektivische Darstellung des dreidimensionalen Raums im Umgebungsbereich des Fahrzeugs 1. Eine solche Darstellung wird beispielsweise als 3D-bowl bezeichnet. Aus den von den Kameras 3 bereitgestellten Bildinformationen können durch die fahrzeugseitig vorgesehene Recheneinheit 5 räumlich perspektivische Umgebungsinformationen berechnet werden. Bei diesen räumlich perspektivischen Umgebungsinformationen ist vorzugsweise das Fahrzeug 1 selbst bzw. dessen Kontur erkennbar. Diese Art der perspektivischen Rund-um-Sicht-Darstellung ermöglicht, im Gegensatz zu einer Draufsicht-Darstellung (Vogelperspektive), die perspektivische Betrachtung des Umgebungsbereichs des Fahrzeugs 1 von einem bestimmten Bezugspunkt bzw. Betrachtungspunkt aus, der im Folgenden als Kameraposition bezeichnet wird. Dabei kann die Kameraposition variiert werden, d.h. es kann die virtuelle Position, von der aus das Fahrzeug 1 und dessen Umgebung betrachtet werden, geändert werden (virtuelle Bewegung in der 3D-bowl). Dadurch wird eine realistischere Darstellung des Umgebungsbereichs des Fahrzeugs 1 erreicht.
Zudem kann von einer festgelegten Kameraposition aus die Kameraausrichtung verändert werden, d.h. der Winkel, mit dem das Fahrzeug 1 bzw. die Umgebung des Fahrzeugs 1 von der Kameraposition aus betrachtet wird.
Das Fahrzeug 1 ist dazu ausgebildet, die Kameraposition und die Kameraausrichtung automatisch festzulegen, und zwar dadurch, dass das Fahrzeug 1 ein visuelles Umgebungserkennungssystem aufweist, das dazu konfiguriert ist, festzustellen, ob das Fahrzeug 1 sich aktuell an einer Position befindet, zu der bereits eine Kameraposition und eine Kameraausrichtung von dem Fahrzeugnutzer festgelegt wurden. Das visuelle Umgebungserkennungssystem nutzt dabei die von den Kameras 3 bereitgestellten Bildinformationen, generiert daraus aktuelle Fahrzeugumgebungsinformationen und vergleicht diese mit abgespeicherten Fahrzeugumgebungsinformationen, an denen der Fahrzeugnutzer bereits eine Kameraposition und eine Kameraausrichtung festgelegt hat.
Wie in Fig. 1 schematisch angedeutet, umfasst das Fahrzeug eine Recheneinheit 5, mittels der die automatische Festlegung der Kameraposition und der Kameraausrichtung erfolgt. Fig. 3 zeigt in einem beispielhaften schematischen Blockdiagramm den Aufbau des Systems zur automatischen Festlegung der Kameraposition und der Kameraausrichtung. Eine Recheneinheit des Fahrzeugs 5 implementiert beispielsweise ein visuelles Umgebungserkennungssystem 7 und ein 3D- Surroundview-System 8. Das Umgebungserkennungssystem 7 ist mit den Kameras 3 des Fahrzeugs 1 gekoppelt und empfängt von diesen Bildinformationen. Die Bildinformationen der einzelnen Kameras 3 werden anschließend zusammengeführt und zu aktuellen Fahrzeugumgebungsinformationen weiterverarbeitet. Beispielsweise können die Bildinformationen der einzelnen Kameras 3 derart miteinander verknüpft werden, dass sich diese zu einer 360°-Rundumsicht ergänzen.
Das Umgebungserkennungssystem 7 ist mit einer Speichereinheit 4 gekoppelt. Die Speichereinheit 4 ist dazu ausgebildet, einen oder vorzugsweise mehrere Datensätze zu speichern. Ein Datensatz umfasst dabei Fahrzeugumgebungsinformationen, die zu einem vergangenen Zeitpunkt basierend auf den Bildinformationen der Kameras 3 ermittelt wurden. Die Fahrzeugumgebungsinformationen können dabei insbesondere auch von dem Umgebungserkennungssystem 7 durch Zusammensetzen von Bildinformationen mehrerer Kameras 3 erhalten worden sein. Zudem weisen die Datensätze jeweils Informationen zur virtuellen Kameraposition und zur virtuellen Kameraausnchtung auf, die von einem Fahrzeugnutzer in der aktuellen Fahrzeugumgebung bereits verwendet wurden. In anderen Worten dient damit die Speichereinheit 4 der Abspeicherung von nutzerbezogenen virtuellen Kamerapositions- und virtuellen Kameraausrichtungsinformationen an bestimmten Orten, die beispielsweise von dem Fahrzeugnutzer mehrmals aufgesucht werden.
Das Umgebungserkennungssystem 7 ist dazu konfiguriert, durch einen Vergleich der aktuell erfassten Fahrzeugumgebungsinformationen mit abgespeicherten Fahrzeugumgebungsinformationen, die in den Datensätzen in der Speichereinheit 4 des Fahrzeugs 1 gespeichert sind, zu erkennen, ob sich das Fahrzeug 1 an einer Position befindet, zu der bereits eine virtuelle Kameraposition und eine Kameraausrichtung durch den Fahrzeugnutzer festgelegt wurde.
Mehr im Detail werden die aktuell erfassten
Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen verglichen, indem Bildähnlichkeiten und/oder Merkmalsübereinstimmungen bestimmt werden. Basierend auf dem Vergleich der erfassten Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen wird ein Ähnlichkeitsparameter bestimmt, der die Wahrscheinlichkeit angibt, dass die aktuell erfassten Fahrzeugumgebungsinformationen von der gleichen Fahrzeugposition aufgenommen wurden als die abgespeicherten Fahrzeugumgebungsinformationen. Wenn der Ähnlichkeitsparameter einen vorgegebenen Schwellwert überschreitet, wird angenommen, dass es sich bei der aktuellen Fahrzeugposition um die gleiche Position handelt, an der die abgespeicherten Fahrzeugumgebungsinformationen aufgenommen wurden. In diesem Fall werden die den abgespeicherten Fahrzeugumgebungsinformationen zugeordneten Informationen zu virtueller Kameraposition und Kameraausrichtung aus der Speichereinheit 4 ausgelesen und dazu genutzt die virtuelle Kameraposition und Kameraausrichtung an der aktuellen Fahrzeugposition basierend darauf festzulegen.
Die ausgelesene virtuelle Kameraposition und die Kameraausrichtung werden insbesondere an das 3D-Surroundview-System 8 übergeben, das basierend darauf eine Darstellung der aktuellen Fahrzeugumgebungsinformation an der Anzeigeeinheit 2 des Fahrzeugs 1 veranlasst.
Gemäß einem Ausführungsbeispiel weist das Fahrzeug 1 ein sensorbasiertes Positionsbestimmungssystem 6 auf. Das sensorbasierte Positionsbestimmungssystem 6 kann beispielsweise ein satellitengeschütztes GPS-System (GPS: Global Positioning System) sein. Mittels des Positionsbestimmungssystems 6 ist es möglich, eine Positionsinformation des Fahrzeugs 1 zu ermitteln. Diese Positionsinformation ist insbesondere eine Koordinate in einem globalen Koordinatensystem, die angibt, wo sich das Fahrzeug aktuell befindet.
Die Positionsinformation kann dazu verwendet werden, die visuelle Positionsbestimmung, die auf bildlichen Umgebungsinformationen fußt, zu unterstützen. Insbesondere kann eine Einschränkung von Datensätzen vorgenommen werden, die hinsichtlich einer Übereinstimmung von aktuellen Fahrzeugumgebungsinformationen mit abgespeicherten Fahrzeugumgebungsinformationen zu untersuchen sind. So können die Datensätze neben den abgespeicherten Fahrzeugumgebungsinformationen auch Positionsinformationen aufweisen, die durch das Positionsbestimmungssystem 6 erhalten wurden. Damit können vor dem Vergleichen der aktuellen Fahrzeugumgebungsinformationen mit abgespeicherten Fahrzeugumgebungsinformationen die Datensätze bestimmt werden, die von Positionen in der Nähe der aktuellen Position des Fahrzeugs 1 stammen und es kann lediglich ein Vergleich der abgespeicherten Fahrzeugumgebungsinformationen derjenigen Datensätze mit den aktuellen Fahrzeugumgebungsinformationen erfolgen, die an einer Position aufgenommen wurden, die in der Nähe der aktuellen Position des Fahrzeugs 1 liegen.
Vorzugsweise sind die in der Speichereinheit 4 abgespeicherten Datensätze einem Profil eines Fahrzeugnutzers zugeordnet. Damit ist es möglich, die Position und Ausrichtung der virtuellen Kamera fahrzeugnutzerabhängig abzuspeichern und dann abhängig von dem aktuellen Nutzerprofil bei der Festlegung der Position und Ausrichtung der virtuellen Kamera zu verwenden.
Fig. 4 zeigt ein Blockdiagramm, das die Schritte des Verfahrens zur Festlegung der Position und Ausrichtung der virtuellen Kamera veranschaulicht.
Zunächst wird die Fahrzeugumgebung mittels mehrerer Kameras des Fahrzeugs erfasst und es werden aktuelle Fahrzeugumgebungsinformationen basierend auf den Informationen der Kameras erzeugt (S10).
Des Weiteren wird eine Speichereinheit bereitgestellt, in der mehrere Datensätze gespeichert sind. Die Datensätze umfassen jeweils abgespeicherte Fahrzeugumgebungsinformationen, die mittels mehrerer Kameras des Fahrzeugs erfasst wurden. Die Datensätze umfassen zudem Informationen zu virtueller Kameraposition und Kameraausrichtung, die diesen abgespeicherten Fahrzeugumgebungsinformationen zugeordnet sind (S11 ).
Anschließend werden die aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen zumindest eines Datensatzes verglichen (S12). Daraufhin wird zumindest ein Ähnlichkeitsparameter zu zumindest einem Datensatz ermittelt. Der Ähnlichkeitsparameter gibt jeweils den Grad der Ähnlichkeit der aktuellen Fahrzeugumgebungsinformationen zu den abgespeicherten Fahrzeugumgebungsinformationen des jeweiligen Datensatzes an (S13).
Falls der Ähnlichkeitsparameter größer ist als ein vorgegebener Schwellwert, werden Informationen zu virtueller Kameraposition und Kameraausrichtung des Datensatzes, der die abgespeicherten Fahrzeugumgebungsinformationen enthält, ausgelesen. Basierend auf den ausgelesenen Informationen zu virtueller Kameraposition und Kameraausrichtung werden die virtuelle Kameraposition und die Kameraausrichtung festgelegt (S14).
Die Erfindung wurde voranstehend an Ausführungsbeispielen beschrieben. Es versteht sich, dass zahlreiche Änderungen sowie Abwandlungen möglich sind, ohne dass dadurch der durch die Patentansprüche definierte Schutzbereich verlassen wird.
Bezugszeichenliste 1 Fahrzeug
2 Anzeigeeinheit
3 Kamera
4 Speichereinheit
5 Recheneinheit 6 Positionsbestimmungssystem
7 Umgebungserkennungssystem
8 3D-Surroundview-System

Claims

Patentansprüche
1 ) Verfahren zur Festlegung einer virtuellen Kameraposition und Kameraausrichtung, um basierend auf dieser virtuellen Kameraposition und Kameraausrichtung die Umgebung eines Fahrzeugs (1 ) auf einer Anzeigeeinheit (2) des Fahrzeugs (1 ) darstellen zu können, wobei das Verfahren die folgenden Schritte umfasst:
- Erfassen der Fahrzeugumgebung mittels mehrerer Kameras (3) des Fahrzeugs (1 ), und Erzeugen von aktuellen Fahrzeugumgebungsinformationen basierend auf den Informationen der Kameras (3) (S10);
- Bereitstellen einer Speichereinheit (4), in der mehrere Datensätze gespeichert sind, wobei die Datensätze jeweils abgespeicherte Fahrzeugumgebungsinformationen, die mittels mehrerer Kameras (3) des Fahrzeugs (1 ) erfasst wurden, und diesen abgespeicherten Fahrzeugumgebungsinformationen zugeordnete Informationen zu virtueller Kameraposition und Kameraausrichtung umfassen (S11 );
- Vergleichen der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen zumindest eines Datensatzes (S12);
- Ermitteln zumindest eines Ähnlichkeitsparameters zu zumindest einem Datensatz, wobei der Ähnlichkeitsparameter jeweils den Grad der Ähnlichkeit der aktuellen Fahrzeugumgebungsinformationen zu den abgespeicherten Fahrzeugumgebungsinformationen des jeweiligen Datensatzes angibt (S13);
- falls der Ähnlichkeitsparameter größer ist als ein vorgegebener Schwellwert, Auslesen der Informationen zu virtueller Kameraposition und Kameraausrichtung des Datensatzes, der die abgespeicherten Fahrzeugumgebungsinformationen enthält und Festlegen der virtuellen Kameraposition und der Kameraausrichtung basierend auf den ausgelesenen Informationen zu virtueller Kameraposition und Kameraausrichtung (S14). ) Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Vergleichen der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen ein Bestimmen von Bildähnlichkeiten und einen Abgleich von Bildmerkmalen zwischen den aktuellen Fahrzeugumgebungsinformationen und den abgespeicherten Fahrzeugumgebungsinformationen umfasst. ) Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass mehrere Ähnlichkeitsparameter zu mehreren unterschiedlichen Datensätzen ermittelt werden, dass der maximale Ähnlichkeitsparameter bestimmt wird, der die größte Übereinstimmung zwischen den aktuellen Fahrzeugumgebungsinformationen und den abgespeicherten Fahrzeugumgebungsinformationen indiziert, dass zum Schwellwertvergleich der maximale Ähnlichkeitsparameter verwendet wird und dass die Informationen zu virtueller
Kameraposition und Kameraausrichtung des Datensatzes ausgelesen werden, der die abgespeicherten Fahrzeugumgebungsinformationen, die zum maximalen Ähnlichkeitsparameter geführt haben, enthält. ) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Datensätze jeweils positionsbezogene Umgebungsinformationen aufweisen und dass durch den Vergleich der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen festgestellt wird, die Ermittlung des zumindest einen Ähnlichkeitsparameters und den Vergleich des Ähnlichkeitsparameters mit dem Schwellwert festgestellt wird, ob sich das Fahrzeug (1 ) an einer Fahrzeugposition befindet, zu der eine virtuelle Kameraposition und Kameraausnchtung bereits festgelegt wurde.
5) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Fahrzeug (1 ) ein sensorbasiertes Positionsbestimmungssystem (6) aufweist und die Datensätze jeweils vom Positionsbestimmungssystem (6) bereitgestellte Positionsdaten aufweisen, die die geographische Position angeben, an der die jeweiligen abgespeicherten Fahrzeugumgebungsinformationen erfasst wurden.
6) Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass Positionsinformationen mittels des sensorbasierten Positionsbestimmungssystems (6) bestimmt werden, diese Positionsinformationen mit den in den Datensätzen abgespeicherten Positionsdaten verglichen werden und dass durch den Vergleich der Positionsinformationen mit den in den Datensätzen abgespeicherten Positionsdaten die Anzahl der Datensätze eingeschränkt wird, für die jeweils eine Bestimmung eines Ähnlichkeitsparameters zu erfolgen hat.
7) Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Recheneinheit (5) des Fahrzeugs aus den von den Kameras (3) bereitgestellten Informationen basierend auf der virtuellen Kameraposition und der Kameraausnchtung dreidimensionale Umgebungsinformationen erzeugt, die auf der Anzeigeeinheit (2) des Fahrzeugs (1 ) als räumlich perspektivische Umgebungsinformationen dargestellt werden.
8) Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die räumlich perspektivischen Umgebungsinformationen eine perspektivische Ansicht des Fahrzeugs (1 ) selbst enthalten. ) System umfassend mehrere um ein Fahrzeug (1 ) herum verteilt angeordnete Kameras (3), eine Recheneinheit (5) zur Verarbeitung der Informationen, die von den Kameras (3) bereitgestellt werden, eine Speichereinheit (4) und eine Anzeigeeinheit (2), die zur Darstellung von Umgebungsinformationen des Fahrzeugs (1 ) ausgebildet ist, wobei die Recheneinheit (5) dazu konfiguriert ist, die folgenden Schritte zu vollziehen:
- Erfassen der Fahrzeugumgebung mittels mehrerer Kameras (3) des Fahrzeugs (1 ), und Erzeugen von aktuellen Fahrzeugumgebungsinformationen basierend auf Informationen der Kameras (3);
- Abspeichern mehrerer Datensätze in der Speichereinheit (4), wobei die Datensätze jeweils abgespeicherte Fahrzeugumgebungsinformationen, die mittels mehrerer Kameras (3) des Fahrzeugs (1 ) erfasst wurden, und diesen abgespeicherten Fahrzeugumgebungsinformationen zugeordnete Informationen zu virtueller Kameraposition und Kameraausrichtung umfassen;
- Vergleichen der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen zumindest eines Datensatzes;
- Ermitteln zumindest eines Ähnlichkeitsparameters zu zumindest einem Datensatz, wobei der Ähnlichkeitsparameter jeweils den Grad der Ähnlichkeit der aktuellen Fahrzeugumgebungsinformationen zu den abgespeicherten Fahrzeugumgebungsinformationen des jeweiligen Datensatzes angibt;
- falls der Ähnlichkeitsparameter größer ist als ein vorgegebener Schwellwert, Auslesen der Informationen zu virtueller Kameraposition und Kameraausrichtung des Datensatzes, der die abgespeicherten Fahrzeugumgebungsinformationen enthält und Festlegen der virtuellen Kameraposition und der Kameraausrichtung basierend auf den ausgelesenen Informationen zu virtueller Kameraposition und Kameraausrichtung. ) System nach Anspruch 9, dadurch gekennzeichnet, dass die Recheneinheit (5) dazu ausgebildet ist, zum Vergleichen der aktuellen Fahrzeugumgebungsinformationen mit den abgespeicherten Fahrzeugumgebungsinformationen Bildähnlichkeiten zu bestimmen und Bildmerkmale zwischen den aktuellen Fahrzeugumgebungsinformationen und den abgespeicherten Fahrzeugumgebungsinformationen abzugleichen. ) System nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass die Recheneinheit (5) dazu ausgebildet ist, mehrere Ähnlichkeitsparameter zu mehreren unterschiedlichen Datensätzen zu ermitteln, den maximalen Ähnlichkeitsparameter zu bestimmen, der die größte Übereinstimmung mit zwischen den aktuellen Fahrzeugumgebungsinformationen und den abgespeicherten Fahrzeugumgebungsinformationen indiziert, zum Schwellwertvergleich den maximalen Ähnlichkeitsparameter zu verwenden und die Informationen zu virtueller Kameraposition und Kameraausrichtung des Datensatzes auszulesen, der die abgespeicherten Fahrzeugumgebungsinformationen, die zum maximalen Ähnlichkeitsparameter geführt haben, enthält. ) System nach einem der Ansprüche 9 bis 11 , dadurch gekennzeichnet, dass das Fahrzeug (1 ) ein sensorbasiertes Positionsbestimmungssystem (6) aufweist und dass die Recheneinheit (3) dazu konfiguriert ist, in den Datensätzen jeweils vom Positionsbestimmungssystem (6) bereitgestellte Positionsdaten zu speichern, die die geographische Position angeben, an der die jeweiligen abgespeicherten Fahrzeugumgebungsinformationen erfasst wurden. ) System nach Anspruch 12, dadurch gekennzeichnet, dass das sensorbasierte Positionsbestimmungssystem (6) zur Bestimmung von geographischen Positionsinformationen ausgebildet ist, und dass die Recheneinheit (5) dazu konfiguriert ist, die geographischen Positionsinformationen mit den in den Datensätzen abgespeicherten Positionsdaten zu vergleichen und durch den Vergleich der Positionsinformationen mit den in den Datensätzen abgespeicherten Positionsdaten die Datensätze einzuschränken, für die jeweils eine Bestimmung eines Ähnlichkeitsparameters erfolgt. ) System nach einem der Ansprüche 9 bis 13, dadurch gekennzeichnet, dass die Recheneinheit (5) dazu konfiguriert ist, aus den von den Kameras (3) bereitgestellten Informationen basierend auf der virtuellen Kameraposition und der Kameraausrichtung dreidimensionale Umgebungsinformationen zu erzeugen, die auf der Anzeigeeinheit (2) des Fahrzeugs (1 ) als räumlich perspektivische Umgebungsinformationen dargestellt werden. ) System nach Anspruch 14, dadurch gekennzeichnet, dass die Recheneinheit (5) dazu konfiguriert ist, in den räumlich perspektivischen Umgebungsinformationen eine perspektivische Ansicht des Fahrzeugs (1 ) selbst darzustellen.
EP22793670.5A 2021-11-04 2022-10-12 Verfahren und system zum festlegen der position und ausrichtung einer virtuellen kamera eines umfeldbeobachtungssystems Pending EP4427193A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021212445.3A DE102021212445A1 (de) 2021-11-04 2021-11-04 Verfahren und System zum Festlegen der Position und Ausrichtung einer virtuellen Kamera eines Umfeldbeobachtungssystems
PCT/DE2022/200234 WO2023078514A1 (de) 2021-11-04 2022-10-12 Verfahren und system zum festlegen der position und ausrichtung einer virtuellen kamera eines umfeldbeobachtungssystems

Publications (1)

Publication Number Publication Date
EP4427193A1 true EP4427193A1 (de) 2024-09-11

Family

ID=83995483

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22793670.5A Pending EP4427193A1 (de) 2021-11-04 2022-10-12 Verfahren und system zum festlegen der position und ausrichtung einer virtuellen kamera eines umfeldbeobachtungssystems

Country Status (5)

Country Link
EP (1) EP4427193A1 (de)
JP (1) JP7701562B2 (de)
CN (1) CN118176523A (de)
DE (1) DE102021212445A1 (de)
WO (1) WO2023078514A1 (de)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015206477A1 (de) 2015-04-10 2016-10-13 Robert Bosch Gmbh Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges
WO2017192144A1 (en) * 2016-05-05 2017-11-09 Harman International Industries, Incorporated Systems and methods for driver assistance
US20180152628A1 (en) 2016-11-30 2018-05-31 Waymo Llc Camera peek into turn
US10268201B2 (en) 2017-02-28 2019-04-23 Mitsubishi Electric Research Laboratories, Inc. Vehicle automated parking system and method
US11287879B2 (en) 2017-08-25 2022-03-29 Honda Motor Co., Ltd. Display control device, display control method, and program for display based on travel conditions
DE102018100211A1 (de) 2018-01-08 2019-07-11 Connaught Electronics Ltd. Verfahren zum Erzeugen einer Darstellung einer Umgebung durch Verschieben einer virtuellen Kamera in Richtung eines Innenspiegels eines Fahrzeugs; sowie Kameraeinrichtung
KR102132823B1 (ko) * 2018-12-04 2020-07-10 (주)캠시스 어라운드 뷰 모니터링 시스템 및 가용 주차 공간 검출 방법

Also Published As

Publication number Publication date
DE102021212445A1 (de) 2023-05-04
WO2023078514A1 (de) 2023-05-11
JP2024536453A (ja) 2024-10-04
JP7701562B2 (ja) 2025-07-01
CN118176523A (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
DE102012223730B4 (de) Vorrichtung und verfahren zum einstellen einer parkposition auf basis eines av-bildes
WO2011045276A1 (de) Verfahren zur darstellung von virtueller information in einer ansicht einer realen umgebung
DE102010034140A1 (de) Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung und Fahrerassistenzsystem
DE102012200731A1 (de) Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs
DE112015001336T5 (de) Fahrzeugfahrer-assistenzvorrichtung, die einem fahrzeugfahrer beim manövrieren des fahrzeugs relativ zu einem objekt assistiert
DE102018214510A1 (de) Parkplatzkartenerzeugung auf der Straße
DE102014213536A1 (de) Zusammenfügen von Teilbildern zu einem Abbild einer Umgebung eines Fortbewegungsmittels
DE102014222617A1 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
DE102015003666A1 (de) Verfahren zur Verarbeitung von erfassten Messdaten eines Sensors
DE112015003263T5 (de) Bildmodifikation
EP2813999A2 (de) Augmented-Reality-System und Verfahren zum Erzeugen und Anzeigen von Augmented-Reality-Objektdarstellungen für ein Fahrzeug
DE102015208343A1 (de) Verfahren zum Erzeugen eines Gesamtbildes einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung
EP2996327B1 (de) Surround-view-system für fahrzeuge mit anbaugeräten
EP3127042A1 (de) Informationsanzeige zu durch fenster sichtbaren, bewegten objekten
DE102014201409B4 (de) Parkplatz - trackinggerät und verfahren desselben
DE102011084596A1 (de) Verfahren zum Assistieren eines Fahrers in einer fremden Umgebung
WO2023078514A1 (de) Verfahren und system zum festlegen der position und ausrichtung einer virtuellen kamera eines umfeldbeobachtungssystems
WO2018177954A1 (de) Verfahren und einrichtung zum aufzeichnen von verkehrszeichen
WO2015062750A1 (de) Infotainmentsystem für ein fahrzeug
DE102015201642A1 (de) Vorrichtung und Verfahren zur Darstellung einer Umgebung eines Fahrzeuges
DE102019124313A1 (de) Warnbedingungs-einstellvorrichtung und -verfahren
DE102018121274A1 (de) Verfahren zum Visualisieren einer Fahrabsicht, Computerprogrammprodukt und Visualisierungssystem
EP2804785B1 (de) Anzeigesystem für ein fahrzeug
DE102016225073A1 (de) Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung
DE102021123503A1 (de) Ermittlung einer absoluten Initialposition eines Fahrzeugs

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240604

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH