EP3924932A1 - Modulares inpainting verfahren - Google Patents

Modulares inpainting verfahren

Info

Publication number
EP3924932A1
EP3924932A1 EP20707560.7A EP20707560A EP3924932A1 EP 3924932 A1 EP3924932 A1 EP 3924932A1 EP 20707560 A EP20707560 A EP 20707560A EP 3924932 A1 EP3924932 A1 EP 3924932A1
Authority
EP
European Patent Office
Prior art keywords
image
incomplete
areas
area
faulty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP20707560.7A
Other languages
English (en)
French (fr)
Inventor
Ekaterina Grünwedel
Charlotte GLOGER
Andreas Panakos
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of EP3924932A1 publication Critical patent/EP3924932A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Definitions

  • the present invention relates to a method in which a scenery is recorded as at least one raw image by at least one optical detection means, which is attached in particular to a means of transport, and in which image data of the scenery in the subsequently rendered Reder image is incomplete in at least one area and / or with errors.
  • the invention also relates to an image processing system, a use of the same and a means of locomotion.
  • Means of transport, and among these in particular land vehicles, are provided with an increasing number of Assistenzsyste men.
  • These also include camera devices that are intended to give the occupants and, among them, preferably the respective driver, a visual impression of one or more scenes outside a passenger compartment, for example to support, facilitate or monitor a parking process.
  • an image processing system according to claim 12, its use according to claim 13 and a means of locomotion according to claim 14 represent solutions to the mentioned problem.
  • the solution therefore consists initially in a modular method, in which in a first step an identification of missing parts in the rendered image based on the visibility restrictions. In a next step, masks are created from the missing parts of the rendered image, and the rendered image is only to be reconstructed in these masks.
  • the correction image is optimized by post-processing to form an optimization image and this is displayed instead of the respective correction image.
  • Possible artifacts can be smoothed and the appearance can be made more pleasant to the eye after the image reconstruction, for which the rendered image can be post-processed, for example to increase the sharpness, reduce the contrast and / or harmonize colors.
  • the rendered images, reconstructed correction images or optimized optimization images are displayed to the viewer in real time or with a negligible delay to allow the user to react promptly to the scenes of the images shown to him.
  • Preferably carries the repetition frequency of the displayable images at least 5fps.
  • the visibility restrictions are determined at least using a three-dimensional model of the respective vehicle as well as using an accommodation of the optical detection means.
  • Different scenarios can also be described in a suitable manner using known visibility restrictions. Concretely related to a scenario with a motor vehicle, those parts of the rendered scene that do not have any image data can be identified using a 3D model of the motor vehicle and the camera housing.
  • data on visibility restrictions, geometric models of environments (and patterns) and (in particular) scenery data that have already been generated can be stored in at least one database in an advantageous variant of the method.
  • parts of the respective render image that are not to be reconstructed for the mask or masks can then be protected or hidden from further processing in a simple manner from the start.
  • the image data to be reconstructed can be generated with the aid of a machine learning approach.
  • the image data can be reconstructed with the aid of an artificial neural network, which accesses the at least one database and is trained on the basis of its data.
  • the incomplete and / or faulty image data can be reconstructed using edge-based methods. Thereby, edges or object transitions are searched for in the rendered images. Processing with algorithms often does not yet provide closed edges; these have to be joined using additional processes to enclose objects.
  • the edge-based method can preferably be a level set method, in particular a fast marching method.
  • the former represents a numerical method for approximating geometric objects and their movement, with curves and surfaces advantageously being able to be calculated on a spatially fixed coordinate system without having to use parameterizations of the objects in question.
  • a special method for solving boundary value problems numerically is the fast marching method, which solves boundary value problems of the eikonal equation, here the development of a closed surface as a function of time with a certain speed.
  • the edge-based method can use a diffusion approach that is used for dimension reduction or feature extraction and is later propagated to predict the information in areas of incomplete and / or faulty mapping.
  • a machine learning approach can be used in a suitable manner, for example a Markov Random Field (MRF) method, whereby the MRFs can be used to segment digital images or classified areas and assume an interaction or mutual influencing of elements of a field.
  • MRF Markov Random Field
  • an image processing system that executes the above method in one of its variants, whose use in a parking assistance system is a
  • a means of locomotion which, for example, carries out a parking process at low speed, and a means of locomotion itself, in particular a land vehicle, is provided with such a system for the task at hand.
  • Fig. La, lb schematic perspective views of a rear outer area on a motor vehicle, recorded with an optical detection means, shown as a render image (Fig. La) and as a correction image (Fig. Lb), which was generated according to the inventive method; and
  • FIG. 2a, 2b are schematic perspective views of an outside area on a motor vehicle, recorded with an optical detection means, shown as a render image (FIG. 2a) and as a correction image (FIG. 2b) that was generated according to the method according to the invention.
  • La and lb show schematic perspective views of a rear scenery in the outside area of a motor vehicle, which is detected with an optical detection means.
  • the rendered image of the scene shown in Fig. La one recognizes an essentially rectangular area which is not completely mapped, since there image data of the scene are missing due to the housing of the optical detection means designed as a camera, not shown.
  • the missing image data can be reconstructed by means of the method according to the invention by means of digital impainting.
  • the aim is to create a coherent image that is based on the entirety of the image itself and then gives the user a better visual experience when looking at it.
  • Said area of missing image data 10 can be recognized by an edge 20 which separates this area from that area 30 known image data, which represents the introductory, identifying step.
  • the area 30 of known image data is provided with a mask, i.e. masks are generated which, with masked areas 30 that are not to be processed, enclose the area or areas 10 of incomplete and / or faulty imaging, so that although these areas 10, but not the areas 30 of known image data that are correctly captured and rendered, are reconstructed.
  • Contour lines of the rendered image that touch the edge 20 of the mask are continued along their imaginary extension into the non-masked area 10 of the image, as well as the structure of an area around the mask edge 20. Different sections are defined in the unmasked area by the contour lines, which are filled with the respective color of the edge assigned to them, after which the respective area is optionally textured.
  • FIGS. 1 a and 1 b it can be seen that the edges 40a, 40b, 40c are shown correctly in the correction image, while the continuation of the edge 40d shows a negligible discontinuity due to the darkness of the upper area.
  • FIG. 2a and 2b which in turn show a render image (FIG. 2a) and a correction image (FIG. 2b) of another, here a lateral scene on a motor vehicle, seen from above, show that those are missing in the render image Image data of the again rectangular area 10 in the correction image, on the one hand, the depicted structure 50, but also the shadow area 60 facing away from a light source, not shown, can be accurately reproduced by the reconstruction according to the invention.
  • the invention described above relates to a method for processing images, wherein a scene is recorded as at least one raw image by at least one optical detection means, which is attached in particular to egg nem means of transport, and image data of the scenery in the subsequently rendered render image at least incomplete and / or in at least one area be mapped with errors.
  • the process comprises the following steps:
  • the visual experience of a user of a system provided with the optical detection means is improved in a suitable manner, since a spot-free, continuous representation of the scenery in the correction image is made available.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

Die vorliegende Erfindung stellt ein Verfahren zur Bearbeitung von Bildern zur Verfügung, wobei eine Szenerie als wenigstens ein Rohbild durch wenigstens ein optisches Erfassungsmittel aufgenommen wird, welches insbesondere an einem Fortbewegungsmittel angebracht ist, und wobei Bilddaten der Szenerie in dem anschließend gerenderten Renderbild zumindest in wenigstens einem Bereich unvollständig und/oder fehlerbehaftet abgebildet werden. Um einem Nutzer von optischen Erfassungssystemen, etwa einer oder mehrere Kameras an einem Kfz, bei denen Sichtbarkeitseinschränkungen bestehen, ein angenehmeres visuelles Erlebnis zu vermitteln, umfasst das Verfahren die Schritte des Identifizieren des oder der Bereiche unvollständiger und/oder fehlerbehafteter Abbildung in dem Renderbild anhand bestehender Sichtbarkeitseinschränkungen, des Erzeugen von Masken, die den oder die Bereiche unvollständiger und/oder fehlerbehafteter Abbildung als maskierte Bereiche (30) einfassen, des Rekonstruieren von Bilddaten in nicht-maskierten Bereichen (10) des Renderbildes durch digitales inpainting und Synthetisieren zusammen mit den maskierten Bereichen (30) zu einem Korrekturbild sowie des Anzeigens des vervollständigten und/oder fehlerbereinigten Korrekturbildes.

Description

Modulares inpainting Verfahren
Die vorliegende Erfindung betrifft ein Verfahren, wobei eine Szenerie als wenigstens ein Rohbild durch wenigstens ein op tisches Erfassungsmittel aufgenommen wird, welches insbeson dere an einem Fortbewegungsmittel angebracht ist, und wobei Bilddaten der Szenerie in dem anschließend gerenderten Reder- bild zumindest in wenigstens einem Bereich unvollständig und/oder fehlerbehaftet abgebildet werden. Außerdem betrifft die Erfindung ein Bildbearbeitungssystem, eine Verwendung desselben sowie ein Fortbewegungsmittel.
Fortbewegungsmittel, und unter diesen insbesondere Landfahr zeuge, werden mit einer zunehmenden Anzahl an Assistenzsyste men versehen. Zu diesen gehören auch Kameraeinrichtungen, die den Insassen und unter diesen bevorzugt dem jeweiligen Fahr zeuglenker einen visuellen Eindruck einer oder mehrerer Sze nerien außerhalb eines Fahrgastraumes vermitteln sollen, etwa um einen Parkvorgang zu unterstützen, zu erleichtern oder zu überwachen .
Heutzutage sind die meisten Parklösungen Mehrkamerabasiert, um beim Parken des Autos einen besseren Eindruck von der Um gebung zu vermitteln. Allerdings sind nicht alle Bereiche rund um das Auto mit Kameras abgedeckt. Beispielsweise hat der Bereich unter dem Fahrzeug kein Kamerabild. Dadurch ent stehen schwarze Flecken, die für den Betrachter unangenehm sind .
Es ist daher die Aufgabe der vorliegenden Erfindung, einem Nutzer von optischen Erfassungssystemen, etwa einer oder meh rere Kameras an einem Kfz, bei denen Sichtbarkeitseinschrän kungen bestehen, ein angenehmeres visuelles Erlebnis zu ver mitteln, indem Bereiche mit unvollständiger und/oder fehler behafteter Information korrekt dargestellt werden. Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Weiter stellen auch ein Bildbearbeitungs system gemäß Anspruch 12, dessen Verwendung gemäß Anspruch 13 sowie ein Fortbewegungsmittel gemäß Anspruch 14 Lösungen der erwähnten Aufgabe dar. Die Lösung besteht demnach zunächst in einem modularen Verfahren, bei welche in einem ersten Schritt eine Identifizierung fehlender Teile im gerenderten Bild ba sierend auf den Sichtbarkeitsbeschränkungen stattfindet. So dann wird bzw. werden in einem nächsten Schritt aus den feh lenden Teilen des gerenderten Bildes Masken erstellt, wobei das gerenderte Bild nur in diesen Masken rekonstruiert werden soll. Nun werden die Bilddaten in den maskierten Bereichen durch digitales inpainting rekonstruiert, wobei es mehrere Möglichkeiten gibt, diese Rekonstruktion durchzuführen, wo nach schließlich in einem Anzeigeschritt die Daten des ver vollständigten und/oder fehlerbereinigten Korrekturbildes an gezeigt werden. Hierbei wird dem Benutzer also durch Rekon struktion fehlender Daten anhand von vorhandenen Daten das verbesserte visuelle Erlebnis vermittelt.
In einer vorteilhaften Variante, die das visuelle Erlebnis eines Benutzers weiter verbessert, wird das Korrekturbild durch Nachbearbeitung zu einem Optimierbild optimiert und dieses anstatt des jeweiligen Korrekturbildes angezeigt. Da bei können etwa mögliche Artefakte geglättet und das Erschei nungsbild nach der Bildrekonstruktion für das Auge angenehmer gestaltet werden, wofür das gerenderte Bild nachbearbeitet werden kann, etwa um die Schärfe zu erhöhen, den Kontrast zu reduzieren und/oder Farben zu harmonisieren.
Um dem Benutzer eine zeitnahe Reaktion auf Szenerien der ihm gezeigten Bilder zu gestatten, werden bei einer vorteilhaften Variante des Verfahrens die Renderbilder, rekonstruierte Kor rekturbilder oder optimierte Optimierbilder als jeweils an- zeigbare Bilder, dem Betrachter in Echtzeit oder mit einer zu vernachlässigenden Verzögerung angezeigt. Vorzugsweise be- trägt die Wiederholfrequenz der anzeigbaren Bilder dabei we nigstens 5fps.
Bei einer gut handhabbaren Variante des erfindungsgemäßen Verfahrens werden zum Identifizieren des oder der Bereiche unvollständiger und/oder fehlerbehafteter Abbildung in dem Renderbild die Sichtbarkeitsbeschränkungen zumindest anhand eines dreidimensionalen Modells des jeweiligen Fahrzeugs so wie anhand einer Unterbringung des optischen Erfassungsmit tels ermittelt werden. Auch abweichende Szenerien können an hand bekannter Sichtbarkeitsbeschränkungen in geeigneter Wei se beschrieben werden. Konkret auf ein Szenario mit einem Kraftfahr-zeug bezogen können anhand eines 3D-Modells des Kraftfahrzeugs und des Kameragehäuses können diejenigen Teile der gerenderten Szene erkannt werden, die keine Bilddaten aufweisen .
Für eine mehrfache oder dauerhafte Verwendung können Daten über Sichtbarkeitsbeschränkungen, geometrischen Modellen von Umgebungen (und Mustern) sowie (insbesondere) bereits einmal erzeugte Szeneriedaten bei einer vorteilhaften Variante des Verfahrens in wenigstens einer Datenbank vorgehalten werden. So können dann weiter für die Maske oder Masken nicht zu re konstruierende Teile des jeweiligen Renderbildes in einfacher Weise von vorne herein vor einer weiteren Bearbeitung ge schützt oder ausgeblendet werden.
Durch das Vorhalten bekannter und/oder schon erzeugter Bild daten, sowie ggf. auch von immer wiederkehrenden Masken kön nen in einer bevorzugten Variante die zu rekonstruierenden Bilddaten unter Zuhilfenahme eines maschinellen Lernansatzes erzeugt werden.
Besonders bevorzug können hierbei die Bilddaten unter Zuhil fenahme eines künstlichen neuronalen Netzes rekonstruiert werden, welches auf die wenigstens eine Datenbank zugreift und anhand von deren Daten trainiert wird. Bei einer vorteilhaften Variante des erfindungsgemäßen Ver fahrens können die unvollständigen und/ oder fehlerbehafteten Bilddaten anhand von kantenbasierten Verfahren rekonstruiert werden. Dabei wird in den Renderbildern nach Kanten oder Ob jektübergängen gesucht. Die Bearbeitung mit Algorithmen lie fert dabei häufig noch keine geschlossenen Kantenzüge, diese müssen anhand zusätzlicher Verfahren zusammengefügt werden, um Objekte einschließen.
Bevorzugt kann hierbei das kantenbasierte Verfahren ein Level Set Verfahren, insbesondere ein Fast Marching Verfahren ist. Ersteres stellt dabei ein numerisches Verfahren dar, um geo metrische Objekte und deren Bewegung approximativ zu verfol gen, wobei vorteilhafter Weise Kurven und Oberflächen auf ei nem räumlich festen Koordinatensystem berechnet werden kön nen, ohne Parametrisierungen der betreffenden Objekte verwen den zu müssen. Ein spezielles Verfahren zur Lösung von Rand wertproblemen auf numerischem Weg ist dabei die Fast- Marching-Methode, die Randwertproblemen der Eikonalgleichung löst, hier die Entwicklung einer geschlossenen Oberfläche als Funktion der Zeit mit einer bestimmten Geschwindigkeit.
In einer weiteren vorteilhaften Variante kann das kantenba sierte Verfahren einen Diffusionsansatz verwenden, der zur Dimensionsreduktion oder Merkmalsextraktion eingesetzt wird und später zur Vorhersage der Information in Bereichen un vollständiger und/oder fehlerbehafteter Abbildung fortge pflanzt wird. Hierbei kann geeigneter Weise ein maschineller Lernansatz eingesetzt werden, etwa eine Markov Random Field (MRF) Methode, wobei die MRFs zur Segmentierung digitaler Bilder oder klassifizierter Flächen eingesetzt werden können und von einer Wechselwirkung bzw. gegenseitigen Beeinflussun gen von Elementen eines Feldes ausgehen.
Wie oben bereits erwähnt, lösen auch ein Bildbearbeitungssys tem, welches das obige Verfahren in einer seiner Varianten ausführt, dessen Verwendung in einem Parkassistenzsystem ei- nes Fortbewegungsmittels das z.B. einen Parkvorgang bei, li mitierter Geschwindigkeit ausführt, und auch ein Fortbewe gungsmittel selbst, insbesondere ein Landfahrzeug, versehen mit einem solchen System jeweils die gestellte Aufgabe.
Die obigen Ausgestaltungen und Weiterbildungen lassen sich, sofern sinnvoll, beliebig miteinander kombinieren. Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierun gen der Erfindung umfassen auch nicht explizit genannte Kom binationen von zuvor oder im Folgenden bezüglich der Ausfüh rungsbeispiele beschriebenen Merkmale der Erfindung. Insbe sondere wird dabei der Fachmann auch Einzelaspekte als Ver besserungen oder Ergänzungen zu der jeweiligen Grundform der vorliegenden Erfindung hinzufügen.
Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren angegebenen Ausführungsbeispiele näher erläutert. Es zeigen dabei:
Fig. la, lb schematische perspektivische Ansichten eines rückwärtigen Außen-bereichs an einem Kfz, erfasst mit einem optischen Erfassungsmittel, dargestellt als Renderbild (Fig. la) und als Korrekturbild (Fig. lb) , das gemäß dem erfin dungsgemäßen Verfahren erzeugt wurde; und
Fig. 2a, 2b schematische perspektivische Ansichten eines an deren Außenbereichs an einem Kfz, erfasst mit einem optischen Erfassungsmittel, dargestellt als Renderbild (Fig. 2a) und als Korrekturbild (Fig. 2b), das gemäß dem erfindungsgemäßen Verfahren erzeugt wurde.
Die beiliegenden Figuren sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschauli chen Ausführungsformen und dienen im Zusammenhang mit der Be schreibung der Erklärung von Prinzipien und Konzepten der Er findung. Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die Elemente der Zeichnungen sind nicht notwendigerweise maß stabsgetreu zueinander gezeigt.
In den Figuren der Zeichnung sind gleiche, funktionsgleiche und gleich wirkende Elemente, Merkmale und Komponenten - so fern nichts anderes ausgeführt ist - jeweils mit denselben Bezugszeichen versehen.
Die Fig. la und lb zeigen schematische perspektivische An sichten auf eine rückwärtige Szenerie im Außenbereich eines Kraftfahrzeugs, welche mit einem optischen Erfassungsmittel erfasst ist. In dem in Fig. la gezeigten Renderbild der Sze nerie erkennt man einen im wesentlichen rechteckigen Bereich, der unvollständig abgebildet wird, da dort Bilddaten der Sze nerie, bedingt durch das Gehäuse des als Kamera ausgebilde ten, nicht weiter dargestellten optischen Erfassungsmittels fehlen. Da die Abmessungen des genannten Gehäuses jedoch be kannt sind, und in einer Datenbank vorgehalten werden, können die fehlenden Bilddaten mittels des erfindungsgemäßen Verfah rens im Wege des digital impainting rekonstruiert werden. Da bei soll ein in sich stimmiges Bild entstehen, das sich an der Gesamtheit des Bildes selbst orientiert und dem Benutzer anschließend beim Betrachten ein besseres visuelles Erlebnis verschafft .
Der genannte Bereich fehlender Bilddaten 10 ist mit einem Rand 20 zu erkennen, der diesen Bereich von demjenigen Be reich 30 bekannte Bilddaten trennt, was einleitenden, identi fizierenden Schritt darstellt. In einem nächsten Schritt des Verfahrens wird der Bereich 30 bekannter Bilddaten mit einer Maske versehen, es werden also Masken erzeugt, die mit mas kierten, nicht zu bearbeitenden Bereichen 30 den oder die Be reiche 10 unvollständiger und/oder fehlerbehafteter Abbildung einfassen, so dass zwar diese Bereiche 10, nicht aber die Be reiche 30 bekannter, weil korrekt erfasster und gerendert wiedergegebener Bilddaten rekonstruiert werden. In dem sich anschließenden Schritt der Rekonstruktion werden in den nicht-maskierten Bereichen des Renderbildes durch digitales inpainting Bilddaten rekonstruiert und dann zusammen mit den maskierten Bereichen ein Korrekturbild (Fig.lb) syntheti siert. Dabei werden Konturlinien des Renderbildes, die den Rand 20 der Maske berühren entlang ihrer gedachten Verlänge rung in den nicht-maskierten Bereich 10 des Bildes weiterge führt, außerdem auch die Struktur eines Bereichs um den Mas kenrand 20 herum. Dabei sind in den nicht maskierten Bereich durch die Konturlinien verschiedene Abschnitte definiert, die mit der jeweiligen Farbe des ihnen zugeordneten Randes be- füllt werden, wonach ggf. auch noch eine Texturierung des je weiligen Bereichs erfolgt.
In den Fig. la und lb erkennt man hierzu, dass hierbei etwa die Kanten 40a, 40b, 40c im Korrekturbild korrekt dargestellt werden, während durch die Dunkelheit des oberen Bereichs die Fortsetzung der Kante 40d eine hier zu vernachlässigende Un stetigkeit zeigt.
Weiter entnimmt man hierzu den Fig.2a und 2b, die wiederum ein Renderbild (Fig.2a) und ein Korrekturbild (Fig.2b) einer anderen, hier seitlichen Szenerie an einem Kraftfahrzeug von oben gesehen zeigen, dass die in dem Renderbild fehlen-den Bilddaten des wiederum rechteckigen Bereichs 10 in dem Kor rekturbild zum einen die abgebildete Struktur 50, aber auch den einer nicht dargestellten Lichtquelle abgewandten Schat tenbereich 60 durch die erfindungsgemäße Rekonstruktion zu treffend wiedergegeben werden.
Mithin betrifft die vorstehend beschriebene Erfindung ein Verfahren zur Bearbeitung von Bildern, wobei eine Szenerie als wenigstens ein Rohbild durch wenigstens ein optisches Er fassungsmittel aufgenommen wird, welches insbesondere an ei nem Fortbewegungsmittel angebracht ist, und wobei Bilddaten der Szenerie in dem anschließend gerenderten Renderbild zu mindest in wenigstens einem Bereich unvollständig und/oder fehlerbehaftet abgebildet werden. Dabei umfasst das Verfahren die Schritte:
Identifizieren des oder der Bereiche unvollständiger und/oder fehlerbehafteter Abbildung in dem Renderbild anhand bestehender Sichtbarkeitseinschränkungen .
Erzeugen von Masken, die den oder die Bereiche unvoll ständiger und/oder fehlerbehafteter Abbildung als maskierte Bereiche 30 einfassen.
Rekonstruieren (von Informationen an) von Bilddaten in nicht-maskierten Bereichen 10 des Renderbildes durch digita les inpainting und Synthetisieren zusammen mit den maskierten Bereichen 30 zu einem Korrekturbild; und
Anzeigen des vervollständigten und/oder fehlerbereinig ten Korrekturbildes.
Hierdurch wird in geeigneter Weise das visuelle Erlebnis ei nes Benutzers eines mit dem optischen Erfassungsmittel verse henen Systems verbessert, da eine fleckenfreie, durchgängige Darstellung der Szenerie in dem Korrekturbild zur Verfügung gestellt wird.
In der vorangegangenen detaillierten Beschreibung sind ver schiedene Merkmale zur Verbesserung der Stringenz der Dar stellung in einem oder mehreren Beispielen zusammengefasst worden. Es sollte dabei jedoch klar sein, dass die obige Be schreibung lediglich illustrativer, keinesfalls jedoch be schränkender Natur ist. Sie dient der Abdeckung aller Alter nativen, Modifikationen und Äquivalente der verschiedenen Merkmale und Ausführungsbeispiele. Viele andere Beispiele werden dem Fachmann aufgrund seiner fachlichen Kenntnisse in Anbetracht der obigen Beschreibung sofort und unmittelbar klar sein.
Die Ausführungsbeispiele wurden ausgewählt und beschrieben, um die der Erfindung zugrundeliegenden Prinzipien und ihre Anwendungsmöglichkeiten in der Praxis bestmöglich darstellen zu können. Dadurch können Fachleute die Erfindung und ihre verschiedenen Ausführungsbeispiele in Bezug auf den beabsich tigten Einsatzzweck optimal modifizieren und nutzen. In den Ansprüchen sowie der Beschreibung werden die Begriffe „bein haltend" und „aufweisend" als neutralsprachliche Begrifflich- keiten für die entsprechenden Begriffe „umfassend" verwendet. Weiterhin soll eine Verwendung der Begriffe „ein", „einer" und „eine" eine Mehr-zahl derartig beschriebener Merkmale und Komponenten nicht grundsätzlich ausschließen.
BEZUGSZEICHEN
10 nicht-maskierter Bereich
20 Maskenrand
30 maskierter Bereich
40a, 40b, 40c, 40d Kanten
50 Struktur
60 Schattenbereich

Claims

PATENTANSPRÜCHE
1. Verfahren zur Bearbeitung von Bildern, wobei eine Szenerie als wenigstens ein Rohbild durch wenigstens ein optisches Erfassungsmittel aufgenommen wird, welches insbesondere an einem Fortbewegungsmittel angebracht ist, und wobei Bild daten der Szenerie in dem anschließend gerenderten Render- bild zumindest in wenigstens einem Bereich unvollständig und/oder fehlerbehaftet abgebildet werden, wobei das Ver fahren die folgenden Schritte umfasst:
Identifizieren des oder der Bereiche unvollständiger und/oder fehlerbehafteter Abbildung in dem Renderbild an hand bestehender Sichtbarkeitseinschränkungen.
Erzeugen von Masken, die den oder die Bereiche unvollstän diger und/oder fehlerbehafteter Abbildung als maskierte Bereiche (30) einfassen.
Rekonstruieren von Bilddaten in nicht-maskierten Bereichen (10) des Renderbildes durch digitales inpainting und Syn thetisieren zusammen mit den maskierten Bereichen (30) zu einem Korrekturbild.
Anzeigen des vervollständigten und/oder fehlerbereinigten Korrekturbildes .
2. Verfahren nach Anspruch 1, wobei das Verfahren als weite ren Schritt umfasst:
Optimieren des Korrekturbildes durch Nachbearbeitung zu einem Optimierbild und Anzeige des Optimierbildes anstatt des jeweiligen Korrekturbildes.
3. Verfahren nach Anspruch 1 oder 2, wobei die Renderbilder, rekonstruierte Korrekturbilder und/oder optimierte Opti mierbilder jeweils als anzeigbare Bilder, dem Betrachter in Echtzeit oder mit einer zu vernachlässigenden Verzöge rung angezeigt werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Sichtbarkeitsbeschränkungen für das Identifizieren des oder der Bereiche unvollständiger und/oder fehlerbehafte ter Abbildung in dem Renderbild zumindest anhand ein drei dimensionales Modells des jeweiligen Fahrzeugs sowie an hand einer Unterbringung des optischen Erfassungsmittels ermittelt werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei Daten über Sichtbarkeitsbeschränkungen, geometrischen Mo dellen von Umgebungen (und Mustern) sowie (insbesondere) bereits einmal erzeugte Szeneriedaten in wenigstens einer Datenbank vorgehalten werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die zu rekonstruierenden Bilddaten unter Zuhilfenahme ei nes maschinellen Lernansatzes erzeugt werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bilddaten unter Zuhilfenahme eines künstlichen neuro nalen Netzes rekonstruiert werden, welches auf die wenigs tens eine Datenbank zugreift und anhand von deren Daten trainiert wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, wobei die unvollständigen und/ oder fehlerbehafteten Bilddaten anhand von kantenbasierten Verfahren rekonstruiert werden.
9. Verfahren nach Anspruch 8, wobei das kantenbasierten Ver fahren ein Level Set Verfahren, insbesondere ein Fast Mar- ching Verfahren ist.
10. Verfahren nach Anspruch 8 oder 9, wobei das kantenba sierte Verfahren zur Vorhersage der Information in Berei chen unvollständiger und/oder fehlerbehafteter Abbildung einen Diffusionsansatz verwendet.
11. Verfahren nach einem der Ansprüche 6 bis 10, wobei zur Vorhersage der Informationen in Bereichen unvollständiger und/oder fehlerbehafteter Abbildung eine Markov-Random- Field-Methode eingesetzt wird.
12. Bildbearbeitungssystem, versehen mit wenigstens einem optischen Erfassungsmittel, welches wenigstens ein Rohbild erfasst und zur digitalen Bearbeitung des wenigstens einen Bildes vorgesehen und eingerichtet ist, und mit einem An zeigemittel zur Anzeige eines bearbeiten Bildes, und wel ches ein Verfahren nach einem der Ansprüche 1 bis 11 durchführt .
13. Verwendung eines Bildbearbeitungssystems nach Anspruch 12 in einem Parkassistenzsystem eines Fortbewegungsmit tels, das Parkvorgang mit einer limitierten Geschwindig keit ausführt.
14. Fortbewegungsmittel, insbesondere Landfahrzeug, verse hen mit einem System nach Anspruch 12 oder dessen Verwen dung gemäß Anspruch 13 einsetzend.
EP20707560.7A 2019-02-11 2020-01-30 Modulares inpainting verfahren Withdrawn EP3924932A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019201702.9A DE102019201702A1 (de) 2019-02-11 2019-02-11 Modulares inpainting Verfahren
PCT/DE2020/200008 WO2020164671A1 (de) 2019-02-11 2020-01-30 Modulares inpainting verfahren

Publications (1)

Publication Number Publication Date
EP3924932A1 true EP3924932A1 (de) 2021-12-22

Family

ID=69723762

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20707560.7A Withdrawn EP3924932A1 (de) 2019-02-11 2020-01-30 Modulares inpainting verfahren

Country Status (6)

Country Link
US (1) US11961215B2 (de)
EP (1) EP3924932A1 (de)
JP (2) JP2022517849A (de)
CN (1) CN113330480A (de)
DE (1) DE102019201702A1 (de)
WO (1) WO2020164671A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12165406B2 (en) * 2021-12-20 2024-12-10 Here Global B.V. Method, apparatus, and computer program product for identifying and correcting intersection lane geometry in map data
US12013255B2 (en) 2021-12-20 2024-06-18 Here Global B.V. Method, apparatus, and computer program product for correcting lane geometry in map data
CN115272639B (zh) * 2022-09-19 2022-12-23 武汉天际航信息科技股份有限公司 修复图像中车辆区域的方法、装置和计算机程序产品
CN118351288B (zh) * 2024-04-16 2024-11-22 北京积加科技有限公司 图像区域标记修正方法、装置、设备和计算机可读介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301517A (ja) * 2004-04-08 2005-10-27 Toyota Motor Corp 画像処理装置および画像処理方法
JP2006332785A (ja) * 2005-05-23 2006-12-07 Univ Of Tokyo 画像補完装置及び画像補完方法並びにプログラム
US8971612B2 (en) * 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
CN103310415A (zh) * 2013-03-15 2013-09-18 清华大学 基于人脸的图像缺损补绘方法及系统
US9886636B2 (en) * 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
US10380239B2 (en) 2013-12-03 2019-08-13 Sharethrough Inc. Dynamic native advertisment insertion
US9542609B2 (en) * 2014-02-04 2017-01-10 Xerox Corporation Automatic training of a parked vehicle detector for large deployment
US11017311B2 (en) * 2014-06-30 2021-05-25 Hewlett Packard Enterprise Development Lp Dataset augmentation based on occlusion and inpainting
JP6564049B2 (ja) * 2014-11-26 2019-08-21 キュリアス アーイー オサケユイチア ニューラルネットワーク構造とその方法
CN104537663B (zh) * 2014-12-26 2018-01-02 广东中科遥感技术有限公司 一种图像抖动的快速校正方法
WO2016179303A1 (en) * 2015-05-04 2016-11-10 Kamama, Inc. System and method of vehicle sensor management
US9902322B2 (en) * 2015-10-30 2018-02-27 Bendix Commercial Vehicle Systems Llc Filling in surround view areas blocked by mirrors or other vehicle parts
CN106897655A (zh) * 2015-12-18 2017-06-27 富士通株式会社 停车位的检测装置、方法以及图像处理设备
DE102016220651A1 (de) * 2016-10-20 2018-04-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug
US10290085B2 (en) 2016-12-14 2019-05-14 Adobe Inc. Image hole filling that accounts for global structure and local texture
JP2018107573A (ja) 2016-12-26 2018-07-05 株式会社東海理化電機製作所 車両用視認装置
US10140690B2 (en) 2017-02-03 2018-11-27 Harman International Industries, Incorporated System and method for image presentation by a vehicle driver assist module
JP6837880B2 (ja) 2017-03-15 2021-03-03 株式会社東芝 画像処理装置、画像処理システム、画像処理方法、およびプログラム
GB201710877D0 (en) 2017-07-06 2017-08-23 Nokia Technologies Oy A method and an apparatus for evaluating generative machine learning model
CN108171663B (zh) * 2017-12-22 2021-05-25 哈尔滨工业大学 基于特征图最近邻替换的卷积神经网络的图像填充系统
CN109242791B (zh) 2018-08-22 2022-07-26 东北农业大学 一种针对破损植物叶片的批量修复方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BESCOS BERTA ET AL: "Empty Cities: Image Inpainting for a Dynamic-Object-Invariant Space", ARXIV.ORG, 20 September 2018 (2018-09-20), XP093276240, Retrieved from the Internet <URL:https://arxiv.org/abs/1809.10239v1> [retrieved on 20250512], DOI: 10.48550/arXiv.1809.10239v1 *

Also Published As

Publication number Publication date
CN113330480A (zh) 2021-08-31
US11961215B2 (en) 2024-04-16
JP2024041895A (ja) 2024-03-27
DE102019201702A1 (de) 2020-08-13
WO2020164671A1 (de) 2020-08-20
JP2022517849A (ja) 2022-03-10
JP7808135B2 (ja) 2026-01-28
US20220156894A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
EP3924932A1 (de) Modulares inpainting verfahren
DE102019131971A1 (de) Ein Bildverarbeitungsmodul
WO2022128014A1 (de) Korrektur von bildern eines rundumsichtkamerasystems bei regen, lichteinfall und verschmutzung
EP3762857A1 (de) Surroundview-system mit angepasster projektionsfläche
EP3292535B1 (de) Verfahren zum erzeugen eines gesamtbildes einer fahrzeugumgebung eines fahrzeuges und entsprechende vorrichtung
DE102015209391A1 (de) Verfahren und Vorrichtung zum Erzeugen einer Maskierungsvorschrift sowie zum Maskieren einer Bildinformation einer Kamera
DE112018005391T5 (de) Anzeigeverarbeitungsvorrichtung
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
EP3571091B1 (de) Verfahren und vorrichtung zum darstellen einer umgebung eines fahrzeuges
WO2014009406A1 (de) VERFAHREN UND VORRICHTUNG ZUM BERECHNEN EINER VERÄNDERUNG EINES ABBILDUNGSMAßSTABS EINES OBJEKTS
DE102022214330A1 (de) Verfahren zur Erzeugung mindestens einer Ground Truth aus der Vogelperspektive
DE102017206175A1 (de) Surround-View-System für ein Fahrzeug
DE102011082881A1 (de) Darstellung der Umgebung eines Kraftfahrzeugs in einer bestimmten Ansicht unter Verwendung räumlicher Information
WO2022049040A1 (de) Verfahren zum anzeigen einer umgebung eines fahrzeuges auf einer anzeigeeinrichtung, verarbeitungseinheit und fahrzeug
DE102018130229B4 (de) Verfahren und Vorrichtung zur Objektextraktion aus eine dreidimensionale Szene darstellenden Szenenbilddaten
DE102021101593B3 (de) Verfahren zum Betrieb von Umfeldsensoren in einem Kraftfahrzeug und Kraftfahrzeug
DE102018008791A1 (de) Verfahren zu einer dreidimensionalen Rekonstruktion einer Szene
DE102021214952A1 (de) Verfahren zur Anzeige einer virtuellen Ansicht einer Umgebung eines Fahrzeugs, Computerprogramm, Steuergerät und Fahrzeug
DE102019008081A1 (de) Verfahren zu einer kamerabasierten dreidimensionalen Rekonstruktion
DE102022206782A1 (de) Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem sowie Kamerasystem
DE102021212970A1 (de) Verfahren und Vorrichtung zum Erzeugen einer Surround-Ansicht, und Kraftfahrzeug
DE102024109099A1 (de) Verfahren zum Rendern einer Rückprojektion, Renderingsystem, Computerprogrammprodukt und computerlesbares Speichermedium
EP4670134A1 (de) Verfahren zum erzeugen von trainingsdaten zum trainieren eines algorithmus des maschinellen lernens
DE102024203351A1 (de) Verfahren und Vorrichtung zur Verarbeitung von Bilddaten
DE102024109113A1 (de) Verfahren zum Rendern einer Rückprojektion, Renderingsystem, Computerprogrammprodukt und computerlesbares Speichermedium

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210913

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20231211

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20250923