DE102021213330A1 - Method for capturing and processing a digital panoramic image - Google Patents

Method for capturing and processing a digital panoramic image Download PDF

Info

Publication number
DE102021213330A1
DE102021213330A1 DE102021213330.4A DE102021213330A DE102021213330A1 DE 102021213330 A1 DE102021213330 A1 DE 102021213330A1 DE 102021213330 A DE102021213330 A DE 102021213330A DE 102021213330 A1 DE102021213330 A1 DE 102021213330A1
Authority
DE
Germany
Prior art keywords
image
output
output image
focal length
panorama
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021213330.4A
Other languages
German (de)
Inventor
Aless Lasaruk
Steffen Görmer
Sumukha Manjunatha
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Publication of DE102021213330A1 publication Critical patent/DE102021213330A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G06T5/80—
    • G06T3/08—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Abstract

Die Erfindung betrifft ein Verfahren zum Erfassen und Verarbeiten eines digitalen Panoramabildes. Das Verfahren beinhaltet das Projizieren eines Panoramas (1) auf einen Bildsensor (4) mittels einer Panoramaobjektivlinse (3), um ein Rohbild (6) zu erhalten. Dann wird - basierend auf dem Rohbild (6) - ein Satz (7) von N Ausgabebildern (8) erzeugt. N ist größer als oder gleich zwei und jedes Ausgabebild (8) stellt eine gnomonische Projektion des Panoramas (1) mit einer gegebenen Brennweite dar. Die Ausgabebilder (8) weisen eine gemeinsame vorgegebene Auflösung auf, die Brennweite des ersten Ausgabebildes (8.1) weist einen vorgegebenen Brennweitenwert auf und die Brennweite jedes weiteren Ausgabebildes (8.2; 8.3) ist kürzer als diejenige des vorherigen Ausgabebildes (8.1; 8.2). Die Erfindung betrifft ferner ein digitales Panoramakamerasystem (2), das eine Panoramaobjektivlinse (3), einen Bildsensor (4) und Bildverarbeitungselektronik (5) umfasst. Die Bildverarbeitungselektronik (5) ist dazu eingerichtet, das Verfahren gemäß der obenstehenden Beschreibung durchzuführen.The invention relates to a method for capturing and processing a digital panoramic image. The method involves projecting a panorama (1) onto an image sensor (4) using a panorama objective lens (3) to obtain a raw image (6). Then - based on the raw image (6) - a set (7) of N output images (8) is generated. N is greater than or equal to two and each output image (8) represents a gnomonic projection of the panorama (1) with a given focal length. The output images (8) have a common predetermined resolution, the focal length of the first output image (8.1) has a specified focal length value and the focal length of each further output image (8.2; 8.3) is shorter than that of the previous output image (8.1; 8.2). The invention also relates to a digital panorama camera system (2) comprising a panorama objective lens (3), an image sensor (4) and image processing electronics (5). The image processing electronics (5) are set up to carry out the method according to the above description.

Description

FACHGEBIETAREA OF EXPERTISE

Die Erfindung betrifft ein Verfahren zum Erfassen und Verarbeiten eines digitalen Panoramabildes und ein digitales Panoramakamerasystem.The invention relates to a method for capturing and processing a digital panoramic image and a digital panoramic camera system.

HINTERGRUNDBACKGROUND

Digitale Panoramabilder weisen einen breiten Anwendungsbereich auf und können mit digitalen Panoramakamerasystemen, wie z. B. Kameras in Fahrzeugen oder Überwachungskameras, aufgenommen werden.Digital panoramic images have a wide range of applications and can be used with digital panoramic camera systems, such as e.g. As cameras in vehicles or surveillance cameras are included.

Ein Verfahren zum Erfassen und Anzeigen eines digitalen Panoramabildes mit variabler Auflösung wird z. B. in der Patentanmeldung US 2004/0136092 A1 der Vereinigten Staaten offenbart. Bei diesem Verfahren wird mittels einer Panoramaobjektivlinse ein Panorama auf einen Bildsensor projiziert. Die Panoramaobjektivlinse weist eine Bildpunktverteilungsfunktion auf, die - bezogen auf den Feldwinkel von Objektpunkten des Panoramas - nicht linear ist. Insbesondere weist die Verteilungsfunktion gegenüber einer linearen Verteilungsfunktion eine maximale Divergenz von wenigstens ±10 % auf, sodass das erhaltene Panoramabild wenigstens einen im Wesentlichen expandierten Bereich und wenigstens einen im Wesentlichen komprimierten Bereich aufweist. Auf diese Weise expandiert die Objektivlinse die nützlichsten Bereiche des Bildes, die von der beabsichtigten Anwendung abhängen. Die Schärfe in diesen nützlichen Bereichen ist ausgezeichnet, in den weniger wichtigen Bereichen hingegen mittelmäßig.A method for capturing and displaying a digital panoramic image with variable resolution is e.g. B. in the patent application U.S. 2004/0136092 A1 of the United States disclosed. In this method, a panorama is projected onto an image sensor using a panorama objective lens. The panorama objective lens has a pixel distribution function which is non-linear in relation to the field angle of object points in the panorama. In particular, the distribution function has a maximum divergence of at least ±10% compared to a linear distribution function, so that the panoramic image obtained has at least one essentially expanded area and at least one essentially compressed area. In this way, the objective lens expands the most useful areas of the image, depending on the intended application. Sharpness is excellent in these useful areas, but mediocre in the less important areas.

Dieses Verfahren erzeugt jedoch ein verzerrtes Bild und insbesondere erscheinen gerade Linien in dem Panorama in dem Bild nicht gerade. Dass gerade Linien gerade bleiben, ist jedoch ein wichtiges Merkmal für eine nachfolgende Bildanalyse, z. B. zur Objekterkennung basierend auf künstlicher Intelligenz.However, this method produces a distorted image and, in particular, straight lines in the panorama do not appear straight in the image. However, keeping straight lines straight is an important feature for subsequent image analysis, e.g. B. for object recognition based on artificial intelligence.

KURZDARSTELLUNGEXECUTIVE SUMMARY

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Erfassen und Verarbeiten eines digitalen Panoramabildes bereitzustellen, wobei gerade Linien in dem Panorama auch in dem Bild gerade sind und die Schärfe in einigen Bereichen des Bildes ausgezeichnet ist.It is an object of the present invention to provide a method for capturing and processing a digital panorama image, wherein straight lines in the panorama are straight also in the image, and sharpness is excellent in some areas of the image.

Die Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Ausführungsformen werden durch die abhängigen Ansprüche, die folgende Beschreibung und die beigefügten Figuren bereitgestellt.The object is solved by the subject matter of the independent claims. Embodiments are provided by the dependent claims, the following description and the attached figures.

Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren zum Erfassen und Verarbeiten eines digitalen Panoramabildes bereitgestellt. In einem ersten Schritt des Verfahrens wird mittels einer Panoramaobjektivlinse ein Panorama auf einen Bildsensor projiziert, um ein Rohbild zu erhalten. Das Panorama kann jede Art von Szene sein, die für die betreffende Anwendung von Interesse ist. Beispielsweise kann das Panorama für Kameras in Fahrzeugen der Blick durch die Windschutzscheibe oder durch das Heckfenster sein. Die Panoramaobjektivlinse kann jede Art von Weitwinkelobjektivlinse, wie etwa eine Fischaugenlinse oder eine Weitwinkellinse mit rektilinearer Abbildung, sein. Die Panoramaobjektivlinse projiziert das Panorama auf den Bildsensor, wobei der Bildsensor jede Art von geeignetem digitalem Bildsensor, z. B. ein CCD-Sensor oder ein CMOS-Sensor, sein kann.According to a first aspect of the invention, a method for capturing and processing a digital panoramic image is provided. In a first step of the method, a panorama is projected onto an image sensor using a panorama objective lens in order to obtain a raw image. The panorama can be any type of scene that is of interest to the application in question. For example, the panorama for cameras in vehicles can be the view through the windshield or through the rear window. The panoramic objective lens can be any type of wide-angle objective lens, such as a fisheye lens or a wide-angle rectilinear imaging lens. The panoramic objective lens projects the panorama onto the image sensor, where the image sensor can be any type of suitable digital image sensor, e.g. B. a CCD sensor or a CMOS sensor can be.

In einem zweiten Schritt des Verfahrens wird - basierend auf dem im ersten Schritt erhaltenen Rohbild - ein Satz von N Ausgabebildern erzeugt. Die Zahl N ist eine natürliche Zahl größer als oder gleich zwei, d. h. basierend auf dem Rohbild werden wenigstens zwei Ausgabebilder erzeugt. Jedes dieser Ausgabebilder stellt eine gnomonische Projektion des Panoramas mit einer gegebenen Brennweite dar. Eine gnomonische Projektion ist die Projektion, die mit einer Lochkamera erhalten wird, d. h. eine Projektion mit einer f tan(0)-Abbildungsfunktion. Folglich sind gerade Linien in dem Panorama auch in den Ausgabebildern gerade Linien. Die Brennweite der gnomonischen Projektion ist als der Abstand zwischen dem Loch und der Bildebene definiert.In a second step of the method, a set of N output images is generated based on the raw image obtained in the first step. The number N is a natural number greater than or equal to two, i. H. at least two output images are generated based on the raw image. Each of these output images represents a gnomonic projection of the panorama with a given focal length. A gnomonic projection is the projection obtained with a pinhole camera, i.e. H. a projection with an f tan(0) mapping function. Consequently, straight lines in the panorama are also straight lines in the output images. The focal length of the gnomonic projection is defined as the distance between the pinhole and the image plane.

Die Ausgabebilder weisen eine gemeinsame vorgegebene Auflösung auf, d. h. sie stellen die Projektion des Panoramas auf einen Bildsensor mit der vorgegebenen Auflösung dar. Diese Auflösung ist z. B. eine längenbezogene vorgegebene Anzahl von Pixeln.The output images have a common predetermined resolution, i. H. they represent the projection of the panorama onto an image sensor with the specified resolution. This resolution is e.g. B. a length-related predetermined number of pixels.

Die Ausgabebilder werden derart erzeugt, dass die Brennweite des ersten Ausgabebildes einen vorgegebenen Brennweitenwert aufweist und die Brennweite jedes weiteren Ausgabebildes kürzer ist als diejenige des vorherigen Ausgabebildes. Das heißt, die Brennweite des zweiten Ausgabebildes ist kürzer als diejenige des ersten Ausgabebildes, die Brennweite des dritten Ausgabebildes ist kürzer als diejenige des zweiten Ausgabebildes, und so weiter.The output images are generated such that the focal length of the first output image has a predetermined focal length value and the focal length of each subsequent output image is shorter than that of the previous output image. That is, the focal length of the second output image is shorter than that of the first output image, the focal length of the third output image is shorter than that of the second output image, and so on.

Folglich weist das erste Ausgabebild die höchste Auflösung von Details in dem Panorama auf, d. h. in den Bereichen, die durch das erste Ausgabebild abgedeckt werden, ist die Schärfe ausgezeichnet. Die nachfolgenden Bilder des Satzes von N Ausgabebildern weisen eine zunehmend geringere Auflösung von Details in dem Panorama auf und das N-te Ausgabebild weist die niedrigste Auflösung von Details in dem Panorama auf.Consequently, the first output image has the highest resolution of details in the panorama, ie the sharpness is excellent in the areas covered by the first output image. Subsequent images of the set of N output images have progressively lower resolution of details in the panorama and the Nth output image has the lowest resolution of details in the panorama.

Gemäß einer Ausführungsform liegt die Anzahl N zwischen 3 und 7 und beträgt insbesondere 4 oder 5. Diese Anzahlen passen gut zum physikalischen Auflösungsvermögen vieler Panoramaobjektivlinsen.According to one embodiment, the number N is between 3 and 7, and in particular is 4 or 5. These numbers fit well with the physical resolving power of many panoramic objective lenses.

Gemäß einer Ausführungsform ist die vorgegebene Auflösung im Wesentlichen gleich der Auflösung des Rohbildes. Dies sorgt für eine gute Bestätigbarkeit der Ausgabebilder gegenüber dem Rohbild und erleichtert Umwandlungen bei der Erzeugung der Ausgabebilder.According to one embodiment, the predetermined resolution is essentially the same as the resolution of the raw image. This provides good confirmability of the output images against the raw image and facilitates conversions when generating the output images.

Gemäß einer Ausführungsform ist der vorgegebene Brennweitenwert im Wesentlichen gleich der Brennweite der Panoramaobjektivlinse an der optischen Achse der Panoramaobjektivlinse. Zusammen damit, dass die vorgegebene Auflösung im Wesentlichen gleich der Auflösung des Rohbildes ist, sorgt dies dafür, dass das erste Ausgabebild alle Details abdeckt, die durch das Rohbild im Bereich der optischen Achse der Panoramaobjektivlinse bereitgestellt werden. Andererseits werden in dem ersten Ausgabebild im Bereich der optischen Achse der Panoramaobjektivlinse keine überflüssigen Informationen aufgezeichnet. Da Panoramaobjektivlinsen ihr höchstes Auflösungsvermögen in der Regel im Bereich der optischen Achse aufweisen, sorgt dies dafür, dass das erste Ausgabebild alle Details abdeckt, die durch die Projektion des Panoramas auf den Bildsensor mittels der Panoramaobjektivlinse bereitgestellt werden. Auflösungsvermögen in diesem Sinne bezeichnet die Auflösung in einer gnomonischen Projektion. Folglich weist z. B. eine Fischaugenlinse mit einer f θ-Abbildungsfunktion konstruktionsbedingt das höchste Auflösungsvermögen im Bereich der optischen Achse auf. Bei Verwendung einer außergewöhnlichen Panoramaobjektivlinse, die das höchste Auflösungsvermögen in einem von ihrer optischen Achse entfernen Bereich aufweist, könnte die Brennweite des ersten Ausgabebildes derart angepasst werden, dass das erste Ausgabebild alle Details abdeckt, die durch das Rohbild in diesem von der optischen Achse entfernten Bereich mit dem höchsten Auflösungsvermögen bereitstellt.According to one embodiment, the predetermined focal length value is substantially equal to the focal length of the panoramic objective lens at the optical axis of the panoramic objective lens. This, together with the given resolution being substantially equal to the resolution of the raw image, ensures that the first output image covers all the detail provided by the raw image in the region of the optical axis of the panoramic objective lens. On the other hand, unnecessary information is not recorded in the first output image in the region of the optical axis of the panoramic objective lens. Since panoramic objective lenses usually have their highest resolving power in the area of the optical axis, this ensures that the first output image covers all the details provided by the projection of the panorama onto the image sensor via the panoramic objective lens. Resolving power in this sense denotes resolution in a gnomonic projection. Consequently, e.g. For example, a fish-eye lens with an fθ imaging function has the highest resolving power in the area of the optical axis due to its construction. Using an exceptional panoramic objective lens that has the highest resolving power in an area remote from its optical axis, the focal length of the first output image could be adjusted such that the first output image covers all the detail reflected by the raw image in that area remote from the optical axis with the highest resolving power.

Gemäß einer Ausführungsform beträgt die Brennweite jedes Ausgabebildes - abgesehen von dem ersten Ausgabebild - die Hälfte der Brennweite des vorherigen Ausgabebildes. Dies ermöglicht ein einfaches Zuordnen von Bildpunkten zwischen zwei Ausgabebildern des gleichen Satzes von Ausgabebildern.According to one embodiment, the focal length of each output image - apart from the first output image - is half the focal length of the previous output image. This allows easy mapping of pixels between two output images of the same set of output images.

Gemäß einer Ausführungsform sind die Brennweite und Abmessungen jedes Ausgabebildes - abgesehen von dem ersten Ausgabebild - derart, dass die Pixeldichte in einem äußeren Bereich des Ausgabebildes ungefähr gleich der durchschnittlichen Pixeldichte in dem Bereich des Rohbildes, der dem äußeren Bereich des Ausgabebildes entspricht, ist. Unter Abmessungen des Ausgabebildes werden die Höhe und Breite des Ausgabebildes - gemessen in Pixeln - verstanden. Diese Auswahl der Brennweite und Abmessungen ist besonders angezeigt, wenn das Auflösungsvermögen der Panoramaobjektivlinse mit zunehmendem Abstand von der optischen Achse abnimmt, wie z. B. bei der Fischaugenlinse mit der f θ-Abbildungsfunktion. Dann gewährleistet die Auswahl der Brennweite und Abmessungen, dass es nur zu wenig Verlust von Informationen, z. B. von durch den Bildsensor erfassten Details, kommt, wenn die Ausgabebilder erzeugt werden. Andererseits werden in den Ausgabebildern nur wenige überflüssige Informationen aufgezeichnet. Überflüssige Informationen bezeichnen z. B. Pixel, die durch Interpolation erhalten werden, jedoch eigentlich keine zusätzlichen Details umfassen.According to one embodiment, the focal length and dimensions of each output image - apart from the first output image - are such that the pixel density in an outer area of the output image is approximately equal to the average pixel density in the area of the raw image corresponding to the outer area of the output image. Output image dimensions mean the height and width of the output image, measured in pixels. This choice of focal length and dimensions is particularly indicated when the resolving power of the panoramic objective lens decreases with increasing distance from the optical axis, e.g. B. at the fisheye lens with the f θ mapping function. Then the choice of focal length and dimensions ensures that there is little loss of information, e.g. B. from details captured by the image sensor, comes when the output images are generated. On the other hand, little unnecessary information is recorded in the output images. Superfluous information indicates e.g. B. Pixels obtained by interpolation, but actually do not include additional details.

Der Informationsverlust und die Aufzeichnung überflüssiger Informationen bedingen natürlich einander. Das heißt, wenn z. B. für eine gegebene Brennweite größere Abmessungen des Ausgabebildes gewählt werden, kommt es zu weniger Informationsverlust, es werden jedoch mehr überflüssige Informationen aufgezeichnet, und umgekehrt. Eine derartige Ausgewogenheit zwischen Informationsverlust und Aufzeichnung überflüssiger Informationen kann durch die Auswahl des äußeren Bereichs gesteuert werden: Wenn der äußere Bereich sehr nah an dem Bereich liegt, der dem vorherigen Ausgabebild entspricht, kommt es zu wenig Informationsverlust, und wenn andererseits der äußere Bereich sehr nah an den Ecken des Ausgabebildes liegt, werden wenig überflüssige Informationen aufgezeichnet.Of course, the loss of information and the recording of superfluous information are mutually dependent. That is, if e.g. For example, choosing larger dimensions of the output image for a given focal length results in less information loss, but more superfluous information is recorded, and vice versa. Such a balance between information loss and recording superfluous information can be controlled by the selection of the outer area: if the outer area is very close to the area corresponding to the previous output image, there will be too little information loss, and if, on the other hand, the outer area is very close is at the corners of the output image, little superfluous information is recorded.

Gemäß einer Ausführungsform weisen die Ausgabebilder die gleiche Abmessung, insbesondere die gleiche Abmessung wie das Rohbild, auf. Diese Auswahl erleichtert die Handhabung der Ausgabebilder.According to one embodiment, the output images have the same dimensions, in particular the same dimensions as the raw image. This selection makes it easier to handle the output images.

Gemäß einer Ausführungsform umfasst das Erzeugen der Ausgabebilder - mit Ausnahme des ersten Ausgabebildes - ein Reduzieren der Auflösung des vorherigen Ausgabebildes um einen Faktor der Brennweite des vorherigen Bildes, geteilt durch die Brennweite des aktuellen Ausgabebildes, und Zuordnen des auflösungsreduzierten Ergebnisses zu dem entsprechenden Bereich des aktuellen Ausgabebildes. Folglich muss die in der Regel rechenaufwändige Umwandlung des Rohbildes in eine gnomonische Projektion nur einmal pro Bereich des Rohbildes durchgeführt werden. Beispielsweise wird zunächst das erste Ausgabebild erzeugt. Für das erste Ausgabebild gibt es kein vorheriges Ausgabebild, dessen Auflösung reduziert werden könnte; folglich muss die Umwandlung des Rohbildes in die gnomonische Projektion für das gesamte erste Ausgabebild durchgeführt werden. Für das zweite Ausgabebild wird die Auflösung des ersten Ausgabebildes reduziert, was rechentechnisch schnell geht, und das auflösungsreduzierte Ergebnis wird dem entsprechenden Bereich des zweiten Ausgabebildes zugeordnet. Nur für den verbleibenden Bereich, der nicht dem Bereich des ersten Ausgabebildes entspricht, muss die rechenaufwändige Umwandlung des Rohbildes in eine gnomonische Projektion durchgeführt werden.According to one embodiment, generating the output images - with the exception of the first output image - comprises reducing the resolution of the previous output image by a factor of the focal length of the previous image divided by the focal length of the current output image, and assigning the reduced-resolution result to the corresponding region of the current one output image. Consequently, the conversion of the raw image into a gnomonic projection, which is usually computationally expensive, only has to be carried out once per region of the raw image. For example, the first output image is generated first. For the first output image, there is no previous output image whose resolution could be reduced; consequently, the conversion of the raw image into the gnomonic projection has to be performed for the entire first output image. For the second output image, the resolution of the first output image is reduced, which is computationally fast, and the reduced-resolution result is assigned to the corresponding area of the second output image. The computationally expensive conversion of the raw image into a gnomonic projection only has to be carried out for the remaining area that does not correspond to the area of the first output image.

Gemäß einer Ausführungsform umfasst das Erzeugen der Ausgabebilder - wenigstens für diejenigen Bereiche, denen keine auflösungsreduzierten Ergebnisse zugeordnet wurden - einen Schritt des Berechnens nicht normalisierter Koordinaten, die Koordinaten des Ausgabebildes entsprechen. Insbesondere begründen die nicht normalisierten Koordinaten die Position des Hauptpunktes in Hinsicht auf den Ursprung des Ausgabebildes. Eine derartige Berechnung der nicht normalisierten Koordinaten kann z. B. mit der Umkehrung einer Lochkameramatrix durchgeführt werden. Die Erzeugung der Ausgabebilder umfasst ferner einen Schritt des Berechnens der Projektion der nicht normalisierten Koordinaten auf das Rohbild über eine Linsenfunktion. Das heißt, es wird die den nicht normalisierten Koordinaten entsprechende Position in dem Rohbild bestimmt. Schließlich werden zum Erzeugen des Ausgabebildes Farbwerte für das Pixel an den Koordinaten des Ausgabebildes aus den Pixeln an den projizierten, nicht normalisierten Koordinaten des Rohbildes erhalten. Im Fall eines Graustufenbildes sind die Farbwerte lediglich die Leuchtdichtewerte. Diese Erzeugung der Ausgabebilder vermeidet die Verwendung einer Umkehrung der Linsenfunktion und geht daher rechentechnisch schnell.According to one embodiment, the generation of the output images comprises - at least for those areas to which no resolution-reduced results have been assigned - a step of calculating non-normalized coordinates which correspond to coordinates of the output image. In particular, the non-normalized coordinates establish the position of the principal point with respect to the origin of the output image. Such a calculation of the non-normalized coordinates can e.g. B. be performed with the inversion of a pinhole camera matrix. The generation of the output images also includes a step of calculating the projection of the non-normalized coordinates onto the raw image via a lens function. That is, the position in the raw image corresponding to the non-normalized coordinates is determined. Finally, to generate the output image, color values for the pixel at the coordinates of the output image are obtained from the pixels at the projected, non-normalized coordinates of the raw image. In the case of a grayscale image, the color values are just the luminance values. This generation of the output images avoids the use of an inverse of the lens function and is therefore computationally fast.

Gemäß einer Ausführungsform wird die Linsenfunktion aus Rohbildern einer vorgegebenen Grafik, die durch die konkrete Linse aufgenommen wurde, bestimmt. Diese Bestimmung der Linsenfunktion beinhaltet ein Zuordnen von Punkten der vorgegebenen Grafik zu Pixeln des Rohbildes, die den Punkten der vorgegebenen Grafik entsprechen. In einem Beispiel wird die Linsenfunktion durch Anpassen einiger Parameter eines gegebenen Linsenfunktionsmodells bestimmt. Durch das Bestimmen der Linsenfunktion aus Rohbildern, die durch die konkrete Linse aufgenommen wurden, werden sowohl individuelle Abweichungen der Panoramaobjektivlinsen als auch Abweichungen bei der Anbringung der Panoramaobjektivlinsen berücksichtigt.According to one embodiment, the lens function is determined from raw images of a given graphic taken through the particular lens. This determination of the lens function involves associating points of the given graphic with pixels of the raw image that correspond to the points of the given graphic. In one example, the lens function is determined by fitting some parameters of a given lens function model. By determining the lens function from raw images taken through the specific lens, both individual deviations of the panoramic objective lenses and deviations in the attachment of the panoramic objective lenses are taken into account.

Gemäß einer Ausführungsform wird der Satz von Ausgabebildern in einem nichtflüchtigen Speicher gespeichert. Folglich können die Ausgabebilder zu einem späteren Zeitpunkt untersucht und/oder analysiert werden.According to one embodiment, the set of output images is stored in non-volatile memory. Consequently, the output images can be examined and/or analyzed at a later time.

Gemäß einer Ausführungsform wird eines der Ausgabebilder aus dem Satz von Ausgabebildern auf einer Anzeige angezeigt und das anzuzeigende Ausgabebild wird basierend auf einer durch einen Benutzer ausgewählten Zoomstufe gewählt. Insbesondere kann der Benutzer schrittweise zu einem Ausgabebild aus dem Satz von Ausgabebildern zoomen. Da alle Ausgabebilder bereits erzeugt wurden, beinhaltet das Zoomen zu einem bestimmten Ausgabebild keinen zusätzlichen Rechenaufwand.According to one embodiment, one of the output images from the set of output images is displayed on a display and the output image to be displayed is chosen based on a user-selected zoom level. In particular, the user can incrementally zoom to an output image from the set of output images. Since all output images have already been generated, zooming to a specific output image does not involve any additional computational effort.

Gemäß einer Ausführungsform greift eine Objekterkennungseinheit auf den Satz von Ausgabebildern zu. Da die Objekterkennungseinheiten in vielen Fällen davon ausgehen, dass gerade Linien in dem Panorama auch in dem Bild gerade Linien sind, ist die gnomonische Projektion, die den Ausgabebildern zugrunde liegt, für diese Objekterkennungseinheiten ideal. Insbesondere beginnt die Objekterkennungseinheit die Objekterkennung auf dem letzten Ausgabebild aus dem Satz von Ausgabebildern, d. h. auf dem Ausgabebild mit dem größten Sichtfeld. Wenn die Objekterkennungseinheit ein Objekt erkennt, das potenziell von Interesse ist, sucht sie in den früheren Ausgabebildern nach einem Bild dieses Objekts mit höherer Auflösung. Außerdem analysiert die Objekterkennungseinheit, wenn sie das Analysieren des letzten Ausgabebildes beendet hat, die vorherigen Ausgabebilder, die - obgleich mit einem kleineren Sichtfeld - mehr Details zeigen.According to one embodiment, an object recognition unit accesses the set of output images. Since in many cases the object recognition engines assume that straight lines in the panorama are also straight lines in the image, the gnomonic projection underlying the output images is ideal for these object recognition engines. In particular, the object recognition unit starts the object recognition on the last output image from the set of output images, i. H. on the output image with the largest field of view. When the object recognition unit recognizes an object of potential interest, it looks for a higher resolution image of that object in the previous output images. Furthermore, when the object recognition unit has finished analyzing the last output image, it analyzes the previous output images, which - albeit with a smaller field of view - show more detail.

Gemäß einem weiteren Aspekt der Erfindung wird ein digitales Panoramakamerasystem bereitgestellt, das eine Panoramaobjektivlinse, einen Bildsensor und Bildverarbeitungselektronik umfasst. Die Panoramaobjektivlinse kann jede Art von Weitwinkelobjektivlinse, wie etwa eine Fischaugenlinse oder eine Weitwinkellinse mit rektilinearer Abbildung, sein. Die Panoramaobjektivlinse projiziert ein Panorama auf den Bildsensor, wobei der Bildsensor jede Art von geeignetem digitalem Bildsensor, z. B. ein CCD-Sensor oder ein CMOS-Sensor, sein kann. Die Bildverarbeitungselektronik ist dazu eingerichtet, das Verfahren gemäß der obenstehenden Beschreibung durchzuführen. Insbesondere wird ein Rohbild verarbeitet, um einen Satz von N Ausgabebildern zu erhalten, wobei jedes Ausgabebild eine gnomonische Projektion des Panoramas darstellt, d. h. gerade Linien in dem Panorama sind auch in den Ausgabebildern gerade. Ferner weist das erste Ausgabebild aus dem Satz von Ausgabebildern eine hohe Auflösung von Details in dem Panorama auf, d. h. in den Bereichen, die durch das erste Ausgabebild abgedeckt werden, ist die Schärfe ausgezeichnet.According to another aspect of the invention, there is provided a digital panoramic camera system that includes a panoramic objective lens, an image sensor, and image processing electronics. The panoramic objective lens can be any type of wide-angle objective lens, such as a fisheye lens or a wide-angle rectilinear imaging lens. The panoramic objective lens projects a panorama onto the image sensor, where the image sensor can be any type of suitable digital image sensor, e.g. B. a CCD sensor or a CMOS sensor can be. The image processing electronics are set up to carry out the method according to the above description. In particular, a raw image is processed to obtain a set of N output images, each output image representing a gnomonic projection of the panorama, ie straight lines in the panorama are also straight in the output images. Furthermore, the first output image from the set of output images has a high resolution of details in the panorama, ie in the areas covered by the first output picture are covered, the sharpness is excellent.

Gemäß noch einem weiteren Aspekt der Erfindung wird ein Fahrzeug bereitgestellt, das ein digitales Panoramakamerasystem gemäß der obenstehenden Beschreibung umfasst.According to yet another aspect of the invention, there is provided a vehicle including a digital panoramic camera system as described above.

Diese und weitere Aspekte der vorliegenden Erfindung sind den nachstehend beschriebenen Ausführungsformen zu entnehmen und werden unter Bezugnahme auf diese erläutert.These and other aspects of the present invention can be found in the embodiments described below and are explained with reference to these.

Figurenlistecharacter list

Ausführungsbeispiele der Erfindung werden nachfolgend unter Bezugnahme auf die folgenden Zeichnungen beschrieben:

  • 1 zeigt ein Panorama und ein digitales Panoramakamerasystem,
  • 2 zeigt ein Rohbild und
  • 3a - 3c zeigen einen Satz von Ausgabebildern.
Exemplary embodiments of the invention are described below with reference to the following drawings:
  • 1 shows a panorama and a digital panorama camera system,
  • 2 shows a raw image and
  • 3a - 3c show a set of output images.

Die Figuren sind lediglich schematische Darstellungen und dienen nur zur Abbildung von Ausführungsformen der Erfindung. Gleiche oder gleichwertige Elemente sind grundsätzlich mit den gleichen Bezugszeichen versehen.The figures are merely schematic representations and only serve to illustrate embodiments of the invention. Identical or equivalent elements are always provided with the same reference symbols.

BESCHREIBUNG VON AUSFÜHRUNGSFORMENDESCRIPTION OF EMBODIMENTS

1 zeigt ein Panorama 1, das als ein Haus und ein Auto abgebildet ist, jedoch grundsätzlich jede Art von Panorama 1, das von Interesse ist, sein kann. 1 zeigt ferner ein digitales Panoramakamerasystem 2, das eine Panoramaobjektivlinse 3 und einen Bildsensor 4 und Bildverarbeitungselektronik 5 umfasst. 1 Figure 12 shows a panorama 1 depicted as a house and a car, but in principle it can be any type of panorama 1 that is of interest. 1 10 further shows a digital panoramic camera system 2 comprising a panoramic objective lens 3 and an image sensor 4 and image processing electronics 5. FIG.

Die Panoramaobjektivlinse 3 kann jede Art von Weitwinkelobjektivlinse, wie etwa eine Fischaugenlinse oder eine Weitwinkellinse mit rektilinearer Abbildung, sein. Der Bildsensor 4 kann jede Art von geeignetem digitalem Bildsensor, z. B. ein CCD-Sensor oder ein CMOS-Sensor, sein. Die Panoramaobjektivlinse 3 und der Bildsensor 4 sind derart angeordnet, dass das Panorama 1 durch die Panoramaobjektivlinse 3 auf den Bildsensor 4 projiziert wird. Der Bildsensor 4 ist an die Bildverarbeitungselektronik 5 angeschlossen, wobei die Bildverarbeitungselektronik 5 z. B. ein eigener Chip des Panoramakamerasystems 2 oder ein separater Prozessor sein kann.The panoramic objective lens 3 may be any type of wide-angle objective lens such as a fisheye lens or a rectilinear imaging wide-angle lens. The image sensor 4 can be any type of suitable digital image sensor, e.g. B. a CCD sensor or a CMOS sensor. The panorama objective lens 3 and the image sensor 4 are arranged such that the panorama 1 is projected through the panorama objective lens 3 onto the image sensor 4 . The image sensor 4 is connected to the image processing electronics 5, the image processing electronics 5 z. B. can be a separate chip of the panoramic camera system 2 or a separate processor.

2 zeigt ein Rohbild 6 des Panoramas 1, so wie es direkt von dem Bildsensor 4 des Panoramakamerasystems 2 erhalten wird. Objekte in der Mitte des Rohbildes 6 - hier das Auto - zeigen zahlreiche Details und fast keine Verzerrung. Objekte hin zu äußeren Bereichen des Rohbildes 6 - hier das Haus - zeigen jedoch wenig Details und viel Verzerrung. Diese Verzerrung ist für die automatische Objekterkennung, die in vielen Fällen davon ausgeht, dass gerade Linien in der Natur auch auf dem Bild gerade sind, besonders nachteilig. 2 shows a raw image 6 of the panorama 1 as it is obtained directly from the image sensor 4 of the panorama camera system 2. Objects in the center of raw image 6 - here the car - show plenty of detail and almost no distortion. However, objects towards the outer areas of the raw image 6 - here the house - show few details and a lot of distortion. This distortion is particularly disadvantageous for automatic object recognition, which in many cases assumes that straight lines in nature are also straight in the image.

Die 3a - 3c zeigen einen Satz 7 von drei Ausgabebildern 8, die durch die Bildverarbeitungselektronik 5 basierend auf dem Rohbild 6 erzeugt werden.
3a zeigt das erste Ausgabebild 8.1, das eine Auflösung, die gleich der Auflösung des Rohbildes 6 ist, und eine Brennweite (entsprechend einer Lochkamera), die gleich der Brennweite der Panoramaobjektivlinse 3 ist, aufweist. Folglich zeigt das erste Ausgabebild 8.1 das gleiche Maß an Details wie das Rohbild 6. Jedoch werden aufgrund dessen, dass das erste Ausgabebild 8.1 eine gnomonische Projektion des Panoramas 1 ist, äußere Bereiche des Rohbildes 6 nicht durch das erste Ausgabebild 8.1 abgedeckt.
Das erste Ausgabebild 8.1 wurde basierend auf dem Rohbild 6 durch Berechnen nicht normalisierter Koordinaten, die den Koordinaten jedes Pixels des ersten Ausgabebildes 8.1 entsprechen, erzeugt. Dann wurden unter Verwendung einer der Panoramaobjektivlinse 3 entsprechenden Linsenfunktion diese nicht normalisierten Koordinaten auf das Rohbild 6 projiziert und die Farbwerte für das Pixel an den Koordinaten des ersten Ausgabebildes 8.1 wurden von den Pixeln an den projizierten, nicht normalisierten Koordinaten des Rohbildes 6 erhalten.
3b zeigt das zweite Ausgabebild 8.2, das eine Auflösung, die gleich den Auflösungen des Rohbildes 6 und des ersten Ausgabebildes 8.1 ist, und eine Brennweite, die gleich der Hälfte der Brennweite des ersten Ausgabebildes 8.1 ist, aufweist. Beim Erzeugen des zweiten Ausgabebildes 8.2 wird die Auflösung des ersten Ausgabebildes 8.1 um einen Faktor von zwei reduziert und das
auflösungsreduzierte erste Ausgabebild 8.1 wird dem mittigen Bereich des zweiten Ausgabebildes 8.2 zugeordnet. Die Außenbereiche des zweiten Ausgabebildes 8.2 werden dann ähnlich wie bei dem für die Erzeugung des ersten Ausgabebildes 8.1 beschriebenen Verfahren erzeugt.
3c zeigt das dritte Ausgabebild 8.3, das eine Auflösung, die gleich den Auflösungen des Rohbildes 6, des ersten Ausgabebildes 8.1 und des zweiten Ausgabebildes 8.2 ist, und eine Brennweite, die gleich der Hälfte der Brennweite des zweiten Ausgabebildes 8.2 ist, aufweist. Die Erzeugung des dritten Ausgabebildes 8.3 ähnelt der Erzeugung des zweiten Ausgabebildes 8,2, wie oben beschrieben. Das dritte Ausgabebild 8.3 zeigt Details von den Rändern des Rohbildes 6, hier das Haus. Diese Details sind unverzerrt und folglich für Objekterkennungseinheiten, die davon ausgehen, dass gerade Linien gerade sind, verwertbar.
Der Satz 7 von Ausgabebildern 8 deckt das durch das Rohbild 6 gegebene Sichtfeld ab, stellt eine gnomonische Projektion des Panoramas 1 bereit, weist eine ausgezeichnete Schärfe (entsprechend der Schärfe des Panoramakamerasystems 2) im mittigen Bereich auf und beansprucht nur ein annehmbares Maß an Speicher.the 3a - 3c show a set 7 of three output images 8 generated by the image processing electronics 5 based on the raw image 6. FIG.
3a 1 shows the first output image 8.1, which has a resolution equal to the resolution of the raw image 6 and a focal length (corresponding to a pinhole camera) equal to the focal length of the panoramic objective lens 3. FIG. Consequently, the first output image 8.1 shows the same level of detail as the raw image 6. However, due to the first output image 8.1 being a gnomonic projection of the panorama 1, outer areas of the raw image 6 are not covered by the first output image 8.1.
The first output image 8.1 was generated based on the raw image 6 by calculating non-normalized coordinates corresponding to the coordinates of each pixel of the first output image 8.1. Then, using a lens function corresponding to the panoramic objective lens 3, these non-normalized coordinates were projected onto the raw image 6 and the color values for the pixel at the coordinates of the first output image 8.1 were obtained from the pixels at the projected, non-normalized coordinates of the raw image 6.
3b Figure 8 shows the second output image 8.2, which has a resolution equal to the resolutions of the raw image 6 and the first output image 8.1, and a focal length equal to half the focal length of the first output image 8.1. When generating the second output image 8.2, the resolution of the first output image 8.1 is reduced by a factor of two and that
The reduced-resolution first output image 8.1 is assigned to the central area of the second output image 8.2. The outer areas of the second output image 8.2 are then generated in a manner similar to the method described for the generation of the first output image 8.1.
3c Figure 8 shows the third output image 8.3 having a resolution equal to the resolutions of the raw image 6, the first output image 8.1 and the second output image 8.2 and a focal length equal to half the focal length of the second output image 8.2. Generation of the third output image 8.3 is similar to generation of the second output image 8.2 as described above. The third output image 8.3 shows details from the edges of the raw image 6, here the house. These details are undistorted and consequently straight for object recognition units that assume straight lines are, valuable.
The set 7 of output images 8 covers the field of view given by the raw image 6, provides a gnomonic projection of the panorama 1, has excellent sharpness (corresponding to the sharpness of the panoramic camera system 2) in the central area and only takes up a reasonable amount of memory.

Andere Abwandlungen der offenbarten Ausführungsformen können sich für den Fachmann im Zuge des Praktizierens der beanspruchten Erfindung, aus der Durchsicht der Zeichnungen, der Beschreibung und der angefügten Ansprüche ergeben und durch diesen umgesetzt werden. In den Ansprüchen schließt das Wort „umfassend“ andere Elemente oder Schritte nicht aus und der unbestimmte Artikel „ein“ oder „eine“ schließt eine Mehrzahl nicht aus. Die bloße Tatsache, dass bestimmte Maßnahmen in voneinander verschiedenen abhängigen Ansprüchen aufgeführt sind, zeigt nicht an, dass eine Kombination dieser Maßnahmen nicht vorteilhaft verwendet werden kann. Bezugszeichen in den Ansprüchen sollten nicht als den Umfang der Ansprüche einschränkend ausgelegt werden.Other modifications to the disclosed embodiments may become apparent to and may be acquired by one skilled in the art from practicing the claimed invention, from a study of the drawings, the specification, and the appended claims. In the claims, the word "comprising" does not exclude other elements or steps, and the indefinite article "a" or "an" does not exclude a plural. The mere fact that certain measures are recited in mutually different dependent claims does not indicate that a combination of these measures cannot be used to advantage. Any reference signs in the claims should not be construed as limiting the scope of the claims.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • US 2004/0136092 A1 [0003]US 2004/0136092 A1 [0003]

Claims (15)

Verfahren zum Erfassen und Verarbeiten eines digitalen Panoramabildes durch Projizieren eines Panoramas (1) auf einen Bildsensor (4) mittels einer Panoramaobjektivlinse (3), um ein Rohbild (6) zu erhalten, und Erzeugen eines Satzes (7) von N Ausgabebildern (8) basierend auf dem Rohbild (6), wobei N größer als oder gleich zwei ist, jedes Ausgabebild (8) eine gnomonische Projektion des Panoramas (1) mit einer gegebenen Brennweite darstellt, die Ausgabebilder (8) eine gemeinsame vorgegebene Auflösung aufweisen, die Brennweite des ersten Ausgabebildes (8.1) einen vorgegebenen Brennweitenwert aufweist und die Brennweite jedes weiteren Ausgabebildes (8.2; 8.3) kürzer ist als diejenige des vorherigen Ausgabebildes (8.1; 8.2).Method for capturing and processing a digital panoramic image projecting a panorama (1) onto an image sensor (4) by means of a panorama objective lens (3) in order to obtain a raw image (6), and Generating a set (7) of N output images (8) based on the raw image (6), wherein N is greater than or equal to two, each output image (8) represents a gnomonic projection of the panorama (1) with a given focal length, the output images (8) have a common predefined resolution, the focal length of the first output image (8.1) has a predetermined focal length value and the focal length of each further output image (8.2; 8.3) is shorter than that of the previous output image (8.1; 8.2). Verfahren nach Anspruch 1, wobei die Anzahl N zwischen 3 und 7 liegt, insbesondere 4 oder 5 beträgt.procedure after claim 1 , where the number N is between 3 and 7, in particular 4 or 5. Verfahren nach Anspruch 1 oder 2, wobei die vorgegebene Auflösung im Wesentlichen gleich der Auflösung des Rohbildes (6) ist.procedure after claim 1 or 2 , wherein the predetermined resolution is substantially equal to the resolution of the raw image (6). Verfahren nach einem der Ansprüche 1 bis 3, wobei der vorgegebene Brennweitenwert im Wesentlichen gleich der Brennweite der Panoramaobjektivlinse (3) an der optischen Achse der Panoramaobjektivlinse (3) ist.Procedure according to one of Claims 1 until 3 , wherein the predetermined focal length value is substantially equal to the focal length of the panoramic objective lens (3) on the optical axis of the panoramic objective lens (3). Verfahren nach einem der Ansprüche 1 bis 4, wobei die Brennweite jedes Ausgabebildes (8.2; 8.3) - abgesehen von dem ersten Ausgabebild (8.1) - die Hälfte der Brennweite des vorherigen Ausgabebildes (8.1; 8.2) beträgt.Procedure according to one of Claims 1 until 4 , wherein the focal length of each output image (8.2; 8.3) - apart from the first output image (8.1) - is half the focal length of the previous output image (8.1; 8.2). Verfahren nach einem der Ansprüche 1 bis 4, wobei die Brennweite und Abmessungen jedes Ausgabebildes (8.2; 8.3) - abgesehen von dem ersten Ausgabebild (8.1) - derart sind, dass die Pixeldichte in einem äußeren Bereich des Ausgabebildes (8) ungefähr gleich der durchschnittlichen Pixeldichte in dem Bereich des Rohbildes (6), der dem äußeren Bereich des Ausgabebildes (8) entspricht, ist.Procedure according to one of Claims 1 until 4 , wherein the focal length and dimensions of each output image (8.2; 8.3) - apart from the first output image (8.1) - are such that the pixel density in an outer area of the output image (8) is approximately equal to the average pixel density in the area of the raw image (6 ) corresponding to the outer area of the output image (8). Verfahren nach einem der Ansprüche 1 bis 6, wobei die Ausgabebilder (8) die gleiche Abmessung, insbesondere die gleiche Abmessung wie das Rohbild (6), aufweisen.Procedure according to one of Claims 1 until 6 , wherein the output images (8) have the same dimensions, in particular the same dimensions as the raw image (6). Verfahren nach einem der Ansprüche 1 bis 7, wobei das Erzeugen der Ausgabebilder (8.2; 8.3) - mit Ausnahme des ersten Ausgabebildes (8.1) - Folgendes umfasst: Reduzieren der Auflösung des vorherigen Ausgabebildes (8.1; 8.2) um einen Faktor der Brennweite des vorherigen Ausgabebildes (8.1; 8.2), geteilt durch die Brennweite des aktuellen Ausgabebildes (8.2; 8.3), und Zuordnen des auflösungsreduzierten Ergebnisses zu dem entsprechenden Bereich des aktuellen Ausgabebildes (8.2; 8.3).Procedure according to one of Claims 1 until 7 , wherein generating the output images (8.2; 8.3) - with the exception of the first output image (8.1) - comprises: reducing the resolution of the previous output image (8.1; 8.2) by a factor of the focal length of the previous output image (8.1; 8.2), divided by the focal length of the current output image (8.2; 8.3), and assigning the reduced-resolution result to the corresponding area of the current output image (8.2; 8.3). Verfahren nach einem der Ansprüche 1 bis 8, wobei das Erzeugen der Ausgabebilder (8) - wenigstens für diejenigen Bereiche, denen keine auflösungsreduzierten Ergebnisse zugeordnet wurden - Folgendes umfasst: Berechnen nicht normalisierter Koordinaten, die Koordinaten des Ausgabebildes (8) entsprechen, Berechnen der Projektion der nicht normalisierten Koordinaten auf das Rohbild (6) über eine Linsenfunktion und Erhalten von Farbwerten für das Pixel an den Koordinaten des Ausgabebildes (8) aus den Pixeln an den projizierten, nicht normalisierten Koordinaten des Rohbildes (6).Procedure according to one of Claims 1 until 8th , wherein the generation of the output images (8) - at least for those areas to which no resolution-reduced results have been assigned - comprises the following: calculating non-normalized coordinates which correspond to coordinates of the output image (8), calculating the projection of the non-normalized coordinates onto the raw image ( 6) via a lens function and obtaining color values for the pixel at the coordinates of the output image (8) from the pixels at the projected non-normalized coordinates of the raw image (6). Verfahren nach Anspruch 9, wobei die Linsenfunktion aus Rohbildern (6) einer vorgegebenen Grafik, die durch die konkrete Linse (3) aufgenommen wurde, bestimmt wird.procedure after claim 9 , wherein the lens function is determined from raw images (6) of a given graphic that was recorded through the specific lens (3). Verfahren nach einem der Ansprüche 1 bis 10, wobei der Satz (7) von Ausgabebildern (8) in einem nichtflüchtigen Speicher gespeichert wird.Procedure according to one of Claims 1 until 10 , wherein the set (7) of output images (8) is stored in a non-volatile memory. Verfahren nach einem der Ansprüche 1 bis 11, wobei eines der Ausgabebilder (8) aus dem Satz (7) von Ausgabebildern (8) auf einer Anzeige angezeigt wird und das anzuzeigende Ausgabebild (8) basierend auf einer durch einen Benutzer ausgewählten Zoomstufe gewählt wird.Procedure according to one of Claims 1 until 11 wherein one of the output images (8) from the set (7) of output images (8) is displayed on a display and the output image (8) to be displayed is selected based on a user selected zoom level. Verfahren nach einem der Ansprüche 1 bis 12, wobei eine Objekterkennungseinheit auf den Satz (7) von Ausgabebildern (8) zugreift und insbesondere die Objekterkennungseinheit die Objekterkennung auf dem letzten Ausgabebild (8.3) aus dem Satz (7) von Ausgabebildern (8) beginnt.Procedure according to one of Claims 1 until 12 , wherein an object recognition unit accesses the set (7) of output images (8) and in particular the object recognition unit starts object recognition on the last output image (8.3) from the set (7) of output images (8). Digitales Panoramakamerasystem (2), Folgendes umfassend: eine Panoramaobjektivlinse (3), einen Bildsensor (4) und Bildverarbeitungselektronik (5), wobei die Bildverarbeitungselektronik (5) dazu ausgelegt ist, das Verfahren nach einem der Ansprüche 1 bis 13 durchzuführen.Digital panoramic camera system (2), comprising: a panoramic objective lens (3), an image sensor (4) and image processing electronics (5), wherein the image processing electronics (5) are adapted to perform the method according to any one of Claims 1 until 13 to perform. Fahrzeug, das ein digitales Panoramakamerasystem (2) nach Anspruch 14 umfasst.Vehicle that has a digital panoramic camera system (2). Claim 14 includes.
DE102021213330.4A 2020-12-01 2021-11-26 Method for capturing and processing a digital panoramic image Pending DE102021213330A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20210996.3A EP4009622B1 (en) 2020-12-01 2020-12-01 Method for capturing and processing a digital panoramic image
EP20210996.3 2020-12-01

Publications (1)

Publication Number Publication Date
DE102021213330A1 true DE102021213330A1 (en) 2022-06-02

Family

ID=73694715

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021213330.4A Pending DE102021213330A1 (en) 2020-12-01 2021-11-26 Method for capturing and processing a digital panoramic image

Country Status (4)

Country Link
US (1) US20220172318A1 (en)
EP (1) EP4009622B1 (en)
KR (1) KR102636767B1 (en)
DE (1) DE102021213330A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040136092A1 (en) 2001-05-11 2004-07-15 6115187 Canada Inc. Method for capturing and displaying a variable resolution digital panoramic image

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3613692B2 (en) * 1998-03-23 2005-01-26 アイシン・エィ・ダブリュ株式会社 Stepless scale map display device and recording medium
KR100561449B1 (en) * 1999-01-19 2006-03-16 삼성전자주식회사 Digital zoom out processing apparatus
US7042508B2 (en) * 2002-07-26 2006-05-09 Appro Technology Inc. Method for presenting fisheye-camera images
CN101027679B (en) * 2004-09-09 2010-04-21 奥普提克斯晶硅有限公司 System and method for representing a general two dimensional spatial transformation
JP4561380B2 (en) * 2005-01-24 2010-10-13 コニカミノルタホールディングス株式会社 Detection apparatus, detection method, and detection program
JP4611898B2 (en) * 2006-01-12 2011-01-12 アルパイン株式会社 Image display system
US8988468B2 (en) * 2011-01-21 2015-03-24 Wishabi Inc. Interactive flyer system
JP2015060162A (en) * 2013-09-20 2015-03-30 カシオ計算機株式会社 Projection device, projection method, and projection processing program
JP7131026B2 (en) * 2018-03-30 2022-09-06 株式会社リコー stereo camera device
JP7021008B2 (en) * 2018-06-04 2022-02-16 アルパイン株式会社 Image processing device and image processing method
US10863097B2 (en) * 2018-08-21 2020-12-08 Gopro, Inc. Field of view adjustment
JP2021064860A (en) * 2019-10-11 2021-04-22 ソニーセミコンダクタソリューションズ株式会社 Imaging apparatus and electronic apparatus
KR20210090476A (en) * 2020-01-10 2021-07-20 삼성전자주식회사 The method to improve image quality in zoom scenarios with a single camera and electronics that contains it

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040136092A1 (en) 2001-05-11 2004-07-15 6115187 Canada Inc. Method for capturing and displaying a variable resolution digital panoramic image

Also Published As

Publication number Publication date
KR102636767B1 (en) 2024-02-14
US20220172318A1 (en) 2022-06-02
CN114584688A (en) 2022-06-03
KR20220077074A (en) 2022-06-08
EP4009622A1 (en) 2022-06-08
EP4009622B1 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
DE69333846T2 (en) METHOD FOR MIXING IMAGES AND DEVICE THEREFOR.
DE102012005152B4 (en) PICTURE RECORDING AND PICTURE RECORDING
DE602004008681T2 (en) Microscope system and procedure
DE602005003917T2 (en) Method and apparatus for generating high dynamic range images from multiple exposures
DE69937707T2 (en) Digital photo finishing system with digital image processing
DE102006036933B4 (en) Method for generating an overall image from overlapping individual images
DE102009050368A1 (en) Method for automatically calibrating a virtual camera
DE112011102647T5 (en) Method for producing super-resolution images and non-linear filter for its implementation
DE112016001040T5 (en) Method and system for real-time noise removal and image enhancement of high dynamic range images
WO2003063468A1 (en) Method and device for image processing, in addition to a night viewing system for motor vehicles
DE10212915A1 (en) Electroendoscope system with electroendoscopes with different numbers of pixels
DE102011006272A1 (en) Image processing apparatus and method of controlling the same
DE102008062121A1 (en) A vehicle unit having a vehicle corridor display function, a method for displaying a predicted vehicle trajectory, and a system for generating vehicle corridor marks
DE112013004507T5 (en) Image processing apparatus, image capturing apparatus, image processing method, program and recording medium
DE102004007637A1 (en) A method of producing an increased resolution image using a plurality of low resolution images
DE112017007695T5 (en) FACETE EYE IMAGING DEVICE, IMAGE PROCESSING METHOD, PROGRAM AND RECORDING MEDIUM
DE69633589T2 (en) Method and device for processing visual information
DE102016121755A1 (en) Method for determining a composite image of a surrounding area of a motor vehicle with adaptation of brightness and / or color, camera system and power vehicle
DE69724200T2 (en) Method and device for generating a digital image representation
DE10221513B4 (en) Process for displaying images with a changed width-height ratio
DE102015105529A1 (en) A method of transforming an image of a virtual camera, computer program product, display system and motor vehicle
EP0897247A2 (en) Method for computing motion vectors
DE60320076T2 (en) METHOD FOR ELECTRONIC COLOR REMOVAL USING SPATIAL RELATIONSHIP FOR IMPROVING ACCURACY
DE102021213330A1 (en) Method for capturing and processing a digital panoramic image
DE102015120967A1 (en) Method and device for image correction

Legal Events

Date Code Title Description
R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE