DE102013227197A1

DE102013227197A1 - Method for generating an image of an object

Info

Publication number: DE102013227197A1
Application number: DE102013227197.2A
Authority: DE
Inventors: Vladan Blahnik; Sandro Förster; Steffen Siegler
Original assignee: Carl Zeiss AG
Current assignee: Carl Zeiss AG
Priority date: 2013-12-30
Filing date: 2013-12-30
Publication date: 2015-07-02

Abstract

Die Erfindung betrifft insbesondere ein Verfahren zur Erzeugung eines Bildes eines Objekts, wobei das Objekt mittels mindestens einer optischen Abbildungseinheit auf mindestens eine Bilderfassungseinheit abgebildet wird. Die Erfindung geht von der Erkenntnis aus, dass eine gewünschte Unschärfe oder Schärfe eines Bildbereichs mittels einer Punktbildfunktion berechnet werden kann. Hierzu wird für jedes abzubildende Objekt eine sogenannte Tiefenkarte erstellt. In der Tiefenkarte ist für jeden Objektpunkt der Abstand des Objektpunkts zu der optischen Abbildungseinheit gespeichert, beispielsweise zusammen mit den Koordinaten des Objektpunkts und des dazugehörigen Bildpunkts. Mit der Erfindung ist es nun möglich, für jeden Bildpunkt, der mit einer Tiefenschärfe versehen werden soll, eine Tiefenschärfe zu berechnen, und zwar auch den Grad der Tiefenschärfe.In particular, the invention relates to a method for generating an image of an object, wherein the object is imaged on at least one image capture unit by means of at least one optical imaging unit. The invention is based on the recognition that a desired blur or sharpness of an image area can be calculated by means of a point image function. For this purpose, a so-called depth map is created for each object to be imaged. In the depth map, the distance of the object point to the optical imaging unit is stored for each object point, for example together with the coordinates of the object point and the associated pixel. With the invention, it is now possible to calculate a depth of focus for each pixel that is to be provided with a depth of focus, and also the degree of depth of field.

Description

Die Erfindung betrifft ein Verfahren zur Erzeugung eines Bildes eines Objekts, wobei das Objekt mittels mindestens einer optischen Abbildungseinheit auf mindestens eine Bilderfassungseinheit abgebildet wird. Beispielsweise ist die Bilderfassungseinheit als digitale Bilderfassungseinheit ausgebildet, insbesondere in Form eines CMOS. Andere Bilderfassungseinheiten sind aber durchaus bei der Erfindung verwendbar.The invention relates to a method for generating an image of an object, wherein the object is imaged on at least one image capture unit by means of at least one optical imaging unit. For example, the image capture unit is designed as a digital image capture unit, in particular in the form of a CMOS. However, other imaging units are well usable in the invention.

In der Photographie und in der Cinematographie sind Stilmittel bekannt, um die Aufmerksamkeit eines Betrachters eines Bildes oder eines Filmes auf bestimmte Inhalte eines Bildes zu lenken oder diese Inhalte des Bildes für einen Betrachter besonders zu gestalten, um einen anspruchsvollen ästhetischen Eindruck zu erzielen. Um dieses zu erreichen, ist es aus dem Stand der Technik bekannt, ein Bild eines Objekts unter Verwendung eines ganz bestimmten Objektivs oder bestimmter Objektive zu erzeugen. Beispielsweise sind Objektive mit hoher Öffnung in der Photographie und der Cinematographie nicht nur wegen ihrer hohen Lichtstärke von Vorteil, sondern sie können auch Bilder mit geringer Tiefenschärfe erzeugen. Mit diesen Objektiven ist es möglich, eine bestimmte Ebene eines abzubildenden Objekts durch Fokussierung ohne Unschärfe darzustellen – nachfolgend auch fokussierte Objektebene genannt –, wobei der Raum außerhalb der fokussierten Objektebene durch Unschärfe im Bild praktisch verschwimmt. Hierdurch wird die Aufmerksamkeit eines Betrachters auf den Bildbereich der fokussierten Objektebene gelenkt. Mit anderen Worten ist es möglich, mittels der vorgenannten Objektive einen Teilbereich eines Objekts durch Fokussieren auf eine ganz bestimmte Objektebene scharf abzubilden, und zwar bei gleichzeitiger unscharfer Abbildung der Teilbereiche des Objekts vor und hinter der fokussierten Objektebene. Diese Teilbereiche werden unscharf abgebildet.In photography and cinematography, stylistic means are known for directing the attention of a viewer of an image or film to particular contents of an image, or to make those contents of the image particularly clear to a viewer in order to obtain a sophisticated aesthetic impression. To accomplish this, it is known in the art to generate an image of an object using a particular lens or lenses. For example, high-aperture lenses in photography and cinematography are not only advantageous because of their high luminous intensity, but they can also produce images with shallow depth of field. With these lenses, it is possible to represent a certain plane of an object to be imaged by focusing without blurring - hereinafter also referred to as focused object plane - where the space outside the focused object plane is practically blurred due to blurring in the image. As a result, the attention of a viewer is directed to the image area of the focused object plane. In other words, it is possible, by means of the aforementioned objectives, to sharply image a subarea of an object by focusing on a very specific object plane, with simultaneous blurred imaging of the subareas of the object in front of and behind the focused object plane. These sections are shown out of focus.

Es ist bekannt, dass je kleiner das Bildfeld und die Öffnung der Objektive sind, umso größer ist die Tiefenschärfe der Objektive. Daher ist es bei Objektiven, die in Handykameras oder Kompaktkameras eingesetzt werden, kaum möglich, Bilder mit Bereichen zu erzielen, die eine geringe Tiefenschärfe aufweisen. Objektive für Handykameras weisen eine Bilddiagonale beispielsweise von ca. 6 mm auf. Objektive für Kompaktkameras weisen eine Bilddiagonale von beispielsweise 11 mm auf.It is known that the smaller the field of view and the aperture of the lenses are, the greater the depth of field of the lenses. Therefore, with lenses used in mobile phone cameras or compact cameras, it is hardly possible to obtain images with areas having a shallow depth of field. Lenses for mobile phone cameras have a screen size of about 6 mm, for example. Lenses for compact cameras have an image size of, for example, 11 mm.

Wie oben allerdings bereits erwähnt, werden die Stilmittel verwendet, um einen guten ästhetischen Eindruck zu erzielen. Beispielsweise ist es oft gewünscht, dass bestimmte Bereiche eines Objekts im Bild eine bestimmte Form annehmen. So ist es beispielsweise oft gewünscht, dass starke, lokale Lichtquellen, die Teil eines abzubildenden Objekts sind und die deutlich außerhalb einer fokussierten Objektebene liegen, im Bild als homogene Kreisscheiben dargestellt werden. Die Form und Abbildungsqualität dieser bestimmten Bereiche des Objekts im Bild wird in der Fachwelt auch als Bokeh bezeichnet. Bokeh beschreibt eine (wenn auch subjektive) ästhetische Qualität von unscharfen Bereichen in einem Bild eines Objekts. Dabei wird mit Bokeh nicht die Stärke einer Unschärfe bezeichnet, sondern die Form und Ausgestaltung der abgebildeten Bereiche des Objekts im Bild.However, as already mentioned above, the styling means are used to give a good aesthetic impression. For example, it is often desired that certain areas of an object in the image take on a particular shape. For example, it is often desired that strong, local light sources that are part of an object to be imaged and that lie clearly outside a focused object plane are represented in the image as homogeneous circular disks. The shape and image quality of these particular areas of the object in the image is also referred to in the art as bokeh. Bokeh describes a (albeit subjective) aesthetic quality of blurred areas in an image of an object. Bokeh does not refer to the power of blurring, but to the shape and design of the imaged areas of the object in the image.

Die Erzeugung einer gewissen Tiefenschärfe und eines Bokehs mit einem Objektiv weist jedoch Nachteile auf. Die Erzielung eines bestimmten und für einen Betrachter eines Bildes guten Bokehs mit einem Objektiv aus dem Stand der Technik ist mit einem hohen Aufwand verbunden. Um eine ganz bestimmte Form und Ausgestaltung eines Bokehs zu erzielen, müssen beispielsweise bestimmte Blenden mit bestimmten Blendenöffnungen im Objektiv eingebracht werden. Darüber hinaus muss für eine homogene Intensitätsverteilung eines Bokehs auch eine ausreichend gut korrigierte Wellenfront des Objektivs gegeben sein. Demnach sollten die Linsen des Objektivs möglichst fehlerfrei hergestellt werden. Dies ist recht aufwändig und führt zu hohen Herstellungskosten bei der Herstellung des Objektivs. Der Stand der Technik weist den weiteren Nachteil auf, dass mit jedem Objektiv nur ein gewisser Grad an Tiefenschärfe erzielt werden kann. Welcher Grad der Tiefenschärfe erzielbar ist, lässt sich für ein bestimmtes Objektiv berechnen. Hersteller von Objektiven stellen Anwendern Tabellen zur Verfügung, mit denen der Grad der Tiefenschärfe bei vorgegebenen Einstellungen des Objektivs (beispielsweise Linsenpositionen entlang einer optischen Achse zur Erzielung eine ganz bestimmten Fokussierung und/oder einer ganz bestimmten Brennweite) ermittelt werden kann. Es liegt auf der Hand, dass das Heranziehen von Tabellen und ein möglicher notwendiger Wechsel von Objektiven zur Erzielung einer ganz bestimmten Tiefenschärfe und/oder eines ganz bestimmten Bokehs recht umständlich sind.The production of a certain depth of field and a bokeh with a lens, however, has disadvantages. Achieving a specific and for a viewer of a picture good Bokehs with a lens of the prior art is associated with a lot of effort. In order to achieve a very specific shape and design of a bokeh, for example, certain apertures with certain apertures must be introduced in the lens. In addition, for a homogeneous intensity distribution of a bokeh, there must also be a sufficiently well corrected wavefront of the objective. Accordingly, the lenses of the lens should be made as error free as possible. This is quite complex and leads to high production costs in the production of the lens. The prior art has the further disadvantage that only a certain degree of depth of field can be achieved with each lens. The degree of depth of focus achievable can be calculated for a specific lens. Lens manufacturers provide users with tables that can be used to determine the degree of depth of field at given lens settings (such as lens positions along an optical axis to achieve a specific focus and / or focal length). It is obvious that the use of tables and a possible necessary change of lenses to achieve a certain depth of focus and / or a particular bokeh are quite cumbersome.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren anzugeben, mit dem Bereiche eines Objekts in einem Bild stets mit einem gewünschten Grad an Tiefenschärfe versehen werden können, mit dem die Erzielung eines guten Bokehs möglich ist und mit dem auch unter Verwendung eines Objektivs mit einer kleinen Bilddiagonalen, beispielsweise von ca. 6 mm bis ca. 11 mm, Bereiche eines Objekts in einem Bild mit einem gewünschten Grad an Tiefenschärfe versehen werden können.The invention has for its object to provide a method by which areas of an object in an image can always be provided with a desired degree of depth of field, with which the achievement of a good bokeh is possible and with the use of a lens with a small Image diagonal, for example, from about 6 mm to about 11 mm, areas of an object in an image can be provided with a desired degree of depth of field.

Erfindungsgemäß wird diese Aufgabe mit einem Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Ein Computerprogrammprodukt, das einen Programmcode aufweist, mit dem eine Abbildungseinrichtung derart angesteuert wird, dass die Abbildungseinrichtung ein entsprechendes Verfahren durchführt, ist durch die Merkmale des Anspruchs 10 gegeben. Eine Abbildungseinrichtung mit einem Prozessor, in dem ein entsprechendes Computerprogrammprodukt geladen ist, ist durch die Merkmale des Anspruchs 11 gegeben. Weitere Merkmale der Erfindung ergeben sich aus der nachfolgenden Beschreibung, den beigefügten Ansprüchen und/oder den beigefügten Zeichnungen. According to the invention this object is achieved by a method having the features of claim 1. A computer program product having a program code, with which an imaging device is controlled such that the imaging device performs a corresponding method, is given by the features of claim 10. An imaging device with a processor in which a corresponding computer program product is loaded is given by the features of claim 11. Further features of the invention will become apparent from the following description, the appended claims and / or the accompanying drawings.

Das erfindungsgemäße Verfahren ist zur Erzeugung eines Bildes eines Objekts vorgesehen. Das Objekt wird mittels mindestens einer optischen Abbildungseinheit auf mindestens eine Bilderfassungseinheit abgebildet. Beispielsweise ist die optische Abbildungseinheit ein Objektiv. Als Bilderfassungseinheit wird beispielsweise eine digitale Bilderfassungseinheit verwendet. Als Bilderfassungseinheit eignet sich beispielsweise ein CMOS. Die Erfindung ist aber auf eine derartige Bilderfassungseinheit nicht eingeschränkt. Vielmehr kann bei der Erfindung jede geeignete Bilderfassungseinheit verwendet werden.The method according to the invention is provided for generating an image of an object. The object is imaged by means of at least one optical imaging unit on at least one image capture unit. For example, the optical imaging unit is a lens. As the image capture unit, for example, a digital image capture unit is used. As an image capture unit, for example, a CMOS is suitable. However, the invention is not restricted to such an image acquisition unit. Rather, any suitable imaging unit can be used in the invention.

Das Objekt weist mindestens einen ersten Objektpunkt oder mindestens einen ersten Objektbereich und mindestens einen zweiten Objektpunkt oder mindestens einen zweiten Objektbereich auf. Der erste Objektpunkt wird mittels der optischen Abbildungseinheit auf einen ersten Bildpunkt der Bilderfassungseinheit abgebildet. Im Falle des ersten Objektbereichs wird der erste Objektbereich auf einen ersten Bildbereich der Bilderfassungseinheit abgebildet. Genauer gesagt, wird jeweils ein Objektpunkt einer vorgebbaren Menge an Objektpunkten des ersten Objektbereichs auf jeweils einen Bildpunkt eines ersten Bildbereichs der Bilderfassungseinheit abgebildet. Ferner ist es vorgesehen, dass der zweite Objektpunkt mittels der optischen Abbildungseinheit auf einen zweiten Bildpunkt der Bilderfassungseinheit abgebildet wird. Im Falle des zweiten Objektbereichs wird der zweite Objektbereich auf einen zweiten Bildbereich der Bilderfassungseinheit abgebildet. Genauer gesagt, wird jeweils ein Objektpunkt einer vorgebbaren Menge an Objektpunkten des zweiten Objektbereichs auf jeweils einen Bildpunkt eines zweiten Bildbereichs der Bilderfassungseinheit abgebildet.The object has at least one first object point or at least one first object region and at least one second object point or at least one second object region. The first object point is imaged by the optical imaging unit onto a first pixel of the image acquisition unit. In the case of the first object region, the first object region is imaged onto a first image region of the image capture unit. More precisely, in each case one object point of a predeterminable set of object points of the first object region is imaged on in each case one pixel of a first image region of the image capture unit. Furthermore, it is provided that the second object point is imaged by means of the optical imaging unit onto a second pixel of the image acquisition unit. In the case of the second object region, the second object region is imaged onto a second image region of the image capture unit. More precisely, in each case one object point of a predeterminable set of object points of the second object region is imaged on in each case one pixel of a second image region of the image capture unit.

Bei dem erfindungsgemäßen Verfahren ist es nun vorgesehen, einen ersten Abstand des ersten Objektpunkts zu der optischen Abbildungseinheit zu bestimmen. Ferner wird ein zweiter Abstand des zweiten Objektpunkts zu der optischen Abbildungseinheit bestimmt. Der erste Abstand wird zusammen mit weiter unten noch näher erläuterten Daten zur Identifizierung und Kennzeichnung von Eigenschaften des ersten Objektpunkts und des ersten Bildpunkts in mindestens einer Speichereinheit gespeichert. Diese Daten enthalten beispielsweise Koordinaten der Position des ersten Objektpunkts relativ zu einem vorgebbaren Objekt-Koordinatenursprung. Ferner enthalten diese Informationen beispielsweise Koordinaten der Position des ersten Bildpunkts relativ zu einem vorgebbaren Bild-Koordinatenursprung. Der vorgebbare Bild-Koordinatenursprung liegt in der Bildebene der Bilderfassungseinheit. Ferner wird der zweite Abstand zusammen mit Daten zur Identifizierung und Kennzeichnung von Eigenschaften des zweiten Objektpunkts und des zweiten Bildpunkts in der Speichereinheit gespeichert. Diese Daten enthalten beispielsweise Koordinaten der Position des zweiten Objektpunkts relativ zu dem vorgebbaren Objekt-Koordinatenursprung. Ferner enthalten diese Daten Koordinaten der Position des zweiten Bildpunkts relativ zu dem vorgebbaren Bild-Koordinatenursprung.In the method according to the invention, it is now provided to determine a first distance of the first object point to the optical imaging unit. Furthermore, a second distance of the second object point to the optical imaging unit is determined. The first distance is stored in at least one memory unit together with data for identifying and characterizing properties of the first object point and the first pixel, which will be explained in more detail below. For example, these data include coordinates of the position of the first object point relative to a predeterminable object coordinate origin. Furthermore, this information contains, for example, coordinates of the position of the first pixel relative to a predefinable image coordinate origin. The predefinable image coordinate origin lies in the image plane of the image acquisition unit. Further, the second distance is stored in the memory unit together with data for identifying and labeling characteristics of the second object point and the second pixel. These data include, for example, coordinates of the position of the second object point relative to the predeterminable object coordinate origin. Furthermore, these data include coordinates of the position of the second pixel relative to the predeterminable image coordinate origin.

Im Falle der Abbildung des ersten Objektbereichs, der sich aus einer bestimmten Anzahl erster Objektpunkte zusammensetzt, wird der Abstand jedes einzelnen ersten Objektpunkts zu der optischen Abbildungseinheit bestimmt. Ferner wird im Falle der Abbildung des zweiten Objektbereichs der Abstand eines jeden zweiten Objektpunkts, welche den zweiten Objektbereich bilden, zu der optischen Abbildungseinheit bestimmt. Die Abstände werden in der Speichereinheit zusammen mit nachfolgend noch erläuterten Daten zur Identifizierung und Kennzeichnung des dazugehörigen Objektpunkts des Objektbereichs, des dazugehörigen Bildbereichs und des dazugehörigen Bildpunkts abgespeichert. Diese Daten enthalten beispielsweise Koordinaten der Position des entsprechenden Objektpunkts des entsprechenden Objektbereichs relativ zu dem vorgebbaren Objekt-Koordinatenursprung. Ferner enthalten diese Daten Koordinaten der Position jedes Bildpunkts des entsprechenden Bildbereichs relativ zu dem vorgebbaren Bild-Koordinatenursprung.In the case of mapping the first object area, which is composed of a certain number of first object points, the distance of each individual first object point to the optical imaging unit is determined. Further, in the case of imaging the second object area, the distance of each second object point constituting the second object area to the optical imaging unit is determined. The distances are stored in the memory unit together with data explained below for identifying and identifying the associated object point of the object area, the associated image area and the associated pixel. For example, these data include coordinates of the position of the corresponding object point of the corresponding object region relative to the predeterminable object coordinate origin. Further, these data include coordinates of the position of each pixel of the corresponding image area relative to the predeterminable image coordinate origin.

Bei dem erfindungsgemäßen Verfahren ist es nun vorgesehen, dass der erste Objektpunkt oder der erste Objektbereich ausgewählt wird. Im Anschluss daran erfolgt ein Berechnen einer ersten Tiefenschärfe für den ersten Bildpunkt bzw. für jeden Bildpunkt des ersten Bildbereichs mittels einer ersten Punktbildfunktion. Dabei ist die erste Tiefenschärfe nicht die Tiefenschärfe, welche die optische Abbildungseinheit aufgrund ihrer optischen Eigenschaften und Baueinheiten von sich aus sowieso aufweist. Vielmehr handelt es sich bei der ersten Tiefenschärfe um eine nach der Abbildung der Objektpunkte oder der Objektbereiche künstlich erzeugte und von einem Nutzer für jeden Bildpunkt gewünschte Tiefenschärfe, deren Grad der Nutzer selbst bestimmen kann. Die Erfindung unterscheidet daher deutlich zwischen den beiden vorgenannten Arten der Tiefenschärfe, nämlich zum einen der durch die optischen Eigenschaften und Baueinheiten der optischen Abbildungseinheit immanent vorgegebenen Tiefenschärfe sowie der nachträglichen und künstlich erzeugten Tiefenschärfe, deren Grad vom Nutzer individuell für jeden abzubildenden Objektpunkt gewählt werden kann.In the method according to the invention, it is now provided that the first object point or the first object region is selected. This is followed by calculating a first depth of focus for the first pixel or for each pixel of the first image region by means of a first point image function. The first depth of field is not the depth of field, which the optical imaging unit anyway has on its own due to its optical properties and structural units. Rather, the first depth of focus is a depth of field artificially produced according to the image of the object points or the object regions and desired by a user for each pixel, the degree of which the user himself can determine. The invention therefore distinguishes clearly between the two aforementioned types of depth of field, Namely, on the one hand, the inherent given by the optical properties and units of the optical imaging unit depth of field and the subsequent and artificially generated depth of focus, the degree of which can be selected individually by the user for each object point to be imaged.

Bei der Erfindung ist es nun vorgesehen, dass zur Berechnung der ersten Tiefenschärfe die Daten über den ersten Objektpunkt oder die Daten über die Objektpunkte des ersten Objektbereichs sowie der erste Abstand des ersten Objektpunkts zur optischen Abbildungseinheit oder die Abstände der einzelnen Objektpunkte des ersten Objektbereichs zur optischen Abbildungseinheit als erste Parameter in die erste Punktbildfunktion eingesetzt werden. Mit anderen Worten ausgedrückt, wird die erste Tiefenschärfe für den ersten Bildpunkt oder für die Bildpunkte des ersten Bildbereichs mittels der ersten Punktbildfunktion berechnet.In the invention, it is now provided that for calculating the first depth of field, the data on the first object point or the data on the object points of the first object area and the first distance of the first object point to the optical imaging unit or the distances of the individual object points of the first object area to the optical Imaging unit to be used as the first parameter in the first dot image function. In other words, the first depth of focus for the first pixel or for the pixels of the first image area is calculated by means of the first dot image function.

Im Anschluss daran erfolgt ein Berechnen von ersten Abbildungsdaten des ersten Bildpunktes oder der Bildpunkte für den ersten Bildbereich mittels der ersten Tiefenschärfe. Demnach wird der erste Bildpunkt oder werden die Bildpunkte des ersten Bildbereichs mit einer gewünschten Unschärfe versehen. Die ersten Abbildungsdaten werden dann bei der Darstellung des Bildes des Objekts verwendet.This is followed by calculating first image data of the first pixel or of the pixels for the first image region by means of the first depth of field. Accordingly, the first pixel or the pixels of the first image area is provided with a desired blur. The first image data is then used in the representation of the image of the object.

Es wird explizit darauf hingewiesen, dass die vorgenannte und auch noch weiter unten erläuterte Reihenfolge der Verfahrensschritte nicht zwingend ist. Vielmehr kann die Reihenfolge der Verfahrensschritte des erfindungsgemäßen Verfahrens anders geeignet gewählt werden.It is explicitly pointed out that the above-mentioned sequence of method steps, which is also explained below, is not mandatory. Rather, the order of the method steps of the method according to the invention can be chosen differently suitable.

Bei einer Ausführungsform der Erfindung ist es vorgesehen, zunächst den Abstand jedes Objektpunkts des abzubildenden Objekts zu der optischen Abbildungseinheit zu bestimmen und abzuspeichern. Es werden daher nicht nur Abstände von ganz bestimmten Objektpunkten oder Objektpunkten eines bestimmten Objektbereichs bestimmt, sondern die Abstände von allen Objektpunkten des Objekts zur optischen Abbildungseinheit.In one embodiment of the invention, it is provided to first determine and store the distance of each object point of the object to be imaged to the optical imaging unit. Therefore, not only distances of very specific object points or object points of a certain object area are determined, but the distances from all object points of the object to the optical imaging unit.

Die Erfindung beruht auf der überraschenden Erkenntnis, dass zur Erzeugung einer gewissen Unschärfe mindestens eines Bereichs eines Bildes, um mindestens einen weiteren Bereich des Bildes fokussiert darzustellen und damit gegenüber dem unscharfen bestimmten Bereich herauszustellen, nicht zwingend ein aus dem Stand der Technik entsprechend geeignetes Objektiv zur Abbildung des Objekts benutzt werden muss. Vielmehr wurde erkannt, dass dieser Effekt auch durch eine Berechnung der Unschärfe erzielt werden kann, und zwar unabhängig von einer durch die optischen Eigenschaften der optischen Abbildungseinheit bereits vorgegebenen Tiefenschärfe. Es ist insbesondere vorgesehen, dass für jedes abgebildete Objekt eine sogenannte Tiefenkarte erstellt wird. In der Tiefenkarte ist für jeden Objektpunkt der Abstand des Objektpunkts zu der optischen Abbildungseinheit gespeichert, beispielsweise zusammen mit den Koordinaten des Objektpunkts und mit den Koordinaten des dazugehörigen Bildpunkts. Im Grunde wird daher ein Triplet von Daten in der Speichereinheit gespeichert, wobei sich das Triplet aus den Daten über den Abstand, den Objektpunkt und den Bildpunkt zusammensetzt. Mit der Erfindung ist es nun möglich, für jeden Bildpunkt, der mit einer künstlich erzeugten Tiefenschärfe versehen werden soll, eine gewünschte Tiefenschärfe zu berechnen, und zwar auch den Grad der Tiefenschärfe. Es ist demnach möglich, einen bestimmten Bereich des Bildes durch Fokussierung auf diesen Bereich scharf darzustellen, und weitere Bereiche des Bildes im Vordergrund und im Hintergrund durch die künstliche erzeugte Tiefenschärfe unscharf darzustellen. Durch Wahl der Größe der Parameter in der Punktbildfunktion kann der Grad der Unschärfe bestimmt werden. Von Vorteil ist hierbei, dass die Berechnung der künstlich erzeugten Tiefenschärfe basierend auf den Daten der Tiefenkarte nicht abhängig von zwingend vorgegebenen optischen Gegebenheiten einer Kombination von Linseneinheiten einer optischen Abbildungseinheit beispielsweise in Form eines Objektivs ist. Im Grunde ermöglicht es die Erfindung, den gewünschten Effekt ohne einen aufwändigen Einsatz von Abbildungseinheiten, insbesondere von speziell angefertigten und speziell ausgebildeten Abbildungseinheiten, zu erzielen.The invention is based on the surprising finding that in order to produce a certain blurring of at least one area of an image in order to focus on at least one further area of the image and thus emphasize it in relation to the fuzzy certain area, it is not absolutely necessary to use a lens which is suitable from the state of the art Illustration of the object must be used. Rather, it has been recognized that this effect can also be achieved by calculating the blur, independently of a depth of field already predetermined by the optical properties of the optical imaging unit. In particular, it is provided that a so-called depth map is created for each imaged object. In the depth map, the distance of the object point to the optical imaging unit is stored for each object point, for example together with the coordinates of the object point and with the coordinates of the associated pixel. Basically, therefore, a triplet of data is stored in the memory unit, where the triplet is composed of the data about the distance, the object point and the pixel. With the invention, it is now possible to calculate a desired depth of focus for each pixel that is to be provided with an artificially generated depth of focus, and also the degree of depth of field. It is thus possible to focus on a specific area of the image by focusing on this area, and to make other areas of the image in the foreground and in the background by the artificial depth of focus out of focus. By selecting the size of the parameters in the dot image function, the degree of blurring can be determined. The advantage here is that the calculation of the artificially generated depth of focus based on the data of the depth map is not dependent on mandatory given optical conditions of a combination of lens units of an optical imaging unit, for example in the form of an objective. In essence, the invention makes it possible to achieve the desired effect without the laborious use of imaging units, in particular specially designed and specially designed imaging units.

Ferner ermöglicht es die Erfindung, auch Bilder, welche mit einer optischen Abbildungseinheit mit kleinem Bildfeld und/oder kleiner Öffnung erzeugt werden, mit einer gewünschten Tiefenschärfe zu versehen. Daher ist es nun auch möglich, Bilder mit einer gewünschten Tiefenschärfe zu versehen, die mit Objektiven einer Handykamera oder einer Kompaktkamera aufgenommen werden. Beispielsweise weisen diese Objektive eine Bilddiagonale von nur ca. 5 mm bis ca. 11 mm auf.Furthermore, the invention also makes it possible to provide images which are produced with an optical imaging unit with a small image field and / or a small opening with a desired depth of focus. Therefore, it is now possible to provide images with a desired depth of field, which are recorded with lenses of a mobile phone camera or a compact camera. For example, these lenses have a screen size of only about 5 mm to about 11 mm.

Bei einer Ausführungsform des erfindungsgemäßen Verfahrens ist es zusätzlich oder alternativ vorgesehen, dass die optische Abbildungseinheit als Objektiv ausgebildet ist. Somit wird als erster Abstand der Abstand des ersten Objektpunkts zu dem Objektiv bestimmt. Analoges gilt für den Abstand der einzelnen Objektpunkte des ersten Objektbereichs. Für jeden Objektpunkt des ersten Objektbereichs wird der Abstand zu dem Objektiv bestimmt. Beispielsweise ist es vorgesehen, den Abstand des ersten Objektpunkts oder eines Objektpunkts des ersten Objektbereichs zu dem ersten Scheitelpunkt der Fläche der ersten Linseneinheit des Objektivs zu bestimmen, wobei die erste Linseneinheit diejenige Linseneinheit ist, die am nächsten zu dem Objekt angeordnet ist.In one embodiment of the method according to the invention, it is additionally or alternatively provided that the optical imaging unit is designed as an objective. Thus, the distance between the first object point and the objective is determined as the first distance. The same applies to the distance of the individual object points of the first object area. For each object point of the first object area, the distance to the lens is determined. For example, it is provided that the distance of the first object point or a To determine object point of the first object area to the first vertex of the surface of the first lens unit of the lens, wherein the first lens unit is the lens unit which is arranged closest to the object.

Bei einer weiteren Ausführungsform des erfindergemäßen Verfahrens ist zusätzlich oder alternativ vorgesehen, dass der erste Abstand oder der Abstand der Objektpunkte des ersten Objektbereichs mittels einer plenoptischen Abbildungseinheit, mittels einer stereoskopischen Abbildungseinheit und/oder mittels einer Time-of-Flight-Abbildungseinheit (TOF-Abbildungseinheit) bestimmt wird. Eine plenoptische Abbildungseinheit, beispielsweise eine plenoptische Kamera, ist aus dem Stand der Technik bekannt. Mittels einer plenoptischen Kamera ist es möglich, nicht nur die Position und die Intensität eines Lichtstrahls auf der Bilderfassungseinheit festzustellen, sondern es ist auch möglich, die Richtung, aus welcher der Lichtstrahl eingefallen ist, zu bestimmen. Auch eine stereoskopische Abbildungseinheit, beispielsweise in Form einer stereoskopischen Kamera, ist aus dem Stand der Technik bekannt. Diese beruht auf dem Prinzip der Stereoskopie. Ferner ist auch eine TOF-Abbildungseinheit, beispielsweise in Form einer TOF-Kamera, bekannt. Bei einer TOF-Kamera wird mit einem Laufzeitverfahren die Distanz zwischen einem Objekt und der TOF-Kamera ausgemessen. Es wird aber darauf hingewiesen, dass die Erfindung auf die Verwendung der vorgenannten Abbildungseinheiten zur Bestimmung der Abstände nicht eingeschränkt ist. Vielmehr ist jedes geeignete Verfahren und/oder jede geeignete Abbildungseinheit zur Bestimmung der Abstände verwendbar. Beispielsweise können die Abstände auch mit einer Lasermesseinheit unter Verwendung eines Lasermessverfahrens bestimmt werden. Wiederum alternativ ist es vorgesehen, die Abstände mit einer Ultraschallmesseinheit unter Verwendung eines Ultraschallmessverfahrens zu bestimmen. Bei einer noch weiteren Ausführungsform der Erfindung ist es vorgesehen, dass die Einheit zur Bestimmung der Abstände zusammen mit der optischen Abbildungseinheit in einer einzelnen Abbildungseinrichtung angeordnet ist, beispielsweise in einem Kameragehäuse. Alternativ hierzu ist es vorgesehen, die optische Abbildungseinheit in einer Abbildungseinrichtung und die Einheit zur Bestimmung der Abstände in einer von der Abbildungseinrichtung getrennten Abstandsmesseinrichtung anzuordnen. Mit anderen Worten ausgedrückt, sind die Abbildungseinrichtung und die Abstandsmesseinrichtung unterschiedliche und getrennte Baueinheiten in unterschiedlichen Gehäusen.In a further embodiment of the inventive method additionally or alternatively provided that the first distance or the distance of the object points of the first object area by means of a plenoptic imaging unit, by means of a stereoscopic imaging unit and / or by means of a time-of-flight imaging unit (TOF imaging unit ) is determined. A plenoptic imaging unit, for example a plenoptic camera, is known from the prior art. By means of a plenoptic camera, it is possible not only to detect the position and intensity of a light beam on the image acquisition unit, but it is also possible to determine the direction from which the light beam has fallen. A stereoscopic imaging unit, for example in the form of a stereoscopic camera, is also known from the prior art. This is based on the principle of stereoscopy. Furthermore, a TOF imaging unit, for example in the form of a TOF camera, is also known. In a TOF camera, the distance between an object and the TOF camera is measured using a runtime method. It should be noted, however, that the invention is not limited to the use of the aforementioned imaging units for determining the distances. Rather, any suitable method and / or imaging unit may be used to determine the distances. For example, the distances can also be determined with a laser measuring unit using a laser measuring method. Again alternatively, it is provided to determine the distances with an ultrasonic measuring unit using an ultrasonic measuring method. In yet another embodiment of the invention, it is provided that the unit for determining the distances together with the optical imaging unit is arranged in a single imaging device, for example in a camera housing. Alternatively, it is provided to arrange the optical imaging unit in an imaging device and the unit for determining the distances in a separate from the imaging distance measuring device. In other words, the imaging device and the distance measuring device are different and separate units in different housings.

Bei einer weiteren Ausführungsform des erfindergemäßen Verfahrens ist es zusätzlich oder alternativ vorgesehen, dass auch ein Berechnen einer zweiten Tiefenschärfe für den zweiten Bildpunkt oder für die Bildpunkte des zweiten Bildbereichs mittels einer zweiten Punktbildfunktion erfolgt. Dabei ist die zweite Tiefenschärfe wiederum nicht die Tiefenschärfe, welche die optische Abbildungseinheit aufgrund ihrer optischen Eigenschaften und Baueinheiten von sich aus aufweist. Vielmehr handelt es sich auch bei der zweiten Tiefenschärfe um eine nach der Abbildung der Objektpunkte oder der Objektbereiche künstlich erzeugte und von einem Nutzer für jeden Bildpunkt gewünschte Tiefenschärfe, deren Grad der Nutzer selbst bestimmen kann. Die Berechnung der zweiten Tiefenschärfe kann analog zur Berechnung der ersten Tiefenschärfe erfolgen. Zur Berechnung der zweiten Tiefenschärfe werden beispielsweise die Daten über den zweiten Objektpunkt oder die Daten über die Objektpunkte des zweiten Objektbereichs sowie der zweite Abstand des Objektpunkts zur optischen Abbildungseinheit oder die Abstände der einzelnen Objektpunkte des zweiten Objektbereichs zur optischen Abbildungseinheit als zweite Parameter in die zweite Punktbildfunktion eingesetzt. Mit anderen Worten ausgedrückt, wird die zweite Tiefenschärfe für den zweiten Bildpunkt oder für einen Bildpunkt im zweiten Bildbereich mittels der zweiten Punktbildfunktion künstlich berechnet. Im Anschluss daran erfolgt ein Berechnen von zweiten Abbildungsdaten des zweiten Bildpunktes oder des Bildpunkts des zweiten Bildbereichs mittels der zweiten Tiefenschärfe. Die zweiten Abbildungsdaten werden dann bei der Darstellung des Bildes des Objekts verwendet. Demnach wird der zweite Bildpunkt oder der Bildpunkt des zweiten Bildbereichs mit einer definierten Unschärfe versehen.In a further embodiment of the method according to the invention, it is additionally or alternatively provided that a calculation of a second depth of field for the second pixel or for the pixels of the second image region is also carried out by means of a second dot image function. Again, the second depth of focus is not the depth of field which the optical imaging unit has on its own due to its optical properties and building units. Rather, the second depth of focus is also a depth of field artificially produced according to the image of the object points or the object regions and desired by a user for each pixel, the degree of which the user himself can determine. The calculation of the second depth of field can be done analogously to the calculation of the first depth of field. To calculate the second depth of field, for example, the data about the second object point or the data on the object points of the second object area and the second distance of the object point to the optical imaging unit or the distances of the individual object points of the second object area to the optical imaging unit as the second parameter in the second point image function used. In other words, the second depth of field for the second pixel or for a pixel in the second image area is artificially calculated by means of the second dot image function. This is followed by calculating second image data of the second pixel or of the pixel of the second image region by means of the second depth of focus. The second image data is then used in the representation of the image of the object. Accordingly, the second pixel or the pixel of the second image area is provided with a defined blur.

Wie oben bereits genannt, ist die optische Abbildungseinheit beispielsweise als Objektiv ausgebildet. Somit wird als zweiter Abstand der Abstand des zweiten Objektpunkts zu dem Objektiv bestimmt. Analoges gilt für den Abstand der Objektpunkte des zweiten Objektbereichs. Beispielsweise ist es auch hier vorgesehen, den Abstand des zweiten Objektpunkts oder eines Objektpunkts des zweiten Objektbereichs zu dem ersten Scheitelpunkt der Fläche der ersten Linseneinheit des Objektivs zu bestimmen. Hierzu wird auch auf weiter oben verwiesen.As already mentioned above, the optical imaging unit is designed, for example, as an objective. Thus, the second distance determines the distance of the second object point to the objective. The same applies to the distance of the object points of the second object area. For example, it is also provided here to determine the distance of the second object point or of an object point of the second object region to the first vertex of the surface of the first lens unit of the objective. Reference is also made to above.

Ferner ist es zusätzlich oder alternativ auch bei dieser Ausführungsform vorgesehen, dass der zweite Abstand unter Verwendung einer plenoptischen Abbildungseinheit, einer stereoskopischen Abbildungseinheit und/oder einer TOF-Abbildungseinheit bestimmt wird. Es wird auf die Ausführungen weiter oben verwiesen. Insbesondere wird auch auf die möglichen weiteren oben genannten Verfahren und Einrichtungen zur Abstandsbestimmung verwiesen, die auch zur Bestimmung des zweiten Abstands verwendet werden können.Furthermore, it is additionally or alternatively also provided in this embodiment that the second distance is determined using a plenoptic imaging unit, a stereoscopic imaging unit and / or a TOF imaging unit. Reference is made to the comments above. In particular, reference is also made to the possible further above-mentioned methods and devices for distance determination, which can also be used to determine the second distance.

Bei einer wiederum weiteren Ausführungsform des erfindergemäßen Verfahrens ist es zusätzlich oder alternativ vorgesehen, dass als erste Punktbildfunktion und als zweite Punktbildfunktion eine identische Punktbildfunktion verwendet wird. Alternativ ist es vorgesehen, dass die erste Punktbildfunktion und die zweite Punktbildfunktion unterschiedlich sind. Beispiele für mögliche Punktbildfunktionen sind weiter unten näher angegeben. Die Erfindung ist nicht auf eine bestimmte Punktbildfunktion eingeschränkt. Vielmehr ist die Punktbildfunktion frei wählbar. Insbesondere ist es beispielsweise vorgesehen, dass für unterschiedliche Objektpunkte unterschiedliche Punktbildfunktionen verwendet werden. Die Punktbildfunktion kann beispielsweise in Abhängigkeit der Strahlungsintensität der abzubildenden Objektpunkte gewählt werden. In yet another embodiment of the method according to the invention, it is additionally or alternatively provided that an identical point image function is used as the first point image function and as the second point image function. Alternatively, it is provided that the first dot image function and the second dot image function are different. Examples of possible dot image functions are specified below. The invention is not limited to a particular dot image function. Rather, the dot image function is freely selectable. In particular, it is provided, for example, that different point image functions are used for different object points. The dot image function can be selected, for example, as a function of the radiation intensity of the object points to be imaged.

Bei einer wiederum weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist es zusätzlich oder alternativ vorgesehen, dass das Abbilden des Objekts mittels der optischen Abbildungseinheit derart erfolgt, dass das an der Bilderfassungseinheit erzeugte Bild des Objekts ein Bild mit hohem Dynamikumfang ist. Demnach ist das Bild ein sogenanntes HDR-Bild (High-Dynamic-Range-Bild). Unter einem HDR-Bild wird ein digitales Bild verstanden, das große Helligkeitsunterschiede detailreich wiedergibt. Diese Ausführungsform weist den Vorteil auf, dass hiermit gesättigte Bereiche in einem Bild – also starke Lichtquellen – besonders gut dargestellt werden können. Bei dem hier beschriebenen Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist die optische Abbildungseinheit selbst als Einheit ausgebildet, die ein HDR-Bild erzeugen kann. Bei einer alternativen Ausführungsform des erfindungsgemäßen Verfahrens ist es vorgesehen, dass zur Erzeugung eines HDR-Bildes eine separate optische HDR-Abbildungseinheit verwendet wird.In yet another embodiment of the method according to the invention, it is additionally or alternatively provided that the imaging of the object takes place by means of the optical imaging unit in such a way that the image of the object generated at the image acquisition unit is an image with a high dynamic range. Accordingly, the image is a so-called HDR image (high dynamic range image). An HDR image is a digital image that reproduces large differences in brightness in great detail. This embodiment has the advantage that in this way saturated areas in an image-that is, strong light sources-can be displayed particularly well. In the exemplary embodiment of the method according to the invention described here, the optical imaging unit itself is designed as a unit that can generate an HDR image. In an alternative embodiment of the method according to the invention, it is provided that a separate optical HDR imaging unit is used to generate an HDR image.

Die Erfindung ist auf die Erzeugung eines HDR-Bildes aber nicht eingeschränkt. Vielmehr sieht eine weitere Ausführungsform des erfindungsgemäßen Verfahrens vor, kein HDR-Bild zu erzeugen. Vielmehr wird die Strahlungsintensität des Objektpunkts oder der Objektpunkte eines Objektbereichs bei der Bestimmung der künstlich erzeugten Tiefenschärfe und/oder der künstlich erzeugten Form des zugehörigen Bildpunkts oder der zugehörigen Bildpunkte eines Bildbereichs mit herangezogen. So wird bestimmt, ob der erste Objektpunkt eine größere Strahlungsintensität als ein an den ersten Objektpunkt angrenzender Bereich aufweist. Ausgehend von dem ersten Objektpunkt erstreckt sich beispielsweise der Bereich bis zu 15 mm um den ersten Objektpunkt. Wenn die Strahlungsintensität des ersten Objektpunkts größer als die Strahlungsintensität des an den ersten Objektpunkt angrenzenden Bereichs ist, dann erfolgt eine Wichtung der ersten Punktbildfunktion. Beispielsweise erfolgt diese Wichtung, wenn die Strahlungsintensität des ersten Objektpunkts im Wesentlichen doppelt, dreimal oder viermal so groß ist wie die Strahlungsintensität des angrenzenden Bereichs. Es ist vorgesehen, die Wichtung der ersten Punktbildfunktion mit einem Wichtungsfaktor durchzuführen, für den gilt: 0 < W ≤ 1, wobei W der Wichtungsfaktor ist. Beispielsweise gilt für den Wichtungsfaktor 0,1 ≤ W ≤ 1. Bei einem weiteren Ausführungsbeispiel ist zusätzlich oder alternativ vorgesehen, dass der Wichtungsfaktor zufällig bestimmt wird. Alternativ hierzu ist es vorgesehen, den Wichtungsfaktor zu wählen. Die vorbeschriebenen Ausführungsformen sind selbstverständlich für jeden Objektpunkt und/oder für jegliche Punktbildfunktion verwendbar. Die vorbeschriebenen Ausführungsformen, bei denen die Strahlungsintensität des Objektpunkts oder die Strahlungsintensität der Objektpunkte berücksichtigt werden, weisen insbesondere den Vorteil auf, dass man die Intensität, mit der ein Bildpunkt dargestellt wird, oder die Intensitäten, mit denen Bildpunkte dargestellt werden, derart geeignet wählen kann, dass ein besonders guter ästhetischer Eindruck bei der Abbildung entsteht. Insbesondere sind unterschiedliche Lichtquellen, die das abzubildende Objekt beispielsweise aufweist, aufgrund einer unterschiedlich wählbaren Intensität unterschiedlich im Bild darstellbar. Starke Lichtquellen können so von schwachen Lichtquellen sowohl hinsichtlich des Bokehs als auch von der Tiefenschärfe unterschiedlich dargestellt werden.The invention is not limited to the generation of an HDR image. Rather, another embodiment of the method according to the invention provides that no HDR image is generated. Rather, the radiation intensity of the object point or the object points of an object region is used in the determination of the artificially generated depth of focus and / or the artificially generated form of the associated pixel or of the associated pixels of an image region. It is thus determined whether the first object point has a greater radiation intensity than an area adjoining the first object point. Starting from the first object point, for example, the area extends up to 15 mm around the first object point. If the radiation intensity of the first object point is greater than the radiation intensity of the region adjoining the first object point, then the first point image function is weighted. By way of example, this weighting takes place when the radiation intensity of the first object point is substantially twice, three times or four times as large as the radiation intensity of the adjacent region. It is intended to perform the weighting of the first dot-image function with a weighting factor for which: 0 <W ≦ 1, where W is the weighting factor. For example, for the weighting factor 0.1 ≦ W ≦ 1. In a further embodiment, it is additionally or alternatively provided that the weighting factor is determined at random. Alternatively, it is provided to select the weighting factor. The above-described embodiments are, of course, usable for any object point and / or for any dot-image function. The above-described embodiments, in which the radiation intensity of the object point or the radiation intensity of the object points are taken into account, have in particular the advantage that it is possible to select the intensity with which a pixel is displayed or the intensities with which pixels are displayed in a suitable manner in that a particularly good aesthetic impression is created in the image. In particular, different light sources having the object to be imaged, for example, can be represented differently in the image due to a different selectable intensity. Strong light sources can thus be displayed differently from weak light sources both in terms of bokeh and the depth of field.

Beispielsweise kann die Intensität des Bildpunkts oder die Intensitäten der Bildpunkte derart gewählt werden, dass diese in einem Bildbereich untereinander variieren. Insbesondere ist es vorgesehen, dass die Intensität von der Mitte des Bildbereichs zu Kanten des Bildbereichs abnimmt. Ferner kann beispielsweise eine Reflexion einer Lichtquelle identifiziert und mit einer geeigneten Intensität im Bild dargestellt werden. Insbesondere kann eine Reflexion von Scheinwerfern eines Autos auf einer nassen Straße aufgrund einer geeigneten Intensität besonders ästhetisch und realistisch dargestellt werden.For example, the intensity of the pixel or the intensities of the pixels can be selected such that they vary in an image area with each other. In particular, it is provided that the intensity decreases from the center of the image area to edges of the image area. Furthermore, for example, a reflection of a light source can be identified and displayed with a suitable intensity in the image. In particular, a reflection of headlights of a car on a wet road due to a suitable intensity can be displayed in a particularly aesthetic and realistic manner.

Wird bestimmt, dass der erste Objektpunkt eine größere Strahlungsintensität als der an den ersten Objektpunkt angrenzende Bereich aufweist und überdeckt der erste Objektpunkt ein Motiv des abzubildenden Objekts, dann ist es bei einem weiteren Ausführungsbeispiel der Erfindung vorgesehen, die Intensität des zum ersten Objektpunkt zugehörigen ersten Bildpunkts derart gering zu wählen, dass der erste Bildpunkt transmittierend wirkt. Mit anderen Worten ausgedrückt, ist die Intensität des ersten Bildpunkts derart gering, dass das überdeckte Motiv des abgebildeten Objekts zu erkennen ist. Wenn beispielsweise ein Gesicht eines Menschen durch eine Spiegelung einer Lichtquelle am Kinn überdeckt wird, gewährleistet die Erfindung nun, dass die Spiegelung der Lichtquelle im Bild zwar weiterhin erkennbar ist. Die Intensität dieser Spiegelung ist aber derart gering gewählt, dass hinter der Spiegelung das Kinn des Gesichts erkennbar ist.If it is determined that the first object point has a greater radiation intensity than the region adjoining the first object point, and the first object point covers a motif of the object to be imaged, then the intensity of the first pixel associated with the first object point is provided in a further exemplary embodiment of the invention to be chosen so small that the first pixel has a transmissive effect. In other words, the intensity of the first pixel is so small that the overlaid motif of the imaged object can be recognized. For example, if a human's face is covered by a reflection of a light source on the chin, the invention now ensures that the Reflection of the light source in the image is still recognizable. However, the intensity of this reflection is chosen so small that the chin of the face is recognizable behind the reflection.

Nachfolgend sind weitere Vorteile des erfindungsgemäßen Verfahrens zusammengefasst.In the following, further advantages of the method according to the invention are summarized.

Mittels des erfindungsgemäßen Verfahrens ist es möglich, bestimmte Bereiche eines Objekts von einem fokussierten Objektbereich sowohl in Größe als auch in der Form derart unterschiedlich im Bild auszugestalten, dass diese bestimmten Bereiche im Bild in den Hintergrund treten und/oder einen besonders guten ästhetischen Eindruck hinterlassen. Beispielsweise können diese Bereiche rund, oval oder strichförmig geformt werden. Auch eine ellipsenförmige Form, beispielsweise mit einem Verhältnis der Ellipsen-Halbachsen von 2:1 oder 1:2, ist verwendbar. Die Erfindung ist aber nicht auf die vorgenannten Formen eingeschränkt. Vielmehr ermöglicht es die Erfindung, die Form des bestimmten Bereichs beliebig geeignet auszugestalten.By means of the method according to the invention, it is possible to design certain areas of an object from a focused object area both in size and in shape so differently in the image that these particular areas in the image step into the background and / or leave a particularly good aesthetic impression. For example, these areas can be shaped round, oval or line-shaped. Also, an elliptic shape, for example, with a ratio of elliptical half-axes of 2: 1 or 1: 2, is usable. The invention is not limited to the aforementioned forms. Rather, the invention makes it possible to design the shape of the particular area as desired.

Gegenüber dem Stand der Technik, bei dem ein bestimmtes Objektiv mit einer bestimmten Blendenanordnung und Blendengröße verwendet wird, weist die Erfindung ferner den Vorteil auf, dass die Form der Objektpunkte im Bild frei wählbar ist. Dies ist beim Stand der Technik nicht möglich, da die Form der Objektpunkte im Bild insbesondere durch Abbildungseigenschaften des Objektivs und/oder durch die räumliche Anordnung des abzubildenden Objekts zum Objektiv vorgegeben ist. Ferner ist beim Stand der Technik eine Fokussierung beispielsweise auf sich bewegende Objekte bei gleichzeitig gutem Bokeh eines Hintergrunds oder Vordergrunds der sich bewegenden Objekte aufwändig. Dies ist aufgrund des künstlich erzeugten und frei wählbaren Bokehs bei der Erfindung nicht der Fall.Compared to the prior art, in which a specific lens with a specific aperture arrangement and aperture size is used, the invention further has the advantage that the shape of the object points in the image is freely selectable. This is not possible in the prior art, since the shape of the object points in the image is predetermined in particular by imaging properties of the objective and / or by the spatial arrangement of the object to be imaged to the objective. Further, in the prior art, focusing on, for example, moving objects while maintaining good bokeh of a background or foreground of the moving objects is cumbersome. This is not the case because of the artificially generated and arbitrary bokeh in the invention.

Ferner ist beim Stand der Technik die maximale Größe der verwendeten Blenden, welche das Bokeh beeinflusst, aufgrund von Belichtungszeiten begrenzt. Mit anderen Worten ausgedrückt, kann eine Überbelichtung auftreten, wenn man eine zu große Blendenöffnung wählt, um ein bestimmtes Bokeh zu erzielen. Auch dieser Nachteil wird durch das künstlich erzeugte und frei wählbare Bokeh bei der Erfindung vermieden.Further, in the prior art, the maximum size of apertures used which affects the bokeh is limited due to exposure times. In other words, overexposure may occur if one chooses too large an aperture to achieve a particular bokeh. This disadvantage is also avoided by the artificially generated and arbitrary bokeh in the invention.

Ferner ist es mit dem erfindungsgemäßen Verfahren möglich, die Verteilung der Intensität eines bestimmten Bereichs des Objekts im Bild einzustellen. Hierdurch lässt sich zum Beispiel ein Bokeh erzielen, das man bei einer direkten Aufnahme mit einem Objektiv nur unter Verwendung von Apodisationsfiltern oder einer bestimmten Ausgestaltung von Linsen des Objektivs erzielen kann. Ferner ermöglicht es das erfindungsgemäße Verfahren, dass eine gewollte Unschärfe im Bild nur für ganz bestimmte Bereiche eines abgebildeten Objekts erzielbar ist.Furthermore, it is possible with the method according to the invention to set the distribution of the intensity of a specific region of the object in the image. As a result, it is possible, for example, to achieve a bokeh which, in the case of a direct exposure with an objective, can be achieved only by using apodization filters or a specific embodiment of lenses of the objective. Furthermore, the method according to the invention makes it possible to achieve a desired blurring in the image only for very specific regions of an imaged object.

Die Erfindung betrifft auch ein Computerprogrammprodukt mit einem ausführbaren Programmcode, der bei Ausführung in einem Prozessor eine Abbildungseinrichtung derart steuert, dass die Abbildungseinrichtung ein Verfahren mit mindestens einem der vorgenannten oder weiter unten genannten Schritte oder mit einer Kombination von mindestens zwei der vorgenannten und/oder weiter unten genannten Schritte ausführt.The invention also relates to a computer program product with an executable program code which, when executed in a processor, controls an imaging device such that the imaging device comprises a method with at least one of the aforementioned steps or with a combination of at least two of the aforementioned and / or further below steps performs.

Die Erfindung betrifft ferner eine Abbildungseinrichtung mit mindestens einer optischen Abbildungseinheit, mit mindestens einer Bilderfassungseinheit und mit mindestens einem Prozessor. In dem Prozessor ist ein Computerprogrammprodukt wie vorstehend genannt geladen.The invention further relates to an imaging device with at least one optical imaging unit, with at least one image capture unit and with at least one processor. In the processor, a computer program product as mentioned above is loaded.

Bei einer Ausführungsform der erfindungsgemäßen Abbildungseinrichtung ist es zusätzlich oder alternativ vorgesehen, dass die optische Abbildungseinheit als Objektiv ausgebildet ist. Darüber hinaus ist es zusätzlich oder alternativ vorgesehen, dass die Abbildungseinrichtung mindestens eine HDR-Abbildungseinheit, mindestens eine plenoptische Abbildungseinheit, mindestens eine stereoskopischen Abbildungseinheit und/oder mindestens eine TOF-Abbildungseinheit aufweist.In one embodiment of the imaging device according to the invention, it is additionally or alternatively provided that the optical imaging unit is designed as an objective. In addition, it is additionally or alternatively provided that the imaging device has at least one HDR imaging unit, at least one plenoptic imaging unit, at least one stereoscopic imaging unit and / or at least one TOF imaging unit.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen mittels Figuren näher erläutert. Dabei zeigenThe invention will be explained in more detail by means of embodiments by means of figures. Show

1 eine schematische Darstellung einer ersten Abbildungseinrichtung zur Durchführung des Verfahrens gemäß der Erfindung; 1 a schematic representation of a first imaging device for carrying out the method according to the invention;

2 eine weitere schematische Darstellung der ersten Abbildungseinrichtung nach 1; 2 a further schematic representation of the first imaging device according to 1 ;

2A eine schematische Darstellung einer zweiten Abbildungseinrichtung zur Durchführung des Verfahrens gemäß der Erfindung; 2A a schematic representation of a second imaging device for carrying out the method according to the invention;

2B eine schematische Darstellung einer dritten Abbildungseinrichtung zur Durchführung des Verfahrens gemäß der Erfindung; 2 B a schematic representation of a third imaging device for carrying out the method according to the invention;

3 eine wiederum weitere schematische Darstellung der Abbildungseinrichtung nach 1; 3 in turn, another schematic representation of the imaging device according to 1 ;

3A eine schematische Darstellung einer Bildebene mit einem Bild-Koordinatenursprung; 3A a schematic representation of an image plane with an image coordinate origin;

3B eine schematische Darstellung eines Objektbereichs mit einem Objekt-Koordinatenursprung; 3B a schematic representation of an object area with an object coordinate origin;

4 eine Darstellung eines Zerstreuungskreises; 4 a representation of a circle of confusion;

5 einen Ablauf einer ersten Ausführungsform des Verfahrens zur Erzeugung eines Bildes eines Objekts gemäß der Erfindung; sowie 5 a sequence of a first embodiment of the method for generating an image of an object according to the invention; such as

6 einen Ablauf einer zweiten Ausführungsform des Verfahrens zur Erzeugung eines Bildes eines Objekts gemäß der Erfindung. 6 a sequence of a second embodiment of the method for generating an image of an object according to the invention.

1 zeigt eine schematische Darstellung einer Abbildungseinrichtung 1 in Form einer Kamera, mit welcher das erfindungsgemäße Verfahren durchgeführt wird. Die Abbildungseinrichtung 1 ist beispielsweise als Photokamera oder als Filmkamera ausgebildet. Die Abbildungseinrichtung 1 weist ein Gehäuse 1A auf, an dem eine optische Abbildungseinheit 2 in Form eines Objektivs angeordnet wird. In dem Gehäuse 1A ist eine digitale Bilderfassungseinheit 3 angeordnet, mit der Bilder erfasst werden, die durch die optische Abbildungseinheit 2 abgebildet werden. Beispielsweise ist die digitale Bilderfassungseinheit 3 als CMOS ausgebildet. Bei der in 1 dargestellten Ausführungsform ist die optische Abbildungseinheit 2 als Wechselobjektiv ausgebildet. Die Erfindung ist aber nicht auf derartige optische Abbildungseinheiten eingeschränkt. Vielmehr ist die Erfindung auch für optische Abbildungseinheiten geeignet, die nicht lösbar an dem Gehäuse 1A der Abbildungseinrichtung 1 angeordnet sind. 1 shows a schematic representation of an imaging device 1 in the form of a camera, with which the inventive method is performed. The imaging device 1 is designed for example as a photo camera or as a movie camera. The imaging device 1 has a housing 1A on, at which an optical imaging unit 2 is arranged in the form of a lens. In the case 1A is a digital imaging unit 3 arranged to be captured by the images passing through the optical imaging unit 2 be imaged. For example, the digital image capture unit 3 designed as CMOS. At the in 1 illustrated embodiment is the optical imaging unit 2 designed as an interchangeable lens. The invention is not limited to such optical imaging units. Rather, the invention is also suitable for optical imaging units that are not detachable on the housing 1A the imaging device 1 are arranged.

2 zeigt eine weitere schematische Darstellung der Abbildungseinrichtung 1 gemäß 1 in einem Aufriss. Die optische Abbildungseinheit 2 dieser Ausführungsform weist eine erste Linseneinheit 2A und eine zweite Linseneinheit 2B auf, die entlang einer optischen Achse OA hintereinander angeordnet sind. Die optische Abbildungseinheit 2 kann eine bestimmte Anzahl an einzelnen Linsen, Linsengruppen und/oder weiteren optischen Einheiten (beispielsweise in Form von Prismen oder Spiegeln) aufweisen. Die Erfindung ist nicht auf eine bestimmte Ausführungsform eines Objektivs beschränkt. Vielmehr ist jedes geeignete Objektiv bei der Erfindung einsetzbar. Bei der hier dargestellten Ausführungsform sind die erste Linseneinheit 2A und die zweite Linseneinheit 2B als HDR-Abbildungseinheit ausgebildet. Somit ist das an der digitalen Bilderfassungseinheit 3 erzeugte Bild eines Objekts O ein Bild mit hohem Dynamikumfang (HDR-Bild). Diese Ausführungsform weist den Vorteil auf, dass hiermit gesättigte Bereiche in einem Bild (also starke Lichtquellen) besonders gut dargestellt werden können. Es hat sich gezeigt, dass die natürliche Helligkeit bei Verwendung des erfindungsgemäßen Verfahrens hierdurch bestehen bleibt. 2 shows a further schematic representation of the imaging device 1 according to 1 in an outline. The optical imaging unit 2 This embodiment has a first lens unit 2A and a second lens unit 2 B on, which are arranged along an optical axis OA in a row. The optical imaging unit 2 may comprise a certain number of individual lenses, lens groups and / or other optical units (for example in the form of prisms or mirrors). The invention is not limited to a particular embodiment of a lens. Rather, any suitable lens can be used in the invention. In the embodiment shown here, the first lens unit 2A and the second lens unit 2 B designed as an HDR imaging unit. So that's the digital imaging unit 3 generated image of an object O an image with high dynamic range (HDR image). This embodiment has the advantage that in this way saturated areas in an image (ie, strong light sources) can be displayed particularly well. It has been found that the natural brightness remains when using the method according to the invention.

Die Abbildungseinrichtung 1 weist ferner einen Prozessor 4 sowie einen Monitor 5 auf. Von dem abzubildenden Objekt O in Richtung der digitalen Bilderfassungseinheit 3 sind zunächst das Objekt O, dann die optische Abbildungseinheit 2 und dann die digitale Bilderfassungseinheit 3 angeordnet. Darüber hinaus weist die Abbildungseinrichtung 1 eine Abstandsmesseinrichtung 6 auf, deren Funktion und Wirkungsweise weiter unten näher erläutert wird.The imaging device 1 also has a processor 4 as well as a monitor 5 on. From the object O to be imaged in the direction of the digital image acquisition unit 3 are first the object O, then the optical imaging unit 2 and then the digital imaging unit 3 arranged. In addition, the imaging device points 1 a distance measuring device 6 whose function and mode of action will be explained in more detail below.

Die Abbildungseinrichtung 1 weist auch eine Speichereinheit 8 auf, in welcher Daten abspeicherbar sind. Die Funktion und die Wirkungsweise der Speichereinheit 8 werden weiter unten näher erläutert.The imaging device 1 also has a storage unit 8th on, in which data can be stored. The function and operation of the storage unit 8th will be explained in more detail below.

2A zeigt eine weitere Ausführungsform der Abbildungseinrichtung 1 in einem Aufriss. Die 2A beruht auf der 2. Gleiche Einheiten sind mit den gleichen Bezugszeichen gekennzeichnet. Im Unterschied zu dem Ausführungsbeispiel der 2 sind nicht die erste Linseneinheit 2A und die zweite Linseneinheit 2B als HDR-Abbildungseinheit ausgebildet. Vielmehr ist es bei dieser Ausführungsform vorgesehen, eine zu der ersten Linseneinheit 2A und der zweiten Linseneinheit 2B separate HDR-Abbildungseinheit 7 an der Abbildungseinrichtung 1 anzuordnen. 2A shows a further embodiment of the imaging device 1 in an outline. The 2A based on the 2 , Like units are identified by the same reference numerals. In contrast to the embodiment of 2 are not the first lens unit 2A and the second lens unit 2 B designed as an HDR imaging unit. Rather, it is provided in this embodiment, one to the first lens unit 2A and the second lens unit 2 B separate HDR imaging unit 7 at the imaging device 1 to arrange.

2B zeigt eine wiederum weitere Ausführungsform der Abbildungseinrichtung 1 in einem Aufriss. Die 2B beruht auf der 2. Gleiche Einheiten sind mit den gleichen Bezugszeichen gekennzeichnet. Im Unterschied zu dem Ausführungsbeispiel der 2 ist die Abstandsmesseinrichtung 6 von der Abbildungseinrichtung 1 getrennt ausgebildet. Die Abstandsmesseinrichtung 6 kann geeignet ausgebildet sein, beispielsweise wie bereits weiter oben erläutert, und ist über eine Leitung 9 mit dem Prozessor 4 verbunden. 2 B shows a still further embodiment of the imaging device 1 in an outline. The 2 B based on the 2 , Like units are identified by the same reference numerals. In contrast to the embodiment of 2 is the distance measuring device 6 of the imaging device 1 trained separately. The distance measuring device 6 may be suitably formed, for example, as already explained above, and is via a line 9 with the processor 4 connected.

3 zeigt die 1 in einer weiteren schematischen Darstellung. Mittels der optischen Abbildungseinheit 2 wird jeder Objektpunkt des Objekts O oder jeder Objektpunkt eines Objektbereichs des Objekts O als ein Bildpunkt in der Bildebene BE der digitalen Bilderfassungseinheit 3 abgebildet. In der 3 sind beispielhaft drei Objektbereiche des Objekts O dargestellt. Ein erster Objektbereich O1 wird als ein erster Bildbereich B1 abgebildet. Genauer gesagt wird jeder Objektpunkt des ersten Objektbereichs O1 als ein Bildpunkt des ersten Bildbereichs B1 abgebildet. Ferner wird ein zweiter Objektbereich O2 als ein zweiter Bildbereich B2 abgebildet. Mit anderen Worten ausgedrückt wird jeder Objektpunkt des zweiten Objektbereichs O2 als ein Bildpunkt des zweiten Bildbereichs B2 abgebildet. Darüber hinaus wird ein dritter Objektbereich O3 als ein dritter Bildbereich B3 abgebildet. Mit anderen Worten ausgedrückt wird jeder Objektpunkt des dritten Objektbereichs O3 als ein Bildpunkt des dritten Bildbereichs B3 abgebildet. Die Größe eines jeden Bildpunkts ist in der Regel identisch. Beispielsweise weist jeder Bildpunkt einen Durchmesser im Bereich von ca. 1 μm bis ca. 5 μm auf. Bei einer Abbildungseinrichtung 1 in Form einer Handykamera weist jeder Bildpunkt beispielsweise einen Durchmesser von ca. 1 μm auf. Bei einer Abbildungseinrichtung 1 in Form einer Systemkamera weist jeder Bildpunkt beispielsweise einen Durchmesser von ca. 4 μm auf. 3 show the 1 in a further schematic representation. By means of the optical imaging unit 2 For example, each object point of the object O or each object point of an object region of the object O becomes a pixel in the image plane BE of the digital image acquisition unit 3 displayed. In the 3 For example, three object areas of the object O are shown. A first object area O1 is imaged as a first image area B1. More specifically, each object point of the first object area O1 is imaged as a pixel of the first image area B1. Furthermore, a second object area O2 is imaged as a second image area B2. In other words, each object point of the second object area O2 is imaged as a pixel of the second image area B2. In addition, a third object area O3 is imaged as a third image area B3. In other words, each object point of the third object area O3 is imaged as a pixel of the third image area B3. The size of each pixel is usually the same. For example, each pixel has a diameter in the range of about 1 .mu.m to about 5 .mu.m. In an imaging device 1 in the form of a mobile phone camera, each pixel has, for example, a diameter of about 1 μm. In an imaging device 1 in the form of a system camera, each pixel has, for example, a diameter of approximately 4 μm.

Wie oben bereits erwähnt, weist die Abbildungseinrichtung 1 eine Abstandsmesseinrichtung 6 auf, mit welcher der Abstand jedes Objektpunkts der einzelnen Objektbereiche O1 bis O3 zu der optischen Abbildungseinheit 2 gemessen wird. Bereits weiter oben wurden auch zahlreiche Ausführungsformen von Abstandmesseinrichtungen erläutert. Bei dem hier dargestellten Ausführungsbeispiel ist es vorgesehen, dass die Abstandsmesseinrichtung 6 an der optischen Abbildungseinheit 2 angeordnet ist. Zusätzlich oder alternativ hierzu kann die Abstandsmesseinrichtung 6 auch an einem anderen Ort an dem oder in dem Gehäuse 1A angeordnet sein. Mittels der Abstandsmesseinrichtung 6 wird der Abstand eines jeden Objektpunkts der einzelnen Objektbereiche O1 bis O3 zu einem Scheitelpunkt der Fläche der ersten Linseneinheit 2A der optischen Abbildungseinheit 2 gemessen, wobei die Fläche der ersten Linseneinheit 2A den geringsten Abstand zu dem Objekt O von allen weiteren Linsen der optischen Abbildungseinheit 2 aufweist. Drei Abstände D1 bis D3 sind beispielhaft in 3 eingezeichnet. Die Abstandsmesseinrichtung 6 ist beispielsweise als plenoptische Abbildungseinheit, als stereoskopische Abbildungseinheit oder als TOF-Abbildungseinheit ausgebildet, wobei – wie oben bereits erwähnt – TOF für Time-of-Flight steht. Hinsichtlich der Funktionsweise wird auf die Ausführungen weiter oben verwiesen.As mentioned above, the imaging device 1 a distance measuring device 6 on, with which the distance of each object point of the individual object areas O1 to O3 to the optical imaging unit 2 is measured. Numerous embodiments of distance measuring devices have already been explained above. In the embodiment illustrated here, it is provided that the distance measuring device 6 at the optical imaging unit 2 is arranged. Additionally or alternatively, the distance measuring device 6 also in another place on or in the housing 1A be arranged. By means of the distance measuring device 6 The distance of each object point of the individual object areas O1 to O3 becomes a vertex of the area of the first lens unit 2A the optical imaging unit 2 measured, the area of the first lens unit 2A the smallest distance to the object O from all other lenses of the optical imaging unit 2 having. Three distances D1 to D3 are exemplary in 3 located. The distance measuring device 6 is designed, for example, as a plenoptic imaging unit, as a stereoscopic imaging unit or as a TOF imaging unit, wherein - as already mentioned above - TOF stands for time-of-flight. With regard to the operation, reference is made to the comments above.

Es sind Ausführungsformen des erfindungsgemäßen Verfahrens vorgesehen, bei denen die Abstände der Objektpunkte ganz bestimmter Objektbereiche – beispielsweise der oben genannten Objektbereiche O1 bis O3 – zu der optischen Abbildungseinheit 2 bestimmt werden. Bei wiederum weiteren Ausführungsformen des erfindungsgemäßen Verfahrens ist es vorgesehen, sämtliche Objektpunkte des Objekts O – also nicht nur die Objektpunkte einzelner Objektbereiche – zu berücksichtigen. Es werden bei diesem Ausführungsbeispiel die Abstände sämtlicher Objektpunkte des Objekts O zu der optischen Abbildungseinheit 2 bestimmt. Die Größe der Objektpunkte ist beliebig geeignet wählbar. In der Regel ist der Durchmesser eines jeden Objektpunkts identisch und liegt beispielsweise im Bereich zwischen 1 mm bis 3 mm. Die Erfindung ist aber nicht auf diesen Bereich eingeschränkt. Vielmehr kann der Durchmesser eines Objektpunkts jeglichen geeigneten Wert aufweisen.Embodiments of the method according to the invention are provided, in which the distances between the object points of quite specific object areas-for example the above-mentioned object areas O1 to O3 -to the optical imaging unit 2 be determined. In yet further embodiments of the method according to the invention, it is intended to take into account all object points of the object O, ie not just the object points of individual object areas. In this embodiment, the distances of all the object points of the object O become the optical imaging unit 2 certainly. The size of the object points can be selected as desired. In general, the diameter of each object point is identical and is for example in the range between 1 mm to 3 mm. The invention is not limited to this area. Rather, the diameter of an object point may have any suitable value.

In dem Prozessor 4 ist ein Programmcode geladen, mit dem die Abbildungseinrichtung 1 derart gesteuert werden kann, dass die Abbildungseinrichtung 1 ein erfindungsgemäßes Verfahren durchführt. 5 zeigt eine schematische Darstellung eines möglichen Ablaufs einer ersten Ausführungsform des erfindungsgemäßen Verfahrens. Dieses wird nun nachfolgend erläutert.In the processor 4 is a program code loaded with the imaging device 1 can be controlled so that the imaging device 1 performs a method according to the invention. 5 shows a schematic representation of a possible sequence of a first embodiment of the method according to the invention. This will now be explained below.

In einem Verfahrensschritt S1 wird das Objekt O mittels der optischen Abbildungseinheit 2 an der Bildebene BE der digitalen Bilderfassungseinheit 3 abgebildet. Im Anschluss daran erfolgt bei einer Ausführungsform des Verfahrens in einem Verfahrensschritt S2 eine Bestimmung des Abstands von Objektpunkten der einzelnen Objektbereiche O1 bis O3 zu der optischen Abbildungseinheit 2. In der 3 sind beispielhaft der erste Abstand D1, der zweite Abstand D2 und der dritte Abstand D3 dargestellt. Alternativ kann zur Bestimmung des ersten Abstands D1, des zweiten Abstands D2 und/oder des dritten Abstands D3 zunächst der Abstand des einzelnen Objektbereichs O1, O2 oder O3 zur Bildebene BE bestimmt werden. In 3 ist beispielhaft der Abstand des dritten Objektbereichs O3 zur Bildebene BE dargestellt. Da der Abstand einer Eintrittsfläche EF der optischen Abbildungseinheit 2 zur Bildebene BE bekannt ist (vgl. 3), lässt sich der dritte Abstand D3 bestimmen. Analoges gilt für den ersten Abstand D1 und den zweiten Abstand D2. Wie bereits oben erläutert, ist es bei einer weiteren Ausführungsform des Verfahrens zusätzlich oder alternativ vorgesehen, dass der Abstand jedes Objektpunkts des Objekts O zur optischen Abbildungseinheit 2 – also nicht nur einzelner Objektpunkte von einzelnen Objektbereichen – bestimmt wird.In a method step S1, the object O is determined by means of the optical imaging unit 2 at the image plane BE of the digital image acquisition unit 3 displayed. Following this, in one embodiment of the method, in a method step S2, a determination of the distance of object points of the individual object regions O1 to O3 to the optical imaging unit takes place 2 , In the 3 For example, the first distance D1, the second distance D2 and the third distance D3 are shown. Alternatively, to determine the first distance D1, the second distance D2 and / or the third distance D3, first the distance of the individual object area O1, O2 or O3 to the image plane BE can be determined. In 3 the distance of the third object area O3 to the image plane BE is shown by way of example. Since the distance of an entrance surface EF of the optical imaging unit 2 to the image plane BE is known (cf. 3 ), the third distance D3 can be determined. The same applies to the first distance D1 and the second distance D2. As already explained above, it is additionally or alternatively provided in a further embodiment of the method that the distance of each object point of the object O to the optical imaging unit 2 - So not just individual object points of individual object areas - is determined.

Die nachfolgenden Verfahrensschritte werden nun in Abhängigkeit dessen gewählt, ob einzelne Objektpunkte oder ganze Objektbereiche weiter bearbeitet werden sollen. Verfahrensschritte S3A bis S7A betreffen einzelne Objektpunkte. Hingegen betreffen Verfahrensschritte S3B bis S7B Objektbereiche.The following method steps are now selected depending on whether individual object points or entire object areas are to be further processed. Method steps S3A to S7A relate to individual object points. On the other hand, method steps S3B to S7B concern object areas.

In dem Verfahrensschritt S3A werden die ermittelten Abstände sowie Daten über die relative Lage der Objektpunkte hinsichtlich eines Objekt-Koordinatenursprungs und der den Objektpunkten zugeordneten Bildpunkte in der Bildebene BE der digitalen Bilderfassungseinheit 3 hinsichtlich eines Bild-Koordinatenursprungs in der Speichereinheit 8 der Abbildungseinrichtung 1 gespeichert. Werden Objektbereiche betrachtet, die zahlreiche Objektpunkte aufweisen, so werden in dem Verfahrensschritt S3B die ermittelten Abstände sowie Daten über die relative Lage der Objektbereiche – beispielsweise die vorgenannten Objektbereiche O1 bis O3 – , derer Objektpunkte hinsichtlich eines Objekt-Koordinatenursprungs und der Bildbereiche, beispielsweise die vorgenannten Bildbereiche B1 bis B3, sowie derer Bildpunkte in der Bildebene BE der digitalen Bilderfassungseinheit 3 hinsichtlich eines Bild-Koordinatenursprungs in der Speichereinheit 8 der Abbildungseinrichtung 1 gespeichert.In the method step S3A, the determined distances as well as data on the relative position of the object points with regard to an object coordinate origin and the image points assigned to the object points are in the image plane BE of the digital image acquisition unit 3 with respect to an image coordinate origin in the storage unit 8th the imaging device 1 saved. If object areas are considered that have numerous object points, then in step S3B the determined distances as well as data on the relative position of the object areas-for example the aforementioned object areas O1 to O3-of which object points with respect to an object coordinate origin and the image areas, for example the aforementioned Image areas B1 to B3, as well as their pixels in the image plane BE of the digital image acquisition unit 3 with respect to an image coordinate origin in the storage unit 8th the imaging device 1 saved.

3A zeigt schematisch eine Draufsicht auf die Bildebene BE der digitalen Bilderfassungseinheit 3. Der Bild-Koordinatenursprung der Bildebene BE ist mit dem Bezugszeichen 10 versehen und liegt mittig in der Bildebene BE. Die Lage jedes Bildpunkts der Bildebene BE ist durch eine erste Koordinate entlang einer x-Achse und durch eine zweite Koordinate entlang einer y-Achse gegeben. Beispielhaft ist ein einzelner Bildpunkt BP dargestellt. Die x-Achse und die y-Achse haben ihren Ursprung im Bild-Koordinatenursprung 10. Aus Gründen der Übersichtlichkeit sind in der 3A die x-Achse und die y-Achse nicht im Bild-Koordinatenursprung 10 gezeichnet worden. 3A schematically shows a plan view of the image plane BE of the digital image acquisition unit 3 , The image coordinate origin of the image plane BE is denoted by the reference numeral 10 provided and is located in the center of the image plane BE. The position of each pixel of the image plane BE is given by a first coordinate along an x-axis and by a second coordinate along a y-axis. By way of example, a single pixel BP is shown. The x-axis and the y-axis originate from the image coordinate origin 10 , For the sake of clarity are in the 3A the x-axis and the y-axis are not in the image coordinate origin 10 drawn.

Die Lage eines Objekt-Koordinatenursprungs wird beispielhaft anhand des dritten Objektbereichs O3 beschrieben. 3B zeigt schematisch eine Draufsicht auf den dritten Objektbereich O3. Der Objekt-Koordinatenursprung ist mit dem Bezugszeichen 11 versehen und liegt mittig im dritten Objektbereich O3. Die Lage jedes Objektpunkts ist durch eine erste Koordinate entlang einer m-Achse und durch eine zweite Koordinate entlang einer n-Achse gegeben. Beispielhaft ist ein einzelner Objektpunkt OP dargestellt. Die m-Achse und die n-Achse haben ihren Ursprung im Objekt-Koordinatenursprung 11. Aus Gründen der Übersichtlichkeit sind in der 3B die m-Achse und die n-Achse nicht im Objekt-Koordinatenursprung 11 gezeichnet worden.The position of an object coordinate origin is described by way of example with reference to the third object region O3. 3B schematically shows a plan view of the third object area O3. The object coordinate origin is denoted by the reference numeral 11 provided and is located in the middle in the third object area O3. The position of each object point is given by a first coordinate along an m-axis and by a second coordinate along an n-axis. By way of example, a single object point OP is shown. The m-axis and the n-axis originate in the object coordinate origin 11 , For the sake of clarity are in the 3B the m-axis and the n-axis are not in the object coordinate origin 11 drawn.

Beispielsweise werden für jeden Objektpunkt Daten gespeichert, wobei die Daten bei dem hier beschriebenen Ausführungsbeispiel ein Tripel von Dateninhalten umfasst. Ein erster Dateninhalt umfasst die Entfernung eines bestimmten Objektpunkts zur optischen Abbildungseinrichtung 2. Ein zweiter Dateninhalt umfasst die relative Lage dieses Objektpunkts OP zu dem Objekt-Koordinatenursprung 11. Ein wiederum dritter Dateninhalt umfasst die relative Lage des diesem Objektpunkt OP zugehörigen Bildpunkts BP zu dem Bild-Koordinatenursprung 10.For example, data is stored for each object point, the data in the embodiment described here comprising a triple of data contents. A first data content includes the removal of a particular object point to the optical imaging device 2 , A second data content comprises the relative position of this object point OP to the object coordinate origin 11 , A third data content in turn comprises the relative position of the pixel BP belonging to this object point OP to the image coordinate origin 10 ,

Im Verfahrensschritt S4A werden diejenigen Objektpunkte OP ausgewählt, welche mit einer gewissen Unschärfe versehen werden sollen, um andere Bereiche des Bildes des abzubildenden Objekts O für einen Betrachter in den Vordergrund zu stellen. Mit anderen Worten ausgedrückt soll das Bild des Objekts O eine fokussierte Ebene aufweisen, auf welche die Aufmerksamkeit eines Betrachters gelenkt wird, während andere Bereiche im Vordergrund oder im Hintergrund zu dieser fokussierten Ebene unscharf dargestellt werden.In method step S4A, those object points OP are selected which are to be provided with a certain blurring in order to place other areas of the image of the object O to be imaged in the foreground for a viewer. In other words, the image of the object O should have a focused plane to which a viewer's attention is directed, while other areas in the foreground or in the background to that focused plane are out of focus.

Ähnliches gilt bei Bearbeitung von Objektbereichen. Im Verfahrensschritt S4B werden diejenigen Objektbereiche ausgewählt, welche mit einer gewissen Unschärfe versehen werden sollen, um andere Bereiche des Bildes des abzubildenden Objekts O für einen Betrachter in den Vordergrund zu stellen.The same applies when editing object areas. In method step S4B, those object areas are selected which are to be provided with a certain blur in order to place other areas of the image of the object O to be imaged in the foreground for a viewer.

Für die Objektpunkte OP, die im Verfahrensschritt S4A ausgewählt wurden, oder für die Objektbereiche, die im Verfahrensschritt S4B ausgewählt wurden, wird/werden eine künstlich erzeugte und gewünschte Tiefenschärfe und/oder die gewünschte Form der einzelnen Bildpunkte berechnet. Dies erfolgt für einzelne Objektpunkte im Verfahrensschritt S5A und für den Objektbereich im Verfahrensschritt S5B. Da der Objektbereich sich aus zahlreichen Objektpunkten zusammensetzt, wird im Verfahrensschritt S5B im Grunde für jeden Objektpunkt des Objektbereichs der Verfahrensschritt S5A durchgeführt.For the object points OP selected in method step S4A or for the object regions selected in method step S4B, an artificially generated and desired depth of focus and / or the desired shape of the individual pixels are calculated. This takes place for individual object points in method step S5A and for the object region in method step S5B. Since the object area is composed of numerous object points, method step S5A is basically carried out in method step S5B for each object point of the object area.

Zur Berechnung wird bei der hier dargestellten Ausführungsform die folgende Punktbildfunktion PSF verwendet:

wobei

x, y: Koordinaten der Bildpunkte BP in der Bildebene BE relativ zu dem Bild-Koordinatenursprung 10 sind, wobei der Bild-Koordinatenursprung 10 in der Bildebene BE liegt;
m, n: Koordinaten der einzelnen Objektpunkte OP relativ zu dem Objekt-Koordinatenursprung 11 sind, wobei der Objekt-Koordinatenursprung 11 im Bereich des Objekts gewählt wird, beispielsweise im Bereich des dritten Objektbereichs O3;
cyl: die Zylinderfunktion ist, welche weiter unten näher beschrieben ist;
β: der Abbildungsmaßstab;
R: der Radius des Zerstreuungskreises ist (dies ist weiter unten näher erläutert); sowie
d(m, n): der Abstand eines ausgewählten Objektpunkts OP zur optischen Abbildungseinheit 2 ist.

For the calculation, the following point image function PSF is used in the embodiment shown here:

in which

x, y: Coordinates of the pixels BP in the image plane BE relative to the image coordinate origin 10 are, taking the picture coordinate origin 10 is in the image plane BE;
m, n: Coordinates of the individual object points OP relative to the object coordinate origin 11 are, where the object coordinate origin 11 is selected in the region of the object, for example in the region of the third object region O3;
cyl: is the cylinder function, which is described in more detail below;
β: the magnification
R: the radius of the circle of confusion is (this will be explained further below); such as
d (m, n): the distance of a selected object point OP to the optical imaging unit 2 is.

Die Abstand d kann auch auf eine Ebene bezogen werden, auf welche die optische Abbildungseinheit 2 fokussiert wird. Die Ebene weist einen Abstand d₀ zu der optischen Abbildungseinheit 2 auf. Der Abstand d bezogen auf diese Ebene ist dann durch die folgende Gleichung gegeben: d = d₀ + Δd(m, n) [2] The distance d can also be related to a plane to which the optical imaging unit 2 is focused. The plane has a distance d ₀ to the optical imaging unit 2 on. The distance d with respect to this plane is then given by the following equation: d = d ₀ + Δd (m, n) [2]

Der Abstand wird in der Regel in Millimetern angegeben.The distance is usually specified in millimeters.

Auf die digitale Bilderfassungseinheit 3 trifft von dem abzubildenden Objekt O ein Lichtkegel, der eine Kegelspitze aufweist. Dies ist in der 4 schematisch dargestellt. Die schematisch dargestellte optische Abbildungseinheit 2 ist auf eine erste Objektebene 14 fokussiert, während eine zweite Objektebene 15 unscharf abgebildet wird. Lichtstrahlen treten in Pfeilrichtung A von der ersten Objektebene 14 und der zweiten Objektebene 15 durch die optische Abbildungseinheit 2 in Richtung der Bildebene BE der digitalen Bilderfassungseinheit 3. In 4 sind beispielhaft Lichtstrahlen dargestellt, die von Objektpunkten der beiden Objektebenen 14, 15 stammen, die auf der optischen Achse OA liegen. In der Regel schneidet die Bildebene BE der digitalen Bilderfassungseinheit 3 den Lichtkegel in einer gewissen Entfernung von der Kegelspitze ab. Auf der Bildebene BE der digitalen Bilderfassungseinheit 3 entsteht dann der Zerstreuungskreis, welcher den Radius R aufweist. Der Radius R hat seinen Ursprung auf der optischen Achse OA. Es lässt sich mathematisch herleiten, dass für den Radius R bezogen auf den Objektraum die folgende Beziehung gilt:

wobei f die Brennweite der optischen Abbildungseinheit 2 und F# die F-Zahl der optischen Abbildungseinheit 2 bei einer Fokussierung auf Unendlich ist.On the digital image capture unit 3 From the object O to be imaged, a cone of light which has a cone tip strikes. This is in the 4 shown schematically. The schematically illustrated optical imaging unit 2 is on a first object level 14 focused while a second object plane 15 out of focus. Light rays occur in the direction of arrow A from the first object plane 14 and the second object plane 15 through the optical imaging unit 2 in the direction of the image plane BE of the digital image acquisition unit 3 , In 4 By way of example, light beams are shown which are from object points of the two object planes 14 . 15 which lie on the optical axis OA. As a rule, the image plane BE of the digital image capture unit intersects 3 the light cone at a certain distance from the apex. On the image plane BE of the digital image acquisition unit 3 Then arises the circle of confusion, which has the radius R. The radius R has its origin on the optical axis OA. It can be mathematically deduced that the following relation applies to the radius R with respect to the object space:

where f is the focal length of the optical imaging unit 2 and F # is the F number of the optical imaging unit 2 focusing on infinity.

Die Zylinderfunktion ist gegeben durchThe cylinder function is given by

Die Zylinderfunktion ist eine gebräuchliche Darstellung für eine ideale, kreisförmige Pupille. Bei dem hier erläuterten Ausführungsbeispiel der Erfindung beschreibt sie eine homogene Kreisscheibe mit einem Wichtungsfaktor w, welcher sich aus dem Verhältnis der Fläche des abzubildenden Objekts O zur Fläche ergibt, welche das abzubildende Objekt O im Bild aufweist. Die Zylinderfunktion wird beispielsweise dazu verwendet, um ein im Wesentlichen rundes Bokeh zu erzielen. Um andere Formen des Bokehs zu erzielen, können andere Funktionen statt der Zylinderfunktion verwendet werden. Beispielsweise lässt sich ein elliptisches Bokeh dadurch erzielen, dass statt der Zylinderfunktion eine Ellipsenfunktion verwendet wird, beispielsweise

bei einem Aspektverhältnis von a = 1:b, wobei a und b die Halbachsen der Ellipse sind. Beispielsweise beträgt das Aspektverhältnis 1:2.The cylinder function is a common representation for an ideal, circular pupil. In the exemplary embodiment of the invention explained here, it describes a homogeneous circular disk with a weighting factor w, which results from the ratio of the area of the object O to be imaged to the surface which the object O to be imaged has in the image. The cylinder function is used, for example, to achieve a substantially round bokeh. To achieve other forms of bokeh, other functions may be used instead of the cylinder function. For example, an elliptical bokeh can be achieved by using an ellipse function instead of the cylinder function, for example

at an aspect ratio of a = 1: b, where a and b are the semiaxes of the ellipse. For example, the aspect ratio is 1: 2.

Die Erfindung ist aber nicht auf die Verwendung der Zylinderfunktion oder der vorgenannten Ellipsenfunktion eingeschränkt. Vielmehr kann statt der Zylinderfunktion oder der vorgenannten Ellipsenfunktion jegliche Funktion verwendet werden, mit der ein gewünschtes Bokeh erzielbar ist.However, the invention is not limited to the use of the cylinder function or the aforementioned ellipse function. Rather, instead of the cylinder function or the aforementioned ellipse function, any function can be used with which a desired bokeh can be achieved.

Wie soeben erläutert, ist es vorgesehen, für jeden ausgewählten Objektpunkt eine künstliche, gewünschte Tiefenschärfe und/oder die Form des dem Objektpunkt zugehörigen Bildpunkts mittels der erläuterten Punktbildfunktion zu berechnen. Nun erfolgt ein weiterer Schritt des erfindungsgemäßen Verfahrens. Für den Fall, dass nur ein einzelner Objektpunkt betrachtet wird, werden nun in dem Verfahrensschritt S6A Abbildungsdaten für den Objektpunkt unter Verwendung der so künstlichen, gewünschten Tiefenschärfe und/oder der gewünschten Form bestimmt. Für den Fall, dass ein Objektbereich betrachtet wird, werden in dem Verfahrensschritt S6B Abbildungsdaten für jeden Objektpunkt des Objektbereichs unter Verwendung der künstlichen, gewünschten Tiefenschärfe und/oder der gewünschten Form bestimmt.As just explained, it is provided to calculate for each selected object point an artificial, desired depth of focus and / or the shape of the object point associated pixel by means of the explained point image function. Now, another step of the method according to the invention. In the event that only a single object point is considered, imaging data for the object point are now determined in method step S6A using the thus artificial, desired depth of focus and / or the desired shape. In the case where an object area is considered, in the process step S6B, image data for each object point of the object area is determined by using the artificial desired depth of focus and / or the desired shape.

Die Abbildungsdaten ergeben sich durch die folgende Gleichung: (x, y) = ∫∫dmdn(I_ob(m, n)PSF(x, y; m, n)) [6] wobei

I_ob: die Bildinformationen des Objektpunkts beschreibt, welcher abgebildet wird, allerdings ohne eine künstlich erzeugte Tiefenschärfe;
PSF: die oben erläuterte Punktbildfunktion ist, mit welcher die künstlich erzeugte Tiefenschärfe und/oder die Form des Bildpunkts bestimmt wird; und
I_im: die Abbildung des Objektpunkts mit der künstlich erzeugten berechneten Tiefenschärfe und/oder der gewünschten Form ist. Die Abbildung entspricht im Grunde genommen den Abbildungsdaten.

The image data is given by the following equation:

(x, y) = ∫∫dmdn (I _ob (m, n) PSF (x, y; m, n)) [6]

in which

I _ob: the image information of the object point describes which one is imaged, but without an artificially created depth of focus;
PSF: the dot image function explained above is with which the artificially created depth of focus and / or the shape of the pixel is determined; and
I _{in the}: is the mapping of the object point with the artificially generated calculated depth of focus and / or the desired shape. The figure basically corresponds to the image data.

Die berechneten Abbildungsdaten werden nun zusammen mit den weiteren, im Verfahrensschritt S1 gewonnenen Daten, die nicht mit einer künstlichen Tiefenschärfe versehen wurden, dargestellt, beispielsweise auf dem Monitor 5 (Verfahrensschritt 7A oder 7B).The calculated image data are now displayed together with the other data obtained in method step S1, which were not provided with an artificial depth of field, for example on the monitor 5 (Step 7A or 7B).

Bei der Erfindung kann jegliche Art und Form einer Punktbildfunktion verwendet werden. Die oben beschriebene Punktbildfunktion ist daher für die Erfindung nur beispielhaft zu verstehen.Any kind and form of a dot image function can be used in the invention. The dot image function described above is therefore to be understood as exemplary of the invention.

Bei einer weiteren Ausführungsform der Erfindung ist es auch möglich, in der oben genannten Gleichung 3 den Parameter f beliebig zu ändern. Auf diese Weise ist es beispielsweise möglich, ein weit entferntes Objekt O, das weitwinklig abgebildet wird, mit einem Makroeindruck zu versehen. Dies bedeutet, dass sehr scharf lokalisierte Tiefenbereiche im Raum dargestellt werden.In a further embodiment of the invention, it is also possible to change the parameter f as desired in equation 3 mentioned above. In this way it is possible, for example, to provide a far-away object O, which is imaged in a wide angle, with a macro impression. This means that very sharply localized depth ranges are displayed in the room.

Auch die Beeinflussung eines Bildes des Objekts O mittels eines Apodisationsfilters kann durch die Erfindung erzeugt werden, ohne dass ein Apodisationsfilter tatsächlich benutzt werden muss. Durch Multiplikation der Gleichung 1 mit einer positiv definiten Funktion und Durchführung des Verfahrens werden dieselben Effekte erzeugt, als wenn ein Apodisationsfilter tatsächlich verwendet wird. Beispielsweise lässt sich ein weicher Übergang von den fokussiert abgebildeten Objektbereichen zu den unscharf abgebildeten Objektbereichen erzielen.The influencing of an image of the object O by means of an apodization filter can also be generated by the invention without actually having to use an apodization filter. By multiplying Equation 1 with a positive definite function and performing the method, the same effects are produced as when an apodization filter is actually used. For example, it is possible to achieve a smooth transition from the focused object areas to the unfocused object areas.

Auch die Beeinflussung eines Bildes des Objekts O mittels einer Weichzeichnerwirkung kann durch die Erfindung erzeugt werden, ohne dass ein Weichzeichner tatsächlich benutzt werden muss. Zwar kann man durch sphärische Aberration in der optischen Abbildungseinheit 2 eine Weichzeichnung in einer fokussierten Ebene erhalten, jedoch erhält man in einer Raumrichtung, nämlich dem Vordergrund oder dem Hintergrund, ein Bokeh mit einem scharfen Rand von hoher Intensität, der oft als unästhetisch empfunden wird.Also, the influence of an image of the object O by means of a blur effect can be generated by the invention without actually having to use a blur. Although one can by spherical aberration in the optical imaging unit 2 However, in a spatial direction, namely the foreground or the background, a bokeh with a sharp edge of high intensity, which is often perceived as unaesthetic, is obtained.

Das beschriebene Verfahren eignet sich ohne weiteres sowohl für Farbbilder als auch für Schwarz-Weiß-Bilder.The method described is readily suitable both for color images and for black-and-white images.

Wie oben erläutert, beruht die Erfindung darauf, eine künstliche und gewollte Tiefenschärfe und somit ein gewolltes Bokeh zu erzielen. Die Durchführungszeit des erfindungsgemäßen Verfahrens in einem handelsüblichen Prozessor, beispielsweise dem oben beschriebenen Prozessor 4, liegt im Bereich von einigen Millisekunden. Das erfindungsgemäße Verfahren ist daher im Wesentlichen in Echtzeit ausführbar. Im Grunde liegt bereits sofort nach Abbildung des Objekts O mittels der Abbildungseinrichtung 1 ein Bild des Objekts O mit den gewünschten Effekten vor, ohne dass diese Effekte mittels einer aufwändigen Hardware, beispielsweise in Form von zusätzlichen Filtern und/oder speziell gefertigten Linsen erzeugt werden müssen. As explained above, the invention is based on achieving an artificial and deliberate depth of focus and thus a desired bokeh. The execution time of the method according to the invention in a commercially available processor, for example the processor described above 4 , is in the range of a few milliseconds. The method according to the invention can therefore be carried out essentially in real time. Basically, there is already immediately after mapping of the object O by means of the imaging device 1 an image of the object O with the desired effects, without these effects must be generated by means of a complex hardware, for example in the form of additional filters and / or specially manufactured lenses.

Wie bereits oben erwähnt, ist die Erfindung auf die Erzeugung eines HDR-Bildes nicht eingeschränkt. Nachfolgend wird daher eine weitere Ausführungsform des erfindungsgemäßen Verfahrens erläutert, bei dem ein HDR-Bild des Objekts O nicht aufgenommen wird. Diese weitere Ausführungsform des Verfahrens beruht auf dem in 5 dargestellten Verfahren und weist somit zunächst sämtliche Verfahrensschritte des in 5 dargestellten und weiter oben erläuterten Verfahrens auf. Zusätzlich weist die weitere Ausführungsform Verfahrensschritte auf, die in 6 dargestellt sind.As already mentioned above, the invention is not limited to the generation of an HDR image. In the following, therefore, a further embodiment of the method according to the invention is explained in which an HDR image of the object O is not recorded. This further embodiment of the method is based on the in 5 illustrated method and thus initially has all the steps of the in 5 illustrated and explained above method. In addition, the further embodiment has method steps that are described in 6 are shown.

Bei der weiteren Ausführungsform wird die Strahlungsintensität der Objektpunkte bei der Bestimmung der künstlich erzeugten Tiefenschärfe und/oder der Form der zugehörigen Bildpunkts mit herangezogen. So wird nach der Durchführung des Verfahrensschritts S4A in einem Verfahrensschritt S4AA bestimmt, welche Strahlungsintensität die Objektpunkte aufweisen und welche Strahlungsintensität der Bereich hat, an den die Objektpunkte angrenzen. Beispielsweise erstreckt sich der Bereich bis zu 15 mm um die Objektpunkte.In the further embodiment, the radiation intensity of the object points in the determination of the artificially generated depth of focus and / or the shape of the associated pixel is used. Thus, after the execution of the method step S4A, it is determined in a method step S4AA which radiation intensity the object points have and which radiation intensity has the region to which the object points adjoin. For example, the area extends up to 15 mm around the object points.

In einem weiteren Verfahrensschritt S4AB wird bestimmt, ob die Objektpunkte eine größere Strahlungsintensität als der angrenzende Bereich aufweisen. Bei einem Ausführungsbeispiel ist es vorgesehen, dass die Strahlungsintensität der Objektpunkte dann als größer betrachtet wird, wenn die Strahlungsintensität der Objektpunkte im wesentlichen doppelt, drei mal oder vier mal so groß ist wie die Strahlungsintensität des angrenzenden Bereichs. Die Erfindung ist aber auf diese Verhältnisse nicht eingeschränkt. Vielmehr ist jedes geeignete Verhältnis wählbar. Wenn die Strahlungsintensität der Objektpunkte nicht größer als die Strahlungsintensität des angrenzenden Bereichs ist, dann kann davon ausgegangen werden, dass das abzubildende Objekt bei Tag und/oder bei einer sehr guten Ausleuchtung abgebildet wird. Es folgt dann die Durchführung des Verfahrensschritts 5A. Sollte jedoch im Verfahrensschritt S4AB festgestellt werden, dass die Objektpunkte eine größere Strahlungsintensität als der angrenzende Bereich aufweisen, dann kann davon ausgegangen werden, dass das abzubildende Objekt bei Nacht und/oder bei einer schlechten Ausleuchtung abgebildet wird. In diesem Falle erfolgt dann die Durchführung eines Verfahrensschritts S4AC. Dieser umfasst die Wichtung der Punktbildfunktion gemäß Gleichung [1], beispielsweise wie folgt:

Bis auf W sind alle Parameter bereits oben erläutert worden. W ist ein Intensitäts-Wichtungsfaktor, für den gilt: 0 < W ≤ 1. Bei einer Ausführungsform ist es vorgesehen, dass für den Intensitäts-Wichtungsfaktor 0,1 ≤ W ≤ 1 gilt.In a further method step S4AB, it is determined whether the object points have a greater radiation intensity than the adjacent region. In one embodiment, it is provided that the radiation intensity of the object points is considered larger when the radiation intensity of the object points is substantially twice, three times or four times as large as the radiation intensity of the adjacent area. The invention is not limited to these ratios. Rather, any suitable ratio is selectable. If the radiation intensity of the object points is not greater than the radiation intensity of the adjacent area, then it can be assumed that the object to be imaged is imaged by day and / or with a very good illumination. It then follows the execution of the process step 5A. If, however, it should be determined in method step S4AB that the object points have a greater radiation intensity than the adjacent region, then it can be assumed that the object to be imaged is imaged at night and / or during poor illumination. In this case, the execution of a method step S4AC takes place. This includes the weighting of the dot image function according to equation [1], for example as follows:

Except for W, all parameters have already been explained above. W is an intensity weighting factor for which: 0 <W ≦ 1. In one embodiment, it is provided that 0.1 ≦ W ≦ 1 for the intensity weighting factor.

Die Auswahl des Intensitäts-Wichtungsfaktors kann beispielsweise zufällig erfolgen, beispielsweise mittels eines Zufallszahlengenerators. Alternativ hierzu ist es vorgesehen, den Intensitäts-Wichtungsfaktor zu wählen. Beispielsweise wird der Intensitäts-Wichtungsfaktor in Abhängigkeit der gemessenen Strahlungsintensität des Objektpunkts gewählt und/oder beispielsweise derart geeignet gewählt, dass bei der erzeugten Abbildung ein besonders ästhetischer Eindruck entsteht. Weitere Vorteile sind bereits weiter oben genannt. Insbesondere sind unterschiedliche lokale Lichtquellen, welche das abzubildende Objekt beispielsweise aufweist, aufgrund einer unterschiedlich wählbaren Intensität unterschiedlich im Bild darstellbar. Diese Ausführungsform ist besonders dann von Vorteil, wenn die Objektpunkte ein bestimmtes Motiv überdecken. Wenn beispielsweise ein Gesicht teilweise von Reflexionen überdeckt wird, ist es nun möglich, die Wichtung derart vorzunehmen, dass die Intensität der zu den überdeckenden Objektpunkten gehörigen Bildpunkte gering ist, so dass die Bildpunkte transmittierend wirken. Mit anderen Worten ausgedrückt ist die Intensität der Bildpunkte derart gering, dass das überdeckte Motiv des abzubildenden Objekts im Bild zu erkennen ist.The selection of the intensity weighting factor may, for example, be random, for example by means of a random number generator. Alternatively, it is provided to select the intensity weighting factor. For example, the intensity weighting factor is selected as a function of the measured radiation intensity of the object point and / or selected, for example, in such a way that a particularly aesthetic impression is created in the generated image. Further advantages are already mentioned above. In particular, different local light sources, which has the object to be imaged, for example, can be displayed differently in the image due to a different selectable intensity. This embodiment is particularly advantageous when the object points cover a particular motif. If, for example, a face is partially covered by reflections, it is now possible to perform the weighting such that the intensity of the pixels belonging to the covering object points is small, so that the pixels have a transmissive effect. In other words, the intensity of the pixels is so small that the covered motif of the object to be imaged can be recognized in the image.

Um die vorgenannten Objektpunkte, die eine höhere Strahlungsintensität als deren angrenzenden Bereiche aufweisen, mit einem guten Bokeh zu versehen, ist es alternativ auch vorgesehen, bei der Berechung der Daten für die entsprechenden Bildpunkte eine Punktbildfunktion PSF mit einem kleineren Radius des Zerstreuungskreises zu verwenden. Es hat sich gezeigt, dass hierdurch ein guter ästhetischer Eindruck erzielbar.In order to provide the aforementioned object points, which have a higher radiation intensity than their adjacent areas, with a good bokeh, it is alternatively also provided to use a point image function PSF with a smaller radius of the circle of confusion in the calculation of the data for the corresponding pixels. It has been shown that this gives a good aesthetic impression achievable.

Um ein möglichst natürliches Bokeh zu erhalten, ist es ferner vorteilhaft, die Abbildungsdaten der Bildpunkte aller Objektpunkte eines Objektbereichs, der eine höhere Strahlungsintensität aufweist, mit derselben Punktbildfunktion und mit denselben Parametern zu bestimmen. In order to obtain as natural a bokeh as possible, it is also advantageous to determine the image data of the pixels of all object points of an object region which has a higher radiation intensity with the same dot image function and with the same parameters.

Wie oben bereits erläutert, kann als Punktbildfunktion jegliche geeignete Punktbildfunktion verwendet werden. Nachfolgend werden Ausführungsbeispiele von Punktbildfunktionen erläutert.As explained above, any suitable dot image function can be used as a dot image function. Hereinafter, embodiments of dot image functions will be explained.

Wie oben bereits erwähnt, kann eine Punktbildfunktion mit Zylinderfunktion verwendet werden. Um einen Mosaikeffekt im Bild zu vermeiden, sieht eine Ausführungsform des erfindungsgemäßen Verfahrens vor, die Punktbildfunktion mit einer Gauss-Funktion höherer Ordnung zu kombinieren. Es hat sich gezeigt, dass hiermit weiche Übergänge im Bild erzielbar sind, die oft gewünscht sind.As mentioned above, a point function with cylinder function can be used. In order to avoid a mosaic effect in the image, an embodiment of the method according to the invention provides for combining the dot image function with a Gaussian higher-order function. It has been found that this soft transitions in the image can be achieved, which are often desired.

Es kann vorkommen, dass aufgrund von Abbildungsfehlern, beispielsweise aufgrund von sphärischer Aberration, das Intensitätsprofil des Bilds bei einer gegebenen Tiefenschärfe variiert, was manchmal als störend empfunden werden kann. Um diesem entgegenzuwirken, ist es bei einer Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen, eine bestimmte Punktbildfunktion zu verwenden. So ist es bei dieser Ausführungsform vorgesehen, die oben genannte Punktbildfunktion PSF, die durch die Gleichung [7] gegeben ist, für unterschiedliche Ebenen in der Tiefenkarte zu bestimmen. Beispielsweise wird eine Punktbildfunktion für die am weitesten zur optischen Abbildungseinheit 2 entfernte Ebene in der Tiefenkarte – nachfolgend PSF 1 genannt – , eine Punktbildfunktion für die sich am nächsten zur optischen Abbildungseinheit 2 befindliche Ebene in der Tiefenkarte – nachfolgend PSF2 genannt – und eine Punktbildfunktion für die Ebene in der Tiefenkarte berechnet, auf die fokussiert wird – nachfolgend PSF3 genannt. Die letztgenannte Ebene soll demnach scharf im Bild erkennbar sein.It may happen that due to aberrations, for example due to spherical aberration, the intensity profile of the image varies at a given depth of focus, which sometimes can be distracting. To counteract this, it is provided in one embodiment of the method according to the invention to use a specific point-image function. Thus, in this embodiment, it is intended to determine the above dot image function PSF given by the equation [7] for different levels in the depth map. For example, a dot image function becomes the furthest to the optical imaging unit 2 removed layer in the depth map - below PSF 1 called, a point image function for the closest to the optical imaging unit 2 level in the depth map - hereafter referred to as PSF2 - and calculates a point image function for the plane in the depth map to be focused on - hereinafter called PSF3. The latter level should therefore be clearly visible in the image.

Ferner ist es bei diesem Ausführungsbeispiel vorgesehen, Strahlungsintensitätsprofile des Objekts zu bestimmen und zu berücksichtigen. So wird beispielsweise das Strahlungsintensitätsprofil an der am weitesten entfernten Ebene und das Strahlungsintensitätsprofil an der am nächsten befindlichen Ebene bestimmt. Auf der fokussierten Ebene wird die Strahlungsintensität eines einzelnen Punkts bestimmt. Basierend auf den ermittelten Strahlungsintensitäten wird für die jeweilige Ebene ein zugehöriger Intensitäts-Wichtungsfaktor bestimmt, welcher die Strahlungsintensität in der entsprechenden Ebene im Wesentlichen wiedergibt. Mittels der nun bestimmten Intensitäts-Wichtungsfaktoren werden die Punktbildfunktionen PSF1, PSF2 und PSF3 gewichtet und bestimmt. Im Anschluss daran erfolgt in Abhängigkeit der Punktbildfunktionen PSF1, PSF2 und PSF3 die Bestimmung der nun in der Gleichung [6] verwendeten Punktbildfunktion PSF. Dabei gilt: P(x, y, d) = g1(d)·PSF1(x, y) + g2(d)·PSF2(x, y) + g3(d)·PSF3(x, y) [8] Furthermore, it is provided in this embodiment, radiation intensity profiles of the object to be determined and taken into account. For example, the radiation intensity profile at the farthest plane and the radiation intensity profile at the closest plane are determined. At the focused level, the radiation intensity of a single point is determined. Based on the determined radiation intensities, an associated intensity weighting factor is determined for the respective level, which essentially reproduces the radiation intensity in the corresponding plane. By means of the now determined intensity weighting factors, the point image functions PSF1, PSF2 and PSF3 are weighted and determined. Subsequently, in dependence on the point image functions PSF1, PSF2 and PSF3, the determination of the point image function PSF now used in the equation [6] takes place. Where: P (x, y, d) = g1 (d) * PSF1 (x, y) + g2 (d) * PSF2 (x, y) + g3 (d) * PSF3 (x, y) [8]

Hinsichtlich der Bedeutung der Parameter wird auf weiter oben verwiesen. Die Parameter g1, g2, und g3 sind Gewichtungsfaktoren, die beispielsweise zufällig ausgewählt werden oder beispielsweise mittels geeigneter Verfahren derart berechnet werden, dass ein gewünschtes Bokeh und eine gewünschte Form erzielt werden. Eines dieser geeigneten Verfahren ist die Berechnung mittels der Karhunen-Loeve-Verteilung.With regard to the meaning of the parameters, reference is made to above. The parameters g1, g2, and g3 are weighting factors, which are selected at random, for example, or calculated by suitable methods such that a desired bokeh and a desired shape are achieved, for example. One of these suitable methods is the calculation by means of the Karhunen-Loeve distribution.

Bei einer weiteren Ausführungsform wird einem störenden Intensitätsprofil im Bild entgegengewirkt. So kann es vorkommen, dass aufgrund von Abbildungsfehlern, beispielsweise Aberrationen, das Intensitätsprofil des Bilds in ein und derselben Ebene der Tiefenkarte an Bildrändern und in der Bildmitte unterschiedlich ist. Das Intensitätsprofil variiert demnach. Dies kann als störend empfunden werden. Um diesem entgegenzuwirken, ist es bei einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen, wiederum eine bestimmte Punktbildfunktion PSF in der Gleichung [6] zu verwenden, wobei diese bestimmte Punktbildfunktion PSF beispielsweise wie folgt bestimmt wird. So werden bei dieser Ausführungsform Punktbildfunktionen PSF, die jeweils durch die Gleichung [1] gegeben sind, an verschiedenen Objektpunkten in ein und derselben Ebene in der Tiefenkarte bestimmt. Mit anderen Worten ausgedrückt, wird eine bestimmte Ebene in der Tiefenkarte identifiziert und für verschiedene Objektpunkte in dieser Ebene die zugehörigen Punktbildfunktionen bestimmt.In a further embodiment, a disturbing intensity profile in the image is counteracted. It may happen that due to aberrations, for example, the intensity profile of the image in one and the same level of the depth map at image edges and in the center of the image is different. The intensity profile varies accordingly. This can be distracting. In order to counteract this, it is provided in another embodiment of the method according to the invention, in turn, to use a specific point image function PSF in the equation [6], this specific point image function PSF being determined, for example, as follows. Thus, in this embodiment, dot image functions PSF each given by the equation [1] are determined at different object points in one and the same plane in the depth map. In other words, a particular level in the depth map is identified and for various object points in that level, the associated point image functions are determined.

Beispielsweise werden in dieser Ebene nun 5 Objektpunkte OP1 bis OP5 ausgewählt, wobei die den Objektpunkten OP1 bis OP4 zugehörigen Bildpunkte BP1 bis BP4 jeweils in einer Ecke des Bildes angeordnet sind und wobei der dem Objektpunkt OP5 zugehörige Bildpunkt BP5 im Wesentlichen in der Bildmitte angeordnet ist (vgl. 3A und 3B). Man erhält somit für den Objektpunkt OP1 die Punktbildfunktion PSF1, für den Objektpunkt OP2 die Punktbildfunktion PSF2, für den Objektpunkt OP3 die Punktbildfunktion PSF3, für den Objektpunkt OP4 die Punktbildfunktion PSF4 sowie für den Objektpunkt OP5 die Punktbildfunktion PSF5. Die in der Gleichung [6] zu verwendende Punktbildfunktion wird dann wie folgt bestimmt: P(x, y, d) = g1(x, y, d)·PSF1(x, y) + g2(x, y, d)·PSF2(x, y) + g3(x, y, d)·PSF3(x, y) + g4(x, y, d)·PSF4(x, y) + g5(x, y, d)·PSF5(x, y) [9] For example, 5 object points OP1 to OP5 are now selected in this plane, the pixels BP1 to BP4 associated with the object points OP1 to OP4 being respectively arranged in a corner of the image, and the image point BP5 belonging to the object point OP5 being arranged substantially in the center of the image ( see. 3A and 3B ). Thus, the point image function PSF1 is obtained for the object point OP1, the point image function PSF2 for the object point OP2, the point image function PSF3 for the object point OP3, the point image function PSF4 for the object point OP4 and the point image function PSF5 for the object point OP5. The dot image function to be used in the equation [6] is then determined as follows: P (x, y, d) = g1 (x, y, d) * PSF1 (x, y) + g2 (x, y, d) * PSF2 (x, y) + g3 (x, y, d) PSF3 (x, y) + g4 (x, y, d) PSF4 (x, y) + g5 (x, y, d) PSF5 (x, y) [9]

Hinsichtlich der Bedeutung der Parameter wird auf weiter oben verwiesen. Die Parameter g1, g2, g3, g4 und g5 sind Gewichtungsfaktoren, die nun derart geeignet gewählt werden, dass das Intensitätsprofil des Bilds in der Ebene ausgeglichen wird. Beispielsweise ist es vorgesehen, die Parameter g1, g2, g3, g4 und g5 zufällig auszuwählen oder derart mittels eines geeigneten Verfahrens zu bestimmen, dass ein gewünschtes Bokeh und eine gewünschte Form erzielt werden. Eine dieser geeigneten Verfahren ist die Berechnung mittels der Karhunen-Loeve-Verteilung. Eine weitere Möglichkeit, die Gewichtungsfaktoren zu bestimmen ist durch die folgende Gleichung gegeben:

wobei

g_i: die Gewichtungsfaktoren g1 bis g5 sind,
INT: die Strahlungsintensität des Objekts bei den Koordinaten m, n ist, und
PSF: die Punktbildfunktion gemäß Gleichung [1] an den entsprechenden Objektpunkten ist.

With regard to the meaning of the parameters, reference is made to above. The parameters g1, g2, g3, g4 and g5 are weighting factors which are now chosen to be suitable for compensating the intensity profile of the image in the plane. For example, it is provided to randomly select the parameters g1, g2, g3, g4 and g5, or to determine by means of a suitable method that a desired bokeh and a desired shape are achieved. One of these suitable methods is the calculation by means of the Karhunen-Loeve distribution. Another way to determine the weighting factors is given by the following equation:

in which

g _i: the weighting factors are g1 to g5,
INT: is the radiation intensity of the object at the coordinates m, n, and
PSF: is the dot image function according to equation [1] at the corresponding object points.

Die in der vorliegenden Beschreibung, in den Zeichnungen sowie in den Ansprüchen offenbarten Merkmale der Erfindung können sowohl einzeln als auch in beliebigen Kombinationen für die Verwirklichung der Erfindung in ihren verschiedenen Ausführungsformen wesentlich sein.The features of the invention disclosed in the present description, in the drawings and in the claims may be essential both individually and in any desired combinations for the realization of the invention in its various embodiments.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Abbildungseinrichtung (Kamera)Imaging device (camera)
1A1A: Gehäusecasing
22: optische Abbildungseinheit (Objektiv)optical imaging unit (lens)
2A2A: erste Linseneinheitfirst lens unit
2B2 B: zweite Linseneinheitsecond lens unit
33: digitale Bilderfassungseinheitdigital image capture unit
44: Prozessorprocessor
55: Monitormonitor
66: Abstandsmesseinrichtung in Form einer plenoptischen Abbildungseinheit, einer stereoskopischen Abbildungseinheit oder einer TOF-AbbildungseinheitDistance measuring device in the form of a plenoptic imaging unit, a stereoscopic imaging unit or a TOF imaging unit
77: separate HDR-Abbildungseinheitseparate HDR imaging unit
88th: Speichereinheitstorage unit
99: Leitungmanagement
1010: Bild-KoordinatenursprungPicture origin
1111: Objekt-KoordinatenursprungObject origin
1414: erste Objektebenefirst object level
1515: zweite Objektebenesecond object level
AA: Pfeilrichtungarrow
OO: Objektobject
RR: Radiusradius
BEBE: Bildebeneimage plane
BPBP: Bildpunktpixel
EFEF: Eintrittsfläche der optischen AbbildungseinheitEntrance surface of the optical imaging unit
OPoperating room: Objektpunktobject point
OP1 bis OP5OP1 to OP5: Objektpunkteobject points
B1B1: erster Bildbereichfirst image area
B2B2: zweiter Bildbereichsecond image area
B3B3: dritter Bildbereichthird picture area
D1D1: erster Abstandfirst distance
D2D2: zweiter Abstandsecond distance
D3D3: dritter Abstandthird distance
O1O1: erster Objektbereichfirst object area
O2O2: zweiter Objektbereichsecond object area
O3O3: dritter Objektbereichthird object area
OAOA: optische Achseoptical axis
S1S1: Verfahrensschrittstep
S2S2: Verfahrensschrittstep
S3AS3A: Verfahrensschrittstep
S3BS3B: Verfahrensschrittstep
S4AS4A: Verfahrensschrittstep
S4AAS4AA: Verfahrensschrittstep
S4ABS4AB: Verfahrensschrittstep
S4ACS4AC: Verfahrensschrittstep
S4BS4B: Verfahrensschrittstep
S5AS5A: Verfahrensschrittstep
S5BS5B: Verfahrensschrittstep
S6AS6A: Verfahrensschrittstep
S6BS6B: Verfahrensschrittstep
S7AS7A: Verfahrensschrittstep
S7BS7B: Verfahrensschrittstep

Claims

Method for generating an image (BP, B1, B2, B3) of an object (O, OP, O1, O2, O3), the object (O, OP, O1, O2, O3) being determined by means of at least one optical imaging unit ( 2 ) to at least one image capture unit ( 3 ), wherein - the object (O) has at least one first object point (OP) and at least one second object point (OP); The first object point (OP) by means of the optical imaging unit ( 2 ) to a first pixel (BP) of the image acquisition unit ( 3 ) is mapped; The second object point (OP) by means of the optical imaging unit ( 2 ) to a second pixel (BP) of the image capture unit ( 3 ) is mapped; characterized by the following method steps: determining a first distance (D1) of the first object point (OP) to the optical imaging unit ( 2 ); Determining a second distance (D2) of the second object point (OP) to the optical imaging unit ( 2 ); Storing the first distance (D1) and data about the first object point (OP) and the first pixel (BP) in at least one memory unit ( 8th ); Storing the second distance (D2) and data on the second object point (OP) and the second pixel (BP) in the memory unit ( 8th ); - selecting the first object point (OP); - Calculating a first depth of field by means of a first point image function, wherein the first object point (OP) and the first distance (D1) are used as first parameters in the first point image function; - calculating first image data of the first pixel (BP) by means of the first depth of focus; and - using the first image data in representing the image of the object (O).

Method according to Claim 1, characterized in that the optical imaging unit ( 2 ) is formed as an objective, that the first distance (D1) by determining the distance between the first object point (OP) and a lens unit ( 2A ) of the lens ( 2 ) is determined and that the second distance (D2) by determining the distance between the second object point (OP) and the lens unit ( 2A ) of the lens ( 2 ) is determined.

Method according to Claim 1 or 2, characterized in that the first distance (D1) and the second distance (D2) are determined using a plenoptic imaging unit ( 6 ), a stereoscopic imaging unit ( 6 ) and / or a time-of-flight mapping unit ( 6 ).

Method according to one of the preceding claims, characterized by the following method steps: - Calculating a second depth of field by means of a second point image function, wherein the second object point (OP) and the second distance (D2) are used as second parameters in the second point image function; - calculating second image data of the second pixel (BP) by means of the second depth of focus; such as - Using the second image data in the representation of the image of the object (O).

A method according to claim 4, characterized by one of the following method steps: - as the first dot image function and as a second dot image function, an identical dot image function is used; or - as the first point image function and as a second point image function different point image functions are used.

Method according to one of the preceding claims, characterized by the following method step: - imaging of the object (O) by means of the optical imaging unit ( 2 ) such that the at the image acquisition unit ( 3 ) image of the object (O) is a high dynamic range image.

Method according to one of the preceding claims, characterized by the following method step: imaging the object (O) by means of an optical HDR imaging unit ( 2 ) such that at the image acquisition unit ( 3 ) an HDR image with high dynamic range is generated.

Method according to one of claims 1 to 5, characterized by the following method steps: Determining whether the first object point (OP) has a greater radiation intensity than an area (O3) adjoining the first object point (OP), If the radiation intensity of the first object point (OP) is greater than the radiation intensity of the region (O3) adjacent to the first object point (OP), weighting the first point image function with a weighting factor for which: 0 <W ≦ 1, where W is the Weighting factor is.

Method according to claim 8, characterized by at least one of the following method steps: - for the weighting factor: 0,1 ≤ W ≤ 1. - the weighting factor is selected at random.

Computer program product with executable program code which, when executed in a processor ( 4 ) an imaging device ( 1 ) such that the imaging device ( 1 ) carries out the steps of the method according to any one of the preceding claims.

Imaging device ( 1 ), with - at least one optical imaging unit ( 2 ), - at least one image acquisition unit ( 3 ), and with at least one processor ( 4 ), characterized in that in the processor ( 4 ) at least one computer program code according to claim 10 is loaded.

Imaging device ( 1 ) according to claim 11, characterized in that the optical imaging unit ( 2 ) is formed as a lens.

Imaging device ( 1 ) according to claim 11 or 12, characterized in that the imaging device ( 1 ) has at least one of the following features: - at least one HDR imaging unit ( 2 ); At least one plenoptic imaging unit ( 6 ); At least one stereoscopic imaging unit ( 6 ); or at least one time-of-flight mapping unit ( 6 ).