DE102013227197A1 - Method for generating an image of an object - Google Patents
Method for generating an image of an object Download PDFInfo
- Publication number
- DE102013227197A1 DE102013227197A1 DE102013227197.2A DE102013227197A DE102013227197A1 DE 102013227197 A1 DE102013227197 A1 DE 102013227197A1 DE 102013227197 A DE102013227197 A DE 102013227197A DE 102013227197 A1 DE102013227197 A1 DE 102013227197A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- point
- imaging unit
- unit
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
Die Erfindung betrifft insbesondere ein Verfahren zur Erzeugung eines Bildes eines Objekts, wobei das Objekt mittels mindestens einer optischen Abbildungseinheit auf mindestens eine Bilderfassungseinheit abgebildet wird. Die Erfindung geht von der Erkenntnis aus, dass eine gewünschte Unschärfe oder Schärfe eines Bildbereichs mittels einer Punktbildfunktion berechnet werden kann. Hierzu wird für jedes abzubildende Objekt eine sogenannte Tiefenkarte erstellt. In der Tiefenkarte ist für jeden Objektpunkt der Abstand des Objektpunkts zu der optischen Abbildungseinheit gespeichert, beispielsweise zusammen mit den Koordinaten des Objektpunkts und des dazugehörigen Bildpunkts. Mit der Erfindung ist es nun möglich, für jeden Bildpunkt, der mit einer Tiefenschärfe versehen werden soll, eine Tiefenschärfe zu berechnen, und zwar auch den Grad der Tiefenschärfe.In particular, the invention relates to a method for generating an image of an object, wherein the object is imaged on at least one image capture unit by means of at least one optical imaging unit. The invention is based on the recognition that a desired blur or sharpness of an image area can be calculated by means of a point image function. For this purpose, a so-called depth map is created for each object to be imaged. In the depth map, the distance of the object point to the optical imaging unit is stored for each object point, for example together with the coordinates of the object point and the associated pixel. With the invention, it is now possible to calculate a depth of focus for each pixel that is to be provided with a depth of focus, and also the degree of depth of field.
Description
Die Erfindung betrifft ein Verfahren zur Erzeugung eines Bildes eines Objekts, wobei das Objekt mittels mindestens einer optischen Abbildungseinheit auf mindestens eine Bilderfassungseinheit abgebildet wird. Beispielsweise ist die Bilderfassungseinheit als digitale Bilderfassungseinheit ausgebildet, insbesondere in Form eines CMOS. Andere Bilderfassungseinheiten sind aber durchaus bei der Erfindung verwendbar.The invention relates to a method for generating an image of an object, wherein the object is imaged on at least one image capture unit by means of at least one optical imaging unit. For example, the image capture unit is designed as a digital image capture unit, in particular in the form of a CMOS. However, other imaging units are well usable in the invention.
In der Photographie und in der Cinematographie sind Stilmittel bekannt, um die Aufmerksamkeit eines Betrachters eines Bildes oder eines Filmes auf bestimmte Inhalte eines Bildes zu lenken oder diese Inhalte des Bildes für einen Betrachter besonders zu gestalten, um einen anspruchsvollen ästhetischen Eindruck zu erzielen. Um dieses zu erreichen, ist es aus dem Stand der Technik bekannt, ein Bild eines Objekts unter Verwendung eines ganz bestimmten Objektivs oder bestimmter Objektive zu erzeugen. Beispielsweise sind Objektive mit hoher Öffnung in der Photographie und der Cinematographie nicht nur wegen ihrer hohen Lichtstärke von Vorteil, sondern sie können auch Bilder mit geringer Tiefenschärfe erzeugen. Mit diesen Objektiven ist es möglich, eine bestimmte Ebene eines abzubildenden Objekts durch Fokussierung ohne Unschärfe darzustellen – nachfolgend auch fokussierte Objektebene genannt –, wobei der Raum außerhalb der fokussierten Objektebene durch Unschärfe im Bild praktisch verschwimmt. Hierdurch wird die Aufmerksamkeit eines Betrachters auf den Bildbereich der fokussierten Objektebene gelenkt. Mit anderen Worten ist es möglich, mittels der vorgenannten Objektive einen Teilbereich eines Objekts durch Fokussieren auf eine ganz bestimmte Objektebene scharf abzubilden, und zwar bei gleichzeitiger unscharfer Abbildung der Teilbereiche des Objekts vor und hinter der fokussierten Objektebene. Diese Teilbereiche werden unscharf abgebildet.In photography and cinematography, stylistic means are known for directing the attention of a viewer of an image or film to particular contents of an image, or to make those contents of the image particularly clear to a viewer in order to obtain a sophisticated aesthetic impression. To accomplish this, it is known in the art to generate an image of an object using a particular lens or lenses. For example, high-aperture lenses in photography and cinematography are not only advantageous because of their high luminous intensity, but they can also produce images with shallow depth of field. With these lenses, it is possible to represent a certain plane of an object to be imaged by focusing without blurring - hereinafter also referred to as focused object plane - where the space outside the focused object plane is practically blurred due to blurring in the image. As a result, the attention of a viewer is directed to the image area of the focused object plane. In other words, it is possible, by means of the aforementioned objectives, to sharply image a subarea of an object by focusing on a very specific object plane, with simultaneous blurred imaging of the subareas of the object in front of and behind the focused object plane. These sections are shown out of focus.
Es ist bekannt, dass je kleiner das Bildfeld und die Öffnung der Objektive sind, umso größer ist die Tiefenschärfe der Objektive. Daher ist es bei Objektiven, die in Handykameras oder Kompaktkameras eingesetzt werden, kaum möglich, Bilder mit Bereichen zu erzielen, die eine geringe Tiefenschärfe aufweisen. Objektive für Handykameras weisen eine Bilddiagonale beispielsweise von ca. 6 mm auf. Objektive für Kompaktkameras weisen eine Bilddiagonale von beispielsweise 11 mm auf.It is known that the smaller the field of view and the aperture of the lenses are, the greater the depth of field of the lenses. Therefore, with lenses used in mobile phone cameras or compact cameras, it is hardly possible to obtain images with areas having a shallow depth of field. Lenses for mobile phone cameras have a screen size of about 6 mm, for example. Lenses for compact cameras have an image size of, for example, 11 mm.
Wie oben allerdings bereits erwähnt, werden die Stilmittel verwendet, um einen guten ästhetischen Eindruck zu erzielen. Beispielsweise ist es oft gewünscht, dass bestimmte Bereiche eines Objekts im Bild eine bestimmte Form annehmen. So ist es beispielsweise oft gewünscht, dass starke, lokale Lichtquellen, die Teil eines abzubildenden Objekts sind und die deutlich außerhalb einer fokussierten Objektebene liegen, im Bild als homogene Kreisscheiben dargestellt werden. Die Form und Abbildungsqualität dieser bestimmten Bereiche des Objekts im Bild wird in der Fachwelt auch als Bokeh bezeichnet. Bokeh beschreibt eine (wenn auch subjektive) ästhetische Qualität von unscharfen Bereichen in einem Bild eines Objekts. Dabei wird mit Bokeh nicht die Stärke einer Unschärfe bezeichnet, sondern die Form und Ausgestaltung der abgebildeten Bereiche des Objekts im Bild.However, as already mentioned above, the styling means are used to give a good aesthetic impression. For example, it is often desired that certain areas of an object in the image take on a particular shape. For example, it is often desired that strong, local light sources that are part of an object to be imaged and that lie clearly outside a focused object plane are represented in the image as homogeneous circular disks. The shape and image quality of these particular areas of the object in the image is also referred to in the art as bokeh. Bokeh describes a (albeit subjective) aesthetic quality of blurred areas in an image of an object. Bokeh does not refer to the power of blurring, but to the shape and design of the imaged areas of the object in the image.
Die Erzeugung einer gewissen Tiefenschärfe und eines Bokehs mit einem Objektiv weist jedoch Nachteile auf. Die Erzielung eines bestimmten und für einen Betrachter eines Bildes guten Bokehs mit einem Objektiv aus dem Stand der Technik ist mit einem hohen Aufwand verbunden. Um eine ganz bestimmte Form und Ausgestaltung eines Bokehs zu erzielen, müssen beispielsweise bestimmte Blenden mit bestimmten Blendenöffnungen im Objektiv eingebracht werden. Darüber hinaus muss für eine homogene Intensitätsverteilung eines Bokehs auch eine ausreichend gut korrigierte Wellenfront des Objektivs gegeben sein. Demnach sollten die Linsen des Objektivs möglichst fehlerfrei hergestellt werden. Dies ist recht aufwändig und führt zu hohen Herstellungskosten bei der Herstellung des Objektivs. Der Stand der Technik weist den weiteren Nachteil auf, dass mit jedem Objektiv nur ein gewisser Grad an Tiefenschärfe erzielt werden kann. Welcher Grad der Tiefenschärfe erzielbar ist, lässt sich für ein bestimmtes Objektiv berechnen. Hersteller von Objektiven stellen Anwendern Tabellen zur Verfügung, mit denen der Grad der Tiefenschärfe bei vorgegebenen Einstellungen des Objektivs (beispielsweise Linsenpositionen entlang einer optischen Achse zur Erzielung eine ganz bestimmten Fokussierung und/oder einer ganz bestimmten Brennweite) ermittelt werden kann. Es liegt auf der Hand, dass das Heranziehen von Tabellen und ein möglicher notwendiger Wechsel von Objektiven zur Erzielung einer ganz bestimmten Tiefenschärfe und/oder eines ganz bestimmten Bokehs recht umständlich sind.The production of a certain depth of field and a bokeh with a lens, however, has disadvantages. Achieving a specific and for a viewer of a picture good Bokehs with a lens of the prior art is associated with a lot of effort. In order to achieve a very specific shape and design of a bokeh, for example, certain apertures with certain apertures must be introduced in the lens. In addition, for a homogeneous intensity distribution of a bokeh, there must also be a sufficiently well corrected wavefront of the objective. Accordingly, the lenses of the lens should be made as error free as possible. This is quite complex and leads to high production costs in the production of the lens. The prior art has the further disadvantage that only a certain degree of depth of field can be achieved with each lens. The degree of depth of focus achievable can be calculated for a specific lens. Lens manufacturers provide users with tables that can be used to determine the degree of depth of field at given lens settings (such as lens positions along an optical axis to achieve a specific focus and / or focal length). It is obvious that the use of tables and a possible necessary change of lenses to achieve a certain depth of focus and / or a particular bokeh are quite cumbersome.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren anzugeben, mit dem Bereiche eines Objekts in einem Bild stets mit einem gewünschten Grad an Tiefenschärfe versehen werden können, mit dem die Erzielung eines guten Bokehs möglich ist und mit dem auch unter Verwendung eines Objektivs mit einer kleinen Bilddiagonalen, beispielsweise von ca. 6 mm bis ca. 11 mm, Bereiche eines Objekts in einem Bild mit einem gewünschten Grad an Tiefenschärfe versehen werden können.The invention has for its object to provide a method by which areas of an object in an image can always be provided with a desired degree of depth of field, with which the achievement of a good bokeh is possible and with the use of a lens with a small Image diagonal, for example, from about 6 mm to about 11 mm, areas of an object in an image can be provided with a desired degree of depth of field.
Erfindungsgemäß wird diese Aufgabe mit einem Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Ein Computerprogrammprodukt, das einen Programmcode aufweist, mit dem eine Abbildungseinrichtung derart angesteuert wird, dass die Abbildungseinrichtung ein entsprechendes Verfahren durchführt, ist durch die Merkmale des Anspruchs 10 gegeben. Eine Abbildungseinrichtung mit einem Prozessor, in dem ein entsprechendes Computerprogrammprodukt geladen ist, ist durch die Merkmale des Anspruchs 11 gegeben. Weitere Merkmale der Erfindung ergeben sich aus der nachfolgenden Beschreibung, den beigefügten Ansprüchen und/oder den beigefügten Zeichnungen. According to the invention this object is achieved by a method having the features of
Das erfindungsgemäße Verfahren ist zur Erzeugung eines Bildes eines Objekts vorgesehen. Das Objekt wird mittels mindestens einer optischen Abbildungseinheit auf mindestens eine Bilderfassungseinheit abgebildet. Beispielsweise ist die optische Abbildungseinheit ein Objektiv. Als Bilderfassungseinheit wird beispielsweise eine digitale Bilderfassungseinheit verwendet. Als Bilderfassungseinheit eignet sich beispielsweise ein CMOS. Die Erfindung ist aber auf eine derartige Bilderfassungseinheit nicht eingeschränkt. Vielmehr kann bei der Erfindung jede geeignete Bilderfassungseinheit verwendet werden.The method according to the invention is provided for generating an image of an object. The object is imaged by means of at least one optical imaging unit on at least one image capture unit. For example, the optical imaging unit is a lens. As the image capture unit, for example, a digital image capture unit is used. As an image capture unit, for example, a CMOS is suitable. However, the invention is not restricted to such an image acquisition unit. Rather, any suitable imaging unit can be used in the invention.
Das Objekt weist mindestens einen ersten Objektpunkt oder mindestens einen ersten Objektbereich und mindestens einen zweiten Objektpunkt oder mindestens einen zweiten Objektbereich auf. Der erste Objektpunkt wird mittels der optischen Abbildungseinheit auf einen ersten Bildpunkt der Bilderfassungseinheit abgebildet. Im Falle des ersten Objektbereichs wird der erste Objektbereich auf einen ersten Bildbereich der Bilderfassungseinheit abgebildet. Genauer gesagt, wird jeweils ein Objektpunkt einer vorgebbaren Menge an Objektpunkten des ersten Objektbereichs auf jeweils einen Bildpunkt eines ersten Bildbereichs der Bilderfassungseinheit abgebildet. Ferner ist es vorgesehen, dass der zweite Objektpunkt mittels der optischen Abbildungseinheit auf einen zweiten Bildpunkt der Bilderfassungseinheit abgebildet wird. Im Falle des zweiten Objektbereichs wird der zweite Objektbereich auf einen zweiten Bildbereich der Bilderfassungseinheit abgebildet. Genauer gesagt, wird jeweils ein Objektpunkt einer vorgebbaren Menge an Objektpunkten des zweiten Objektbereichs auf jeweils einen Bildpunkt eines zweiten Bildbereichs der Bilderfassungseinheit abgebildet.The object has at least one first object point or at least one first object region and at least one second object point or at least one second object region. The first object point is imaged by the optical imaging unit onto a first pixel of the image acquisition unit. In the case of the first object region, the first object region is imaged onto a first image region of the image capture unit. More precisely, in each case one object point of a predeterminable set of object points of the first object region is imaged on in each case one pixel of a first image region of the image capture unit. Furthermore, it is provided that the second object point is imaged by means of the optical imaging unit onto a second pixel of the image acquisition unit. In the case of the second object region, the second object region is imaged onto a second image region of the image capture unit. More precisely, in each case one object point of a predeterminable set of object points of the second object region is imaged on in each case one pixel of a second image region of the image capture unit.
Bei dem erfindungsgemäßen Verfahren ist es nun vorgesehen, einen ersten Abstand des ersten Objektpunkts zu der optischen Abbildungseinheit zu bestimmen. Ferner wird ein zweiter Abstand des zweiten Objektpunkts zu der optischen Abbildungseinheit bestimmt. Der erste Abstand wird zusammen mit weiter unten noch näher erläuterten Daten zur Identifizierung und Kennzeichnung von Eigenschaften des ersten Objektpunkts und des ersten Bildpunkts in mindestens einer Speichereinheit gespeichert. Diese Daten enthalten beispielsweise Koordinaten der Position des ersten Objektpunkts relativ zu einem vorgebbaren Objekt-Koordinatenursprung. Ferner enthalten diese Informationen beispielsweise Koordinaten der Position des ersten Bildpunkts relativ zu einem vorgebbaren Bild-Koordinatenursprung. Der vorgebbare Bild-Koordinatenursprung liegt in der Bildebene der Bilderfassungseinheit. Ferner wird der zweite Abstand zusammen mit Daten zur Identifizierung und Kennzeichnung von Eigenschaften des zweiten Objektpunkts und des zweiten Bildpunkts in der Speichereinheit gespeichert. Diese Daten enthalten beispielsweise Koordinaten der Position des zweiten Objektpunkts relativ zu dem vorgebbaren Objekt-Koordinatenursprung. Ferner enthalten diese Daten Koordinaten der Position des zweiten Bildpunkts relativ zu dem vorgebbaren Bild-Koordinatenursprung.In the method according to the invention, it is now provided to determine a first distance of the first object point to the optical imaging unit. Furthermore, a second distance of the second object point to the optical imaging unit is determined. The first distance is stored in at least one memory unit together with data for identifying and characterizing properties of the first object point and the first pixel, which will be explained in more detail below. For example, these data include coordinates of the position of the first object point relative to a predeterminable object coordinate origin. Furthermore, this information contains, for example, coordinates of the position of the first pixel relative to a predefinable image coordinate origin. The predefinable image coordinate origin lies in the image plane of the image acquisition unit. Further, the second distance is stored in the memory unit together with data for identifying and labeling characteristics of the second object point and the second pixel. These data include, for example, coordinates of the position of the second object point relative to the predeterminable object coordinate origin. Furthermore, these data include coordinates of the position of the second pixel relative to the predeterminable image coordinate origin.
Im Falle der Abbildung des ersten Objektbereichs, der sich aus einer bestimmten Anzahl erster Objektpunkte zusammensetzt, wird der Abstand jedes einzelnen ersten Objektpunkts zu der optischen Abbildungseinheit bestimmt. Ferner wird im Falle der Abbildung des zweiten Objektbereichs der Abstand eines jeden zweiten Objektpunkts, welche den zweiten Objektbereich bilden, zu der optischen Abbildungseinheit bestimmt. Die Abstände werden in der Speichereinheit zusammen mit nachfolgend noch erläuterten Daten zur Identifizierung und Kennzeichnung des dazugehörigen Objektpunkts des Objektbereichs, des dazugehörigen Bildbereichs und des dazugehörigen Bildpunkts abgespeichert. Diese Daten enthalten beispielsweise Koordinaten der Position des entsprechenden Objektpunkts des entsprechenden Objektbereichs relativ zu dem vorgebbaren Objekt-Koordinatenursprung. Ferner enthalten diese Daten Koordinaten der Position jedes Bildpunkts des entsprechenden Bildbereichs relativ zu dem vorgebbaren Bild-Koordinatenursprung.In the case of mapping the first object area, which is composed of a certain number of first object points, the distance of each individual first object point to the optical imaging unit is determined. Further, in the case of imaging the second object area, the distance of each second object point constituting the second object area to the optical imaging unit is determined. The distances are stored in the memory unit together with data explained below for identifying and identifying the associated object point of the object area, the associated image area and the associated pixel. For example, these data include coordinates of the position of the corresponding object point of the corresponding object region relative to the predeterminable object coordinate origin. Further, these data include coordinates of the position of each pixel of the corresponding image area relative to the predeterminable image coordinate origin.
Bei dem erfindungsgemäßen Verfahren ist es nun vorgesehen, dass der erste Objektpunkt oder der erste Objektbereich ausgewählt wird. Im Anschluss daran erfolgt ein Berechnen einer ersten Tiefenschärfe für den ersten Bildpunkt bzw. für jeden Bildpunkt des ersten Bildbereichs mittels einer ersten Punktbildfunktion. Dabei ist die erste Tiefenschärfe nicht die Tiefenschärfe, welche die optische Abbildungseinheit aufgrund ihrer optischen Eigenschaften und Baueinheiten von sich aus sowieso aufweist. Vielmehr handelt es sich bei der ersten Tiefenschärfe um eine nach der Abbildung der Objektpunkte oder der Objektbereiche künstlich erzeugte und von einem Nutzer für jeden Bildpunkt gewünschte Tiefenschärfe, deren Grad der Nutzer selbst bestimmen kann. Die Erfindung unterscheidet daher deutlich zwischen den beiden vorgenannten Arten der Tiefenschärfe, nämlich zum einen der durch die optischen Eigenschaften und Baueinheiten der optischen Abbildungseinheit immanent vorgegebenen Tiefenschärfe sowie der nachträglichen und künstlich erzeugten Tiefenschärfe, deren Grad vom Nutzer individuell für jeden abzubildenden Objektpunkt gewählt werden kann.In the method according to the invention, it is now provided that the first object point or the first object region is selected. This is followed by calculating a first depth of focus for the first pixel or for each pixel of the first image region by means of a first point image function. The first depth of field is not the depth of field, which the optical imaging unit anyway has on its own due to its optical properties and structural units. Rather, the first depth of focus is a depth of field artificially produced according to the image of the object points or the object regions and desired by a user for each pixel, the degree of which the user himself can determine. The invention therefore distinguishes clearly between the two aforementioned types of depth of field, Namely, on the one hand, the inherent given by the optical properties and units of the optical imaging unit depth of field and the subsequent and artificially generated depth of focus, the degree of which can be selected individually by the user for each object point to be imaged.
Bei der Erfindung ist es nun vorgesehen, dass zur Berechnung der ersten Tiefenschärfe die Daten über den ersten Objektpunkt oder die Daten über die Objektpunkte des ersten Objektbereichs sowie der erste Abstand des ersten Objektpunkts zur optischen Abbildungseinheit oder die Abstände der einzelnen Objektpunkte des ersten Objektbereichs zur optischen Abbildungseinheit als erste Parameter in die erste Punktbildfunktion eingesetzt werden. Mit anderen Worten ausgedrückt, wird die erste Tiefenschärfe für den ersten Bildpunkt oder für die Bildpunkte des ersten Bildbereichs mittels der ersten Punktbildfunktion berechnet.In the invention, it is now provided that for calculating the first depth of field, the data on the first object point or the data on the object points of the first object area and the first distance of the first object point to the optical imaging unit or the distances of the individual object points of the first object area to the optical Imaging unit to be used as the first parameter in the first dot image function. In other words, the first depth of focus for the first pixel or for the pixels of the first image area is calculated by means of the first dot image function.
Im Anschluss daran erfolgt ein Berechnen von ersten Abbildungsdaten des ersten Bildpunktes oder der Bildpunkte für den ersten Bildbereich mittels der ersten Tiefenschärfe. Demnach wird der erste Bildpunkt oder werden die Bildpunkte des ersten Bildbereichs mit einer gewünschten Unschärfe versehen. Die ersten Abbildungsdaten werden dann bei der Darstellung des Bildes des Objekts verwendet.This is followed by calculating first image data of the first pixel or of the pixels for the first image region by means of the first depth of field. Accordingly, the first pixel or the pixels of the first image area is provided with a desired blur. The first image data is then used in the representation of the image of the object.
Es wird explizit darauf hingewiesen, dass die vorgenannte und auch noch weiter unten erläuterte Reihenfolge der Verfahrensschritte nicht zwingend ist. Vielmehr kann die Reihenfolge der Verfahrensschritte des erfindungsgemäßen Verfahrens anders geeignet gewählt werden.It is explicitly pointed out that the above-mentioned sequence of method steps, which is also explained below, is not mandatory. Rather, the order of the method steps of the method according to the invention can be chosen differently suitable.
Bei einer Ausführungsform der Erfindung ist es vorgesehen, zunächst den Abstand jedes Objektpunkts des abzubildenden Objekts zu der optischen Abbildungseinheit zu bestimmen und abzuspeichern. Es werden daher nicht nur Abstände von ganz bestimmten Objektpunkten oder Objektpunkten eines bestimmten Objektbereichs bestimmt, sondern die Abstände von allen Objektpunkten des Objekts zur optischen Abbildungseinheit.In one embodiment of the invention, it is provided to first determine and store the distance of each object point of the object to be imaged to the optical imaging unit. Therefore, not only distances of very specific object points or object points of a certain object area are determined, but the distances from all object points of the object to the optical imaging unit.
Die Erfindung beruht auf der überraschenden Erkenntnis, dass zur Erzeugung einer gewissen Unschärfe mindestens eines Bereichs eines Bildes, um mindestens einen weiteren Bereich des Bildes fokussiert darzustellen und damit gegenüber dem unscharfen bestimmten Bereich herauszustellen, nicht zwingend ein aus dem Stand der Technik entsprechend geeignetes Objektiv zur Abbildung des Objekts benutzt werden muss. Vielmehr wurde erkannt, dass dieser Effekt auch durch eine Berechnung der Unschärfe erzielt werden kann, und zwar unabhängig von einer durch die optischen Eigenschaften der optischen Abbildungseinheit bereits vorgegebenen Tiefenschärfe. Es ist insbesondere vorgesehen, dass für jedes abgebildete Objekt eine sogenannte Tiefenkarte erstellt wird. In der Tiefenkarte ist für jeden Objektpunkt der Abstand des Objektpunkts zu der optischen Abbildungseinheit gespeichert, beispielsweise zusammen mit den Koordinaten des Objektpunkts und mit den Koordinaten des dazugehörigen Bildpunkts. Im Grunde wird daher ein Triplet von Daten in der Speichereinheit gespeichert, wobei sich das Triplet aus den Daten über den Abstand, den Objektpunkt und den Bildpunkt zusammensetzt. Mit der Erfindung ist es nun möglich, für jeden Bildpunkt, der mit einer künstlich erzeugten Tiefenschärfe versehen werden soll, eine gewünschte Tiefenschärfe zu berechnen, und zwar auch den Grad der Tiefenschärfe. Es ist demnach möglich, einen bestimmten Bereich des Bildes durch Fokussierung auf diesen Bereich scharf darzustellen, und weitere Bereiche des Bildes im Vordergrund und im Hintergrund durch die künstliche erzeugte Tiefenschärfe unscharf darzustellen. Durch Wahl der Größe der Parameter in der Punktbildfunktion kann der Grad der Unschärfe bestimmt werden. Von Vorteil ist hierbei, dass die Berechnung der künstlich erzeugten Tiefenschärfe basierend auf den Daten der Tiefenkarte nicht abhängig von zwingend vorgegebenen optischen Gegebenheiten einer Kombination von Linseneinheiten einer optischen Abbildungseinheit beispielsweise in Form eines Objektivs ist. Im Grunde ermöglicht es die Erfindung, den gewünschten Effekt ohne einen aufwändigen Einsatz von Abbildungseinheiten, insbesondere von speziell angefertigten und speziell ausgebildeten Abbildungseinheiten, zu erzielen.The invention is based on the surprising finding that in order to produce a certain blurring of at least one area of an image in order to focus on at least one further area of the image and thus emphasize it in relation to the fuzzy certain area, it is not absolutely necessary to use a lens which is suitable from the state of the art Illustration of the object must be used. Rather, it has been recognized that this effect can also be achieved by calculating the blur, independently of a depth of field already predetermined by the optical properties of the optical imaging unit. In particular, it is provided that a so-called depth map is created for each imaged object. In the depth map, the distance of the object point to the optical imaging unit is stored for each object point, for example together with the coordinates of the object point and with the coordinates of the associated pixel. Basically, therefore, a triplet of data is stored in the memory unit, where the triplet is composed of the data about the distance, the object point and the pixel. With the invention, it is now possible to calculate a desired depth of focus for each pixel that is to be provided with an artificially generated depth of focus, and also the degree of depth of field. It is thus possible to focus on a specific area of the image by focusing on this area, and to make other areas of the image in the foreground and in the background by the artificial depth of focus out of focus. By selecting the size of the parameters in the dot image function, the degree of blurring can be determined. The advantage here is that the calculation of the artificially generated depth of focus based on the data of the depth map is not dependent on mandatory given optical conditions of a combination of lens units of an optical imaging unit, for example in the form of an objective. In essence, the invention makes it possible to achieve the desired effect without the laborious use of imaging units, in particular specially designed and specially designed imaging units.
Ferner ermöglicht es die Erfindung, auch Bilder, welche mit einer optischen Abbildungseinheit mit kleinem Bildfeld und/oder kleiner Öffnung erzeugt werden, mit einer gewünschten Tiefenschärfe zu versehen. Daher ist es nun auch möglich, Bilder mit einer gewünschten Tiefenschärfe zu versehen, die mit Objektiven einer Handykamera oder einer Kompaktkamera aufgenommen werden. Beispielsweise weisen diese Objektive eine Bilddiagonale von nur ca. 5 mm bis ca. 11 mm auf.Furthermore, the invention also makes it possible to provide images which are produced with an optical imaging unit with a small image field and / or a small opening with a desired depth of focus. Therefore, it is now possible to provide images with a desired depth of field, which are recorded with lenses of a mobile phone camera or a compact camera. For example, these lenses have a screen size of only about 5 mm to about 11 mm.
Bei einer Ausführungsform des erfindungsgemäßen Verfahrens ist es zusätzlich oder alternativ vorgesehen, dass die optische Abbildungseinheit als Objektiv ausgebildet ist. Somit wird als erster Abstand der Abstand des ersten Objektpunkts zu dem Objektiv bestimmt. Analoges gilt für den Abstand der einzelnen Objektpunkte des ersten Objektbereichs. Für jeden Objektpunkt des ersten Objektbereichs wird der Abstand zu dem Objektiv bestimmt. Beispielsweise ist es vorgesehen, den Abstand des ersten Objektpunkts oder eines Objektpunkts des ersten Objektbereichs zu dem ersten Scheitelpunkt der Fläche der ersten Linseneinheit des Objektivs zu bestimmen, wobei die erste Linseneinheit diejenige Linseneinheit ist, die am nächsten zu dem Objekt angeordnet ist.In one embodiment of the method according to the invention, it is additionally or alternatively provided that the optical imaging unit is designed as an objective. Thus, the distance between the first object point and the objective is determined as the first distance. The same applies to the distance of the individual object points of the first object area. For each object point of the first object area, the distance to the lens is determined. For example, it is provided that the distance of the first object point or a To determine object point of the first object area to the first vertex of the surface of the first lens unit of the lens, wherein the first lens unit is the lens unit which is arranged closest to the object.
Bei einer weiteren Ausführungsform des erfindergemäßen Verfahrens ist zusätzlich oder alternativ vorgesehen, dass der erste Abstand oder der Abstand der Objektpunkte des ersten Objektbereichs mittels einer plenoptischen Abbildungseinheit, mittels einer stereoskopischen Abbildungseinheit und/oder mittels einer Time-of-Flight-Abbildungseinheit (TOF-Abbildungseinheit) bestimmt wird. Eine plenoptische Abbildungseinheit, beispielsweise eine plenoptische Kamera, ist aus dem Stand der Technik bekannt. Mittels einer plenoptischen Kamera ist es möglich, nicht nur die Position und die Intensität eines Lichtstrahls auf der Bilderfassungseinheit festzustellen, sondern es ist auch möglich, die Richtung, aus welcher der Lichtstrahl eingefallen ist, zu bestimmen. Auch eine stereoskopische Abbildungseinheit, beispielsweise in Form einer stereoskopischen Kamera, ist aus dem Stand der Technik bekannt. Diese beruht auf dem Prinzip der Stereoskopie. Ferner ist auch eine TOF-Abbildungseinheit, beispielsweise in Form einer TOF-Kamera, bekannt. Bei einer TOF-Kamera wird mit einem Laufzeitverfahren die Distanz zwischen einem Objekt und der TOF-Kamera ausgemessen. Es wird aber darauf hingewiesen, dass die Erfindung auf die Verwendung der vorgenannten Abbildungseinheiten zur Bestimmung der Abstände nicht eingeschränkt ist. Vielmehr ist jedes geeignete Verfahren und/oder jede geeignete Abbildungseinheit zur Bestimmung der Abstände verwendbar. Beispielsweise können die Abstände auch mit einer Lasermesseinheit unter Verwendung eines Lasermessverfahrens bestimmt werden. Wiederum alternativ ist es vorgesehen, die Abstände mit einer Ultraschallmesseinheit unter Verwendung eines Ultraschallmessverfahrens zu bestimmen. Bei einer noch weiteren Ausführungsform der Erfindung ist es vorgesehen, dass die Einheit zur Bestimmung der Abstände zusammen mit der optischen Abbildungseinheit in einer einzelnen Abbildungseinrichtung angeordnet ist, beispielsweise in einem Kameragehäuse. Alternativ hierzu ist es vorgesehen, die optische Abbildungseinheit in einer Abbildungseinrichtung und die Einheit zur Bestimmung der Abstände in einer von der Abbildungseinrichtung getrennten Abstandsmesseinrichtung anzuordnen. Mit anderen Worten ausgedrückt, sind die Abbildungseinrichtung und die Abstandsmesseinrichtung unterschiedliche und getrennte Baueinheiten in unterschiedlichen Gehäusen.In a further embodiment of the inventive method additionally or alternatively provided that the first distance or the distance of the object points of the first object area by means of a plenoptic imaging unit, by means of a stereoscopic imaging unit and / or by means of a time-of-flight imaging unit (TOF imaging unit ) is determined. A plenoptic imaging unit, for example a plenoptic camera, is known from the prior art. By means of a plenoptic camera, it is possible not only to detect the position and intensity of a light beam on the image acquisition unit, but it is also possible to determine the direction from which the light beam has fallen. A stereoscopic imaging unit, for example in the form of a stereoscopic camera, is also known from the prior art. This is based on the principle of stereoscopy. Furthermore, a TOF imaging unit, for example in the form of a TOF camera, is also known. In a TOF camera, the distance between an object and the TOF camera is measured using a runtime method. It should be noted, however, that the invention is not limited to the use of the aforementioned imaging units for determining the distances. Rather, any suitable method and / or imaging unit may be used to determine the distances. For example, the distances can also be determined with a laser measuring unit using a laser measuring method. Again alternatively, it is provided to determine the distances with an ultrasonic measuring unit using an ultrasonic measuring method. In yet another embodiment of the invention, it is provided that the unit for determining the distances together with the optical imaging unit is arranged in a single imaging device, for example in a camera housing. Alternatively, it is provided to arrange the optical imaging unit in an imaging device and the unit for determining the distances in a separate from the imaging distance measuring device. In other words, the imaging device and the distance measuring device are different and separate units in different housings.
Bei einer weiteren Ausführungsform des erfindergemäßen Verfahrens ist es zusätzlich oder alternativ vorgesehen, dass auch ein Berechnen einer zweiten Tiefenschärfe für den zweiten Bildpunkt oder für die Bildpunkte des zweiten Bildbereichs mittels einer zweiten Punktbildfunktion erfolgt. Dabei ist die zweite Tiefenschärfe wiederum nicht die Tiefenschärfe, welche die optische Abbildungseinheit aufgrund ihrer optischen Eigenschaften und Baueinheiten von sich aus aufweist. Vielmehr handelt es sich auch bei der zweiten Tiefenschärfe um eine nach der Abbildung der Objektpunkte oder der Objektbereiche künstlich erzeugte und von einem Nutzer für jeden Bildpunkt gewünschte Tiefenschärfe, deren Grad der Nutzer selbst bestimmen kann. Die Berechnung der zweiten Tiefenschärfe kann analog zur Berechnung der ersten Tiefenschärfe erfolgen. Zur Berechnung der zweiten Tiefenschärfe werden beispielsweise die Daten über den zweiten Objektpunkt oder die Daten über die Objektpunkte des zweiten Objektbereichs sowie der zweite Abstand des Objektpunkts zur optischen Abbildungseinheit oder die Abstände der einzelnen Objektpunkte des zweiten Objektbereichs zur optischen Abbildungseinheit als zweite Parameter in die zweite Punktbildfunktion eingesetzt. Mit anderen Worten ausgedrückt, wird die zweite Tiefenschärfe für den zweiten Bildpunkt oder für einen Bildpunkt im zweiten Bildbereich mittels der zweiten Punktbildfunktion künstlich berechnet. Im Anschluss daran erfolgt ein Berechnen von zweiten Abbildungsdaten des zweiten Bildpunktes oder des Bildpunkts des zweiten Bildbereichs mittels der zweiten Tiefenschärfe. Die zweiten Abbildungsdaten werden dann bei der Darstellung des Bildes des Objekts verwendet. Demnach wird der zweite Bildpunkt oder der Bildpunkt des zweiten Bildbereichs mit einer definierten Unschärfe versehen.In a further embodiment of the method according to the invention, it is additionally or alternatively provided that a calculation of a second depth of field for the second pixel or for the pixels of the second image region is also carried out by means of a second dot image function. Again, the second depth of focus is not the depth of field which the optical imaging unit has on its own due to its optical properties and building units. Rather, the second depth of focus is also a depth of field artificially produced according to the image of the object points or the object regions and desired by a user for each pixel, the degree of which the user himself can determine. The calculation of the second depth of field can be done analogously to the calculation of the first depth of field. To calculate the second depth of field, for example, the data about the second object point or the data on the object points of the second object area and the second distance of the object point to the optical imaging unit or the distances of the individual object points of the second object area to the optical imaging unit as the second parameter in the second point image function used. In other words, the second depth of field for the second pixel or for a pixel in the second image area is artificially calculated by means of the second dot image function. This is followed by calculating second image data of the second pixel or of the pixel of the second image region by means of the second depth of focus. The second image data is then used in the representation of the image of the object. Accordingly, the second pixel or the pixel of the second image area is provided with a defined blur.
Wie oben bereits genannt, ist die optische Abbildungseinheit beispielsweise als Objektiv ausgebildet. Somit wird als zweiter Abstand der Abstand des zweiten Objektpunkts zu dem Objektiv bestimmt. Analoges gilt für den Abstand der Objektpunkte des zweiten Objektbereichs. Beispielsweise ist es auch hier vorgesehen, den Abstand des zweiten Objektpunkts oder eines Objektpunkts des zweiten Objektbereichs zu dem ersten Scheitelpunkt der Fläche der ersten Linseneinheit des Objektivs zu bestimmen. Hierzu wird auch auf weiter oben verwiesen.As already mentioned above, the optical imaging unit is designed, for example, as an objective. Thus, the second distance determines the distance of the second object point to the objective. The same applies to the distance of the object points of the second object area. For example, it is also provided here to determine the distance of the second object point or of an object point of the second object region to the first vertex of the surface of the first lens unit of the objective. Reference is also made to above.
Ferner ist es zusätzlich oder alternativ auch bei dieser Ausführungsform vorgesehen, dass der zweite Abstand unter Verwendung einer plenoptischen Abbildungseinheit, einer stereoskopischen Abbildungseinheit und/oder einer TOF-Abbildungseinheit bestimmt wird. Es wird auf die Ausführungen weiter oben verwiesen. Insbesondere wird auch auf die möglichen weiteren oben genannten Verfahren und Einrichtungen zur Abstandsbestimmung verwiesen, die auch zur Bestimmung des zweiten Abstands verwendet werden können.Furthermore, it is additionally or alternatively also provided in this embodiment that the second distance is determined using a plenoptic imaging unit, a stereoscopic imaging unit and / or a TOF imaging unit. Reference is made to the comments above. In particular, reference is also made to the possible further above-mentioned methods and devices for distance determination, which can also be used to determine the second distance.
Bei einer wiederum weiteren Ausführungsform des erfindergemäßen Verfahrens ist es zusätzlich oder alternativ vorgesehen, dass als erste Punktbildfunktion und als zweite Punktbildfunktion eine identische Punktbildfunktion verwendet wird. Alternativ ist es vorgesehen, dass die erste Punktbildfunktion und die zweite Punktbildfunktion unterschiedlich sind. Beispiele für mögliche Punktbildfunktionen sind weiter unten näher angegeben. Die Erfindung ist nicht auf eine bestimmte Punktbildfunktion eingeschränkt. Vielmehr ist die Punktbildfunktion frei wählbar. Insbesondere ist es beispielsweise vorgesehen, dass für unterschiedliche Objektpunkte unterschiedliche Punktbildfunktionen verwendet werden. Die Punktbildfunktion kann beispielsweise in Abhängigkeit der Strahlungsintensität der abzubildenden Objektpunkte gewählt werden. In yet another embodiment of the method according to the invention, it is additionally or alternatively provided that an identical point image function is used as the first point image function and as the second point image function. Alternatively, it is provided that the first dot image function and the second dot image function are different. Examples of possible dot image functions are specified below. The invention is not limited to a particular dot image function. Rather, the dot image function is freely selectable. In particular, it is provided, for example, that different point image functions are used for different object points. The dot image function can be selected, for example, as a function of the radiation intensity of the object points to be imaged.
Bei einer wiederum weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist es zusätzlich oder alternativ vorgesehen, dass das Abbilden des Objekts mittels der optischen Abbildungseinheit derart erfolgt, dass das an der Bilderfassungseinheit erzeugte Bild des Objekts ein Bild mit hohem Dynamikumfang ist. Demnach ist das Bild ein sogenanntes HDR-Bild (High-Dynamic-Range-Bild). Unter einem HDR-Bild wird ein digitales Bild verstanden, das große Helligkeitsunterschiede detailreich wiedergibt. Diese Ausführungsform weist den Vorteil auf, dass hiermit gesättigte Bereiche in einem Bild – also starke Lichtquellen – besonders gut dargestellt werden können. Bei dem hier beschriebenen Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist die optische Abbildungseinheit selbst als Einheit ausgebildet, die ein HDR-Bild erzeugen kann. Bei einer alternativen Ausführungsform des erfindungsgemäßen Verfahrens ist es vorgesehen, dass zur Erzeugung eines HDR-Bildes eine separate optische HDR-Abbildungseinheit verwendet wird.In yet another embodiment of the method according to the invention, it is additionally or alternatively provided that the imaging of the object takes place by means of the optical imaging unit in such a way that the image of the object generated at the image acquisition unit is an image with a high dynamic range. Accordingly, the image is a so-called HDR image (high dynamic range image). An HDR image is a digital image that reproduces large differences in brightness in great detail. This embodiment has the advantage that in this way saturated areas in an image-that is, strong light sources-can be displayed particularly well. In the exemplary embodiment of the method according to the invention described here, the optical imaging unit itself is designed as a unit that can generate an HDR image. In an alternative embodiment of the method according to the invention, it is provided that a separate optical HDR imaging unit is used to generate an HDR image.
Die Erfindung ist auf die Erzeugung eines HDR-Bildes aber nicht eingeschränkt. Vielmehr sieht eine weitere Ausführungsform des erfindungsgemäßen Verfahrens vor, kein HDR-Bild zu erzeugen. Vielmehr wird die Strahlungsintensität des Objektpunkts oder der Objektpunkte eines Objektbereichs bei der Bestimmung der künstlich erzeugten Tiefenschärfe und/oder der künstlich erzeugten Form des zugehörigen Bildpunkts oder der zugehörigen Bildpunkte eines Bildbereichs mit herangezogen. So wird bestimmt, ob der erste Objektpunkt eine größere Strahlungsintensität als ein an den ersten Objektpunkt angrenzender Bereich aufweist. Ausgehend von dem ersten Objektpunkt erstreckt sich beispielsweise der Bereich bis zu 15 mm um den ersten Objektpunkt. Wenn die Strahlungsintensität des ersten Objektpunkts größer als die Strahlungsintensität des an den ersten Objektpunkt angrenzenden Bereichs ist, dann erfolgt eine Wichtung der ersten Punktbildfunktion. Beispielsweise erfolgt diese Wichtung, wenn die Strahlungsintensität des ersten Objektpunkts im Wesentlichen doppelt, dreimal oder viermal so groß ist wie die Strahlungsintensität des angrenzenden Bereichs. Es ist vorgesehen, die Wichtung der ersten Punktbildfunktion mit einem Wichtungsfaktor durchzuführen, für den gilt: 0 < W ≤ 1, wobei W der Wichtungsfaktor ist. Beispielsweise gilt für den Wichtungsfaktor 0,1 ≤ W ≤ 1. Bei einem weiteren Ausführungsbeispiel ist zusätzlich oder alternativ vorgesehen, dass der Wichtungsfaktor zufällig bestimmt wird. Alternativ hierzu ist es vorgesehen, den Wichtungsfaktor zu wählen. Die vorbeschriebenen Ausführungsformen sind selbstverständlich für jeden Objektpunkt und/oder für jegliche Punktbildfunktion verwendbar. Die vorbeschriebenen Ausführungsformen, bei denen die Strahlungsintensität des Objektpunkts oder die Strahlungsintensität der Objektpunkte berücksichtigt werden, weisen insbesondere den Vorteil auf, dass man die Intensität, mit der ein Bildpunkt dargestellt wird, oder die Intensitäten, mit denen Bildpunkte dargestellt werden, derart geeignet wählen kann, dass ein besonders guter ästhetischer Eindruck bei der Abbildung entsteht. Insbesondere sind unterschiedliche Lichtquellen, die das abzubildende Objekt beispielsweise aufweist, aufgrund einer unterschiedlich wählbaren Intensität unterschiedlich im Bild darstellbar. Starke Lichtquellen können so von schwachen Lichtquellen sowohl hinsichtlich des Bokehs als auch von der Tiefenschärfe unterschiedlich dargestellt werden.The invention is not limited to the generation of an HDR image. Rather, another embodiment of the method according to the invention provides that no HDR image is generated. Rather, the radiation intensity of the object point or the object points of an object region is used in the determination of the artificially generated depth of focus and / or the artificially generated form of the associated pixel or of the associated pixels of an image region. It is thus determined whether the first object point has a greater radiation intensity than an area adjoining the first object point. Starting from the first object point, for example, the area extends up to 15 mm around the first object point. If the radiation intensity of the first object point is greater than the radiation intensity of the region adjoining the first object point, then the first point image function is weighted. By way of example, this weighting takes place when the radiation intensity of the first object point is substantially twice, three times or four times as large as the radiation intensity of the adjacent region. It is intended to perform the weighting of the first dot-image function with a weighting factor for which: 0 <W ≦ 1, where W is the weighting factor. For example, for the weighting factor 0.1 ≦ W ≦ 1. In a further embodiment, it is additionally or alternatively provided that the weighting factor is determined at random. Alternatively, it is provided to select the weighting factor. The above-described embodiments are, of course, usable for any object point and / or for any dot-image function. The above-described embodiments, in which the radiation intensity of the object point or the radiation intensity of the object points are taken into account, have in particular the advantage that it is possible to select the intensity with which a pixel is displayed or the intensities with which pixels are displayed in a suitable manner in that a particularly good aesthetic impression is created in the image. In particular, different light sources having the object to be imaged, for example, can be represented differently in the image due to a different selectable intensity. Strong light sources can thus be displayed differently from weak light sources both in terms of bokeh and the depth of field.
Beispielsweise kann die Intensität des Bildpunkts oder die Intensitäten der Bildpunkte derart gewählt werden, dass diese in einem Bildbereich untereinander variieren. Insbesondere ist es vorgesehen, dass die Intensität von der Mitte des Bildbereichs zu Kanten des Bildbereichs abnimmt. Ferner kann beispielsweise eine Reflexion einer Lichtquelle identifiziert und mit einer geeigneten Intensität im Bild dargestellt werden. Insbesondere kann eine Reflexion von Scheinwerfern eines Autos auf einer nassen Straße aufgrund einer geeigneten Intensität besonders ästhetisch und realistisch dargestellt werden.For example, the intensity of the pixel or the intensities of the pixels can be selected such that they vary in an image area with each other. In particular, it is provided that the intensity decreases from the center of the image area to edges of the image area. Furthermore, for example, a reflection of a light source can be identified and displayed with a suitable intensity in the image. In particular, a reflection of headlights of a car on a wet road due to a suitable intensity can be displayed in a particularly aesthetic and realistic manner.
Wird bestimmt, dass der erste Objektpunkt eine größere Strahlungsintensität als der an den ersten Objektpunkt angrenzende Bereich aufweist und überdeckt der erste Objektpunkt ein Motiv des abzubildenden Objekts, dann ist es bei einem weiteren Ausführungsbeispiel der Erfindung vorgesehen, die Intensität des zum ersten Objektpunkt zugehörigen ersten Bildpunkts derart gering zu wählen, dass der erste Bildpunkt transmittierend wirkt. Mit anderen Worten ausgedrückt, ist die Intensität des ersten Bildpunkts derart gering, dass das überdeckte Motiv des abgebildeten Objekts zu erkennen ist. Wenn beispielsweise ein Gesicht eines Menschen durch eine Spiegelung einer Lichtquelle am Kinn überdeckt wird, gewährleistet die Erfindung nun, dass die Spiegelung der Lichtquelle im Bild zwar weiterhin erkennbar ist. Die Intensität dieser Spiegelung ist aber derart gering gewählt, dass hinter der Spiegelung das Kinn des Gesichts erkennbar ist.If it is determined that the first object point has a greater radiation intensity than the region adjoining the first object point, and the first object point covers a motif of the object to be imaged, then the intensity of the first pixel associated with the first object point is provided in a further exemplary embodiment of the invention to be chosen so small that the first pixel has a transmissive effect. In other words, the intensity of the first pixel is so small that the overlaid motif of the imaged object can be recognized. For example, if a human's face is covered by a reflection of a light source on the chin, the invention now ensures that the Reflection of the light source in the image is still recognizable. However, the intensity of this reflection is chosen so small that the chin of the face is recognizable behind the reflection.
Nachfolgend sind weitere Vorteile des erfindungsgemäßen Verfahrens zusammengefasst.In the following, further advantages of the method according to the invention are summarized.
Mittels des erfindungsgemäßen Verfahrens ist es möglich, bestimmte Bereiche eines Objekts von einem fokussierten Objektbereich sowohl in Größe als auch in der Form derart unterschiedlich im Bild auszugestalten, dass diese bestimmten Bereiche im Bild in den Hintergrund treten und/oder einen besonders guten ästhetischen Eindruck hinterlassen. Beispielsweise können diese Bereiche rund, oval oder strichförmig geformt werden. Auch eine ellipsenförmige Form, beispielsweise mit einem Verhältnis der Ellipsen-Halbachsen von 2:1 oder 1:2, ist verwendbar. Die Erfindung ist aber nicht auf die vorgenannten Formen eingeschränkt. Vielmehr ermöglicht es die Erfindung, die Form des bestimmten Bereichs beliebig geeignet auszugestalten.By means of the method according to the invention, it is possible to design certain areas of an object from a focused object area both in size and in shape so differently in the image that these particular areas in the image step into the background and / or leave a particularly good aesthetic impression. For example, these areas can be shaped round, oval or line-shaped. Also, an elliptic shape, for example, with a ratio of elliptical half-axes of 2: 1 or 1: 2, is usable. The invention is not limited to the aforementioned forms. Rather, the invention makes it possible to design the shape of the particular area as desired.
Gegenüber dem Stand der Technik, bei dem ein bestimmtes Objektiv mit einer bestimmten Blendenanordnung und Blendengröße verwendet wird, weist die Erfindung ferner den Vorteil auf, dass die Form der Objektpunkte im Bild frei wählbar ist. Dies ist beim Stand der Technik nicht möglich, da die Form der Objektpunkte im Bild insbesondere durch Abbildungseigenschaften des Objektivs und/oder durch die räumliche Anordnung des abzubildenden Objekts zum Objektiv vorgegeben ist. Ferner ist beim Stand der Technik eine Fokussierung beispielsweise auf sich bewegende Objekte bei gleichzeitig gutem Bokeh eines Hintergrunds oder Vordergrunds der sich bewegenden Objekte aufwändig. Dies ist aufgrund des künstlich erzeugten und frei wählbaren Bokehs bei der Erfindung nicht der Fall.Compared to the prior art, in which a specific lens with a specific aperture arrangement and aperture size is used, the invention further has the advantage that the shape of the object points in the image is freely selectable. This is not possible in the prior art, since the shape of the object points in the image is predetermined in particular by imaging properties of the objective and / or by the spatial arrangement of the object to be imaged to the objective. Further, in the prior art, focusing on, for example, moving objects while maintaining good bokeh of a background or foreground of the moving objects is cumbersome. This is not the case because of the artificially generated and arbitrary bokeh in the invention.
Ferner ist beim Stand der Technik die maximale Größe der verwendeten Blenden, welche das Bokeh beeinflusst, aufgrund von Belichtungszeiten begrenzt. Mit anderen Worten ausgedrückt, kann eine Überbelichtung auftreten, wenn man eine zu große Blendenöffnung wählt, um ein bestimmtes Bokeh zu erzielen. Auch dieser Nachteil wird durch das künstlich erzeugte und frei wählbare Bokeh bei der Erfindung vermieden.Further, in the prior art, the maximum size of apertures used which affects the bokeh is limited due to exposure times. In other words, overexposure may occur if one chooses too large an aperture to achieve a particular bokeh. This disadvantage is also avoided by the artificially generated and arbitrary bokeh in the invention.
Ferner ist es mit dem erfindungsgemäßen Verfahren möglich, die Verteilung der Intensität eines bestimmten Bereichs des Objekts im Bild einzustellen. Hierdurch lässt sich zum Beispiel ein Bokeh erzielen, das man bei einer direkten Aufnahme mit einem Objektiv nur unter Verwendung von Apodisationsfiltern oder einer bestimmten Ausgestaltung von Linsen des Objektivs erzielen kann. Ferner ermöglicht es das erfindungsgemäße Verfahren, dass eine gewollte Unschärfe im Bild nur für ganz bestimmte Bereiche eines abgebildeten Objekts erzielbar ist.Furthermore, it is possible with the method according to the invention to set the distribution of the intensity of a specific region of the object in the image. As a result, it is possible, for example, to achieve a bokeh which, in the case of a direct exposure with an objective, can be achieved only by using apodization filters or a specific embodiment of lenses of the objective. Furthermore, the method according to the invention makes it possible to achieve a desired blurring in the image only for very specific regions of an imaged object.
Die Erfindung betrifft auch ein Computerprogrammprodukt mit einem ausführbaren Programmcode, der bei Ausführung in einem Prozessor eine Abbildungseinrichtung derart steuert, dass die Abbildungseinrichtung ein Verfahren mit mindestens einem der vorgenannten oder weiter unten genannten Schritte oder mit einer Kombination von mindestens zwei der vorgenannten und/oder weiter unten genannten Schritte ausführt.The invention also relates to a computer program product with an executable program code which, when executed in a processor, controls an imaging device such that the imaging device comprises a method with at least one of the aforementioned steps or with a combination of at least two of the aforementioned and / or further below steps performs.
Die Erfindung betrifft ferner eine Abbildungseinrichtung mit mindestens einer optischen Abbildungseinheit, mit mindestens einer Bilderfassungseinheit und mit mindestens einem Prozessor. In dem Prozessor ist ein Computerprogrammprodukt wie vorstehend genannt geladen.The invention further relates to an imaging device with at least one optical imaging unit, with at least one image capture unit and with at least one processor. In the processor, a computer program product as mentioned above is loaded.
Bei einer Ausführungsform der erfindungsgemäßen Abbildungseinrichtung ist es zusätzlich oder alternativ vorgesehen, dass die optische Abbildungseinheit als Objektiv ausgebildet ist. Darüber hinaus ist es zusätzlich oder alternativ vorgesehen, dass die Abbildungseinrichtung mindestens eine HDR-Abbildungseinheit, mindestens eine plenoptische Abbildungseinheit, mindestens eine stereoskopischen Abbildungseinheit und/oder mindestens eine TOF-Abbildungseinheit aufweist.In one embodiment of the imaging device according to the invention, it is additionally or alternatively provided that the optical imaging unit is designed as an objective. In addition, it is additionally or alternatively provided that the imaging device has at least one HDR imaging unit, at least one plenoptic imaging unit, at least one stereoscopic imaging unit and / or at least one TOF imaging unit.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen mittels Figuren näher erläutert. Dabei zeigenThe invention will be explained in more detail by means of embodiments by means of figures. Show
Die Abbildungseinrichtung
Die Abbildungseinrichtung
Wie oben bereits erwähnt, weist die Abbildungseinrichtung
Es sind Ausführungsformen des erfindungsgemäßen Verfahrens vorgesehen, bei denen die Abstände der Objektpunkte ganz bestimmter Objektbereiche – beispielsweise der oben genannten Objektbereiche O1 bis O3 – zu der optischen Abbildungseinheit
In dem Prozessor
In einem Verfahrensschritt S1 wird das Objekt O mittels der optischen Abbildungseinheit
Die nachfolgenden Verfahrensschritte werden nun in Abhängigkeit dessen gewählt, ob einzelne Objektpunkte oder ganze Objektbereiche weiter bearbeitet werden sollen. Verfahrensschritte S3A bis S7A betreffen einzelne Objektpunkte. Hingegen betreffen Verfahrensschritte S3B bis S7B Objektbereiche.The following method steps are now selected depending on whether individual object points or entire object areas are to be further processed. Method steps S3A to S7A relate to individual object points. On the other hand, method steps S3B to S7B concern object areas.
In dem Verfahrensschritt S3A werden die ermittelten Abstände sowie Daten über die relative Lage der Objektpunkte hinsichtlich eines Objekt-Koordinatenursprungs und der den Objektpunkten zugeordneten Bildpunkte in der Bildebene BE der digitalen Bilderfassungseinheit
Die Lage eines Objekt-Koordinatenursprungs wird beispielhaft anhand des dritten Objektbereichs O3 beschrieben.
Beispielsweise werden für jeden Objektpunkt Daten gespeichert, wobei die Daten bei dem hier beschriebenen Ausführungsbeispiel ein Tripel von Dateninhalten umfasst. Ein erster Dateninhalt umfasst die Entfernung eines bestimmten Objektpunkts zur optischen Abbildungseinrichtung
Im Verfahrensschritt S4A werden diejenigen Objektpunkte OP ausgewählt, welche mit einer gewissen Unschärfe versehen werden sollen, um andere Bereiche des Bildes des abzubildenden Objekts O für einen Betrachter in den Vordergrund zu stellen. Mit anderen Worten ausgedrückt soll das Bild des Objekts O eine fokussierte Ebene aufweisen, auf welche die Aufmerksamkeit eines Betrachters gelenkt wird, während andere Bereiche im Vordergrund oder im Hintergrund zu dieser fokussierten Ebene unscharf dargestellt werden.In method step S4A, those object points OP are selected which are to be provided with a certain blurring in order to place other areas of the image of the object O to be imaged in the foreground for a viewer. In other words, the image of the object O should have a focused plane to which a viewer's attention is directed, while other areas in the foreground or in the background to that focused plane are out of focus.
Ähnliches gilt bei Bearbeitung von Objektbereichen. Im Verfahrensschritt S4B werden diejenigen Objektbereiche ausgewählt, welche mit einer gewissen Unschärfe versehen werden sollen, um andere Bereiche des Bildes des abzubildenden Objekts O für einen Betrachter in den Vordergrund zu stellen.The same applies when editing object areas. In method step S4B, those object areas are selected which are to be provided with a certain blur in order to place other areas of the image of the object O to be imaged in the foreground for a viewer.
Für die Objektpunkte OP, die im Verfahrensschritt S4A ausgewählt wurden, oder für die Objektbereiche, die im Verfahrensschritt S4B ausgewählt wurden, wird/werden eine künstlich erzeugte und gewünschte Tiefenschärfe und/oder die gewünschte Form der einzelnen Bildpunkte berechnet. Dies erfolgt für einzelne Objektpunkte im Verfahrensschritt S5A und für den Objektbereich im Verfahrensschritt S5B. Da der Objektbereich sich aus zahlreichen Objektpunkten zusammensetzt, wird im Verfahrensschritt S5B im Grunde für jeden Objektpunkt des Objektbereichs der Verfahrensschritt S5A durchgeführt.For the object points OP selected in method step S4A or for the object regions selected in method step S4B, an artificially generated and desired depth of focus and / or the desired shape of the individual pixels are calculated. This takes place for individual object points in method step S5A and for the object region in method step S5B. Since the object area is composed of numerous object points, method step S5A is basically carried out in method step S5B for each object point of the object area.
Zur Berechnung wird bei der hier dargestellten Ausführungsform die folgende Punktbildfunktion PSF verwendet: wobei
- x, y
- Koordinaten der Bildpunkte BP in der Bildebene BE relativ zu dem Bild-
Koordinatenursprung 10 sind, wobei der Bild-Koordinatenursprung 10 in der Bildebene BE liegt; - m, n
- Koordinaten der einzelnen Objektpunkte OP relativ zu dem Objekt-
Koordinatenursprung 11 sind, wobei der Objekt-Koordinatenursprung 11 im Bereich des Objekts gewählt wird, beispielsweise im Bereich des dritten Objektbereichs O3; - cyl
- die Zylinderfunktion ist, welche weiter unten näher beschrieben ist;
- β
- der Abbildungsmaßstab;
- R
- der Radius des Zerstreuungskreises ist (dies ist weiter unten näher erläutert); sowie
- d(m, n)
- der Abstand eines ausgewählten Objektpunkts OP zur optischen Abbildungseinheit
2 ist.
- x, y
- Coordinates of the pixels BP in the image plane BE relative to the image coordinate
origin 10 are, taking the picture coordinateorigin 10 is in the image plane BE; - m, n
- Coordinates of the individual object points OP relative to the object coordinate
origin 11 are, where the object coordinateorigin 11 is selected in the region of the object, for example in the region of the third object region O3; - cyl
- is the cylinder function, which is described in more detail below;
- β
- the magnification
- R
- the radius of the circle of confusion is (this will be explained further below); such as
- d (m, n)
- the distance of a selected object point OP to the
optical imaging unit 2 is.
Die Abstand d kann auch auf eine Ebene bezogen werden, auf welche die optische Abbildungseinheit
Der Abstand wird in der Regel in Millimetern angegeben.The distance is usually specified in millimeters.
Auf die digitale Bilderfassungseinheit
Die Zylinderfunktion ist gegeben durchThe cylinder function is given by
Die Zylinderfunktion ist eine gebräuchliche Darstellung für eine ideale, kreisförmige Pupille. Bei dem hier erläuterten Ausführungsbeispiel der Erfindung beschreibt sie eine homogene Kreisscheibe mit einem Wichtungsfaktor w, welcher sich aus dem Verhältnis der Fläche des abzubildenden Objekts O zur Fläche ergibt, welche das abzubildende Objekt O im Bild aufweist. Die Zylinderfunktion wird beispielsweise dazu verwendet, um ein im Wesentlichen rundes Bokeh zu erzielen. Um andere Formen des Bokehs zu erzielen, können andere Funktionen statt der Zylinderfunktion verwendet werden. Beispielsweise lässt sich ein elliptisches Bokeh dadurch erzielen, dass statt der Zylinderfunktion eine Ellipsenfunktion verwendet wird, beispielsweise bei einem Aspektverhältnis von a = 1:b, wobei a und b die Halbachsen der Ellipse sind. Beispielsweise beträgt das Aspektverhältnis 1:2.The cylinder function is a common representation for an ideal, circular pupil. In the exemplary embodiment of the invention explained here, it describes a homogeneous circular disk with a weighting factor w, which results from the ratio of the area of the object O to be imaged to the surface which the object O to be imaged has in the image. The cylinder function is used, for example, to achieve a substantially round bokeh. To achieve other forms of bokeh, other functions may be used instead of the cylinder function. For example, an elliptical bokeh can be achieved by using an ellipse function instead of the cylinder function, for example at an aspect ratio of a = 1: b, where a and b are the semiaxes of the ellipse. For example, the aspect ratio is 1: 2.
Die Erfindung ist aber nicht auf die Verwendung der Zylinderfunktion oder der vorgenannten Ellipsenfunktion eingeschränkt. Vielmehr kann statt der Zylinderfunktion oder der vorgenannten Ellipsenfunktion jegliche Funktion verwendet werden, mit der ein gewünschtes Bokeh erzielbar ist.However, the invention is not limited to the use of the cylinder function or the aforementioned ellipse function. Rather, instead of the cylinder function or the aforementioned ellipse function, any function can be used with which a desired bokeh can be achieved.
Wie soeben erläutert, ist es vorgesehen, für jeden ausgewählten Objektpunkt eine künstliche, gewünschte Tiefenschärfe und/oder die Form des dem Objektpunkt zugehörigen Bildpunkts mittels der erläuterten Punktbildfunktion zu berechnen. Nun erfolgt ein weiterer Schritt des erfindungsgemäßen Verfahrens. Für den Fall, dass nur ein einzelner Objektpunkt betrachtet wird, werden nun in dem Verfahrensschritt S6A Abbildungsdaten für den Objektpunkt unter Verwendung der so künstlichen, gewünschten Tiefenschärfe und/oder der gewünschten Form bestimmt. Für den Fall, dass ein Objektbereich betrachtet wird, werden in dem Verfahrensschritt S6B Abbildungsdaten für jeden Objektpunkt des Objektbereichs unter Verwendung der künstlichen, gewünschten Tiefenschärfe und/oder der gewünschten Form bestimmt.As just explained, it is provided to calculate for each selected object point an artificial, desired depth of focus and / or the shape of the object point associated pixel by means of the explained point image function. Now, another step of the method according to the invention. In the event that only a single object point is considered, imaging data for the object point are now determined in method step S6A using the thus artificial, desired depth of focus and / or the desired shape. In the case where an object area is considered, in the process step S6B, image data for each object point of the object area is determined by using the artificial desired depth of focus and / or the desired shape.
Die Abbildungsdaten ergeben sich durch die folgende Gleichung:
- Iob
- die Bildinformationen des Objektpunkts beschreibt, welcher abgebildet wird, allerdings ohne eine künstlich erzeugte Tiefenschärfe;
- PSF
- die oben erläuterte Punktbildfunktion ist, mit welcher die künstlich erzeugte Tiefenschärfe und/oder die Form des Bildpunkts bestimmt wird; und
- Iim
- die Abbildung des Objektpunkts mit der künstlich erzeugten berechneten Tiefenschärfe und/oder der gewünschten Form ist. Die Abbildung entspricht im Grunde genommen den Abbildungsdaten.
- I ob
- the image information of the object point describes which one is imaged, but without an artificially created depth of focus;
- PSF
- the dot image function explained above is with which the artificially created depth of focus and / or the shape of the pixel is determined; and
- I in the
- is the mapping of the object point with the artificially generated calculated depth of focus and / or the desired shape. The figure basically corresponds to the image data.
Die berechneten Abbildungsdaten werden nun zusammen mit den weiteren, im Verfahrensschritt S1 gewonnenen Daten, die nicht mit einer künstlichen Tiefenschärfe versehen wurden, dargestellt, beispielsweise auf dem Monitor
Bei der Erfindung kann jegliche Art und Form einer Punktbildfunktion verwendet werden. Die oben beschriebene Punktbildfunktion ist daher für die Erfindung nur beispielhaft zu verstehen.Any kind and form of a dot image function can be used in the invention. The dot image function described above is therefore to be understood as exemplary of the invention.
Bei einer weiteren Ausführungsform der Erfindung ist es auch möglich, in der oben genannten Gleichung 3 den Parameter f beliebig zu ändern. Auf diese Weise ist es beispielsweise möglich, ein weit entferntes Objekt O, das weitwinklig abgebildet wird, mit einem Makroeindruck zu versehen. Dies bedeutet, dass sehr scharf lokalisierte Tiefenbereiche im Raum dargestellt werden.In a further embodiment of the invention, it is also possible to change the parameter f as desired in
Auch die Beeinflussung eines Bildes des Objekts O mittels eines Apodisationsfilters kann durch die Erfindung erzeugt werden, ohne dass ein Apodisationsfilter tatsächlich benutzt werden muss. Durch Multiplikation der Gleichung 1 mit einer positiv definiten Funktion und Durchführung des Verfahrens werden dieselben Effekte erzeugt, als wenn ein Apodisationsfilter tatsächlich verwendet wird. Beispielsweise lässt sich ein weicher Übergang von den fokussiert abgebildeten Objektbereichen zu den unscharf abgebildeten Objektbereichen erzielen.The influencing of an image of the object O by means of an apodization filter can also be generated by the invention without actually having to use an apodization filter. By multiplying
Auch die Beeinflussung eines Bildes des Objekts O mittels einer Weichzeichnerwirkung kann durch die Erfindung erzeugt werden, ohne dass ein Weichzeichner tatsächlich benutzt werden muss. Zwar kann man durch sphärische Aberration in der optischen Abbildungseinheit
Das beschriebene Verfahren eignet sich ohne weiteres sowohl für Farbbilder als auch für Schwarz-Weiß-Bilder.The method described is readily suitable both for color images and for black-and-white images.
Wie oben erläutert, beruht die Erfindung darauf, eine künstliche und gewollte Tiefenschärfe und somit ein gewolltes Bokeh zu erzielen. Die Durchführungszeit des erfindungsgemäßen Verfahrens in einem handelsüblichen Prozessor, beispielsweise dem oben beschriebenen Prozessor
Wie bereits oben erwähnt, ist die Erfindung auf die Erzeugung eines HDR-Bildes nicht eingeschränkt. Nachfolgend wird daher eine weitere Ausführungsform des erfindungsgemäßen Verfahrens erläutert, bei dem ein HDR-Bild des Objekts O nicht aufgenommen wird. Diese weitere Ausführungsform des Verfahrens beruht auf dem in
Bei der weiteren Ausführungsform wird die Strahlungsintensität der Objektpunkte bei der Bestimmung der künstlich erzeugten Tiefenschärfe und/oder der Form der zugehörigen Bildpunkts mit herangezogen. So wird nach der Durchführung des Verfahrensschritts S4A in einem Verfahrensschritt S4AA bestimmt, welche Strahlungsintensität die Objektpunkte aufweisen und welche Strahlungsintensität der Bereich hat, an den die Objektpunkte angrenzen. Beispielsweise erstreckt sich der Bereich bis zu 15 mm um die Objektpunkte.In the further embodiment, the radiation intensity of the object points in the determination of the artificially generated depth of focus and / or the shape of the associated pixel is used. Thus, after the execution of the method step S4A, it is determined in a method step S4AA which radiation intensity the object points have and which radiation intensity has the region to which the object points adjoin. For example, the area extends up to 15 mm around the object points.
In einem weiteren Verfahrensschritt S4AB wird bestimmt, ob die Objektpunkte eine größere Strahlungsintensität als der angrenzende Bereich aufweisen. Bei einem Ausführungsbeispiel ist es vorgesehen, dass die Strahlungsintensität der Objektpunkte dann als größer betrachtet wird, wenn die Strahlungsintensität der Objektpunkte im wesentlichen doppelt, drei mal oder vier mal so groß ist wie die Strahlungsintensität des angrenzenden Bereichs. Die Erfindung ist aber auf diese Verhältnisse nicht eingeschränkt. Vielmehr ist jedes geeignete Verhältnis wählbar. Wenn die Strahlungsintensität der Objektpunkte nicht größer als die Strahlungsintensität des angrenzenden Bereichs ist, dann kann davon ausgegangen werden, dass das abzubildende Objekt bei Tag und/oder bei einer sehr guten Ausleuchtung abgebildet wird. Es folgt dann die Durchführung des Verfahrensschritts 5A. Sollte jedoch im Verfahrensschritt S4AB festgestellt werden, dass die Objektpunkte eine größere Strahlungsintensität als der angrenzende Bereich aufweisen, dann kann davon ausgegangen werden, dass das abzubildende Objekt bei Nacht und/oder bei einer schlechten Ausleuchtung abgebildet wird. In diesem Falle erfolgt dann die Durchführung eines Verfahrensschritts S4AC. Dieser umfasst die Wichtung der Punktbildfunktion gemäß Gleichung [1], beispielsweise wie folgt: Bis auf W sind alle Parameter bereits oben erläutert worden. W ist ein Intensitäts-Wichtungsfaktor, für den gilt: 0 < W ≤ 1. Bei einer Ausführungsform ist es vorgesehen, dass für den Intensitäts-Wichtungsfaktor 0,1 ≤ W ≤ 1 gilt.In a further method step S4AB, it is determined whether the object points have a greater radiation intensity than the adjacent region. In one embodiment, it is provided that the radiation intensity of the object points is considered larger when the radiation intensity of the object points is substantially twice, three times or four times as large as the radiation intensity of the adjacent area. The invention is not limited to these ratios. Rather, any suitable ratio is selectable. If the radiation intensity of the object points is not greater than the radiation intensity of the adjacent area, then it can be assumed that the object to be imaged is imaged by day and / or with a very good illumination. It then follows the execution of the process step 5A. If, however, it should be determined in method step S4AB that the object points have a greater radiation intensity than the adjacent region, then it can be assumed that the object to be imaged is imaged at night and / or during poor illumination. In this case, the execution of a method step S4AC takes place. This includes the weighting of the dot image function according to equation [1], for example as follows: Except for W, all parameters have already been explained above. W is an intensity weighting factor for which: 0 <W ≦ 1. In one embodiment, it is provided that 0.1 ≦ W ≦ 1 for the intensity weighting factor.
Die Auswahl des Intensitäts-Wichtungsfaktors kann beispielsweise zufällig erfolgen, beispielsweise mittels eines Zufallszahlengenerators. Alternativ hierzu ist es vorgesehen, den Intensitäts-Wichtungsfaktor zu wählen. Beispielsweise wird der Intensitäts-Wichtungsfaktor in Abhängigkeit der gemessenen Strahlungsintensität des Objektpunkts gewählt und/oder beispielsweise derart geeignet gewählt, dass bei der erzeugten Abbildung ein besonders ästhetischer Eindruck entsteht. Weitere Vorteile sind bereits weiter oben genannt. Insbesondere sind unterschiedliche lokale Lichtquellen, welche das abzubildende Objekt beispielsweise aufweist, aufgrund einer unterschiedlich wählbaren Intensität unterschiedlich im Bild darstellbar. Diese Ausführungsform ist besonders dann von Vorteil, wenn die Objektpunkte ein bestimmtes Motiv überdecken. Wenn beispielsweise ein Gesicht teilweise von Reflexionen überdeckt wird, ist es nun möglich, die Wichtung derart vorzunehmen, dass die Intensität der zu den überdeckenden Objektpunkten gehörigen Bildpunkte gering ist, so dass die Bildpunkte transmittierend wirken. Mit anderen Worten ausgedrückt ist die Intensität der Bildpunkte derart gering, dass das überdeckte Motiv des abzubildenden Objekts im Bild zu erkennen ist.The selection of the intensity weighting factor may, for example, be random, for example by means of a random number generator. Alternatively, it is provided to select the intensity weighting factor. For example, the intensity weighting factor is selected as a function of the measured radiation intensity of the object point and / or selected, for example, in such a way that a particularly aesthetic impression is created in the generated image. Further advantages are already mentioned above. In particular, different local light sources, which has the object to be imaged, for example, can be displayed differently in the image due to a different selectable intensity. This embodiment is particularly advantageous when the object points cover a particular motif. If, for example, a face is partially covered by reflections, it is now possible to perform the weighting such that the intensity of the pixels belonging to the covering object points is small, so that the pixels have a transmissive effect. In other words, the intensity of the pixels is so small that the covered motif of the object to be imaged can be recognized in the image.
Um die vorgenannten Objektpunkte, die eine höhere Strahlungsintensität als deren angrenzenden Bereiche aufweisen, mit einem guten Bokeh zu versehen, ist es alternativ auch vorgesehen, bei der Berechung der Daten für die entsprechenden Bildpunkte eine Punktbildfunktion PSF mit einem kleineren Radius des Zerstreuungskreises zu verwenden. Es hat sich gezeigt, dass hierdurch ein guter ästhetischer Eindruck erzielbar.In order to provide the aforementioned object points, which have a higher radiation intensity than their adjacent areas, with a good bokeh, it is alternatively also provided to use a point image function PSF with a smaller radius of the circle of confusion in the calculation of the data for the corresponding pixels. It has been shown that this gives a good aesthetic impression achievable.
Um ein möglichst natürliches Bokeh zu erhalten, ist es ferner vorteilhaft, die Abbildungsdaten der Bildpunkte aller Objektpunkte eines Objektbereichs, der eine höhere Strahlungsintensität aufweist, mit derselben Punktbildfunktion und mit denselben Parametern zu bestimmen. In order to obtain as natural a bokeh as possible, it is also advantageous to determine the image data of the pixels of all object points of an object region which has a higher radiation intensity with the same dot image function and with the same parameters.
Wie oben bereits erläutert, kann als Punktbildfunktion jegliche geeignete Punktbildfunktion verwendet werden. Nachfolgend werden Ausführungsbeispiele von Punktbildfunktionen erläutert.As explained above, any suitable dot image function can be used as a dot image function. Hereinafter, embodiments of dot image functions will be explained.
Wie oben bereits erwähnt, kann eine Punktbildfunktion mit Zylinderfunktion verwendet werden. Um einen Mosaikeffekt im Bild zu vermeiden, sieht eine Ausführungsform des erfindungsgemäßen Verfahrens vor, die Punktbildfunktion mit einer Gauss-Funktion höherer Ordnung zu kombinieren. Es hat sich gezeigt, dass hiermit weiche Übergänge im Bild erzielbar sind, die oft gewünscht sind.As mentioned above, a point function with cylinder function can be used. In order to avoid a mosaic effect in the image, an embodiment of the method according to the invention provides for combining the dot image function with a Gaussian higher-order function. It has been found that this soft transitions in the image can be achieved, which are often desired.
Es kann vorkommen, dass aufgrund von Abbildungsfehlern, beispielsweise aufgrund von sphärischer Aberration, das Intensitätsprofil des Bilds bei einer gegebenen Tiefenschärfe variiert, was manchmal als störend empfunden werden kann. Um diesem entgegenzuwirken, ist es bei einer Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen, eine bestimmte Punktbildfunktion zu verwenden. So ist es bei dieser Ausführungsform vorgesehen, die oben genannte Punktbildfunktion PSF, die durch die Gleichung [7] gegeben ist, für unterschiedliche Ebenen in der Tiefenkarte zu bestimmen. Beispielsweise wird eine Punktbildfunktion für die am weitesten zur optischen Abbildungseinheit
Ferner ist es bei diesem Ausführungsbeispiel vorgesehen, Strahlungsintensitätsprofile des Objekts zu bestimmen und zu berücksichtigen. So wird beispielsweise das Strahlungsintensitätsprofil an der am weitesten entfernten Ebene und das Strahlungsintensitätsprofil an der am nächsten befindlichen Ebene bestimmt. Auf der fokussierten Ebene wird die Strahlungsintensität eines einzelnen Punkts bestimmt. Basierend auf den ermittelten Strahlungsintensitäten wird für die jeweilige Ebene ein zugehöriger Intensitäts-Wichtungsfaktor bestimmt, welcher die Strahlungsintensität in der entsprechenden Ebene im Wesentlichen wiedergibt. Mittels der nun bestimmten Intensitäts-Wichtungsfaktoren werden die Punktbildfunktionen PSF1, PSF2 und PSF3 gewichtet und bestimmt. Im Anschluss daran erfolgt in Abhängigkeit der Punktbildfunktionen PSF1, PSF2 und PSF3 die Bestimmung der nun in der Gleichung [6] verwendeten Punktbildfunktion PSF. Dabei gilt:
Hinsichtlich der Bedeutung der Parameter wird auf weiter oben verwiesen. Die Parameter g1, g2, und g3 sind Gewichtungsfaktoren, die beispielsweise zufällig ausgewählt werden oder beispielsweise mittels geeigneter Verfahren derart berechnet werden, dass ein gewünschtes Bokeh und eine gewünschte Form erzielt werden. Eines dieser geeigneten Verfahren ist die Berechnung mittels der Karhunen-Loeve-Verteilung.With regard to the meaning of the parameters, reference is made to above. The parameters g1, g2, and g3 are weighting factors, which are selected at random, for example, or calculated by suitable methods such that a desired bokeh and a desired shape are achieved, for example. One of these suitable methods is the calculation by means of the Karhunen-Loeve distribution.
Bei einer weiteren Ausführungsform wird einem störenden Intensitätsprofil im Bild entgegengewirkt. So kann es vorkommen, dass aufgrund von Abbildungsfehlern, beispielsweise Aberrationen, das Intensitätsprofil des Bilds in ein und derselben Ebene der Tiefenkarte an Bildrändern und in der Bildmitte unterschiedlich ist. Das Intensitätsprofil variiert demnach. Dies kann als störend empfunden werden. Um diesem entgegenzuwirken, ist es bei einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen, wiederum eine bestimmte Punktbildfunktion PSF in der Gleichung [6] zu verwenden, wobei diese bestimmte Punktbildfunktion PSF beispielsweise wie folgt bestimmt wird. So werden bei dieser Ausführungsform Punktbildfunktionen PSF, die jeweils durch die Gleichung [1] gegeben sind, an verschiedenen Objektpunkten in ein und derselben Ebene in der Tiefenkarte bestimmt. Mit anderen Worten ausgedrückt, wird eine bestimmte Ebene in der Tiefenkarte identifiziert und für verschiedene Objektpunkte in dieser Ebene die zugehörigen Punktbildfunktionen bestimmt.In a further embodiment, a disturbing intensity profile in the image is counteracted. It may happen that due to aberrations, for example, the intensity profile of the image in one and the same level of the depth map at image edges and in the center of the image is different. The intensity profile varies accordingly. This can be distracting. In order to counteract this, it is provided in another embodiment of the method according to the invention, in turn, to use a specific point image function PSF in the equation [6], this specific point image function PSF being determined, for example, as follows. Thus, in this embodiment, dot image functions PSF each given by the equation [1] are determined at different object points in one and the same plane in the depth map. In other words, a particular level in the depth map is identified and for various object points in that level, the associated point image functions are determined.
Beispielsweise werden in dieser Ebene nun 5 Objektpunkte OP1 bis OP5 ausgewählt, wobei die den Objektpunkten OP1 bis OP4 zugehörigen Bildpunkte BP1 bis BP4 jeweils in einer Ecke des Bildes angeordnet sind und wobei der dem Objektpunkt OP5 zugehörige Bildpunkt BP5 im Wesentlichen in der Bildmitte angeordnet ist (vgl.
Hinsichtlich der Bedeutung der Parameter wird auf weiter oben verwiesen. Die Parameter g1, g2, g3, g4 und g5 sind Gewichtungsfaktoren, die nun derart geeignet gewählt werden, dass das Intensitätsprofil des Bilds in der Ebene ausgeglichen wird. Beispielsweise ist es vorgesehen, die Parameter g1, g2, g3, g4 und g5 zufällig auszuwählen oder derart mittels eines geeigneten Verfahrens zu bestimmen, dass ein gewünschtes Bokeh und eine gewünschte Form erzielt werden. Eine dieser geeigneten Verfahren ist die Berechnung mittels der Karhunen-Loeve-Verteilung. Eine weitere Möglichkeit, die Gewichtungsfaktoren zu bestimmen ist durch die folgende Gleichung gegeben: wobei
- gi
- die Gewichtungsfaktoren g1 bis g5 sind,
- INT
- die Strahlungsintensität des Objekts bei den Koordinaten m, n ist, und
- PSF
- die Punktbildfunktion gemäß Gleichung [1] an den entsprechenden Objektpunkten ist.
- g i
- the weighting factors are g1 to g5,
- INT
- is the radiation intensity of the object at the coordinates m, n, and
- PSF
- is the dot image function according to equation [1] at the corresponding object points.
Die in der vorliegenden Beschreibung, in den Zeichnungen sowie in den Ansprüchen offenbarten Merkmale der Erfindung können sowohl einzeln als auch in beliebigen Kombinationen für die Verwirklichung der Erfindung in ihren verschiedenen Ausführungsformen wesentlich sein.The features of the invention disclosed in the present description, in the drawings and in the claims may be essential both individually and in any desired combinations for the realization of the invention in its various embodiments.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 11
- Abbildungseinrichtung (Kamera)Imaging device (camera)
- 1A1A
- Gehäusecasing
- 22
- optische Abbildungseinheit (Objektiv)optical imaging unit (lens)
- 2A2A
- erste Linseneinheitfirst lens unit
- 2B2 B
- zweite Linseneinheitsecond lens unit
- 33
- digitale Bilderfassungseinheitdigital image capture unit
- 44
- Prozessorprocessor
- 55
- Monitormonitor
- 66
- Abstandsmesseinrichtung in Form einer plenoptischen Abbildungseinheit, einer stereoskopischen Abbildungseinheit oder einer TOF-AbbildungseinheitDistance measuring device in the form of a plenoptic imaging unit, a stereoscopic imaging unit or a TOF imaging unit
- 77
- separate HDR-Abbildungseinheitseparate HDR imaging unit
- 88th
- Speichereinheitstorage unit
- 99
- Leitungmanagement
- 1010
- Bild-KoordinatenursprungPicture origin
- 1111
- Objekt-KoordinatenursprungObject origin
- 1414
- erste Objektebenefirst object level
- 1515
- zweite Objektebenesecond object level
- AA
- Pfeilrichtungarrow
- OO
- Objektobject
- RR
- Radiusradius
- BEBE
- Bildebeneimage plane
- BPBP
- Bildpunktpixel
- EFEF
- Eintrittsfläche der optischen AbbildungseinheitEntrance surface of the optical imaging unit
- OPoperating room
- Objektpunktobject point
- OP1 bis OP5OP1 to OP5
- Objektpunkteobject points
- B1B1
- erster Bildbereichfirst image area
- B2B2
- zweiter Bildbereichsecond image area
- B3B3
- dritter Bildbereichthird picture area
- D1D1
- erster Abstandfirst distance
- D2D2
- zweiter Abstandsecond distance
- D3D3
- dritter Abstandthird distance
- O1O1
- erster Objektbereichfirst object area
- O2O2
- zweiter Objektbereichsecond object area
- O3O3
- dritter Objektbereichthird object area
- OAOA
- optische Achseoptical axis
- S1S1
- Verfahrensschrittstep
- S2S2
- Verfahrensschrittstep
- S3AS3A
- Verfahrensschrittstep
- S3BS3B
- Verfahrensschrittstep
- S4AS4A
- Verfahrensschrittstep
- S4AAS4AA
- Verfahrensschrittstep
- S4ABS4AB
- Verfahrensschrittstep
- S4ACS4AC
- Verfahrensschrittstep
- S4BS4B
- Verfahrensschrittstep
- S5AS5A
- Verfahrensschrittstep
- S5BS5B
- Verfahrensschrittstep
- S6AS6A
- Verfahrensschrittstep
- S6BS6B
- Verfahrensschrittstep
- S7AS7A
- Verfahrensschrittstep
- S7BS7B
- Verfahrensschrittstep
Claims (13)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013227197.2A DE102013227197A1 (en) | 2013-12-30 | 2013-12-30 | Method for generating an image of an object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013227197.2A DE102013227197A1 (en) | 2013-12-30 | 2013-12-30 | Method for generating an image of an object |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102013227197A1 true DE102013227197A1 (en) | 2015-07-02 |
Family
ID=53372072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102013227197.2A Ceased DE102013227197A1 (en) | 2013-12-30 | 2013-12-30 | Method for generating an image of an object |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102013227197A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11210861B2 (en) | 2019-04-30 | 2021-12-28 | Carl Zeiss Ag | Method for adjusting and visualizing parameters for focusing an objective lens on an object and system for implementing the method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120249836A1 (en) * | 2011-03-28 | 2012-10-04 | Sony Corporation | Method and apparatus for performing user inspired visual effects rendering on an image |
US20130033582A1 (en) * | 2011-08-04 | 2013-02-07 | Aptina Imaging Corporation | Method of depth-based imaging using an automatic trilateral filter for 3d stereo imagers |
-
2013
- 2013-12-30 DE DE102013227197.2A patent/DE102013227197A1/en not_active Ceased
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120249836A1 (en) * | 2011-03-28 | 2012-10-04 | Sony Corporation | Method and apparatus for performing user inspired visual effects rendering on an image |
US20130033582A1 (en) * | 2011-08-04 | 2013-02-07 | Aptina Imaging Corporation | Method of depth-based imaging using an automatic trilateral filter for 3d stereo imagers |
Non-Patent Citations (2)
Title |
---|
KOSLOFF, T. J.: Fast Image Filters for Depth-of-Field Postprocessing. UC Berkeley Electronic Theses and Dissertations, UC Berkeley, 2010, S. 1-85. * |
SATHYANARAYANA, K. [et al.]: Generating Highly Realistic 3D Animation Video with Depth-of-Field and Motion Blur Effects. Proc. Of SPIE, Vol. 7798, 2010, S. 779818-1 bis 779818-12. * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11210861B2 (en) | 2019-04-30 | 2021-12-28 | Carl Zeiss Ag | Method for adjusting and visualizing parameters for focusing an objective lens on an object and system for implementing the method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3418978B1 (en) | Method, visualisation device and computer program product for generating a three-dimensional object | |
EP3121637B1 (en) | Microscope and method for generating a combined image from a plurality of individual images of an object | |
DE102005040597A1 (en) | Method and device for tracking sweet spots | |
DE102015107517B3 (en) | Apparatus and method for image acquisition with increased depth of field | |
EP1665815A2 (en) | Method for creating a stereoscopic image master for imaging methods with three-dimensional depth rendition and device for displaying a stereoscopic image master | |
EP1784978A1 (en) | Method and device for representing a digital image on a surface which is non-trivial in terms of its geometry and photometry | |
EP1438697A2 (en) | Method and device for producing light-microscopy, three-dimensional images | |
DE102015114376B4 (en) | Apparatus and method for characterizing subjective speckle formation | |
EP3186776A1 (en) | Image capturing device and method for image capturing | |
DE102014117120A1 (en) | IMAGING DEVICE | |
EP3017334A1 (en) | Image capture method for microscope system and corresponding microscope system | |
DE102014107432B3 (en) | Optical device for generating images with a spatial impression | |
DE102014006717A1 (en) | Method for generating a three-dimensional information of an object with a digital microscope and data processing program for processing the method | |
EP1199542A2 (en) | Method and apparatus for the optical determination of a surface profile of an object | |
DE202013011877U1 (en) | microscope system | |
DE69830572T2 (en) | IMPROVEMENT IN ARTIFICIAL IMAGING | |
WO2018162319A1 (en) | 3d microscopy | |
DE102010040963A1 (en) | Method and X-ray machine for generating an X-ray projection image | |
DE102013227197A1 (en) | Method for generating an image of an object | |
DE3529819C2 (en) | Projection device for generating autostereoscopically viewable images | |
EP3420533B1 (en) | Method for calibrating an optical measurement set-up | |
EP0976003A1 (en) | Optical imaging system and graphic user interface | |
DE102005003226B4 (en) | Method and device for reproducing an X-ray image | |
DE102016115856B4 (en) | Imaging method in a microscope with oblique illumination | |
DE102012108249A1 (en) | Method for processing digital images of stereoscopic camera system, involves receiving two images from two partial cameras of stereoscopic camera system and determining disparities of same image elements between two images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G02B0009000000 Ipc: G06T0011000000 |
|
R016 | Response to examination communication | ||
R002 | Refusal decision in examination/registration proceedings | ||
R003 | Refusal decision now final |