DE102004025689A1

DE102004025689A1 - Three-dimensional camera for detecting depth information and three-dimensional structure of scene, e.g. for endoscope, reflects light from two or more viewing angles and calculates three-dimensional image

Info

Publication number: DE102004025689A1
Application number: DE102004025689A
Authority: DE
Inventors: Sultan Haider
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2004-05-26
Filing date: 2004-05-26
Publication date: 2005-09-15

Abstract

The camera includes an optical sensor (3) and a reflection system. The reflection system reflects light from at least two different viewing angles into the sensor. An image processing system (16) calculates a three-dimensional image from the light picked up by the optical sensor. The reflection system includes a fixed mirror (2) and two rotatable mirrors (1), all mirrors aligned with the axis (7) of rotation of the rotatable mirrors. An independent claim is included for a method of operating a three-dimensional camera.

Description

Die Erfindung betrifft eine 3D-Kamera zur Erfassung einer Tiefeninformation und einer dreidimensionalen Struktur einer Szene und ein Verfahren zum Betrieb der 3D-Kamera.The The invention relates to a 3D camera for detecting depth information and a three-dimensional structure of a scene and a method to operate the 3D camera.

Beim Betrachten einer Szene verfügt das optische Wahrnehmungssystem eines Menschen über verschiedene Methoden, um einen Eindruck räumlicher Tiefe zu vermitteln. Zum Beispiel werden Objekte, die von anderen Objekten zumindest teilweise verdeckt werden, als räumlich hinter diesen wahrgenommen. Ein weiterer Mechanismus zur Vermittlung räumlicher Tiefe ist die so genannte Bewegungsparallaxe. Diese kommt dadurch zustande, dass unterschiedlich weit von einem Betrachter entfernte Objekte, die sich mit gleicher Geschwindigkeit bewegen, als unterschiedlich schnell wahrgenommen werden. Dies vermittelt dem Betrachter einen Eindruck räumlicher Tiefe.At the Viewing a scene features the optical system of perception of a human via different methods, to make an impression more spatial To convey depth. For example, objects are different from others Objects are at least partially hidden, as spatially behind this perceived. Another mechanism for communicating spatial Depth is the so-called motion parallax. This comes through it On the other hand, that far away from a viewer Objects that move at the same speed as different be perceived quickly. This gives the viewer a Impression spatial Depth.

Von einer dreidimensionalen Szene können beispielsweise mittels einer Kamera zweidimensionale Abbildungen erstellt werden. Diesen Abbildungen fehlt jedoch die Tiefeninformation der Szene, welche beispielsweise im medizinischen Bereich eine wertvolle Information darstellt. Es besteht daher die Notwendigkeit einer entsprechenden Vorrichtung und eines Verfahrens, durch welches eine dreidimensionale Abbildung erstellt werden kann, die auch Tiefeninformationen enthält.From For example, a three-dimensional scene Two-dimensional images are created by means of a camera. However, these pictures lack the depth information of the scene, which For example, in the medical field valuable information represents. There is therefore a need for a corresponding Device and a method by which a three-dimensional Figure can be created, which also contains depth information.

Um aus nur einem bildgebenden Sensor 3D-Informationen zu ermitteln wird bei einer monokularen Kamera über einen vorgegebenen Aufnahmezeitraum der Kamerafokus kontinuierlich über einen bestimmten Bereich verstellt. Durch eine anschließende Analyse der Schärfe bestimmter Bildbereiche der Bildfolge und dem Vergleich mit dem jeweils eingestellten Fokus kann auf die Entfernung des Bildbereichs geschlossen werden. Zusätzlich werden Sensoren für Infrarot- oder Ultraschallmessungen verwendet. Zum Gelingen dieses Vorgehens ist jedoch ein möglichst gut strukturiertes Objekt mit Idealerweise vielen Kanten und eine gute Ausleuchtung notwendig.Around determine 3D information from just one imaging sensor is used with a monocular camera over a given recording period the camera focus continuously over adjusted a certain area. Through a subsequent analysis the sharpness certain image areas of the image sequence and the comparison with the each set focus can affect the distance of the image area getting closed. additionally be sensors for Infrared or ultrasound measurements used. To succeed this Procedure, however, is as possible well structured object with ideally many edges and one good illumination necessary.

Bei binokularen Systemen wird ein Objekt aus zwei unterschiedlichen Blickwinkeln aufgenommen. Dadurch kann seine dreidimensionale Position durch Suche nach korrespondierenden Bildpunkten in beiden Bildern ermittelt werden. Bei binokularen Systemen werden beispielsweise zwei Kameras verwendet oder die Kamera muss geschwenkt werden, so dass das Objekt aus unterschiedlichen Blickwinkeln aufgenommen werden kann. Dies ist aufwändig und umständlich.at binocular systems will be an object of two different Viewed angles. This allows its three-dimensional position through Search for corresponding pixels in both images determined become. In binocular systems, for example, two cameras used or the camera needs to be panned so that the object can be taken from different angles. This is elaborate and laborious.

Aufgabe der vorliegenden Erfindung ist es, eine 3D-Kamera zur Erfassung einer Tiefeninformation und einer dreidimensionalen Struktur einer Szene zu schaffen, welche weniger aufwändig ist als die bereits bekannten monukularen und binokularen Systeme und welche auch bei ungünstigen Bildbedingungen, beispielsweise einer schlechten Ausleuchtung oder geringen Farbtiefe, wirklichkeitsgetreue dreidimensionale Bilder erstellen können.task The present invention is to provide a 3D camera for detection a depth information and a three-dimensional structure of a Create a scene that is less elaborate than the ones already known monocular and binocular systems and which are also unfavorable Picture conditions, such as poor lighting or low color depth, true-to-life three-dimensional images can create.

Diese Aufgabe wird durch eine 3D-Kamera nach Anspruch 1 gelöst. Erfindungsgemäß macht sich die 3D-Kamera die Mechanismen der Vermittlung räumlicher Tiefe zu Nutze. Dabei wird von einem Punkt der aufzunehmenden Szene in die 3D-Kamera eintretendes Licht von einem Reflexionssystem zu einem optischen Sensor reflektiert. Das Reflexionssystem ist derart ausgebildet, dass es einen Punkt der Szene unter mindestens zwei verschiedenen Blickwinkeln in den optischen Sensor reflektiert. Dies ist vergleichbar mit der Aufnahme durch zwei Objektive, die ebenfalls eine Szene aus zwei Blickwinkeln aufnehmen. In der hier beschriebenen 3D-Kamera geschieht allerdings die eigentliche Aufnahme des Bildes durch den optischen Sensor, was eine platzsparende Bauweise ermöglicht. Ein Bildverarbeitungssystem berechnet aus dem vom optischen Sensor aufgenom menen Bild eine Tiefeninformation und ein dreidimensionales Bild der Szene.These Task is solved by a 3D camera according to claim 1. In accordance with the invention The 3D camera exploits the mechanisms of the mediation of spatial depth. there is entering the 3D camera from a point of the scene to be shot Reflected light from a reflection system to an optical sensor. The reflection system is designed to be one point the scene under at least two different angles in the reflected optical sensor. This is similar to the recording through two lenses, also a scene from two angles take up. However, this happens in the 3D camera described here the actual recording of the image by the optical sensor, which allows a space-saving design. An image processing system calculates depth information from the image taken by the optical sensor and a three-dimensional image of the scene.

In einer vorteilhaften Ausführung umfasst das Reflexionssystem einen fixierten Spiegel und zwei drehbare Spiegel, wobei alle Spiegel parallel zu den Rotationsachsen der drehbaren Spiegel ausgerichtet sind. Die drei Spiegel sind dabei derart angeordnet, dass zwei von einem Punkt der Szene in die 3D-Kamera einfallende Lichtstrahlen von den drehbaren Spiegeln zu zwei unterschiedlichen Positionen auf dem fixierten Spiegel reflektiert werden. Vom fixierten Spiegel werden die Lichtstrahlen wiederum in den optischen Sensor reflektiert, der damit ein Bild aufnimmt. Auf diese Weise entsteht ein Bild, dass aus einer Überlagerung der beiden zu den Blickwinkeln gehörenden Ansichten der Szene besteht. Daraus berechnet ein Bildverarbeitungssystem das dreidimensionale Bild der Szene.In an advantageous embodiment The reflection system comprises a fixed mirror and two rotatable ones Mirror, with all mirrors parallel to the axes of rotation of the rotatable mirrors are aligned. The three mirrors are included arranged such that two incident from one point of the scene into the 3D camera Beams of light from the rotating mirrors to two different ones Positions are reflected on the fixed mirror. From the frozen Mirrors turn the light rays into the optical sensor reflected, which thus takes a picture. This way arises an image that is from an overlay the two views of the scene belonging to the viewpoints consists. From this, an image processing system calculates the three-dimensional Picture of the scene.

In einer vorteilhaften Ausführung ist ein Drehwinkel der beiden drehbaren Spiegel derart synchronisiert, dass sie stets Lichtstrahlen desselben Punkts der aufzunehmenden Szene auf unterschiedliche Punkte des fixierten Spiegels reflektieren. Dadurch wird sichergestellt, dass auch bei einer Drehung der Spiegel stets das gleiche Bild von den beiden drehbaren Spiegeln unter verschiedenen Blickwinkeln auf den fixierten Spiegel reflektiert wird.In an advantageous embodiment is a rotation angle of the two rotatable mirrors synchronized in such a way that they always light rays of the same point of the recording Reflect scene on different points of the fixed mirror. This ensures that even with a rotation of the mirror always the same picture of the two rotatable mirrors under different View angles is reflected on the fixed mirror.

Besonders vorteilhaft ist eine Befestigung der beiden drehbaren Spiegel auf der Oberfläche von zwei drehbaren Zylindern, wobei die Spiegel parallel zur Rotationsachse der Zylinder ausgerichtet sind. Diese Ausführung zeichnet sich durch einen besonders platzsparenden Drehmechanismus für die Spiegel aus.Particularly advantageous is a fastening the two rotatable mirrors on the surface of two rotatable cylinders, wherein the mirrors are aligned parallel to the axis of rotation of the cylinders. This design is characterized by a particularly space-saving rotation mechanism for the mirror.

In einer weiter vorteilhaften Ausführung sind die drehbaren Spiegel und der optische Sensor gegenüber dem fixierten Spiegel beweglich. Durch eine Vor- und Zurück-Bewegung während der Bildaufnahme wird die Berechnung des dreidimensionalen Bildes durch Ausnutzung der Bewegungsparallaxe erleichtert.In a further advantageous embodiment are the rotatable mirrors and the optical sensor opposite the fixed mirror movable. Through a forward and backward movement during the Image capture will perform the calculation of the three-dimensional image Utilization of the motion parallax easier.

Ein Verfahren zur Berechnung des dreidimensionalen Bildes wird vom Bildverarbeitungssystem ausgeführt. Zur Bestimmung der dreidimensionalen Struktur der Szene werden Kanten von Objekten und eine Tiefeninformation anhand von Luminanzwerten ermittelt.One Method for calculating the three-dimensional image is the image processing system executed. To determine the three-dimensional structure of the scene edges objects and depth information based on luminance values determined.

Eine vorteilhafte Ausführung Verfahrens verwertet ebenfalls Chrominanzwerte der aufgenommenen Bilder. Dadurch wird das Verfahren zur Berechnung des dreidimensionalen Bilds vereinfacht.A advantageous embodiment Method also exploits chrominance values of the recorded Images. This will be the method of calculating the three-dimensional Image simplified.

Außerdem wird das Verfahren in einer vorteilhaften Ausführung der Erfindung die Bewegung des optischen Sensors und der drehbaren Spiegel kontrollieren.In addition, will the method in an advantageous embodiment of the invention, the movement of control the optical sensor and the rotatable mirror.

Weitere Merkmale und Vorteile ergeben sich anhand des nachfolgend im Zusammenhang mit den beigefügten Zeichnungen beschriebenen Ausführungsbeispiels. Es zeigen:Further Features and benefits will be apparent from the following with the attached Drawings described embodiment. Show it:

1 ein schematisches Diagramm der 3D-Kamera, 1 a schematic diagram of the 3D camera,

2 ein Flussdiagramm für den Prozess der Kantenbestimmung und 2 a flow chart for the process of edge determination and

3 ein Flussdiagramm für den Prozess der Tiefenbestimmung. 3 a flow chart for the process of depth determination.

1 zeigt die 3D-Kamera 100 mit den beiden drehbaren Spiegeln 1, dem fixierten Spiegel 2 und dem optischen Sensor 3 bei der Aufnahme verschiedener Punkte 4A, 4B, 5A, 5B einer Szene. Die drehbaren Spiegel 1 sind auf zwei Zylindern 6 befestigt und als schmale Rechtecke ausgeführt, deren lange Seite senkrecht zur Zeichnungsebene ausgerichtet ist. Die Rotationsachsen 7 der beiden Zylinder 6 sind ebenfalls senk recht zur Zeichnungsebene ausgerichtet. Dadurch wird ein großer Winkelbereich der Szene in dieser Richtung gleichzeitig erfasst. Ein Winkelbereich in der Zeichnungsebene wird durch eine Drehung der beiden drehbaren Spiegel 1 sukzessiv erfasst. 1 shows the 3D camera 100 with the two rotating mirrors 1 , the fixed mirror 2 and the optical sensor 3 when recording different points 4A . 4B . 5A . 5B a scene. The rotatable mirrors 1 are on two cylinders 6 attached and executed as narrow rectangles whose long side is aligned perpendicular to the plane of the drawing. The rotation axes 7 the two cylinders 6 are also aligned perpendicular to the plane of the drawing. As a result, a large angular range of the scene in this direction is detected simultaneously. An angular range in the drawing plane is created by a rotation of the two rotatable mirrors 1 successively recorded.

Im Folgenden wird der Einfachheit halber nur auf einige Punkte 4A, 4B, 5A, 5B in der Zeichnungsebene eingegangen, die sich im vorliegenden Fall in zwei Ebenen 8 und 9 unterschiedlicher Entfernung von der 3D-Kamera befinden. Der entsprechende Strahlengang ist symbolisiert durch die Linien dargestellt. Lichtstrahlen 10, 11, 12, 13, 14 und 15, die von den Punkten 4A, 4B, 5A, 5B der verschiedenen Ebenen 8 und 9 ausgehen, fallen in die 3D-Kamera auf die beiden drehbaren Spiegel 1 und werden von diesen auf den fixierten Spiegel 2 reflektiert. Dabei ist die Ausrichtung der beiden drehbaren Spiegel 1 derart, dass Licht eines Punkts 4A, 4B, 5A, 5B zu leicht verschiedenen Positionen auf dem fixierten Spiegel 2 reflektiert wird. Obwohl die Entfernung von Punkt 4A zu 4B der von Punkt 5A zu 5B entspricht, erscheinen die beiden Punkte durch ihre unterschiedliche Entfernung von der 3D-Kamera unter verschieden großen Blickwinkeln α₁ und β₁ bzw. α₂ und β₂. Das auf den fixierten Spiegel 2 reflektierte Licht wird von dem, hier als monokulare Kamera ausgeführten, optischen Sensor 3 aufgenommen. Das resultierende Bild besteht aus einer Überlagerung von zwei Blickwinkeln der Szene, woraus das Bildverarbeitungssystem 16 die Tiefeninformation und dreidimensionale Struktur der Szene berechnet. Die monokulare Kamera und die drehbaren Spiegel 6 werden während der Aufnahme vor und zurück bewegt, wodurch sich die Blickwinkel α₁ und β₁ bzw. α₂ und β₂ verändern. Dabei ist die zeitliche Änderung von α₁ kleiner als die Änderung von β₁. Gleiches gilt für α₂ und β₂. Diese Diskrepanz wird durch die Rotation der drehbaren Spiegel 6 zusätzlich verstärkt. Die daraus resultierende Bewegungsparallaxe erleichtert die Berechnung des dreidimensionalen Bilds.In the following, for the sake of simplicity, only a few points 4A . 4B . 5A . 5B received in the drawing plane, which in the present case in two levels 8th and 9 different distances from the 3D camera. The corresponding beam path is symbolized by the lines. light rays 10 . 11 . 12 . 13 . 14 and 15 that from the points 4A . 4B . 5A . 5B the different levels 8th and 9 go out, fall into the 3D camera on the two rotatable mirrors 1 and become of these on the fixed mirror 2 reflected. Here is the orientation of the two rotatable mirrors 1 such that the light of a point 4A . 4B . 5A . 5B to slightly different positions on the fixed mirror 2 is reflected. Although the distance from point 4A to 4B the one from point 5A to 5B corresponds to the two points by their different distance from the 3D camera at different angles α ₁ and β ₁ or α ₂ and β ₂ . That on the fixed mirror 2 Reflected light is emitted by the optical sensor, here as a monocular camera 3 added. The resulting image consists of a superposition of two viewpoints of the scene, resulting in the image processing system 16 calculates the depth information and three-dimensional structure of the scene. The monocular camera and the rotatable mirrors 6 are moved back and forth during the recording, whereby the viewing angles α ₁ and β ₁ or α ₂ and β ₂ change. The temporal change of α _{1 is} smaller than the change of β ₁ . The same applies to α ₂ and β ₂ . This discrepancy is caused by the rotation of the rotatable mirror 6 additionally reinforced. The resulting motion parallax facilitates the calculation of the three-dimensional image.

Der Prozess zur Kanten- und Tiefenbestimmung sowie die Rekonstruktion eines dreidimensionalen Bildes aus den einzelnen, durch den optischen Sensor gewonnenen Bildsignalen ist in den 2 und 3 dargestellt. Der dargestellte Prozessablauf basiert auf dem Mechanismus der menschlichen visuellen Wahrnehmung, wobei Tiefe, Bewegung, Farbe und Helligkeit aufgenommen werden, um ein tiefenwirksames Bild zu erstellen, und bei welchem die aufgenommenen Kanten, Flächen, Objekte und Farb- bzw. Helligkeitsabstufungen nach bestimmten Regeln zu einem dreidimensionalen Bild zusammengesetzt werden.The process for edge and depth determination as well as the reconstruction of a three-dimensional image from the individual, obtained by the optical sensor image signals is in the 2 and 3 shown. The illustrated process flow is based on the mechanism of human visual perception, where depth, movement, color and brightness are captured to create a depth-effective image, and where the recorded edges, surfaces, objects, and color and brightness gradients, according to certain rules a three-dimensional image are put together.

Im Falle von Objekten, welche sich nicht bewegen, erfolgt zunächst die Kantenbestimmung entsprechend des Flussdiagramms wie es in 2 dargestellt ist. In einem Schritt S1 wird das Objekt fokussiert und der optische Sensor nimmt die Luminanz und die Chrominanz auf. Die aufgenommenen Bildsignale werden an die Bildverarbeitungseinheit übermittelt, welche in einem Schritt S2 überprüft, ob die Luminanz gering ist. Kriterium hierfür ist, ob es bei der vorliegenden Szene dem menschlichen Auge möglich wäre, das Objekt zu erkennen und aufzulösen. Falls die Luminanz nicht gering ist, können sofort in einem Schritt S6 die Kanten berechnet werden, da diese sich deutlich abzeichnen. Falls jedoch die Luminanz zu gering ist, um aus einer oder wenigen selektiven Aufnahmen die Kanten zu berechnen, wird der Wert der Luminanz und der Chrominanz gespeichert und die drehbaren Spiegel rotiert. In einem nächsten Schritt S4 wird durch den optischen Sensor erneut die Luminanz und Chrominanz aufgenommen. In dem folgenden Schritt S5 überprüft die Bildverarbeitungseinheit, ob ausreichend Werte für Luminanz und Chrominanz vorhanden sind, um die Kanten bestimmen zu können, d.h. ob eine Rekonstruktion auf Basis der bereits aufgenommenen Werte möglich ist. Falls dies nicht der Fall ist, kehrt der Prozessablauf erneut zu Schritt S3 zurück und durchläuft die Schritte S3 bis S5. Falls im Schritt S5 durch die Bildverarbeitungseinheit entschieden wird, dass ausreichend Werte für Luminanz und Chrominanz vorhanden sind, werden in dem folgenden Schritt S6 die Kanten berechnet und in einem Schritt S7 das Verfahren zur Tiefenbestimmung ausgeführt.In the case of objects which do not move, first the edge determination according to the flowchart as in 2 is shown. In a step S1, the object is focused and the optical sensor absorbs the luminance and the chrominance. The recorded image signals are transmitted to the image processing unit via which checks in a step S2 whether the luminance is low. The criterion for this is whether in the present scene the human eye would be able to recognize and resolve the object. If the luminance is not low, the edges can be calculated immediately in a step S6, since they are clearly visible. However, if the luminance is too low to calculate the edges from one or a few selective shots, the luminance and chrominance values are stored and the rotatable mirrors are rotated. In a next step S4, the luminance and chrominance are again recorded by the optical sensor. In the following step S5, the image processing unit checks whether there are sufficient values for luminance and chrominance in order to be able to determine the edges, ie, whether a reconstruction on the basis of the already recorded values is possible. If this is not the case, the process flow returns again to step S3 and goes through steps S3 to S5. If it is decided by the image processing unit in step S5 that sufficient luminance and chrominance values are present, the edges are calculated in the following step S6, and the depth determination process is executed in step S7.

3 zeigt den Prozessablauf zur Tiefenbestimmung. Im Schritt S8 werden die drehbaren Spiegel rotiert, und es werden an verschiedenen Positionen die Luminanz und Chrominanz aufgenommen. Im Schritt S9 überprüft die Bildverarbeitungseinheit, ob für die aufgenommenen Bildsignale die Luminanz und Chrominanz gering ist. Kriterium hierfür ist ebenfalls wieder, ob es dem menschlichen Auge in der vorliegenden Szene möglich wäre, die Objekte zu erkennen und aufzulösen. Falls dies nicht der Fall ist, werden in einem Schritt S10 die Kanten mittels Interpolation ermittelt und in einem Endschritt S15 die Tiefenlage der Kanten berechnet. Falls im Schritt S9 die Bildverarbeitungseinheit entscheidet, dass die Luminanz und Chrominanz gering sind, werden Sensor und drehbare Spiegel in einem Schritt S11 bewegt und erneut Werte für Luminanz und Chrominanz aufgenommen. Nach Aufnahme von verschiedenen Werten wird durch die Bildverarbeitungseinheit im Schritt S12 überprüft, ob die Werte für die Rekonstruktion ausreichen. Falls dies nicht der Fall ist, werden noch weitere Werte durch den optischen Sensor an verschiedenen Positionen aufgenommen und unter Zuhilfenahme einer in Schritt S14 durchgeführten Farbanalyse schließlich in einem Schritt S15 die Tiefenlagen der Kanten berechnet. Falls die Werte für eine Rekonstruktion in Schritt S12 ausreichen, werden die Kanten in Schritt S13 berechnet und es werden wie schon bei der Überprüfung der Luminanz- und Chrominanzwerte biologische Wahrnehmungsbedingungen angewendet. Hierbei handelt es sich um Regeln, nach welchen das menschliche Gehirn die wahrgenommenen Kanten und Flächen zu dreidimensionalen Objekten zusammensetzt. 3 shows the process sequence for depth determination. In step S8, the rotatable mirrors are rotated, and the luminance and chrominance are recorded at various positions. In step S9, the image processing unit checks whether luminance and chrominance are small for the picked-up image signals. Again, the criterion for this is again whether it would be possible for the human eye in the present scene to recognize and resolve the objects. If this is not the case, the edges are determined by means of interpolation in a step S10 and the depth position of the edges is calculated in a final step S15. If the image processing unit decides that the luminance and chrominance are low in step S9, the sensor and rotatable mirrors are moved in step S11 and luminance and chrominance values are again recorded. After taking various values, the image processing unit checks in step S12 whether the values for the reconstruction are sufficient. If this is not the case, further values are recorded by the optical sensor at different positions and, with the aid of a color analysis carried out in step S14, the depth positions of the edges are finally calculated in a step S15. If the values for a reconstruction in step S12 are sufficient, the edges are calculated in step S13 and biological perception conditions are applied as in the case of checking the luminance and chrominance values. These are rules according to which the human brain assembles the perceived edges and surfaces into three-dimensional objects.

Die in 2 und 3 beschriebenen Prozessabläufe können in dieser Form für Objekte und Szenen, welche sich nicht bewegen, angewendet werden. Im Falle sich bewegender Objekte, wird in Schritt S1 von 2 von einer Position das Objekt mehrmals oder über einen bestimmten Zeitraum, bei welchem es sich um einige Millisekunden handelt, aufgenommen und neben der Luminanz und Chrominanz, welche durch den optischen Sensor aufgenommen wird, durch das Bildverarbeitungssystem die Frequenz in der Bildänderung bestimmt. Ebenso wird die Frequenzänderung in den Schritten S4 in 2, S8 in 3 und S11 und S14 in 3 bestimmt. Durch Überprüfung von Matches von Kanten, Flächen oder Formen wird aus den einzelnen aufgenommenen Bildern die Bewegung jeweils einen bestimmten Objektes rekonstruiert. Anschließend werden die Relativbewegungen der verschiedenen Objekte zueinander und relativ zum Hintergrund berechnet und anschließend die Tiefenlage der Kanten bestimmt .In the 2 and 3 Processes described in this form can be applied to objects and scenes that do not move. In the case of moving objects, in step S1 of 2 from a position the object is recorded several times or over a certain period of time, which is a few milliseconds, and determines, in addition to the luminance and chrominance taken by the optical sensor, the frequency in the image change by the image processing system. Likewise, the frequency change in steps S4 in FIG 2 , S8 in 3 and S11 and S14 in 3 certainly. By examining matches of edges, surfaces or shapes, the movement of a particular object is reconstructed from the individual recorded images. Subsequently, the relative movements of the various objects relative to each other and relative to the background are calculated, and then the depth of the edges is determined.

Die erfindungsgemäße 3D-Kamera kann in den unterschiedlichsten Bereichen Anwendung finden. So kann sie in eine Digitalkamera integriert sein, welche entweder eine spätere Nachbearbeitung an einer externen Bearbeitungseinheit wie z. B. an einem PC ermöglicht, indem die Digitalkamera die empfangenen Bildsignale an diese externe Bearbeitungseinheit sendet, oder die Bildbearbeitung kann bereits in die Kamera integriert sein. Eine weitere Möglichkeit ist die Implementierung der Vorrichtung in ein Mobiltelefon zur drahtlosen Kommunikation.The inventive 3D camera can be used in many different areas. So can they are integrated into a digital camera, which either one latter Post-processing on an external processing unit such. B. on a PC, by the digital camera receiving the received image signals to this external Editing unit sends, or the image editing can already be integrated into the camera. Another possibility is the implementation the device in a mobile phone for wireless communication.

Für den medizinischen Bereich kann die erfindungsgemäße 3D-Kamera in ein Endoskopiegerät implementiert sein. Endoskope dienen zur Untersuchung des Gastrointestinaltraktes und können als verschluckbare Kapseln ausgebildet sein. In diesem Falle werden die durch den optischen Sensor 4 aufgenommenen Bildsignale an eine externe Bildverarbeitungseinheit übermittelt, da im Falle eines verschluckbaren Endoskopiegerätes platzsparend gearbeitet werden muss. Besonders im Falle der verschluckbaren Kapsel bietet die erfindungsgemäße Vorrichtung und Methode gegenüber binokularen System den Vorteil, mit nur einer Kamera zu arbeiten, sowie gegenüber monokularen Kameras nötiges Schwenken zu vermeiden.For the medical field, the 3D camera according to the invention can be implemented in an endoscopy device. Endoscopes are used to examine the gastrointestinal tract and can be designed as swallowable capsules. In this case, those through the optical sensor 4 transmitted image signals transmitted to an external image processing unit, since in the case of a swallowable endoscopy device must be used to save space. Especially in the case of the swallowable capsule device and method according to the invention over binocular system has the advantage of working with only one camera, as well as to avoid necessary pivoting with respect to monocular cameras.

Claims

3D camera ( 100 ) for acquiring a depth information and a three-dimensional structure of a scene, comprising the following parts: - an optical sensor ( 3 ) and a reflection system, wherein the reflection system is designed such that it can light the scene from at least two different angles in the optical Sen sor ( 3 ) and an image processing system ( 16 ) that a three-dimensional image from that of the optical sensor ( 3 ) recorded light of the scene calculated.

3D camera ( 100 ) according to claim 1, characterized in that the reflection system comprises a fixed mirror ( 2 ) and two rotatable mirrors ( 1 ), wherein all mirrors are parallel to a rotation axis ( 7 ) of the rotatable mirror ( 1 ) and are arranged such that two from one point ( 4A . 4B . 5A . 5B ) of the scene in the 3D camera incident light rays ( 10 . 11 . 12 . 13 . 14 . 15 ) from the rotatable mirrors ( 1 ) to two different positions on the fixed mirror ( 2 ) and of these into the optical sensor ( 3 ) are reflected.

3D camera ( 100 ) according to claim 2, characterized in that a rotation angle of the two rotatable mirrors ( 1 ) is synchronized so that it always light rays of the same point ( 4A . 4B . 5A . 5B ) of the scene from different angles to two different positions on the fixed mirror ( 2 ) reflect.

3D camera ( 100 ) according to claim 2 or 3, characterized in that the two rotatable mirrors ( 1 ) on a surface of two rotatable cylinders ( 6 ) are mounted and parallel to a rotation axis ( 7 ) of the cylinder ( 6 ) are aligned.

3D camera ( 100 ) according to claim 2, 3 or 4, characterized in that all mirrors are designed in a narrow rectangular shape.

3D camera ( 100 ) according to one of claims 2 to 5, characterized in that the two rotatable mirrors ( 1 ) and the optical sensor ( 3 ) relative to the fixed mirror ( 2 ) are movably arranged.

3D camera ( 100 ) according to one of the preceding claims, characterized in that the optical sensor ( 3 ) is designed as a monocular camera.

Method for operating a 3D camera ( 100 ) according to any one of the preceding claims, wherein the image processing system ( 16 ) performs the following steps for calculating the three-dimensional image: - taking a luminance value of an angle of view of the rotatable mirrors ( 1 ) image taken by the monocular camera, - check for sufficiently high luminance value, - if the luminance value is less than a predetermined value: resume the luminance value, - calculate edges of objects of the recorded scene, taking advantage of the different angles of the rotatable mirrors ( 1 ), - synchronous rotation of the rotatable mirror ( 1 ) to another angle and repeat the above steps until the scene is completely captured.

Method according to Claim 8, in which the image processing system additionally receives a chrominance value from that of the optical sensor ( 3 ) is processed.

A method according to claim 8 or 9, wherein an embodiment of the Steps is limited to a given time.

Method according to Claim 7, 9 or 10, in which the image processing system ( 16 ) while running the rotatable mirrors ( 1 ) and the optical sensor ( 3 ) relative to the fixed mirror ( 2 ) with each rotation of the rotatable mirror ( 1 ) moved back and forth.