DE112020006151T5 - Bilderzeugungsvorrichtung, optisches element, bildverarbeitungssystem und bildverarbeitungsverfahren - Google Patents

Abstract

Es ist eine Bilderzeugungsvorrichtung (100) vorgesehen, die mit einem Liniensensor oder einem Flächensensor (50) mit einem von einem Hintergrund verschiedenen Seitenverhältnis und einem optischen Element (10) mit einem vorgeschriebenen Muster, das dem Liniensensor oder dem Flächensensor überlagert ist, versehen ist. Im optischen Element weist die Autokorrelationsfunktion des vorgeschriebenen Musters, das mehrere Grundmuster aufweist, die sich wiederholen, während sie räumlich zyklisch verschoben werden, einen Peak und eine Nebenkeule auf, wobei die Nebenkeule konstant oder im Wesentlichen konstant ist.

Description

• Gebiet
• Die vorliegende Offenbarung betrifft eine Bilderzeugungsvorrichtung, ein optisches Element, ein Bildverarbeitungssystem und ein Bildverarbeitungsverfahren.
• Hintergrund
• Im Allgemeinen kann eine linsenlose Kamera (Bilderzeugungsvorrichtung) ein aufgenommenes Bild durch Anordnen einer Maske (eines optischen Elements), die durch Anordnen lichtdurchlässiger Filter und lichtundurchlässiger Filter in einem zweidimensionalen Muster vor einem Bildsensor ausgelegt ist, und Rekonstruieren einer Szene anhand Beobachtungsdaten des Bildsensors erhalten werden. Beispielsweise werden in der linsenlosen Kamera Informationen in der Art der Weise, in der Licht über die Maske auf den Bildsensor projiziert wird, vorab als Matrix definiert und wird ein aufgenommenes Bild einer eigentlichen Szene unter Verwendung der Matrix und der Beobachtungsdaten des Bildsensors rekonstruiert. Weil eine solche linsenlose Kamera eine optische Linse oder dergleichen nicht verwendet, können eine Verkleinerung, Gewichtsverringerung, Kostenverringerung und dergleichen der Bilderzeugungsvorrichtung verwirklicht werden.
• Zitatliste
• Patentliteratur
• Patentliteratur 1: US 8.746.569
• Patentliteratur 2: WO 2016/123529 A
• Patentliteratur 3: WO 2018/023039 A
• Patentliteratur 4: US 4.209.780
• Patentliteratur 5: WO 2018/064660 A
• Patentliteratur 6: US 2015/0219808 A
• Nicht-Patentliteratur
• Nicht-Patentliteratur 1: UNIFORMLY REDUNDANT ARRAYS, A. BUSBOOM, H. ELDERS-BOLL UND H. D. SCHOTTEN, 1997
• Nicht-Patentliteratur 2: LiSens - A Scalable Architecture for Video Compressive Sensing, Jian Wang, Mohit Gupta und Aswin C. Sankaranarayanan, ICCP, 2015
• Nicht-Patentliteratur 3: An angle-sensitive CMOS imager for single-sensor 3D photograph, Albert Wang; Patrick R. Gill; Alyosha Molnar, IEEE, 2011
• Nicht-Patentliteratur 4: Video from Stills: Lensless Imaging with Rolling Shutter, Nick Antipa, Patrick Oare, Emrah Bostan, Ren Ng, Laura Waller; ICCP 2019
• Nicht-Patentliteratur 5: Binary arrays with perfect odd-periodic autocorrelation, Hans Dieter Luke und Axel Busboom; 10. September 1997/Band 36, Nr. 26/APPLIED OPTICS/S. 6612 - 6619
• Nicht-Patentliteratur 6: Hexagonal uniformly redundant arrays for coded-aperture imaging, M. H. Finger, T. A. Prince, In NASA. Goddard Space Flight Center 19th Intern. Cosmic Ray Conf., Band. 3 S. 295 - 298
• Kurzfassung
• Technisches Problem
• Bei einer herkömmlichen Bilderzeugungsvorrichtung sind das Seitenverhältnis (Longitudinal/Lateral-Verhältnis) einer abzubildenden Szene und das Seitenverhältnis eines Bildsensors, der Licht von der Szene empfängt, jedoch im Allgemeinen gleich oder ähnlich. Zusätzlich ist es auch bei der linsenlosen Kamera, falls das Seitenverhältnis der Szene vom Seitenverhältnis des Bildsensors stark verschieden ist, schwierig, das aufgenommene Bild der eigentlichen Szene zu rekonstruieren, ohne die Qualität zu verschlechtern.
• Daher schlägt die vorliegende Offenbarung eine Bilderzeugungsvorrichtung, ein optisches Element, ein Bildverarbeitungssystem und ein Bildverarbeitungsverfahren vor, die durch die Verwendung eines Bildsensors mit einem vom Seitenverhältnis der Szene verschiedenen Seitenverhältnis in der Lage sind, ein aufgenommenes Bild einer eigentlichen Szene einfach zu rekonstruieren, ohne dass die Qualität verschlechtert wird.
• Lösung des Problems
• Gemäß der vorliegenden Offenbarung ist eine Bilderzeugungsvorrichtung vorgesehen. Die Bilderzeugungsvorrichtung weist einen Liniensensor oder einen Flächensensor mit einem vom Seitenverhältnis einer Szene verschiedenen Seitenverhältnis und ein optisches Element mit einem vorgegebenen Muster, das dem Liniensensor oder dem Flächensensor überlagert ist, auf. Im optischen Element weist eine Autokorrelationsfunktion des vorgegebenen Musters, einschließlich mehrerer Grundmuster, die sich wiederholen, während sie periodisch räumlich verschoben werden, einen Peak und Nebenkeulen auf und sind die Nebenkeulen konstant oder im Wesentlichen konstant.
• Ferner ist gemäß der vorliegenden Offenbarung ein optisches Element vorgesehen. Das optische Element weist ein vorgegebenes Muster auf und ist einem Liniensensor oder einem Flächensensor mit einem vom Seitenverhältnis einer Szene verschiedenen Seitenverhältnis überlagert. Im optischen Element weist eine Autokorrelationsfunktion des vorgegebenen Musters, einschließlich mehrerer Grundmuster, die sich wiederholen, während sie periodisch räumlich verschoben werden, einen Peak und Nebenkeulen auf und sind die Nebenkeulen konstant oder im Wesentlichen konstant.
• Ferner ist gemäß der vorliegenden Offenbarung ein Bildverarbeitungssystem vorgesehen. Das Bildverarbeitungssystem weist Folgendes auf: eine Erfassungseinheit, die Beobachtungsdaten erfasst, die durch einen Liniensensor oder einen Flächensensor mit einem vom Seitenverhältnis einer Szene verschiedenen Seitenverhältnis auf der Grundlage von Licht von der Szene, das von einem optischen Element mit einem vorgegebenen Muster, das dem Liniensensor oder dem Flächensensor überlagert ist, durchgelassen wird, beobachtet werden, und eine Verarbeitungseinheit, die ein aufgenommenes Bild der Szene durch Rekonstruieren der Beobachtungsdaten erzeugt. Im optischen Element weist eine Autokorrelationsfunktion des vorgegebenen Musters, einschließlich mehrerer Grundmuster, die sich wiederholen, während sie periodisch räumlich verschoben werden, einen Peak und Nebenkeulen auf und sind die Nebenkeulen konstant oder im Wesentlichen konstant.
• Ferner ist gemäß der vorliegenden Offenbarung ein Bildverarbeitungsverfahren vorgesehen. Das Bildverarbeitungsverfahren weist Folgendes auf: Erfassen von Beobachtungsdaten, die durch einen Liniensensor oder einen Flächensensor mit einem vom Seitenverhältnis einer Szene verschiedenen Seitenverhältnis auf der Grundlage von Licht von der Szene, das von einem optischen Element mit einem vorgegebenen Muster, das dem Liniensensor oder dem Flächensensor überlagert ist, durchgelassen wird, beobachtet werden, und Erzeugen eines aufgenommenen Bilds der Szene durch Rekonstruieren der Beobachtungsdaten. Im optischen Element weist eine Autokorrelationsfunktion des vorgegebenen Musters, einschließlich mehrerer Grundmuster, die sich wiederholen, während sie periodisch räumlich verschoben werden, einen Peak und Nebenkeulen auf und sind die Nebenkeulen konstant oder im Wesentlichen konstant.
• Figurenliste
• Es zeigen:
• 1 ein Diagramm zur Erklärung eines Prinzips einer linsenlosen Kamera,
• 2 ein Diagramm zur Erklärung eines Beispiels einer Konfiguration einer Bilderzeugungsvorrichtung 100 gemäß einer Ausführungsform der vorliegenden Offenbarung,
• 3 ein Diagramm zur Erklärung eines Beispiels einer Konfiguration einer binären Maske 10 gemäß dem Stand der Technik,
• 4 ein Diagramm zur Erklärung eines Verfahrens zum Erzeugen eines zweidimensionalen Musters gemäß einer Ausführungsform der vorliegenden Offenbarung,
• 5 ein Diagramm (Teil 1) zur Erklärung einer Ausführungsform der vorliegenden Offenbarung,
• 6 ein Diagramm (Teil 1) zur Erklärung eines Verfahrens zum Erzeugen einer binären Maske 10 gemäß der vorliegenden Ausführungsform,
• 7 ein Diagramm (Teil 2) zur Erklärung des Verfahrens zum Erzeugen der binären Maske 10 gemäß der vorliegenden Ausführungsform,
• 8 ein Diagramm (Teil 2) zur Erklärung der Ausführungsform der vorliegenden Offenbarung,
• 9 ein Diagramm (Teil 3) zur Erklärung der Ausführungsform der vorliegenden Offenbarung,
• 10 ein Diagramm (Teil 4) zur Erklärung der Ausführungsform der vorliegenden Offenbarung,
• 11 ein Diagramm (Teil 5) zur Erklärung der Ausführungsform der vorliegenden Offenbarung,
• 12 ein Diagramm (Teil 1) zur Erklärung eines Rolling-Shutter-Systems gemäß einer Ausführungsform der vorliegenden Offenbarung,
• 13 ein Diagramm (Teil 2) zur Erklärung des Rolling-Shutter-Systems gemäß der Ausführungsform der vorliegenden Offenbarung,
• 14 ein Diagramm (Teil 3) zur Erklärung des Rolling-Shutter-Systems gemäß der Ausführungsform der vorliegenden Offenbarung,
• 15 ein Diagramm (Teil 4) zur Erklärung des Rolling-Shutter-Systems gemäß der Ausführungsform der vorliegenden Offenbarung,
• 16 ein Diagramm (Teil 5) zur Erklärung des Rolling-Shutter-Systems gemäß der Ausführungsform der vorliegenden Offenbarung,
• 17 ein Diagramm (Teil 6) zur Erklärung des Rolling-Shutter-Systems gemäß der Ausführungsform der vorliegenden Offenbarung,
• 18 ein Diagramm zur Erklärung eines ersten Beispiels im Rolling-Shutter-System,
• 19 ein Diagramm zur Erklärung einer binären Maske 10 gemäß einem modifizierten Beispiel der Ausführungsform der vorliegenden Offenbarung,
• 20 ein Diagramm einer binären Maske 10 gemäß einem dritten Beispiel,
• 21 ein Diagramm einer binären Maske 10 gemäß einem vierten Beispiel,
• 22 ein Blockdiagramm eines Beispiels einer Funktionskonfiguration einer Bildverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung,
• 23 ein Flussdiagramm eines Bildverarbeitungsverfahrens gemäß einer Ausführungsform der vorliegenden Offenbarung,
• 24 ein Hardwarekonfigurationsdiagramm eines Beispiels eines Computers 1000, der Funktionen der Bildverarbeitungsvorrichtung 200 gemäß der Ausführungsform der vorliegenden Offenbarung implementiert,
• 25 ein Diagramm eines Beispiels einer schematischen Konfiguration eines endoskopischen Operationssystems,
• 26 ein Blockdiagramm eines Beispiels von Funktionskonfigurationen eines Kamerakopfs und einer CCU,
• 27 ein Blockdiagramm eines Beispiels einer schematischen Konfiguration eines Fahrzeugsteuersystems und
• 28 ein Diagramm zur Erklärung eines Beispiels von Installationspositionen einer Einheit zur Erfassung fahrzeugexterner Informationen und einer Bilderzeugungseinheit.
• Beschreibung von Ausführungsformen
• Nachstehend werden bevorzugte Ausführungsformen der vorliegenden Offenbarung detailliert mit Bezug auf die anliegenden Zeichnungen beschrieben. Es sei bemerkt, dass in der vorliegenden Beschreibung und den Zeichnungen Komponenten, die im Wesentlichen die gleiche Funktionskonfiguration aufweisen, mit den gleichen Bezugszeichen bezeichnet sind, und dass auf eine redundante Beschreibung verzichtet wird. Ferner können in der vorliegenden Beschreibung und den Zeichnungen ähnliche Komponenten verschiedene Ausführungsformen durch Hinzufügen unterschiedlicher Buchstaben nach den gleichen Bezugszeichen unterschieden werden. Falls es nicht erforderlich ist, besonders zwischen jeweiligen ähnlichen Komponenten zu unterscheiden, wird jedoch nur das gleiche Bezugszeichen zugewiesen.
• Eine Ausführungsform der nachstehend beschriebenen vorliegenden Offenbarung wird anhand eines Beispiels beschrieben, bei dem die vorliegende Offenbarung auf eine linsenlose Kamera angewendet wird. Die Ausführungsform der vorliegenden Offenbarung ist jedoch nicht darauf beschränkt, auf die vorstehend beschriebene linsenlose Kamera angewendet zu werden, und sie kann auch auf andere Bilderzeugungssysteme und dergleichen angewendet werden.
• Ferner bedeuten in der folgenden Beschreibung im Wesentlichen konstante Nebenkeulen nicht nur einen mathematisch konstanten Fall, sondern auch einen Fall, in dem es eine zulässige Differenz bei der Rekonstruktion eines aufgenommenen Bilds gibt, wie später beschrieben (beispielsweise in Hinblick auf die Qualität des durch die Rekonstruktion oder dergleichen erhaltenen aufgenommenen Bilds).
• Es sei bemerkt, dass die Beschreibung in der folgenden Reihenfolge erfolgt.
• 1. Prinzip der linsenlosen Kamera
• 2. Hintergrund bis zur Erzeugung der Ausführungsform gemäß der vorliegenden Offenbarung
• 3. Ausführungsformen
  • 3.1 Optisches Element
  • 3.2 Verfahren zur Erzeugung eines zweidimensionalen Musters
  • 3.3 Nichtübereinstimmung zwischen Seitenverhältnis der Szene und Seitenverhältnis des Bildsensors
  • 3.4 Beispiel einer binären Maske 10
  • 3.5 Anderes Beispiel der binären Maske 10
  • 3.6 Abbildung einer eindimensionalen Szene durch zweidimensionalen Bildsensor (Flächensensor)
  • 3.7 Abbildung einer zweidimensionalen Szene durch eindimensionalen Bildsensor (Liniensensor)
  • 3.8 Abbildung einer zweidimensionalen Szene durch zweidimensionalen Bildsensor (Flächensensor)
  • 3.9 Rolling-Shutter-System
  • 3.10 Bildverarbeitungsvorrichtung
  • 3.11 Bildverarbeitungsverfahren
  • 3.12 Zusammenfassung
• 4. Hardwarekonfiguration
• 5. Anwendungsbeispiel auf endoskopisches Operationssystem
• 6. Anwendungsbeispiel auf mobilen Körper
• 7. Ergänzung
• <<1. Prinzip der linsenlosen Kamera>>
• Zuerst werden, bevor Einzelheiten einer Ausführungsform der vorliegenden Offenbarung beschrieben werden, ein Umriss und ein Prinzip einer linsenlosen Kamera (Bilderzeugungsvorrichtung) mit Bezug auf 1 beschrieben. 1 ist ein erklärendes Diagramm zur Beschreibung eines Prinzips einer linsenlosen Kamera. Wie in 1 dargestellt ist, weist eine Bilderzeugungsvorrichtung (eine linsenlose Kamera) 100 eine binäre Maske (ein optisches Element) 10 und einen Bildsensor 50 auf. Die binäre Maske 10 ist beispielsweise eine Maske mit einem vorgegebenen Muster, das mehrere lichtdurchlässige Filter 12 und mehrere lichtundurchlässige Filter (nicht dargestellt), die in einem zweidimensionalen Gittermuster angeordnet sind, aufweist. Ferner weist der Bildsensor 50 mehrere Pixel 52 auf, die in einem zweidimensionalen Gittermuster oder in einer Spalte (oder einer Zeile) auf einer Lichtempfangsfläche angeordnet sind. Dann empfängt jedes der Pixel 52 Licht von jedem Punkt einer abzubildenden Szene, wodurch ein elektronisches Signal (Beobachtungsdaten) erzeugt wird. Ferner kann in der linsenlosen Kamera ein aufgenommenes Bild einer eigentlichen Szene durch Projizieren des elektronischen Signals auf eine Position auf einer Ebene entsprechend einer Position des entsprechenden Pixels 52 erhalten werden. Dabei läuft Licht von jedem Punkt der Szene durch die lichtdurchlässigen Filter 12 der binären Maske 10 und wird von jedem der Pixel 52 des Bildsensors 50 empfangen.
• Ferner werden Einzelheiten des Abbildungsprinzips in der Bilderzeugungsvorrichtung 100 beschrieben. Nachstehend wird Licht von jedem Punkt der abzubildenden Szene als Licht von jeder der in 1 dargestellten Lichtquellen a, b und c beschrieben. Beispielsweise tritt beim in 1 dargestellten Beispiel Licht von der Lichtquelle a durch die lichtdurchlässigen Filter 12 der binären Maske 10 und wird durch Pixel 52d, 52e und 52f empfangen. Ferner tritt Licht von der Lichtquelle b durch die lichtdurchlässigen Filter 12 der binären Maske 10 und wird durch die Pixel 52d, 52e und 52f empfangen. Überdies tritt Licht von der Lichtquelle c durch die lichtdurchlässigen Filter 12 der binären Maske 10 und wird durch die Pixel 52d, 52e und 52f empfangen. Daher lassen sich, falls die Lichtintensitäten der Lichtquellen a, b und c a, b und c sind, die durch die Pixel 52d, 52e und 52f empfangenen Lichtintensitäten Id, Ie und If durch die folgende Formel (1) ausdrücken. Es sei bemerkt, dass in Formel (1) α₁ bis α₃, β₁ bis β₃ und γ₁ bis γ₃ Transmissionskoeffizienten der lichtdurchlässigen Filter 12 der binären Maske 10 sind.
• $$\begin{array}{l}{\text{l}}_{\text{d}}={\mathrm{\alpha }}_1\times \text{a}+{\mathrm{\beta }}_1\times \text{b}+{\mathrm{\gamma }}_1\times \text{c}\\ {\text{l}}_{\text{e}}={\mathrm{\alpha }}_2\times \text{a}+{\mathrm{\beta }}_2\times \text{b}+{\mathrm{\gamma }}_2\times \text{c}\\ {\text{l}}_{\text{f}}={\mathrm{\alpha }}_3\times \text{a}+{\mathrm{\beta }}_3\times \text{b}+{\mathrm{\gamma }}_3\times \text{c}\end{array}$$

  
• Wie anhand der vorstehenden Formel (1) ersichtlich ist, ist das von jedem der Pixel 52d, 52e und 52f empfangene Licht eine Mischung des von jeder der Lichtquellen a, b und c emittierten Lichts und weist nicht nur das Licht (beispielsweise Licht von einer Lichtquelle aus 1) von einem in der tatsächlichen Szene enthaltenen Objekt auf. Dementsprechend ist ein anfängliches aufgenommenes Bild der eigentlichen Szene, das von der Bilderzeugungsvorrichtung 100 erfasst werden kann, kein Bild des in der Szene enthaltenen Objekts und ist infolge der Überlagerung des Bilds unscharf. Daher wird bei der Abbildung unter Verwendung der Bilderzeugungsvorrichtung 100 zum Erhalten eines aufgenommenen Bilds einer eigentlichen Szene in der Art eines gebildeten Objekts ein aufgenommenes Bild einer eigentlichen Szene in der Art eines gewünschten Objekts anhand des überlagerten Bilds rekonstruiert.
• Hier kann, falls von mehreren Punkten in einer Szene emittiertes Licht als Lichtvektor X ausgedrückt wird und Beobachtungsdaten der mehreren Pixel 52, die das Licht empfangen, als Beobachtungswertvektor Y ausgedrückt werden, eine Beziehung zwischen dem Lichtvektor X und dem Beobachtungswertvektor Y durch die folgende Formel (2) ausgedrückt werden.
• $$\overrightarrow{\text{Y}}=\text{F}\overrightarrow{\text{X}}$$

  
• Es sei bemerkt, dass F in der vorstehenden Formel (2) eine Matrix ist, die den Transmissionskoeffizienten jedes der lichtdurchlässigen Filter 12 der binären Maske 10 mit dem zweidimensionalen Muster repräsentiert.
• Daher kann bei der Abbildung unter Verwendung der Bilderzeugungsvorrichtung 100 zum Rekonstruieren des aufgenommenen Bilds der eigentlichen Szene in der Art des gebildeten Objekts der die vorstehende Formel (2) erfüllende Lichtvektor X für das Licht vom Objekt oder dergleichen in der Szene anhand des Beobachtungswertvektors Y erhalten werden. Insbesondere kann der Lichtvektor X, weil der Beobachtungswertvektor Y durch den Bildsensor 50 klar wird, durch Auflösen der Matrix F nach X berechnet werden. Zu diesem Zweck muss das Muster der binären Maske 10 eine Bedingung zum Erhalten der Lösung erfüllen.
• <<2. Hintergrund bis zur Erzeugung der Ausführungsform gemäß der vorliegenden Offenbarung>>
• Als nächstes wird angesichts der vorstehend beschriebenen Situation der Hintergrund bis zur Erzeugung der Ausführungsform gemäß der vorliegenden Offenbarung durch die vorliegenden Erfinder beschrieben.
• Es sei bemerkt, dass bei einer herkömmlichen Bilderzeugungsvorrichtung das Seitenverhältnis einer abzubildenden Szene und das Seitenverhältnis des Bildsensors 50, der Licht von der Szene empfängt, im Allgemeinen gleich oder ähnlich sind, weil Licht unter Verwendung einer optischen Linse oder eines Spiegels auf dem Bildsensor 50 gesammelt wird.
• Beispielsweise beschreibt Patentliteratur 1 eine Abbildung unter Verwendung eines zweidimensionalen Bildsensors mit einem Seitenverhältnis, das von jenem einer eindimensionalen Szene verschieden ist. Insbesondere wird bei der vorstehend beschriebenen Patentliteratur 1 eine Abbildung eines einzelnen (eindimensionalen) Strichcodes durch einen zweidimensionalen Bildsensor durch die Verwendung mehrerer Spiegel und optischer Linsen ermöglicht. Das heißt, dass in der vorstehend beschriebenen Patentliteratur 1 eine Abbildung selbst dann erfolgen kann, wenn das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors nicht übereinstimmen, es jedoch, weil mehrere Spiegel und optische Linsen benötigt werden, unvermeidlich ist, dass die Konfiguration der Bilderzeugungsvorrichtung kompliziert wird. Ferner wird in der vorstehend beschriebenen Nicht-Patentliteratur 2 eine Abbildung einer zweidimensionalen Szene durch einen eindimensionalen Bildsensor (Liniensensor) durch die Verwendung eines komprimierten Erfassungsverfahrens ermöglicht. Während das Seitenverhältnis einer abbildbaren Szene in Patentliteratur 1 begrenzt ist, gibt es bei einer in Nicht-Patentliteratur 2 vorgeschlagenen Technik eine solche Beschränkung nicht. Bei der vorstehend beschriebenen Nicht-Patentliteratur 2 ist es jedoch, wenn ein aufgenommenes Bild einer Szene rekonstruiert wird, erforderlich, mehrere Male abzubilden. Ferner wird in der vorstehend beschriebenen Nicht-Patentliteratur 2 eine komplizierte Konfiguration in der Art einer digitalen Mikrospiegelvorrichtung (DMD) für die Abbildung benötigt.
• Daher wurde zur Überwindung der vorstehend beschriebenen Nachteile von Patentliteratur 1 und Nicht-Patentliteratur 2 die Verwendung einer linsenlosen Kamera untersucht. Dies liegt daran, dass die linsenlose Kamera keine optische Linse oder dergleichen und demgemäß keine komplizierte Konfiguration benötigt. Als solche alternative Technik kann beispielsweise eine in Nicht-Patentliteratur 4 offenbarte Technik erwähnt werden. Insbesondere wird in der vorstehend beschriebenen Nicht-Patentliteratur 4 anstelle der optischen Linse eine Pseudozufällige-Phasendiffusion-Platte verwendet. Die Diffusionsplatte projiziert Licht von jedem Punkt einer zweidimensionalen Szene als kondensierendes Muster mit einer Pseudozufälligkeit und einem hohen Kontrast auf einen Bildsensor. Dann kann bei der in der vorstehend beschriebenen Nicht-Patentliteratur 4 offenbarten Technik ein aufgenommenes Bild einer zweidimensionalen Szene durch vom Bildsensor erfasste Beobachtungsdaten (Signal) rekonstruiert werden. Ferner können bei der in der vorstehend beschriebenen Nicht-Patentliteratur 4 offenbarten Technik mehrere aufeinander folgende mit einer hohen Bildwiederholungsrate aufgenommene Bilder anhand einer Abbildung durch ein Rolling-Shutter-System erfasst werden. Ferner weisen in der vorstehend beschriebenen Nicht-Patentliteratur 4 die durch den Bildsensor erfassten Beobachtungsdaten (Signal) eine Autokorrelationsfunktion mit einem scharfen Peak und sehr kleinen Nebenkeulen in Bezug auf den Peak auf, weil das kondensierende Muster durch die Diffusionsplatte einen hohen Kontrast und Pseudozufälligkeit aufweist. Daher können durch die Diffusionsplatte, die in der Lage ist, das vorstehend beschriebene kondensierende Muster zu erzeugen, Beobachtungsdaten mit der vorstehend beschriebenen Autokorrelationsfunktion erhalten werden, so dass die vorstehende Formel (2) gelöst werden kann. Deshalb kann bei der in Nicht-Patentliteratur 4 offenbarten Technik ein aufgenommenes Bild einer eigentlichen Szene anhand der durch den Bildsensor erfassten Beobachtungsdaten rekonstruiert werden.
• Anhand von den vorliegenden Erfindern vorgenommener wiederholter Untersuchungen ist jedoch klar geworden, dass die in Nicht-Patentliteratur 4 offenbarte Technik die folgenden Nachteile aufweist.
• Erstens projiziert in der vorstehend beschriebenen Nicht-Patentliteratur 4 die Diffusionsplatte das kondensierende Muster mit einer Pseudozufälligkeit und einem hohen Kontrast. In der vorstehend beschriebenen Nicht-Patentliteratur 4 hat die Autokorrelationsfunktion des kondensierenden Musters zwar einen scharfen Peak und sehr kleine Nebenkeulen in Bezug auf den Peak, die Nebenkeulen sind jedoch nicht konstant (gleichmäßig). Dann wird es in der vorstehend beschriebenen Nicht-Patentliteratur 4 in einem Fall, in dem das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors nicht übereinstimmen, schwierig, die vorstehende Formel (2) zu lösen, weil die Nebenkeulen nicht konstant sind. Daher ist in der vorstehend beschriebenen Nicht-Patentliteratur 4 die Qualität des rekonstruierten aufgenommenen Bilds der eigentlichen Szene verschlechtert. Es sei bemerkt, dass gemäß der Untersuchung der vorliegenden Erfinder selbst dann, wenn das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors nicht übereinstimmen, die vorstehende Formel (2) effizient und robust nach X aufgelöst werden kann, falls die Autokorrelationsfunktion einen scharfen Peak, sehr kleine Nebenkeulen in Bezug auf den Peak und ferner im Wesentlichen konstante (wünschenswerterweise konstante) Nebenkeulen (falls die Autokorrelationsfunktion durch eine Deltafunktion genähert werden kann) aufweist. Falls die Berechnung auf diese Weise ausgeführt werden kann, kann dann eine Verschlechterung der Qualität des rekonstruierten aufgenommenen Bilds vermieden werden.
• Zusätzlich ist es in der vorstehend beschriebenen Nicht-Patentliteratur 4 infolge der Pseudozufälligkeit des Musters der Diffusionsplatte schwierig, ein spärliches Abtasten durch den Bildsensor zu vermeiden. Daher besteht in der vorstehend beschriebenen Nicht-Patentliteratur 4, weil die Abtastung spärlich ist, in einem Fall, in dem das aufgenommene Bild der eigentlichen Szene anhand der spärlich abgetasteten Beobachtungsdaten (Signal) rekonstruiert wird, eine hohe Wahrscheinlichkeit, dass die Qualität und Gleichmäßigkeit verschlechtert sind. Dementsprechend wird zum Lösen des vorstehend erwähnten durch die spärliche Abtastung hervorgerufenen Problems in der vorstehend beschriebenen Nicht-Patentliteratur 4 eine Kompressionserfassung auf jede Abtastlinie (insbesondere weist eine Abtastlinie mehrere entlang einer Zeilenrichtung angeordnete Pixel auf) des Bildsensors angewendet. Es ist jedoch schwierig, ein solches Verfahren auf die Abbildung einer Szene mit einer hohen räumlichen oder zeitlichen Dichte anzuwenden und eine Erhöhung der Bildverarbeitungslast in einem Bildverarbeitungssystem zu vermeiden.
• Ferner ist in der vorstehend beschriebenen Nicht-Patentliteratur 4 eine Kalibrierung einer Bilderzeugungsvorrichtung erforderlich, um die vorstehend beschriebene Diffusionsplatte zu verwenden.
• Daher haben die vorliegenden Erfinder angesichts einer solchen Situation die nachstehend beschriebenen Ausführungsformen der vorliegenden Offenbarung erzeugt. Gemäß der Ausführungsform der vorliegenden Offenbarung wird durch die Verwendung eines nachstehend beschriebenen optischen Elements (beispielsweise einer binären Maske 10) jeder Bestandteil von Beobachtungsdaten (Signal) auf der Grundlage von Licht von jedem Punkt einer überlagerten und in jedem Pixel (Gebiet) 52 des Bildsensors 50 erfassten Szene codiert. Weil das optische Element ein vorgegebenes Muster mit einer Autokorrelationsfunktion, die einen scharfen Peak und sehr kleine Nebenkeulen in Bezug auf den Peak hat, aufweist, kann die vorstehende Formel (2) dann nach X aufgelöst werden. Dadurch kann gemäß der Ausführungsform der vorliegenden Offenbarung ein aufgenommenes Bild einer tatsächlichen Szene anhand der Beobachtungsdaten rekonstruiert werden.
• Ferner kann die vorstehende Formel (2) selbst dann effizient und robust nach X aufgelöst werden, wenn das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors nicht übereinstimmen, weil das vorgegebene Muster des optischen Elements im Wesentlichen konstante (wünschenswerterweise konstante) (gleichmäßige) Nebenkeulen aufweist. Daher kann gemäß der Ausführungsform der vorliegenden Offenbarung eine Verschlechterung der Qualität des rekonstruierten aufgenommenen Bilds vermieden werden. Ferner kann durch Falten eines eindimensionalen Musters mit einer Autokorrelationsfunktion, die im Wesentlichen konstante (wünschenswerterweise konstante) Nebenkeulen aufweist, auf der Grundlage einer vorgegebenen Regel leicht ein zweidimensionales vorgegebenes Muster erzeugt werden, das mehrere zweidimensionale Grundmuster aufweist, die sich wiederholen, während sie periodisch im optischen Element räumlich verschoben werden.
• Das heißt, dass gemäß einer solchen Ausführungsform der vorliegenden Offenbarung, selbst dann, wenn das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors nicht übereinstimmen, das aufgenommene Bild der eigentlichen Szene unter Verwendung der Bilderzeugungsvorrichtung 100 mit einer einfachen Konfiguration leicht rekonstruiert werden kann, ohne dass die Qualität verschlechtert wird. Gemäß der vorliegenden Ausführungsform kann beispielsweise ein einzelner (eindimensionaler) Strichcode durch den zweidimensionalen Bildsensor 50 abgebildet werden und kann eine zweidimensionale Szene durch den eindimensionalen Bildsensor (Liniensensor) 50 abgebildet werden.
• Ferner kann gemäß der Ausführungsform der vorliegenden Offenbarung durch geeignetes Ausbilden des optischen Elements, so dass es das vorstehend beschriebene Muster aufweist, eine Kalibrierung des Bilderzeugungssystems unnötig gemacht werden und schließlich eine Abbildung leicht ausgeführt werden, weil die Bilderzeugungsvorrichtung eine einfache Konfiguration aufweist.
• Ferner kann gemäß der Ausführungsform der vorliegenden Offenbarung beispielsweise die binäre Maske 10 mit einem vorgegebenen Muster, welche die in einem zweidimensionalen Gittermuster angeordneten lichtdurchlässigen Filter 12 und lichtundurchlässigen Filter (nicht dargestellt) aufweist, als optisches Element verwendet werden. Überdies kann gemäß der Ausführungsform der vorliegenden Offenbarung beispielsweise die binäre Maske 10 mit einem vorgegebenen Muster, welche die in einem Fresnel-Muster angeordneten lichtdurchlässigen Filter 12 und lichtundurchlässigen Filter (nicht dargestellt) aufweist, als optisches Element verwendet werden. Ferner kann gemäß der Ausführungsform der vorliegenden Offenbarung beispielsweise ein Beugungsgitterelement als optisches Element verwendet werden. Das heißt, dass gemäß der vorliegenden Ausführungsform ausgesagt werden kann, dass der Freiheitsgrad beim Entwurf des optischen Elements hoch ist.
• Ferner können gemäß der vorliegenden Ausführungsform, wie vorstehend beschrieben, die jeweiligen Beobachtungsdaten (Signale) auf der Grundlage des Lichts von jedem Punkt der in jedem Pixel (Gebiet) 52 des Bildsensors 50 überlagerten und erfassten Szene codiert werden. Daher können gemäß der vorliegenden Ausführungsform selbst bei einer Anwendung auf das Rolling-Shutter-System mehrere aufeinander folgende mit einer hohen Bildwiederholungsrate aufgenommene Bilder in einer Abbildung erfasst werden. Ferner ist es gemäß der vorliegenden Ausführungsform einfach, jeder Abtastlinie oder jeder Abtastliniengruppe (insbesondere jede Abtastliniengruppe, die eine vorgegebene Anzahl von Abtastlinien aufweist) des Bildsensors 50 entsprechende Beobachtungsdaten zu spezifizieren. Überdies kann gemäß der vorliegenden Ausführungsform die Qualität zwischen den durch Rekonstruieren der in jeder Abtastlinie oder jeder Abtastliniengruppe erfassten Beobachtungsdaten erhaltenen aufgenommenen Bildern gleichmäßig gehalten werden.
• Nachstehend werden Einzelheiten der Ausführungsformen der vorliegenden Offenbarung der vorliegenden Erfinder nacheinander beschrieben.
• <<3. Ausführungsformen>>
• <3.1 Optisches Element>
• Zuerst wird ein optisches Element gemäß einer Ausführungsform der vorliegenden Offenbarung mit Bezug auf die 2 und 3 beschrieben. 2 ist ein Diagramm zur Erklärung eines Beispiels einer Konfiguration einer Bilderzeugungsvorrichtung 100 gemäß der vorliegenden Ausführungsform, und 3 ist ein Diagramm zur Erklärung eines Beispiels einer Konfiguration einer binären Maske 10 gemäß dem Stand der Technik.
• Demgegenüber offenbart die vorstehend beschriebene Nicht-Patentliteratur 5, dass ein Muster einer als Beispiel eines optischen Elements verwendeten binären Maske durch Falten einer vorgegebenen eindimensionalen Sequenz auf der Grundlage einer vorgegebenen Regel zur Bildung eines zweidimensionalen Felds erhalten wird. Die in Nicht-Patentliteratur 5 offenbarte binäre Maske wird jedoch in einem Fall angewendet, in dem das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors gleich sind. Daher haben die vorliegenden Erfinder eine eingehende Untersuchung vorgenommen und herausgefunden, dass die binäre Maske 10 durch Hinzufügen nachstehend beschriebener Bedingungen selbst dann angewendet werden kann, wenn das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors 50 nicht übereinstimmen. Nachstehend werden Einzelheiten der binären Maske 10 gemäß der von den vorliegenden Erfindern erzeugten Ausführungsform der vorliegenden Offenbarung beschrieben.
• Wie in 2 dargestellt ist, wird die binäre Maske (optisches Element) 10 gemäß der vorliegenden Ausführungsform einem Bildsensor (Liniensensor oder Flächensensor) 50 überlagert verwendet. Mit anderen Worten weist die Bilderzeugungsvorrichtung 100 gemäß der vorliegenden Ausführungsform, wie in 2 dargestellt, den Bildsensor 50 mit einer oder mehreren Abtastlinien (-zeilen) (insbesondere weist eine Abtastlinie mehrere entlang einer Zeilenrichtung angeordnete Pixel auf) und die dem Bildsensor 50 überlagerte binäre Maske 10 auf. Ferner weist die binäre Maske 10, wie in 2 dargestellt, mehrere Einheitselemente auf, die im Wesentlichen die gleiche Größe aufweisen wie die im Bildsensor 50 enthaltenen Pixel 52, und weist jedes der Einheitselemente ein lichtdurchlässiges Filter 12 und ein lichtundurchlässiges Filter 14 auf. Insbesondere weist die binäre Maske 10 ein vorgegebenes Muster mit mehreren in einem zweidimensionalen Gittermuster angeordneten lichtdurchlässigen Filtern 12 und lichtundurchlässigen Filtern auf. Mit anderen Worten kann ausgesagt werden, dass die binäre Maske 10 ein Typ eines optischen Elements ist.
• Ferner weist die Autokorrelationsfunktion eines auf der binären Maske 10 wiederholten vorgegebenen Musters einen scharfen Peak und sehr kleine Nebenkeulen in Bezug auf den Peak auf. Weil die vorstehende Formel (2) unter Verwendung einer solchen Maske 10 gelöst werden kann, kann ein aufgenommenes Bild einer eigentlichen Szene anhand der vom Bildsensor 50 erfassten Beobachtungsdaten (Signal) rekonstruiert werden.
• Hier wird ein Umriss eines Verfahrens zur Erzeugung eines zweidimensionalen vorgegebenen Musters aus dem Stand der Technik mit Bezug auf 3 beschrieben. Eine im oberen Teil von 3 dargestellte eindimensionale Sequenz (eindimensionales Muster) weist einen scharfen Peak und sehr kleine Nebenkeulen in Bezug auf den Peak auf. Insbesondere ist die Länge L der im oberen Teil von 3 dargestellten eindimensionalen Sequenz beispielsweise, wenn sie durch die Anzahl der Einheitselemente definiert wird, 255.
• Als nächstes wird die im oberen Teil von 3 dargestellte eindimensionale Sequenz (eindimensionales Muster) gefaltet, um ein im Mittelteil von 3 dargestelltes zweidimensionales Einheitsmuster zu erzeugen. Wenn die Größe des zweidimensionalen Einheitsmusters, wenn sie durch die Anzahl der Einheitselemente definiert wird, durch M × N ausgedrückt wird, wird das zweidimensionale Einheitsmuster so erzeugt, dass eine Bedingung erfüllt wird, nach der das Produkt (M × N) von M und N gleich der Länge L der eindimensionalen Sequenz ist, wobei M und N prim zueinander sind. Beispielsweise ist die Größe des im Mittelteil von 3 dargestellten zweidimensionalen Einheitsmusters, wenn sie durch die Anzahl der Einheitselemente definiert wird, 15 × 17, so dass die Bedingung, dass das Produkt von M und N gleich der Länge L = 255 der eindimensionalen Sequenz ist und M und N prim zueinander sind, erfüllt ist.
• Ferner kann durch Anordnen des zweidimensionalen Einheitsmusters in 2 × 2 ein im unteren Teil von 3 dargestelltes zweidimensionales vorgegebenes Muster erhalten werden. Insbesondere ist die Größe des im unteren Teil von 3 dargestellten zweidimensionalen vorgegebenen Musters (2M - 1) × (2N - 1), insbesondere 29 × 33 ((15 × 2 - 1) × (17 × 2 - 1), wenn sie durch die Anzahl der Einheitselemente definiert wird.
• Beispielsweise kann durch die Verwendung der binären Maske 10 mit dem im unteren Teil von 3 dargestellten zweidimensionalen Muster ein Lichtfluss von M × N Punkten aus einer Szene, die auf dem Bildsensor 50 mit einer durch die Anzahl der Pixel (Einheitspixel) 52 definierten Größe von M × N zyklisch zu verschieben sind, projiziert werden. Das heißt, dass die binäre Maske 10 mit dem im unteren Teil von 3 dargestellten zweidimensionalen Muster Licht von jedem der M × N Punkte der Szene codieren kann. Mit anderen Worten kann die vorstehende Formel (2) durch die Verwendung der binären Maske 10 mit dem im unteren Teil von 3 dargestellten zweidimensionalen Muster nach X aufgelöst werden. Dann kann das aufgenommene Bild der eigentlichen Szene durch Anwenden eines geeigneten Algorithmus auf die Beobachtungsdaten (Signal) auf der Grundlage des codierten Lichts von jedem der M × N Punkte der Szene rekonstruiert werden.
• Die binäre Maske 10 mit dem im unteren Teil von 3 dargestellten und hier beschriebenen zweidimensionalen Muster gemäß dem Stand der Technik wird jedoch in einem Fall angewendet, in dem das Seitenverhältnis der Szene M : N ist und das Seitenverhältnis des Bildsensors 50 auch M : N ist, d. h. in dem die Seitenverhältnisse gleich sind. Daher wird gemäß der vorliegenden Ausführungsform, wie vorstehend beschrieben, die binäre Maske 10 durch Hinzufügen der vorstehend beschriebenen Bedingungen selbst dann anwendbar gemacht, wenn das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors 50 nicht übereinstimmen.
• <3.2 Verfahren zur Erzeugung eines zweidimensionalen Musters>
• Als nächstes wird ein Verfahren zum Erzeugen eines zweidimensionalen Musters der binären Maske 10, das selbst dann angewendet werden kann, wenn das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors 50 nicht übereinstimmen, gemäß der vorliegenden Ausführungsform mit Bezug auf 4 beschrieben. 4 ist ein Diagramm zur Erklärung eines Verfahrens zum Erzeugen eines zweidimensionalen Musters gemäß der vorliegenden Ausführungsform.
• Insbesondere zeigt 4 ein zu erzeugendes zweidimensionales vorgegebenes Muster. Das zweidimensionale vorgegebene Muster weist mehrere Einheitsfelder s(x, y) auf, und s(x, y) weist eine Größe N_x × N_y auf. Es wird angenommen, dass N_x × N_y auch die Größe des Bildsensors 50 ist. Ferner ist hier die Auflösung der Szene P_x × P_y und ist das Seitenverhältnis P_x : P_y. Dann kann, wie in 4 dargestellt ist, in einem Fall, in dem mehrere Einheitsfelder s(x, y) so angeordnet werden, dass sie einen Versatz D entlang einer Y-Achsenrichtung aufweisen, ein zweidimensionales vorgegebenes Muster, das eine solche Anzahl von Einheitsfeldern s(x, y) aufweist, durch die folgende Formel (3) ausgedrückt werden:
• $$\tilde{\text{s}}\left(\text{x},\text{y}\right)=\text{s}\left({\text{x mod N}}_{\text{x}},\text{y}-\text{D}\lfloor \frac{\text{X}}{{\text{N}}_{\text{x}}}\rfloor {\text{ mod N}}_{\text{y}}\right)$$

  
• Dann kann auf der Grundlage der vorstehenden Formel (3) eine Autokorrelationsfunktion eines vorgegebenen Musters, das ein zweidimensionales vorgegebenes Muster aufweist, das die mehreren Einheitsfelder s(x, y) aufweist, die wiederholt werden, während sie periodisch um den Versatz D räumlich verschoben werden, durch die folgende Formel (4) ausgedrückt werden.
• $${\tilde{\phi }}_{\text{ss}}\left(\text{l},\text{k}\right)={\displaystyle \sum _{\text{x}=0}^{{\text{N}}_{\text{x}}-1}{\displaystyle \sum _{\text{y}=0}^{{\text{N}}_{\text{y}}-1}\text{s}\left(\text{x},\text{y}\right)\tilde{\text{s}}\left(\text{x}+\text{l},\text{y}+\text{k}\right)}}$$

  
• Die Nebenkeule der Autokorrelationsfunktion ist durch die folgende Formel (5) definiert:
• $${\tilde{\phi }}_{\text{ss}}\left(\text{l},\text{k}\right)\left|0\le \text{l}<a\mathrm{,0}\le k<b,\left(\text{l},\text{k}\right)\ne \left(\mathrm{0,0}\right)\right|$$

  
• Daher ist die Nebenkeule, indem sie die folgende Formel (6) erfüllt, idealerweise null, d. h. die Nebenkeule ist konstant.
• $${\tilde{\phi }}_{\text{ss}}\left(\text{l},\text{k}\right)=\mathrm{0,}\text{ for }0\le \text{l}<{\text{P}}_{\text{x}}\mathrm{,0}\le \text{k}<{\text{P}}_{\text{y}},\left(\text{l},\text{k}\right)\ne \left(\mathrm{0,0}\right)$$

  
• Hier wird ein Fall betrachtet, in dem das Einheitsfeld s(x, y) durch die folgende Formel (7) ausgedrückt wird:
• $$\begin{array}{l}\text{s}\left(\text{x},\text{y}\right)={\text{s}}_0\left(\text{n}\right),\\ \text{x}={\text{a}}_{\text{x}}\text{n}-\text{D}\lfloor \frac{{\text{a}}_{\text{x}}\text{n}}{{\text{N}}_{\text{x}}}\rfloor {\text{ mod N}}_{\text{y}},\\ \text{n}=\mathrm{0,1,}\dots ,{\text{N}}_{\text{x}}{\text{N}}_{\text{y}}-1;\text{ D}=\mathrm{0,1,}\dots ,{\text{N}}_{\text{y}};{\text{ a}}_{\text{x}}=\mathrm{1,2,}\dots ,{\text{N}}_{\text{x}}-1;{\text{ a}}_{\text{y}}=\\ \mathrm{0,1,}\dots ,{\text{N}}_{\text{y}}-1\end{array}$$

  
• In einem solchen Fall gilt die folgende Formel (9), wenn die folgende Formel (8) erfüllt ist:
• $$\begin{array}{l}\text{gcd}\left({\text{a}}_{\text{x}},{\text{N}}_{\text{x}}\right)=\mathrm{1,}\\ \text{gcd}\left(\left|{\text{a}}_{\text{y}},{\text{N}}_{\text{x}}-{\text{Da}}_{\text{x}}\right|,{\text{N}}_{\text{y}}\right)=1\end{array}$$

  
• $${\tilde{\phi }}_{\text{ss}}\left(\text{l},\text{k}\right)={\tilde{\phi }}_{{\text{s}}_0{\text{s}}_0}\left(\text{m}\right)$$

  
• Das heißt, dass die vorstehende Formel (9) angibt, dass die Autokorrelationsfunktion des Einheitsfelds s(x, y) selbst bei einem zweidimensionalen vorgegebenen Muster aufrechterhalten wird. Mit anderen Worten wird die Autokorrelationsfunktion des Einheitsfelds s(x, y) selbst beim zweidimensionalen vorgegebenen Muster aufrechterhalten, wenn das zweidimensionale vorgegebene Muster so erzeugt wird, dass es die vorstehende Formel (8) erfüllt. Hier wird bei der Ableitung der Formel (9) die vorstehende Formel (7) unter der Annahme verwendet, dass 0 ≤ I(el) < N_x und 0 ≤ k < N_y erfüllt sind. Das heißt, dass hier, wie anhand der vorstehenden Formel (6) ersichtlich ist, angenommen wird, dass das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors 50 gleich sind.
• Gemäß der vorliegenden Ausführungsform wird jedoch angenommen, dass das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors 50 nicht übereinstimmen. Daher gilt hier in einem Fall, in dem das Seitenverhältnis der Szene P_x: P_y ist, N_x × N_y = P_x × P_y (mit anderen Worten hat der Bildsensor 50 die gleiche Anzahl von Pixeln 52 wie die Auflösung für die Szene) und ist die Bedingung N_x ≠ P_x erfüllt. In einem solchen Fall können sich I(el) und k außerhalb der Bereiche 0 ≤ I(el) < N_x und 0 ≤ k < N_y befinden. Das heißt, dass es nicht möglich ist, die Bedingung zu verwenden, nach der 0 ≤ I(el) < N_x und 0 ≤ k < N_y erfüllt sind, welche zur Ableitung der Formel (9) verwendet werden.
• Daher hat die Autokorrelationsfunktion gemäß der vorliegenden Ausführungsform selbst dann, wenn das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors 50 nicht übereinstimmen, einen scharfen Peak und sehr kleine Nebenkeulen in Bezug auf den Peak und wird, um die Nebenkeulen im Wesentlichen konstant (wünschenswerterweise konstant) zu machen, ein zweidimensionales vorgegebenes Muster unter Bedingungen erzeugt, welche die folgende Formel (10) und die vorstehenden Formeln (7) und (8) erfüllen.
• $$\begin{array}{l}{\text{P}}_{\text{x}}={\text{MN}}_{\text{x}}\\ {\text{P}}_{\text{y}}={\text{N}}_{\text{y}}/\text{M}\\ \text{D}=\mathrm{\alpha }{\text{P}}_{\text{y}}\\ \text{gcd}\left(\mathrm{\alpha },\text{ M}\right)=1\end{array}$$

  
• Das heißt, dass es gemäß der vorliegenden Ausführungsform möglich ist, ein zweidimensionales vorgegebenes Muster mit einer vorstehend beschriebenen Autokorrelationsfunktion durch Falten einer eindimensionalen Sequenz (eines eindimensionalen Musters) mit der Autokorrelationsfunktion, wie vorstehend beschrieben, auf der Grundlage einer vorgegebenen Regel, zu der die vorstehende Formel (10) und die vorstehenden Formeln (7) und (8) hinzugefügt werden, zu erzeugen. Dann kann die vorstehende Formel (2) gemäß der binären Maske 10 mit einem solchen zweidimensionalen vorgegebenen Muster effizient und robust nach X aufgelöst werden. Dadurch kann gemäß der Ausführungsform der vorliegenden Offenbarung selbst dann, wenn das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors 50 nicht übereinstimmen, eine Verschlechterung der Qualität des aufgenommenen Bilds der rekonstruierten tatsächlichen Szene vermieden werden.
• <3.3 Nichtübereinstimmung zwischen Seitenverhältnis der Szene und Seitenverhältnis des Bildsensors>
• Als nächstes wird die Verwendung in einem Fall, in dem das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors 50 gemäß der vorliegenden Ausführungsform nicht übereinstimmen, detaillierter mit Bezug auf 5 beschrieben. 5 ist ein erklärendes Diagramm zur Beschreibung der vorliegenden Ausführungsform, und es zeigt insbesondere ein Beispiel einer binären Maske 10a gemäß der vorliegenden Ausführungsform.
• Hier wird berücksichtigt, dass Licht von jedem von M × N Punkten der Szene codiert und auf einen rechteckigen Bildsensor 50 mit einer Größe P × Q projiziert wird, wenn sie durch die Anzahl der Pixel 52 definiert wird (d. h. die Auflösung für die Szene ist M × N). In diesem Fall ist die Größe der binären Maske 10a (P + M - 1) × (Q + N - 1), wenn sie durch die Anzahl der Einheitselemente definiert wird. Das heißt, dass die Größe der binären Maske 10a, wie in 5 dargestellt, durch Verschieben des Bildsensors 50 M Mal pro Spalte pro Einheitselement in X-Richtung und N Mal pro Zeile pro Einheitselement in Y-Richtung erhalten wird. Hier wird angenommen, dass eine Bedingung erfüllt ist, nach der M × N = P × Q ist, M und N prim zueinander sind und P und Q prim zueinander sind.
• Im Prinzip kann, falls die binäre Maske 10 eine gleichmäßige redundante Feldmaske ist, Licht von jedem der M × N Punkte der Szene auf den Bildsensor 50 mit einer Größe P × Q codiert und projiziert werden. Falls die binäre Maske 10 jedoch lediglich eine gleichmäßige redundante Feldmaske ist, ist es in einem Fall, in dem das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors 50 nicht übereinstimmen, schwierig, Licht von jedem der M × N Punkte der Szene genau zu codieren und zu projizieren, weil die gleichmäßige redundante Feldmaske lediglich eine periodische Wiederholung aufweist. Das heißt, dass es in einem Fall, in dem die binäre Maske 10 lediglich eine gleichmäßige redundante Feldmaske ist, schwierig ist, eine Verschlechterung der Qualität eines aufgenommenen Bilds von einer rekonstruierten eigentlichen Szene zu vermeiden.
• Daher wird gemäß der vorliegenden Ausführungsform, wie vorstehend beschrieben, die binäre Maske 10a mit einem vorgegebenen Muster, bei dem die Autokorrelationsfunktion einen scharfen Peak und sehr kleine Nebenkeulen in Bezug auf den Peak aufweist und wobei die Nebenkeulen ferner im Wesentlichen konstant (wünschenswerterweise konstant) sind, verwendet. Dadurch kann gemäß der vorliegenden Ausführungsform selbst dann, wenn das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors 50 nicht übereinstimmen, das Licht von jedem der M × N Punkte der Szene genau auf den Bildsensor 50 codiert und projiziert werden. Mit anderen Worten kann die vorstehende Formel (2) gemäß der vorliegenden Ausführungsform effizient und robust erhalten werden. Daher kann gemäß der vorliegenden Ausführungsform eine Verschlechterung der Qualität des rekonstruierten aufgenommenen Bilds der eigentlichen Szene vermieden werden.
• <3.4 Beispiel einer binären Maske 10>
• Als nächstes wird ein Beispiel der binären Maske 10, die selbst dann anwendbar ist, wenn das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors 50 nicht übereinstimmen, gemäß der vorliegenden Ausführungsform mit Bezug auf 6 beschrieben. 6 ist ein erklärendes Diagramm zur Beschreibung eines Verfahrens zum Erzeugen der binären Maske 10 gemäß der vorliegenden Ausführungsform.
• Hier wird davon ausgegangen, dass Licht von jedem von M × N = 51 × 5 Punkten der Szene auf dem rechteckigen Bildsensor 50 mit einer Größe P × Q = 17 × 15, wenn sie durch die Anzahl der Pixel 52 definiert wird (d. h. die Auflösung in Bezug auf die Szene ist M × N = 51 × 5), codiert und projiziert wird. Nach der vorstehenden Bedingung gilt M × N = P × Q = 51 × 5 = 17 × 15 = 255, und die Bedingung, dass M und N und P und Q prim zueinander sind, ist erfüllt.
• Dann muss in diesem Fall, wie vorstehend beschrieben, die Größe der binären Maske 10(P+M-1)×(Q+N-1)=(17+51-1)×(15+5-1)=67×19 sein, wenn sie durch die Anzahl der Einheitselemente definiert wird.
• Insbesondere wird gemäß der vorliegenden Ausführungsform ein zweidimensionales vorgegebenes Muster durch Falten einer eindimensionalen Sequenz (eines eindimensionalen Musters) mit einer Länge L = 255, wie im oberen Teil von 6 dargestellt, auf der Grundlage einer vorgegebenen Regel erzeugt. Gemäß der vorliegenden Ausführungsform werden die Bedingungen a_x = 1, a_y = 2, D = 5, α = 1 und M = 5 als Parameter a_x, a_y, D, α und M verwendet, welche die Formeln (6), (8) und (10) erfüllen. Auf diese Weise kann gemäß der vorliegenden Ausführungsform die binäre Maske 10 mit dem im unteren Teil von 6 dargestellten zweidimensionalen vorgegebenen Muster erhalten werden. Das im unteren Teil von 6 dargestellte vorgegebene Muster der binären Maske 10 weist mehrere Einheitsfelder s(67 × 19) auf, die wiederholt werden, während sie periodisch um den Versatz D räumlich verschoben werden.
• Dadurch kann gemäß der vorliegenden Ausführungsform selbst dann, wenn das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors 50 nicht übereinstimmen, die binäre Maske 10 erhalten werden, bei der die Autokorrelationsfunktion einen scharfen Peak, sehr kleine Nebenkeulen in Bezug auf den Peak und ein zweidimensionales vorgegebenes Muster, bei dem die Seitenkeulen im Wesentlichen konstant (wünschenswerterweise konstant) sind, aufweist.
• <3.5 Anderes Beispiel der binären Maske 10>
• Als nächstes wird ein Beispiel der auf das Rolling-Shutter-System (Einzelheiten des Rolling-Shutter-Systems werden später beschrieben) anwendbaren binären Maske 10 beschrieben. 7 ist ein erklärendes Diagramm zur Beschreibung eines Verfahrens zum Erzeugen der binären Maske 10 gemäß der vorliegenden Ausführungsform.
• Hier wird ein Fall betrachtet, in dem ein zweidimensionaler Bildsensor 50 (d. h. die Abtastlinie weist 60 Zeilen auf) mit 60 × 85 Pixeln 52 verwendet wird und die Auflösung in Bezug auf die Szene auf 15 × 17 gesetzt ist. Ferner werden gemäß der vorliegenden Ausführungsform bei der Abbildung durch das Rolling-Shutter-System Beobachtungsdaten (Signal) für jede Abtastliniengruppe, die drei Zeilen von Abtastlinien auf dem Bildsensor 50 aufweist, erfasst. Das heißt, dass der Bildsensor 50 in 20 Teile unterteilt ist. Es sei bemerkt, dass unter der vorstehenden Bedingung M × N = P × Q = 3 × 85 = 15 × 17 = 255 ist und dass die Bedingung, dass M und N sowie P und Q prim zueinander sind, erfüllt ist.
• Insbesondere wird gemäß der vorliegenden Ausführungsform ein zweidimensionales vorgegebenes Muster durch Falten einer eindimensionalen Sequenz (eines eindimensionalen Musters) mit einer Länge L = 255, wie im oberen Teil von 6 dargestellt, auf der Grundlage einer vorgegebenen Regel erzeugt. Gemäß der vorliegenden Ausführungsform ist eine Bedingung erfüllt, nach der a_x = 1, a_y = 1 und D = 17 als Parameter a_x, a_y und D verwendet werden, welche die Formeln (6), (8) und (10) erfüllen. Auf diese Weise kann gemäß der vorliegenden Ausführungsform die binäre Maske 10 mit dem in 7 dargestellten zweidimensionalen vorgegebenen Muster erhalten werden. Insbesondere weist das vorgegebene Muster des der Abtastliniengruppe der in 7 dargestellten binären Maske 10 entsprechenden Gebiets eine Größe (15 + 3 - 1) × (17 + 18 - 1) auf, wenn sie durch die Anzahl der Einheitselemente definiert wird. Ferner kann zur Abdeckung der Auflösung für 60 Zeilen durch Wiederholen von Abschnitten mit einem vorgegebenen Muster mit einer Größe von {15 + 3 - 1 + (60 - 3))} × (17 + 85 - 1) = 74 × 101, während periodisch um den Versatz D räumlich verschoben wird, die binäre Maske 10 mit dem in 7 dargestellten zweidimensionalen vorgegebenen Muster erhalten werden. Das heißt, dass jeder der Abschnitte mit einer Größe von 74 × 101 auf der binären Maske 10 gleichzeitig für jeden der 20 unterteilten Bereiche des Bildsensors 50 als binäre Maske verwendet werden kann.
• Hierdurch kann gemäß der vorliegenden Ausführungsform die binäre Maske 10 erhalten werden, die auf das Rolling-Shutter-System anwendbar ist und ein zweidimensionales vorgegebenes Muster aufweist, bei dem nicht nur die Autokorrelationsfunktion einen scharfen Peak und sehr kleine Nebenkeulen in Bezug auf den Peak aufweist, sondern die Nebenkeulen auch im Wesentlichen konstant (wünschenswerterweise konstant) sind.
• <3.6 Abbildung einer eindimensionalen Szene durch zweidimensionalen Bildsensor (Flächensensor)>
• Ferner wird insbesondere die Abbildung einer eindimensionalen Szene unter Verwendung des zweidimensionalen Bildsensors 50 gemäß der vorliegenden Ausführungsform mit Bezug auf die 8 und 9 beschrieben. Die 8 und 9 sind Diagramme zur Erklärung der vorliegenden Ausführungsform und insbesondere Diagramme zur Erklärung der Abbildung einer eindimensionalen Szene unter Verwendung des zweidimensionalen Bildsensors 50 gemäß der vorliegenden Ausführungsform. Es sei bemerkt, dass in der folgenden Beschreibung angenommen wird, dass der Bildsensor 50 eine Größe von M × N aufweist, wenn sie durch die Anzahl der Pixel 52 definiert wird, und die Größe der Szene MN × 1 (eindimensional) ist (d. h. die Auflösung der Szene ist MN × 1).
• Hier weist die Bilderzeugungsvorrichtung 100 gemäß der vorliegenden Ausführungsform eine binäre Maske 10b mit einer Größe von (MN + M - 1) × N, wenn sie durch die Anzahl der in 8 dargestellten Einheitselemente definiert wird, und einen zweidimensionalen Bildsensor (Flächensensor) 50 mit einer Größe von M × N, wenn sie durch die Anzahl der Pixel 52 definiert wird, auf. Dann wird gemäß der vorliegenden Ausführungsform jeder der MN Punkte der Szene auf einer Linie (im Einzelnen beispielsweise in horizontaler Richtung) auf einer Ebene (d. h. eine eindimensionale Szene) angeordnet und tritt Licht (V₁, V₂,..., V_k,..., V_MN) von jedem der MN Punkte durch die binäre Maske 10b und wird auf den Bildsensor 50 projiziert, wie in 8 dargestellt ist. Dann werden die jeweiligen Lichtbestandteile (V₁, V₂,..., V_k,..., V_MN) durch ein Muster jedes Gebiets mit einer entsprechenden Größe von M × N auf der binären Maske 10b codiert.
• Wie vorstehend beschrieben, weist das vorgegebene Muster der binären Maske 10b gemäß der vorliegenden Ausführungsform einen scharfen Peak, sehr kleine Nebenkeulen in Bezug auf den Peak und eine Autokorrelationsfunktion, bei der die Nebenkeulen im Wesentlichen konstant (wünschenswerterweise konstant) sind, auf. Daher kann die binäre Maske 10b Licht von jedem der MN Punkte der Szene mit hoher Genauigkeit codieren und projizieren. Mit anderen Worten kann die vorstehende Formel (2) gemäß der vorliegenden Ausführungsform effizient und robust für X erhalten werden. Daher kann gemäß der vorliegenden Ausführungsform selbst bei der Abbildung der eindimensionalen Szene unter Verwendung des zweidimensionalen Bildsensors 50 eine Verschlechterung der Qualität des rekonstruierten aufgenommenen Bilds der eigentlichen Szene vermieden werden.
• Ferner wird mit Bezug auf 9 ein spezifischeres Beispiel beschrieben. Beim Beispiel aus 9 wird ein zweidimensionaler Bildsensor 50 mit einer Größe von M × N = 15 × 17, die durch die Anzahl der Pixel 52 definiert wird, verwendet. In diesem Fall wird gemäß der vorliegenden Ausführungsform eine im oberen Teil von 3 dargestellte eindimensionale Sequenz (eindimensionales Muster) mit einer Länge L = 255 gefaltet, um das zweidimensionale vorgegebene Muster zu erzeugen. Beim Beispiel aus 9 ist die Auflösung (P_x × P_y) der Szene 255 × 1 und ist die Größe (N_x × N_y) des Bildsensors 50 15 × 17. Wenn das zweidimensionale vorgegebene Muster erzeugt wird, werden daher Bedingungen a_x = 1, a_y = 0 und D = 1 als Parameter a_x, a_y und D (siehe Formel (7)), welche die vorstehenden Formeln (6), (8) und (10) erfüllen, verwendet. Beispielsweise wird das vorgegebene Muster der in 9 dargestellten binären Maske 10b als mehrere Einheitsfelder s(x, y), die in einem durch eine unterbrochene Linie umgebenen Rechteck, das im oberen linken Teil von 4 dargestellt ist, enthalten sind und sich wiederholen, während sie periodisch um den Versatz D räumlich verschoben werden, erzeugt. Insbesondere weist die binäre Maske 10c eine Größe von 269 × 17 auf, wenn sie durch die Anzahl der Einheitselemente definiert wird.
• Wie vorstehend beschrieben, hat das vorgegebene Muster der in 9 dargestellten binären Maske 10c, das die Formeln (6), (8) und (10) erfüllt, eine Autokorrelationsfunktion mit einem scharfen Peak, sehr kleine Nebenkeulen in Bezug auf den Peak und im Wesentlichen konstante (wünschenswerterweise konstante) Nebenkeulen. Daher kann die binäre Maske 10c Licht von jedem der 255 × 1 Punkte der Szene genau codieren und projizieren. Daher kann gemäß der vorliegenden Ausführungsform selbst bei der Abbildung der eindimensionalen Szene (255 × 1) unter Verwendung des zweidimensionalen Bildsensors 50 eine Verschlechterung der Qualität des rekonstruierten aufgenommenen Bilds der eigentlichen Szene vermieden werden.
• <3.7 Abbildung einer zweidimensionalen Szene durch eindimensionalen Bildsensor (Liniensensor)>
• Ferner wird insbesondere die Abbildung einer zweidimensionalen Szene unter Verwendung des eindimensionalen Bildsensors (Liniensensors) 50 gemäß der vorliegenden Ausführungsform mit Bezug auf 10 beschrieben. 10 ist ein erklärendes Diagramm zur Beschreibung der vorliegenden Ausführungsform und insbesondere zur Beschreibung der Abbildung einer zweidimensionalen Szene unter Verwendung des eindimensionalen Bildsensors 50 gemäß der vorliegenden Ausführungsform. Es sei bemerkt, dass in der folgenden Beschreibung angenommen wird, dass der Bildsensor 50 eine Größe von MN × 1, wenn sie durch die Anzahl der Pixel 52 definiert wird, aufweist und die Größe der Szene M × N (zweidimensional) ist.
• Insbesondere wird beim Beispiel aus 10 ein eindimensionaler Bildsensor 50 mit einer Größe von 255 × 1, die durch die Anzahl der Pixel 52 definiert wird, verwendet. In diesem Fall wird gemäß der vorliegenden Ausführungsform eine im oberen Teil von 3 dargestellte eindimensionale Sequenz (eindimensionales Muster) mit einer Länge L = 255 gefaltet, um das zweidimensionale vorgegebene Muster zu erzeugen. Beim Beispiel aus 10 ist die Auflösung (P_x × P_y) der Szene 15 × 17 und ist die Größe (N_x × N_y) des Bildsensors 50 255 × 1. Daher werden, wenn das zweidimensionale vorgegebene Muster erzeugt wird, die Bedingungen a_x = 1, a_y = 1, D = 17 und α = 1 als Parameter a_x, a_y, D (siehe Formel (7)) und α (siehe Formel (10)), welche die Formeln (6), (8) und (10) erfüllen, verwendet. Beispielsweise hat das vorgegebene Muster einer in 10 dargestellten binären Maske 10d eine Größe von 271 × 15, wenn sie durch die Anzahl der Einheitselemente definiert wird.
• Wie vorstehend beschrieben, hat das vorgegebene Muster der in 10 dargestellten binären Maske 10d, das die Formeln (6), (8) und (10) erfüllt, eine Autokorrelationsfunktion mit einem scharfen Peak, sehr kleine Nebenkeulen in Bezug auf den Peak und im Wesentlichen konstante (wünschenswerterweise konstante) Nebenkeulen. Daher kann die binäre Maske 10d Licht von jedem der 15 × 17 Punkte der Szene genau codieren und projizieren. Daher kann gemäß der vorliegenden Ausführungsform selbst bei der Abbildung der zweidimensionalen Szene (15 × 17) unter Verwendung des eindimensionalen Bildsensors 50 eine Verschlechterung der Qualität des rekonstruierten aufgenommenen Bilds der eigentlichen Szene vermieden werden.
• <3.8 Abbildung einer zweidimensionalen Szene durch zweidimensionalen Bildsensor (Flächensensor)>
• Ferner wird insbesondere die Abbildung einer zweidimensionalen Szene unter Verwendung des zweidimensionalen Bildsensors (Flächensensors) 50 gemäß der vorliegenden Ausführungsform mit Bezug auf 11 beschrieben. 11 ist ein erklärendes Diagramm zur Beschreibung der vorliegenden Ausführungsform und insbesondere zur Beschreibung der Abbildung einer zweidimensionalen Szene unter Verwendung des zweidimensionalen Bildsensors 50 gemäß der vorliegenden Ausführungsform. Es sei bemerkt, dass in der folgenden Beschreibung angenommen wird, dass der Bildsensor 50 eine Größe von M × N, wenn sie durch die Anzahl der Pixel 52 definiert wird, aufweist und die Größe der Szene P × Q (zwei Dimensionen) ist. Zusätzlich wird hier angenommen, dass M × N = P × Q ist und dass die Bedingung, dass M und N und P und Q prim zueinander sind, erfüllt ist.
• Insbesondere wird beim Beispiel aus 11 ein zweidimensionaler Bildsensor 50 mit einer Größe von 31 × 33, die durch die Anzahl der Pixel 52 definiert wird, verwendet. In diesem Fall wirkt gemäß der vorliegenden Ausführungsform ein zweidimensionales vorgegebenes Muster durch Falten einer eindimensionalen Sequenz (eines eindimensionalen Musters) mit einer Länge L = 1023 erzeugt. Beim Beispiel aus 11 ist die Auflösung (P_x × P_y) der Szene 341 × 3 und ist die Größe (N_x × N_y) des Bildsensors 50 31 × 33. Daher werden, wenn das zweidimensionale vorgegebene Muster erzeugt wird, die Bedingungen a_x = 1, a_y = 1, D = 37 und α = 1 als Parameter a_x, a_y, D (siehe Formel (7)) und α (siehe Formel (10)), welche die Formeln (6), (8) und (10) erfüllen, verwendet. Beispielsweise hat ein vorgegebenes Muster einer in 11 dargestellten binären Maske 10e eine Größe von 371 × 35, wenn sie durch die Anzahl der Einheitselemente definiert wird.
• Wie vorstehend beschrieben, hat das vorgegebene Muster der in 11 dargestellten binären Maske 10e, das die Formeln (6), (8) und (10) erfüllt, eine Autokorrelationsfunktion mit einem scharfen Peak, sehr kleine Nebenkeulen in Bezug auf den Peak und im Wesentlichen konstante (wünschenswerterweise konstante) Nebenkeulen. Daher kann die binäre Maske 10e Licht von jedem der 341 × 3 Punkte der Szene genau codieren und projizieren. Daher kann gemäß der vorliegenden Erfindung selbst dann, wenn das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors 50 nicht übereinstimmen, eine Verschlechterung der Qualität des rekonstruierten aufgenommenen Bilds der eigentlichen Szene bei der Abbildung der zweidimensionalen Szene unter Verwendung des zweidimensionalen Bildsensors 50 vermieden werden.
• <3.9 Rolling-Shutter-System>
• (Grundprinzip)
• Als nächstes wird ein Beispiel beschrieben, bei dem die vorliegende Ausführungsform auf ein Rolling-Shutter-System angewendet wird. Das Grundprinzip des Rolling-Shutter-Systems wird nachstehend mit Bezug auf 12 beschrieben. 12 ist ein Diagramm zur Erklärung eines Rolling-Shutter-Systems gemäß der vorliegenden Ausführungsform.
• Beim Rolling-Shutter-System erfasst die Bilderzeugungsvorrichtung 100 anders als bei einem Global-Shutter-System sequenziell Beobachtungsdaten (Signale) für jede Abtastlinie (-zeile), welche die mehreren Pixel 52 auf dem Bildsensor 50 aufweist. Andererseits erfasst die Bilderzeugungsvorrichtung 100 beim Global-Shutter-System Beobachtungsdaten (Signal) gleichzeitig in allen Abtastlinien (-zeilen) auf dem Bildsensor 50, mit anderen Worten gleichzeitig in allen Pixeln 52 auf dem Bildsensor 50.
• Hier wird ein Fall betrachtet, bei dem die Bilderzeugungsvorrichtung 100, die den Bildsensor 50 mit N Zeilen von Abtastlinien, wie in 12 dargestellt, aufweist, Beobachtungsdaten (Signal) sequenziell für jedes Rolling-Shutter-System, insbesondere für jede Abtastlinie einer Zeile, erfasst. In diesem Fall erfasst die Bilderzeugungsvorrichtung 100 N Bestandteile von Beobachtungsdaten (Signalen) durch einmaliges Ausführen einer Abbildung und kann N aufgenommene Bilder anhand der erfassten N Bestandteile von Beobachtungsdaten rekonstruieren, wie auf der rechten Seite von 12 dargestellt ist. Das heißt, dass beim Rolling-Shutter-System beispielsweise die Bildwiederholungsrate von F (fps) auf FN (fps) erhöht werden kann, weil N aufgenommene Bilder durch eine Abbildung rekonstruiert werden können.
• (Vorliegende Ausführungsform)
• Daher wird gemäß der vorliegenden Ausführungsform die binäre Maske 10 mit einem zweidimensionalen vorgegebenen Muster gemäß der vorliegenden Ausführungsform, wie bisher beschrieben, auf die Bilderzeugungsvorrichtung 100 angewendet, die im vorstehend beschriebenen Rolling-Shutter-System arbeitet. Eine Ausführungsform eines solchen Rolling-Shutter-Systems wird mit Bezug auf die 13 bis 17 beschrieben. Die 13 bis 17 sind Diagramme zur Erklärung eines Rolling-Shutter-Systems gemäß der vorliegenden Ausführungsform. Insbesondere ist 13 ein Diagramm zur Beschreibung der Erfassung von Beobachtungsdaten (Signalen) in der Abtastlinie der ersten Zeile des Bildsensors 50 und ist 14 ein Diagramm zur Beschreibung der Erfassung von Beobachtungsdaten (Signalen) in der Abtastlinie der zweiten Zeile des Bildsensors 50. Ferner ist 15 ein Diagramm zur Beschreibung der Erfassung von Beobachtungsdaten (Signalen) in der Abtastlinie der dritten Zeile des Bildsensors 50 und ist 16 ein Diagramm zur Beschreibung der Erfassung von Beobachtungsdaten (Signalen) in der Abtastlinie der (N-1)-ten Zeile des Bildsensors 50. Ferner ist 17 ein Diagramm zur Erklärung der Erfassung von Beobachtungsdaten (Signalen) in der Abtastlinie der N-ten Zeile des Bildsensors 50.
• Wie in den 13 bis 17 dargestellt ist, wird gemäß der vorliegenden Ausführungsform ein Gebiet (in der Zeichnung durch ein Rechteck umgeben) der binären Maske 10 so festgelegt, dass es jeder Abtastlinie entspricht. Dann erfassen bei der Abbildung des Rolling-Shutter-Systems gemäß der vorliegenden Ausführungsform die mehreren Pixel 52 jeder Abtastlinie sequenziell Beobachtungsdaten (Signale) durch das Licht, das durch das Gebiet der vorgegebenen binären Maske 10 hindurchgetreten ist, für jede Abtastlinie.
• Zu dieser Zeit werden die Größe des Gebiets der binären Maske 10 entsprechend jeder Abtastlinie und das vorgegebene Muster der binären Maske 10 unter Berücksichtigung des Seitenverhältnisses jeder Abtastlinie bestimmt, so dass eine geeignete Codierung ausgeführt werden kann. Das heißt, dass auch hier das Gebiet der binären Maske 10 mit dem zweidimensionalen vorgegebenen Muster gemäß der vorliegenden Ausführungsform, wie vorstehend beschrieben, verwendet wird.
• Bei den in den 13 bis17 dargestellten Beispielen wird ein Teil des Gebiets der binären Maske 10 zwischen den Abtastlinien geteilt, die in der Zeichnung vertikal zueinander benachbart sind. Durch die Verwendung der binären Maske 10 mit dem zweidimensionalen vorgegebenen Muster gemäß der vorliegenden Ausführungsform, wie vorstehend beschrieben, kann jedoch selbst in einem Fall, in dem ein Teil des Gebiets der binären Maske 10 geteilt wird, jeder Bestandteil von Beobachtungsdaten (Signal) auf der Grundlage des Lichts von jedem Punkt der Szene geeignet codiert werden. Mit anderen Worten ist es gemäß der vorliegenden Ausführungsform einfach, die jeder Abtastlinie des Bildsensors 50 entsprechenden Beobachtungsdaten zu spezifizieren. Dadurch können gemäß der vorliegenden Ausführungsform nicht nur mehrere erfasste Bilder durch Rekonstruieren der in jeder Abtastlinie erfassten Beobachtungsdaten erhalten werden, sondern kann auch die Qualität zwischen den erhaltenen aufgenommenen Bildern gleichmäßig gehalten werden. Ferner können gemäß der vorliegenden Ausführungsform selbst bei einer einzigen Abbildung mehrere aufgenommene Bilder anhand der in jeder Abtastlinie erfassten Beobachtungsdaten rekonstruiert werden, so dass mehrere aufeinander folgende aufgenommene Bilder mit einer hohen Bildwiederholungsrate erfasst werden können. Beispielsweise können bei den in den 13 bis 17 dargestellten Beispielen, weil die Beobachtungsdaten für jeweils N Abtastlinien erfasst werden, N aufgenommene Bilder rekonstruiert werden, so dass die Bildwiederholungsrate beispielsweise von F (fps) auf FN (fps) erhöht werden kann.
• Ferner besteht gemäß der vorliegenden Ausführungsform, wie in den 13 bis 17 dargestellt ist, keine Beschränkung auf die Erfassung der Beobachtungsdaten für jede Abtastlinie einer Zeile und können die Beobachtungsdaten gemäß einer gewünschten Bildwiederholungsrate für jede von mehreren Abtastlinien (Abtastliniengruppe) erfasst werden. Selbst in diesem Fall werden die Größe des jeder Abtastliniengruppe entsprechenden Gebiets der binären Maske 10 und das vorgegebene Muster der binären Maske 10 unter Berücksichtigung des Seitenverhältnisses jeder Abtastliniengruppe bestimmt, so dass eine geeignete Codierung ausgeführt werden kann.
• Es sei bemerkt, dass gemäß der Ausführungsform der vorliegenden Offenbarung die binäre Maske 10 mit dem vorstehend beschriebenen zweidimensionalen vorgegebenen Muster nicht darauf beschränkt ist, auf die im vorstehend beschriebenen Rolling-Shutter-System arbeitende Bilderzeugungsvorrichtung 100 angewendet zu werden, und dass sie beispielsweise auf die im Global-Shutter-System arbeitende Bilderzeugungsvorrichtung 100 angewendet werden kann.
• (Erstes Beispiel)
• Als nächstes wird ein erstes Beispiel mit Bezug auf 18 beschrieben. 18 ist ein Diagramm zur Erklärung des ersten Beispiels beim Rolling-Shutter-System. Hier wird ein Fall betrachtet, in dem ein zweidimensionaler Bildsensor 50 mit 291 × 240 Pixeln 52 verwendet wird, die Bildwiederholungsrate eine Abbildung F ist, die Subbildwiederholungsrate im Rolling Shutter 18F ist und die Auflösung in Bezug auf die Szene 39 × 97 ist.
• In einem solchen Fall werden bei der Abbildung durch das Rolling-Shutter-System Beobachtungsdaten (ein Signal) für jede 13 Zeilen von Abtastlinien auf dem Bildsensor 50 aufweisende Abtastliniengruppe erfasst, weil die Subbildwiederholungsrate 18F ist.
• In diesem Fall wird gemäß der vorliegenden Ausführungsform eine eindimensionale Sequenz (ein eindimensionales Muster) mit einer Länge von L = 97 × 39 = 3783 gefaltet, um ein zweidimensionales vorgegebenes Muster zu erzeugen. Die Auflösung (P_x × P_y) der Szene ist 97 × 39, und die Größe (N_x × N_y) der Abtastliniengruppe ist 291 × 13. Daher werden, wenn das zweidimensionale vorgegebene Muster erzeugt wird, Bedingungen von a_x = 1, a_y = 1 und D = 39 als die Parameter ax, ay und D (siehe Formel (7)), welche die vorstehend beschriebenen Formeln (6), (8) und (10) erfüllen, verwendet. Beispielsweise hat das vorgegebene Muster des der Abtastliniengruppe der binären Maske 10 entsprechenden in 18 dargestellten Gebiets eine Größe von 329 × 109, wenn sie durch die Anzahl der Einheitselemente definiert wird. Ferner ist die Gesamtgröße der binären Maske 10 zur Abdeckung der Auflösung in horizontaler Richtung für 240 Zeilen 329 × 336 (109 - 13 + 240).
• Gemäß dem vorliegenden Beispiel können durch die Verwendung der vorstehend beschriebenen binären Maske 10 selbst in einem Fall, in dem sich jede Abtastliniengruppe (13 Zeilen von Abtastlinien aufweisende Abtastliniengruppe) einen Teil des Gebiets der binären Maske 10 teilt, die jeweiligen Beobachtungsdaten (Signale) geeignet auf der Grundlage des Lichts von jedem Punkt der Szene codiert werden. Dadurch können gemäß dem vorliegenden Beispiel nicht nur mehrere aufgenommene Bilder durch Rekonstruieren der in jeder Abtastliniengruppe erfassten Beobachtungsdaten erhalten werden, sondern es kann auch die Qualität zwischen den erhaltenen aufgenommenen Bildern gleichmäßig gehalten werden. Ferner können gemäß dem vorliegenden Beispiel selbst bei einer einzigen aufgenommene Bilder rekonstruiert werden und kann die Bildwiederholungsrate von F (fps) auf 18F (fps) erhöht werden.
• (Zweites Beispiel)
• Als nächstes wird ein zweites Beispiel mit Bezug auf 19 beschrieben. 19 ist ein Diagramm zur Erklärung einer binären Maske 10 gemäß einem modifizierten Beispiel der vorliegenden Ausführungsform.
• Demgegenüber kann, weil beim ersten vorstehend beschriebenen Beispiel die erfassten Beobachtungsdaten (Signal) spärlich sind (beispielsweise beträgt beim in 18 dargestellten Beispiel die Lichtdurchlässigkeit der binären Maske 10 1,6 %), das durch die Rekonstruktion erhaltene aufgenommene Bild dunkel sein. Daher wird beim vorliegenden Beispiel zur Aufhellung des aufgenommenen Bilds die binäre Maske 10 verwendet, die gleichzeitig Licht, das durch ein lichtdurchlässiges Filter 12 hindurchgetreten ist, und Licht um das lichtdurchlässige Filter 12 an einem Punkt fokussiert. Beispiele einer solchen binären Maske 10 umfassen eine binäre Maske mit einem vorgegebenen Muster, das die lichtdurchlässigen Filter 12 und die lichtundurchlässigen Filter 14, die in einem Fresnel-Muster angeordnet sind, wie auf der linken Seite von 19 dargestellt ist, aufweist.
• Auf der linken Seite von 19 kann die binäre Maske 10 durch Bestimmen der Verteilung der Fresnel-Muster unter der Bedingung, dass der Pixelabstand des Bildsensors 50 3,0 µm ist, dass der Abstand zwischen der binären Maske 10 und dem Bildsensor 50 1,0 mm ist und dass die durchschnittliche Wellenlänge des Lichts aus der Szene etwa 530 nm ist, gebildet werden. Dann kann durch die Verwendung einer solchen binären Maske 10 ein aufgenommenes Bild mit einer günstigen Helligkeit, einem günstigen Kontrast und einer günstigen Gleichmäßigkeit erhalten werden, wie auf der rechten Seite von 19 dargestellt ist.
• Das heißt, dass die Ausführungsform der vorliegenden Offenbarung nicht auf die Verwendung der binären Maske 10 beschränkt ist, die ein vorgegebenes Muster aufweist, welches die in einem zweidimensionalen Gittermuster angeordneten lichtdurchlässigen Filter 12 und lichtundurchlässigen Filter 14 aufweist. Beispielsweise kann gemäß der Ausführungsform der vorliegenden Offenbarung eine binäre Maske 10 mit einem vorgegebenen Muster verwendet werden, das die in einem Fresnel-Muster angeordneten lichtdurchlässigen Filter 12 und lichtundurchlässigen Filter 14 aufweist, wie in 19 dargestellt ist. Ferner kann gemäß der Ausführungsform der vorliegenden Offenbarung ein Beugungsgitterelement oder eine gleichmäßige redundante Feldmaske verwendet werden. Ferner können gemäß der Ausführungsform der vorliegenden Offenbarung mehrere binäre Masken 10 verwendet werden.
• (Drittes Beispiel)
• Als nächstes wird ein drittes Beispiel mit Bezug auf 20 beschrieben. 20 ist ein Diagramm einer binären Maske 10 gemäß dem dritten Beispiel. Hier wird angenommen, dass ein zweidimensionaler Bildsensor 50, der 3072 × 2048 Pixel 52 mit einem Pixelabstand von 2,4 µm aufweist, verwendet wird. Insbesondere wird hier angenommen, dass die Auflösung (P_x × P_y) der Szene 721 × 31 ist und dass die Größe (N_x × N_y) der Abtastliniengruppe 103 × 217 ist.
• Beim vorliegenden Beispiel wird zum Erhalten der binären Maske 10 mit einem zweidimensionalen vorgegebenen Muster ein zweidimensionales vorgegebenes Muster durch Falten einer eindimensionalen Sequenz (eines eindimensionalen Musters) mit einer Länge von L = 22351 unter Verwendung der Bedingungen a_x = 1, a_y = 1 und D = 31 als Parameter a_x, a_y und D, welche die Formeln (6), (8) und (10) erfüllen, erzeugt. Dann ist beim vorliegenden Beispiel die Größe der in 20 dargestellten binären Maske 10 823 × 247 und ist die spezifische Länge der binären Maske 10 33,6 µm (gleich der Länge von 14 Pixeln 52). Dann kann die binäre Maske 10 gemäß dem vorliegenden Beispiel, wie in 20 dargestellt, eine binäre Maske mit einem vorgegebenen Muster sein, das in einem Fresnel-Muster angeordnete lichtdurchlässige Filter und lichtundurchlässige Filter aufweist. Eine solche binäre Maske 10 kann durch Photolithographie und Ätzen auf einem Kupferdünnfilm, der auf ein Glassubstrat laminiert ist, gebildet werden.
• Beim vorliegenden Beispiel können die Auflösung und das Signal-RauschVerhältnis (SNR) durch die Verwendung einer solchen binären Maske 10 verbessert werden. Insbesondere wurde die binäre Maske 10 gemäß dem vorliegenden Beispiel zu ihrer Beurteilung unter der Bedingung, dass der Abstand zwischen der binären Maske 10 und dem Bildsensor 50 auf 17,28 mm gesetzt war und der Sichtwinkel auf der horizontalen Achse 70 Grad betrug, vor einem 55-Zoll-Full-HD-Sichtbildschirm installiert, und es wurde die Bildrekonstruktion versucht. Hier werden Muster und Texte mit unterschiedlichen Seitenverhältnissen (kurz in vertikaler Richtung und lang in horizontaler Richtung) auf dem Bildschirm angezeigt. Unter diesen Bedingungen wurde, wenn ein Bild unter Verwendung der binären Maske 10 gemäß dem vorliegenden Beispiel rekonstruiert wurde, eine angemessene Rekonstruktion des Bilds bestätigt.
• (Viertes Beispiel)
• Als nächstes wird ein Beispiel einer binären Maske 10, wodurch eine hohe Bildwiederholungsrate verwirklicht werden kann, mit Bezug auf 21 beschrieben. Hier wird angenommen, dass ein zweidimensionaler Bildsensor 50 mit 33 Abschnitten von 331 × 1183 verwendet wird und die Auflösung in Bezug auf die Szene 217 × 169 beträgt. Dann wurde beim vorliegenden Beispiel ein Versuch unternommen, ein Bild unter Verwendung eines Drehgebläses als sich schnell bewegendes Objekt unter Verwendung der binären Maske 10, wie in 21 dargestellt, zu rekonstruieren.
• Beim vorliegenden Beispiel können durch die Verwendung des Rolling-Shutter-Systems 33 Instanzen von Bilddaten zu einer Zeit erhalten werden. Mit anderen Worten können anhand einer Bilddateninstanz durch einen Bildsensor 50 33 Bilder rekonstruiert werden. Daher beträgt beim vorliegenden Beispiel bei der Ausführung einer Abbildung mit einer hohen Bildwiederholungsrate von 60 fps durch den Bildsensor 50 die endgültige Bildwiederholungsrate 33 × 60 fps = 1980 fps, so dass eine hohe Bildwiederholungsrate verwirklicht werden kann. Ferner wurde, wenn das Bild unter Verwendung solcher Bedingungen rekonstruiert wurde, herausgefunden, dass die Bildqualität in allen Bildern gleichmäßig und geeignet war. Das heißt, dass durch das vorliegende Beispiel klar geworden ist, dass durch die Verwendung der binären Maske 10 gemäß der vorliegenden Ausführungsform ein Bild effizient rekonstruiert werden kann, ohne durch eine schnelle Bewegung eines Objekts beeinträchtigt zu werden.
• <3.10 Bildverarbeitungsvorrichtung>
• Eine detaillierte Konfiguration einer Bildverarbeitungsvorrichtung 200 gemäß der vorliegenden Ausführungsform wird mit Bezug auf 22 beschrieben. 22 ist ein Blockdiagramm eines Beispiels einer Funktionskonfiguration der Bildverarbeitungsvorrichtung 200 gemäß der vorliegenden Ausführungsform. Wie in 22 dargestellt ist, kann die Bildverarbeitungsvorrichtung 200 hauptsächlich eine Erfassungseinheit 202, eine Verarbeitungseinheit 204, eine Ausgabeeinheit 206 und eine Speichereinheit 208 aufweisen. Nachstehend werden die jeweiligen Funktionsblöcke der Bildverarbeitungsvorrichtung 200 nacheinander beschrieben.
• (Erfassungseinheit 202)
• Die Erfassungseinheit 202 erfasst vom Bildsensor 50 der Bilderzeugungsvorrichtung 100 ausgegebene Beobachtungsdaten (Signal) und gibt die Beobachtungsdaten (das Signal) an die später beschriebene Verarbeitungseinheit 204 aus.
• (Verarbeitungseinheit 204)
• Die Verarbeitungseinheit 204 rekonstruiert ein aufgenommenes Bild einer gewünschten Szene auf der Grundlage der Beobachtungsdaten (des Signals) von der vorstehend beschriebenen Erfassungseinheit 202 und in der später beschriebenen Speichereinheit 208 gespeicherte Informationen eines vorgegebenen Musters der binären Maske 10. Ferner gibt die Verarbeitungseinheit 204 das aufgenommene Bild durch die Rekonstruktion an die später beschriebene Ausgabeeinheit 206 aus.
• (Ausgabeeinheit 206)
• Die Ausgabeeinheit 206 ist eine Funktionseinheit zur Ausgabe eines aufgenommenen Bilds an den Benutzer und ist beispielsweise durch einen Bildschirm oder dergleichen verwirklicht.
• (Speichereinheit 208)
• Die Speichereinheit 208 speichert Programme, Informationen und dergleichen für die vorstehend beschriebene Verarbeitungseinheit 204 zur Ausführung der Bildverarbeitung, durch die Verarbeitung erhaltene Informationen und dergleichen. Insbesondere speichert die Speichereinheit 208 Informationen in der Art eines vorgegebenen Musters der binären Maske 10. Es sei bemerkt, dass die Speichereinheit 208 beispielsweise durch einen nichtflüchtigen Speicher in der Art eines Flash-Speichers verwirklicht ist.
• <3.11 Bildverarbeitungsverfahren>
• Als nächstes wird ein Bildverarbeitungsverfahren gemäß der vorliegenden Ausführungsform mit Bezug auf 23 beschrieben. 23 ist ein Flussdiagramm des Bildverarbeitungsverfahrens gemäß der vorliegenden Ausführungsform. Wie in 23 dargestellt, kann das Bildverarbeitungsverfahren gemäß der vorliegenden Ausführungsform hauptsächlich Schritte von Schritt S101 bis Schritt S104 aufweisen. Einzelheiten dieser Schritte gemäß der vorliegenden Ausführungsform werden nachstehend beschrieben.
• Zuerst wird eine Szene durch die vorstehend beschriebene Bilderzeugungsvorrichtung 100 erfasst (Schritt S101). Dann erfasst die Bildverarbeitungsvorrichtung 200 von der Bilderzeugungsvorrichtung 100 durch das Licht, das durch die binäre Maske 10 hindurchtritt und durch den Bildsensor 50 empfangen wird, erzeugte Beobachtungsdaten (Signal).
• Als nächstes erfasst die Bildverarbeitungsvorrichtung 200 Maskeninformationen, wobei es sich um Informationen eines vorgegebenen Musters der binären Maske 10 handelt (Schritt S102). Insbesondere sind die Maskeninformationen beispielsweise Informationen eines zweidimensionalen vorgegebenen Musters, das die lichtdurchlässigen Filter 12 und die lichtundurchlässigen Filter 14 der binären Maske 10 aufweist.
• Als nächstes berechnet die Bildverarbeitungsvorrichtung 200 eine inverse Matrix (pseudoinverse Matrix) auf der Grundlage der vorstehend beschriebenen in Schritt S102 erfassten Maskeninformationen. Dann rekonstruiert die Bildverarbeitungsvorrichtung 200 das aufgenommene Bild der gewünschten Szene durch Multiplizieren der von der Bilderzeugungsvorrichtung 100 erfassten Beobachtungsdaten mit der berechneten inversen Matrix (Schritt S103).
• Ferner gibt die Bildverarbeitungsvorrichtung 200 das im vorstehend beschriebenen Schritt S103 rekonstruierte aufgenommene Bild an den Benutzer oder dergleichen aus (Schritt S104) und beendet die Verarbeitung.
• <3.12 Zusammenfassung>
• Wie vorstehend beschrieben, können gemäß der vorstehend beschriebenen Ausführungsform der vorliegenden Offenbarung die Bilderzeugungsvorrichtung 100, das optische Element (beispielsweise die binäre Maske 10), die Bildverarbeitungsvorrichtung (das Bildverarbeitungssystem) 200 und das Bildverarbeitungsverfahren, die unter Verwendung des Bildsensors 50 mit einem vom Seitenverhältnis der Szene verschiedenen Seitenverhältnis in der Lage sind, leicht ein aufgenommenes Bild einer eigentlichen Szene zu rekonstruieren, ohne die Qualität zu verschlechtern, bereitgestellt werden.
• Insbesondere wird gemäß der Ausführungsform der vorliegenden Offenbarung ein optisches Element (beispielsweise die binäre Maske 10) mit einem vorgegebenen Muster, das eine Autokorrelationsfunktion mit einem scharfen Peak und sehr kleine Nebenkeulen in Bezug auf den Peak aufweist, verwendet. Weil das vorgegebene Muster wie vorstehend beschrieben bereitgestellt wird, kann beim optischen Element X in der vorstehenden Formel (2) effizient und robust erhalten werden und können jeweilige Beobachtungsdaten (Signal) auf der Grundlage des Lichts von jedem Punkt der in jedem Pixel (Gebiet) 52 des Bildsensors 50 überlagerten und erfassten Szene codiert werden. Dadurch kann gemäß der Ausführungsform der vorliegenden Offenbarung ein aufgenommenes Bild einer eigentlichen Szene anhand der Beobachtungsdaten rekonstruiert werden. Weil das vorgegebene Muster des optischen Elements ferner im Wesentlichen konstante (wünschenswerterweise konstante) Nebenkeulen aufweist, kann X in der vorstehenden Formel (2) selbst dann effizient und robust erhalten werden, wenn das Seitenverhältnis der Szene und das Seitenverhältnis des Bildsensors nicht übereinstimmen. Dadurch kann gemäß der Ausführungsform der vorliegenden Offenbarung eine Verschlechterung der Qualität des rekonstruierten aufgenommenen Bilds vermieden werden.
• Ferner kann gemäß der vorliegenden Ausführungsform das zweidimensionale vorgegebene Muster, das die mehreren zweidimensionalen Grundmuster aufweist, die sich wiederholen, während sie periodisch räumlich im optischen Element verschoben werden, leicht durch Falten eines eindimensionalen Musters mit einer im Wesentlichen konstanten (wünschenswerterweise konstanten) Autokorrelationsfunktion der Nebenkeulen auf der Grundlage einer vorgegebenen Regel erzeugt werden.
• Ferner kann gemäß der Ausführungsform der vorliegenden Offenbarung durch geeignetes Ausbilden des optischen Elements, so dass es das vorstehend beschriebene Muster aufweist, eine Kalibrierung des Bilderzeugungssystems unnötig gemacht werden und schließlich eine Abbildung leicht ausgeführt werden, weil die Bilderzeugungsvorrichtung 100 eine einfache Konfiguration aufweist.
• Ferner kann gemäß der Ausführungsform der vorliegenden Offenbarung beispielsweise die binäre Maske 10 mit einem vorgegebenen Muster, welche die in einem zweidimensionalen Gittermuster angeordneten lichtdurchlässigen Filter 12 und lichtundurchlässigen Filter 14 aufweist, als optisches Element verwendet werden. Gemäß der Ausführungsform der vorliegenden Offenbarung kann beispielsweise die binäre Maske 10 mit einem vorgegebenen Muster, welche die in einem Fresnel-Muster angeordneten lichtdurchlässigen Filter 12 und lichtundurchlässigen Filter 14 aufweist, als optisches Element verwendet werden. Ferner kann gemäß der Ausführungsform der vorliegenden Offenbarung beispielsweise ein Beugungsgitterelement als optisches Element verwendet werden. Das heißt, dass gemäß der Ausführungsform der vorliegenden Offenbarung der Freiheitsgrad beim Entwurf des optischen Elements hoch ist.
• Ferner können gemäß der Ausführungsform der vorliegenden Offenbarung, falls die vorliegende Offenbarung auf das Rolling-Shutter-System angewendet wird, mehrere aufeinander folgende aufgenommene Bilder mit einer hohen Bildwiederholungsrate bei einer einzigen Abbildung erfasst werden. Ferner ist es gemäß der Ausführungsform der vorliegenden Offenbarung einfach, jeder Abtastlinie oder jeder Abtastliniengruppe (insbesondere weist jede Abtastliniengruppe eine vorgegebene Anzahl von Abtastlinien auf) des Bildsensors 50 entsprechende Beobachtungsdaten zu spezifizieren. Überdies kann gemäß der Ausführungsform der vorliegenden Offenbarung die Qualität zwischen den durch Rekonstruieren der in jeder Abtastlinie oder jeder Abtastliniengruppe erfassten Beobachtungsdaten erhaltenen aufgenommenen Bildern gleichmäßig gehalten werden.
• <<4. Hardwarekonfiguration>>
• Die Bildverarbeitungsvorrichtung 200 gemäß der vorstehend beschriebenen Ausführungsform der vorliegenden Offenbarung wird beispielsweise durch einen Computer 1000 mit einer in 24 dargestellten Konfiguration verwirklicht. Nachstehend wird die Bildverarbeitungsvorrichtung 200 gemäß der Ausführungsform der vorliegenden Offenbarung als Beispiel beschrieben. 24 ist ein Hardwarekonfigurationsdiagramm eines Beispiels des Computers 1000, der die Funktionen der Bildverarbeitungsvorrichtung 200 implementiert. Der Computer 1000 weist eine CPU 1100, einen RAM 1200, einen Nurlesespeicher (ROM) 1300, ein Festplattenlaufwerk (eine HDD) 1400, eine Kommunikationsschnittstelle 1500 und eine Ein-/Ausgabeschnittstelle 1600 auf. Jede Einheit des Computers 1000 ist durch einen Bus 1050 angeschlossen.
• Die CPU 1100 arbeitet auf der Grundlage eines im ROM 1300 oder in der HDD 1400 gespeicherten Programms und steuert jede Einheit. Beispielsweise entwickelt die CPU 1100 ein im ROM 1300 oder in der HDD 1400 gespeichertes Programm in den RAM 1200 und führt die verschiedenen Programmen entsprechende Verarbeitung aus.
• Der ROM 1300 speichert ein Bootprogramm in der Art eines grundlegenden Ein-/Ausgabe-Systems (BIOS), das von der CPU 1100 ausgeführt wird, wenn der Computer 1000 aktiviert wird, ein von Hardware des Computers 1000 abhängendes Programm und dergleichen.
• Die HDD 1400 ist ein computerlesbares Aufzeichnungsmedium, das ein von der CPU 1100 ausgeführtes Programm, vom Programm verwendete Daten und dergleichen nichtflüchtig aufzeichnet. Insbesondere ist die HDD 1400 ein Aufzeichnungsmedium, das ein Rechenverarbeitungsprogramm gemäß der vorliegenden Offenbarung aufzeichnet, wobei es sich um ein Beispiel von Programmdaten 1450 handelt.
• Die Kommunikationsschnittstelle 1500 ist eine Schnittstelle zur Verbindung mit einem externen Netz 1550 (beispielsweise dem Internet) für den Computer 1000. Beispielsweise empfängt die CPU 1100 Daten von einer anderen Vorrichtung oder überträgt von der CPU 1100 erzeugte Daten über die Kommunikationsschnittstelle 1500 zu einer anderen Vorrichtung.
• Die Ein-/Ausgabeschnittstelle 1600 dient der Verbindung einer Ein-/Ausgabevorrichtung 1650 und des Computers 1000. Beispielsweise empfängt die CPU 1100 Daten von einer Eingabevorrichtung in der Art einer Tastatur und einer Maus über die Ein-/Ausgabeschnittstelle 1600. Zusätzlich überträgt die CPU 1100 über die Ein-/Ausgabeschnittstelle 1600 Daten zu einer Ausgabevorrichtung in der Art eines Bildschirms, eines Lautsprechers oder eines Druckers. Ferner kann die Ein-/Ausgabeschnittstelle 1600 als Medienschnittstelle wirken, die ein in einem vorgegebenen Aufzeichnungsmedium (Medium) aufgezeichnetes Programm oder dergleichen liest. Das Medium ist beispielsweise ein optisches Aufzeichnungsmedium in der Art einer Digital Versatile Disc (DVD) oder einer wiederbeschreibbaren Phasenänderungsplatte (PD), ein magnetooptisches Aufzeichnungsmedium in der Art einer magnetooptischen Scheibe (MO), ein Bandmedium, ein magnetisches Aufzeichnungsmedium, ein Halbleiterspeicher oder dergleichen.
• Falls der Computer 1000 als Bildverarbeitungsvorrichtung 200 gemäß der Ausführungsform der vorliegenden Offenbarung wirkt, führt die CPU 1100 des Computers 1000 beispielsweise das in den RAM 1200 geladene Rechenverarbeitungsprogramm aus, um die Funktionen der Verarbeitungseinheit 204 (siehe 22) und dergleichen zu implementieren. Zusätzlich speichert die HDD 1400 ein Bildverarbeitungsprogramm und dergleichen gemäß der Ausführungsform der vorliegenden Offenbarung. Es sei bemerkt, dass die CPU 1100 die Programmdaten 1450 aus der HDD 1400 liest und die Programmdaten 1450 ausführt, dass diese Programme jedoch bei einem anderen Beispiel über das externe Netz 1550 von einer anderen Vorrichtung erfasst werden können.
• Ferner kann die Bildverarbeitungsvorrichtung 200 gemäß der vorliegenden Ausführungsform auf ein System angewendet werden, das mehrere Vorrichtungen in den Räumlichkeiten einer Verbindung mit einem Netz (oder einer Kombination zwischen Vorrichtungen) in der Art von Cloud-Computing aufweist. Das heißt, dass die Bildverarbeitungsvorrichtung 200 gemäß der vorstehend beschriebenen vorliegenden Ausführungsform auch als Bildverarbeitungssystem implementiert werden kann, das eine Bildverarbeitung gemäß der vorliegenden Ausführungsform beispielsweise durch mehrere Vorrichtungen ausführt.
• <<5. Anwendungsbeispiel auf endoskopisches Operationssystem>>
• Die Technik gemäß der vorliegenden Offenbarung (vorliegende Technik) kann auf verschiedene Produkte angewendet werden. Beispielsweise kann die Technik gemäß der vorliegenden Offenbarung auf ein endoskopisches Operationssystem angewendet werden.
• 25 ist ein Diagramm eines Beispiels einer schematischen Konfiguration eines endoskopischen Operationssystems, worauf die Technik gemäß der vorliegenden Offenbarung (die vorliegende Technik) angewendet werden kann.
• 25 zeigt einen Zustand, in dem ein Operateur (Arzt) 11131 eine Operation an einem Patienten 11132 auf einem Patientenbett 11133 unter Verwendung eines endoskopischen Operationssystems 11000 ausführt. Wie dargestellt weist das endoskopische Operationssystem 11000 ein Endoskop 11100, andere chirurgische Werkzeuge 11110 in der Art einer Pneumoperitoneumröhre 11111 und eines Energiebehandlungswerkzeugs 11112, eine Tragarmvorrichtung 11120, die das Endoskop 11100 unterstützt, und einen Wagen 11200, an dem verschiedene Vorrichtungen zur endoskopischen Operation montiert sind, auf.
• Das Endoskop 11100 weist einen Linsentubus 11101, dessen Gebiet mit einer vorgegebenen Länge von einem distalen Ende in einen Körperhohlraum des Patienten 11132 eingeführt wird, und einen mit einem proximalen Ende des Linsentubus 11101 verbundenen Kamerakopf 11102 auf. Beim dargestellten Beispiel ist das als so genanntes starres Endoskop, das den starren Linsentubus 11101 aufweist, ausgelegte Endoskop 11100 dargestellt, das Endoskop 11100 kann jedoch auch als so genanntes flexibles Endoskop mit einem flexiblen Linsentubus ausgelegt sein.
• Ein Öffnungsabschnitt, in den eine Objektivlinse eingepasst ist, ist am distalen Ende des Linsentubus 11101 bereitgestellt. Eine Lichtquellenvorrichtung 11203 ist mit dem Endoskop 11100 verbunden, und von der Lichtquellenvorrichtung 11203 erzeugtes Licht wird durch einen Lichtleiter, der sich innerhalb des Linsentubus 11101 erstreckt, zum distalen Ende des Linsentubus geleitet und über die Objektivlinse zu einem Beobachtungsziel im Körperhohlraum des Patienten 11132 emittiert. Es sei bemerkt, dass das Endoskop 11100 ein nach vorne betrachtendes Endoskop, ein schräg betrachtendes Endoskop oder ein seitlich betrachtendes Endoskop sein kann.
• Ein optisches System und ein Abbildungselement sind innerhalb des Kamerakopfs 11102 bereitgestellt, und vom Beobachtungsziel reflektiertes Licht (Beobachtungslicht) wird durch das optische System auf dem Abbildungselement gesammelt. Das Beobachtungslicht wird durch das Abbildungselement photoelektrisch gewandelt, und ein dem Beobachtungslicht entsprechendes elektrisches Signal, d. h. ein dem Beobachtungsbild entsprechendes Bildsignal, wird erzeugt. Das Bildsignal wird als RAW-Daten zu einer Kamerasteuereinheit (CCU) 11201 übertragen.
• Die CCU 11201 weist eine Zentralverarbeitungseinheit (CPU), eine Graphikverarbeitungseinheit (GPU) und dergleichen auf und steuert den Betrieb des Endoskops 11100 und einer Anzeigevorrichtung 11202 integral. Überdies empfängt die CCU 11201 ein Bildsignal vom Kamerakopf 11102 und führt verschiedene Typen von Bildverarbeitungen zur Anzeige eines Bilds auf der Grundlage des Bildsignals in der Art einer Entwicklungsverarbeitung (Demosaikverarbeitung) am Bildsignal aus.
• Die Anzeigevorrichtung 11202 zeigt ein Bild auf der Grundlage des der Bildverarbeitung durch die CCU 11201 unterzogenen Bildsignals von der CCU 11201 gesteuert an.
• Die Lichtquellenvorrichtung 11203 weist beispielsweise eine Lichtquelle in der Art einer Leuchtdiode (LED) auf und führt dem Endoskop 11100 Beleuchtungslicht zur Abbildung einer Operationsstelle oder dergleichen zu.
• Eine Eingabevorrichtung 11204 ist eine Eingabeschnittstelle für das endoskopische Operationssystem 11000. Der Benutzer kann über die Eingabevorrichtung 11204 verschiedene Typen von Informationen und Anweisungen in das endoskopische Operationssystem 11000 eingeben. Beispielsweise gibt der Benutzer einen Befehl oder dergleichen zur Änderung von Abbildungsbedingungen (Typ des Bestrahlungslichts, Vergrößerung, Brennweite und dergleichen) des Endoskops 11100 aus.
• Eine Behandlungswerkzeug-Steuervorrichtung 11205 steuert die Versorgung des Energiebehandlungswerkzeugs 11112 für eine Kauterisierung und einen Einschnitt in Gewebe, das Versiegeln eines Blutgefäßes oder dergleichen. Eine Pneumoperitoneumvorrichtung 11206 führt durch die Pneumoperitoneumröhre 11111 ein Gas in den Körperhohlraum des Patienten 11132 ein, um den Körperhohlraum zum Gewährleisten eines Gesichtsfelds durch das Endoskop 11100 und eines Arbeitsraums für den Operateur zu erweitern. Eine Aufzeichnungsvorrichtung 11207 ist eine zur Aufzeichnung verschiedener Arten sich auf eine Operation beziehender Informationen geeignete Vorrichtung. Ein Drucker 11208 ist eine Vorrichtung, die in der Lage ist, verschiedene Typen von Informationen in Bezug auf die Operation in verschiedenen Formaten in der Art von Text, Bild oder Graphik zu drucken.
• Es sei bemerkt, dass die Lichtquellenvorrichtung 11203, die dem Endoskop 11100 bei der Abbildung der Operationsstelle Beleuchtungslicht zuführt, beispielsweise eine LED, eine Laserlichtquelle oder eine eine Kombination davon aufweisende Weißlichtquelle aufweisen kann. Falls die Weißlichtquelle eine Kombination von RGB-Laserlichtquellen aufweist, kann, weil die Intensität und der Zeitpunkt der Ausgabe jeder Farbe (Wellenlänge) mit hoher Genauigkeit gesteuert werden können, ein Weißabgleich für das aufgenommene Bild in der Lichtquellenvorrichtung 11203 ausgeführt werden. Ferner kann in diesem Fall durch zeitlich getrenntes Bestrahlen des Beobachtungsziels mit Laserlicht von jeder der RGB-Laserlichtquellen und Steuern des Betriebs des Bilderzeugungselements des Kamerakopfs 11102 synchron mit der Bestrahlungszeit ein jeder der RGB-Farben entsprechendes Bild zeitlich getrennt aufgenommen werden. Gemäß diesem Verfahren kann ein Farbbild erhalten werden, ohne ein Farbfilter im Bilderzeugungselement bereitzustellen.
• Ferner kann der Betrieb der Lichtquellenvorrichtung 11203 so gesteuert werden, dass die Intensität des zu jeder vorgegebenen Zeit auszugebenden Lichts geändert wird. Durch zeitlich getrenntes Steuern des Betriebs des Bilderzeugungselements des Kamerakopfs 11102 synchron mit der Zeit des Änderns der Intensität des Lichts zur Aufnahme von Bildern und Synthetisieren der Bilder kann ein Bild mit einem hohen Dynamikbereich ohne so genannte blockierte Schatten und überstrahlte Hochtöne erzeugt werden.
• Ferner kann die Lichtquellenvorrichtung 11203 so ausgelegt werden, dass sie in der Lage ist, Licht in einem einer Beobachtung unter speziellem Licht entsprechenden vorgegebenen Wellenlängenband zuzuführen. Bei der Beobachtung unter speziellem Licht wird beispielsweise eine so genannte Schmalband-Bilderzeugung ausgeführt, bei der ein vorgegebenes Gewebe in der Art eines Blutgefäßes in einer Schleimhaut-Oberflächenschicht bei einer normalen Beobachtung unter Verwendung der Wellenlängenabhängigkeit der Lichtabsorption in einem Körpergewebe mit hohem Kontrast durch Einstrahlen von Licht in einem schmaleren Band als jenem des Bestrahlungslichts (d. h. Weißlicht) abgebildet wird. Alternativ kann bei der Beobachtung unter speziellem Licht eine Fluoreszenzbeobachtung zum Erhalten eines Bilds unter Verwendung der durch Einstrahlen von Anregungslicht erzeugten Fluoreszenz ausgeführt werden. Bei der Fluoreszenzbeobachtung kann beispielsweise ein Körpergewebe mit Anregungslicht bestrahlt werden, um die Fluoreszenz vom Körpergewebe zu beobachten (Autofluoreszenzbeobachtung), oder kann lokal ein Reagens in der Art von Indocyaningrün (ICG) in ein Körpergewebe injiziert werden und das Körpergewebe mit dem einer Fluoreszenzwellenlänge des Reagens entsprechenden Anregungslicht bestrahlt werden, um ein Fluoreszenzbild zu erhalten. Die Lichtquellenvorrichtung 11203 kann so ausgelegt werden, dass sie in der Lage ist, einer solchen Beobachtung unter speziellem Licht entsprechendes schmalbandiges Licht und/oder Anregungslicht zuzuführen.
• 26 ist ein Blockdiagramm, das ein Beispiel von Funktionskonfigurationen des Kamerakopfs 11102 und der CCU 11201 zeigt, die in 25 dargestellt sind.
• Der Kamerakopf 11102 weist eine Linseneinheit 11401, eine Bilderzeugungseinheit 11402, eine Ansteuereinheit 11403, eine Kommunikationseinheit 11404 und eine Kamerakopf-Steuereinheit 11405 auf. Die CCU 11201 weist eine Kommunikationseinheit 11411, eine Bildverarbeitungseinheit 11412 und eine Steuereinheit 11413 auf. Der Kamerakopf 11102 und die CCU 11201 sind durch ein Übertragungskabel 11400 kommunikationsfähig miteinander verbunden.
• Die Linseneinheit 11401 ist ein an einem Verbindungsabschnitt mit dem Linsentubus 11101 bereitgestelltes optisches System. Vom distalen Ende des Linsentubus 11101 eintretendes Beobachtungslicht wird zum Kamerakopf 11102 geleitet und tritt in die Linseneinheit 11401 ein. Die Linseneinheit 11401 ist durch Kombinieren mehrerer Linsen unter Einschluss einer Zoomlinse und einer Fokussierungslinse gebildet.
• Die Anzahl der die Bilderzeugungseinheit 11402 bildenden Bilderzeugungselemente kann eins (so genannter Einzelplattentyp) oder mehrere (so genannter Mehrplattentyp) sein. Falls die Bilderzeugungseinheit 11402 als Mehrplattentyp ausgelegt ist, können beispielsweise RGB entsprechende Bildsignale durch die jeweiligen Bilderzeugungselemente erzeugt werden und kann ein Farbbild durch Kombinieren der Bildsignale erhalten werden. Alternativ kann die Bilderzeugungseinheit 11402 ein Paar von Bilderzeugungselementen zum Erfassen von Bildsignalen für das rechte Auge und das linke Auge entsprechend einer dreidimensionalen (3D-) Anzeige aufweisen. Durch Ausführen der 3D-Anzeige kann der Operateur 11131 die Tiefe eines lebenden Gewebes an der Operationsstelle genauer erfassen. Es sei bemerkt, dass entsprechend den jeweiligen Bilderzeugungselementen mehrere Linseneinheiten 11401 bereitgestellt sein können, falls die Bilderzeugungseinheit 11402 als Mehrplattentyp ausgelegt ist.
• Ferner ist die Bilderzeugungseinheit 11402 nicht notwendigerweise im Kamerakopf 11102 bereitgestellt. Beispielsweise kann die Bilderzeugungseinheit 11402 unmittelbar hinter der Objektivlinse innerhalb des Linsentubus 11101 bereitgestellt sein.
• Die Ansteuereinheit 11403 weist einen Aktuator auf und bewegt die Zoomlinse und die Fokussierungslinse der Linseneinheit 11401 von der Kamerakopf-Steuereinheit 11405 gesteuert um eine vorgegebene Strecke entlang einer optischen Achse. Dementsprechend können die Vergrößerung und der Brennpunkt eines von der Bilderzeugungseinheit 11402 aufgenommenen Bilds geeignet eingestellt werden.
• Die Kommunikationseinheit 11404 weist eine Kommunikationsvorrichtung zum Senden verschiedener Arten von Informationen zur CCU 11201 und zum Empfangen verschiedener Typen von Informationen von dieser auf. Die Kommunikationseinheit 11404 sendet ein von der Bilderzeugungseinheit 11402 erhaltenes Bildsignal als RAW-Daten über das Übertragungskabel 11400 zur CCU 11201.
• Ferner empfängt die Kommunikationseinheit 11404 ein Steuersignal zum Steuern des Antriebs des Kamerakopfs 11102 von der CCU 11201 und führt das Steuersignal der Kamerakopf-Steuereinheit 11405 zu. Das Steuersignal weist beispielsweise Informationen in Bezug auf Bilderzeugungsbedingungen in der Art von Informationen zum Spezifizieren der Bildwiederholungsrate eines aufgenommenen Bilds, Informationen zum Spezifizieren des Belichtungswerts bei der Abbildung und/oder Informationen zum Spezifizieren der Vergrößerung und des Brennpunkts eines aufgenommenen Bilds auf.
• Es sei bemerkt, dass die Bilderzeugungsbedingungen in der Art der Bildwiederholungsrate, des Belichtungswerts, der Vergrößerung und des Brennpunkts durch den Benutzer geeignet spezifiziert werden können oder durch die Steuereinheit 11413 der CCU 11201 auf der Grundlage des erfassten Bildsignals automatisch festgelegt werden können. Im letztgenannten Fall sind im Endoskop 11100 eine so genannte automatische Belichtungsfunktion (AE-Funktion), eine Autofokus(AF)-Funktion und eine automatische Weißabgleichfunktion (AWB-Funktion) installiert.
• Die Kamerakopf-Steuereinheit 11405 steuert den Antrieb des Kamerakopfs 11102 auf der Grundlage des über die Kommunikationseinheit 11404 von der CCU 11201 empfangenen Steuersignals.
• Die Kommunikationseinheit 11411 weist eine Kommunikationsvorrichtung zum Senden verschiedener Typen von Informationen zum Kamerakopf 11102 und zum Empfangen verschiedener Typen von Informationen von diesem auf. Die Kommunikationseinheit 11411 empfängt ein vom Kamerakopf 11102 gesendetes Bildsignal über das Übertragungskabel 11400.
• Ferner sendet die Kommunikationseinheit 11411 ein Steuersignal zum Steuern des Antriebs des Kamerakopfs 11102 zum Kamerakopf 11102. Das Bildsignal und das Steuersignal können durch elektrische Kommunikation, optische Kommunikation oder dergleichen übertragen werden.
• Die Bildverarbeitungseinheit 11412 führt am Bildsignal, wobei es sich um die vom Kamerakopf 11102 übertragenen RAW-Daten handelt, verschiedene Typen von Bildverarbeitungen aus.
• Die Steuereinheit 11413 führt verschiedene Typen von Steuerungen in Bezug auf die Abbildung einer Operationsstelle oder dergleichen unter Verwendung des Endoskops 11100 und die Anzeige eines durch Abbilden der Operationsstelle erhaltenen aufgenommenen Bilds oder dergleichen aus. Beispielsweise erzeugt die Steuereinheit 11413 ein Steuersignal zum Steuern des Antriebs des Kamerakopfs 11102.
• Ferner veranlasst die Steuereinheit 11413 die Anzeigevorrichtung 11202, ein aufgenommenes Bild einer Operationsstelle oder dergleichen auf der Grundlage des der Bildverarbeitung durch die Bildverarbeitungseinheit 11412 unterzogenen Bildsignals anzuzeigen. Dabei kann die Steuereinheit 11413 verschiedene Objekte im aufgenommenen Bild unter Verwendung verschiedener Bilderkennungstechnologien erkennen. Beispielsweise kann die Steuereinheit 11413 ein chirurgisches Werkzeug in der Art einer Pinzette, einen spezifischen Körperteil, eine Blutung, Nebel bei der Verwendung des Energiebehandlungswerkzeugs 11112 und dergleichen durch Erfassen der Form, Farbe und dergleichen eines im aufgenommenen Bild enthaltenen Rands eines Objekts erkennen. Wenn das aufgenommene Bild auf der Anzeigevorrichtung 11202 angezeigt wird, kann die Steuereinheit 11413 verschiedene Typen von Operationsunterstützungsinformationen auf einem Bild der Operationsstelle unter Verwendung des Erkennungsergebnisses überlagern und anzeigen. Weil die Operationsunterstützungsinformationen überlagert und angezeigt werden und dem Operateur 11131 präsentiert werden, kann die Belastung des Operateurs 11131 verringert werden und kann der Operateur 11131 die Operation zuverlässig ausführen.
• Das den Kamerakopf 11102 und die CCU 11201 verbindende Übertragungskabel 11400 ist ein mit einer elektrischen Signalkommunikation kompatibles elektrisches Signalkabel, eine mit einer optischen Kommunikation kompatible optische Faser oder ein Verbundkabel davon.
• Hier geschieht die Kommunikation beim dargestellten Beispiel drahtgestützt unter Verwendung des Übertragungskabels 11400, die Kommunikation zwischen dem Kamerakopf 11102 und der CCU 11201 kann jedoch auch drahtlos erfolgen.
• Ein Beispiel des endoskopischen Operationssystems, worauf die Technik gemäß der vorliegenden Offenbarung angewendet werden kann, wurde vorstehend beschrieben. Die Technik gemäß der vorliegenden Offenbarung kann unter den vorstehend beschriebenen Konfigurationen auf die Bilderzeugungseinheit 11402 und dergleichen angewendet werden.
• Es sei bemerkt, dass das endoskopische Operationssystem hier als Beispiel beschrieben wurde, dass die Technik gemäß der vorliegenden Offenbarung jedoch beispielsweise auch auf ein mikroskopisches Operationssystem oder dergleichen angewendet werden kann.
• <<6. Anwendungsbeispiel auf mobilen Körper>>
• Die Technik gemäß der vorliegenden Offenbarung (vorliegende Technik) kann auf verschiedene Produkte angewendet werden. Beispielsweise kann die Technik gemäß der vorliegenden Offenbarung als eine an einem Typ eines beweglichen Körpers in der Art eines Kraftfahrzeugs, eines Elektrofahrzeugs, eines Hybridelektrofahrzeugs, eines Motorrads, eines Fahrrads, einer persönlichen Mobilitätsvorrichtung, eines Flugzeugs, einer Drohne, eines Schiffs und eines Roboters montierte Vorrichtung verwirklicht werden.
• 27 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Fahrzeugsteuersystems zeigt, wobei es sich um ein Beispiel eines Systems zum Steuern eines beweglichen Körpers handelt, auf das die Technik gemäß der vorliegenden Offenbarung angewendet werden kann.
• Ein Fahrzeugsteuersystem 12000 weist mehrere durch ein Kommunikationsnetz 12001 verbundene elektronische Steuereinheiten auf. Beim in 27 dargestellten Beispiel weist das Fahrzeugsteuersystem 12000 eine Antriebssystem-Steuereinheit 12010, eine Karosseriesystem-Steuereinheit 12020, eine Einheit 12030 zur Erfassung fahrzeugexterner Informationen, eine Einheit 12040 zur Erfassung fahrzeuginterner Informationen und eine integrierte Steuereinheit 12050 auf. Ferner sind als Funktionskonfiguration der integrierten Steuereinheit 12050 ein Mikrocomputer 12051, eine Audio-/Bildausgabeeinheit 12052 und eine fahrzeuginterne Netzschnittstelle (I/F) 12053 dargestellt.
• Die Antriebssystem-Steuereinheit 12010 steuert den Betrieb von Vorrichtungen in Bezug auf das Antriebssystem des Fahrzeugs gemäß verschiedenen Programmen. Beispielsweise wirkt die Antriebssystem-Steuereinheit 12010 als Steuervorrichtung einer Antriebskraft-Erzeugungsvorrichtung zur Erzeugung der Antriebskraft eines Fahrzeugs in der Art eines Verbrennungsmotors oder eines Antriebsmotors, eines Antriebskraft-Übertragungsmechanismus zur Übertragung der Antriebskraft auf die Räder, eines Lenkmechanismus zur Einstellung des Lenkwinkels des Fahrzeugs, einer Bremsvorrichtung zur Erzeugung der Bremskraft des Fahrzeugs und dergleichen.
• Die Karosseriesystem-Steuereinheit 12020 steuert Arbeitsvorgänge verschiedener an einer Fahrzeugkarosserie montierter Vorrichtungen gemäß verschiedenen Programmen. Beispielsweise wirkt die Karosseriesystem-Steuereinheit 12020 als Steuervorrichtung für ein schlüsselloses Eintrittssystem, ein Smart-Key-System, eine elektrische Fensterhebervorrichtung oder verschiedene Lampen in der Art eines Frontscheinwerfers, einer Rückleuchte, einer Bremsleuchte, eines Blinkers oder eines Nebelscheinwerfers. In diesem Fall können Funkwellen oder Signale von verschiedenen Schaltern, die von einer tragbaren Vorrichtung gesendet werden, die einen Schlüssel ersetzt, in die Karosseriesystem-Steuereinheit 12020 eingegeben werden. Die Karosseriesystem-Steuereinheit 12020 empfängt die Eingabe dieser Funkwellen oder Signale und steuert eine Türverriegelungsvorrichtung, eine elektrische Fensterbetätigungsvorrichtung, eine Lampe und dergleichen des Fahrzeugs.
• Die Einheit 12030 zur Erfassung fahrzeugexterner Informationen erfasst Informationen außerhalb des Fahrzeugs, an dem das Fahrzeugsteuersystem 12000 montiert ist. Beispielsweise ist eine Bilderzeugungseinheit 12031 mit der Einheit 12030 zur Erfassung fahrzeugexterner Informationen verbunden. Die Einheit 12030 zur Erfassung fahrzeugexterner Informationen veranlasst die Bilderzeugungseinheit 12031, ein Bild des Außenbereichs des Fahrzeugs zu erfassen, und empfängt das erfasste Bild. Die Einheit 12030 zur Erfassung fahrzeugexterner Informationen kann eine Objekterkennungsverarbeitung oder Abstandserkennungsverarbeitung für eine Person, ein Fahrzeug, ein Hindernis, ein Verkehrszeichen, ein Zeichen auf einer Straßenoberfläche oder dergleichen auf der Grundlage des empfangenen Bilds ausführen.
• Die Bilderzeugungseinheit 12031 ist ein optischer Sensor, der Licht empfängt und ein der empfangenen Lichtmenge entsprechendes elektrisches Signal ausgibt. Die Bilderzeugungseinheit 12031 kann das elektrische Signal als Bild oder als Abstandsmessinformationen ausgeben. Ferner kann das von der Bilderzeugungseinheit 12031 empfangene Licht sichtbares Licht oder unsichtbares Licht in der Art von Infrarotstrahlen sein.
• Die Einheit 12040 zur Erfassung fahrzeuginterner Informationen erfasst Informationen innerhalb des Fahrzeugs. Beispielsweise ist eine Fahrerzustands-Erkennungseinheit 12041, die einen Zustand eines Fahrers erkennt, mit der Einheit 12040 zur Erfassung fahrzeuginterner Informationen verbunden. Die Fahrerzustands-Erkennungseinheit 12041 weist beispielsweise eine Kamera auf, die den Fahrer aufnimmt, und die Einheit 12040 zur Erfassung fahrzeuginterner Informationen kann den Müdigkeitsgrad oder Konzentrationsgrad des Fahrers berechnen oder auf der Grundlage der von der Fahrerzustands-Erfassungseinheit 12041 eingegebenen Informationen feststellen, ob der Fahrer schläfrig ist.
• Der Mikrocomputer 12051 kann einen Steuerzielwert der Antriebskraft-Erzeugungsvorrichtung, des Lenkmechanismus oder der Bremsvorrichtung auf der Grundlage der von der Einheit 12030 zur Erfassung fahrzeugexterner Informationen oder der Einheit 12040 zur Erfassung fahrzeuginterner Informationen erfassten Informationen innerhalb und außerhalb des Fahrzeugs, berechnen und einen Steuerbefehl an die Antriebssystem-Steuereinheit 12010 ausgeben. Beispielsweise kann der Mikrocomputer 12051 eine kooperative Steuerung zur Verwirklichung der Funktion eines fortschrittlichen Fahrerunterstützungssystems (ADAS) einschließlich einer Kollisionsvermeidung oder Aufprallabschwächung des Fahrzeugs, eines verfolgenden Fahrens auf der Grundlage des Abstands zwischen Fahrzeugen, eines Fahrens mit aufrechterhaltener Fahrzeuggeschwindigkeit, einer Fahrzeugkollisionswarnung, einer Fahrspurabweichungswarnung oder dergleichen ausführen.
• Ferner steuert der Mikrocomputer 12051 die Antriebskraft-Erzeugungsvorrichtung, den Lenkmechanismus, die Bremsvorrichtung oder dergleichen auf der Grundlage von der Einheit 12030 zur Erfassung fahrzeugexterner Informationen oder der Einheit 12040 zur Erfassung fahrzeuginterner Informationen erfasster Informationen um das Fahrzeug, um dadurch eine kooperative Steuerung für das automatische Fahren oder dergleichen auszuführen, wobei das Fahrzeug autonom fährt, ohne von einem Eingriff durch den Fahrer abzuhängen.
• Ferner kann der Mikrocomputer 12051 einen Steuerbefehl auf der Grundlage der von der Einheit 12030 zur Erfassung fahrzeugexterner Informationen erfassten Informationen an die Karosseriesystem-Steuereinheit 12030 ausgeben. Beispielsweise kann der Mikrocomputer 12051 eine kooperative Steuerung zum Verhindern eines Blendens in der Art eines Schaltens von Fernlicht zu Abblendlicht durch Steuern des Frontscheinwerfers entsprechend der Position eines vorausfahrenden Fahrzeugs oder eines sich nähernden Fahrzeugs, die durch die Einheit 12030 zur Erfassung fahrzeugexterner Informationen erfasst wird, ausführen.
• Die Audio-/Bildausgabeeinheit 12052 sendet ein Ausgangssignal von Ton und/oder Bildern zu einer Ausgabevorrichtung, die in der Lage ist, einem Insassen des Fahrzeugs oder dem Außenbereich des Fahrzeugs sichtbar oder hörbar Informationen zu übermitteln. Beim Beispiel aus 27 sind ein Lautsprecher 12061, eine Anzeigeeinheit 12062 und eine Instrumententafel 12063 als Ausgabevorrichtung dargestellt. Die Anzeigeeinheit 12062 kann beispielsweise eine Bordanzeige und/oder ein Head-up-Display umfassen.
• 28 ist ein Diagramm, das ein Beispiel einer Installationsposition der Bilderzeugungseinheit 12031 zeigt.
• In 28 sind Bilderzeugungseinheiten 12101, 12102, 12103, 12104 und 12105 als Bilderzeugungseinheit 12031 aufgenommen.
• Die Bilderzeugungseinheiten 12101, 12102, 12103, 12104 und 12105 sind beispielsweise an Positionen in der Art der Fahrzeugfront, eines Seitenspiegels, der hinteren Stoßstange, der Hecktür und des oberen Teils der Windschutzscheibe im Inneren eines Fahrzeugs 12100 bereitgestellt. Die an der Fahrzeugfront bereitgestellte Bilderzeugungseinheit 12101 und die am oberen Teil der Windschutzscheibe im Fahrzeuginneren bereitgestellte Bilderzeugungseinheiten 12105 erfassen hauptsächlich Bilder vor dem Fahrzeug 12100. Die an den Seitenspiegeln bereitgestellten Bilderzeugungseinheiten 12102 und 12103 erfassen hauptsächlich Bilder der Seiten des Fahrzeugs 12100. Die an der hinteren Stoßstange oder der Hecktür bereitgestellte Bilderzeugungseinheit 12104 erfasst hauptsächlich ein Bild hinter dem Fahrzeug 12100. Die am oberen Teil der Windschutzscheibe im Fahrzeuginneren bereitgestellte Bilderzeugungseinheit 12105 wird hauptsächlich zur Erkennung eines vorausfahrenden Fahrzeugs, eines Fußgängers, eines Hindernisses, einer Ampel, eines Verkehrszeichens, einer Fahrspur oder dergleichen verwendet.
• Es sei bemerkt, dass 28 ein Beispiel von Bilderzeugungsbereichen der Bilderzeugungseinheiten 12101 bis 12104 zeigt. Ein Bilderzeugungsbereich 12111 gibt einen Bilderzeugungsbereich der an der Fahrzeugfront bereitgestellten Bilderzeugungseinheit 12101 an, Bilderzeugungsbereiche 12112 und 12113 geben Bilderzeugungsbereiche der an den jeweiligen Seitenspiegeln bereitgestellten Bilderzeugungseinheiten 12102 bzw. 12103 an, und ein Bilderzeugungsbereich 12114 gibt einen Bilderzeugungsbereich der an der hinteren Stoßstange oder an der Hecktür bereitgestellten Bilderzeugungseinheit 12104 an. Beispielsweise wird durch Überlagern von den Bilderzeugungseinheiten 12101 bis 12104 erfasster Bilddaten eine Draufsicht des Fahrzeugs 12100 erhalten.
• Wenigstens eine der Bilderzeugungseinheiten 12101 bis 12104 kann eine Funktion zum Erfassen von Abstandsinformationen aufweisen. Beispielsweise kann wenigstens eine der Bilderzeugungseinheiten 12101 bis 12104 eine Stereokamera sein, die mehrere Bilderzeugungselemente aufweist, oder sie kann ein Bilderzeugungselement mit Pixeln zur Phasendifferenzerkennung sein.
• Beispielsweise erhält der Mikrocomputer 12051 den Abstand von jedem dreidimensionalen Objekt in den Abbildungsbereichen 12111 bis 12114 und die zeitliche Änderung des Abstands (Relativgeschwindigkeit in Bezug auf das Fahrzeug 12100) auf der Grundlage der von den Bilderzeugungseinheiten 12101 bis 12104 erhaltenen Abstandsinformationen, um dadurch als vorausfahrendes Fahrzeug ein dreidimensionales Objekt zu extrahieren, das mit einer vorgegebenen Geschwindigkeit (beispielsweise 0 km/h oder mehr) im Wesentlichen in die gleiche Richtung wie das Fahrzeug 12100 fährt, wobei es sich insbesondere um das nächstgelegene dreidimensionale Objekt im Fahrweg des Fahrzeugs 12100 handelt. Überdies kann der Mikrocomputer 12051 einen sicherzustellenden Abstand zwischen Fahrzeugen vorab in Bezug auf das vorausfahrende Fahrzeug festlegen und eine automatische Bremssteuerung (einschließlich einer Verfolgungs-Stopp-Steuerung), eine automatische Beschleunigungssteuerung (einschließlich einer Verfolgungs-Start-Steuerung) und dergleichen ausführen. Wie vorstehend beschrieben, kann eine kooperative Steuerung für den Zweck des automatischen Fahrens oder dergleichen ausgeführt werden, wobei das Fahrzeug autonom fährt, ohne von der Betätigung durch den Fahrer abzuhängen.
• Beispielsweise kann der Mikrocomputer 12051 auf der Grundlage der von den Bilderzeugungseinheiten 12101 bis 12104 erhaltenen Abstandsinformationen dreidimensionale Objektdaten in Bezug auf dreidimensionale Objekte in Zweiradfahrzeuge, gewöhnliche Fahrzeuge, große Fahrzeuge, Fußgänger und andere dreidimensionale Objekte in der Art von Strommasten klassifizieren, die dreidimensionalen Objektdaten extrahieren und sie zur automatischen Vermeidung von Hindernissen verwenden. Beispielsweise identifiziert der Mikrocomputer 12051 Hindernisse um das Fahrzeug 12100 als Hindernisse, die vom Fahrer des Fahrzeugs 12100 visuell erkannt werden können, und Hindernisse, die schwer visuell zu erkennen sind. Dann bestimmt der Mikrocomputer 12051 das Kollisionsrisiko für eine Kollision mit jeweiligen Hindernissen, und er kann, wenn das Kollisionsrisiko gleich einem festgelegten Wert oder größer als dieser ist und die Möglichkeit einer Kollision besteht, eine Fahrassistenz zum Vermeiden einer Kollision durch Ausgeben eines Alarms über den Lautsprecher 12061 oder die Anzeigeeinheit 12062 an den Fahrer oder durch Ausführen einer erzwungenen Verzögerung oder eines vermeidenden Lenkens durch die Antriebssystem-Steuereinheit 12010 ausführen.
• Wenigstens eine der Bilderzeugungseinheiten 12101 bis 12104 kann eine Infrarotstrahlen erfassende Infrarotkamera sein. Der Mikrocomputer 12051 kann beispielsweise einen Fußgänger erkennen, indem er feststellt, ob ein Fußgänger in den von den Bilderzeugungseinheiten 12101 bis 12104 erfassten Bildern vorhanden ist. Eine solche Fußgängererkennung geschieht beispielsweise durch eine Prozedur zum Extrahieren von Merkmalspunkten in den von den als Infrarotkameras dienenden Bildaufnahmeeinheiten 12101 bis 12104 aufgenommenen Bildern und eine Prozedur zur Ausführung einer Mustervergleichsverarbeitung an einer Reihe von Merkmalspunkten, die eine Kontur eines Objekts angeben, um festzustellen, ob das Objekt ein Fußgänger ist. Wenn der Mikrocomputer 12051 feststellt, dass in den durch die Bilderzeugungseinheiten 12101 bis 12104 aufgenommenen Bildern ein Fußgänger vorhanden ist, und den Fußgänger erkennt, veranlasst die Audio-/Bildausgabeeinheit 12052 die Anzeigeeinheit 12062, eine quadratische Konturlinie zur Hervorhebung dem erkannten Fußgänger zu überlagern und anzuzeigen. Ferner kann die Audio-/Bildausgabeeinheit 12052 die Anzeigeeinheit 12062 veranlassen, ein den Fußgänger angebendes Bildzeichen oder dergleichen an einer gewünschten Position anzuzeigen.
• Ein Beispiel des Fahrzeugsteuersystems, worauf die Technik gemäß der vorliegenden Offenbarung angewendet werden kann, wurde vorstehend beschrieben. Die Technik gemäß der vorliegenden Offenbarung kann unter den vorstehend beschriebenen Konfigurationen auf die Bilderzeugungseinheit 12031 und dergleichen angewendet werden.
• <<7. Ergänzung>>
• Es sei bemerkt, dass die vorstehend beschriebene Ausführungsform der vorliegenden Offenbarung beispielsweise ein Programm, um einen Computer zu veranlassen, als Bildverarbeitungsvorrichtung gemäß der vorliegenden Ausführungsform zu wirken, und ein nichtflüchtiges physisches Medium, auf dem das Programm aufgezeichnet ist, aufweisen kann. Ferner kann das Programm über eine Kommunikationsleitung (einschließlich Drahtloskommunikation) in der Art des Internets verteilt werden.
• Überdies brauchen die jeweiligen Schritte des vorstehend beschriebenen Bildverarbeitungsverfahrens gemäß der Ausführungsform der vorliegenden Offenbarung nicht notwendigerweise in der vorstehend beschriebenen Reihenfolge verarbeitet zu werden. Beispielsweise können die jeweiligen Schritte in einer geeigneten geänderten Reihenfolge verarbeitet werden. Ferner können die jeweiligen Schritte teilweise parallel oder einzeln verarbeitet werden, statt in einer Zeitreihe verarbeitet zu werden. Überdies braucht das Verarbeitungsverfahren der jeweiligen Schritte nicht notwendigerweise gemäß dem beschriebenen Verfahren ausgeführt zu werden und kann durch ein anderes Verfahren, beispielsweise durch eine andere Funktionseinheit, ausgeführt werden.
• Wenngleich die bevorzugten Ausführungsformen der vorliegenden Offenbarung detailliert mit Bezug auf die anliegenden Zeichnungen beschrieben wurden, ist der technische Geltungsbereich der vorliegenden Offenbarung nicht auf diese Beispiele beschränkt. Es ist offensichtlich, dass eine Person mit durchschnittlichen Kenntnissen auf dem technischen Gebiet der vorliegenden Offenbarung innerhalb des Geltungsbereichs der in den Ansprüchen beschriebenen technischen Idee verschiedene Änderungen oder Modifikationen entwickeln kann, und es ist natürlich zu verstehen, dass diese auch zum technischen Geltungsbereich der vorliegenden Offenbarung gehören.
• Ferner dienen die in der vorliegenden Patentschrift beschriebenen vorteilhaften Wirkungen lediglich der Erläuterung oder als Beispiel und sind nicht einschränkend. Das heißt, dass die Technik gemäß der vorliegenden Offenbarung zusammen mit den vorstehend erwähnten vorteilhaften Wirkungen oder anstelle dieser andere vorteilhafte Wirkungen aufweisen kann, die Fachleuten anhand der Beschreibung der vorliegenden Patentschrift offensichtlich sind.
• Es sei bemerkt, dass die vorliegende Technik auch die nachstehenden Konfigurationen aufweisen kann.
• (1) Bilderzeugungsvorrichtung, aufweisend:
  • einen Liniensensor oder einen Flächensensor mit einem vom Seitenverhältnis einer Szene verschiedenen Seitenverhältnis und
  • ein optisches Element mit einem vorgegebenen Muster, das dem Liniensensor oder dem Flächensensor überlagert ist,
  • wobei im optischen Element eine Autokorrelationsfunktion des vorgegebenen Musters, einschließlich mehrerer Grundmuster, die sich wiederholen, während sie periodisch räumlich verschoben werden, einen Peak und Nebenkeulen aufweist und die Nebenkeulen konstant oder im Wesentlichen konstant sind.
• (2) Bilderzeugungsvorrichtung nach (1), wobei das optische Element das vorgegebene Muster, einschließlich eines zweidimensionalen Musters, das durch Falten eines eindimensionalen Musters mit einer Autokorrelationsfunktion konstanter oder im Wesentlichen konstanter Nebenkeulen auf der Grundlage einer vorgegebenen Regel erzeugt wird, aufweist.
• (3) Bilderzeugungsvorrichtung nach (1) oder (2), wobei das optische Element eine binäre Maske ist, die das vorgegebene Muster, einschließlich mehrerer lichtdurchlässiger Filter und mehrerer lichtundurchlässiger Filter, die in einem zweidimensionalen Gittermuster angeordnet sind, aufweist.
• (4) Bilderzeugungsvorrichtung nach (1) oder (2), wobei das optische Element eine binäre Maske ist, die das vorgegebene Muster, einschließlich mehrerer lichtdurchlässiger Filter und mehrerer lichtundurchlässiger Filter, die in einem Fresnel-Muster angeordnet sind, aufweist.
• (5) Bilderzeugungsvorrichtung nach (1) oder (2), wobei das optische Element ein Beugungsgitter ist.
• (6) Bilderzeugungsvorrichtung nach einem von (1) bis (5), wobei der Liniensensor oder der Flächensensor eine oder mehrere Zeilen, die mehrere Pixel aufweisen, aufweist.
• (7) Bilderzeugungsvorrichtung nach (6), wobei der Flächensensor in einem Rolling-Shutter-System arbeitet, das Beobachtungsdaten zu unterschiedlichen Zeiten für jede der Zeilen erfasst.
• (8) Bilderzeugungsvorrichtung nach (6), wobei der Liniensensor oder der Flächensensor in einem Global-Shutter-System arbeitet, in dem die mehreren Pixel gleichzeitig Beobachtungsdaten erfassen.
• (9) Bilderzeugungsvorrichtung nach einem von (1) bis (8), welche mehrere der optischen Elemente aufweist.
• (10) Bilderzeugungsvorrichtung nach einem von (1) bis (9), wobei das optische Element die jeweiligen Beobachtungsdaten auf der Grundlage von Licht von jedem Punkt der Szene, die überlagernd in jedem Gebiet des Liniensensors oder des Flächensensors erfasst wird, codiert.
• (11) Bilderzeugungsvorrichtung nach einem von (1) bis (10), wobei die Bilderzeugungsvorrichtung eine linsenlose Kamera ist.
• (12) Optisches Element, das ein vorgegebenes Muster aufweist, das einem Liniensensor oder einem Flächensensor überlagert ist, der ein vom Seitenverhältnis einer Szene verschiedenes Seitenverhältnis aufweist, wobei im optischen Element eine Autokorrelationsfunktion des vorgegebenen Musters, einschließlich mehrerer Grundmuster, die sich wiederholen, während sie periodisch räumlich verschoben werden, einen Peak und Nebenkeulen aufweist und die Nebenkeulen konstant oder im Wesentlichen konstant sind.
• (13) Bildverarbeitungssystem, aufweisend:
  • eine Erfassungseinheit, die Beobachtungsdaten erfasst, die durch einen Liniensensor oder einen Flächensensor mit einem vom Seitenverhältnis einer Szene verschiedenen Seitenverhältnis auf der Grundlage von Licht von der Szene, das von einem optischen Element mit einem vorgegebenen Muster, das dem Liniensensor oder dem Flächensensor überlagert ist, durchgelassen wird, beobachtet werden, und
  • eine Verarbeitungseinheit, die ein aufgenommenes Bild der Szene durch Rekonstruieren der Beobachtungsdaten erzeugt,
  • wobei im optischen Element eine Autokorrelationsfunktion des vorgegebenen Musters, einschließlich mehrerer Grundmuster, die sich wiederholen, während sie periodisch räumlich verschoben werden, einen Peak und Nebenkeulen aufweist und die Nebenkeulen konstant oder im Wesentlichen konstant sind.
• (14) Bildverarbeitungsverfahren, aufweisend:
  • Erfassen von Beobachtungsdaten, die durch einen Liniensensor oder einen Flächensensor mit einem vom Seitenverhältnis einer Szene verschiedenen Seitenverhältnis auf der Grundlage von Licht von der Szene, das von einem optischen Element mit einem vorgegebenen Muster, das dem Liniensensor oder dem Flächensensor überlagert ist, durchgelassen wird, beobachtet werden,
  • Erzeugen eines aufgenommenen Bilds der Szene durch Rekonstruieren der Beobachtungsdaten,
  wobei im optischen Element eine Autokorrelationsfunktion des vorgegebenen Musters, einschließlich mehrerer Grundmuster, die sich wiederholen, während sie periodisch räumlich verschoben werden, einen Peak und Nebenkeulen aufweist und die Nebenkeulen konstant oder im Wesentlichen konstant sind.
• Bezugszeichenliste

10, 10a, 10b, 10c, 10d, 10e

BINÄRE MASKE

12

LICHTDURCHLÄSSIGES FILTER

14

LICHTUNDURCHLÄSSIGES FILTER

50

BILDSENSOR

52, 52d, 52e, 52f

PIXEL

100

BILDERZEUGUNGSVORRICHTUNG

200

BILDVERARBEITUNGSVORRICHTUNG

202

ERFASSUNGSEINHEIT

204

VERARBEITUNGSEINHEIT

206

AUSGABEEINHEIT

208

SPEICHEREINHEIT

a, b, c

LICHTQUELLE

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• US 8746569 [0002]
• WO 2016/123529 A [0002]
• WO 2018/023039 A [0002]
• US 4209780 [0002]
• WO 2018/064660 A [0002]
• US 2015/0219808 A [0002]

Claims (14)

1. Bilderzeugungsvorrichtung, aufweisend: einen Liniensensor oder einen Flächensensor mit einem vom Seitenverhältnis einer Szene verschiedenen Seitenverhältnis und ein optisches Element mit einem vorgegebenen Muster, das dem Liniensensor oder dem Flächensensor überlagert ist, wobei im optischen Element eine Autokorrelationsfunktion des vorgegebenen Musters, einschließlich mehrerer Grundmuster, die sich wiederholen, während sie periodisch räumlich verschoben werden, einen Peak und Nebenkeulen aufweist und die Nebenkeulen konstant oder im Wesentlichen konstant sind.
2. Bilderzeugungsvorrichtung nach Anspruch 1, wobei das optische Element das vorgegebene Muster, einschließlich eines zweidimensionalen Musters, das durch Falten eines eindimensionalen Musters mit einer Autokorrelationsfunktion konstanter oder im Wesentlichen konstanter Nebenkeulen auf der Grundlage einer vorgegebenen Regel erzeugt wird, aufweist.
3. Bilderzeugungsvorrichtung nach Anspruch 1, wobei das optische Element eine binäre Maske ist, die das vorgegebene Muster, einschließlich mehrerer lichtdurchlässiger Filter und mehrerer lichtundurchlässiger Filter, die in einem zweidimensionalen Gittermuster angeordnet sind, aufweist.
4. Bilderzeugungsvorrichtung nach Anspruch 1, wobei das optische Element eine binäre Maske ist, die das vorgegebene Muster, einschließlich mehrerer lichtdurchlässiger Filter und mehrerer lichtundurchlässiger Filter, die in einem Fresnel-Muster angeordnet sind, aufweist.
5. Bilderzeugungsvorrichtung nach Anspruch 1, wobei das optische Element ein Beugungsgitter ist.
6. Bilderzeugungsvorrichtung nach Anspruch 1, wobei der Liniensensor oder der Flächensensor eine oder mehrere Zeilen, die mehrere Pixel aufweisen, aufweist.
7. Bilderzeugungsvorrichtung nach Anspruch 6, wobei der Flächensensor in einem Rolling-Shutter-System arbeitet, das Beobachtungsdaten zu unterschiedlichen Zeiten für jede der Zeilen erfasst.
8. Bilderzeugungsvorrichtung nach Anspruch 6, wobei der Liniensensor oder der Flächensensor in einem Global-Shutter-System arbeitet, in dem die mehreren Pixel gleichzeitig Beobachtungsdaten erfassen.
9. Bilderzeugungsvorrichtung nach Anspruch 1, welche mehrere der optischen Elemente aufweist.
10. Bilderzeugungsvorrichtung nach Anspruch 1, wobei das optische Element die jeweiligen Beobachtungsdaten auf der Grundlage von Licht von jedem Punkt der Szene, die überlagernd in jedem Gebiet des Liniensensors oder des Flächensensors erfasst wird, codiert.
11. Bilderzeugungsvorrichtung nach Anspruch 1, wobei die Bilderzeugungsvorrichtung eine linsenlose Kamera ist.
12. Optisches Element, das ein vorgegebenes Muster aufweist, das einem Liniensensor oder einem Flächensensor überlagert ist, der ein vom Seitenverhältnis einer Szene verschiedenes Seitenverhältnis aufweist, wobei im optischen Element eine Autokorrelationsfunktion des vorgegebenen Musters, einschließlich mehrerer Grundmuster, die sich wiederholen, während sie periodisch räumlich verschoben werden, einen Peak und Nebenkeulen aufweist und die Nebenkeulen konstant oder im Wesentlichen konstant sind.
13. Bildverarbeitungssystem, aufweisend: eine Erfassungseinheit, die Beobachtungsdaten erfasst, die durch einen Liniensensor oder einen Flächensensor mit einem vom Seitenverhältnis einer Szene verschiedenen Seitenverhältnis auf der Grundlage von Licht von der Szene, das von einem optischen Element mit einem vorgegebenen Muster, das dem Liniensensor oder dem Flächensensor überlagert ist, durchgelassen wird, beobachtet werden, und eine Verarbeitungseinheit, die ein aufgenommenes Bild der Szene durch Rekonstruieren der Beobachtungsdaten erzeugt, wobei im optischen Element eine Autokorrelationsfunktion des vorgegebenen Musters, einschließlich mehrerer Grundmuster, die sich wiederholen, während sie periodisch räumlich verschoben werden, einen Peak und Nebenkeulen aufweist und die Nebenkeulen konstant oder im Wesentlichen konstant sind.
14. Bildverarbeitungsverfahren, aufweisend: Erfassen von Beobachtungsdaten, die durch einen Liniensensor oder einen Flächensensor mit einem vom Seitenverhältnis einer Szene verschiedenen Seitenverhältnis auf der Grundlage von Licht von der Szene, das von einem optischen Element mit einem vorgegebenen Muster, das dem Liniensensor oder dem Flächensensor überlagert ist, durchgelassen wird, beobachtet werden, Erzeugen eines aufgenommenen Bilds der Szene durch Rekonstruieren der Beobachtungsdaten, wobei im optischen Element eine Autokorrelationsfunktion des vorgegebenen Musters, einschließlich mehrerer Grundmuster, die sich wiederholen, während sie periodisch räumlich verschoben werden, einen Peak und Nebenkeulen aufweist und die Nebenkeulen konstant oder im Wesentlichen konstant sind.

Images