DE102017122594A1

DE102017122594A1 - Abbildungseinrichtung, Abbildungssystem, beweglicher Körper und Steuerungsverfahren

Info

Publication number: DE102017122594A1
Application number: DE102017122594.3A
Authority: DE
Inventors: Shinya Igarashi; Noriyuki Shikina; Yasushi Iwakura; Yoichi Wada
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-09-30
Filing date: 2017-09-28
Publication date: 2018-04-05
Also published as: GB2555713A; US20180098060A1; GB2555713B; CN107888851B; GB201715229D0; CN107888851A; US10771775B2

Abstract

Eine Abbildungseinrichtung umfasst eine Vielzahl von Pixeln und eine Verarbeitungseinheit. Die Vielzahl von Pixeln umfasst (i) ein Lichtempfangspixel, das dazu eingerichtet ist, um einfallendes Licht zu empfangen und ein Lichtsignal basierend auf dem einfallenden Licht auszugeben, und (ii) ein Referenzpixel, das dazu eingerichtet ist, um ein Pixelsignal zum Konfigurieren eines Fehlererfassungssignals auszugeben. Die Verarbeitungseinheit ist dazu eingerichtet, um zu bestimmen, ob das Fehlererfassungssignal korrekt ist oder nicht, basierend auf Abnormalitätsinformationen, die die Abnormalität des Referenzpixels angeben.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Abbildungseinrichtung, ein Abbildungssystem, einen beweglichen Körper und ein Steuerungsverfahren.
Beschreibung des Standes der Technik
Eine Abbildungseinrichtung, die in der japanischen Patentanmeldungsoffenlegungsschrift Nr. 2009-118427 diskutiert ist, umfasst einen effektiven Pixelbereich und einen nichteffektiven Pixelbereich. Licht tritt von außen in den effektiven Pixelbereich ein. Pixel, die in dem effektiven Pixelbereich angeordnet sind, umfassen Fotodioden (PDs), die ein elektrisches Signal durch eine fotoelektrische Umwandlung erzeugen.
Der gesamte nichteffektive Pixelbereich ist mit einem lichtabschirmenden Film bedeckt. Der nichteffektive Pixelbereich umfasst einen Referenzbereich und einen Fehlererfassungsmusterbereich. Pixel, die in dem Referenzbereich angeordnet sind, erzeugen ein Signal, das als eine Referenz eines Bildsignallevels dient. In dem Fehlererfassungsmusterbereich sind Pixel, die eine Fotodiode aufweisen (PD-Pixel), und Pixel, die keine Fotodiode aufweisen (Nicht-PD-Pixel), angeordnet. Ein Signal gemäß einem Rastermuster der mit einem PD bereitgestellten Pixel und der nicht mit einem PD bereitgestellten Pixel kann von dem Fehlererfassungsmusterbereich erhalten werden.
Eine Bestimmung eines Fehlers kann dadurch durchgeführt werden, dass der Fehlererfassungsbereich eingestellt wird, um ein vorbestimmtes Signalmuster bereitzustellen, und das vorbestimmte Signalmuster mit dem tatsächlichen erzeugten Signalmuster verglichen wird. Wenn das tatsächliche Signalmuster mit dem vorbestimmten Signalmuster nicht übereinstimmt, wird bestimmt, dass die Abbildungseinrichtung einen Fehler aufweist.
Es wurde jedoch anerkannt, dass solche Fehlererfassungsverfahren fälschlicherweise bestimmen könnten, dass die Abbildungseinrichtung einen Fehler aufweist.
KURZFASSUNG DER ERFINDUNG
Gemäß einem Aspekt der vorliegenden Erfindung umfasst eine Abbildungseinrichtung eine Vielzahl von Pixeln mit einem Lichtempfangspixel, das dazu eingerichtet ist, um einfallendes Licht zu empfangen und ein Pixelsignal basierend auf dem einfallenden Licht auszugeben, und einem Referenzpixel, das dazu eingerichtet ist, um ein Pixelsignal zum Konfigurieren eines Fehlererfassungssignals auszugeben, und eine Verarbeitungseinheit, die dazu eingerichtet ist, zu bestimmen, ob das Fehlererfassungssignal korrekt ist oder nicht, basierend auf Abnormalitätsinformationen, die die Abnormalität des Referenzpixels angeben.
Gemäß einem anderen Aspekt der vorliegenden Erfindung umfasst ein Abbildungssystem eine Signalverarbeitungseinheit, die dazu konfiguriert ist, ein Pixelsignal gemäß einfallendem Licht und ein Fehlererfassungssignal zum Erfassen eines Fehlers der Abbildungseinrichtung zu verarbeiten, wobei das Pixelsignal und das Fehlererfassungssignal von der Abbildungseinrichtung ausgegeben wurden, und zu bestimmen, ob das Fehlererfassungssignal korrekt ist oder nicht, basierend auf Abnormalitätsinformationen, die die Abnormalität eines Pixels der Abbildungseinrichtung angeben.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung umfasst ein Steuerungsverfahren ein Speichern von Abnormalitätsinformationen, die die Abnormalität eines Pixels einer Abbildungseinrichtung angeben, ein Empfangen eines Fehlererfassungssignals zum Erfassen eines Fehlers der Abbildungseinrichtung und Bestimmen, ob das Fehlererfassungssignal korrekt ist oder nicht, basierend auf den gespeicherten Abnormalitätsinformationen.
Weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung von beispielhaften Ausführungsbeispielen mit Bezug auf die anhängigen Zeichnungen ersichtlich.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Diagramm, das schematisch eine Gesamtkonfiguration einer Abbildungseinrichtung darstellt.
2A und 2B sind Diagramme, die Ersatzschaltungen von Pixeln der Abbildungseinrichtung darstellen.
3 ist ein Zeitablaufdiagramm, das schematisch eine Operation von Pixeln der Abbildungseinrichtung darstellt.
4 ist ein Diagramm, das schematisch ein Fehlererfassungssignal, das durch die Abbildungseinrichtung ausgegeben wird, darstellt.
5 ist ein Ablaufdiagramm, das ein Verfahren zum Bestimmen einer Operation der Abbildungseinrichtung darstellt.
6 ist ein Ablaufdiagramm, das ein Verfahren zum Bestimmen einer Operation der Abbildungseinrichtung darstellt.
7A ist ein Diagramm, das ein beispielhaftes Ausführungsbeispiel eines beweglichen Körpers darstellt. 7B ist ein Blockdiagramm, das eine Systemkonfiguration des beispielhaften Ausführungsbeispiels des beweglichen Körpers darstellt.
8 ist ein Diagramm, das schematisch eine Gesamtkonfiguration einer Abbildungseinrichtung darstellt.
9 ist ein Blockdiagramm, das eine Konfiguration eines beispielhaften Ausführungsbeispiels eines Abbildungssystems darstellt.
10 ist ein Diagramm, das schematisch ebene Strukturen von Pixeln einer Abbildungseinrichtung darstellt.
11 ist ein Diagramm, das schematisch ebene Strukturen von Pixeln der Abbildungseinrichtung darstellt.
12A und 12B sind Diagramme, die schematisch Abschnittsstrukturen von Pixeln der Abbildungseinrichtung darstellen.
BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
In den nachstehenden beispielhaften Ausführungsbeispielen kann ein Fehler genau erfasst werden.
Die Technologie in der japanischen Patentanmeldungsoffenlegungsschrift Nr. 2009-118427 diskutiert ein Verfahren zum Bestimmen, ob ein Signal, das von einem Fehlererfassungsmusterbereich erhalten wird, mit einem vorbestimmten Muster übereinstimmt. Dieses Verfahren besitzt jedoch ein Problem, dass es einen Fehler und eine falsche Operation einer Abbildungseinrichtung nicht genau erfasst. Genauer können Fehlererfassungsverfahren wie das, das in der JP-2009-118427 beschrieben ist, bestimmen, dass die Abbildungseinrichtung nicht ordnungsgemäß arbeitet, obwohl der effektive Pixelbereich normal funktioniert. Diese Art von Situation kann zum Beispiel auftreten, wenn nur der Fehlererfassungsbereich der Abbildungseinrichtung ein defektes Pixel umfasst. Solche Situationen könnten dazu führen, dass die Abbildungseinrichtung abgeschaltet wird oder dass verhindert wird, dass ein Bild aufgenommen wird, obwohl der effektive Bereich ein Bild aufnehmen könnte. Diese Angelegenheit ist besonders für Situationen problematisch, wenn es wünschenswert ist, die Abbildungseinrichtung zu allen möglichen Zeiten funktionstüchtig zu halten, wie etwa zum Beispiel, wenn die Abbildungseinrichtung verwendet wird, um ein Fahrzeug oder eine andere Art eines beweglichen bzw. sich bewegenden Objekts zu steuern.
Auch wenn zum Beispiel eine Abnormalität in einem Pixel in dem Fehlererfassungsmusterbereich verursacht wird, könnte eine Abnormalität oder ein Fehler in einem Pixel in einem effektiven Pixelbereich oder in einer Schaltung zum Lesen eines Pixels in dem effektiven Pixelbereich nicht verursacht werden. Diese Art von Situation ist jedoch mit Techniken, wie der in der JP-2009-118427 nicht erfassbar. Die Erfinder der vorliegenden Anmeldung haben jedoch wahrgenommen, dass es nützlich ist, dazu in der Lage zu sein, solche Situationen zu bestimmen, weil das Signal von einem Pixel in dem Fehlererfassungsmusterbereich nicht bei der Abbildung verwendet wird, und deshalb die Abbildungseinrichtung immer noch den effektiven Bereich verwenden könnte, um ein Bild zu erhalten. Mit anderen Worten gibt es eine Möglichkeit, dass fehlerhaft bestimmt wird, dass die Abbildungseinrichtung einen Fehler aufweist, wenn eine Abnormalität in einem Pixel in dem Fehlererfassungsmusterbereich verursacht wird.
Ein beispielhaftes Ausführungsbeispiel der vorliegenden Erfindung ist eine Abbildungseinrichtung. Die Abbildungseinrichtung umfasst eine Vielzahl von Pixeln, die in einer Matrix angeordnet sind. Die Vielzahl von Pixeln umfasst ein Lichtempfangspixel und ein Referenzpixel. Licht tritt von außen in das Lichtempfangspixel ein – das heißt externes Licht kann auf das Lichtempfangspixel einfallen und das Lichtempfangspixel kann ein Pixelsignal basierend auf dem einfallenden Licht ausgeben. Das Referenzpixel gibt ein Pixelsignal zum Konfigurieren eines Fehlererfassungssignals aus. Somit wird anerkannt, dass ein Fehlererfassungssignal basierend auf den Pixelsignalen von einem oder mehreren Referenzpixeln erzeugt werden könnte.
Das Fehlererfassungssignal stellt Informationen bereit zum Bestimmen, ob eine Operation der Abbildungseinrichtung normal funktioniert. Zum Beispiel kann ein Fehlererfassungssignal Informationen umfassen, die Positionen von Reihen oder Spalten angeben. In manchen Ausführungsbeispielen kann eine Vielzahl von Fehlererfassungssignalen erzeugt werden, wobei die Vielzahl von Fehlererfassungssignalen unterschiedliche Signalwerte aufweisen, die entsprechend unterschiedlichen Reihen oder unterschiedlichen Spalten zugewiesen sind. Ein Fehlererfassungssignal wird aus einem Pixelsignal von einem Referenzpixel oder einem Pixelsignal von einer Vielzahl von Referenzpixeln konfiguriert. Die Pixelsignale, die ein Fehlererfassungssignal konfigurieren, können von Referenzpixeln stammen, die in einer oder mehreren Reihen und/oder Spalten positioniert sind.
In einem beispielhaften Ausführungsbeispiel, in dem ein Fehlererfassungssignal oder jedes einer Vielzahl von Fehlererfassungssignalen von dem Pixelsignal von einem einzelnen Referenzpixel konfiguriert ist, ist zumindest ein Referenzpixel in jeder der Reihen angeordnet. Die Referenzpixel in den unterschiedlichen Reihen geben Signale mit unterschiedlichen Leveln voneinander aus. Das Level bedeutet einen Stromwert oder einen Spannungswert des Pixelsignals. Das Level des Pixelsignals des Referenzpixels gibt einen Signalwert des Fehlererfassungssignals an. In einem anderen beispielhaften Ausführungsbeispiel ist eine Vielzahl von Referenzpixeln in einer Reihe angeordnet. In diesem beispielhaften Ausführungsbeispiel wird ein Fehlererfassungssignal basierend auf dem Pixelsignal von der Vielzahl von Referenzpixeln in der Reihe erzeugt. Zum Beispiel gibt jedes der Referenzpixel ein Pixelsignal eines hohen Levels oder ein Pixelsignal eines niedrigen Levels aus. In einem Fall, in dem N Referenzpixel angeordnet sind, ist das Fehlererfassungssignal von einer Kombination der Pixelsignale eines hohen Levels und der Pixelsignale eines niedrigen Levels als ein N-Bit digitales Signal (zum Beispiel N-Bit Binärsignal) konfiguriert. Das Pixelsignal des hohen Levels entspricht ”1” in den Bits und das Pixelsignal eines niedrigen Levels entspricht ”0” in den Bits. In diesem Fall wird das Muster von Nullen und Einsen, die das N-Bit digitale Signal bilden, als der Signalwert des Fehlererfassungssignals verwendet.
In der vorstehenden Beschreibung wurde eine Abbildungseinrichtung, die ein Referenzpixel in jeder der Reihen aufweist, veranschaulicht. Es wird jedoch anerkannt, dass in anderen Ausführungsbeispielen die Abbildungseinrichtung ein Referenzpixel in jeder Spalte der Pixelmatrix aufweisen kann – deshalb könnte in den Ausführungsbeispielen hierin der Ausdruck ”Reihe” durch den Ausdruck ”Spalte” ersetzt werden.
Die Abbildungseinrichtung des vorliegenden beispielhaften Ausführungsbeispiels beschafft Informationen über eine Abnormalität eines Referenzpixels. Die Abnormalität eines Pixels gibt einen Zustand an, in dem das Pixel nicht ordnungsgemäß funktionieren kann, um ein Pixelsignal auszugeben. Zum Beispiel könnte ein Pixel mit einer Abnormalität nicht ordnungsgemäß funktionieren, um Pixelsignale von unterschiedlichen Leveln gemäß einem Steuerungssignal auszugeben. Stattdessen könnte das Pixel ein Signal des gleichen Levels auf einer konstanten Basis ausgeben, unabhängig von dem Steuerungssignal. In der vorliegenden Spezifikation kann das Pixel, das die Abnormalität aufweist, einfach als abnormales Pixel bezeichnet werden.
Die Abnormalität eines Pixels kann basierend auf einer Inspektion, die vor einem Versand der Abbildungseinrichtung, vor oder nach einer Abbildungsoperation oder während der Abbildungsoperation durchgeführt wird, identifiziert werden. Das Inspektionsverfahren zum Identifizieren der Abnormalität eines Pixels kann auf einer bekannten Technologie basieren. Die Abbildungseinrichtung kann einen Speicher umfassen. Der Speicher speichert vorzugsweise Abnormalitätsinformationen, die die Abnormalität eines identifizierten Referenzpixels angeben. Alternativ kann die Abbildungseinrichtung Abnormalitätsinformationen, die die Abnormalität des identifizierten Referenzpixels angeben, von einer externen Quelle beschaffen.
Die gespeicherten/beschafften Abnormalitätsinformationen können angeben, dass ein Pixel in einer vorbestimmten Position eine Abnormalität aufweist. Alternativ können die Abnormalitätsinformationen angeben, dass irgendeines der Pixel in einem vorbestimmten Bereich (wie etwa die Pixel in einer oder mehreren Reihen oder Spalten) eine Abnormalität aufweist.
Gemäß der Abbildungseinrichtung des vorliegenden beispielhaften Ausführungsbeispiels kann eine Bestimmung, ob ein Pixelsignal von der Abbildungseinrichtung normal ausgegeben wird, basierend auf dem Fehlererfassungssignal bestimmt werden. Das heißt, die Abbildungseinrichtung des vorliegenden Ausführungsbeispiels kann basierend auf dem Fehlererfassungssignal bestimmen, ob das Pixelsignal erzeugt wurde, wenn die Abbildungseinrichtung normal funktioniert. In einem beispielhaften Ausführungsbeispiel umfasst die Abbildungseinrichtung eine Signalverarbeitungseinheit, die diese Bestimmung durchführt.
Zum Beispiel kann die Signalverarbeitungseinheit bestimmen, ob Pixelsignale einer Vielzahl von Reihen in einer vorbestimmten Reihenfolge ausgegeben werden. In diesem Fall kann die Signalverarbeitungseinheit bestimmen, ob sich eine Vielzahl der Fehlererfassungssignale, die in Reihenfolge ausgegeben werden, wie erwartet ändert – das heißt, sich gemäß den gelesenen Pixelsignalen der Vielzahl von Reihen ändert. In einem Fall zum Beispiel, in dem das Fehlererfassungssignal von den ungeraden Reihen der Pixelmatrix mit Bezug auf das Fehlererfassungssignal von den geraden Reihen der Pixelmatrix einen unterschiedlichen Signalwert aufweist, kann die Signalverarbeitungseinheit bestimmen, ob die gelesenen Fehlererfassungssignale wechselnde Signalwerte bereitstellen. Auf diese Weise kann bestimmt werden, ob die Pixelsignale der Vielzahl von Reihen in vorbestimmter Reihenfolge ausgegeben werden.
Alternativ kann die Signalverarbeitungseinheit bestimmen, ob das Pixelsignal einer spezifischen Reihe angemessen ausgegeben wird. Zum Beispiel kann die Signalverarbeitungseinheit bestimmen, ob der Signalwert des ausgegebenen Fehlererfassungssignals und das Pixelsignal mit dem Signalwert, der der spezifischen Reihe zugewiesen ist, übereinstimmen. Das heißt, die Signalverarbeitungseinheit kann bestimmen, ob ein Fehlererfassungssignal und ein Pixelsignal mit einem erwarteten Signalwert übereinstimmen. Das/die Referenzpixel kann/können durch Anlegen eines geeigneten Steuerungssignals – zum Beispiel eine vorbestimmte Spannung oder Strom – angewiesen werden, einen erwarteten Signalwert bereitzustellen. Auf diese Weise kann bestimmt werden, ob das Pixelsignal einer vorbestimmten Reihe normal ausgegeben wird.
In dem vorliegenden beispielhaften Ausführungsbeispiel wird bestimmt, dass die Abbildungseinrichtung normal arbeitet, oder wird bestimmt, dass die Abbildungseinrichtung Signale normal ausgibt, wenn bestimmt ist, dass das Fehlererfassungssignal einen erwarteten Signalwert ausgibt. Die Signalverarbeitungseinheit bestimmt, dass die Abbildungseinrichtung nicht normal arbeitet, oder dass die Abbildungseinrichtung einen Fehler aufweist, wenn der Signalwert des Fehlererfassungssignals von dem erwarteten Signalwert verschieden ist.
Die Signalverarbeitungseinheit bestimmt, ob das Referenzpixel, das das Fehlererfassungssignal ausgibt, eine Abnormalität aufweist, wenn die Operation der Abbildungseinrichtung bestimmt wird. Wenn bestimmt ist, dass ein Fehlererfassungssignal von einem Referenzpixel mit einer Abnormalität ausgegeben wird, führt die Signalverarbeitungseinheit eine Verarbeitung zum Ungültigmachen des Fehlererfassungssignals, eine Verarbeitung zum Ersetzen des Fehlererfassungssignals durch ein anderes Signal oder eine Verarbeitung, um eine Bestimmung dahingehend, ob die Abbildungseinrichtung einen Fehler aufweist, nicht vorzunehmen, durch.
Wie vorstehend beschrieben kann in dem vorliegenden beispielhaften Ausführungsbeispiel eine Bestimmung, ob ein Fehlererfassungssignal korrekt oder falsch ist, unter Verwendung von Informationen, die die Abnormalität eines Referenzpixels angeben, vorgenommen werden. Auf diese Weise kann die Möglichkeit des fehlerhaften Bestimmens, dass die Abbildungseinrichtung einen Fehler aufweist, aufgrund des Auftretens einer Abnormalität in einem Referenzpixel, verringert werden. Somit kann der Fehler genau erfasst werden.
Ein beispielhaftes Ausführungsbeispiel der vorliegenden Erfindung ist ein Abbildungssystem. Das Abbildungssystem umfasst eine Signalverarbeitungseinheit, die ein Signal verarbeitet, das von einer Abbildungseinrichtung ausgegeben wird, um ein Bildsignal zu beschaffen. Weiterhin empfängt die Signalverarbeitungseinheit ein Fehlererfassungssignal, das von der Abbildungseinrichtung ausgegeben wird. Das Fehlererfassungssignal ist das gleiche wie das, das in dem vorstehenden beispielhaften Ausführungsbeispiel der Abbildungseinrichtung beschrieben ist. Wie in dem vorstehendenden beispielhaften Ausführungsbeispiel der Abbildungseinrichtung bestimmt die Signalverarbeitungseinheit, ob ein Pixelsignal von der Abbildungseinrichtung normal ausgegeben wird, basierend auf dem Fehlererfassungssignal.
Das Abbildungssystem des vorliegenden beispielhaften Ausführungsbeispiels beschafft Abnormalitätsinformationen, die die Abnormalität eines Pixels der Abbildungseinrichtung angeben. Die Signalverarbeitungseinheit bestimmt, ob ein Referenzpixel, das das Fehlererfassungssignal ausgibt, eine Abnormalität aufweist, unter Verwendung der Abnormalitätsinformationen, wenn eine Operation der Abbildungseinrichtung bestimmt wird. Wenn das Fehlererfassungssignal von einem Referenzpixel mit einer Abnormalität ausgegeben wird, führt die Signalverarbeitungseinheit eine Verarbeitung zum Ungültigmachen des Fehlererfassungssignals, eine Verarbeitung zum Ersetzen des Fehlererfassungssignals durch ein anderes Signal oder eine Verarbeitung, um eine Bestimmung, ob die Abbildungseinrichtung einen Fehler aufweist, nicht vorzunehmen, durch.
Das Abbildungssystem kann einen Speicher umfassen, der die Abnormalitätsinformationen speichert. Die Abnormalitätsinformationen werden durch eine Inspektion vor einem Versand beschafft und in dem Speicher gespeichert. Alternativ kann das Abbildungssystem die Abnormalitätsinformationen von der Abbildungseinrichtung empfangen.
Gemäß der vorstehenden Beschreibung bestimmt das vorliegende beispielhafte Ausführungsbeispiel, ob ein Fehlererfassungssignal korrekt ist oder nicht, basierend auf den Abnormalitätsinformationen, die die Abnormalität eines Pixels der Abbildungseinrichtung angeben. Auf diese Weise reduziert das vorliegende Ausführungsbeispiel die Möglichkeit eines fehlerhaften Bestimmens, dass die Abbildungseinrichtung einen Fehler aufweist, aufgrund des Vorhandenseins einer Abnormalität in einem Referenzpixel. Somit kann der Fehler genau erfasst werden.
Die vorstehend beschriebene Abbildungseinrichtung oder das Abbildungssystem wird für eine Kamera, eine Überwachungseinrichtung, einen Roboter oder Ähnliches verwendet. Die vorstehend beschriebene Abbildungseinrichtung oder das Abbildungssystem wird für einen beweglichen bzw. sich bewegenden Körper verwendet. Speziell, bei dem beweglichen bzw. sich bewegenden Körper zum Transportieren von Menschen, wie etwa einem Auto, einem Flugzeug oder anderen solchen Fahrzeugen bzw. Schiffen, ist es für das Fahrzeug wünschenswert, mit zuverlässigen Einrichtungen (zum Beispiel einer Abbildungseinrichtung) ausgestattet zu sein. Es wird anerkannt werden, dass die Abbildungseinrichtungen und/oder die Abbildungssysteme der vorstehend beschriebenen Ausführungsbeispiele eine Bestimmung ermöglichen, ob ein Pixelsignal von der Abbildungseinrichtung normal ausgegeben wird. Somit, wenn die Abbildungseinrichtung einen Fehler aufweist, kann die Abbildungsoperation gestoppt werden und kann eine Warnung über das Auftreten des Fehlers ausgegeben werden. Um die Warnung über den Fehler auszugeben, kann der bewegliche Körper eine Informierungseinheit aufweisen, wie etwa einen Wärmegenerator, einen Lichtsender, eine Anzeige, einen Lautsprecher oder einen Vibrator.
Nachstehend werden beispielhafte Ausführungsbeispiele der vorliegenden Erfindung detailliert unter Verwendung der Zeichnungen beschrieben. Die vorliegende Erfindung ist nicht auf nur die nachstehend beschriebenen beispielhaften Ausführungsbeispiele beschränkt. Eine Modifikation, bei der ein Teil einer Konfiguration der nachstehend beschriebenen beispielhaften Ausführungsbeispiele geändert wird, ohne sich von dem Kern der vorliegenden Erfindung zu entfernen, ist ebenso ein beispielhaftes Ausführungsbeispiel der vorliegenden Erfindung. Weiterhin sind ein Beispiel, in dem ein Teil einer Konfiguration von irgendeinem der beispielhaften Ausführungsbeispiele zu einem anderen beispielhaften Ausführungsbeispiel hinzugefügt wird, und ein Beispiel, in dem ein Teil einer Konfiguration von irgendeinem der beispielhaften Ausführungsbeispiele mit einem Teil einer Konfiguration eines anderen beispielhaften Ausführungsbeispiels ersetzt wird, ebenso beispielhafte Ausführungsbeispiele der vorliegenden Erfindung.
Ein erstes beispielhaftes Ausführungsbeispiel wird beschrieben. 1 stellt schematisch eine Konfiguration einer Abbildungseinrichtung gemäß dem vorliegenden beispielhaften Ausführungsbeispiel dar. Die Abbildungseinrichtung umfasst eine Vielzahl von Pixeln 305, 306 und 307, die in einer Matrix angeordnet sind. Die Vielzahl von Pixeln umfasst ein Lichtempfangspixel 305, ein optisch schwarzes Pixel (nachstehend OB-Pixel) 306 und ein Referenzpixel 307. Die Abbildungseinrichtung umfasst weiterhin eine vertikale Abtastschaltung 301, eine Spaltenschaltung 302, eine horizontale Abtastschaltung 303, eine Ausgabesteuerungsschaltung 304, eine Ausgabeleitung 308, eine Ansteuerungs- bzw. Antriebssteuerungsleitung 309, eine Ausgabesteuerungsleitung 310, einen Speicher 311 und eine Signalverarbeitungseinheit 312.
Die Vielzahl von Pixeln 305, 306 und 307, die in einer Reihe enthalten sind, sind mit der gemeinsamen Ansteuerungsleitung 309 verbunden. Die vertikale Abtastschaltung 301 führt ein Ansteuerungssignal an die Vielzahl von Pixeln 305, 306 und 307 über die Ansteuerungsleitung 309 zu. Pixelsignale werden parallel von der Vielzahl von Pixeln 305, 306 und 307, die in einer Reihe enthalten sind, an die Ausgabeleitungen 308 basierend auf dem Ansteuerungssignal ausgegeben. Die Vielzahl von Pixeln 305, 306 und 307, die in einer Spalte enthalten ist, ist mit der gemeinsamen Ausgabeleitung 308 verbunden. Die Pixelsignale, die an die Ausgabeleitungen 308 ausgegeben werden, werden in die Spaltenschaltung 302 eingegeben. Eine Spaltenschaltung 302 ist an jeder der Ausgabeleitungen 308 angeordnet. Die Spaltenschaltung 302 führt Operationen wie etwa eine Verstärkung der Pixelsignale, eine Analog-Digital-Umwandlung für die Pixelsignale, ein Speichern der Pixelsignale und eine Rauschentfernung der Pixelsignale durch. Die horizontale Abtastschaltung 303 liest sequentiell die Pixelsignale von den Spaltenschaltungen 302. Der Speicher 311 speichert Abnormalitätsinformationen, die die Abnormalität des Referenzpixels 307 angeben. Die Signalverarbeitungseinheit 312 bestimmt, ob ein Fehlererfassungssignal korrekt oder falsch ist (das heißt, ob ein Fehlererfassungssignal korrekt ist oder nicht), unter Verwendung eines Pixelsignals von dem Referenzpixel 307 und der Abnormalitätsinformationen, die in dem Speicher 311 gespeichert sind.
Das Lichtempfangspixel 305 empfängt Licht von außerhalb (das heißt ein Lichtempfangspixel 305 empfängt externes Licht). Das Lichtempfangspixel 305 gibt das Pixelsignal basierend auf dem einfallenden Licht aus – das heißt das Lichtempfangspixel 305 gibt ein Lichtsignal basierend auf dem empfangenen Licht aus. Das OB-Pixel 306 ist mit einem lichtabschirmenden Film (nicht dargestellt) bedeckt. Der lichtabschirmende Film ist angeordnet, so dass das Lichtempfangspixel 305 freiliegt. Das OB-Pixel 306 gibt das Pixelsignal eines Levels entsprechend einem Zustand, in dem kein einfallendes Licht vorhanden ist, aus, das heißt ein Pixelsignal eines dunklen Levels. Das Pixelsignal, das durch das OB-Pixel 306 ausgegeben wird, kann eine Rauschkomponente umfassen, die in jedem Pixel unterschiedlich ist. Somit gibt es eine Möglichkeit, dass die Pixelsignale, die von jedem OB-Pixel 306 erhalten werden, mit der Position variieren. Jedoch ist der Betrag der Rauschkomponente zufällig, da dies an Herstellungsvariationen und thermischem Rauschen liegt. Dementsprechend ist das Pixelsignal von dem OB-Pixel 306 keine Information zum Identifizieren von Positionen einer Reihe und einer Spalte.
Das Referenzpixel 307 gibt das Pixelsignal zum Konfigurieren des Fehlererfassungssignals aus. In dem ersten beispielhaften Ausführungsbeispiel wird irgendeines der vorstehend beschriebenen Fehlererfassungssignale verwendet. In dem vorliegenden beispielhaften Ausführungsbeispiel steuert die Ausgabesteuerungsschaltung 304 ein Level des Pixelsignals, das durch das Referenzpixel 307 ausgegeben wird. Genauer führt die Ausgabesteuerungsschaltung 304 der Ausgabesteuerungsleitung 310 eine vorbestimmte Spannung zu. Das Referenzpixel 307 gibt das Pixelsignal des Levels gemäß der Spannung der Ausgabesteuerungsleitung 310 aus. Das Referenzpixel 307 könnte mit einem lichtabschirmenden Film (nicht dargestellt) bedeckt sein. Alternativ könnte das Referenzpixel 307 freiliegen, weil das Referenzpixel 307 keine Fotodiode umfasst.
Als Nächstes werden Konfigurationen des Lichtempfangspixels 305, des OB-Pixels 306 und des Referenzpixels 307 beschrieben. 2A stellt eine Ersatzschaltung des Lichtempfangspixels 305 und des OB-Pixels 306 dar. 2B stellt eine Ersatzschaltung des Referenzpixels 307 dar.
Wie in 2A dargestellt ist, umfassen das Lichtempfangspixel 305 und das OB-Pixel 306 eine Fotodiode (nachstehend als PD beschrieben) 401. Die PD 401 wandelt das einfallende Licht durch fotoelektrische Umwandlung in eine elektrische Ladung um. Mit anderen Worten ist die PD 401 ein Beispiel eines fotoelektrischen Umwandlers. Auf die PD 401 des Lichtempfangspixels 305 fällt Licht von außerhalb ein und somit häuft die PD 401 des Lichtempfangspixels 305 die elektrische Ladung an, die durch die fotoelektrische Umwandlung verursacht wird. Unterdessen ist die PD 401 des OB-Pixels 306 von Licht abgeschirmt. Somit häuft die PD 401 des OB-Pixels 306 eine elektrische Ladung an, die ein Rauschen werden kann, wie etwa ein dunkler Strom. Es sei angemerkt, dass die PD 401 des OB-Pixels 306 weggelassen werden kann.
Wie in 2B dargestellt ist, umfasst das Referenzpixel 307 keine PD 401. Stattdessen ist das Referenzpixel 307 mit den Ausgabesteuerungsleitungen 310 verbunden. In dem vorliegenden beispielhaften Ausführungsbeispiel sind die Ausgabesteuerungsleitung 310, die eine Spannung Va zuführt, und die Ausgabesteuerungsleitung 310, die eine Spannung Vb zuführt, die von der Spannung Va verschieden ist, mit dem Referenzpixel 307 verbunden. Die Ausgabesteuerungsschaltung 304 wählt aus, zu welcher der zwei Ausgabesteuerungsleitungen 310 die Spannung zugeführt wird. Mit solch einer Konfiguration kann das Referenzpixel 307 wahlweise das Pixelsignal des Levels entsprechend der Spannung Va und das Pixelsignal des Levels entsprechend der Spannung Vb ausgeben. Wenn das Referenzpixel 307 eine Vielzahl der Pixelsignale von unterschiedlichen Leveln nicht ausgibt, kann das Referenzpixel 307 nur mit entweder der Ausgabesteuerungsleitung 310, die die Spannung Va zuführt, oder der Ausgabesteuerungsleitung 310, die die Spannung Vb zuführt, verbunden sein.
Das Lichtempfangspixel 305, das OB-Pixel 306 und das Referenzpixel 307 umfassen einen Übertragungstransistor 402. Der Übertragungstransistor 402 des Lichtempfangspixels 305 und des OB-Pixels 306 überträgt die elektrische Ladung des PD 401 an einen Floating-Diffusion-Knoten (FD-Knoten). Unterdessen überträgt der Übertragungstransistor 402 des Referenzpixels 307 die Spannung Va oder die Spannung Vb an den FD-Knoten. Ein Gate des Übertragungstransistors 402 ist mit der Ansteuerungsleitung 309 verbunden, die ein Ansteuerungssignal TX zuführt. Der Übertragungstransistor 402 wird mit dem Ansteuerungssignal TX gesteuert.
Das Lichtempfangspixel 305, das OB-Pixel 306 und das Referenzpixel 307 umfassen einen Verstärkungstransistor 404. Der FD-Knoten ist mit einem Gate des Verstärkungstransistors 404 verbunden. Der Verstärkungstransistor 404 gibt das Pixelsignal basierend auf der Spannung des FD-Knotens an die Ausgabeleitung 308 aus. Zum Beispiel bilden der Verstärkungstransistor 404 und eine Stromquelle (nicht dargestellt), die mit der Ausgabeleitung 308 verbunden ist, eine Source-Folger-Schaltung.
Das Lichtempfangspixel 305, das OB-Pixel 306 und das Referenzpixel 307 umfassen einen Reset-Transistor 403. Der Reset-Transistor 403 setzt die Spannung des FD-Knotens zurück. Ein Drain des Reset-Transistors 403 ist mit einem Knoten verbunden, der eine Reset-Spannung Vres zuführt. In dem vorliegenden beispielhaften Ausführungsbeispiel wird eine Leistungsversorgungsspannung Vdd als die Reset-Spannung Vres verwendet. Ein Gate des Reset-Transistors 403 ist mit der Ansteuerungsleitung 309, die ein Ansteuerungssignal RES zuführt, verbunden. Der Reset-Transistor 403 wird mit dem Ansteuerungssignal RES gesteuert, um AN oder AUS zu sein.
Das Lichtempfangspixel 305, das OB-Pixel 306 und das Referenzpixel 307 umfassen einen Auswahltransistor 405. Der Auswahltransistor 405 ist in einem elektrischen Pfad zwischen dem Verstärkungstransistor 404 und der Ausgabeleitung 305 angeordnet. Ein Gate des Auswahltransistors 405 ist mit der Ansteuerungsleitung 309 elektrisch verbunden, die ein Ansteuerungssignal SEL zuführt. Der Auswahltransistor 405 wird gemäß dem Ansteuerungssignal SEL gesteuert, um AN oder AUS zu sein. Wenn der Auswahltransistor 405 AN ist, gibt der entsprechende Verstärkungstransistor 404 das Pixelsignal an die Ausgabeleitung 308 aus. Wenn der Auswahltransistor 405 eines Teils einer Vielzahl von Pixeln, die mit der Ausgabeleitung 305 verbunden sind, AN ist und der Auswahltransistor 405 der anderen Pixel AUS ist, werden die Pixel, die das Pixelsignal ausgeben, ausgewählt. Zwei oder mehr Pixel, die mit einer Ausgabeleitung 308 verbunden sind, können zur gleichen Zeit ausgewählt werden.
Mit solch einer Konfiguration kann das Lichtempfangspixel 305 das Pixelsignal gemäß dem einfallenden Licht (das heißt, ein Lichtsignal) ausgeben. Das OB-Pixel 306 kann das Pixelsignal des dunklen Levels ausgeben. Weiterhin gibt das Referenzpixel 307 wahlweise das Pixelsignal des Levels entsprechend der Spannung Va und das Pixelsignal des Levels entsprechend der Spannung Vb aus.
Strukturen des Lichtempfangspixels 305 und des Referenzpixels 307 werden detailliert beschrieben. 10 stellt schematisch Strukturen in der Draufsicht des Lichtempfangspixels 305 und des Referenzpixels 307 der Abbildungseinrichtung dar. Ein Element mit der gleichen Funktion wie das Element, das in 2 dargestellt ist, wird ebenso in 10 mit dem gleichen Bezugszeichen wie dem Bezugszeichen, das in 2 verwendet wird, bezeichnet.
Eine Leistungsversorgungsverdrahtung 201 ist eine Verdrahtung, die eine Leistungsversorgungsspannung Vdd an ein Pixel zur Bildbeschaffung überträgt. Das Lichtempfangspixel 305 umfasst eine Halbleiterregion 203 als einen Teil der PD 401. Die Halbleiterregion 203 ist ein Abschnitt zum Sammeln von elektrischer Ladung, der die elektrische Ladung sammelt, die durch die fotoelektrische Umwandlung verursacht wird. Die Leitungsart des Halbleiterbereichs 203 ist hier N-leitend. Weiterhin ist die elektrische Ladung, die in dem Halbleiterbereich 203 gesammelt wird, ein Elektron.
Das Lichtempfangspixel 305 umfasst ein Gate 204 des Übertragungstransistors 402 und einen Floating-Diffusion-Bereich 205 als einen Teil des FD-Knotens. 10 stellt eine Konfiguration dar, in der sich zwei Lichtempfangspixel 305 einen Verstärkungstransistor 404 teilen. Somit stellt 10 einen Satz der Halbleiterregion 203 und des Floating-Diffusion-Bereichs 205, die in einem ersten Lichtempfangspixel 305A enthalten sind, und einen Satz der Halbleiterregion 203 und des Floating-Diffusion-Bereichs 205, die in einem zweiten Lichtempfangspixel 305B enthalten sind, dar.
Das Lichtempfangspixel 305 umfasst ein Gate 206 (Auswahl-Gate) des Auswahltransistors 405, ein Gate 207 (Verstärkungs-Gate) des Verstärkungstransistors 404 und ein Gate 208 (Reset-Gate) des Reset-Transistors 403. Das Lichtempfangspixel 305 umfasst weiterhin einen FD-Verbindungskontakt 209, eine erste FD-Verbindungsverdrahtung 210 und eine zweite FD-Verbindungsverdrahtung 211. Nachstehend wird der Kontakt als CNT bezeichnet.
Der Halbleiterbereich 203 ist mit dem Floating-Diffusion-Bereich 205 über das Übertragungs-Gate 204 verbunden. Die elektrische Ladung, die in dem Halbleiterbereich 203 gesammelt wird, wird über das Übertragungs-Gate 204 an den Floating-Diffusion-Bereich 205 übertragen. Der Floating-Diffusion-Bereich 205 ist mit dem Verstärkungs-Gate 207 über den FD-Verbindungs-CNT 209 und die FD-Verbindungsverdrahtung 210 und 211 verbunden.
Der Floating-Diffusion-Bereich 205 ist mit dem Reset-Transistor 403 über den FD-Verbindungs-CNT 209 und die FD-Verbindungsverdrahtung 210 und 211 verbunden.
Ein Teil der Konfiguration des Referenzpixels 307 ist die gleiche wie des Lichtempfangspixels 305. Der Abschnitt, der die gleiche Struktur aufweist wie die des Lichtempfangspixels 305, ist mit den gleichen Bezugszeichen wie bei dem Lichtempfangspixel 305 bezeichnet. Eine überlappende Beschreibung wird weggelassen. 10 stellt eine Konfiguration dar, in der sich zwei Referenzpixel 307 einen Verstärkungstransistor 404 teilen. Somit stellt 10 einen Satz des Halbleiterbereichs 302 und des Floating-Diffusion-Bereichs 205, die in einem ersten Referenzpixel 307A enthalten sind, und einen Satz des Halbleiterbereichs 203 und des Floating-Diffusion-Bereichs 205, die in einem zweiten Referenzpixel 307B enthalten sind, dar.
Der Halbleiterbereich 203, der die PD 401 des Referenzpixels 307 konfiguriert, ist mit einer ersten Spannungsversorgungsleitung 212 oder einer zweiten Spannungsversorgungsleitung 213 verbunden. Die erste Spannungsversorgungsleitung 212 oder die zweite Spannungsversorgungsleitung 213 ist eine Verdrahtung, die die Ausgabesteuerungsleitung 310 konfiguriert. Eine Verbindung zwischen dem Halbleiterbereich 203 und den Spannungsversorgungsleitungen 212 und 213 wird über einen CNT 215, eine Verdrahtung 214 und ein Durchgangsloch 216 vorgenommen. Das Durchgangsloch 216 verbindet die Spannungsversorgungsleitungen 212 und 213 und die Verdrahtung 214.
Die Spannungsversorgungsleitung 212 und die Spannungsversorgungsleitung 213 sind über der PD 401 des Referenzpixels 307 angeordnet. Mit anderen Worten überlappen sich die Spannungsversorgungsleitung 212 und die PD 401 gegenseitig und überlappen sich die Spannungsversorgungsleitung 213 und die PD 401 gegenseitig in einer Draufsicht mit Bezug auf eine Lichtempfangsoberfläche.
In dem Referenzpixel 307 wird ein Potential, das an den Halbleiterbereich 203 über die Spannungsversorgungsleitung 212 oder die Spannungsversorgungsleitung 213 angelegt wird, an den Floating-Diffusion-Bereich 205 über den Übertragungstransistor 402 ausgegeben.
Die Strukturen des Lichtempfangspixels 305 und des Referenzpixels 307, die in 10 beschrieben sind, werden weiter mit einem Fokus auf die PD 401 unter Verwendung von 11 beschrieben. 11 ist ein Diagramm, das das Lichtempfangspixel 305, die PD 401 des Referenzpixels 307 und den Übertragungstransistor 402 darstellt. Ein Element, das das gleiche ist wie das Element, das in 10 dargestellt ist, wird in 11 mit dem gleichen Bezugszeichen wie dem Bezugszeichen, das in 10 verwendet wird, bezeichnet.
Als Erstes wird das Lichtempfangspixel 305 beschrieben. Der Halbleiterbereich 203, der die elektrische Ladung sammelt, überlappt sich mit einem P-Halbleiterbereich 220 in einer Draufsicht. Obwohl nachstehend eine Beschreibung unter Verwendung von 12 vorgenommen wird, dient der Halbleiterbereich 220 als eine Oberflächenschutzschicht, die eine Oberfläche des Halbleiterbereichs 203 schützt. Nachstehend wird der Halbleiterbereich 220 als eine Oberflächenschutzschicht bezeichnet.
Als Nächstes wird das Referenzpixel 307 beschrieben. Ein P-Halbleiterbereich 221 ist zwischen einem Abschnitt in dem Halbleiterbereich 203, wobei der Abschnitt mit einem CNT 215 verbunden ist, und dem Übertragungs-Gate 204 in einer Draufsicht bereitgestellt.
12A ist ein Diagramm, das schematisch eine Abschnittsstruktur des Pixels in der Linie C-D in 11 darstellt. 12B ist ein Diagramm, das eine Abschnittsstruktur des Pixels in der Linie A-B in 11 darstellt.
Als Erstes wird das Lichtempfangspixel 305 (ein Abschnitt entsprechend der Linie C-D), das in 12A dargestellt ist, beschrieben. Der Halbleiterbereich 203, der die elektrische Ladung sammelt, ist unter dem P-Halbleiterbereich 220 gebildet. Mit der Struktur dient der Halbleiterbereich 220 als eine Oberflächenschutzschicht, die die Oberfläche des Halbleiterbereichs 203 schützt. Der Halbleiterbereich 220 ist zwischen einer Hauptoberfläche 250 und dem Halbleiterbereich 203 eines Halbleitersubstrats gebildet.
Als Nächstes wird das Referenzpixel 307 (ein Abschnitt entsprechend der Linie A-B), das in 12B dargestellt ist, beschrieben. Der CNT 215 ist mit einem Teil des Halbleiterbereichs 203, der die elektrische Ladung sammelt, verbunden. Der Halbleiterbereich 221 ist nicht unter dem CNT 215 gebildet. Weiterhin ist der Halbleiterbereich 221 zwischen dem Abschnitt des Halbleiterbereichs 203, wobei der Abschnitt mit dem CNT 215 verbunden ist, und dem Übertragungs-Gate 204 bereitgestellt. Weiterhin, in dem Abschnitt, in dem sich der Halbleiterbereich 221 und der Halbleiterbereich 203 in einer Draufsicht gegenseitig überlappen, ist der Halbleiterbereich 203 unter dem Halbleiterbereich 221 bereitgestellt. Der Halbleiterbereich 221 ist zwischen der Hauptoberfläche 250 und dem Halbleiterbereich 203 des Halbleitersubstrats gebildet.
Wenn die Leitungsart des Halbleiterbereichs 203 die N-Art ist, ist die Leitungsart des Halbleiterbereichs 221 die P-Art. Somit besitzt der Halbleiterbereich 221 ein niedrigeres Potential als der Halbleiterbereich 203A. Genauer ist das Potential des Halbleiterbereichs 221 ein Potential zwischen dem Potential des Übertragungs-Gates 204 zur Zeit von AUS und dem Potential des Halbleiterbereichs 203. Wenn der Halbleiterbereich 221 nicht gebildet ist, wird ein elektrisches Feld entsprechend einer Potentialdifferenz zwischen dem Übertragungs-Gate 204 und dem Halbleiterbereich 203 auf das Übertragungs-Gate 204 aufgebracht. Unterdessen umfasst das vorliegende beispielhafte Ausführungsbeispiel den Halbleiterbereich 221 und somit wird ein elektrisches Feld, das auf ein elektrisches Feld entsprechend einer Potentialdifferenz zwischen dem Übertragungs-Gate 204 und dem Halbleiterbereich 221 abgeschwächt ist, auf das Übertragungs-Gate 204 aufgebracht. Mit dieser Konfiguration kann es weniger wahrscheinlich sein, dass ein Fehler des Übertragungstransistors 402 des Referenzpixels 307 auftritt. Mit anderen Worten kann es gemäß der Pixelkonfiguration des vorliegenden beispielhaften Ausführungsbeispiels weniger wahrscheinlich sein, dass ein Fehler des Referenzpixels 307 auftritt.
Ein Halbleiterbereich, der die gleiche Leitungsart aufweist wie der Halbleiterbereich 203 und eine höhere Unreinheitskonzentration aufweist wie der Halbleiterbereich 203, kann zwischen dem Halbleiterbereich 203 und dem CNT 215 angeordnet sein. Gemäß solch einer Konfiguration kann ein Verbindungswiderstand verringert werden.
Als Nächstes werden Operationen des Lichtempfangspixels 305, des OB-Pixels 306 und des Referenzpixels 307 beschrieben. 3 ist ein Zeitablaufdiagramm des Ansteuerungssignals SEL, des Ansteuerungssignals RES und des Ansteuerungssignals TX. Wenn das Ansteuerungssignal auf dem hohen Level ist, wird der entsprechende Transistor eingeschaltet. Wenn das Ansteuerungssignal auf dem niedrigen Level ist, wird der entsprechende Transistor ausgeschaltet. 3 stellt weiterhin Spannungen der FD-Knoten dar.
Zu einer Zeit T1 wird der Auswahltransistor 405 eingeschaltet. Gleichzeitig ist der Reset-Transistor 403 AN. Somit ist die Spannung des FD-Knotens die Reset-Spannung Vres. Nachdem der Auswahltransistor 403 eingeschaltet wird, wird der Reset-Transistor 403 ausgeschaltet. Der Verstärkungstransistor 404 gibt das Pixelsignal (Rauschsignal) des Levels gemäß der Reset-Spannung Vres an die Ausgabeleitung 308 aus.
Zu einer Zeit T2 wird der Übertragungstransistor 402 eingeschaltet. In dem Lichtempfangspixel 305 und dem OB-Pixel 306 wird die elektrische Ladung der PD 401 an den FD-Knoten übertragen. Die Spannung des FD-Knotens ändert sich von der Reset-Spannung Vres zu einer Signalspannung Vsig. Der Verstärkungstransistor 404 gibt das Pixelsignal des Levels gemäß der Spannung Vsig an die Ausgabeleitung 308 aus.
In dem Referenzpixel 307, wenn der Übertragungstransistor 402 eingeschaltet wird, wird die Spannung Va oder die Spannung Vb, die durch die Ausgabesteuerungsschaltung 304 ausgegeben wird, an den FD-Knoten zugeführt. In einem Fall, in dem die Spannung Va zugeführt wird, wird die Spannung des FD-Knotens von der Reset-Spannung Vres zu der Spannung Va geändert. In einem Fall, in dem die Spannung Vb zugeführt wird, wird die Spannung des FD-Knotens von der Reset-Spannung Vres zu der Spannung Vb geändert. Der Verstärkungstransistor 404 gibt das Pixelsignal des Levels gemäß der Spannung Va oder der Spannung Vb an die Ausgabeleitung 308 aus. Das Pixelsignal, das von dem Referenzpixel 307 ausgegeben wird, konfiguriert das Fehlererfassungssignal.
Zur Zeit T3 wird der Reset-Transistor 403 eingeschaltet und dann wird der Auswahltransistor 405 ausgeschaltet. Mit diesen Operationen wird die Operation zum Lesen des Pixelsignals von der Vielzahl von Pixeln 305, 306 und 307, die in einer Reihe enthalten sind, beendet.
Die Spaltenschaltung 302 führt eine Differentialverarbeitung des Pixelsignals unter Verwendung des Rauschsignals, das zur Zeit des Zurücksetzens ausgegeben wird, durch. Mit dieser Verarbeitung kann das Pixelsignal mit reduziertem Rauschen erhalten werden. Die Spaltenschaltung 302 führt weiterhin eine Verarbeitung zum Speichern des Pixelsignals, eine Analog-Digital-Wandlung (AD-Wandlung) und Ähnliches nach Bedarf durch.
In dem vorliegenden beispielhaften Ausführungsbeispiel sind das Lichtempfangspixel 305, das OB-Pixel 306 und das Referenzpixel 307, die in der gleichen Reihe enthalten sind, mit der gemeinsamen Ansteuerungsleitung 309 verbunden. Somit wird das Pixelsignal von dem Referenzpixel 307 parallel mit einem Auslesen der Pixelsignale von dem Lichtempfangspixel 305 und dem OB-Pixel 306 ausgelesen. Wie vorstehend beschrieben konfiguriert das Pixelsignal von dem Referenzpixel 307 das Fehlererfassungssignal, das eine Reihe angibt, zu der das Referenzpixel 307 gehört. Mit solch einer Konfiguration kann bestimmt werden, ob das Pixelsignal von der spezifizierten Reihe normal ausgegeben wird. Es sei angemerkt, dass das Lichtempfangspixel 305, das OB-Pixel 306 und das Referenzpixel 307, die in der gleichen Reihe enthalten sind, entsprechend mit einzelnen Ansteuerungsleitungen, die elektrisch getrennt sind, verbunden sein können. Das Lichtempfangspixel 305, das OB-Pixel 306 und das Referenzpixel 307 in der gleichen Reihe, die mit der gemeinsamen Ansteuerungsleitung 309 verbunden sind, sind ein Beispiel einer Konfiguration zum parallelen Lesen der Pixelsignale.
Das Fehlererfassungssignal, das von dem Pixelsignal, das durch das Referenzpixel 307 ausgegeben wird, konfiguriert ist, wird detailliert beschrieben. Das Fehlererfassungssignal des vorliegenden beispielhaften Ausführungsbeispiels umfasst ein digitales Signal. Genauer entspricht das Pixelsignal des Referenzpixels 307 Signalwerten von Bits des digitalen Signals. Wie in 3 dargestellt ist, gibt das Pixelsignal des Levels entsprechend der Spannung Va ”0” an und gibt das Pixelsignal des Levels entsprechend der Spannung Vb ”1” an.
4 stellt schematisch die Pixelsignale dar, die von einer X-Reihe, einer Y-Reihe und einer Z-Reihe, die in 1 dargestellt sind, ausgegeben werden. Die schraffierten Elemente stellen die Pixelsignale von dem Referenzpixel 307 dar. Die Elemente mit Außenlinie stellen die Signale des Lichtempfangspixels 305 oder des OB-Pixels 306 dar.
Sowohl die X-Reihe als auch die Y-Reihe umfassen das Lichtempfangspixel 305, das OB-Pixel 306 und das Referenzpixel 307. Somit werden das Pixelsignal (das Pixelsignal des Lichtempfangspixels 305 oder des OB-Pixels 306) des Levels entsprechend dem einfallenden Licht und das Pixelsignal (das Pixelsignal des Referenzpixels 307) zum Konfigurieren des Fehlererfassungssignals parallel zu der Spaltenschaltung 302 gelesen. Danach wird das Pixelsignal des Referenzpixels 307 als Erstes an die Signalverarbeitungseinheit 312 gemäß einer Steuerung der horizontalen Abtastschaltung 303 ausgegeben. Als Nächstes wird das Pixelsignal des Lichtempfangspixels 305 oder des OB-Pixels 306 an die Signalverarbeitungseinheit 312 ausgegeben. Wie in 4 beispielhaft dargestellt ist, besitzt das Fehlererfassungssignal entsprechend der Reihe X einen Signalwert ”010”. Weiterhin besitzt das Fehlererfassungssignal entsprechend der Reihe Y einen Signalwert ”110”. Auf diese Weise sind der Signalwert des Fehlererfassungssignals der X-Reihe und der Signalwert des Fehlererfassungssignals der Y-Reihe voneinander verschieden. Die Z-Reihe umfasst nur die Referenzpixel 307. Somit werden nur die Pixelsignale von den Referenzpixeln 307, das heißt nur die Fehlererfassungssignale, von der Z-Reihe ausgegeben. Die Pixelsignale, die durch das Referenzpixel 307 der Z-Reihe ausgegeben werden, können das Fehlererfassungssignal entsprechend der Z-Reihe und die Fehlererfassungssignale entsprechend Spalten, die die Lichtempfangspixel 305 enthalten, konfigurieren.
Als Nächstes wird ein Verfahren zum Bestimmen, ob die Abbildungseinrichtung das Pixelsignal normal ausgibt, basierend auf dem Fehlererfassungssignal beschrieben. 5 ist ein Ablaufdiagramm, das ein Verfahren zum Bestimmen einer Operation der Abbildungseinrichtung darstellt. Diese Bestimmungsverarbeitung wird zum Beispiel durch die Signalverarbeitungseinheit 312 durchgeführt.
In Schritt S500 werden Pixelsignale der X-Reihe beschafft. Wie vorstehend mit Bezug auf 4 beschrieben ist, werden die Pixelsignale des Lichtempfangspixels 305, des OB-Pixels 306 und des Referenzpixels 307 als die Pixelsignale der X-Reihe ausgegeben. In Schritt S501 wird für jedes Pixelsignal bestimmt, ob die Pixelsignale von dem Referenzpixel 307 ausgegeben werden. Wenn das gelesene und ausgegebene Pixelsignal nicht das Pixelsignal ist, das von dem Referenzpixel 307 ausgegeben wird, das heißt, wenn das Pixelsignal das Pixelsignal ist, das von dem Lichtempfangspixel 305 oder dem OB-Pixel 306 ausgegeben wird (NEIN in Schritt S501), konfiguriert das gelesene Pixelsignal nicht das Fehlererfassungssignal. Somit wird in Schritt S502 eine Bestimmung eines Fehlers nicht durchgeführt. Wenn das gelesene Pixelsignal das Pixelsignal ist, das von dem Referenzpixel 307 ausgegeben wird (JA in Schritt S501), wird eine Verarbeitung zum Bestimmen, ob das Fehlererfassungssignal korrekt oder falsch ist, durchgeführt.
Zuerst werden in Schritt S503 Informationen über eine Abnormalität des Referenzpixels 307 beschafft. In dem vorliegenden beispielhaften Ausführungsbeispiel werden Abnormalitätsinformationen, die die Position des Referenzpixels 307 mit der Abnormalität angeben, in dem Speicher 311 gespeichert. Nachfolgend wird in Schritt 504 bestimmt, ob das gelesene Pixelsignal von dem Referenzpixel 307 ist, das eine Abnormalität aufweist, basierend auf den Abnormalitätsinformationen, die die Abnormalität des Referenzpixels 307 angeben. Genauer wird bestimmt, ob die Position des Referenzpixels 307 mit der Position des abnormalen Pixels, das in dem Speicher 311 gespeichert ist, übereinstimmt. Hier, wenn die Position des Referenzpixels 307 nicht mit den Informationen der Position des abnormalen Pixels übereinstimmt, wird bestimmt, dass das Referenzpixel 307 keine Abnormalität aufweist. Genauer wird bestimmt, dass das Fehlererfassungssignal, das von dem Pixelsignal konfiguriert ist, das von dem Referenzpixel 307 ausgegeben wird, einen korrekten Signalwert aufweist. Andererseits, wenn die Position des Referenzpixels 307 mit den Informationen der Position des abnormalen Pixels übereinstimmt, wird bestimmt, dass das Referenzpixel 307 ein abnormales Pixel ist. Genauer wird bestimmt, dass das Fehlererfassungssignal, das von dem Pixelsignal konfiguriert ist, das von dem Referenzpixel 307 ausgegeben wird, einen falschen Signalwert aufweist – das heißt es wird bestimmt, dass der Signalwert nicht korrekt ist. Auf diese Weise bestimmt die Signalverarbeitungseinheit in Schritt S504, ob das Fehlererfassungssignal basierend auf dem Pixelsignal, das von dem Referenzpixel 307 ausgegeben, korrekt ist oder nicht.
Wenn bestimmt ist, dass das Fehlererfassungssignal nicht korrekt ist (NEIN in Schritt S504), geht die Verarbeitung über zu Schritt S505. In Schritt S505 werden Informationen, die angeben, dass das Fehlererfassungssignal ungültig ist, hinzugefügt. 5 stellt ein Beispiel dar, in dem das letzte Bit eines digitalen Signals mit drei Bit das Pixelsignal von dem Referenzpixel 307 mit einer Abnormalität ist. Somit wird in Schritt S505 ”1” als die Information, die angibt, dass das Fehlererfassungssignal ungültig ist, bereitgestellt. Das Verfahren des Ungültigmachens des Fehlererfassungssignals ist nicht darauf beschränkt.
In Schritt S506 wird das Fehlererfassungssignal mit dem Signalwert, der in dem vorhergehenden Schritt erhalten wird, als das Fehlererfassungssignal, das die X-Reihe angibt, erzeugt. Wenn das erhaltene Fehlererfassungssignal korrekt ist, wird der Signalwert des Pixelsignals verwendet wie er ist. Wenn das erhaltene Fehlererfassungssignal falsch (das heißt nicht korrekt) ist, wird das Fehlererfassungssignal, das ungültig gemacht wurde, erzeugt.
In Schritt S507 wird ein Signalwert des erzeugten Fehlererfassungssignals mit einem erwarteten Wert des Fehlererfassungssignals der X-Reihe verglichen. Wenn der Signalwert des Fehlererfassungssignals mit dem erwarteten Wert übereinstimmt (JA in Schritt S507), geht die Verarbeitung über zu Schritt S508. In Schritt S508 wird bestimmt, dass die Abbildungseinrichtung normal arbeitet.
Dann geht die Verarbeitung über zu der nächsten Reihenausleseoperation – das heißt die Verarbeitung geht über zum Auslesen der nächsten Reihe in der Pixelmatrix. Weiterhin, wenn das Fehlererfassungssignal, das ungültig gemacht wurde, erzeugt wird, geht die Verarbeitung ebenso über zu der nächsten Reihenausleseoperation.
Wenn der Signalwert des Fehlererfassungssignals mit dem erwarteten Wert in Schritt S507 nicht übereinstimmt (NEIN in Schritt S507), geht die Verarbeitung über zu Schritt S509. In Schritt S509 wird bestimmt, dass die Operation der Abbildungseinrichtung eine Abnormalität aufweist. Genauer wird bestimmt, dass die Abbildungseinrichtung einen Fehler aufweist. In diesem Fall wird die Operation der Abbildungseinrichtung in Schritt S510 gestoppt oder wird eine Warnung, die angibt, dass die Abbildungseinrichtung einen Fehler aufweist, ausgegeben.
Wie vorstehend beschrieben bestimmt das vorliegende beispielhafte Ausführungsbeispiel, ob das Fehlererfassungssignal korrekt oder falsch ist, basierend auf den Abnormalitätsinformationen, die die Abnormalität des Referenzpixels 307 angeben. Auf diese Weise reduziert die Anordnung die Möglichkeit des fehlerhaften Bestimmens, dass die Abbildungseinrichtung einen Fehler aufweist, und bestimmt zuverlässiger, wenn die Abbildungseinrichtung normal arbeitet. Als ein Ergebnis wird ein Fehler der Abbildungseinrichtung genau erfasst.
Die vorstehende Beschreibung basiert auf den Fehlererfassungssignalen von den Reihen. Es wird jedoch anerkannt werden, dass die vorstehenden Anordnungen ebenso die Operation der Abbildungseinrichtung basierend auf den Fehlererfassungssignalen von den Spalten bestimmen kann. In dem letztgenannten Fall kann der Ausdruck ”Reihe” in der Spezifikation durch den Ausdruck ”Spalte” ersetzt werden.
Ein zweites beispielhaftes Ausführungsbeispiel wird beschrieben. Das vorliegende beispielhafte Ausführungsbeispiel ist von dem ersten beispielhaften Ausführungsbeispiel dahingehend verschieden, dass, wenn bestimmt wird, dass das Fehlererfassungssignal falsch ist, das Fehlererfassungssignal durch ein anderes Signal ersetzt wird. Nachstehend werden hauptsächlich Abschnitte des zweiten beispielhaften Ausführungsbeispiels beschrieben, die von denen des ersten beispielhaften Ausführungsbeispiels verschieden sind. Abschnitte des zweiten beispielhaften Ausführungsbeispiels, die ähnlich denen des ersten beispielhaften Ausführungsbeispiels sind, werden der Kürze halber weggelassen.
Die Konfiguration einer Abbildungseinrichtung gemäß dem vorliegenden beispielhaften Ausführungsbeispiel ist die gleiche wie die des ersten beispielhaften Ausführungsbeispiels. 1 stellt schematisch die Abbildungseinrichtung gemäß dem vorliegenden beispielhaften Ausführungsbeispiel dar. Eine detaillierte Beschreibung davon wird weggelassen.
Konfigurationen und Operationen eines Lichtempfangspixels 305, eines OB-Pixels 306 und eines Referenzpixels 307 des vorliegenden beispielhaften Ausführungsbeispiels sind die gleichen wie die des ersten beispielhaften Ausführungsbeispiels. 2 stellt Ersatzschaltungen des Lichtempfangspixels 305, des OB-Pixels 306 und des Referenzpixels 307 des vorliegenden beispielhaften Ausführungsbeispiels dar. Strukturen des Lichtempfangspixels 305 und des Referenzpixels 307 sind in 13 bis 15 dargestellt. Weiterhin ist 3 ein Zeitablaufdiagramm von Ansteuerungssignalen, die durch die Abbildungseinrichtung des vorliegenden beispielhaften Ausführungsbeispiels verwendet werden. Eine detaillierte Beschreibung davon wird weggelassen.
Ein Fehlererfassungssignal, das in dem vorliegenden beispielhaften Ausführungsbeispiel verwendet wird, ist das gleiche wie das des ersten beispielhaften Ausführungsbeispiels. 4 stellt schematisch Pixelsignalausgaben von einer X-Reihe, einer Y-Reihe und einer Z-Reihe, die in 1 dargestellt sind, dar. Eine detaillierte Beschreibung davon wird weggelassen.
Als Nächstes wird ein Verfahren zum Bestimmen, ob die Abbildungseinrichtung die Pixelsignale normal ausgibt, basierend auf dem Fehlererfassungssignal beschrieben. 6 ist ein Ablaufdiagramm, das ein Verfahren zum Bestimmen einer Operation der Abbildungseinrichtung darstellt. Diese Bestimmungsverarbeitung wird zum Beispiel durch eine Signalverarbeitungseinheit 312 durchgeführt.
Schritte wie die in dem Ablaufdiagramm von 5 werden mit den gleichen Bezugszeichen wie denen in 5 bezeichnet.
In Schritt S500 werden Pixelsignale der X-Reihe beschafft. Wie vorstehend mit Bezug auf 4 beschrieben ist, werden Pixelsignale des Lichtempfangspixels 305, des OB-Pixels 306 und des Referenzpixels 307 als die Pixelsignale der X-Reihe ausgegeben. In Schritt S501 wird für jedes Pixelsignal bestimmt, ob die Pixelsignale von den Referenzpixeln 307 ausgegeben werden. Wenn das gelesene und ausgegebene Pixelsignal nicht das Pixelsignal ist, das von dem Referenzpixel 307 ausgegeben wird, das heißt, wenn das ausgegebene Pixelsignal das Pixelsignal ist, das von dem Lichtempfangspixel 305 oder dem OB-Pixel 306 ausgegeben wird (NEIN in Schritt S501), konfiguriert das gelesene Pixelsignal nicht das Fehlererfassungssignal. Somit wird in Schritt S502 eine Bestimmung eines Fehlers nicht durchgeführt. Wenn das gelesene Pixelsignal das Pixelsignal ist, das von dem Referenzpixel 307 ausgegeben wird (JA in Schritt S501), wird eine Verarbeitung zum Bestimmen, ob das Fehlererfassungssignal korrekt oder falsch ist, durchgeführt.
Als Erstes werden in Schritt S503 Informationen über eine Abnormalität des Referenzpixels 307 beschafft. In dem vorliegenden beispielhaften Ausführungsbeispiel sind Abnormalitätsinformationen, die die Position des Referenzpixels 307 mit einer Abnormalität angeben, in dem Speicher 311 gespeichert. Danach wird in Schritt S504 bestimmt, ob das gelesene Pixelsignal von dem Referenzpixel 307 mit einer Abnormalität ausgegeben wird, unter Verwendung der Abnormalitätsinformationen, die die Abnormalität des Referenzpixels 307 angeben. Genauer wird bestimmt, ob die Position des Referenzpixels 307 mit der Position des abnormalen Pixels, das in dem Speicher 311 gespeichert ist, übereinstimmt. Hier, wenn die Position des Referenzpixels 307 nicht mit den Informationen der Position des abnormalen Pixels übereinstimmt, wird bestimmt, dass das Referenzpixel 307 keine Abnormalität aufweist. Genauer wird bestimmt, dass das Fehlererfassungssignal, das von dem Pixelsignal konfiguriert ist, das von dem Referenzpixel 307 ausgegeben wird, einen korrekten Signalwert aufweist. Andererseits, wenn die Position des Referenzpixels 307 mit den Informationen der Position des abnormalen Pixels übereinstimmt, wird bestimmt, dass das Referenzpixel 307 ein abnormales Pixel ist. Genauer wird bestimmt, dass das Fehlererfassungssignal, das von dem Pixelsignal, das von dem Referenzpixel 307 ausgegeben wird, konfiguriert ist, einen falschen Signalwert aufweist. Auf diese Weise bestimmt die Signalverarbeitungseinheit in Schritt S504, ob das Fehlererfassungssignal, das von dem Pixelsignal, das von dem Referenzpixel 307 ausgegeben wird, konfiguriert wird, korrekt ist oder nicht (das heißt korrekt oder falsch).
Wenn das Fehlererfassungssignal falsch ist (NEIN in Schritt S504), geht die Verarbeitung über zu Schritt S601. In Schritt S601 wird ein korrektes Fehlererfassungssignal, das in dem Speicher 311 gespeichert ist, beschafft. Der Speicher 311 speichert das Fehlererfassungssignal, das von dem Ausgabesignal des abnormalen Referenzpixels 307 konfiguriert sein sollte, zusätzlich zu den Abnormalitätsinformationen, die die Abnormalität des Referenzpixels 307 angeben. Zum Beispiel kann der Speicher 311 alle Fehlererfassungssignale speichern. Auf diese Weise wird ein zugehöriges Fehlererfassungssignal basierend auf den Abnormalitätsinformationen ausgewählt. Alternativ kann der Speicher 311 nur das Fehlererfassungssignal bezüglich des Referenzpixels 307 mit einer Abnormalität speichern.
Danach wird in Schritt S602 das Fehlererfassungssignal, das von dem Pixelsignal des Referenzpixels 307 konfiguriert wird, durch ein anderes Fehlererfassungssignal, das in dem Speicher gespeichert ist, ersetzt.
In Schritt S506 wird das Fehlererfassungssignal mit dem Signalwert, der in dem vorhergehenden Schritt erhalten wird, als das Fehlererfassungssignal, das die X-Reihe angibt, erzeugt. Wenn das erhaltene Fehlererfassungssignal korrekt ist, wird der Signalwert des Pixelsignals verwendet wie er ist. Wenn das erhaltene Fehlererfassungssignal falsch ist, wird das ersetzte Fehlererfassungssignal erzeugt.
In Schritt S507 wird der Signalwert des erzeugten Fehlererfassungssignals mit einem erwarteten Wert des X-Reihen-Fehlererfassungssignals verglichen. Wenn der Signalwert des Fehlererfassungssignals mit dem erwarteten Wert übereinstimmt (JA in Schritt S507), geht die Verarbeitung über zu Schritt S508. In Schritt S508 wird bestimmt, dass die Abbildungseinrichtung normal arbeitet. Dann geht die Verarbeitung über zu der nächsten Reihenausleseoperation.
Wenn der Signalwert des Fehlererfassungssignals mit dem erwarteten Wert in Schritt S507 nicht übereinstimmt (NEIN in Schritt S507), geht die Verarbeitung über zu Schritt S509. In Schritt S509 wird bestimmt, dass die Operation der Abbildungseinrichtung eine Abnormalität aufweist. Genauer wird bestimmt, dass die Abbildungseinrichtung einen Fehler aufweist. In diesem Fall wird in Schritt S510 die Operation der Abbildungseinrichtung gestoppt oder wird eine Warnung ausgegeben, die angibt, dass die Abbildungseinrichtung einen Fehler aufweist.
Gemäß der vorstehenden Beschreibung bestimmt das vorliegende beispielhafte Ausführungsbeispiel, ob das Fehlererfassungssignal korrekt oder falsch ist, unter Verwendung der Abnormalitätsinformationen, die die Abnormalität des Referenzpixels 307 angeben. Auf diese Weise verringert die vorliegende Anordnung die Möglichkeit des fehlerhaften Bestimmens, dass die Abbildungseinrichtung einen Fehler aufweist, wenn die Abbildungseinrichtung normal arbeitet. Somit kann der Fehler der Abbildungseinrichtung genau erfasst werden.
Die Operation der vorstehenden Abbildungseinrichtung basiert auf den Fehlererfassungssignalen der Reihen. Jedoch wird in anderen Beispielen anerkannt werden, dass die Operation der Abbildungseinrichtung basierend auf Fehlererfassungssignalen von Spalten bestimmt werden kann. In diesem Fall kann der Ausdruck ”Reihe” in der Spezifikation durch den Ausdruck ”Spalte” ersetzt werden.
Ein beispielhaftes Ausführungsbeispiel eines beweglichen bzw. sich bewegenden Körpers wird nun beschrieben. Der bewegliche bzw. sich bewegende Körper eines dritten beispielhaften Ausführungsbeispiels ist ein Automobil, das mit einer fahrzeugseitigen Kamera bereitgestellt ist. 7A stellt schematisch eine äußere Erscheinung und eine prinzipielle interne Struktur eines Automobils 100 dar. Das Automobil 100 umfasst eine Abbildungseinrichtung 102, eine integrierte Schaltung 103 eines Abbildungssystems (anwendungsspezifische integrierte Schaltung (ASIC)), eine Warneinrichtung 112 und eine Hauptsteuerungseinheit 113.
8 stellt schematisch eine Konfiguration der Abbildungseinrichtung 102 des vorliegenden beispielhaften Ausführungsbeispiels dar. Ein Unterschied von der Abbildungseinrichtung, die in den vorstehenden ersten und zweiten beispielhaften Ausführungsbeispielen beschrieben ist, ist, dass die Abbildungseinrichtung 102 den Speicher 311 und die Signalverarbeitungseinheit 312 von 1 nicht umfasst. Andere Konfigurationen der Abbildungseinrichtung 102 sind die gleichen wie die Konfigurationen, die in 1 dargestellt sind. Dementsprechend wird die Beschreibung des ersten und zweiten beispielhaften Ausführungsbeispiels angewendet und eine wiederholte Beschreibung wird weggelassen.
Die Warneinrichtung 112 gibt eine Warnung an einen Fahrer aus, wenn ein Signal, das eine Abnormalität angibt, von einem Abbildungssystem, einem Fahrzeugsensor, einer Steuerungseinheit oder Ähnlichem empfangen wird. Die Hauptsteuerungseinheit 113 steuert integriert bzw. ganzheitlich Operationen des Abbildungssystems, des Fahrzeugsensors, der Steuerungseinheit und Ähnlichem. Das Automobil 100 könnte die Hauptsteuerungseinheit 113 nicht enthalten. In diesem Fall umfassen das Abbildungssystem, der Fahrzeugsensor und die Steuerungseinheit einzeln Kommunikationsschnittstellen (I/Fs), und die Kommunikations-I/Fs übertragen/empfangen ein Steuerungssignal über ein Kommunikationsnetzwerk (zum Beispiel den Steuerungsbereichsnetzwerk-Standard) (CAN-Standard).
7B ist ein Blockdiagramm, das eine Systemkonfiguration des Automobils 100 darstellt. Das Automobil 100 umfasst eine erste Abbildungseinrichtung 102 und eine zweite Abbildungseinrichtung 102. Genauer ist die fahrzeugseitige Kamera des vorliegenden beispielhaften Ausführungsbeispiels eine Stereokamera. In der Abbildungseinrichtung 102 wird ein Objektbild durch eine optische Einheit 114 fokussiert. Ein Pixelsignal, das von der Abbildungseinrichtung 102 ausgegeben wird, wird durch eine Bildvorverarbeitungseinheit 115 verarbeitet und dann an die integrierte Schaltung 103 des Abbildungssystems übertragen. Die Bildvorverarbeitungseinheit 115 führt eine Verarbeitung wie etwa eine S-N-Arithmetikoperation und eine Synchronisationssignaladdition durch.
Die integrierte Schaltung 103 eines Abbildungssystems umfasst eine Bildverarbeitungseinheit 104, einen Speicher 105, eine optische Entfernungsmesseinheit 106, eine Parallaxenberechnungseinheit 107, eine Objekterkennungseinheit 108, eine Abnormalitätserfassungseinheit 109 und eine externe Schnittstelleneinheit bzw. I/F-Einheit 116. Die Bildverarbeitungseinheit 104 verarbeitet das Pixelsignal, um ein Bildsignal zu erzeugen. Die Bildverarbeitungseinheit 104 führt eine Korrektur des Bildsignals und eine Komplementierung eines abnormalen Pixels durch. Der Speicher 105 speichert das Bildsignal vorübergehend. Weiterhin kann der Speicher 105 die Position eines bekannten abnormalen Pixels der Abbildungseinrichtung 102 speichern. Die optische Entfernungsmesseinheit 106 führt eine Fokus- oder Entfernungsmessung des Objekts unter Verwendung des Bildsignals durch. Die Parallaxenberechnungseinheit 107 führt einen Objektvergleich (Stereoabgleich) des Parallaxenbildes durch. Die Objekterkennungseinheit 108 analysiert das Bildsignal und erkennt Objekte wie etwa ein Automobil, eine Person, ein Schild und eine Straße. Die Abnormalitätserfassungseinheit 109 erfasst einen Fehler oder eine falsche Operation der Abbildungseinrichtung 102. Wenn der Fehler oder die falsche Operation erfasst wird, sendet die Abnormalitätserfassungseinheit 109 ein Signal, das angibt, dass die Abnormalität erfasst wurde, an die Hauptsteuerungseinheit 113. Die externe I/F-Einheit 116 vermittelt eine Übertragung von Informationen zwischen Abschnitten der integrierten Schaltung 103 des Abbildungssystems und der Hauptsteuerungseinheit 113 oder verschiedenen Steuerungseinheiten.
Das Automobil 100 umfasst eine Fahrzeuginformationsbeschaffungseinheit 110 und eine Fahrunterstützungssteuerungseinheit 111. Die Fahrzeuginformationsbeschaffungseinheit 110 umfasst Fahrzeugsensoren wie etwa einen Geschwindigkeits- und Beschleunigungssensor, einen Winkelgeschwindigkeitssensor, einen Lenkwinkelsensor, ein Entfernungsmessradar und einen Drucksensor.
Die Fahrunterstützungssteuerungseinheit 111 umfasst eine Kollisionsbestimmungseinheit. Die Kollisionsbestimmungseinheit bestimmt, ob es eine Kollisionswahrscheinlichkeit mit einem Objekt gibt, basierend auf Informationen von der optischen Entfernungsmesseinheit 106, der Parallaxenberechnungseinheit 107 und der Objekterkennungseinheit 108. Die optische Entfernungsmesseinheit 106 und die Parallaxenberechnungseinheit 107 sind Beispiele einer Entfernungsinformationsbeschaffungseinheit, die Entfernungsinformationen zu einem Zielobjekt beschafft. Genauer sind die Entfernungsinformationen Informationen über eine Parallaxe, einen Defokusbetrag, die Entfernung zu dem Zielobjekt und Ähnliches. Die Kollisionsbestimmungseinheit kann die Kollisionswahrscheinlichkeit unter Verwendung irgendwelcher der Entfernungsinformationen bestimmen. Die Entfernungsinformationsbeschaffungseinheit kann durch speziell designte Hardware oder ein Softwaremodul realisiert werden.
Ein Beispiel des Steuerns des Automobils 100 durch die Fahrunterstützungssteuerungseinheit 111, um mit einem anderen Objekt nicht zu kollidieren, wurde beschrieben. Jedoch ist das vorliegende beispielhafte Ausführungsbeispiel auf eine Steuerung des automatischen Fahrens zum Folgen eines anderen Fahrzeugs oder eine Steuerung des automatischen Fahrens, um nicht über Spuren zu fahren, anwendbar.
Das Automobil 100 umfasst weiterhin Fahrabschnitte, die zum Fahren verwendet werden, wie etwa einen Airbag, einen Beschleuniger, eine Bremse, eine Lenkung und ein Getriebe. Weiterhin umfasst das Automobil 100 eine Steuerungseinheit der Fahrabschnitte. Die Steuerungseinheit steuert einen entsprechenden Fahrabschnitt basierend auf einem Steuerungssignal der Hauptsteuerungseinheit 113.
In dem vorliegenden beispielhaften Ausführungsbeispiel bestimmt die Abnormalitätserfassungseinheit 109 der integrierten Schaltung 103 des Abbildungssystems, ob das Pixelsignal von der Abbildungseinrichtung 102 normal ausgegeben wird. Somit empfängt die Abnormalitätserfassungseinheit 109 eine Vielzahl von Fehlererfassungssignalen, die von der Abbildungseinrichtung 102 ausgegeben werden. Die Fehlererfassungssignale, die von der Abbildungseinrichtung 102 ausgegeben werden, sind die gleichen wie die, die in den vorstehend beschriebenen beispielhaften Ausführungsbeispielen beschrieben sind. Weiterhin ist das Verfahren zum Bestimmen der Operation der Abbildungseinrichtung 102 durch die Abnormalitätserfassungseinheit 109 das gleiche wie das Verfahren, das in 5 und 6 dargestellt ist und das der Beschreibung von 5 und 6. Mit anderen Worten werden alle Beschreibungen des ersten und zweiten beispielhaften Ausführungsbeispiels in dem vorliegenden beispielhaften Ausführungsbeispiel angewendet.
Wie in 5 und 6 dargestellt ist, bestimmt die Abnormalitätserfassungseinheit 109, ob das Fehlererfassungssignal korrekt oder falsch ist, unter Verwendung der Abnormalitätsinformationen, die in dem Speicher 105 gespeichert sind, wobei die Abnormalitätsinformationen die Abnormalität eines Pixels der Abbildungseinrichtung angeben. Dann, wenn bestimmt ist, dass das Fehlererfassungssignal falsch ist, wird das Fehlererfassungssignal ungültig gemacht, wie in 5 dargestellt ist. Alternativ wird das beschaffte Fehlerfassungssignal durch ein anderes Signal ersetzt, wie in 8 dargestellt ist. In diesem Fall wird das korrekte Fehlererfassungssignal zum Ersetzen in dem Speicher 105 gespeichert.
Auf diese Weise wird die Bestimmung eines Fehlers der Abbildungseinrichtung, die durch die Signalverarbeitungseinheit 312 in den ersten und zweiten beispielhaften Ausführungsbeispielen durchgeführt wird, in dem vorliegenden beispielhaften Ausführungsbeispiel durch die Abnormalitätserfassungseinheit 109 der integrierten Schaltung 103 des Abbildungssystems durchgeführt. Mit anderen Worten arbeitet die integrierte Schaltung 103 des Abbildungssystems als eine Signalverarbeitungseinheit, die einen Fehler der Abbildungseinrichtung bestimmt.
Das Abbildungssystem, das in dem vorliegenden beispielhaften Ausführungsbeispiel verwendet wird, ist nicht auf das Automobil beschränkt und kann auf einen beweglichen bzw. sich bewegenden Körper (bewegliche bzw. sich bewegende Einrichtung) wie etwa ein Fahrzeug bzw. Schiff, ein Flugzeug, oder einen industriellen Roboter angewendet werden. Zusätzlich kann das Abbildungssystem nicht nur auf den beweglichen Körper angewendet werden, sondern ebenso auf Einrichtungen, die eine Objekterkennung verwenden, wie etwa intelligente Transportsysteme (ITS).
Als eine Modifikation des beweglichen Körpers kann die Abbildungseinrichtung, die in dem ersten und zweiten beispielhaften Ausführungsbeispiel beschrieben ist, als die Abbildungseinrichtung 102 verwendet werden.
Wie vorstehend beschrieben umfasst der bewegliche Körper des vorliegenden beispielhaften Ausführungsbeispiels die Signalverarbeitungseinheit, die bestimmt, ob das Fehlererfassungssignal korrekt oder falsch ist, unter Verwendung der Abnormalitätsinformationen, die die Abnormalität eines Pixels der Abbildungseinrichtung angeben. Mit solch einer Konfiguration kann eine Möglichkeit des fehlerhaften Bestimmens, dass die Abbildungseinrichtung einen Fehler aufweist, obwohl die Abbildungseinrichtung normal arbeitet, verringert werden. Somit kann der Fehler der Abbildungseinrichtung genau erfasst werden.
Ein beispielhaftes Ausführungsbeispiel des Abbildungssystems wird beschrieben. Beispiele des Abbildungssystems umfassen eine Digitalkamera, einen digitalen Camcorder, einen Kamerakopf, einen Kopierer, ein Faxgerät, ein Mobiltelefon, eine fahrzeugseitige Kamera und einen Beobachtungssatteliten. 9 ist ein Blockdiagramm, das eine Konfiguration einer Digitalkamera als ein Beispiel des Abbildungssystems darstellt.
In 9 schützt eine Abdeckung 1001 eine Linse. Eine Linse 1002 fokussiert ein optisches Bild eines Objekts auf einer Abbildungseinrichtung 1004. Eine Blende 1003 variiert eine Lichtmenge, die die Linse 1002 passiert. Als die Abbildungseinrichtung 1004 wird eine Abbildungseinrichtung, die in 8 dargestellt ist, verwendet.
Eine Signalverarbeitungseinheit 1007 führt eine Verarbeitung wie etwa eine Korrektur und eine Datenkomprimierung für ein Pixelsignal, das von der Abbildungseinrichtung 1004 ausgegeben wird, durch, um ein Bildsignal zu beschaffen. Dann gibt in 9 eine Zeitsteuerungserzeugungseinheit 1008 verschiedene Zeitsteuerungssignale an die Abbildungseinrichtung 1004 und die Signalverarbeitungseinheit 1007 aus und eine Gesamtsteuerungseinheit 1009 steuert die gesamte Digitalkamera. Eine Speichereinheit 1010 speichert vorübergehend Bilddaten. Eine Speichermediumssteuerungs-I/F-Einheit 1011 führt ein Speichern in oder ein Lesen von einem Speichermedium durch. Ein anbringbares und entfernbares Speichermedium 1012, wie etwa ein Halbleiterspeicher, wird zum Speichern oder Lesen der abgebildeten Daten verwendet. Eine externe I/F-Einheit 1013 führt eine Kommunikation mit einem externen Computer durch.
Das Abbildungssystem könnte nur zumindest die Abbildungseinrichtung 1004 und die Signalverarbeitungseinheit 1007, die das Bildsignal verarbeitet, das von der Abbildungseinrichtung 1004 ausgegeben wird, umfassen. In diesem Fall sind andere Konfigurationen außerhalb des Abbildungssystems angeordnet.
In dem vorliegenden beispielhaften Ausführungsbeispiel bestimmt die Signalverarbeitungseinheit 1007, ob das Pixelsignal von der Abbildungseinrichtung 1004 normal ausgegeben wird. Somit empfängt die Signalverarbeitungseinheit 1007 eine Vielzahl von Fehlererfassungssignalen, die von der Abbildungseinrichtung 1004 ausgegeben werden. Die Fehlererfassungssignale, die durch die Abbildungseinrichtung 1004 ausgegeben werden, sind die gleichen wie die, die in den vorstehend beschriebenen beispielhaften Ausführungsbeispielen beschrieben wurden. Weiterhin ist das Verfahren zum Bestimmen der Operation der Abbildungseinrichtung 102 durch die Signalverarbeitungseinheit 1007 das gleiche wie das Verfahren, das in 5 und 6 dargestellt ist, und wie in der Beschreibung von 5 und 6. Mit anderen Worten werden alle Beschreibungen der ersten und zweiten beispielhaften Ausführungsbeispiele in dem vorliegenden beispielhaften Ausführungsbeispiel eingesetzt.
Wie in 5 und 6 dargestellt ist, bestimmt die Signalverarbeitungseinheit 1007, ob das Fehlererfassungssignal korrekt oder falsch ist, unter Verwendung von Informationen über eine Abnormalität eines Pixels der Abbildungseinrichtung, die in der Speichereinheit 1010 gespeichert werden. Dann, wenn das Fehlererfassungssignal falsch ist, wird das Fehlererfassungssignal ungültig gemacht, wie in 5 dargestellt ist. Alternativ wird das beschaffte Fehlererfassungssignal durch ein anderes Signal ersetzt, wie in 8 dargestellt ist. In diesem Fall wird das korrekte Fehlererfassungssignal zum Ersetzen in der Speichereinheit 1010 gespeichert.
Auf diese Weise wird die Bestimmung eines Fehlers der Abbildungseinrichtung, die in dem ersten und zweiten beispielhaften Ausführungsbeispiel durch die Signalverarbeitungseinheit 312 durchgeführt wird, in dem vorliegenden beispielhaften Ausführungsbeispiel durch die Signalverarbeitungseinheit 1007 durchgeführt.
Als eine Modifikation des Abbildungssystems kann die Abbildungseinrichtung, die in dem ersten und zweiten beispielhaften Ausführungsbeispiel beschrieben ist, als die Abbildungseinrichtung 1004 verwendet werden.
Wie vorstehend beschrieben umfasst das Abbildungssystem des vorliegenden beispielhaften Ausführungsbeispiels die Signalverarbeitungseinheit, die bestimmt, ob das Fehlererfassungssignal korrekt oder falsch ist, unter Verwendung der Informationen über eine Abnormalität eines Pixels der Abbildungseinrichtung. Mit solch einer Konfiguration kann eine Möglichkeit einer fehlerhaften Bestimmung, dass die Abbildungseinrichtung einen Fehler aufweist, obwohl die Abbildungseinrichtung normal arbeitet, verringert werden. Somit kann der Fehler der Abbildungseinrichtung genau erfasst werden.
Während die vorliegende Erfindung mit Bezug auf beispielhafte Ausführungsbeispiele beschrieben wurde, ist zu verstehen, dass die Erfindung nicht auf die offenbarten beispielhaften Ausführungsbeispiele beschränkt ist. Dem Umfang der folgenden Ansprüche ist die breiteste Interpretation zuzugestehen, so dass all solche Modifikationen und äquivalenten Strukturen und Funktionen mit umfasst sind.
Eine Abbildungseinrichtung umfasst eine Vielzahl von Pixeln und eine Verarbeitungseinheit. Die Vielzahl von Pixeln umfasst (i) ein Lichtempfangspixel, das dazu eingerichtet ist, um einfallendes Licht zu empfangen und ein Lichtsignal basierend auf dem einfallenden Licht auszugeben, und (ii) ein Referenzpixel, das dazu eingerichtet ist, um ein Pixelsignal zum Konfigurieren eines Fehlererfassungssignals auszugeben. Die Verarbeitungseinheit ist dazu eingerichtet, um zu bestimmen, ob das Fehlererfassungssignal korrekt ist oder nicht, basierend auf Abnormalitätsinformationen, die die Abnormalität des Referenzpixels angeben.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2009-118427 [0002, 0023, 0023, 0024]

Claims

Abbildungseinrichtung, mit: einer Vielzahl von Pixeln, mit: einem Lichtempfangspixel, das dazu eingerichtet ist, um einfallendes Licht zu empfangen und ein Pixelsignal basierend auf dem einfallenden Licht auszugeben; und einem Referenzpixel, das dazu eingerichtet ist, um ein Pixelsignal zum Konfigurieren eines Fehlererfassungssignals auszugeben; und einer Verarbeitungseinheit, die dazu eingerichtet ist, zu bestimmen, ob das Fehlererfassungssignal korrekt ist oder nicht, basierend auf Abnormalitätsinformationen, die die Abnormalität des Referenzpixels angeben.
Abbildungseinrichtung gemäß Anspruch 1, wobei die Verarbeitungseinheit dazu eingerichtet ist, das Fehlererfassungssignal ungültig zu machen, als Reaktion auf ein Bestimmen, dass das Fehlererfassungssignal nicht korrekt ist.
Abbildungseinrichtung gemäß Anspruch 1, wobei die Verarbeitungseinheit dazu eingerichtet ist, das Fehlererfassungssignal durch ein anderes Signal zu ersetzen, als Reaktion auf ein Bestimmen, dass das Fehlererfassungssignal nicht korrekt ist.
Abbildungseinrichtung gemäß einem der Ansprüche 1 bis 3, wobei: die Vielzahl von Pixeln in einer Matrix angeordnet ist; und das Fehlererfassungssignal Positionsdaten umfasst, die eine Position einer Reihe der Matrix oder eine Position einer Spalte der Matrix angeben.
Abbildungseinrichtung gemäß Anspruch 4, wobei die Verarbeitungseinheit dazu eingerichtet ist, weiterhin zu bestimmen, ob ein Pixelsignal von einem spezifizierten Pixel normal gelesen wird, basierend auf dem Fehlererfassungssignal.
Abbildungseinrichtung gemäß einem der Ansprüche 1 bis 5, weiterhin mit einem Speicher, der dazu konfiguriert ist, die Abnormalitätsinformationen zu speichern.
Abbildungseinrichtung gemäß einem der Ansprüche 1 bis 5, wobei die Verarbeitungseinheit dazu eingerichtet ist, die Abnormalitätsinformationen von einer externen Quelle zu empfangen.
Abbildungssystem mit einer Signalverarbeitungseinheit, die dazu konfiguriert ist: ein Pixelsignal gemäß einfallendem Licht und ein Fehlererfassungssignal zum Erfassen eines Fehlers einer Abbildungseinrichtung zu verarbeiten, wobei das Pixelsignal und das Fehlererfassungssignal von der Abbildungseinrichtung ausgegeben werden, und zu bestimmen, ob das Fehlererfassungssignal korrekt ist oder nicht, basierend auf Abnormalitätsinformationen, die die Abnormalität eines Pixels der Abbildungseinrichtung angeben.
Abbildungssystem gemäß Anspruch 8, wobei die Signalverarbeitungseinheit dazu eingerichtet ist, das Fehlererfassungssignal ungültig zu machen, als Reaktion auf ein Bestimmen, dass das Fehlererfassungssignal nicht korrekt ist.
Abbildungssystem gemäß Anspruch 8, wobei die Signalverarbeitungseinheit dazu eingerichtet ist, das Fehlererfassungssignal durch ein anderes Signal zu ersetzen, als Reaktion auf ein Bestimmen, dass das Fehlererfassungssignal nicht korrekt ist.
Abbildungssystem gemäß einem der Ansprüche 8 bis 10, wobei die Signalverarbeitungseinheit dazu eingerichtet ist, zu bestimmen, ob ein Pixelsignal von einem spezifizierten Pixel normal gelesen wird, basierend auf dem Fehlererfassungssignal.
Abbildungssystem gemäß einem der Ansprüche 8 bis 11, weiterhin mit einem Speicher, der dazu konfiguriert ist, die Abnormalitätsinformationen zu speichern.
Abbildungssystem gemäß einem der Ansprüche 8 bis 12, wobei die Signalverarbeitungseinheit dazu eingerichtet ist, die Abnormalitätsinformationen von der Abbildungseinrichtung zu empfangen.
Abbildungssystem gemäß einem der Ansprüche 8 bis 13, weiterhin mit einer Steuerungseinheit, die dazu konfiguriert ist, ein Signal zum Stoppen eines Abbildungsprozesses durch die Abbildungseinrichtung zuzuführen, als Reaktion darauf, dass die Signalverarbeitungseinheit basierend auf dem Fehlererfassungssignal bestimmt, dass die Abbildungseinrichtung nicht normal arbeitet.
Beweglicher Körper, mit: einer Abbildungseinrichtung gemäß einem der Ansprüche 1 bis 7; und einer Steuerungseinheit, die dazu konfiguriert ist, den beweglichen Körper basierend auf einem Bildsignal, das durch die Abbildungseinrichtung beschafft wird, zu steuern.
Beweglicher Körper, mit: einem Abbildungssystem gemäß einem der Ansprüche 8 bis 14; und einer Steuerungseinheit, die dazu konfiguriert ist, den beweglichen Körper basierend auf einem Bildsignal, das durch das Abbildungssystem beschafft wird, zu steuern.
Beweglicher Körper gemäß Anspruch 15 oder 16, weiterhin mit einer Informierungseinheit, die dazu konfiguriert ist, ein Warnsignal zum Angeben, dass die Abbildungseinrichtung einen Fehler aufweist, auszugeben, als Reaktion darauf, dass die Verarbeitungseinheit bestimmt, dass die Abbildungseinheit nicht normal arbeitet.
Steuerungsverfahren, mit: Speichern von Abnormalitätsinformationen, die die Abnormalität eines Pixels einer Abbildungseinrichtung angeben; Empfangen eines Fehlererfassungssignals zum Erfassen eines Fehlers der Abbildungseinrichtung; und Bestimmen, ob das Fehlererfassungssignal korrekt ist oder nicht, basierend auf den gespeicherten Abnormalitätsinformationen.
Steuerungsverfahren gemäß Anspruch 18, weiterhin mit einem Bestimmen, basierend auf dem Fehlererfassungssignal, ob die Abbildungseinrichtung normal arbeitet.