DE3412889A1

DE3412889A1 - Bildaufnahmesystem

Info

Publication number: DE3412889A1
Application number: DE19843412889
Authority: DE
Inventors: Shigeru Tokorozawa Saitama Morokawa
Original assignee: Citizen Watch Co Ltd
Current assignee: Citizen Watch Co Ltd
Priority date: 1983-04-08
Filing date: 1984-04-05
Publication date: 1984-10-31
Also published as: GB2140649B; SG56487G; DE3412889C2; JPS59186481A; GB8407826D0; GB2140649A; HK83487A; US4581649A

Description

Beschreibung

Bildaufnahmesysbem

Die Erfindung bezieht sich auf ein Bildaufnahmesystem und speziell auf ein Bildaufnahmesystem mit einem Bildsensor.

Der Bildsensor umfaßt eine Vielzahl von Photodetek- IQ toren, die auf einem Halbleiterchip angeordnet sind. Es ist sehr schwierig, Bildsensoren ohne defekte Photodetektoren herzustellen, was bedeutet, daß perfekte Bildsensoren nur zu einem sehr geringen Teil erhalten werden. Das hat zur Folge, daß der Preis für einen perfekten Bildsensor sehr hoch ist. Demgemäß kann so ein teurer Bildsensor nicht für allgemeine Zwecke verwendet werden.

Es ist daher Aufgabe der vorliegenden Erfindung, ein Bildaufnahmesystem mit einem Bildsensor zu schaffen, der als Bildaufnahmevorrichtung verwendet werden kann, auch wenn der Bildsensor defekte Photodetektoren aufweist .

QQ Diese Aufgabe wird erfindungsgemäß dadurch gelöst, daß das Bildaufnahmesystem einen Bildsensor mit einer Vielzahl von Photodetektoren umfaßt, die in zwei Dimensionen angeordnet sind und daß ein optisches System vorgesehen ist, um ein Bild auf dem Bildsensor zu formen, so daß der Bildsensor Bilddaten erzeugt und daß eine Vibra-

tionseinrichtung vorgesehen ist, um das Bild auf dem Bildsensor hin- und herzubewegen, so daß die Bilddaten oszillieren und daß eine Bildumwanclungseinrichtung vorgesehen ist,die synchron zu der Hin- und Herbewegung des Bildes arbeitet, um die hin- und hergehenden Bildsignale in ein festes Bild umzuwandeln und daß eine Speichereinrichtung vorgesehen ist, um die festen Bilddaten zu speichern und daß eine Auswahleinrichtung vorgesehen ist, um aus den in der Speichereinrichtung gespeicherten Daten geeignete Daten auszuwählen und um Bildsignale für das Bild auf dem Bildsensor zu erzeugen.

Die Auswahleinrichtung kann einen Daten analysierenden und einen festsetzenden Kreislauf, wie z.B. einen nach dem Mehrheitsprinzip entscheidenden Schaltkreis umfassen, um die geeignetsten Daten aus den im Speiche gespeicherten Daten auszuwählen und um die Bilddaten für das Bild auf dem Bildsensor zu erzeugen.

Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen beschrieben.

Weitere Merkmale und Eigenschaften der vorliegenden Erfindung werden im folgenden anhand der Figuren weiter

erläutert und beschrieben. Es zeigt: 25

Fig. 1 und 2 Darstellungen, um das Prinzip der vorliegenden Erfindung zu erläutern;

Fig. 3 A eine schematisch dargestellte Anordnung

^UW einer erfindungsgemäßen Ausführungsform;

Fig. 3B eine andere Ausführungsform der Erfindung;

-If-

Fig. 4A und 4B einen Mehrheitslogikschaltkreis; Fig. 5 eine weitere Ausführungsform der vorliegenden Erfindung in schematischer Darstellung;

Fig. 6a bis 6C eine Vibrationseinrichtung für einen Bildsensor und Darstellungen der Datenabtasteinrichtung und des Registers eines Bildsensors und

Fig. 7A und 7B jeweils ein System, um die Daten eines defekten Photodetektors mit richtigen Daten aufzufüllen.

In Fig. 1 ist mit 100 ein Bildsensor bezeichnet, der eine Vielzahl von Photodetektoren umfaßt, die auf einem Halbleiterchip in einem zweidimensionalen Mosaik angeordnet sind. Im Bildsensor wird ein Bild 104 in einem aufgenommenen Bild 102, welches einem Objekt entspricht, gebildet. Der Bildsensor hat defekte Photodetektoren D₁, D-, Dj-, D₇. Die defekten Photodetektoren D₁ und D-, bewirken, daß in dem Bild 104 die entsprechenden Bereiche leer

sind. Wenn der Bildsensor 100 um einen kleinen Betrag verschoben wird,wird das Bild 102 in eine Position in dem aufgenommenen Bild 112 verschoben und ein Bild 114 in einer entsprechenden Position erzeugt. In der verschobenen Position schließt das Bild 114 den defekten Photodetektor

D„ mit ein. Wenn beide Bilder 104 und 114 übereinandergelegt werden, kann ein Bild ohne leere Stellen erzeugt werden.

Die Fig. 2A bis 2C zeigen drei Bilder 202, 222, 242, 30

die jeweils in verschiedenen Bereichen des Abbildungssensors aufgenommen worden sind. Das Bild 201 schließt die defekten Photodetektoren 204 und 206, das Bild 221 den defekten Photodetektor 228 und das Bild 241 den defekten

Detektor 244 ein. Der defekte Photodetektor 204 hat in 35

dem Bild 202 die Koordinaten 5,5, was zur Folge hat, daß

an der entsprechenden Position eine Leerstelle entsteht. In den Bildern 221 und 241 jedoch ist die Position 5,5 schwarz. Die Positionen der anderen defekten Detektoren fallen nicht miteinander zusammen. Wenn daher alle BiIdelemente (Photodetektoren) der drei Bilder entsprechend den Prinzipien der Mehrheitsregel übereinander gelegt werden, kann ein kompletter Bilddatensatz 261 ohne Leerstellen zu einem kombinierten Bild 262, wie dies in Fig. 2D dargestellt ist, zusammengefaßt werden.

In Fig. 3A ist in schematischer Darstellung eine Ausführungsform vorliegender Erfindung dargestellt. Ein Objekt 304 auf einem Subjekt 302 wird auf einen Bildsensor 316 mittels einer Linse 306 projiziert, um dort ein "Bild zu erzeugen. Der Bildsensor 316 ist zum Betrieb mit einem Tauchkern 314 eines Vibrators 308 verbunden. Der Tauchkern 314 wird durch die Anregung der Spule 312, die durch einen Vibrationssignalgenerator 310 in Abhängigkeit eines Signales S. erregt wird, hin- und herbewegt, so daß der Bildsensor 316 entsprechend hin- und herbewegt wird. Dadurch wird auch das Bild 317 auf dem Bildsensor in Bezug auf den Bildsensor hin- und herbewegt. Obwohl sich die Position des Bildes in absoluten Koordinaten nicht ändert.

Die Bildsignale des Bildsensors 316 werden auf einen Abtaster 31 β gegeben, um die Vibrationssignale in feste Bildsignale durch ein Signal Sp, welches synchron mit dem Signal S. ist, umzuwandeln. Die festen Bildsignale werden einem Mehrheitslogikschaltkreis 320 zugeführt, durch den Leerstellen, die von defekten Photodetektoren in dem Bildsensor herrühren, überdeckt werden. Der Mehrheitslogikschaltkreis 320 erzeugt daher komplette (reparierte) Bilddaten S₁,. Die reparierten Bilddaten können

sowohl parallel oder in Serie erhalten werden. 35

Es ist schwierig, gemäß den Prinzipien der Mehrheitsregel mit analogen Daten zu arbeiten, da diese Regel nicht klar definiert ist. In der vorliegenden Beschreibung werden verschiedene Auswahlmethoden unter dem Beg griff Mehrheitsregel verstanden. Eine erste Methode besteht darin, daß analoge Daten je nach Betrag der einzelnen Daten in eine Vielzahl von Klassen eingeteilt werden und die eingeteilten oder sortierten Daten, welche die betragsmäßig höchste Frequenz haben, ausgewählt wer-2Q den und der Betrag dann als das geeignetste Datensignal angesehen wird.

Eine zweite Methode besteht darin, daß analoge Daten mit einer Referenzgröße durch eine Vergleicherschaltung verglichen werden, um die Daten in Daten mit hohem und Daten mit niedrigem Level zu sortieren. Dann werden die Daten einem Mehrheitslogikschaltkreis zugeführt, um geeignete Daten auszuwählen. Eine dritte Möglichkeit besteht darin, daß die analogen Daten mit Hilfe eines Analog-Digitalkonverters (A/D-Konverter) zeitlich getrennt umgewandelt werden und die digitalen Daten dann nacheinander in einem Speicher abgespeichert werden. Die digitalen Daten werden dann gemäß dem Prinzip der Mehrheitsregel ausgewertet, um die geeigneten Daten auszuwählen.

In Fig. 4A ist ein Beispiel eines Mehrheitslogik-· Schaltkreises gemäß der oben als zweite beschriebenen Methode dargestellt. Die Datensignale S₁₁, S_1?, S₁-, haben jeweils entweder einen hohen Level oder einen tiefen Level.

Die Daten werden auf drei AND-Gatter 410 und OR-Gatter gegeben, die entsprechend der Majoritätsregel ein aufbereitetes Datensignal S₁₀ erzeugt. In Fig. 4B ist ein weiteres Beispiel eines Mehrheitslogikschaltkreises für neun Daten S₁₁ bis S-.-, dargestellt. Diese Daten werden auf einen die maximalen und minimalen Signaldaten abwei-

senden Schaltkreis 412 gegeben, der die Daten beseitigt, welche den maximalen und den minimalen Wert haben, um die Effekte zu vermindern, die durch solche extrem abweichenden Daten entstehen. Die danach zurückbleibenden sieben Daten werden in die Daten N₁ bis N₇ umgewandelt, wobei jeder dieser Daten entweder einen hohen oder einen niederen Level hat und mittels des Mehrheitslogikschaltkreises ausgewertet,der eine Vielzahl von AND-Gattern und OR-Gattern besitzt, um ein aufbereitetes Datensignal S..Q zu erzeugen.

Als weitere Datenauslesemethode kann die oben als dritte angeführte Methode verwendet werden. Gemäß dieser Methode werden die verbleibenden sieben analogen Daten in digitale Daten mittels eines A/D-Konverters umgewandelt und die digitalen Daten dann in einem digitalen Speicher gespeichert. Die gespeicherten digitalen Daten werden so ausgewählt, daß sie ein Histogramm bilden. Von diesem Histogramm werden die Daten als geeignete Daten ausgewählt, die die höchste Frequenz haben. Weiter ist es auch möglich, ein Datensignal auszuwählen, welches einen zentralen Wert im Sinne der Methode der kleinsten Quadrate besitzt .

in Fig. 5 ist ein erfindungsgemäßes System dargestellt, das nach der als dritten genannten Methode arbeitet. Ein Bildsensor 506, der ein Bild I empfängt, wird mittels des Vibrators 502 entsprechend des Signals C_Q hin- und herbewegt. Die Ausgangsdaten des Bildsensors 506 werden in feste Daten mittels des Abtasters 508 entsprechend des Signals C^ umgewandelt. Die Ausgangsdaten des Umwandlers werden wiederum in digitale Daten mittels des A/D-Konverters umgewandelt und dann nacheinander in den Speicher 515 einer Datenauswahleinrichtung 512 in Abhängigkeit der

Signale Cp und C-, gespeichert. Die gespeicherten Daten

3412881

werden mit verschiedenen Referenzwerten mit Hilfe des Vergleichers 516 verglichen, um ein Histogramm zu bilden. Das Histogramm wird in einem Speicher 518 in Abhängigkeit eines Signals C₁. gespeichert. Aus den gespeicherten Daten werden die geeignetsten Daten mit Hilfe der Datenauswahleinrichtung 520 nach dem Mehrheitsregelprinzip oder der Methode der kleinsten Quadrate in Abhängigkeit eines Signals Cj- ausgewählt. Die ausgewählten Bildsignaldaten werden daher von der Datenauswahleinrichtung 520 erzeugt.

In Fig. 6a ist ein Beispiel eines Vibrators dargestellt. Der Vibrator umfaßt ein piezoelektrisches Vibratorelementenpaar 602 und 604, welches jeweils an beiden Seiten einer Trägerplatte 601, die an einer Stützplatte 610 aufliegt, angeordnet ist. Das piezoelektrische Vibratorelement kann Bariumtitanat, Rochellsalz, ein Schwingkristall oder ähnliches sein. Auf dem Vibratorelement 602 ist eine Elektrode 622 befestigt, auf der

■20 wiederum der Bildsensor 606 befestigt ist. Auf der anderen Seite ist ein Gegengewicht 608 mit einer Elektrode 624 für das Vibratorelement 604 angeordnet. Wenn daher beide Vibratorelemente 602 und 604 durch ein Signal von einer Antriebssignalquelle 620 angetrieben werden, wird der Bildsensor 606 und das Gegengewicht 608 in umgekehrten Richtungen hin- und herbewegt. Dadurch wird die Schwingung des Systems ausgelöscht.

In Fig. 6B ist die Beziehung zwischen der Verrückung des Bildsensors und der Phase der Datenabtastung dargestellt. Dieses System erzeugt durch die Abtasttaktgeber CLA, CLB, CLC und CLD , die phasenverschieden sind, vier Bilddaten A, B, C und D. Wie in Fig. 6C dargestellt ist, werden diese Daten A, B, C und D in entsprechenden Shiftregistern SRG A, SRG B', SRG C und SRG D registriert und

durch die Taktgebersignale CLS geshiftet. Die Shiftregister entsprechen den Speichern 514 der Fig. 5. Die registrierten Daten werden dann auf die Datenauswahleinheit 512 gegeben, die der Einheit der Fig. 5 entspricht, um das geeignetste Ausgangssignal auszuwählen. Obwohl in dem dargestellten Ausführungsbeispiel der Bildsensor in eindimensionaler Richtung hin- und herbewegt wird, kann er auch in zwei Dimensionen hin- und herbewegt werden. Weiterhin kann der Sensor in zwei Richtungen einer Linsenachse hin- und herbewegt werden, um die Daten eines klaren Bildes auszuwählen und ein klares Bild zu formen. Als Vibrator können verschiedene elektromechanische Umwandler, wie z.B. ein elektrisch angetriebener Summer, verwendet werden. Wenn der Bildsensor willkürlich oder pseudowillkürlich hin- und herbewegt wird, ist es möglich, die Wahrscheinlichkeit der Bilderzeugung eines defekten Detektors als weißes Rauschen zu zerstreuen. Bei der Vibration unter pseudowillkürlichen Bedingungen liegen die Amplituden und die Frequenzen innerhalb eines vorbestimmten Bereichs.

Als Bildsensor kann ein MOS-Festkörpertyp, ein CCD (Ladungsverschiebeelement) oder ein BBD (Eimer-Kettenspeicher) verwendet werden. Der Bildsensor, Abtaster und die anderen Schaltkreise, wie z.B. die Mehrheitslogikschaltung können auf eineTi Chip ausgebildet werden.

Während in den obengenannten Ausführungsbeispielen das Bild auf dem Bildsensor hin- und herbewegt wird, indem der Bildsensor hin- und herbewegt wird, ist es auch möglich, ein System vorzusehen, bei dem der Bildsensor fest ist und ein zusätzliches Element im optischen System, wie z.B. eine Linse, hin- und herbewegt wird, um das Bild ^° auf dem Sensor hin- und herzubewegen. Dies liegt auch im

Rahmen der vorliegenden Erfindung.

In Fig. 3B ist eine weitere Ausführungsform der Erfindung dargestlelt, bei der ein Teil des optischen Systems hin- und herbewegt wird. In diesem System ist ein Prisma 330 in dem optischen System vorgesehen, welches so angepaßt ist, daß es durch den Vibrator 308 hin- und herbewegt werden kann. Die weiteren Bauteile dieses Systems sind dieselben wie das in Fig. 3A dargestellt und durch dieselben Referenznummern bezeichnet ist. Durch die Hin- und Herbewegung des Prismas 330 in Richtung des Pfeils wird das Bild 317 auf dem Bildsensor hin- und herbewegt. Das Bild 317 wird auch durch eine Schwingungsbewegung des Prismas 330 um die Achse 331 hin- und herbewegt Darüberhinaus ist es möglich, das Bild auf dem Bildsensor durch eine Hin- und Herbewegung der Linse 306 oder durch einen schwingenden Spiegel, der im optischen System vorgesehen ist, hin- und herzubewegen.

Gemäß den obenbeschriebenen Systemen werden die von den defekten Photodetektoren nachgewiesenen Daten so verwendet, wie sie sind. Wenn jedoch die Daten eines defekten Detektors, dessen Position bekannt ist, mit richtigen Größen aufgefüllt werden, können bessere Bilddaten erzeugt werden. Eine Methode, die Daten zu ersetzen, besteht darin,daß die Daten eines defekten Detektors durch die Daten eines angrenzenden Detektors ersetzt werden.Eine andere Möglichkeit besteht darin, die Daten des defekten Detektors durch einen aus den Daten der an beiden Seiten angrenzenden Detektoren ermittelten Mittelwert zu ersetzen.

In Fig. 7A ist ein Beispiel der erstgenannten Methode dargestellt. Dort ist ein Speicher 701, der dem Speicher 514 entspricht und ein ROM 702 vorgesehen, in

, to*

-ψ-

welchen Signaldaten an den Stellen der defekten Detektoren gespeichert sind. Das ROM ist so ausgebildet, daß es an der Signaladresse eines defekten Detektors ein niederes Ausgangssignal A_n erzeugt. In dem Speicher 701

° ist das Datensignal D an dem Platz η defekt. Wenn das Speicherelement an der Adresse η angesteuert wird, wird das angesteuerte Signal η auf den ROM 702 gegeben, so daß dieser ein niederpegliges Ausgangssignal A₀ erzeugt. Demgemäß erzeugt ein AND-Gatter 703 ein Signal D _.. ,

^ welches zuvor in der danebenliegenden Adresse gespeichert war. Dieses Signal D .. wird von dem OR-Gatter 704 als Signal der Adresse η erzeugt.

In Fig. 7B ist in einem Beispiel die letztgenannte

Methode dargestellt. Bei diesem System ist ein Mittelwertechaltkreis 710 vorgesehen, der einen Mittelwert der Signale D . und D ₁ zu beiden Seiten einer defekten Detektorenadresse η erzeugt. Wenn ein niederpegliges Ausgangssignal A_n aus dem ROM 702 auf den Mittelwert-

schltkreis 710 gegeben wird, erzeugt dieser Schaltkreis einen Mittelwert, der durch das AND-Gatter 703 hindurchtritt. Das OR-Gatter 704 erzeugt ein Ausgangssignal anstelle eines defekten Detektors. Somit werden die Signale eines defekten Photodetektors durch geeignete Werte er-

setzt, wodurch bessere und geeignetere Bilddaten erzeugt werden.

Während die Erfindung in Zusammenhang mit bevorzugten Ausführungsbeispielen beschrieben worden ist, ist klar, 30

daß durch diese Beschreibung lediglich beabsichtigt ist, die Erfindung zu verdeutlichen, nicht aber, den Schutzbereich der Erfindung einzuschränken, wie er durch die folgenden Ansprüche .umrissen ist.

Claims

Patentansprüche

1- Bildaufnahmesystem, dadurch gekennzeichnet , daß ein Bildsensor (100,316 , 506,606) vorgesehen ist, der eine Vielzahl von Photodetektoren (D.J bis D) aufweist, die in zwei Dimensionen angeordnet sind und daß ein optisches System (306) vorgesehen ist, um ein Bild (104,114,201,221,241,261, 317) auf dem Bildsensor zu formen, so daß der Bildsensor Bilddaten erzeugt, und daß eine Vibrationseinrichtung (308) vorgesehen ist, um das Bild auf dem Bildsensor hin- und herzubewegen, so daß die Bilddaten oszillieren und daß eine BiId-Umwandlungseinrichtung (318) vorgesehen ist, die synchron zu der Hin- und Herbewegung des Bildes arbeitet, um das hin- und herbewegte Bildsignal in ein festes Bildsignal umzuwandeln, und daß eine Speichereinrichtung (514) vorgesehen ist, um die festen Bilddaten zu speichern und daß eine Auswahleinrichtung (512) vorgesehen ist, um

geeignete Daten aus den in dem Speicher (514) abgespeicherten Daten auszuwählen und um die Bildsignale für das Bild auf dem Bildsensor zu erzeugen.
2. Bildaufnahmesystem nach Anspruch 1, dadurch gekennzeichnet, daß die Vibrationseinrichtung (308) von einem elektromechanischen Umwandler gebildet wird.
3- Bildaufnahmesystem nach Anspruch 2, dadurch gekennzeichnet, daß der elektromechanisch^ Umwandler ein piezoelektrisches Element (602,604) ist.
4. Bildaufnahmesystem nach mindestens einem der Ansprüche 1 bis 3", dadurch gekennzeichnet, daß die Hin- und Herbewegung des Bildes innerhalb eines vorbestimmten Amplituden- und Frequenzbereiches unter pseudozufälligen Bedingungen erfolgt.
5- Bildaufnahmesystem nach mindestens einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, daß die Hin- und Herbewegung des Bildes in einer zweidimensionalen Ebene erfolgt.
6. Bildaufnahmesystem nach Anspruch 1, dadurch gekennzeichnet, daß die Hin- und Herbewegung mit einer Frequenz erfolgt.
7- Bildaufnahmesystem nach Anspruch 5, dadurch gekennzeichnet, daß die Hin- und Herbewegung weiterhin in Richtung einer optischen Achse (331) des optischen Systems erfolgt.
8. Bildaufnahmesystem nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, daß die Vibrationseinrichtng (308) so 'ausgestaltet ist, daß ein Teil des optischen Systems hin- und herbewegt wird.

-3-
9. Bildaufnahmesystem nach Anspruch 8, dadurch gekennzeichnet, daß der Teil des optischen Systems eine Linse (308) ist.
10. Bildaufnahmesystem nach Anspruch 8, dadurch gekennzeichnet, daß der Teil des optischen Systems ein Prisma (330) ist.
11. Bildaufnahmesystem nach mindestens einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, daß die Auswahleinrichtung einen Mehrheitslogikschaltkreis (320) zur Auswahl der geeigneten Daten umfaßt.
12. Bildaufnahmesystem nach Anspruch 1, dadurch gekennzeichnet, daß die Auswahleinrichtung (512) einen Speicher (518) umfaßt, um entsprechende Daten an den Stellen der defekten Photodetektoren (D., D-,, D₅, D₇) des Bildsensors (506) abzuspeichern und weiterhin einen Schaltkreis (702,703,704) umfaßt, um die Signale der defekten Photodetektoren durch andere Daten zu ersetzen.
13. Bildaufnahmesystem nach Anspruch 12, dadurch gekennzeichnet, daß die anderen Daten Daten eines Photodetektors sind, der neben dem defekten Photodetektor liegt
14. Bildaufnahmesystem nach Anspruch 12, dadurch gekennzeichnet, daß die anderen Daten durch eine Mittelwertbildung der Daten der Photodetektoren zu beiden Seiten eines defekten Photodetektors gebildet werden.

15- Bildaufnahmesystem nach Anspruch 12, dadurch gekennzeichnet, daß der Speicher ein nicht-leistungsabhängiger Halbleiterspeicher ist.