DE60221618T2

DE60221618T2 - CMOS Bildsensor mit Bildmustererkennung auf einem Chip

Info

Publication number: DE60221618T2
Application number: DE60221618T
Authority: DE
Inventors: Raymond Sunnyvale Wu
Original assignee: Omnivision Technologies Inc
Current assignee: Omnivision Technologies Inc
Priority date: 2001-11-06
Filing date: 2002-11-05
Publication date: 2008-05-21
Anticipated expiration: 2022-11-06
Also published as: TW578302B; US20030085336A1; TW200302573A; US6617565B2; CN1417739A; EP1309009A2; ATE369628T1; DE60221618D1; EP1309009B1; EP1309009A3

Description

Die vorliegende Erfindung betrifft im Allgemeinen CMOS-Bildsensoren und insbesondere einen Einchip-Bildsensor mit einem in diesem integrierten Mustererkennungs-Schaltkreis.
CMOS-Bildsensoren werden in einer Reihe von Anwendungen eingesetzt. CMOS-Bildsensoren werden in optischen Mäusen über PC-Kameras bis zu Überwachungskameras verwendet und haben ihre Eignung unter Beweis gestellt, die CCD-Technologie zu verdrängen. Mit ihren geringen Kosten und ihrem geringen Leistungsverbrauch sind CMOS-Bildsensoren eine wichtige Alternative zu CCD.
In vielen Anwendungen entspricht das durch den Bildsensor empfangene Bild nicht einfach der Ausgabe des Sichtfelds. Stattdessen werden die Bildsensordaten für andere Zwecke, wie etwa zur Bewegungsdetektion in einer optischen Maus oder zur Bewegungsdetektion in Gegenständen verwendet. Beispielsweise werden in Spielzeugen oder Geräten des maschinellen Sehens verwendete Bildsensoren oft zur Bewegungsdetektion eingesetzt. Die Bildsensoren werden ebenfalls häufig zur Identifizierung von Formen oder Gegenständen in dem Bildfeld verwendet.
Für diese Anwendungen muss eine erhebliche Signalverarbeitung der Bilder durchgeführt werden. Üblicherweise wird die Signalverarbeitung auf einem separaten Chip durch einen herkömmlichen Signalverarbeitungsprozessor, einen Mikroprozessor oder andere logische Vorrichtungen, wie etwa eine frei programmierbare Gatteranordnung (field programmable gate array – FPGA) und einen programmierbaren logischen Schaltkreis (programmable logic device – PLD), durchgeführt.
Die Verwendung zusätzlicher Chips zur Signalverarbeitung ist teuer. Beispielsweise kann ein großer FPGA mit Millionen von Gattern bis zu $10 pro Einheit kosten. Für Mustererkennungsanwendungen ist die Verwendung eines großen FGPA nicht notwendig. Ferner sind kleine Gatterzähl-FGPAs nicht ohne weiteres erhältlich. Daher wird ein herkommlicher FGPA mit hoher Verarbeitungsleistung verwendet, wobei ein Großteil der Verarbeitungsleistung des FGPAs nicht genutzt wird.
Dokument US-5.883.830 offenbart eine CMOS-Bildvorrichtung mit integriertem Bildkorrektur-Schaltkreis. Dokument EP-A-0.466.117 offenbart einen Bildsensor mit Neuronenschaltkreis.
In einem ersten Aspekt stellt die vorliegende Erfindung einen CMOS-Bildsensor nach Anspruch 1 bereit.
Kurzbeschreibung der Zeichnungen
In den Zeichnungen beziehen sich gleiche Bezugszeichen auf dieselben Teile in all den verschiedenen Ansichten der nicht einschränkenden und nicht erschöpfenden Ausführungsformen der vorliegenden Erfindung und worin:
1 ein schematisches Schaubild eines integrierten Schaltkreises in Übereinstimmung mit der vorliegenden Erfindung ist.
2A und 2B sind Beispiele von zwei Bildern, die durch den integrierten Schaltkreis von 1 aufgenommen wurden und eine Relativbewegung darstellen.
Detaillierte Beschreibung der dargestellten Ausführungsformen
In der folgenden Beschreibung werden zahlreiche spezifische Details, wie etwa die Identifizierung der verschiedenen Systemkomponenten bereitgestellt, um ein umfassendes Verständnis der Ausführungsformen der vorliegenden Erfindung bereitzustellen. Für Fachleute auf diesem Gebiet ist jedoch erkennbar, dass die Erfindung ohne ein oder mehrere spezifische Details oder mit anderen Verfahren, Komponenten, Materialien, etc. ausgeführt werden kann. In wieder anderen Fällen sind bekannte Strukturen, Materialien oder Vorgänge nicht abgebildet oder detailliert beschrieben, um Aspekte der verschiedenen Ausführungsformen der Erfindung nicht zu verschleiern.
Der in dieser Beschreibung verwendete Ausdruck „eine Ausführungsform" oder „eine einzige Ausführungsform" bezieht sich auf ein bestimmtes Merkmal, eine besondere Struktur oder ein spezifisches Charakteristikum, das zusammen mit der Ausführungsform in zumindest einer Ausführungsform der vorliegenden Erfindung verwendet wird. Daher bezieht sich das Auftreten der Wendungen „in einer Ausführungsform" oder „in einer einzigen Ausführungsform" an verschiedenen Stellen in der Beschreibung nicht notwendigerweise auf dieselbe Ausführungsform. Ferner können die bestimmten Merkmale, besonderen Strukturen oder spezifischen Charakteristika in jeder geeigneten Weise in einer oder mehrerer Ausführungsformen miteinander kombiniert werden.
In Bezug auf 1 umfasst ein integrierter Schaltkreis 101, der in Übereinstimmung mit der vorliegenden Erfindung ausgebildet ist, eine Sensoranordnung 103, einen Prozessor-Schaltkreis 105, eine Ein-/Ausgabe (E/A) 107, einen Speicher 109 und einen Bus 111. Vorzugsweise ist jede dieser Komponenten auf einem Einsiliziumsubstrat ausgebildet und hergestellt, um auf einem einzigen Chip unter Verwendung herkömmlicher CMOS-Abläufe einstückig ausgebildet zu werden.
Der Abschnitt der Sensoranordnung 103 kann beispielsweise im Wesentlichen den Sensoranordnungsabschnitten ähnlich sind, die durch den Zessionar der vorliegenden Erfindung OmniVision Technologies, Inc., Sunnyvale, Kalifornien (USA), als Modellnummern OV7630, OV7920, OV7930, OV9620, OV9630, OV6910 oder OV7640 hergestellt werden.
Insbesondere die Sensoranordnung 103 umfasst eine Vielzahl an einzelnen Pixeln, die in einer zweidimensionalen Anordnung angeordnet sind. Bei Verwendung kann die Sensoranordnung 103, wenn ein Bild auf der Sensoranordnung 103 fokussiert wird, die Rohbilddaten erhalten.
Die Rohbilddaten werden dann vom Prozessor-Schaltkreis 105 über den Bus 111 empfangen, um die Signalverarbeitung zu beginnen. Der Prozessor-Schaltkreis 105 ist zur Ausführung eines Satzes vorprogrammierter (eventuell im Speicher 107 gespeicherter) Befehle geeignet, die zur Durchführung der Funktionen des integrierten Schaltkreises 101 nötig sind. In einer Ausführungsform kann der integrierte Schalt kreis 105 für Anwendungen zum maschinellen Sehen verwendet werden. Beispielsweise kann der integrierte Schaltkreis 105 programmiert sein, um nach bestimmten Merkmalen zu suchen. Beispielsweise kann der integrierte Schaltkreis 105 programmiert werden, um nach vorbestimmten Merkmalen zu suchen. Wenn der integrierte Schaltkreis 105 in ein Spielzeugauto oder ein Spielzeugtier eingebaut ist, können daher das Auto oder das Tier programmiert werden, um in bestimmten Formen vorliegenden Gegenständen zu folgen, wie etwa einer Hand, einem menschlichen Körper oder einer Tischkante.
Der Prozessor-Schaltkreis 105 ist ein Neuronenschaltkreis.
Schaltkreise auf Neuronenbasis stellten sich in den Mustererkennungsanwendungen als besonders vielversprechend heraus. Die Massenparalleleigenschaften und die „Lernfähigkeit" des Neuronenschaltkreises sind besonders an einen integrierten Schaltkreis der vorliegenden Erfindung angepasst, der die Sensorfunktionalität mit der Strukturerkennungseigenschaft in sich vereinbart. Die Gestaltung des Neuronenschaltkreises kann von einer Anzahl an Unternehmen, umfassend Silicon Recognition, Inc., Kalifornien (USA), erhalten werden. Ein weiteres Detail der Gestaltung von Neuronenschaitkreisen ist ebenfalls im US-Patent Nr. 5.717.832 und im US-Patent Nr. 5.621.863 zu finden und ist darin durch Verweise auf die Patenteigenschaften aufgenommen.
Im Zusammenhang der derzeit veranschaulichten Ausführungsformen ist der Prozessor-Schaltkreis 105 programmiert, um Rohbilddaten zu erhalten und die Rohbilddaten zu verarbeiten, um einen Merkmalssatz für eine aufeinanderfolgende Reihe von Rohbilddaten zu extrahieren. Merkmalssätze aufeinanderfolgender Bilder werden unter Verwendung bekannter Algorithmen, wie etwa in den US-Patenten Nr. 6.256.016 , 5.644.139 oder 6.172.354 beschrieben, miteinander verglichen. Andere Algorithmen existieren, die zur Bestimmung der relativen Bewegung basierend auf den aufeinanderfolgenden Bildern der Bilddaten verwendet werden können.
Beispielsweise kann ein Merkmalsextraktionsverfahren verwendet werden, das in einer Parallelanmeldung, eingereicht am 6. November 2001, beschrieben wird und an den Zessionar der vorliegenden Erfindung übertragen wird, welches den Titel „Verfahren und Vorrichtung zur Bestimmung der relativen Bewegung in einer optischen Maus unter Verwendung der Merkmalsextraktion" trägt, von Shi Ge stammt und hierin unter Verweis aufgenommen wird. Als Alternative dazu können nicht merkmalsbasierte Verfahren verwendet werden, die in einer Parallelanmeldung, eingereicht am 6. November 2001, beschrieben wird und an den Zessionar der vorliegenden Erfindung übertragen wird, welche den Titel „Verfahren und Vorrichtung zur Bestimmung relativer Bewegung in einer optischen Maus" trägt, von Xiaodong Luo stammt und hierin durch Verweis aufgenommen wird.
Daher wird der Prozessor-Schaltkreis 105 zur Berechnung der Bewegung auf der Basis der aufeinanderfolgenden Bilder berechnet, die durch die Sensoranordnung 103 erfasst werden. Sobald die Bewegung berechnet wurde, stellt der Prozessor-Schaltkreis 105 X- und Y-Bewegungskoordinaten an E/A 109 bereit, welche wiederum die Informationen ausgibt.
Als Beispiel für die Analyse empfängt der Prozessor-Schaltkreis 105, unter Bezugnahme auf die 2A und 2B, die Rohbilddaten von einem ersten Bild 401 (dargestellt in 2A). In diesem Beispiel ist das erste Bild 401 ein Bild einer Wand eines Raumes, etwa eines Büros oder Arbeitszimmers. In diesem Beispiel umfasst das erste Bild 401 einen Tisch 403, eine Lampe 405 und ein Bild 407.
Nach dem Empfang des ersten Bilds 401 kann der Prozessor-Schaltkreis 105 dann einen Merkmalssatz aus den Rohbilddaten eines ersten Bilds 401 extrahieren. Unter Verwendung bekannter Algorithmen und Verfahren, wie etwa aus Anwendungen maschinellen Sehens, kann ein Merkmalssatz (auch als Abstraktion bezeichnet) aus dem ersten Bild 401 erzeugt werden. Der Merkmalssatz kann beispielsweise die Umrisse von Tisch 403, Lampe 405 und Bild 407 sein. Der Merkmalssatz kann in einer alternativen Ausführungsform die Bereiche des Bildes 401 sein, die hell oder ungewöhnlich farbintensiv sind. Es versteht sich, dass der besondere Ansatz zur Extrakti an und zur Erzeugung des Merkmalssatzes für die vorliegende Erfindung nicht kritisch ist.
Nach der Extraktion des Merkmalssatzes aus den Rohbilddaten eines ersten Bilds 401 kann der Prozessor-Schaltkreis 105 diesen Merkmalssatz im Speicher 107 speichern. Als Nächstes wird der Merkmalssatz eines zweiten Bilds 411 (wie in 2B dargestellt) mit dem ersten Bild zeitlich aufeinanderfolgend unter Verwendung derselben Verfahren, wie sie für das erste Bild 401 verwendet wurden, extrahiert. Ein Vergleich des Merkmalssatzes des zweiten Bilds mit dem Merkmalssatz des ersten Bilds kann durchgeführt werden, um Größe und Richtung der Bewegung des integrierten Schaltkreises 101 zu bestimmen. Größe und Richtung der Bewegung des integrierten Schaltkreises 101 werden auch als Bewegungsvektor bezeichnet.
Wie in 2B zu sehen, zeigt insbesondere das zweite Bild 411, wenn es mit dem ersten Bild 401 verglichen wird, an, dass der integrierte Schaltkreis 101 seitlich nach links durch eine endliche und quantitativ bestimmbare Menge verschoben wurde. Selbstverständlich wird der Vergleich in der vorliegenden Erfindung durch den Prozessor-Schaltkreis 105 durchgeführt, indem die Merkmalssätze des ersten Bilds 401 mit dem zweiten Bild 411 verglichen werden. Unter Verwendung bekannter Algorithmen und Verfahren kann der Prozessor die Menge der Verschiebung, sowohl horizontal als auch vertikal, der aufeinanderfolgenden Bilder bestimmen. Beispiele dieser Algorithmen und Verfahren sind im oben erläuterten '016-Patent und '354-Patent zu finden.
Der Prozessor-Schaltkreis 105 basiert auf der auf der Verschiebungsmenge der aufeinanderfolgenden Bilder und der Bildgeschwindigkeit (gemessen in Einzelbildern pro Sekunde). In einer Ausführungsform weist die Sensoranordnung 105 eine Konfiguration zum Empfangen von Bildern bei einer Geschwindigkeit von 1000 Bildern pro Sekunde auf. Es gilt jedoch, dass diese Geschwindigkeit basierend auf der erwarteten Maximalgeschwindigkeit, mit der der integrierte Schaltkreis 101 bewegt wird, geändert werden kann.
Während die Erfindung hierin zusammen mit einer begrenzten Anzahl an Ausführungsformen beschrieben und veranschaulicht ist, kann die Erfindung in vielen Formen ausgeführt sein, ohne von der Wesensart der wichtigen Eigenschaften der Erfindung abzuweichen. Die dargestellten und beschriebenen Ausführungsformen sind daher in jeder Hinsicht als veranschaulichend und nicht als einschränkend zu betrachten. Der Schutzumfang der Erfindung wird eher durch die beigefügten Ansprüche als durch die oben stehende Beschreibung angegeben und die Aufnahme aller Modifikationen, die im Rahmen der Bedeutung und des Äquivalenzbereiches der Ansprüche auftreten, hierin ist beabsichtigt.

Claims

CMOS-Bildsensor zum Bereitstellen eines Bewegungsvektors, basierend auf der relativen Bewegung aufeinanderfolgender Bilder, die durch den Bildsensor empfangen werden, wobei der Bewegungsvektor zur Steuerung der Bewegung einer Vorrichtung verwendet wird, und wobei der Bildsensor Folgendes umfasst: (a) eine Sensoranordnung (103), die zum Empfangen von Umgebungsbildern und zur Ausgabe eines die Umgebungsbilder anzeigenden Signals geeignet ist, wobei die Sensoranordnung (103) eine zweidimensionale Anordnung von Pixeln ist; und (b) ein Prozessor-Schaltkreis (105) zum Empfangen des die Umgebungsbilder anzeigenden Signals, wobei der Prozessor (105) zum Empfangen zumindest zwei aufeinanderfolgender Umgebungsbilder und zum Bestimmen und Ausgeben des auf einem Vergleich der zumindest zwei aufeinanderfolgenden Umgebungsbilder (401, 411) basierenden Bewegungsvektor geeignet ist, dadurch gekennzeichnet, dass der Prozessor-Schaltkreis ein Neuronenschaltkreis ist und der Prozessor-Schaltkreis zwar von der Sensoranordnung getrennt ist, aber auf demselben integrierten Schaltkreis (101) vorliegt.
Bildsensor nach Anspruch 1, worin die aktiven Pixel eine Photodiode oder ein Photogate als Lichtabfühlelement verwenden.
Bildsensor nach Anspruch 1, worin der Prozessor-Schaltkreis programmiert ist, um nach vorbestimmten Merkmalen zu suchen.
Bildsensor nach Anspruch 1, worin der Prozessor-Schaltkreis programmiert ist, um einen Merkmalssatz aus den zumindest zwei Umgebungsbildern zu gewinnen.
Bildsensor nach Anspruch 5, worin der Prozessor-Schaltkreis und die Sensoranordnung auf einem einzigen Siliziumsubstrat ausgebildet sind.
Bildsensor nach Anspruch 5, worin der Prozessor-Schaltkreis und die Sensoranordnung auf einem einzigen Chip einstückig ausgebildet sind.
Spielzeug, in das einer der Bildsensoren gemäß den Ansprüchen 1 bis 6 aufgenommen ist.