DE10101571B4

DE10101571B4 - Bilddetektorprozessor

Info

Publication number: DE10101571B4
Application number: DE10101571A
Authority: DE
Inventors: Masatoshi Ishikawa; Idaku Ishii; Takashi Komuro; Yoshihiro Nakabo; Atsushi Yoshida
Original assignee: Seiko NPC Corp
Current assignee: ISHIKAWA, MASATOSHI, KASHIWA, JP; Seiko NPC Corp
Priority date: 2000-01-14
Filing date: 2001-01-15
Publication date: 2008-02-21
Anticipated expiration: 2021-01-16
Also published as: US20010030690A1; US7046821B2; DE10101571A1; JP4523104B2; JP2001195564A

Abstract

Bilddetektorprozessor, mit einem Array von Bilddetektorprozessorelementen (1-1, 1-2, ... 1-64), die in einer Ebene matrixförmig mit einer Vielzahl von Zeilen angeordnet sind, wobei jedes der Bilddetektorprozessorelemente (1-1, 1-2, ... 1-64)° folgendes umfasst:
einen Photodetektor (5) zur Durchführung einer photoelektrischen Wandlung,
einen Wandler (6, 7, 8, 9, 12) zur Umwandlung von Signalen von dem Photodetektor (5) in Digitalsignale,
einen ersten Addierer (10, 11, 13, 14, 15), der die Digitalsignale von dem Wandler (6, 7, 8, 9, 12) als Eingangsgröße empfängt und dann ein Ausgangssignal an die nachfolgende Stufe des ersten Addierers (10, 11, 13, 14, 15) bereitstellt,
wobei der Bilddetektorprozessor weiterhin aufweist:
eine Vielzahl von zweiten Addierern (2-1, 2-2, ... 2-8), die jeweils entsprechenden Zeilen der Bilddetektorprozessorelemente (1-1, 1-2, ... 1-64) zugeordnet sind, und die jeweils Ausgangswerte von Endstufen der ersten Addierer (10, 11, 13, 14, 15) jeweiliger Zeilen als Eingangsgrößen empfangen, wobei jeder zweite Addierer...

Description

Die vorliegende Erfindung betrifft einen Bilddetektorprozessor oder Bilderfassungsprozessor, der in verschiedenen Steuer- oder Regeleinrichtungen, Erkennungsgeräten und Informationseingabegeräten verwendet wird, und betrifft insbesondere einen Bilddetektorprozessor zur Durchführung einer Bildbearbeitung bei einer sich mit hoher Geschwindigkeit bewegenden Objekt.
Herkömmlich sind bei einem Bildprozessor, der in verschiedenen Steuereinrichtungen, Erkennungsgeräten und Informationseingabegeräten verwendet wird, eine Kombination aus einem CCD-Lichtempfangssensor, der in einer Videokamera oder dergleichen verwendet wird, und einem externen Bearbeitungsprozessor vorgesehen, um entsprechende Funktionen zu erzielen. Von dem CCD-Lichtempfangssensor aufgenommene Bilddaten werden an ein getrenntes Speichergerät übertragen und dort gespeichert, und eine Bildbearbeitung, beispielsweise die Berechnung des Schwerpunkts eines Zielobjekts (Ziels) wird mit einem getrennten Bearbeitungsprozessor durchgeführt.
Es wurde als Bilddetektorprozessor im Versuchsstadium, wie dies im Journal of Japan Robot Society (Vol. 13, No. 3 (April, 1995), Seiten 333-338) beschrieben wurde, eine Anordnung vorgeschlagen, bei welcher vereinigt ein Lichtempfangssensor und eine Parallelsignalverarbeitungsschaltung auf einem Chip vorgesehen sind, und eine Signalverarbeitung, beispielsweise das Abziehen eines Randes, eine Drahtgrößenverringerung und dergleichen an der Sensorstelle durchgeführt werden, und die Ergebnisse hintereinander ausgegeben werden.
Bei dem herkömmlichen Bilddetektorprozessor traten jedoch in der Hinsicht Schwierigkeiten auf, dass die Signalübertragungsgeschwindigkeit von dem CCD-Lichtempfangssensor begrenzt ist (nicht kürzer als 1/60 Sekunden), oder ein externer Verarbeitungsprozessor große Abmessungen annimmt.
Obwohl bei dem Bilddetektorprozessor im Versuchsstadium eine Mehrfachbildbearbeitung möglich wird, infolge des Einsatzes einer Architektur mit paralleler Serienverarbeitung, die sehr universell ist, war es allerdings schwierig, eine große Anzahl an Pixeln in einer begrenzten Chipfläche anzuordnen. Weiterhin trat das weitere Problem auf, dass die Übertragung der von dem Sensor ausgegebenen Bilddaten länger dauert, als dies erwartet wurde.
Komuro et. al. veröffentlichte im „Technical Report of IEICE", (1999-07) eine Hardwarearchitektur für einen digitalen Bildsensorchip zur Extraktion von Bildmomenten. In dieser Veröffentlichung wird ein Konzept mit einer Vielzahl von ersten Addierern, die in einer Zeile in Reihe geschaltet sind und einer Vielzahl von zweiten Addierern, die in einer Reihe geschaltet sind, vorgestellt. Das Dokument offenbart alle Merkmale des einleitenden Teils des Anspruchs 1.
Die vorliegende Erfindung wurde zur Überwindung derartiger Schwierigkeiten entwickelt, und stellt einen Bilddetektorprozessor zur Verfügung, bei dem mehrere Bilddetektorprozessorelemente, die jeweils einen Photodetektor zur Durchführung einer photoelektrischen Umwandlung aufweisen, einen Wandler zur Umwandlung von Signalen von dem Photodetektor in Digitalsignale, und einen Addierer, der die Digitalsignale als Eingangsstufen empfängt, in einer Ebene angeordnet sind, wobei die Addierer der Bilddetektorprozessorelemente hintereinander geschaltet sind, um so einen kumulierten Addierer auszubilden, die Digitalsignale von mehreren Bilddetektorprozessorelementen selektiv dem kumulierten Addierer durch eine Steuerschaltung zugeführt werden, und verarbeitete Daten von dem kumulierten Addierer auf der Grundlage der Bilddaten ausgegeben werden, die von dem Photodetektor des Bilddetektorprozessorelements erfaßt werden. Infolge dieser Ausbildung können in dem Bilddetektorprozessor die Verarbeitungsdaten, die für die Bildbearbeitung erforderlich sind, beispielsweise die Berechnung des Schwerpunkts, zu dem Zeitpunkt erzeugt werden, an welchem die Datenübertragung erfolgt, und kann daher eine Verarbeitung mit hoher Geschwindigkeit erzielt werden.
Bei dem Bilddetektorprozessor gemäß der vorliegenden Erfindung, bei welchem mehrere Bilddetektorprozessorelemente, die jeweils einen Photodetektor zur Durchführung einer photoelektrischen Wandlung aufweisen, einen Wandler zur Umwandlung von Signalen von dem Photodetektor in Digitalsignale, und einen Addierer, der die Digitalsignale als Eingangsgrößen empfängt, in einer Ebene angeordnet sind, weist daher der Bilddetektorprozessor darüber hinaus einen kumulierten Addierer auf, der dadurch ausgebildet wird, daß die Addierer mehrerer Bilddetektorprozessorelemente hintereinander geschaltet sind, eine Steuerschaltung, welche selektiv die Digitalsignale mehrerer Bilddetektorprozessorelemente in den kumulierten Addierer eingibt, und ein Ausgangsteil, welchem verarbeitete Daten, die von dem kumulierten Addierer ausgegeben werden, in Reaktion auf Bilddaten zugeführt werden, die von dem Photodetektor erfaßt werden.
Die Bilddetektorprozessorelemente sind vorzugsweise in einer Ebene matrixförmig angeordnet. Weiterhin weist der Bilddetektorprozessor darüber hinaus erste kumulierte Addierer auf, bei welchen erste Addierer mehrerer Bilddetektorprozessorelemente in Reihe für jeweilige Zeilen geschaltet sind, einen zweiten kumulierten Addierer, bei welchem zweite Addierer entsprechend jeder Zeile verbunden sind, und welcher Ausgangswerte von Endstufen der ersten kumulierten Addierer jeweiliger Zeilen als Eingangsgrößen empfängt, und kumuliert die Ausgangsgrößen der Endstufen der ersten kumulierten Addierer berechnet, eine Steuerschaltung, welche selektiv die Digitalsignale mehrerer Bilddetektorprozessorelemente den ersten kumulierten Addierern zuführt, und ein Ausgangsteil, an welches die verarbeiteten Daten, die von den kumulierten Addierern ausgegeben werden, in Reaktion auf die Bilddaten zugeführt werden, die von dem Photodetektor erfaßt werden.
Weiterhin ist vorzugsweise der Bilddetektorprozessor so ausgebildet, daß alle Digitalsignale der Bilddetektorprozessorelemente den ersten kumulierten Addierern durch die Steuerschaltung zugeführt werden, und die verarbeiteten Daten, die von dem zweiten kumulierten Addierer ausgegeben werden, auf das Moment 0-ter Ordnung fokussierter Bilder eingestellt werden, die auf eine Gruppe der Bilddetektorprozessorelemente fokussiert sind.
Weiterhin werden vorzugsweise mehrere Digitalsignale, die aus den Digitalsignalen der Bilddetektorprozessorelemente ausgewählt werden, von der Steuerschaltung den ersten kumulierten Addierern zugeführt, und werden die verarbeiteten Daten, die von dem zweiten kumulierten Addierer ausgegeben werden, auf eine Partialsumme zum Erhalten des Moments N-ter Ordnung (wobei N eine positive ganze Zahl von 1 oder größer ist) fokussierter Bilder zu erhalten, die auf die Gruppe der Bilddetektorprozessorelemente fokussiert sind.
Weiterhin werden vorzugsweise die Wandler entsprechend ersten Taktsignalen so betätigt, daß die Digitalsignale erzeugt werden, und werden die ersten und zweiten kumulierten Addierer entsprechend zweiten Taktsignalen betrieben, die von den ersten Taktsignalen verschieden sind, und werden die verarbeiteten Daten von den zweiten kumulierten Addierern in der Reihenfolge von der niedrigsten Stelle aus ausgegeben.
Weiterhin werden vorzugsweise die Digitalsignale, die von einem bestimmten Bilddetektorprozessorelement ausgegeben werden, auf der Grundlage des Ausgangssignals des Photodetektors des spezifischen Bilddetektorprozessorelements und der Digitalsignale von mehreren Bilddetektorprozessorelementen erzeugt, die nahe an dem spezifischen Bilddetektorprozessorelement angeordnet sind.
Weiterhin werden vorzugsweise sämtliche Elemente auf einem Chip vorgesehen.
Die Erfindung wird nachstehend anhand zeichnerisch dargestellter Ausführungsbeispiele näher erläutert, aus welchen weitere Vorteile und Merkmale hervorgehen. Es zeigt:
1 eine Ansicht zur Erläuterung des Aufbaus eines Bilddetektorprozessors gemäß der vorliegenden Erfindung;
2 eine Ansicht zur Erläuterung des Aufbaus des Bilddetektorprozessorelements, welches ein wesentliches Teil des Bilddetektorprozessors von 1 bildet;
3 eine Ansicht zur Erläuterung des Aufbaus eines Reihenaddierers, der ein wesentliches Teil des Bilddetektorprozessors von 1 bildet;
4 eine Ansicht zur Erläuterung des Betriebsablaufs eines Zeilendekodierers, der ein wesentliches Teil des Bilddetektorprozessors von 1 bildet;
5 eine Ansicht zur Erläuterung des Betriebsablaufs des Bilddetektorprozessors von 1;
6 eine Ansicht zur Erläuterung des Betriebsablaufs des Bilddetektorprozessors von 1;
7 eine Ansicht zur Erläuterung des Betriebsablaufs des Bilddetektorprozessors von 1;
8 eine Ansicht zur Erläuterung des Aufbaus eines Roboters, der dem Bilddetektorprozessor gemäß der vorliegenden Erfindung verwendet; und
9 eine Ansicht zur Erläuterung des Aufbaus des Bilddetektorprozessorelements, welches ein wesentliches Teil des Bilddetektorprozessors von 1 bildet.
1 ist eine Ansicht zur Erläuterung eines Beispiels für einen Bilddetektorprozessor gemäß der vorliegenden Erfindung. Der Bilddetektorprozessor bei diesem Beispiel ist zum Beispiel ein Gerät, das zum Abziehen eines Zielbildes verwendet wird, beispielsweise eines Betätigungsobjektkörpers, eines vorderen Fahrzeugs, eines bestimmten Musters auf einem Halbleitersubstrat, aus einem Bild, das erfaßt werden soll, wobei Positionsinformation, Ortskurveninformation und dergleichen im Gesichtsfeld eines Roboters, eines Zusammenstoßverhinderungssensors eines Kraftfahrzeugs, eines Halbleiteruntersuchungsgerätes und dergleichen erhalten werden. Zusammen mit der Übertragung der Bilddaten verarbeitet der Bilddetektorprozessor Daten, die zur Berechnung des Moments 0-ter Ordnung und des ersten Moments erforderlich sind, die zur Bestimmung beispielsweise des Schwerpunkts des Zielbildes verwendet werden, und gibt derartige Daten aus. Da ein externer Verarbeitungsprozessor die Positionsinformation, die Ortskurveninformation und dergleichen unter Verwendung der verarbeiteten Daten erhält, die vorbearbeitet wurden, kann die Verarbeitungsgeschwindigkeit insgesamt erhöht werden.
In 1 bezeichnen die Bezugszeichen 1-1 bis 1-64 Bilddetektorprozessorelemente, die in einer Ebene als Feldanordnung von 8×8 Stücken angeordnet sind. Wie dies nachstehend noch genauer erläutert wird, weist jedes Bilddetektorprozessorelement einen Photodetektor und ein Wandlerteil auf, welches von dem Photodetektor übertragene Signale in Digitalsignale umwandelt.
Jedes Bilddetektorprozessorelement gibt die Digitalsignale als Zielbildsignale an vier benachbarte Bilddetektorprozessorelemente aus, die in Richtung nach oben und unten sowie nach links und rechts angeordnet sind. So gibt zum Beispiel das Bilddetektorprozessorelement 1-11 Zielbildsignale an die Bilddetektorprozessorelemente 1-3, 1-10, 1-12 und 1-19 aus. Weiterhin erzeugt das Bilddetektorprozessorelement ein Fensterbildsignal zum Abziehen eines Ziels aus dem Hintergrund in Reaktion auf die Zielbildsignale von vier Bilddetektorprozessorelementen sowie ein Zielbildsignal des Bilddetektorprozessorelements an sich. Wie nachstehend noch genauer erläutert wird, wird ein Bild, das in dem Fensterbild enthalten ist, als ein neues Zielbild eingestellt, und wird das ziel von dem Hintergrund abgezogen. Weiterhin enthält jedes Bilddetektorprozessorelement einen ersten Addierer, der später genauer erläutert wird, und ist der erste Addierer jedes Bilddetektorprozessorelements mit dem ersten Addierer des benachbarten Bilddetektorprozessorelements verbunden, das an seiner rechten Seite liegt. Beispielsweise wird der Ausgangswert des ersten Addierers des Bilddetektorprozessorelements 1-11 dem ersten Addierer des Bilddetektorprozessorelements 1-12 zugeführt. Auf diese Weise sind die ersten Addierer, welche Elemente der Bilddetektorprozessorelemente jeder Zeile bilden, hintereinander geschaltet, um so einen ersten kumulierten Addierer zu bilden.
Als gemeinsame Signale werden jeweils Signale CLOCK 1, CLOCK 2, LORD, SEL jeweiligen Bilddetektorprozessorelementen zugeführt. Das Taktsignal CLOCK 1 und das Signal LORD sind Anfangsbildeinstellsignale. Zum Beispiel ist das Taktsignal CLOCK 1 ein Taktsignal mit einer Frequenz von annähernd 20 MHz bis 100 MHz. Das Taktsignal CLOCK 2 und das Signal SEL sind Bildoperationssignale. Das Taktsignal CLOCK 2 ist beispielsweise ein Taktsignal mit einer Frequenz von annähernd 1 MHz bis 10 MHz. Einzelheiten des Aufbaus des Bilddetektorprozessorelements sind in 2 dargestellt, und werden später genauer erläutert.
In 1 bezeichnen die Bezugszeichen 2-1 bis 2-8 Reihenaddierer, die zweite Addierer bilden, und entsprechend jeweiligen Zeilen der Bilddetektorprozessorelemente angeordnet sind. Die Reihenaddierer 2-1 bis 2-8 empfangen Ausgangsgrößen oder Ausgangssignale von entsprechenden Bilddetektorprozessorelementen an einem ihrer Eingänge. Weiterhin ist der Ausgang jedes Reihenaddierers mit einem anderen Eingang eines hintereinander benachbarten Reihenaddierers verbunden, wodurch eine zweite kumulierte Addiererschaltung ausgebildet wird. Bei der vorliegenden Ausführungsform entspricht der Reihenaddierer 2-1 den Bilddetektorprozessorelementen 1-1 bis 1-8, und ist der Ausgang des Bilddetektorprozessorelements 1-8 mit einem Eingang des Reihenaddierers 2-1 verbunden. Der Ausgang des Reihenaddierers 2-1 ist an den anderen Eingang des Reihenaddierers 2-2 angeschlossen. Am Ausgang des Reihenaddierers 2-8 liegt das Ausgangssignal der gesamten Anordnung an, und daher bildet der Reihenaddierer 2-8 ein Ausgangsteil, welches verarbeitete Signale auf der Grundlage der von den Photodetektoren erfaßten Bilddaten zugeführt werden. Der Aufbau der jeweiligen Reihenaddierer ist im einzelnen in 3 dargestellt, und wird später noch genauer erläutert.
In 1 bezeichnet das Bezugszeichen 3 eine Zeilendekodiererschaltung, die Ausgangssignale Y0 bis Y7 steuert, unter Verwendung von vier Zeilenauswahlsignalen, obwohl dies in der Zeichnung nicht dargestellt ist. 4 zeigt ein Beispiel für Kombinationen der Eingangssignale. Das Bezugszeichen 4 bezeichnet eine Spaltendekodiererschaltung, welche Ausgangssignale X0 bis X7 steuert, unter Verwendung von vier Spaltenauswahlsignalen, obwohl dies in der Figur nicht dargestellt ist. Die Einstellung der Auswahlsignale erfolgt auf dieselbe Weise wie bei dem Zeilendekodierer 3. Dieser Zeilendekodierer 3 und dieser Spaltendekodierer 4 bilden eine Steuerschaltung, welche die selektive Eingabe der Zielbildsignale der Bilddetektorprozessorelemente in den ersten kumulierten Addierer ermöglicht. Beim vorliegenden Beispiel wird die Auswahl des Bilddetektorprozessorelements so durchgeführt, daß das Auswahlmuster von einem externen Host heruntergeladen wird, der in der Zeichnung nicht dargestellt ist, und zwar zum Zeilendekodierer 3 und zum Spaltendekodierer 4. Die Auswahl des Bilddetektorprozessorelements ist jedoch nicht auf ein derartiges Muster beschränkt. Beispielsweise kann ein ROM in einem Chip zusammen mit dem Bilddetektorprozessorelement vorgesehen sein, und ein Auswahlmuster entsprechend einer Zielbildberechnung in dem ROM gespeichert sein, und für die Auswahl des Bilddetektorprozessorelements verwendet werden, oder es kann ein Dekodierer vorgesehen sein, der das Auswahlmuster in Reaktion auf ein Steuersignal von außen erzeugt.
Als nächstes werden Einzelheiten des Aufbaus jedes Bilddetektorprozessorelements im Zusammenhang mit 2 erläutert. Das Bezugszeichen 5 bezeichnet ein Photoelektrikwandlerteil, welches einen Photodetektor bildet. Das Photoelektrikwandlerteil 5 besteht aus einer Photodiode, und gibt ein Signal entsprechend der Intensität des einfallenden Lichts aus. Das Bezugszeichen 6 bezeichnet eine Binärumwandlungsschaltung, die aus einem Komparator besteht, und Signale von dem Photoelektrikwandlerteil 5 binär umwandelt. Beim vorliegenden Beispiel wird angenommen, daß entsprechend der Lichtmenge, die dem Photoelektrikwandlerteil 5 zugeführt wird, dann, wenn die Helligkeit einen bestimmten Schwellenwert überschreitet, ein Signal "H" ausgegeben wird, und dann, wenn die Helligkeit unterhalb des Schwellenwerts liegt, ein Signal "L" ausgegeben wird. Obwohl bei der vorliegenden Ausführungsform Binärdaten ausgegeben werden, ist die vorliegende Erfindung nicht auf derartige Binärdaten beschränkt, und kann ein Bilddetektorprozessorelement verwenden, welches mehrwertige Daten verarbeitet, die abgestuft sind. In diesem Fall wird ein Volladdierer als der erste Addierer verwendet. Das Bezugszeichen 7 bezeichnet eine Logikmultiplikationsschaltung (AND) und gibt ein Signal "H" aus, wenn ein Signal von der Binärumwandlungsschaltung 6 und ein Signal von einer Logikadditionsschaltung (OR) 12 mit fünf Eingängen, die später noch genauer erläutert wird, beide "H" sind. Das Bezugszeichen 8 bezeichnet einen Multiplexer, der das Signal von der AND-Schaltung 7 ausgibt, wenn das Signal LORD von 1 den Wert "H" aufweist, und das Signal von einer AND-Schaltung 11 ausgibt, die später noch genauer erläutert wird, wenn das Signal LORD von 1 gleich "L" ist. Das Bezugszeichen 9 bezeichnet eine Flip-Flop-Schaltung, die das Signal des Multiplexers 8 mit dem Taktsignal CLOCK 1 von 1 annimmt, und ein Signal ausgibt. Die Binärumwandlungsschaltung 6, die AND-Schaltung 7, der Multiplexer 8, die Flip-Flop-Schaltung 9, die Logikschaltung 12 mit fünf Eingängen bilden den Wandler.
Das Bezugszeichen 10 bezeichnet eine AND-Schaltung, die ein Signal "H" ausgibt, wenn der Ausgangswert der Flip-Flop-Schaltung 9 und der Ausgangswert der AND-Schaltung, 11, die später noch genauer erläutert wird, beide den Wert "H" aufweist. Die AND-Schaltung 11 gibt ein Signal "H" aus, wenn der Ausgangswert des Zeilendekodierers 3 und der Ausgangswert des Spaltendekodierers 4 beide gleich "H" sind. So wird beispielsweise am Bilddetektorprozessorelement 1-11 dann, wenn ein Ausgangswert Y1 des Zeilendekodierers 3 und ein Ausgangswert X2 des Spaltendekodierers 4 beide gleich "H" sind, ein Signal "H" ausgegeben. Die ROM-Schaltung 12 mit fünf Eingängen gibt das Ergebnis einer logischen Addition aus, auf der Grundlage eines Ausgangswertes von ihrer eigenen Flip-Flop-Schaltung 9 und jeweiliger Flip-Flop-Schaltungen benachbarter Bilddetektorprozessorelemente, die an den oberen und unteren Seiten sowie an der linken und rechten Seite angeordnet sind. Beispielsweise werden bei dem Bilddetektorprozessorelement 1-11 die Ausgangswerte der jeweiligen Flip-Flop-Schaltungen 9 in den Bilddetektorprozessorelementen 1-3, 1-10, 1-12 und 1-19 und der Ausgangswert der Flip-Flop-Schaltung 9 des Bilddetektorprozessorelements 1-11 ansich die Eingangsgrößen für die AND-Schaltung 11, und wenn zumindest einer dieser Eingangswerte gleich "H" ist, liegt am Ausgang der AND-Schaltung 11 der Wert "H" an.
Das Bezugszeichen 13 bezeichnet einen Multiplexer, der bei der vorliegenden Ausführungsform ein Signal von der AND-Schaltung 10 ausgibt, wenn das Signal SEL in 1 gleich "H" ist, und ein Signal von einer Flip-Flop-Schaltung 14 ausgibt, die nachstehend noch genauer erläutert wird, wenn das Signal SEL in 1 gleich "L" ist. Die Flip-Flop-Schaltung 14 nimmt ein CARRY-Signal (Überlaufsignal) einer Addiererschaltung 15 an, wie nachstehend noch genauer erläutert wird, mit dem Taktsignal CLOCK 2 von 1, und gibt das Signal CARRY aus. Das Bezugszeichen 15 bezeichnet eine Addiererschaltung, die aus einem Halbaddierer besteht, und die arithmetische Summe eines Ausgangssignals des Multiplexers 13 und eines Signals SUM des Halbaddierers des benachbarten Bilddetektorprozessorelements berechnet, und die Signale SUM und CARRY ausgibt. Wenn beispielsweise bei dem Bilddetektorprozessorelement 1-11 der Ausgangswert des Multiplexers 13 und das Signal SUM der Addiererschaltung 15 des Bilddetektorprozessorelements 1-10 beide gleich "L" sind, werden sowohl das Signal SUM als auch das Signal CARRY gleich "L". Wenn entweder der Ausgangswert des Multiplexers 13 oder das Signal SUM der Addiererschaltung 15 des Bilddetektorprozessorelements 1-10 gleich "L" ist, und der andere "H", so wird das Signal SUM gleich "H", und das Signal CARRY gleich "L". Wenn der Ausgangswert des Multiplexers und das Signal SUM der Addiererschaltung 15 des Bilddetektorprozessorelements 1-10 beide gleich "H" sind, so wird das Signal SUM gleich "L", und das Signal CARRY gleich "H". Die AND-Schaltungen 10, 11, der Multiplexer 13, die Flip-Flop-Schaltung 14 und die Addiererschaltung 15 bilden den ersten Addierer.
Als nächstes werden Einzelheiten des Aufbaus des Reihenaddierers im Zusammenhang mit 3 erläutert. Das Bezugszeichen 16 bezeichnet eine Addiererschaltung, die aus einem Volladdierer besteht, und die arithmetische Addierberechnung des Signals SUM des Bilddetektorprozessorelements und von Signalen SUM von einer Flip-Flop-Schaltung 17 durchführt, wie nachstehend noch genauer erläutert wird, sowie von einer Addiererschaltung der vorherigen Stufe, und ein Signal SUM sowie ein Signal CARRY ausgibt. Beispielsweise wird bei dem Reihenaddierer 2-2 ein Ausgangswert des Bilddetektorprozessorelements 1-16, ein Ausgangswert des Reihenaddierers 2-1 und ein Ausgangswert der Flip-Flop-Schaltung 17 in den Reihenaddierer 2-2 eingegeben, wird ein Signal SUM an den Reihenaddierer 2-3 ausgegeben, und ein Signal CARRY an die Flip-Flop-Schaltung 17 ausgegeben. Bei der Addiererschaltung 16 werden, wenn drei Eingangszustände sämtlich gleich "L" sind, sowohl das Signal SUM als auch das Signal CARRY gleich "L". Wenn einer drei Eingangszustände gleich "H" ist, wird das Signal SUM gleich "H", und das Signal CARRY gleich "L". Wenn zwei der drei Eingangszustände gleich "H" sind, wird das Signal SUM gleich "L", und das Signal CARRY gleich "H". Wenn sämtliche drei Eingangszustände gleich "H" sind, werden sowohl das Signal SUM als auch das Signal CARRY gleich "H". Die Flip-Flop-Schaltung 17 nimmt das Signal CARRY der Addiererschaltung 16 mit dem Taktsignal CLOCK 2 an, und gibt das Signal CARRY aus.
Als nächstes wird der Betriebsablauf bei dem Bilddetektorprozessor erläutert.
Zuerst werden zum Initialisieren einer inneren Schaltung sowohl der Zeilendekodierer 3 als auch der Spaltendekodierer 4 auf einen Nichtauswahlzustand eingestellt, wobei die Einstellung so erfolgt, daß ein Pixelauswahlsignal von dem Multiplexer 13 ausgegeben wird, wenn das Signal SEL eingegeben wird. In diesem Zustand wird, wenn von dem Taktsignal CLOCK 2 ein Takt oder mehr eingegeben wird, die Flip-Flop-Schaltung 14 in jedem Bilddetektorprozessorelement gelöscht. Weiterhin wird, wenn von dem Taktsignal CLOCK 2 nicht weniger als sechs Takte eingegeben werden, während dieser Zustand aufrechterhalten wird, die Flip-Flop-Schaltung 17 in jedem Reihenaddierer auf dieselbe Weise gelöscht.
Daraufhin wird die Einstellung der Fensterbildsignale durchgeführt. Die Fensterbildsignale werden zum Trennen des Bildes des Ziels von dem Hintergrund verwendet. Die Einstellung erfolgt so, daß ein Pixelauswahlsignal von dem Multiplexer 8 ausgegeben wird, wenn das Signal LORD eingegeben wird, und die ursprüngliche Einstellung des Fensterbildes wird durch Einstellung des Zeilendekodierers 3 und des Spaltendekodierers 4 durchgeführt. Wenn der Zeilendekodierer 3 und der Spaltendekodierer 4 jeweils so eingestellt sind, daß sämtliche Ausgänge ausgewählt werden können, so entsprechen die Anfangswerte des Fensterbildes dem gesamten Bildschirm.
Dann wird das Aufnehmen des Bildes durchgeführt. Ein Bild eines Gegenstands wird auf die Bilddetektorprozessorelemente fokussiert, die in einer Ebene angeordnet sind, unter Verwendung eines geeigneten optischen Fokussierungssystems. Das optische Fokussierungssystem kann ein optisches Linsensystem sein, das in einer digitalen Standbildkamera verwendet wird, oder dergleichen. Bei jedem Bilddetektorprozessorelement wird zuerst an dem Photoelektrikwandlerteil 5 Information in Bezug auf den Kontrast des Gegenstands in ein Analogsignal entsprechend der Lichtmenge des fokussierten Bildes umgewandelt. Dieses Analogsignal wird in die binären Bildsignale mit dem Wert "L" oder "H" durch die Binärumwandlungsschaltung 6 umgewandelt.
Die binären Bildsignale werden in die Zielbildsignale dadurch umgewandelt, daß eine Logikmultiplikationsberechnung der binären Bildsignale und der Fensterbildsignale bei der AND-Schaltung 7 durchgeführt wird. Die Zielbildsignale werden an die Flip-Flop-Schaltung 9 über den Multiplexer 8 ausgegeben, und werden zu den Zeitpunkten des Taktsignals CLOCK 1 eingegeben. Die der Flip-Flop-Schaltung 9 zugeführten Zielbildsignale werden in die OR-Schaltung 12 mit fünf Eingängen eingegeben, um die Fenstersignale zum Zeitpunkt des nächsten Taktsignals CLOCK 1 zu erzeugen.
Das Ausgangssignal bzw. der Ausgangswert der Flip-Flop-Schaltung 9 wird an die OR-Schaltung 12 mit fünf Eingängen in demselben Bilddetektorprozessorelement ausgegeben, sowie an die OR-Schaltungen 12 mit fünf Eingängen von vier benachbarten Bilddetektorprozessorelementen, und die Fensterbildsignale werden von den OR-Schaltungen 12 mit fünf Eingängen ausgegeben. 5 zeigt diesen Zustand. In 5 zeigt (a) ein binär umgewandeltes Bild, welches ein Original zur Erzeugung des Fensterbildes wird, wobei jeweilige Zellen den Bilddetektorprozessorelementen 1-1 bis 1-64 von 1 entsprechen. (b) zeigt das Fensterbild, das aus (a) erzeugt wurde, wobei das Fensterbild in Richtung nach oben und unten sowie in Richtung nach rechts und links aufgeweitet ist, in Bezug auf das ursprüngliche, binär umgewandelte Bild, durch die Ausgangswerte der vier Flip-Flop-Schaltungen 9 an die OR-Schaltung 12 mit fünf Eingängen in jedem Bildelement. Mittels Durchführung der Logikmultiplikationsberechnung zwischen dem Fensterbild (b) und dem umgewandelten Bildsignal in dem nächsten Rahmen, also des binär umgewandelten Bildes (a) in dem nächsten Rahmen, wird das Zielbild erhalten. Daher wird das Fensterbild mit einer leichten Aufweitung erzeugt, folgend der Bewegung der Zielbildsignale für jeden Rahmen, und wird das in dem Fensterbild enthaltene Bild als neues Zielbildsignal erhalten. Wenn hierbei die Entfernung zwischen diesem Rahmen und dem nächsten Rahmen ausreichend kurz ist, ist die Bewegungsentfernung des Ziels auch kurz, so daß die Zielverfolgungsberechnung mit einer einfachen Schaltung bei der vorliegenden Ausführungsform erreicht werden kann.
Als nächstes wird die Bildberechnungsoperation erläutert. Zunächst kann die gesamte Zahl an Pixeln, welche das Zielbild darstellen, als der Bereich (Moment 0-ter Ordnung) des Zielbildes angesehen werden, und nunmehr wird die Operation erläutert, mit welcher ein derartiges Moment 0-ter Ordnung erhalten wird. Bei der Anordnung von Abschnitten einschließlich der AND-Schaltung 10 und der darauffolgenden Abschnitte und von Abschnitten der Reihenaddierer in jeweiligen Bilddetektorprozessorelementen wird die Operation des Addiererfeldes mit 64 Eingängen erläutert. Das Zielbildsignal, das von der Flip-Flop-Schaltung 9 ausgegeben wird, wird nur dann in den Multiplexer 13 eingegeben, wenn das Pixelauswahlsignal in der AND-Schaltung 10 gleich "H" ist. Nunmehr wird der Fall erläutert, in welchem sämtliche Bildberechnungsschaltungen 1-1 bis 1-64 ausgewählt werden. In 6 bezeichnet (a) den Zustand des Zielbildes. Hierbei ist die Gesamtanzahl an Pixeln mit "H" auf 8 eingestellt.
Zuerst wird das Signal SEL auf "H" eingestellt, so daß der Ausgang der AND-Schaltung 10 durch den Multiplexer 13 ausgewählt wird. Daher wird das Signal mit "H" oder "L" entsprechend dem Zielbild in den Halbaddierer 15 jedes Bilddetektorprozessorelements eingegeben. In 6 sind der Zustand der Addierer jeweiliger Bilddetektorprozessorelemente und des Reihenaddierers entsprechend dem Zielbild (a) in (b) dargestellt. Im Abschnitt (b) von 6 ist mit CARRY und SUM die Signale CARRY bzw. die Signale SUM der jeweiligen Addierer bezeichnet. Der Ausgangswert der AND-Schaltung 10, welcher dem Bilddetektorprozessorelement 1-20 zugeführt wird, ist auf "H" eingestellt, und das Signal SUM des zugehörigen Addierers 15 wird hintereinander an die Bilddetektorprozessorelemente 1-21 bis 1-24 ausgegeben, welche die Bauteile der darauffolgenden Stufe bilden, und das Signal SUM der Addiererschaltungen 15 wird auf "H" eingestellt.
An dem Reihenaddierer 2-3, der dieses Signal SUM empfängt, werden das Signal SUM mit dem Wert "H" von dem Bilddetektorprozessorelement 1-24 und das Signal SUM mit dem Wert "L" der Addiererschaltung 16 des Reihenaddierers 2-2 der vorherigen Stufe addiert, um so das Signal SUM auf "H" und das Signal CARRY auf "L" einzustellen. Weiterhin werden sämtliche Ausgangswerte der AND-Schaltungen 10 der Bilddetektorprozessorelemente 1-27, 1-28 und 1-29 auf "H" eingestellt, und werden an der Addiererschaltung 15 des Bilddetektorprozessorelements 1-18 der Ausgangswert "H" der zugehörigen AND-Schaltung 10 und das Signal SUM mit dem Wert "H" des Bilddetektorprozessorelements 1-27 der vorherigen Stufe addiert, um das Signal SUM auf "L" und das Signal CARRY auf "H" einzustellen. Das Signal SUM der Addiererschaltung 15 des Bilddetektorprozessorelements 1-29 wird hintereinander an die Bilddetektorprozessorelemente 1-30 bis 1-32 ausgegeben, welche die Bauteile der darauffolgenden Stufe bilden, und das Signal SUM dieser Addiererschaltungen 15 wird auf "H" eingestellt.
Bei dem Reihenaddierer 2-4, der dieses Signal SUM empfängt, werden das Signal SUM mit "H" von dem Bilddetektorprozessorelement 1-32 und das Signal SUM mit "H" der Addiererschaltung 16 des Reihenaddierers 2-3 der vorherigen Stufe addiert, um so das Signal SUM auf "L" und das Signal CARRY auf "H" einzustellen. Weiterhin werden sämtliche Ausgangswerte der AND-Schaltungen 10 der Bilddetektorprozessorelemente 1-35, 1-36 und 1-37 auf "H" eingestellt, und werden an der Addiererschaltung 15 des Bilddetektorprozessorelements 1-36 der Ausgangswert "H" der zugehörigen AND-Schaltung 10 und das Signal SUM mit "H" des Bilddetektorprozessorelements 1-35 der vorherigen Stufe addiert, um das Signal SUM auf "L" und das Signal CARRY auf "H" einzustellen. Das Signal SUM mit dem Wert "H" der Addiererschaltung 15 des Bilddetektorprozessorelements 1-37 wird hintereinander an die Bilddetektorprozessorelemente 1-38 bis 1-40 ausgegeben, welche die Bauteile der darauffolgenden Stufe bilden, und das Signal SUM dieser Addiererschaltungen 15 wird auf "H" eingestellt.
An dem Reihenaddierer 2-5, der dieses Signal SUM empfängt, werden das Signal SUM mit dem Wert "H" von dem Bilddetektorprozessorelement 1-40 und das Signal SUM mit dem Wert "L" der Addiererschaltung 16 des Reihenaddierers 2-4 der vorherigen Stufe addiert, um so das Signal SUM auf "H" und das Signal CARRY auf "L" einzustellen. Weiterhin werden bei der Addiererschaltung 15 des Bilddetektorprozessorelements 1-44 der Ausgangswert "H" der zugehörigen AND-Schaltung 10 und das Signal SUM mit dem Wert "L" des Bilddetektorprozessorelements 1-43 der vorherigen Stufe addiert, um so das Signal SUM auf "H" und das Signal CARRY auf "L" einzustellen.
Auf entsprechende Weise wird das Signal SUM mit dem Wert "H" der Addiererschaltung 15 des Bilddetektorprozessorelements 1-44 hintereinander an die Bilddetektorprozessorelemente 1-45 bis 1-48 ausgegeben, welche die Bauteile der darauffolgenden Stufe bilden. An dem Reihenaddierer 2-6, der dieses Signal SUM empfängt, werden das Signal SUM mit dem Wert "H" von dem Bilddetektorprozessorelement 1-48 und das Signal SUM mit dem Wert "H" der Addiererschaltung 16 des Reihenaddierers 2-5 der vorherigen Stufe addiert, um so das Signal SUM auf "L" und das Signal CARRY auf "H" einzustellen. Das Signal SUM mit dem Wert "L" der Addiererschaltung 16 des Reihenaddierers 2-6 wird nacheinander an die Reihenaddierer 2-7, 2-8 der darauffolgenden Stufe ausgegeben. Hierbei wird am Ausgang des Reihenaddierers 2-8 der Wert der niedrigsten Ziffer, wenn die Gesamtanzahl an Pixeln, welche das Zielbild bilden, durch eine binäre Zahl ausgedrückt wird, ausgegeben, und wird das Signal auf dem Pegel "L" entsprechend 0 für das Zielbild (a) ausgegeben.
In diesem Zustand wird, wenn das Taktsignal CLOCK 2 eingegeben wird, das Signal CARRY in die Flip-Flop-Schaltung 14 eingegeben. Durch Einstellung des Signals SEL auf "L" wird das in der Flip-Flop-Schaltung 14 gespeichert Signal CARRY an den Halbaddierer 15 ausgegeben, anstelle eines Ausgangssignals der AND-Schaltung 10. Der Zustand jeweiliger Bilddetektorprozessorelemente und Reihenaddierer in diesem Fall ist in (c) dargestellt. Wie aus (b) hervorgeht, ist bei dem Bilddetektorprozessorelementen 1-28, 1-36 das Signal CARRY, das in der Flip-Flop-Schaltung 14 gespeichert ist, auf "H" eingestellt, und stellen die Addiererschaltungen 15 der Bilddetektorprozessorelemente 1-29 bis 1-32, 1-37 bis 1-40 die Signale SUM auf "H" und die Signale CARRY auf "L" ein.
In der Addiererschaltung 16 des Reihenaddierers 2-4 werden das Signal SUM mit dem Wert "L" von dem Reihenaddierer der vorherigen Stufe, das Signal SUM mit dem Wert "H" von dem Bilddetektorprozessorelement 1-32, und das Signal CARRY mit dem Wert "H", das in der Flip-Flop-Schaltung 17 gespeichert ist, addiert, und daher wird das Signal SUM auf "L" und das Signal CARRY auf "H" eingestellt. In der Addiererschaltung 16 des Reihenaddierers 2-5 werden das Signal SUM mit dem Wert "L" von dem Reihenaddierer der vorherigen Stufe, das Signal SUM mit dem Wert "H" von dem Bilddetektorprozessorelement 1-40, und das in der Flip-Flop-Schaltung 17 gespeicherte Signal CARRY mit dem Wert "L" addiert, und wird daher das Signal SUM auf "H" und das Signal CARRY auf den Wert "L" eingestellt. In der Addiererschaltung 16 des Reihenaddierers 2-6 werden das Signal SUM mit dem Wert "H" von dem Reihenaddierer der vorherigen Stufe, das Signal SUM mit dem Wert "L" von dem Bilddetektorprozessorelement 1-48, und das in der Flip-Flop-Schaltung 17 gespeicherte Signal CARRY mit dem Wert "H" addiert, und wird daher das Signal SUM auf "L" und das Signal CARRY auf "H" eingestellt. In der Addiererschaltung 16 der Reihenaddierer 2-7 und 2-8 wird das Signal SUM auf "L" eingestellt, und das Signal CARRY auf "L". Hierbei wird der Wert der (niedrigsten + 1) Stelle, wenn die Gesamtanzahl der Pixel, welche das Zielbild bilden, durch eine Binärzahl ausgedrückt wird, von dem Ausgang des Reihenaddierers 2-8 ausgegeben. Für das Zielbild (a) wird ein Signal auf den Pegel "L" entsprechend 0 ausgegeben.
Dann wird auf entsprechende Weise wie voranstehend geschildert jedesmal dann, wenn das Taktsignal CLOCK 2 eingegeben wird, der Zustand der jeweiligen Bilddetektorprozessorelemente und der Reihenaddierer hintereinander gleich (d), (e). Im Zustand (e), wenn 3 Takte des Taktsignals CLOCK 2 eingegeben werden, wird "H" vom Ausgang des Reihenaddierers 2-8 ausgegeben, und wird der Wert der (niedrigsten + 3) Stelle, wenn die Gesamtanzahl der Pixel, die das Zielbild bilden, durch eine Binärzahl ausgedrückt wird, vom Ausgang des Reihenaddierers 2-8 ausgegeben. Der Wert, der von dem Reihenaddierer 2-8 erhalten wird, nach der Eingabe des Signals SEL mit dem Wert "H", wird gleich "1000", und es wird der Binärwert erhalten, welcher der Gesamtanzahl von 8 Pixeln entspricht, die das Zielbild (a) bilden. Danach wird, selbst wenn das Taktsignal CLOCK 2 eingegeben wird, das Signal CARRY nicht in einer der Flip-Flop-Schaltungen gespeichert, und daher wird der Wert von "L" vom Ausgang des Reihenaddierers 2-8 ausgegeben.
Wie voranstehend geschildert wird jedesmal dann, wenn das Taktsignal CLOCK 2 eingegeben wird, die Gesamtanzahl an Pixeln, welche das Zielbild darstellen, hintereinander von der niedrigsten Stelle aus ausgegeben. Bei der vorliegenden Ausführungsform kann nach Eingabe des Signals SEL durch Eingabe von 7 Takten des Taktsignals CLOCK 2 die Gesamtanzahl an Pixeln, welche das Zielbild (a) bilden, durch einen Binärwert mit 7 Stellen erhalten werden. Bei der vorliegenden Ausführungsform kann mit einer kleinen Anzahl an Takten die Gesamtanzahl an Pixeln erhalten werden, welche das Zielbild darstellen, also die Fläche (Moment 0-ter Ordnung) des Zielbildes. Herkömmlich wird der Zustand der Pixel einzeln für jeden Takt ausgelesen, und wird danach die Fläche des Zielbildes erhalten, und sind daher, wenn die Anzahl an Pixeln 64 beträgt, 64 Takte erforderlich. Bei der vorliegenden Ausführungsform reichen 7 Takte dazu aus, die Fläche des Zielbildes zu erhalten.
Als nächstes werden die Operationen zum Erhalten der ersten Momente erläutert. Um die ersten Momente zu erhalten, werden durch Auswahl geeigneter Pixel unter Verwendung des Zeilendekodierers 3 und des Spaltendekodierers 4 verschiedene Arten von Partialsummen erhalten, und dann wird die Summe dieser Partialsummen außerhalb berechnet. 7 zeigt diese Vorgehensweise. In 7 zeigt (a) ein Bild, welches ein Objekt darstellt. (b), (c) zeigen ein Beispiel für ein Auswahlmuster des Spaltendekodierers und die Werte von Partialsummen entsprechend dem Auswahlmuster. Hierbei verläuft die Längsrichtung des Feldes der Bilddetektorprozessorelemente entlang der Y-Achse, wobei die Koordinatenpositionen auf 0, 1, ..., 7 von oben aus eingestellt sind, und verläuft die Querrichtung des Feldes der Bilddetektorprozessorelemente entlang der X-Achse, bei welcher die Koordinatenpositionen auf 0, 1, ..., 7 von links nach rechts eingestellt sind. Die ersten Momente entlang der X-Achse und der Y-Achse werden jeweils als jene Summe ausgedrückt, die man dadurch erhält, daß die Werte der Koordinatenposition als Belastungswert mit der Summe des Moments in Axialrichtung multipliziert werden. Um beispielsweise das erste Moment in Richtung der Y-Achse zu erhalten, wird zuerst die Summe der Pixel erhalten, welche das Zielbild darstellen, durch das voranstehend geschilderte Verfahren, so daß nur die unterste Spalte durch Einstellung des Zeilendekodierers 3 ausgewählt wird. 7 wird mit dem erhaltenen Wert multipliziert, unter Verwendung eines externen Verarbeitungsprozessors (oder eines Verarbeitungsprozessors, der mit dem Bilddetektorprozessor gemäß der vorliegenden Ausführungsform vereinigt ist), da die Y-Koordinate dieser Spalte gleich 7 ist. Daraufhin wird die Summe so erhalten, daß nur die zweite Spalte von unten ausgewählt wird. Als Belastungswert wird 6 mit dem erhaltenen Wert multipliziert, und dann wird der Ergebniswert zum vorher erhaltenen Wert addiert. Auf dieselbe Art und Weise wird der Koeffizient des Belastungswertes nacheinander multipliziert, und werden die Partialsummen der jeweiligen Spalten so addiert, daß das erste Moment erhalten wird.
In Bezug auf die Belastungswerte können sie folgendermaßen getrennt werden: 7 = 4 + 2 + 1, 6 = 4 + 2, 5 = 4 + 1, 4 = 4, 3 = 2 + 1, 2 = 2, 1 = 1. Bei der Einstellung des Zeilendekodierers 3 werden daher, wie dies in Figur(c) gezeigt ist, die Zeilen entsprechend den Koordinatenpositionen 7, 5, 3, 1 auf der Y-Achse eindeutig festgelegt, wird die Summe der Pixel erhalten, die in den Zeilen vorhanden sind, und das Zielbild darstellen, und wird der Belastungswert 1 mit der Summe multipliziert. Daraufhin werden die Zeilen entsprechend den Koordinatenpositionen 7, 6, 3, 2 auf der Y-Achse eindeutig festgelegt, wird die Summe erhalten, und wird der Belastungswert 2 mit der Summe multipliziert. Dann werden die Zeilen entsprechend den Koordinatenpositionen 7, 6, 5, 4 auf der Y-Achse eindeutig festgelegt, wird die Summe erhalten, und wird der Belastungswert 4 mit der Summe multipliziert. Das erste Moment kann ebenfalls entsprechend der voranstehend geschilderten Vorgehensweise erhalten werden. In diesem Fall kann, da das erste Moment dadurch berechnet werden kann, daß die Partialsummenberechnung dreimal durchgeführt wird, das erste Moment in kürzerer Berechnungszeit erhalten werden.
Das erste Moment in Richtung der X-Achse kann ebenfalls einfach auf dieselbe Art und Weise berechnet werden, nämlich durch Steuern der Einstellung des Spaltendekodierers 4. Weiterhin kann in Bezug auf das Moment höherer Ordnung die Berechnung eines derartigen Moments einfach dadurch erzielt werden, daß die Einstellung der jeweiligen Dekodierer und der Koeffizienten der Belastungswerte geeignet ausgewählt wird. Durch Dividieren des erhaltenen ersten Moments durch die Fläche (Moment 0-ter Ordnung) können darüber hinaus die Koordinaten des Schwerpunkts einfach erhalten werden.
Bei der vorliegenden Ausführungsform kann in dem Bilddetektorprozessor die Erzeugung der Verarbeitungsdaten, die für die Bildbearbeitung erforderlich sind, beispielsweise die Berechnung des Schwerpunkts und dergleichen, zum Zeitpunkt der Datenübertragung durchgeführt werden, so daß die Bildbearbeitung, die zusammen von dem Bilddetektorprozessor und dem externen Verarbeitungsprozessor durchgeführt wird, schnell durchgeführt werden kann. Da die Berechnungsverarbeitung durchgeführt werden kann, ohne daß eine Einschränkung in Bezug auf die Entfernung zwischen Rahmen vorhanden ist, ist darüber hinaus der Bilddetektorprozessor dazu geeignet, eine schnelle Verarbeitung durchzuführen. Wenn der Bilddetektorprozessor als visueller Sensor eines Roboters verwendet wird, ein Zusammenstoßverhinderungssensor eines Kraftfahrzeugs oder dergleichen, kann er daher die Bearbeitungsgeschwindigkeit des gesamten Gerätes erhöhen. Wenn beispielsweise der Bilddetektorprozessor gemäß der vorliegenden Ausführungsform bei einem visuellen Sensor 82 eines Armroboters verwendet wird, der wie in 8 gezeigt ein Objekt 81 ergreift, so nimmt der Bilddetektorprozessor sowohl das Objekt 81 als auch einen Arm 83 als Bild auf, und gibt die Verarbeitungsdaten 84 auf der Grundlage der Bilddaten an einen Verarbeitungsprozessor 85 aus, mittels Durchführung der voranstehend geschilderten Operationen. In dem Verarbeitungsprozessor 85 werden die Position des Schwerpunkts, der Ortskurve und dergleichen des Objekts 81 und des Arms 83 durch Bildbearbeitung erhalten. Dann wird das Ergebnis an eine Steuerung 86 des Arms 83 und eine Zielverfolgungssteuerung 87 des visuellen Sensors 82 rückgekoppelt, wodurch eine schnelle Verarbeitung erzielt wird. Darüber hinaus kann eine schnelle Steuerung oder Regelung selbst nur auf der Grundlage von Information von dem visuellen Sensor erzielt werden, so daß die Anzahl verschiedener erforderlicher Sensoren verringert werden kann, und die Abmessungen des Gerätes verkleinert werden können.
Weiterhin ist es ebenfalls einfach, gleichzeitig ein Schaltungssystem auszubilden, welches ein berechnetes Ergebnis ausgibt, und eine Schaltung, welche analoge Videosignale ausgibt, wie im Falle einer Videokamera oder dergleichen.
Obwohl binäre Daten (Daten mit einer Abstufung in zwei Schritten) als die Bilddaten bei der vorliegenden Ausführungsform verwendet werden, ist die vorliegende Erfindung nicht auf Binärdaten beschränkt, und kann unter Einsatz von Volladdierern als erste Addierer in den Bilddetektorprozessorelementen die vorliegende Erfindung auch eine einem Fall eingesetzt werden, in welchem mehrstufig abgestufte Daten als die Bilddaten verwendet werden. In diesem Fall wird zwar die Größe der Schaltung jedes Bilddetektorprozessorelements groß, jedoch zeigt sich die vorteilhafte Auswirkung, daß dann, wenn die Bilddaten stärker abgestuft sind, die Berechnung der Belastungswerte unter Verwendung dieser Abstufung durchgeführt werden kann. Jene Einzelheiten, die bei dem Aufbau geändert werden müssen, wenn Volladdierer als die ersten Addierer verwendet werden, werden nachstehend noch genauer erläutert.
Weiterhin kann, wenn die Volladdierer als die ersten Addierer verwendet werden, die Berechnung einer Merkmalsgröße schneller durchgeführt werden, wenn die Binärdaten als Bilddaten verwendet werden. Dies läßt sich durch die in 9 dargestellte Anordnung erzielen. Bei dem in dieser Figur dargestellten Bilddetektorprozessorelement ist eine Addiererschaltung 18 in Form eines Volladdierers statt der Addiererschaltung 15 vorgesehen, und ist eine AND-Schaltung 19 anstatt des Multiplexers 13 vorhanden. Im übrigen ist der Aufbau ebenso wie bei dem Bilddetektorprozessorelement gemäß 2. Die Addiererschaltung 18 empfängt die Zielbildsignale in dem Bilddetektorprozessorelement durch die AND-Schaltung 19. Die Eingabe des Zielbildsignals wird durch das SEL-Signal ebenso wie voranstehend geschildert gesteuert. Weiterhin empfängt die Addiererschaltung 18 einen Ausgangswert bzw. ein Ausgangssignal von der Flip-Flop-Schaltung 14 und einen Ausgangswert bzw. ein Ausgangssignal von einer Addiererschaltung 18 eines Bilddetektorprozessorelements einer vorherigen Stufe. Der Betriebsablauf bei der Addiererschaltung 18 ist ähnlich jenem des in 3 dargestellten Reihenaddierers. Bei einem derartigen Aufbau kann durch sequentielle Auswahl des Zeilendekodierers oder des Spaltendekodierers zum Zeitpunkt der Berechnung des ersten Moments dann, wenn eine Anordnung mit n×n Pixeln vorhanden ist, das erste Moment durch Berechnung mit (3n – 1) Takten berechnet werden. Wenn beispielsweise eine Anordnung mit 8×8 Pixeln vorhanden ist, kann das erste Moment durch 8 Takte ausgewählt werden.
Die Momentenberechnungsverarbeitung gemäß der vorliegenden Erfindung wird nachstehend mathematisch erläutert.
Die Größe des Bildes wird so angenommen, daß die Anzahl an Bilddetektorprozessorelementen N² beträgt (N = 2ⁿ). Die Abstufung der Bilddaten wird so angenommen, daß M = 2^m ist. Die Bilddaten des Bilddetektorprozessorelements, das an der Koordinatenposition x entlang der X-Achse und an der Koordinatenposition y entlang der Y-Achse angeordnet ist, werden mit I (x, y) bezeichnet. Die Laufzeit wird durch die Anzahl an Takten (Taktsignal CLOCK 2 bei der vorliegenden Ausführungsform) an dem Bilddetektorprozessorelement bezeichnet.
Die allgemeine Momentengröße m_ij für das Bild I (x, y) wird durch folgende Gleichung (1) angegeben.
Das Moment m₀₀ der 0-ten Ordnung wird durch folgende Gleichung (2) ausgedrückt.
Dies ist die Summe der Bilddaten, und die Anzahl an Takten, die für die Berechnung erforderlich ist, wird gleich log₂ (Maximalwert des Ausgangswerts) und log₂(N²(M – 1)) = (2n + m). Bei der vorliegenden Ausführungsform ist eine Abstufung mit zwei Schritten vorhanden, und beträgt die Anzahl an Bilddetektorprozessorelementen 64, so daß die Anzahl an Takten gleich 7 wird.
Das erste Moment wird durch die folgenden Gleichungen (3) und (4) ausgedrückt, wobei m₁₀ das erste Moment in Zeilenrichtung ist, und m₀₁ das erste Moment in Spaltenrichtung.
Da die Bilddetektorprozessorelemente bei der vorliegenden Ausführungsform nicht mit einer Multiplikationsfunktion versehen sind, werden die Belastungswerte (x, y) für jeweilige Zeilen und jeweilige Spalten von dem externen Verarbeitungsprozessor multipliziert. Wenn die Bilddetektorprozessorelemente mit einer Multiplikationsfunktion versehen sind, können xI (x, y) und yI (x, y) innerhalb der jeweiligen Bilddetektorprozessorelemente berechnet werden, und kann die Summe dieser Werte berechnet werden, so daß sich die Anzahl an zur Berechnung erforderlichen Takten ergibt als log₂(N²(N – 1)(M – 1)/2) = (3n + m).
Allerdings ist es schwierig, die Multiplikationsfunktion bei dem Bilddetektorprozessorelementen bereitzustellen, da die Abmessungen der Schaltung begrenzt sind. Im Gegensatz hierzu kann bei der vorliegenden Ausführungsform infolge der Tatsache, daß die Summenberechnung so durchgeführt wird, daß die logische Multiplikation des Auswahlmusters und der Daten in dem Bilddetektorprozessorelement durchgeführt wird (also die Funktion der Auswahl jedes Bilddetektorprozessorelements), und eine Expansion der Belastungswerte in der Bitebene (Expansion mit der Binärzahl) durchgeführt wird, die Berechnungsgeschwindigkeit für die Größe des Moments erster Ordnung oder mehr erhöht werden.
Nunmehr wird angenommen, daß die binäre Expansion von x mittels x_n, x_n-1, ..., x₁, x durch folgende Gleichung (5) ausgedrückt wird.
Das erste Moment m₁₀ wird durch folgende Gleichung (6) ausgedrückt.
s_k wird dadurch erhalten, daß die logische Multiplikation des Auswahlmusters, das in (c) von 7 gezeigt ist, und der Daten in jedem Bilddetektorprozessorelement durchgeführt wird, wobei das in (c) von 7 gezeigte Auswahlmuster k = 1, 2, 3 entspricht, obwohl ein Unterschied in Bezug auf Zeile und Spalte vorhanden ist. Die Anzahl an Takten, die dazu erforderlich ist, s_k zu erhalten, beträgt log₂(N²(M – 1)/2 = (2n + m – 1). Daher wird m₁₀ so berechnet, daß s_k von k = 1 bis n wiederholt wird, und eine Addition erfolgt, während eine Bitverschiebung durchgeführt wird, unter Verwendung des externen Verarbeitungsprozessors, so daß die Anzahl an Takten, die dazu erforderlich ist, m₁₀ zu erhalten, gleich n(2n + m – 1) wird.
Nur wenn die Bilddaten eine Abstufung von 2 Stufen haben, also mit 1, 0 (nachstehend als "binär" bezeichnet), wie das bei der vorliegenden Ausführungsform der Fall ist, werden die Bilddaten als das Auswahlmuster angenommen, und kann das erste Moment dadurch erhalten werden, daß die Zeilen- und die Spaltendekodierer hintereinander ausgewählt werden, und die Summe bitseriell berechnet wird. Die Anzahl an Takten, die dazu erforderlich ist, das erste Moment zu erhalten, beträgt log₂ (N²(N – 1)/2) = (3n – 1). Bei dieser Berechnung ist es erforderlich, Volladdierer als die ersten Addierer zu verwenden, wie dies in 9 gezeigt ist.
Das erste Moment m₀₁ kann ebenso erhalten werden.
Weiterhin können die zweiten Momente m₂₀, m₀₂ durch folgende Gleichungen (7) und (8) ausgedrückt werden.
Wenn die Bilddetektorprozessorelemente mit der Multiplikationsfunktion versehen sind, können x²I(x, y) und y²I(x, y) innerhalb der jeweiligen Bilddetektorprozessorelemente berechnet werden, und kann die Summe dieser Werte berechnet werden, und daher wird die Anzahl an Takten, die zur Berechnung erforderlich ist, gleich log₂(N²(N – 1)(N – 1)(M – 1)/6) = (4n + m – 1). Wenn wie bei der vorliegenden Ausführungsform die Bilddetektorprozessorelemente nicht mit der Multiplikationsfunktion versehen sind, wird unter Verwendung des Auswahlmusters, das auf der Bitebene in Bezug auf x² und y² expandiert wird, die Anzahl an Takten, die zur Berechnung erforderlich ist, gleich 2n log₂(N²(M – 1)) = 2n(2n + m) Wenn die Bilddaten binär sind, wird die Anzahl an zur Berechnung erforderlichen Takten gleich log₂(N²(N – 1)(2N – 1)/6 = (4n – 1).
Ein anderes zweites Moment m₁₁ wird durch folgende Gleichung (9) ausgedrückt.
Wenn die Bilddetektorprozessorelemente mit der Multiplikationsfunktion versehen sind, wird die Anzahl an zur Berechnung erforderlichen Takten gleich log₂(N²(N – 1)²(M – 1)/4) = (4n + m – 2). Selbst wenn wie bei der vorliegenden Ausführungsform die Bilddetektorprozessorelemente nicht mit der Multiplikationsfunktion versehen sind, kann S_kl mit einer Anzahl von Takten erhalten werden, welche log₂(N²(M – 1)) = (2n + m) beträgt. m₁₁ kann dadurch berechnet werden, daß die Berechnung von s_k1 n² mal wiederholt wird, und die Werte addiert werden, während eine Bitverschiebung unter Verwendung des externen Verarbeitungsprozessors durchgeführt wird. In diesem Fall wird die Anzahl an zur Berechnung erforderlichen Takten nicht größer als n²(2n + m). Wenn die Bilddaten binär sind, kann s_k mit einer Anzahl an Takten von log₂(N²(M – 1)/2) = (3n – 1) erhalten werden, und kann, wenn dieses n-mal wiederholt wird, m₁₁ mit n(3n – 1) Takten erhalten werden.

Die Beziehung zwischen der Anzahl an Takten und der Laufzeit, die zur Momentenberechnungsverarbeitung erforderlich ist, sind in der folgenden Tabelle 1 angegeben. TABELLE 1

Algorithmus	Taktzyklus (Laufzeit)
Algorithmus	(A)	(B)
Moment 0-ter Ordnung m₀₀
(N = 64, M = 64) (N = 256, M = 64) (N = 256, M = 2)	18(2,3 μs) 22(11,0 μs) 16(8,2 μs)	18(2,3 μs) 22(11,0 μs) 16(8,2 μs)
Erstes Moment m₁₀, m₀₁
(N = 64, M = 64) (N = 256, M = 64) (N = 256, M = 2)	25(3,2 μs) 29(15,0 μs) 23(12,0 μs)	102(13,0 μs) 168(86,0 μs) 23(12,0 μs)
Zweites Moment m₂₀, m₀₂
(N = 64, M = 64) (N = 256, M = 64) (N = 256, M = 2)	29(3,7 μs) 37(19,0 μs) 31(16,0 μs)	≤ 216(28,0 μs) ≤ 352(180,0 μs) 31(16,0 μs)
Zweites Moment m₁₁
(N = 64, M = 64) (N = 256, M = 64) (N = 256, M = 2)	28(3,6 μs) 36(18,0 μs) 30(15,0 μs)	≤ 648(83,0 μs) ≤ 1408(720,0 μs) 184(94,0 μs)

Hierbei sind Daten für jenen Fall, bei welchem die Bilddetektorprozessorelemente die Multiplikationsfunktion aufweisen, in (A) angegeben, und Daten für jenen Fall, bei welchem die Bilddetektorprozessorelemente nicht die Multiplikation aufweisen, in (B) angegeben. Hierbei enthält die Laufzeit nicht die Laufzeit des externen Verarbeitungsprozessors. Da der kürzeste Taktzyklus von der Verzögerungszeit der Addierer abhängt, wird unter der Annahme, daß die Verzögerungszeit jedes Addierers 1 ns beträgt, 2N ns (wobei N die Größe der Matrix bezeichnet, die aus den Bilddetektorprozessorelementen besteht) insgesamt als Taktzyklus eingestellt, und entsprechend die Laufzeit berechnet. Bei der vorliegenden Ausführungsform kann der Unterschied bezüglich der Laufzeit zwischen dem Bilddetektorprozessorelement gemäß der vorliegenden Ausführungsform und einem Bilddetektorprozessor, dessen Bilddetektorprozessorelemente die Multiplikationsfunktion aufweisen, auf das Niveau einer Stelle herabgedrückt werden.
Weiterhin kann gemäß der vorliegenden Erfindung nicht nur das Moment schnell berechnet werden, sondern auch jede frei wählbare Merkmalsgröße, die durch folgende Gleichung (10) ausgedrückt wird. ΣNx=1 ΣNy=1 ∫(x, y, I(x, y)) (10)
Gemäß der vorliegenden Erfindung kann bei dem Bilddetektorprozessor die Erzeugung der Verarbeitungsdaten, die zur Bildbearbeitung erforderlich sind, beispielsweise der Berechnung des Schwerpunkts oder dergleichen, zum Zeitpunkt der Datenübertragung erfolgen, so daß sich eine schnelle Verarbeitung erzielen läßt.
Weiterhin wird es durch Anordnung der Bilddetektorprozessorelemente in einer Matrix und durch Ausbildung erster kumulierter Addierer durch Reihenschaltung von Addierern in jeweiligen Zeilen, durch Bereitstellung eines zweiten kumulierten Addierers, der kumuliert Ausgangswerte der Endstufen der ersten kumulierten Addierer jeweiliger Zeilen ausgibt, und durch selektives Eingeben von Digitalsignalen in die ersten kumulierten Addierer es möglich, gewünschte Verarbeitungsdaten, beispielsweise Partialsummen, um das Moment 0-ter Ordnung des Bildes oder N-ter Ordnung zu erhalten (wobei N eine positive ganze Zahl von 1 oder größer ist), schnell auszugeben.
Da die Bildaufnahmeoperation und die Operation der kumulierten Addition unter Verwendung getrennter Takte durchgeführt werden, können darüber hinaus die verarbeiteten Daten so erzeugt werden, daß sie nicht durch die Geschwindigkeit der Bildaufnahmeoperation eingeschränkt werden.
Da das Bilddetektorprozessorelement Digitalsignale des Bilddetektorprozessorelements auf der Grundlage der Digitalsignale von benachbarten Bilddetektorprozessorelementen und dem Ausgangssignal von dem Photodetektor erzeugt, wird es darüber hinaus möglich, eine einfache Verarbeitung durchzuführen, beispielsweise eine Verarbeitung zum Abtrennen des Ziels von dem Hintergrund an der Seite des Bilddetektorprozessors.

Claims

Bilddetektorprozessor, mit einem Array von Bilddetektorprozessorelementen (1-1, 1-2, ... 1-64), die in einer Ebene matrixförmig mit einer Vielzahl von Zeilen angeordnet sind, wobei jedes der Bilddetektorprozessorelemente (1-1, 1-2, ... 1-64)° folgendes umfasst: einen Photodetektor (5) zur Durchführung einer photoelektrischen Wandlung, einen Wandler (6, 7, 8, 9, 12) zur Umwandlung von Signalen von dem Photodetektor (5) in Digitalsignale, einen ersten Addierer (10, 11, 13, 14, 15), der die Digitalsignale von dem Wandler (6, 7, 8, 9, 12) als Eingangsgröße empfängt und dann ein Ausgangssignal an die nachfolgende Stufe des ersten Addierers (10, 11, 13, 14, 15) bereitstellt, wobei der Bilddetektorprozessor weiterhin aufweist: eine Vielzahl von zweiten Addierern (2-1, 2-2, ... 2-8), die jeweils entsprechenden Zeilen der Bilddetektorprozessorelemente (1-1, 1-2, ... 1-64) zugeordnet sind, und die jeweils Ausgangswerte von Endstufen der ersten Addierer (10, 11, 13, 14, 15) jeweiliger Zeilen als Eingangsgrößen empfangen, wobei jeder zweite Addierer (2-1, 2-2, ... 2-8) mit seinem jeweiligen vorangehenden und nachfolgenden zweiten Addierer (2-1, 2-2, ... 2-8) verbunden ist, um ein Ausgangssignal an den nachfolgenden zweiten Addierer (2-1, 2-2, ... 2-8) be reitzustellen, wobei die letzte Stufe (2-8) der zweiten Addierer (2-1, 2-2, ... 2-8) bearbeitete Bilddaten in Reaktion auf Bilddaten, die von dem Photodetektor (5) erfasst wurden, bereitstellt, dadurch gekennzeichnet, dass der Bilddetektorprozessor weiterhin folgendes umfasst: eine Steuerschaltung mit einem Zeilendekoder (3), einem Spaltendekoder (4) und einer Auswahleinrichtung, um die Eingabe der Digitalsignale mehrerer Bilddetektorprozessorelemente (1-1, 1-2, ... 1-64) zu steuern, indem erste Addierer (10, 11, 13, 14, 15) ausgewählt werden, um eine Summe oder Teilsumme von Ausgangsdaten der Photodetektoren (5), die das Zielbild bilden, zu erhalten, wobei jeder Wandler (6, 7, 8, 9, 12) eines Bilddetektorprozessorelements (1-1, 1-2, ... 1-64) weiterhin mit den Wandlern (6, 7, 8, 9, 12) der oberhalb, unterhalb, rechts und links benachbarten Bilddetektorprozessorelementen (1-1, 1-2, ... 1-64) verbunden ist, um die digitalen Ausgangssignale dieser benachbarten Wandler (6, 7, 8, 9, 12) zu empfangen, und um dann unter Verwendung der Ausgangssignale der benachbarten Wandler (6, 7, 8, 9, 12) Digitalsignale zu erzeugen.
Bilddetektorprozessor nach Anspruch 1, dadurch gekennzeichnet, dass die Digitalsignale der Bilddetektorprozessorelemente (1-1, 1-2, ... 1-64) sämtlich in die ersten Addierer (10, 11, 13, 14, 15) durch die Steuerschaltung eingegeben wer den, so dass durch die Vielzahl zweiter Addierer (2-1, 2-2, ... 2-8) eine Binärzahl ausgegeben wird, die die Gesamtzahl der Bildpunkte wiedergibt, die das Bild darstellen, wobei die Binärzahl ein Moment 0-ter Ordnung eines fokussierten Bildes darstellt, das auf eine Gruppe der Bilddetektorprozessorelemente (5) fokussiert wird.
Bilddetektorprozessor nach Anspruch 1, dadurch gekennzeichnet, dass mehrere Digitalsignale, die aus den Digitalsignalen der Bilddetektorprozessorelemente (1-1, 1-2, ... 1-64) ausgewählt sind, in die ersten Addierer (10, 11, 13, 14, 15) durch die Steuerschaltung eingegeben werden, so dass durch die Vielzahl zweiter Addierer (2-1, 2-2, ... 2-8) Partialsummen der Bildpunkte in den Zeilen oder Spalten ausgegeben werden, so dass ein Moment n-ter Ordnung gemäß der Formel
berechnet werden kann, für fokussierte Bilder, die auf eine Gruppe der Bilddetektorprozessorelemente (1-1, 1-2, ... 1-64) fokussiert sind, wobei N die Anzahl der Zeilen x bzw. Spalten y, I die Bildpunktdaten am Ort xy und mit das Moment der Ordnung i + j ist.
Bilddetektorprozessor nach Anspruch 1, dadurch gekennzeichnet, dass die Wandler (6, 7, 8, 9, 12) auf der Grundlage erster Taktsig nale (clock 1) betrieben werden, um so die Digitalsignale zu erzeugen, und die ersten (10, 11, 13, 14, 15) und zweiten (2-1, 2-2, ... 2-8) Addierer auf der Grundlage zweiter Taktsignale (clock 2), die von den ersten Taktsignalen (clock 1) verschieden sind, betrieben werden, und die verarbeiteten Daten von den zweiten Addierern (2-1, 2-2, ... 2-8) in der Reihenfolge von der niedrigsten Stelle aus ausgegeben werden.
Bilddetektorprozessor nach Anspruch 1, dadurch gekennzeichnet, dass die Digitalsignale, die von einem bestimmten Bilddetektorprozessorelement (1-1, 1-2, ... 1-64) ausgegeben werden, auf der Grundlage eines Ausgangssignals von dem Photodetektor (5) des jeweiligen Bilddetektorprozessorelements (1-1, 1-2, ... 1-64) und der Digitalsignale von mehreren Bilddetektorprozessorelementen (1-1, 1-2, ... 1-64) erzeugt werden, die in der Nähe des betreffenden Bilddetektorprozessorelements (1-1, 1-2, ... 1-64) angeordnet sind.
Bilddetektorprozessor nach einem der voranstehenden Ansprüche 1 bis 5, dadurch gekennzeichnet, dass sämtliche Elemente als ein Chip ausgebildet sind.