DE69635101T2

DE69635101T2 - Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät

Info

Publication number: DE69635101T2
Application number: DE69635101T
Authority: DE
Inventors: Matsugu Ohta-ku Masakazu
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-11-01
Filing date: 1996-10-31
Publication date: 2006-06-01
Anticipated expiration: 2016-11-01
Also published as: US20020044691A1; US20040066970A1; EP0774730A3; EP0774730A2; EP0774730B1; US6636635B2; US6993184B2; DE69635101D1

Description

ALLGEMEINER STAND DER TECHNIK
Die vorliegende Erfindung betrifft ein Verfahren zur Extraktion eines Zielgegenstands aus einem Bild, das ein Bildaufnahmegerät aufgenommen hat; ein Verfahren zum Ausschneiden des Gegenstands, eine Datenbankstruktur, die bei der Extraktion Verwendung findet, und ein Verfahren des Erstellens der Datenbank, und ein Bildaufnahmegerät oder ein Bildaufnahmesystem, das Gegenstandsinformation unter Verwendung dieser Verfahren erzielt. Die vorliegende Erfindung betrifft auch ein Speichermedium, das ein Programm und Daten für das Bildaufnahmegerät oder das Bildaufnahmesystem bereitstellt, oder die Datenbank speichert.
Als Technik zum Herausfinden der An-/Abwesenheit eines speziellen Gegenstands in einem Bild oder Suchen einer Datenbank für ein Bild, das einen speziellen Gegenstand enthält, und beim Extrahieren dieses Bildes wird eine Mustererkennungstechnik angewandt. Verfahren des Anwendens einer Mustererkennungstechnik nach Ausführen der Mustererkennung umfassen folgende Verfahren.
Genauer gesagt, beim ersten Verfahren wird das Bild im voraus in eine Vielzahl von Zonen segmentiert, und es wird eine Schneideverarbeitung ausgeführt, so daß nur eine spezifische Zone übrigbleibt, die zu erkennen ist. Danach wird die Ähnlichkeit mit dem Standardmuster unter Verwendung verschiedener Verfahren berechnet.
Beim zweiten Verfahren wird im voraus eine Schablone aufbereitet und abgetastet, um den Anpassungsgrad (Korrelationskoeffizienten) zu den jeweiligen Positionen zum Suchen nach einer solchen zu berechnen, bei der der berechnete Wert gleich oder größer als ein vorbestimmter Schwellenwert ist (japanische offengelegte Patentanmeldung Nr. 6-168331).
Beim dritten Verfahren werden nach Erstellen einer Bilddatenbank Zonen von Aufbauelementen und Aufbauelementnamen in ein Bild eingegeben, um so eine Hochgeschwindigkeitssuche für das Bild zu erzielen, das ein vorbestimmtes Merkmal aufweist (japanische offengelegte Patentanmeldung Nr. 5-242160).
Da jedoch im ersten und zweiten Verfahren die Position oder Größe des speziellen Gegenstands in einem Bild oder der Tonwert oder dergleichen, der die Beleuchtungsbedingung wiedergibt, nicht im voraus bekannt sind, stellen sich folgende Probleme.
Da zunächst die Ähnlichkeit berechnet werden muß unter Verwendung einer Vielzahl von Standardmustern (Bilder, die identische Gegenstände mit unterschiedlichen Größen, Positionen, Farbtonwerten und dergleichen darstellen), ist ein beträchtlicher Rechenumfang und eine lange Rechenzeit erforderlich.
Da es im allgemeinen schwierig ist, eine spezielle Zone herauszufinden und auszuschneiden, die ein Merkmal aufweist, das nahe an einem Standardmuster liegt, stellen sich aus demselben Grund dieselben Probleme.
Drittens kann die Schablonengröße im voraus nur unter sehr beschränkten Bilderzeugungsbedingungen eingestellt werden. Sind die Bilderzeugungsbedingungen nicht bekannt, dann stellt sich dasselbe Problem wie das erste Problem. Folglich ist eine sehr lange Rechenzeit erforderlich, um die An-/Abwesenheit eines speziellen Gegenstandes herauszufinden, das Suchen nach einem Bild, das einen speziellen Gegenstand enthält und dergleichen.
Um im dritten Verfahren Zonen den Aufbauelementen und ihren Namen in einem Bild einzugeben, müssen Eingabeschnittstellen, wie eine Tastatur, eine Maus und dergleichen vorhanden sein, und wenn eine Bilderdatenbank von n aktuell von einem Bildaufnahmemittel aufgenommenen Bildern zu erstellen ist, dann müssen derartige Suchdaten nach der Bildaufnahmeoperation geschaffen werden.
Eine Datenbanksuchanwendung bezüglich Bilder, die unter Verwendung eines Bildaufnahmemittels aufgenommen wurden für ein Bild, das einen Gegenstand enthält, der allgemein als Hauptgegenstand in der Szene beabsichtigt ist, läßt sich mit den herkömmlichen Bildverarbeitungsverfahren nicht realisieren, die keine Information bezüglich der Bildaufnahme verwenden.
Als allgemeine Technik zum Auslesen (Ausschneiden) eines Bildes bekannt sind eine Farbschlüsseltechnik unter Verwendung eines speziellen Farbhintergrunds, eine Videomattechnik zum Erzeugen eines Schlüsselsignals durch Bildverarbeitung (Histogrammverarbeitung, Unterschied, Differentialverarbeitung, Kantenbetonung, Kantenführung und dergleichen) (Television Society technical report, Ausgabe 12, Seiten 29–34, 1988) und dergleichen.
Als weiteres Gerät zur Extraktion einer speziellen Zone aus einem Bild ist eine Technik in der japanischen Patentveröffentlichung Nr. 6-9062 offenbart, wobei ein Differentialwert durch einen Raumfilter gewonnen und binär umgesetzt wird, um eine Grenzlinie festzustellen, verbundene Zonen, die durch die Grenzlinie getrennt sind, werden beschriftet, und Zonen identischer Beschriftung werden extrahiert.
Eine Technik zum Ausführen des Bildextrahierens auf der Grundlage der Differenz zwischen dem Hintergrundbild ist eine klassische Technik, und kürzlich offenbart das japanische offengelegte Patent Nr. 4-216181 eine Technik zum Extrahieren oder Feststellen von Zielgegenständen in einer Vielzahl spezifischer Zonen in einem Bild durch Einstellen einer Vielzahl von Masken (= Verarbeitungszonen) in Differenzdaten zwischen Hintergrundbild und Verarbeitungsbild.
Ein Verfahren, das zur japanischen Patentveröffentlichung Nr. 7-16250 gehört, ist die Verteilung der Auftrittswahrscheinlich für den zu extrahierenden Gegenstand, der gewonnen wird auf der Grundlage farbumgesetzter Daten des aktuellen Bildes einschließlich des Hintergrundbildes und der Differenzdaten zwischen den Helligkeitspegeln des Hintergrundbilds und dem aktuellen Bild unter Verwendung eines Farbmodells zu extrahierenden Gegenstands.
Als eine der Techniken zum Auslesen eines spezifischen Gegenstandsbildes zur Extrahieren der Außenkonturlinie vom Gegenstand aus einem Bild ist ein sogenanntes Aktivkonturverfahren bekannt (M. Kass et al., "Snakes: Aktive Contour Models," International Journal of Computer Vision, Band 1, Seiten 321–331, 1987).
Bei der obenerwähnten Technik wird eine Anfangskontur, die ungefähr um den Gegenstand in passender Weise eingestellt wird, um einen Gegenstand zu umkreisen, der sich bewegt und verformt (Gestaltsänderung) und letztlich mit der Außenform des Gegenstands konvergiert. Beim Aktivkonturverfahren wird folgende Verarbeitung typischerweise durchgeführt. Genauer gesagt, eine Konturlinienform u(s), die eine Bewertungsfunktion minimiert, angegeben mit Gleichung (1), wird in Hinsicht auf eine Konturlinie u(s) = (x(s), y(s) berechnet, ausgedrückt unter Verwendung eines Parameters s, der die Koordinaten eines jeden Punkts beschreibt: E = ∫u0 E1(V(s)) + w0E0(V(s))ds (1)
E0(V(s)) = –|ΔI(u(s))|2 (3)wobei I(u(s)) der Leuchtdichtepegel bezüglich u(s) und α(s), β(s) darstellt, und wobei wo passend vom Anwender eingestellt wird. In der Technik (Aktivkonturverfahren) zum Erzielen der Konturlinie eines spezifischen Gegenstands durch Minimieren der obenerwähnten Bewertungsfunktion, festgelegt für eine Konturlinie, sind Einstellverfahren bekannt, die in den japanischen offengelegten Patentanmeldungen mit den Nummern 6-138137, 6-251148, 6-282652 als Einstellverfahren einer Anfangskontur veröffentlicht sind.
Die Farbschlüsseltechnik kann nicht außerhalb eines Hauses verwendet werden aufgrund der strikten Beschränkungen des Hintergrunds, und sie leidet auch an einem Problem der Farbauslassung. Bei der Videomattechnik muß der Anwender genau die Konturbestimmung in Einheiten von Pixeln ausführen, womit viel Arbeit und Geschicklichkeit gefordert ist.
Die Technik unter Verwendung der Differenz vom Hintergrundbild kann normalerweise nicht angewandt werden, wenn ein Bild nur vom Hintergrund mit Ausnahme eines speziellen Gegenstands nicht aufgenommen werden kann (das heißt, der Gegenstand ist sehr groß) und die Belastung für den Anwender schwer.
Da keine Bildaufnahmebedingungen (Kameraparameter und externe Bedingungen, wie Beleuchtung) berücksichtigt werden, werden Selektierfehler in der zu extrahierenden Zone sehr groß, es sei denn, das Hintergrundbild und das Bild mit dem zu extrahierenden Gegenstand werden unter denselben Bildaufnahmebedingungen und derselben festen Position erzielt. Auch die in der japanischen Patentveröffentlichung Nr. 7-16250 beschriebene Technik ist nicht geeignet zum Extrahieren eines Bildes aus einem unbekannten Gegenstand, da dies ein Farbmodell des zu extrahierenden Gegenstands erfordert.
Von den Anfangskontureinstellverfahren des zuvor beschriebenen Aktivkonturverfahrens wird im japanischen offengelegten Patent Nr. 6 138 137 eine in Bewegung befindliche Gegenstandszone auf der Grundlage der Zwischenbilddifferenz festgestellt, und eine Konturlinie wird auf der Grundlage der Konturextraktion erfaßt (Suchen der Maximalgradientenkante in einer geänderten Zone) in der Nähe der Feststellzone. Folglich kann dieses Verfahren nicht bei einem stehenden Gegenstand in einem beliebigen Hintergrund verwendet werden.
Gemäß dem japanischen offengelegten Patent Nr. 6-282652 werden Merkmalspunkte mit scharfer Kante aus einem Bild extrahiert, und Punkte mit höheren Bewertungsgraden werden ausgewählt aus einem Satz von Merkmalspunkten auf der Grundlage der Bewertungsfunktionen, wodurch die Anfangskontur eingestellt werden kann. In diesem Falle muß das Hintergrundbild eben sein oder die Bilddaten sich allmählich ändern.
Als Beispiel der Technik zum Optimieren des Kamerabetriebs und des Betriebsmodus wird nach einem Verfahren, das in der japanischen offengelegten Patentanmeldung 6-253197 beschrieben ist, der Stop eingesetzt, um eine geeignete Durchschnittsleuchtdichte zu gewinnen, nachdem das Hintergrundbild abgetastet worden ist. Danach wird das aktuelle Bild aufgenommen mit denselben Einstellwerten, und das Gegenstandsbild wird auf der Grundlage der Differenzbilddaten extrahiert.
Da andererseits der Freiheitsgrad bei der Verarbeitung und die Modifikation von Videoinformation mit dem Fortschritt der Digitalsignalverarbeitung höher wird, hat die Innenverarbeitung des Bildaufnahmemittels eine große Änderung durch eine relativ einfache Verarbeitung gesehen, wie Leuchtdichtepegel oder Farbtonumsetzung, Weißabgleich, Quantisierungsschrittumsetzung und dergleichen mit einer Kantenextrahierfunktion, und hat eine Bildextraktionsfunktion, die ein sequentielles Farbkomponentenwachstumsverfahren anwendet (Television Society technical report, Ausgabe 18, Seiten 13–18, 1994).
Da jedoch die Verfahren, die die Differenzdaten aus dem Bild nur vom Hintergrund verwenden, keinerlei Bildaufnahmebedingungen berücksichtigen (Kameraparameter und externe Bedingungen, wie Beleuchtung) mit Ausnahme der in der japanischen offengelegten Patentanmeldung Nr. 6-253197 beschriebenen Technik werden Selektierfehler der Zone, die auszulesen ist aus den Differenzdaten, sehr umfangreich, obwohl das Hintergrundbild und das Bild einschließlich dem auszulesenden Gegenstand unter denselben Aufnahmebedingungen wie bei derselben feststehenden Position gewonnen werden.
Das in der japanischen Patentveröffentlichung Nr. 7-16250 beschriebene Verfahren ist andererseits nicht geeignet zum Extrahieren eines Bildes von einem unbekannten Gegenstand, da ein Farbmodell des zu extrahierenden Gegenstands erforderlich ist.
Das Verfahren, das zu der japanischen offengelegten Patentanmeldung Nr. 6-253197 gehört, offenbart lediglich eine Technik, bei der der Einstellwert vom Stop nach Aufnehmen des Hintergrundbildes verwendet wird, nachdem ein Bild aufgenommen wurde, das einen speziellen Gegenstand unter der Voraussetzung enthält, daß das Bildaufnahmemittel an einer selben festen Position steht und dieselben Bildaufnahmebedingungen wie jene beim Aufnehmen des Bildes einschließlich nur dem Hintergrund verwendet werden. In diesem Verfahren, das den Bildaufnahmebedingungen vom Hintergrundbild die Priorität gibt, wird die Bildqualität vom zu extrahierenden Gegenstand, das heißt, ein Bild einschließlich eines speziellen Gegenstands, normalerweise nicht zu garantieren sein.
Das Farbschlüsselverfahren kann außer Haus nicht verwendet werden aufgrund strenger Beschränkungen bezüglich des Hintergrunds, und es leidet außerdem am Problem der Farbauslassung.
Auch beim Videomatverfahren muß die Konturbestimmungsoperation manuell und genau in Einheiten von Pixeln ausgeführt werden, so daß dies viel Arbeit und Geschicklichkeit erfordert.
Das Verfahren der Feststellung segmentierter Zonen durch Erfassen der Grenzlinie durch Differentialberechnungen kann kaum bei einem Gegenstand angewandt werden, der ein komplexes Texturmuster aufweist, und bietet keinerlei stabiles oder flexibles Grenzlinienfeststellverarbeitungsschema.
Ein Verfahren des Extrahierens von Information, die zu einem Gegenstand gehört, durch Ausführen einer Schablonenanpassung, das heißt, eine Technik, die verwendet werden kann zum Suchen nach einer Spur oder zum Erkennen eines speziellen Gegenstands von einem von einer Kamera aufgenommenen Bild, eine Modellbasistechnik, die auf der Grundlage einer Merkmalsvektorextraktionsverarbeitung erfolgt (Bilden eines Linienelements, Formparameterextraktion) und nachfolgender Vergleich mit einem Merkmalvektormodell von einem Merkmalvektor ist bekannt (japanische Patentveröffentlichung Nr. 6-14361, japanisches offengelegtes Patent Nr. 6-4673 und dergleichen).
Als Technik zur Bewegungsfeststellung von einem Gegenstand schneidet nach einem in der japanischen offengelegten Patentanmeldung Nr. 5-232908 veröffentlichten Verfahren der der Bewegungsextraktion zu unterziehende Abschnitt auf der Grundlage des Leuchtdichtepegels und einer Projektionskomponente Spurbewegungen bei den jeweiligen Punkten in den Gegenstandszonen in zeitseriellen Bildern.
Da jedoch im ersteren Beispiel Schablonen oder Modelle unterschiedlicher Größe für ein Zielbild entsprechend den Größenänderungen eines speziellen Gegenstands in einem Bild vorbereitet werden müssen, um in Einheiten von Zonen des Bildes anzupassen, ist eine sehr große Speicherkapazität und eine sehr lange Rechenzeit für die Merkmalsvektorextraktion und Anpassung mit Modellen erforderlich.
Der Zoomparameter oder dergleichen vom Bildaufnahmesystem muß alternativ dazu von Hand eingestellt werden, so daß die Größe des Zielbildes nahezu der des Modells gleicht. Im letzteren Beispiel ist es allgemein schwierig, einen Aktionsextraktionsabschnitt stabil auf der Grundlage des Leuchtdichtepegels und einer Projektionskomponente vom Bild auszuschneiden. Nachdem die Bewegung an den jeweiligen Punkten verfolgt ist, ist es auch schwierig, die Bewegungen der jeweiligen Punkte als eine Aktionskategorie zu interpretieren, durch Kombinieren einer derartigen Bewegungsinformation, mit Ausnahme einer einfachen Aktion.
Da beim Aufbauen eines Bildaufnahmegeräts oder Bildaufnahmesystem das Bildaufnahmemittel keinerlei Befehlsübertragungsmittel für die externe Steuerung des Bildaufnahmemodus nach Extraktion eines Gegenstands hat, oder keinerlei Bildaufnahmeparametersteuerfunktion nach Aufnehmen eines Bildes zur Gegenstandsextraktion erforderlich ist, können die Bildaufnahmebedingungen nicht zum Bildextrahieren optimal eingesetzt werden.
Die Bildaufnahmebedingungen können folglich nicht optimal entsprechend den Bildaufnahmesituationen eingestellt werden, wie bei Änderung der Beleuchtungsbedingung, der An-/Abwesenheit von Gegenstandsbewegungen, der An-/Abwesenheit von Bewegungen des Bildaufnahmemittels selbst und dergleichen zum Zwecke der Bildextraktion.
Die obige japanische offengelegte Patentanmeldung Nr. 6-253197 offenbart eine Technik, bei der eine Stopsteuereinheit eingesetzt ist, um eine passende Durchschnittsleuchtdichte nach Aufnehmen des Bildhintergrundes einzustellen, wobei das aktuelle Bild aufgenommen wird unter demselben Einstellwert wie dasjenige für das Hintergrundbild, und ein spezielles Gegenstandsbild wird extrahiert auf der Grundlage der Differenzdaten zwischen den beiden Bildern.
Da jedoch ein Bildaufnahmesystem nicht erneut optimale Bildaufnahmebedingungen zur Bildextraktion in einer Bildaufnahmeeinheit einstellen kann, die weder eine Befehlsübertragungssteuereinheit zum geeigneten Steuern des Bildaufnahmemodus aus einer externen Einrichtung nach Extraktion eines spezifischen Gegenstandsbildes hat, noch eine Steuerfunktion der Bildaufnahmeparameter, die erforderlich sind zum Aufnehmen eines Bildes, verwendet zum Extrahieren eines spezifischen Gegenstandsbildes. Die Bildaufnahmebedingungen können folglich nicht optimal entsprechend den Bildaufnahmesituationen eingestellt werden, wie Änderungen in Beleuchtungsbedingungen, die An-/Abwesenheit von Gegenstandsbewegung, die An-/Abwesenheit von Bewegungen der Bildaufnahmeeinheit selbst und dergleichen.
Wenn ein spezifisches Gegenstandsbild zu extrahieren ist durch Fernsteuern einer Kamera, einer Übertragungssteuereinrichtung, eines Übertragungssystems, dann sind Steuerbefehle und dergleichen noch nicht eingerichtet. Optimale Bildaufnahmebedingungen, wie der Feldwinkel, das Fokussieren, Beleuchtungsbedingungen (An-/Abwesenheit einer Blitzemission) und dergleichen für einen benannten Gegenstand können nicht automatisch oder interaktiv eingestellt werden.
Das Einstellen eines optimalen Feldwinkels ist als Beispiel wichtig zum Beseitigen der unerwünschten Hintergrundzone soweit wie möglich und zum effizienten Ausführen der Bildextraktionsverarbeitung. Eine derartige Funktion kann jedoch nicht realisiert werden, da die Übertragungssteuerung und die Bildaufnahmesteuersysteme zum Ausführen einer derartigen Einstelloperation zwischen der Kamera und der Endgeräteeinrichtung noch nicht vorgesehen sind.
Das Dokument von Hans-Georg Weil et al: "Bildverarbeitung: die 3. Dimension erschließen", Elektronik 18/1991, Seiten 52 bis 57, offenbart eine Technik zur Texterkennung, die eingerichtet ist auf gekrümmten Flächen oder in Form eines Rings vorgesehen ist. Eine geometrische Bildtransformation wird zum Transformieren des abgebildeten Text in Zeilen verwendet, die nachfolgend der Texterkennung unterzogen werden.
Nach einem Modus der vorliegenden Erfindung ist es eine Aufgabe der vorliegenden Erfindung, ein Gerät und Verfahren zu schaffen, womit die Hochgeschwindigkeitssuchverarbeitung eines spezifischen Gegenstands unter Verwendung von Informationen ausgeführt werden kann, die dem Bildaufnahmemodus nach Aufnehmen eines Gegenstands zugehörig ist.
Eine andere Aufgabe der vorliegenden Erfindung ist es, ein Hochgeschwindigkeitsselektieren der An-/Abwesenheit eines bekannten Gegenstands in einem Bild unter Verwendung begrenzter Bildaufnahmemodusparameter zu gewinnen.
Eine weitere Aufgabe der vorliegenden Erfindung ist es, die Rechenzeit zu verringern, die erforderlich ist für das Herausfinden der An-/Abwesenheit eines spezifischen Gegenstands.
Eine nach andere Aufgabe der vorliegenden Erfindung ist es, die Rechenzeit weiter zu reduzieren.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, eine Hochgeschwindigkeitsan-/Abwesenheitsselektionsverarbeitung eines speziellen Gegenstands zu erzielen, und zwar auf der Grundlage von Konturliniendaten, und zum Erzielen einer Gegenstandsschneideverarbeitung gleichzeitig mit der An-/Abwesenheitsselektierverarbeitung.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, die Zeit zu reduzieren, die erforderlich ist zum Herausfinden der An-/Abwesenheit eines speziellen Gegenstands auf der Grundlage lediglich von Konturliniendaten und zum Reduzieren der Schneideberechnungszeit.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, eine stabile Erfassung eines spezifischen Gegenstands zu erzielen, selbst wenn ein Standardbild und ein aktuelles Bild von einem Gegenstand unterschiedliche Größen und Gestalten im Falle der Verarbeitung haben, die auf Konturliniendaten basiert.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, eine Hochgeschwindigkeitsgegenstandsextraktion mit hoher Zuverlässigkeit unter Verwendung einer Bildaufnahmeinformation zu erzielen.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, eine Hochgeschwindigkeitstrennoperation eine spezifischen Gegenstands vom Hintergrund zu erzielen durch Ausschneiden eines Bildes in einer Konturlinie unter Verwendung von Bildaufnahmemodusparametern.
Da nach der vorliegenden Erfindung ein spezifischer Gegenstand erfaßt wird durch Vergleichen dieses Gegenstands mit einem Standard- oder Bezugsbild, das initialisiert wird auf der Grundlage einer Bildaufnahmemodusinformation, die nach Aufnehmen eines Bildes von einem Gegenstand durch eine Bildaufnahmeeinrichtung verwendet wird, wobei der spezifische Gegenstand mit Hochgeschwindigkeit erfaßt werden kann. Folglich kann ein gewünschtes Bild mit Hochgeschwindigkeit gefunden werden, und eine automatische Bildaufnahmeoperation mit einem spezifischen Gegenstand in der Mitte kann realisiert werden.
Da beispielsweise die Anfangsgröße vom Standardbild eingestellt wird auf der Grundlage der Gegenstandsentfernung nach dem Aufnehmen oder des Brennweitenparameters von der Bildaufnahmeeinrichtung, kann die Größe eine Gegenstandszone, die im Bild gegenwärtig sein kann, genau eingestellt werden, und die erforderliche Rechenzeit zum Herausfinden der An-/Abwesenheit eines spezifischen Gegenstands wird verringert. Die An-/Abwesenheitsselektionsverarbeitung eines speziellen Gegenstands kann für nur eine Zone nahe der Gegenstandsposition nach der Bildaufnahme erfolgen, und die Rechenzeit kann weiter verringert werden.
Da andererseits die Mittenposition des Standardbildes auf der Grundlage der visuellen Achsrichtung initialisiert wird nach der Bildaufnahme, kann die An-/Abwesenheitsselektionsverarbeitung eines speziellen Gegenstands erfolgen, während der Suchverarbeitungsbereich in der Bilddatenbank beschränkt wird auf einen Bereich nahe der Gegenstandsposition nach der Bildaufnahme, und die erforderliche Rechenzeit zum Herausfinden der An-/Abwesenheit eines speziellen Gegenstands kann weitestgehend verringert werden. Nach einem anderen Modus der vorliegenden Erfindung ist es eine Aufgabe der vorliegenden Erfindung, in effizienter und stabiler Weise ein spezifisches Gegenstandsbild aus einer Vielzahl von Bildern zu extrahieren, die unterschiedliche Bildaufnahmebedingungen haben.
Eine andere Aufgabe der vorliegenden Erfindung ist es, mit einem Gegenstand zu Rande zu kommen, der seine Gestalt ändert oder sich bewegt, und die Hochgeschwindigkeitsbildextraktion zu realisieren, und insbesondere eine Bildextraktion unter Verwendung einer Vielzahl von Bildern zu erzielen, die unterschiedliche Bildaufnahmebedingungen unter der Bedingung konstanter Vergrößerung haben.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, stabile Konvergenz und Hochgenauigkeit einer Aktivkonturverarbeitung zu realisieren.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, eine stabile Extraktion von Anfangskonturdaten durch geringen Rechenumfang zu erzielen.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, eine stabile Bildextraktion durch geringe Datenmenge zu ermöglichen, während der Einfluß von Rauschen unterdrückt wird.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, die Bildextraktion mit stabiler hoher Extraktionspräzision zu ermöglichen.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, Hochgeschwindigkeit, stabile Konturextraktion und Bildextraktion eines spezifischen Gegenstands durch geringen Rechenumfang zu erreichen, während der Einfluß vom Bild des Hintergrundgegenstands unterdrückt wird.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, automatisch eine Anfangskonturlinie einzustellen, und zwar mit hoher Genauigkeit, durch Aufzeigen eines Punktes im zu extrahierenden Gegenstand oder nahe der Grenzlinie (Konturlinie) vom Hintergrund unter Verwendung einer Aufzeigeinrichtung, wie einer Maus.
Gemäß einem Ausführungsbeispiel nach der vorliegenden Erfindung wird eine Anfangskontur auf der Grundlage des Vergleichsergebnisses einer Vielzahl von Bildern unterschiedlicher Bildaufnahmebedingungen eingestellt, und die Hintergrundbildzone wird beseitigt auf der Grundlage der Anfangskontur. Ein Bild eines spezifischen Gegenstands kann von daher stabil extrahiert werden, und zwar mit Hochgeschwindigkeit. Vor dem Extrahieren eines spezifischen Gegenstands durch Bildverarbeitung kann eine angenäherte Konturlinie (eine Grenzlinie vom Hintergrund) eines spezifischen Gegenstands stabil mit Hochgeschwindigkeit aus einer Vielzahl von Bildern gewonnen werden, die unterschiedliche Bildaufnahmebedingungen haben, und die erforderliche Rechenzeit zum Beseitigen der Resthintergrundbildzone kann weitestgehend verkürzt werden.
Da eine Anfangskonturannäherung zur Konturlinie des zu extrahierenden Gegenstands bei aktiv Konturverarbeitung auf der Grundlage einer Vielzahl von Bildern eingestellt wird, die unterschiedliche Bildaufnahmebedingungen haben, kann automatische Extraktion eines speziellen Gegenstands und Bewegungsbildextraktion eines Bewegungsgegenstands mit Hochgeschwindigkeit erfolgen. Von daher kann ein Bewegungsgegenstand aus einem Bewegungsbild extrahiert werden durch Verarbeiten der Verformung und Bewegung einer Annäherungskonturlinie, und Hochgeschwindigkeitsbildextraktion kann realisiert werden.
Da die aus einer Vielzahl von Bildern mit unterschiedlichen Bildaufnahmebedingungen extrahierten Anfangskonturdaten ungefähr durch Interaktivmodifikation eingestellt werden können, lassen sich spezielle Gegenstände hochpräzise extrahieren, und die Stabilität der Hintergrundbeseitigungsverarbeitung und Bildextraktionspräzision kann verbessert werden unter Verbindung einer Modifikationsvorrichtung einer Annäherungskonturlinie.
Beispielsweise kann eine Annäherungskonturlinie stabil erzielt werden aus zwei Bildern mit unterschiedlichen Fokussierzuständen, womit solchermaßen weitestgehend die Bildextraktionsgenauigkeit und Verarbeitungsgeschwindigkeit verbessert wird.
Nach einem noch anderen Modus der vorliegenden Erfindung ist es eine Aufgabe der vorliegenden Erfindung, ein Bildextraktionsgerät mit großem Spielraum für Bildunterschiedsaufnahmebedingungen in jeweiligen Bildern nach Auslesen eines spezifischen Gegenstands durch Vergleichen einer Vielzahl von Bildern bereitzustellen.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, die zu extrahierende Zone gemäß der obigen Aufgabe zu identifizieren, und zwar unter Verwendung einer einfachen Bildverarbeitungseinrichtung.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, ein Hochqualitätsbild vom zu extrahierenden Gegenstand zu erzielen.
20 Eine noch andere Aufgabe der vorliegenden Erfindung ist es, eine effiziente Verarbeitung zu erzielen, wie Bildeditieren, Modifizieren, Übertragungsoperationensausführung und dergleichen.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, die Bildextraktion mit verringerter Empfindlichkeit gegenüber Verwackeln nach der Bildaufnahme zu ermöglichen, Positionsvariationen eines Bildaufnahmemittels und Bewegungen in der Positur.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, den Spielraum für Variationen bei der Vergrößerungsbedingung, beim Fokussierzustand, beim Kontrast, bei der Beleuchtungsbedingung und dergleichen zu vergrößern.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, die Bildextraktion mit großem Spielraum für Variationen bei der Bildaufnahmebedingung zu ermöglichen.
Da gemäß einem Ausführungsbeispiel nach der vorliegenden Erfindung Bildaufnahmebedingungen aufgezeichnet werden und Bilddaten auf der Grundlage der aufgezeichneten Bildaufnahmebedingungen umgesetzt werden, wenn ein spezifischer Gegenstand ausgelesen wird durch Vergleich einer Vielzahl von Bildern, das heißt, ein registriertes Bild und das aktuelle Bild, unterschiedliche Vollbildern im Bewegungsbild und dergleichen kann der Spielraum für unterschiedliche Bildaufnahmebedingungen der jeweiligen Bilder vergrößert werden. Wenn von daher ein spezifisches Gegenstandsbild aus dem Hintergrundbild extrahiert wird, kann der Gegenstand in befriedigender Weise extrahiert werden, ungeachtet sehr geringer Variationen der Position vom Bildaufnahmemittel aufgrund von Kamerawackeln, Unterschieden in der Belichtungsbedingung, Verstärkungsvariationen vom Sensor und dergleichen. Der Spielraum für Variationen, beispielsweise bei der Beleuchtungsbedingung, läßt sich erhöhen, ohne daß irgend ein Modell verwendet wird, das zum auszulesenden Gegenstand gehört, wie ein Farbmodell.
Da Bilddaten vom Hintergrundbild umgesetzt werden unter Verwendung eines Bildes, einschließlich dem speziellen Gegenstand, der unter denselben Bildaufnahmebedingungen wie jene aufgenommen wurden, die verwendet werden nach Aufnehmen des Hintergrundbildes, kann der Spielraum für Variationen in den Bildaufnahmebedingungen und Kameraparametern auf der Grundlage sowohl des Hintergrundbildes als auch des Bildes erhöht werden, das einen speziellen Gegenstand enthält, und ein hochqualitatives Gegenstandsbild kann extrahiert werden, unabhängig von Bildaufnahmebedingungen, die nach Aufnehmen des Hintergrundbildes verwendet werden. Ein hochqualitatives scharf gestelltes Bild des auszuschneidenden Gegenstands kann somit abgegeben werden.
Da beispielsweise die Bildaufnahmebedingungen eine Belichtungsmenge, Scharfeinstellzustand und die An-/Abwesenheit des Blitzes beinhalten, kann ein Bild eines spezifischen Gegenstands aus einer Vielzahl von Bildern extrahiert werden, die unter unterschiedlichen Bildaufnahmebedingungen aufgenommen wurden, und von daher kann die Bildextraktion mit großem Spielraum für Variationen bei der Vergrößerungsbedingung, dem Fokussierzustand, dem Kontrast, der Beleuchtungsbedingung und dergleichen erfolgen.
Nach einem noch anderen Modus der vorliegenden Erfindung ist es eine Aufgabe der vorliegenden Erfindung, ein Verarbeitungsgerät für aufgenommene Bilder bereitzustellen, das in stabiler Weise Information von einem spezifischen Gegenstand hoher Geschwindigkeit ausliest, während die Speicherkapazität ungeachtet des Abstands zwischen dem Gegenstand und dem Bildsensor und der Größe des Bildschirms gesichert wird.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, ein Verarbeitungsgerät für aufgenommene Bilder zu schaffen, das kaum von Betrachtungswinkeldifferenzen des Gegenstands beeinflußt wird.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, ein Verarbeitungsgerät für aufgenommene Bilder zu schaffen, das leichtes Extrahieren der Entfernung zwischen dem Gegenstand des Bildaufnahmegerätes und der Gegenstandszone im Bildschirm zu schaffen, die sich automatisch auf eine genaue Modellgröße einstellen läßt, wobei die Größe der Anpassung zu unterziehen ist und das leicht und genau einen spezifischen Gegenstand extrahieren kann.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, ein Verarbeitungsgerät für aufgenommene Bilder zu schaffen, das akkurat die Gegenstandsextraktionsberechnungen ohne Beeinflussung durch Gegenstandsgrößenvariationen und dergleichen ausführen kann.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, ein Verarbeitungsgerät für aufgenommene Bilder zu schaffen, das Bewegungsinformation einer Bildaufnahmeeinrichtung aus zeitseriellen Bildern bereitzustellen, das in stabiler Weise ein Gegenstandsbild extrahieren kann, ungeachtet von Aktionsbewegungen eines Gegenstands.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, ein Verarbeitungsgerät für aufgenommene Bilder zu schaffen, das Fehlausrichtung zwischen Mitte vom Schablonenmodell und Mitte der Gegenstandszone und außerdem Hochgeschwindigkeitsverarbeitung ausführen kann.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, ein Verarbeitungsgerät für hochpräzise aufgenommene Bilder zu schaffen, das nicht durch Variationen im Hintergrundmuster beeinflußt wird.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, ein hochgenaues Verarbeitungsgerät für aufgenommene Bilder zu schaffen, das die Gegenstandsentfernung erfassen kann, selbst bei Dunkelheit.
Da nach einem Ausführungsbeispiel der vorliegenden Erfindung ein Schablonengrößenbestimmungsmittel, das den Größenbereich einer Schablone bestimmt, die auf der Grundlage des Ausgangssignals aus einem Entfernungsmesser eingerichtet ist, verkleinert/vergrößert werden kann, läßt sich Hochgeschwindigkeitsinformationsextrahieren eines spezifischen Gegenstands stabil ausführen, während der Speicherkapazität verringert wird, ungeachtet der Entfernung zwischen Gegenstand und Bildaufnahmemittel oder Größe des Bildschirms.
Da andererseits eine Vielzahl von Schablonen, die aufgrundlage von Bildern erzeugt werden, gesehen aus unterschiedlichen Sehpunkten oder Sehrichtungen, werden von einem identischen Gegenstand gespeichert, wobei die Informationsextraktion eines spezifischen Gegenstands kaum durch Sehwinkelunterschiede vom Gegenstand beeinflußt wird.
Da beispielsweise die Schablonengröße in einem vorbestimmten Bereich auf der Grundlage der Gegenstandsentfernung bestimmt, der Größeninformation eines spezifischen Gegenstands und optischer Parameter der Bildaufnahmeeinrichtung, wird eine genaue Modellgröße eingestellt, die der Anpassung automatisch unterzogen wird.
Das Informationsextrahieren eines spezifischen Gegenstands kann auch erfolgen, ohne empfindlich beeinflußt zu werden durch Gegenstandsgrößenvariationen.
Nach einem noch anderen Modus der vorliegenden Erfindung ist es eine Aufgabe der vorliegenden Erfindung, Hochgeschwindigkeitsgegenstandsextraktion zu ermöglichen und das Steuern der für das Erzielen hochqualitativer zu extrahierender Bilder zuzulassen.
Eine andere Aufgabe der vorliegenden Erfindung ist es, die Externsteuerung der Eigenschaften bei der Bildaufnahmeoperation für die Gegenstandsextraktion zu ermöglichen, und die Übertragung des extrahierten Bildes an einen fernen Ort zu ermöglichen.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, eine Externsteuerung der Bildaufnahmeparameter für die Gegenstandsextraktion zu ermöglichen, sowie die Übertragung des extrahierten Gegenstandsbildes an einen entfernten Ort.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, automatisch die Bildaufnahmebedingungen zur Gegenstandsextraktion einzurichten und die automatische Parametersteuerung auszuführen.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, die Handhabbarkeit der Bildeingabeeinrichtung nach Gegenstandsextraktion zu verbessern.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, eine Bildeingabeeinrichtung zum Ausführen interner Vorverarbeitung eines Bildes zu schaffen, das für die präzise Gegenstandsextraktion erforderlich ist, und die für die Bildaufnahmeoperation erforderliche Zeit abzukürzen, bis die Ausgabeoperation des extrahierten Bildes erfolgt.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, das Ausschneiden eines Bildes eines spezifischen Gegenstands aus einem beliebigen Hintergrund zu stabilisieren, ungeachtet der Beleuchtungsbedingungen.
Eine noch andere Aufgabe der vorliegenden Erfindung, die Hochgeschwindigkeitsgegenstandsextraktion zu ermöglichen, ohne von den Beleuchtungsbedingungen beeinflußt zu werden, und die Belichtungsmengensteuerung und die Bildausschneidesteuerung zu erzielen, auf der Grundlage darauf, um die Hochqualitativbildextraktion eines spezifischen Gegenstands zu realisieren.
Eine noch andere Aufgabe der vorliegenden Erfindung ist die selektive Verwendung geeigneter Bildaufnahmeparameter, um so hochqualitative Bilder und Ausschnittsbilder und Hochgeschwindigkeitsverarbeitung gemäß den Beleuchtungsbedingungen sowie die Gegenstandsentfernung nach Bildaufnahme zu erzielen.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, die Ausschnittbilder mit Hochgeschwindigkeit bei den Bildaufnahmeoperation mit einer Vielzahl von Bildaufnahmebedingungen zu stabilisieren.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, automatisch einen passenden Bildkompressionsmodus gemäß der Tatsache auszuwählen, der berücksichtigt, ob das auszuschneidende Bild ein Stehbild oder ein Bewegungsbild ist.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, ein Bild in stabiler Weise unabhängig davon auszuschneiden, ob der fragliche Gegenstand ein Bewegungsgegenstand ist, oder ob er keiner ist, wobei der Gegenstand sich relativ zur Bildaufnahmeeinrichtung bewegt.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, in passender Weise eine Bildaufnahmeoperation für das Gegenstandsextrahieren zu schaffen, ohne irgend eine Steuerung aus einem externen Endgerät über ein Übertragungsmittel oder irgend eine komplizierte manuelle Operation.
Wenn nach einem Ausführungsbeispiel der vorliegenden Erfindung eine Bildaufnahmeeinrichtung eine Bildaufnahmeoperation zum Extrahieren eines spezifischen Gegenstandsbildes ausführt, läßt sich dies einstellen oder optimal die Bildaufnahmeparameter steuern. Da die Bildqualität des extrahierten Bildes sich optimieren läßt durch Steuern der Bildaufnahmebedingungen, kann ein spezifisches Gegenstandsbild mit Hochgeschwindigkeit und mit Hochqualität extrahiert werden.
Da der Merkmalsumfang oder dergleichen eines Bildes extern gesteuert wird, kann die Bildaufnahmeoperation zum Gegenstand extrahieren und die Bildverarbeitung, die in einer Bildeingabeeinrichtung auszuführen ist, ferngesteuert werden, und das extrahierte Bild kann Online zu einem entfernten Ort übertragen werden. Da beispielsweise die Bildaufnahmeparameter sich durch externes Anliefern von Steuersignalen über ein Steuerbefehlsübertragungsmittel gesteuert werden können, können die Bildaufnahmeparameter zum Gegenstandsextrahieren extern gesteuert werden, und eine Hochbildqualität des extrahierten Bildes und eine Hochgeschwindigkeitsextraktionsverarbeitung läßt sich realisieren.
Da ein Bildaufnahmemoduseinstellmittel einen Bildeinstellmoduseinstellknopf enthält, wird die Bildaufnahmeeinstelloperation nach Betätigen des Bildaufnahmemoduseinstellknopfes gestartet, und die Steuerbeträge von Bildaufnahmeparametern werden auf der Grundlage der Bildaufnahmeparametermeßwerte eingestellt, die Bildaufnahmeparameter im Gegenstandsextraktionsmodus können automatisch eingestellt werden, und die Steuerbeträge der Bildaufnahmeparameter müssen nicht von Hand eingestellt werden.
Andere Merkmale und Vorteile der vorliegenden Erfindung werden aus der nachstehenden Beschreibung in Verbindung mit der beiliegenden Zeichnung deutlich, in der gleiche Bezugszeichen dieselben oder ähnliche Teile in allen Figuren bedeuten.
Nach einem noch anderen Modus der vorliegenden Erfindung ist es eine Aufgabe der vorliegenden Erfindung, ein Aufnahmegerät und -verfahren zu schaffen, bei dem die selektiven Steuerbildaufnahmeoperationen für das Extrahieren, Erkennen, Folgen und dergleichen eines speziellen Gegenstands entweder durch eine Fernsteueroperation mittels einer Übertragungssteuerung aus einer externen Endgeräteeinrichtung oder durch eine Betätigung der Kamera erfolgt.
Eine weitere Aufgabe der vorliegenden Erfindung ist es, ein Bildaufnahmegerät und -verfahren zu schaffen, welches in geeigneter Weise Bildaufnahmebedingungen einstellen kann, die einen Gegenstand als Mittel auf der Grundlage der Bilddaten haben, wenn eine Bildaufnahmeoperation für die Gegenstandsextraktion durch eine Fernsteueroperation erfolgt.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, ein Bildaufnahmegerät und -verfahren zu schaffen, das das Bildaufnahmesystem optimieren und automatisieren kann für das Gegenstandsextrahieren auf der Grundlage von Bilddaten.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, ein Bildaufnahmegerät und -verfahren zu schaffen, das eine Bildaufnahmeoperation zum Gegenstandsextrahieren zu einer willkürlichen Zeit und Zeitvorgabe von der externen Endgeräteeinrichtungsseite ausführen kann.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, ein Bildaufnahmegerät und -verfahren zu schaffen, das Hochgeschwindigkeitsverarbeitung aus einer Bildaufnahmeoperation zum Gegenstandsextrahieren ausführen kann, sowie eine Hochgeschwindigkeitsanzeigeverarbeitung einer Anzeige von einer Endgeräteeinrichtung.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, ein Bildaufnahmegerät und -verfahren zu schaffen, das der Endgeräteeinrichtungsseite das Steuern einer Serie von Verarbeitungsoperationen aus einer Einstelloperation von Bildaufnahmebedingungen ermöglicht zur Anzeigeoperation des ausgelesenen Bildes.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, ein Bildaufnahmegerät und -verfahren zu schaffen, das die Bildaufnahmeparameter für die Gegenstandsextraktion in schnurloser Weise fernsteuern kann.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, ein Bildaufnahmegerät und -verfahren zu schaffen, das ein Bildaufnahmeoperationssteuerprogramm extern liefert, das auf einem Aufzeichnungsmedium aufgezeichnet ist, und das eine identische Bildaufnahmeoperation für eine Gegenstandsextraktion wieder herstellen kann (die Verarbeitungssequenz in der Kamera).
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, ein Bildaufnahmegerät und -verfahren zu schaffen, das extern Bildaufnahmeoperationssteuerdaten liefern kann, die auf einem Aufzeichnungsmedium aufgezeichnet sind, und automatisch identische Bildaufnahmebedingungen zur Gegenstandsextraktion wiederherstellen kann.
Eine noch andere Aufgabe der vorliegenden Erfindung ist es, ein Bildaufnahmegerät und -verfahren zu schaffen, das automatisch eine identische Bildaufnahmeoperation später wiederherstellt, wenn eine Bildaufnahmeoperation zur Gegenstandsextraktion manuell ausgeführt wird.
Nach einem Ausführungsbeispiel der vorliegenden Erfindung steuert beim Bildaufnahmemittel ein Bildaufnahmeparametersteuermittel Bildaufnahmeparameter, und ein Bildaufnahmemoduseinstellmittel stellt einen Bildaufnahmemodus ein. Beim Rechenmittel berechnet zuerst das Bildverarbeitungsmittel Vergleichsdaten zwischen einer Vielzahl von Bildern mit den gesteuerten Bildaufnahmeparametern, und dann klassifiziert ein zweites Bildaufnahmemittel Bildzonen durch Selektieren der berechneten Vergleichsdaten. Im Endgerät führt das Datenübertragungsmittel die Datenübertragungen mit dem Bildaufnahmemittel aus, und die Bildaufnahmeparametersteuerung steuert die Bildaufnahmeparameter auf der Grundlage eines Signals aus dem Endgerät oder ein Signal aus dem Bildaufnahmemoduseinstellmittel. Bildaufnahmeoperationen zum Extrahieren, Erkennen, Verfolgen und dergleichen können folglich selektiv erzielt werden durch eine Fernsteueroperation mittels Übertragungssteuerung aus einem externen Endgerät oder einer Betätigung vom Bildaufnahmemittel (Kamera).
Im Bildaufnahmemittel steuert die Bildaufnahmeparametersteuerung alternativ die Bildaufnahmeparameter, und das Bildaufnahmemittel berechnet Vergleichsdaten zwischen der Vielzahl von Bildern mit den gesteuerten Bildaufnahmeparametern. Im Rechenmittel zeigt ein Aufzeige-/Auswahlmittel eine Gegenstandsposition im Bild auf. Wenn das Endgerät die Datenübertragung mit dem Bildaufnahmemittel ausführt, berechnet das Rechenmittel ein Bildaufnahmeparametersteuersignal auf der Grundlage des Gegenstandspositionssignals aus dem Aufzeige-/Auswahlmittel und von Bilddaten in einer vorbestimmten Größenzone mit der aufgezeigten Position als Mitte, wobei die Bildaufnahmeparametersteuerung Bildaufnahmebedingungen auf der Grundlage des Bildaufnahmeparametersteuersignals steuert und das Endgerät ein spezifisches Gegenstandsbild durch Verarbeiten des Bildes extrahiert, das gewonnen wurde unter den gesteuerten Bildaufnahmebedingungen. Von daher können die geeigneten Bildaufnahmebedingungen mit einem Gegenstand in der Mitte auf der Grundlage der Bilddaten eingestellt werden.
Ein Gerät enthält alternativ Bildanzeigemittel zum Darstellen eines Bildes, das das Bildaufnahmemittel aufgenommen hat, Aufzeig-/Auswahlmittel zum Aufzeigen des auf der Bildanzeige dargestellten Bildes und Rechenmittel mit einem Zonenselektierverarbeitungsmittel, das eine aufgezeigte Zone des Bildes herausfindet. Das Zonenselektierverarbeitungsmittel verarbeitet Bilddaten, die das Bildaufnahmemittel aufgenommen hat, und führt Ausschneideverarbeitungen mit einer Position oder Zone in einem Bildrahmenausgangssignal aus dem Aufzeig-/Auswahlmittel als Mitte aus, und das Bildanzeigemittel von der Sucheranzeige stellt das extrahierte Bildsignal aus dem Rechenmittel dar. Folglich kann eine Hochgeschwindigkeitsverarbeitung von einer Bildaufnahmeoperation zum Gegenstandsextrahieren und Hochgeschwindigkeitsanzeigeverarbeitung bei einer Kamera oder Anzeige eines Endgeräts realisiert werden.
Alternativ enthält ein Gerät ein Bildaufnahmemittel mit einer Bildaufnahmeparametersteuerung zum Steuern der Bildaufnahmeparameter und ein Speichermittel zum Speichern aufgenommener Bilddaten, ein Bildanzeigemittel zum Darstellen eines Bildes, das das Bildaufnahmemittel aufgenommen hat, Aufzeig-/Auswahlmittel zum Aufzeigen des dargestellten Bildes, einen Rechner mit einem Zonenselektiermittel zum Herausfinden einer Zone des aufgezeigten Bildes und ein Endgerät mit einem Datenübertragungsmittel, um Datenübertragungen mit dem Bildaufnahmemittel auszuführen. Die Bildaufnahmeparametersteuerung empfängt Steuerdaten aus dem Endgerät über das Datenübertragungsmittel oder den Speicher. Das Zonenselektierverarbeitungsmittel berechnet Vergleichsdaten zwischen einer Vielzahl von Bildern, die unter wenigstens zwei Aufnahmebedingungen aufgenommen wurden, einschließlich einer Standardbildaufnahmebedingung und einer nicht Standardbildaufnahmebedingung, die die Bildaufnahmeparametersteuerung eingestellt hat, und führt die Ausschneideverarbeitung mit einer Position oder Zone eines Bildrahmens Ausgangssignal aus dem Aufzeig-/Auswahlmittel als Mitte aus. Das Bildanzeigemittel stellt ein Bildsignal dar, das vom Rechner kommt. Eine Serie von Verarbeitungsoperationen von der Einstelloperation der Bildaufnahmebedingungen zur Anzeigeoperation des extrahierten Bildes können folglich von der Seite des Endgeräts gesteuert werden.
Ein Verfahren, das über einen Bildaufnahmeschritt verfügt, das den Bildaufnahmeparametersteuerschritt des Steuerns von Bildaufnahmeparametern von einem Bildaufnahmegerät enthält, und ein Bildaufnahmemoduseinstellschritt des Einstellens eines Bildaufnahmemodus, wobei der Rechenschritt einen ersten Bildverarbeitungsschritt des Berechnens von Vergleichsdaten zwischen einer Vielzahl von Bildern mit den gesteuerten Bildaufnahmeparametern und dem Bildverarbeitungsschritt des Klassifizierens von Bildzonen durch Herausfinden der berechneten Vergleichsdaten und den Datenübertragungsschritt des Ausführens von Datenübertragungen zwischen dem Bildaufnahmegerät und dem Endgerät enthält. Da der Bildaufnahmeparametersteuerschritt die Bildaufnahmeparameter auf der Grundlage eines Signals aus dem Endgerät oder eines Signals steuert, das im Bildaufnahmemoduseinstellschritt eingestellt wurde, können Bildaufnahmeoperationen zum Extrahieren, Erkennen, Verfolgen und dergleichen eines Gegenstands in selektiver Weise durch eine Fernsteueroperation mittels einer Übertragungssteuerung von der externen Endgeräteeinrichtung oder einer Betätigung des Bildaufnahmemittels (Kamera) erfolgen.
Ein Verarbeitungsverfahren für aufgenommene Bilder verfügt alternativ über einen Bildaufnahmeschritt, der den Bildparameteraufnahmeschritt und des Steuerns von Bildaufnahmeparametern von einem Bildaufnahmegerät enthält, und den Bildaufnahmeschritt des Berechnens von Vergleichsdaten zwischen einer Vielzahl von Bildern mit den gesteuerten Bildaufnahmeparametern dem Rechenschritt des Aufzeigens einer Gegenstandsposition im Bild unter Verwendung einer Aufzeig-/Auswahleinrichtung sowie den Datenübertragungsschritt des Ausführens von Datenübertragungen zwischen dem Bildaufnahmegerät und einer Endgeräteeinrichtung. Der Rechenschritt erzeugt ein Bildaufnahmeparametersteuersignal auf der Grundlage eines Gegenstandspositionssignals aus der Aufzeig-/Auswahleinrichtung und Bilddaten in einer vorbestimmten Größenzone mit der aufgezeigten Position als Mitte, der Bildaufnahmeparametersteuerschritt steuert die Bildaufnahmebedingungen auf der Grundlage des Bildaufnahmeparametersteuersignals, und die Endgeräteeinrichtung extrahiert ein spezifisches Gegenstandsbild durch Verarbeiten eines Bildes, das unter den Bildaufnahmebedingungen gewonnen wurde. Geeignete Bildaufnahmebedingungen mit einem Gegenstand in der Mitte können folglich auf der Grundlage von Bilddaten eingestellt werden.
Andere Merkmale und Vorteile der vorliegenden Erfindung werden aus der nachstehenden Beschreibung in Verbindung mit der beiliegenden Zeichnung deutlich, in der gleiche Bezugszeichen dieselben oder ähnliche Teile in allen Figuren bedeuten.
KURZE BESCHREIBUNG DER ZEICHNUNG
1 ein Funktionalblockdiagramm, das die Anordnung grundlegender Teile eines Gerätes nach der vorliegenden Erfindung zeigt;
2 ist ein Systemblockdiagramm, das ein Ausführungsbeispiel zeigt, das die Funktionen gemäß 1 realisiert;
3 ist eine Ansicht, die ein Beispiel vom Format eines Bilddatenkopfabschnitts zeigt;
4 ist ein Ablaufdiagramm zur Erläuterung der Verarbeitungssequenz oder der Prozedur eines Ausführungsbeispiels beim Initialisieren;
5 ist ein Ablaufdiagramm, das eine weitere Verarbeitungssequenz vom Ausführungsbeispiel des Initialisierens erläutert;
6 ist ein Ablaufdiagramm zum Erläutern einer noch anderen Verarbeitungssequenz des Ausführungsbeispiel der Initialisierung;
7 ist ein Ablaufdiagramm zum Erläutern einer noch anderen Verarbeitungssequenz des Ausführungsbeispiels der Initialisierung;
8 ist eine Ansicht, die Beispiele von Merkmalselementen (Kreuzmuster) zeigt, die in 7 zu extrahieren sind;
9 ist ein Funktionalblockdiagramm, das eine andere Anordnung vom grundsätzlichen Teil eines Geräts nach der vorliegenden Erfindung zeigt;
10 ist ein Systemblockdiagramm, das ein Ausführungsbeispiel zeigt, das die Funktionen gemäß 9 realisiert;
11 ist ein Ablaufdiagramm, das die Verarbeitungssequenz eines Ausführungsbeispiels von Konturextraktion zeigt;
12 ist ein Ablaufdiagramm, das eine weitere Verarbeitungssequenz des Ausführungsbeispiel der Konturextraktion zeigt;
13 ist ein Ablaufdiagramm, das eine noch andere Verarbeitungssequenz vom Ausführungsbeispiel des Konturextrahierens zeigt;
14 ist ein Blockdiagramm, das eine weitere Systemanordnung der vorliegenden Erfindung zeigt;
15 ist eine Ansicht, die die Verarbeitung von Prozessen für Bilddaten zeigt, wobei die vorliegende Erfindung angewandt wird;
16 ist ein Funktionalblockdiagramm, das eine noch andere Anordnung vom Grundteil eines Gerät nach der vorliegenden Erfindung zeigt;
17 ist ein Systemblockdiagramm, das ein Ausführungsbeispiel zeigt, das die Funktionen gemäß 16 realisiert;
18 ist ein Ablaufdiagramm, das die Sequenz der Grundverarbeitung bei der Bildumsetzung zeigt;
19 und 20 sind Blockdiagramme, die die Anordnung einer Bilddatenumsetzeinheit zeigen;
21 ist ein Ablaufdiagramm, das die Verarbeitung eines anderen Ausführungsbeispiels der Bildverarbeitung zeigt;
22 ist eine Ansicht, die ein Ausführungsbeispiel von Verarbeitungsschritten zeigt;
23 ist ein Blockdiagramm, das eine andere Anordnung eines Geräts nach der vorliegenden Erfindung zeigt;
24 ist ein Ablaufdiagramm, das die Verarbeitung einer Gegenstandsentfernungsfeststelleinheit in einem Ausführungsbeispiel einer Schablonenbestimmung zeigt;
25 ist eine Ansicht, die das Koordinatensystem und Parameter einer Bildaufnahmeeinheit im Ausführungsbeispiel der Schablonenbestimmung zeigt;
26 ist ein Ablaufdiagramm, das die Verarbeitung in einer Schablonengrößenbestimmungseinheit zeigt;
27 ist ein Ablaufdiagramm, das die Verarbeitung in einer Ähnlichkeitswertungseinheit zeigt;
28 ist ein Ablaufdiagramm, das die Verarbeitung der Ähnlichkeitsbewertungseinheit in einem anderen Ausführungsbeispiel von Schablonenbestimmung zeigt;
29 ist eine Ansicht, die Beispiele von Originalbildern zeigt, die zum Erstellen von Schablonen verwendet werden, die in einer Schablonenspeichereinheit zu speichern sind;
30 ist ein Blockdiagramm, das eine weitere Anordnung eines Geräts nach der vorliegenden Erfindung zeigt;
31 ist ein Ablaufdiagramm, das die Verarbeitung der Ähnlichkeitsbewertungseinheit nach Extraktionsauslesungsinformation (Bewegungsinformation) der Bildaufnahmeeinheit oder eines Gegenstands zeigt;
32 ist eine Ansicht, die Beispiele von Codierschablonensequenzen (Codebücher) zeigt, die Aktionskategorien darstellen;
33 ist ein Ablaufdiagramm, das die Verarbeitung nach Ähnlichkeitsbewertung durch Betonen einer spezifischen Farbkomponente in einer Schablone zeigt;
34 ist ein Ablaufdiagramm, das die Verabreitung zum Ausführen wiederholter Bewertungen zeigt, während die Auflösung von niedriger Auflösung auf hoher Auflösung nach Ähnlichkeitsbewertung zeigt;
35 ist ein Funktionalblockdiagramm, das eine andere Anordnung eines Hauptteils vom Gerät nach der vorliegenden Erfindung zeigt;
36 ist ein Blockdiagramm, das ein Hauptteil der Bildverarbeitungskamera zeigt, die die Gegenstandsextraktion durch Fokussiersteuerung ausführt;
37 ist ein Ablaufdiagramm, das die grundlegende Verarbeitung einer Bildeingabeeinrichtung im Gegenstandsextraktionsmodus zeigt;
38A und 38B sind Graphen, die die Beziehung zwischen Änderungen bei Bildaufnahmeparametern und Bildeigenschaften zeigen;
39 ist ein Ablaufdiagramm, das die grundlegende Steuersequenz eines Bildeingabegrundkörpers von der Einstelloperation des Gegenstandsextraktionsmodus zur Ausgabeoperation eines extrahierten Bildes zeigt;
40 ist ein Blockdiagramm, das ein Beispiel von einem Bildextraktionssystem zeigt;
41 ist ein Blockdiagramm, das einen Hauptteil einer Bildverarbeitungskamera zeigt, der ein Bild in Hochgeschwindigkeit aufnimmt;
42 ist ein Blockdiagramm, das einen Hauptteil der Bildverarbeitungskamera zeigt, die Gegenstandsextrahieren durch Belichtungsmengensteuerung ausführt;
43 ist ein Blockdiagramm, das einen Hauptteil einer Kamera zeigt, die ein Bild im Gegenstandsextraktionsmodus aufnimmt, und zwar in einer speziellen Szene während eine Bewegungsbildaufnahmeoperation;
44 ist ein Blockdiagramm, das die Anordnung eines Bildaufnahmesystems nach einem anderen Ausführungsbeispiel der vorliegenden Erfindung zeigt;
45 ist ein Blockdiagramm, das die Innenanordnung einer Kamera 701 zeigt;
46 ist ein Graph, der die Beziehung zwischen Fokussiersignal und Bildaufnahmeposition der Fokussierlinse zeigt, wenn die Bildaufnahmeoperation unter einer Vielzahl von Bildaufnahmebedingungen auf der Grundlage der Fokussiersteuerung erfolgt;
47 ist eine erläuternde Ansicht, die die Funktionen in einem Basisbildaufnahmesystem zeigt, an das eine Kamera und eine Endgeräteeinrichtung angeschlossen sind;
48A und 48B sind Ablaufdiagramme, die die Bildextraktionsverarbeitungssequenz zeigen;
49 ist ein Blockdiagramm, das die Anordnung eines Bildaufnahmesystems nach einem anderen Ausführungsbeispiel der vorliegenden Erfindung zeigt;
50 ist eine schematische erläuternde Ansicht, die die Anordnung eines Digitalkopierers zeigt; und
51 ist eine schematische erläuternde Ansicht, die die Anordnung einer Bildeingabeausrüstung zeigt.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
<Beispiel der Steuerungsinitialisierung vom Standardbild>
Ein Ausführungsbeispiel eines Gegenstandsextraktionsverfahren und einer Bildaufnahmeeinrichtung nach der vorliegenden Erfindung sind nachstehend anhand der beiliegenden Zeichnung beschrieben.
1 ist ein Funktionalblockdiagramm, das die Anordnung eines Hauptteils eines Bildaufnahmegeräts nach der vorliegenden Erfindung zeigt. Unter Bezug auf 1 bedeutet Bezugszeichen A1 eine Bildaufnahmeeinheit; Bezugszeichen B1 bedeutet eine Bildaufnahmemodusextraktionseinheit zum Feststellen des Bildaufnahmezustands; Bezugszeichen C1 bedeutet eine Bildaufnahmemodusspeichereinheit; Bezugszeichen D1 bedeutet eine Bildspeichereinheit; Bezugszeichen E1 bedeutet eine Standardbildspeichereinheit; Bezugszeichen F1 bedeutet eine Standardbildinitialisierungseinheit; Bezugszeichen G1 bedeutet eine Bildvergleichereinheit; Bezugszeichen H1 bedeutet eine Bildausschneideeinheit; und Bezugszeichen I1 bedeutet eine Bildausgabeeinheit.
Die Bildaufnahmeeinheit A1 nimmt ein Gegenstandsbild auf, um ein aktuelles Aufnahmebild zu schaffen. Die Bildaufnahmemodusextraktionseinheit B1 extrahiert den Bildaufnahmemodus, der verwendet wird, wenn die Bildaufnahmeeinheit A1 ein Gegenstandsbild aufnimmt. In diesem Ausführungsbeispiel extrahiert die Bildaufnahmeextraktionseinheit B1 wenigstens entweder ein Fokussiersignal nach Bildaufnahme, Brennweitendaten der Bildaufnahmeeinheit A1 oder Sehachsenrichtungsdaten und Beleuchtungslichtbedingung nach Bildaufnahme. Die Bildaufnahmemodusextraktionseinheit B1 hat eine Extraktionseinheit für visuelle Achsrichtungsdaten.
Die Bildmodusspeichereinheit C1 speichert den Bildaufnahmemodus, den die Bildaufnahmemodusextraktionseinheit B1 ausgelesen hat.
Die Bildspeichereinheit D1 speichert das aktuell aufgenommene Bild aus der Bildaufnahmeeinheit A1.
Die Standardbildspeichereinheit E1 speichert ein mit einem aktuell aufgenommenen Bild zu vergleichendes Standardbild aus der Bildaufnahmeeinheit A1, das heißt, speichert Konturliniendaten einer Vielzahl spezifischer Gegenstände.
Die Standardbildinitialisierungseinheit F1 initialisiert das Standardbild auf der Grundlage des Bildaufnahmemodus, das die Bildaufnahmemodusextraktionseinheit B1 extrahiert hat. Beispielsweise setzt die Standardbildinitialisierungseinheit F1 der Anfangsgröße des Standardbildes auf der Grundlage der Gegenstandsentfernung nach Bildaufnahme ein, oder den Brennweitenparameter der Bildaufnahmeeinheit A1.
Die Standardbildinitialisierungseinheit F1 setzt auch Konturliniendaten des Standardbildes als Anfangskontur ein, und die Mittenposition (das heißt, die baryzentrische Position) der Anfangskontur in Sehachsenrichtung. In diesem Falle wird die Mittenposition des Standardbildes entsprechend der Mittenposition des aktuell aufgenommenen Bildes initialisiert, das die Bildaufnahmeeinheit A1 auf der Grundlage der Sehachsenrichtung nach Bildaufnahme erzeugt hat.
Die Bildvergleichseinheit G1 vergleicht das initialisierte Standardbild, das die Standardbildinitialisierungseinheit F1 mit dem aktuell aufgenommenen Bild aus der Bildaufnahme A1 initialisiert hat. Beispielsweise verwendet die Bildvergleichseinheit G1 eine Aktivkontur als Konturmodell des Standardbilds und steuert die Positionen jeweiliger Punkte auf dem Konturbild, um die Basis einer vorbestimmten Bewertungsfunktion zu variieren, die einen Minimalwert annimmt, wenn Konvergenz zu einem entsprechenden Punkt auf der Konturlinie des aktuell aufgenommenen Bildes gegeben ist, das die Bildaufnahmeeinheit A1 erzeugt hat. Danach berechnet die Einheit G1 die Ähnlichkeit zwischen der Konturgestalt nach Konvergenz und die Konturgestalt des Standardbildes, oder die Ähnlichkeit zu dem Standardbild und dem Innenkonturbild. nach Konvergenz, nachdem die Bildgröße normiert ist, so daß die Konturgröße nahe der des Standardbildes gleicht.
Die Bildvergleichseinheit G1 gibt Bilddaten ab, wenn die Ähnlichkeit zwischen Standardbild und aktuell aufgenommenen Bild, erzeugt von der Bildaufnahme A1, größer als ein vorbestimmter Schwellenwert ist. Wenn das zuvor beschriebene Aktivkonturverfahren Anwendung findet, gibt die Bildvergleichseinheit Originalbilddaten mit den Grenzen einer Konturlinie aus, nachdem die Aktivkontur konvergiert.
Die Bildausschneideeinheit H1 schneidet ein Bild auf der Grundlage des Ausgangssignals von der Bildvergleichseinheit G1 aus.
Da gemäß dem Bildaufnahmegerät mit der obigen Anordnung ein spezieller Gegenstand nach Vergleich mit einem Standardbild festgestellt wird, welches auf der Grundlage der Bildaufnahmemodusinformation initialisiert wurde, verwendet, wenn die Bildaufnahmeeinheit A1 das Bild vom Gegenstand aufnimmt, kann die Hochgeschwindigkeitsfeststellung des speziellen Gegenstands realisiert werden. Ein gewünschtes Bild kann folglich mit Hochgeschwindigkeit gefunden werden, und eine automatische Bildaufnahmeoperation mit einem spezifischen Bild in der Mitte kann ausgeführt werden.
Da die Bildausschneideeinheit H1 ein Bild auf der Grundlage des Ausgangssignals von der Bildvergleichseinheit G1 ausschneidet, kann ein spezifisches Gegenstandsbild mit Hochgeschwindigkeit extrahiert werden. Da die Bildaufnahmemodusextraktionseinheit B1 weiterhin wenigstens entweder ein Fokussiersignal nach der Bildaufnahme extrahiert, Brennweitendaten der Bildaufnahmeeinheit A1 oder Sehachsenrichtungsdaten und Beleuchtungslichtbedingung nach Bildaufnahme, kann die An-/Abwesenheit eines Gegenstands auf der Grundlage der extrahierten Information herausgefunden werden.
Ob auf diese Weise ein bekannter Gegenstand im Bild präsent ist, kann mit Hochgeschwindigkeit herausgefunden werden. Die Größe einer Gegenstandszone, die in einem Bild vorhanden sein kann, kann ungefähr eingestellt werden, und die Rechenzeit, die zum Herausfinden der An-/Abwesenheit eines Gegenstands erforderlich ist, kann weitestgehend verkürzt werden.
Die Standardbildinitialisierungseinheit F1 setzt die Anfangsgröße des Standardbildes auf der Grundlage der Gegenstandsentfernung nach der Bildaufnahme oder des Brennweitenparameters von der Bildaufnahmeeinheit A1 ein. Die Größe einer Gegenstandszone, die in einem Bild gegeben sein kann, läßt sich folglich genau einstellen, und die erforderliche Rechenzeit zum Herausfinden der An-/Abwesenheit eines Gegenstands kann weitestgehend verkürzt werden. Die An-/Abwesenheitsselektierverarbeitung eines Gegenstands kann für nur eine Zone nahe der Gegenstandsposition nach Bildaufnahme erfolgen, und die Rechenzeit kann weiter verkürzt werden.
Da die Bildaufnahmemodusextraktionseinheit B1 die Sehachsenrichtungsdatenextraktionseinheit besitzt, kann die Einstellposition der Mittenposition vom Standardbild auf der Grundlage der Sehachsenrichtung initialisiert werden, und zwar nach Bildaufnahme, und die An-/Abwesenheitsselektierverarbeitung eines Gegenstands kann ausgeführt werden, während der Suchverarbeitungsbereich in einer Bilddatenbank eingeschränkt wird auf einen Bereich nahe der Gegenstandsposition nach Bildaufnahme. Die erforderliche Rechenzeit zum Herausfinden der An-/Abwesenheit eines Gegenstands kann folglich weitestgehend verkürzt werden.
Da die Standardbildspeichereinheit E1 weiterhin Konturliniendaten einer Vielzahl von spezifischen Gegenständen speichert, kann die An-/Abwesenheit eines Gegenstands mit Hochgeschwindigkeit aufgrundlage der Konturliniendaten herausgefunden werden, und die zum Herausfinden der An-/Abwesenheit eines Gegenstands kann verkürzt werden.
Da die Standardbildinitialisierungseinheit F1 Konturliniendaten des Standardbildes als Anfangskontur einsetzt, und da die Mittenposition der Anfangskontur in Sehachsenrichtung eingesetzt wird, kann die Rechenzeit, die zum Herausfinden der An-/Abwesenheit eines Gegenstands auf der Grundlage der Konturdaten weitestgehend verkürzt werden.
Selbst wenn das Standardbild und das aktuell aufgenommene Bild unterschiedliche Größen haben oder unterschiedliche Gestalten haben, kann ein spezifischer Gegenstand andererseits stabil festgestellt werden. Weiterhin kann ein spezifisches Gegenstandsbild automatisch separiert und extrahiert werden aus dem Hintergrund mit Hochgeschwindigkeit durch Ausschneiden eines Bildes innerhalb den Grenzen einer Konturlinie, womit hohe Zuverlässigkeit und Hochgeschwindigkeitsgegenstandextraktion sichergestellt sind.
Ein Ausführungsbeispiel des Bildaufnahmegeräts und des Gegenstandextraktionsverfahren nach der vorliegenden Erfindung sind nachstehend in mehr Einzelheiten beschrieben.
2 ist ein Blockdiagramm, das die Systemanordnung dieses Ausführungsbeispiels zeigt. Unter Bezug auf 2 bedeutet Bezugszeichen 101 eine Bildaufnahmeeinheit; Bezugszeichen 102 bedeutet ein optisches Abbildungssystem mit einem Zoomobjektiv 103, einer Objektivmotortreiberantriebssteuerung; Bezugszeichen 104 bedeutet einen Sensor; Bezugszeichen 105 bedeutet eine Bildaufnahmemodusextraktionseinheit; Bezugszeichen 106 bedeutet eine Bildspeichereinheit; Bezugszeichen 107 bedeutet einen Sucher, der als Monitor dient; Bezugszeichen 108 bedeutet eine Sehachsenfeststelleinheit zum Erfassen der Sehachse einer Bedienperson im Sucherbildschirm; Bezugszeichen 109 bedeutet eine Standardbilddatenbank; Bezugszeichen 110 bedeutet eine Standardbildinitialisierungseinheit; Bezugszeichen 111 bedeutet eine Bildvergleichereinheit; Bezugszeichen 112 bedeutet ein Endgerät; Bezugszeichen 113 bedeutet eine Bildausschneideeinheit; und Bezugszeichen 114 bedeutet eine Bildausgabeeinheit.
Angemerkt sei, daß die Bildaufnahmeeinheit 101 aufgebaut ist mit einer Videokamera. Die Bildspeichereinheit 106, die Bildvergleichereinheit 111, die Bildausschneideeinheit 113, die Bildausgabeeinheit 114 und die Standardbildinitialisierungseinheit 113 sind beispielsweise aufgebaut aus einem Mikrocomputer, und die Datenbank 109 ist ein an den Mikrocomputer angeschlossener Speicher. Die Speicherart ist nicht auf eine spezielle beschränkt und kann verschiedene Halbleiterspeicher, Festplatten und dergleichen enthalten.
Die Bildaufnahmemodusextraktionseinheit 105 empfängt Eingangssignale aus der Motorantriebssteuerung 103, dem Sensor 104 und der Sehachsenrichtungsfeststelleinheit 108 und extrahiert ein Fokussierselektiersignal aufgrund der Bilddaten, der Brennweiteninformation und des Sehachsenparameters nach Bildaufnahme von diesen Eingangssignalen.
Nachstehend erläutert ist ein Fall, bei dem das Gegenstandextraktionsverfahren dieses Ausführungsbeispiels auf die An-/Abwesenheitsselektierverarbeitung eines Portraitbildes angewandt wird.
Die Bildaufnahmeeinheit 101 empfängt einen Linsenantriebsbetrag (einer der Zoomparameter) von beispielsweise einem Zoomobjektiv auf der Objektivmotorantriebseinheit 103 nach Bildaufnahme und schlägt in einer Umsetztabelle nach zwischen dem Objektivsantriebsbetrag und der Brennweite, welche Tabelle im Innenspeichermittel (beispielsweise ein ROM) von der Bildaufnahmemodusextraktionseinheit 105 gespeichert ist, wodurch der Schätzwert von der Brennweite nach Bildaufnahme angefordert wird.
Die Bildaufnahmeeinheit 101 berechnet die zugehörige Position bezüglich des Bildrahmens auf der Grundlage des Durchschnittswertes von Daten aus der Sehachsenrichtungsfeststelleinheit 108 für mehrere zehn bis hundert ms, bevor der Auslöser betätigt wird. Die Bildaufnahmeeinheit 101 speichert die errechnete Position als Mittenposition in Sehachsenrichtung in einem nicht dargestellten Speicher.
Ein photoelektrisch umgesetztes Bildsignal und Ausgangssignal aus dem Sensor 104 wird andererseits in der Speichereinheit 106 aufgezeichnet. Wenn das Bildsignal in der Bildspeichereinheit 106 aufgezeichnet ist, wird das Bildsignal in einem vorbestimmten Format quantisiert, und der oben erwähnte Bildaufnahmemodusparameter wird im Kopfabschnitt aufgezeichnet. Angemerkt sei, daß der Kopfabschnitt an den Kopf eines jeden Rahmens angehängt werden kann, oder daß die Bildaufnahmemodusparameter aller Rahmen in einer Kopfzone gemeinsam mit dem Rahmennummern gespeichert werden können (oder auch mit den Adressen).
3 zeigt ein Beispiel vom Kopfformat nach Aufzeichnen eines Bildsignals. Wie aus 3 ersichtlich, zeichnet der Kopfabschnitt als Bildaufnahmemodusparameter die Brennweite, den Pegel des Brennweitensignals, der dem Fokussierungsgrad der Fokussierfeststellschaltung entspricht (nicht dargestellt) auf, das heißt, den Fokussiersignalpegel, die Zentralposition der Sehachsenrichtung, die Blitz-EIN/AUS-Information und dergleichen unter Verwendung feststehender Bitlänge (Anzahl von Bits in 3 ist lediglich ein Beispiel).
Angemerkt sei, daß die Information, die dem Aufzeichnungsformat der Bildaufnahmemodusparameter zugehörig ist, vom Endgerät 112 an die Bildaufnahmemodusextraktionseinheit 105 über eine nicht dargestellte Schnittstelle gesendet werden kann, so daß die Arten und die Aufzeichnungsreihenfolge von Bildaufnahmemodusparameter im voraus vom Anwender eingestellt werden können.
Angemerkt sei, daß die Bilddaten erforderlichenfalls zum Verringern der Speicherinformationsmenge komprimiert werden können.
Die Bildspeichereinheit 106 kann in die Bildaufnahmeeinheit 101 eingebaut sein. Alternativ kann eine nicht dargestellte Schnittstelle vorgesehen sein, die aus der Bildaufnahmeeinheit 101 herausnehmbar angeordnet ist, so daß die Bildspeichereinheit 106 portabel ist.
4 zeigt den Verarbeitungsablauf der grundlegenden Operation vom Bildaufnahmegerät dieses Ausführungsbeispiels. Der Verarbeitungsablauf kann in einem ROM oder dergleichen gespeichert sein, oder er kann aus einem externen Speichermedium in einen RAM geladen werden.
Wie in 4 gezeigt, wird in Schritt S1 eine Suchanforderung von einem Bild einschließlich einer speziellen Gegenstandskategorie eingegeben (angenommen wird ein aufgenommenes Bild eines als Portraitbild, das der Vorderseite in der Mitte gegenübersteht), und zwar vom Endgerät 112.
Der Ablauf schreitet dann fort zu Schritt S2, und ein Standardbild (Portraitbild mit vollem Hintergrund oder ohne irgend einen Hintergrund) gemäß der Bildsuchanforderung wird aus der Standardbilddatenbank extrahiert, die Bilddaten speichert, den Kopfabschnitt, der die Bildinitialisierungsdaten aufzeichnet.
Der Ablauf schreitet fort zu Schritt S3, und die Standardbildinitialisierungseinheit 110 gibt Bildaufnahmemodusparameter ein. In diesem Ausführungsbeispiel gibt die Standardbildinitialisierungseinheit 110 Bildaufnahmemodusparameter durch die direkte Eingabebildmodusinformation aus der Bildaufnahmemodusextraktionseinheit 105 ein oder durch Auslesen der Bildaufnahmemodusinformation, die im Bildkopfabschnitt in der Bildspeichereinheit 106 aufgezeichnet ist.
Der Ablauf schreitet fort zu Schritt S4, und Standardbildparameter werden eingestellt. Die Standardbildparameter werden auf der Grundlage der Bildaufnahmemodusparameter eingestellt und der Gegenstandskategorie benannt, beispielsweise vom Endgerät 12, und die Bereiche der Größe und Mittenposition des spezifischen Gegenstandsmodellbildes, ausgewählt aus der Standardbilddatenbank, können auf ein Bild präsent sein, das in der eingestellten Bildspeichereinheit 106 gespeichert ist.
Genauer gesagt, der Scharfeinstellentfernungsbereich wird geschätzt aus der Brennweiteninformation und der Gegenstandszonengröße, die auf dem Bild präsent sind und auf der Grundlage von Kenntnisdaten eingestellt werden, die zu der Gegenstandsentfernung und der Gegenstandsgröße gehören, welche Daten im voraus aufbereitet wurden. Andererseits kann die Mittenposition vom Gegenstand, der auf dem aktuell aufgenommenen Bild präsent ist, aus den Sehachsenrichtungsdaten geschätzt werden.
Angemerkt sei, daß die zuvor genannten Kenntnisdaten (Umsetzungstabelle oder Umsetzungsformular) im Kopfabschnitt des Standardbildes aufgezeichnet sind. Dieses Ausführungsbeispiel nutzt die Tatsache, daß die Kopfgrößen sich unter Personen nicht beachtenswert unterscheiden, und setzt die zuvor genannte Größe und Position auf der Grundlage des Schätzwertes von der Abstandsentfernung ein (Fokussiersignalpegel) und Vergrößerungsdaten (Brennweite) unter Verwendung des Umsetzformulars (Koeffizienten), aufgezeichnet im Kopfabschnitt vom Standardbild. Angemerkt sei, daß die direkte Eingabe des Bildaufnahmemodus aus der Bildaufnahmeeinheit 101 vorzugsweise bei An-/Abwesenheitsfeststellung, beim Folgen und dergleichen eines speziellen Gegenstands erfolgt, was gleichzeitig mit der Bildaufnahmeoperation erfolgt.
Wenn beispielsweise f die Brennweite darstellt, dann stellt dp den Offset vom Fokussiersignalpegel vom Maximalwert dar, A stellt die Standardgröße vom Gegenstand dar, und v stellt den Abstand von der zweiten Prinzipalpunktposition des optischen Bildaufnahmesystems zur Bildsensoroberfläche dar, die Objektgröße s auf dem Bildschirm wird angegeben mit Gleichung (4), wie folgt (wenn die Gegenstandsentfernung vom Fokussiersignalpegel linear variiert): S = {A(v – f)/f}{1 + (v – f)dp/f} (4)
Wenn dp durch Messen erzielt wird und wenn f durch Messen der Linsenposition oder dergleichen erfolgt, kann folglich eine genaue Schablonengröße leicht unter Verwendung der Umsetzformel berechnet werden. Die Schablonengröße kann berechnet werden unter Verwendung eines Spezial-IC oder einer Umsetztabelle als Funktion von f, und dp kann im voraus in einer Speichereinheit, wie beispielsweise einem ROM, gespeichert werden, und der zugehörige Wert kann aus diesem ausgelesen werden.
Die Verarbeitung in den Schritten S5 und S6, die die Bildvergleichereinheit 111 ausführt, ist nachstehend detailliert beschrieben. Die Bildvergleichereinheit 111 schätzt die Ähnlichkeit zwischen dem initialisierten Standardbild mit spezifizierter Mittenposition und Größe und der zugehörigen Zone auf dem aktuell aufgenommenen Bild.
Angemerkt sei, daß das Berechnen zum Abschätzen der Gleichheit einen Korrelationswert verwenden kann, wobei der Absolutwert der Differenz zwischen zugehörigen Zonen (oder der Quadratsumme von Differenzen in Einheiten von Pixeln) oder andere Bewertungsfunktionen dienen.
Der Ablauf schreitet dann fort zu Schritt S7, und die Ähnlichkeit, die als Ergebnis der Verarbeitung in Schritt S6 gewonnen wurde, wird mit einem vorbestimmten Schwellenwert verglichen, um die An-/Abwesenheit vom Gegenstand herauszufinden. Die Selektierverarbeitung vom Gegenstand, wenn der vorbestimmten Bedingung genügt wird (gleich oder größer als der Schwellenwert im Falle des Korrelationsverfahrens; gleich oder kleiner als der Schwellenwert im Falle des Differenzverfahrens) wird bestimmt, daß der benannte Gegenstand im aktuell aufgenommenen Bild präsent ist.
Da im Falle des Bildaufnahmegerätes von diesem Ausführungsbeispiel die Mittenposition (Schwerpunkt) von der Kopfabschnittszone auf die repräsentative Zentralwertposition der Gegenstandbildzone gebracht wird, können Feststellfehler unterdrückt werden, und die Rechenzeit kann verkürzt werden. In diesem Falle wird die Ähnlichkeit zwischen dem initialisierten hintergrundlosen Standardbild und der zugehörigen aktuell aufgenommenen Bildzone folgendermaßen berechnet.
Genauer gesagt, die Verarbeitung zum Extrahieren und Ausschneiden von Pixeln, die zu einer Zone gehören, die dem Standardbild aus dem aktuell aufgenommenen Bild entspricht, erfolgt im obigen Schritt S5. Die Verarbeitung läßt sich leicht erzielen durch Auslesen einer Zone in einer Außenkonturlinie, die als Mittenposition des Standardbildes eingesetzt ist.
In Schritt S6 wird die Quadratsumme von Differenzwerten zwischen dem Bild in der Ausschnittzone und dem Standardbild berechnet. Da im allgemeinen sowohl die Mittenposition als auch Konturgestalt des Gegenstands Fehler enthalten, muß die Mittenposition in einem vorgegebenen Bereich eingestellt werden, und nach der Position höchster Ähnlichkeit muß gesucht werden.
Die Differenz zwischen den Konturgestalten des Standardbildes und dem aktuell aufgenommenen Bild kommt gleichermaßen zu Rande mit dem Suchen nach einer Optimalgröße des Standardbildes innerhalb vorgegebenen Bereichs. Genauer gesagt, der Unterschied (Ähnlichkeit) des Bildes selbst wird ignoriert, und ein Optimalwert vom Größenparameter wird so berechnet, daß die Größe vom Kopfabschnitt am nächsten der des aktuellen Bildes ist.
In diesem Falle setzt die Standardinitialisierungseinheit 110 die Anfangswerte ein, die zum Suchen nach Optimalwerten der Größe und der Mittenpositionsparameter auf der Grundlage der Bildaufnahmemodusparameter verwendet werden. Wenn letztlich der Wert der Ähnlichkeit der Standardbildgröße und der Mittenposition entspricht, die eine maximale Ähnlichkeit angeben, die kleiner ist (in diesem Falle der Ähnlichkeit, die auf dem Differenzverfahren basiert) oder größer ist (im Falle des Korrelationsverfahrens) als der vorbestimmte Schwellenwert, wird bestimmt, daß der Gegenstand der benannten Kategorie im aktuell aufgenommenen Bild präsent ist.
Andererseits wird die Ausschneideoperation eines gewünschten Gegenstands von der Ausschneideinheit 113 realisiert durch Extrahieren einer Zone im aktuell aufgenommenen Bild innerhalb einer Außenkonturlinie, die der Kontur vom Standardbild angenähert ist mit der optimalen Mittenposition und der optimalen Größe, die als Ergebnis der zuvor beschriebenen Verarbeitung gewonnen wurde. Angemerkt sei, daß die Bilddaten, die zum Berechnen der Ähnlichkeit verwendet werden, nicht auf die Leuchtdichtepegeldaten beschränkt sind, sondern Tonwertdaten können gemeinsam mit verwendet werden, um die Zuverlässigkeit zu verbessern.
Ein anderes Verarbeitungsbeispiel in der Bildvergleichseinheit 11 im Bildaufnahmegerät der vorliegenden Erfindung ist nachstehend beschrieben. In diesem Ausführungsbeispiel stellen nur Außenkonturliniendaten dar, daß eine Gegenstandskategorie als Standardbilddaten und das Aktivkonturverfahren verwendet wird (M. Kass, A. Witkin, und D. Terzopoulos, "Snakes: Active Contour Models", International Journal of Computer Vision, Seiten 321–331, 1987), angewandt auf die Verarbeitung in der Bildvergleichereinheit 111. Das Aktivkonturverfahren ist eine Technik zum Berechnen einer Konturlinie u(s), die folgende Bewertungsfunktion in Hinsicht auf eine Konturlinie minimiert, die angegeben wird mit u(s) = (x(s), y(s)) unter Verwendung eines Abstands s entlang der Konturlinie: E = ∫u0 E1(V(s)) + w0E0(V(s))ds (5)
Beispiele von E₁ und E₀ sind:
E0(V(s)) = –|∆I(u(s))|2 α(s), β(s) und w₀ werden angenähert vom Anwender bestimmt. In diesem Beispiel wird eine Technik zum Gewinnen der Konturlinie eines gegebenen Gegenstands durch Minimieren einer gegebenen Bewertungsfunktion in Verbindung mit den Konturlinien festgelegt, das Aktivkonturverfahren genannt wird.
Die Maximalwerte von Größe und Mittenposition vom Standardbild werden eingestellt auf der Grundlage der Bildaufnahmemodusinformation nach Bildaufnahme, wie beim obigen Ausführungsbeispiel. In diesem Ausführungsbeispiel ist es speziell erwünscht, die Größe der Anfangskontur nicht kleiner als die aktuelle Konturgröße einzusetzen.
Der Bewertungswert der Gegenstandsgrößen kann zu diesem Zweck multipliziert werden mit der Varianz β (β > 1; willkürlich vom Anwender eingestellt), um den Anfangswert der Bildgröße zu erhalten. Die An-/Abwesenheit eines spezifischen Gegenstands wird herausgefunden auf der Grundlage der Ähnlichkeit zwischen der Gestalt der letztlich konvergierten Konturlinie und dem Standardkonturlinienmodell.
Als Beispiel der Ähnlichkeit im Falle eines Portraitbildes wird eine Zone innerhalb der Standardkonturlinie, die eine optimale Mittenposition angibt, und die Größe festgelegt als eine erste Silhouette. Gleichermaßen wird die zweite Silhouette in der entsprechenden Zone im aktuell aufgenommenen Bild eingestellt, und die beiden gewonnenen Silhouettenbilder werden UNDiert, das heißt einer Überlappungsbereichsrechenverarbeitung unterzogen, so daß die Ähnlichkeit herausgefunden werden kann auf der Grundlage des berechneten Bereichs (der Anzahl von Pixeln im ersten Pixelwert).
Ein anderes Ähnlichkeitsbeispiel kann Ähnlichkeit berechnen. Nachdem in diesem Falle die Mittenposition auf einen optimalen Wert gebracht ist, wird ein Polarkoordinatensystem (γ, θ; γ: Entfernung vom Ursprung, θ: Winkel) bei der Mittenposition eingestellt, und Koordinaten (γ, θ) der jeweiligen Punkte auf der Konturlinie werden berechnet.
Dann werden die γ-Werte der jeweiligen Punkte durch eine Maximalentfernung vom Ursprung normiert. Die Ähnlichkeit (das heißt, der Korrekturwert) zwischen zwei Wellenformdaten (γ, θ) nach Normierung dient allgemein als Maß für die Ähnlichkeit zwischen den Konturformen. 5 zeigt den Verarbeitungsablauf der oben erwähnten Operation.
Wie in 5 gezeigt, wird in Schritt S101 eine Gegenstandskategorie benannt oder ausgewählt und unter Verwendung des Endgeräts oder eine vorbestimmten Eingabeeinrichtung eingegeben. Der Ablauf schreitet fort zu Schritt S102, und ein Standardkonturlinienbild der eingegebenen Kategorie wird aus der Standardbilddatenbank ausgelesen.
Der Ablauf schreitet fort zu Schritt S103, und Bildaufnahmemodusparameter (Brennweite, Fokussiersignalpegel, Sehachsenrichtung und dergleichen) werden von der Bildinitialisierungseinheit 110 eingegeben.
In Schritt S104 werden die Größe und Mittenposition des Standardkonturlinienbildes der zugehörigen Kategorie auf der Grundlage der Bildaufnahmemodusparameter eingestellt.
Der Ablauf schreitet fort zu Schritt S105, und eine Anfangsstandardkonturlinie wird auf dem aktuell aufgenommenen Bild auf der Grundlage des Einstellergebnisses von Schritt S104 eingesetzt.
Der Ablauf schreitet fort zu Schritt S106, und eine Deformationsbewegungsverarbeitung (Schlangenalgorithmus) der Anfangskontur erfolgt auf der Grundlage des Aktivkonturalgorithmus.
In Schritt S107 wird die Ähnlichkeit zwischen dem Konturlinienbild nach Konvergenz und dem initialisierten Standardkonturlinienbild bewertet.
Der Ablauf schreitet dann fort zu Schritt S108, die in Schritt S107 bewertete Ähnlichkeit wird verglichen mit einem vorbestimmten Schwellenwert, womit die An-/Abwesenheit eines spezifischen Gegenstands herausgefunden wird. Wenn im Ergebnis des Herausfindens in Schritt S108 ein Gegenstand nicht festgestellt wird, kehrt der Ablauf zurück zu Schritt S104.
Wenn der Gegenstand erfaßt ist, schreitet der Ablauf fort zu Schritt S109, und es erfolgt eine Gegenstandsausschneideverarbeitung. Der Ablauf schreitet dann fort zu Schritt S110, und eine Bildausgabeverarbeitung kommt zur Ausführung.
Ein weiteres Beispiel des Initialisierens im Gegenstandsextraktionsverfahren der vorliegenden Erfindung ist nachstehend beschrieben.
In diesem Ausführungsbeispiel erfolgt die Gegenstandsfarbprädiktion, die zur repräsentativen Farbe eines spezifischen Gegenstands gehört, ohne Verwendung einer Blitzeinrichtung nach der Bildaufnahme, und eine Zone in einem Bild innerhalb des möglichen Farbparameterbereichs wird auf der Grundlage des Prädiktionsergebnisses extrahiert.
Weiterhin werden Initialisierungsdaten (Größe, Farbkomponente) eines Standardbildes auf der Grundlage der Gegenstandsentfernungsinformation nach der Bildaufnahme eingestellt. Angemerkt sei, daß die Anfangseinstellung der Farbkomponente das Umsetzen einer Farbkomponente einer repräsentativen Farbzone in einem Gegenstandsstandardbild bedeutet, um eine repräsentative Farbkomponente zu haben, die aus einer Beleuchtungsbedingung vorhergesagt wurde.
Angemerkt sei, daß die Farbkomponenten R, G und B eines Gegenstands repräsentativ durch nachstehende Gleichungen angegeben werden unter Verwendung des Durchschnittsspektralreflexionsvermögens Q(λ), der Verteilung S(λ), einer Lichtquelle, wie einer Blitzeinrichtung, und von Farbanpassungsfunktionen r(λ), g(λ) und b(λ) als Funktionen der Wellenlänge λ: R = ∫λQ(λ)S(λ)r(λ)dλ G = ∫λQ λ)S(λ)g(λ)dλ B = ∫λQ(λ)S(λ)b(λ)dλ (6)
Das Spektralreflexionsvermögen eines Gegenstands unterscheidet sich im allgemeinen abhängig von den Materialien, aus denen er besteht, aber die Bereiche der Gegenstandsfarbkomponenten im RGB-Raum können in befriedigender Weise abgeschätzt werden. Zur Vereinfachung werden die Bereiche der jeweiligen Komponenten festgelegt mit (R – ασ_R, R + ασ_R), (G – ασ_G, G + ασ_G) und (B – ασ_B, B ασ_B), um als Mitte R, G und B zu haben, unter Verwendung des Durchschnittsreflexionsvermögens Q(λ) und von Varianzen σ_R, σ_G und σ_B, die ja im voraus bekannt sind.
Angemerkt sei, daß das obige α eine beliebige Konstante ist. Der Weg der Festlegung der Farbkomponentenbereiche, die vorherzusagen sind, ist nicht Hauptgegenstand der vorliegenden Erfindung, sondern es lassen sich auch andere Verfahren anwenden (beispielsweise Einstellung in einem Farbtonraum).
6 zeigt den charakteristischen Verarbeitungsablauf nach (oder Extrahieren) eines spezifischen Gegenstands in diesem Ausführungsbeispiel.
In Schritt S201 wird eine Gegenstandskategorie benannt oder ausgewählt und über ein Endgerät oder eine vorbestimmte Eingabeeinrichtung eingegeben. In Schritt S202 wird ein Standardbild extrahiert.
Der Ablauf schreitet fort zu Schritt S203, und Bildaufnahmemodusparameter werden eingegeben. In diesem Falle werden wenigstens die Lichtquellenfarbe und die Brennweite oder Gegenstandsentfernung eingegeben.
Der Ablauf schreitet fort zu Schritt S204, und die Standardbildinitialisierungseinheit 110 führt eine Farbkomponentenabschätzung einer repräsentativen Farbzone im Standardbild der zugehörigen Kategorie aus, und die Bildgrößeneinstellung auf der Grundlage der eingegebenen Bildaufnahmemodusparameter. Angemerkt sei, daß die repräsentative Farbzone im voraus für jeweilige Gegenstandskategorien bestimmt wird.
Der Ablauf schreitet fort zu Schritt S205, verbundene Zone mit einer vorgegebenen Farbkomponente, die vorhanden sind im jeweiligen Farbschätzbereich oder in Bildzonen in Außenkonturlinien verbundener Zonen werden vom aktuell aufgenommenen Bild extrahiert.
Der Ablauf schreitet dann fort zu Schritt S206, die Schwerpunktpositionen und Bereiche (oder umschriebene Rechteckzonengrößen) der extrahierten Zonen werden berechnet.
Der Ablauf schreitet fort zu Schritt S207, der Verarbeitung zum Verlassen nur einer Zone innerhalb eines zulässigen Bereichs erfolgt durch Bewertungsanpassung zwischen dem Bereich oder Größenbedingung und der geschätzten Größe des Gegenstands (diese Verarbeitung kann ausgeschlossen werden, um eine Hochgeschwindigkeitsverarbeitung zu erzielen, oder um mit dem Fall zu Rande zu kommen, wobei Gegenstandsbilder einander überlappend aufgenommen werden).
Der Ablauf schreitet fort zu Schritt S208, die Ähnlichkeit mit dem initialisierten Standardbild wird bewertet, um den Schwerpunkt einer jeden Zone als Mittelpunkt zu bekommen.
Danach schreitet der Ablauf fort zu Schritt S209, um die An-/Abwesenheit vom Gegenstand zu erkennen. Die An-/Abwesenheit vom Gegenstand wird herausgefunden durch Vergleich des Bewertungswertes der Ähnlichkeit mit einem vorbestimmten Schwellenwert. Wenn im Ergebnis der An-/Abwesenheitsselektierung des Gegenstands der Gegenstand gar nicht vorhanden ist, dann kehrt der Ablauf zurück zu Schritt S204; anderenfalls schreitet der Ablauf fort zu Schritt S210, um das Gegenstandsbild auszuschneiden.
Danach schreitet der Ablauf fort zu Schritt S211, um das Bild abzugeben. Wenn beispielsweise bestimmt ist, daß eine Person auf einem vorgegebenen Farbbild vorhanden ist, kann die Verarbeitung auf der Grundlage der Farbprädiktion unter Verwendung von Hautfarbe gemäß der Beleuchtungslichtbedingung als repräsentative Farbe erfolgen. In diesem Ausführungsbeispiel kann die Gegenstandsmittenposition auch auf der Grundlage der Sehachsenrichtungsdaten abgeschätzt werden. Selbst wenn die Gegenstandsmittenposition nicht im voraus gelöscht worden ist, kann jedoch eine hinreichende Hochgeschwindigkeitsverarbeitung erzielt werden, es sei denn, es gibt viele Zonen, die in den Prädiktionsfarbvektor (Tonwertvektor-Bereich) fallen.
Wenn es viele Zonen gibt, die in einen identischen Farbkomponentenbereich fallen, wird die Größe des Bildes abgeschätzt unter Verwendung der Vergrößerung und der Gegenstandsentfernungsinformation nach Bildeinstellung, und Zonen, in denen der Unterschied zwischen der Verbundzonengröße einen identischen Farbkomponentenbereich haben und deren geschätzter Wert größer wird als ein vorbestimmter Schwellenwert, können somit ausgeschlossen werden. Durch Eingrenzen des Auftrittsbereichs vom Gegenstand kann auf diese Weise die An-/Abwesenheit vom Gegenstand mit Hochgeschwindigkeit herausgefunden werden, oder der Gegenstand kann extrahiert werden.
In diesem Ausführungsbeispiel kann das aktuell aufgenommene Bild oder das Standardbild in Blöcke segmentiert werden, und die repräsentativen Leuchtdichtepegel oder repräsentativen Farbkomponenten können in Blockeinheiten ausgeschlossen werden, um ein Mosaikbild zu bekommen. Danach kann eine Serie von Verarbeitungsoperationen ausgeführt werden. In diesem Falle kann die Verarbeitungszeit weiter abgekürzt werden.
Ein weiteres Beispiel der Extraktion im Gegenstandsextraktionsverfahren nach der vorliegenden Erfindung ist nachstehend beschrieben.
7 zeigt den Hauptverarbeitungsablauf dieses Ausführungsbeispiels. In Schritt S301 wird eine Gegenstandskategorie eingegeben.
In Schritt S302 wird eine Standardkonturlinie extrahiert.
In Schritt S303 werden Bildaufnahmemodusparameter, wie die Sehachsenrichtung, die Brennweite, die Gegenstandsentfernung oder dergleichen eingegeben.
In Schritt S304 werden Standardkonturlinienbildparameter (Größe, Mittenposition) eingestellt.
In Schritt S305 wird eine Verarbeitungszone bezüglich eines aktuell aufgenommenen Bildes eingestellt.
In Schritt S306 wird eine Vorverarbeitung zur Gleichheitsbewertung ausgeführt. Die Vorverarbeitung enthält die Verarbeitung zum Einstellen von Merkmalselementen (Kreuzmuster, Liniensegmente, Kurvensegmente) Entsprechungen zwischen Merkmalselementen, eine Anfangskonturlinie und dergleichen.
In Schritt S307 wird eine Aktivkonturverarbeitung ausgeführt. In Schritt S308 wird die Ähnlichkeit zwischen dem Konturlinienbild nach Konvergenz und dem Standardkonturlinienbild bewertet.
Der Ablauf schreitet dann fort zu Schritt S309, um die An-/Abwesenheit vom Gegenstand herauszufinden. Wenn als Ergebnis des Herausfindens der Gegenstand nicht gegenwärtig ist, kehrt der Ablauf zurück zu Schritt S304, um die zuvor beschriebene Operation zu wiederholen.
Wenn als Ergebnis des Herausfindens in Schritt S309 bestimmt ist, daß der Gegenstand gegenwärtig ist, schreitet der Ablauf fort zu Schritt S310, um den Gegenstand auszuschneiden. Danach schreitet der Ablauf fort zu Schritt S311, um die Bildausgabeverarbeitung durchzuführen, womit die Verarbeitungsoperationsserie endet.
Die Verarbeitungszone ist in diesem Ausführungsbeispiel auf der Grundlage des Bildaufnahmemodusparameters beschränkt worden, wie zuvor beschrieben (die Zone kann durch ein Verfahren gemäß einem der obigen Ausführungsbeispiele begrenzt werden). Als Merkmalselemente in der Einschränkungszone werden Kreuzmuster, wie L-, T-, X-Muster oder dergleichen oder Liniensegmente und Kurvenelemente festgestellt.
Von diesen Merkmalselementen sind die Kreuzungsmuster, wie die L-, T-, X-Mustern und der gleichen jene in der erläuternden Ansicht von 8 gezeigte Muster, und das Extraktionsverfahren der Kreuzmuster ist detailliert beschrieben beispielsweise in Deriche, R. und Giraudon, G., (International Journal of Computer Vision, Ausgabe 10, Seiten 101–124, 1993), Rohr, K. und Schnoerr, C. (Image and Vision Computing, Ausgabe 11, Seiten 273–277, 1993), Iso und Schizawa (the Institute of Electronics, Information and Communication Engineers technical report, Ausgabe IE92-125, Seiten 33–40, 1993) und dergleichen.
Das Extraktionsverfahren von Kurvenelementen ist detailliert beschrieben beispielsweise in Koenderink, J. und Richards, W (Journal of Optical Society of America, Ausgabe A-5, Seiten 1136–1141, 1988), Li, S. Z. (International Journal of Computer Vision, Ausgabe 5, Seiten 161–194, 1990) und dergleichen.
Diese Merkmalselemente werden dann festgelegt als Steuerpunkte (Festpunktzone) einer bereits verarbeiteten Aktivkontur. Obwohl in diesem Fall die Größe der Anfangskontur gleichermaßen eingestellt werden kann auf der Grundlage des Bildaufnahmemodusparameters, wird der Abschnitt der Anfangskontur so ausgerichtet, daß Anfangselemente bezüglich des Standardbildes zu jenen eines Bildes passen, die die Bildspeichereinheit innerhalb eines zulässigen Bereichs liefert (das heißt, die Arten entsprechenden Merkmalselemente, die zueinander passen, und die Entfernung zwischen den Elementen ist gleich oder kleiner als ein vorbestimmter Wert). Dieses Ausführungsbeispiel ist speziell effektiv für eine akkurate Hochgeschwindigkeitsverarbeitung, wenn die Gegenstandsform einen spitzen Winkel hat.
Da gemäß diesem Ausführungsbeispiel, das ein Standardbild initialisiert, ein spezifischer Gegenstand durch Vergleich mit einem Standardbild erfaßt wird, das auf der Grundlage einer Bildaufnahmemodusinformation initialisiert wird nach Aufnehmen eines Bildes vom Gegenstand durch die Bildaufnahmeeinheit, kann der spezifische Gegenstand mit Hochgeschwindigkeit erfaßt werden. Ein gewünschtes Bild kann folglich mit Hochgeschwindigkeit gefunden werden, und eine automatische Bildaufnahmeoperation mit einem spezifischen Gegenstand als Mitte läßt sich realisieren.
Da auch das Bildausschneidemittel ein Bild auf der Grundlage des Ausgangssignals von der Vergleichseinheit ausschneidet, kann ein spezifischer Gegenstand mit Hochgeschwindigkeit ausgeschnitten werden.
Da wenigstens entweder ein Fokussiersignal nach Bildaufnahme, Brennweitendaten der Bildaufnahmeeinheit oder Sehachsenrichtungsdaten und Beleuchtungslichtbedingung nach der Aufnahme des Bildes extrahiert werden, kann die An-/Abwesenheit eines spezifischen Gegenstands auf der Grundlage der extrahierten Information herausgefunden werden, und auch ob ein bekannter Gegenstand im Bild vorhanden ist, läßt sich mit Hochgeschwindigkeit feststellen. Die Größe einer Gegenstandszone, die in einem Bild vorhanden sein kann, läßt sich folglich passend einstellen, und die Berechnungszeit, die erforderlich ist zum Herausfinden der An-/Abwesenheit vom Gegenstand, kann weitestgehend verkürzt werden.
Da die Anfangsgröße vom Standardbild auf der Grundlage der Gegenstandsentfernung nach Bildaufnahme eingestellt wird, oder dem Brennweitenparameter der Bildaufnahmeeinheit, kann die Größe der Gegenstandszone im vorhandenen Bild genau eingestellt werden, und die erforderliche Rechenzeit zum Herausfinden der An-/Abwesenheit eines spezifischen Gegenstands kann verkürzt werden. Die An-/Abwesenheitsselektierverarbeitung vom Gegenstand läßt sich von daher ausführen für lediglich eine Zone nahe der Gegenstandsposition nach Bildaufnahme, und die Rechenzeit kann weiter verkürzt werden.
Da die Mittenposition vom Standardbild auf der Grundlage der Sehachsenfeststellung nach Bildaufnahme initialisiert wird, kann die An-/Abwesenheitsselektierverarbeitung eines spezifischen Gegenstands während Begrenzen des Suchverarbeitungsbereichs in der Bilddatenbank zu einer Zone nahe der Gegenstandsposition nach Bildaufnahme ausgeführt werden, und die Rechenzeit, die erforderlich ist zum Herausfinden der An-/Abwesenheit vom Gegenstand läßt sich weitestgehend verkürzen.
Da die Konturliniendaten einer Vielzahl spezifischer Gegenstände in der Standardbildspeichereinheit gespeichert sind, kann die An-/Abwesenheit eines spezifischen Gegenstands mit Hochgeschwindigkeit herausgefunden werden unter Verwendung der Konturliniendaten, und die zum Herausfinden der An-/Abwesenheit vom Gegenstand erforderliche Rechenzeit kann weitestgehend verkürzt werden.
Da die Konturliniendaten vom Standardbild als Anfangskontur eingestellt werden, und da die Mittenposition der Anfangskontur in Sehachsenrichtung eingestellt wird, kann die Rechenzeit, die erforderlich ist zum Herausfinden der An-/Abwesenheit eine spezifischen Gegenstands unter Verwendung der Konturliniendaten weitestgehend verkürzt werden.
Da eine Aktivkontur als Konturmodell des Standardbildes verwendet wird und gesteuert wird, auf der Grundlage einer vorbestimmten Bewertungsfunktion variiert zu werden, und da die Ähnlichkeit zwischen der Konturgestalt nach Konvergenz und der Konturgestalt des Standardbildes oder da die Ähnlichkeit zwischen dem Bildinneren der konvergierten Kontur und dem Standardbild durch Normierung der Bildgröße erzielt wird, so daß die Konturgröße nahezu der des errechneten Standardbildes gleicht, kann ein spezifischer Gegenstand in stabiler Weise erfaßt werden, selbst wenn das Standardbild und das aktuell aufgenommene Bild gewisse Unterschiede in Größe und Gestalt haben.
Da Bilddaten abgegeben werden, wenn der Ähnlichkeitswert zwischen Standardbild und aktuell aufgenommenen Bild, erzeugt von der Bildaufnahmeeinheit, größer wird als ein vorgegebener Schwellenwert, kann ein gewünschtes Gegenstandsbild automatisch separiert und extrahiert werden, und zwar mit hoher Geschwindigkeit durch Ausschneiden des Bildes in der Konturlinie, und eine hoch zuverlässige Gegenstandsextraktion läßt sich mit Hochgeschwindigkeit erreichen.
Da Originalbilddaten in der Konturlinie nach der Aktivkonturkonvergenz abgegeben werden, kann hoch zuverlässige Gegenstandsextraktion unter Verwendung von Bildaufnahmeinformation mit Hochgeschwindigkeit erfolgen.
<Beispiel unter Verwendung von Bildern mit unterschiedlichen Bildaufnahmebedingungen>
Ein weiteres Ausführungsbeispiel des Bildaufnahmegerätes nach der vorliegenden Erfindung ist nachstehend anhand der beiliegenden Zeichnung beschrieben.
9 ist ein Funktionalblockdiagramm, das eine weiterer Anordnung des prinzipiellen Hauptteils eines Bildaufnahmegeräts nach der vorliegenden Erfindung zeigt. Unter Bezug auf 9 bedeutet Bezugszeichen A2 eine Bildeingabeeinheit; Bezugszeichen B2 bedeutet eine Bildaufnahmebedingungssteuereinheit; Bezugszeichen C2 bedeutet eine Aufnahme/Wiedergabeeinheit; Bezugszeichen D2 bedeutet eine Bildspeichereinheit; Bezugszeichen E2 bedeutet eine Bilddatenvergleichseinheit; Bezugszeichen F2 bedeutet eine Anfangskontureinstelleinheit; Bezugszeichen G2 bedeutet eine Hintergrundzonenbeseitigungseinheit; Bezugszeichen H2 bedeutet eine Bildausschneideverarbeitungseinheit; Bezugszeichen J2 bedeutet eine Selektions-/Aufzeigeinheit; Bezugszeichen K2 bedeutet eine Bilderzeugungseinheit; und Bezugszeichen L2 bedeutet eine Korrektureinheit.
Die Bildeingabeeinheit A2 nimmt auf und gibt eine Vielzahl von Bildern unter unterschiedlichen Bildaufnahmebedingungen ein.
Die Bildaufnahmezustandssteuereinheit B2 steuert die Bildaufnahmebedingung der Bildeingabeeinheit A2. Angemerkt sei, daß die Bildaufnahmebedingung der Bildeingabeeinheit A2 beispielsweise den Fokussierzustand oder das Scharfeinstellniveau eines Bildes betrifft.
Die Bildaufnahmezustandssteuereinheit B2 steuert das Layout eines optischen Abbildungssystems, das in der Bildeingabeeinheit A2 vorgesehen ist. Die Bildaufnahmezustandssteuereinheit B2 stellt die Steuerung mit ein auf der Grundlage der statistischen Menge einer Vielzahl von Bildern.
Die Aufzeichnungs-/Wiedergabeeinheit C2 zeichnet auf und gibt die Bildaufnahmebedingungen der Bildeingabeeinheit A2 wieder.
Die Bildspeichereinheit D2 speichert ein Bild, das die Bildeingabeeinheit A2 aufgenommen hat.
Die Bilddatenkompressionseinheit E2 vergleicht wenigstens ein Paar von Bilddaten einer Vielzahl von Bildern, die die Speichereinheit D2 speichert, und gibt Differenzdaten der Vielzahl von Bildern als Vergleichsergebnis ab.
Die Anfangskontureinstelleinheit F2 stellt eine Anfangskontur auf der Grundlage des Vergleichsergebnisses von der Bilddatenvergleichseinheit E2 ein und umfaßt eine Extraktionsverarbeitungseinheit für repräsentative Punktsequenzen (nicht dargestellt) zum Ausführen der Verarbeitung zum Extrahieren einer repräsentativen Punktsequenz der Differenzdaten aus der Bilddatenvergleichseinheit E2 und Verarbeiten zum Extrahieren einer repräsentativen Punktsequenz von Differenzdaten in einer lokalen Zone.
Die Anfangskontureinstelleinheit F2 verfügt über ein Rekursiveinstellmittel (nicht dargestellt) zum rekursiven Einstellen einer Lokalzone mit einem vorbestimmten Punkt in den Differenzdaten als Mitte.
Die Anfangskontureinstelleinheit F2 verfügt des weiteren über eine Konturpunktpositionssucheinheit (nicht dargestellt) zum Suchen nach einer Konturpunktposition in einer Lokalzone mit einem vorbestimmten Punkt als Mitte, der sich nahe der Grenze zwischen der Hintergrundbildzone und dem auszuschneidenden Gegenstand befindet und in der Zone des Gegenstands präsent ist, die auszuschneiden ist, und ebenfalls das Suchen nach einer Konturpunktposition in einer Lokalzone mit einem vorbestimmten Punkt als Mitte, der nahe der Grenze zwischen der Hintergrundbildzone und dem auszuschneidenden Bild plaziert ist und in der Hintergrundbildzone präsent ist, und eine Konturfolgeeinheit (nicht dargestellt) zum Ausführen der Konturverfolgung mit dem Konturpunkt als Startpunkt. Die Anfangskontureinstelleinheit F2 verfügt des weiteren über eine andere Konturfolgeeinheit zum Ausführen der Konturverfolgung mit der Konturpunktposition, die von der Konturpunktpositionssucheinheit als Startpunkt herausgefunden wurde.
Die Hintergrundbildzonenbeseitigungseinheit G2 entfernt eine Hintergrundbildzone innerhalb der Anfangskontur, die die Kontureinstelleinheit F2 eingestellt hat, oder eine Hintergrundbildzone in der Anfangskontur, die die Korrektureinheit L2 korrigiert hat. Die Hintergrundbildzonenbeseitigungseinheit G2 verfügt über eine Deformations-/Bewegungseinheit (nicht dargestellt) zum Verformen und Bewegen der Kontur auf der Grundlage eines vorbestimmten Bewertungsfunktionswertes, sowie über eine Konvergenzselektiereinheit (nicht dargestellt) zum Ausführen der Konvergenzselektion auf der Grundlage des Bewertungsfunktionswertes.
Die Bildausschneideverarbeitungseinheit H2 führt die Bildausschneideverarbeitung aus auf der Grundlage des Ausgangssignals aus der Hintergrundbildzonenbeseitigungseinheit G2.
Die Selektier-/Aufzeigeeinheit J2 wählt aus und zeigt Bilddaten auf, die von der Bilddatenvergleichseinheit E2 zu vergleichen sind.
Die Bilderzeugungseinheit K2 erzeugt ein Bild mit dem interessierenden Gegenstand auf der Grundlage der Anfangskonturdaten, die die Anfangskontureinstelleinheit F2 eingestellt hat.
Die Korrektureinheit L2 korrigiert die Anfangskorrektur und Bilddaten der Anfangskontur.
Da gemäß dem Bildaufnahmegerät mit der obigen zuvor beschriebenen Anordnung die Anfangskontur auf der Grundlage des Vergleichsergebnisses einer Vielzahl von Bildern eingestellt wird, die unterschiedliche Bildaufnahmebedingungen haben, und da die Hintergrundbildzone auf der Grundlage der Anfangskontur entfernt wird, kann ein spezifisches Gegenstandsbild stabil und mit Hochgeschwindigkeit extrahiert werden. Vor dem Extrahieren eines spezifischen Gegenstands durch Ausführen der Bildverarbeitung kann eine Annäherungskonturlinie (eine Grenzlinie mit Hintergrund) vom Gegenstand stabil erzielt werden mit Hochgeschwindigkeit auf der Grundlage einer Vielzahl von Bildern mit unterschiedlichen Bildaufnahmebedingungen, und die zum Entfernen der restlichen Hintergrundbildzone erforderliche Rechenzeit kann weitestgehend verkürzt werden.
Da nach einem anderen Merkmal dieses Ausführungsbeispiels die Anfangskonturannäherung an die Konturlinie des zu extrahierenden Gegenstands von der aktiven Konturverarbeitung auf der Grundlage einer Vielzahl von Bildern eingestellt wird, die unterschiedliche Bildaufnahmebedingungen haben, kann automatisches Extrahieren eines spezifischen Gegenstands und Bewegungsbildextraktion von einem Bewegungsgegenstand mit Hochgeschwindigkeit erfolgen. Von daher kann die Verarbeitung zum Verformen und Bewegen der Annäherungskonturlinie, der dynamischen Gegenstandsextraktion aus dem Bewegungsbild erfolgen, und Hochgeschwindigkeitsbildextraktion kann erzielt werden.
Da gemäß einem noch anderen Merkmal dieses Ausführungsbeispiel die Anfangskonturdaten, die aus einer Vielzahl von Bildern mit unterschiedlichen Bildaufnahmebedingungen extrahiert wurden, genau eingestellt werden können durch interaktives Korrigieren dieser, kann ein spezifischer Gegenstand mit Hochpräzision extrahiert werden. Unter Verwendung der Korrektureinheit für die Annäherungskonturlinie kann die Hintergrundbeseitigungsverarbeitung stabilisiert werden, und die Bildextraktionspräzision wird verbessert.
Nach einem noch anderen Merkmal dieses Ausführungsbeispiels kann eine Annäherungskonturlinie aus den beiden Bildern mit unterschiedlichen Fokussierzuständen stabil erzielt werden, ohne beispielsweise durch Beleuchtungsbedingung beeinflußt zu werden, und die Bildextraktionspräzision und die Verarbeitungsgeschwindigkeit kann bemerkenswert verbessert werden.
Wenn gemäß einem noch anderen Merkmal dieses Ausführungsbeispiel eine Annäherungskonturlinie (die Grenzlinie mit Hintergrund) eines spezifischen Gegenstands aus einer Vielzahl von Bildern extrahiert wird, die unterschiedliche Bildaufnahmebedingungen haben, kann der Einfluß des Rauschens aufgrund Binärumsetzung, Glättung und dergleichen verringert werden, und die Extraktionsgenauigkeit wird verbessert.
Da gemäß einem noch anderen Merkmal dieses Ausführungsbeispiels der Steuerumfang der Bildaufnahmebedingung auf der Grundlage des statistischen Merkmals von Bilddaten eingestellt wird, kann die Extraktionspräzision der Anfangskontur verbessert werden, und es kann Hochgeschwindigkeit, Hochgenauigkeit bei der Bildextraktion realisiert werden.
Der Einfluß der Bilddaten vom Hintergrundabschnitt oder dessen Variationen können gemäß einem noch anderen Merkmal dieses Ausführungsbeispiels beseitigt werden, und stabiles Bild extrahieren kann mit Hochgeschwindigkeit erzielt werden.
Nach einem noch anderen Merkmal dieses Ausführungsbeispiels kann die Positionen eines spezifischen Gegenstands aufzeigende Information und der Hintergrund in Hinsicht auf die Konturliniennachführfeststellung im voraus erzielt werden, und im Ergebnis werden die Bildeigenschaften des zu extrahierenden Gegenstands und des Hintergrunds sich benachbart zur Konturlinie befinden, die zu extrahieren ist, womit die Einstellgenauigkeit der Konturlinie und die Bildextraktionspräzision verbessert wird.
Die Anordnung und der Betrieb des Bildaufnahmegeräts von diesem Ausführungsbeispiel ist nachstehend in mehr Einzelheiten anhand der beiliegenden Zeichnung erläutert.
Das erste Ausführungsbeispiel, das Bilder mit unterschiedlichen Bildaufnahmebedingungen verwendet, ist nachstehend erläutert. Da die Steuerung der Bildaufnahmebedingung zur Bildextraktion in diesem Ausführungsbeispiel durch den Fokussierzustand gesteuert wird, indem das Layout des optischen Abbildungssystem unter der Bedingung gehalten wird, daß die Vergrößerung konstant bleibt.
10 ist ein Blockdiagramm, das die Anordnung vom Hauptteil eines Systems dieses Ausführungsbeispiels zeigt. Bezugszeichen 201 bedeutet eine Bildaufnahmeeinheit, die als Bildeingabeeinheit vorgesehen ist; und Bezugszeichen 202 bedeutet ein optisches Abbildungssystem. Bezugszeichen 203 bedeutet eine Antriebssteuereinheit für das optische Abbildungssystem. Die Einheit 203 verfügt über einen Zoommotor, einen Fokussiermotor, ein Stopsteuersystem, eine Verschlußzeitsteuereinheit und dergleichen.
Bezugszeichen 204 bedeutet einen Bildsensor, der typischerweise ein CCD-Bildaufnahmeelement ist; und Bildzeichen 205 bedeutet eine Bildaufnahmeparametermeßsteuereinheit, die über eine Objektivlayoutmeßeinheit verfügt, die nicht dargestellt ist, beispielsweise eine Zähleinheit, die die Anzahl von Ansteuerimpulsen eines Objektivmotors oder einer Objektivpositionsfeststelleinheit vom optischen Abbildungssystem 202 steuert, sowie eine Fokussierzustandsfeststelleinheit, die auch nicht dargestellt ist. Angemerkt sei, daß der Fokussierzustand durch Bildverarbeitung erfaßt werden kann.
Bezugszeichen 206 bedeutet eine Speichereinheit zum zeitweiligen Bildspeichern für Bilder mit unterschiedlichen Bildaufnahmebedingungen. Bezugszeichen 207 bedeutet eine Bilddatenvergleichseinheit zum Erzielen von Differenzdaten zwischen zwei Bildern mit unterschiedlichen Fokussierzuständen.
Bezugszeichen 208 bedeutet eine Anfangskontureinstelleinheit, die eine Verarbeitungseinheit hat, die Glättung ausführt, die die Binärumsetzung ausführt mit vorbestimmtem Schwellenwert, die Zeilenausdünnung oder dergleichen, und die eine geschlossene Konturlinie in einer vorbestimmten Zone entsprechend einem Gegenstand erzeugt, den das System aufzeigt, und der Anwender der Bilddatenvergleichseinheit 207. In diesem Falle muß die Konturlinie nicht immer genau den Gegenstand vom Hintergrund trennen.
Bezugszeichen 209 bedeutet eine Aktualisierung zur Konturpunktposition zum Aktualisieren der Abtastpunktposition auf der Kontur, um so den Wert der Bewertungsfunktion zu minimieren, der beispielsweise durch obige Gleichung (1) angegeben wurde. Bezugszeichen 210 bedeutet eine Bildausschneideverarbeitungseinheit zum Erzeugen einer Bilddatendatei, die gewonnen wird durch Codieren eines Bildes in der zu extrahierenden Zone in einem vorbestimmten Format auf der Grundlage des Aktivkonturverarbeitungsergebnisses in der Bildausschneideverarbeitungseinheit.
Bezugszeichen 211 bedeutet eine Intrakonturbildausgabeeinheit zum Abgeben des Gegenstandsbildes, das vom Hintergrund getrennt ist. Bezugszeichen 212 bedeutet die Abbildungsspeichereinheit zum zeitweiligen Halten des Bildausgangssignals aus der Bildaufnahmeeinheit 201.
Bezugszeichen 213 bedeutet eine Auswahl-/Aufzeigeinheit zum Auswählen und Aufzeigen der Anfangskontur auf dem Bildschirm einer Anzeigeeinheit 214. Die Anzeigeeinheit 213 umfaßt eine Maus oder dergleichen. Angemerkt sei, daß die Korrektursequenz in der nachstehenden Beschreibung des Ablaufdiagramms erläutert ist. Bezugszeichen 215 bedeutet ein Dateneingabeendgerät, das beispielsweise verwendet wird zum Steuern der Bildaufnahmebedingung. Die Bildaufnahmeeinheit 201 verfügt über einen Verschluß, einen Auslöser, einen Bildaufnahmestartschalter, einen Betriebsschalter, eine externe Synchronisationseinheit und dergleichen zusätzlich zu den oben aufgeführten Komponenten.
Speziell in diesem Beispiel hat die Bildaufnahmeeinheit 201 einen Aufnahmemoduseinstellschalter 216, der einen Gegenstandsextraktionsmodus oder einen Standardbildaufnahmemodus einstellen kann. Wenn im Gegenstandsextraktionsmodus der Bildaufnahmebetrieb unter Verwendung beispielsweise eines Auslöseknopfes begonnen wird, werden ein Scharfeinstellbild (Hochauflösungsbild zum Ausschneiden) und ein Niedrigauflösungsbild (unscharf eingestelltes Bild) eines Gegenstands automatisch nacheinander aufgenommen. Angemerkt sei, daß eine Vielzahl von gering auflösenden Bildern unter unterschiedlichen Bedingungen aufgenommen werden können.
Nach Abschluß der Vielzahl von Bildaufnahmeoperationen wird der Gegenstandsextraktionsmodus automatisch annulliert, oder es wird der Standardbildaufnahmemodus über den Bildaufnahmemoduseinstellschalter 216 eingestellt. Angemerkt sei, daß die oben beschriebenen Operationen zum Einstellen und Annullieren des Bildaufnahmemodus beim Endgerät 215 ausgeführt werden können.
Wie in 14 gezeigt, kann eine Bildaufnahmeeinheit 301 eine Bilddatenvergleichseinheit 307 und eine Anfangskonturextraktionseinheit 308 enthalten. In 14 wird das Anfangskonturextraktionsergebnis an eine externe Bildspeichereinheit 312 übertragen, so daß eine Bildverarbeitungseinheit den Rest der Verarbeitungsoperationen ausführt.
Die Anfangskontur läßt sich korrigieren durch Datenein-/Ausgabeoperationen zwischen der Bildspeichereinheit 312 und der Anfangskonturextraktionseinheit in der Bildaufnahmeeinheit 301 über die Übertragungseinheit, die nicht dargestellt ist, und eine Auswahl-/Aufzeigeinheit 313 (Maus oder dergleichen).
Das Verarbeitungsergebnis wird in anderer Weise aus der Anfangskonturextraktionseinheit 308 in 14 an eine Bildzwischenspeichereinheit 306 übertragen, die aufgebaut ist als auswechselbares Aufzeichnungsmedium (Band und optische Platte oder dergleichen), so daß das zeitweilig verarbeitete Ergebnis der extrahierten Anfangskontur in der Bildzwischenspeichereinheit 306 aufgezeichnet wird. Danach wird das Ergebnis der externen Bildspeichereinheit 312 zugeführt, so daß die Verarbeitung zum Bildausschneiden, die später zu beschreiben ist, ausgeführt werden kann durch ein Spezialzweckrechenmittel oder durch ein Universalrechenmittel (Bildverarbeitungseinheit, wobei ein Softwareprogramm auf einem Endgerät oder dergleichen läuft).
11 zeigt den Hauptverarbeitungsablauf von diesem Ausführungsbeispiel. Angemerkt sei, daß die nachstehende Erläuterung auf der Grundlage der in 10 gezeigten Anordnung gegeben wird, aber dasselbe gilt auch für die in 14 gezeigte Anordnung. Nachdem der Gegenstandsextraktionsmodus vom Bildaufnahmemoduseinstellschalter 216 in Schritt S401 eingestellt worden ist, wird das beste scharf eingestellte Bild vom Gegenstand, der zu extrahieren ist, aufgenommen.
Das Gegenstandsbild wird in diesem Falle durch Ansteuern der Fokussierlinse unter Verwendung einer Fokussierpegelfeststelleinheit aufgenommen (sogenannte Autofokuseinheit), um den besten Fokussierzustand durch die Fokussierzustandserfassungseinheit zubekommen. Danach wird die Fokussierlinse angetrieben (Schritt S403), und das scharf eingestellte Bild wird aufgenommen (Schritt S404).
Angemerkt sei, daß der Fokussierpegelsteuerparameter, beispielsweise das Verhältnis des gering auflösenden Bildaufnahmefokussierpegels in Hinsicht auf den besten Fokussierniveau aus dem Endgerät 215 eingegeben oder auf einer Speichereinheit aufgezeichnet wird, die nicht dargestellt ist, wie beispielsweise ein interner ROM der Bildaufnahmeeinheit 201.
Wird ein Niedrigauflösungsbild aufgenommen, dann sind andere Bildaufnahmeparameter, wie die Belichtungsmenge (Blendendurchmesser, Verschlußgeschwindigkeit) und dergleichen dieselben wie jene, die nach Aufnahme eines Hochauflösungsbildes unter Verwendung einer Bildaufnahmezustandsaufzeichnungs-/Wiedergabeeinheit angewandt werden (C2 in 9), es sei denn, diese sind im voraus eingestellt worden. Bilder werden zeitweilig in der Bildzwischenspeichereinheit 206 gespeichert oder sequentiell zur Bildvergleichseinheit 207 übertragen.
Die Bildvergleichseinheit 207 berechnet Differenzdaten zwischen hoch- und niedrig aufgelösten Bildern oder Differenzdaten zwischen den beiden unterschiedlichen Niedrigauflösungsbildern (Schritt S405). In diesem Falle werden Differenzdaten ausgewählt, die im voraus zu berechnen sind, nach Einstellen des Bildaufnahmemodus oder nach Eingabe des Bildaufnahmezustandsparameters.
Da hochfrequente Ortskomponenten aus den Differenzdaten zwischen den Niedrigauflösungsbildern ausgeschnitten werden, kann die Erzeugung unnötiger isolierter Merkmalspunkte oder isolierte Zonen nach Binärumsetzung unterdrückt werden. Andererseits werden die Differenzdaten zwischen Hoch- und Niedrigauflösungsbildern vorzugsweise beim Einstellen der Anfangskontur verwendet, wenn die Größe des zu extrahierenden Gegenstands kleiner als der gesamte Bildschirm ist. Angemerkt sei, daß der Ausgabewert eines Pixels, der einen negativen Wert durch Berechnen der Differenz angenommen hat, auf Null gesetzt werden kann, oder daß der Absolutwert der Differenz zwischen entsprechenden Pixeln abgegeben werden kann.
Es wird überprüft, ob das Bild anzuzeigen ist (Schritt S415). Wenn N (NEIN) in Schritt S415, dann springt der Ablauf zu Schritt S408; anderenfalls schreitet der Ablauf fort zu Schritt S406. In Schritt S406 wird das Hochauflösungsbild auf der Anzeigeeinheit 214 dargestellt. Wenn der Anwender eine Position nahe der Konturlinie vom zu extrahierenden Gegenstand aufzeigt unter Verwendung der Auswahl-/Aufzeigeinheit 213, wie der Maus (Schritt S407; genauer gesagt, der Anwender klickt die gewünschte Stelle im Falle der Maus an), extrahiert die Anfangskontureinstelleinheit 208 eine Anfangskonturlinie aus der Nachbarzone mit dem aufgezeigten Punkt als Mitte (Schritt S408).
Die Anfangskonturlinienextraktionsverarbeitung ist nachstehend erläutert. In diesem Ausführungsbeispiel werden die Ausgangsdaten aus der Bilddatenvergleichseinheit 207 der Glättung, Binärumsetzung und Zeilenausdünnungsverarbeitung unterzogen. Die Glättungsverarbeitung führt die Beseitigung isolierter Merkmalspunkte aus (kleine Zonen mit undefinierbarer Gestalt, aber identischer Leuchtdichte oder Farbe, Zeilensegmenten und dergleichen), Faltungsberechnung mit einem Gauß-Filter oder normaler Tiefpaßfilterverarbeitung oder dergleichen.
Der Schwellenwert der Binärumsetzungsverarbeitung kann eingestellt werden unter Verwendung des Otsu's Verfahrens (Journal of Papers of The Institute of Electronics, Information and Communication Engineers, Band J63, Seiten 349–356, 1980) oder einem Verfahren, bei dem ein Bild in Blöcke gebrochen wird, die jeweils eine passende Größe haben, und der Schwellenwert wird auf der Grundlage statistischer Verarbeitung eingestellt (Hypothesetest auf der Grundlage von Durchschnitt, Varianz oder Histogramm oder dergleichen) von Lokalbilddaten (Leuchtdichte, Farbe oder dergleichen), oder dergleichen.
Im letzteren Verfahren speziell kann die Einstelloperation vom Binärumsetzschwellwert und die Binärumsetzverarbeitung auf der Grundlage statistischer Verarbeitung für Lokalzonen mit vorbestimmter Größe erfolgen, die den benannten Punkt als Mitte hat, und die Zeilenausdünnungsverarbeitung und Konturlinienfolgeverarbeitung zum Anfangskonturextrahieren (ist später zu beschreiben) kann in der Lokalzone erfolgen. Nach Abschluß der Verarbeitung wird eine Lokalzone mit einem Endpunkt der Kontur als Mitte weiter fortgesetzt, und dieselbe Verarbeitung erfolgt wiederholt. Als Ergebnis dieser Verarbeitungsoperationen wird eine Grobanfangskontur (Kante) erzielt.
Die Zeilenausdünnungsverarbeitung wird zum Erzielen der repräsentativen Punkte einer fetten Anfangskonturlinie nach Binärumsetzung verarbeitet, und dies ist nicht beschränkt auf ein spezielles Verfahren, das bei Normalbildverarbeitung angewandt wird. Beispielsweise kann ein Kantenpunkt gesucht werden aus einem beliebigen Einzelpunkt bei der Grobanfangskontur, entweder in rechter, linker, nach oben gerichteter und nach unten gerichteter Richtung, und dann wird ein Kantenpunkt gesucht, der dem erzielten Kantenpunkt benachbart ist, womit die repräsentativen Punkte bestimmt sind.
Sind eine Vielzahl von Kanten oder Konturlinien in der Nachbarzone als Ergebnis der Zeilenausdünnungsverarbeitung präsent, dann können diese angezeigt werden, während eine Überlagerung auf das Eingabebild erfolgt, und es besteht die Auswahlmöglichkeit vom Anwender (unter Verwendung der Auswahl-/Aufzeigeinheit 213 zur Korrektur).
Ist nur eine Kante in der Nachbarzone präsent, oder wählt der Anwender eine Kante, dann wird die Konturlinienfolgeverarbeitung durchgeführt in Voreinstellrichtung, und die Positionen der jeweiligen Punkte des zeilenausgedünnten Bildes, die mit der Kante verbunden sind, werden sequentiell als Abtastpunkte der Anfangskonturlinie aufgezeichnet.
Die Korrekturverarbeitung (Herausfinden der Verzweigungsstruktur, der Kantenverbindung) von der Anfangskonturlinie ist nachstehend beschrieben. Da das Verfahren zur Auswahl der Verzweigungsrichtung, wenn ein ausgedünntes Bild eine Verzweigungsstruktur aufweist, die Verzweigungsrichtung wird, in der die Bilddaten Beiträge liefern (Farbe, Leuchtdichte, Varianz oder dergleichen), die Konturlinie in einer Richtung senkrecht zur Folgerichtung eines Punktes ist, bevor der Zweig fortgesetzt ist, oder eine Richtung, in der sich die Richtung vor und nach der Verzweigung geringfügig ändert, und diese wird vorzugsweise ausgewählt.
Die Verarbeitung in diesem Falle erfolgt durch Erfassen der Bildeigenschaft einer kleinen Zone mit jeweils einem Punkt nach der Verzweigung als Mitte. Als anderes Verfahren kann die Konturverfolgung aufgehoben werden, und eine Zone mit einem Verzweigungspunkt als Mitte kann Flimmern verursachen, so daß der Anwender die Verzweigungsrichtung auswählen kann.
Wenn die Konturlinie nach der Binärumsetzung und Ausdünnungslinienumsetzungsverarbeitung abbricht, wird die Kantenverbindungsverarbeitung ausgeführt. In diesem Falle kann automatisches Koppeln auf der Grundlage eines vorbestimmten Algorithmus erfolgen (siehe Papers of the 23rd Image Engineering Conference, Seiten 67–70, 1992 und dergleichen, oder verbleibende Kantenpunkte als Ergebnis der Konturverfolgung können veranlaßt werden zu Flimmern oder in einer anderen Farbe von den Konturlinien von anderen Konturlinien dargestellt zu werden, und der Anwender kann bestätigen und Kantenpunkte aufzeigen, die unter Verwendung der Auswahl-/Indikationseinheit 213 verbunden werden können.
Nach Verketten der Punkte kann eine gerade Linie oder eine Spline-Interpolationskurve unter Verwendung repräsentativer Punkte auf der Konturlinie, die die Verbindungspunkte enthält, erzeugt werden. Wenn insbesondere ein Kantenpunkt nach der Konturverfolgung auf einem Vollbild präsent ist, kann dies verkettet werden mit einem anderen Vollbild. Die Anfangskonturlinienextraktionsverarbeitung ist beschrieben worden.
Im Ergebnis der zuvor beschriebenen Verarbeitung wird eine geschlossene Kurve letztlich als Anfangskonturlinie gewonnen, die das zu extrahierende Bild umgibt. 15 zeigt den Vorschritt der Vorgänge für die Bilddaten, bei denen die oben beschriebenen Verarbeitungsschritte angewandt werden.
(1) von 15 zeigt ein Scharfeinstellbild (2), von 15 zeigt ein nicht scharf eingestelltes Bild, das betont ist, um die Darstellung zu verdeutlichen und (3) von 15 zeigt eine Lokalzone, die eingestellt wird, wenn ein Anwender den Punkt im zu extrahierenden Gegenstand aufzeigt, während das Bild in (1) von 15 auf der Anzeigeeinheit 214 bestätigt wird.
(4) von 15 zeigt ein Beispiel eines Bildes einer Anfangskonturlinie, die gewonnen wird als Ergebnis von Glättung, Binärumsetzung, Zeilenausdünnung und Konturlinienverfolgungsverarbeitung in einer Lokalzone auf der Grundlage von Differenzbilddaten zwischen (1) und (2) in 15. Nach Berechnen der Differenzbilddaten können zwei unscharfe Bilder mit unterschiedlichen Fokussierniveaus verwendet werden, wie zuvor beschrieben, obwohl nicht dargestellt.
Nach Abschluß der Verarbeitung in Schritt S408, der zuvor beschrieben wurde, tritt die Steuerung ein in die Aktivkonturverarbeitung (Schritt S409). Bei dieser Verarbeitung aktualisiert die Konturaktualisierungseinheit 209 die Koordinaten der jeweiligen Abtastpunkte auf der Konturlinie schrittweise, um beispielsweise die Bewertungsfunktion zu minimieren, die die obige Gleichung (1) angibt.
Als Beispiels der herkömmlichen Verarbeitung wird jeder Abtastpunkt auf der Konturlinie in das Nachbarpixel verschoben (normalerweise eines von acht Nachbarpixeln). Dann erfolgt die Berechnung der Bewertungsfunktion, der Aktualisierungsposition, die einen Minimalwert angibt, der ausgewählt wird, und die Konvergenz wird auf der Grundlage beispielsweise der Durchschnittsänderungsmenge der Positionen von Punkten auf der Konturlinie bewertet, und zwar vor und nach Aktualisieren (Konvergenzselektion). Wenn der Konvergenzbedingung nicht genügt wird, erfolgt das weitere Fortsetzen der Verformungs-/Bewegungsverarbeitung.
In diesem Falle können die Gewichtungskoeffizienten der Bewertungsfunktion in passender weise geändert werden. In diesem Ausführungsbeispiel wird dieselbe Verarbeitung ausgeführt, und ein (5) von 15 gezeigtes Schnittbild kann als Ergebnis der Verarbeitung gewonnen werden.
Nachdem die Aktivkonturverarbeitung Konvergenz gezeigt hat, stellt die Bildausgabeeinheit 211 ein Bild in der Kontur auf der Anzeigeeinheit 214 im Verarbeitungsschritt S410 dar, womit die Bildextraktionsverarbeitung abgeschlossen ist. Wenn in diesem Falle der Anwender einen Bestätigungsbefehl aus beispielsweise dem Endgerät eingibt, wird das Bild aufgezeichnet und gemäß vorbestimmten Formats codiert (beispielsweise TIFF, PostScript oder dergleichen).
Das zweite Ausführungsbeispiel eines Bildaufnahmegeräts, das unterschiedliche Bildaufnahmebedingungen anwendet, ist nachstehend anhand 12 beschrieben.
Nachdem die Anfangskontur aus den beiden Bildern mit unterschiedlichen Fokussierzuständen als erstes Ausführungsbeispiel extrahiert worden ist, erfolgt die Hintergrundbildzonenbeseitigungsverarbeitung (Schritt S39) unter Verwendung der Auswahl-/Aufzeigeinheit 213 (beispielsweise eine Maus), was interaktiv für die Zone in der Anfangskontur erfolgt. In diesem Falle verschiebt sich der Verarbeitungsmodus automatisch vom Anfangskonturextraktionsmodus zum Hintergrundbildzonenbeseitigungsmodus.
Wird das Bild in Kontur dargestellt, dann kann das Bild normiert werden und durch passende Skalierung der Bildgröße angezeigt werden, um unabhängig von der extrahierten Bildgröße eine vorbestimmte Größe zu haben. Bei der Hintergrundbeseitigungsverarbeitung werden die Merkmalsart der Bildarten, die zum Selektieren der Hintergrundbildzone verwendet werden, und der zulässige Bereich des Eigenschaftswertes im voraus eingestellt, das heißt, vom Endgerät (Schritt S39a).
Wird kein spezifischer Wert eingestellt, dann erfolgt die Verwendung einer Farbkomponente (Farbton, Sättigung oder dergleichen), und der Standardwert des zulässigen Bereichs findet Verwendung. Der Anwender zeigt einen Punkt vom Hintergrundabschnitt auf, der unter Verwendung der Auswahl-/Aufzeigeinheit 213 zu beseitigen ist (Schritt S39c; durch Anklicken des Punktes im Falle einer Maus). Der Durchschnittsbildeigenschaftswert einer Lokalzone mit dem aufgezeigten Punkt als Mitte wird extrahiert (Schritt S39c), und eine Zone, die den Punkt enthält und die die Differenz von der Farbkomponente (Farbton oder dergleichen) oder den Leuchtdichtepegel des Punktes hat, der in den vorbestimmten Bereich fällt, wird aus der Zone innerhalb der Anfangskontur beseitigt (Schritt S39d).
Angemerkt sei, daß der zulässige Bilddatenbereich nach Hintergrundbeseitigung im voraus eingestellt werden kann, beispielsweise unter Verwendung des Endgeräts vor der Anfangskonturextraktion.
Das dritte Ausführungsbeispiel eines Bildaufnahmegeräts, das die Bilder mit unterschiedlichen Bildaufnahmebedingungen hat, ist nachstehend erläutert.
In diesem Ausführungsbeispiel werden durch Steuern des Durchmessers eines Auslösers oder die Verschlußzeit der Bildaufnahmeeinheit verwendet (Schritt S443), eine Vielzahl von Bildern mit unterschiedlichen Aufnahmebedingungen werden aufgenommen (Schritt S444) und durch Extraktionsvergleichsdaten (Extraktionsdifferenzdaten) daraus normiert (Schritt S445). Danach wird die Verarbeitung einschließlich der Einstelloperation von der Anfangskontur zur Bildextraktion ausgeführt.
13 zeigt den Verarbeitungsablauf dieses Ausführungsbeispiels. Insbesondere wird in diesem Ausführungsbeispiel die Normierungsverarbeitung der Leuchtdichtepegel von zwei Bilddaten ausgeführt, bevor die Extraktion der Vergleichsdaten erfolgt. Genauer gesagt, ein Datenwert von zwei Bilddaten wird normiert durch einen Maximalleuchtdichtewert (ist nachstehend zu beschreiben) von Bezugsbilddaten, so daß der Maximalleuchtdichtewert der Leuchtdichtepegel Frequenzen aufweist, die gleich oder höher als ein vorbestimmter Wert im Leuchtdichtehistogramm des Bildes sind, das anderen Maximalleuchtdichtewerten gleicht, die in gleicher weise erzielt werden.
In diesem Falle werden ein Bild (nachstehend als erstes Bild bezeichnet) aufgenommen unter einer optimalen Belichtungsbedingung, um einen zu extrahierenden Gegenstand als Mitte zu haben, und ein Bild (als zweites Bild nachstehend bezeichnet), aufgenommen unter abweichender Bedingung gegenüber der des ersten Bildes oder ein Paar von Bildern (nachstehend als zweites und drittes Bild bezeichnet) abgetastet unter einer Vielzahl von Belichtungsbedingungen, die sich von derjenigen des ersten Bildes unterscheiden, aufbereitet, und Differenzdaten zwischen den beiden Bildern werden extrahiert. Im letzteren Falle werden die Differenzdaten zwischen zweiten und dritten Bildern extrahiert.
Die Normierungsverarbeitung muß statistische Daten relativ niedriger Ordnung erbringen, wie Durchschnittswert, Varianz oder dergleichen von der Leuchtdichteverteilung, die nahe aneinander zwischen den beiden Bildern liegen. Als Beispiel seien bei der Normierungsverarbeitung I₁ ^max und I₂ ^max die Maximalleuchtdichtepegel (mit einer vorbestimmten Frequenz oder höher) des ersten und zweiten Bildes. Dann wird jeder Pixelwert I₂(i, j) des zweiten Bildes gemäß nachstehender Gleichung aktualisiert:
wobei I(i, j) der Leuchtdichtewert vom Pixel (i, j) ist. Dasselbe gilt für die Normierungsverarbeitung zwischen den zweiten und dritten Bildern.
Dieses Ausführungsbeispiel fußt auf der Annahme, daß die Leuchtdichtepegelverteilungen vom Gegenstand und vom Hintergrund in unterschiedliche Bereiche fallen (können sich aber untereinander überlappen). Nach Ausführen der oben beschriebenen Prozedur wird die Verarbeitungszone einer einfachen Figur (beispielsweise ein Rechteck), das den Existenzbereich des Gegenstands umgibt, festgelegt, und die Normierungskoeffizienten der oben genannten Gleichung werden vorzugsweise außerhalb der Zone gewonnen. Weiterhin können die Normierungskoeffizienten an jeweiligen Punkten auf der Grundlage von Variationen im Leuchtdichtepegel zwischen zugehörigen Pixeln zweier Bilder an den jeweiligen Punkten außerhalb der Zone berechnet werden, und die Normierung erfolgt innerhalb der Verarbeitungszone unter Verwendung von Prädiktionskoeffizienten der berechneten Normierungskoeffizienten (erzielt beispielsweise durch Extrapolation).
Nur Variationen des Hintergrundabschnitts können mit dieser Verarbeitung in effektiver Weise durch Normierung korrigiert werden, und nur Variationen des Gegenstandsabschnitts (einer Zone innerhalb des Leuchtdichtepegelbereichs, der sich von dem des Hintergrundabschnitts unterscheidet) bleiben übrig. Wenn die Differenz zwischen den beiden Bildern berechnet und der Schwellenwertverarbeitung unterzogen ist, wird die Konturlinie der Zone mit der Maximalfläche der restlichen fragmentarischen Partialzonen einer Hülle einer Vielzahl von Gegenstandspartialzonen als Anfangskontur eingesetzt, da das meiste vom Hintergrundabschnitt entfernt ist. Die Verarbeitung nach der Anfangskontur wird eingestellt und dieselbe wie beim ersten Ausführungsbeispiel.
Um die hohe Extraktionsgenauigkeit beizubehalten, kann die Belichtungsbedingung (Blendendurchmesser, Verschlußzeit) aufgrundlage des Leuchtdichtehistograms vom ersten Bild gesteuert werden. Wenn im allgemeinen die Varianz kleiner als der vorbestimmte Schwellenwert ist und das Histogramm ein tiefes Verteilungsmuster aufweist, wird der Steuerumfang anwachsen.
Wenn insbesondere der Gegenstand und der Hintergrund zu einem gewissen Grad auf dem Histogramm getrennt werden können, dann kann die Varianz oder dergleichen aus dem Verteilungsbereich entsprechend dem Gegenstand berechnet werden, und das Variationsverhältnis im Bildaufnahmeparameterwert, der die optimale Belichtungsbedingung angibt, kann entsprechend der Varianz eingestellt werden.
Die Verarbeitung kann ausgeführt werden, wenn der Anwender interaktiv die Gegenstandsverteilung bestimmt, und zwar unter Verwendung des Endgeräts. Wenn der Gegenstand und der Hintergrund im voraus kaum zu trennen sind, oder wenn die Normierungsverarbeitung automatisiert ist, kann die statistische Menge aus dem Gesamtverteilungsmuster zum Steuern der Bedingung berechnet werden.
Die Beziehung zwischen statistischer Menge und Steuerumfang lassen sich im voraus in einem Speicher, beispielsweise in einem ROM, in der Form einer Korrespondenztabelle speichern, oder können direkt beispielsweise vom Endgerät her eingegeben werden. In diesem Ausführungsbeispiel werden die Anfangskontureinstellverarbeitung nach Extrahieren der Differenzdaten und die nachfolgende Verarbeitung zur Hintergrundbeseitigung und Bildextraktion in derselben Weise wie im zuvor beschriebenen Ausführungsbeispiel ausgeführt.
Gemäß den Ausführungsbeispielen, die Bilder mit unterschiedlichen Bildaufnahmebedingungen haben, kann ein spezifisches Gegenstandsbild stabil mit hoher Geschwindigkeit extrahiert werden, da eine Anfangskontur auf der Grundlage des Vergleichsergebnisses einer Vielzahl von Bildern mit unterschiedlichen Bildaufnahmebedingungen eingestellt worden ist, und die Hintergrundbildzone wird auf der Grundlage der Anfangskontur entfernt. Vor der Extraktion eines spezifischen Gegenstands durch Bildverarbeitung kann eine Annäherungskonturlinie (Grenzlinie mit Hintergrund) vom Gegenstand in stabiler Weise mit hoher Geschwindigkeit aus einer Vielzahl von Bildern gewonnen werden, die unterschiedliche Bildaufnahmebedingungen haben, und die Hintergrundbildzone wird auf der Grundlage der Anfangskontur beseitigt, und die erforderliche Rechenzeit zum Beseitigen der Resthintergrundbildzone kann weitestgehend verringert werden.
Da eine Anfangskontur sich der Konturlinie vom zu extrahierenden Gegenstand der Aktivkonturverarbeitung auf der Grundlage einer Vielzahl von Bildern eingestellt wird, die unterschiedliche Bildaufnahmebedingungen haben, kann automatisches Extrahieren eines spezifischen Gegenstands und Bewegungsbildextraktion eines Bewegungsgegenstands mit Hochgeschwindigkeit ausgeführt werden. Ein dynamischer Gegenstand kann folglich aus einem Bewegungsbild durch Verformungs-/Bewegungsverarbeitung der Annäherungskonturlinie extrahiert werden, und die Bildextraktion wird mit Hochgeschwindigkeit erzielt.
Da Anfangskonturdaten, die aus einer Vielzahl von Bildern mit unterschiedlichen Bildaufnahmebedingungen extrahiert sind, ungefähres Einstellen durch interaktives korrigieren dieser möglich ist, kann ein spezifischer Gegenstand mit Hochpräzision extrahiert werden. Unter Verwendung eines Korrekturmittels für eine Annäherungskonturlinie kann die Hintergrundbeseitigungsverarbeitung stabilisiert werden, und die Bildextraktionspräzision wird verbessert.
Eine Annäherungskonturlinie kann in stabiler Weise aus zwei Bildern gewonnen werden, die unterschiedliche Fokussierzustände haben, ohne beeinflußt zu werden durch die Beleuchtungsbedingung, womit weitestgehend die Bildextraktionspräzision und Verarbeitungsgeschwindigkeit verbessert wird.
Nach Extrahieren einer Annäherungskonturlinie (Grenzlinie mit Hintergrund) vom Gegenstand aus einer Vielzahl von Bildern mit unterschiedlichen Bildaufnahmebedingungen kann der Einfluß von Rauschen aufgrund von Binärumsetzung, Glättung und dergleichen eliminiert werden, und die Extraktionsgenauigkeit wird verbessert.
Da der Steuerumfang von der Bildaufnahmebedingung auf der Grundlage des statistischen Merkmals von Bilddaten eingestellt wird, kann die Extraktionsgenauigkeit von der Anfangskontur verbessert werden, und Hochgeschwindigkeit, Hochpräzisionsbildextraktion kann realisiert werden.
Da der Einfluß von Bilddaten vom Hintergrundabschnitt oder deren Variationen durch Lokalrechenverarbeitung in der ersten Erfindung eliminiert werden können, kann stabiles Extrahieren mit Hochgeschwindigkeit ausgeführt werden.
Information, die die Positionen von Gegenstand und den Hintergrund aufzeigt in Hinsicht auf die Konturlinienfolgerichtung, läßt sich im voraus erzielen, und im Ergebnis werden die Bildeigenschaften vom zu extrahierenden Gegenstand und dem Hintergrund der Konturlinie benachbart plaziert, um ausgelesen werden zu können, womit die Einstellgenauigkeit der Konturlinie und die Bildextraktionsgenauigkeit verbessert wird.
<Beispiel der Bilddatenumsetzung vom Hintergrundbild>
16 ist ein Funktionalblockdiagramm, das die Anordnung vom Hauptteil des Bildaufnahmegeräts der vorliegenden Erfindung zeigt. Unter Bezug auf 16 bedeutet Bezugszeichen A3 eine Bildaufnahmeeinheit, die aufgebaut ist aus einem optischen Bildaufnahmesystem, einem Bildaufnahmeelement und dergleichen; Bezugszeichen B3 bedeutet eine Bildaufnahmebedingungssteuereinheit zum Steuern verschiedener Bildaufnahmeparameter, wie Zoomsteuerparameter, Brennweitensteuerparameter, Auslösesteuerparameter und dergleichen; Bezugszeichen C3 bedeutet eine Bildaufnahmebedingungsaufzeichnungs-/Wiedergabeeinheit zum Aufzeichnen/Wiedergeben von Steuerdaten der Bildaufnahmebedingungssteuereinheit B3; Bezugszeichen D3 bedeutet eine Bildaufnahmezeichnungseinheit zum Aufnehmen eines Bildes, das die Bildaufnahmeeinheit A3 aufgenommen hat; Bezugszeichen E3 bedeutet eine Bilddatenumsetzeinheit, die auf der Grundlage verschiedener Steuerparametern aus der Bildaufnahmebedingungsaufzeichnungs-/Wiedergabeeinheit C3 aufzeichnet; Bezugszeichen F3 bedeutet eine Bilddatenvergleichereinheit, die ein Hintergrundbild mit einem Bild vergleicht, das im spezifischen Gegenstand enthalten ist; und Bezugszeichen G3 bedeutet eine Bildausschneideeinheit zum Einstellen einer Bildausschneidezone auf der Grundlage des Ausgangssignals von der Bildvergleichereinheit F3. Bezugszeichen H3 bedeutet eine Anzeigeeinheit, wie eine Monitoranzeige, einen elektronischen Sucher oder dergleichen, um ein Bild darzustellen.
Die Bildaufnahmeeinheit A3 nimmt eine Vielzahl von Bildern auf. Die Bildaufnahmebedingungssteuereinheit B3 steuert die Bildaufnahmebedingungen nach Bildaufnahme durch die Bildaufnahmeeinheit A3. Die Bildaufnahmebedingungen in diesem Ausführungsbeispiel enthalten die Belichtungsmenge, den Scharfeinstellzustand und die An-/Abwesenheit von Blitzlicht.
Die Aufnahmebedingungsaufzeichnungs-/Wiedergabeeinheit C3 zeichnet die Bildaufnahmebedingungen nach Bildaufnahme mit der Bildaufnahmeeinheit A3 und ließt die Ausgangssignale der aufgezeichneten Bildaufnahmebedingungen. In diesem Ausführungsbeispiel wird die Bildaufnahmebedingungsaufzeichnungs-/Wiedergabeeinheit C3 die Bildaufnahmebedingungen aufnehmen, die verwendet werden, wenn das auszuschneidende Bild in einem vorbestimmten Hintergrund aufgenommen wird.
Die Bildaufnahmeeinheit D3 zeichnet eine Vielzahl von Bildern auf, die die Bildaufnahmeeinheit A3 aufgenommen hat, und speichert diese zeitweilig und hält ein Hintergrundbild und ein Bild, einschließlich eines spezifischen Gegenstands, bei dem das auszuschneidende Bild im Hintergrund präsent ist. Die Bildaufzeichnungsaufzeichnung D3 codiert und zeichnet Bilddaten in einer spezifischen Abbildungszone auf, die die Bildausschneideeinheit G3 erzielt hat.
Die Bilddatenumsetzeinheit E3 setzt Bilddaten von wenigstens der Vielzahl von Bildern auf der Grundlage der Bildaufnahmebedingungen um, geliefert aus der Bildaufnahmebedingungsaufzeichnungs-/Wiedergabeeinheit C3. Die Bilddatenumsetzeinheit E3 setzt auch Bilddaten vom Hintergrundbild auf der Grundlage der Bildaufnahmebedingungen um, die die Bildaufnahmebedingungsaufzeichnungs-/Wiedergabeeinheit C3 wiedergegeben hat. Weiterhin führt die Bilddatenumsetzeinheit E3 eine Ortsverschiebungsoperation auf einem Speicher aus, um so eine größtmögliche Ähnlichkeit zwischen Hintergrundbild und dem Bild zu erhalten, das den spezifischen Gegenstand enthält, und die Bildgröße, der Leuchtdichtepegel, die Farbkomponenten und die Auflösung werden umgesetzt.
Die Bilddatenvergleichseinheit F3 vergleicht Bilddaten der Vielzahl von Bildern, die die Bilddatenumsetzeinheit E3 umgesetzt hat, und extrahiert Differenzbilddaten der Vielzahl von Wiedergabebildern, die die Bildaufzeichnungseinheit D3 ausgegebenen hat.
Die Bildausschneideeinheit G3 extrahiert das Bild in einer spezifischen Abbildungszone auf der Grundlage des Vergleichsergebnisses von Bilddaten der Vielzahl von Bildern aus der Bilddatenvergleichereinheit F3.
Wenn bei einem spezifischen Bild gemäß dem Bildaufnahmegerät dieses Ausführungsbeispiels mit der obigen Anordnung die Grenze für unterschiedliche Aufnahmebedingungen der jeweiligen Bilder nach Vergleich einer Vielzahl von im Bild registrierten Bildern erweitert werden kann und sich das Bild von den Vollbildern beim Bewegungsbild unterscheidet, kann auch die Grenze für unterschiedliche Bildaufnahmebedingungen der jeweiligen Bilder erweitert werden.
Wenn von daher ein spezifisches Gegenstandsbild aus dem Hintergrundbild ausgelesen wird, kann der Gegenstand in befriedigender Weise extrahiert werden, ungeachtet sehr geringer Variationen der Position vom der Bildaufnahmeeinheit A3 auf der Grundlage von Kameraverwackeln, von Belichtungsbedingungsdifferenzen, von Verstärkungsvariationen eines Sensors und dergleichen. Der Variationsspielraum, beispielsweise für die Belichtungsbedingung, läßt sich erhöhen, ohne daß irgend ein Modell verwendet wird, das mit dem zu extrahierenden Gegenstand zusammenhängt, wie beispielsweise ein Farbmodell.
Da der Variationsspielraum in Bildaufnahmebedingungen oder Kameraparametern erhöht werden kann, läßt sich die Verarbeitung zum Ausschneiden eines spezifischen Gegenstands aus dem Hintergrund in effizienter Weise erzielen. Da Bilddaten vom Hintergrundbild weiterhin umgesetzt werden unter Verwendung des Bildes, das den aufgenommenen Gegenstand unter denselben Aufnahmebedingungen enthält, wie jene, die zur Aufnahme des Hintergrundbildes verwendet werden, kann der Spielraum für Variationen einer Bildaufnahmebedingung und eines Kameraparameters aus dem Hintergrundbild erhöht werden, und das Bild enthält den Gegenstand.
Hochbildqualitätsgegenstandsextraktion kann ebenfalls erzielt werden, ungeachtet der Bildaufnahmebedingungen nach Aufnahme des Hintergrundbildes, und eine Hochqualität beim scharf eingestellten Bild des Gegenstands kann ausgeschnitten und ausgegeben werden.
Da nach einem weiteren Merkmal dieses Ausführungsbeispiels Bilddaten in einer spezifischen Bildzone, gewonnen von der Bildausschneideeinheit D3, codiert und aufgezeichnet werden auf der Bildaufzeichnungseinheit D3, kann ein angefordertes Bild in effizienter Weise codiert werden, und die Bildextraktion läßt sich in befriedigender Weise ausführen.
Da nach einem noch anderen Merkmal dieses Ausführungsbeispiels die Bilddatenumsetzeinheit E3 eine Ortsverschiebeoperation ausführt, um die Maximalähnlichkeit zwischen Hintergrundbild und dem Bild zu erreichen, das den Gegenstand enthält, kann die Bildextraktion die Positionsvariationen oder Positurvariationen der Bildaufnahmeeinheit A3 zulassen, und die Bildextraktion hat nach der Bildaufnahme durch Kameraverwacklung oder dergleichen einen geringen nachteiligen Einfluß.
Da gemäß einem noch anderen Merkmal dieses Ausführungsbeispiels die Bildaufnahmebedingungen die Belichtungsmenge, den Fokussierzustand und die An-/Abwesenheit der Blitzgabe umfassen, kann ein spezifisches Gegenstandsbild aus einer Vielzahl von Bildern extrahiert werden, die unter unterschiedlichen Bildaufnahmebedingungen aufgenommen worden sind, und die Bildextraktion mit einem großen Spielraum für Variationen beim Vergrößerungszustand, Fokussierzustand, Kontrastzustand, Beleuchtungszustand und dergleichen lassen sich realisieren.
Da nach einem noch anderen Merkmal dieses Ausführungsbeispiels die Bilddatenumsetzeinheit E3 die Bildgröße, den Leuchtdichtepegel, die Farbkomponenten und die Auflösung umsetzt, werden Bilddaten einer Vielzahl von Bildern, aufgenommen unter unterschiedlichen Aufnahmebedingungen, normiert, um eine Hochpräzisionsextraktionsverarbeitung eines spezifischen Gegenstands auf der Grundlage der Vergleichsergebnisse von Bildern zu erzielen. Folglich kann eine Hochpräzisionsgegenstandsbildextraktion erfolgen.
Die Anordnung und die Arbeitsweise des Bildaufnahmegeräts der vorliegenden Erfindung ist nachstehend anhand der 17 bis 22 in mehr Einzelheiten beschrieben.
Das erste Ausführungsbeispiel, das das Hintergrundbild umsetzt, ist nachstehend erläutert. In der Grundverarbeitung vom ersten Ausführungsbeispiel werden das Hintergrundbild und das Gegenstandsbild im Hintergrund aufgenommen, und Vergleichsdaten (Differenzdaten) bezüglich der Bildaufnahmebedingungen der beiden Bildern werden statistischer Verarbeitung unterzogen, um die Gegenstandsbildzone zu erfassen, wodurch das Gegenstandsbild extrahiert wird.
In diesem Ausführungsbeispiel wird ein Fall angenommen, bei dem die Bedienperson eine Bildaufnahmeoperation ausführt, während ein Bildaufnahmemittel, wie beispielsweise eine Videokamera mit der Benutzerhand gehalten wird, ist ein Bild, in dem der zu extrahierende Gegenstand im Hintergrund präsent ist, als erstes in Abtastung, und die Bildaufnahmebedingungen zu dieser Zeit werden in einer Aufzeichnungseinheit gemeinsam mit den Bilddaten aufgezeichnet. Danach werden dieselbe Bildaufnahmebedingungen (interne Kameraparameter, einschließlich Bildsignalkennlinienparameter) aus einer Speichereinheit ausgelesen, und das Hintergrundbild wird unter Verwendung der Auslesebedingungen aufgenommen.
Wenn andererseits die Bildaufnahmebedingungen für die beiden Bildaufnahmebedingungen nicht als dieselben angesehen werden können, wenn beispielsweise die beiden Bildaufnahmeoperationen sich in den Bildaufnahmezeiten unterscheiden oder den externen Bedingungen, werden die Bildaufnahmeparameter, die dieselben Werte sein sollen, beschränkt auf die Vergrößerung, den Fokussierzustand und dergleichen, womit eine Situation vermieden wird, die das Einstellen derselben Bedingungen nicht ermöglicht.
17 zeigt die Anordnung vom Hauptteil eines Bildaufnahmesystems von diesem Ausführungsbeispiel. Unter Bezug auf 17 bedeutet Bezugszeichen 401 eine Bildaufnahmeeinheit; und Bezugszeichen 402 bedeutet ein optisches Bildaufnahmesystem mit einem Bildaufnahmeobjektiv. In diesem Ausführungsbeispiel besteht das optische Abbildungssystem 402 aus einem binokularem Bildaufnahmesystem zur Aufnahme eines stereoskopischen Bildes. Bezugszeichen 403 bedeutet eine Objektivmotortreibersteuereinheit zum Ansteuern der Linsen vom optischen Bildaufnahmesystem; und Bezugszeichen 404 bedeutet einen Bildsensor, der normalerweise eine CCD oder dergleichen enthält.
Bezugszeichen 405 bedeutet eine Bildaufnahmeparametermeßsteuereinheit, die eine Fokussierzustandsfeststelleinheit enthält, um den Scharfeinstellzustand eines Objektivs mit einem bekannten Mittel erfaßt, eine Verschlußzeitfeststellsteuereinheit zum Steuern der Akkumulationszeit beispielsweise der CCD, eine Auslösemeßsteuereinheit zum Steuern der Blendengröße vom Auslöser, eine Merkmalsmengenfeststelleinheit zum Erfassen der Merkmalsmenge (beispielsweise für Gammakoeffizient, Korrekturkoeffizient und andere) von Bildsignalkennlinienparametern (Gamma, Knick, Weißabgleichkorrektur, CCD-Akkumulationszeit und anderes). Bezugszeichen 406 bedeutet eine Bildaufnahmeeinheit mit beispielsweise einem Speicher; und Bezugszeichen 407 bedeutet einen elektronischen Sucher (EVF oder dergleichen), der als Anzeigeeinheit dient.
Bezugszeichen 408 bedeutet eine Bildaufnahmemodusaufzeichnungseinheit, die Information nach Bildaufnahme aufzeichnet, wozu Bildaufnahmeparameter, Bildkennlinienparameter, An-/Abwesenheit von Blitzabgabe, An-/Abwesenheit von zufälligen oder absichtlichen Bewegungen gehören, wie Abtasten oder Kameraverwackeln und dergleichen. Angemerkt sei, daß Kamerabewegungen, wie Kameraverwacklung, Schwenkabtastung und dergleichen auf der Grundlage von Ausgangsdaten aus dem Beschleunigungssensor herausgefunden werden können, der in die Bildaufnahmeeinheit eingebaut ist. Diese Zusatzdaten werden in einer Bilddatenbank 418 gemeinsam mit den Bilddaten gespeichert.
Bezugszeichen 409 bedeutet eine Bilddatenumsetzeinheit, die Bilddaten nach Synthetisieren auf der Grundlage der Bildaufnahmebedingungen und dergleichen umsetzt. Die Umsetzeinheit 409 wird später detailliert beschrieben. Bezugszeichen 410 bedeutet eine Bildsignalverarbeitungseinheit, die Gammakorrektur, Winkelkorrektur, Weißabgleichkorrektur, Autofokuskorrektur, Belichtungsmengenkorrektur, AGC-Verarbeitungsschaltungskorrektur (automatische Verstärkungssteuerkorrektur) und dergleichen umfaßt. Bezugszeichen 411 bedeutet eine Bilddatenvergleichereinheit zum Erfassen der Abgabe der Differenz zwischen Hintergrundbild und dem einen spezifischen Gegenstand enthaltenden Bild.
Bezugszeichen 412 bedeutet eine Bildausschneideeinheit, die die Zone identifiziert, die auf der Grundlage des statistischen Verarbeitungsergebnisses zu extrahieren ist, aus der Bilddatenvergleichereinheit 411, und gibt ein Schlüsselsignal (oder Maskendaten) ab zum Ausschneiden der identifizierten Zone, die aus dem Bild zu extrahieren ist, das den Gegenstand enthält. Bezugszeichen 413 bedeutet eine Bildübertragungseinheit, die Bilddaten und dergleichen an eine andere Datenbank oder an ein anderes Endgerät überträgt.
Bezugszeichen 414 bedeutet eine Blitzabgabeeinheit; und Bezugszeichen 415 bedeutet eine Externsynchronisationseinheit, die Synchronisationstakte an jeweilige Schaltungen liefert, obwohl Signalleitungen nicht dargestellt sind. Bezugszeichen 416 bedeutet ein Endgerät, das verwendet wird zur externen Steuerungsausführung des Bildaufnahmemodus, aus der Bildauswahl, das auszuschneiden ist, und der Suche nach und der Auswahl von registrierten Bildern. Bezugszeichen 417 bedeutet eine Anzeige, die ein verarbeitetes Bild abgibt und auch weiterhin als Sucheranzeige dient.
Bezugszeichen 418 bedeutet eine Bilddatenbank, die zuvor aufgenommene Bilddaten sichert, und als deren Zusatzdaten, nämlich die Art, die aufzeigt, ob ein jedes Bild ein registriertes Bild ist, Bildaufnahmeparameter, Bildaufnahmebedingungen (im Haus oder im Freien), die An-/Abwesenheit von Blitzabgabe und dergleichen), und andere Information (Daten, Zeit, Ort, Kamerabediener, Titel und dergleichen).
Bezugszeichen 419 bedeutet eine Bildarteinstelleinheit, die ein Mittel darstellt, wie beispielsweise einen Schalter zum Registrieren eines Bildes als Bezugsbild nach Extrahieren eines spezifischen Gegenstands auf der Grundlage des Vergleichsergebnisses mit einem anderen Bild, einen Schalter zum Einstellen der Art, die aufzeigt, ob das Bild eines zur Gegenstandsextraktion ist, das zu vergleichen ist mit dem Bezugsbild, und dergleichen. Mit diesen Schaltern wird die Bildart automatisch als Zusatzinformation aufgezeichnet.
Bezugszeichen 420 bedeutet eine Kameraparametereinstelleinheit. Normalerweise wird das Hintergrundbild und das Bild einschließlich Gegenstand im identischen Bildaufnahmemodus aufgenommen. Die Kameraparametereinstelleinheit 420 wird jedoch verwendet, wenn die Bedienperson willkürlich die internen Eigenschaften der Bildaufnahmeeinheit einstellt. Angemerkt sei, daß die internen Schaltungen der Bildaufnahmeeinheit in Funktionseinheiten dargestellt sind, aber die Operationen dieser Funktionen steuert ein Mikroprozessor (nicht dargestellt).
18 ist ein Ablaufdiagramm, das die Grundverarbeitung des Bildaufnahmegeräts vom Ausführungsbeispiel mit der obigen Anordnung zeigt, und 22 stellt ein Beispiel der Bildextraktion dar. Die Grundverarbeitung von diesem Ausführungsbeispiel ist nachstehend beschrieben. Angemerkt sei, daß die Operationen in den 18 und 22 in Funktionseinheiten dargestellt sind, aber praktisch vom Mikroprozessor verarbeitet werden. Das Verarbeitungsprogramm, das im Ablaufdiagramm gezeigt ist, kann im voraus in einem ROM gespeichert oder aus einem externen Speichermedium in einen RAM geladen werden. Die Bilddatenbank kann in einem internen Speichermedium gespeichert werden.
Wenn die Verarbeitung gestartet ist, wird die Art der Bildausgabe aus der Bildaufnahmeeinheit daraufhin überprüft, ob das Bild ein Hintergrundbild oder ein Bild ist, das einen spezifischen Gegenstand enthält, und zwar in Schritt S501. Die Überprüfungsoperation erfolgt auf der Grundlage der von der Bedienperson eingestellten Bildart über die Bildarteinstelleinheit 419. Genauer gesagt, die Bildart zeigt auf, ob das Bild von der Bedienperson abzutasten ist und einen Hauptgegenstand darstellt, nur den Hintergrund, oder beide dieser.
Wenn im Ergebnis der Überprüfung in Schritt S501 bestimmt ist, daß ein Bild mit einem spezifischen Gegenstand aufzunehmen ist, dann schreitet der Ablauf fort zu Schritt S502, um den Bildaufnahmemodus einzustellen. Danach werden in Schritt S503 verschiedene Parameter für die Bildaufnahmeoperation eingestellt, und die Bildaufnahmeoperation erfolgt unter optimaler Bildaufnahmebedingung für einen Gegenstand (ist später zu beschreiben). Nach Abschluß der Bildaufnahme in Schritt S503 schreitet der Ablauf fort zu Schritt S504, und eine Zusatzinformation, wie verschiedene Bildaufnahmemodusparameter und Bildaufnahmebedingungen einschließlich Vergrößerung (Brennweite), Fokussierniveau, Auslösung, Verschlußzeit, An-/Abwesenheit von Kameraverwackeln, An-/Abwesenheit von Schwenken/Neigen, Verstärkung und dergleichen werden gemessen.
Der Ablauf schreitet fort zu Schritt S505, und die in Schritt S504 gemessene Zusatzinformation wird in einem vorbestimmten Format gemeinsam mit den Bilddaten aufgezeichnet. Angemerkt sei, daß die Zusatzinformation separat aufgezeichnet werden kann, beispielsweise in einer Kopfdatei gemein mit der Adresse oder dergleichen von den zugehörigen Bilddaten.
Wenn andererseits als Ergebnis der Überprüfung in Schritt S501 bestimmt ist, daß ein Hintergrundbild aufzunehmen ist, dann schreitet der Ablauf fort von Schritt S501 zu Schritt S506. In Schritt S506 wird die Zusatzinformation vom Bild, das den Gegenstand enthält, geladen. Danach wird der Bildaufnahmemodus in Schritt S507 in derselben zuvor beschriebenen Weise eingestellt. Dieselben Aufnahmebedingungen wie jene bei der Verarbeitung in Schritt S502 werden in diesem Falle ausgewählt, und grundsätzlich wird das Hintergrundbild unter denselben Bildaufnahmebedingungen im nächsten Schritt S508 aufgenommen.
Um mit Variationen zu Rande zu kommen, werden jedoch Umgebungsbedingungen, ein optimaler Aufnahmemodus unter Verwendung von Information im Haus oder im Freien eingestellt, die An-/Abwesenheit von Blitzgabe und dergleichen als Auswahlmodus der Bildaufnahmebedingungen, aufgezeichnet in der Bildaufnahmemodusaufzeichnungseinheit 408 nach Bildaufnahme in Schritt S507. Die Bildaufnahmeparametermeßsteuereinheit 405 findet die An-/Abwesenheit von Umgebungsbedingungsänderungen fest unter Verwendung dieser Bildaufnahmebedingungen und der Zusatzinformation und steuert die Bildaufnahmeparameter, um identische Bedingungen zu erreichen.
Wenn die Bildaufnahmezeit vom Hintergrundbild nahe an der des Bildes liegt, das den Gegenstand enthält, ungeachtet der Bedingung innerhalb und außerhalb des Hauses, können die Umgebungsbedingungen, speziell die Beleuchtungsbedingung, mit Ausnahme eines Beleuchtungsmittels wie ein Blitzgerät, das in die Bildaufnahmeeinheit eingebaut ist, das Hintergrundmuster und dergleichen als etwas geändert angenommen werden.
Wenn identische Bildaufnahmemodusparameter mit Ausnahme der Bildsignalkennlinienparameter in zwei Bildaufnahmeoperationen verwendet werden (beispielsweise wenn die Bildaufnahmemodusparameter für das Bild einschließlich dem Gegenstand verwendet werden), können folglich Variationen in Bilddaten auf einer identischen Zone vom Hintergrundmuster zwischen zwei Bildern unterdrückt werden, und die Zuverlässigkeit der nachfolgenden statistischen Verarbeitung zum Ausschneiden eines Bildes kann verbessert werden.
Da jedoch die Kennlinien (Gammakennlinie, Weißabgleich und dergleichen) einer Sensorsignalverarbeitungsschaltung sich abhängig von Spektralreflexionseigenschaften oder dergleichen vom Gegenstandsbild oder hinzukommendem Rauschen, können Bilddaten vom Hintergrundabschnitt bei zwei Bildern nicht immer vollständig zueinander passen, selbst im identischen Bildaufnahmemodus in einer allgemeinen Situation.
Um mit einem solchen Falle zu Rande zu kommen, wird eine Bilddatenumsetzverarbeitung in Schritt S509 ausgeführt. In diesem Falle werden Skalierungsumsetzung (nach Variationen der Vergrößerung), Leuchtdichteumsetzung (nach Variationen bei Belichtungsmenge/Gammakorrektur), Farbkomponentenumsetzung (nach Variationen in Weißabgleichkennlinien), Bildpositionsausrichtung (nach Änderung der Bildposition) und dergleichen ausgeführt, um Bilddaten zu normieren, so daß Bilddaten einer Zone gemäß einer Bildzone, die nur den Hintergrund eines Bildes mit dem Gegenstand enthält, im Hintergrundbild wesentlich dasselbe wird wie das vom Bild, das den Gegenstand enthält.
In Schritt S510 wird eine Bildvergleichsverarbeitung mit dem Hintergrundbild ausgeführt, um den Unterschied zwischen den beiden Bilddaten zu berechnen. In Schritt S511 wird die Bildausschneideoperation ausgeführt. Angemerkt sei, daß die Inhalte dieser Verarbeitungsoperationen später in Einzelheiten beschrieben werden.
Wie in den 19 und 20 gezeigt, verfügt die Bilddatenumsetzeinheit 409 über eine Dateneingabeeinheit 90, um Bilddaten und deren Zusatzdaten einzugeben, eine Leuchtdichtewertumsetzeinheit 91, eine Farbkomponentenumsetzeinheit 92, eine Ortsverschiebungsoperationseinheit 93 (dient der Positionsausrichtung), eine Größenskaliereinheit (Skalierumsetzeinheit 94), eine Parametervariationsbewertungseinheit 95 und dergleichen. Im allgemeinen wird ein Bild als Bezugsbild verwendet, das einen spezifischen Gegenstand enthält. Hinsichtlich des Bezugsbildes werden die Bilddaten fixiert, und die Bilddaten des Hintergrundbilds werden umgesetzt.
Wenn die beiden Bilder denselben Bildaufnahmemodus haben, wenn beispielsweise die Umgebungsbedingungen sich überhaupt nicht ändern, müssen der Leuchtdichtewert und die Farbkomponenten normalerweise nicht umgesetzt werden. Abhängig vom Merkmal des Gegenstandsbildes und dem Verhältnis dessen Fläche auf den Hintergrund können jedoch die Bildsignalkennlinienparameter, das heißt die Verstärkungs- und Weißabgleichkennlinien sowie die Gammakennlinie verändert werden.
Wenn wenigstens einer dieser Kennlinienwerte einen vorbestimmten Schwellenwert überschreitet, wird folglich das Hintergrundbild auf der Grundlage der Differenzen zwischen Parameterkennlinienwerten und jeweiligen Punkten im Hintergrundbild umgesetzt, und das Bild mit dem in einem vorbestimmten Speicher aufgezeichneten Gegenstand gemäß den Kennlinienwerten vom Bild enthält den Gegenstand. Die Verarbeitungsinhalte, die die jeweiligen Umsetzeinheiten ausführen, sind nachstehend beschrieben.
Wenn Parametervariationen relativ gering sind, wird dies so angesehen, daß die Bildaufnahmeumgebung sich nicht groß geändert hat, und die Umsetzverarbeitung in der Bilddatenumsetzeinheit 409 erfolgt in der Reihenfolge der Skalierungsumsetzung zum Einstellen der Größen einer Vielzahl von Bildern, der Positionsausrichtung der Bilder, womit die Basisbildsynthese ermöglicht wird, eine Feinjustage von Bildern, wie Leuchtdichteumsetzung, Farbkomponentenumsetzung und dergleichen, wie in 19 gezeigt. Angemerkt sei, daß der Vertikalpfeil in 19 die Ausführungsreihenfolge der Verarbeitungsoperationen aufzeigt.
Die Reihenfolge kann sich jedoch ändern, wenn das Steuern zum Einstellen des identischen Bildaufnahmemodus von der Bildaufnahmeparametereinstelleinheit 420 annulliert ist. Wie in 20 gezeigt, kann eine Umsetzreihenfolgeeinstelleinheit 96 zum Einstellen der Umsetzreihenfolge, mit Ausnahme der Positionsausrichtung, die Umsetzreihenfolge so einstellen, daß das Anpunkten größerer Variationsbeträge die Umsetzung erfolgt. Mit dieser Verarbeitung, wie die Umsetzung von Punkten mit kleineren Variationsbeträgen, wird ausgeführt, der Fehlereinfluß wird reduziert, und die Präzision wird verbessert.
Die Skalierungsumsetzeinheit 94 zum Ausführen der Skalierungsumsetzung setzt das Hintergrundbild um, damit es denselben Sehwinkel hat wie das Bild, das den Gegenstand enthält, und zwar auf der Grundlage des Vergrößerungsvariationsbetrags zwischen zwei Bildern.
Beispielsweise sei f1 und f2 die Brennweite nach Aufnehmen des Bildes, das den Gegenstand enthält, und das Hintergrundbild, das die Bildaufnahmeparametermeßsteuereinheit 405 mißt, die in 17 gezeigt ist. Dann wird der Skalierungskoeffizient vom Hintergrundbild in Hinsicht auf das Bild angegeben, das den Gegenstand enthält, mit af2/(f1 + c) (wobei a und c Festwerte sind, die durch das Layout des optischen Systems bestimmt sind, einschließlich der Sensorposition der Bildaufnahmeeinheit). Skalierungskoeffizienten gemäß den Kombinationen der Werte der vorbestimmten Bereiche von f1 und f2 können im voraus in einer Speichereinheit, wie einem ROM, entsprechend dieser Umsetzformel und nach Extraktion eines Gegenstands gelesen werden.
In diesem Falle wird angenommen, daß Variationen in der Entfernung zwischen Bildaufnahmeeinheit und Gegenstand hinreichend kurz sind. Wenn Vergrößerungsdaten keine Variationen aufweisen, kann diese Verarbeitung entfallen, und die Umsetzung beginnt mit der Positionsausrichtungseinheit 93.
Die Beleuchtungsumsetzeinheit 91 setzt den Leuchtdichtepegel in Pixeleinheiten auf der Grundlage von Koinzidenz/Nichtkoinzidenz von Beleuchtungsbedingungen um, wie Variationsbeträge von Verstärkungs- und Gammakennlinien, Belichtungsmenge, im Haus oder im Freien, die An-/Abwesenheit der Blitzgabe und dergleichen zwischen Hintergrundbild und dem Bild, das den Gegenstand enthält.
Genauer gesagt, ein Umsetzkoeffizient c wird als Verstärkungsfunktion G1 angegeben (der Wert des Bildes, das den Gegenstand enthält; dasselbe gilt für die folgenden Parameter) und G2 (der Wert vom Hintergrundbild; dasselbe gilt für die folgenden Parameter), Gammawerte gr1 und gr2, Verschlußzeiten s1 und s2 und dergleichen nach Bildaufnahmen. Im allgemeinen können die Gammawerte feststehend sein, und andere Parameter können eingestellt werden, um den Wert c entsprechend der Verhältnisse (G1/G2, s1/s2) zu bestimmen. Angemerkt sei, daß C als monoton ansteigende Funktion in Hinsicht auf die Verhältnisse G1/G2 und s1/s2 angegeben sind, aber das aktuelle Funktionsmuster variiert abhängig von den Einrichtungskennlinien der Bildaufnahmeeinheit. Von daher wird der Wert c angegeben als Kombination der Werte (G1/G2 und s1/s2), und passende Werte können in einer Speichereinheit, wie in einem ROM, in der Form einer Umsetztabelle gespeichert und ausgelesen werden nach Extraktion eines Bildes. Dasselbe gilt für Farbkomponentenumsetzung.
Die Farbkomponentenumsetzeinheit 92 setzt die Farbkomponenten von Bilddaten auf der Grundlage des Weißabgleichkennlinienvariationsbetrags und dergleichen um.
Die Positionsausrichteinheit 93 führt eine Ortsverschiebeoperation bezüglich eines Speichers aus, um so die Ähnlichkeit zwischen Hintergrundbild und dem Bild zu maximieren, das den Gegenstand enthält. Genauer gesagt, um Variationen der Lage der Bildaufnahmeeinheit und Positurvariationen (Kameraschwenken, wenn die Bildaufnahmeeinheit neu gehalten wird oder wenn sich die Fußstellung des Fotografen leicht ändert) zu ermöglichen, nachdem zwei Bilder aufgenommen worden sind, erfolgt Extraktion der zugehörigen Punkte zwischen den beiden Bildern und Positionsausrichtung, das heißt, eine Anpassungsberechnung auf der Grundlage der extrahierten entsprechenden Punkte.
Normalerweise können kleine Variationen, wie Kameraschwenk, für kurze Zeitdauer durch Extrahieren entsprechender Punkte absorbiert werden (wenigstens drei Punkte) zwischen Lokalzonen an vier Ecken des Bildes). Als typischer Algorithmus zum Extrahieren entsprechender Punkte zwischen den beiden Bildern wird ein Blockanpaßverfahren, bei dem ein Bild in Blöcke segmentiert ist, die jeweilige Punkte im Bild als Mitten haben und jeweils eine vorbestimmte Größe aufweisen, und Punkte entsprechend dem Maximalkorrelationswert zwischen Blöcken werden als zugehörige Punkte ausgewählt und können verwendet werden.
Um eine Positionsausrichtung auszuführen, ist es wichtig, daß die Hintergrundabschnitte der beiden Bilder einander mit einem vorbestimmten Verhältnis oder größer überlappen. Als allgemeines Maß für das Verhältnis müssen zwei Bilder einander in einer Fläche von beispielsweise 50% oder mehr für die Bildzone des zu extrahierenden Gegenstands überlappen.
Angemerkt sei, daß der Minimalwert des Überlappungsflächenverhältnisses abhängig vom Muster des Hintergrundes variiert, aber dies erübrigt sich zu sagen. Wenn insbesondere die Hintergrundzone und die Gegenstandszone relativ leicht zu trennen sind, das heißt, wenn der Hintergrund nahezu dasselbe Muster oder ein periodisches Muster hat, das ganz unterschiedlich gegenüber dem zu extrahierenden Gegenstand ist, kann die Überlappungsfläche sehr klein sein.
Die Bilddatenvergleichereinheit 411 erzeugt Differenzbilddaten zwischen dem Hintergrundbild nach der Bildumsetzung und dem Bild, das den Gegenstand enthält.
Die Bildausschneideeinheit 412 führt Glättungsverarbeitung (Mittenfilter oder dergleichen) und statistische Verarbeitung (basierend auf einer Farbkomponentenherleitung und Leuchtdichtenpegelherleitung) der erzeugten Differenzbilddaten aus, wodurch eine Gegenstandszone aus einer Zone großer Variationen extrahiert wird.
Genauer gesagt, Farbtondaten H_b und H_t, Sättigungsdaten S_b und S_t und Helligkeitsdaten V_b und V_t werden jeweils aus den Komponenten R, G und B und den Leuchtdichtesignalen eines Bildes I_b ausgelesen, das nur aus dem Hintergrund nach Umsetzung eines Bildes I_t besteht, und das den Gegenstand enthält, und der Wert einer Bewertungsfunktion F, der durch die nachstehende Gleichung (8) angegeben ist, wird mit einem vorbestimmten Schwellenwert binär umgesetzt, um die Gegenstandszone und Hintergrundzone zu identifizieren. F(Hb – H1, Sb – St, Vb – Vt) = αh(Hb – Ht)2 + αs(Sb – St)2 + αu(Vb – Vt)2 (8)wo α_h, α_s und α_u Funktionen der S/N-Werte der jeweiligen Komponenten von den Bildern I_b und I_t sind, oder Varianzen der jeweiligen Komponenten, wenn jedes Bild in Blöcke segmentiert ist, die jeweils eine vorbestimmte Größe aufweisen, beispielsweise α_h = P_h(I_b)·P_h(I_t) oder dergleichen verwendet wird.
Angemerkt sei, daß P_h(I) eine monoton ansteigende Funktion vom S/N-Wert darstellt, der zur Farbtonkomponente in einer vorbestimmten Zone der Bilddaten I gehört, oder eine monoton abfallende Funktion (reziprok oder dergleichen) der Varianzen. Gleichermaßen werden P_s(I) und P_u(I) Parameter mit Sättigung, und Helligkeit wird festgelegt. Ein Schwellenwert T zum Herausfinden eines jeden Punkts in einer Zone kann eingestellt werden mit T = T_h + T_s + T_u, wenn T_h, T_s und T_u durch Anwenden vom Otsu-Verfahren erzielt werden (Journal of Papers of The Institute of Electronics, Information and Communication Engineers, Ausgabe J63, Seiten 349–356, 1980) zu jeweiligen Ausdrücken der Bewertungsfunktion, das heißt, (H_b – H_t)², (S_b – S_t)², und (V_b – V_t)².
Angemerkt sei, daß die oben beschriebene Bewertungsfunktion und die oben beschriebenen Parameter nicht auf die spezifischen Definitionen beschränkt sind. Der Schwellenwert selbst kann ein vorbestimmter konstanter Wert über die Gesamtzone des Bildes sein.
Verbundene Zonen, die als Gegenstandszonen im Ergebnis der Schwellenwertverarbeitung herausgefunden werden, werden gekennzeichnet und auf der Anzeige 417 als Maskenbilddaten in unterschiedlichen Farben, Leuchtdichtewerten, Strichelungsmuster oder dergleichen dargestellt.
In diesem Falle kann eine isolierte Zone verbundener Zonen, das heißt, eine Kleckszone im Hintergrund kann als identische Gegenstandszone angesehen und umgesetzt werden in ein Kennzeichen, die derjenigen der Gegenstandszonen gleicht, die diesen umgeben. Der Anwender wählt eine der Gegenstandszonen aus und zeigt diese auf, die unter Verwendung einer Maus (nicht dargestellt) zu extrahieren sind, oder dergleichen (durch Anklicken der Zone unter Verwendung der Maus) und folglich wird nur das Gegenstandsbild auf der Anzeige 417 dargestellt, nachdem der Hintergrund beseitigt ist oder dergleichen.
Wenn die extrahierten Bilddaten befriedigend sind, gibt der Anwender einen Bestätigungsbefehl durch Anklicken beispielsweise eines Bestätigungspiktogramms. Dann werden nur die Bilddaten lediglich vom Gegenstand codiert, und das Erzeugen einer Bilddatendatei erfolgt.
(1) Von 22 zeigt ein Beispiel des Bildes, das den spezifischen Gegenstand enthält, in dem sowohl die Bilder vom Gegenstand als auch der Hintergrund aufgenommen werden, und (2) von 22 zeigt ein Beispiel des Hintergrundbildes. Das in (1) von 22 gezeigte Bild mit dem Gegenstand wird im Bildaufnahmemodus aufgenommen, der optimale Aufnahmebedingungen für den Gegenstand (die Person) liefert.
Das in (2) von 22 gezeigte Hintergrundbild wird mit derselben Vergrößerung aufgenommen, und die Bildsignalkennlinie wird optimal zum Hintergrund eingestellt. Die Bilddaten dieser Bilder haben oft Eigenschaften mit geringen Unterschieden (Durchschnittsleuchtdichtepegel, Farbkomponenten), selbst auf einem identischen Hintergrundabschnitt, und (2) von 22 betont eine derartige Differenz.
(3) von 22 zeigt das Ergebnis der Normierung vom Hintergrundbild auf der Grundlage der Bildaufnahmebedingungen des Bildes, das den Gegenstand enthält. Die Ausschneideverarbeitung erfolgt auf der Grundlage der Differenzdaten (Ergebnis der Vergleichsverarbeitung im obigen Schritt S570) zwischen dem Bild (1), das den Gegenstand enthält, und dem Bild (3), das aus lediglich dem Hintergrund besteht.
(4) von 22 zeigt das Ergebnis der Ausschneideoperation.
Angemerkt sei, daß das registrierte Bild wieder aufgefunden und extrahiert werden kann aus der Bilddatenbank 418. In diesem Falle bedeutet das registrierte Bild ein solches, das in diesem Ausführungsbeispiel einen speziellen Gegenstand enthält, und dieselbe Verarbeitung erfolgt unter Verwendung von Zusatzinformation nach Bildaufnahme, die in einem Kopfabschnitt eines Bildes oder in einer Kopfdatei aufgezeichnet wird.
Das zweite Ausführungsbeispiel eines Bildaufnahmegeräts, das das Hintergrundbild umsetzt, ist nachstehend beschrieben.
In diesem Ausführungsbeispiel wird die Verarbeitung ausgeführt, die sowohl die Bildqualität des Gegenstandsbildes als auch die Ausschneidegenauigkeit vor Verschlechterung bewahrt, unabhängig von der Bildaufnahmereihenfolge vom Hintergrundbild und dem Bild, das den Gegenstand enthält.
Zu diesem Zweck wird in diesem Ausführungsbeispiel ein Bild aufgenommen und unter einer Bedingung aufgezeichnet, in der die Vergrößerungsbedingung konstant beibehalten wird, während andere Bildaufnahmebedingungen unabhängig eingestellt werden können. Wenn in diesem Falle ein Bild mit einem spezifischen Gegenstand aufgenommen wird, gibt der Bildaufnahmemodus der Bildqualität vom ausgewählten Gegenstandsbild die Priorität.
21 zeigt den Verarbeitungsablauf vom zweiten Ausführungsbeispiel. Angemerkt sei, daß erste und zweite Bilder in 21 dem Hintergrundbild bzw. dem Bild entsprechen, das den Gegenstand enthält oder umgekehrt in der obigen Beschreibung.
Unter Bezug auf 21 wird bei der Bilddatenumsetzverarbeitung in Schritt S549 ein Datenwert zweier Bilddaten umgesetzt, um die Bildaufnahmebedingungen gegenüber jenen der anderen Bilddaten zu justieren, und die Positionsausrichtung zwischen den beiden Bildern erfolgt wie im ersten Ausführungsbeispiel.
Vor dieser Verarbeitung können zwei Bilddatenwerte in niedrig aufgelöste Bilder umgesetzt werden durch Unterabtasten oder durch Ortsdurchschnittsverarbeitung. Dies liegt daran, daß der Fokussierzustand (Auflösung) häufig zwischen Hintergrundzone und Bild stark variieren, das den Gegenstand enthält, und die zugehörige Zone des Hintergrundbildes, selbst wenn die Vergrößerungsbedingung gleich bleibt. Wenn beide Bilder umgesetzt sind in Bilder niedriger Auflösung, wie zuvor beschrieben, und die umgesetzten Bilder verarbeitet werden, kann die Effizienz und Genauigkeit nach grober Abschätzung der Gegenstandszone verbessert werden.
Gemäß diesem Ausführungsbeispiel, das das Hintergrundbild umsetzt, kann der Spielraum für unterschiedliche Bildaufnahmebedingungen in jeweiligen Bildern erhöht werden, da die Bildaufnahmebedingungen aufgezeichnet sind und die Daten auf der Grundlage der aufgezeichneten Bildaufnahmebedingungen umgesetzt sind, wenn ein spezifischer Gegenstand durch Vergleich einer Vielzahl von Bildern extrahiert wird, wie einem registrierten Bild und einem aktuellen Bild, unterschiedliche Vollbilder in einem Bewegungsbild oder dergleichen. Wenn im Ergebnis ein spezifisches Gegenstandsbild aus dem Hintergrundbild extrahiert wird, kann der Gegenstand in befriedigender Weise extrahiert werden, ungeachtet geringer Variationen in der Position des Bildaufnahmemittels aufgrund von Kamerawackeln, Differenzen in der Belichtungsbedingung, Variationen der Verstärkung vom Sensor und dergleichen. Der Spielraum für Variationen, beispielsweise bei der Belichtungsbedingung, kann erhöht werden, ohne daß irgend ein Modell verwendet wird, das zu dem zu extrahierenden Gegenstand gehört, wie beispielsweise ein Farbmodell.
Da Differenzbilddaten als Vergleichsdaten zwischen dem Hintergrundbild und dem Bild verwendet werden, das den Gegenstand enthält, kann der Spielraum für Variationen in den Bildaufnahmebedingungen und Kameraparametern erhöht werden, und die Verarbeitung zum Ausschneiden eines spezifischen Gegenstands aus dem Hintergrund kann in effizienter Weise erfolgen.
Da die Bilddaten vom Hintergrundbild unter Verwendung des Bildes umgesetzt werden, das den Gegenstand enthält, der unter denselben Bildaufnahmebedingungen wie jene aufgenommen wurde, die nach Aufnehmen des Hintergrundes aufgenommen sind, kann der Spielraum für Variationen in Bildaufnahmebedingungen und Kameraparametern auf der Grundlage sowohl des Hintergrundbildes als auch des Bildes erhöht werden, das den Gegenstand enthält, und es läßt sich ein hochqualitatives Gegenstandsbild extrahieren, unabhängig von den Bildaufnahmebedingungen, die nach Abbilden des Hintergrundbildes verwendet werden. Folglich kann ein hochqualitatives, scharf eingestelltes Bild vom Gegenstand ausgeschnitten werden, das abzugeben ist.
Da Bilddaten einer von der Bildausschneideeinheit gewonnenen spezifischen Bildzone codiert und in der Bildaufzeichnungseinheit aufgezeichnet werden, kann das extrahierter Bild in effizienter Weise codiert werden, und die Bildextraktion läßt sich in befriedigender Weise ausführen.
Da die Ortsverschiebeoperation zum Maximieren der Ähnlichkeit zwischen dem Hintergrundbild und dem Bild erfolgt, das den Gegenstand enthält, kann die Bildextraktion, die Variationen in der Position und Positur von der Bildaufnahmeeinheit zuläßt, erzielt werden, und die Bildextraktion, die einen kleinen nachteiligen Einfluß hat, beispielsweise vom Kamerawackeln nach Bildaufnahme, kann ebenfalls realisiert werden.
Da die Bildaufnahmebedingungen die Belichtungsmenge, den Fokussierzustand und die An-/Abwesenheit von Blitzlicht enthalten, kann ein spezifisches Gegenstandsbild aus der Vielzahl von Bildern unter unterschiedlichen Aufnahmebedingungen extrahiert werden, und die Bildextraktion mit großem Spielraum für Variationen in der Vergrößerungsbedingung, dem Fokussierzustand, dem Kontrast, der Beleuchtungsbedingung und dergleichen kann realisiert werden.
Da die Bilddatenumsetzeinheit die Bildgröße, den Leuchtdichtepegel, die Farbkomponenten und die Auflösung umsetzt, können Bilddaten einer Vielzahl von Bildern, aufgenommen unter unterschiedlichen Aufnahmebedingungen, normiert werden, und eine spezifische Gegenstandsextraktionsverarbeitung auf der Grundlage eines Vergleichs zwischen Bildern kann mit hoher Präzision erfolgen, womit die Hochpräzisionsgegenstandsbildextraktion realisiert wird.
<Beispiel einer Steuerschablone>
23 ist ein Blockdiagramm, das die Anordnung eines Hauptteils vom ersten Ausführungsbeispiel eines Bildaufnahmegeräts zeigt, das eine Schablone steuert. Unter Bezug auf 23 bedeuten die Bezugszeichen 501_R und 501_L eine linke bzw. eine rechte Kamera; Bezugszeichen 502 bedeutet eine Bühne mit einer Basislängenmeßsteuereinheit zwischen rechter und linker Kamera, und Bezugszeichen 503_R und 503_L bedeuten optische Achsrichtungsmeßsteuereinheiten zum Variieren des Konvergenzwinkels zwischen den Kameras 501_R und 501_L und deren optische Achsrichtung und Konvergenzwinkel. Genauer gesagt, die Einheiten 503_R und 503_L befestigen die Kameras 501_R und 501_L auf der Bühne 502 mit Drehpunkt, variieren den Konvergenzwinkel, der zwischen den Kameras festgelegt ist, durch Eigendrehung via Motore, und diese haben Sensorpositionen von Drehwinkeldetektoren zum Erfassen der Drehpositionen der Kameras bei im wesentlichen den Drehpunktmitten.
Bezugszeichen 504 bedeutet eine Bildaufnahmesystemsteuereinheit zum systematischen Steuern der Basislänge, des Konvergenzwinkels, der Brennweiten und dergleichen zwischen linker und rechter Kamera. Eine Bildaufnahmeeinheit dieses Ausführungsbeispiels besteht aus den oben aufgeführten Bauelementen.
Bezugszeichen 505 bedeutet eine Gegenstandsentfernungsfeststelleinheit, die Bilder aus den Kameras 501_R und 501_L verarbeitet und die Entfernung zum Gegenstand berechnet, der in Vollbildern auf der Grundlage optischer Parameter der Bildaufnahmeeinheit enthalten ist, der Disparität zwischen dem rechten und linken Vollbild oder deren Verteilung (das Berechnungsverfahren ist später detailliert zu beschreiben).
Bezugszeichen 506 bedeutet eine Schablonensteuereinheit, die über verschiedene Schablonen verfügt, die verwendet werden zum Bewerten der Ähnlichkeit zwischen Überlappungszonen der beiden Bilder, die die Kameras 501_R und 501_L festlegen, das heißt, der Bildzonen, die gemeinsam von den beiden Kameras abgetastet werden. Die Schablonenspeichereinheit 506 verfügt über Mittel, die zum Aufzeichnen eines Bildes in der Lage sind, wie beispielsweise ein Magnetplattenspeicher, ein optischer Plattenspeicher, ein Bandspeicher und dergleichen.
Die Schablonen enthalten Bilder der jeweiligen Abschnitte (Kopfabschnitt, Hände, Fuß und dergleichen) einschließlich der gesamten Gestalt einer Person, ähnliche Bilder von Tieren und Pflanzen und verschiedene andere Bilder, wie Fahrzeuge, technische Einrichtungen für Gebäude, Stadtszenarien und dergleichen, die der Anwender registriert hat, und diese sind nicht speziell auf bestimmte beschränkt. Vorzugsweise kann die Schablone ein Bild sein, das lediglich einen zu registrierenden Gegenstand enthält, oder es handelt sich um ein vereinfachtes Bild (beispielsweise ein Bild gemäß einer Information nach Bildaufnahme oder Erzeugen eines Originalbildes, oder wird gewonnen durch Verarbeiten einer derartigen Bildinformation, um die Informationsmenge oder die Bitanzahl zu verringern, so daß ein Bild durch Binärumsetzung eines Bildes aus der Bildaufnahmeeinheit gewonnen wird, mit einem vorbestimmten Schwellenwert oder Silhouettenbild, einem Bild, bestehend nur aus einer Konturlinie eines Gegenstands oder dergleichen).
Bezugszeichen 507 bedeutet eine Schablonengrößenbestimmungseinheit, die eine geeignete Größe der Schablone bestimmt, die in einer Ähnlichkeitsbewertungseinheit 508 auf der Grundlage von Information verwendet wird, die aus der Gegenstandsentfernungsfeststelleinheit 505 kommt, und es wird die bestimmte Größe zur Ähnlichkeitsbewertungseinheit 508 abgegeben.
Die Verarbeitung der Gegenstandsentfernungsfeststelleinheit 505, der Schablonengrößenbestimmungseinheit 507 und der Ähnlichkeitsbewertungseinheit 508 ist nachstehend erläutert. Angemerkt sei, daß die Verarbeitungsprogramme, die in den folgenden Ablaufdiagrammen gezeigt sind, im voraus in einem ROM gespeichert werden können oder aus einem externen Speichermedium in einen RAM geladen werden können, wenn die Ausführung erfolgt.
(1) Verarbeitung einer Gegenstandsentfernungsfeststelleinheit 505.
24 ist ein Ablaufdiagramm, das die Verarbeitung der Gegenstandsentfernungsfeststelleinheit 505 zeigt.
Kameraparametereingabeverarbeitung (S601)
Die Bildaufnahmesystemsteuereinheit 504 erzielt die Basislänge aus der Basislängenmeßsteuereinheit (nicht dargestellt) auf der Bühne 503 (Basislängeneingabeverarbeitung), den Konvergenzwinkel zwischen den Kameras 501_R und 501_L aus den Meßsteuereinheiten 503_R und 503_L für die optische Achsrichtung (Konvergenzwinkeleingangsverarbeitung) und den Brennweiten der Kameras aus dem Antriebsmeßsteuermechanismus der Linsengruppen von den Kameras 501_R und 501_L (Brennweiteneingabeverarbeitung).
Im Falle einer Festbrennweite kann der Wert in einem ROM der Steuereinheit 504 gespeichert werden. Andererseits können die Kameras 501_R und 501_L oder die Gegenstandsentfernungsfeststelleinheit 505 Aberrationen (speziell Verzerrung) entsprechend den Brennweiten in einem ROM oder dergleichen speichern, und die Aberrationsinformation kann eingegeben werden (Aberrationsinformationseingabeverarbeitung).
Diese eingegebenen Parameter werden dann verwendet, wenn die Disparitätsverteilung zwischen den Bildern, extrahiert aus den Bildern der Kameras 501_R und 501_L , in Tiefeninformation (Entfernungsinformation) eines Gegenstands auf einem Koordinatensystem umgesetzt werden, das auf der Bildaufnahmeeinheit vorgesehen ist.
Disparitätsinformationsextraktionsverarbeitung (S602)
Das von der rechten und linken Kamera 501_R und 501_L aufgenommene Bild wird eingegeben, und die Disparität (Horizontalverschiebungsbetrag von Pixeln zwischen entsprechenden Punkten) in der Überlappungszone zwischen zwei Bildern werden durch Bildverarbeitungen gewonnen.
Eine zonenbasierende Technik, realisiert nach einem Verfahren, bei dem beispielsweise jedes rechte und jedes linke Bild in Blöcke nach einem vorbestimmten Verfahren segmentiert wird, und der Korrelationswert zwischen zugehörigen Blocken wird dann berechnet, und eine merkmalsbasierende Technik für Extraktionsmerkmalskomponenten, wie Kanten, Liniensegmente und dergleichen in einem Bild und Ausführungsanpassung zwischen extrahierten Merkmalskomponenten sind dann verfügbar (Dhond & Aggarwal, IEEE Trans. On System, Man, and Cybernetics, Ausgabe 19, Seiten 1489–1510). In diesem Ausführungsbeispiel muß die Verteilungsdisparität in der Überlappungszone nicht extrahiert werden, und das Extraktionsverfahren muß keinen Beschränkungen unterworfen werden.
Abstandsfeststellverarbeitung (S603)
Diese Verarbeitung berechnet die Entfernung zu einem Gegenstand, der in der Überlappungszone liegt, auf der Grundlage der Disparitätsverteilung. In diesem Ausführungsbeispiel ist eine Zone, deren Disparitätswert größer als ein vorbestimmter ist (fällt in einen vorbestimmten Entfernungsbereich) und dessen Varianz kleiner ist als ein vorbestimmter Schwellenwert (das heißt, Werte sind grob einheitlich) wird ausgelesen (Gegenstandszonenextraktionsverarbeitung), und die repräsentative Disparitätsfeststellverarbeitung erfolgt für die Extraktionszone.
Die repräsentative Disparität kann erzielt werden durch Berechnen eines repräsentativen Werts durch Ausführen statischer Verarbeitung für die Disparitätsverteilung, wie Durchschnittswert oder Spitzenwert der Disparitätswerte in der Gegenstandszone.
Die Disparitätsentfernungsumsetzverarbeitung ist nachstehend beschrieben.
25 zeigt das Entfernungsmeßkoordinatensystem. In diesem Ausführungsbeispiel wird Z_L durch folgende Gleichung (9) angegeben:
Die Basislänge l zwischen rechter und linker Kamera wird durch folgende Gleichung (10) angegeben: I = √a² + b² (10)
Angemerkt sei, daß die Aberrationsinformation verwendet wird zum Beseitigen des Verzerrungseinflusses auf den Bildschirm nach Berechnen von Z_L aus den zugehörigen Punktpositionen zwischen rechtem und linkem Bild.
Die Art der Einstellung des Koordinatensystems ist nicht auf ein spezielles in diesem Ausführungsbeispiel beschränkt. Beispielsweise wird ein Bezugskoordinatensystem, bei dem der Ursprung im Mittelpunkt der Basislänge zwischen linker und rechter Kamera angelegt ist, die X-Achse in Basislängenrichtung, die Z-Achse in Tiefenmeßrichtung senkrecht zur X-Achse und die Y-Achse in Richtung senkrecht zu diesen beiden Achsen eingestellt.
(2) Verarbeitung der Schablonengrößenbestimmungseinheit.
Die Verarbeitung in der Schablonengrößenbestimmungseinheit 507 ist nachstehend anhand 26 beschrieben.
Schabloneninformationeneingabeverarbeitung (S604)
Aus der Schablonenspeichereinheit werden die Art und die Adreßinformation einer Schablonengruppe, die einem spezifischen Gegenstand zugehörig ist, das heißt, einer Schablonengruppe, die unterschiedliche Gegenstandsbilder enthält, wenn man diese aus unterschiedlichen Sehpunkten oder Sehachsenrichtungen oder unterschiedlichen Gegenstandsbildern sieht, die sich ändern nach Bewegen des Gegenstands und aus einer Richtung betrachtet werden, eingegeben. Des weiteren wird die typische Größe vom spezifischen Gegenstand, das heißt der statistische Durchschnittswert und die Varianz, eingegeben.
Im Falle einer Schablone gemäß der Gesamtfigur einer Person entspricht die Größe der Höhe, der Schulterlänge oder dergleichen; im Falle einer Schablone gemäß der Hand entspricht die Armlänge oder Schulterlänge der Fingerspitze. Hinsichtlich Größe wird zusätzlich zur oben genannten Information der Koordinatenursprung in der Mitte der Sensoroberfläche der linken Kamera 501_L vom Gegenstandsbild eingesetzt, das gewonnen wurde auf der Grundlage einer vorbestimmten Brennweite und einer vorbestimmten Gegenstandsentfernung, wobei die Z_l-Achse in einer Normalrichtung zur Sensoroberfläche oder der optischen Achsrichtung eingerichtet wird, wobei die X_L-Achse eingestellt wird in Disparitätsfeststellrichtung von der Sensoroberfläche, und die Y_L-Achse wird in senkrechter Richtung dazu eingestellt.
Auf diese Weise wird das Bezugskoordinatensystem der linken Kamera als Standardkoordinatensystem festgelegt. In 25 bedeutet ein Punkt P den Gegenstandspunkt im dreidimensionalen Raum, und X_LP und X_RP sind die Abbildungspunktpositionen vom Punkt P auf den Sensoroberflächen von der rechten und der linken Kamera, das heißt, die Koordinaten auf den X_L- und X_R-Achsen.
θ_R und θ_L sind Parameter, die die optische Achsrichtung der rechten und der linken Kamera aufzeigen, das heißt, die Winkel, die in einer Ebene gegeben sind, die die Tiefenmeßrichtung einschließt, und die gebildet sind durch eine Richtung senkrecht zur Basislängenrichtung von der rechten und von der linken Kamera. In 25 ist θ_L < 0, und θ_R > 0.
Das gegebene θ = |θ_L| + |θ_R|, θ stellt den Konvergenzwinkel zwischen der rechten und der linken Kamera dar. Im Sinne der Vereinfachung wird der Punkt P an eine Stelle gesetzt, die durch gleiche Abstände von rechter und linker Kamera getrennt sind, und die Brennweiten der rechten und der linken Kamera gleichen einander, das heißt, sie sind "f".
Die Koordinatenursprungsposition der rechten Kamera ist dargestellt durch (a, 0, b) auf dem Bezugskoordinatensystem der linken Kamera, und die Z_L-Koordinate von Punkt P ist angenähert als Tiefenmeßwert.
X_LP – X_RP repräsentiert die Disparität. Wenn in diesem Ausführungsbeispiel Z_L berechnet wird aus den Werten von X_LP und X_RP, kann X_LP – X_RP die Größe auf dem Bildschirm der Größe des Polygons entsprechen, das ein Gegenstandsbild auf dem Bildschirm beinhaltet.
Gegenstandsabstandseingabeverarbeitung (S605)
Die Gegenstandsentfernung wird festgestellt und eingegeben von der Gegenstandsentfernungsfeststelleinheit 505 durch Ausführen der im Ablaufdiagramm von 24 gezeigten Verarbeitung.
Schablonengrößenbestimmungsverarbeitungen (S606)
Diese Verarbeitung bestimmt einen passenden Bereich auf der Schablonengröße auf der Grundlage der Entfernungsinformation, die die Gegenstandsentfernungsfeststelleinheit 505 erzeugt hat.
Ein statistischer Durchschnittswert S, der einer Menschenhandgröße zugehörig ist, wird beispielsweise folgendermaßen festgelegt als Mittenwert So' von der Größe des Bildschirms unter Verwendung der Brennweite f der Bildaufnahmeeinheit und der Gegenstandsentfernung d: So' = fS/(f + d)
Der Bereich einer Schablonengröße S' wird folgendermaßen definiert So' – αfΔ/(f + d) ≤ S' ≤ So' + Δ/(f + d)
Wobei Δ die statistische Varianz der Gegenstandsgröße und α eine beliebige Konstante von 0 < α ≤ 1 ist. In der vorliegenden Erfindung werden die obere und die untere Grenze des Größenbereichs bestimmt durch den Varianzwert, der den statistischen Durchschnittswert als Mitte verwendet.
Angemerkt sei, daß die Brennweite f von der Bildaufnahmeeinheit eingegeben werden kann aus der Gegenstandsabstandsfeststelleinheit und direkt aus der Bildaufnahmeeinheit eingegeben wird, oder kann eingegeben werden von einem nicht dargestellten Computerpunkt.
(3) Verarbeitung der Ähnlichkeitsbewertungseinheit 508.
Die Verarbeitung der Ähnlichkeitsbewertungseinheit 508 ist nachstehend anhand 27 beschrieben.
(S607) Eine Schablonengruppe mit Standardgröße wird aus der Schablonenspeichereinheit in Verbindung mit einem spezifischen Gegenstand eingegeben, der im voraus bestimmt wurde vom Anwender nach einem vorbestimmten Verfahren, und der Größenbereich wird der Schablonengrößenbestimmungseinheit eingegeben.
(S608) Die Gegenstandszone auf dem Bildschirm wird aus der Gegenstandsentfernungsfeststelleinheit eingegeben, und deren Mittenposition (das heißt, Schwerpunktsposition) wird berechnet.
Welche Bilder aus der rechten und der linken Kamera zu dieser Zeit verwendet werden, ist im voraus bestimmt worden. In diesem Ausführungsbeispiel liegt die Gegenstandszone in einer Überlappungszone, wie in den Paragraphen zur Entfernungsfeststellverarbeitung beschrieben, und eine Zone, in der der Disparitätswert gleich oder größer als ein vorbestimmter Wert ist, wird die zugehörige Varianz kleiner als ein vorbestimmter Schwellenwert.
(S609) Drei unterschiedliche Größen der Schablonengruppe, die zum Gegenstand gehören und die Standardgröße haben, werden als Beispiel aus dem Größenbereich ausgewählt, wobei jede Schablone die Standardgröße hat und verkleinert oder vergrößert wird auf die ausgewählte Größe nach einem geeigneten Verfahren und die Ähnlichkeitsbewertung mit der Gegenstandszone erfolgt bei den jeweiligen Größen.
Angemerkt sei, daß nur eine Größe vom Größenbereich auswählbar ist. Als Ähnlichkeitsbewertungsverfahren wird beispielsweise die Mitte einer Schablone auf die der Gegenstandszone justiert, die Quadratsumme der Leuchtpegeldifferenzen oder Farbtondifferenzen zwischen zugehörigen Pixeln in der Gegenstandszone werden berechnet, und wenn der errechnete Wert gleich oder kleiner als ein vorbestimmter Schwellenwert ist, wird bestimmt, daß die Schablone zur Gegenstandszone paßt.
Die Schablonenmitte kann weiterhin in eine Rechteckzone mit einem vorbestimmten Bereich versetzt werden, die die Mitte der Gegenstandszone als ihren Mittelpunkt hat, und die Ähnlichkeitsbewertung kann erfolgen.
Als Beispiel einer anderen Maßnahme für die Gleichheit nach Vergleichszonen mit einem Pixel (i, j) als Mitte werden Funktionen mit folgenden Gleichungen verwendet:
wobei IM ij (p, q) (15)die Leuchtdichte, den Tonwert oder dergleichen eines Pixels an der Pixelposition (p, q) des Schablonenbildes mit (i, j) als Mitte darstellt.
R ist die Schablonenzone oder Gegenstandszone, und die folgende Variable stellt den Leuchtdichtedurchschnittswert oder den Durchschnittswert von Parametern dar, die zum Farbton der Zone R des Schablonenbildes gehören: I–Mij –M (16)
Ebenso stellt I_mn(p, q) die Leuchtdichte oder den Farbton eines Pixels an der Pixelposition (p, q) der Gegenstandszone dar mit (n, m) als Mitte des Bildes aus der Bildaufnahmeeinheit, und I–Rnm (17)stellt den Leuchtdichtedurchschnittswert oder den Durchschnittswert der Parameter bezüglich der Zone R im zweiten Bild dar.
Durch Verarbeiten in der Ähnlichkeitsbewertungseinheit dieses Ausführungsbeispiels kann ein spezifischer Gegenstand oder dessen Zusatzinformation in stabiler Weise mit Hochgeschwindigkeit bei sehr kleiner Speicherkapazität extrahiert werden.
28 zeigt die Verarbeitung einer Ähnlichkeitsbewertungseinheit im zweiten Ausführungsbeispiel eines Bildaufnahmegeräts, das eine Schablone steuert. In diesem Ausführungsbeispiel wird ein Bewegungsmuster oder eine Aktionskategorie eines Gegenstands extrahiert durch Verarbeiten eines Bewegungsbildes, das einen Gegenstand aus der Bildaufnahmeeinheit in der Grundanordnung gemäß 23 enthält.
Um insbesondere mit den zeitseriellen Bildern zu Rande zu kommen, werden (11A) die Schablonengruppeneingabeverarbeitung, (11B) die Schablonengrößenbereichseingabeverarbeitung und (11C) die Gegenstandszonen- und Zentralpositionseingabeverarbeitung im Verarbeitungsschritt S611 gleichzeitig ausgeführt, und danach wird im Verarbeitungsschritt S612 die Schablone mit der Standardgröße vergrößert/verkleinert. Dann wird die Ähnlichkeitsverarbeitung (Verarbeitungsschritte 13A, 13B, 13C und 13D) im Verabreitungsschritt S613 ausgeführt.
Nachstehend erläutert ist ein Fall, bei dem eine Aktion, wie eine Körpergeste, eine Handgeste oder dergleichen extrahiert wird.
29 zeigt Beispiele von Originalbildern zum bilden von Schablonen, die verwendet werden zum Extrahieren von Gestenkategorien und Handgesten. Für eine Gestenkategorie werden eine Vielzahl unterschiedlicher Handbilder als Schablone verwendet, und zwar auf der Grundlage der Bewegungsmuster von der Hand, gesehen von der Sehpunktposition in vorbestimmter Richtung.
Wenigstens zwei unterschiedliche Bilder werden in diesem Falle von Start bis Ende einer Handgeste gemäß einer Bedeutungsinformation oder Befehlsinformation verwendet.
Im Verarbeitungsschritt (13A) werden die Ähnlichkeiten der zeitseriellen Eingabebilder bewertet.
Im Verarbeitungsschritt (13B) wird eine Schablonensequenz gemäß der Handgeste als Ergebnis der Anpassung mit einer extrahierten Schablonengruppe erzielt.
Wenn beispielsweise ein Schablonenbild zu Beginn einer Aktion gemäß einer Befehlskategorie "Winkzeichen geben", gezeigt unter (4) in 29, als 4A codiert wird, und ein Schablonenbild gemäß der Zeit nach Ablauf einer Hälfte der erforderlichen Aktionszeit als 4B codiert wird (Verarbeitungsschritt (13C)), erfolgt Extrahieren der Schablonensequenz wie 4A, 4B, 4A, 4B, ... gemäß Aktion (4) in 29.
Die Sequenz wird nur aktualisiert, wenn ein unterschiedlicher Schablonencode zwischen zwei Vollbildern extrahiert wird. Durch Ausführen einer Kollation oder einer Selektierverarbeitung zwischen der Schablonensequenz und den im voraus aufbereiteten Befehlen oder einer Schablonencodesequenz gemäß der Aktionskategorie wird letztlich eine Handgeste erkannt.
32 zeigt die Entsprechung zwischen Gestenkategorien und codierten Schablonensequenzen (Codebücher).
Angemerkt sei, daß dieses Ausführungsbeispiel nicht auf die Handgeste beschränkt ist, sondern auch verwendet werden kann zum Extrahieren von Informationen, die zu Aktionen von Personen, Tieren, Maschinen, Fahrzeugen und dergleichen gehört, was sich zu sagen eigentlich erübrigt.
30 ist ein Blockdiagramm, das die Anordnung eines Hauptteils vom dritten Ausführungsbeispiel eines Bildaufnahmegeräts zeigt, das eine Schablone steuert. In diesem Ausführungsbeispiel ist eine Bildaufnahmeeinheit 501 eine Einzelvideokamera, die eine Gegenstandsentfernungsfeststelleinheit 505 (oder eine Scharfeinstelleinheit) enthält. In 30 sind andere Hauptteilanordnungen der Bildaufnahmeeinheit, wie Objektiv, Objektivantriebssystem, Steuersystem und Signalverarbeitungssystem nicht dargestellt.
Andere Einheiten 506 bis 508 sind dieselben wie jene in 23, kann aber als Bildverarbeitungseinheit gruppiert werden, die mit der Bildaufnahmeeinheit kommuniziert. Als Beispiel der Gegenstandsentfernungsfeststelleinheit 505 steht ein Verfahren des Bestrahlens mit Lichtwellen (elektromagnetischen Wellen) in Gegenstandsrichtung bereit, Empfangswellen, die vom Gegenstand reflektiert werden, und Phasenmessung empfangener Wellen und dergleichen zusätzlich zur Scharfstelleinheit (einschließlich aktiver und passiver Systeme). Mit diesem Verfahren kann die Gegenstandsentfernungserfassung mit hoher Präzision realisiert werden.
In diesem Ausführungsbeispiel kann zur Bewegungsmusterfeststellung oder Aktionserfassung eines Gegenstands ein spezifischer Gegenstand erkannt werden, der nahezu stillstehend ist, und eine Bildaufnahmeoperation mit einem Gegenstand als Mitte erfolgt, wenn eine Person oder eine Maschine, die die Bildaufnahmeeinheit 501 hält, sich frei herumbewegt und eine Bildaufnahmeoperation ausführt, oder es kann die Bewegungsinformation der Bildaufnahmeeinheit 501 selbst als dritter Gegenstand extrahiert werden.
31 ist ein Ablaufdiagramm, das die Verarbeitung dieses Ausführungsbeispiels zeigt. In 31 sind die Verarbeitungsoperationen der Verarbeitungsschritte S614 und S615 dieselben wie jene Verarbeitungsschritte S611 und S612 im Ablaufdiagramm gemäß 28.
Bei der Ähnlichkeitsbewertungseinheit 508, wie sie in 31 gezeigt ist, werden die zeitserielle Bildähnlichkeitsbewertungsverarbeitung und die Extraktion einer Anpaßschablonensequenz in den Verarbeitungsschritten 16A und 16B ausgeführt (dieselben Verarbeitungsschritte 13A und 13B in Schritt S613 im Ablaufdiagramm gemäß 28). Dann codiert eine Schablonensequenzcodiereinheit 509 die Schablonensequenz (Verarbeitungsschritt 16C). Im Verarbeitungsschritt (16D) führt eine Kollationseinheit 511 die Kollation zwischen der codierten Schablonensequenz und einer Modellcodesequenz aus, die dem Eigenbewegungsmuster der Bildaufnahmeeinheit entspricht, oder der Aktionskategorie eines Gegenstands und gespeichert wird in einer Modellschablonensequenzspeichereinheit 510.
Wie im vierten Ausführungsbeispiel wird die Ähnlichkeitsbewertung eines Bildes, das Bildaufnahmeeinheit geschaffen hat, durch Betonen einer spezifischen Farbkomponente in einem spezifischen Gegenstand in einer Schablone ausgeführt.
33 ist ein Ablaufdiagramm, das die Verarbeitung einer Ähnlichkeitsbewertungseinheit dieses Ausführungsbeispiels zeigt. In diesem Ausführungsbeispiel werden Eingabeverarbeitungsschritte (17A) und (17B), ein Gegenstand und dessen Information (beispielsweise das Aktionsmuster, die Gegenstandsrichtung oder dergleichen) mit Hochgeschwindigkeit extrahiert, ohne eine Gegenstandszone und deren Mittenposition einzugeben. Der Schablonenumsetzverarbeitungsschritt S618 ist dadurch gekennzeichnet, daß die Schablonen Vergrößerungs-/Verkleinerungsverarbeitung (dieselbe wie in Schritt S615 gemäß 31) ausgeführt im Verarbeitungsschritt 18A, und es erfolgt eine spezifische Farbkomponentenbetonungsverarbeitung (Verarbeitungsschritt (18B).
Danach werden dieselben Verarbeitungsoperationen in den Verarbeitungsschritten 16A bis 16D in Verarbeitungsschritt S616 gemäß 31 ausgeführt.
Wie im fünften Ausführungsbeispiel wird die Wiederholungsverarbeitung ausgeführt, während die Auflösung der Schablonenanpassung sequentiell gesteuert wird, die auszuführen ist bei der Ähnlichkeitsbewertung von grob nach fein.
34 ist ein Ablaufdiagramm, die Verarbeitung einer Ähnlichkeitsbewertungseinheit dieses Ausführungsbeispiels zeigt. In diesem Ausführungsbeispiel wie auch im vierten Ausführungsbeispiel werden weder eine Gegenstandszone noch deren Mittenposition eingegeben. In 34 ist die Verarbeitung im Verarbeitungsschritt S620 dieselbe wie die im Verarbeitungsschritt S617 in 33.
Verarbeitungsschritt 21A im Verarbeitungsschritt S621 entspricht dem Verarbeitungsschritt 18A im Verarbeitungsschritt S618 gemäß 33.
Im Verarbeitungsschritt S618 kann ein Gegenstand und dessen Information mit Hochgeschwindigkeit durch Steuern der Auflösung von grob nach fein extrahiert werden. Genauer gesagt, im Verarbeitungsschritt 21B im Schablonenumsetzverarbeitungsschritt S621 wird die Schablonenauflösung auf den niedrigsten Zustand gebracht, und die Anpassung mit der Bildausgabe aus der Bildaufnahmeeinheit erfolgt unter Verwendung der Schablone, wodurch die Gegenstandsposition auf dem Bildschirm abgeschätzt wird.
Im Verarbeitungsschritt 22A im Verarbeitungsschritt S622 werden in diesem Falle, wenn eine Vielzahl von Zonen jeweils gleiche Bewertungsgrade oder höhere als ein vorbestimmter Schwellenwert haben, im wesentlichen die Mittenpositionen dieser Zonen in einem vorbestimmten Aufzeichnungsmedium aufgezeichnet (nicht dargestellt).
Der Ablauf kehrt zum Verarbeitungsschritt 21B im Verarbeitungsschritt S621 zurück, und die Auflösung wird erhöht, um die Ähnlichkeitsbewertung mit den aufgezeichneten Positionen der Vielzahl von Zonen als Mitten und Auswahl einer Gegenstandszone auszuführen.
Andere Schritte sind dieselbe wie jene im dritten Ausführungsbeispiel gemäß 33. Angemerkt sei, daß der Auflösungsschritt durch beliebiges Einstellen vom Anwender vorbereitet werden kann.
Wenn in diesem Ausführungsbeispiel es eine Vielzahl von zu extrahierenden Gegenständen auf dem Bildschirm gibt, kann die Informationsextraktion, die deren Bewegungen oder Aktionen zugehörig ist, durch Parallelverarbeitung erfolgen.
Gemäß diesem Ausführungsbeispiel, das eine Schablone steuert, kann Hochgeschwindigkeitsinformationsextraktion von einem Gegenstand stabil erzielt werden, während die Speicherkapazität sparsam verwendet wird, ungeachtet der Entfernung zwischen Gegenstand und Bildaufnahmeeinheit oder ungeachtet des Bildschirms.
Auch wird die Informationsextraktion eines spezifischen Gegenstands kaum von der Sehwinkeldifferenz des Gegenstands beeinflußt.
Die Gegenstandsentfernungsfeststelleinheit mißt die Entfernung zwischen Gegenstand und Bildaufnahmeeinheit aus einem Bild, und gleichzeitig kann eine Gegenstandszone auf dem Bildschirm extrahiert werden.
Die passende Größe des Modells, das der Anpassung zu unterziehen ist, läßt sich automatisch einstellen.
Die Informationsextraktion vom Gegenstand kann erzielt werden, ohne von Variationen der Gegenstandsgröße beeinflußt zu werden.
Die Bewegungsinformation der Bildaufnahmeeinheit selbst kann aus zeitseriellen Bildern extrahiert werden.
Ein spezifischer Gegenstand kann stabil aus den zeitseriellen Bildern extrahiert werden, ungeachtet der Bewegung oder Aktion des Gegenstands.
Der Bewegung oder Aktion zugehörige Information eines spezifischen Gegenstands läßt sich stabil mit Hochgeschwindigkeit extrahieren.
Zur Bewegungs- oder Aktionskategorie eines spezifischen Gegenstands zugehörige Information kann mit einer kleinen Speichermenge stabil extrahiert werden.
Fehlausrichtung zwischen Mitte des Schablonenmodells und derjenigen der spezifischen Gegenstandszone kann absorbiert werden, und Information, die dem Gegenstand zugehörig ist, kann mit Hochgeschwindigkeit extrahiert werden.
Eine spezifische Gegenstandszone und Information, die dem Gegenstand zugehörig ist, kann mit Hochgeschwindigkeit extrahiert werden.
Einem spezifischen Gegenstand zugehörige Information kann stabil extrahiert werden mit Hochgeschwindigkeit, ohne von Variationen der Beleuchtungsbedingung, dem Leuchtdichtepegel und dergleichen beeinflußt zu werden.
Einem spezifischen Gegenstand zugehörige Information kann stabil extrahiert werden, ohne von Variationen im Hintergrundmuster beeinflußt zu werden.
Die Gegenstandsentfernung kann stabil erfaßt werden mit hoher Genauigkeit, selbst bei Dunkelheit.
Da zeitserielle Bilder aus einer Bildaufnahmeeinheit Anpassungsberechnungen unterzogen werden, und zwar unter Verwendung einer Vielzahl von Schablonen in der Ähnlichkeitsbewertungseinheit, um so eine Schablonensequenz zu bilden, und die Schablonensequenz wird mit einer Modellsequenz der Kollation unterzogen mit einer Modellsequenz, um einen spezifischen Gegenstand auszulesen, der Gegenstand kann genau und stabil mit Hochgeschwindigkeit extrahiert werden, ohne großartig von Änderungen und Variationen des Hintergrunds und Änderungen und Variationen der Gegenstandsgröße beeinflußt zu werden.
<Bildaufnahmesystem unter Verwendung des Gegenstandsextraktionsverfahrens>
Ein Beispiel der Verfahrensanwendung unter Verwendung von Bildern unterschiedlicher Bildaufnahmebedingungen als eines der Gegenstandsextraktionsverfahren nach der vorliegenden Erfindung für das Bildaufnahmesystem ist nachstehend erläutert. Angemerkt sei, daß andere Gegenstandsextraktionsverfahren ebenfalls angewandt werden können.
35 ist ein funktionales Blockdiagramm, das die Anordnung eines Hauptteils vom Bildaufnahmegerät dieses Ausführungsbeispiels zeigt. Unter Bezug auf 35 bedeutet Bezugszeichen A4 eine Bildaufnahmemoduseinstelleinheit, Bezugszeigen B4 bedeutet eine Bildaufnahmeparametermeßsteuereinheit; Bezugszeichen C4 bedeutet eine Aufzeichnungseinheit; Bezugszeichen D4 bedeutet eine Bildaufnahmeeinheit; Bezugszeichen E4 bedeutet eine Bildausschneideverarbeitungseinheit; Bezugszeichen F4 bedeutet eine Steuerbefehlskommunikationseinheit; und Bezugszeichen G4 bedeutet eine Bildübertragungseinheit.
Die Bildaufnahmemoduseinstelleinheit A4 stellt den Bildaufnahmemodus ein, bei dem die Bildaufnahmeeinheit D4 die Gegenstandsextraktion ausführt. Bildaufnahmemoduseinstelleinheit A4 hat auch einen Bildaufnahmemoduseinstellknopf, der nicht dargestellt ist, und startet die Einstelloperation des Bildaufnahmemodus nach Betätigen des Bildaufnahmemoduseinstellknopfes. Die Bildaufnahmemoduseinstelleinheit A4 kehrt automatisch zum Standardbildaufnahmemodus zurück, nachdem der Bildaufnahmemodus zur Aufnahme eines erforderlichen Bildes eingestellt worden ist.
Die Bildaufnahmeparametermeßsteuereinheit B4 führt Messen und Steuern der Bildaufnahmeparameter auf der Grundlage des Bildaufnahmemodus aus, den die Bildaufnahmemoduseinstelleinheit A4 eingestellt hat. Auch die Einheit B4 führt eine Meßsteuerung der Bildaufnahmeparameter auf der Grundlage eines Voreinstellbildaufnahmemodus aus.
Weiterhin steuert die Einheit B4 die Bildaufnahmeparameter auf der Grundlage eines Steuerbefehls, den die Steuerbefehlsübertragungseinheit F4 liefert. Die Einheit B4 steuert von Steuergrad von den Bildaufnahmeparametern auf der Grundlage der Bildaufnahmeparametermeßwerte und kann die gewünschte Prioritätsreihenfolge für die Bildaufnahmeparameter einstellen.
Die Bildaufnahmeparametermeßsteuereinheit B4 arbeitet gemäß einem Basissteuerprogramm, das in die interne Speichereinheit des Bildaufnahmegeräts geschrieben ist, oder einem austauschbaren Aufzeichnungsmedium.
Die Bildaufnahmeparametermeßsteuereinheit B4 verfügt des weiteren über eine Objektivlayoutsteuereinheit zum Steuern der Linsenanordnung eines optischen Abbildsystems auf der Grundlage eines Signals aus der Bildaufnahmemoduseinstelleinheit A4, eine Fokussierpegelfeststelleinheit zum Erfassen des Fokussierniveaus und über eine Abrufsignalerzeugungseinheit zum Erzeugen eines Signals zum Abrufen einer Vielzahl von Bildern mit unterschiedlichen Scharfeinstellungen auf der Grundlage des Ausgangssignals von der Fokussierpegelfeststelleinheit (keine dieser ist dargestellt).
Die Abrufsignalerzeugungseinheit steuert die Belichtungsbedingungen durch Steuern der Verschlußgeschwindigkeit und der Blendenöffnung des optischen Auslösers oder des charakteristischen Wertes eines Bildsensors auf der Grundlage eines Signals aus der Bildaufnahmemoduseinstelleinheit A4 und erzeugt ein Signal zum Abrufen einer Vielzahl von Bildern mit unterschiedlichen Belichtungsbedingungen.
Die Aufzeichnungseinheit C4 zeichnet die Bildaufnahmeparameter und die Bilder auf. Die Aufzeichnungseinheit C4 speichert ein Videosignal vor der Signalaufzeichnung und hat eine Vielzahl von Hochgeschwindigkeitsbildaufzeichnungseinheiten C4 und Bildübertragungseinheiten G4. Die Aufzeichnungseinheit C4 hat eine Bildkompressions-/Codiereinheit (nicht dargestellt) gemäß einem Bewegungsbild oder einem Stehbild und kann das Kompressionsverfahren gemäß der Art des extrahierten Bildes im Bildaufnahmemodus für die Gegenstandsextraktion variieren.
Die Bildaufnahmeeinheit D4 nimmt Bilder zur Gegenstandsextraktion auf.
Die Bildausschneideverarbeitungseinheit E4 schneidet ein Bild aus und führt eine vorbestimmte Verarbeitung von Bildern durch, die gewonnen werden mit der Bildaufnahmeeinheit D4 unter einer Vielzahl unterschiedlicher Aufnahmebedingungen. Die Einheit E4 verfügt über eine Vergleichsdatenerzeugungseinheit (nicht dargestellt) zum Erzeugen von Vergleichsdaten zwischen einer Vielzahl von Bildern, gewonnen auf der Grundlage unterschiedlicher Bildaufnahmeparameter, und verarbeitet das auszuschneidende Bild auf der Grundlage der Vergleichsdaten, die die Vergleichsdatenerzeugungseinheit erzeugt, und einem Steuerbefehl, der aus der Steuerbefehlsübertragungseinheit F4 kommt.
Die Bildlausschneideverarbeitungseinheit E4 verfügt weiterhin über eine Bildausschneideverarbeitungseinheit (nicht dargestellt) zum Ausschneiden eines Bildes aus zeitseriellen Bildern und eine Bildfolgeeinheit (nicht dargestellt) zum Verfolgen zeitserieller Bilder unter Verwendung der extrahierten Daten, die die Bildausschneideverarbeitungseinheit als Anfangsdaten gewonnen hat.
Die Steuerbefehlübertragungseinheit F4 führt Übertragungen durch, die zu Steuerbefehlen zum Steuern der Bildaufnahmeoperation von der Bildaufnahmeeinheit D4 gehören.
Die Bildübertragungseinheit G4 überträgt Bilddaten, die die Bildaufnahmeeinheit D4 erzeugt hat, an eine externe Schaltung.
Gemäß dem Bildaufnahmegerät mit der zuvor beschriebenen Anordnung können optimale Bildaufnahmeparameter eingestellt oder gesteuert werden, wenn die Bildaufnahmeeinheit D4 Bilder aufnimmt, aus denen ein spezifisches Gegenstandsbild zu extrahieren ist. Da die Bildqualität vom extrahierten Bild optimiert werden kann durch Steuern der Bildaufnahmebedingungen, kann ein hochqualitatives Bild mit Hochgeschwindigkeit extrahiert werden.
Da die Menge von Merkmalsmengen und dergleichen eines Bildes von außen gesteuert werden können, kann die Bildaufnahmeoperation zum Gegenstandsextrahieren und die Bildverarbeitung im Bildaufnahmegerät ferngesteuert erfolgen, und ein extrahiertes Bild kann Online an einen entfernten Ort übertragen werden.
Da die Bildaufnahmeparameter gesteuert werden können durch Anliefern eines Steuerbefehls aus einer externen Schaltung über die Steuerbefehlübertragungseinheit F4, können die Bildaufnahmeparameter zum Gegenstandsextrahieren extern gesteuert werden, und ein hochqualitatives Extraktionsbild und Hochgeschwindigkeitsextraktionsverarbeitung kann realisiert werden.
Die Bildaufnahmeaufnahmemoduseinstelleinheit A4 hat den Bildaufnahmemoduseinstellknopf, startet die Einstelloperation des Bildaufnahmemodus nach Betätigen des Bildaufnahmemoduseinstellknopfes und stellt die Steuerbeträge der Bildaufnahmeparameter auf der Grundlage der Bildaufnahmeparametermeßwerte ein. Mit dieser Operation können die Bildaufnahmeparameter im Gegenstandsextraktionsmodus automatisch eingestellt werden, und der Anwender braucht manuell keine Steuerbefehle der Bildaufnahmeparameter eingeben.
Das Erfordernis zum Betätigen zum Neuspeichern des Normalbildaufnahmemodus nach der Bildaufnahmeoperation (Bildanforderungsoperation) zum Extrahieren eines spezifischen Gegenstands aus einer Vielzahl von Bildern mit unterschiedlichen Bildaufnahmebedingungen wird abgeschlossen und kann umgangen werden, das heißt, der Anwender braucht nicht von der Bildaufnahmeoperation im Gegenstandsextraktionsmodus zurückzukommen in den Normalbildaufnahmemodus, womit die Handhabbarkeit verbessert ist.
Da das auszuschneidende Bild auf der Grundlage von Vergleichsdaten verarbeitet wird, die die Vergleichsdatenerzeugungseinheit erzeugt, und ein Steuerbefehl aus der Steuerbefehlübertragungseinheit F4 geliefert wird, kann die erforderliche Vorverarbeitung für die Ausschneideverarbeitung des spezifischen Gegenstandsbild durch Steuern der Bildaufnahmebedingungen mit Hochgeschwindigkeit im Bildaufnahmegerät ausgeführt werden.
Da das Gerät über die Objektivlayoutsteuereinheit zum Steuern des Objektivlayouts im optischen Abbildungssystem auf der Grundlage eine Signals aus der Bildaufnahmemoduseinstelleinheit A4 enthält, und der Fokussierpegelfeststelleinheit zum Erfassen des Scharfeinstellniveaus, und die Abrufsignalerzeugungseinheit zum Erzeugen eines Signals zum Abrufen einer Vielzahl von Bildern mit unterschiedlichen Scharfeinstellniveaus auf der Grundlage des Ausgangssignals von der Niveaufeststelleinheit kann ein spezifisches Gegenstands mit Hochgeschwindigkeit aus einer Vielzahl von Bildern extrahiert werden, die durch Auflösungssteuerung (Scharfeinstellsteuerung) extrahiert werden, und eine stabile Bildextraktion ist sichergestellt, ungeachtet der Beleuchtungsbedingungen.
Da das Gerät über eine Abrufsignalerzeugungseinheit (nicht dargestellt) verfügt, um die Belichtungsbedingungen durch Steuern der Verschlußzeit und dem Öffnungsverhältnis des Auslösers oder des charakteristischen Wertes vom Bildsensor auf der Grundlage eines Signals aus der Bildaufnahmemoduseinstelleinheit A4 zu steuern und ein Signal zum Abrufen einer Vielzahl von Bildern mit unterschiedlichen Belichtungsbedingungen zu erzeugen, die Belichtungsbedingungen im gesamten Vollbild oder in einer spezifischen Zone läßt sich damit genau steuern, und ein spezifisches Gegenstandsbild kann stabil mit Hochgeschwindigkeit extrahiert werden.
Da die gewünschte Prioritätsreihenfolge einstellbar ist für die Bildaufnahmeparameter, kann beispielsweise die Fokussierprioritätssteuerung oder die Belichtungsmengenprioritätssteuerung bestimmt werden, und eine passende Bildaufnahmebedingungssteuerung gemäß einer jeden Bildaufnahmesituation kann eingestellt werden, womit die Bildqualität des extrahierten Bildes bei erzielter Hochgeschwindigkeitsverarbeitung verbessert wird.
Da ein Videosignal vor Signalverarbeitung in der Aufzeichnungseinheit C4 gespeichert ist, kann eine stabile Bildausschneideoperation ohne Artefakte aufgrund von Änderungen der Bildaufnahmeumgebungsbedingungen oder der Gegenstandsaktionen erfolgen, und eine Hochgeschwindigkeitsbildaufnahmeoperation kann ausgeführt werden unter Steuerung der Bildaufnahmebedingungen. Die Genauigkeit der extrahierten Gestalt kann verbessert werden, ohne durch Änderungen bei Bildaufnahmeumgebungsbedingungen oder Gegenstandsaktionen beeinflußt zu werden, und die Bildqualität wird stabilisiert.
Ein gewünschtes Bild kann auf der Grundlage eine Stehbildes oder eines Bewegungsbildes ausgeschnitten werden, und ein geeignetes Kompressions-/Codierverfahren kann automatisch abhängig davon gewählt werden, ob der Extraktionsmodus den Stehbild- oder Bewegungsbildmodus betrifft.
Ein gewünschtes Bild kann auch stabil extrahiert werden, ungeachtet der An-/Abwesenheit von Gegenstandsaktionen oder der An-/Abwesenheit von Kameraaktionen (Schwenken, Neigen oder dergleichen), und das Bild kann in selektiver Weise aus dem Bewegungsbild oder aus dem Stehbild extrahiert werden.
Da die Bildaufnahmeparametermeßsteuereinheit B4 auf der Grundlage eines Basissteuerprogramms arbeitet, das in die interne Speichereinheit des Bildaufnahmegeräts oder in ein austauschbares Aufzeichnungsmedium geschrieben ist, besteht keine Notwendigkeit für eine Onlineoperation aus einem externen Endgerät oder einer komplizierten manuellen Betätigung. Ein Steuerprogramm, das genau eine Basisbildaufnahmeoperation ausführt, die erforderlich ist zur Gegenstandsextraktion, kann gespeichert werden, und das Steuerprogramm kann von einem austauschbaren Speicher geliefert werden.
Nachstehend in mehr Einzelheiten beschrieben ist die Anordnung und Arbeitsweise vom Bildaufnahmegerät dieses Ausführungsbeispiels.
Das erste Ausführungsbeispiel vom Bildaufnahmegerät, das das Gegenstandsextraktionsverfahren nach diesem Ausführungsbeispiel anwendet, ist nachstehend beschrieben.
Die Verarbeitung zum Extrahieren eines spezifischen Gegenstands aus Bildern in diesem Ausführungsbeispiel, die unterschiedliche Bildaufnahmebedingungen haben, durch Steuern des Fokussierzustands erfolgt stabil mit Hochgeschwindigkeit, ungeachtet der Beleuchtungsbedingungen und dergleichen.
36 ist ein Blockdiagramm, das die Anordnung eines Hauptteils einer Bildverarbeitungskamera zeigt, die über einen Bildaufnahmemodus verfügt, um einen spezifischen Gegenstand zu extrahieren, und über einen Extraktionsverarbeitungsmechanismus. Angemerkt sei, daß der Bildaufnahmemodus zur Gegenstandsextraktion einen Bildaufnahmebedienmodus darstellt, der über eine Ausgabeoperation einer Vielzahl von Bilddaten von einem Bildsensor an eine Bildaufnahmeeinheit (Bildspeichereinheit) verfügt, durch Steuern der Bildaufnahmeparameter (Objektiveinstellung, Verschlußgeschwindigkeit, Öffnungsverhältnis und dergleichen).
Unter Bezug auf 36 bedeutet Bezugszeichen 601 eine vollständige Bildaufnahmeeinheit (Kamerakopf), die als Bildeingabeeinheit dient; Bezugszeichen 602 bedeutet ein optisches Abbildungssystem; und Bezugszeichen 603 bedeutet eine Objektivmotorantriebssteuereinheit, die über eine Fokussierlinsenantriebseinheit (Fokussiermotor), eine Zoomlinsenantriebseinheit, eine Objektivinformationsführeinheit (Objektivinformationsmeßeinheit) zum Lesen der Art des auf die Kamera gesetzten Objektivs und dergleichen.
Bezugszeichen 604 bedeutet einen Bildsensor, der normalerweise über ein Halbleiterbildaufnahmeelement, wie über eine CCD verfügt; und Bezugszeichen 605 bedeutet eine Bildaufnahmeparametermeß- und Steuereinheit, die über eine Zoomfeststellsteuereinheit 651, eine Fokussiersignalfeststelleinheit (Fokussierzustandsfeststellsteuereinheit) 652 verfügt (Fokussierzustandsfeststelleinheit 652a und Fokussiersteuereinheit 652b), eine Verschlußzeitsteuereinheit 653, eine Blendenmeß- und Steuereinheit 654 und dergleichen.
Die Verschlußzeitsteuereinheit 653 steuert einen mechanischen Verschluß (nicht dargestellt). Wird ein elektronischer Verschluß verwendet, dann steuert eine Sensoransteuerschaltung 618 eine Menge, die im wesentlichen der Verschlußzeit (Ladungsakkumulationszeit) entspricht. Der Fokussierzustand kann erfaßt werden entweder durch ein Feststellverfahren unter Verwendung eines Videosignals oder eines Entfernungsmeßverfahrens, das Infrarotstrahlen nutzt.
Bezugszeichen 606 bedeutet eine Bildaufnahme-/Wiedergabeeinheit zur Digitalaufzeichnung von Daten in ein Aufzeichnungsmedium (Band, optisches, magnetische Platte oder ein IC-Speichermedium, wie eine IC-Speicherkarte oder dergleichen) in einem vorbestimmten Format nach Bildaufnahme.
Angemerkt sei, daß das Aufzeichnungsmedium oder die Bildaufnahme-/Wiedergabeeinheit 606 aus dem Kameragehäuse herausnehmbar sein kann. Das Aufzeichnungsmedium kann ein Bildaufnahmeoperationssequenzprogramm und erforderliche Daten für den Gegenstandsextraktionsmodus speichern, und die Bildaufnahmeoperation kann auf der Grundlage der gespeicherten Information erfolgen.
Im Bildwiedergabemodus werden Bilddaten an einen Sucher (elektronischer Sucher oder dergleichen) 607 abgegeben, oder an eine Datenübertragungseinheit 612, die später zu beschreiben ist. Bezugszeichen 608 bedeutet eine Bildaufnahmeparameteraufzeichnungseinheit, die Information nach Bildaufnahme aufzeichnet, einschließlich Objektivinformation aus der Linsenmotoransteuereinheit 603, Bildaufnahmeparametern, Bildsignalkennlinienparameter, An-/Abwesenheit von Blitzgabe, in beabsichtigte Kamerabetätigungen per Hand (Bewegungen) wie Neigen, Schwenken, die An-/Abwesenheit von Kamerawackeln und dergleichen.
Insbesondere können die Kameraoperationen (Neigen, Schwenken und dergleichen) erfaßt werden durch Videosignalverarbeitung oder können herausgefunden werden auf Grundlage der abgegebenen Daten von einem Beschleunigungssensor, einem Kreisel oder dergleichen, der in die Bildaufnahmeeinheit eingebaut ist.
Bezugszeichen 609 bedeutet einen Schalter, der als Gegenstandsextraktionsmoduseinstelleinheit dient, und zwar für die Gegenstandsextraktion. Ist dieser Modus eingestellt, dann wird eine Bildabrufoperation im Bildaufnahmemodus zur Gegenstandsextraktion als Reaktion auf ein Bildaufnahmestartoperationssignal ausgeführt, beispielsweise Auslöser (nicht dargestellt) nach der Betätigung des EIN-Schalters.
Angemerkt sei, daß der Bildaufnahmestartschalter ebenfalls als Bildextraktionsmoduseinstellschalter dienen kann. Bezugszeichen 610 bedeutet eine Befehlsdatenübertragungssteuereinheit für externe Befehlsdaten; und Bezugszeichen 611 bedeutet eine Ausgangssignalbilderzeugungseinheit zum Erzeugen eines Analog-/Digitalbildsignals, das geeignet ist zur Entsprechung mit dem Ausgabeziel.
Beispielsweise erzeugt die Einheit 611 ein NTSC- oder PAL-Signal für einen Fernsehempfänger. Des weiteren kann die Einheit 611 ein Bildsignal abgeben, das der Dichtegradationskorrektur unterzogen worden ist, der Fehlerdefusionsverarbeitung und der Farbkomponentenkorrekturverarbeitung, die geeignet sind für eine Ausgabeeinrichtung.
Erzeugen und Verarbeiten eines derartigen Ausgangssignals kann angewiesen werden über eine externe Schaltung via Befehlsdatenübertragungssteuereinheit 610 oder unter Verwendung eines Schalters auf einem Bedienfeld (nicht dargestellt) der Kamera.
Bezugszeichen 612 bedeutet eine Datenübertragungseinheit, die eine Übertragungsschnittstelleneinheit, ein Adapterendgerät und dergleichen enthält und verwendet wird, wenn Bilddaten oder dergleichen an ein externes Anzeigegerät, einen Computer oder dergleichen abgegeben werden.
Bezugszeichen 613 bedeutet eine Gegenstandsausschneidebildverarbeitungseinheit zum Verarbeiten von Bildern, die unter einer Vielzahl von Bildaufnahmebedingungen nach einem später zu beschreibenden Verfahren gewonnen wurden, und sie führt Ausschneideoperationen eines Bildes aus.
Bezugszeichen 614 bedeutet eine Bildabrufsignalerzeugungseinheit zum Überprüfen des Steuerzustands der Belichtung und von Bildaufnahmebedingungen, und genau abgerufene aufgenommene Bilder gemäß der Ladeakkumulationsübertragungszeit des Bildsensors (CCD) und der Zeitvorgabe einer Bildschreibsteuereinheit in einen Speicher.
Bezugszeichen 615 bedeutet eine Systemsteuereinheit, die als Mittel zum Einstellen einer Vielzahl von Bildaufnahmebedingungen dient. Die Systemsteuereinheit 615 erzeugt eine Serie von Bildaufnahmeoperationssteuersignalen im Gegenstandsextraktionsmodus gemäß Signalen aus der Befehlsdatenübertragungssteuereinheit 610 und dem Gegenstandsextraktionsmoduseinstellschalter 609 durch Laden von Informationen des Steuerprogramms, das in das Speichermedium der Bildaufnahme-/Wiedergabeeinheit 606 geschrieben ist.
Bezugszeichen 616 bedeutet eine Blende; und Bezugszeichen 617 bedeutet eine Videosignalverarbeitungseinheit, die aufgebaut ist aus einer Vorverarbeitungsschaltung (617a: enthält eine S/H-Schaltung, eine AGC-Schaltung, einen A/D-Umsetzer und dergleichen), eine Gammakorrektursteuerschaltung 617b und andere Videosignalverarbeitungsschaltungen (617c: enthält eine Weißabgleichkorrekturschaltung, eine Verwackelungskorrekturschaltung und dergleichen). Angemerkt sei, daß die Grobanordnung dieser Schaltungen nicht auf die spezielle in 36 gezeigte beschränkt ist.
Bezugszeichen 618 bedeutet eine Sensortreiberschaltung zum Ansteuern des Bildsensors 604, damit diese die Ladeakkumulationszeit, Übertragungszeit und dergleichen steuert. In 36 sind die Abläufe der Steuersignale, die speziell zu diesem Ausführungsbeispiel gehören, mit Pfeilen versehen.
Beim Bildextraktionsbildaufnahmemodus dieses Ausführungsbeispiels wird der Fokussierlinsenmotor (Fokussiermotor) auf der Grundlage des Ausgangssignals aus der Fokussierniveaufeststelleinheit angesteuert, und ein Hochauflösungsbild wird aus dem Bildsensor bei optimaler Scharfeinstellung abgerufen, das heißt, der beste Scharfeinstellzustand vom Gegenstand.
Danach wird der Fokussierlinsenmotor in derselben Richtung angesteuert wie bei der unmittelbar vorhergehenden Antriebsrichtung, um einen Außerfokuszustand zu verursachen, und es werden Bilder mit niedriger Auflösung bei Nichtscharfeinstellniveaus sukzessive abgerufen. Angemerkt sei, daß die geeigneten Nichtscharfeinstellniveaus Werte sind, die im voraus eingegeben werden und in der Speichereinheit aufgezeichnet sind, oder Werte, die durch ein Befehlssignal aus einem externen Endgerät kommen, und jedes Nichtscharfeinstellniveau wird angegeben im Verhältnis vom Scharfeinstellniveau (das heißt, ein numerischer Wert, beispielsweise 90% vom Scharfeinstellwert). Auch kann ein Bild mit einem andere Nichtscharfeinstellniveau aufgenommen werden, und kann verwendet werden zum Extrahieren von Anfangsdaten (Grobausschneidebilddaten) zur Bildausschneideverarbeitung.
Nach Abschluß der sukzessiven Bildaufnahmeoperationen wird der Gegenstandsextraktionsmodus automatisch annulliert oder im Standardmodus über den Gegenstandsextraktionsmoduseinstellschalter 609 wieder hergestellt. Angemerkt sei, daß der zuvor erwähnte Aufnahmemodus eingestellt werden kann und annulliert werden als Reaktion auf Befehle, die aus einem nicht dargestellten Endgerät kommen.
37 zeigt den Basisverarbeitungsablauf, wenn die Vielzahl von Bildern unterschiedliche Fokussierzustände haben und aufgenommen werden, und die Bildausschneideverarbeitung erfolgt, und eine Operation wird grundsätzlich durch Betätigen der Schalter der Kamera ausgeführt, ohne daß irgend welche Steuersignale aus einem externen Gerät empfangen werden. Angemerkt sei, daß das im Ablaufdiagramm gezeigte Verarbeitungsdiagramm im voraus in einem ROM gespeichert werden kann oder aus einem externen Speichermedium beim Ausführen heruntergeladen werden kann.
Wenn die Verarbeitung beginnt, wie in 37 gezeigt, dann wird ein Betriebsschalter eingeschaltet, und die Kamera kommt in ihren Bereitschaftszustand (Schritt S701). Als nächstes wird der Gegenstandsextraktionsbildaufnahmemodus eingestellt, und die Bildaufnahmebedingungsdaten werden geladen (Schritt S702). Diese Verarbeitung ließt Standardparameterwerte aus (das heißt, den Nichtscharfeinstellniveaubereich, die Anzahl von zur Ausschneideverarbeitung aufzunehmenden Bildern und dergleichen) zum Steuern der in der Systemsteuereinheit 615 gespeicherten Bildaufnahmebedingungen, um eine Vielzahl von Bildaufnahmebedingungen einzustellen, ein Basissteuerprogramm oder dergleichen.
Der Ablauf schreitet dann fort zu Schritt S703, und die Verarbeitung zum Erfassen von Linseninformation und Speichern dieser in einer Bildaufnahmespeichereinheit erfolgt. Bei dieser Verarbeitung erzielt die Linsenmotortreibereinheit 603 Linseninformation, wie Spezifikationen und Art des auf die Kamera aufgesetzten optischen Systems. Diese Information wird verwendet zum Zwecke genauer Steuerung des Antriebsbetrags vom Fokussiermotor nach Fokussiersteuerung oder erlaubt eine Hochgeschwindigkeitseinstelloperation entsprechend der Art vom optischen System, wenn die zuvor eingestellten Bildaufnahmebedingungen bestehen.
Danach wird die Vergrößerung wie beim Normalbildaufnahmemodus eingestellt (Schritt S704) und Photometrie und automatische Belichtungsbedingungen werden eingestellt (Schritt S705). Dann wird der Fokussiermotor angesteuert, bis ein optimales Scharfeinstellniveau für den Gegenstand erzielt ist, und die Fokussiersignalbewertung erfolgt (Schritt S706). Der Ablauf schreitet dann fort zu Schritt S707, um den Fokussierzustand herauszufinden, auf der Grundlage beispielsweise der gradienten Methode, und ein Scharfeinstellbild eines Gegenstands wird aufgenommen (Schritt S708).
Der Fokussiermotor wird in einer vorbestimmten Breite in derselben Richtung angesteuert, und das Fokussiersignalniveau wird bewertet (Schritt S709), um zu überprüfen, ob das Fokussiersignalniveau ein Außerfokusniveau innerhalb des vorbestimmten zulässigen Bereichs ist (Schritt S710). Wenn JA in Schritt S710, dann schreitet der Ablauf fort zu Schritt S712, um eine Bildaufnahmeoperation auszuführen.
Danach schreitet der Ablauf fort zu Schritt S713, um die Anzahl aufgenommener Bilder zu überprüfen. Die Fokussiersteuerung und die Bildaufnahmeoperation werden wiederholt, bis eine vorbestimmte Maximalzahl aufgenommener Bilder erzielt ist.
Wenn andererseits in Schritt S710 bestimmt ist, daß das Fokussiersignalniveau außerhalb des zulässigen Bereichs liegt, dann schreitet der Ablauf fort zu Schritt S711, um die Verarbeitung zum Umkehr der Linsenantriebsrichtung auszuführen und die Anstellbreite zu verringern. Danach kehrt der Ablauf zu Schritt S709 zurück, um die zuvor beschrieben Operationen zu wiederholen.
Letztlich werden Differenzbilddaten aus der Vielzahl von Bildern mit geringen Fokussiersignalniveaudifferenzen zu extrahieren (Schritt S714), und es erfolgt die Bildausschneideverarbeitung (Schritt S715).
38A ist ein Graph, der die Beziehung zwischen Fokussiersignal und Position der Fokussierlinse zeigt, wenn Bildaufnahmeoperationen unter einer Vielzahl von Bildaufnahmebedingungen erfolgen, die auf Fokussiersteuerung basieren.
Aus 38A ist ersichtlich, daß die Fokussierlinse von ihrer Ausgangsstellung an angesteuert wird, und eine Bildaufnahmeoperation erfolgt durch einmaliges Feststellen des Scharfeinstellniveaus. Danach wird das Scharfeinstellsignalniveau mit einem vorbestimmten Betrag angesteuert, und Nichtscharfeinstellbilder innerhalb des zulässigen Bereichs werden abgerufen.
39 ist ein Ablaufdiagramm, das die Grundsteuersequenz des Kameragehäuses zeigt. Wie zuvor beschrieben, kann der Gegenstandsextraktionsbildaufnahmemodus in dreierlei Weise eingestellt werden, das heißt, das Einstellverfahren durch Betätigen des Kameragehäuses (Schritt S751), das Einstellverfahren durch Laden eines Aufzeichnungsmediums, das ein Programm zu Gegenstandsextraktion speichert (Schritt S752), und durch das Einstellverfahren mit Befehlsdaten aus beispielsweise einem externen Endgerät (Schritt S753).
In den beiden ersteren Verfahren wird das Basissteuerprogramm gestartet (Schritt S754), und wenn der Modus als Reaktion auf die empfangenen Befehlsdaten eingestellt ist, werden die zu steuernden Bildaufnahmeparameter, die Steuerbeträge der Bildaufnahmebedingungen, die Anzahl aufzunehmender Bilder, der Bereich vom Verarbeitungsmodus in der Kamera (Vorverarbeitung wie Berechnen von Differenzdaten zur Ausschneideverarbeitung, nur die Bildaufnahmebedingungen unter einer Vielzahl von Bildaufnahmebedingungen usw.) und dergleichen ebenfalls eingestellt (Schritt S755).
Angemerkt sei, daß das Basissteuerprogramm als ein Standardprogramm im voraus unter diesen Bedingungen eingestellt wird. Bei Bildaufnahmeoperationen unter einer Vielzahl von Bildaufnahmebedingungen (Schritt S756) werden die Bildaufnahmebedingungen auf der Grundlage der Einstellparameter gesteuert (Scharfeinstellung, Gammakorrektursteuerung), und Bildaufnahmeparameter (Objektivdaten, Brennweite, Vergrößerung, Fokussiersignal, Fokussierlinsenlayout, Gammasteuerungswert, Blendendurchmesser, Ladungsakkumulationszeit und dergleichen) wie zur Zeit der Aufzeichnung verwendet.
Die nachfolgende Operationssequenz verzweigt sich in drei unterschiedliche Steuerabläufe entsprechend dem Verarbeitungsbereich in der Kamera.
Genauer gesagt, die erste Operation dient der automatischen Rückkehr zum Standardmodus (Schritt S757). Die zweite Operation dient dem Empfang von Ausschneidbedingungen (Schritt S758) nach Abschluß der Bildaufnahmeoperationen im Gegenstandsextraktionsmodus. Die dritte Operation dient der Ausschneideverarbeitung (Schritt S759: ist später zu beschreiben) unter vorbestimmten Standardbedingungen.
Nach Abschluß der Verarbeitung wird das extrahierte Bild in der internen Speichereinheit im Kameragehäuse aufgezeichnet oder an einen externen Speicher oder an ein Anzeigegerät übertragen (Schritt S760). Alternativ kann das extrahierte Bild auf einem Monitor, wie einem Sucher oder wie einer Anzeige dargestellt werden (Schritt S761). Nachdem die zuvor beschriebene Verarbeitung abgeschlossen ist, kehrt der Bildaufnahmemodus automatisch oder durch manuelle Betätigung zum Standardbildaufnahmemodus zurück (Schritt S762).
Die Verarbeitungsschritte von Bildern, aufgenommen vom Bildsensor 604, sind nachstehend in Einzelheiten beschrieben.
Die Videosignalverarbeitungseinheit 617c führt die Gammakorrektur, die Weißabgleichkorrektur und dergleichen für wenigstens zwei Videosignale aus, die der Sensor durch Steuern der Fokussierzustände gewonnen hat.
Die Bildausschneideverarbeitungseinheit 613 in der Bildaufnahmeeinheit errechnet Differenzdaten zwischen einem Hochauflösungsbild (Scharfeinstellbild) und einem Niedrigauflösungsbild (Außerfokusbild) oder Differenzdaten zwischen zwei unterschiedlich gering aufgelösten Bildern, und durch Ausführen einer Verarbeitung, wie beispielsweise der Glättung, der Binärumsetzung, der Zeilenausdünnung oder dergleichen für die errechneten Daten.
Angemerkt sei, daß eine andere Verarbeitung als die Differenzberechnungsverarbeitung durch Eingabe geeigneter Verarbeitungsparameter aus einem externen Endgerät erfolgen kann (nicht dargestellt), und zwar über die Befehlsdatenübertragungssteuereinheit 610. Wenn eine Vielzahl von Bildern niedriger Auflösung mit unterschiedlichen Außerfokusniveaus verwendet werden, dann werden hohe Ortfrequenzkomponenten ausgeschnitten, und der Einfluß unerwünschter isolierter Merkmalspunkte oder isolierter Zonen kann unterdrückt werden, wenn die Konturlinie eines spezifischen Gegenstands aus den Differenzdaten extrahiert wird.
Anfangsdaten (Konturlinie) mit stabiler Hochgenauigkeit können unabhängig von Rauschen oder hochfrequente Ortskomponenten folglich vom Hintergrundabschnitt oder von Beleuchtungsbedingungen gewonnen werden. Angemerkt sei, daß der Ausgangswert eines Pixels, das einen negativen Wert annimmt, nachdem die Differenz auf Null gesetzt sein kann, oder es kann der Absolutwert der Differenz eines jeden Pixels abgegeben werden.
Die nachfolgende Anfangsdatenextraktionsverarbeitung (Anfangskonturdatenextraktionsverarbeitung) ist nachstehend beschrieben.
Diese Verarbeitung kann mit einem an die Kamera angeschlossenen Endgerät erfolgen. Die Verarbeitung durch die interne Recheneinheit in der Kamera kann als Standardverarbeitungsmodus registriert werden oder kann durch ein Endgerät über die Befehlsdatenübertragungssteuereinheit 610 bestimmt werden.
Typischerweise wird als Standardverarbeitung in der Kamera die Differenzrechenverarbeitung zwischen einer Vielzahl von Bildern mit unterschiedlichen Bildaufnahmebedingungen und unterschiedlicher Binärverarbeitung oder Differenzrechenverarbeitung und Glättungsverarbeitung im Basissteuerprogramm eingestellt.
Nachdem Vergleichsdaten (Differenzdaten) durch Steuern der Bildaufnahmebedingungen gewonnene zwischen Bildern berechnet sind, führt die Glättungsverarbeitung die Beseitigung isolierter Merkmale (Lokalzonen mit unbestimmten Formen, aber mit identischem Leuchtdichtepegel oder mit identischer Farbe, Zeilensegmenten und dergleichen), eine Faltungsrechnung mit einem Gauß-Filter, normale Tiefpaßfilterverarbeitung oder dergleichen aus.
Ein Schwellenwert für die nachfolgende Binärumsetzverarbeitung kann durch das Otsu-Verfahren (Journal of Papers of The Institute of Electronics, Information and Communication Engineers, Ausgabe J63, Seiten 349–356, 1980) eingestellt werden, welches ein Verfahren ist, bei dem das Bild unterteilt wird in Blöcke, die jeweils eine passende Größe haben, wobei dann ein Schwellenwert auf der Grundlage statistischer Verarbeitung (hypothetischer Test auf der Grundlage von Durchschnitt, Varianz oder Histogramm oder dergleichen) von Ortsbilddaten (Leuchtdichte, Farbe oder dergleichen) oder dergleichen eingesetzt wird.
Die Verarbeitungsschritte von Bilddaten, für die das zuvor beschriebene Verarbeitungsverfahren angewandt wird, sind bereits anhand 15 beschrieben.
Um Differenzbilddaten zu erhalten, können zwei Außerfokusbilder mit unterschiedlichen Fokussierniveaus verwendet werden. In diesem Ausführungsbeispiel können die Bildaufnahmeoperation und die Bildverarbeitungsoperation einer Bildverarbeitungskamera 701 von einem Endgerät 721 unter Verwendung der in 40 gezeigten Anordnung gesteuert werden.
Die Bildextraktionsverarbeitungssequenz in einem System, das über ein Computerendgerät als Endgerät (Recheneinheit) 721, Anzeigeeinheiten 722 (erste und zweite Anzeigeeinrichtung 722a und 722b), eine Zeigereinheit (Maus 723) und über eine Datenübertragungsnetzwerkeinheit 724 (mit einer Bussteuereinheit und dergleichen) verfügt, ist nachstehend anhand 40 beschrieben.
In diesem Falle kann ein Binärumsetzschwellwert auf der Grundlage statistischer Verarbeitung für eine Ortszone mit einer vorbestimmten Größe eingestellt werden, die einen beispielsweise mit der Maus 723 bestimmten Punkt als Mitte hat (oder eine Zone, die in einer beliebigen Gestalt eingesetzt wird, das heißt mit der Maus 723), und Binärumsetzung, Zeilenausdünnung und Konturlinienfolgeverarbeitung können innerhalb der Zone ausgeführt werden. Nach Abschluß der Verarbeitung wird eine Ortszone mit dem Kantenpunkt der vorherigen Zone als Mitte automatisch eingesetzt, um dieselbe Verarbeitung zu wiederholen. Von diesen Verarbeitungsoperationen ist die Zeilenausdünnung eine Verarbeitung, um repräsentative Punkte innerhalb der dicken Anfangskonturlinie zu erhalten, und dies ist nicht auf ein spezielles Verfahren beschränkt, das in herkömmlicher Bildverarbeitung angewandt wird.
Beispielsweise kann ein Kantenpunkt aus einem beliebigen Punkt in der Grobanfangskontur in entweder der rechten, linken, oberen oder unteren Richtung gesucht werden, und dann wird nach einem Kantenpunkt gesucht, der dem erzielten Kantenpunkt benachbart ist, womit repräsentative Punkte bestimmt sind. Gibt es eine Vielzahl von Kanten oder Konturlinien in der Nachbarzone als Ergebnis der Zeilenausdünnungsverarbeitung, so können diese angezeigt werden, während eine Überlagerung mit einem Eingangsbild erfolgt, und eine Auswahl unter Verwendung einer Mau ist möglich.
Wenn nur eine Kante in der Nachbarschaftszone vorhanden ist oder wenn der Anwender eine Kante auswählt, dann wird die Konturlinienfolgeverarbeitung in einer voreingestellten Richtung durchgeführt, und die Positionen der jeweiligen Punkte des ausgedünnten Bildes, die mit der Kante verbunden sind, werden sequentiell als Abtastpunkte der Anfangskonturlinie aufgezeichnet.
Da das Verfahren zur Auswahl der Verzweigungsrichtung beim Ausdünnen des Bildes eine Verzweigungsstruktur hat, wird vorzugsweise die Verzweigungsrichtung ausgewählt, in der die Bilddateneigenschaft (Farbe, Leuchtdichte, Varianz oder dergleichen) der Konturlinie in einer Richtung senkrecht zur Folgerichtung eines Punktes vor der Verzweigung fortgesetzt ist, oder in einer Richtung, in der Richtungsänderungen vor und nach der Verzweigung gering sind.
In diesem Falle wird die Verarbeitung durch Erfassen der Bildeigenschaft einer kleinen Zone nach der Verzweigung ausgeführt. Als anderes Verfahren kann das Konturfolgen aufgehoben werden und eine Zone mit dem Verzweigungspunkt als Mitte kann flackern, so daß der Anwender die Verzweigungsrichtung auswählen kann.
Wenn eine gegebene Konturlinie durch Binärumsetzung und Zeilenausdünnungsverarbeitung unterbrochen wird, erfolgt eine Kantenverkettungsverarbeitung. In diesem Falle kann eine automatische Verkettung auf der Grundlage eines vorbestimmten Algorithmus erfolgen (siehe Papers of the 23rd Image Engineering Conference, Seiten 67–70, 1992 und dergleichen), oder verbleibende Kantenpunkte als Ergebnis der Konturfolge können veranlaßt werden, auf der Anzeigeeinheit zu flackern.
174 Alternativ kann der Kantenpunkt klar dargestellt werden, beispielsweise eine unterschiedliche Farbe aus den Konturlinien, und der Anwender kann Kantenpunkte bestätigen und aufzeigen, die unter Verwendung der Auswahl-/Anzeigeeinheit 723 zu verbinden sind.
Als Konturlinie, die Verbindungspunkte verkettet, können eine gerade Linie oder eine Splineinterpolationskurve unter Verwendung repräsentativer Punkte auf der Konturlinie erzeugt werden. Insbesondere wenn ein Kantenpunkt nach der Konturfolge auf dem Vollbild vorhanden ist, kann dieser mit einem auf einem anderen Vollbild gekoppelt werden.
Nachdem auf diese Weise die geschlossene Konturlinie und die Bilddaten darin extrahiert sind, kann eine genauere Bildextraktion erfolgen durch Anwenden einer Hintergrundzonenbeseitigungsverarbeitung auf der Grundlage beispielsweise statistischer Verarbeitung, eines Zonenwachsverfahrens und eines Aktivkonturverarbeitungsverfahrens oder dergleichen.
Das zweite Ausführungsbeispiel eines Bildaufnahmegeräts, das das Gegenstandsextraktionsverfahren anwendet, ist nachstehend beschrieben.
Die Bildausschneideverarbeitungseinheit 613 in diesem Ausführungsbeispiel führt die Verarbeitung zur Durchschnittsbildung von (einer Vielzahl von) Differenzdaten unter einer Vielzahl von (drei oder mehr) Bildern aus, die durch fortgesetztes Steuern des Fokussierzustands gewonnen wurden, und führt eine Anfangskonturlinienextraktionsverarbeitung (Glätten, Binärumsetzung, Zeilenausdünnungsverarbeitung und dergleichen) des auszuschneidenden Bildes aus.
Zu diesem Zwecke wird der Fokussiermotor mit Hochgeschwindigkeit auf der Grundlage des Ausgangssignals aus der Fokussierzustandseinstelleinheit beaufschlagt, und wenigstens drei Stehbilder, einschließlich Naheinstellungs- oder Ferneinstellungsbildern oder sowohl Nah- als auch Ferneinstellungsbildern sowie ein optimal scharfgestelltes Bild, werden fortgesetzt zu zuvor bestimmten Zeitintervallen aufgenommen. Die aufgenommenen Bilder werden in der Bildspeichereinheit 606 gespeichert. Nachdem ein Bild nach Erfassung des Scharfeinstellzustands abgerufen ist, wird typischerweise eine vorbestimmte Anzahl von Außerfokusbildern fortgesetzt aufgenommen.
41 zeigt die Anordnung des Inneren der Kamera, wenn eine relativ große Anzahl von Bildern abgerufen werden, während sich die Bildaufnahmebedingungen wie bei diesem Ausführungsbeispiel ändern.
Signale aus dem Bildsensor 604 werden in diesem Ausführungsbeispiel in Zwischenspeichereinheiten 631 übertragen und gespeichert, und zwar über eine Hochgeschwindigkeitsschaltübertragungseinheit 630, ohne Durchlaufen irgendeiner Videosignalverarbeitungseinheit.
Nach Abschluß der Bildaufnahmeoperationen unter einer Vielzahl unterschiedlicher Bildaufnahmebedingungen, das heißt, nachdem die Bilder in die Zwischenspeichereinheiten 631 eingeschrieben sind, werden diese sequentiell übertragen und der Vorverarbeitung oder dergleichen unterzogen, die für die Videosignalverarbeitung und die Bildausschneideverarbeitung erforderlich ist. Zu dieser Zeit kann die Vermittlungsübertragungseinheit 630 Bilder direkt auf die Bildausschneideverarbeitungseinheit 613 übertragen.
Da ein Videosignal aus dem Sensor 604 auf diese Weise der nichtlinearen Verarbeitung nicht unterzogen wird, die normalerweise erfolgt, kann die Verarbeitungspräzision durch Unterdrücken des Einflusses von Änderungen der Beleuchtungsbedingungen, der Gegenstandsbewegungen und dergleichen nach der Bildaufnahme stabilisiert werden. Wenn die Videosignalverarbeitung nach einer Serie von abgerufenen Bildern erfolgt, können eine Hochgeschwindigkeitsbildaufnahmeoperation, stabile Ausschneideverarbeitung und Hochflexibilität realisiert werden.
Werden Bilder zeitseriell aufgenommen, dann können nur Differenzdaten, aktualisiert durch die Verarbeitungen zur Durchschnittsbildung mit den unmittelbar vorangehenden Bilddaten, zeitweilig gespeichert werden. Wenn die Anzahl von zu verwendenden Bildern in der Anfangskonturlinienextraktionsverarbeitung im voraus auf N festgelegt ist, oder wenn N oder mehr Bilder während der Fokussierverarbeitung abgerufen werden, können die letzten N Bilder gehalten werden (Bilder werden in der Reihenfolge älterer Bilder gelöscht), und danach kann die Berechnung der Differenzdaten und die Verarbeitung zur Durchschnittsbildung erfolgen.
Durch Mittlung von Differenzdaten unter einer Vielzahl von Bildern, die unter geringfügig anderen Fokussierzuständen in diesem Ausführungsbeispiel erzielt wurden, kann der nachteilige Einfluß von Rauschen unterdrückt werden, und die Bildextraktion mit Hochpräzision und Hochauflösung wird erzielt.
Nachstehend beschrieben ist das dritte Ausführungsbeispiel eines Bildaufnahmegeräts, das das Gegenstandsextraktionsverfahren anwendet.
In diesem Ausführungsbeispiel erfolgt die Extraktionsverarbeitung unter Verwendung einer Vielzahl von Bildern mit unterschiedlichen Bildaufnahmebedingungen durch Steuern der Belichtungsbedingungen oder durch Steuern der Sensorempfindlichkeitskennlinien.
42 ist ein Blockdiagramm, das die Anordnung der Bildverarbeitungskamera zeigt. Die Bildaufnahmeparameter, die in diesem Falle zu steuern sind, umfassen das Öffnungsverhältnis der Blende, die Verstärkung vom Bildsensor, die Gammakennlinien, die Blitzabgabestärke, die Blitzfarbtemperatur (Lichtemissionsspektrum), die Ladeakkumulationszeit (oder Verschlußzeit) vom Sensor (CCD) unter dergleichen. Die Gammakennlinien werden gesteuert durch die Gammakorrektursteuerschaltung 617b, die sich in der Videosignalverarbeitungseinheit 617 befindet.
Durch Anliefern eines Steuersignals an die Videosignalverarbeitungseinheit 617, eine Blitzabgabeeinheit 619 oder an eine Bildaufnahmeparametermeß- und -steuereinheit (Verschlußzeitsteuereinheit 653 oder Blendenmeßsteuereinheit 654) in diesem Ausführungsbeispiel werden Bildaufnahmeoperationen unter unterschiedlichen Aufnahmebedingungen ausgeführt, das heißt, ein durch Steuern einer der oben erwähnten Parameter durch einen geringen Betrag vom Optimalwert im Normalbildaufnahmemodus gewonnenes Bild und ein Bild unter optimalen Bedingungen werden aufgenommen.
Ein Schalter zum Einstellen eines Bildaufnahmeparameters, der vorzugsweise in diesem Ausführungsbeispiel zu steuern ist, das heißt eine Einstelleinheit 620 für bevorzugte Bildaufnahmeparameter zum Einstellen einer gewünschten Prioritätsreihenfolge ist vorgesehen. Ein Schalter zum Einstellen des Fokussierprioritätsmodus oder der Belichtungsbedingungsprioritätsmodus durch relatives Gewichten des Fokussierniveaus, der Belichtungsbedingungen, der Sensorempfindlichkeitskennlinien und dergleichen kann beispielsweise vorgesehen sein.
Wenn in der in 40 gezeigten Systemanordnung ein Punkt eines auf einer Anzeigeeinrichtung 622 dargestelltes Bild aufgezeigt wird beispielsweise durch die Maus 623, liefert eine Steuereinheit 615 zum Einstellen einer Vielzahl von Bildaufnahmebedingungen, die in 42 gezeigt sind, ein Steuersignal an die Videosignalverarbeitungseinheit 617 in einer Zone mit vorbestimmter Größe, die als Mitte des gesamten Bildschirms den bestimmten Punkt hat.
Wenn ein Bild mit dem Gammakennlinienwert im Normalbildaufnahmemodus und eine Vielzahl von Bildern gewonnen wird durch Steuern der Kennlinienparameter vom Videosignal in Einheiten von Pixeln oder in einer Ortszone (geändert um eine vorbestimmte Breite), dann können die Gestalt und die Größe der Zone direkt durch die Zeigereinheit 623 festgelegt werden.
38B ist ein Graph, der die Beziehung zwischen dem Änderungsbetrag vom Gammakoeffizienten vom Optimalwert (der sich gemäß dem Sensorsignalniveau ändert) und der Größe des Änderungsbetrags vom Leuchtdichtepegel für die Absolutleuchtdichtepegel (I₁ > I₂) aufzeigt.
Wenn Differenzdaten zwischen den durch die oben beschriebene Modulation gewonnenen Bilder der Binärumsetzung und Zeilenausdünnung unter Anwendung eines geeigneten Schwellenwerts unterzogen, dann kann ein Zeilenbild gemäß einer Konturlinie (Kantenkomponente) in einem aktuellen Bild aufgrund der Nichtlinearität der Gammakennlinien erzielt werden. Eine Anfangskonturlinie aus diesem Bild wird nach dem im ersten Ausführungsbeispiel beschriebenen Verfahren gewonnen.
Hinsichtlich der Steuerung der Blendenöffnung oder der Ladungsakkumulationszeit, wenn der Hintergrund und der Gegenstand beträchtlich unterschiedliche Leuchtdichtepegel aufweisen, ist die Konturlinienextraktion nach dem zuvor beschriebenen Verfahren häufig insbesondere aufgrund der nichtlinearen Sättigungskennlinien akkumulierter Ladungen effektiv.
Eine Bildaufnahmeoperation durch Steuern der Blitzabgabeeigenschaften (Stärke, Spektrum) ist effektiv, wenn die von einem Blitzgerät emittierte und von einem Gegenstand reflektierte Lichtintensität hinreichend hoch ist (bei einer Aufnahmeoperation im Hause oder bei einer hinreichend geringen Gegenstandsentfernung).
Nachstehend erläutert ist das vierte Ausführungsbeispiel eines Bildaufnahmegeräts, das das Gegenstandsextraktionsverfahren anwendet.
Die Bildverarbeitungskamera dieses Ausführungsbeispiels führt eine Bewegungsbildaufnahme-/-Wiedergabeoperation aus (einschließlich Videosignalverarbeitung für Kameraverwackelkorrektur), und wenn ein Gegenstandsextraktionsbildaufnahmemodusschalter betätigt ist, führt die Kamera automatisch fortgesetzt Aufzeichnungsoperationen von Stehbildern unter einer Vielzahl von Bildaufnahmebedingungen wie beim obigen Ausführungsbeispiel aus.
43 ist ein Blockdiagramm, das die Anordnung vom Hauptteil der Bildverarbeitungskamera dieses Ausführungsbeispiels zeigt.
Wenn ein Bildaufnahme-/-aufzeichnungsmodus eingestellt ist, nachdem der Betriebsschalter eingeschaltet wurde, wird ein Bewegungsbild aufgenommen und aufgezeichnet. Während der Aufzeichnung kann eine Bildkompressions-/-codiereinheit 640 ein Bewegungsbild beispielsweise nach dem MPEG-Verfahren codieren und kann das auszuschneidende Bild beispielsweise nach dem JPEG-Verfahren codieren.
Wenn das Bewegungsbild eines spezifischen Gegenstands von der Bildausschneideverarbeitungseinheit 613 ausgeschnitten wird, kann das extrahierte Bewegungsbild von der Bildkompressions-/-codiereinheit 640 nach einem Verfahren codiert werden, das für Bewegungsbilder geeignet ist. Die Umschaltoperation der Verarbeitung erfolgt, wenn die Steuereinheit 615 zum Einstellen einer Vielzahl von Bildaufnahmebedingungen ein Umschaltsteuersignal an die Kompressions-/Codiereinheit 640 als Reaktion auf ein Einschalt-/Auschaltsignal des Gegenstandsextraktionsmoduseinstellschalters liefert.
Die Bildkompressions-/-codiereinheit 640 erzeugt einen Index, der ein Bewegungsbild oder nachfolgende Stehbilder als Kopfabschnitt von Bilddaten oder als Kopfdatei aufzeigt. Wenn in diesem Ausführungsbeispiel der Gegenstandsextraktionsmoduseinstellschalter 609 zur Gegenstandsextraktion betätigt ist, werden Hochgeschwindigkeitsbildabrufoperationen ausgeführt, während die Bildaufnahmebedingungen wie beim obigen Ausführungsbeispiel gesteuert werden, und Videosignaldaten aus der Videosignalverarbeitungseinheit 617 werden von der Bildausschneideverarbeitungseinheit 613 behandelt. Dann kann das extrahierte Bild an die Bildkompressions-/-codiereinheit 640 abgegeben und von dieser weiter komprimiert/codiert werden.
Das als Ergebnis der Ausschneideoperation für nachfolgende Stehbilder extrahierte Bild kann registriert werden, und eine Bildfolgeeinheit 641 kann dem Gegenstandsbild unter Verwendung des registrierten Bildes als Schablonenbild folgen, um die Ausschneideverarbeitung unter Verwendung eines Bewegungsbildes auszuführen.
Auf diese Weise wird ein Bewegungsbild aufgenommen, während sich die Sehrichtung ändert, und es lassen sich hochqualitative Stehbilder aus gewünschten Sehpunktpositionen ausschneiden.
Gemäß dem Bildaufnahmegerät, das das Gegenstandsextraktionsverfahren von diesem Ausführungsbeispiel anwendet, können optimale Bildaufnahmeparameter eingestellt oder gesteuert werden, wenn die Bildaufnahmeeinheit Bilder aus einem zu extrahierenden Bild eines spezifischen Gegenstands aufnimmt. Da die Bildqualität des Extraktionsbildes durch Steuern der Bildaufnahmebedingungen optimiert werden kann, kann ein hochqualitatives mit Hochgeschwindigkeit extrahiert werden.
Da der Merkmalsumfang und dergleichen eines Bildes extern steuerbar ist, können die Bildaufnahmeoperationen zur Gegenstandsextraktion und zur Bildverarbeitung, die innerhalb des Bildaufnahmegeräts ausführt werden, ferngesteuert werden, und das extrahierte Bild kann Online an einen fernen Ort übertragen werden.
Da die Bildaufnahmeparameter durch Anliefern eines Steuerbefehls aus einer externen Schaltung über die Steuerbefehlübertragungseinheit steuerbar sind, können die Bildaufnahmeparameter zur Gegenstandsextraktion extern gesteuert werden, und es läßt sich ein hochqualitatives extrahiertes Bild und Hochgeschwindigkeitsextraktionsverarbeitung realisieren.
Die Bildaufnahmemoduseinstelleinheit hat den Bildaufnahmemoduseinstellknopf, startet die Einstelloperation des Bildaufnahmemodus' nach Betätigen des Bildaufnahmemoduseinstellknopfs und stellt die Steuerbeträge der Bildaufnahmeparameter auf der Grundlage der Bildaufnahmeparametermeßwerte ein. Die Bildaufnahmeparameter im Gegenstandsextraktionsmodus können bei dieser Operation automatisch eingestellt werden, und der Anwender muß die Steuerbeträge der Bildaufnahmeparameter nicht manuell einstellen.
Das Erfordernis für die Operation zum Wiederherstellen des Normalbildaufnahmemodus', nachdem die Bildaufnahmeoperation (Bildabrufoperation) zum Extrahieren eines spezifischen Gegenstands aus einer Vielzahl von Bildern mit unterschiedlichen Bildaufnahmebedingungen abgeschlossen wurde, kann umgangen werden, das heißt, der Anwender muß den Operationsmodus nicht einstellen, um vom Bildaufnahmeoperation im Gegenstandsextraktionsmodus zu demjenigen im Normalbildaufnahmemodus zurückzukehren, womit die Handhabbarkeit verbessert wird.
Da das auszuschneidende Bild auf der Grundlage von Vergleichsdaten verarbeitet wird, die die Vergleichsdatenerzeugungseinheit und ein Steuerbefehl aus der Steuerbefehlübertragungseinheit F4 erzeugen, kann die Vorverarbeitung, die erforderlich ist für die Ausschneideverarbeitung des spezifischen Gegenstandsbildes durch Steuern der Bildaufnahmebedingungen mit Hochgeschwindigkeit im Bildaufnahmegerät ausgeführt werden.
Da das Gerät über eine Linsenanordnungssteuereinheit verfügt, um die Linsenanordnung im optischen Abbildungssystem auf der Grundlage eines Signals aus der Bildaufnahmemoduseinstelleinheit zu steuern, kann die Fokussierniveaufeststelleinheit zum Erfassen des Fokussierniveaus und die Abrufsignalerzeugungseinheit zum Erzeugen eines Signals zum Abrufen einer Vielzahl von Bildern mit unterschiedlichen Fokussierniveaus auf der Grundlage des Ausgangssignals aus der Fokussierniveaufeststelleinheit, kann ein spezifisches Gegenstandsbild mit Hochgeschwindigkeit aus einer Vielzahl von Bildern extrahiert werden, die durch Auflösungssteuerung (Scharfeinstellsteuerung) gewonnen wurden, und eine stabile Bildextraktion ist ungeachtet der Beleuchtungsbedingungen sichergestellt.
Da das Gerät über die Abrufsignalerzeugungseinheit verfügt, um die Belichtungsbedingungen zum Steuern der Verschlußzeit und den Öffnungsdurchmesser des Blendenstopps oder den Kennlinienwert vom Bildsensor auf der Grundlage eines Signals aus der Bildaufnahmemoduseinstelleinheit A4 zu steuern und um ein Signal zum Abrufen einer Vielzahl von Bildern mit unterschiedlichen Belichtungsbedingungen zu erzeugen, können die Belichtungsbedingungen des gesamten Vollbildes einer spezifischen Zone genau gesteuert werden und ein spezifisches Gegenstandsbild kann in stabiler Weise mit Hochgeschwindigkeit extrahiert werden.
Da die gewünschte Prioritätsreihenfolge für die Bildaufnahmeparameter eingestellt werden kann, läßt sich auch als Beispiel die Fokussierprioritätssteuerung oder die Belichtungsmengenprioritätssteuerung benennen, und eine geeignete Bildaufnahmebedingungssteuerung gemäß einer Bildaufnahmesituation läßt sich einstellen, womit die Bildqualität des extrahierten Bildes verbessert wird und Hochgeschwindigkeitsverarbeitung erzielt wird.
Da ein Videosignal vor der Signalverarbeitung in der Aufzeichnungseinheit gespeichert wird, läßt sich eine stabile Bildausschneideoperation ausführen, ohne daß diese durch Änderungen der Bildaufnahmeumgebungsbedingungen oder durch Änderungen von Gegenstandsbewegungen beeinflußt wird, und eine Hochgeschwindigkeitsbildaufnahmeoperation läßt sich unter Steuerung der Bildaufnahmebedingungen erzielen. Die Präzision der extrahierten Bildgestalt läßt sich verbessern, ohne von Änderungen der Bildaufnahmeumgebungsbedingungen oder der Gegenstandsbewegungen beeinflußt zu werden, und die Bildqualität wird stabilisiert.
Ein gewünschtes Bild läßt sich auf der Grundlage eines Stehbildes oder eines Bewegungsbildes ausschneiden, und ein geeignetes Kompressions-/Codierverfahren kann automatisch gewählt werden, abhängig davon, ob der Extraktionsmodus ein Stehbildmodus oder ein Bewegungsbildmodus ist.
Auch kann ein gewünschtes Bild in stabiler Weise ausgeschnitten werden, ungeachtet der An-/Abwesenheit von Gegenstandsbewegungen oder der An-/Abwesenheit von Bewegungskameraoperationen (Schwenken, Neigen oder dergleichen), und das Bild kann in selektiver Weise aus einem Bewegungsbild oder einem Stehbild ausgeschnitten werden.
Da die Bildaufnahmeparametermessung und die Steuereinheit auf der Grundlage eines Basissteuerprogramms arbeiten, das in die Speichereinheit des Bildaufnahmegeräts oder in ein auswechselbares Aufzeichnungsmedium geschrieben ist, gibt es keinerlei Bedarf für einen Onlinebetrieb aus einem externen Endgerät oder nach einer komplizierten manuellen Betätigung. Ein Steuerprogramm, das in passender Weise eine Grundbildaufnahmeoperation ausführen kann, die erforderlich ist zur Gegenstandsextraktion, kann gespeichert werden, und das Steuerprogramm kann von einem Auswechselspeicher geliefert werden.
Ein weiteres Ausführungsbeispiel eines Bildaufnahmegeräts nach der vorliegenden Erfindung ist nachstehend erläutert. Ein Bildaufnahmegerät dieses Ausführungsbeispiels wird von einem Bildaufnahmesystem verwendet.
[Weiteres Ausführungsbeispiel]
Ein Bildaufnahmesystem eines anderen Ausführungsbeispiels ist dadurch gekennzeichnet, daß eine spezifische Gegenstandsextraktionsverarbeitung aus Bildern gewonnen wird unter unterschiedlichen Bildaufnahmebedingungen durch Steuern des Fokussierzustands, der stabil mit Hochgeschwindigkeit unabhängig von Beleuchtungsbedingungen oder dergleichen erfolgt. Die spezifische Gegenstandsextraktionsverarbeitung dient dem Ausschneiden eines Gegenstandsbildes aus dem Hintergrundbild und kann angewandt werden bei anderen Verarbeitungsoperationen, wie beim Klassifizieren, beim Wiedererkennen, beim Folgen und dergleichen von Bildern.
44 ist ein Blockdiagramm, das die Anordnung eines Bildaufnahmesystems von diesem Ausführungsbeispiel zeigt. Das Bildaufnahmesystem hat eine Anordnung, bei der wenigstens eine Kamera (Bildaufnahmegerät) 701, eine Vielzahl von Endgeräteeinrichtungen 721, eine Anzeigeeinrichtung 722 und ein Drucker 725 mit einem Datenübertragungsbus 724 verbunden sind. Jede Endgeräteeinrichtung 721 verfügt über eine Maus 723 zum Ausführen von Aufzeigen/Auswählen sowie über eine Anzeigeeinrichtung 726. Anstelle der Maus 723 kann das Aufzeigen/Auswählen mittels Stifteingabe erfolgen. Der Datenübertragungsbus 724 enthält auch einen Steuerbus.
Wenn im Bildaufnahmesystem dieses Ausführungsbeispiels eine Vielzahl von Endgeräteeinrichtungen 721 und eine Vielzahl von Kameras 701 verbunden sind, kann eine beliebige Endgeräteeinrichtung 721 den Bildaufnahme einer beliebigen Kamera 701 und die Bildverarbeitung in der Kamera steuern, und eine der Endgeräteeinrichtungen 721 dient als Server.
In einem vorbestimmten Modus aufgenommene Bilddaten und Ausgangssignale der Kamera 701 können andererseits von einer gegebenen Endgeräteeinrichtung 721 verarbeitet werden, um die Ausschneideoperationsverarbeitung eines spezifischen Gegenstands auszuführen. Des weiteren kann das extrahierte Bild an eine beliebige Anzeigeeinrichtung abgegeben werden (Anzeigeeinrichtung 722 oder 726 oder eine Sucheranzeige (nicht dargestellt) in der Kamera) oder kann an den Drucker 725 abgegeben werden.
45 ist ein Blockdiagramm, das die interne Anordnung der Kamera 701 zeigt. Die Kamera 701 verfügt über einen Extraktionsverarbeitungsmechanismus, der ein spezifisches Bild aus Bildern extrahiert, die in einem Gegenstandsextraktionsbildaufnahmemodus aufgenommen worden sind.
Angemerkt sei, daß die erforderliche Verarbeitung zum Extrahieren eines Bildes durch die Endgeräteeinrichtung 721 anstelle der Kamera 701 erfolgen kann. Der Gegenstandsextraktionsbildaufnahmemodus verfügt über eine Bildaufnahmeoperation und eine Vielzahl von Bilddaten wird durch Steuern der Bildaufnahmeparameter (Linsenanordnung, Verschlußzeit, Blendenöffnung und dergleichen) von einem Bildsensor an eine Bildaufzeichnungseinheit geliefert.
In der internen Anordnung der Kamera 701, die in 45 gezeigt ist, bedeutet Bezugszeichen 702 ein optisches Abbildungssystem. Das optische Abbildungssystem 702 hat vorzugsweise eine kurze Brennweite. Bezugszeichen 703 bedeutet eine Linsenmotorantriebssteuereinheit, die aufgebaut ist aus einer Fokussierlinsenantriebseinheit (Scharfeinstellmotor), einer Zoomlinsenantriebseinheit und einer Objektivinformationsleseeinheit (Objektivinformationsmeßeinheit) zum Auslesen beispielsweise der Art des eingesetzten Objektivs und dergleichen.
Bezugszeichen 704 bedeutet einen Bildsensor, der über ein Halbleiterelement, wie eine CCD, verfügt. Bezugszeichen 705 bedeutet eine Bildaufnahmeparametermeß- und -steuereinheit, die über eine Zoomsteuereinheit 751 verfügt, eine Fokussierzustandsfeststelleinheit 752a, eine Fokussiersteuereinheit 752b, eine Verschlußzeitsteuereinheit 753, eine Blendenmeß- und -steuereinheit 754, eine Merkmalsmengenfeststelleinheit (das heißt, einen Korrekturkoeffizienten oder dergleichen, wie für Gammafeststellung) 755 zum Erfassen der Merkmalsbeträge von Bildsignalkennlinienparametern (Gamma, Knick, Weißabgleichkorrektur, CCD-Akkumulationszeit) und dergleichen.
Die Verschlußzeitsteuereinheit 753 steuert einen nicht dargestellten mechanischen Verschluß. Wird ein elektronischer Verschluß verwendet, dann steuert eine Sensortreiberschaltung 718, die später zu beschreiben ist, eine Effektivverschlußzeit (Ladungsakkumulationszeit). Der Fokussierzustand kann erfaßt werden entweder durch ein Feststellverfahren unter Verwendung eines Videosignals oder durch ein Entfernungsmeßverfahren unter Verwendung von Infrarotstrahlen. Bezugszeichen 706 bedeute eine Bildaufzeichnungs-/Wiedergabeeinheit zum digitalen Aufzeichnen von Daten in ein Aufzeichnungsmedium (Band, optische/magnetische Platte oder IC-Speicher, wie eine IC-Speicherkarte oder dergleichen) in einem vorbestimmten Format nach Bildaufnahme. Angemerkt sei, daß das Aufzeichnungsmedium oder die Bildaufzeichnungs-/Wiedergabeeinheit 706 aus dem Kameragehäuse entfernt werden kann. Das Aufzeichnungsmedium kann ein Bildaufnahmeoperationssequenzprogramm und erforderliche Daten im Gegenstandsextraktionsmodus speichern, und die Bildaufnahmeoperation kann auf der Grundlage der gespeicherten Information gesteuert werden.
Im Bildwiedergabemodus werden Bilddaten an einen Sucher (EVF oder dergleichen) 707 oder an eine Datenübertragungseinheit 712 abgegeben, die später zu beschreiben ist. Bezugszeichen 708 bedeutet eine Bildaufnahmeparameterspeichereinheit, die Informationen nach Bildaufnahme aufzeichnet, einschließlich Objektivinformation aus der Linsenmotorantriebseinheit 703, Bildaufnahmeparametern, Bildsignaleigenschaftsparameter, An-/Abwesenheit von Blitzlicht, beabsichtigte Kamerabewegungen, wie Schwenken und Neigen, An-/Abwesenheit von Kamerawackeln und dergleichen. Derartige Information wird in beliebigen Modi externer Steuerung aufgezeichnet, eine manuelle Operation und eigengesteuert auf der Grundlage des internen Programms und wird später zur Wiedergabe identischer Bildaufnahmebedingungen verwendet.
Angemerkt sei, daß die Kamerabewegungsinformationen (Schwenken, Neigen oder dergleichen) erfaßt werden durch Videosignalverarbeitung oder kann herausgefunden werden auf der Grundlage von Ausgangsdaten aus einem Beschleunigungssensor, einem Kreisel oder dergleichen, der nicht dargestellt und in das Bildaufnahmegerät eingebaut ist.
Bezugszeichen 709 bedeutet einen Bildaufnahmemoduseinstellschalter zur Auswahl eines Gegenstandsextraktionsmodus, eines Folgemodus, eines Identifikationsmodus und dergleichen. Ist der Schalter eingestellt, dann wird eine Bildabrufoperation im gewählten Bildaufnahmemodus als Reaktion auf ein Bildaufnahmestartoperationssignal gestartet, das beispielsweise von einem Verschlußknopf kommt, der nicht dargestellt ist, nach der EIN-Operation vom Schalter. Angemerkt sei, daß der Bildaufnahmestartschalter auch als Bildaufnahmemoduseinstellschalter dienen kann.
Bezugszeichen 710 bedeutet eine Befehlsdatenübertragungssteuereinheit für externe Befehlsdaten. Bezugszeichen 711 bedeutet eine Ausgabebilderzeugungseinheit zum Erzeugen eines Analog-/Digitalbildsignals als Reaktion auf die Ausgabebestimmung. Beispielsweise erzeugt die Einheit 711 ein NTSC- oder PAL-Signal für einen Fernsehempfänger. Des weiteren kann die Einheit 711 an eine Anzeige an einen Drucker oder dergleichen ein Bildsignal abgeben, das der Dichtegradationskorrektur, der Fehlerdefusionsverarbeitung und der Farbkomponentenkorrekturverarbeitung gemäß einer Ausgabeeinrichtung unterzogen worden ist. Erzeugen und Verarbeiten eines derartigen Ausgangssignal kann angewiesen werden von einer externen Schaltung über die Befehlsdatenübertragungssteuereinheit 710 unter Verwendung eines Schalters auf einem nicht dargestellten Bedienfeld der Kamera.
Bezugszeichen 712 bedeutet eine Datenübertragungseinheit, die eine Übertragungsschnittstelleneinheit, einen Adapteranschluß und dergleichen enthält (nicht dargestellt) und die Bilddaten an ein externes Anzeigegerät, einen Computer oder dergleichen abgibt. Bezugszeichen 713 bedeutet eine Gegenstandsextraktionszonenselektierverarbeitungseinheit (Bildausschneideverarbeitungseinheit, die unterscheidet zwischen Hintergrundzone und Gegenstandszone auf der Grundlage erzielter Bilder unter einer Vielzahl von Abbildungsbedingungen durch ein Verfahren, das später zu beschreiben ist, durch Ausschneideverarbeitung eines Bildes und dergleichen.
Bezugszeichen 714 bedeutet eine Bildabrufsignalerzeugungseinheit zum Überprüfen des Steuerzustand der Belichtungs- und Bildaufnahmebedingungen, und dem passenden Abrufen aufgenommener Bilder gemäß der Ladeakkumulationsübertragungszeit vom Bildsensor (CCD) und der Zeitvorgabe vom Bildschreibsteuersignal in der Bildaufzeichnungs-/Wiedergabeeinheit 706.
Bezugszeichen 715 bedeutet eine Systemsteuereinheit, die dem Einstellen einer Vielzahl von Bildaufnahmebedingungen dient. Die Systemsteuereinheit 715 erzeugt eine Serie von Bildaufnahmeoperationssteuersignalen im Gegenstandsextraktionsmodus gemäß Signalen aus der Befehlsdatenübertragungssteuereinheit 710 und dem Bildaufnahmemoduseinstellschalter 709 oder durch Laden von Informationen des Steuerprogramms, das in das Speichermedium der Bildaufzeichnungs-/Wiedergabeeinheit 706 geschrieben worden ist.
Bezugszeichen 716 bedeutet einen Verschluß; und Bezugszeichen 717 bedeutet eine Videosignalverarbeitungseinheit, die aufgebaut ist aus einer Vorverarbeitungsschaltung (einschließlich einer S/H-Schaltung, einer AGC-Schaltung, einem A/D-Umsetzer und dergleichen) 717a, einer Gammakorrektursteuerschaltung 717b sowie anderen Videosignalverarbeitungsschaltungen (einschließlich einer Weißabgleichkorrekturschaltung einer Kamerabewegungskorrekturschaltung und dergleichen) 717c. Angemerkt sei, daß die Anordnung dieser Schaltungen nicht auf die spezielle in 45 gezeigte beschränkt ist.
Bezugszeichen 718 bedeutet eine Sensortreiberschaltung zum Ansteuern des Bildsensors 704 zum Steuern der Ladeakkumulationszeit, der Übertragungszeit und dergleichen. In 45 sind die Abläufe der Steuersignale speziell in diesem Ausführungsbeispiel durch Pfeile aufgezeigt.
Beim Gegenstandextraktionsbildaufnahmemodus dieses Ausführungsbeispiels wird der Fokussierlinsenmotor auf der Grundlage des Ausgangssignals aus der Fokussierzustandsfeststelleinheit 752a angesteuert, und ein Hochauflösungsbild wird aus dem Bildsensor 704 bei einem optischen Scharfeinstellniveau abgerufen, das heißt, beim besten Fokussierzustand des Gegenstands. Danach wird der Fokussierlinsenmotor in derselben Richtung angesteuert wie die unmittelbar vorige Antriebsrichtung, um einen Außerfokuszustand hervorzurufen, und Bilder geringer Auflösung zu passenden Außerfokusniveaus werden sukzessive abgerufen.
Angemerkt sei, daß die geeigneten Außerfokusniveaus Werte sind, die im voraus eingestellt und in einer Speichereinheit gespeichert werden, wie in der Bildaufzeichnungs-/Wiedergabeeinheit 706, oder Werte, die durch ein Befehlssignal aus der externen Endgeräteeinrichtung 721 oder dergleichen kommen, und jedes Außerfokusniveau wird mit dem Verhältnis aus dem Scharfeinstellniveau angegeben (das heißt, ein numerischer Wert, beispielsweise 90% des Scharfeinstellwertes).
Ein Bild kann auch mit einem anderen Außerfokusniveau aufgenommen werden und läßt sich verwenden zum Extrahieren von Anfangsdaten (Grobausschneidebilddaten) für die nachfolgende Bildausschneideverarbeitung.
Nach Abschluß der sukzessiven Bildaufnahmeoperationen wird der Gegenstandsextraktionsmodus automatisch annulliert oder der Standardmodus wieder hergestellt, und zwar über den Bildaufnahmemoduseinstelleinschalter 709. Angemerkt sei, daß der oben erwähnte Bildaufnahmemodus eingestellt und annulliert werden kann als Reaktion auf Befehle, die über die Endgeräteeinrichtung 721 eingegeben werden.
46 ist ein Graph, der die Beziehung zwischen dem Fokussiersignal und der Bildaufnahmeposition der Fokussierlinse zeigt, wenn Bildaufnahmeoperationen unter einer Vielzahl von Bildaufnahmebedingungen ausgeführt werden, die auf der Fokussiersteuerung basieren. Wie in 46 gezeigt, wird die Fokussierlinse von ihrer Anfangsposition angesteuert, und ein Bild wird nach Feststellen des Scharfeinstellniveaus aufgenommen. Danach wird die Fokussierlinse um einen bestimmten Betrag verschoben, und ein Außerfokusbild innerhalb eines zulässigen Bereichs wird abgerufen.
47 ist eine erläuternde Ansicht, die die Funktionen im Basisbildaufnahmesystem zeigt, für das die Kamera mit der Endgeräteeinrichtung verbunden sind. In 47 werden Funktionen ausgeführt, die durch dicke Linien aufgezeigt sind (Schritte S851, S852, S854, S858, S860 und S861) bei jenen der Endgeräteeinrichtung 721 und die Funktionen sind durch gebrochene Linien aufgezeigt (Schritte S857, S859 und S862), die jene entweder von der Kamera oder von der Endgeräteeinrichtung sind. Andere Funktionen sind jene in der Kamera (Schritte S853, S855 und S856). Diese Funktionen werden im weiteren Verlauf beschrieben.
Die Endgeräteeinrichtung 721 richtet eine Übertragungssitzung mit der Kamera 701 ein (Schritt S851). Die Endgeräteeinrichtung 721 sendet einen Extraktionsbildaufnahmemoduseinstellbefehl an die Kamera 701 (Schritt S852).
Ob in diesem Prozeß das Basissteuerprogramm arbeitet (Schritt S853) oder ob Bildaufnahmeparameter zu steuern sind: die Steuerbeträge der Bildaufnahmebedingungen, die Anzahl der aufzunehmenden Bilder, der Verarbeitungsbereich in der Kamera (das heißt, bis zur Vorverarbeitung, wie Berechnen von Differenzdaten zur Ausschneideverarbeitung, nur Bildaufnahmeoperationen unter einer Vielzahl von Bildaufnahmebedingungen oder dergleichen) und von der Endgeräteeinrichtung 721 werden eingestellt (Schritt S854), wie ausgewählt. Eine dieser Verarbeitungsoperationen kann beispielsweise aus einem Menu ausgewählt werden, das auf der Anzeigeeinrichtung 726 von der Endgeräteeinrichtung 721 dargestellt wird.
Angemerkt sei, daß diese Bedingungen im voraus im Basissteuerprogramm aufbereitet worden sind als Standardbedingungen. Sind Bildaufnahmeoperationen auszuführen durch Einstellen einer Vielzahl von Bildaufnahmebedingungen (Schritt S856), dann werden die Bildaufnahmebedingungen auf der Grundlage der Voreinstellparameter gesteuert, und die Bildaufnahmeparameter (Objektivdaten, Brennweite, Vergrößerung, Fokussiersignal, Fokussierlinsenanordnung, Gammakorrekturwert, Blendenöffnungsverhältnis, Ladeakkumulationszeit und dergleichen) zu dieser Zeit werden aufgezeichnet.
Die nachfolgende Operationssequenz verzweigt sich in drei unterschiedliche Steuerverarbeitungssequenzen gemäß dem Verarbeitungsbereich innerhalb der Kamera. Das heißt, der Bildaufnahmemodus kehrt automatisch zum Standardmodus zurück (Schritt S857), eingegebene Ausschneidebedingungen werden aufgenommen, nachdem Bildaufnahmeoperationen im Gegenstandsextraktionsmodus abgeflossen sind (Schritt S858), oder es erfolgt die Ausschneideverarbeitung unter einer vorbestimmten Standardbedingung (Schritt S859).
Nach Abschluß der Verarbeitung kann das extrahierte Bild von der Bildaufzeichnungs-/Wiedergabeeinheit 706 im Kameragehäuse aufgezeichnet werden, kann übertragen werden an einen externen Speicher oder an die Anzeigeeinrichtung 722 (Schritt S860), oder kann dargestellt werden auf einer Sucheranzeige (Schritt S861). Angemerkt sei, daß das Ausgabeformat vom extrahierten Bild bereits im voraus nach Empfang von Steuerdaten oder dem Basisprogramm benannt worden sind. Nach der Verarbeitung kehrt der Bildaufnahmemodus letztlich automatisch oder manuell gesteuert zum Standardbildaufnahmemodus zurück (Schritt S862).
Die Verarbeitungsschritte abgerufener Bilder aus dem Bildsensor 704 sind nachstehend in Einzelheiten beschrieben. Die Videosignalverarbeitungseinheit 717 führt Gammakorrektur, Weißabgleichkorrektur und dergleichen für wenigstens zwei Videosignale aus, die der Sensor durch Steuern des Fokussierzustands erzielt hat.
Die Zonenselektierverarbeitungsschalteinheit 713 im Bildaufnahmegerät berechnet Differenzdaten zwischen Hochauflösungsbild (Scharfeinstellbild) und einem Niedrigauflösungsbild (Außerfokusbild) oder Differenzdaten zwischen zwei unterschiedlichen Bildern geringer Auflösung, und führt die Verarbeitung aus wie das Glätten, die Binärumsetzung, die Zeilenausdünnung und dergleichen, und zwar für die berechneten Daten.
Angemerkt sei, daß die andere Verarbeitung als die Differenzberechnungsverarbeitung erfolgen kann durch Eingabe geeigneter Verarbeitungsparameter für die Endgeräteeinrichtung 721 via Befehlsdatenübertragungssteuereinheit 710.
Wenn die Vielzahl von Bildern geringer Auflösung mit unterschiedlichen Außerfokusniveaus verwendet werden, werden Komponenten hoher Ortsfrequenz ausgeschnitten, und der Einfluß unerwünschter isolierter Merkmalspunkte oder isolierter Zonen kann unterdrückt werden, wenn die Konturlinie eines spezifischen Gegenstands aus den Differenzdaten extrahiert wird. Anfangsdaten (Konturlinie) mit stabiler Hochpräzision können folglich unabhängig von Komponenten hoher Ortsfrequenz oder von Rauschen oder einem Hinterabschnitt oder Beleuchtungsbedingungen erzielt werden. Angemerkt sei, daß der Ausgangswert eines Pixels, der einen Negativwert nach Berechnung der Differenz annimmt, auf Null gesetzt werden kann; oder der Absolutwert der Differenz eines jeden Pixels kann abgegeben werden.
Die folgende Anfangsdatenextraktionsverarbeitung (Konturdatenextraktionsverarbeitung) ist hiernach beschrieben. Diese Verarbeitung läßt sich ausführen bei der Endgeräteeinrichtung 721, die mit der Kamera 701 verbunden ist. Berechnungsverarbeitung innerhalb der Kamera kann als Standardverarbeitungsmodus registriert werden oder kann bestimmt werden durch die Endgeräteeinrichtung 721 oder dergleichen via Befehlsdatenübertragungssteuereinheit 710. Als Standardverarbeitung innerhalb der Kamera werden typischerweise die Differenzberechnungsverarbeitung zwischen einer Vielzahl von Bildern mit unterschiedlichen Bildaufnahmebedingungen und unterschiedlicher Binärumsetzverarbeitung oder Differenzberechnungsverarbeitung und Glättungsverarbeitung und dergleichen im Basissteuerprogramm eingestellt.
Nachdem Vergleichsdaten (Differenzdaten) zwischen Bildern berechnet sind, die gewonnen wurden durch Steuern der Bildaufnahmebedingungen, wir die Glättungsverarbeitung erzielt durch Entfernen isolierter Merkmale (Ortszonen mit undefinierbaren Formen, aber identischem Leuchtdichtepegel oder identischer Farbe, identischen Zeilensegmenten und dergleichen), eine Faltungsberechnung mit Gauß-Filter, normaler Tiefpaßfilterverarbeitung oder dergleichen. Ein Schwellenwert für nachfolgende Binärumsetzungsverarbeitung läßt sich einstellen nach dem Otsu's-Verfahren (Journal of Papers of The Institute of Electronics, Information and Communication Engineers, Ausgabe J63, Seiten 349–356, 1980), wobei das Verfahren unterteilt ist in Blöcke, die jeweils eine passende Größe haben und einen Schwellenwert, der dann eingestellt wird auf der Grundlage statistischer Verarbeitung (hypothetischen Tests basierend auf Durchschnitt, Varianz oder Histogramm oder dergleichen), von Ortsbilddaten (Leuchtdichte, Farbe oder dergleichen) oder dergleichen.
In diesem Ausführungsbeispiel kann die Zonenselektierverarbeitungseinheit 713 Durchschnittsverarbeitung von einer Vielzahl von Differenzdaten unter einer Vielzahl von (drei oder mehr) Bildern durchführen, die gewonnen sind durch fortgesetztes Steuern des Fokussierzustands und Anfangskonturlinienextraktionsverarbeitung (Glätten, Binärumsetzen, Ausführen der Dünnlinienumsetzverarbeitung und dergleichen) des auszuschneidenden Bildes, was zum Durchschnittsverarbeitungsergebnis ausführbar ist.
Der Objektivmotor wird zu diesem Zwecke mit Hochgeschwindigkeit angesteuert, und zwar auf der Grundlage des Ausgangssignals aus der Fokussierzustandsfeststelleinheit 752a und wenigstens drei Stehbildern einschließlich Weitwinkel- oder Telebildern oder anderen nah- und fern eingestellten Fokussierbildern, sowie ein optimal scharf gestelltes Bild werden fortgesetzt aufgenommen zu vorbestimmten Zeitintervallen. Die aufgenommenen Bildern werden in einer Bildaufzeichnungs-/Wiedergabeeinheit 706 gespeichert. Nachdem ein Bild nach Feststellung des Fokussierzustands abgerufen ist, wird typischerweise eine vorbestimmte Anzahl von Außerfokusbildern fortgesetzt aufgenommen.
In diesem Falle werden Signale aus dem Bildsensor 704 übertragen und auf einer Zwischenspeichereinheit aufgezeichnet, die nicht dargestellt ist, wie ein Cachespeicher, via Hochgeschwindigkeitsumschaltübertragungseinheit, ebenfalls nicht dargestellt, ohne Durchlaufen der Videosignalverarbeitungseinheit 717. Nach Bildaufnahme unter einer Vielzahl von Bildaufnahmebedingungen, das heißt, Schreibbilder in einer Zwischenspeichereinheit sind abgeschlossen, die Bilder werden sequentiell übertragen und der Vorverarbeitung unterzogen, die für die Videosignalverarbeitung und das Bildausschneiden erforderlich sind.
Angemerkt sei, daß die Hochgeschwindigkeitsumschaltübertragungseinheit direkt Daten zur Zonenselektierverarbeitungseinheit 713 übertragen kann. Da auf diese Weise ein Videosignal aus dem Sensor der Nichtlinearverarbeitung nicht unterzogen wird, die normalerweise erfolgt, kann die Verarbeitungspräzision durch Unterdrücken des Einflusses von Beleuchtungsänderungen stabilisiert werden durch Einflüsse von Bedingungen, Gegenstandsbewegungen und dergleichen, nach der Bildaufnahme.
Erfolgt die Videosignalverarbeitung nach einer Serie von abgerufenen Bildern, dann läßt sich Hochgeschwindigkeitsbildaufnahmeoperation, Stabilausschneideverarbeitung und Hochflexibilität realisieren. Werden Bilder zeitseriell aufgenommen, können nur Differenzdaten, die aktualisiert sind von der Durchschnittsbildungsverarbeitung mit der unmittelbaren Verarbeitung von Bilddaten zeitweilig gespeichert werden. Ist die Anzahl von zu verwendenden Bildern bei der Anfangskonturlinienextraktionsverarbeitung mit N im voraus bestimmt, und wenn N oder mehr Bilder während des Fokussierprozesses aufgegriffen werden, können die letzten N Bilder gehalten werden (Bilder werden in der Reihenfolge älterer gelöscht), und danach kann die Berechnung von Differenzdaten und die Durchschnittsverarbeitung erfolgen. Wenn Differenzdaten unter einer Vielzahl von Bildern mit leicht unterschiedlichen Fokussierzuständen gemittelt sind, wie in diesem Ausführungsbeispiel, kann der Raucheinfluß unterdrückt werden, und die Bildextraktion, die Hochpräzision und Hochauflösung sicherstellt, läßt sich realisieren.
Die Verabreitungsschritte von Bilddaten sind dieselben wie jene in der erläuternden Ansicht von 15. (1) von 15 zeigt ein Scharfeinstellbild, (2) von 15 zeigt ein Außerfokusbild, welches betont ist zur Darstellung, und (3) von 15 zeigt eine Ortszone, die eingestellt wird, wenn der Anwender einen Punkt im zu extrahierenden Gegenstand aufzeigt, während das Bild in (1) von 15 auf der Anzeigeeinrichtung 726 bestätigt wird.
(4) von 15 zeigt ein Beispiel eines Bildes in einer Anfangskonturlinie, die als Ergebnis der Glättung, Binärumsetzung, Zeilenausdünnung und Konturlinienfolgeverarbeitung in der Ortszone auf der Grundlage von Differenzdaten zwischen (1) und (2) von 15 gewonnen wurden. Nach Berechnung der Differenzbilddaten können zwei Außerfokusbilder mit unterschiedlichen Fokussierniveaus verwendet werden, die, obwohl nicht dargestellt, oben beschrieben worden sind. Auch nur die Konturlinienfolgeverarbeitung kann ausgeführt werden, ohne daß die Glättung und Binärumsetzung erfolgt.
48A und 48B sind Ablaufdiagramme, die die Bildextraktionsverarbeitungssequenz zeigen. Das Bildaufnahmesystem wird initialisiert (Schritt S801), und mit dem Netzwerk verbundene Einrichtungen befinden sich im Bereitschaftszustand. Normalerweise wird die Initialisierung von der Seite der Endgeräteeinrichtung 721 ausgeführt.
Danach wird eine Einrichtung ausgewählt, die von der Bildaufnahmeoperation zur Ausgabeoperation steuert (Schritt S802). Es wird überprüft, ob die ausgewählte Steuereinrichtung eine Endgeräteeinrichtung 721 ist (Schritt S803). Wenn JA in Schritt S803, wird die An-/Abwesenheit von Empfangsdaten oder eines Empfangsbefehls im Bereitschaftszustand überprüft (Schritt S804). Sind keine Empfangsdaten präsent, dann wird das Bildaufnahmegerät 701 bestimmt, das der Ausführung von Operationen dient (Schritt S805).
Wenn der Anwender ein Gegenstandsextraktionsmoduseinstellmenü aus einem Anfangsmenü wählt, das auf der Anzeigeeinrichtung 722 dargestellt ist, wird ein Gegenstandsextraktionsbildaufnahmemodus-Einstellbefehl an das Bildaufnahmegerät 701 gesandt (Schritt S806). Nach Empfang dieses Befehls liest das Bildaufnahmegerät 701 das Basissteuerprogramm aus, das über einen Standarddatensatz zur Gegenstandsextraktion aus dem internen Speicher der Systemsteuereinheit 715 verfügt (beispielsweise ein ROM).
Der Standarddatensatz in diesem Ausführungsbeispiel enthält die Steuerbildaufnahmeparameter (Fokussieren), die Anzahl von aufzunehmenden Bildern, den zulässigen Bereich der Bildaufnahmeparameter, die zu steuern sind (angegeben als Verhältnis in Hinsicht auf das Scharfeinstellniveau in diesem Ausführungsbeispiel), die Ausgabebestimmung von Bilddaten (als Endgeräteeinrichtung oder als Speicher im Kameragehäuse angegeben) und dergleichen. Angemerkt sei, daß dieses Basisprogramm aus dem Aufzeichnungsmedium in der Bildaufzeichnungs-/-Wiedergabeeinheit 706 ausgelesen werden kann.
Zu dieser Zeit werden die Inhalte der eingestellten Standarddaten dargestellt, und eine Mitteilung zur Aufforderung des Anwenders, die Inhalte zu ändern, wird angezeigt. Falls erforderlich, ändert der Anwender zu dieser Zeit die Inhalte. Danach wird die Einstellsteuerung einer Vielzahl von Bildaufnahmebedingungen und Vorverarbeitungen (Berechnen von Vergleichsdaten zwischen einer Vielzahl von Bildern und dergleichen) zur Ausschneideverarbeitung nach dem zuvor beschriebenen Verfahren ausgeführt (Schritt S807).
Ein Bild aus dem Bildaufnahmegerät 701 wird auf dem Bildschirm der Anzeigeeinrichtung 726 dargestellt, und der Anwender wählt einen auszuwählenden Gegenstand aus (Schritt S808). Genauer gesagt, der Anwender zeigt auf (klickt an) beispielsweise einen Punkt nahe der Grenze zwischen einem Innenabschnitt vom Gegenstand und dem Hintergrund unter Verwendung der Zeigereinrichtung 723, wie einer Maus. In diesem Falle ist es wünschenswert, genaue Feldwinkel-/Belichtungsbedingungen nach der Bildaufnahme einzustellen. In diesem Schritt wird überprüft, ob die Bildaufnahmebedingungen geeignet sind (das heißt, ob das Gegenstandsbild unter geeigneten Belichtungsbedingungen aufgenommen wird, ob die gesamte zu extrahierende Zone präsent ist, ob die zu extrahierende Zone eine hinreichende Größe aufweist und so weiter) (Schritt S809). Sind die Bildaufnahmebedingungen in Ordnung, dann wird die Steuerung in eine Zonenselektion eintreten und die Ausschneideverarbeitung wird ausgeführt (Schritt S811).
Wenn andererseits die Bildaufnahmebedingungen nicht in Ordnung sind, werden zoomen, die Positur vom Bildaufnahmegerät 701 und andere Bildaufnahmeparameter automatisch auf der Grundlage der Bilddaten geändert (Schritt S810). Beispielsweise können die Photometrie und die Belichtungsbedingungen in einer vorbestimmten Zone, die den aufgezeigten Punkt als Mitte aufweist, eingestellt werden, der Bereich einer Zone mit gleichen Bildeigenschaften kann berechnet werden und die Zoomsteuerung kann erfolgen, so daß das Flächenverhältnis zum Bildschirm einen vorbestimmten Wert oder einen höheren hat.
Als interaktives Bestimmungsverfahren kann der Anwender eine Vielzahl von Punkten aufzeigen, um grob die Zone eines Gegenstands zu bestimmen, oder er kann die Gestalt und Größe einer Zone bestimmen, die den Gegenstand umgibt, und kann unter Verwendung einer Maus einen Punkt auf dem Gegenstandsbild anzeigen, um die Stelle einer rechteckigen oder elliptischen Zone zu bestimmen, oder er kann die Maus in einer Richtung abtasten, um eine vorbestimmt gestaltete Zone gemäß der Abtastlänge halbautomatisch einzustellen.
Danach werden Zoom- und Fokussieroperationen mit der Zone als Mitte ausgeführt. Nachdem das Scharfeinstellniveau erfaßt ist, werden die oben beschriebenen unscharfen Bildaufnahmeoperationen, die Berechnung der Differenzdaten und die zuvor beschriebene Konturlinienfolgeverarbeitung auf der Grenze zum Extrahieren der Gegenstandszone ausgeführt.
Nach Abschluß der Ausschneideverarbeitung wird ausgewählt, ob die extrahierten Daten aufzuzeichnen sind (Schritt S812). Sind die Daten aufzuzeichnen, dann wird der Ort bestimmt und Daten werden geschrieben (die interne Speichereinehit vom Bildaufnahmegerät 701 oder die interne Speichereinheit der Endgeräteeinrichtung; Schritt S813). Auch wenn das Bild nicht aufgezeichnet wird, erfolgt danach die Editierverarbeitung (Synthese mit einem anderen Bild oder dergleichen) vom extrahierten Bild unter Verwendung der Maus 723 und der Endgeräteeinrichtung 721 (Schritt S814). Weiterhin können Bilddaten der Umsetzverarbeitung entsprechend visueller Eigenschaften einer Person gemäß den Eigenschaften der Ausgabeeinrichtung unterzogen werden (Drucker, Anzeige oder dergleichen) (Schritt S815), und die umgesetzten Daten können dargestellt werden (Schritt S816).
Nachstehend beschrieben ist ein Fall, bei dem nach Überprüfen der An-/Abwesenheit von Empfangsdaten bestimmt wird (Schritt S804), daß vom Bildaufnahmegerät 701 gesendete Daten empfangen werden, oder ein Aufzeichnungsmedium, das ein Bildaufnahmesteuerprogramm vom Gegenstandsextraktionsmodus speichert, wird in eine Endgeräteeinrichtung 721 geladen.
Die Sendeeinrichtung wird überprüft (Schritt S817), und Bildaufnahmemodusdaten (Standard- oder Gegenstandsextraktionsmodus oder dergleichen) werden gemeinsam mit den Bilddaten ausgelesen (Schritt S818). Dann wird überprüft, ob die Bildaufnahmeoperationen und die Ausschneideverarbeitung im Gegenstandsextraktionsbildaufnahmemodus unter identischen Bedingungen erfolgen (Schritt S819). Werden die Bildaufnahmeoperationen und die Ausschneideverarbeitung im Gegenstandsextraktionsbildaufnahmemodus unter identischen Bedingungen ausgeführt, wird das Bildaufnahmegerät 701 zum Ausführen der Verarbeitung in Schritt S807 und auch in den nachfolgenden Schritten bestimmt.
Anderenfalls wählt der Anwender aus, ob die Ausschneideoperation in der Endgeräteeinrichtung 721 erfolgen soll (Schritt S820). Danach werden Schritt S811 oder S812 und die nachfolgenden Schritte gemäß der Wahl des Anwenders ausgeführt. Wenn in Schritt S804 bestimmt ist, daß die Befehlsdaten aus einer anderen Endgeräteeinrichtung empfangen werden, wird die Verarbeitung (Schritt S821) gemäß der empfangenen Anforderung ausgeführt, wobei es sich eigentlich erübrigt, dies zu erwähnen.
Wenn andererseits das Bildaufnahmegerät 701 nach Auswahl der Steuereinrichtung ausgewählt wird (Schritt S802), erfolgt der Betrieb im Bildaufnahmegerät 701 vor allen anderen Operationen. Wenn die Verarbeitung grundsätzlich lediglich durch eine Schaltoperation oder dergleichen an der Kamera erzielt wird, wird die Verarbeitungssequenz der Basisverarbeitung (Schritt S822) von dem Zeitpunkt, wenn eine Vielzahl von Bildern mit unterschiedlichen Fokussierzuständen aufgenommen werden, bis zum Zeitpunkt, wenn die Vorarbeitung zur Bildausschneideverarbeitung erfolgt ist, folgendermaßen zur Ausführung kommen.
Wenn der Gegenstandsextraktionsmodus nach dem Einschalten des Geräts eingestellt ist, werden Standardparameterwerte (beispielsweise der Außerfokusniveaubereich, die Anzahl von zur Ausschneideverarbeitung aufzunehmenden Bildern und dergleichen), die in einer Vielzahl von Bildaufnahmebedingungseinstelleinheiten gespeichert sind, das Basissteuerprogramm oder dergleichen ausgelesen.
Die Objektivmotorantriebssteuereinheit 703 erfaßt die Linseninformation, wie Spezifikationen und den Typ vom optischen Abbildungssystem, das hier eingesetzt ist. Die Information wird verwendet zum Zwecke der passenden Steuerung des Antriebsbetrags vom Fokussiermotor während der Scharfeinstellsteuerung oder zum Erzielen der Hochgeschwindigkeitseinstellverarbeitung gemäß der Art des optischen Systems nach Einstellen identischer Bildaufnahmebedingungen gegenüber jenen zuvor verwendeten.
Danach werden die Vergrößerung und Photometrie und (automatische) Belichtungsbedingungen wie beim Normalbildaufnahmemodus eingestellt. Der Fokussiermotor wird dann angetrieben, bis ein optimales Scharfeinstellniveau in Hinsicht auf den Gegenstand erzielt ist, und der Fokussierzustand wird auf der Grundlage beispielsweise eines Gradientenverfahrens erfaßt, wodurch ein scharfes Bild vom Gegenstand aufgenommen wird.
Der Fokussiermotor wird um einen vorbestimmten Betrag in derselben Richtung wie bei der vorherigen Antriebsrichtung angesteuert, und das Fokussiersignalniveau wird bewertet. Wenn das Fokussiersignalniveau einem Außerfokusniveau entspricht, das in den vorbestimmten zulässigen Bereich fällt, erfolgt eine Bildaufnahmeoperation. Zu dieser Zeit wird die Anzahl von aufzunehmenden Bildern überprüft, und die Fokussiersteuerung und die Bildaufnahmeoperation werden wiederholt, bis eine vorbestimmte Maximalzahl von Bildern aufgenommen ist. Differenzbilddaten zwischen einer Vielzahl von Bildern mit geringer Fokussiersignalniveaudifferenz werden extrahiert, und die Bildausschneiderverarbeitung erfolgt.
Die Bildausschneideoperation (Konturlinienextraktionsverarbeitung) ist nachstehend beschrieben. Ein Binärumsetzungsschwellwert kann auf der Grundlage statistischer Verarbeitung für eine Lokalzone eingestellt werden, die eine vorbestimmte Größe hat (oder eine Einstellzone mit beliebiger Gestalt unter Verwendung einer Maus oder dergleichen), indem der bestimmte Punkt mit der Maus oder dergleichen als Mitte eingestellt wird, und Binärumsetzung, Zeilenausdünnung und Konturfolgeverarbeitung können innerhalb der Zone ausgeführt werden.
Nach Abschluß der Verarbeitung wird eine Lokalzone mit dem Kantenpunkt der vorherigen Zone als Mitte automatisch eingestellt, um dieselbe Verarbeitung zu wiederholen. von diesen Verarbeitungsoperationen wird die Zeilenausdünnung zum Erzielen jeweiliger Punkte in einer fetten Anfangskonturlinie gewonnen, und dies ist nicht auf ein spezielles Verfahren beschränkt, das durch herkömmliche Bildverarbeitung ausgeführt wird. Beispielsweise kann nach einem Kantenpunkt aus einem beliebigen Punkt in einer Grobanfangskontur gesucht werden, und zwar entweder im rechten, linken, oberen und unteren Teil, und dann wird nach einem Eckpunkt gesucht, der dem erzielten Eckpunkt benachbart ist, womit repräsentative Punkte bestimmt sind.
Gibt es eine Vielzahl von Kanten oder Konturlinien in der benachbarten Zone als Ergebnis der Zeilenausdünnungsverarbeitung, so können diese angezeigt werden, während sie auf dem Eingabebild überlagert sind, und können unter Verwendung beispielsweise einer Maus ausgewählt werden.
Wenn nur eine Kante in der Nachbarschaftszone vorhanden ist oder wenn der Anwender eine Kante auswählt, dann wird die Konturlinienfolgeverarbeitung in einer voreingestellten Richtung ausgeführt, und die Positionen der jeweiligen Punkte vom ausgedünnten Zeilenbild, die mit der Kante verbunden sind, werden sequentiell als Abtastpunkte der Anfangskonturlinie aufgezeichnet.
Als Verfahren des Einstellens der Verzweigungsrichtung, wenn ein ausgedünntes Linienbild eine Verzweigungsstruktur hat, wird vorzugsweise die Verzweigungsrichtung ausgesucht, in der die Bilddateneigenschaft (Farbe, Leuchtdichte, deren Varianzen oder dergleichen) der Konturlinie in einer Richtung senkrecht zur Folgerichtung eines Punkte vor der Verzweigung stetig ist, oder eine Richtung, in der Richtungsänderungen vor und nach der Verzweigung gering sind. In diesem Falle erfolgt die Verarbeitung durch Erfassen der Bildeigenschaft einer kleinen Zone mit einem Punkt nach der Verzweigung als Mitte.
Als anderes Verfahren kann auf die Konturfolge verzichtet werden, und eine Zone mit einem Verzweigungspunkt als Mitte kann zum Flackern veranlaßt werden, so daß der Anwender die Verzweigungsrichtung auswählen kann. Wenn das optische Abbildungssystem mit kurzer Brennweite verwendet wird, und wenn die Entfernung zwischen dem zu extrahierenden Gegenstand und dem Hintergrund hinreichend größer als die Gegenstandsentfernung ist, dann kann die Verzweigungsstruktur daran gehindert werden, in Differenzbilddaten am Grenzabschnitt zwischen Hintergrund und Gegenstand aufzutreten, was sich eigentlich zu sagen erübrigt.
Wenn die Konturlinie durch Binärumsetzung und Zeilenausdünnungsverarbeitung unterteilt ist, erfolgt die Kantenverkettungsverarbeitung. In diesem Falle kann ein automatisches Verketten auf der Grundlage eines vorbestimmten Algorithmus erfolgen (siehe Papers of the 23rd Image Engineering Conference, Seiten 67–70, 1992, und dergleichen) oder verbleibende Kantenpunkte als Ergebnis der Konturfolge können zum Flackern auf der Anzeigeeinheit veranlaßt werden. Alternativ kann der Kantenpunkt klar dargestellt werden unter Verwendung beispielsweise unterschiedlicher Farbe gegenüber anderen Konturlinien, und der Anwender kann Kantenpunkte bestätigen und aufzeigen, die unter Verwendung der Auswahl-/Aufzeigeinheit zu verbinden sind. Als Konturlinie, die Verbindungspunkte verkettet, können eine gerade Linie oder eine Splineinterpolationskurve unter Verwendung repräsentativer Punkte auf der Konturlinie erzeugt werden. Wenn insbesondere ein Kantenpunkt nach Konturfolge auf dem Vollbild vorhanden ist, läßt sich dieses mit einem anderen Vollbild koppeln.
Nachdem die geschlossene Konturlinie und die darin enthaltenen Bilddaten in der zuvor beschriebenen Weise extrahiert sind, kann eine genauere Bildextraktion durch Anwenden einer Hintergrundzonenbeseitigungsverarbeitung erfolgen, beispielsweise auf der Grundlage statistischer Verarbeitung, Zonenwachstumsverfahrens, Aktivkonturverarbeitungsverfahrens oder dergleichen.
In diesem Ausführungsbeispiel wird eine Vielzahl von Bildern mit unterschiedlichen Fokussierzuständen durch Steuern der Fokussierlinse verarbeitet. Eine Vielzahl von Bildern mit unterschiedlichen Bildaufnahmeparametern (Blendeöffnung, Verschlußzeit oder dergleichen), mit unterschiedlichen Bildaufnahmebedingungen (Belichtungsbedingungen, Sensorsignalkennlinien oder dergleichen) oder deren Kombinationen können verarbeitet werden, und Extrahieren, Identifizieren, Folgen und dergleichen eines spezifischen Gegenstands lassen sich ausführen.
[Weiteres Ausführungsbeispiel]
Dieses Ausführungsbeispiel stellt einen Falle dar, bei dem das Bildaufnahmesystem und das spezifische Gegenstandsextraktionsprinzip, beschrieben im obigen Ausführungsbeispiel, angewandt werden auf einen Digitalkopierer, der beispielsweise verbunden ist mit einem Computerendgerät.
49 ist ein Blockdiagramm, das die Anordnung eines Bildaufnahmesystems dieses Ausführungsbeispiels zeigt. In diesem Bildaufnahmesystem dient ein Kopierer 727 als Bildeingabeeinheit und ist mit einem Übertragungsnetzwerk verbunden.
50 ist eine schematische Erläuterungsansicht, die eine Anordnung eines Digitalkopierers zeigt. Eine Bildeingabeeinheit 800 ist aufgebaut aus einem optischen System 801 mit Zoom- und Fokussierfunktion, einem Bildsensor 802, einer Beleuchtungseinheit 803, wie beispielsweise eine Halogenlampe, einem Fokussier-/Zoomlinsenmotor 804, einem Spektralfilter 805 für sichtbares Licht, einer Steuereinheit 806, einem Infrarotausschneide-/-spektralkorrekturfilter (nicht dargestellt) und dergleichen.
Ein Drucker 820 ist aufgebaut aus einem Abbildungsprozessor 810, einem Halbleiterlaser 821, einer lichtempfindlichen Trommel 822, einer Übertragungstrommel 823, einem Rotationsentwickler 824 und dergleichen. Der Kopierer verfügt auch über eine Fixiereinrichtung 830, eine Papierzuführeinheit 840, eine Tonerliefereinheit (nicht dargestellt), einen Steuerprozessor 850, eine Originalauflageplatte 860, eine Aufzeig-/Auswahleinheit 870, eine Datenübertragungssteuereinheit 880, ein Bedienfeld 890 und dergleichen.
Ein nicht dargestelltes optisches System der Druckereinheit 820 ist normalerweise aufgebaut mit einem Reflexionsspiegel, einer torischen Linse (f-θ-Linse), einer sphärischen Linse, einem Polygonspiegel, einer zylindrischen Linse und dergleichen, und zwar in dieser Reihenfolge der Positionen nahe der lichtempfindlichen Trommel.
Das Bedienfeld 890 hat einen Gegenstandsextraktionskopiermoduseinstellschalter 891 zum Einstellen des Kopierers in den Gegenstandsextraktionskopiermodus. Angemerkt sei, daß dieser Modus auch eingestellt werden kann von einer Aufzeig-/Auswahleinheit, wie einer Tastatur, einem Stift, einer Maus oder dergleichen, einer Endgeräteeinrichtung 721. Nachdem in diesem Ausführungsbeispiel der Kopiermodus eingestellt ist, wird ein Bild aufgenommen, das zum Erzeugen von Maskendaten der zu kopierenden Zone verwendet wird, und danach emittiert der Halbleiterlaser 821 nur auf die Maskenzone Licht mit einem Ausgangspegel gemäß der Dichte der im voraus gelesenen Bilddaten, und ein latentes Bild wird auf der lichtempfindlichen Trommel 822 erzeugt.
Eine Anzeigeeinheit der Endgeräteeinrichtung 721 stellt ein Bild dar, das in einem Normalbildaufnahmemodus aufgenommen wurde. Der Anwender bestätigt dieses Bild und zeigt einen Punkt auf oder nahe einer Konturlinie zwischen dem zu extrahierenden Gegenstand und dem Hintergrund auf.
Der Steuerprozessor 850 steuert dann die Bildaufnahmeparameter und ruft Bilder unter unterschiedlichen Bildaufnahmebedingungen ab (das heißt, unterschiedliche Fokussierbedingungen), und der Bildprozessor 810 berechnet Differenzdaten zwischen diesen Bildern. Wenn danach die Ausschneideverarbeitung der zu extrahierenden Zone (Maskendatenerzeugungsverarbeitung) ähnlich derjenigen des obigen Ausführungsbeispiels erfolgt, dann wird nur das zu extrahierende Bild kopiert. Das extrahierte Bild kann übertragen und abgegeben werden an eine andere Endgeräteeinrichtung 721 oder an eine Anzeigeeinrichtung 722 auf dem Netzwerk.
Einige Komponenten in diesem Ausführungsbeispiel der oben beschriebenen Anordnung lassen sich bei einem elektrophotographischen Faxgerät anwenden, das ein optisches Abbildungssystem aufweist. Eine Leseeinheit dieses Faxgeräts besitzt eine Beleuchtungseinheit, einen Spiegelabtastmechanismus, ein optisches System, dessen Bildaufnahmeparameter wie beim obigen Ausführungsbeispiel gesteuert werden können, und einen Bildsensor.
Eine Aufzeichnungseinheit kann entweder einen Laserstrahldruckersystem oder ein thermisches Übertragungsaufzeichnungssystem verwenden. Eine Übertragungssteuereinheit hat beispielsweise eine G4-Protokollsteuerfunktion für eine Digitalleistung und eine G3/G2-Übertragungssteuerfunktion für eine Teilnehmerleitung. Eine Steuereinheit hat eine Codier-/Decodiereinheit.
Dieses Faxgerät 727 ist mit einer externen Endgeräteeinrichtung 721 verbunden und kann von der Endgeräteeinrichtung 721 gesteuert werden. Genauer gesagt: Nach Aufnahme eines Bildes im Normalmodus werden die Bilddaten auf der Anzeigeeinheit der Endgeräteeinrichtung 721 dargestellt. Der Anwender zeigt einen spezifischen zu extrahierenden und zu übertragenden Gegenstand aus dem Bild auf, das auf der Anzeigeeinheit dargestellt ist, womit ein Bild nach dem zuvor beschriebenen Verfahren extrahiert wird.
Angemerkt sei, daß die auf der Fokussiersteuerung basierenden Bildaufnahmeoperationen und das Extrahieren und Kopieren eines spezifischen Gegenstands in effizienter Weise mit Hochpräzision erfolgen können, wenn diese bei einem dreidimensionalen Gegenstand angewandt werden. In diesem Falle ist ein Kopierer aufgebaut aus Bauelementen eines Normalkopierers, wie eine dreidimensionale Gegenstandsauflageplatte, ein Bildaufnahmegerät, ein Bildprozessor, ein Drucker, eine Fixiereinrichtung und dergleichen. Insbesondere kann die Bildeingabeeinheit 800 von anderen Bauelementen des Kopierers separiert sein und kann über der dreidimensionalen Gegenstandsauflageplatte vorgesehen sein. Die Verarbeitungen, bis eine vom Bildprozessor 810 extrahierte Bildzone auf die lichtempfindliche Trommel übertragen wird und nur ein spezifisches Gegenstandsbild letztlich kopiert wird, gleichen jenen im zuvor beschriebenen Verfahren.
Als bevorzugtes Bildaufnahmesteuersystem zum Extrahieren eines spezifischen Gegenstandsbildes aus einer zweidimensionalen Zone, wie der Oberfläche eines Papierblattes, können Bilder unter einer Vielzahl von Bildaufnahmebedingungen durch Steuern der Eigenschaften vom Spektralfilter 805 für sichtbares Licht in der Bildeingabeeinheit 800 durch die Filtersteuereinheit 806 eingegeben werden, und eine spezifische Gegenstandszone kann auf der Grundlage von Differenzdaten zwischen den eingegebenen Bildern extrahiert und kopiert werden.
Wenn beispielsweise ein Bild eines Gegenstands, dessen Farbtoneigenschaften in ein spezifisches Spektrum verschoben sind (das heißt, ein vollständig roter Gegenstand), das zu extrahieren ist, werden ein Bild, gewonnen durch Steuern des Spektralfilters zur Erhöhung der Transmittanz für das Spektrum und ein Bild, gewonnen in einem Normalmodus, eingegeben, und Bildextraktion erfolgt auf der Grundlage der Differenzdaten.
Als anderes Bildaufnahmesteuersystem kann Extraktionsverarbeitung für eine Vielzahl von Bildern erfolgen, die gewonnen sind durch Steuern der Videosignaleigenschaften (Gamma und dergleichen) oder durch Belichtungsbedingungen (Beleuchtungslichtstärke, Öffnungsverhältnis, wenn verwendet, Absatzgeschwindigkeit, wenn ein Bild durch Sensorabtastung und dergleichen eingegeben wird) vom Bildsensor 802.
Speziell in diesem Falle ist es vorzuziehen, daß Differenzdaten zwischen den Bildern nach Normierungsverarbeitung berechnet werden (das heißt, Leuchtdichte werden im Maßstab umgesetzt, um einen identischen Maximalleuchtdichtepegel zu erzielen); dies erfolgt zwischen einer Vielzahl von Bilddaten, und die in derselben Weise auszuführende Ausschneideoperation wie beim zuvor beschriebenen Verfahren.
[Ein noch anderes Ausführungsbeispiel]
In diesem Ausführungsbeispiel wird das zuvor beschriebene spezifische Gegenstandsextraktionsprinzip bei einer anderen Bildeingabeeinrichtung angewandt (Bildscanner, Faxgerät oder dergleichen) mit einem Bildsensor vom Kontakttyp (CCD-Element oder dergleichen). Dieses Ausführungsbeispiel realisiert einen Fall, bei dem das zuvor beschriebene Prinzip einfachheitshalber bei einem Faxgerät angewandt wird.
51 ist eine schematische erläuternde Ansicht, die die Anordnung einer Bildeingabeausrüstung zeigt. Der Grundkörper 900 ist mit einer Endgeräteeinrichtung 721 verbunden, und ein Bild von einem Original 950 wird auf fotografischem Wege umgesetzt von einem Bildsensor 910 des Kontakttyps, womit das Lesen der Bildinformation erfolgt.
In diesem Ausführungsbeispiel ist ein Antriebssteuermechanismus 920 zur Feinbewegung des Bildsensors 910 in einer Richtung vorgesehen, die im wesentlichen senkrecht zur Sensoroberfläche steht, wodurch ein Originalbild eingegeben wird, das im Normalmodus (Hochauflösungsbildeingabemodus) eingegeben ist, und ein Außerfokusbild.
Normalerweise wird als Antriebselement des Antriebssteuermechanismus 920 ein piezoelektrisches Element, ein Tauchspulenmotor oder dergleichen verwendet. Angemerkt sei, daß die Bilddaten, übertragen über ein Modem 970, auf ein Aufzeichnungsblatt 960 von einer Aufzeichnungseinheit erfolgt (das heißt, ein thermischer Kopf oder dergleichen) 930 wie in anderen Faxgeräten. Eine Bildverarbeitungseinheit 940 unterteilt das Ausgangssignal vom Bildsensor 910 in eine Zeichenzone und an eine Bildzone und extrahiert ein spezifisches Figurenelement, das im voraus bestimmt wurde, oder eine spezifische Gegenstandszone aus der Bildzone auf der Grundlage des im obigen Ausführungsbeispiel beschriebenen Verfahrens.
Genauer gesagt, die Bildabtast- und Leseoperationen erfolgen bei Normalsensoroberflächenposition, um erste Bilddaten abzurufen. Danach werden Abtast- und Leseoperationen einer identischen Bildzone in einem Außerfokuszustand ausgeführt, erzielt durch Feinverschiebung der Sensoroberfläche, womit zweite Bilddaten gewonnen werden. Konturextraktion und Ausschneideoperationen für den Gegenstand, wie beim vorherigen Ausführungsbeispiel erfolgt des weiteren für Differenzdaten zwischen den ersten und den zweiten Bilddaten.
Ein Steuerprozessor 980 verwaltet Bildlesen, Gegenstandsextraktion, Antriebssteuerung von der Kontaktsensorposition, Thermokopfaufzeichnung, Papierzuführsteuerung und dergleichen, welche durch Steuerbefehle aus der Endgeräteeinrichtung 721 gesteuert werden.
[Weiteres Ausführungsbeispiel]
In diesem Ausführungsbeispiel ist ein Bildaufnahmegerät ausgestattet mit einem kostengünstigen kompakten Radioübertragungsmittel mit Infrarotstrahlübertragungsfunktion. Andere Bauteile der Kamera sind dieselben wie jene im obigen Ausführungsbeispiel.
Wenn eine Übertragungssteuereinheit ebenfalls in eine Endgeräteeinrichtung eingebaut ist, wird das Gegenstandsextraktionsbildaufnahmemoduseinstellsignal ausgetauscht, Bildaufnahmeparametersteuerdaten, extrahierte Bilddaten und dergleichen, und zwar mit dem Bildaufnahmegerät. Ein durch ein Modulationsverfahren, Codierverfahren, durch Datenübertragungsrate, Datenformat, Übertragungsprotokoll und dergleichen spezifischen Übertragungsverfahren ist nicht auf ein spezielles beschränkt. Jedoch wird üblicherweise ein Verfahren angewandt, das durch IrDa festgelegt ist. In diesem Falle ist eine Eins-Zu-Eins-Bidirektionalübertragung innerhalb des Entfernungsbereichs mehrerer Meter Voraussetzung, aber Eins-Zu-Mehrfach-Übertragungen können im Prinzip auch ausgeführt werden (Übertragungen zwischen einem Bildaufnahmegerät und einer großen Anzahl von Endgeräten oder zwischen einer Endgeräteeinrichtung und einer großen Zahl von Bildaufnahmegeräten).
Zu Beginn einer Übertragung mit einer Partnereinrichtung wird üblicherweise eine logische Verbindung mit einer Rate von 9.600 Bits/s ausgeführt, und die Maximalübertragungsrate beider Einrichtungen wird zu dieser Zeit überprüft. Danach erfolgt eine Übertragung mit der Maximalübertragungsrate.
Eine Halbduplexübertragung erfolgt durch Rechtsaustausch der Übertragung von Daten alle 5 bis 500 ms. Wenn eine Endgeräteeinrichtung eine logische Übertragung mit einem spezifischen Bildaufnahmegerät einrichtet, werden die Arten (Bildaufnahmegerät oder Endgeräteeinrichtung), die ID-Nummer eines Anwenders und dergleichen ausgetauscht, und das Bildaufnahmegerät wird in den Bereitschaftszustand durch eine Fernsteueroperation versetzt.
In diesem Falle kann eine Meldung auf der Bedienfeldanzeige der Kamera dargestellt werden. Danach werden sequentiell Prozesse vom Gegenstandsextraktionsbildaufnahmemodus eingestellt, bis abgerufene Bilddaten übertragen oder aufgezeichnet sind als dieselben wie jene im obigen Ausführungsbeispiel. Angemerkt sei, daß Steuerdaten oder geeignete komprimierte/codierte Bilddaten an ein Netzwerk, wie an ein öffentliches Netz oder ISDN gegeben werden können, über eine Übertragungseinrichtung, die dasselbe Verfahren anwendet, und die Übertragung zu einem entfernten Ort ermöglicht. Dasselbe Bedienfeld wie das vom Bildaufnahmegerät kann auf einem Anzeigefeld der Endgeräteeinrichtung dargestellt werden, und Kameraoperationsinformation läßt sich zum Bildaufnahmegerät übertragen durch ein Berührfeldverfahren oder eine Stifteingabe.
Beim Bildaufnahmemittel steuert ein Bildaufnahmeparametersteuermittel gemäß den obigen Ausführungsbeispielen die Bildaufnahmeparameter, und Bildaufnahmemoduseinstellmittel stellen Bildaufnahmemodi ein. Im Rechenmittel berechnet ein erstes Bildaufnahmemittel Vergleichsdaten zwischen einer Vielzahl von Bildern mit den gesteuerten Bildaufnahmeparametern, und ein zweites Bildaufnahmemittel klassifiziert Bildzonen durch Herausfinden der berechneten Vergleichsdaten. Im Endgerätemittel führt ein Datenübertragungsmittel die Datenübertragungen aus, und zwar mit dem Bildaufnahmemittel, und das Bildaufnahmeparametersteuermittel steuert die Bildaufnahmeparameter auf der Grundlage eines Signals aus dem Endgerätemittel oder einem Signal aus dem Bildaufnahmemoduseinstellmittel. Folglich können Bildaufnahmeoperationen zum Extrahieren, erkennen, folgen und dergleichen eines Gegenstands in selektiver Weise erzielt werden durch Fernsteuerbedienung mittels Übertragungssteuerung aus einer externen Endgeräteeinrichtung oder durch eine Betätigung vom Bildaufnahmemittel (Kamera).
Beim Bildaufnahmemittel steuert das Bildaufnahmeparametersteuermittel die Bildaufnahmeparameter, und ein Bildverarbeitungsmittel berechnet Vergleichsdaten zwischen einer Vielzahl von Bildern mit den gesteuerten Bildaufnahmeparametern. Im Rechenmittel zeigt ein Aufzeig-/ Auswahlmittel die Gegenstandsposition im Bild auf. Wenn ein Endgerätemittel Datenübertragungen mit dem Bildaufnahmemittel ausführt, erzeugt das Rechenmittel ein Bildaufnahmeparametersteuersignal auf der Grundlage des Gegenstandspositionssignals aus dem Aufzeige-/Auswahlmittel und Bilddaten in einer vorbestimmten Größenzone mit der aufgezeigten Position als Mitte, das Bildaufnahmeparametersteuermittel steuert die Bildaufnahmebedingungen auf der Grundlage des Bildaufnahmeparametersteuersignal, und das Endgerätemittel extrahiert ein spezifisches Gegenstandsbild durch Verarbeiten des unter den gesteuerten Bildaufnahmebedingungen gewonnenen Bildes. Im Ergebnis können geeignete Bildaufnahmebedingungen mit einem Gegenstand als Mitte auf der Grundlage der Bilddaten eingestellt werden.
Da das Bildaufnahmeparametersteuermittel die Bildaufnahmeparameter steuert, um eine Bildaufnahmeoperation auszuführen mit einer Zone als Mitte, die im wesentlichen gleichförmig vorbestimmte Merkmalsmengen von Bilddaten hat, das Bildaufnahmesystem zur Gegenstandsextraktion kann optimiert und auf der Grundlage von Bilddaten automatisiert werden.
Da das Datenübertragungsmittel ein Synchronisationsmittel zum Übertragen von Bilddaten synchron mit dem Bildaufnahmemittel hat, und da das Rechenmittelbild Daten verarbeitet, die über das Datenübertragungsmittel empfangen worden sind, kann eine Bildaufnahmeoperation (Bildabrufoperation) zur Gegenstandsextraktion bei einer beliebigen Zeit und einer Zeitvorgabe aus der Seite der externen Endgeräteeinrichtung erfolgen.
Ein Gerät verfügt über ein Bildaufnahmemittel mit einem Sucheranzeigemittel, einem Bildanzeigemittel zum Darstellen eines Bildes, das das Bildaufnahmemittel aufgenommen hat, Aufzeige-/Auswahlmittel zum Aufzeigen des Bildes, das das Bildanzeigemittel darstellt, und über ein Berechnungsmittel mit einem Zonenselektierverarbeitungsmittel zum Herausfinden der aufgezeigten Zone vom Bild. Das Zonenselektierverarbeitungsmittel verarbeitet Bilddaten, die das Bildaufnahmemittel ausgeführt hat, und führt die Ausschneideverarbeitung für eine Pasition oder Zone im Vollbildausgangssignal aus dem Aufzeig-/Auswahlmittel als Mitte aus, und das Bildanzeigemittel oder Sucherauszeigemittel stellt das extrahierte Bildsignal aus dem Rechenmittel dar. Die Hochgeschwindigkeitsverarbeitung aus einem Bildaufnahmeabschnitt zur Gegenstandsextraktion und Hochgeschwindigkeitsanzeigeverarbeitung auf einer Kamera oder Anzeige einer Endgeräteeinrichtung kann von daher realisiert werden.
Ein Gerät ist ausgestattet mit einem Bildaufnahmemittel mit einem Bildaufnahmeparametersteuermittel, das die Bildaufnahmeparameter steuert, und mit einem Speichermittel, das aufgenommene Bilddaten speichert, mit einem Bildanzeigemittel, das ein Bild darstellt, das das Bildaufnahmemittel aufgenommen hat, einem Aufzeig-/Auswahlmittel, das das dargestellte Bild aufzeigt, einem Rechenmittel mit einem Zonenselektiermittel zum Herausfinden der Zone vom aufgezeigten Bild, und mit einem Mittel, das über ein Datenübertragungsmittel verfügt, um die Datenübertragungen mit dem Bildaufnahmemittel auszuführen. Das Bildaufnahmeparametersteuermittel empfängt Steuerdaten aus dem Endgerätemittel über das Datenübertragungsmittel oder über das Speichermittel. Das Zonenselektierverarbeitungsmittel berechnet Vergleichsdaten zwischen einer Vielzahl von Bildern, die aufgenommen worden sind wenigstens unter zwei Bildaufnahmebedingungen, einschließlich einer Standardbildaufnahmebedingung oder einer Nichtstandardbildaufnahmebedingung, die eingestellt sind vom Bildaufnahmeparametersteuermittel, und ausgeführt wird eine Ausschneideverarbeitung für eine Position oder Zone im Vollbild aus dem Aufzeige-/Auswahlmittel als Mitte. Das Bildanzeigemittel stellt ein Bildsignal aus dem Rechenmittel dar. Eine Serie von Verarbeitungsoperationen aus dem Einstellmittel der Bildaufnahmebedingungen für die Anzeigeoperation des extrahierten Bildes können folglich von der Seite der Endgeräteeinrichtung gesteuert werden.
Da das Datenübertragungsmittel über ein Sende-/Empfangsmittel verfügt, das ein Signal durch elektromagnetische Wellen oder über eine Leitung überträgt, und über ein Übertragungsprozedursteuermittel, und das Gerät ebenfalls ausgestattet ist mit einem Bildaufnahmemoduseinstellmittel, das den Aufnahmeextraktionsbildaufnahmemodus auf der Grundlage von Befehlsdaten einstellt, die aus dem Endgerätemittel über das Übertragungsmittel empfangen werden, können die Bildaufnahmeparameter zur Gegenstandsextraktion extern in schnurloser Weise ferngesteuert werden.
Da das Gerät über ein Speichermittel verfügt, das ein Aufzeichnungs-/Wiedergabemittel zum Aufzeichnen/Wiedergeben von Bilddaten auf/von einem Wechselspeichermedium enthält, und das Speichermedium Bilddatenoperationssteuersequenzdaten im Gegenstandsausschneidebildaufnahmemodus hält, und zwar in der Kopfposition, kann ein Bildaufnahmeoperationssteuerprogramm auf einem Aufzeichnungsmedium aufgezeichnet werden und extern angeliefert werden, und eine identische Bildaufnahmeoperation (Verarbeitungssequenz in der Kamera) zur Gegenstandsextraktion kann in automatischer Weise wieder hergestellt werden.
Da das Gerät über ein Speichermittel verfügt, das wiederum ein Aufzeichnungs-/Wiedergabemittel zum Aufzeichnen/Wiedergeben von Bilddaten auf/aus einem austauschbaren Speichermedium enthält, und das Bildaufnahmeparametersteuermittel die Bildaufnahmebedingung einstellt und die Bildaufnahmeoperation auf der Grundlage der Bilddaten ausführt, die aus dem Speichermedium gelesen sind, nachdem das Speichermedium in das Speichermittel geladen worden ist, können Bildaufnahmesteuerdaten auf ein Aufzeichnungsmedium aufgezeichnet und extern geliefert werden, und eine identische Bildaufnahmeoperation zur Gegenstandsextraktion kann automatisch wieder hergestellt werden.
Da das Gerät über das Speichermittel verfügt, das wiederum über das Aufzeichnungs-/Wiedergabemittel zum Aufzeichnen/Wiedergeben von Bilddaten auf/aus einem Wechselspeichermittel enthält, zeichnet das Speichermittel Kameraoperationsinformation nach Bildaufnahmen zur Gegenstandsextraktion auf, und das Bildaufnahmemoduseinstellmittel oder das Endgerätemittel gibt die Kameraoperationsinformation wider, wenn eine Bildaufnahmeoperation zur Gegenstandsextraktion manuell ausgeführt wird; eine identische Bildaufnahmeoperation kann später wieder hergestellt werden.
Ein Verfahren mit dem Verfahrensschritt der Bildaufnahme, der den Verfahrensschritt der Bildaufnahmeparametersteuerung vom Steuern der Bildaufnahmeparameter eines Bildaufnahmegerätes umfaßt, und außerdem den Verfahrensschritt der Bildaufnahmemoduseinstellung und der Einstellung eines Bildaufnahmemodus, enthält der Verfahrensschritt des Berechnens den ersten Verfahrensschritt der Bildverarbeitung zur Berechnung der Vergleichsdaten von Bildern mit den gesteuerten Bildaufnahmeparametern, und den zweiten Verfahrensschritt der Bildaufnahme des Klassifizierens von Bildaufnahmezonen durch Selektieren der berechneten Vergleichsdaten, und den Verfahrensschritt der Datenübertragung des Ausführens der Datenübertragungen zwischen dem Bildaufnahmegerät und einer Endgeräteeinrichtung. Da der Verfahrensschritt der Bildaufnahmeparametersteuerung die Bildparameter auf der Grundlage eines Signals aus der Endgeräteeinrichtung oder auf der Grundlage eines Signals, das im Verfahrensschritt des Bildaufnahmemodus eingestellt worden ist, steuert, können Bildaufnahmeoperation zum Extrahieren, Erkennen, Folgen und dergleichen des Gegenstands in selektiver Weise erzielt werden durch eine Fernsteueroperation mittels Übertragungssteuerung aus der externen Endgeräteeinrichtung oder einer Operation bezüglich des Bildaufnahmemittels (der Kamera).
Ein Verarbeitungsverfahren für aufgenommene Bilder verfügt über den Verfahrensschritt der Bildaufnahme, der den Verfahrensschritt der Bildaufnahmeparametersteuerung der Bildaufnahmeparameter eines Bildaufnahmegeräts umfaßt, und auch den Verfahrensschritt der Bildverarbeitung von der Berechnung von Vergleichsdaten zwischen einer Vielzahl von Bildern mit den gesteuerten Bildaufnahmeparametern, den Verfahrensschritt des Berechnens des Aufzeigens einer Gegenstandsposition im Bild unter Verwendung einer Aufzeige-/Auswahleinrichtung, und den Verfahrensschritt der Datenübertragung des Ausführens von Datenübertragungen zwischen dem Bildaufnahmegerät und einer Endgeräteeinrichtung. Der Rechenschritt erzeugt ein Bildaufnahmeparametersteuersignal auf der Grundlage eines Gegenstandspositionssignals aus der Aufzeige-/Auswahleinrichtung und Bilddaten in einer vorbestimmten Größenzone mit der aufgezeigten Position als Mitte, wobei der Verfahrensschritt der Bildaufnahmeparametersteuerung die Bildaufnahmebedingungen auf der Grundlage des Bildaufnahmeparametersteuersignals steuert, und die Endgeräteeinrichtung extrahiert ein spezifisches Gegenstandsbild durch Verarbeiten eines Bildes, das gewonnen wurde unter den Bildaufnahmebedingungen. Folglich können geeignete Bildaufnahmebedingungen mit einem Gegenstand als Mitte auf der Grundlage der Bilddaten eingesetzt werden.
Die vorliegende Erfindung läßt sich anwenden auf ein System, das aufgebaut ist aus einer Vielzahl von Einrichtungen (das heißt, Hostcomputer, Schnittstelle, Leseeinrichtung, Drucker) oder bei einem Gerät mit einer einzigen Einrichtung (beispielsweise Kopierer, Faxgerät).
Die Aufgabe der vorliegenden Erfindung kann weiterhin erzielt werden durch Bereitstellen eines Speichermediums, das Programmcodes zum Ausführen der zuvor aufgeführten Prozesse bezüglich eines Systems oder Geräts, Lesen der Programmcodes mit einem Computer (beispielsweise CPU, MPU) vom System oder Gerät aus dem Speichermedium, und dann Programmausführung.
In diesem Falle realisieren die Programmcodes aus dem Speichermedium die Funktionen gemäß den Ausführungsbeispielen, und das Speichermedium, das die Programmcodes speichert, bildet die Erfindung.
Weiterhin kann das Speichermedium, wie Diskette, Festplatte, optische Platte, Magnetooptische Platte, CD-ROM, CD-R, Magnetband, nichtflüchtige Speicherkarte und ROM verwendet werden, um die Programmcodes bereitzustellen.
Neben den zuvor genannten Funktionen gemäß den obigen Ausführungsbeispielen erfolgt eine Realisation durch Ausführen der Programmcodes, die ein Computer ließt, die vorliegende Erfindung umfaßt einen Fall, bei dem ein Betriebssystem oder dergleichen auf dem Computer arbeitet und ein Teil oder alle Vorgänge gemäß den Bestimmungen der Programmcodes ausführt und Funktionen gemäß den obigen Ausführungsbeispielen realisiert.
Die vorliegende Erfindung umfaßt auch einen Fall, bei dem nach Auslesen der Programmcodes aus dem Speichermedium Einschreiben in eine Funktionserweiterungskarte erfolgt, die in den Computer oder einen Speicher eingeführt wird, vorgesehen als Funktionserweiterungskarte, die verbunden ist mit dem Computer, der CPU oder dergleichen, enthalten in der Funktionserweiterungskarte oder Einheit, die einen Teil oder alle Prozesse gemäß den Bestimmungen der Programmcodes ausführt und Funktionen der obigen Ausführungsbeispiele realisiert.
Wenn die vorliegende Erfindung bei dem zuvor genannten Speichermedium angewandt wird, speichert das Speichermedium Programmcodes gemäß den Ablaufdiagrammen, die in diesen Ausführungsbeispielen beschrieben worden sind.
Wie viele weitgehendst unterschiedliche Ausführungsbeispiele der Erfindung möglich sind, ohne vom Umfang und vom Geist der Erfindung abzuweichen, entscheidet sich dadurch, daß die Erfindung nicht auf spezielle Ausführungsbeispiele beschränkt ist, sondern nur auf die anliegenden Patentansprüche.
Diese Erfindung stellt ein Extraktionsverfahren zum Ausführen der Verarbeitung zum Extrahieren und Ausschneiden eines spezifischen Gegenstands aus einem aufgenommenen Bild mit Hochgeschwindigkeit bereit, sowie ein Bildaufnahmegerät, das dieses Verfahren anwendet. In dieser Erfindung werden in einem Verfahren des Extrahierens eines Gegenstands durch Vergleichen eines aufgenommenen Bildes mit einem Standardbild ein Fokussiersignal, Brennweitendaten, Sehachsenrichtungsdaten und Beleuchtungsbedingungen erfaßt, und die Anfangsgröße, Anfangsstellung oder Anfangsfarbe des Standardbildes wird auf der Grundlage der gewonnenen Ergebnisse geändert, und das Extrahieren startet unter optimalen Bedingungen. In einem Verfahrens des Extrahierens von einem spezifischen Gegenstand aus dem Hintergrund wird letztes umgesetzt in ein Bild mit selben Bedingungen wie jene des Gegenstandsbildes. Aus einer Vielzahl von unter unterschiedlichen Aufnahmebedingungen gewonnenen Bildern wird die Kontur des Gegenstands genau mit Hochgeschwindigkeit gewonnen. In einem Gegenstandsextraktionsverfahren unter Verwendung einer Schablone wird die Größe der Schablone auf der Grundlage der Gegenstandsentfernung, Gegenstandsgröße oder dergleichen bestimmt.

Claims

Objektextraktionsverfahren zum Extrahieren eines vorbestimmten Objekts aus einem erfassten Bild, gekennzeichnet durch die Schritte: automatisches Ändern (B1, C1, E1 und F1; B2 und C2; B3 und E3; 506 und 507) einer Gestalt und/oder einer Größe eines Referenzbildes, das mit Objektextraktion in Zusammenhang steht, basierend auf mindestens einem Bilderfassungsparameter einer Bilderfassungseinrichtung bezüglich einer Bilderfassungsbedingung bei Bilderfassung oder einer Bilderfassungsumgebung bei Bilderfassung; und Extrahieren (G1 und H1; E2, F2, G2, H2, J2, K2 und L2; F3 und G3; 508 bis 511) des vorbestimmten Objektbildes aus dem erfassten Bild durch Suchen eines Bildes, das dem durch den Änderungsschritt in Gestalt und/oder Größe geänderten Referenzbild entspricht.
Verfahren gemäß Anspruch 1, bei dem die Bilderfassungsbedingung oder die Bilderfassungsumgebung ein Fokussierungssignal, Brennweitedaten, Sehachsenrichtungsdaten und eine Beleuchtungsbedingung umfasst.
Verfahren gemäß Anspruch 2, bei dem die Objektextraktion durch Vergleichen des erfassten Bildes und eines vorab gespeicherten Referenzbildes ausgeführt wird, die Extraktionsbedingung eine Anfangsbeschaffenheit des Referenzbildes ist und die Anfangsbeschaffenheit eine Anfangsgröße, eine Anfangsposition oder eine Anfangsfarbe umfasst.
Verfahren gemäß Anspruch 1, bei dem die Objektextraktion durch Vergleichen einer Vielzahl von Bildern unter unterschiedlichen Bilderfassungsbedingungen ausgeführt wird und sich die Extraktionsbedingung in Entsprechung mit einem relativen Verhältnis zwischen dem Objekt und einem Hintergrund ändert.
Verfahren gemäß Anspruch 2, bei dem die Objektextraktion durch Vergleichen des erfassten Bildes und einer Vorlage ausgeführt wird und die Extraktionsbedingung eine Größe der Vorlage umfasst.
Bildinformationsextraktionsvorrichtung, gekennzeichnet durch: eine Bilderfassungseinrichtung (A1) zum Erzeugen eines Bildes durch Erfassen eines Objekts; eine Referenzbildspeichereinrichtung (E1) zum Speichern eines Referenzbildes, das mit dem von der Bilderfassungseinrichtung ausgegebenen Bild zu vergleichen ist; eine Initialisierungseinrichtung (F1) zum automatischen Initialisieren des Referenzbildes durch Korrigieren einer Gestalt und/oder einer Größe des Referenzbildes basierend auf mindestens einem Bilderfassungsparameter der Bilderfassungseinrichtung bezüglich eines Bilderfassungszustands, wenn die Bilderfassungseinrichtung das Objekt erfasst; und eine Bildvergleichseinrichtung (G1) zum Vergleichen des von der Initialisierungseinrichtung in Gestalt und/oder Größe korrigierten Referenzbildes mit dem von der Bilderfassungseinrichtung ausgegebenen Bild und Bestimmen der Präsenz des Objekts, wenn eine Ähnlichkeit zwischen den beiden Bildern einen vorbestimmten Wert überschreitet.
Vorrichtung gemäß Anspruch 6, wobei eine Bedingungsänderungseinrichtung eine Referenzbildspeichereinrichtung (E1) zum Speichern eines Referenzbildes aufweist, das mit dem von der Bilderfassungseinrichtung ausgegebenen Bild zu vergleichen ist; und wobei die Initialisierungseinrichtung (F1) das Referenzbild basierend auf einem Bilderfassungsmodus initialisiert, wenn die Bilderfassungseinrichtung das Objekt erfasst, und wobei die Extraktionseinrichtung eine Bildvergleichseinrichtung (G1) aufweist zum Vergleichen des initialisierten Normbildes, das von der Referenzbildinitialisierungseinrichtung initialisiert ist, und des von der Bilderfassungseinrichtung ausgegebenen Bildes und zum Bestimmen der Präsenz des Objekts, wenn eine Ähnlichkeit zwischen den beiden Bildern einen vorbestimmten Wert überschreitet.
Vorrichtung gemäß Anspruch 6, zusätzlich mit einer Bildspeichereinrichtung (D1) zum Speichern des von der Bilderfassungseinrichtung ausgegebenen Bildes, wobei die Bedingungsänderungseinrichtung aufweist: eine Bilderfassungsmodusspeichereinrichtung (B1) zum Speichern eines Bilderfassungsmodus, wenn die Bilderfassungseinrichtung das Objekt erfasst; eine Referenzbildspeichereinrichtung zum Speichern eines Referenzbildes, das mit dem von der Bilderfassungseinrichtung ausgegebenen Bild zu vergleichen ist; und eine Referenzbildinitialisierungseinrichtung zum Initialisieren des Referenzbildes basierend auf dem Bilderfassungsmodus, der in der Bilderfassungsmodusspeichereinrichtung gespeichert ist, und wobei die Extraktionseinrichtung eine Bildvergleichseinrichtung (G1) aufweist zum Vergleichen des initialisierten Referenzbildes, das von der Referenzbildinitialisierungseinrichtung initialisiert ist, und des von der Bilderfassungseinrichtung ausgegebenen Bildes und zum Bestimmen der Präsenz des Objekts, wenn eine Ähnlichkeit zwischen den beiden Bildern einen vorbestimmten Wert überschreitet.
Vorrichtung gemäß Anspruch 6, zusätzlich mit einer Bildspeichereinrichtung (D1) zum Speichern des von der Bilderfassungseinrichtung ausgegebenen Bildes, wobei die Bedingungsänderungseinrichtung aufweist: eine Bilderfassungsmodusextraktionseinrichtung (B1) zum Extrahieren eines Bilderfassungsmodus, wenn die Bilderfassungseinrichtung das Objekt erfasst; eine Bilderfassungsmodusspeichereinrichtung (C1) zum Speichern des von der Bilderfassungsmodusextraktionseinrichtung extrahierten Bilderfassungsmodus; eine Referenzbildspeichereinrichtung (E1) zum Speichern eines Referenzbildes, das mit dem von der Bilderfassungseinrichtung ausgegebenen Bild zu vergleichen ist; und eine Referenzbildinitialisierungseinrichtung (F1) zum Initialisieren des Referenzbildes basierend auf dem von der Bilderfassungsmodusextraktionseinrichtung extrahierten Bilderfassungsmodus, und wobei die Extraktionseinrichtung aufweist: eine Bildvergleichseinrichtung (G1) zum Vergleichen des initialisierten Normbildes, das von der Referenzbildinitialisierungseinrichtung initialisiert ist, und des von der Bilderfassungseinrichtung ausgegebenen Bildes; sowie eine Bildausschneideeinrichtung (H1) zum Ausschneiden eines Bildes basierend auf der Ausgabe von der Bildvergleichseinrichtung.
Vorrichtung gemäß einem der Ansprüche 7 bis 9, bei der die Bilderfassungsmodusextraktionseinrichtung (B1) ein Fokussierungssignal bei Bilderfassung, Brennweitedaten der Bilderfassungseinrichtung, und/oder Sehachsenrichtungsdaten sowie eine Beleuchtungslichtbedingung bei Bilderfassung extrahiert.
Vorrichtung gemäß einem der Ansprüche 7 bis 9, bei der die Referenzbildinitialisierungseinrichtung (F1) eine Anfangsgröße des Referenzbildes basierend auf einem Objektabstand bei Bilderfassung oder einem Brennweiteparameter der Bilderfassungseinrichtung einstellt.
Vorrichtung gemäß einem der Ansprüche 7 bis 9, bei der die Bilderfassungsmodusextraktionseinrichtung (B1) eine Sehachsenrichtungsdatenextraktionseinrichtung aufweist und die Referenzbildinitialisierungseinrichtung (F1) eine mittige Position des Referenzbildes in Entsprechung mit einer mittigen Position eines von der Bilderfassungseinrichtung erzeugten Bildes basierend auf einer Sehachsenrichtung bei Bilderfassung initialisiert.
Vorrichtung gemäß einem der Ansprüche 7 bis 9, bei der die Referenzbildspeichereinrichtung (E1) Konturliniendaten einer Vielzahl spezieller Objekte speichert.
Vorrichtung gemäß einem der Ansprüche 7 bis 9, bei der die Referenzbildinitialisierungseinrichtung (F1) Konturliniendaten des Referenzbildes als eine Anfangskontur einstellt und eine mittige Position der Anfangskontur in der Sehachsenrichtung einstellt.
Vorrichtung gemäß einem der Ansprüche 7 bis 9, bei der die Bildvergleichseinrichtung (G1) eine aktive Kontur als Konturmodell des Referenzbildes verwendet, steuert, Positionen von Punkten auf der Kontur basierend auf einer vorbestimmten Bewertungsfunktion zu variieren, die einen minimalen Wert annimmt, wenn die Funktion zu einem Punkt auf einer Konturlinie des von der Bilderfassungseinrichtung erzeugten Bildes konvergiert, danach eine Ähnlichkeit zwischen einer Konturgestalt nach Konvergenz und einer Konturgestalt des Referenzbildes oder eine Ähnlichkeit zwischen einem Bild in einer Kontur nach Konvergenz, die durch ein derartiges Normalisieren einer Bildgröße erhalten wird, dass die Konturgröße im Wesentlich gleich dem Referenzbild wird, und dem Referenzbild berechnet.
Vorrichtung gemäß einem der Ansprüche 7 bis 9, bei der die Bildvergleichseinrichtung (G1) Bilddaten ausgibt, wenn die Ähnlichkeit zwischen dem Referenzbild und dem von der Bilderfassungseinrichtung erzeugten Bild größer ist als ein vorbestimmter Schwellenwert.
Vorrichtung gemäß Anspruch 15, bei der die Bildvergleichseinrichtung (G1) ursprüngliche Bilddaten in der Kontur ausgibt, nachdem die aktive Kontur konvergiert.
Verfahren gemäß Anspruch 1, zusätzlich mit einer Bilderzeugungsverarbeitung (A1) zum Erzeugen eines Bildes durch Erfassen eines Objekts, wobei der Änderungsschritt umfasst: eine Extraktionsverarbeitung zum Extrahieren eines Bilderfassungszustands, wenn das Bild durch Durchführung der Bilderzeugungsverarbeitung erzeugt wird; eine Referenzbildleseverarbeitung (E1) zum Auslesen eines Referenzbildes, das mit dem durch die Bilderzeugungsverarbeitung erzeugten Bild zu vergleichen ist, aus einer Speichereinrichtung; und eine Referenzbildinitialisierungsverarbeitung (F1) zum Initialisieren des aus der Speichereinrichtung durch die Referenzbildleseverarbeitung ausgelesenen Referenzbildes basierend auf dem durch die Extraktionsverarbeitung extrahierten Bilderfassungszustand, und wobei der Ausführungsschritt eine Bildvergleichsverarbeitung (G1) umfasst zum Vergleichen des initialisierten Referenzbildes, das durch die Referenzbildinitialisierungsverarbeitung initialisiert ist, und des durch die Bilderzeugungsverarbeitung erzeugten Bildes.
Vorrichtung gemäß Anspruch 6, zusätzlich mit einer Bildeingabeeinrichtung (A2) zum Eingeben einer Vielzahl von unter unterschiedlichen Bilderfassungsbedingungen erfassten Bildern und einer Bildspeichereinrichtung (D2) zum Speichern der von der Bildeingabeeinrichtung erfassten Bilder, wobei die Bedingungsänderungseinrichtung aufweist: eine Bilderfassungsbedingungssteuereinrichtung (B2) zum Steuern der Bilderfassungsbedingungen der Bildeingabeeinrichtung und eine Aufzeichnungs-/Reproduktionseinrichtung (C2) zum Aufzeichnen und Reproduzieren der Bilderfassungsbedingungen der Bildeingabeeinrichtung, und wobei die Extraktionseinrichtung aufweist: eine Bilddatenvergleichseinrichtung (E2) zum Vergleichen mindestens eines Paars von Bilddaten der Vielzahl von in der Bildspeichereinrichtung gespeicherten Bildern; eine Anfangskontureinstelleinrichtung (F2) zum Einstellen einer Anfangskontur basierend auf einem Vergleichsergebnis von der Bilddatenvergleichseinrichtung; eine Hintergrundbildbereichsbeseitigungseinrichtung (G2) zum Beseitigen eines Hintergrundbildbereichs in der von der Anfangskontureinstelleinrichtung eingestellten Anfangskontur; und eine Bildausschneideverarbeitungseinrichtung (H2) zum Durchführen einer Bildausschneideverarbeitung basierend auf einer Ausgabe von der Hintergrundbildbereichbeseitigungseinrichtung.
Vorrichtung gemäß Anspruch 19, bei der die Hintergrundbildbereichsbeseitigungseinrichtung (G2) eine Verformungs-/Verschiebungseinrichtung zum Verformen und Verschieben der Kontur basierend auf einem vorbestimmten Bewertungsfunktionswert, sowie eine Konvergenzunterscheidungseinrichtung zum Durchführen einer Konvergenzunterscheidung basierend auf dem Bewertungsfunktionswert aufweist.
Vorrichtung gemäß Anspruch 6, zusätzlich mit einer Bildeingabeeinrichtung (A2) zum Eingeben einer Vielzahl von unter unterschiedlichen Bilderfassungsbedingungen erfassten Bildern und einer Bildspeichereinrichtung (D2) zum Speichern der von der Bildeingabeeinrichtung erfassten Bilder, wobei die Bedingungsänderungseinrichtung aufweist: eine Bilderfassungsbedingungssteuereinrichtung (B2) zum Steuern der Bilderfassungsbedingungen der Bildeingabeeinrichtung; eine Aufzeichnungs-/Reproduktionseinrichtung (C2) zum Aufzeichnen und Reproduzieren der Bilderfassungsbedingungen der Bildeingabeeinrichtung, und wobei die Extraktionseinrichtung aufweist: eine Bilddatenvergleichseinrichtung (E2) zum Vergleichen mindestens eines Paars von Bilddaten der Vielzahl von in der Bildspeichereinrichtung gespeicherten Bildern; eine Auswahl-/Bezeichnungseinrichtung (J2) zum Auswählen und Bezeichnen von Bilddaten, die von der Bilddatenvergleichseinrichtung zu vergleichen sind; eine Anfangskontureinstelleinrichtung (F2) zum Einstellen einer Anfangskontur basierend auf einem Vergleichsergebnis von der Bilddatenvergleichseinrichtung; eine Bilderzeugungseinrichtung (K2) zum Erzeugen eines Bildes basierend auf Anfangskonturdaten, die von der Anfangskontureinstelleinrichtung eingestellt sind; eine Anfangskontur-/Anfangsinnerkonturbilddaten-Korrektureinrichtung (L2) zum Korrigieren der Anfangskontur und von Bilddaten in der Anfangskontur; eine Hintergrundbildbereichsbeseitigungseinrichtung (G2) zum Beseitigen eines Hintergrundbildbereichs in der von der Korrektureinrichtung korrigierten Anfangskontur; und eine Bildausschneideverarbeitungseinrichtung (H2) zum Durchführen einer Bildausschneideverarbeitung basierend auf einer Ausgabe von der Hintergrundbildbereichsbeseitigungseinrichtung.
Vorrichtung gemäß einem der Ansprüche 19 bis 21, bei der die Bilderfassungsbedingungen der Bildeingabeeinrichtung (A2) einen Fokussierungszustand oder eine im Fokus liegende Ebene eines Bildes umfassen und die Bilderfassungsbedingungssteuereinrichtung (B2) einen Aufbau eines optischen Bildgebungssystems steuert, das in der Bildeingabeeinrichtung angeordnet ist.
Vorrichtung gemäß einem der Ansprüche 19 bis 22, bei der die Bilddatenvergleichseinrichtung (E2) Differenzdaten der Vielzahl von Bildern ausgibt und die Anfangskontureinstelleinrichtung (F2) eine Repräsentativpunktfolge-Extraktionsverarbeitungseinrichtung zum Durchführen einer Verarbeitung zum Extrahieren einer repräsentativen Punktfolge der von der Bilddatenvergleichseinrichtung (E2) ausgegebenen Differenzdaten aufweist.
Vorrichtung gemäß einem der Ansprüche 19 bis 23, bei der die Bilderfassungsbedingungssteuereinrichtung (B2) basierend auf einer statistischen Menge der Vielzahl von Bildern eine Steuerungsbreite einstellt.
Vorrichtung gemäß einem der Ansprüche 19 bis 24, bei der die Anfangskontureinstelleinrichtung (F2) aufweist: eine rekursive Einstelleinrichtung zum rekursiven Einstellen eines lokalen Bereichs in den Differenzdaten mit einem vorbestimmten Punkt als Mitte, sowie eine Repräsentativpunktfolge-Extraktionsverarbeitungseinrichtung zum Durchführen einer Verarbeitung zum Extrahieren einer repräsentativen Punktfolge der Differenzdaten im lokalen Bereich.
Vorrichtung gemäß einem der Ansprüche 19 bis 25, bei der die Anfangskontureinstelleinrichtung (F2) aufweist: eine Konturpunktpositionssucheinrichtung zum Suchen nach einer Konturpunktposition in einem lokalen Bereich mit einem vorbestimmten Punkt als Mitte aufweist, der sich in der Nähe einer Grenze zwischen einem Hintergrundbildbereich und einem auszuschneidenden Objekt befindet und in einem Bereich des auszuschneidenden Objekts liegt, sowie eine Konturverfolgungseinrichtung zum Durchführen einer Konturverfolgung mit dem Konturpunkt als Startpunkt.
Vorrichtung gemäß einem der Ansprüche 19 bis 26, bei der die Anfangskontureinstelleinrichtung (F2) aufweist: eine Konturpunktpositionssucheinrichtung zum Suchen nach einer Konturpunktposition in einem lokalen Bereich mit einem vorbestimmten Punkt als Mitte, der sich in der Nähe einer Grenze zwischen einem Hintergrundbildbereich und einem auszuschneidenden Objekt befindet und im Hintergrundbildbereich liegt, sowie eine Konturverfolgungseinrichtung zum Durchführen einer Konturverfolgung mit der von der Konturpunktpositionssucheinrichtung erhaltenen Konturpunktposition als Startpunkt.
Vorrichtung gemäß Anspruch 6, zusätzlich mit einer Bilderfassungseinrichtung (A3) zum Erfassen einer Vielzahl von Bildern; und einer Bildaufzeichnungseinrichtung (D3) zum Aufzeichnen der Vielzahl von Bildern, die von der Bilderfassungseinrichtung erfasst werden, wobei die Bedingungsänderungseinrichtung aufweist: eine Bilderfassungsbedingungssteuereinrichtung (B3) zum Steuern einer Bilderfassungsbedingung, wenn die Bilderfassungseinrichtung Bilder erfasst; eine Bilderfassungsbedingungsaufzeichnungs-/Reproduktionseinrichtung zum Aufzeichnen der Bilderfassungsbedingung, wenn die Bilderfassungseinrichtung Bilder erfasst, und zum Reproduzieren sowie Ausgeben der aufgezeichneten Bilderfassungsbedingung; und eine Bilddatenumsetzungseinrichtung (E3) zum Umsetzen von Bilddaten von mindestens einem der Vielzahl von Bildern basierend auf der Bilderfassungsbedingung, die von der Bilderfassungsbedingungsaufzeichnungs-/Reproduktionseinrichtung geliefert wird, und wobei die Extraktionseinrichtung aufweist: eine Bilddatenvergleichseinrichtung (F3) zum Vergleichen der Bilddaten der Vielzahl von Bildern, die von der Bilddatenumsetzungseinrichtung umgesetzt sind; und eine Bildausschneideeinrichtung (G3) zum Extrahieren eines Bildes in einem speziellen Bildbereich basierend auf einem Vergleichsergebnis, das von der Bilddatenvergleichseinrichtung ausgegeben wird.
Vorrichtung gemäß Anspruch 28, bei der die Bildaufzeichnungseinrichtung (D3) vorübergehend ein Hintergrundbild und ein Bild mit einem Objekt speichert, in dem sich in einem Hintergrund ein auszuschneidendes Bild befindet, und die Bilddatenvergleichseinrichtung (F3) Differenzbilddaten der Vielzahl von Bildern extrahiert, die von der Bildaufzeichnungseinrichtung reproduziert und ausgegeben werden.
Vorrichtung gemäß Anspruch 29, bei der die Bilderfassungsbedingungsaufzeichnungs-/Reproduktionseinrichtung (C3) eine Bilderfassungsbedingung aufzeichnet, wenn in einem vorbestimmten Hintergrund ein auszuschneidendes Bild erfasst wird, und die Bilddatenumsetzungseinrichtung (F3) Bilddaten des Hintergrundbildes basierend auf der Bilderfassungsbedingung umsetzt, die von der Bilderfassungsbedingungsaufzeichnungs-/Reproduktionseinrichtung reproduziert und ausgegeben wird.
Vorrichtung gemäß einem der Ansprüche 28 bis 30, bei der die Bildaufzeichnungseinrichtung (D3) die Bilddaten in dem speziellen Bildbereich, der von der Bildausschneideeinrichtung (G3) erhalten wird, codiert und aufzeichnet.
Vorrichtung gemäß einem der Ansprüche 28 bis 31, bei der die Bilddatenumsetzungseinrichtung (E3) eine Raumverlagerungsoperation durchführt, um eine Ähnlichkeit zwischen dem Hintergrundbild und dem Bild mit dem Objekt zu maximieren.
Vorrichtung gemäß einem der Ansprüche 28 bis 31, bei der die Bilderfassungsbedingung eine Belichtungsmenge, einen Fokussierungszustand und die Präsens/Absenz von Blitzaussendung umfasst.
Vorrichtung gemäß einem der Ansprüche 28 bis 31, bei der die Bilddatenumsetzungseinrichtung (E3) eine Bildgröße, einen Leuchtdichtepegel, eine Farbkomponente und eine Auflösung umsetzt.
Vorrichtung gemäß Anspruch 6, zusätzlich mit einer Bilderfassungseinrichtung (501) und einer Objektabstandserfassungseinrichtung (505), wobei die Bedingungsänderungseinrichtung eine Vorlagenspeichereinrichtung (506) und eine Vorlagengrößebestimmungseinrichtung (507) zum Bestimmen eines Größenbereichs einer Vorlage, der verringert/vergrößert werden kann, basierend auf einer Ausgabe von der Objektabstandserfassungseinrichtung aufweist, und wobei die Extraktionseinrichtung eine Ähnlichkeitsbewertungseinrichtung (508) zum Bewerten einer Ähnlichkeit zwischen einer Vorlage innerhalb des Größenbereichs und eines Bildes mit einem Objekt aufweist.
Vorrichtung gemäß Anspruch 35, bei der die Vorlagenspeichereinrichtung (506) eine Vielzahl von Vorlagen speichert, die basierend auf Bildern eines identischen Objekts erzeugt sind, das aus unterschiedlichen Betrachtungspunktpositionen oder -richtungen betrachtet wird.
Vorrichtung gemäß Anspruch 35, bei der die Bilderfassungseinrichtung (501) eine Vielzahl von Kameras aufweist und die Objektabstandserfassungseinrichtung eine Extraktionsverarbeitung einer Ungleichheit oder einer Ungleichheitsverteilung zwischen zwei Bildern, die von den Kameras ausgegeben werden, sowie eine Objektabstandsbereichsextraktionsverarbeitung umfasst.
Vorrichtung gemäß Anspruch 35, bei der die Vorlagengrößebestimmungseinrichtung (505) eine Vorlagengröße in einem vorbestimmten Bereich basierend auf dem Objektabstand, Größeninformationen eines speziellen Objekts und einem optischen Parameter der Bilderfassungseinrichtung bestimmt.
Vorrichtung gemäß Anspruch 35, bei der die Ähnlichkeitsbewertungseinrichtung (508) basierend auf einer Ausgabe von der Vorlagenspeichereinrichtung eine Vielzahl von Vorlagen mit unterschiedlichen Größen innerhalb eines von der Vorlagengrößebestimmungseinrichtung (507) bezeichneten Bereichs erzeugt und eine Ähnlichkeitsbewertung zwischen den Vorlagen und jeweiligen Bereichen von Bildern durchführt, die von der Bilderfassungseinrichtung erhalten werden.
Vorrichtung gemäß Anspruch 36, bei der die Ähnlichkeitsbewertungseinrichtung (508) basierend auf einer Ähnlichkeitsbewertung zwischen einer Vielzahl von Vorlagen, die mit einem speziellen Objekt in Zusammenhang stehen, und in Bezug auf von der Bilderfassungseinrichtung erhaltene Zeitreihenbilder Bewegungsinformationen ausgibt.
Vorrichtung gemäß Anspruch 35, bei der die Vorlagenspeichereinrichtung (506) eine Vielzahl von unterschiedlichen Vorlagen speichert, die basierend auf Bildern unterschiedlicher Muster erzeugt sind, die bei Bewegung eines identischen Objekts hervorgerufen werden.
Vorrichtung gemäß Anspruch 41, bei der die Ähnlichkeitsbewertungseinrichtung (508) eine Ähnlichkeitsbewertung zwischen Zeitreihenbildern, die von der Bilderfassungseinrichtung erhalten werden, und einer Vielzahl von Vorlagen durchführt, die mit einem speziellen Objekt in Zusammenhang stehen, sowie entsprechende Informationen ausgibt, die mit einer Bewegungskategorie oder einer Aktionskategorie des Objekts in Zusammenhang stehen.
Vorrichtung gemäß Anspruch 42, bei der die Ähnlichkeitsbewertungseinrichtung (508) basierend auf einer Reihenfolge einer Folge unterschiedlicher Vorlagen, die größere Ähnlichkeiten als ein vorbestimmter Schwellenwert ergeben, oder auf Typen unterschiedlicher Vorlagen, die größere Ähnlichkeiten als ein vorbestimmter Schwellenwert ergeben, als Ergebnis einer Ähnlichkeitsbewertung Informationen ausgibt, die mit einem Objekttyp und der Aktions- oder Bewegungskategorie des Objekts in Zusammenhang stehen.
Vorrichtung gemäß Anspruch 35, bei der die Ähnlichkeitsbewertungseinrichtung (508) einen Ähnlichkeitsbewertungsbereich in dem von der Bilderfassungsvorrichtung erhaltenen Bild basierend auf einer Ausgabe von der Objektabstandserfassungseinrichtung auf einen vorbestimmten Bereich begrenzt.
Vorrichtung gemäß Anspruch 35, bei der die Ähnlichkeitsbewertungseinrichtung (508) die von der Vorlagenspeichereinrichtung erhaltene Vorlagen in eine Vielzahl von Vorlagen mit unterschiedlichen Auflösungen umsetzt und eine Ähnlichkeitsbewertung für jeweilige Bereiche im Bild in einer Reihenfolge von Vorlagen mit niedrigeren zu höheren Auflösungen durchführt.
Vorrichtung gemäß Anspruch 35, bei der die Ähnlichkeitsbewertungseinrichtung (508) zur Ähnlichkeitsbewertung zwischen einem Anteil, der aus einer speziellen Farbkomponente besteht, in der von der Vorlagenspeichereinrichtung erhaltenen Vorlagen und jeweiligen Bereichen im Bild unterschiedliche Gewichtungskoeffizienten einstellt.
Vorrichtung gemäß Anspruch 35, bei der die Vorlagenspeichereinrichtung (506) ein Objektbild mit einem ungemusterten Hintergrund oder ein hintergrundloses Objektbild speichert.
Vorrichtung gemäß Anspruch 35, bei der die Objektabstandserfassungseinrichtung (505) eine Abstrahlungseinrichtung oder eine Erfassungseinrichtung elektromagnetischer Wellen aufweist und einen Objektabstand basierend auf einem Erfassungssignal elektromagnetischer Wellen erfasst, die von dem Objekt reflektiert oder ausgestrahlt werden.
Vorrichtung gemäß Anspruch 6, zusätzlich mit einer Bilderfassungseinrichtung (501), wobei die Bedingungsänderungseinrichtung eine Vorlagenspeichereinrichtung (506) aufweist, und wobei die Extraktionseinrichtung aufweist: eine Ähnlichkeitsbewertungseinrichtung (508); eine Einrichtung (509) zum Codieren einer Vorlagenfolge, die durch eine Übereinstimmungsbewertung von Zeitreihenbildern von der Bilderfassungseinrichtung mit einer Vielzahl von Vorlagen in der Ähnlichkeitsbeurteilungseinrichtung erhalten wird; eine Modellcodefolge- (Codebuch-) Speichereinrichtung (510); und eine Zuordnungseinrichtung (511) zum Zuordnen der Vorlagenfolge und einer Modellcodefolge.
Computerprogrammprodukt mit einem von einem Computer nutzbaren Medium mit einer Computer-lesbaren Programmcodeeinrichtung zum Extrahieren eines Objekts aus einem erfassten Bild, gekennzeichnet durch: eine Computer-lesbare Programmcodeeinrichtung zum automatischen Ändern (B1, C1, E1 und F1; B2 und C2; B3 und E3; 506 und 507) einer Gestalt und/oder einer Größe eines Referenzbildes, das mit Objektextraktion in Zusammenhang steht, basierend auf mindestens einem Bilderfassungsparameter einer Bilderfassungseinrichtung bezüglich einer Bilderfassungsbedingung bei Bilderfassung oder einer Bilderfassungsumgebung bei Bilderfassung; und eine Computer-lesbare Programmcodeeinrichtung zum Extrahieren (G1 und H1; E2, F2, G2, H2, J2, K2 und L2; F3 und G3; 508 bis 511) des vorbestimmten Objektbildes aus dem erfassten Bild durch Suchen eines Bildes, das dem basierend auf dem Bilderfassungsparameter der Bilderfassungseinrichtung in Gestalt und/oder Größe geänderten Referenzbild entspricht.
Computerprogrammprodukt gemäß Anspruch 50, wobei das von einem Computer nutzbare Medium zusätzlich eine Datenbank von Bildern aufweist, die zur Objektextraktion verwendet werden.