DE69734855T2

DE69734855T2 - Vorrichtung und Verfahren zur Extraktion eines Objektes in einem Bild

Info

Publication number: DE69734855T2
Application number: DE1997634855
Authority: DE
Inventors: Masakazu Ohta-ku Matsugu; Hideo Ohta-ku Takiguchi; Koji Ohta-ku Hatanaka
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-07-05
Filing date: 1997-06-30
Publication date: 2006-06-22
Anticipated expiration: 2017-07-01
Also published as: EP0817495A2; US6167167A; EP0817495A3; JPH1023452A; US20030099397A1; JP3679512B2; EP0817495B1; DE69734855D1; US6757444B2

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren zum Extrahieren eines Zielobjekts aus einem Hintergrundbild und einem Objektbild. Die vorliegende Erfindung ist insbesondere auf ein Verfahren und eine Vorrichtung zum passenden Erzeugen einer zum Extrahieren eines Zielobjekts verwendeten Maske gerichtet.
Relevante Fachgebiete
Herkömmlich sind als allgemeine Techniken zum Realisieren einer Bildextraktion ein Chromakey-Verfahren unter Verwendung eines spezifischen Farbhintergrunds, ein Videomatte-Verfahren zum Erzeugen eines Schlüsselsignals durch ein Durchführen eines Histogrammprozesses, ein Differenzprozess (oder Differentialprozess), ein Umrissvergrößerungs- oder Umrissverfolgungsprozess eines Bildsignals (The Television Society Technical Report, Band 12, Seiten 29–34, 1988) und dergleichen bekannt.
Eine Technik zum Durchführen einer Bildextraktion basierend auf der Differenz von dem Hintergrundbild ist eine Technik gemäß dem Stand der Technik, und die japanische Offenlegungsschrift Nr. 4-216181 offenbart zum Beispiel eine Technik zum Detektieren oder Extrahieren eines Zielobjekts in einer Vielzahl von spezifischen Bereichen in einem Bild durch ein Einstellen eines Maskenbilds (das heißt eines spezifischen Verarbeitungsbereichs) bei Differenzdaten zwischen dem Hintergrundbild und dem zu verarbeitenden Bild.
Überdies offenbart die japanische Patentveröffentlichung Nr. 7-16250 eine Technik zum Erhalten von farbgewandelten Daten eines ursprünglichen Bilds bzw. Vorlagenbilds einschließlich eines Hintergrunds unter Verwendung eines Farbmodells des zu extrahierenden Objekts und der Vorhandenseinswahrscheinlichkeitsverteilung des zu extrahierenden Objekts aus Helligkeitsdifferenzdaten zwischen dem Hintergrundbild und dem Vorlagenbild.
Bei dem Differenzverfahren gegenüber dem Hintergrundbild werden der Leuchtdichtepegel oder die Farbkomponentendifferenz zwischen den Bildelementen des Hintergrundbilds und des Objektbilds normalerweise durch eine vorbestimmte Bewertungsfunktion ausgedrückt, und die Bewertungsfunktion wird einem Schwellenwertvergleichsprozess unterzogen, um einen Bereich mit einem Differenzpegel, der gleich einem oder höher als ein Anfangswert ist, zu extrahieren. Als die Bewertungsfunktion werden die Korrelation zwischen Blöcken mit einzelnen Punkten als Mittelpunkte und einer vorbestimmten Größe (Rosenfeld, A. und Kak, A.C., Digital Picture Processing (2. Ausgabe), Academic Press, 1982), normalisierte Merkmale von Hauptkomponenten (Journal of the Institute of Electronics, Information and Communication Engineers, Band J74-D-II, Seiten 1731–1740), ein Wert einer gewichteten Summe einer Standardabweichung und eines Differenzwerts (Journal of the Television Society, Band 45, Seiten 1270–1276, 1991), ein dem Farbton und dem Leuchtdichtepegel zugeordneter lokaler Histogrammabstand (Journal of the Television Society, Band 49, Seiten 673–680, 1995) und dergleichen verwendet.
Die japanische Offenlegungsschrift Nr. 4-328689 und die japanische Patentveröffentlichung Nr. 7-31248 offenbaren ein Verfahren zum Extrahieren eines sich bewegenden Objekts allein durch ein Extrahieren von Bewegungsvektoren oder Zwischenbilddifferenzdaten aus Bewegtbildern. Die japanischen Patentveröffentlichungen Nr. 7-66446, 6-14358 und 4-48030 offenbaren ein Verfahren zum Extrahieren eines sich bewegenden Objekts basierend auf der Differenz von dem Hintergrundbild. Überdies ist ein Verfahren zum Extrahieren der binokularen Disparitätsverteilung (das heißt der Abstandsverteilung von einer Bilderfassungseinrichtung) aus unter Verwendung eines binokularen Bilderfassungssystems erhaltenen Bildern von rechten und linken verschiedenen Betrachtungspunktpositionen und Segmentieren eines Objekts von dem Hintergrund auf der Grundlage der Disparitätsverteilung (1995, Information System Society Meeting of the Society of Electronics, Information and Communication Engineers, Seite 138) oder dergleichen bekannt.
Bei dem vorstehend angeführten Stand der Technik leidet jedoch das Chromakey-Verfahren unter den folgenden Problemen:

i: dieses Verfahren kann verursacht durch ernste Hintergrundbeschränkungen nicht im Freien verwendet werden, und
ii: eine Farbweglassung tritt auf.

Ferner leidet das Videomatte-Verfahren an den folgenden Problemen:

i: die Umrissbezeichnung muss in Einheiten von Bildelementen manuell und genau durchgeführt werden, und
ii: eine derartige Operation erfordert viel Arbeit und Geschicklichkeit.

Überdies ist das Differenzverfahren gegenüber dem Hintergrundbild normalerweise verursacht durch die folgenden Probleme schwer zu realisieren:

i: es ist schwierig, den Hintergrund in einem speziellen Bereich des Objekts, der einen dem Hintergrund ähnelnden Abschnitt aufweist, von dem Objekt zu unterscheiden,
ii: das Differenzverfahren wird leicht durch Variationen bei der Bilderfassungsbedingung zwischen dem Hintergrundbild und dem Objektbild beeinflusst,
iii: ein durch das Objekt gebildeter Schattenabschnitt ist schwierig zu entfernen, und
iv: zum getreuen Extrahieren der Grenzlinie zwischen dem Hintergrund und dem Objekt müssen das Hintergrundbild und das Objektbild in der Nähe der Grenze zwischen ihnen beträchtlich verschiedene Bildeigenschaften (Bildelementwerte und dergleichen) aufweisen.

Die in der japanischen Patentveröffentlichung Nr. 7-16250 offenbarte Technik ist nicht zur Bildextraktion eines beliebigen unbekannten Objekts geeignet, da sie ein Farbmodell für das zu extrahierende Objekt erfordert.
Bei entweder dem Verfahren zum Extrahieren eines sich bewegenden Objekts aus Bewegtbildern oder dem Verfahren zum Extrahieren eines Objekts aus der Disparitätsverteilung ist es allgemein schwierig, unabhängig von dem Kontrast in dem Grenzabschnitt zwischen dem Objekt und dem Hintergrund ein Objekt mit hoher Genauigkeit zu extrahieren.
J.-P. Gambotto: "A new approach to combining region growing and edge detection", Pattern Recognition Letters, Band 14, Nr. 11, 1. November 1993, Seiten 869–875 beschreibt einen Algorithmus, der gleichzeitig ein Bereichswachstum und eine Kantendetektion kombiniert, um ein Objekt in einem Bild herauszusegmentieren, wobei mit einem sich innerhalb der wahren Grenze des Bereichs befindenden Anfangsfleck begonnen wird.
Ein Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die ein Objektbild stabil extrahieren können, in dem der Hintergrund und das Objekt eine deutliche Differenz zwischen ihren Bildeigenschaften aufweisen.
Ein anderes Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die vor einem Bereichswachstum durch eine kleine Anzahl von Verarbeitungsschritten ein großes Gebiet eines Objektbereichs erhalten können und Einzelheiten einer Umrissform extrahieren können.
Noch ein anderes Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die einen Prozess zum Ausgleichen der Umrisslinie einer Maske nach einem Bereichswachstum mit der Umrisslinie eines tatsächlichen Objekts ausführen können, ohne durch das Hintergrundmuster in der Nähe der Umrisslinie des Objekts beeinflusst zu werden.
Noch ein anderes Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die unabhängig von Variationen bei der Bereichswachstumsbedingung, das heißt dem Toleranzwert einer Merkmalsdifferenz von einem benachbarten Bereich, eine Anfangsmaske nur in einem Objektbereich stabil wachsen lassen können.
Noch ein anderes Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die durch eine Differenz bei den Bilderfassungsbedingungen zwischen dem Hintergrundbild und dem Objektbild, ein Rauschen oder dergleichen verursachte Variationen bei der Kantenintensitätsverteilung unterdrücken können und die Umrissform des Objekts und die Kante eines in dem Objektbereich vorhandenen Hintergrundabschnitts genau extrahieren können.
Noch ein anderes Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die ein Objektbild selbst dann stabil extrahieren können, wenn die als eine Grenze zwischen dem Objekt und dem Hintergrund dienende Kantenintensität klein ist und das Objekt eine relativ dünne Form aufweist.
Noch ein anderes Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die die Umrissform eines Objekts stabil extrahieren können, ohne durch die Kantenverteilung eines in der Nähe des Objekts vorhandenen Hintergrundabschnitts beeinflusst zu werden.
Noch ein anderes Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die eine unvollständige Teilform nach einem Bereichswachstum auf der Grundlage der Bedingung der Formkontinuität automatisch wiedergewinnen können und Formdaten glätten können.
Noch ein anderes Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die unabhängig von einer spezifischen Differenz zwischen den Bildeigenschaften des Hintergrunds und des Objekts ein Objektbild stabil extrahieren können, ohne durch das Hintergrundmuster beeinflusst zu werden.
Noch ein anderes Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die bei einem Ausführen einer Extraktion basierend auf einem Bereichswachstum ein Objektbild stabil und genau extrahieren können.
Noch ein anderes Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die bei einem Ausführen einer Extraktion basierend auf der Differenz von dem Hintergrundbild unabhängig von einer spezifischen Differenz zwischen den Bildeigenschaften des Hintergrunds und des Objekts ein extrahiertes Bild mit stabil hoher Genauigkeit erhalten können.
Noch ein anderes Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die auf der Grundlage eines Bereichswachstums, das die Umrissform des zu extrahierenden Objekts getreu rekonstruieren kann, ein Objekt extrahieren können.
Noch ein anderes Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die einen einem Objekt nächsten Bereich extrahieren können, während sie ein unbeschränktes Bereichswachstum unterdrücken.
Noch ein anderes Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die durch ein Unterdrücken eines Bereichswachstums quer über eine Kante und eines Bereichswachstums von einer Kante selbst für ein Objekt mit einer komplizierten Umrissform eine stabil hohe Extraktionsgenauigkeit erhalten können.
Noch ein anderes Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die selbst bei dem Vorhandensein eines Rauschens wie beispielsweise eines außerhalb eines Objekts (in dem Hintergrund) vorhandenen Schattens oder eines unklaren Abschnitts des Umrisses des Objekts eine stabil hohe Extraktionsleistung erhalten können.
Noch ein anderes Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die ein Bereichswachstum realisieren können, das selbst dann, wenn die Form eines im Voraus extrahierten Teilbereichs nicht zu der Umrissform des Objekts passt, die äußere Form des extrahierten Objekts zufriedenstellend an eine richtige Objektform annähern kann.
Noch ein anderes Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die eine automatische Extraktion eines spezifischen Objekts aus Bewegtbildern mit hoher Genauigkeit realisieren können.
Noch ein anderes Anliegen der vorliegenden Erfindung besteht darin, eine Bildextraktionsvorrichtung und ein Bildextraktionsverfahren bereitzustellen, die eine automatische Extraktion eines spezifischen Objekts mit hoher Genauigkeit unter Verwendung einer Vielzahl von von verschiedenen Betrachtungspunkten erhaltenen Bildern realisieren können.
Ausgestaltungen der vorliegenden Erfindung sind in den beiliegenden Patentansprüchen definiert.
Andere Merkmale und Vorteile der vorliegenden Erfindung werden aus der in Verbindung mit den beigefügten Zeichnungen, in denen gleiche Bezugszeichen überall in den Figuren davon die gleichen oder ähnliche Teile bezeichnen, genommenen folgenden Beschreibung ersichtlich.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 zeigt ein Blockschaltbild, das den Aufbau eines Bilderfassungssystems bei dem ersten Ausführungsbeispiel darstellt;
2 zeigt eine Ansicht zum Erläutern der Beziehung zwischen einer Maske und einem Objektbild;
3 zeigt ein Flussdiagramm, das die Objektextraktionsprozessabfolge des ersten Ausführungsbeispiels darstellt;
4A und 4B zeigen Abbildungen von Halbtonbildern, die jeweils ein Objektbild und ein Hintergrundbild darstellen;
5A und 5B zeigen Abbildungen von Halbtonbildern, die Hauptzwischenergebnisse des Objektextraktionsprozesses darstellen;
6 zeigt eine Abbildung eines Halbtonbilds, das ein Hauptzwischenergebnis des Objektextraktionsprozesses darstellt;
7A und 7B zeigen Abbildungen von Halbtonbildern, die Hauptzwischenergebnisse des Objektextraktionsprozesses darstellen;
8A und 8B zeigen Abbildungen von Halbtonbildern, die Hauptzwischenergebnisse des Objektextraktionsprozesses darstellen;
9 zeigt eine Abbildung eines Halbtonbilds, das das Ergebnis des Objektextraktionsprozesses darstellt;
10 zeigt ein Flussdiagramm, das die Bereichswachstumsprozessabfolge in einem Schritt S30 in 3 darstellt;
11 zeigt eine Ansicht zum Erläutern des Prozesses des Bereichswachstums des ersten Ausführungsbeispiels;
12 zeigt eine Ansicht zum Erläutern der Bedingung zum Stoppen eines Umrisswachstums bei dem ersten Ausführungsbeispiel;
13 zeigt ein Flussdiagramm, das die Umrissformungsprozessabfolge bei dem ersten Ausführungsbeispiel darstellt;
14 zeigt eine erläuternde Ansicht, die den Kantenauswahlprozess des ersten Ausführungsbeispiels darstellt;
15 zeigt eine Ansicht zum Erläutern des Verarbeitungsprinzips der Farbkontinuitätsbewertung bei dem ersten Ausführungsbeispiel;
16 zeigt eine Ansicht zum Erläutern des Verarbeitungsprinzips der Formkontinuitätsbewertung bei dem ersten Ausführungsbeispiel;
17 zeigt ein Flussdiagramm, das die Aktivumrissformungsprozessabfolge gemäß dem zweiten Ausführungsbeispiel darstellt;
18 zeigt eine Ansicht zum Erläutern der Operation des Aktivumrissformungsprozesses;
19 zeigt ein Blockschaltbild, das den Aufbau eines Bilderfassungssystems bei dem dritten Ausführungsbeispiel darstellt;
20A und 20B zeigen Flussdiagramme, die die Objektextraktionsprozessabfolge des dritten Ausführungsbeispiels darstellen;
21A und 21B zeigen Abbildungen von Bildern, die Hauptzwischenergebnisse des Objektextraktionsprozesses bei dem dritten Ausführungsbeispiel darstellen;
22 zeigt eine Ansicht zum Erläutern des Wirkungsprinzips des Umrisswachstums bei dem dritten Ausführungsbeispiel;
23 zeigt eine Ansicht zum Erläutern einer Erzeugung eines maximalen Gebiets einer Schwellenwertverteilung bei dem dritten Ausführungsbeispiel;
24 zeigt eine Ansicht zum Erläutern der Wirkung eines Glättungsfilters bei dem dritten Ausführungsbeispiel;
25A und 25B zeigen Abbildungen von Halbtonbildern, die Hauptzwischenergebnisse des Objektextraktionsprozesses bei dem dritten Ausführungsbeispiel darstellen;
26 zeigt eine Ansicht zum Erläutern der Technik der Ähnlichkeitsbestimmung bei dem dritten Ausführungsbeispiel;
27 zeigt eine Ansicht, die ein Beispiel für die Schwellenwertverteilung bei dem dritten Ausführungsbeispiel darstellt.
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
Die bevorzugten Ausführungsbeispiele einer Bildextraktionsvorrichtung der vorliegenden Erfindung werden nachstehend unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Die Bildextraktionsvorrichtung dieses Ausführungsbeispiels wird für ein Bilderfassungssystem verwendet.
<Erstes Ausführungsbeispiel>
1 zeigt ein Blockschaltbild, das den Aufbau eines Bilderfassungssystems gemäß dem ersten Ausführungsbeispiel darstellt. Dieses System besteht aus einer Bilderfassungsvorrichtung 1, einer Bildextraktionsvorrichtung 2, einer Endvorrichtung 10 und einer Bildanzeigevorrichtung 9.
Die Bilderfassungsvorrichtung 1 umfasst als ihre Hauptbestandteile eine Bilderzeugungsoptik 1a mit einer Linse bzw. einem Objektiv, einer Blende und einer Objektivantriebssteuereinrichtung 1e, einen Bildsensor 1b, eine Bildsignalverarbeitungseinrichtung (die eine Gammakennliniensteuerung, eine Weißabgleichssteuerung, eine Belichtungsbedingungssteuerung, eine Fokussierungskennliniensteuerung und dergleichen durchführt) 1c, eine Bildaufzeichnungseinrichtung 1d und dergleichen.
Die Bildextraktionsvorrichtung 2 umfasst einen Bildspeicher 3 mit einem Speicher 3a zum vorübergehenden Speichern eines Objektbilds und einem Speicher 3b zum vorübergehenden Speichern eines Hintergrundbilds, eine Normalisierte-Kantenintensität-Extraktionseinrichtung 4 zum Berechnen der Kantenintensität eines Bilds und Normalisieren der berechneten Kantenintensität, eine Anfangsmaskenextraktionseinrichtung 5 zum anfänglichen Erzeugen eines Maskenbereichs zum Detektieren eines Objektbereichs, ein Bereichswachstumsmodul 6 zum Wachsenlassen des Anfangsmaskenbereichs auf einen passenden Maskenbereich, eine Umrissformungseinrichtung 7 zum Formen des Umrisses des Maskenbereichs, eine Objektbildausgabeeinheit 8 zum Ausgeben des extrahierten Bilds eines Objekts, eine Schnittstelleneinheit 11 und dergleichen.
Die Extraktionsvorrichtung 2 ist mit der Bildanzeigevorrichtung 9 wie beispielsweise einer CRT und der Endvorrichtung 10 wie beispielsweise einem Personal Computer verbunden.
Dieses System extrahiert einen Objektbereich mit einem Objekt allein aus einem Bild mit sowohl dem Hintergrund als auch dem Objekt (auf das im Folgenden als ein Objektbild Bezug zu nehmen ist) und zeigt den extrahierten Bereich zum Beispiel auf der Anzeigevorrichtung 9 an. Bei dem Extrahieren des Objektbereichs wird eine Maske auf das Objektbild angewendet. Die Maske ist ein Satz von Binärdaten, die an dem Objektbereich entsprechenden Positionen "1" aufweisen und an anderen Positionen "0" aufweisen wie in 2 gezeigt. Die Maske wird durch die Kantenintensitätsextraktionseinrichtung 4, die Anfangsmaskenextraktionseinrichtung 5 und das Bereichswachstumsmodul 6, die in 1 gezeigt sind, erzeugt. Die Kantenintensitätsextraktionseinrichtung 4 und die Anfangsmaskenextraktionseinrichtung 5 erzeugen eine "Anfangsmaske", und das Bereichswachstumsmodul 6 und die Umrissformungseinrichtung 7 lassen die Anfangsmaske wachsen, um sie zu einer Maske zu verbessern, die zu dem Objekt passt. Die Objektbildausgabeeinheit 8 wendet die verbesserte Maske auf das Objektbild (das Bild mit sowohl dem Objekt als auch dem Hintergrund) an und gibt Bilddaten an Maskenwerten "1" entsprechenden Bildelementpositionen des Objektbilds aus, wodurch sie ein Bild des Objektbereichs allein ausgibt.
Es ist zu beachten, dass die Extraktionsvorrichtung 2 durch in 1 gezeigte Hardware gebildet sein kann, aber durch Gatteranordnungen gebildet sein kann, oder die Hardwarefunktionen der Vorrichtung durch einen Programmsoftwareprozess (zum Beispiel das Flussdiagramm in 3) realisiert sein können.
Die Bildextraktionsvorrichtung dieses Ausführungsbeispiels ist eher durch ihre einzelnen Funktionen und eine Kombination davon als durch den Hardwareaufbau gekennzeichnet. Entsprechend werden die Funktionen der Vorrichtung unter Bezugnahme auf das Flussdiagramm erläutert, da eine Beschreibung unter Verwendung des Flussdiagramms ein leichteres Verständnis ermöglicht.
3 zeigt ein Flussdiagramm, das die Gesamtobjektextraktionsprozessabfolge darstellt.
In Schritten S12 bis S18 in 3 wird eine Maske zur Objektbereichsextraktion anfänglich erzeugt, und in einem Schritt S19 wird es überprüft, ob die erzeugte Maske zu dem Objektbereich passt. In einem Schritt S30 wird der Bereich der Maske wachsen gelassen, um die Maske zu einer passenden Maske zu verbessern, falls die erzeugte Maske nicht zu dem Objektbereich passt. In einem Schritt S50 wird der Objektbereich unter Verwendung der schließlich vervollständigten Maske extrahiert, und ein Objektbild wird ausgegeben.
Die Prozessabfolge gemäß 3 wird nachstehend der Reihe nach beschrieben.
Maskenerzeugung
Die Schritte S11 bis S18 entsprechen der Maskenerzeugungsprozedur.
In dem Schritt S11 werden ein Hintergrundbild und ein Objektbild (mit dem Hintergrund) von der Bilderfassungsvorrichtung 1 eingegeben. 4A zeigt ein Beispiel für das Objektbild, und 4B zeigt ein Beispiel für das Hintergrundbild.
In dem Schritt S12 werden Bilddaten gemäß einem passenden Reduktionsfaktor unterabgetastet, um die Verarbeitungsgeschwindigkeit in den nachfolgenden Schritten zu erhöhen. Anschließend wird in dem Schritt S13 der zu verarbeitende Bereich, das heißt der einem Objektbildextraktionsprozess zu unterziehende Bereich, bei dem Objektbild derart eingestellt, dass er ein Gebiet enthält, in dem das Objekt vorhanden ist. Es ist zu beachten, dass der Benutzer den zu verarbeitenden Bereich unter Verwendung einer (nicht gezeigten) Maus der Endvorrichtung 10 bezeichnen kann, während er das auf der Anzeigevorrichtung 9 angezeigte Objektbild beobachtet. Der Unterabtastungsprozess in dem Schritt S12 und die Einstellung des Verarbeitungsbereichs in dem Schritt S13 können weggelassen werden, da sie ausgeführt werden, um die Verarbeitungsgeschwindigkeit in den nachfolgenden Schritten zu erhöhen.
In dem Schritt S14 wird ein Kantenextraktionsprozess für Bilddaten von dem in dem Schritt S13 eingestellten zu verarbeitenden Bereich entsprechenden Bildelementen in den Bilddaten sowohl des Objektbilds als auch des Hintergrundbilds durchgeführt, wodurch zwei Kantenintensitätsbilder erzeugt werden. Die Kantenintensitätsbilder werden zum Schätzen einer Grenze unter Verwendung der Kantenbilder erzeugt, da die Helligkeitspegel oder Farben sich in Bilddaten an der Grenze zwischen dem Objektbereich und dem Hintergrundbereich scharf ändern.
Es ist zu beachten, dass die Kantenextraktion zusätzlich zu Sobel-, Prewitt- und Roberts-Operatoren und dergleichen (Mori, Itakura, Basics of Image Recognition (II), Kapitel 15, Ohm Corp., 1990) einen Canny-Edge-Detektion-Operator (IEEE, Trans. Pattern Analysis and Machine Intelligence, Band PAMI-8, Seiten 679–698, 1986), einen Marr-Hildreth-Kantendetektion-Operator (Proc. Royal Society of London, Band B-207, Seiten 187–217, 1980) und dergleichen verwenden kann.
Anschließend werden in dem Schritt S15 die in dem Schritt S14 erhaltenen Kantenintensitätsbilder normalisiert. Der maximale Intensitätswert des Kantenintensitätsbilds (der maximale Dichtewert des Intensitätsbilds), das aus dem Objektbild extrahiert wird, kann als ein gemeinsamer Faktor zur Normalisierung verwendet werden, und alle die Bildelementwerte der zwei Kantenintensitätsbilder werden durch diesen gemeinsamen Faktor geteilt, wodurch die zwei Kantenintensitätsbilder normalisiert werden.
Es kann jedoch eine andere Normalisierungstechnik für ein Objektbild verwendet werden, das viele Kanten aufweist, die die Grenze zwischen dem Objekt und dem Hintergrund definieren, das heißt ein Objektbild mit einer dichten Verteilung von Umrisslinien (zum Beispiel weist eine Blume relativ viele feine Teilformen auf, und ihr Bild weist viele Kanten auf; auf ein Bild mit vielen Kanten wird im Folgenden als ein "kantenreiches" Bild Bezug genommen). Genauer werden Blöcke, die jeweils eine vorbestimmte Größe aufweisen, derart eingestellt, dass sie einzelne Bildelemente des Kantenintensitätsbilds des Objekts als Mittelpunkte aufweisen, und der Kantenintensitätswert eines Bildelements mit dem maximalen Wert in einem Block, der ein bestimmtes Bildelement enthält, wird durch den Intensitätswert des bestimmten Bildelements ersetzt. Diese Manipulation wird für alle die Bildelemente des Kantenintensitätsbilds durchgeführt, um eine Normalisierung zu erreichen.
Als eine andere Normalisierungstechnik ist es wirkungsvoll, maximale Intensitätswerte in den ganzen Bildern (oder lokalen Bildern) des Kantenintensitätsobjektbilds und des Kantenintensitätshintergrundbilds als Normalisierungsnenner für die jeweiligen Bilder zu verwenden, da der Einfluss von Variationen bei der Bilderfassungsbedingung minimiert werden kann.
5A und 5B zeigen jeweils durch ein Normalisieren der aus dem Objektbild (4A) und dem Hintergrundbild (4B) extrahierten Kantenintensitätsbilder unter Verwendung zum Beispiel eines Sobel-Operators erhaltene Bilder (auf diese Bilder wird im Folgenden jeweils als ein "normalisiertes Kantenintensitätsobjektbild P_NESi" und ein "normalisiertes Kantenintensitätshintergrundbild P_NEBi" Bezug genommen).
In dem Schritt S16 wird ein "Kantenkeim"-Extraktionsprozess von dem normalisierten Kantenintensitätshintergrundbild und dem normalisierten Kantenintensitätsobjektbild durchgeführt. Es ist zu beachten, dass der "Kantenkeim" ein Bild ist, das an einer Position, an der das normalisierte Kantenintensitätshintergrundbild und das normalisierte Kantenintensitätsobjektbild erheblich verschiedene Bildelemente aufweisen, einen Wert "1" aufweist und an einer Bildelementposition, an der ihre Bildelementwerte nicht beträchtlich voneinander verschieden sind, einen Wert "0" aufweist. Genauer wird der Absolutwert der Differenz zwischen einem bestimmten Bildelementwert P_NESi in dem normalisierten Kantenintensitätsobjektbild und einem Bildelementwert P_NEBi in dem normalisierten Kantenintensitätshintergrundbild an der entsprechenden Bildelementposition berechnet, und der Wert des Kantenkeims wird an der Bildelementposition, wo der Absolutwert der Differenz kleiner als ein vorbestimmter Schwellenwert (δ₀) ist, zu "0" definiert; der Wert des Kantenkeims wird an der Bildelementposition, wo der Absolutwert gleich dem oder größer als der Schwellenwert ist, zu "1" definiert. Genauer falls |PNESi – PNEBi| < δ0, PKi = 0 falls |PNESi – PNEBi| ≥ δ0, PKi = 1, (1)falls PK die Bildelemente des Kantenkeimbilds darstellt.
Es ist zu beachten, dass der Schwellenwert δ₀ in Übereinstimmung mit Bildern adaptiv geändert werden kann.
6 zeigt das extrahierte "Kantenkeim"-Bild. Auf diese Art und Weise stellt das Kantenkeimbild die Differenz zwischen den Kantenintensitätsbildern dar. Folglich tendiert die Umfangskante des "Kantenkeim"-Bilds zum Darstellen des Umrisses des Objekts und sein Innenabschnitt zum Darstellen der Kanten des Hintergrunds, wie es in 6 oder 2 gezeigt ist.
Da das Kantenkeimbild Helligkeitskanten von Bilddaten darstellt, enthält es jedoch auch andere Kanten in dem Vorlagenobjektbild. Demgegenüber werden einige Kanten irrtümlicherweise als Nicht-Kanten bestimmt, da sie eine kleine Helligkeitsdifferenz von dem Hintergrundbild aufweisen, obwohl sie ursprünglich den Umriss des Objektbereichs definieren.
Angesichts dieses Problems berücksichtigt dieses Ausführungsbeispiel auch Differenzen ("Farbdifferenzkeim" oder "Farbkante") von Farbdaten. In dem Schritt S17 wird eine "Farbdifferenzkeim"-Extraktion durchgeführt.
Die Differenzen zwischen den Farbkomponenten (R-, G- und B-Werte oder Farbtonwert) des Hintergrundbilds und des Objektbilds in Einheiten von Bildelementen werden berechnet. Falls P_b den Bildelementwert des Hintergrundbilds darstellt, P_s den Bildelementwert des Objektbilds darstellt und i ein beliebiges Bildelement darstellt, werden die Differenzen zwischen den Farbkomponenten berechnet durch: ΔPRi ≡ PRbi – PRsi ΔPGi ≡ PGbi – PGsi ΔPBi – PBbi – PBsi(2)
Falls ε₀ den R-, G- und B-Komponenten gemeinsamen Schwellenwert darstellt, werden die Bildelementwerte P_i aller der Bildelemente i, die: ΔPRi < ε0 und ΔPGi < ε0 und ΔPBi < ε0 (3)erfüllen, eingestellt auf: Pi = 0 (4)
Demgegenüber werden die Bildelementwerte P_i aller Bildelemente, die: ΔPRi < ε0 und ΔPGi > ε0 und ΔPBi > ε0 (5)erfüllen, eingestellt auf: Pi = 1 (6)
Ein auf diese Art und Weise erzeugtes Binärbild ist ein "Farbdifferenzkeimbild".
Wenn bei den Ungleichungen (3) und (5) ein relativ großer Schwellenwert ε₀ eingestellt wird, kann der Einfluss von durch ein Rauschen und Bilderfassungsbedingungsdifferenzen verursachten Variationen bei Bildelementwerten beseitigt werden, und ein leichter Schatten und dergleichen können entfernt werden.
Anschließend wird in dem Schritt S18 ein "Anfangskeim" aus dem in dem Schritt S17 detektierten Farbdifferenzkeim (oder Farbkante) und dem in dem Schritt S16 detektierten Kantenkeim (oder Leuchtdichtekante) extrahiert. Es ist zu beachten, dass das "Anfangskeim"-Bild durch ein Kombinieren des Farbdifferenzkeims und des Kantenkeims erzeugt wird: Anfangskeim = Farbdifferenzkeim + Kantenkeim
Da der Anfangskeim ein Binärbild aus Nullen und Einsen ist, kann er als eine Maske dienen. Auf einen durch den Keimabschnitt gebildeten Bereich von "Einsen" wird im Folgenden der Bequemlichkeit halber als einen "Maskenbereich" Bezug genommen. Da es anfänglich überprüft wird, ob der Anfangskeim als eine Maske angemessen ist, wird "Anfang" zu seinem Namen hinzugefügt. Falls der Anfangskeim nicht angemessen ist, wird ein Wachstumsprozess basierend auf seinem "Keim" durchgeführt.
Wenn der Anfangskeim kantenreich ist, muss bei dem Prozess des Kombinierens des Farbdifferenzkeims und des Kantenkeims zusätzlich ein Hintergrundrauschenentfernungsprozess durchgeführt werden. Genauer werden Punkte mit Bildelementwerten gleich einem vorbestimmten Schwellenwert oder größer als dieser in dem normalisierten Kantenintensitätshintergrundbild, das dem durch den extrahierten Anfangskeim gebildeten Maskenbereich entspricht, entfernt. 6 zeigt den durch diesen Prozess erhaltenen "Anfangskeim (Anfangsmaskenbereich)".
In dem Schritt S19 wird es überprüft, ob der in dem Schritt S18 extrahierte Anfangsmaskenbereich im Wesentlichen zu dem Objektbereich passt.
Falls die zwei Bereiche nicht zusammenpassen, wird es bestimmt, dass die in dem Schritt S18 eingestellte Anfangsmaske unvollständig ist oder nicht richtig ist, und der Ablauf rückt zu dem Schritt S30 vor, um einen Wachstumsprozess des Maskenbereichs auszuführen. Es ist zu beachten, dass 10 die Einzelheiten des Schritts S30 zeigt.
Falls die zwei Bereiche im Wesentlichen zusammenpassen, wird es demgegenüber bestimmt, dass die Anfangsmaske grob vollständig ist, und in dem Schritt S50 wird der Objektbereich unter Verwendung der Maske extrahiert und ausgegeben.
Maskenwachstum
Der Prozess zum Durchführen eines Bereichswachstums des Anfangsmaskenbereichs, wenn es bestimmt wird, dass der Anfangsmaskenbereich unvollständig ist, wird nachstehend unter Bezugnahme auf das Flussdiagramm in 10 beschrieben.
Bei diesem Wachstumsprozess geht das Wachstum unter Verwendung des "Keims" als den Mittelpunkt vor sich. Das heißt, ein Bildelement (auf das im Folgenden als ein Bildelement von Interesse Bezug zu nehmen ist) an der Grenze von Keimen in dem Anfangsmaskenbereich wird mit benachbarten Bildelementen (oder einem benachbarten Bereich) verglichen, um die Ähnlichkeit zwischen den Bildmerkmalen des Bildelements von Interesse und der benachbarten Bildelemente zu überprüfen. Falls die Ähnlichkeit höher als ein vorbestimmter Schwellenwert ist, werden die benachbarten Bildelemente als diejenigen in einem identischen Maskenbereich betrachtet und werden in diesen Maskenbereich integriert.
In einem Schritt S31 werden ein Differenzschwellenwert δ_I für die Helligkeit und ein Differenzschwellenwert δ_H für den Farbton als zum Überprüfen der Ähnlichkeit für die Helligkeit und der Ähnlichkeit für den Farbton erforderliche Parameter eingestellt.
In einem Schritt S32 wird die Ähnlichkeit zwischen dem Bildelement von Interesse und benachbarten Bildelementen unter Verwendung der Schwellenwerte bewertet. Bei diesem Ausführungsbeispiel schließen die benachbarten Bildelemente acht benachbarte Bildelemente ein. Ob das Bildelement von Interesse den benachbarten Bildelementen ähnelt oder nicht wird wie folgt bestimmt. Das heißt, die Absolutdifferenzwerte von Bilddaten (in Einheiten von R-, G- und B-Komponenten) und der Absolutdifferenzwert von Farbtonwerten zwischen dem Bildelement von Interesse und jedem der benachbarten Bildelemente werden berechnet. Falls die Differenzwerte der R-, G- und B-Bilddaten jeweils gleich dem oder kleiner als der Schwellenwert δ_I sind oder falls der Absolutdifferenzwert des Farbtons gleich dem oder kleiner als der Schwellenwert δ_H ist, wird es bestimmt, dass das Bildelement von Interesse und die benachbarten Bildelemente eine kleine Differenz aufweisen, das heißt dass sie einander ähneln. Genauer wird es dann, wenn eine der zwei auf den zwei Schwellenwerten basierenden Ungleichungen gilt, bestimmt, dass das benachbarte Bildelement ein Abschnitt des Objektbereichs ist und in einen identischen Maskenbereich integriert wird (Schritt S33). Das heißt, falls P_iD und P_iH jeweils die R-, G- und B-Bilddaten und den Farbtonwert des Bildelements i von Interesse darstellen und P_kD und P_kH die R-, G- und B-Bilddaten und den Farbtonwert eines benachbarten Bildelements k darstellen, wird es dann, wenn eine der zwei nachstehenden Ungleichungen gilt, bestimmt, dass die zwei Bildelemente einander ähneln: |PiD – PkD| < δI (8) |PiH – PkH| < δH (9)
Der Wachstumsprozess in den Schritten S32 und S33 wird für alle die sich an der Grenze der Maske befindenden Bildelemente durchgeführt, indem das Bildelement von Interesse innerhalb des Anfangsmaskenbereichs (i → i', k → k') bewegt wird, wie es in 11 gezeigt ist. Falls die nachstehend zu beschreibende Bedingung in einem Schritt S34 erfüllt ist, wird der Wachstumsprozess gestoppt. Die Stoppbedingung besteht darin, dass dann, wenn der Bereichswachstumsprozess in einer bestimmten Richtung durchgeführt wird, die Dichte von Kantenkeimen innerhalb eines vorbestimmten Gebiets in der Richtung kleiner (als ein vorbestimmter Schwellenwert) ist. Falls es in dem Schritt S34 bestätigt wird, dass die Bedingung erfüllt ist, wird das Wachstum in der Richtung gestoppt.
12 zeigt ein Ergebnis dieses Schritts. In einem in einer bestimmten Wachstumsrichtung 100 (die Richtung ist eine von acht von dem Bildelement von Interesse zu acht benachbarten Bildelementen hin zeigenden Richtungen) in 12 vorhandenen wachsen zu lassenden Bereich 200 wird zum Beispiel der zu verarbeitende Bereich derart eingestellt, dass er ein Ausmaß von etwa 10 Bildelementen von dem am meisten benachbarten Bildelement enthält. Falls die Anzahl von Kantendifferenzkeimen in dem zu verarbeitenden Bereich 200 zwei oder weniger beträgt (das heißt, kein Kantendifferenzkeim oder ein Kantenkeim oder zwei Kantenkeime sind vorhanden) und die Ähnlichkeit zwischen dem am meisten benachbarten Bildelement und dem Bildelement von Interesse die Wachstumsbedingung erfüllt, wird es bestimmt, dass der Bereich in der Richtung nicht wachsen gelassen werden muss und der Bereich bis zu dem am meisten benachbarten Bildelement ausreicht, so dass das nachfolgende Wachstum gestoppt wird.
Es ist zu beachten, dass es bestimmt werden kann, ob das zu verarbeitende Bild ein kantenreiches Bild ist oder nicht, und eine derartige Wachstumsstoppfunktion automatisch ausgeführt werden kann, falls es bestimmt wird, dass ein kantenreiches Bild zu verarbeiten ist, oder abhängig von der Entscheidung des Benutzers eine derartige Funktion hinzugefügt werden kann.
7B zeigt den gewachsenen Maskenbereich. Der Bereichswachstumsprozess dieses Ausführungsbeispiels kann anhand eines Vergleichs zwischen 7A und 7B verstanden werden.
Anschließend wird in einem Schritt S35 ein Lochfüllungsprozess zum Füllen von "Löchern", die möglicherweise in dem gewachsenen Bereich vorhanden sein können, ausgeführt. Nach dem Bereichswachstumsprozess sind derartige Löcher auch in einem nicht gewachsenen Abschnitt vorhanden. Die maximale Größe des zu füllenden Lochs kann im Voraus in das System dieses Ausführungsbeispiels eingegeben werden, oder der Benutzer kann sie basierend auf dem Bereichswachstumsergebnis bestimmen.
8A zeigt ein Beispiel für den Maskenbereich, der dem Lochfüllungsprozess unterzogen worden ist. Bei dem Schritt S35 können zusätzlich zu dem Lochfüllungsprozess ein "Bart"-Entfernungsprozess oder ein Einrückungskorrekturprozess zum Korrigieren einer Einrückung des Umrisses als eine Option hinzugefügt werden.
8B zeigt ein Beispiel für das dazwischenliegende extrahierte Bild.
Umrissformung
Falls der Benutzer bestimmt, dass die Umrissform des Objekts in dem dem Prozess bis zu dem Schritt S35 unterzogenen Maskenbereich unvollständig ist, wird ein Umrissformungsprozess durchgeführt.
13 zeigt ein Flussdiagramm, das die Umrissformungsprozessabfolge darstellt. Das Ziel dieses Prozesses besteht darin, unabhängig von dem in dem benachbarten Bereich der Grenze zwischen dem Objektbild und dem Hintergrundbild vorhandenen Umrissmuster den Objektbereich mit einer richtigen Form stabil zu extrahieren. Zum Erreichen dieses Ziels verwendet die Umrissformungsprozessabfolge Differenzdaten zwischen den normalisierten Kantenintensitätsverteilungen sowohl des Objektbilds als auch des Hintergrundbilds (siehe Schritt S16).
Das zweite Ziel des Umrissformungsprozesses besteht darin, es zu vermeiden, dass ein Kantenauswahlprozess (Schritt S44; nachstehend zu beschreiben) durch das im Innern des Kantenkeimbilds vorhandene Kantenmuster des Hintergrunds derart beeinflusst wird (wie bei der Differenzkantenkeimextraktion in dem Schritt S16), dass eine richtige Objektumrissextraktion gestört wird. Zum Erreichen dieses Ziels wird das Hintergrundkantenbild von dem Objektkantenbild subtrahiert, um einen Kantenintensitätswert zu berechnen, und Punkte (oder ein Bereich) mit einem negativen Kantenintensitätswert werden aus den Differenzkantendaten entfernt. Die vorstehend angeführten Ziele können jedoch ignoriert werden, und der gleiche Prozess wie der nachstehend zu beschreibende kann unter Verwendung der Kantenintensitätsdaten des Objektbilds ausgeführt werden.
Genauer sucht der Umrissformungsprozess wie in 14 gezeigt nach einem Kantenpunkt, der eine genaue Umrisslinie bildet, aus Kantenkandidaten P₁, P₂ und P₃, die eine unvollständige Umrisslinie bilden.
Die Inhalte des Umrissformungsprozesses werden nachstehend im Einzelnen beschrieben.
In einem Schritt S41 werden Bildelemente, bei denen die Differenzdaten zwischen dem normalisierten Kantenintensitätsobjektbild und dem normalisierten Kantenintensitätshintergrundbild gleich einem vorbestimmten Schwellenwert oder kleiner als dieser (für den Schwellenwert > 0) sind, entfernt, um nur zuverlässige Objektkantendaten übrig zu lassen.
In einem Schritt S42 wird die Umrisslinie des gewachsenen Maskenbereichs verfolgt, um die Verfolgungsrichtung zu detektieren.
In einem Schritt S43 wird an jedem Punkt auf der Umrisslinie der dem Formungsprozess auszusetzende Bereich (siehe 14) in einer zu der detektierten Umrissverfolgungsrichtung (die Verfolgungsrichtung ist so definiert, dass sich die rechte Seite der Verfolgungsrichtung immer in dem Objektbereich befindet) senkrechten Richtung eingestellt. Die verfolgte Umrisslinie darstellende Daten werden als eine Funktion der Verfolgungsweglänge (Bogenlänge s) (eine Länge x(s) in der x-Richtung, und eine Länge y(s) in der y-Richtung) ausgedrückt, und sie sind zum Beispiel ein Satz von Kantenpunkten. Die Weglänge zu der Bildelementkante von Interesse wird durch x(s) und y(s) ausgedrückt. Es wird nach Kantenkandidaten, die eine korrigierte Umrisslinie bilden sollten, aus dem durch den Prozess in dem Schritt S43 eingestellten zu verarbeitenden Bereich (siehe 14) gesucht.
Falls eine Vielzahl von als Kandidaten dienenden Kantenpunkten vorhanden ist, wird in einem Schritt S44 ein Kantenauswahlprozess durchgeführt.
14 erläutert den Kantenauswahlprozess in dem Schritt S44. In 14 sind durch volle Kreise angegebene Punkte Q_s-2, Q_s-1, Q_s und dergleichen die bereits durch den bislang ausgeführten Kantenauswahlprozess ausgewählten, und durch offene Kreise angegebene Punkt P₁, P₂, P₃ und dergleichen sind in dem derzeitigen Auswahlprozess auszuwählende Kantenkandidaten. Der Verarbeitungsbereich enthält einer Kantenauswahl zu unterziehende Punkte und wird in einer zu der Umrissverfolgungsrichtung senkrechten Richtung eingestellt wie vorstehend beschrieben.
Die Bestimmung einer richtigen Umrisslinie, das heißt die Kantenauswahl, wird basierend auf einer Bewertung der Kontinuität von Bildelementwerten (R-, G- und B-Werten) und einer Bewertung der Formkontinuität erreicht. Genauer unterscheidet die Bewertung der Kontinuität von Bildelementwerten eine Merkmalskontinuität C_c (Kontinuität von R-, G- und B-Werten) zwischen einem Kantenkandidaten (Punkt mit offenem Kreis) und der Objektkante, und die Bewertung der Formkontinuität unterscheidet eine Kontinuität C_s der Umrissform. Genauer wird eine Energiefunktion F als eine Summe der zwei Größen C_c und C_s, die die Kontinuitäten darstellen, eingestellt, und ein Kantenkandidat mit einem kleinen Wert der Energiefunktion F wird ausgewählt, so dass die ausgewählten Kanten eine richtige Umrisslinie bilden.
Bei diesem Ausführungsbeispiel wird die Merkmalskontinuität C_c durch Abweichungen (Werte zwischen inneren benachbarten Bildelementen) in der Umrissverfolgungsrichtung von R-, G- und B-Merkmalen eines Kantenkandidaten auf der Objektseite auf einer Umrisslinie einschließlich des Kantenkandidaten (es wird angenommen, dass diese Umrisslinie aus vier Bildelementen einschließlich dreier bereits ausgewählter Kantenbildelemente (Q_s-2, Q_s-1 und Q_s in 14) und dem damit zu verbindenden Kantenkandidaten (einer von P₁, P₂ und P₃) besteht) ausgedrückt und ist definiert durch:
wobei dR, dG und dB die Differenzen von R-, G- und B-Komponenten zwischen einem unbekannten Kantenkandidaten P_x und zum Beispiel zwei bereits als ein Umriss bestimmten Kantenpunkten Q_s und Q_s-1 sind. Genauer sind dR, dG und dB jeweils gegeben durch: dR = ΔR0 + ΔR1 dG = ΔG0 + ΔG1 dB = ΔB0 + ΔB1, wobei ΔR₀ eine Veränderung des R-Werts zwischen den Punkten P_x und Q_s bezeichnet und ΔR₁ eine Veränderung des R-Werts zwischen den Punkten P_x und Q_s-1 bezeichnet. Ähnliche Notierungen werden für ΔG₀, ΔG₁, ΔB₀ und ΔB₁ angewendet. Ferner sind MR, MG und MB die maximalen Differenzen von R-, G- und B-Komponenten (Differenzen zwischen maximalen und minimalen Werten) zwischen einem unbekannten Kantenkandidaten P_x und den Kantenpunkten Q_s und Q_s-1. Da dR, dG und dB jeweils durch MR, MG und MB dividiert werden wie in der Gleichung (10) gezeigt, stellt C_c eine Gesamtsumme der normalisierten Differenzen von R-, G- und B-Komponenten dar. Ein derartiger Normalisierungsprozess ist jedoch keine notwendige Bedingung zum Bewerten der Merkmalskontinuität.
Eine Bewertungsfunktion C_s der Formkontinuität bewertet unter Verwendung der Krümmung der Umrisslinie in einem lokalen Bereich einschließlich eines Kantenkandidaten. Die Umrisslinie wird durch die Bogenlänge s ausgedrückt. Da die Krümmung der Umrisslinie durch zweite Ableitungen x_ss und y_ss der Koordinatenwerte x und y von Bildelementen auf dem Umriss für s ausgedrückt wird, ist die Bewertungsfunktion C_s:
für xss = d2x/ds2, yss = d2y/ds2
16 zeigt das Konzept der Bewertungsfunktion C_s. Zum Erhalten einer zweiten Ableitung sind drei Kantenpunkte erforderlich. Eine Gleichung (11) stellt dar: eine Krümmung
oder eine Krümmung
Folglich besteht ein Aufrechterhalten der Kontinuität der Krümmung darin, einen Kantenkandidaten P_i auszuwählen, der (C_S)₁ ≡ (C_S)₂ erfüllt.
Es ist zu beachten, dass C_s durch eine einer Umrisslinienabtastpunktfolge einschließlich eines Kantenkandidaten von Umrissliniendaten zugeordnete erste Ableitung gegeben sein kann. Wenn die Gleichung (11) unter Verwendung von ausgewählten und nicht ausgewählten Daten diskretisiert wird, ist C_s durch die folgende Gleichung (12) gegeben:
wobei E_x(s) und E_y(s) die bereits bestimmten Umrissliniendaten sind (oder als bereits eingestellte Anfangswerte), und E_x und E_y die x- und y-Koordinaten jedes Kantenkandidaten (das heißt, eines von Punkten P₁, P₂ und P₃) sind. Falls es angenommen wird, dass die Umrissverfolgungsrichtung die obere oder untere Richtung (y-Richtung) ist, ist die e_x-Komponente der zu bestimmende Kantenkandidatenkoordinatenwert, da der Suchbereich der Kantenkandidaten in einer zu der Verfolgungsrichtung senkrechten Richtung eingestellt wird (falls die Verfolgungsrichtung die rechte oder linke Richtung ist, wird e_y ein variabler Faktor).
Die Energiefunktion F ist gegeben durch: F = Cc + a·Cs, (13) wobei a ein Faktor ist, der als ein Gewichtungskoeffizient zwischen C_c und C_s dient (0 ≤ a ≤ 1) und als eine Art von Regularisierungsparameter bei dem Regularisierungsprozess betrachtet werden kann. Der Gewichtungskoeffizient a kann durch den Benutzer passend ausgewählt werden.
Falls kein Kantenkandidat in dem in dem Schritt S43 eingestellten lokalen Bereich vorhanden ist, das heißt kein Kantenkandidat mit hoher Zuverlässigkeit vorhanden ist, wird demgegenüber ein Umrisspunkt auf der Maske oder eine vorhergesagte Kantenposition in der Umrissverfolgungsrichtung (falls zum Beispiel die Verfolgungsrichtung die obere Richtung ist, ein durch ein Erhöhen des Werts der y-Koordinate um ein Bildelement erhaltener Punkt, während ein Festlegen der x-Koordinate ausgewählt werden kann) als ein Kantenkandidatenpunkt ausgewählt, und ein Punkt mit einer Energiefunktion mit einem niedrigeren bewerteten Wert wird ausgewählt, oder ein Punkt an einer Grenze der Maske wird als die ausgewählte Kante bestimmt.
Nach dem Kantenauswahlprozess in dem Schritt S44 wird in einem Schritt S45 ein Maskendatenglättungsprozess durchgeführt. In diesem Schritt werden Medianfilterprozesse bei den Umrissdaten (eindimensional) und zweidimensionalen Maskendaten durchgeführt. Mit diesem Prozess kann dann, wenn der vorstehend angeführte Kantenauswahlprozess (Schritt S44) zu einer immer noch unvollständigen Teilform führt (zum Beispiel wenn infolge des Prozesses mit keinen sehr zuverlässigen Kantenkandidaten ein diskontinuierlicher ungleichmäßiger Abschnitt oder ein Schwankungsmuster in der Nähe der Objektumrisslinie verbleibt), ein derartiger Abschnitt geglättet werden, um den Grad der Näherung der Objektumrissform zu verbessern.
Es ist zu beachten, dass der Medianfilterprozess rekursiv angewendet werden kann. Selbstverständlich ist der Glättungsfilterungsprozess nicht auf das Medianfilter beschränkt.
Ein durch ein Ausführen des auf durch den Umrissformungsprozess (Schritt S40) erhaltenen Maskendaten basierenden Maskierungsprozesses maskiertes Objektbild wird ausgegeben (Schritt S50 in 3), und das Ergebnis wird zu der Bildanzeigevorrichtung 9 oder einem Drucker als der Objektbildausgabeeinheit 8 ausgegeben.
9 zeigt das Objektbild.
<Modifikation des ersten Ausführungsbeispiels>
Die in 3, 10 und 13 gezeigte Steuerprozedur kann verschiedenartig modifiziert werden.
In dem Schritt S18 in 3 muss zum Beispiel der Hintergrundbildentfernungsprozess nicht durchgeführt werden, falls bei dem Kombinierungsprozess des Farbdifferenzkeimbilds und des Kantenkeimbilds das Anfangskeimbild ein kantenreiches Bild ist. Genauer werden Punkte, die Bildelementwerte gleich einem vorbestimmten Schwellenwert oder größer als dieser aufweisen, in dem dem durch das vorübergehend extrahierte Anfangskeimbild erzeugten Maskenbereich entsprechenden normalisierten Kantenintensitätshintergrundbild entfernt.
Demgegenüber ist der Anfangsmaskenbereichsextraktionsprozess nicht auf die vorstehend angeführte Prozedur (Schritte S15 bis S18 in 3) beschränkt. Der Anfangsmaskenbereich kann zum Beispiel extrahiert werden, indem ein Schwellenwertvergleichsprozess von statistischen Parametern wie beispielsweise Korrelationskoeffizienten unter Blöcken, die jeweils derart definiert sind, dass sie jedes Bildelement als den Mittelpunkt aufweisen und eine vorbestimmte Größe aufweisen, oder Durchschnittswerten oder Standardabweichungen von Bildelementwerten in jedem Block und dergleichen ausgeführt wird.
Es ist zu beachten, dass das Bilderfassungssystem des ersten Ausführungsbeispiels ausgehend von der Tatsache postuliert wird, dass eine Bilderfassung durchgeführt wird, während die Bilderfassungsvorrichtung 1 zum Beispiel an einem Stativ befestigt ist, oder eine Bilderfassung durchgeführt wird, während die Belichtungsbedingung oder die Fokussierung nicht automatisch eingestellt wird. Falls bei der Vorrichtung des ersten Ausführungsbeispiels eine Bilderfassung in dem in der Hand gehaltenen Zustand ausgebildet wird oder die Hintergrund- und Objektbilder erfasst werden, während die Belichtungsbedingung und die Fokussierung automatisch eingestellt werden, müssen die Hintergrund- und Objektbilder ausgerichtet werden. Diese Ausrichtung oder Positionsjustierung wird erreicht, indem der Prozess des dritten Ausführungsbeispiels (Schritt S114 und S115; nachstehend zu beschreiben) ausgeführt wird.
<Zweites Ausführungsbeispiel>
Das Bilderfassungssystem bei dem zweiten Ausführungsbeispiel wendet die Techniken des ersten Ausführungsbeispiels auf die Anfangsmaskenbereichsextraktion und den Bereichswachstumsprozess an, aber führt einen Umrissformungsprozess unter Verwendung eines "Aktivumrissmodellverfahrens" aus (M. Kass et al., "Snakes: Active Contour Models", International Journal of Computer Vision, Band 1, Seiten 321–331, 1987).
Der Aktivumrissprozess besteht darin, Anfangsumrisse zu bewegen und zu verformen, um nachstehend zu beschreibende Bewertungsfunktionen zu minimieren, und die Anfangsumrisse schließlich zu der Umrisslinie oder seiner Hülle des Objekts zu wandeln. Bei dem zweiten Ausführungsbeispiel wird ein Aktivumrissformungsprozess (Schritt S400) für ein Maskenbild (Daten mit Werten "0" und "1") durchgeführt, und der Umrissformungsprozess des ersten Ausführungsbeispiels (Schritt S40) wird für ein Objektbild durchgeführt.
17 zeigt ein Flussdiagramm, das die Prozedur des Aktivumrissformungsprozesses darstellt.
Der Aktivumrissformungsprozess verwendet einen durch ein Ausführen des gleichen Anfangsmaskenbereichsextraktionsprozesses (Schritte S15 bis S18) und Bereichswachstumsprozesses (Schritte S31 bis S35) wie diejenigen bei dem ersten Ausführungsbeispiel erhaltenen Maskenbereich als den Startpunkt.
Genauer wird in einem Schritt S401 in 17 eine "Anfangsumrisslinie" auf der Grundlage des erhaltenen Maskenbereichs eingestellt.
Diese "Anfangsumrisslinie" ist diejenige, die als der Startpunkt des Aktivumrissprozesses dient, und wird durch ein Erweitern der Grenzlinie des Maskenbereichs zu einem vorbestimmten Vergrößerungsfaktor eingestellt, um den Schwerpunkt des Maskenbereichs als den Mittelpunkt zu haben, oder wird unter Verwendung einer Zeige-/Auswahlvorrichtung wie beispielsweise einer Maus oder dergleichen um den Maskenbereich herum eingestellt. Da eine nachstehend zu beschreibende Bewertungsfunktion E zum Schrumpfen der Umrisse, nachdem die Umrisse dem Prozess unterzogen worden sind, konditioniert ist, werden die "Anfangsumrisslinien" derart eingestellt, dass sie größer als die Maske sind, wie es in 18 gezeigt ist.
In dem Schritt S400 wird der nachstehend zu beschreibende Aktivumrissprozess bei den Maskendaten, die bei dem Leuchtdichtepegel binär sind, durchgeführt. Genauer wird eine Umrisslinienform v(s) berechnet, indem der Wert der durch nachstehende Gleichungen (14) gegebenen Bewertungsfunktion E mit Bezug auf eine unter Verwendung eines Parameters s (typischerweise eine Bogenlänge s), der die Koordinaten der einzelnen Punkte auf dem Umriss beschreibt, ausgedrückte Umrisslinie v(s) = (x(s), y(s)) minimiert wird:
wobei I(v(s)) der Leuchtdichtepegel auf v(s) ist, ∇ der Differentialoperator ist und α(s), β(s) und w₀ durch den Benutzer passend ausgewählt werden.
In einem Schritt S402 wird der Aktivumrissprozess für die Umrisslinienform v(s) rekursiv durchgeführt. Das heißt, nachdem eine Umrisslinienform v(s) durch ein einmaliges Durchführen des Prozesses zum Minimieren der durch die Gleichungen (14) gegebenen Bewertungsfunktion E erhalten worden ist, wird der Aktivumrissprozess für die erhaltene Umrisslinienform v(s) rekursiv durchgeführt, um den Umriss v(s) zeitseriell und sequentiell zu verformen und/oder zu bewegen.
Jeder rekursive Schritt des Aktivumrissprozesses wird verarbeitet, indem ein Punkt, der die Funktion E minimiert, aus einem Satz von Punkten (einem im Voraus definierten benachbarten Bereich) in dem bewegbaren Gebiet an jedem Punkt auf der Umrisslinie v(s) ausgewählt wird oder indem Euler-Gleichungen des Umrisses v(s), die die Bewertungsfunktion E unter Verwendung der Rechnung der Variation minimieren, gelöst werden.
Das Ausführen des Aktivumrissprozesses bei den Umrisslinien der Maskendaten dient dazu, es zu verhindern, dass die Umrisslinien irrtümlich zu dem Hintergrundmuster (das in der Nähe des Objekts auf dem Objektbild vorhanden ist) konvergieren, und dazu, eine Glättung der Maskenform nach einem Bereichswachstum und eine Korrektur der Umrissform des nicht gewachsenen Bereichs zu ermöglichen. Der Aktivumrissprozess ist besonders als die Korrekturfunktion wirksam, wenn eine einer subjektiven Umrisslinie entsprechende glatte, kontinuierliche Form erzeugt wird, um einen verlorenen Abschnitt der Form zu kompensieren.
In vielen Fällen konvergiert die Umrissform v(s) der Maske nach der Bewertungsfunktion E (Gleichungen (14)) zu einem minimalen Wert, der als ausreichend nahe an der Objektform betrachtet wird.
In einem Schritt S403 wird die Umrissform nach der Konvergenz als die "Anfangsumrisslinie" des Objektbildbereichs eingestellt. Das heißt, die in den Schritten S401 und S402 für die erhaltene Maske erhaltene Umrisslinie wird auf das Objektbild angewendet. Um dies zu erreichen, wird in einem Schritt S404 der Aktivumrissprozess (Gleichungen (14)) in der gleichen Art und Weise wie bei dem Aktivumrissformungsprozess der Maske auf den Umriss des Objektbilds angewendet, wodurch der Umriss des Objektbereichs des Objektbilds erweitert wird.
In einem Schritt S405 wird das Innere des schließlich konvergierten Umrisses extrahiert und wird als der Maskenbereich eingestellt.
<Modifikation des zweiten Ausführungsbeispiels>
Bei dem zweiten Ausführungsbeispiel sind nicht alle die Schritte des in 17 gezeigten Prozesses immer unentbehrlich.
Genauer ist der Aktivumrissprozess bei den Maskendaten in dem Schritt S402 gelegentlich nicht unentbehrlich, und in derartigen Fällen können die Schritte S402 und S403 weggelassen werden.
Bei dem Einstellen der "Anfangsumrisslinie" in dem Schritt S401 kann die durch den in 3 gezeigten Prozess erhaltene Anfangsmaske direkt verwendet werden, ohne einen Bereichswachstumsprozess (10) auszuführen. Wenn die Prozesse in dieser Art und Weise modifiziert werden, wird die grob konvergierte Umrissform ferner dem Umrissformungsprozess bei dem Objektbild unterzogen, um die Form von Einzelheiten zu extrahieren. Abhängig von den beteiligten speziellen Bedingungen nach dem Extrahieren des Anfangsmaskenbereichs kann der Aktivumrissprozess bei dem Objektbild durchgeführt werden.
<Drittes Ausführungsbeispiel>
Das dritte Ausführungsbeispiel ist durch ein Verwenden eines Schwellenwerts, dessen Wert in Übereinstimmung mit dem Objektbild verteilt ist, bei dem Bereichswachstum gekennzeichnet.
19 zeigt ein Blockschaltbild, das den Aufbau eines Bilderfassungssystems gemäß dem dritten Ausführungsbeispiel darstellt. Bei dem dritten Ausführungsbeispiel werden wie bei dem ersten Ausführungsbeispiel zwei Bilder, das heißt ein Objektbild und ein das Objekt ausschließendes Hintergrundbild, als eingegebene Bilder verwendet.
Eine Bilderfassungsvorrichtung 1 umfasst als ihre Hauptbestandteile eine Bilderzeugungsoptik 1a mit einer Linse bzw. einem Objektiv, einer Blende und einer Objektivantriebssteuereinrichtung 1e, einen Bildsensor 1b, eine Bildsignalverarbeitungseinrichtung (die eine Gammakennliniensteuerung, eine Weißabgleichssteuerung, eine Belichtungsbedingungssteuerung, eine Fokussierungskennliniensteuerung und dergleichen durchführt) 1c, eine Bildaufzeichnungseinrichtung 1d, eine Schnittstelleneinheit 1f und dergleichen.
Eine Extraktionsvorrichtung 2 umfasst einen Bildspeicher 3 einschließlich Speichern 3a und 3b, eine Anfangsmaskenbereichsextraktionseinrichtung 5 zum Extrahieren des Prototyps einer zum Extrahieren des Objektbereichs verwendeten Maske, ein Wachstumsmodul 6 zum Wachsenlassen eines Anfangsmaskenbereichs und eine Objektbildausgabeeinheit 8 zum Ausgeben des unter Verwendung der gewachsenen Maske extrahierten Objektbilds. Die Extraktionsvorrichtung 2 ist mit einer Bildanzeigevorrichtung 9, einer Endvorrichtung 10 und einer Schnittstelleneinheit 11 zum Koppeln des Bildspeichers 3, der Anfangsmaskenbereichsextraktionseinrichtung 5, des Wachstumsmoduls 6, der Objektbildausgabeeinheit 8, der Endvorrichtung 10 und dergleichen miteinander und dergleichen verbunden wie bei dem ersten Ausführungsbeispiel.
20A und 20B zeigen Flussdiagramme, die die Objektextraktionsprozessprozedur gemäß dem dritten Ausführungsbeispiel darstellen.
In einem Schritt S111 werden ein Objektbild und ein Hintergrundbild von der Bilderfassungsvorrichtung 1 eingegeben. In einem Schritt S112 werden Bilddaten gemäß einem passenden Reduktionsfaktor unterabgetastet, um die Verarbeitungsgeschwindigkeit in den nachfolgenden Schritten zu erhöhen. In einem Schritt S113 wird ein Verarbeitungsbereich derart eingestellt, dass er das Objekt auf dem Objektbild enthält. Es ist zu beachten, dass der Unterabtastungsschritt in dem Schritt S112 und der Verarbeitungsbereichseinstellungsprozess in dem Schritt S113 weggelassen werden können. Die Schritte S111, S112 und S113 sind im Wesentlichen die gleichen wie die Schritte S11, S12 und S13 bei dem ersten Ausführungsbeispiel.
Das System des dritten Ausführungsbeispiels empfängt ein eingegebenes Objektbild (4A) und ein Hintergrundbild (4B) wie bei dem ersten Ausführungsbeispiel.
Geometrische Transformation
Schritte S114 und S115 sind optionale Prozesse. Genauer müssen dann, wenn eine Bilderfassung in dem in der Hand gehaltenen Zustand durchgeführt wird, ohne die Bilderfassungsvorrichtung 1 zum Beispiel an einem Stativ zu befestigen, oder die Hintergrund- und Objektbilder erfasst werden, ohne die Belichtungsbedingung und die Fokussierung automatisch einzustellen, die Positionen der Hintergrund- und Objektbilder justiert werden. In den Schritten S114 und S115 wird eine Positionsjustierung durchgeführt. Wenn die Bilderfassung nicht in dem in der Hand gehaltenen Zustand durchgeführt wird und ein Belichtungszustand und ein Fokussierungszustand festgelegt sind, sind weder eine geometrische Transformation noch eine Farbjustierung notwendig, und der Bedarf an den Schritten S114 und S115 wird vermieden.
In dem Schritt S114 werden Parameter (zum Beispiel Parameter einer affinen Transformation), die eine geometrische Transformation zum Anpassen von jeweils zwei bestimmten entsprechenden Punkten in den Objekt- und Hintergrundbildern aneinander ausdrücken, und Pegeltransformationsparameter zum Anpassen der Pegel von R-, G- und B-Komponenten extrahiert. In dem Schritt S115 werden unter Verwendung der extrahierten Parameter die Positionsjustierung (Verschiebung, Drehung und Vergrößerungswandlung) zwischen den Objekt- und Hintergrundbildern und die Pegeljustierung (Schätzung einer nichtlinearen Funktion zum Korrigieren unter Verwendung der Methode der kleinsten Quadrate oder dergleichen) der Farbkomponenten (R-, G- und B-Werte) durchgeführt.
Mit diesen Prozessen passen die Objekt- und Hintergrundbilder hinsichtlich ihrer Positionen und Farben im Wesentlichen zueinander.
Als andere Anpassungsparameter können Statistiken bzw. Kenngrößen wie beispielsweise Korrelationskoeffizienten zwischen Blöcken, von denen jeder derart definiert ist, dass er jeden Punkt als den Mittelpunkt aufweist und eine vorbestimmte Größe aufweist, der Durchschnittswert oder die Standardabweichung von Bildelementwerten in jedem Block oder dergleichen durch einen Schwellenwertprozess extrahiert werden.
Anfangskeimextraktion
Anschließend wird in Schritten S116, S117 und S118 ein Prozess zum Extrahieren eines als ein Keim eines Bereichswachstumsprozesses dienenden Anfangskeims ausgeführt.
In dem Schritt S116 wird ein Schwellenwertparameter zum Extrahieren eines Anfangskeims eingestellt. Dieser Parameter kann einen vorbestimmten Wert verwenden oder kann durch den Benutzer eingegeben werden. Wenn ein bei der Anfangskeimextraktion zu verwendender relativ großer Schwellenwert eingestellt wird, kann der Einfluss von durch ein Rauschen und Bilderfassungsbedingungsdifferenzen verursachten Variationen bei Bildelementwerten beseitigt werden, und ein leichter Schatten und dergleichen kann entfernt werden.
In dem Schritt S117 werden die Differenzen zwischen den Farbkomponenten (R-, G- und B-Werte oder Farbton, Sättigung) der Hintergrund- und Objektbilder in Einheiten von Bildelementen berechnet und werden unter Verwendung des in dem Schritt S116 bestimmten Schwellenwerts binarisiert. Dieses Binärbild (ein Bild mit allein "Nullen" und "Einsen") ist ein Anfangskeim.
21A zeigt den durch die Anfangskeimextraktion erhaltenen Maskenbereich (der Objektbereich ist durch einen schwarzen Abschnitt angegeben). Der vorstehend angeführte Prozess wird durch die Anfangsmaskenbereichsextraktionseinrichtung 5 in der in 19 gezeigten Extraktionsvorrichtung 2 ausgeführt. Statt durch die Anfangsmaskenbereichsextraktionseinrichtung 5 kann der Prozess durch ein Programm in einem Computer der Endvorrichtung 10 ausgeführt werden.
Mit den vorstehend angeführten Prozessen wird der Anfangskeim als ein Binärbild erhalten. 21A zeigt die Beziehung zwischen dem Objektbild und dem Maskenbild.
Bereichswachstum
Bei einer allgemeinen Kombination eines Hintergrunds und eines Objekts kann der Bereich des zu extrahierenden Objekts bei diesem Prozess noch nicht vollständig extrahiert werden; der Anfangskeim kann nicht direkt als die Maske verwendet werden. Genauer bleiben dann, wenn die Objekt- und Hintergrundbilder Bereiche aufweisen, in denen die R-, G- und B-Pegel oder ihre lokalen Kenngrößen (Durchschnittswerte, Standardabweichungen oder dergleichen) einander an identischen Positionen ähneln, derartige Teilbereiche nach dem Schwellenwertvergleichsprozess als nicht extrahierte Bereiche übrig. Folglich gewinnt der nachfolgende Bereichswachstumsprozess (Schritte S119 bis S125) derartige Bereiche wieder.
Bei dem Bereichswachstumsprozess wird die Ähnlichkeit von Bildmerkmalen zwischen Bildelementen (in 22 durch X angegeben) und ihren benachbarten Bildelementen (oder ihrem benachbarten Bereich) (in 22 durch ❍ angegebene Bildelemente) auf dem der Grenze der Anfangsmaske entsprechenden Objektbild berechnet, und falls die berechnete Ähnlichkeit höher als ein vorbestimmter Schwellenwert ist, werden die benachbarten Bildelemente als diejenigen in dem Objektbereich betrachtet und werden in den Maskenbereich integriert. Dieser Prozess wird durch das Anfangswachstumsmodul 6 in der in 19 gezeigten Extraktionsvorrichtung 2 ausgeführt. Statt durch das Anfangswachstumsmodul 6 kann der Prozess durch ein Programm in einem Computer der Endvorrichtung 10 ausgeführt werden.
Das Bereichswachstum des dritten Ausführungsbeispiels wird nachstehend beschrieben. Das Bereichswachstum wird basierend auf Bilddaten des Objektbilds durchgeführt.
Vor dem Bereichswachstum wird der Extraktionsprozess der Kantenintensitätsverteilung des Objektbilds in dem Schritt S119 durchgeführt. Genauer wird das Kantenbild des Objektbilds extrahiert. Das Kantenintensitätsverteilungsbild weist Abstufungswerte auf. In dem Schritt S120 wird das Kantenintensitätsbild unter Verwendung eines vorbestimmten Schwellenwerts binarisiert. Das heißt, ein Binärkantenbild wird erhalten. Das Binärkantenbild wird bei einem Einstellen einer Schwellenwertverteilung (Schritt S123; nachstehend zu beschreiben) verwendet.
In dem Schritt S121 wird zum Beschränken des Gebiets des Bereichswachstums des Anfangskeims das maximale Bereichswachstumsgebiet eingestellt. Dieses maximale Gebiet wird basierend auf Bereichsdaten (Koordinatendaten) des Anfangskeims eingestellt. Genauer ist das maximale Gebiet durch einen Satz von minimalen und maximalen Werten (..., MaxY(x_k), ..., MaxY(x_m), ..., ...MinY(x_k), ..., MinY(x_m) ...) von y-Koordinaten an den einzelnen Punkten in der horizontalen (x) Richtung des Bereichs, in dem der Anfangskeim vorhanden ist, und einen Satz von minimalen und maximalen Werten (..., MaxX(y_k), ..., MaxX(y_m), ..., ...MinX(y_k), ..., MinX(y_m) ...) von x-Koordinaten an den einzelnen Punkten in der vertikalen (y) Richtung definiert wie in 23 gezeigt.
Zum Optimieren des äußersten Umrisses kann eine Glättung (unter Verwendung eines Tiefpassfilters) durchgeführt werden. Die Glättung verwendet ein Medianfilter einer vorbestimmten Größe. Die Glättung unter Verwendung des Medianfilters kann abrupte Variationen bei dem Anfangskeim unterdrücken und kann einen glatten maximalen Wachstumsbereich grob entlang der Umrissform des Objekts bereitstellen wie in 24 gezeigt. 21A zeigt ein Beispiel für das maximale Bereichswachstumsgebiet nach dem Filterprozess.
Das Bereichswachstum eines Keims bei dem dritten Ausführungsbeispiel wird erreicht, indem ein Punkt, der sich innerhalb eines Grenzpunkts des Keims befindet und dem Grenzpunkt "ähnelt", in den Keim integriert wird. Die Ähnlichkeit zwischen den zwei Punkten wird basierend auf Helligkeits- und Farbtonähnlichkeiten zwischen Bildelementwerten eines sich auf der Grenze des Keims befindenden Bildelements (X) und seines benachbarten Bildelements (❍) bestimmt wie in 26 gezeigt. Bei dem dritten Ausführungsbeispiel wird die Ähnlichkeit basierend auf einer Absolutdifferenz ΔP zwischen den Helligkeitswerten (oder Farbtonwerten) eines Punkts auf der Grenze und des Punkts von Interesse bestimmt. Das heißt, die Absolutdifferenz ΔP wird mit einem vorbestimmten Schwellenwert δ_I (oder δ_H) verglichen, und falls die Absolutdifferenz ΔP kleiner als der Schwellenwert ist, wird es bestimmt, dass diese zwei Punkte einander "ähneln". Das heißt, falls die folgende Beziehung gilt, wird es bestimmt, dass die zwei Punkte einander ähneln: ΔPI < δI oder ΔPH < δH
Das dritte Ausführungsbeispiel ist dadurch gekennzeichnet, dass der Schwellenwert der Ähnlichkeitsbestimmung (das heißt der Differenzbestimmung) verteilt ist. In den Schritten S122 und S123 wird diese Verteilung bestimmt.
In dem Schritt S122 wird ein Anfangswert δ_I0 oder δ_H0 des zum Bestimmen der Ähnlichkeit (das heißt der Differenz) erforderlichen Schwellenwerts δ_I oder δ_H eingegeben.
In dem Schritt S123 wird der Schwellenwert auf die drei folgenden Weisen auf der Grundlage des in dem Schritt S121 bestimmten maximalen Wachstumsgebiets variabel eingestellt (wobei auch die in dem Schritt S119 erhaltene Kantenintensitätsverteilung verwendet wird wie benötigt).
Bei dem ersten Verfahren wird der auf die in dem maximalen Wachstumsgebiet enthaltenen Bildelemente des Objektbilds angewendete Schwellenwert derart eingestellt, dass er klein ist, und der Schwellenwert für Bildelemente außerhalb des Gebiets wird derart eingestellt, dass er groß ist. Genauer wird der Anfangsschwellenwert (δ_I, δ_H) als ein großer Schwellenwert verwendet, und ein Wert von 10% des Anfangsschwellenwerts wird als ein kleiner Schwellenwert verwendet. Das erste Verfahren gewichtet für Bildelemente in dem maximalen Wachstumsgebiet höher, mit anderen Worten wird die Maskenwachstumsrichtung derart eingeschränkt, dass sie sich innerhalb des maximalen Wachstumsgebiets befindet.
Bei dem zweiten Verfahren wird als die Verteilungsfunktion des Schwellenwerts eine beliebige Funktion, die abnimmt, während die Entfernung von der Grenzlinie des maximalen Wachstumsgebiets zu der Außenseite hin größer wird, verwendet. Da diese Verteilungsfunktion einen größeren Wert annimmt, während das Bildelement sich weiter von der Umrisslinie zu der Außenseite der Umrisslinie hin befindet, tendiert sie genauer dazu, ein Bereichswachstum in der Umrisslinie näheren Bereichen zu unterdrücken. Dies liegt daran, dass die Differenz ΔP des Bildelements von Interesse kleiner als der kleine Schwellenwert sein muss, um das Bildelement von Interesse in den Umriss zu integrieren, und folglich nur Bildelemente mit kleinen Differenzen ΔP in den Umriss integriert werden können.
Es ist zu beachten, dass die Verteilungsfunktion nicht kontinuierlich sein muss, sondern quantisiert sein kann. Wenn eine quantisierte Verteilungsfunktion eingestellt wird, nimmt der Schwellenwert in dem vorbestimmten Gebiet einen identischen Wert an.
Überdies kann als eine andere Verteilungsfunktion der Schwellenwert δ_I unabhängig in den vertikalen und horizontalen Richtungen (δ_Ix, δ_Iy) eingestellt werden. In diesem Fall wird innerhalb des maximalen Wachstumsgebiets δ_Iy auf einen größeren Wert eingestellt, da das Bildelement in der vertikalen (y) Richtung von der Umrisslinie entfernter ist; δ_Ix wird auf einen größeren Wert eingestellt, da das Bildelement in der horizontalen (x) Richtung von der Umrisslinie entfernter ist.
Bei dem dritten Verfahren wird die Schwellenwertverteilungsfunktion basierend auf der durch ein Binarisieren der Kantenintensitätsverteilung des Objektbilds gemäß dem vorbestimmten Schwellenwert erhaltenen Kantenverteilung in dem Bild (in dem Schritt S119 erhaltenes Binärbild) eingestellt. Genauer wird der Wert der Schwellenwertverteilungsfunktion an der Position einer Kante und ihren benachbarten Positionen auf einen kleinen Wert eingestellt. Ferner werden die Verteilungsfunktionswerte so eingestellt, dass die Funktion an der Kantenposition den kleinsten Wert annimmt und in Übereinstimmung mit der Entfernung von der Kante an der benachbarten Position der Kante leicht zunimmt. Falls zum Beispiel die Funktion an der Kantenposition einen Wert "0" annimmt, wird das Bereichswachstum in einer die Kante kreuzenden Richtung völlig verhindert. Demgegenüber kann die Verteilungsfunktion derart eingestellt werden, dass sie an der Kantenposition und ihren benachbarten Positionen einen einheitlich kleinen Wert annimmt.
27 zeigt ein Beispiel für die durch das dritte Verfahren eingestellte Verteilungsfunktion. In 27 gibt die fette durchgezogene Linie die Schwellenwertverteilung an, und die dünnen durchgezogenen Linien geben die Verteilung von Kanten an. Bei diesem Beispiel werden zwei Kanten (400, 401) detektiert. Eine Schwellenwertverteilungsfunktion 300 nimmt in der Nähe der Kanten 400 und 401 kleine Werte δ_niedrig an und nimmt größere Werte δ_hoch an, während die Bildelementposition von der Nähe der Kanten entfernter ist. Infolgedessen wird das Umrisswachstum in der Nähe der Kante unterdrückt.
Es ist zu beachten, dass die Grenzlinie des maximalen Bereichswachstumsgebiets derart auf der Anzeigevorrichtung angezeigt werden kann, dass sie dem eingegeben Bild überlagert ist, und der Benutzer basierend auf dem angezeigten Gebiet eine passende Glättungsfiltergröße einstellen kann.
Anschließend wird in dem Schritt S124 die Ähnlichkeit (Differenz) zwischen einem Bildelement auf der Umrisslinie und seinem benachbarten Bildelement bestimmt. Besonders wird es bei diesem Ausführungsbeispiel dann, wenn die Absolutdifferenzwerte |ΔP_R,G,B| von R-, G- und B-Komponenten zwischen dem Bildelement auf der Umrisslinie und seinem benachbarten Bildelement gleich einem oder kleiner als ein Schwellenwert werden oder der Absolutdifferenzwert des Farbtons gleich einem oder kleiner als ein Schwellenwert wird, in dem Schritt S125 bestimmt, dass das Bildelement auf der Umrisslinie dem benachbarten Bildelement ähnelt, und das benachbarte Bildelement wird in einen identischen Objektbereich integriert. 25A zeigt ein Beispiel für die durch das Verfahren des dritten Ausführungsbeispiels dem Bereichswachstum unterzogene Maske.
Gemäß jedem der Schwellenwerteinstellungsverfahren können eine Robustheit und eine Stabilität des Bereichswachstums mit Bezug auf den Anfangsschwellenwert (δ_I, δ_H) erreicht werden (Variationen bei der Form entlang der Umrissform des Objekts sind klein). Selbst wenn sich das maximale Wachstumsgebiet von der äußeren Umrissform des Objekts unterscheidet, können sie bei einem annähernden Einstellen des Schwellenwerts (δ_I, δ_H) grob angepasst werden.
Überdies wird ein Lochfüllungsprozess zum automatischen Füllen von Löchern mit einer vorbestimmten Größe oder weniger in den bereichsgewachsenen Maskendaten ausgeführt (Schritt S126).
Dieser Lochfüllungsprozess wird unabhängig von den Objektbilddaten, das heißt den Ähnlichkeiten, Einheitlichkeiten oder dergleichen der Bildmerkmale mit benachbarten Bereichen, durchgeführt und wird für Binärmaskendaten durchgeführt. Der infolge des vorstehend angeführten Prozesses erhaltene gewachsene Bereich wird als ein Objektextraktionsmaskenbereich verwendet, und der entsprechende Bereich wird aus dem Objektbild extrahiert (Schritt S127). Die extrahierten Bilddaten (oder eine Bilddatei) werden zu der Anzeige ausgegeben (Schritt S128), so dass der Extraktionsprozess beendet wird (siehe 25B).
<Modifikation des dritten Ausführungsbeispiels>
Die bei der Ähnlichkeitsbestimmung verwendeten Merkmale sind nicht auf die vorstehend angeführten R-, G- und B-Werte oder den Farbtonwert beschränkt. Es werden zum Beispiel vorzugsweise durch eine statistische Verarbeitung von niederwertigen Merkmalen wie beispielsweise der Sättigung erhaltene Merkmale, Merkmale einer höheren Ebene wie beispielsweise die Teilform (die Richtung des Segments) oder die lokale Raumfrequenz eines lokalen Liniensegments einschließlich einer Kante und Merkmale einer niedrigen Ebene wie beispielsweise R-, G- und B-Werte und dergleichen verwendet.
Der Integrationsprozess des Bereichswachstums ist nicht immer auf acht benachbarte Bildelemente beschränkt, sondern ein durch ein anderes Verfahren erhaltener benachbarter Bereich kann verwendet werden.
Bei dem Objektbildextraktionsprozess (Schritt S127) kann das der Maske entsprechende Objektbild nach dem Glättungsprozess oder Korrekturprozess der Grenzlinie des Maskenbereichs extrahiert werden. Der Ausgabeprozess des extrahierten Bilds (Schritt S128) wird durch die Objektbildausgabeeinheit 8 in der in 19 gezeigten Extraktionsvorrichtung 2 durchgeführt. Statt durch die Objektbildausgabeeinheit 8 kann der Prozess durch ein Programm in einem Computer der Endvorrichtung 10 ausgeführt werden.
Die Extraktionsvorrichtung 2 des dritten Ausführungsbeispiels kann zusätzlich zu dem vorstehend angeführten Hardwareaufbau durch verschiedene Formen wie beispielsweise eine durch in den Flussdiagrammen in 14 und 15 gezeigte Programme realisierte, eine durch Gatteranordnungen realisierte, eine in die Bilderfassungsvorrichtung 1 eingebaute und dergleichen realisiert werden.
Es ist zu beachten, dass die Schwellenwerte δ_I oder δ_H auf der Grundlage der Kenngrößen wie beispielsweise eines Durchschnittswerts, einer Standardabweichung oder dergleichen der den einzelnen Parametern zugeordneten Differenzen (Differenzabsolutwerte) zwischen den Hintergrund- und Objektbildern automatisch eingestellt werden können.

Claims

Bildextraktionsverfahren zum Extrahieren von Bilddaten eines Objekts aus einem ersten Bild, das sowohl einen Hintergrund als auch das zu extrahierende Objekt aufzeichnet, unter Verwendung einer Maske, dadurch gekennzeichnet, dass es umfasst: einen ersten Schritt (S18) des Erzeugens einer Anfangsmaske zum Extrahieren eines Bilds des Objekts auf der Grundlage von Differenzdaten zwischen dem ersten Bild und einem zweiten Bild, das den Hintergrund allein aufzeichnet; einen zweiten Schritt (S30; S31–S35) des Wachsenlassens eines Bereichs der erzeugten Anfangsmaske auf der Grundlage einer Ähnlichkeit zwischen einem Merkmal eines ersten Bereichs des ersten Bilds entsprechend der Anfangsmaske und einem Merkmal eines zweiten Bereichs in der Nähe des ersten Bereichs; und einen dritten Schritt (S50) des Extrahierens der Bilddaten des Objekts aus dem ersten Bild auf der Grundlage des gewachsenen Maskenbereichs.
Verfahren nach Anspruch 1, wobei der erste Schritt einen Schritt (S16) des Verwendens eines durch einen Binarisierungsprozess von eine Differenz zwischen Bilddaten des ersten und zweiten Bilds darstellenden Differenzdaten unter Verwendung eines vorbestimmten Schwellenwerts erhaltenen Binärbildbereichs als die Anfangsmaske aufweist.
Verfahren nach Anspruch 2, wobei die Differenzdaten eine Helligkeitsdifferenz zwischen dem ersten und zweiten Bild darstellen.
Verfahren nach Anspruch 2, wobei die Differenzdaten eine Farbdifferenz zwischen dem ersten und zweiten Bild darstellen.
Verfahren nach Anspruch 1, wobei der erste Schritt umfasst: einen Schritt des Erhaltens eines ersten Binärbildbereichs durch einen Binarisierungsprozess von eine Helligkeitsdifferenz zwischen dem ersten und zweiten Bild darstellenden Daten unter Verwendung eines vorbestimmten Schwellenwerts; einen Schritt des Erhaltens eines zweiten Binärbildbereichs durch einen Binarisierungsprozess von eine Farbdifferenz zwischen dem ersten und zweiten Bild darstellenden Daten unter Verwendung eines vorbestimmten Schwellenwerts; und einen Schritt des Erzeugens der Anfangsmaske durch ein Kombinieren des ersten und zweiten Binärbildbereichs.
Verfahren nach Anspruch 1, wobei der zweite Schritt einen Schritt (S32, S33) des Überprüfens basierend auf Helligkeits- und Farbtonähnlichkeiten zwischen dem ersten und zweiten Bereich, ob ein Bildelement in dem zweiten Bereich in den ersten Bereich zu integrieren ist, und Wachsenlassens des Maskenbereichs bei dem Integrieren des Bildelements aufweist.
Verfahren nach Anspruch 1, wobei der zweite Schritt (S34) umfasst: einen Schritt des jeweiligen Extrahierens eines ersten und zweiten Kantenintensitätsbilds aus dem ersten und zweiten Bild; einen Schritt des Berechnens einer Kantendichte auf der Grundlage von eine Differenz zwischen dem ersten und zweiten Kantenintensitätsbild darstellenden Daten; und einen Schritt des Unterdrückens des Wachsens der Maske, wenn die berechnete Kantendichte in einer Wachstumsrichtung nicht mehr als einen vorbestimmten Schwellenwert beträgt.
Verfahren nach Anspruch 2, wobei der erste Schritt (S15) umfasst: einen Schritt des Normalisierens der die Differenz zwischen dem ersten und zweiten Bild darstellenden Differenzdaten und Erzeugens der Anfangsmaske auf der Grundlage von normalisierten Helligkeitsdifferenzdaten.
Verfahren nach Anspruch 2, wobei der erste Schritt (S15) umfasst: einen Schritt des Extrahierens eines ersten und zweiten Kantenintensitätsbilds, die Kantenintensitäten des ersten bzw. zweiten Bilds darstellen; und einen Schritt des Normalisierens sowohl des ersten als auch des zweiten Kantenintensitätsbilds unter Verwendung eines vorbestimmten Normalisierungskoeffizienten, wenn das erste Kantenintensitätsbild ein Bild mit einer kleinen Anzahl von Kanten ist, wobei der Normalisierungskoeffizient ein maximaler Intensitätswert des ersten Kantenintensitätsbilds ist.
Verfahren nach Anspruch 2, wobei der erste Schritt (S15) umfasst: einen Schritt des Extrahierens eines ersten und zweiten Kantenintensitätsbilds, die Kantenintensitäten des ersten bzw. zweiten Bilds darstellen; und einen Schritt des Normalisierens sowohl des ersten als auch des zweiten Kantenintensitätsbilds unter Verwendung eines maximalen Kantenintensitätswerts in einem Bereich vorbestimmter Größe mit einem vorbestimmten Punkt des ersten Kantenintensitätsbilds als einem Mittelpunkt, wenn das erste Kantenintensitätsbild ein Bild mit vielen Kanten ist.
Verfahren nach Anspruch 6, wobei der zweite Schritt (S32) einen Schritt des Vergleichens von Differenzen zwischen Helligkeits- und Farbtonwerten des ersten und zweiten Bereichs mit vorbestimmten Schwellenwerten und Bestimmens, dass der zweite Bereich dem ersten Bereich ähnelt, wenn die Differenzen kleiner als die vorbestimmten Schwellenwerte sind, aufweist.
Verfahren nach Anspruch 6, wobei der zweite Bereich acht benachbarte Bildelemente eines Bildelements in dem ersten Bereich aufweist.
Verfahren nach Anspruch 1, wobei der zweite Schritt ferner einen vierten Schritt des Formens einer Umrisslinie der gewachsenen Maske umfasst.
Verfahren nach Anspruch 13, wobei der vierte Schritt (S42–S44) umfasst: einen Schritt des Erfassens der Umrisslinie der gewachsenen Maske; einen Schritt des Erzeugens eines eine Differenz zwischen dem ersten und zweiten Bild darstellenden Kantenintensitätsbilds; einen Schritt des Einstellens eines Bereichs mit einer vorbestimmten Breite in einer Richtung senkrecht zu einer Ausbreitungsrichtung der Umrisslinie in dem Kantenintensitätsbild; einen Schritt des Auswählens einer Vielzahl von Bildelementen der Kantenintensitätsbilder in dem Bereich der vorbestimmten Breite als Umrisspunktkandidaten; und einen Schritt des Auswählens eines Umrisspunkts auf der Grundlage der Kontinuität zwischen einem Bildelement auf der Umrisslinie und der Vielzahl von Umrisspunktkandidaten, wodurch die Umrisslinie der Maske geformt wird.
Verfahren nach Anspruch 14, wobei die Kontinuität durch ein Untersuchen der Bildelementwertkontinuität bestimmt wird.
Verfahren nach Anspruch 14, wobei die Kontinuität durch ein Untersuchen der Formkontinuität bestimmt wird.
Verfahren nach Anspruch 14, wobei die Kontinuität durch ein Untersuchen der Kontinuität mit einem innerhalb der Umrisslinie vorhandenen Bildelement bestimmt wird.
Verfahren nach Anspruch 14, wobei die Kontinuität durch ein Gewichten und Bewerten der Bildelementwertkontinuität und der Formkontinuität bestimmt wird.
Verfahren nach Anspruch 13, wobei der vierte Schritt ferner den Schritt (S45) des Glättens der geformten Umrisslinie aufweist.
Verfahren nach Anspruch 13, wobei der vierte Schritt umfasst: den Aktivumrissformungsschritt des rekursiven Ausführens eines Prozesses zum Verformen oder Bewegen einer Umrissform der Maske zum Minimieren einer vorbestimmten Bewertungsfunktion auf der Grundlage der Anfangsmaske oder eines Umrisses der gewachsenen Maske und von Bilddaten des ersten Bilds.
Verfahren nach Anspruch 20, wobei der Aktivumrissformungsschritt (S402) umfasst: Erzeugen einer Umrisslinie durch ein Durchführen eines Aktivumrissformungsprozesses von Daten der Anfangsmaske und ein Durchführen eines Aktivumrissformungsprozesses der Bilddaten des ersten Bilds auf der Grundlage der erzeugten Umrisslinie.
Bildextraktionsvorrichtung zum Extrahieren von Bilddaten des Objekts aus einem sowohl einen Hintergrund als auch ein zu extrahierendes Objekt aufweisenden ersten Bild unter Verwendung einer Maske, dadurch gekennzeichnet, dass sie umfasst: eine Zwischenspeichereinrichtung (3a, 3b) zum Empfangen und vorübergehenden Speichern des ersten Bilds und eines zweiten Bilds, das den Hintergrund aufzeichnet; eine Anfangsmaskenerzeugungseinrichtung (5) zum Erzeugen einer Anfangsmaske eines Extraktionsbereichs auf der Grundlage von Differenzdaten zwischen dem gespeicherten ersten und zweiten Bild; eine Bereichswachstumseinrichtung (6) zum Wachsenlassen eines Bereichs der Anfangsmaske auf der Grundlage einer Merkmalsähnlichkeit mit einem benachbarten Bereich; und eine erste Bildextraktionseinrichtung (8) zum Extrahieren der Bilddaten des Objekts aus dem ersten Bild auf der Grundlage des gewachsenen Maskenbereichs.
Vorrichtung nach Anspruch 22, wobei die Anfangsmaskenerzeugungseinrichtung umfasst: eine erste Keimextraktionseinrichtung zum Extrahieren eines Farbdifferenzkeims durch ein Durchführen eines Schwellenwertprozesses einer Differenz zwischen Farbkomponenten an einzelnen Punkten des ersten und zweiten Bilds; eine zweite Keimextraktionseinrichtung zum jeweiligen Extrahieren eines ersten und zweiten Kantenintensitätsbilds aus dem ersten und zweiten Bild und Extrahieren eines Kantendifferenzkeims durch ein Durchführen eines Schwellenwertprozesses von Differenzdaten zwischen dem ersten und zweiten Kantenintensitätsbild; und eine Erzeugungseinrichtung zum Erzeugen eines Anfangskeims auf der Grundlage von Ausgaben von der ersten und zweiten Keimextraktionseinrichtung.
Vorrichtung nach Anspruch 23, wobei die erste Bildextraktionseinrichtung umfasst: eine Einrichtung zum Extrahieren von Differenzkantendaten zwischen dem ersten und zweiten Bild; und eine Einrichtung zum Formen einer Umrisslinie des Objekts auf der Grundlage der extrahierten Differenzkantendaten.
Vorrichtung nach Anspruch 24, wobei die Formungseinrichtung umfasst: eine Schwellenwertprozesseinrichtung zum Durchführen eines Schwellenwertprozesses der Differenzkantendaten oder Kantendaten des ersten Bilds; eine erste Kontinuitätsbewertungseinrichtung zum Bewerten der Formkontinuität für Kantenkandidaten, die nach dem Schwellenwertprozess übrig bleiben; eine zweite Kontinuitätsbewertungseinrichtung zum Bewerten der Kontinuität von Bildmerkmalen der Kantenkandidaten; eine Kantenauswahleinrichtung zum Auswählen eines der Kantenkandidaten auf der Grundlage von Ausgaben von der ersten und zweiten Kontinuitätsbewertungseinrichtung; und eine Glättungseinrichtung zum Glätten einer extrahierten Umrisslinie oder eines die Umrisslinie aufweisenden Korrekturmaskenbereichs.
Vorrichtung nach Anspruch 24, wobei die Bereichswachstumseinrichtung umfasst: eine Einrichtung zum Bestimmen einer Bedingung zum Unterdrücken eines Wachstumsprozesses; und eine Einrichtung zum Bestimmen einer Ähnlichkeit.
Computerprogramm zum Programmieren einer Extraktionsvorrichtung zum Ausführen aller Schritte eines Verfahrens nach einem der Ansprüche 1 bis 21.