-
Die
Erfindung betrifft eine Bildverarbeitungsvorrichtung zur Erzeugung
von Maskendaten aus Bilddaten, die zur Bildsynthese oder Farbjustierung verwendet
werden. Sie bezieht sich speziell auf eine Vorrichtung zur verteilten
Bildverarbeitung, die eine effiziente Erzeugung von Maskendaten
durch einen verteilten Prozeß in
einem Server-Client-System oder dgl. ermöglicht.
-
Durch
hochintegrierte Speichereinrichtungen und sehr schnelle Prozessoren
und durch das Aufkommen von Einrichtungen mit verbesserten Funktionen,
z.B. von hochauflösenden
Displays, Plottern, Farbdruckern und dgl. wurden in jüngerer Zeit
verschiedene Editierprozesse, wie die Synthese, Farbumwandlung und
dgl. von Farbbilddaten als sog. Desk-Top-Publishing (DTP) realisiert, wobei in
einer Datenbank gespeicherte Bilddaten mit einem einzigen Arbeitsplatzrechner
(Workstation) oder Personalcomputer verarbeitet werden können. In
diesem Fall stellt die Erzeugung von Maskendaten, die bei der Bildeditierung
zur Extrahierung eines Objekts verwendet wird, ein Problem dar;
d.h. daß man
bei der Editierung eines Bildes für die Extraktion verschiedene
Maskendaten benötigt,
die mit dem Bild abgeglichen werden. Bei der Erzeugung der Maskendaten
werden Genauigkeit, hohe Verarbeitungsgeschwindigkeit und einfache
Erzeugung durch die Bedienungsperson zu wichtigen Themen.
-
1 zeigt
einen verteilten Prozeß,
der in einem herkömmlichen
Server-Client-System abläuft und
die Erzeugung von Maskendaten zum Ziel hat. Ein Arbeitsplatzrechner 210,
der die Verarbeitungsvorrichtung bildet, ist über ein lokales Netz (LAN) 216 mit
einer Servereinheit 212 verbunden. Die Servereinheit 212 verwaltet
eine Datenbank 214, in der reale Bilddaten abgespeichert
wurden. Der Arbeitsplatzrechner 210 umfaßt einen
durch einen Prozessor realisierten Verarbeitungsabschnitt 218 zur
Maskendatenerzeugung, einen internen Speicher 220, eine Maus 222,
eine Tastatur 224, einen Rahmenspeicher 226 sowie
ein Farbdisplay 228.
-
Bisher
werden Maskendaten folgendermaßen
generiert: Wenn die Bedienungsperson des Arbeitsplatzrechners 210 die Übertragung
von Bilddaten von der Servereinheit 212 anfordert, wählt die Servereinheit 212 reale
Bilddaten aus, liest sie aus der Datenbank 214 aus und überträgt sie.
Um die realen Bilddaten direkt aus der Servereinheit 212 übertragen
zu können,
benötigt
man in diesem Fall in dem Arbeitsplatzrechner einen internen Speicher
großer Kapazität, so daß die Systemkosten
entsprechend ansteigen. Außerdem
ist die Übertragung
der Bilddaten sehr zeitaufwendig, so daß die Leistung des Systems
beein trächtigt
wird. Ferner ist die Auflösung
des Farbdisplays 228 des Arbeitsplatzrechners 210 im Vergleich
zur Auflösung
der realen Bilddaten in der Regel niedrig. Selbst wenn die realen
Bilddaten übertragen
werden, läßt sich
also nur ein Bild mit niedriger Auflösung darstellen, so daß die realen
Bilddaten insoweit nutzlos werden. Aus diesen Gründen werden zu dem Arbeitsplatzrechner 210 "ausgedünnte Daten" übertragen, die in der Servereinheit 212 durch das
Ausdünnen
der realen Bilddaten gewonnen werden. Wenn der Arbeitsplatzrechner 210 die
so übertragenen
ausgedünnten
Bilddaten empfängt,
läuft ein Prozeß ab, der
in der Verarbeitungsabschnitt 218 zur Maskendatenerzeugung
die Erzeugung der erfordeilichen Maskendaten unter Berücksichtigung
der in dem internen Speicher 220 gespeicherten ausgedünnten Bilddaten
zum Ziel hat. Dieser Prozeß zur Erzeugung
der Maskendaten wird manuell durchgeführt, indem die Außenlinie
des Objekts in Bezug auf das in dem Display 228 angezeigte
Bild Pixel für
Pixel festgelegt wird. Da dies jedoch eine große Arbeitsbelastung für die Bedienungsperson
darstellt, wurde ein Algorithmus entwickelt, bei dem eine Außenlinie
aufgesucht und automatisch Maskendaten generiert werden. Dies geschieht
durch eine Differenz-Rechenmethode, bei der die Änderung der Differenz von Grenzpixeln
benutzt wird, oder durch eine Farbmischmethode, bei der das Farbmischungsverhältnis von
einer Objektfarbe zu einer Hintergrundfarbe in einer Grenzregion
ausgewertet wird, oder durch ein ähnliches Verfahren. Wenn die
Maskendaten in dem Arbeitsplatzrechner 210 generiert werden
können, werden
sie zu der Servereinheit 212 gesendet und in der Datenbank 214 gespeichert.
-
Bei
dem bekannten Prozeß zur
Erzeugung von Maskenmustern aus solchen ausgedünnten Bilddaten treten jedoch
folgende Probleme auf: Um große
Genauigkeit zu erzielen, wird das Extrahieren des Objektbildes unter
Verwendung der Maskendaten bei der Bildsynthese oder Farbjustierung
von der Servereinheit 212 für die realen Bilddaten durchgeführt. Die zum
Extrahieren der Maskendaten verwendeten Maskendaten sind jedoch
die Daten, die aus den ausgedünnten
Bilddaten generiert wurden. Deshalb weichen die realen Bilddaten
von der Außenlinie
des Objekts ab, so daß die
Extrahierungsgenauigkeit problematisch wird. Zur Lösung dieses
Problems wurde ein Verfahren vorgeschlagen, bei dem die Maskendaten
zunächst
einem Interpolationsprozeß unterzogen
und anschließend
zur Extraktion der realen Bilddaten herangezogen werden. Die Fehler
durch die Interpolation werden jedoch nicht immer vollständig beseitigt.
Um eine hochgenaue Extraktion unter Verwendung der Maskendaten durchführen zu
können, bleibt
kein anderer Weg, als die realen Bilddaten zu dem Arbeitsplatzrechner
zu übertragen,
um die Maskendaten zu erzeugen. Dies hat zur Folge, daß die Speichergröße anwächst, daß für das Laden
und Übertragen
der Bilddaten viel Zeit beansprucht wird, die Kosten für die verteilte
Verarbeitung ansteigen und die Leistungsfähigkeit des Systems beeinträchtigt wird.
-
Aus
der
DE 39 07 874 A1 ist
ein System zur Bildverarbeitung bekannt, bei dem zwei Rechner miteinander
verbunden sind. Einer der beiden Rechner dient dabei der reinen
Bildverwaltung und Speicherung eines Verwaltungsprogramms, während sämtliche
mit dem Bild in Zusammenhang stehende Daten auf dem zweiten Rechner
abgespeichert sind. Zur Darstellung der Bilddaten werden reale Bilddaten
mit hoher Auflösung
ausgedünnt,
um eine Auflösung
des darzustellenden Bildes, welche an einen Monitor, der mit dem
zweiten Rechner verbunden ist, anzupassen. Die Verarbeitung der
Bildinformation – sowohl der
ausgedünnten
Daten als auch der hoch auflösenden
Daten – erfolgt
ausschließlich
in dem zweiten Rechner.
-
Aus
Pascal Fua and Yvan G. Leclerc „Machine Vision and Applications
(1990): Model Driven Edge Detection" ist ein Verfahren zur verbesserten Kantendetektion
bekannt. Das Verfahren verbindet photometrische und geometrische
Modelle miteinander und legt eine ursprüngliche Abschätzung der Grenze
zugrunde. Der aufgefundenen Kante wird eine Energiefunktion zugeordnet,
wobei der in Energieinhalt minimiert und so die Kante detektiert
wird.
-
Aus
der
DE 41 16 870 A1 ist
eine Bildredigiervorrichtung bekannt. Bei der Bildredigiervorrichtung
wird unter Verwendung von Bildinformationen mit einer reduzierten
Auflösung
eine Befehlsfolge erzeugt. Das Ergebnis dieser Befehlsfolge kann
mit einer reduzierten Auflösung
als Vorausgabebild betrachtet werden. Die so ermittelte Befehlsfolge
wird anschließend
auf die Bildinformation mit hoher Auflösung zum Erstellen eines überarbeiteten
Gesamtbilds angewendet.
-
Der
Erfindung liegt die Aufgabe zugrunde, die vorstehend aufgeführten Nachteile
und Mängel zu
beseitigen. Die Lösung
dieser Aufgabe ergibt sich aus den anliegenden Ansprüchen. So
stellt die Erfindung eine Verfahren zur verteilten Bildverarbeitung zur
Verfügung,das
es auch dann, wenn das Verarbeitungsobjekt in einem Arbeitsplatzrechner
ausgedünnte
Bilddaten sind, ermöglicht,
auf der Seite des Servers Maskenmuster mit großer Genauigkeit zu erzeugen,
die Kosten zu reduzieren und die Leistungsfähigkeit des Systems zu verbessern.
-
Das
erfindungsgemäß ausgestaltete
Verfahren zur verteilten Bildbearbeitung wird auf einem System durchgeführt, bei
dem eine Prozessoreinheit über
eine Kommunikationsleitung mit einer Bildverwaltungseinheit zur
Verwaltung einer Datenbank verbunden ist, in der reale Bilddaten
abgespeichert wurden. Und zwar wird ein Server-Client-System aufgebaut,
in dem die Bildverwaltungseinheit den Server und die Prozessoreinheit
den Client bildet. Der Client ist als Arbeitsplatzrechner mit dem
Server über
ein lokales Netz (LAN) verbunden.
-
In
einer Prozessoreinheit, die sich des Arbeitsplatzrechners bedient,
ist ein Abschnitt zur Lehrdatenerzeugung vorgesehen. Dieser erzeugt
aus den ausgedünnten
Bilddaten, die aus den in der Datenbank gespeicherten realen Bilddaten
gewonnen werden, Masken-Lehrdaten, die die Außenlinie eines Objekts kennzeichnen,
und überträgt sie zu
der den Server bildenden Bildverwaltungseinheit. In dieser befindet
sich ein Abschnitt zur Maskendatenerzeugung, der unter Verwendung
der von dem Lehrdaten-Erzeugungsabschnitt übertragenen Masken-Lehrdaten
als Referenz (Führung)
aus den realen Bilddaten in der Datenbank Maskendaten generiert,
die die Außenlinie
des Objekts kennzeichnen. Es ist vorteilhaft, wenn die aus den realen
Bilddaten abgeleiteten ausgedünnten
Bilddaten zuvor in der Datenbank abgespeichert werden.
-
Der
Lehrdaten-Erzeugungsabschnitt des Arbeitsplatzrechners kann die
Masken-Lehrdaten, die die Außenlinie
des Objekts kennzeichnen, aus den ausgedünnten Bilddaten in Abhängigkeit
von einem Befehl der Bedienungsperson erzeugen (manueller Betrieb).
Er kann die Masken-Lehrdaten, die die Außenlinie des Objekts kennzeichnen,
aus den ausgedünnten
Bilddaten jedoch auch automatisch erzeugen (vollautomatischer Betrieb).
Außerdem
kann er die Masken-Lehrdaten, die die Außenlinie des Objekts kennzeichnen,
auf der Basis der von der Bedienungsperson angegebenen Informationen über die Außenlinien
unter Berücksichtigung
der ausgedünnten
Bilddaten automatisch erzeugen (halbautomatischer Betrieb). In diesem
Zusammenhang sind die folgenden drei halbautomatischen Betriebsarten
mit Eingriff der Bedienungsperson vorgesehen:
- I.
Der Lehrdaten-Erzeugungsabschnitt detektiert einen Grenzpunkt auf
der Basis eines festgelegten Punkts, der kennzeichnend ist für einen
Ort in der Nähe
der Außenlinie
des von der Bedienungsperson bestimmten Zielobjekts, sucht von dem detektierten Grenzpunkt
aus sequentiell Grenzpunkte auf der Außenlinie und generiert so die Masken-Lehrdaten,
die für
die Außenlinie
des Objekts kennzeichnend sind.
- II. Der Lehrdaten-Erzeugungsabschnitt sucht die Innenseite der
Grenzregion, die die Außenlinie des
von der Bedienungsperson bestimmten Zielobjekts einschließt, und
generiert so die Masken-Lehrdaten, die für die Außenlinie des Objekts kennzeichnend
sind.
- III. Der Lehrdaten-Erzeugungsabschnitt detektiert die einzelnen
Grenzpunkte auf der Basis von Informationenen über mehrere designierte Punkte, die
Orte in der Nähe
des von der Bedienungsperson bestimmten Zielobjekts kennzeichnen,
sucht dann sequentiell den Grenzpunkt auf der Außenlinie nach einem Pfad, der
die Mehrzahl der detektierten Grenzpunkte verbindet, und generiert
so die Masken-Lehrdaten, die für
die Außenlinie
des Objekts kennzeichnend sind.
-
Bei
der automatischen Suche durch den Lehrdaten-Erzeugungsabschnitt
wird eine Differenz-Rechenmethode oder eine Farbmischmethode benutzt.
Bei der Differenz-Rechenmethode wird der Grenzpunkt auf der Basis
des Referenzwerts der Bilddaten im Bereich der Außenlinie
gesucht, und es werden die Masken-Lehrdaten generiert, die für die Außenlinie
des Objekts kennzeichnend sind.
-
In
der Regel wird der Punkt, an dem der Differenz-Spitzenwert gewonnen
wird, zu dem Grenzpunkt. Bei der Farbmischmethode wird das Farbmischungsverhältnis in
einem Bereich von 1 bis 0 auf der Basis der Objektfarbe und der
Hintergrundfarbe des Zielobjekts in der Grenzregion berechnet. Es wird
derjenige Grenzpunkt gesucht, an dem ein spezielles Farbmischungsverhältnis, z.B.
das Farbmischungsverhältnis
0,5, auftritt und daraus die Masken-Lehrdaten generiert, die für die Außenlinie
des Objekts kennzeichnend sind.
-
Der
Lehrdaten-Erzeugungsabschnitt überlagert
die gefundenen Masken-Lehrdaten den auf einem Display angezeigten
ausgedünnten
Bilddaten und zeigt die resultierenden überlagerten Daten an, so daß die Bedienungsperson
eine abnorme Suche überwachen
kann. Der Lehrdaten-Erzeugungsabschnitt besitzt eine Editierfunktion,
mit dem die auf dem Display angezeigten Masken-Lehrdaten durch einen
Befehl der Bedienungsperson korrigiert werden können.
-
Als
Methode zur Erzeugung der Masken-Lehrdaten ohne Benutzung der ausgedünnten Bilddaten
können
bei der vorliegenden Erfindung auch die ursprünglichen Formdaten des Zielobjekts verwendet
werden. Das heißt,
zusätzlich
zu den realen Bilddaten werden in der Datenbank zuvor eine oder
mehrere originale Formdaten gespeichert, die für die Objektform kennzeichnend
sind. Der Lehrdaten-Erzeugungsabschnitt in der Prozessoreinheit wählt die
an das Objekt angepaßten
originalen Formdaten aus, um die Außenlinie in den ausge dünnten Bilddaten
zu ermitteln, die von den realen Bilddaten in der Datenbank als
Masken-Lehrdaten
abgeleitet sind, und teilt sie der Servereinheit mit.
-
Der
Maskendaten-Erzeugungsabschnitt der Bildverwaltungseinheit generiert
die die Außenlinie des
Objekts kennzeichnenden Maskendaten aus den realen Bilddaten in
der Datenbank unter Verwendung der Masken-Lehrdaten (originale Formdaten),
die von dem Lehrdaten-Erzeugungsabschnitt als Referenz (Führung) übertragen
werden. Zur Auswahl der verwendeten ursprünglichen Formdaten legt der Lehrdaten-Erzeugungsabschnitt
die ausgewählten ursprünglichen
Formdaten über
die auf dem Display angezeigten ausgedünnten Bilddaten und zeigt die resultierenden überlagerten
Daten an, so daß die
Bedienungsperson die Eignung beurteilen kann.
-
Der
Maskendaten-Erzeugungsabschnitt in der den Server bildenden Bildverwaltungseinheit
generiert auf der Basis der von Seiten des Arbeitsplatzrechners übertragenen
Masken-Lehrdaten
unter Berücksichtigung
der realen Bilddaten automatisch die Maskendaten, die die Außenlinie
des Objekts kennzeichnen.
-
Bei
der Vorrichtung zur verteilten Bildbearbeitung gemäß der Erfindung
werden die ausgedünnten
Bilddaten zu dem Arbeitsplatzrechner übertragen und dort die Masken-Lehrdaten
generiert und zu dem Server rückübertragen.
Die Maskendaten werden aus den realen Bilddaten erzeugt, wobei die Masken-Lehrdaten
als Führung
benutzt werden. Deshalb sind die Prozesse, die in dem Arbeitsplatzrechner
und dem Server ablaufen, vollständig
unabhängig
voneinander, die Speicherkapazität
des Arbeitsplatzrechners wird reduziert, und die Datenübertragungszeit
wird verkürzt.
Das heißt,
da der Arbeitsplatzrechner kleine Datenmengen in Form der ausgedünnten Bilddaten
verarbeitet, kann der Datendurchsatz zu der Bedienungsperson verbessert
werden. Der Server sucht die Außenlinie
unter Benutzung der Lehrdaten als Führung und generiert die Maskendaten.
Deshalb können
die Maskendaten auch ohne direkten Eigriff der Bedienungsperson
und ohne abnorme Außenliniendetektierung
mit großer Präzision generiert
werden. Der Bildaufbau unter Verwendung der Maskendaten und die
Genauigkeit der Extrahierung bei der Farbjustierung können garantiert
werden.
-
Die
obigen und weitere Ziele, Merkmale und Vorteile der Erfindung ergeben
sich aus der folgenden ausführlichen
Beschreibung unter Bezugnahme auf die Zeichnungen.
-
1 zeigt
das Blockdiagramm eines bekannten verteilten Bildverarbeitungsprozesses,
-
2 zeigt
das Blockdiagramm einer erfindungsgemäß ausgebildeten Hardwarekonfiguration,
-
3 zeigt
ein Blockschaltbild der Verarbeitungsfunktionen gemäß der Erfindung,
-
4 zeigt
ein Flußdiagramm
von Prozessen des Arbeitsplatzrechners und der Servereinheit von 3,
-
5 zeigt
ein Flußdiagramm
für die
Bildung von Lehrdaten durch den Arbeitsplatzrechner von 3,
-
6 zeigt
ein Diagramm des in 5 dargestellten Prozesses zur
Erzeugung von Masken-Lehrdaten im vollautomatischen Betrieb,
-
7 zeigt
ein Diagramm des in 5 dargestellten Prozesses zur
Erzeugung von Masken-Lehrdaten im halbautomatischen Betrieb,
-
8 zeigt
ein Diagramm des in 5 dargestellten Prozesses zur
Erzeugung von Masken-Lehrdaten unter Verwendung der originalen Formdaten,
-
9 zeigt
ein Flußdiagramm
für eine
Prozedur zur Erzeugung von Masken-Lehrdaten im halbautomatischen Betrieb
gemäß der Erfindung,
-
10A und 10B zeigen
Diagramme für
eine Methode zur Festlegung der Außenliniendetektierung des Zielobjekts,
-
11 zeigt
ein Diagramm für
eine weitere Methode zur Festlegung der Außenliniendetektierung des Zielobjekts,
-
12 zeigt
ein Flußdiagramm
für das
erste Ausführungsbeispiel
des Prozesses zur Grenzliniendetektierung von 9,
-
13 zeigt
ein Diagramm zur Detektierung der Differenzen zwischen einem Grenzpixel
und den Detektierungspixeln in Richtung nach rechts und links,
-
14 zeigt
ein Diagramm zur Detektierung der Differenzen zwischen einem Grenzpixel
und den Detektierungspixeln in vertikaler Richtung,
-
15 zeigt
ein Diagramm zur Detektierung von Differenzen zwischen einem Grenzpixel
und den Detektierungspixeln in schräger Richtung,
-
16 zeigt
ein Diagramm für
die periphere Suche auf der Basis eines festgelegten Punktes,
-
17A und 17B zeigen
Diagramme für
die Grenzbewertung auf der Basis einer Pixeldifferenz,
-
18 zeigt
ein Diagramm zur Detektierung der Differenz zwischen den Grenzpixeln
und dem Mittelwert mehrerer periphere Pixeln,
-
19 zeigt
ein Flußdiagramm
für das
zweite Ausführungsbeispiel
der Grenzdetektierung von 9,
-
20 zeigt
ein Diagramm des Farbmischungsverhältnisses von Objektfarbe und
Hintergrundfarbe in der Grenzregion,
-
21 zeigt
ein Flußdiagramm
in dem ersten Ausführungsbeispiel
eines Prozesses zur Erzeugung von Masken-Lehrdaten durch Außenliniendetektierung
von 9,
-
22 zeigt
ein Diagramm für
das Nachfahren einer Außenlinie
auf der Basis eines festgelegten Punktes,
-
23 zeigt
ein Diagramm für
einen Suchbereich, der durch das Nachfahren der Außenlinie eingestellt
wird,
-
24 zeigt
ein Flußdiagramm
in dem zweiten Ausführungsbeispiel
des Prozesses zur Generierung von Masken-Lehrdaten durch die Außenliniendetektierung
von 9,
-
25 zeigt
ein Diagramm für
das Nachfahren der Außenlinie
durch die Festlegung mehrerer Punkte,
-
26 zeigt
ein detailliertes Programm für das
Nachfahren der Außenlinie
zwischen zwei in 25 festgelegten Punkten,
-
27 zeigt
ein Diagramm für
das Nachfahren der Außenlinie
durch die Festlegung einer Außenlinienregion,
-
28 zeigt
ein Flußdiagramm
in dem dritten Ausführungsbeispiel
des Prozesses zur Erzeugung von Masken-Lehrdaten durch die Außenliniendetektierung
von 9,
-
29 zeigt
ein Diagramm für
die Außenliniendetektierung
durch die Festlegung einer Objektfarbe und einer Hintergrundfarbe,
-
30 zeigt
ein Diagramm zum Setzen von Außenlinienpixeln
eines Bildes, das in Regionen einer Objektfarbe und einer Hintergrundfarbe
unterteilt ist,
-
31 zeigt
ein Flußdiagramm
für einen Prozeß zur Erzeugung
eines Maskenmusters unter Verwendung von realen Bilddaten auf der
Seite der Servereinheit von 4.
-
Detaillierte Beschreibung
der bevorzugten Ausführungsbeispiele
-
Aufbau und Funktionen
der Vorrichtung
-
2 zeigt
ein Ausführungsbeispiel
für die Hardwarekonfiguration
einer Vorrichtung zur verteilten Bildverarbeitung gemäß der Erfindung.
Ein Arbeitsplatzrechner 10, der als Client arbeitet, ist über ein
lokales Netzwerk (LAN) 16 mit einer Servereinheit 12 verbunden.
Der Servereinheit 12, die als Bildverwaltungseinheit dient,
ist eine Datenbank 14 zugeordnet, in der verschiedene reale
Bilddaten gespeichert wurden. Der Arbeitsplatzrechner 10 besitzt
eine CPU 44. Ein ROM 46, ein RAM 48,
ein Interface 50, an das eine Maus 22 angeschlossen
ist, ein Interface 52, an das eine Tastatur 24 angeschlossen
ist, eine Bildröhrensteuerung 54 zur
Steuerung eines Rahmenspeichers 26 und eines Farbdisplays 28 und
ein Kommunikationsinterface 56 sind mit einem internen Bus
der CPU 44 verbunden. Die Servereinheit 12 besitzt
eine CPU 58. Ein ROM 60, ein RAM 62,
ein Bildeingabeinterface 64, an die ein Bildeingabegerät 65 zur
Eingabe der realen Bilddaten angeschlossen ist, ein Eingabe/Ausgabe-Interface 66,
an das die Datenbank 14 angeschlossen ist, und ein Kommunikationsinterface 68 sind
mit einem internen Bus der CPU 58 verbunden. Das mit der
Servereinheit 12 verbundene Bildeingabegerät kann beispielsweise
ein Bildscanner oder dgl. sein. Dieser Bildscanner liest die Bildinformationen
einer Fotografie, einer Drucksache oder dgl. und generiert reale
Bilddaten als Farbsignale, z.B. als RGB-Signale, YUV-Signale oder
dgl..
-
3 zeigt
Funktionen der Vorrichtung zur verteilten Bildverarbeitung. In der
für die
Servereinheit 12 vorgesehenen Datenbank 14 wurden
reale Bilddaten 34 gespeichert. Diese realen Bilddaten 34 haben
hohe Auflösung,
die durch die Leistungsfähigkeit
des Bildeingabegeräts 65 bestimmt
wird, das z.B. der Bildscanner von 2 sein kann.
Die Auflösung der
realen Bilddaten beträgt
beispielsweise 400 dpi. Die Wiedergabeauflösung des für den Arbeitsplatzrechner 10 vorgesehenen
Farbdisplays 28 ist andererseits auf 200 dpi eingestellt
und ist damit halb so groß wie
die Auflösung
der realen Bilddaten. In der Datenbank 14 wurden ausgedünnte Bilddaten 36-1 gespeichert,
die durch eine Ausdünnung
der realen Bilddaten 34 gewonnen wurden. Wenn beispielsweise
davon ausgegangen wird, daß die
realen Bilddaten 34 eine Auflösung von 400 dpi haben, werden
die Daten Pixel für
Pixel ausgedünnt,
so daß man
ausgedünnte
Bilddaten 36-1 mit 200 dpi gewinnt. Außerdem wurden in der Datenbank 14 originale
Formdaten 38 gespeichert, die direkt ausgewählt und
als Masken-Lehrdaten verwendet werden können. Die originalen Formdaten 38 sind
dreidimensionale Daten, die für
eine Außenlinie
eines Objektbilds kennzeichnend sind, die als Extraktionsziel in
den realen Bilddaten 34 enthalten sind. Die Position und
die Größe (Vergrößerung,
Verkleinerung) der originalen Formdaten 38 kann durch einen
dreidimensionalen Koordinatenumwandlungsprozeß geändert werden, so daß Basisdaten
abgeleitet werden, die an das in den realen Bilddaten 34 enthaltene
Objekt angepaßt sind.
Schließlich
werden in der Datenbank 14 auch Maskendaten 42 gespeichert,
die zuletzt von der Servereinheit 12 generiert werden.
-
In
dem Arbeitsplatzrechner 10 ist die Funktion eines Verarbeitungsabschnitts 18 zur
Erzeugung von Lehrdaten durch eine Programmsteuerung mit Hilfe der
CPU 44 in 2 realisiert. In Abhängigkeit von
einem Befehl der Bedienungsperson, den diese über die Maus 22 oder
die Tastatur 24 eingibt, fordert der Verarbeitungsabschnitt 18 zur
Erzeugung der Lehrdaten die Servereinheit 12 zur Übertragung
der ausgedünnten
Bilddaten zur Erzeugung von Maskendaten auf. Dadurch können die übertragenen
ausgedünnten
Bilddaten 36-2 in einem internen Speicher 20 gespeichert
werden. Wenn die ausgedünnten Bilddaten 36-2 abgeleitet
sind, überträgt der Verarbeitungsabschnitt 18 zur
Erzeugung der Lehrdaten die ausgedünnten Bilddaten 36-2 in
den Rahmenspeicher 26 und zeigt sie auf dem Farbdisplay 28 an. In
diesem Stadium führt
der Verarbeitungsabschnitt 18 zur Erzeugung von Lehrdaten
einen Prozeß zur Generierung
von Masken-Lehrdaten aus. Es sind die folgenden vier Betriebsarten
für den
Prozeß zur
Erzeugung der Masken-Lehrdaten durch die Verarbeitungseinheit 18 zur
Bildung von Lehrdaten vorgesehen.
Betriebsart 1: vollständig manuell
Betriebsart
2: vollautomatisch
Betriebsart 3: halbautomatisch
Betriebsart
4: Bestimmung der Form.
-
Nach
Beendigung des Generierungsprozesses in der Verarbeitungseinheit 18 zur
Erzeugung von Lehrdaten befinden sich in dem internen Speicher 20 Masken-Lehrdaten 40-1.
Diese Masken-Lehrdaten 40-1 werden der Servereinheit 12 zugeführt. Damit
wird ein Prozeß zur
Erzeugung von Maskendaten angefordert.
-
In
der Servereinheit 12 ist ein Verarbeitungsabschnitt 30 zur
Erzeugung von Maskendaten vorgesehen. Es handelt sich um eine Funktion,
die durch eine Programmsteuerung CPU 58 in 2 realisiert ist.
Dieser Verarbeitungsabschnitt 30 zur Erzeugung von Maskendaten
führt nach
Maßgabe
einer aus dem Arbeitsplatzrechner 10 kommenden Anforderung
zur Übertragung
der ausgedünnten
Bilddaten eine Datenübertragung
aus sowie einen Prozeß zur
Erzeugung von Maskendaten auf der Basis der Masken-Lehrdaten 40-2,
die aus dem Arbeitsplatzrechner 10 in einen internen Speicher 32 übertragen
werden. Bei der von dem Verarbeitungsabschnitt 30 zur Erzeugung
von Maskendaten durchgeführten
Maskendatengenerierung wird automatisch eine Außenlinie des Zielobjekts gesucht,
und die Maskendaten 42 werden unter Benutzung der von dem
Arbeitsplatzrechner 10 übertragenen
Masken-Lehrdaten 40-2 aus
dem internen Speicher 32 als Führung aus den realen Bilddaten 34 in
der Datenbank 14 generiert. Bei der Erzeugung der Masken-Lehrdaten
unter Benutzung der originalen Formdaten 38 in der Datenbank 14 werden
zusätzlich
zu den ausgedünnten Bilddaten 36-2 die
originalen Formdaten 38 in den Arbeitsplatzrechner 10 übertragen,
und die Bedienungsperson wählt
mehrere der originalen Formdaten aus und überlagert sie den auf dem Farbdisplay 28 angezeigten
ausgedünnten
Bilddaten, so daß das resultierende Überlagerungsbild
angezeigt wird. Die an das Zielobjekt angepaßten originalen Formdaten zur
Bildung eines Maskenmusters werden in diesem überlagerten Anzeigezustand
als Masken-Lehrdaten 40-1 ausgewählt.
-
Erzeugung
der Masken-Lehrdaten durch verteilte Prozesse
-
4 zeigt
verteilte Bildverarbeitungsprozesse in dem Arbeitsplatzrechner 10 und
der Servereinheit 12 in 3. Zunächst fordert
der Arbeitsplatzrechner 10 in dem Schritt S1 die Servereinheit 12 zur Übertragung
der ausgedünnten
Daten als Verarbeitungsziel auf. Wenn die Servereinheit 12 die Übertragungsanforderung
empfängt,
liest sie die ausgedünnten
Bilddaten aus der Datenbank 14 aus und überträgt sie in dem Schritt S101
zu dem Arbeitsplatzrechner 10. Wenn der Arbeitsplatzrechner 10 die von
der Servereinheit 12 übertragenen
ausgedünnten
Bilddaten empfängt,
führt er
in dem Schritt S2 den Prozeß zur
Erzeugung der Lehrdaten unter Verwendung der in dem internen Speicher 20 gespeicherten ausgedünnten Bilddaten
aus. Nach der Erzeugung der Lehrdaten werden diese zu der Servereinheit
zurückübertragen,
und in dem Schritt S3 wird die Bildung der Maskendaten angefordert.
Wenn die Servereinheit 12 die von dem Arbeitsplatzrechner 10 übertragenen
Lehrdaten und die Anforderung zur Erzeugung der Maskendaten empfängt, generiert
sie in dem Schritt S102 die Maskendaten aus den realen Bilddaten,
wobei die Lehrdaten als Führung
verwendet werden.
-
5 zeigt
die Einzelheiten des in dem Schritt S2 in 4 dargestellten
Prozesses zur Erzeugung der Lehrdaten unter Verwendung der ausgedünnten Bilddaten,
der in dem Arbeitsplatzrechner 10 abläuft. Zunächst werden in dem Schritt
S1 die ausgedünnten
Bilddaten aus dem internen Speicher ausgelesen und in dem Rahmenspeicher 26 abgelegt,
so daß die
ausgedünnten
Bilddaten auf dem Farbdisplay 28 wiedergegeben werden können. In dem
Schritt S2 wird geprüft,
ob ein Betriebsmodus festgelegt wurde oder nicht, in dem dargestellten Ausführungsbeispiel
kann als Betriebsmodus entweder die Betriebsart 1 (vollständig manuell),
die Betriebsart 2 (vollautomatisch), die Betriebsart 3 (halbautomatisch)
oder die Betriebsart 4 (Festlegung der Form) ausgewählt werden.
-
Wenn
die Bedienungsperson die Betriebsart 1 (vollständig manuell)
auswählt,
folgt der Schritt S3. Die Bedienungsperson benutzt die Maus 22 oder
die Tastatur 24, um die Außenlinienpixel des Objekts festzulegen,
mit dem Ziel, die Lehrdaten in Verbindung mit dem auf dem Farbdisplay 28 wiedergegebenen
ausgedünnten
Bild pixelweise zu erzeugen. Auf diese Weise werden die Lehrdaten
gebildet. Wenn die Bedienungsperson die Betriebsart 2 (vollautomatisch)
auswählt,
folgt der Schritt S4. Die Außenlinienpixel
werden automatisch extrahiert und die Lehrdaten generiert. Als Methode
zur automatischen Detektierung der Außenlinienpixel benutzt man
entweder ein Verfahren, bei dem die Differenz der Pixelwerte in dem
Grenzabschnitt berechnet und die Position, an der die Differenz
einen Spitzenwert hat, als Außenlinienpunkt
gesetzt wird, oder ein Farbmischverfahren, bei dem das Farbmischungsverhältnis zwischen
einer Objektfarbe und einer Hintergrundfarbe in einem Bereich von
1 bis 0 in der Grenzregion berechnet und beispielsweise das Pixel
mit dem Farbmischungsverhältnis
0,5 als Außenlinienpixel
gesetzt wird. Wenn die Bedienungsperson die Betriebsart 3 (halbautomatischer
Betrieb) wählt,
werden die Außenlinienpixel
nach grober Festlegung der Außenlinie
durch die Bedienungsperson automatisch extrahiert und dadurch Lehrdaten
generiert. Die Erzeugung der Lehrdaten unter Verwendung der Grobfestlegung durch die
Bedienungsperson in der Betriebsart 3 (halbautomatisch)
wird weiter unten anhand von 9 bis 30 ausführlicher
erläutert.
-
Wenn
die Bedienungsperson die Betriebsart 4 (Festlegung der
Form) wählt,
folgt der Schritt S6 und die von der Bedienungsperson Mit Hilfe
des Farbdisplays 28 ausgewählte originale Form wird auf die
Lehrdaten ausgerichtet.
-
6 veranschaulicht
die Erzeugung der Lehrdaten in der Betriebsart 2 (vollautomatisch)
von 5 und den Prozeß zur Erzeugung von Maskendaten
unter Verwendung der so erzeugten Lehrdaten. Die Servereinheit 12,
die von dem Arbeitsplatzrechner 10 die Übertragungsanforderung auf
der Basis des von der Bedienungsperson eingegebenen Befehls empfangen
hat, liest die ausgedünnten
Bilddaten 36-1 aus der Datenbank 14 aus, wie dies
in (1) dargestellt ist, und speichert sie als ausgedünnte Bilddaten 36-2 in
dem internen Speicher 20 des Arbeitsplatzrechners 10.
Die ausgedünnten
Bilddaten 36-2 werden in dem Rahmenspeicher 26 abgelegt
und auf dem Farbdisplay 28 angezeigt. Anschließend wird
der Verarbeitungsabschnitt 18 zur Erzeugung der Lehrdaten
aktiviert und führt
an den ausgedünnten
Bilddaten 36-2 in dem internen Speicher 20 automatisch
ein Nachfahren der Außenlinie
durch und generiert dadurch die Masken-Lehrdaten. In diesem Beispiel
werden die Masken-Lehrdaten, die in diesem Schritt des automatischen
Nachfahrens gewonnen wurden, auf dem Farbdisplay 28 in
Echtzeit angezeigt. Die Bedienungsperson überwacht die angezeigten Daten.
Wenn eine Anormität
auftritt, werden die Daten korrigiert, indem die Bedienungsperson
die Maus 22 oder die Tastatur 24 betätigt, wie dies
in (4) dargestellt ist. Die zuletzt generierten Masken-Lehrdaten 40-1 werden
in dem internen Speicher 20 gespeichert, wie dies in (5)
dargestellt ist, und außerdem
in den internen Speicher 32 der Servereinheit 12 übertragen,
wie dies in (6) dargestellt ist. Der Verarbeitungsabschnitt 30 zur
Erzeugung der Maskendaten in der Servereinheit 12, die
die übertragenen
Masken-Lehrdaten 40-2 in dem internen Speicher 32 aufgenommen
hat, liest diese Masken-Lehrdaten 40-2 aus, wie dies in
(7) dargestellt ist. Gleichzeitig liest der Verarbeitungsabschnitt 30 zur
Erzeugung der Maskendaten die realen Bilddaten 34, wie
in (8) dargestellt, aus der Datenbank 14 aus
und generiert Maskendaten 42 durch Aufsuchen der Außenlinie
der realen Bilddaten 34, wobei die Masken-Lehrdaten 40-2 als
Führung
benutzt werden. Die Maskendaten 42 werden in der Datenbank 14 gespeichert,
wie dies in (2) dargestellt ist.
-
7 zeigt
einen Prozeß zur
Erzeugung der Lehrdaten in der in 5 dargestellten
Betriebsart 3 (halbautomatisch). Bei der Erzeugung der
Masken-Lehrdaten in der halbautomatischen Betriebsart werden die
ausgedünnten
Bilddaten, die aus der Datenbank 14 in den in internen
Speicher 20 des Arbeitsplatzrechners 10 übertragen
wurden, in dem Rahmenspeicher 26 abgebildet. Anschließend werden
die ausgedünnten
Bilddaten auf dem Farbdisplay 28 angezeigt. Die Bedienungsperson
veranlaßt in
diesem Stadium den Verarbeitungsab schnitt 18 zur Erzeugung
der Lehrdaten mit Hilfe der Maus 22 oder der Tastatur 24 dazu,
die Außenlinie
grob festzulegen. Zu diesem Zweck legt die Bedienungsperson beispielsweise
Punkte auf der Außenlinie
fest, die auf dem Monitorbildschirm 70 des Farbdisplays 28 als
schwarze Punkte dargestellt sind. Wenn die Bedienungsperson die
Grobfestlegung beendet hat, sucht der Verarbeitungsabschnitt 18 zur
Erzeugung der Lehrdaten automatisch die Außenlinie, wobei sie die von
der Bedienungsperson festgelegte Information als Führung benutzt,
und generiert dadurch die Masken-Lehrdaten 40-1. Die Erzeugung
der Maskendaten in der Servereinheit 12 nach der Erzeugung der
Masken-Lehrdaten 40-1 verläuft ähnlich wie in dem Fall von 6.
-
8 zeigt
einen Prozeß zur
Erzeugung von Lehrdaten durch Festlegen der Form in der Betriebsart 4 von 5.
Anstelle der ausgedünnten
Bilddaten wurden in der Datenbank 14 originale Formdaten 38-1 gespeichert.
Diese originalen Formdaten 38-1 in der Datenbank 14 werden
nach Anforderung aus dem Arbeitsplatzrechner 10 auf der
Basis eines Befehls der Bedienungsperson als originale Formdaten 38-2 in
den internen Speicher 20 übertragen und in dem Rahmenspeicher 26 abgelegt.
Die originalen Formdaten werden in der dargestellten Weise auf dem
Monitorbildschirm 70 des Farbdisplays 28 angezeigt.
Es sind mehrere originale Formdaten 38-2 vorbereitet. Auf
einen Befehl der Bedienungsperson hin zeigt der Abschnitt 18 zur
Erzeugung der Lehrdaten selektiv verschiedene originale Formdaten
auf dem Farbdisplay 28 an. Wenn bei einer solchen selektiven Anzeige
der originalen Formdaten die passende originale Form gefunden ist,
legt die Bedienungsperson diese Form fest. Die so festgelegten originalen
Formdaten 38-2 werden zu der Servereinheit 12 übertragen
und bilden dort die Masken-Lehrdaten 40. Der Verarbeitungsabschnitt 30 zur
Erzeugung der Maskendaten in der Servereinheit 12 verwendet
die Masken-Lehrdaten 40 als originale Formdaten, benutzt sie
bei der Erzeugung der Maskenbilddaten 42 aus den realen
Bilddaten 34 als Führung
und speichert sie in der Datenbank 14.
-
Bei
dem Ausführungsbeispiel
von 8 wurden nur die originalen Formdaten 38-2 zu
dem Arbeitsplatzrechner 10 übertragen. Um die Vereinbarkeit
mit den Bilddaten auf dem Farbdisplay 28 beurteilen zu
können,
ist es jedoch vorteilhaft, in der Weise vorzugehen, daß zunächst in
der Datenbank 14 ausgedünnte
Bilddaten vorbereitet und dann zusammen mit den originalen Formdaten
zu dem Arbeitsplatzrechner 10 übertragen werden. Die originalen Formdaten
werden dem ausgedünnten
Bild auf dem Farbdisplay 28 selektiv überlagert und dann die resultierenden überlagerten
Bilddaten angezeigt. Dadurch können
in dem ausgedünnten
Bild diejenigen originalen Formdaten zur Erzeugung des Maskenmusters
ausgewählt
werden, die am besten an das Zielobjekt angepaßt sind. Wenn man für den Arbeitsplatzrechner 10 eine
Koordinatenumwandlungsfunktion zur Änderung des Abbildungsverhältnisses
oder der Position der originalen Formdaten bereitstellt, können die
originalen Formdaten außerdem
dynamisch für
das Zielobjekt eingestellt werden.
-
Prozeß zur Erzeugung
von Masken-Lehrdaten im halbautomatischen Betrieb
-
Das
Flußdiagramm
von 9 zeigt einen Prozeß zur Erzeugung der Masken-Lehrdaten
in der halbautomatischen Betriebsart durch die in 5 dargestellte
Festlegung durch die Bedienungsperson. Zunächst wird in dem Schritt S1
zur Anzeige eines auf den ausgedünnten
Bilddaten basierenden Bildes auf dem Monitorbildschirm eine Position
in der Nähe
der Außenlinie
des Objekts als Ziel der Außenlinien-Detektierung
eingegeben. In diesem Beispiel legt die Bedienungsperson eine solche
Position mit Hilfe der Maus oder dgl. oder durch automatisches Detektieren
der Position in der Nähe
der Außenlinie fest.
Bei dem Verfahren zur automatischen Detektierung der Position in
der Nähe
der Außenlinie,
z.B. im Falle des kontinuierlichen Detektierens des gleichen Objekts
in mehreren Bildern, wie z.B. der Außenlinie eines Automobils,
verwendet man die Position in der Nähe der Außenlinie unter Benutzung der
Kenntnis über
einen Wagen, d.h. der Form oder Position oder dgl. in der Figur.
Anschließend
wird der Grenzpunkt zwischen dem Objekt in der Nähe der festgelegten Position
und dem Hintergrund auf der Basis der in dem Schritt S1 festgelegten
Position detektiert. In dem Schritt S3 werden auf der Basis des
detektierten Grenzpunkts alle Grenzpunkte um das Objekt herum detektiert
und damit die Masken-Lehrdaten generiert, die durch die Grenzpunkte über die
gesamte Peripherie gegeben sind.
-
10A zeigt ein Verfahren zur Bestimmung der Position
in der Nähe
der Außenlinie
des Zielobjekts in dem Schritt S1 in 9. Auf dem
Monitorbildschirm 70 ist ein Automobil 75 als
Objekt und Ziel der Außenliniendetektierung
angezeigt. Wenn die Außenlinie
des Objekts 75 detektiert wird, wird der Außenlinienabschnitt
des Objekts 75 als designierter Punkt 72 festgelegt.
Bei der Festlegung der Außenlinie
ist es nicht notwendig, den Punkt genau auf die Außenlinie
zu legen. Wie 10B zeigt, genügt es, einen
Ort in der Nähe
einer Außenlinie 76 als festgelegten
Punkt 72 zu bestimmen. Der genaue Grenzpunkt auf der Außenlinie
wird in dem Verarbeitungsschritt S2 von 9 detektiert.
In 10B befindet sich der designierte Punkt 72 im
Bereich des Hintergrunds 78 auf der Außenseite der Außenlinie 76,
er kann jedoch auch in einem Bereich eines Objekts 80 innerhalb
Außenlinie 76 liegen.
Als Verfahren zur Bestimmung des designierten Punkts 72 der
Außenlinie 76 legt
die Bedienungsperson in einem Stadium, in dem das Bild als Detektierungsziel
auf dem Monitorbildschirm 70 angezeigt wird, wenigstens eine
Stelle in dem Bild als Ziel für
die Detektierung der Außenlinie
fest, wobei er entweder die Maus, einen Lichtgriffel oder einen
Digitalisierer benutzt.
-
11 zeigt
ein weiteres Verfahren zur Bestimmung des Zielobjekts der Außenlinien-Detektierung
in dem Schritt S1 von 9. Dieses Verfahren ist dadurch
gekennzeichnet, daß für die Festlegung des
Punkts in 10 eine Region bestimmt
wird. In einem Stadium, in dem das Objekt als Ziel der Außenlinien-Detektierung
auf dem Monitorbildschirm angezeigt wird, fährt die Bedienungsperson mit
der Maus oder einer ähnlichen
Einrichtung der Außenlinie 76 des
Objekts nach und legt den Umfangsbereich, der die Außenlinie 76 des
Objekts enthält,
als Grenzregion 82 fest. Die genaue Detektierung der Außenlinie 76 des
Objekts auf der Basis der Einstellung der festgelegten Grenzregion 82 geschieht durch
die Grenzdetektierung in dem Schritt S2 von 9. Da die
Bedienungsperson die zu detektierende Außenlinie des Objekts, wie in 10 und 11 dargestellt,
nicht genau festlegen muß,
ist diese Arbeit vergleichsweise einfach.
-
Erstes Ausführungsbeispiel
für die
Detektierung des Grenzpunktes
-
Das
Flußdiagramm
von 12 zeigt ein erstes Ausführungsbeispiel für den Prozeß der Grenzdetektierung,
der in dem Schritt S2 von 9 ausgeführt wird.
Zunächst
werden in dem Schritt S1 die Koordinaten der von der Bedienungsperson
festgelegten Position erfaßt.
In dem Schritt S2 werden die Bilddaten mehrerer nahegelegener Pixel
gewonnen. 13 zeigt den Status mehrerer
nahegelegener Pixel, die auf der Basis des festgelegten Pixels erfaßt werden.
Für ein
Grenzpixel 84, das das aktuelle Verarbeitungsziel bildet,
werden Daten von Detektionspixeln 86 und 88 erfaßt, die
in der Hauptabtastrichtung (horizontale Richtung) von dem Grenzpixel 84 jeweils
einen Abstand von einem Pixel haben. In 14 werden
für das
Grenzpixel 84 als Zielpixel die Pixel an den Positionen,
die jeweils von dem Grenzpixel 84 in Unterabtastrichtung
(vertikale Richtung) einen Abstand von einem oder mehreren Pixeln
haben, als Detektionspixel 86 und 88 gesetzt.
Wie 15 zeigt, werden außerdem die Detektionspixel 86 und 88 in
schräger
Richtung an den Positionen gewonnen, die jeweils von dem Grenzpixel 84 als Zielpixel
einen Abstand von einem oder mehreren Pixeln haben.
-
Nachdem
die Pixeldaten als Detektionspixel erfaßt sind, die, wie in 13, 14 und 15 dargestellt,
an den Positionen, die von dem Grenzpixel 84 als Zielpixel
nach rechts, links, oben, unten und in schräger Richtung einen Abstand
von einem oder mehreren Pixeln haben, geht die Verarbeitungsroutine
zu dem Schritt S3 in 12 über. Die Differenz zwischen
den Pixeldaten in den einzelnen Richtungen wird berechnet. Anschließend wird
in dem Schritt S4 der Maximalwert unter den für die einzelnen Richtungen
berechneten Differenzen festgehalten. Falls als Bilddaten Farbdaten
verwendet werden, wird unter Benutzung einer der Farbkomponenten (R,
G, B), (Y, U, V) oder dgl. in jeder Richtung die Differenz berechnet
und der Maximalwert festgehalten. Es ist auch möglich, die Differenz für sämtliche
Farbkomponenten R, G, B, Y, U, V usw. zu berechnen und den Maximalwert
unter den berechneten Differenzen festzuhalten. Das Verfahren, bei
dem die Differenzen für
alle Farbkomponenten berechnet und ihr Maximalwert festgehalten
wird, ermöglicht
auch die Beherrschung aller möglichen
Farb- und Helligkeitsänderungen,
erfordert jedoch einen hohen Rechenaufwand, wobei allerdings auch
die Genauigkeit der Außenlinien-Detektierung
verbes sert werden kann. Durch Berechnen der Differenz in seitlicher,
vertikaler und schräger
Richtung, wie dies in 13, 14 und 15 dargestellt
ist, läßt sich
mit der Erfindung auch die in den einzelnen Richtungen vorhandene Grenze
erfassen.
-
Wenn
in dem Schritt S4 von 12 der Maximalwert der Differenzen
in mehreren Richtungen festgehalten ist, wird geprüft, ob die
Prozesse in den Schritten S2 bis S4 in Bezug auf alle Pixel in dem
zuvor in dem Schritt S5 festgelegten Suchbereich beendet sind. Solange
dies nicht der Fall ist, kehrt die Verarbeitungsroutine zu dem Schritt
S7 zurück,
und die nächsten
Koordinaten in dem Suchbereich werden detektiert. Die Prozesse von
Schritt S2 werden wiederholt. Wenn in dem Schritt S5 alle Differenzberechnungen
innerhalb des Suchbereichs beendet sind, folgt der Schritt S6, und
es werden diejenigen Koordinaten als Grenzpunkt detektiert, bei
denen die für die
Pixel in dem Suchbereich festgehaltenen Differenzen den größten Wert
haben.
-
16 zeigt
die Beziehung zwischen dem von der Bedienungsperson festgelegten
Punkt, dem Suchbereich und dem detektierten Grenzpunkt. Das heißt, wenn
die Bedienungsperson den festgelegten Punkt 72 in der Nähe einer
Grenze 94 zwischen dem Objekt 80 und dem Hintergrund 78 vorgibt,
wird um diesen festgelegten Punkt 72 herum ein beispielsweise
rechteckiger Suchbereich 90 eingestellt, der diesen Punkt
zum Zentrum hat. Für
alle Pixel innerhalb dieses Suchbereichs 90 werden die
Prozesse in den Schritten S2 bis S4 von 12 wiederholt,
und es wird schließlich
ein Grenzpunkt 92 detektiert.
-
17A und 17B zeigen
den Änderungszustand
der Bilddaten in der Grenzregion, den Änderungszustand der Differenz
und den Zustand der Grenzbewertung. Wie 17A zeigt,
geht in einer Grenzregion 96 die Farbe der Bilddaten allmählich von
der Objektfarbe 98 in die Hintergrundfarbe 100 über. Eine
solche allmähliche
Farbänderung
in der Grenzregion 96 hängt
von der Schärfe
des Kameraobjektivs, des Bildscanners oder dgl. ab, mit deren Hilfe
das Bild eingegeben wird. Für
den Vergleich der Differenzen in dem Suchbereich wird sequentiell von
einem Pixel Xo bis zu einem Pixel Xe in der Grenzregion für jedes Pixel eine Differenz
gewonnen und das Ergebnis aufgetragen, wie dies in 17B dargestellt ist. Bei einer Verteilung der
Differenzen in der Grenzregion, wie sie in 17B dargestellt
ist, wird das Pixel mit der größten Differenz
als Grenzpunkt 102 bewertet. Aus den Daten der Pixel in 17A werden bei der Berechnung der Differenz in 17B, wie in 13, 14 und 15 dargestellt,
diejenigen Pixel als Detektionspixel 86 und 88 berechnet,
die von dem als Bewertungsziel dienenden Grenzpixel 84 jeweils
einen Abstand von einem Pixel haben. Obwohl auch die dem Grenzpixel 84 benachbarten
Pixel als Detektionspixel herangezogen werden können, besteht bei den Pixeln,
deren Abstand von dem Grenzpixel etwa ein Pixel beträgt, das Problem
einer Beeinflussung durch Rauschen. Außerdem ist die Detektierung einer
Farbänderung leichter
als die Detektierung der Pixel, die den Grenzpixeln auf beiden Seiten
benachbart sind.
-
18 zeigt
ein weiteres Ausführungsbeispiel
zur Gewinnung der Bilddaten der Pixel in der Nähe des festgelegten Punktes,
der von der Bedienungsperson in dem Schritt S2 in 12 vorgegeben wird.
Als Verfahren zur Gewinnung der Bilddaten der Pixel in der Nähe des designierten
Punkts erhält
man bei diesem Ausführungsbeispiel
beispielsweise bei Detektierung in horizontaler Richtung Detektionsdaten 104 und 106 als
Mittelwerte von drei in vertikaler Richtung angeordneten Pixeln,
die rechts und links von dem Grenzpixel 84 liegen und von
diesem jeweils einen Abstand von einem Pixel haben. Die Differenzen
zwischen den Bilddaten des Grenzpixels 84 und den Detektionsdaten,
die als Mittelwerte von drei Pixeln zu beiden Seiten gewonnen werden,
werden berechnet. Durch Benutzung der Mittelwerte der Bilddaten
von jeweils drei Pixeln als Detektionspixel kann der Einfluß des Rauschens
in dem Bild reduziert und die Grenze mit größerer Genauigkeit detektiert
werden. In 18 werden die Mittelwerte der
Detektionspixel in linker und rechter Richtung als mittlere Abtastrichtung
berechnet. Bezüglich
der Unterabtastrichtung (vertikale Richtung) in 14 und
der schrägen
Richtung in 15 können jedoch auch die Durchschnittswerte
der betreffenden drei Pixel als Detektionsdaten verwendet werden.
Obwohl in 18 die Durchschnittswerte von
drei Pixeln gewonnen wurden, ist es auch möglich, die Zahl der Pixel,
die für
die Berechnung der Durchschnitte verwendet werden, zu erhöhen und
dadurch den Einfluß des
Rauschens noch weiter herabzusetzen.
-
Zweites Ausführungsbeispiel
des Grenzpunktdetektierungsprozesses
-
Das
Flußdiagramm
von 19 zeigt das zweite Ausführungsbeispiel des Grenzpunktdetektierungsprozesses
in dem Schritt S2 in 9. Dieser ist dadurch gekennzeichnet,
daß die
Grenze unter Benutzung des additiven Farbmischungverhältnisses von
Objektfarbe und Hintergrundfarbe in der Grenzregion detektiert wird.
-
In 19 werden
zunächst
in dem Schritt S1 die Koordinaten der von der Bedienungsperson festgelegten
Position detektiert. In dem Schritt S2 werden, ähnlich wie bei dem ersten Ausführungsbeispiel in 12,
die Bilddaten der nahe um das Grenzpixel herum liegenden Pixel detektiert.
In dem Schritt S3 werden die Differenzen zwischen den Grenzpixeln
in mehreren Richtungen und dem Detektionspixel berechnet. In dem
Schritt S4 wird die Richtung des Maximalwerts der Differenzen in
mehreren Richtungen detektiert. In dem Schritt S5 werden die Bilddaten des
Grenzpixels durch additive Farbmischung ausgedrückt, wobei zwei Bilddaten der
Objektfarbe auf der Objektseite und der Hintergrundfarbe auf der
Hintergrundseite verwendet werden. Es wird für jedes Pixel das Farbmischungsverhältnis gewonnen
und festgehalten. Bis zur Beendigung der Berechnung des Farbmischungsverhält nisses
für alle
Pixel in dem Suchbereich in dem Schritt S6 wird in dem Schritt S8 jeweils
das nächste
repräsentative
Pixel in dem Suchbereich detektiert, wobei die Prozesse der Schritte
S2 bis S5 wiederholt werden. Sobald die Berechnungen der Farbmischungsverhältnisse
für alle Pixel
in dem Suchbereich beendet sind, geht die Verarbeitungsroutine zu
dem Schritt S7 über,
und das Pixel mit einem vorbestimmten Verhältnis, z.B. dem dem Wert 0,5
am nächsten
liegenden Verhältnis
der additiven Farbmischung wird als Grenzpixel detektiert.
-
20 zeigt
ein Modell der additiven Farbmischung von Objektfarbe und Hintergrundfarbe
in dem zweiten Ausführungsbeispiel
der Grenzdetektierung von 19. An
der Grenze 96, an der die Farbe von der Objektfarbe in
die Hintergrundfarbe wechselt, sind die Farbe des Objekts und die
Farbe des Hintergrunds vermischt. Wenn in dem Grenzabschnitt der
Farbmischungsgrad betrachtet wird, indem das Verhältnis der
Objektfarbe auf (k) (k = 0 – 1) gesetzt
wird, verringert sich das Mischungsverhältnis 98 der Objektfarbe
linear von (k = 1) auf (k = 01, wenn das Pixel sich von der Grenze 96 aus
der Hintergrundseite nähert.
Auf der anderen Seite nimmt das Mischverhältnis 100 der Hintergrundfarbe,
das durch (1 – k)
dargestellt wird, linear von (1 – k) = 0 auf (1 – k) = 1
zu, wenn sich das Pixel von der Objektseite der Hintergrundseite
nähert.
Das Verhältnis
in der Grenzregion Das Verhältnis
in der Grenzregion läßt sich deshalb
durch folgende Gleichung ausdrücken: Grenzfarbe = (k) × (Objektfarbe) + (1 – k) × (Hintergrundfarbe).
-
Wenn
das Farbmischungsverhältnis
in dieser Weise festgelegt wird, bezeichnet der Wert (k = 0,5) des
Farbmischungsverhältnisses
das Zentrum, d.h. die Grenze 94 in der Farbmischregion,
in der Objektfarbe und Hintergrundfarbe gleiche Anteile haben. In
Bezug auf einen Wert des Farbmischungsverhältnisses, den man für Pixel
im Bereich zwischen der Hintergrundseite und der Objektseite erhält, wird deshalb
dasjenige Pixel als Grenzpixel detektiert, dessen Farbmischungsverhältnis dem
eingestellten Wert von 0,5 am nächsten
kommt, so daß auf
diese Weise die Außenlinie
des Objekts detektiert werden kann.
-
Erstes Ausführungsbeispiel
des Prozesses zur Erzeugung von Masken-Lehrdaten durch Detektierung der
Außenlinie
-
Wenn
der Grenzpunkt aus dem von der Bedienungsperson festgelegten Punkt
detektiert werden kann, wird die Außenlinie des Objekts durch
Suchen und Nachfahren der Peripherie des Objekts auf der Basis des
detektierten Grenzpunkts erfaßt
und zu den Masken-Lehrdaten abgelegt. Je nach Beschaffenheit des
Bildes müssen
verschiedene Methoden zur Detektierung der Außenlinie des Objekts, d.h.
als Verfahren zur aufeinanderfolgenden Bewertung der Grenze unterschiedliche
Methoden ausgewählt
und eingesetzt werden.
-
Die
Eigenschaften des Bildes lassen sich folgendermaßen klassifizieren:
- I. Gleichförmiger
Hintergrund und scharfe Grenzlinie.
- II. Komplexer Hintergrund und unscharfe Außenlinie.
- III. Schwierige Erkennbarkeit der Grenze zwischen Objekt und
Hintergrund wegen eines Schattens oder dgl..
-
Bei
der Erfindung wird die optimale Methode zur Detektierung der Außenlinie
des Objekts in Abhängigkeit
von den unter (I) bis (III) aufgeführten Eigenschaften des Bildes
festgelegt. Man wählt
das jeweils optimale Verfahren aus und detektiert danach die Außenlinie
des Objekts.
-
Das
Flußdiagramm
von 21 zeigt das erste Ausführungsbeispiel des erfindungsgemäßen Prozesses
zur Gewinnung der Masken-Lehrdaten durch Detektierung der Außenlinie.
Die Außenlinie des
Objekts wird auf der Basis des Grenzpunkts nachgezeichnet, der durch
den Grenzdetektierungsprozeß von 12 oder 19 gewonnen
wird. Dabei wird zunächst
in dem Schritt S1 der Grenzpunkt gewonnen und als Startpunkt zur
Verfolgung der Außenlinie
des Objekts herangezogen. In dem Schritt S2 wird ein vorbestimmter
Suchbereich um den Grenzpunkt festgesetzt. Für diesen Suchbereich wird ein
neuer Grenzpunkt detektiert, wobei die gleiche Methode angewendet
wird wie bei dem ersten Ausführungsbeispiel
zur Grenzdetektierung nach 12 oder
bei dem zweiten Ausführungsbeispiel
zur Grenzdetektierung nach 19. In
dem Schritt S4 wird geprüft,
ob der Grenzpunkt zu dem Startpunkt zurückgekehrt ist oder nicht. Danach
werden die Prozesse zur Einstellung des Suchbereichs und zur Detektierung
des Grenzpunkts in den Schritten S2 und S3 solange wiederholt, bis
der Grenzpunkt zu dem Startpunkt zurückgekehrt ist. Wenn die Verarbeitungsroutine
von dem Schritt S4 zu dem Schritt S2 zurückkehrt, wird in dem Schritt
S5 geprüft,
ob die Anzahl der Durchläufe
der Außenlinien-Detektierung zum
Einstellen des Suchbereichs und zur Detektierung des Grenzpunkts
einen vorbestimmten Wert erreicht hat oder nicht, oder es wird geprüft, ob bei
der Suche nach dem Grenzpunkt eine vorbestimmte Zeit vergangen ist
oder nicht. Wenn die Antwort JA lautet, wird die Routine auch dann
zwangsweise beendet, wenn der Grenzpunkt noch nicht zu dem Startpunkt zurückgekehrt
ist.
-
22 zeigt
ein Stadium des Prozesses von 21 zur
Detektierung der Außenlinie.
Zunächst wird
der designierte Punkt 72 als Startpunkt gesetzt. Das Einstellen
des Suchbereichs entlang der Außenlinie
des Automobils 75 für
die Außenlinien-Detektierung,
die durch Pfeile gekennzeichnet ist, die die Abtastrichtung 74 angeben,
und die Detektierung des Grenzpunkts werden wiederholt. Wenn der
Grenzpunkt zu dem als Startpunkt gesetzten festgelegten Punkt 72 zurückgekehrt
ist, ist die Reihe der Prozesse zur Grenzliniendetektierung beendet.
-
23 zeigt
eine Methode zur Einstellung des nächsten Suchbereichs nach der
Detektierung eines Punktes der Außenlinie in dem Prozeß von 21 zur
Außenlinien-Detektierung.
Durch das Setzen des Suchbereichs und die Detektierung des Grenzpunkts
werden nacheinander die Außenlinienpixel 92-1, 92-2 und 92-3 erfaßt. Anschließend wird das
Außenlinienpixel 92-3 als
Detektionspunkt benutzt und der Suchbereich eingestellt. Als Suchbereich
wird das zentrale Pixel einer in dem oberen rechten Teil der Zeichnung
herausgezogenen Referenzmaske 108 von insgesamt neun (3 × 3) Pixeln
als Außenlinienpixel 92-3 gesetzt.
Das nächste
Außenlinienpixel
wird aus den acht umgebenden Pixeln ausgewählt, die in der Zeichnung schraffiert
dargestellt sind. Da die Prozesse zur Detektierung des Außenlinienpixels 92-2 in
der linken unteren Ecke bereits beendet sind, wird das Pixel 92-2 eliminiert,
und die Außenlinienpixel
werden aus den übrigen
sieben Pixeln ausgewählt.
Als Verfahren zur Auswahl der Außenlinienpixel aus den sieben
Pixel, die um das Außenlinienpixel 92-3 angeordnet
sind und die nach dem Ausschluß des
Außenlinienpixels 92-2,
für das
die Prozesse bereits beendet wurden, noch verbleiben, wird jedes
Pixel als Außenlinienpixel
angenommen. Durch den Prozeß zur
Detektierung der Außenlinie nach 12 oder 19 werden
die Differenzen und Farbmischungsverhältnisse gewonnen. Als neues
Außenlinienpixel,
das für
die Grenzlinie kennzeichnend ist, wird das Pixel mit der größten Differenz
oder das Pixel detektiert, dessen Farbmischungsverhältnis dem
Wert 0,5 am nächsten
liegt. 23 zeigt den Fall, daß acht Pixel,
die das Außenlinienpixel
umgeben, als Suchbereich festgesetzt wurden. Es können auch
vier rechte, linke, obere und untere Pixel als Suchbereich definiert
werden.
-
Der
Grund dafür,
daß in
dem Schritt S5 in 21 der Nachführprozeß zwangsweise beendet wird,
wenn die Anzahl der Prozeßdurchläufe die
festgesetzte Zahl erreicht, oder die Verarbeitungszeit die eingestellte
Zeit erreicht hat, liegt darin, daß auch der Fall berücksichtigt
werden muß,
daß der
Suchprozeß zur
Außenliniendetektierung
in eine endlose Schleife eintritt, so daß die Proreßroutine nicht beendet wird, oder
daß der
Grenzpunkt als Ergebnis des Nachführens den Kantenbereich des
Bildes erreicht und die Verarbeitungsroutine deshalb nicht beendet
wird. Beim Nachfahren der Außenlinie
von 22 wird bei der Verarbeitung des Zweiges, in dem
die Außenlinie kreuzt,
der designierte Punkt 72 nicht auf nur einen Punkt gesetzt,
wie in dem Diagramm dargestellt, sondern auf mehrere Punkte, so
daß alle
Außenlinienpunkte,
die diesen Zweig der Außenlinie
einschließen,
gesucht werden können.
Da für
den Fall, daß der
designierte Punkt 72 auf nur einen Punkt gesetzt wird,
wenigstens zwei Außenlinienpixel
in dem Zweigabschnitt gewonnen werden, werden diese als erster Kandidat
und als zweiter Kandidat festgehalten. Der Nachführprozeß wird zunächst für das Außenlinienpixel des ersten Kandidaten
durchgeführt.
Bei der Rückkehr
zu dem Startpunkt der Nachführung
wird der Nachführprozeß von dem
verbleibenden zweiten Kandidaten aus ausgeführt.
-
Zweites Ausführungsbeispiel
des Prozesses zur Erzeugung von Masken-Lehrdaten durch Detektierung der
Außenlinie
-
Das
Flußdiagramm
von 24 zeigt das zweite Ausführungsbeispiel des Prozesses
zur Gewinnung der Masken-Lehrdaten durch Detektierung der Außenlinie
in dem Schritt S3 von 9. Das zweite Ausführungsbeispiel
ist dadurch gekennzeichnet, daß die
Außenlinie
des Objekts auf der Basis der Festlegung mehrerer Grenzpunkte abgetastet
wird. Vor dem Beginn der Außenliniendetektierung
nach dem zweiten Ausführungsbeispiel
von 24 gibt die Bedienungsperson mehrere designierte
Punkte entlang der Außenlinie
eines Bildes als Ziel der Außenlinien-Detektierung
auf dem Monitorbildschirm ein.
-
In
diesem Stadium, in dem mehrere designierte Punkte angegeben sind,
wird zunächst
in dem Schritt S1 bezüglich
eines spezifischen festgelegten Punktes der Grenzpunkt nach dem
Verfahren von 12 oder 19 gewonnen
und als Startpunkt gesetzt. In dem Schritt S2 wird der Grenzpunkt
in ähnlicher
Weise von dem nächsten
festgelegten Punkt aus detektiert. In dem Schritt S3 wird eine gerade
Linie angenommen, die zwei Grenzpunkte miteinander verbindet. Jeder
Koordinatenpunkt, der durch gleichmäßige Unterteilung solcher gerader
Linien gewonnen wird, wird als ein designierter Punkt betrachtet.
Bezüglich
der eingegebenen Punkte, die auf der geraden Linie gesetzt sind,
wird der Grenzpunkt durch das Verfahren von 12 oder 19 detektiert
und die Außenlinie
in dem Schritt S4 abgetastet. Wenn das Abtasten der Außenlinie
zwischen zwei Punkten in dem Schritt S5 beendet wird, wird in dem
Schritt S6 geprüft,
ob der Grenzpunkt zu dem Startpunkt zurückgekehrt ist oder nicht. Wenn
dies nicht der Fall ist, wird der vorige Grenzpunkt als neuer Startpunkt
gesetzt, und die Prozesse der Schritt S2 bis S5 werden wiederholt.
Bei der Rückkehr
zu dem Startpunkt ist die Prozeßserie
beendet. Das zweite Ausführungsbeispiel
des Prozesses zur Detektierung der Außenlinie von 24 betrifft
ein Verfahren, das bei einem Bild wirksam ist, bei dem die Außenlinie
nicht vorzugsweise durch Abtasten auf der Basis des Startpunkts
detektiert werden kann, wenn die Bedienungsperson nur einen einzigen Punkt
eingibt. Mit anderen Worten, bei einem Bild, dessen Begrenzung wegen
eines komplexen Hintergrundes unscharf ist, oder bei einem Bild,
bei dem der Hintergrund und die Grenzlinie im Schattenbereich des
Objekts nur schwer zu unterscheiden sind, läßt sich die genaue Außenlinie
des Objekts detektieren, wenn die Bedienungsperson mehrere Punkte
als Hilfe festlegt. Bei der Festlegung mehrerer Punkte durch die
Bedienungsperson genügt
es offensichtlich, die Punkte grob in der Nähe der Grenzlinie des Objekts
festzulegen. Der Computer detektiert dann die genaue Grenzlinie
nach dem Verfahren von 12 oder 19. Deshalb
ist der Arbeitsaufwand für
die Bedienungsperson selbst dann sehr gering und erfordert keine
Spezialkenntnisse, wenn mehrere Punkte festgelegt werden. 25 zeigt
das Verfahren zur Eingabe mehrerer designierter Punkte durch die
Bedienungsperson in dem Prozeß zur
Detektierung der Außenlinie
von 24. Die Bedienungsperson gibt entlang der auf
dem Monitorbildschirm 70 dargestellten Außenlinie
des Objekts designierte Punkte 72-1 bis 72-17 ein.
Da der designierte Punkt 72-1 als erster bestimmt wurde,
wird er als Startpunkt gesetzt, während der designierte Punkt 72-17 als
letzter gesetzt wird.
-
26 zeigt
einen Prozeß zum
Abtasten der Außenlinie
zwischen den beiden festgelegten Punkten 72-1 und 72-2 von 25.
Zunächst
wird auf der Basis des festgelegten Punktes 72-1 ein Suchbereich 90-1 bestimmt
und das Grenzpixel (Grenzpunkt) 92-1 als Startpunkt detektiert.
Mit dem an zweiter Stelle festgelegten Punkt 72-2 als Referenz wird
das Grenzpixel (Grenzpunkt) 92-2 wird detektiert. Anschließend gewinnt
man die Gleichung der geraden Linie 110, die die beiden
detektierten Grenzpixel 92-1 und 92-2 miteinander
verbindet. Man vergrößert die
X-Koordinate von dem zuvor detektierten Grenzpixel 92-1 aus
in Einerschritten und gewinnt die Y-Koordinate auf der geraden Linie 110.
Durch die gewonnenen Koordinatenwerte (X, Y) wird ein neuer designierter
Punkt 112-1 auf der geraden Linie 110 gesetzt.
In ähnlicher
Weise werden die festgelegten Punkte 112-2 und 112-3 auf
der geraden Linie 110 bis zu dem Grenzpixel 92-2 gesetzt.
Mit dem ersten festgelegten Punkt 112-1 auf der geraden
Linie 110 als Referenz wird ein Suchbereich 90-3 festgesetzt
und das Grenzpixel (Grenzpunkt) 92-3 wird durch das Verfahren
von 12 oder 19 detektiert.
In ähnlicher
Weise werden Suchbereiche 90-4 und 90-5 mit den
festgelegten Punkten 112-2 und 112-3 auf der geraden
Linie 110 als Referenz definiert und die Grenzpixel nacheinander
detektiert. Bei dem Prozeß von 26 wird
die X-Koordinate der geraden Linie 110 in Einerschritten
vergrößert, und
die festgelegten Punkte 112-1, 112-2,... werden
gesetzt. Falls die gerade Linie jedoch eine starke Neigung hat,
wird anstelle der X-Koordinate die Y-Koordinate in Einerschritten
vergrößert. Die
X-Koordinate wird dann aus der Gleichung der geraden Linie gewonnen,
und der designierte Punkt wird sequentiell gesetzt. In der obigen
Beschreibung wurde die gerade Linie auf der Basis der Grenzpixel
zweier Punkte gewonnen und das Grenzpixel zwischen zwei Punkten
detektiert. Es ist jedoch auch möglich,
auf der Basis der Grenzpixel von drei und mehr Punkten eine Kurve
zu gewinnen und das Grenzpixel zwischen zwei Punkten dieser Kurve
zu ermitteln. In diesem Fall kann die Anzahl der festgelegten Punkte
kleiner sein und dadurch der Arbeitsaufwand der Bedienungsperson
weiter reduziert werden.
-
27 zeigt
ein Verfahren zum Nachfahren der Außenlinie entsprechend der Festlegung
des Außenlinienbereichs
des Zielobjekts in 11. Eine Figurenform, die für einen
bestimmten Bereich kennzeichnend ist, z.B. ein rechteckiger Cursor 114,
der mit der Maus bewegt werden kann, wird auf dem Monitorbildschirm
so angezeigt, daß er
das Bild des Zielobjekts 80 überlappt. Die Bedienungsperson
bewegt den Cursor 114, wie in dem Diagramm dargestellt, entlang
der Außenlinie 76 des
Objekts, wobei diese Außenlinie 76 stets
im Bereich des Cursors 114 liegt. Wenn die Bedienungsperson
bei jeder Bewegung des Cursors 114 durch Anklicken der
Maus oder dgl. den Prozeß zur
Detektierung der Grenzlinie einleitet, werden die Grenzpixel 92-1, 92-2 und 92-3 sequentiell
nach dem Verfahren von 12 oder 19 detektiert.
Das Verfahren zur Detektierung der Außenlinie, bei dem der Cursor 114 entlang
der Außenlinie des
Objekts bewegt wird, ist bei einem Bild mit weniger scharfer Grenzlinie
wirksam, obwohl der Arbeitsaufwand der Bedienungsperson größer ist
als bei der Detektierung der Außenlinie
durch das Festlegen eines oder mehrerer Punkte, das Festlegen der
Farbe oder dgl.. Der Arbeitsaufwand der Bedienungsperson ist hierbei
zwar geringfügig
größer, andererseits
ermöglicht
dieses Vorgehen eine sehr genaue Detektierung der Grenzlinie.
-
Drittes Ausführungsbeispiel
des Prozesses zur Erzeugung von Masken-Lehrdaten durch Detektierung der
Außenlinie
-
Das
Flußdiagramm
von 28 veranschaulicht das dritte Ausführungsbeispiel
des Prozesses zur Gewinnung der Masken-Lehrdaten durch Detektieren
der Außenlinie
des Objekts nach 9. Dieses dritte Ausführungsbeispiel
ist dadurch gekennzeichnet, daß zwei
Punkte mit der Objektfarbe bzw. mit der Hintergrundfarbe festgelegt
werden und die Außenlinie
unter Verwendung der Differenz zwischen diesen Farben detektiert
wird. Zunächst
bestimmt die Bedienungsperson zum Zwecke der Außenlinien-Detektierung in dem
Schritt S1 einen Punkt in dem Objekt und einen Punkt in dem Hintergrund
um das Objekt und gewinnt an den festgelegten Punkten die Objektfarbe bzw.
die Hintergrundfarbe. In dem Schritt S2 wird aus den Bilddaten der
beiden in dem Schritt S1 abgeleiteten Farben, d.h. der Objektfarbe
und der Hintergrundfarbe, ein Schwellwert berechnet. In dem Schritt
S3 werden die gesamten Bilddaten unter Verwendung des berechneten
Schwellwerts in die beiden Bereiche "Objekt" und "Hintergrund" getrennt. In dem Schritt S4 wird die
Grenzlinie der beiden getrennten Bereiche als die Außenlinie
des Objekts detektiert. Als Schwellwert für die Trennung der gesamten
Bilddaten in das Objekt und den Hintergrund in dem Schritt S3 können das
additive Farbmischungsverhältnis,
der Mittelwert der beiden Bilddaten von Objekt und Hintergrund oder
dgl. verwendet werden. Ein derartiges Verfahren zur Detektierung
der Außenlinie
auf der Basis der Objektfarbe und der Hintergrundfarbe ist bei einem
Bild wirksam, bei dem sich Objektfarbe und Hintergrundfarbe klar
unterscheiden.
-
29 zeigt
ein Stadium des in 28 dargestellten Prozesses zur
Außenlinien-Detektierung. Zunächst gibt
die Bedienungsperson für
das Bild auf dem Monitorbildschirm 70 mit Hilfe der Maus
oder dgl. einen festgelegten Punkt 122 zur Gewinnung der repräsentativen
Objektfarbe und einen festgelegten Punkt 124 zur Gewinnung
der repräsentativen
Hintergrundfarbe ein. Was den Monitorbildschirm 70 betrifft,
so legt die Bedienungsperson zuvor auf der Basis der Hintergrundfarbe
und der Objektfarbe eine Zielregion für die Außenlinien-Detektierung als Bestimmungsregion 120 fest,
so daß der
Prozeß der Außenlinien-Detektierung
für einen
Teil des dargestellten Bildes durchgeführt werden kann. Nach der Angabe der
festgelegten Punkte 122 und 124 wird der Schwellwert
der Bilddaten unter Berücksichtigung
der einzelnen Farben berechnet und in Bezug auf die Bilddaten aller
Pixel in dem bestimmten Bereich 120 eine Entscheidung bezüglich Objekt
oder Hintergrund getroffen. Wenn man beispielsweise den RGB-Farbraum
als Beispiel heranzieht und annimmt, daß die Hintergrundfarbe des
festgelegten Punktes 124 auf (R0, G0, B0) und die Objektfarbe
des festgelegten Punktes 122 auf (R1, G1, B1) gesetzt sind,
erhält
man den Schwellwert als
{(R0 + R 1)/2, (G0 + G 1)/2, (B0 +
B 1)/2}.
-
Die
Bewertung bezüglich
Objekt oder Hintergrund erfolgt anhand des Schwellwerts. Man kann auch
so vorgehen, daß man
für alle
Daten jedes Pixels das additive Farbmischungsverhältnis ermittelt, wie
dies in 13 dargestellt ist. Wenn das
gewonnene Verhältnis
gleich oder größer als
ein gesetzter Wert, z.B. 0,5, ist, wird dieses als Objekt, und wenn das
Verhältnis
kleiner als 0,5 ist, dieses als Hintergrund bewertet.
-
30 zeigt
ein Verfahren zur Detektierung der Außenlinie aus dem Ergebnis der
Bewertung der Hintergrundregion und der Objektregion auf der Basis
des Schwellwerts. In diesem Fall wird das Pixel als Grenzpixel 128 bewertet,
das sich an der Position befindet, die die Pixel zweier Regionen,
d.h. ein Objektpixel 126 und ein Hintergrundpixel 130 berührt, die
getrennt waren. Die Verbindungslinie derartiger Grenzpixel 128 wird
als Außenlinie
des Objekts delektiert.
-
9 bis 30 betreffen
das Beispiel, bei dem die Masken-Lehrdaten nach der Betriebsart 3 von 5,
d.h. halbautomatisch, erzeugt werden. Die Prozesse, die eine Festlegung
durch die Bedienungsperson in der Betriebsart 3 (halbautomatisch) ausschließen, werden
in der Betriebsart 2 (vollautomatisch) ausgeführt.
-
Prozeß zur Erzeugung
von Maskendaten aus realen Bilddaten
-
Das
Flußdiagramm
von 31 veranschaulicht den Prozeß zur Erzeugung von Maskendaten, bei
dem die Server-Einheit 12 die Maskendaten aus den realen
Bilddaten erzeugt, wobei die Lehrdaten verwendet werden, die in
dem Schritt S102 von 4 von dem Arbeitsplatzrechner 10 gesendet
werden. Zunächst
werden die von dem Arbeitsplatzrechner 10 übertragenen
Masken-Lehrdaten 40-2 und die entsprechenden in der Datenbank 14 gespeicherten realen
Bilddaten 34 in dem internen Speicher 32 gespeichert.
Dies geschieht in der Server-Einheit 12 in dem Verarbeitungsabschnitt 30 zur
Maskendatenerzeugung. In dem Schritt S2 wird ein vorbestimmter Startpunkt
in Bezug auf die Masken-Lehrdaten 40-2 gesetzt. In dem
Schritt S3 wird der Suchbereich in den realen Bilddaten gesetzt.
Dies geschieht auf der Basis des gesetzten Startpunkts der Lehrdaten.
In dem Schritt S4 wird der Grenzpunkt bezüglich der realen Bilddaten
als Ziel delektiert. Wenn der Grenzpunkt bezüg lich der realen Bilddaten
detektiert werden kann, wird geprüft, ob der Grenzpunkt zu dem Startpunkt
der Lehrdaten zurückgekehrt
ist oder nicht. Wenn dies nicht der Fall ist, wird in dem Schritt S6
der nächste
Grenzpunkt der Masken-Lehrdaten gesetzt. Die Prozesse in den Schritten
S3 und S4 werden wiederholt. Das Setzen des Suchbereichs und das
Detektieren des Grenzpunktes für
die realen Bilddaten in den Schritten S3 und S4 kann nach der Methode
von 12 durch Differenzdetektierung des Suchbereichs
oder nach der Methode von 19 durch
Bewerten des Farbmischungsverhältnisses
in dem Suchbereich erfolgen. Diese Methoden können unverändert angewendet werden. Die bezüglich der
realen Bilddaten als Ziel erzeugten Maskendaten, die die Masken-Lehrdaten
in 31 als Führung
verwenden, werden in der Datenbank 14 als Maskendaten 42 gespeichert.
-
Wenn
der verteilte Prozeß so
gestaltet ist, daß die
realen Bilddaten in der Datenbank auf der Seite des Servers gespeichert
werden, und die Bedienungsperson die Erzeugung der Maskendaten auf dem
als Client betriebenen Arbeitsplatzrechner ausführt, werden auf der Seite des
Arbeitsplatzrechners erfindungsgemäß die ausgedünnten Bilddaten
verarbeitet, die durch den Prozeß der Ausdünnung der realen Bilddaten
gewonnen wurden. Deshalb kann als interner Speicher ein Speicher
mit geringer Kapazität verwendet
werden. Die für
das Laden und den Transfer der Bilddaten von dem Server benötigte Zeit
kann verkürzt
werden. Die Systemkosten können
gesenkt werden. Die Leistungsfähigkeit
des Systems in dem verteilten Prozeß kann verbessert werden.
-
In
dem Arbeitsplatzrechner braucht lediglich der Prozeß zur Gewinnung
der Masken-Lehrdaten aus den ausgedünnten Bilddaten abzulaufen.
Zur Erzeugung der genauen Maskendaten, die auf die endgültigen realen
Bilddaten Bezug nehmen, werden die Masken-Lehrdaten auf die Serverseite
gesendet, so daß der
Prozeß auf
der Seite des Servers stattfindet. Deshalb ist die Arbeitungsbelastung
auf der Seite des Arbeitsplatzrechners gering. Die hochgenauen Maskendaten,
die die Masken-Lehrdaten als Führung
verwenden, können
endgültig
aus den realen Bilddaten auf der Seite des Servers erzeugt werden. Für die Erzeugung
der Maskendaten aus den realen Bilddaten auf der Seite des Servers
gilt folgendes: Da die auf Seiten des Arbeitsplatzrechners erzeugten Masken-Lehrdaten
als Führung
verwendet werden, tritt die Situation, daß durch einen abnormen Grenzdetektierungsprozeß eine fehlerhafte
Außenlinien-Detektierung
durchgeführt
wird, selbst dann nicht auf, wenn die Bedienungsperson auf der Seite
des Servers nicht in den Prozeß eingreift.
Deshalb ist eine effiziente und hochgenaue Erzeugung der Maskendaten
aus den realen Bilddaten möglich.
-
In
den obigen Ausführungsbeispielen
wurde in dem Verarbeitungsabschnitt 18 des Arbeitsplatzrechners 10 zur
Erzeugung der Maskendaten eine der vier Betriebsarten 1 bis 4 von 5 ausgewählt und
dadurch die Gewinnung der Masken-Lehrdaten ermöglicht. Es kann jedoch auch
nur eine dieser vier Betriebsarten vorgesehen sein. Die obigen Ausführungsbeispiele
wurden für
ein Client-Server-System als Beispiel beschrieben, bei dem der Arbeitsplatzrechner 10 als
Client über
das lokale Netz (LAN) 16 mit der Server-Einheit 12 verbunden
ist, der die Datenbank 14 zugeordnet ist. Die Erfindung
ist jedoch nicht auf ein Server-Client-System beschränkt, sondern
unverändert
auch bei anderen geeigneten verteilten Systemen anwendbar, d.h.
bei Systemen, in denen die Einheit zur Verwaltung der realen Bilddaten
einerseits und die Einheit zur Erzeugung der Maskendaten durch Aufnahme
der übertragenen Bilddaten
auf der Basis der realen Bilddaten andererseits verteilt angeordnet
und über
eine Kommunikationsleitung verbunden sind.
-
Die
Kommunikationsleitung muß nicht
notwendigerweise eine Drahtleitung, z.B. ein lokales Netz (LAN)
sein. Sie umschließt
auch den Fall, daß die
Prozessoreinheit auf der Seite des Client über eine Funkverbindung angeschlossen
ist. Die Erfindung ist nicht nur bei einem Server-Client-System
anwendbar, sie kann vielmehr unverändert auch bei einem System
eingesetzt werden, bei dem der Host-Computer eine Datenbank besitzt
und der Arbeitsplatzrechner mit dem Host-Computer über die Kommunikationsleitung
verbunden ist.