DE112020005885T5

DE112020005885T5 - Bildanalyseeinrichtung, Bildanalyseverfahren und Bildanalyseprogramm

Info

Publication number: DE112020005885T5
Application number: DE112020005885.9T
Authority: DE
Inventors: Yusuke Itani
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-02-06
Filing date: 2020-02-06
Publication date: 2022-09-29
Also published as: JPWO2021157009A1; US20220335741A1; JP7004125B2; WO2021157009A1; TW202131223A; CN115004221A; KR20220112853A; TWI794605B

Abstract

Ein Zeichnungsbild entsprechend Zeichnungsdaten wird in eine Bildanalyseeinrichtung 100 eingegeben. Die Bildanalyseeinrichtung 100 umfasst eine Ähnliches-Bild-Sucheinheit 1, eine Bildkorrespondenz-Erfassungseinheit 2, eine Attribut-Ausgabeeinheit 3 und eine Wissensdatenbank 4. Die Ähnliches-Bild-Sucheinheit 1 durchsucht die Wissensdatenbank 4 nach einem Zeichnungsbild, das dem eingegebenen Zeichnungsbild ähnlich ist. Die Bildkorrespondenz-Erfassungseinheit 2 erfasst, welches von in einem Zeichnungsbild G1 gezeigten Objekten und/oder deren Komponenten mit welchen von in dem Zeichnungsbild, das durch die Ähnliches-Bild-Sucheinheit 1 abgerufen wurde, gezeigten Objekten und/oder deren Komponenten übereinstimmen. Die Attribut-Ausgabeeinheit 3 extrahiert Attributinformationen eines korrespondierenden Punktes, der durch die Bildkorrespondenz-Erfassungseinheit 2 erfasst wurde, aus der Wissensdatenbank 4, um diese als die Attributinformationen des Zeichnungsbildes G1 auszugeben.

Description

Diese Offenbarung betrifft eine Bildanalyseeinrichtung, ein Bildanalyseverfahren und ein Bildanalyseprogramm.
[Hintergrund der Technologie]
Es gibt eine herkömmliche, bekannte Technik, um Objekte, wie Maschinen oder platzierte Objekte, die in einem Zeichnungsbild, wie einem Bauplan oder einer Layout-Zeichnung, dargestellt sind, und/oder deren Komponenten Attributinformationen zuzuordnen, die deren Attribute zeigen.
Patentdokument 1 veranschaulicht beispielsweise den Fall, in dem Komponenten wie Versorgungsmasten und Versorgungszugriffsöffnungen erkannt werden, um die erkannten Komponenten Attributinformationen zuzuordnen, die ihre Eigenschaften zeigen.
[Literatur zum Stand der Technik]
[Patentdokumente]
[Patentdokument 1] Ungeprüfte veröffentlichte Patentanmeldung JP, H05-314198, A
[Kurzfassung der Erfindung]
[Durch die Erfindung zu lösende Probleme]
Die in Patentdokument 1 offenbarte Technik erfordert als eine Bedingung, dass die in dem Zeichnungsbild dargestellten Komponenten durch ihre vorherbestimmten Formen, wie Symbole, repräsentiert werden und dass ihre vorherbestimmten Formen ihren Attributinformationen in einer Eins-zu-Eins-Korrespondenz zugeordnet sind. Daher hat die in Patentdokument 1 offenbarte Technik das Problem, dass in einem Fall, in dem eine Komponente mit einer allgemeinen Form wie einem Kreis oder einem Quadrat dargestellt wird, die Attributinformationen der Komponente anhand der Form nicht eindeutig identifiziert werden können, so dass die Attributinformationen der Komponente folglich nicht ausgegeben werden können.
Die vorliegende Offenbarung dient der Lösung des oben genannten Problems und die Aufgabe besteht darin, zu ermöglichen, dass die Attributinformationen der Objekte und/oder deren Komponenten, die in Zeichnungsbildern dargestellt sind, auch dann ausgegeben werden, wenn diese mit allgemeinen Formen dargestellt sind.
[LÖSUNGEN]
Die Bildanalyseeinrichtung gemäß dieser Offenbarung ist eine Bildanalyseeinrichtung, die Attributinformationen eines eingehenden Eingabebildes ausgibt, umfassend eine Ähnliches-Bild-Sucheinheit, um in einer Wissensdatenbank, enthaltend Zeichnungsbilder und Attributinformationen, zeigend Attribute der Zeichnungsbilder, nach einem Zeichnungsbild zu suchen, das dem eingehenden Eingabebild ähnlich ist, eine Bildkorrespondenz-Erfassungseinheit, um einen Merkmalspunkt des Zeichnungsbildes, der durch die Ähnliches-Bild-Sucheinheit abgerufen wurde, einem Merkmalspunkt des Eingabebildes zuzuordnen, um den Merkmalspunkt des Zeichnungsbildes als einen korrespondierenden Punkt zu erfassen, und eine Attribut-Ausgabeeinheit, um die Attributinformationen des korrespondierenden Punktes, der durch die Bildkorrespondenz-Erfassungseinheit erfasst wurde, aus der Wissensdatenbank zu extrahieren, um diese als die Attributinformationen des Eingabebildes auszugeben.
[Wirkungen der Erfindung]
Die vorliegende Offenbarung ermöglicht es, die Attributinformationen der in einem Zeichnungsbild dargestellten Objekte und/oder deren Komponenten auch in einem Fall auszugeben, in dem diese mit allgemeinen Formen dargestellt sind.
Figurenliste

1 ist ein Blockdiagramm, das eine Konfiguration einer Bildanalyseeinrichtung gemäß Ausführungsform 1 zeigt.
2 ist ein Schaubild, das ein Beispiel eines extern eingegebenen Zeichnungsbildes zeigt.
3 ist ein Schaubild, das Beispiele von in einer Wissensdatenbank gespeicherten Zeichnungsbildern zeigt.
4 ist ein Blockdiagramm, das eine Konfiguration einer Ähnliches-Bild-Sucheinheit zeigt.
5 ist ein Schaubild, das ein Beispiel des Extrahierens von Merkmalsmengen eines Zeichnungsbildes darstellt.
6 ist ein Blockdiagramm, das eine Konfiguration einer Bildkorrespondenz-Erfassungseinheit 2 zeigt.
7 ist ein Schaubild, das Beispiele von Merkmalspunkten von Zeichnungsbildern zeigt.
8 ist ein Ablaufdiagramm, das einen Betriebsablauf der Ähnliches-Bild-Sucheinheit zeigt.
9 ist ein Ablaufdiagramm, das einen Betriebsablauf der Bildkorrespondenz-Erfassungseinheit zeigt.
10 ist ein Schaubild, das ein Beispiel für Hardware zeigt, die die Bildanalyseeinrichtung bildet.
11 ist ein Blockdiagramm, das eine Konfiguration einer Bildanalyseeinrichtung gemäß Ausführungsform 2 zeigt.
12 ist ein Blockdiagramm, das eine Konfiguration der Ähnliches-Bild-Sucheinheit zeigt.

[Ausführungsformen]
Ausführungsform 1
1 ist ein Blockdiagramm, das eine Konfiguration einer Bildanalyseeinrichtung 100 gemäß Ausführungsform 1 zeigt. Die Bildanalyseeinrichtung 100 ist eine Einrichtung, in die ein Zeichnungsbild (ein Beispiel für Eingabebilder) entsprechend Zeichnungsdaten eingegeben wird und von der Attributinformationen des eingehenden Eingabebildes ausgegeben werden. Konkret handelt es sich bei der Bildanalyseeinrichtung 100 um eine Einrichtung, die Attributinformationen von in einem Zeichnungsbild dargestellten Objekten und/oder Attributinformationen der Komponenten der darin dargestellten Objekte ausgibt. Wenn es nicht notwendig ist, die Attributinformationen von Objekten von den Attributinformationen der Komponenten der Objekte zu unterscheiden, werden diese im Folgenden einfach als Attributinformationen eines Zeichnungsbildes bezeichnet. Die ausgegebenen Attributinformationen eines Zeichnungsbildes können Texte enthalten, die nicht nur die Namen der Objekte und/oder die Namen derer Komponenten, sondern auch deren Modellnummern, das Erstellungsdatum und das Aktualisierungsdatum des Zeichnungsbildes, den Namen der Person, die das Zeichnungsbild erstellt hat, und den Projektnamen, für den das Zeichnungsbild erstellt wurde, enthalten. Darüber hinaus können die ausgegebenen Attributinformationen eines Zeichnungsbildes die Abmessungen, Materialien und/oder Gewichte der Objekte und/oder derer Komponenten enthalten.
Die Bildanalyseeinrichtung 100 umfasst eine Ähnliches-Bild-Sucheinheit 1, eine Bildkorrespondenz-Erfassungseinheit 2, eine Attribut-Ausgabeeinheit 3 und eine Wissensdatenbank 4. Die Wissensdatenbank 4 speichert Wissensdaten, enthaltend Zeichnungsbilder und Attributinformationen, die die Attribute der Zeichnungsbilder zeigen. Die Wissensdatenbank 4 kann in der Bildanalyseeinrichtung 100 enthalten sein oder kann extern verbunden sein.
2 ist ein Schaubild, das ein Beispiel eines extern eingegebenen Zeichnungsbildes zeigt. G1 ist ein Zeichnungsbild (ein Beispiel für Eingabebilder), das extern eingegeben wird. Das Zeichnungsbild zeigt die Formen, Strukturen, Anordnungen usw. der Objekte, wie Maschinen und andere platzierte Objekte, und/oder deren Komponenten. Außerdem kann das Zeichnungsbild eine Anlage, eine Fabrik oder ein Geschäft als die Objekte darstellen, um die Anordnung von Ausrüstung, Maschinen usw. darin zu zeigen. In der Beschreibung der vorliegenden Ausführungsform handelt es sich bei dem Zeichnungsbild um eine Konstruktionszeichnung für einen Aufzug. In der Beschreibung der vorliegenden Ausführungsform ist ein Aufzug das Objekt, und ein Schacht, eine Kabine, Führungsschienen, eine Steuertafel und/oder eine Leitereinrichtung des Aufzugs sind die Komponenten. Außerdem wird in der vorliegenden Ausführungsform davon ausgegangen, dass den in dem Zeichnungsbild dargestellten Objekten und/oder allen derer Komponenten keine Attributinformationen zugeordnet sind. Die Attributinformationen können jedoch einigen der Objekte und/oder deren Komponenten zugeordnet sein. Der Begriff „zugeordnet“ bedeutet hier zumindest, dass die Korrespondenz zwischen jedem der in dem Zeichnungsbild dargestellten Objekte und/oder deren Komponenten und deren Attributinformationen eindeutig dargestellt ist. Um ein konkretes Beispiel für die Darstellungsweise der Korrespondenz zwischen diesen zu geben, können die Attributinformationen von jedem der Objekte und/oder deren Komponenten, die in der Zeichnung dargestellt sind, mit Hilfe einer Führungslinie bereitgestellt werden.
3 ist ein Schaubild, das Beispiele von in der Wissensdatenbank 4 gespeicherten Zeichnungsbildern zeigt. G2 und G3 sind Zeichnungsbilder, die in der Wissensdatenbank 4 gespeichert sind. G21 bis G24 sind die in dem Zeichnungsbild G2 dargestellten Komponenten. G31 bis G34 sind die in dem Zeichnungsbild G3 dargestellten Komponenten. Es sei nun angenommen, dass ein Attribut „Schacht“ den Komponenten G21 und G31 zugeordnet ist; ein Attribut „Aufzugskabine“ den Komponenten G22 und G32 zugeordnet ist; ein Attribut „Führungsschiene“ den Komponenten G23 und G33 zugeordnet ist; ein Attribut „Steuertafel“ den Komponenten G24 zugeordnet ist; und ein Attribut „Leitereinrichtung“ den Komponenten G34 zugeordnet ist. In der vorliegenden Ausführungsform wird davon ausgegangen, dass alle in den Zeichnungsbildern dargestellten Komponenten jeweils deren Attributinformationen zugeordnet sind. Die Attributinformationen können jedoch teilweise den Komponenten zugeordnet sein. Es ist zu beachten, dass in der Wissensdatenbank 4 die Bilder, die die Objekte und/oder deren Komponenten zeigen, und deren Attributinformationen in Zuordnung zueinander gespeichert sein können.
4 ist ein Blockdiagramm, das eine Konfiguration der Ähnliches-Bild-Sucheinheit 1 zeigt. Die Ähnliches-Bild-Sucheinheit 1 umfasst Merkmalsmenge-Extrahierungseinheit 11 und eine Sucheinheit 12 und durchsucht die Wissensdatenbank 4 nach einem Zeichnungsbild, das dem eingegebenen Zeichnungsbild ähnlich ist. Die Merkmalsmenge-Extrahierungseinheit 11 extrahiert eine Merkmalsmenge des eingegebenen Zeichnungsbildes G1 unter Verwendung von Histogrammen orientierter Gradienten (HOG) oder eines Graph-Kernel-Algorithmus, um die extrahierte Merkmalsmenge an die Sucheinheit 12 auszugeben.
5 ist ein Diagramm, das ein Beispiel des Extrahierens einer Merkmalsmenge eines Zeichnungsbildes darstellt. Die Merkmalsmenge-Extrahierungseinheit 11 vergibt an jeden Scheitelpunkt der in dem Zeichnungsbild dargestellten Objekte und/oder deren Komponenten eine Kennung. Die Merkmalsmenge-Extrahierungseinheit 11 kann Nummern als Kennungen vergeben, die Merkmale eines Scheitelpunkts zeigen, wie einen an dem Scheitelpunkt gebildeten Winkel, die Länge und die Dicke des Liniensegments, das die Scheitelpunkte verbindet, wie in 5 gezeigt. In 5 werden die Kennungen nur an die Scheitelpunkte vergeben. Es ist jedoch möglich, Knoten für alle Pixel oder einen Teil der Pixel, die ein Liniensegment bilden, zu generieren, um an die Knoten Kennungen zu vergeben. Durch die Vergabe von Kennungen an viele Pixel wird es möglich, die Genauigkeit beim Spezifizieren eines Merkmals einer Komponente zu verbessern. Da jedoch die Last für nachfolgende Verarbeitung zunimmt, sollte diese je nach den Hardware-Ressourcen und so weiter festgelegt werden.
Die Beschreibung kehrt nun zu 4 zurück. Die Sucheinheit 12 berechnet die Ähnlichkeitsgrade zwischen der aus dem Zeichnungsbild G1 extrahierten Merkmalsmenge und der Merkmalsmenge, die aus jedem der in der Wissensdatenbank 4 gespeicherten Zeichnungsbildern extrahiert wurde. Die Sucheinheit 12 sortiert die in der Wissensdatenbank 4 gespeicherten Zeichnungsbilder nach den Ähnlichkeitsgraden, um die Zeichnungsbilder in der Reihenfolge des Ähnlichkeitsgrades von hoch nach niedrig an die Bildkorrespondenz-Erfassungseinheit 2 auszugeben. In der vorliegenden Ausführungsform wird davon ausgegangen, dass die Sucheinheit 12 G2 in 3 an die Bildkorrespondenz-Erfassungseinheit 2 als ein Zeichnungsbild mit einem hohen Ähnlichkeitsgrad ausgibt. Die Merkmalsmengen, die aus den in der Wissensdatenbank 4 gespeicherten Zeichnungsbildern extrahiert werden, können im Voraus in die Wissensdaten aufgenommen werden oder von der Merkmalsmenge-Extrahierungseinheit 11 einzeln extrahiert werden.
Unterdessen kann in einem Fall, in dem die Merkmalsmenge des Zeichnungsbildes G1 vektorisiert ist, die Sucheinheit 12 den Ähnlichkeitsgrad unter Verwendung des Kosinus-Ähnlichkeitsgrades erhalten, wie beispielsweise in Formel 1 dargestellt, um die Zeichnungsbilder an die Bildkorrespondenz-Erfassungseinheit 2 in der Reihenfolge des Ähnlichkeitsgrades von hoch bis niedrig auszugeben. $S = (f \times g) / (| f | | g |)$
S ist der Ähnlichkeitsgrad, f ist die Merkmalsmenge, die aus dem Zeichnungsbild G1 erhalten wurde, und g ist die Merkmalsmenge eines Zeichnungsbildes, das in den Wissensdaten enthalten ist.
Wenn die Merkmalsmenge von der Merkmalsmenge-Extrahierungseinheit 11 unter Verwendung des Graph-Kernel-Algorithmus extrahiert wird, kann die Sucheinheit 12 den Ähnlichkeitsgrad unter Verwendung eines Analyse-Schätzungsalgorithmus berechnen, wie der, welcher in Nicht-Patentdokument 1 genutzt wird. Nicht-Patentdokument 1: N. Shervashidze u.a., „Weisfeiler-Lehman Graph Kernels,“ JMLR, Bd. 12, S. 2539-2561, 2011.
6 ist ein Blockdiagramm, das eine Konfiguration der Bildkorrespondenz-Erfassungseinheit 2 zeigt. Die Bildkorrespondenz-Erfassungseinheit 2 umfasst eine Merkmalspunkt-Extrahierungseinheit 21 und eine Korrespondenzpunkt-Abgleicheinheit 22 und ordnet dadurch die Merkmalspunkte eines Zeichnungsbildes, das von der Ähnliches-Bild-Sucheinheit 1 abgerufen wurde, den Merkmalspunkten des eingegebenen Zeichnungsbildes zu, um die zugeordneten Merkmalspunkte als korrespondierende Punkte zu erhalten.
Die Merkmalspunkt-Extrahierungseinheit 21 extrahiert die Merkmalspunkte der Objekte und/oder deren Komponenten, die in dem Zeichnungsbild G1 dargestellt sind, unter Verwendung von lokalen Merkmalsmengen wie HOG. Die Merkmalspunkt-Extrahierungseinheit 21 extrahiert die Scheitelpunkte, die die Objekte und/oder deren Komponenten bilden, als deren Merkmalspunkte. Die Merkmalspunkt-Extrahierungseinheit 21 kann außerdem als die Merkmalspunkte Verzweigungspunkte und/oder Endpunkte extrahieren, die die Objekte und/oder deren Komponenten bilden. Die Merkmalspunkt-Extrahierungseinheit 21 gibt Informationen, zeigend die extrahierten Merkmalspunkte an die Korrespondierender-Punkt-Abgleicheinheit 22 aus.
7 ist ein Schaubild, das die Merkmalspunkte der Zeichnungsbilder zeigt. In 7 (1) sind G14A bis G14D, G12D und G11D als die Merkmalspunkte des Zeichnungsbildes G1 dargestellt. Außerdem sind in 7 (2) G24A bis G24D als die Merkmalspunkte der Komponente G24 des Zeichnungsbildes G2 dargestellt. Außerdem ist G22D als der Merkmalspunkt der Komponente G22, die das Zeichnungsbild G2 bildet, gezeigt, und G21D ist als der Merkmalspunkt der Komponente G21, die das Zeichnungsbild G2 bildet, gezeigt.
Die Korrespondierender-Punkt-Abgleicheinheit 22 berechnet den Abstand zwischen einem Merkmalspunkt des Zeichnungsbildes G2, der von der Ähnliches-Bild-Sucheinheit 1 abgerufen wurde, und einem Merkmalspunkt des Zeichnungsbildes G1, der von der Merkmalspunkt-Extrahierungseinheit 21 extrahiert wurde, um die Merkmalspunkte zu erfassen, deren Abstand als der korrespondierende Punkt kurz ist. Die Korrespondierender-Punkt-Abgleicheinheit 22 gibt die Informationen, zeigend die erfassten korrespondierenden Punkte, an die Attribut-Ausgabeeinheit 3 aus.
Die Korrespondierender-Punkt-Abgleicheinheit 22 berechnet den Abstand zwischen den Merkmalspunkten, zum Beispiel auf Grundlage von Formel (2). $d = {‖ f - g ‖}^{2}$
Dabei ist d der Abstand zwischen Merkmalspunkten, f ist die Merkmalsmenge eines Merkmalspunktes des Zeichnungsbildes G1 und g ist die Merkmalsmenge eines Merkmalspunktes des Zeichnungsbildes G2. Für die Merkmalsmengen von Merkmalspunkten können die von der Merkmalsmenge-Extrahierungseinheit 11 extrahierten Merkmalsmengen genutzt werden. Die Merkmalsmengen der Merkmalspunkte des Zeichnungsbildes G2 können in der Wissensdatenbank 4 im Voraus gespeichert werden.
In dieser Ausführungsform erfasst die Korrespondierender-Punkt-Abgleicheinheit 22 G24A als den korrespondierenden Punkt des Merkmalspunktes G14A, G24B als den korrespondierenden Punkt des Merkmalspunktes G14B, G24C als den korrespondierenden Punkt des Merkmalspunktes G14C und G24D als den korrespondierenden Punkt des Merkmalspunktes G14D, um die Informationen, die die erfassten korrespondierenden Punkte G24A, G24B, G24C und G24D zeigen, an die Attribut-Ausgabeeinheit 3 auszugeben.
Die Attribut-Ausgabeeinheit 3 extrahiert aus der Wissensdatenbank 4 die Attributinformationen, die mit den von der Bildkorrespondenz-Erfassungseinheit 2 erfassten korrespondierenden Punkten übereinstimmen, um diese als Attributinformationen des Zeichnungsbildes G1 auszugeben. Insbesondere identifiziert die Attribut-Ausgabeeinheit 3 die Komponente G24 des Zeichnungsbildes G2 als das Objekt oder die Komponente, die mit den korrespondierenden Punkten G24A, G24B, G24C und G24D übereinstimmt, die von der Korrespondierender-Punkt-Abgleicheinheit 22 der Bildkorrespondenz-Erfassungseinheit 2 ausgegeben wurden. Weiterhin extrahiert die Attribut-Ausgabeeinheit 3 die Attributinformationen (Steuereinheit) der Komponente G24 des Zeichnungsbildes G2 aus der Wissensdatenbank 4. Dann gibt die Attribut-Ausgabeeinheit 3 die aus der Wissensdatenbank 4 extrahierte „Steuereinrichtung“ als die Attributinformation einer Komponente G14 des Zeichnungsbildes G1 aus, die durch die Merkmalspunkte G14A, G14B, G14C und G14D dargestellt wird.
Die Bildanalyseeinrichtung 100 kann eine Wissensdaten-Aktualisierungseinheit (nicht dargestellt) enthalten. Die Wissensdaten-Aktualisierungseinheit kann in der Wissensdatenbank 4 die Wissensdaten speichern, in denen das Objekt und/oder dessen Komponente des Zeichnungsbildes und die von der Attribut-Ausgabeeinheit 3 ausgegebenen Attributinformationen einander zugeordnet sind.
8 ist ein Ablaufdiagramm, das einen Betriebsablauf der Ähnliches-Bild-Sucheinheit 1 zeigt. Die Merkmalsmenge-Extrahierungseinheit 11 der Ähnliches-Bild-Sucheinheit 1 extrahiert die Merkmalsmengen des eingegebenen Zeichnungsbildes G1 (ST11).
Die Sucheinheit 12 der Ähnliches-Bild-Sucheinheit 1 extrahiert die Merkmalsmengen der in der Wissensdatenbank 4 gespeicherten Zeichnungsbilder (ST12). Ferner berechnet die Sucheinheit 12 die Ähnlichkeitsgrade auf Grundlage der Merkmalsmenge des Zeichnungsbildes G1, die in Schritt ST11 extrahiert wurde, und der Merkmalsmengen der Zeichnungsbilder, die in Schritt ST12 extrahiert wurden (ST13).
Die Sucheinheit 12 wiederholt ST12 und ST13, bis ein Zeichnungsbild, dessen Ähnlichkeitsgrad nicht berechnet wurde, in der Wissensdatenbank 4 verschwindet (ST14).
Die Sucheinheit 12 sortiert die in der Wissensdatenbank 4 gespeicherten Zeichnungsbilder nach dem Ähnlichkeitsgrad, um diese in der Reihenfolge des Ähnlichkeitsgrads von hoch bis niedrig an die Bildkorrespondenz-Erfassungseinheit 2 auszugeben (ST15).
9 ist ein Ablaufdiagramm, das einen Betriebsablauf der Bildkorrespondenz-Erfassungseinheit 2 zeigt. Die Merkmalspunkt-Extrahierungseinheit 21 der Bildkorrespondenz-Erfassungseinheit 2 extrahiert die Merkmalspunkte aus dem eingegebenen Zeichnungsbild G1 (ST21).
Die Merkmalspunkt-Extrahierungseinheit 21 der Bildkorrespondenz-Erfassungseinheit 2 extrahiert die Merkmalspunkte des Zeichnungsbildes G2, das von der Ähnliches-Bild-Sucheinheit 1 abgerufen wurde (ST22).
Die Korrespondierender-Punkt-Abgleicheinheit 22 der Bildkorrespondenz-Erfassungseinheit 2 berechnet die Abstände zwischen den Merkmalspunkten des Zeichnungsbildes G2, das von der Ähnliches-Bild-Sucheinheit 1 abgerufen wurde, und den Merkmalspunkten des eingegebenen Zeichnungsbildes G1 (ST23). Ferner erfasst die Korrespondierender-Punkt-Abgleicheinheit 22 als den korrespondierenden Punkt einen Merkmalspunkt des Zeichnungsbildes G2 mit einem kurzen Abstand, um die Informationen, zeigend die erfassten korrespondierenden Punkte, an die Attribut-Ausgabeeinheit 3 auszugeben (ST24).
10 ist ein Schaubild, das ein Beispiel für Hardware zeigt, die die Bildanalyseeinrichtung 100 bildet. Eine Bildeingabeeinheit 101 ist eine Schnittstelle zur externen Eingabe von Bilddaten in die Bildanalyseeinrichtung 100. Die Bildeingabeeinheit 101 ist zum Beispiel ein Scanner oder eine Kamera, die ein Druckbild von einem Druckmaterial einliest und die digitalen Bilddaten in die Bildanalyseeinrichtung 100 eingibt. Ein Prozessor 102 realisiert die in 1 gezeigten Funktionen der Ähnliches-Bild-Sucheinheit 1, der Bildkorrespondenz-Erfassungseinheit 2 und der Attribut-Ausgabeeinheit 3, indem dieser ein in einem Arbeitsspeicher 103 gespeichertes Programm ausführt. Der Arbeitsspeicher 103 ist beispielsweise ein nicht-flüchtiger Speicher und speichert verschiedene Programme, die von dem Prozessor 102 ausgeführt werden. Weiterhin können der Prozessor 102 und der Arbeitsspeicher 103 durch Hardware, wie eine Verarbeitungsschaltung, realisiert sein. Eine Speichereinheit 104 speichert verschiedene Daten (Wissensdaten, Programme usw.), die durch den Prozessor 102 zu verarbeiten sind. Eine Anzeigeeinheit 105 ist zum Beispiel eine Flüssigkristallanzeige und zeigt die von dem Prozessor 102 ausgegebenen Attributinformationen usw. an. Die Speichereinheit 104 und/oder die Anzeigeeinheit 105 können in der Bildanalyseeinrichtung 100 enthalten sein oder können extern bereitgestellt sein.
Wie oben beschrieben, kann die Bildanalyseeinrichtung 100 gemäß der vorliegenden Ausführungsform Attributinformationen ausgeben, die an ein neues eingehendes Eingabebild zu vergeben sind, basierend auf den Zeichnungsbildern und den Attributinformationen, die die in der Wissensdatenbank 4 gespeicherten Attribute der Zeichnungsbilder zeigen. Auf diese Weise ist es möglich die Vergabe der Attributinformationen an die Objekte und/oder deren Komponenten, die auf dem Eingabebild gezeigt sind, zu unterstützen.
Ausführungsform 2
In Ausführungsform 2 kann die Bildanalyseeinrichtung 100 als eine externe Eingabe nicht nur ein Zeichnungsbild, sondern auch einen Text, der sich auf die Attributinformationen des Zeichnungsbildes bezieht, empfangen, um die Verarbeitungslast der Bildanalyseeinrichtung 100 zu reduzieren, während diese hohe Genauigkeit bei der Ausgabe der Attributinformationen der in dem Zeichnungsbild dargestellten Komponenten beibehält.
11 ist ein Blockdiagramm, das eine Konfiguration einer Bildanalyseeinrichtung gemäß Ausführungsform 2 zeigt. Eine Bildanalyseeinrichtung 100a umfasst eine Ähnliches-Bild-Sucheinheit 1a, die Bildkorrespondenz-Erfassungseinheit 2, die Attribut-Ausgabeeinheit 3 und eine Wissensdatenbank 4. Da die Bildkorrespondenz-Erfassungseinheit 2 und die Attribut-Ausgabeeinheit 3 die gleichen sind wie die in Ausführungsform 1, wird auf ihre Beschreibung verzichtet.
12 ist ein Blockdiagramm, das eine Konfiguration der Ähnliches-Bild-Sucheinheit gemäß Ausführungsform 2 zeigt. Die Ähnliches-Bild-Sucheinheit 1a umfasst die Merkmalsmenge-Extrahierungseinheit 11, eine Sucheinheit 12a und eine Textempfangseinheit 13. Die Textempfangseinheit 13 empfängt eine externe Eingabe eines Textes, um den empfangenen Text an die Sucheinheit 12a auszugeben. Anstatt den empfangenen Text so wie er ist an die Sucheinheit 12a auszugeben, kann die Textempfangseinheit 13 den empfangenen Text mit Hilfe einer bekannten morphologischen Analysetechnik in minimale Einheiten zerlegen, die jeweils eine Bedeutung tragen, um die zerlegten Einheiten an die Sucheinheit 12a auszugeben. Außerdem kann die Textempfangseinheit 13, anstatt den empfangenen Text so wie er ist an die Sucheinheit 12a auszugeben, Synonyme von Wörtern in dem empfangenen Text aus einem Thesaurus (Synonymwörterbuch) extrahieren, um die Synonyme an die Sucheinheit 12a auszugeben. Dadurch kann die Sucheinheit 12a Bilder nicht nur nach dem genauen Wortlaut des eingegebenen Textes, sondern auch nach verschiedenen Begriffen durchsuchen, so dass die Zeichnungsbilder, die passenderen Attributinformationen zugeordnet sind, extrahiert werden können. Zum Beispiel in einem Fall, in dem ein extern eingegebener Text einen Ausdruck „Aufzugstür“ enthält, zerlegt die Textempfangseinheit 13 den Ausdruck in „Aufzug“ und „Tür“, um das Wort „Aufzug“ mit seinem Synonym „Lift“ und das Wort „Tür“ mit seinem Synonym „Tor“ an die Sucheinheit 12a auszugeben.
In einem Fall, in dem ein extern eingegebener Text ein Wort „Aufzug“ enthält, durchsucht die Sucheinheit 12a die Wissensdatenbank 4 nach Zeichnungsbildern, deren Attributinformationen sich auf das Wort „Aufzug“ beziehen und die dem eingegebenen Zeichnungsbild G1 ähnlich sind. Auf diese Weise grenzt die Ähnliches-Bild-Sucheinheit 1a die aus der Wissensdatenbank 4 zu extrahierenden Zeichnungsbilder anhand des eingegebenen Textes ein, so dass die Attributinformationen der in dem Zeichnungsbild dargestellten Komponenten mit hoher Genauigkeit ausgegeben werden können, während die Verarbeitungslast auf der Bildanalyseeinrichtung 100 gering gehalten wird.
Andere Modifikationen
Die oben beschriebenen Ausführungsformen sind nur Beispiele für die Umsetzung der vorliegenden Offenbarung, und es sind Anwendungsbeispiele denkbar, die die folgenden Ergänzungen/Änderungen der Konfigurationen umfassen.
In den oben beschriebenen Ausführungsformen sortiert die Sucheinheit 12 der Ähnliches-Bild-Sucheinheit 1 die in der Wissensdatenbank 4 gespeicherten Zeichnungsbilder nach dem Ähnlichkeitsgrad und gibt diese in der Reihenfolge des Ähnlichkeitsgrads von hoch bis niedrig an die Bildkorrespondenz-Erfassungseinheit 2 aus. Auf das oben Erläuterte nicht beschränkt kann die Sucheinheit 12 das Zeichnungsbild mit einem Ähnlichkeitsgrad, der gleich oder höher als ein Schwellenwert ist, an die Bildkorrespondenz-Erfassungseinheit 2 ausgeben. Es sei zum Beispiel angenommen, dass der Bereich des Ähnlichkeitsgrades durch Zahlenwerte von 0 bis 100 dargestellt wird und der größere Zahlenwert den größeren Ähnlichkeitsgrad bedeutet. Ein Schwellenwert für die Bestimmung der Ähnlichkeit wird im Voraus festgelegt. Die Sucheinheit 12 kann die in der Wissensdatenbank 4 gespeicherten Zeichnungsbilder in absteigender Reihenfolge des Ähnlichkeitsgrades sortieren, nach Zeichnungsbildern suchen, deren Ähnlichkeitsgrade gleich oder höher als der voreingestellte Schwellenwert sind, und die abgerufenen Zeichnungsbilder an die Bildkorrespondenz-Erfassungseinheit 2 ausgeben. Dann kann die Bildkorrespondenz-Erfassungseinheit 2 die Abstände zwischen den Merkmalspunkten aller Zeichnungsbilder, die von der Ähnliches-Bild-Sucheinheit 1 ausgegeben wurden, und den Merkmalspunkten des Eingabebildes berechnen und einen Merkmalspunkt mit einem kurzen Abstand des Zeichnungsbildes als einen korrespondierenden Punkt erfassen.
Außerdem kann die Sucheinheit 12 eingerichtet sein, um den Schwellenwert mit zunehmender Anzahl der in dem Zeichnungsbild G1 gezeigten Komponenten zu senken. Auf diese Weise wird die Suche nach Zeichnungsbildern, die die Komponenten enthalten, die den in dem Zeichnungsbild G1 dargestellten Komponenten entsprechen, in der Wissensdatenbank 4 erleichtert. Anstatt einen Schwellenwert zu verwenden, kann die Sucheinheit 12 die Zeichnungsbilder auch in absteigender Reihenfolge des Ähnlichkeitsgrades bis zu einer vorgegebenen Zahl an die Bildkorrespondenz-Erfassungseinheit 2 ausgeben.
In diesem Fall kann die Sucheinheit 12 eingerichtet sein, um die Anzahl der an die Bildkorrespondenz-Erfassungseinheit 2 auszugebenden Zeichnungsbilder mit zunehmender Anzahl der in dem Zeichnungsbild G1 dargestellten Komponenten zu erhöhen. Auf diese Weise wird die Suche nach Zeichnungsbildern, die die Komponenten enthalten, die den in dem Zeichnungsbild G1 dargestellten Komponenten entsprechen, in der Wissensdatenbank 4 erleichtert.
In den oben beschriebenen Ausführungsformen werden die Attributinformationen der Komponente G14 auf Grundlage der Attributinformationen der Komponente G24 ausgegeben, die die gleiche oder eine ähnliche Form wie die Komponente G14 des Zeichnungsbildes G1 hat. Dies ist jedoch nicht die Einschränkung. Die Bildkorrespondenz-Erfassungseinheit 2 kann die Attributinformationen nicht nur der Komponente mit der gleichen oder ähnlichen Form, sondern auch der Komponente, die einen Merkmalspunkt mit einem kurzen Merkmalabstand aufweist, ausgeben.
Bezugszeichenliste

1: Ähnliches-Bild-Sucheinheit,
11: Merkmalsmenge-Extrahierungseinheit,
12: Sucheinheit,
2: Bildkorrespondenz-Erfassungseinheit,
21: Merkmalspunkt-Extrahierungseinheit,
22: Korrespondierender-Punkt-Abgleicheinheit,
3: Attribut-Ausgabeeinheit,
4:: Wissensdatenbank,
100: Bildanalyseeinrichtung,
101: Bild-Ausgabeeinheit,
102: Prozessor,
103: Arbeitsspeicher,
104: Speichereinheit,
105: Anzeigeeinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP H05314198 A [0004]

Claims

Bildanalyseeinrichtung, die Attributinformationen von einem eingehenden Eingabebild ausgibt, umfassend: eine Ähnliches-Bild-Sucheinheit, um in einer Wissensdatenbank, enthaltend Zeichnungsbilder und Attributinformationen, zeigend Attribute der Zeichnungsbilder, nach einem Zeichnungsbild zu suchen, das dem eingehenden Eingabebild ähnlich ist; eine Bildkorrespondenz-Erfassungseinheit, um einen Merkmalspunkt des Zeichnungsbildes, der durch die Ähnliches-Bild-Sucheinheit abgerufen wurde, einem Merkmalspunkt des Eingabebildes zuzuordnen, um den Merkmalspunkt des Zeichnungsbildes als einen korrespondierenden Punkt zu erfassen; und eine Attribut-Ausgabeeinheit, um die Attributinformationen des korrespondierenden Punktes, der durch die Bildkorrespondenz-Erfassungseinheit erfasst wurde, aus der Wissensdatenbank zu extrahieren, um diese als die Attributinformationen des Eingabebildes auszugeben.
Bildanalyseeinrichtung nach Anspruch 1, wobei die Bildkorrespondenz-Erfassungseinheit einen Abstand zwischen dem Merkmalspunkt des Zeichnungsbildes, der durch die Ähnliches-Bild-Sucheinheit abgerufen wurde, und dem Merkmalspunkt des Eingabebildes berechnet, um als den korrespondierenden Punkt den Merkmalspunkt des Zeichnungsbildes, dessen Abstand kurz ist, zu erfassen.
Bildanalyseeinrichtung nach Anspruch 1 oder 2, wobei die Bildkorrespondenz-Erfassungseinheit einen Scheitelpunkt und/oder Verzweigungspunkt eines Objekts und/oder seiner Komponente, die in dem Eingabebild gezeigt ist/sind, als den Merkmalspunkt verwendet.
Bildanalyseeinrichtung nach einem der Ansprüche 1 bis 3, wobei die Ähnliches-Bild-Sucheinheit nach einem Zeichnungsbild, das dem Eingabebild ähnlich ist, in der extrahierten Merkmalsmenge auf Grundlage von Winkeln an Scheitelpunkten und/oder Längen von Liniensegmenten, die die Scheitelpunkte verbinden, sucht, wobei die Scheitelpunkte das Eingabebild bilden.
Bildanalyseeinrichtung nach einem der Ansprüche 1 bis 4, wobei das Eingabebild zusammen mit einem Text eingegeben wird, der sich auf die Attributinformationen des Eingabebildes bezieht, und die Ähnliches-Bild-Sucheinheit die Wissensdatenbank nach einem Zeichnungsbild durchsucht, dessen Attributinformationen sich auf den Text beziehen und das dem Eingabebild ähnlich ist.
Bildanalyseprogramm, das einen Computer veranlasst, Funktionen der folgenden Einheiten auszuführen: eine Ähnliches-Bild-Sucheinheit, um in einer Wissensdatenbank, enthaltend Zeichnungsbilder und Attributinformationen, zeigend Attribute der Zeichnungsbilder, nach einem Zeichnungsbild zu suchen, das einem eingehenden Eingabebild ähnlich ist; eine Bildkorrespondenz-Erfassungseinheit, um einen Abstand zwischen einem Merkmalspunkt des Zeichnungsbildes, das durch die Ähnliches-Bild-Sucheinheit abgerufen wurde, und einem Merkmalspunkt des Eingabebildes, zu berechnen, um den Merkmalspunkt des Zeichnungsbildes, dessen Abstand kurz ist, als einen korrespondierenden Punkt zu erfassen; und eine Attribut-Ausgabeeinheit, um die Attributinformationen des korrespondierenden Punktes, der durch die Bildkorrespondenz-Erfassungseinheit erfasst wurde, aus der Wissensdatenbank zu extrahieren, um diese als die Attributinformationen des Eingabebildes auszugeben.
Bildanalyseverfahren zum Ausgeben von Attributinformationen eines eingehenden Eingabebildes, wobei das Verfahren umfasst: Suchen nach einem Zeichnungsbild, das dem eingehenden Eingabebild ähnlich ist, in einer Wissensdatenbank, enthaltend Zeichnungsbilder und Attributinformationen, zeigend Attribute der Zeichnungsbilder, durch eine Ähnliches-Bild-Sucheinheit; Zuordnen eines Merkmalspunktes des Zeichnungsbildes, das durch die Ähnliches-Bild-Sucheinheit abgerufen wurde, zu einem Merkmalspunkt des Eingabebildes, um den Merkmalspunkt des Zeichnungsbildes als einen korrespondierenden Punkt durch eine Bildkorrespondenz-Erfassungseinheit zu erfassen; und Extrahieren der Attributinformationen des korrespondierenden Punktes, der durch die Bildkorrespondenz-Erfassungseinheit erfasst wurde, aus der Wissensdatenbank, um diese als die Attributinformationen des Eingabebildes durch eine Attribut-Ausgabeeinheit auszugeben.