DE102021108281A1

DE102021108281A1 - Verfahren und Vorrichtung zur automatischen Analyse eines Schaltbildes

Info

Publication number: DE102021108281A1
Application number: DE102021108281.1A
Authority: DE
Inventors: Thiemo Gruber; Vincent Layes; Alexander Peters; Marcus Reitz
Original assignee: Eplan & Co Kg GmbH
Current assignee: EPLAN GMBH & CO. KG, DE
Priority date: 2021-03-31
Filing date: 2021-03-31
Publication date: 2022-10-06
Also published as: EP4315280A1; WO2022207027A1

Abstract

Die Erfindung betrifft ein Verfahren zur automatischen Analyse eines Schaltbildes, umfassend:
- Anwenden eines oder mehrerer Filter auf ein Schaltbild zur Erkennung eines durch den jeweiligen Filter definierten Schaltsymbols in dem Schaltbild;
- Anwenden eines oder mehrerer Detektoren auf das Schaltbild zur Erkennung von Verbindungen zwischen den Schaltsymbolen;
- Ermitteln derjenigen erkannten Schaltsymbole, die mittels der erkannten Verbindungen miteinander gekoppelt sind; und
- für jedes der erkannten Schaltsymbole Speichern eines Hinweises in einer Datenstruktur des erkannten Schaltsymbols auf jedes weitere mit diesem erkannten Schaltsymbol gekoppelte Schaltsymbol.
Es wird weiterhin eine entsprechende Vorrichtung beschrieben.

Description

TECHNISCHES GEBIET
Die Erfindung liegt auf dem Gebiet der automatischen Analyse eines Schaltbildes, insbesondere der bildbasierten Erkennung und Interpretation von Schaltsymbolen und deren Funktion.
HINTERGRUND
Ein Schaltbild, auch als Schaltplan bezeichnet, stellt eine elektrische Schaltung mit grafischen Mitteln dar. Diese grafischen Mittel umfassen Symbole für die dargestellten Komponenten der Schaltung, hier als Schaltsymbole beziehungsweise Schaltelemente bezeichnet. Schaltbilder geben bestimmte technische Eigenschaften der Schaltung wieder, unterdrücken jedoch andere. Die wiedergegebenen Eigenschaften sind beispielsweise die Typen der abgebildeten Komponenten und die Kopplung mit anderen Komponenten über Ein- und Ausgänge. Die unterdrückten Eigenschaften sind beispielsweise die reale Anordnung und Gestalt der Komponenten. Aufgrund dieser abstrakten Darstellung und der mitunter hohen Komplexität abgebildeter Schaltungen sind diese für den Betrachter häufig schwer zu verstehen.
Die Schaltsymbole sind häufig normiert; zumindest werden für gleiche oder gleichartige Komponenten in einem Schaltbild gleiche Schaltsymbole verwendet. Zudem werden Verbindungen zwischen Komponenten mittels geraden Linien gezeigt.
US 7 587 061 B1 offenbart ein Verfahren zur Analyse von Konstruktionszeichnungen von Gebäuden. Benutzer wählen zunächst ein abgebildetes Symbol aus („lassoing“), das gespeichert und zur Erkennung ähnlicher Symbole herangezogen wird.
US 5 251 268 offenbart automatische Erkennung von Text- und Grafikelementen in einer Vorlage. Zur Erkennung bestimmter Elemente werden Filter eingesetzt.
Der Erfindung liegt die Aufgabe zugrunde, mit technischen Mitteln eine automatische Interpretation von Komponenten einer grafisch dargestellten Schaltung zu liefern und Betrachtern der Schaltung ein Verständnis dieser Komponenten und ihrer Funktion zu ermöglichen.
ZUSAMMENFASSUNG
Ausführungsformen der Erfindung betreffen Verfahren zur automatischen Analyse eines Schaltbildes, umfassend: Anwenden eines oder mehrerer Filter auf ein Schaltbild zur Erkennung eines durch den jeweiligen Filter definierten Schaltsymbols in dem Schaltbild; Anwenden eines oder mehrerer Detektoren auf das Schaltbild zur Erkennung von Verbindungen zwischen den Schaltsymbolen; Ermitteln derjenigen erkannten Schaltsymbole, die mittels der erkannten Verbindungen miteinander gekoppelt sind; und für jedes der erkannten Schaltsymbole Speichern eines Hinweises in einer Datenstruktur des erkannten Schaltsymbols auf jedes weitere mit diesem erkannten Schaltsymbol gekoppelte Schaltsymbol.
Vorzugsweise umfassen die Verfahren ferner: Erzeugen einer natürlichsprachlichen Formulierung aus einer der Datenstrukturen, wobei die natürlichsprachliche Formulierung eine Funktion eines der erkannten Schaltsymbole angibt, die von dem Schaltsymbol auf die mit diesem Schaltsymbol gekoppelten Schaltsymbole ausgeübt wird, oder die auf das Schaltsymbol von den mit diesem Schaltsymbol gekoppelten Schaltsymbolen ausgeübt werden.
Insbesondere ist die Funktion eines Schaltsymbols in der Datenstruktur vordefiniert, wobei eine Funktion, die auf dieses Schaltsymbol von einem gekoppelten Schaltsymbol ausgeübt wird, durch Nachschlagen dieser Funktion in der Datenstruktur des gekoppelten Schaltsymbols ermittelt wird.
Vorzugsweise ist der Filter ein Graustufenbild oder ein Bitmap, das Ecken eines Symbols als Grauwerte beziehungsweise als gesetzte Bits darstellt.
Die Verfahren können ferner Herstellen der ein oder mehreren Filter zur Erkennung eines jeweiligen Schaltsymbols umfassen, wobei das Herstellen eines Filters umfasst: Anwenden eines oder mehrerer Kantendetektoren auf eine Darstellung eines Schaltsymbols zur Hervorhebung horizontaler, vertikaler und diagonaler Kanten; und Bestimmen von Endpunkten der horizontalen, vertikalen und diagonalen Kanten, und Speichern eines entsprechenden Bits oder eines entsprechenden Grauwerts in einem Bitmap beziehungsweise einem Graustufenbild als resultierendem Filter.
Vorteilhafterweise umfassen die Verfahren ferner Klassifizieren der erkannten Schaltsymbole nach dem Anwenden der Filter.
Gemäß einer besonderen Ausführungsform kann der Benutzer aufgefordert werden, eine Auswahl aus mehreren Schaltsymbolen zu treffen, deren Filter an einer Stelle in dem Schaltbild das Vorliegen dieser Schaltsymbole anzeigen.
Die Verfahren können ferner Erkennen einer technischen Disziplin des Schaltbildes umfassen, die in einem Dokument enthalten ist, das das Schaltbild enthält, und Bestimmen eines Satzes von Schaltsymbolen und zugehörigen Filtern, der der technischen Disziplin zugeordnet ist und zur automatischen Analyse des Schaltbildes herangezogen werden soll.
Insbesondere sind die ein oder mehreren Detektoren Kantendetektoren.
Vorzugsweise ist der Hinweis ein Zeiger.
Gemäß einer Ausführungsform wird der Hinweis für direkt mit einem erkannten Schaltsymbol gekoppelte erkannte Schaltsymbole gespeichert.
Alternativ oder zusätzlich kann der Hinweis für indirekt mit einem erkannten Schaltsymbol gekoppelte erkannte Schaltsymbole gespeichert werden.
Weitere Ausführungsformen betreffen ein computerlesbares Medium mit darauf gespeicherten Befehlen, die bei Ausführung durch einen Prozessor eines der vorgenannten Verfahren durchführen.
Ferner umfassen Ausführungsformen eine Vorrichtung, umfassend: Einen Speicher; und einen mit dem Speicher gekoppelten Prozessor, der eingerichtet ist, eines der vorgenannten Verfahren durchzuführen.
Figurenliste

1 zeigt beispielhaft einen Schaltplan als Eingabe für Ausführungsformen der Erfindung.
2 zeigt ein erfindungsgemäßes Verfahren zur Analyse des Schaltplans.
3 zeigt ein erfindungsgemäßes Verfahren zur Erkennung von Verbindungen zwischen Schaltsymbolen des Schaltplans.

AUSFÜHRLICHE BESCHREIBUNG
Die Erfindung verwendet Techniken der Bildverarbeitung, um Komponenten in einem Schaltbild zu erkennen und deren Funktion und Verbindungen zu interpretieren, und legt diese Informationen in Datenstrukturen ab, die für weitergehende Darstellungen, beispielsweise natürlichsprachliche Wiedergabe, verwendet werden können. Insbesondere ermöglicht die Erfindung Benutzern, in einer grafischen Wiedergabe eines Schaltplans einzelne Komponenten auszuwählen und sich gezielt über deren Eigenschaften und Funktionen in der abgebildeten Schaltung zu informieren.
In einer Ausführungsform umfasst das Verfahren das Anwenden von Filtern auf ein Schaltbild, um abgebildete Schaltsymbole zu erkennen. In der Bildverarbeitung wird unter einem Filter ein Operand verstanden, der geeignet ist, bei Multiplikation mit einem Bild, beispielsweise einer zweidimensionalen Rasterdarstellung, bestimmte Strukturen in dem Bild zu verstärken oder allgemein zu transformieren. Ein Filter, der zur Erkennung eines bestimmten Objekts in einem Bild dient, ist in einer einfachen Form eine Maske (Matrix, Bitmap), deren Felder mit 0 oder 1 oder auch mit reellen Zahlen besetzt sind und dadurch die Umrisse des zu erkennenden Objekts angeben. Insbesondere kann als Filter für ein zu erkennendes Objekt einfach eine Abbildung dieses Objekts verwendet werden, oder kann aus einer solchen Abbildung automatisch mittels Anwenden von Kantendetektoren, insbesondere von Detektoren für waagerechte, senkrechte und diagonale Kanten, ein Filter erzeugt werden. In einem besonderen Beispiel werden lediglich die Endpunkte und/oder Eckpunkte solcher Kanten in einem resultierenden Filter gespeichert. Filter können auch vordefiniert sein und mit weiteren Informationen über das dargestellte Schaltelement verknüpft sein, beispielsweise Hersteller, Anschlüsse, ausgeübte Funktion, etc.
Die Multiplikation eines Filters mit einem Bild kann als Matrizenmultiplikation durchgeführt werden, wobei die Ergebniswerte in einem Ergebnisbild abgelegt werden. Führt die Multiplikation des Filters mit dem Bild an einer Stelle zu einem besonders hohen Wert (Objekte im Original mit höherem Wert als der Hintergrund), deutet dies auf das Vorliegen des zu erkennenden Objekts an dieser Stelle hin. Damit diese Ergebnisse realistisch sind, sollten Filter und Bild vorzugsweise identische oder ähnliche Werte (Binärwerte, Grauwerte, Farbwerte) für gleiche Strukturen verwenden; beispielsweise sollten die Werte für den Hintergrund des Filters dem Hintergrundwert im Bild entsprechen.
Die Anwendung des Filters auf das Bild wird auch als Faltung oder Konvolution bezeichnet. Sie kann alternativ zu einer Matrizenmultiplikation auch mittels Transformation in einen Frequenzraum, beispielsweise im Wege der FourierTransformation, durchgeführt werden.
Das zu analysierende Schaltbild liegt vorzugsweise in Form einer zweidimensionalen Rasterdarstellung vor. Liegt das Schaltbild in einem Vektorformat vor, kann eine Rasterdarstellung in vorbestimmter Auflösung ohne weiteres bestimmt werden. Vorzugsweise sind die Auflösungen der in den Filtern abgelegten Schaltsymbole mit der Auflösung der Rasterdarstellung abgestimmt, insbesondere identisch (Schaltsymbol im Filter erscheint in gleichen Pixelabmessungen wie in dem Schaltbild).
Die Faltung wird für sämtliche Typen von Schaltelementen, die in dem Bild erkannt werden sollen, wiederholt, wobei für jeden dieser Typen ein eigener Filter verwendet und ein zugehöriges Ergebnisbild erzeugt wird. Beispiele für einen Typ einer Komponente sind Widerstand, Spule, Kondensator. Mehrere Komponenten eines Typs können in einem Bild auftreten.
Die vorliegende Ausführungsform umfasst weiter eine Untersuchung der Ergebnisbilder mit dem Ziel, die konkreten Orte in dem Schaltbild zu erkennen, an denen die erkannten Objekte vorliegen. Hierzu eignet sich eine Analyse auf Extremwerte in dem Ergebnisbild. Erscheinen Objekte im Originalbild mit höheren Werten als die anderen Bildbereiche (Hintergrund), handelt es sich bei der Analyse um eine Maximaanalyse. Beispielsweise können die lokalen Maximalwerte des Ergebnisbildes detektiert werden, indem ein Maximumfilter eingesetzt wird. Die Analyse auf Maxima kann eingeschränkt werden durch eine vorab bekannte Anzahl von Objekten dieses Typs in dem Schaltbild, soweit bekannt, oder durch einen Mindestabstand zwischen zwei Objekten und somit zwischen benachbarten Maxima. Die Maxima können darüber hinaus anhand eines Schwellenwertes der Maxima ausgewählt werden; beispielsweise kann die Multiplikation des Objektfilters mit sich selbst einen theoretischen Maximalwert ergeben, und ein Schwellenwert zur Beurteilung eines Maximums in dem Ergebnisbild kann einen bestimmten Prozentwert dieses Maximalwertes bezeichnen. Die genannten Beispiele lassen sich analog für Minimaanalysen verwenden (Objekte erscheinen dunkler als der Hintergrund). Im Folgenden wird der Einfachheit halber immer eine Maximaanalyse genannt, die je nach Eingabematerial durch eine Minimaanalyse ersetzt werden kann.
Nach dieser Untersuchung sind die Orte in dem Schaltbild bekannt, an denen Objekte der verschiedenen Objekttypen beziehungsweise die verschiedenen Schaltsymbole ermittelt wurden.
In einem weiteren Schritt umfasst die Ausführungsform das Ermitteln von Verbindungen zwischen den dargestellten Schaltsymbolen. In Schaltbildern werden solche Verbindungen üblicherweise ausschließlich durch waagerechte und senkrechte Linien veranschaulicht, mitunter auch durch diagonale oder beliebig geneigte Linien. Zur Erkennung der Verbindungen verwendet die Erfindung daher Kantenfilter für waagerechte und Kantenfilter für senkrechte Linien, gegebenenfalls auch Kantenfilter für diagonale oder beliebig geneigte Linien, und legt die Ergebnisse dieser Faltung in jeweiligen Ergebnisbildern ab. Da die Schaltsymbole selbst ebenfalls derartige Linien enthalten können, sind Maßnahmen zu ergreifen, um diese Linien der Schaltsymbole nicht fälschlich als Verbindungslinien zu detektieren. Beispielsweise können vor Ermitteln der Verbindungen in dem Schaltbild die zuvor erkannten Schaltsymbole aus dem Schaltbild entfernt werden, etwa durch Subtraktion der entsprechenden Filter von dem Schaltbild. Alternativ kann in dem Schaltbild um jedes Maximum ein rechteckiger Bereich auf den Hintergrundwert gesetzt werden.
Somit liegt für jeden Typ von Kantenfilter (waagerecht, senkrecht, etc.) ein jeweiliges Ergebnisbild vor, das die entsprechenden Verbindungslinien und/oder Teile derselben enthält. Diese Linien werden vektorisiert, so dass für jede der Linien die beiden Endpunkte feststehen. Bevor diese Linien als Verbindungen zwischen zwei Komponenten identifiziert werden können, sind sie gegebenenfalls zusammenzusetzen und mit ihren endgültigen beiden Endpunkten zwei der Schaltelemente in dem Schaltbild zuzuordnen.
Zu diesem Zweck wird in einer Ausführungsform nacheinander jedes der bereits ermittelten Maxima betrachtet und von den detektieren Linien diejenige ausgewählt, die den dem Maximum am nächsten liegenden Endpunkt aufweist. Werden bei dem Schaltsymbol, das diesem Maximum zugeordnet ist, mehrere Ein- oder Ausgänge unterschieden, so werden anstatt des Maximums deren Anschlusspunkte berücksichtigt. Die Menge der Ein- und Ausgänge kann durch den Benutzer mittels Interaktion mit dem Filter (Auswählen der Anschlusspunkte) definiert worden sein. Der andere Endpunkt der ausgewählten Linie wird mit sämtlichen anderen Linienendpunkten und Maxima (Anschlusspunkte) verglichen und der nächstliegende dieser Punkte ausgewählt. Handelt es sich um ein Maximum beziehungsweise einen Anschlusspunkt, ist die Verbindung vollständig. In diesem Fall wird eine Datenstruktur angelegt beziehungsweise aktualisiert, so dass sie Einträge für jedes der beiden Objekte, die den beiden Maxima entsprechen, enthält, und jeder dieser Einträge einen Hinweis, beispielsweise eine Zeigervariable, auf das jeweils andere Objekt enthält. Die Datenstruktur eignet sich somit zum Ermitteln, welche Objekte mit anderen Objekten verbunden sind. Handelt es sich bei dem nächstliegenden Punkt jedoch nicht um ein Maximum (Anschlusspunkt), sondern um den Endpunkt einer weiteren der Linien, so wird das Verfahren wiederum mit dem zweiten Endpunkt dieser weiteren Linie fortgesetzt und erneut nach dem nächstliegenden Maximum (Anschlusspunkt) oder Linienendpunkt gesucht. Dies wird wiederholt, bis als nächstliegender Punkt ein Maximum (Anschlusspunkt) gefunden wurde. Das Verfahren schließt mit dem bereits erläuterten Aktualisieren der Datenstruktur ab.
Als Alternative zu dem beschriebenen Ansatz zum Ermitteln der Verbindungen zwischen Schaltsymbolen können die Ergebnisbilder mit detektierten Linien auch mittels einer UND-Operation vereinigt werden und das Ergebnis vektorisiert und anschließend die Endpunkte bestimmt werden und den Maxima (Anschlusspunkte) zugeordnet werden. Bei diesen und weiteren Alternativen können eventuell auftretende Probleme, etwa Verzweigungen der Linien, durch dem Fachmann wohlbekannte Maßnahmen gelöst werden; solche Artefakte oder Sonderfälle stehen der Ausführbarkeit der beschriebenen Alternativen nicht entgegen.
Somit liefert die Erfindung eine Datenstruktur, die für jedes der Objekte einen Eintrag enthält. Dieser Eintrag kann diverse Angaben zu dem jeweiligen Objekt enthalten, insbesondere den Typ von Schaltsymbol (durch den zugrundeliegenden Filter dieses Schaltsymbols gegeben) sowie die mit diesem Schaltsymbol mittels Verbindungsleitungen gekoppelten weiteren Schaltsymbole. Als weitere Angaben kommen auch Details zu den Ein- und Ausgängen der Schaltsymbole in Betracht; zu diesem Zweck kann bereits bei der Ermittlung der von diesem Schaltsymbol abgehenden Linien festgestellt werden, ob diese an einem Ein- oder Ausgang oder sonstigen Anschluss des Schaltsymbols anliegen. Die Anzahl und die Typen dieser Ein- und Ausgänge oder Anschlüsse kann von vornherein durch das jeweilige Schaltsymbol festgesetzt sein.
Die Datenstruktur kann in jedem Eintrag / für jedes Schaltsymbol Hinweise, Zeigervariablen, etc. auf weitere Schaltsymbole enthalten; neben den bereits genannten Hinweisen auf Schaltsymbole, die mit einem betreffenden Schaltsymbol über eine Verbindung direkt gekoppelt sind, kann dies auch indirekt gekoppelte Schaltsymbole umfassen, die mit dem betreffenden Schaltsymbol lediglich über weitere andere Schaltsymbole gekoppelt sind. Derartige Informationen können aus der Datenstruktur ohne weiteres ermittelt werden, beispielsweise indem, ausgehend von einem ersten Schaltsymboleintrag, den Hinweisen auf weitere Schaltsymbole sowie deren eigenen Hinweisen gefolgt wird.
Ferner kann die Datenstruktur in den erwähnten Einträgen auch Bezeichner enthalten, die in dem Schaltbild in unmittelbarer Nähe der Schaltsymbole erkannt werden. Hierzu kann in jedem erkannten Schaltsymbol eine Texterkennung (OCR) durchgeführt werden, deren Ergebnis in dem Eintrag dieses Schaltsymbols in der Datenstruktur gespeichert wird. Beispielsweise enthalten Schaltbilder häufig zugewiesene Namen der einzelnen Symbole, die auf diese Weise detektiert und gesichert werden.
Die derart konstruierte Datenstruktur kann zur Bestimmung einzelner Funktionen der Schaltung herangezogen werden. In einer besonderen Ausführungsform wird, basierend auf der Datenstruktur, eine grafische Benutzeroberfläche erzeugt, die wiederum das ursprüngliche Schaltbild darstellt. Die einzelnen Schaltsymbole können durch den Benutzer durch Tastaturbefehle, Maus- oder Touchpadaktionen oder über berührungsempfindliches Display ausgewählt werden. Daraufhin können anhand der Datenstruktur dem Benutzer Angaben zu dem Schaltsymbol angezeigt oder akustisch übermittelt werden. Beispielsweise kann aus diesen Daten automatisch eine natürlichsprachliche Formulierung erzeugt und abgespielt werden, die den Benutzer informiert über den Typ des Schaltsymbols, die mit diesem Schaltsymbol verbundenen weiteren Schaltsymbole, und die Funktion des Schaltsymbols in Bezug auf die weiteren Schaltsymbole, beispielsweise anhand von Informationen darüber, an welche Anschlüsse des Schaltsymbols die anderen Schaltsymbole gekoppelt sind, und anhand von Informationen über die Typen der anderen Schaltsymbole. Zu diesem Zweck kann die Funktion des Schaltsymbols aus der Datenstruktur gelesen werden, und kann ermittelt werden, welche Funktion von dem Schaltsymbol auf die anderen Schaltsymbole ausgeübt wird und umgekehrt.
Die Datenstruktur kann insofern auch die Wartung einer Schaltung unterstützen, indem dem Benutzer Informationen zu ausgewählten Schaltsymbolen dargestellt wird und der Benutzer in seinem Verständnis der Schaltung unterstützt wird. Auch die Suche nach Fehlern in einer fehlerhaften Schaltung kann hierdurch unterstützt werden; beispielsweise können bei der automatischen Analyse des Schaltbildes fehlende oder fehlerhafte Verbindungen zwischen Schaltelementen erkannt werden, wie etwa paarweise miteinander gekoppelte Eingänge oder paarweise gekoppelte Ausgänge.
In einer besonderen Ausführungsform kann die Benutzeroberfläche auch dazu verwendet werden, die in der Datenstruktur erfassten Daten zu verifizieren und die Erkennung der Schaltsymbole gegebenenfalls zu wiederholen und/oder zu korrigieren. Der Benutzer kann, wenn er fehlerhafte Daten in der Anzeige erkennt, mittels Benutzerdialog Korrekturen vornehmen. Beispielsweise kann der Benutzer eine geeignete Schaltfläche auswählen, um sich eine Auswahl von Schaltsymbolen anzeigen zu lassen, und kann eines der Schaltsymbole als Ersatz für das bisher erkannte Schaltsymbol an der betreffenden Stelle in dem Schaltbild auswählen, so dass das alte Schaltsymbol in dem Eintrag der Datenstruktur ersetzt wird. Insbesondere kann die Benutzeroberfläche bereits während der Ersterkennung der Schaltsymbole erzeugt und angezeigt werden, beispielsweise um unklare Ergebnisse der Erkennung durch den Benutzer beurteilen zu lassen. In einem Beispiel kann bei der Erkennung festgestellt werden, dass ein erkanntes Schaltsymbol mehr oder weniger Ausgänge oder Eingänge als der zugrundeliegende Filter oder mehr oder weniger Ausgänge oder Eingänge als erkannte Verbindungen aufweist, oder kann festgestellt werden, dass unterschiedliche Filter an gleicher Stelle in dem Schaltbild zu gleich starken Maxima führen. In derartigen Fällen kann die Benutzeroberfläche die fragliche Stelle in dem Schaltbild hervorheben (einrahmen oder farblich markieren) und den Benutzer auffordern, eine Auswahl der infrage kommenden Schaltsymbole oder Konfigurationsalternativen (Verbindungen vorschlagen) zu treffen.
Schaltbilder enthalten häufig weitere Angaben zu Eigenschaften der abgebildeten Schaltung, beispielsweise Angaben zu einem technischen Gebiet der Schaltung, beispielsweise Elektrotechnik, Prozesstechnik, Fluidtechnik, Gebäudetechnik. Solche Angaben können außerhalb eines Bereichs der Schaltung stehen, beispielsweise am seitlichen, oberen oder unteren Bildrand. Ausführungsformen der Erfindung umfassen Schritte zur automatischen Erkennung und Einordnung solcher Angaben. Beispielsweise kann das technische Gebiet per automatischer Texterkennung ermittelt und mit vorbestimmten technischen Gebieten verglichen und ein passendes der vorbestimmten Gebiete ausgewählt werden. Anhand dieses Gebiets kann die Erfindung auf eine Auswahl an vorbestimmten Schaltsymbolen zurückgreifen, die für dieses Gebiet einschlägig und entsprechend gespeichert sind. Diese Schaltsymbole werden im weiteren Verlauf verwendet, um, wie oben erläutert, Filter für diese Schaltsymbole abzurufen oder zu konstruieren und in dem Schaltbild zu detektieren. Dieser Prozess kann durch einen Benutzer in einem Dialog konfiguriert werden, beispielsweise durch Präsentieren der in Frage kommenden Schaltsymbole und Auswählen von Schaltsymbolen durch den Benutzer, bevor die Erkennung durchgeführt wird.
Neben dem technischen Gebiet können die genannten Angaben weitere technische Einzelheiten enthalten, beispielsweise einen verwendeten Zeichenstandard (IEC, NFPA), Angaben zur Größe / zum Maßstab / zur Ausrichtung des Schaltbilds sowie zum Autor (Zeichner), Kunden, Zweck, Nutzen, Projekt, etc. Auch Informationen zur Dokumentenstruktur können enthalten sein, beispielsweise DIN 61355, 81346 etc., sowie Angaben zur letzten Revision des Schaltbilds. Insbesondere kann auch angegeben sein, dass das Schaltbild mehrere Seiten umfasst. In diesem Fall kann die Erfindung Maßnahmen treffen, um Teile des gleichen Schaltbilds, die sich über mehrere Seiten erstrecken, virtuell zusammenzufügen (registrieren), bevor die oben erläuterten Erkennungen durchgeführt werden.
Aus den derart ermittelten Daten betreffend die Verbindungen der Schaltsymbole untereinander kann die Erfindung in einer Ausführungsform eine Übersicht zusammenstellen, die die enthaltenen Komponenten geordnet anzeigt, beispielsweise alphabetisch nach Typ, Name, Funktion. Der Benutzer wird dadurch in die Lage versetzt unmittelbar zu ersehen, wieviele Exemplare eines Schaltsymboltyps (Widerstände, Motoren etc.) in dem Dokument enthalten sind, welche Funktionen durch welche Schaltelemente ausgeführt werden, etc. Die bereits erwähnten natürlichsprachlichen Aussagen können durch Auswahl eines dieser Elemente abgespielt oder abgebildet werden, so dass der Benutzer bei Auswahl eines Elements mit Namen „M3“ beispielsweise liest: „Motor mit Kennung M3 der Firma Siemens und Bestellnummer 3R2015 wird auf Seite 15 dargestellt, ist mit der Sicherung F2 von ABB bei 32 Ampere abgesichert und wird mittels eines Frequenzumrichters der Firma SEW angesteuert. Der Motor treibt eine Drehspindel an. Zur Verbindung vom Frequenzumrichter aus dem Schaltschrank A2 wird ein Kabel mit 5×2,5mm2 Querschnitt und doppelter Schirmung genutzt“. In diesem Beispiel wurden mithin Symbole für einen Motor, eine Sicherung, einen Frequenzumrichter, eine Drehspindel, einen Schaltschrank erkannt, denen mittels OCR die Namen M3, F2, A2 zugeordnet werden konnten. Weitere Angaben, nämlich Herstellerfirma, Bestellnummer können durch vordefiniertes Wissen über die betreffenden Schaltsymbole/Schaltelemente und erkannte Firmennamen ergänzt worden sein. Angaben hinsichtlich Kabelquerschnitt und Schirmung ergeben sich beispielsweise aus OCR-Analysen der Verbindungsleitungen, analog zu den bereits erwähnten OCR-Analysen der Schaltsymbole.
Weitere Beispiele für automatisch erzeugte Aussagen über ein Schaltbild: „Der Not-Aus-Schalter im Feld ‚B4‘ ist direkt mit der Hauptspannungsversorgung in ‚B1‘ verbunden“; „Das Siemens Schütz ‚3RT2017-1BB56‘ aus dem Schaltschrank‟ A3' steuert über eine 2,5mm2-Leitung die Signallampe der Firma ‚WEKA‘ in Feld 'B1'''; „Die Lampe ‚H3‘ ist an dem Anschluss ‚+‘ direkt mit der SPS-Ausgangskarte ‚KF3.1‘ an deren Ausgang ‚5‘ verbunden. In der Software ist sie über die Adresse ‚I6.5‘ und die Variable ‚Lampe bunt‘ erreichbar“. In diesen Beispielen stammen die Symbolnamen B4, B1, 3RT2017-1BB56, A3, H3, KF3.1, 5, I6.5, Lampe bunt aus OCR-Analysen der von Schaltsymbolen eingenommenen Flächen in dem Schaltbild. Die Firmennamen Siemens Schütz und WEKA können automatisch anhand der jeweiligen erkannten Schaltsymbole und deren vorbekannten Herstellern ermittelt werden. Die Bezeichnungen Not-Aus-Schalter, Hauptspannungsversorgung, Schaltschrank, Signallampe, Lampe, SPS-Ausgangskarte sind Typenbezeichnungen von Schaltsymbolen, die nach Erkennung dieser Schaltsymbole aus vorbekannten Angaben zu diesen Schaltsymbolen ermittelt werden können. Die restlichen Textbestandteile werden automatisch generiert, wobei einschlägig bekannte Datenmodelle für die Erzeugung natürlichsprachlicher Formulierungen herangezogen werden. Die konkrete Auswahl und Implementierung dieser Datenmodelle ist dem Fachmann bekannt und nicht Gegenstand der Erfindung.
Ausführungsformen der Erfindung umfassen auch ein computerlesbares Medium mit darauf gespeicherten Befehlen, die, wenn sie durch einen Prozessor ausgeführt werden, die oben erläuterten Schritte ausführen. Ferner umfassen Ausführungsformen der Erfindung einen Computer, Mobilgerät, oder ähnliches, die mit einem Speicher und einem Prozessor ausgestattet sind, der eingerichtet ist, die oben erläuterte Erfindung auszuführen.
1 zeigt einen Aussschnitt aus einem beispielhaften Schaltplan 100. Der Schaltplan 100 enthält mehrere Schaltsymbole mit ein- und Ausgängen, beispielsweise einen mit Wechselstrom betriebenen Motor M sowie mehrere Erdungen und Schalter. Ferner sind Leitungen in unterschiedlichen Ausführungen gezeigt.
2 zeigt ein erfindungsgemäßes Verfahren zur automatischen Analyse eines Schaltplans. Der Schaltplan wird zunächst in eine Rasterdarstellung überführt, falls er in einem Vektorformat vorliegt. Anschließend werden in Schritt 210 ein oder mehrere Filter zur Erkennung der abgebildeten Schaltsymbole auf das Schaltbild angewendet. Wie bereits erläutert, dient jeder der Filter zur Erkennung eines oder mehrerer Schaltsymbole eines Typs, beispielsweise ein Filter zur Erkennung von Kondensatoren, ein Filter zur Erkennung von Spulen, usw. Die Filter können etwa in Matrizenform vorliegen. Die Anwendung kann in Form einer Faltung, Konvolution, Matrizenmultiplikation, Fouriertransformation und Filterung im Frequenzraum oder andere gängige Maßnahmen zur Anwendung von Filtern erfolgen. Die Anwendung eines Filters resultiert in einem Ergebnisbild, vorzugsweise mit den gleichen Abmessungen wie das Schaltbild. In dem Ergebnisbild sind Orte, an denen in dem Schaltbild mit hoher Wahrscheinlichkeit das betreffende Schaltsymbol vorliegt, mit erhöhten (geringeren) Grauwerten belegt. Zur Erkennung aller Schaltsymbole eines Filters wird dessen Ergebnisbild einer Analyse auf Maxima (Minima) unterzogen. Die Analyse wird für jedes Ergebnisbild durchgeführt, so dass schließlich die Orte aller Schaltsymbole aller angewendeten Filter bekannt sind.
Die Erkennung der Schaltsymbole kann um eine Schrifterkennung (OCR) ergänzt werden, bei der eventuell vorhandene Textbezeichnungen der Schaltsymbole erkannt werden. Beispielsweise kann um jedes der Schaltsymbole ein Umkreis oder Rechteck definiert werden, in dem diese Bezeichnungen ermittelt werden. Die aufgefundenen Texte werden gemeinsam mit dem jeweiligen Schaltsymbol in einer geeigneten Datenstruktur gespeichert. Die Texte können klassifiziert werden, beispielsweise anhand ihrer konkreten Anordnung und/oder Größe innerhalb des Schaltsymbols, um die Bezeichnungen von Ein- oder Ausgängen von Bezeichnungen des ganzen Schaltsymbols abzugrenzen. Die unterschiedlich klassifizierten Texte werden in der Datenstruktur in jeweiligen Variablen gespeichert, so dass für jedes Schaltsymbol die Bezeichnungen der Ein- und Ausgänge sowie Bezeichnung des Schaltsymbols separat abgerufen werden können.
In Schritt 220 werden Verbindungsleitungen zwischen den Schaltsymbolen erkannt. Dies erfolgt vorzugsweise im Wege von Kantendetektoren, die waagerechte, senkrechte und/oder geneigte Linien erkennen. In einer Ausführungsform werden für diese unterschiedlichen Linientypen jeweilige Detektoren verwendet, die getrennte Ergebnisbilder liefern. Die erkannten Linienabschnitte/Verbindungssegmente werden auf geeignete Weise zu vollständigen Verbindungen ergänzt, und die resultierenden Verbindungen in Schritt 230 mit den Schaltsymbolen in Einklang gebracht; eine konkrete Implementierung dieser Maßnahmen wird unten unter Bezugnahme auf 3 erläutert.
In Schritt 240 werden die ermittelten Daten in der Datenstruktur gespeichert. Insbesondere werden für jeden Ein- und Ausgang eines Schaltsymbols diejenigen Schaltsymbole vermerkt, die mit diesem Ein- beziehungsweise Ausgang verbunden sind. Dies kann etwa mittels eines Zeigers auf das betreffende verbundene Schaltsymbol implementiert werden.
3 zeigt ein Verfahren 300 zur Zuordnung von Schaltsymbolen zu Verbindungsleitungen, die die Schaltsymbole untereinander verbinden. Das Verfahren 300 wird für jedes der erkannten Maxima (Minima) in den Ergebnisbildern von Schritt 110 in 2 durchgeführt. In Schritt 310 wird eines dieser Maxima (Minima) und das zugehörige Schaltsymbol betrachtet. Insbesondere kann das Verfahren dadurch präzisiert werden, dass für dieses Schaltsymbol die Ein- und Ausgänge ermittelt werden und das ganze Verfahren 300 separat für jeden dieser Ein- und Ausgänge durchgeführt wird.
In Schritt 320 werden aus den bei Schritt 220 des Verfahrens 200 erkannten Verbindungssegmenten deren Endpunkte betrachtet. Beispielsweise können diese Endpunkte mittels Vektorisierung der Verbindungssegmente ermittelt werden. Schritt 320 umfasst das Identifizieren von nächstliegenden, idealerweise mit dem aktuell betrachteten Maximum (Minimum) oder Ein- oder Ausgang identischen Endpunkten der Verbindungssegmente.
Die Schritte 320 und 330 bilden eine Schleife zur Konstruktion einer vollständigen Verbindungsleitung aus den ermittelten Verbindungssegmenten. Zunächst wird bei Schritt 330 geprüft, ob das andere Ende des bei Schritt 320 ausgewählten Verbindungssegments mit einem weiteren der erkannten Schaltsymbol-Maxima (Minima) beziehungsweise deren Ein- oder Ausgängen ist. In diesem Fall ist die Schleife bereits beendet und eine vollständige Verbindungsleitung erkannt; dies wird in Schritt 340 festgestellt. In der Datenstruktur wird für jedes der beiden Schaltsymbole das jeweils andere Schaltsymbol vermerkt, vorzugsweise in Verbindung mit dem jeweiligen Ein- beziehungsweise Ausgang.
Wird bei Schritt 330 jedoch festgestellt, dass das andere Ende des Verbindungssegments nicht identisch oder innerhalb einer Schwellwertdistanz von einem weiteren Schaltsymbol-Maximum (Minimum) beziehungsweise Ein- oder Ausgang liegt, kehrt das Verfahren 300 zu Schritt 320 zurück. Hier wird geprüft, welches der verbleibenden Verbindungssegmente mit dem aktuell betrachteten Verbindungssegment einen gemeinsamen Endpunkt aufweist. Um etwaigen Ungenauigkeiten in der Erkennung Rechnung zu tragen, kann auch hier eine Schwellwertdistanz verwendet werden. Die Schleife 320, 330 wird solange ausgeführt, bis als Endpunkt des zuletzt betrachteten Verbindungssegments ein Maximum (Minimum)/Schaltsymbol beziehungsweise Ein- oder Ausgang eines Schaltsymbols als Endpunkt der Verbindungsleitung ermittelt wurde. Das Ergebnis wird in Schritt 340 in der Datenstruktur abgelegt.
Die Erfindung ermöglicht somit eine automatische und vollständige Analyse eines Schaltbildes, indem sie mit Mitteln der Bildverarbeitung, insbesondere der Mustererkennung, abgebildete Schaltsymbole und deren Verbindungen untereinander ermittelt und diese Daten, einschließlich textlicher Bezeichnungen, in einer Datenstruktur ablegt. Im Ergebnis liegen alle Angaben über die Topologie der abgebildeten Schaltung vor, und können verwendet werden, um weitergehende Aussagen über die Funktionsweise einzelner Schaltelemente sowie der ganzen Schaltung zu treffen. Solche Aussagen umfassen auch natürlichsprachliche Aussagen, die den Anwender beim Verständnis der Schaltung unterstützen und idealerweise zur automatischen Erzeugung von Dokumentationen herangezogen werden können. Benutzer können in die erläuterten Verfahren eingreifen, indem sie mittels Dialogen die jeweiligen Erkennungsschritte steuern; solche Dialoge können entweder auf Initiative des Benutzers oder im Falle von Grenzfällen angezeigt werden (mehrere Schaltsymbole an einem Ort, mehrere Verbindungen pro Ein- oder Ausgang, fehlende Bezeichner für bestimmte Schaltelemente oder Ein-/Ausgänge).
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 7587061 B1 [0004]
US 5251268 [0005]

Claims

Verfahren zur automatischen Analyse eines Schaltbildes, umfassend: Anwenden eines oder mehrerer Filter auf ein Schaltbild zur Erkennung eines durch den jeweiligen Filter definierten Schaltsymbols in dem Schaltbild; Anwenden eines oder mehrerer Detektoren auf das Schaltbild zur Erkennung von Verbindungen zwischen den Schaltsymbolen; Ermitteln derjenigen erkannten Schaltsymbole, die mittels der erkannten Verbindungen miteinander gekoppelt sind; und für jedes der erkannten Schaltsymbole Speichern eines Hinweises in einer Datenstruktur des erkannten Schaltsymbols auf jedes weitere mit diesem erkannten Schaltsymbol gekoppelte Schaltsymbol.
Verfahren nach Anspruch 1, ferner umfassend: Erzeugen einer natürlichsprachlichen Formulierung aus einer der Datenstrukturen, wobei die natürlichsprachliche Formulierung eine Funktion eines der erkannten Schaltsymbole angibt, die von dem Schaltsymbol auf die mit diesem Schaltsymbol gekoppelten Schaltsymbole ausgeübt wird, oder die auf das Schaltsymbol von den mit diesem Schaltsymbol gekoppelten Schaltsymbolen ausgeübt werden.
Verfahren nach Anspruch 2, wobei die Funktion eines Schaltsymbols in der Datenstruktur vordefiniert ist, und wobei eine Funktion, die auf dieses Schaltsymbol von einem gekoppelten Schaltsymbol ausgeübt wird, durch Nachschlagen dieser Funktion in der Datenstruktur des gekoppelten Schaltsymbols ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 3, wobei der Filter ein Graustufenbild oder ein Bitmap ist, das Ecken eines Symbols als Grauwerte beziehungsweise als gesetzte Bits darstellt.
Verfahren nach einem der Ansprüche 1 bis 4, ferner umfassend Herstellen der ein oder mehreren Filter zur Erkennung eines jeweiligen Schaltsymbols, wobei das Herstellen eines Filters umfasst: Anwenden eines oder mehrerer Kantendetektoren auf eine Darstellung eines Schaltsymbols zur Hervorhebung horizontaler, vertikaler und diagonaler Kanten; und Bestimmen von Endpunkten der horizontalen, vertikalen und diagonalen Kanten, und Speichern eines entsprechenden Bits oder eines entsprechenden Grauwerts in einem Bitmap beziehungsweise einem Graustufenbild als resultierendem Filter.
Verfahren nach einem der Ansprüche 1 bis 5, ferner umfassend Klassifizieren der erkannten Schaltsymbole nach dem Anwenden der Filter.
Verfahren nach Anspruch 6, wobei der Benutzer aufgefordert wird, eine Auswahl aus mehreren Schaltsymbolen zu treffen, deren Filter an einer Stelle in dem Schaltbild das Vorliegen dieser Schaltsymbole anzeigen.
Verfahren nach einem Ansprüche 1 bis 7, ferner umfassend Erkennen einer technischen Disziplin des Schaltbildes, die in einem Dokument enthalten ist, das das Schaltbild enthält, und Bestimmen eines Satzes von Schaltsymbolen und zugehörigen Filtern, der der technischen Disziplin zugeordnet ist und zur automatischen Analyse des Schaltbildes herangezogen werden soll.
Verfahren nach einem der Ansprüche 1 bis 8, wobei die ein oder mehreren Detektoren Kantendetektoren sind.
Verfahren nach einem der Ansprüche 1 bis 9, wobei der Hinweis ein Zeiger ist.
Verfahren nach einem der Ansprüche 1 bis 10, wobei der Hinweis für direkt mit einem erkannten Schaltsymbol gekoppelte erkannte Schaltsymbole gespeichert wird.
Verfahren nach einem der Ansprüche 1 bis 11, wobei der Hinweis für indirekt mit einem erkannten Schaltsymbol gekoppelte erkannte Schaltsymbole gespeichert wird.
Computerlesbares Medium mit darauf gespeicherten Befehlen, die bei Ausführung durch einen Prozessor das Verfahren nach einem Ansprüche 1 bis 12 durchführen.
Vorrichtung, umfassend: Einen Speicher; und Einen mit dem Speicher gekoppelten Prozessor, der eingerichtet ist, dass Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen.