DE102018104632A1

DE102018104632A1 - Automatisierte Wulsterkennung und Erkennungstraining

Info

Publication number: DE102018104632A1
Application number: DE102018104632.4A
Authority: DE
Inventors: Ali Zadeh
Original assignee: Cognex Corp
Current assignee: Cognex Corp
Priority date: 2017-07-21
Filing date: 2018-02-28
Publication date: 2019-01-24
Also published as: US10402962B2; US20200226733A1; US20190026880A1

Abstract

Ein System und ein Verfahren zum Trainieren eines Wulsterkennungssystems können das Identifizieren eines Startbereichs an einer Wulst auf Grundlage eines Startindikators umfassen. Die Wulst kann zur Identifizierung von Wulstmerkmalen in dem Startbereich analysiert werden. Die Wulst kann dann auf Grundlage der identifizierten Wulstmerkmale außerhalb des Startbereichs analysiert werden, um ein Wulstprofil zur Verwendung bei einer eigentlichen Wulstuntersuchung zu identifizieren.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft die Erkennung und Bewertung von auf Strukturen aufgebrachten Wülsten.
HINTERGRUND DER ERFINDUNG
In vielen Zusammenhängen kann es zweckdienlich sein, Wülste aus extrudiertem Material auf unterschiedliche Substrate (z. B. Strukturen von Industrieteilen) abzuscheiden (oder anderweitig aufzubringen). Bei der Montage von Fahrzeugen, medizinischen Geräten und Verbraucherelektronikprodukten und anderen industriellen und gewerblichen Anwendungen kann es zum Beispiel zweckdienlich sein, Klebstoffe oder andere Dichtstoffe auf Dichtungen oder andere Bereiche zur Befestigung verschiedener Teile usw. aufzubringen.
Es kann aus unterschiedlichen Gründen wichtig sein, dass eine betreffende Wulst einem bestimmten Verlauf mit relativ großer Genauigkeit (z. B. mit weniger als einer vorbestimmten Abweichung gegenüber dem gewünschten Verlauf) folgt. Ebenso kann es wichtig sein, dass eine betreffende Wulst verschiedene Eigenschaften bis zu einem gewünschten Genauigkeitsgrad aufweist. Bei verschiedenen Anwendungen kann es zum Beispiel wichtig sein, dass Wülste eine relativ gleichmäßige (oder anderweitig bestimme) Wulstdicke, Wulstkontinuität und so weiter aufweisen.
ZUSAMMENFASSUNG DER ERFINDUNG
Es werden Technologien zur Identifizierung von Wülsten auf Strukturen und insbesondere zur Identifizierung von Wülsten im Zuge eines Trainingsverfahrens für eine anschließende automatische Wulsterkennung und -prüfung beschrieben.
Einige Ausführungsformen der Erfindung sehen ein computerimplementiertes Trainingsverfahren für ein Wulsterkennungssystem zur Verwendung mit einem Trainingsbild vor, welches eine Darstellung einer Wulst auf einem Substrat enthält. Eine Eingabe kann empfangen werden, die einen Startindikator bestimmt, der einem separaten Abschnitt der Wulst auf dem Trainingsbild entspricht. Das Trainingsbild kann an dem Startindikator analysiert werden, um mindestens ein Merkmal der Wulst zu identifizieren. Auf Grundlage des mindestens einen Merkmals der Wulst kann mindestens ein von dem Startindikator beabstandeter Abschnitt der Wulst analysiert werden, um ein Kandidatenwulstprofil zu identifizieren. Das Kandidatenwulstprofil kann einem Prüfmodul für eine anschließende Prüfung von Wülsten in Nichttrainingsbildern bereitgestellt werden.
Einige Ausführungsformen der Erfindung sehen ein computerimplementiertes Trainingsverfahren für ein Wulsterkennungssystem zur Verwendung mit einem Trainingsbild vor, welches eine Darstellung einer Wulst auf einer Struktur enthält. An der Wulst auf dem Trainingsbild kann auf Grundlage eines durch einen Nutzer bestimmten Startindikators ein Startbereich identifiziert werden. Zur Identifizierung mindestens eines Merkmals der Wulst kann die Wulst in dem Startbereich analysiert werden. Die Wulst kann auf Grundlage erster Analyseparameter und des mindestens einen Merkmals der Wulst außerhalb des Startbereichs analysiert werden, um ein erstes Kandidatenwulstprofil zu identifizieren. Die Wulst kann auf Grundlage des mindestens einen Merkmals der Wulst und sich von den ersten Analyseparametern unterscheidender zweiter Analyseparameter außerhalb des Startindikators analysiert werden, um ein zweites Kandidatenwulstprofil zu identifizieren. Auf Grundlage des ersten und/oder des zweiten Kandidatenwulstprofils kann ein Prüfwulstprofil bestimmt werden. Das Prüfwulstprofil kann einem Prüfmodul zur anschließenden Prüfung von Wülsten in Nichttrainingsbildern bereitgestellt werden.
Einige Ausführungsformen der Erfindung sehen ein Wulsterkennungstrainingssystem vor. Eine Bildaufnahmevorrichtung kann zur Aufnahme eines Trainingsbilds einer Wulst ausgebildet sein. Ein Analysemodul kann zum Empfang des Trainingsbilds; zum Empfang einer Nutzereingabe, die einen Startindikator bereitstellt, der einen separaten Abschnitt der Wulst auf dem Trainingsbild bestimmt, wobei sich im Wesentlichen die gesamte Wulst auf dem Trainingsbild außerhalb des separaten Abschnitts befindet; zur Analyse der Wulst in dem separaten Abschnitt der Wulst zum Zweck der Identifizierung mindestens eines Merkmals der Wulst; zur Analyse der Wulst außerhalb des separaten Abschnitts der Wulst auf Grundlage des identifizierten mindestens einen Merkmals der Wulst zum Zweck der Bestimmung mindestens eines Kandidatenwulstprofils; und zur Bereitstellung mindestens eines der Kandidatenwulstprofile an ein Prüfmodul zur anschließenden Prüfung von Wülsten in Nichttrainingsbildern ausgebildet sein.
Zur Erfüllung der vorgenannten und mit diesen verwandter Ziele können Ausführungsformen der Erfindung sodann die im Folgenden vollständig beschriebenen Merkmale aufweisen. Die folgende Beschreibung und die beigefügte Zeichnung stellen bestimmte beispielhafte Aspekte der Erfindung näher dar. Diese Aspekte weisen jedoch auf lediglich einige der zahlreichen Arten hin, auf welche die Prinzipien der Erfindung einsetzbar sind. Weitere Aspekte, Vorteile und neuartige Merkmale der Erfindung ergeben sich aus der folgenden ausführlichen Beschreibung der Erfindung in Zusammenschau mit der Zeichnung.
Figurenliste
Die Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung in Verbindung mit der beigefügten Zeichnung. Es zeigen:

1 eine schematische Ansicht eines Trainingsbilds für die Wulsterkennung mit einer abgebildeten Wulst und einem vom Bediener vorgegebenen Startindikator gemäß einem Aspekt der Erfindung;
2 eine schematische Teildarstellung des Trainingsbilds nach 1, die eine erste Analyse der abgebildeten Wulst gemäß einem Aspekt der Erfindung zeigt;
3 eine schematische Teildarstellung des Trainingsbilds nach 1, die eine Abfolge von Analyseoperationen an der abgebildeten Wulst zur Identifizierung eines Wulstverlaufs gemäß einem Aspekt der Erfindung zeigt;
4 eine schematische Teildarstellung des Trainingsbilds nach 1, die eine Analyse eines unregelmäßigen Wulstabschnitts gemäß einem Aspekt der Erfindung zeigt;
5 eine schematische Teilansicht eines weiteren Trainingsbilds zur Wulsterkennung, die eine Analyse mehrerer unregelmäßiger Wulstabschnitte gemäß einem Aspekt der Erfindung zeigt;
6 eine schematische Ansicht des Trainingsbilds nach 1, die ein bei einer betreffenden Ausführung einer Trainingsoperation gemäß einem Aspekt der Erfindung erkanntes Wulstprofil zeigt;
7 eine schematische Ansicht des Trainingsbilds nach 1, die ein anderes bei einer anderen Ausführung einer Trainingsoperation gemäß einem Aspekt der Erfindung erkanntes Wulstprofil zeigt;
8 eine schematische Ansicht des Trainingsbilds nach 1, die eine Darstellung eines Wulstprofils gegenüber einem Nutzer gemäß einem Aspekt der Erfindung zeigt;
9 eine schematische Ansicht eines ersten Referenzbilds ohne Wulst zur Verwendung bei Ausführungsformen der Erfindung;
10 eine schematische Ansicht eines zweiten Referenzbilds mit einer Wulst zu Verwendung mit dem ersten Referenzbild nach 9;
11 eine schematische Ansicht eines auf Grundlage des ersten und des zweiten Referenzbilds nach 9 und 10 erzeugten Trainingsbilds gemäß einem Aspekt der Erfindung;
12 eine schematische Ansicht eines Trainingsbilds, das eine Wulsterkennung nach einem Aspekt der Erfindung zeigt;
13 eine vergrößerte schematische Ansicht eines Abschnitts des Trainingsbilds nach 12;
14 eine schematische Ansicht eines Wulsterkennungstrainingsverfahrens nach einer Ausführungsform der Erfindung; und
15 eine schematische Ansicht eines maschinell sehenden Systems nach einer Ausführungsform der Erfindung.

AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
In der folgenden ausführlichen Beschreibung wird Bezug auf die beigefügte Zeichnung genommen, die Teil der Beschreibung ist. In der Zeichnung kennzeichnen gleiche Symbole üblicherweise gleiche Komponenten, sofern der Kontext nichts anderes vorgibt. Die in der ausführlichen Beschreibung, der Zeichnung und den Ansprüchen beschriebenen Ausführungsbeispiele sind nicht einschränkend zu verstehen. Es können weitere Ausführungsformen genutzt werden oder weitere Veränderungen vorgenommen werden, ohne von der Idee oder dem Umfang des hier dargelegten Gegenstands abzuweichen. Es versteht sich ohne Weiteres, dass die Aspekte der vorliegenden Offenbarung in ihrer hier in allgemeinen Worten beschriebenen und in den Figuren dargestellten Form auf eine große Vielzahl von unterschiedlichen Arten angeordnet, ersetzt, kombiniert, getrennt und ausgestaltet werden können, die vorliegend allesamt explizit in Erwägung gezogen sind.
Bei einigen Ausgestaltungen können Aspekte der Erfindung, einschließlich computerimplementierter Umsetzungen von erfindungsgemäßen Verfahren, unter Verwendung standardmäßiger Programmier- und/oder Maschinenbautechniken zur Herstellung von Software, Firmware, Hardware oder einer Kombination derselben zur Steuerung eines rechner- oder prozessorgestützten Geräts zur Umsetzung von vorliegenden beschriebenen Aspekten als System, Verfahren, Vorrichtung oder Fertigungsgegenstand ausgeführt werden. Der Begriff „Fertigungsgegenstand“ soll vorliegend ein über jegliches rechnerlesbares Gerät, Trägermedium (z. B. nichtflüchtige Signale) oder Medium (z. B. nichtflüchtige Speichermedien) zugängliches Rechnerprogramm umfassen. Rechnerlesbare Medien können unter anderem magnetische Speichervorrichtungen (z. B. Hard Disk, Floppy Disk, Magnetstreifen usw.), optische Disks (z. B. Compact Disk (CD), Digital Versatile Disk (DVD) usw.), Smartcards und Flash-Speichervorrichtungen (z. B. Karte, Stick) umfassen. Des Weiteren versteht es sich, dass eine Trägerwelle zur Übertragung von rechnerlesbaren elektronischen Daten eingesetzt werden kann, wie z. B. solche, die bei der Übertragung und dem Empfang von E-Mails oder beim Zugriff auf ein Netzwerk wie das Internet oder ein lokales Netzwerk (LAN) verwendet werden. Der Fachmann erkennt natürlich, dass an diesen Ausgestaltungen zahlreiche Modifikationen vornehmbar sind, ohne von dem Umfang oder der Idee des beanspruchten Gegenstands abzuweichen.
Ausführungsformen der Erfindung können als Systeme und/oder Verfahren, einschließlich computerimplementierte Verfahren umgesetzt werden. Einige Ausführungsformen der Erfindung können widerspruchsfrei zu der anschließenden Beschreibung eine Vorrichtung, wie z. B. eine Automatisierungsvorrichtung, einen Spezialrechner oder einen Allzweckrechner mit verschiedener Rechnerhardware, Software, Firmware und so weiter umfassen (oder verwenden).
In Abwesenheit anderslautender Angaben oder Einschränkungen sind „A, B und/oder C“ oder andere ähnliche Formulierungen vorliegend als A oder B oder C oder jegliche Kombination aus A, B und/oder C zu verstehen. Diese Formulierung und andere ähnliche Formulierungen können bedeuten, dass A, B und/oder C einzeln oder mehrfach vorhanden sind und dass in dem Fall, dass A, B und/oder C eine Kategorie von Elementen angibt, jedes der Elemente der Kategorie (oder Kategorien) einzeln oder mehrfach vorkommen kann.
In Abwesenheit anderslautender Angaben oder Einschränkungen beziehen sich die vorliegend verwendeten Begriffe „Komponente“, „System“, „Modul“ und dergleichen auf eine rechnertechnische Einheit, entweder Hardware, eine Kombination aus Hardware und Software, Software oder ausgeführte Software. Eine Komponente kann zum Beispiel unter anderem ein auf einem Prozessor laufender Prozess, ein Prozessor, ein Objekt, etwas Ausführbares, ein Ausführungsstrang, ein Programm und/oder ein Rechner sein. Zur Veranschaulichung können sowohl eine auf einem Rechner laufende Anwendung als auch der Rechner eine Komponente sein. Eine oder mehrere Komponenten (oder ein System, ein Modul und so weiter) können einem Prozess und/oder Ausführungsstrang innewohnen, auf einen Rechner begrenzt sein, auf zwei oder mehr Rechner oder Prozessoren aufgeteilt sein und/oder in einer anderen Komponente (oder einem anderen System, Modul usw.) enthalten sein.
In Abwesenheit anderslautender Angaben oder Einschränkungen beziehen sich der Begriff „unregelmäßig“ und ähnliche Formen im Allgemeinen auf Abschnitte von Wülsten, in denen Ränder der Wülste nicht wie erwartet ausgebildet sind, die von umgebenden Abschnitten der Wulst (z. B. hinsichtlich der Gesamtbreite, des Kontrasts usw.) abweichen oder die (z. B. aufgrund der Nähe zu einer Öffnung in einem Gegenstand oder einem Rand eines Gegenstands, auf den die Wulst aufgebracht ist) eine oder mehrere unklare Kanten aufweisen.
In Abwesenheit anderslautender Angaben oder Einschränkungen bezieht sich „Hell-auf-dunkel“ auf Merkmale von Interesse, die allgemein heller abgebildet werden als der umgebende Hintergrund. Gleichermaßen bezieht sich „Dunkel-auf-hell“ auf Merkmale von Interesse, die allgemein dunkler abgebildet werden als der umgebende Hintergrund.
Wie bereits erläutert, kann es zweckdienlich sein, auf Strukturen aufgebrachte Wülste im Hinblick auf verschiedene Merkmale zu untersuchen. Übliche Herangehensweisen an die Wulstuntersuchung sind jedoch ggf. ineffizient und/oder nicht zuverlässig. In einigen Fällen werden Wülste zum Beispiel nach der Abscheidung auf ein betreffendes Substrat (z. B. ein betreffendes Industrieteil) visuell durch einen Arbeiter geprüft. Zwar können erfahrene Arbeiter viele Wulstmängel erkennen, dennoch kann diese Art der visuellen Prüfung langsam und fehleranfällig sein. Des Weiteren kann die Ausbildung von Arbeitern zur Sicherstellung geeigneter Prüftechniken und einer geeigneten Prüfdurchführung zeitaufwendig und teuer sein.
Als weiteres Beispiel können herkömmliche automatisierte Prüfverfahren die für eine visuelle Prüfung von Wülsten durch Arbeiter benötigte Zeit vorteilhaft verbessern. Das angemessene Trainieren automatisierter Systeme nimmt jedoch ggf. viel Zeit in Anspruch, damit eine angemessene Prüfgenauigkeit sichergestellt werden kann. Das Trainieren herkömmlicher automatisierter Prüfsysteme beruht des Weiteren häufig auf visueller Prüfung und/oder manueller Eingabe und Analyse von Parametern durch Arbeiter. Bei einigen herkömmlichen Herangehensweisen sind zum Beispiel Wulstprüfwerkzeuge dazu ausgebildet, dass sie trainiert (oder anderweitig betrieben) werden, indem sie einen nutzerdefinierten groben Verlauf (z. B. als Liste von Punkten) für eine Referenzwulst akzeptieren und dann zur Ausbildung einer Leitkurve automatisch Suchfelder auf dem Verlauf platzieren. Im Verlauf des Trainings können die Größe und der Abstand dieser Suchfelder manuell modifiziert werden, um die Abtastauflösung oder andere Parameter zu ändern. Ebenso können auch Parameter wie zulässige Wulstbreite, Versatz und Abstand sowie allgemeine Abnahmekriterien angepasst werden, um bestimmte Prüferfordernisse zu erfüllen. Bei diesen und weiteren Herangehensweisen wird die Aufgabe des Trainierens eines Wulstverlaufs zur Prüfung dementsprechend üblicherweise Ingenieuren mit Erfahrung im Bereich des maschinellen Sehens übertragen, wodurch sich der notwendige Aufwand an Zeit und andern Ressourcen weiter erhöht. Des Weiteren verlassen sich selbst erfahrene Arbeiter bei der Auswahl geeigneter Wulsteigenschaften und Analyseparameter manchmal hauptsächlich auf Versuch und Irrtum und/oder die eigene Intuition, was die Wahrscheinlichkeit einer langwierigen, ineffizienten und/oder ineffektiven Durchführung erhöht.
Unterschiedliche Ausführungsformen der Erfindung können diese und weitere Probleme lösen. Bei einigen Ausführungsformen kann die Erfindung zum Beispiel die zum Trainieren eines Sichtsystems zur zuverlässigen Prüfung von Wülsten (z. B. Klebstoff- oder Dichtmittelwülsten) notwendige Zeit sowie die erforderlichen Eingaben von Arbeitern insgesamt verringern und gleichzeitig ein zuverlässiges Training des Sichtsystems auf Grundlage von Eingaben selbst von unerfahrenen Nutzern ermöglichen.
Bei einigen Ausführungsformen kann ein Trainingsbild aufseiten eines Wulstprüfsystems empfangen werden und ein Arbeiter einen Startindikator zur Analyse der Wulst auf dem Trainingsbild bereitstellen. Zum Beispiel kann ein Arbeiter einfach eine elektronisch umgesetzte Markierung (z. B. einen Kreis) auf dem Trainingsbild bereitstellen, um einen Abschnitt der Wulst mit relativ repräsentativen Eigenschaften (z. B. Breite, Farbe, Kontrast usw.) anzuzeigen. Das Wulstprüfsystem kann die Wulst dann an dem Startindikator beginnend automatisch analysieren, um Wulsteigenschaften und anschließend mindestens einen Kandidaten für ein Profil der Wulst entlang des Substrats zu identifizieren. Der Nutzer kann dann ggf. mindestens eines der Kandidatenprofile auswählen sowie ein gewähltes Wulstprofil (oder andere Parameter) modifizieren. Schließlich kann ein geeignetes (z. B. nutzergewähltes und -modifiziertes) Kandidatenprofil einem Wulstprüfmodul (z. B. Teil eines großen Wulstprüfsystems) zur Identifizierung und Bewertung von Wülsten auf Nichttrainingsbildern auf Grundlage des Wulstprofils und von Wulsteigenschaften, die anhand des Trainingsbilds identifiziert wurden, bereitgestellt werden.
Wie bereits teilweise in den vorherigen Beispielen erwähnt, umfasst bei einigen Ausführungsformen ein nützlicher Aspekt der Erfindung die Möglichkeit zur Identifizierung von Wulstprofilen und anderen relevanten Parametern während des Systemtrainings mit relativ minimalen Eingaben von Nutzern. Bei einigen Ausführungsformen kann dieser Aspekt dem entsprechen, dass ein Nutzer anfänglich nur einen Startindikator bereitstellt, der einen separaten und relativ kleinen Abschnitt einer betreffenden Wulst auf einem Trainingsbild umfasst (z. B. so dass der Großteil der Wulst außerhalb des Startindikators liegt). Wie 1 zum Beispiel zeigt, kann ein Wulstprüfsystem dazu ausgebildet sein, ein Trainingsbild 20 zu empfangen, das eine Darstellung einer Substratstruktur 22 (z. B. eines Kraftfahrzeugteils) und einer auf die Struktur 22 aufgebrachten Wulst 24 enthalten kann. Auf Grundlage einer relativ schnellen und ggf. unerfahrenen Analyse des Trainingsbilds 20 kann ein Nutzer elektronisch einen Startindikator 26 auf dem Bild bereitstellen, um einen Startbereich auf der Wulst 24 für die Trainingsanalyse zu identifizieren. Wie auch im Folgenden beschrieben, kann das Wulstprüfsystem dann eine Analyse des Trainingsbilds 20 und der Wulst 24 vornehmen, um sich selbst (oder ein anderes System) zur Identifikation und Analyse ähnlicher Wülste in anschließenden Nichttrainingsbildern zu trainieren.
In verschiedenen Ausführungsformen kann ein Nutzer einen Startindikator auf unterschiedliche Arten und mit unterschiedlichen Eigenschaften bereitstellen. Bei der dargestellten Ausführungsform ist der Startindikator 26 zum Beispiel als einfacher Kreis ausgebildet, dessen Durchmesser etwas größer als die erwartete Wulstbreite (z. B. drei- oder viermal so groß wie die erwartete Wulstbreite) ausgelegt ist und der einfach (z. B. per Mausklick oder Betätigung eines Touchscreens) auf einem Abschnitt der Wulst 24 platziert werden kann, der für die Wulst 24 als Ganzes relativ charakteristisch ist. Bei anderen Ausführungsformen kann ein Startindikator andere Indikatorformen oder -eigenschaften aufweisen und auf andere Arten, z. B. automatisch oder halbautomatisch platziert werden.
Sobald ein Startindikator auf geeignete Weise implementiert (z. B. auf geeignete Weise auf einem Trainingsbild platziert) wurde und weitere Prüfparameter (z. B. anhand von nicht durch den betreffenden Nutzer eingegebenen Standardeinstellungen) festgelegt wurden, kann das Wulstprüfsystem im Allgemeinen mit der Analyse der betreffenden Wulst beginnen, um betreffende Wulsteigenschaften zu identifizieren. Hierbei kann das Wulstprüfsystem zum Beispiel unter Verwendung des Startindikators zur Identifizierung eines Bereichs von Interesse einen Abschnitt der Wulst (z. B. einen in einem Startindikator enthaltenen Abschnitt) mittels einer Vielzahl von bekannten Verfahren des maschinellen Sehens analysieren, um an dem Startindikator Parameter wie Wulstfarbe, Wulstbreite, anfängliche Wulstrichtung usw. zu identifizieren.
Wie 2 zum Beispiel zeigt, kann der Wulst 24 ausgehend von der Platzierung des Startindikators 26 ein Satz von Messeinrichtungen 28 virtuell überlagert werden. Mittels beliebiger bekannter Verfahren können die Messeinrichtungen 28 dann zur Identifizierung der betreffenden Farbe, Breite und Richtung der Wulst 24 an dem Startindikator 26 und/oder zahlreicher anderer Eigenschaften verwendet werden. Bei einigen Ausführungsformen kann die Analyse mit den Messeinrichtungen 28 wie bereits erwähnt auf Grundlage von Standardanalyseparametern (z. B. Standardmesseinrichtungsbreite, -versatz usw.) stattfinden, so dass vom die Analyse initiierenden Nutzer ggf. keine Erfahrung mit maschinellem Sehen verlangt wird.
Bei einigen Ausführungsformen können die Messeinrichtungen 28 um vorbestimmte Schritte (z. B. 22,5 Grad) gedreht werden, um die Wulst 24 aus einer Vielzahl von relativen Winkeln zu analysieren. Dies kann zum Beispiel in Kombination mit Kantendetektions- und Geradenanpassungsalgorithmen vorteilhaft sein, um Bestkandidatenkantenpaare für die Wulst 24 innerhalb des Startindikators 26 und damit einen Bestkandidatenumriss und eine Bestkandidatenrichtung für die Wulst 24 an dem Startindikator 26 zu identifizieren. Wie 2 zeigt, kann dies vorteilhafterweise zu einer relativ zuverlässigen Identifikation von Kanten 30 der Wulst 24 an dem Startindikator 26 sowie einer (in 2 nicht konkret dargestellten) Richtung der Wulst 24 an dem Startindikator 26 führen.
In verschiedenen Ausführungsformen können verschiedene Eigenschaften der Wulst 24 an dem Startindikator 26 sowie auch (oder alternativ) andere relevante Parameter auf Grundlage der Analyse der Wulst 24 an dem Startindikator 26 identifiziert werden. Bei einigen Ausführungsformen kann zum Beispiel eine Analyse mittels der in 2 angedeuteten Messeinrichtungen 28 zu einer Identifizierung nicht nur der Wulstfarbe, der Wulstbreite und der anfänglichen Wulstrichtung, sondern auch eines Minimalkontrasts für die Wulst, einer geeigneten Erstreckung von Messeinrichtungen über die erwartete Wulst hinaus für eine anschließende Analyse (z. B. eine geeignete halbe Scanbreite für die Messeinrichtungen) und anderer Bildanalyseparameter (z. B. halber Breiten für Gauß-Filter oder andere Filter usw.) führen.
Bei einigen Ausführungsformen kann eine Analyse einer Wulst an einem Startindikator auf Grundlage eines bekannten (oder erwarteten) Merkmals einer Wulst erfolgen. Ist zum Beispiel bekannt (oder erwartet), dass die Wulst 24 als Hell-auf-dunkel-Wulst abgebildet wird, kann die Analyse der Wulst 24 mittels der Messeinrichtungen 28 innerhalb des Startindikators 26 dementsprechend erfolgen. Hierbei kann zum Beispiel eine Standardeinstellung oder eine vom Nutzer vorgegebene Einstellung die Analyse der Wulst auf geeignete Weise an der betreffenden Wulstfarbe ausrichten. Bei anderen Ausführungsformen kann die Analyse einer Wulst an einem Startindikator aber auch andere Möglichkeiten (z. B. bezüglich der Wulstfarbe oder anderer Merkmale) vorsehen. Wenn die erwartete Farbe der Wulst 24 zum Beispiel nicht bekannt ist (oder unter sonstigen Umständen), kann die Analyse der Wulst 24 mittels der Messeinrichtungen 28 sowohl für Hell-auf-dunkel- als auch für Dunkel-auf-hell-Wülste ausgeführt werden und dementsprechend eine tatsächliche (oder anscheinende) Wulstfarbe bestimmt werden.
Bei einigen Ausführungsformen kann ein Nutzer nach der Identifizierung eines Startindikators (oder zu einem anderen Zeitpunkt) verschiedene Parameter in dem Wulstprüfsystem anpassen, um das System bei der geeigneten Identifizierung der betreffenden Wulst zu unterstützen. Gegebenenfalls kann der Nutzer zum Beispiel Parameter wie ein Wulstfarbschema (z. B. Hell-auf-dunkel- oder Dunkel-auf-hell-Wülste), einen Wulstkontrastpegel (z. B. einen erwarteten Pegel des Kontrasts zwischen der Wulst und der betreffenden Umgebungs- oder Hintergrundstruktur), eine Wulstbreite und andere Analyseparameter (z. B. wie weit sich ein Satz von Messeinrichtungen über die Wulst hinauserstrecken sollte) und so weiter anpassen. Bei einigen Ausführungsformen kann der Nutzer hingegen auf Standardeinstellungen für diese und weitere Parameter zurückgreifen und zu Beginn hauptsächlich (z. B. nur) den Startindikator betreffende Eingaben bereitstellen.
Sobald anhand der Analyse an einem Startindikator geeignete Merkmale einer Wulst identifiziert wurden, kann das Wulstprüfsystem mit einer weiteren Analyse der Wulst an von dem Startindikator beabstandeten (z..B außerhalb des Startindikators liegenden) Stellen fortfahren. Bei einigen Ausführungsformen kann dies zunächst ein an dem Startindikator beginnendes Abschreiten der Wulst in einer Richtung und das Analysieren aufeinanderfolgender benachbarter Bereiche der Wulst der Reihe nach umfassen. Wie 2 zeigt, kann eine Analyse der Wulst 24 innerhalb des Startindikators 26 zum Beispiel zur Identifizierung einer relativ zuverlässigen Identifizierung der Kanten 30 der Wulst 24 innerhalb des Startindikators 26 sowie dementsprechend einer relativ zuverlässigen (in 2 nicht ausdrücklich dargestellten) anfänglichen Richtung der Wulst 24 führen. Auf Grundlage dieser anfänglichen Richtung kann die Analyse der Wulst 24 dann durch eine schrittweise Fortbewegung von dem Startindikator 26 in einer ersten Richtung (z. B. in der Perspektive von 2 grob nach rechts) fortgesetzt werden.
Bei einigen Ausführungsformen kann die Analyse einer Wulst abseits eines Startindikators in etwa ähnlich zur Analyse der Wulst innerhalb des Startindikators ablaufen, allerdings mit dem Vorteil, dass die betreffenden Wulstmerkmale (z. B. Farbe, Kontrast und so weiter) für die Wulst bereits anhand der Analyse an dem Startindikator bestimmt wurden. Auf Grundlage einer anfänglichen Richtung der Wulst 24 (die z. B. anhand der Analyse an dem in 2 dargestellten Startindikator 26 bestimmt wurde) können zum Beispiel aufeinanderfolgende Gruppen von Messeinrichtungen dazu verwendet werden, separate Abschnitte der Wulst 24 zu analysieren, wobei jede Gruppe von Messeinrichtungen zur Identifizierung lokaler Wulstkanten und der lokalen Wulstrichtung (und/oder anderer Parameter) verwendet wird, um die Platzierung einer anschließenden Gruppe von Messeinrichtungen zu lenken.
Auf diese Wise kann zum Beispiel ein Satz von separaten Punkten (oder Linien) identifiziert werden, die einen Wulstverlauf für die Wulst 24 kennzeichnen. Wie 3 zeigt, kann auf Grundlage einer zuvor bestimmten Wulstrichtung 40 zum Beispiel eine Messeinrichtungsgruppe 42a platziert werden, um einen separaten Abschnitt der Wulst 24 zu analysieren. Anhand der Analyse mit der Messeinrichtungsgruppe 42a kann eine anschließende lokale Wulstrichtung 40a (sowie z. B. lokale Kanten der Wulst 24) identifiziert werden, die zur Lenkung einer Platzierung einer (nicht gezeigten) anschließenden Messeinrichtungsgruppe verwendet werden kann. Auf Grundlage der Analyse durch diese Messeinrichtungsgruppe kann eine weitere anschließende Messeinrichtungsgruppe 42b platziert werden, was zur Identifizierung einer weiteren lokalen Wulstrichtung 40b führen kann, und so weiter. Auf diese Weise können auf Grundlage einer angenommenen linearen Kontinuität der Wulst 24 zwischen benachbarten Wulstbereichen zum Beispiel aufeinanderfolgende Gruppen von Messeinrichtungen (oder anderer Analysewerkzeuge) zur Identifizierung lokaler Wulstprofile (z. B. Wulstkanten und -richtungen) entlang der Längserstreckung der Wulst 24 verwendet werden.
In einigen Fällen kann die Platzierung einer anschließenden Messeinrichtungsgruppe auf Grundlage einer vorherigen Wulstrichtung zu einer relativ unzuverlässigen Identifizierung einer Wulstrichtung (oder anderer Wulstmerkmale) führen. Wie in 3 gezeigt ist, kann zum Beispiel eine Gruppe von entlang einer Erstreckung der Wulstrichtung 40b und quer zu der Wulstrichtung 40b ausgerichteten Messeinrichtungen 42c (wobei eine derartige Messeinrichtungsausrichtung nicht ausdrücklich gezeigt ist) zu einer relativ unzuverlässigen Identifizierung von Wulstkanten und einer Richtung für die Wulst 24 führen. In einem solchen Fall kann das Wulstprüfsystem die Ausrichtung der betreffenden Messeinrichtungsgruppe (z. B. in regelmäßigen Winkelschritten mit aufeinanderfolgend abwechselnden Richtungen) drehen, um einen zuverlässigeren Satz von Wulsteigenschaften zu identifizieren.
Wie zum Beispiel in 3 gezeigt ist, kann das Wulstprüfsystem die Wulst 24 auf Basis eines wenig zuverlässigen Ergebnisses einer messeinrichtungsbasierten Analyse entlang einer Richtung 40c, die eine lineare Verlängerung der Richtung 40b ist, durch abwechselndes Drehen der Messeinrichtungsgruppe 42c um 22,5 Grad (oder einen anderen Winkelabstand) im Uhrzeigersinn und gegen den Uhrzeigersinn ausgehend von der Richtung 40c (z. B. in die Richtungen 40c' und 40c") analysieren. The zuverlässigste Identifizierung der lokalen Merkmale der Wulst 24 dieser alternativ ausgerichteten Analysen (z. B. in Richtung 40c") kann dann als identifizierte lokale Richtung für die Wulst 24 ausgewählt werden. Entsprechend kann eine Analyse eines benachbarten Abschnitts der Wulst 24 (d. h. in 3 rechts) unter einer Ausgangsannahme erfolgen, dass sich die Wulst 24 entlang der Richtung 40c" fortsetzt.
In dem vorstehend erörterten Beispiel wurde eine geeignete Wulstrichtung (d. h. die Richtung 40c") erfolgreich identifiziert, nachdem im Uhrzeigersinn und gegen den Uhrzeigersinn um lediglich einen einzelnen Schritt von der Richtung 40c abgewichen wurde. In anderen Fällen können zusätzliche Drehschritte (z. B. aufeinanderfolgend um 22,5 Grad erhöhte Schritte) notwendig sein. Bei einigen Ausführungsformen kann es zweckdienlich sein, eine Begrenzung an diese aufeinanderfolgenden Drehschritte anzulegen, wie zum Beispiel eine Begrenzung, die eine Analyse einer Wulst in einer bestimmten Richtung nur bis zu einer Abweichung von 90 Grad von einer (z. B. anhand eines benachbarten, zuvor analysierten Wulstbereichs bestimmten) erwarteten Wulstrichtung gestattet.
In einigen Fällen ist es ggf. trotz einer Analyse eines Wulstsegments entlang alternativer erwarteter Richtungen (wie z. B. vorstehend erörtert) nicht möglich, Wulstmerkmale (z. B. Kantenlage und lokale Wulstrichtung) mit hinlänglicher Zuverlässigkeit zu identifizieren. Bei einigen Ausführungsformen kann es dementsprechend möglich sein, für die weitere Analyse zu einem anschließenden (z. B. benachbarten) Bereich an der Wulst zu „springen“. Wie in 3 zum Beispiel gezeigt ist, wurde eine Analyse der Wulst 24 auf Grundlage einer angenommenen Richtung 40c" mit (nicht gezeigten) Messeinrichtungsgruppen an einer Stelle 44 vorgenommen. Jedoch ist es trotz versuchter Analysen mit den Messeinrichtungsgruppen für einen Satz von erwarteten Richtungen an Stelle 44, die beidseits einer Erstreckung der Richtung 40c" auf bis zu 90 Grad reichen, ggf. nicht möglich, die Wulst 24 mit hinlänglicher Zuverlässigkeit zu charakterisieren. Dementsprechend kann das Wulstprüfsystem zum nächstbenachbarten Abschnitt der Wulst 24 übergehen (d. h. „springen“). In einigen Fällen, wie zum Beispiel dem in 3 dargestellten, kann ein solcher Sprung auf Grundlage einer angenommenen fortgesetzten linearen Erstreckung der Wulst entlang der letzten erfolgreich identifizierten Wulstrichtung erfolgen (z. B. entlang der Richtung 40c", so dass eine Wulstrichtung 40d für den Bereich angenommen wird, zu dem gesprungen wird). Bei der dargestellten Ausführungsform führte eine solche Analyse unter Verwendung einer Messeinrichtungsgruppe 42d zum Beispiel zu einer hinlänglich zuverlässigen Identifizierung von Wulstmerkmalen bezüglich einer Wulstrichtung 40d". Auf Grundlage dieses Ergebnisses kann die Richtung 40d" dann zur Lenkung der Analyse anschließender Wulstabschnitte mit (nicht gezeigten) anschließenden Messeinrichtungsgruppen verwendet werden.
In einigen Fällen kann es vorteilhaft sein, die Anzahl an aufeinanderfolgenden erfolglosen Versuchen der Identifizierung relevanter Wulstparameter (z. B. in aufeinanderfolgenden Bereichen einer Wulst in einem Trainingsbild) zu begrenzen. Dies kann zum Beispiel dazu dienen, das Wulstprüfsystem bei der Identifizierung des Endes einer betreffenden Wulst zu unterstützen und/oder zu verhindern, dass das Wulstprüfsystem übermäßig viel Zeit für eine Analyse mittels eines betreffenden Satzes von Analyseparametern (z. B. eines betreffenden Satzes von Parametern für Messeinrichtungsgruppen) aufwendet. Dementsprechend kann ein Wulstprüfsystem zum Beispiel eine universelle (oder fallspezifische) Einstellung enthalten, die eine maximale Anzahl von „Sprüngen“ vorschreibt, nach denen das System die Analyse (z. B. für einen betreffenden Durchgang oder insgesamt) abbrechen kann.
Bei verschiedenen Ausführungsformen können unterschiedliche Anzahlen von erlaubten Sprüngen verwendet werden. Bei einem Analysedurchgang für die in 4 dargestellte Wulst 24 wurde zum Beispiel eine maximale Sprunganzahl von 1 festgelegt. Wie dargestellt ist, wurden im Verlauf der Analyse der Wulst 24 Gruppen von Messeinrichtungen 50a bis 50c verwendet, um Wulstkanten 52a bis 52c und Wulstrichtungen 54a bis 54c erfolgreich zu identifizieren. Aufgrund verschiedener Faktoren (z. B. schlechten Kontrasts, unerwarteter Verbreiterung der Wulst 24 und so weiter) konnten durch die Analyse der Wulst 24 in einem der Messeinrichtungsgruppe 50c direkt benachbarten Bereich 56 lokale Merkmale für die Wulst 24 trotz einer Ausrichtung betreffender Messeinrichtungsgruppen über einen Bereich potentieller Richtungen 54d nicht zufriedenstellend identifiziert werden. In diesem Fall, in dem die maximale Anzahl von Sprüngen nicht null beträgt, kann die Analyse einfach zum nächsten benachbarten Bereich 58 übergehen.
Bei dem in 4 dargestellten Beispiel konnten jedoch auch durch die Analyse der Wulst 24 an dem Bereich 58 lokale Merkmale für die Wulst 24 trotz einer Ausrichtung der Messeinrichtungsgruppen über einen erweiterten Satz 54e von Bereichen potentieller Richtungen nicht zufriedenstellend identifiziert werden. Da hier gemäß der obengenannten maximalen Sprunganzahl nur ein einzelner Sprung gestattet ist und da der Sprung bereits getätigt wurde (nämlich um von Bereich 56 zu Bereich 58 überzugehen), kann das Wulstprüfsystem an diesem Punkt eine weitere Analyse der Wulst 24 in diesem Durchgang beenden. Aufgrund dessen, dass die gestatte Sprungzahl verbraucht ist, kann das Wulstprüfsystem zum Beispiel davon ausgehen, dass die Wulst 24 zu Ende ist, wobei die Bereiche 54 und 56 nicht in dem Kandidatenprofil der Wulst 24 enthalten sind, das bei diesem konkreten Analysedurchgang konstruiert wurde.
4 zeigt ebenfalls einen Aspekt der Erfindung, der selbst bei einer wesentlichen lokalen Abweichung einer Wulst von einer vorhergehenden Wulstrichtung bei der Identifizierung lokaler Wulstmerkmale helfen kann. Hierbei kann das Wulstprüfsystem zunächst zum Beispiel eine Messeinrichtungsanalyse (oder eine anderweitige Analyse) mit einer angenommenen Erstreckung der letzten erfolgreich identifizierten Richtung (z. B. der Richtung 54c) und Winkelabweichungen davon (z. B. über mögliche Richtungen 54e') durchführen. Wenn jedoch über die potentiellen Richtungen 54e' keine hinlänglich zuverlässigen Wulstmerkmale identifiziert wurden, kann das Wulstprüfsystem dann eine Messeinrichtungsanalyse mit anderen angenommenen Wulstrichtungen durchführen. Das Wulstprüfsystem kann die Messeinrichtungsanalyse zum Beispiel über Wulstrichtungen durchführen, die auf Grundlage zahlreicher angenommener Erstreckungen von Winkelabweichungen 60 von der letzten erfolgreich identifizierten Richtung 54c bestimmt werden. Hierbei kann die Messeinrichtungsanalyse (oder anderweitige Analyse) über (z. B. von durch aufeinanderfolgende Zwei-Richtungs-Erweiterungen von 22,5 Grad ausgehend von einer Startreferenz auf Basis der Richtung 54c identifizierten Startpunkten ausgehende) aufeinanderfolgend winklig erweiterte Gruppen potentieller Richtungen 54e" und 54e"' durchgeführt werden.
Bei der in 4 dargestellten Ausführungsform werden lediglich zwei gleichmäßig beabstandete Abweichungen 60 beidseits der Richtung 54c versucht, bevor das Wulstprüfsystem feststellt, dass eine erfolgreiche lokale Charakterisierung der Wulst 24 gescheitert ist. Bei anderen Ausführungsformen ist jeweils auch eine andere Anzahl an Abweichungen und eine andere Beabstandung der Abweichungen (z. B. von einer Referenz abgewinkelte Abweichungen) möglich.
5 zeigt ein weiteres Beispiel für die vorstehend erläuterte „springende“ Herangehensweise, hier jedoch mit einer auf fünf eingestellten maximalen Anzahl von erlaubten Sprüngen (d. h. einer maximalen „Sprungzahl“). Ein erfindungsgemäßes Wulstprüfsystem kann zum Beispiel an einem Trainingsbild 70 eine vorstehend beschriebene Wulstanalyse durchführen, wobei es wie dargestellt im Allgemeinen Wulstrichtungen 74 (nur teilweise nummeriert), Wulstkanten 72 (nur teilweise nummeriert) und eine Wulstmittellinie 76 an einer Wulst 78 identifiziert.
An einem ersten Bereich 80 der Wulst 78 ist das Wulstprüfsystem aufgrund einer Überschneidung der Wulst 78 mit einer Öffnung 82 in dem darunterliegenden Teil ggf. nicht in der Lage, die Wulst 78 hinreichend zu charakterisieren (sondern kann z. B. nur eine einzelne Kante, nicht aber einen Satz von Kantenpaaren identifizieren). Dementsprechend kann das Wulstprüfsystem eine Abfolge von Sprüngen durchführen, wobei die Analyse des jeweils anschließenden Bereichs an einer Verlängerung einer letzten bekannten Wulstrichtung 74a beginnt und sich von dieser Referenz nach und nach weiter nach außen erstreckt (z. B. in Gruppen von Suchrichtungen, die voneinander um 22,5 Grad abweichen und ausgehend von Punkten ausstrahlen, die entlang von sich gegenüber der Richtung 74a in aufeinanderfolgenden Winkeln von 22,5 Grad erstreckenden Linien fluchten). Es ist ersichtlich, dass nach zwei Sprüngen ein erster nach unten abweichender Satz 86 von Suchrichtungen zu einer erfolgreichen Identifizierung von Wulstmerkmalen führt. Dementsprechend kann die Sprungzahl zurückgesetzt und die Analyse wie vorstehend beschrieben fortgesetzt werden.
Gleichermaßen ist das Wulstprüfsystem an einem zweiten Bereich 88 der Wulst 78 aufgrund einer unerwarteten Aufweitung der Wulst 78 auf dem Teil (oder aufgrund anderer Faktoren) ggf. nicht in der Lage, die Wulst 78 hinreichend zu charakterisieren. Dementsprechend kann das Wulstprüfsystem, wie auch bezüglich des Bereichs 80 beschrieben, eine Abfolge von Sprüngen durchführen, wobei die Analyse des jeweils anschließenden Bereichs an einer Verlängerung einer letzten bekannten Wulstrichtung 74b beginnt und sich von diesem Startpunkt nach und nach weiter nach außen erstreckt (z. B. in Gruppen von Suchrichtungen, die voneinander um 22,5 Grad abweichen und ausgehend von Punkten ausstrahlen, die entlang von sich gegenüber der Richtung 74b in aufeinanderfolgenden Winkeln von 22,5 Grad erstreckenden Linien fluchten). In diesem Fall ist das Wulstprüfsystem nicht in der Lage, Wulstmerkmale erfolgreich zu identifizieren, bevor vier Sprünge ausgeführt wurden. Da die maximale Sprungzahl jedoch auf fünf eingestellt wurde, darf die Analyse bis zu diesem Punkt - und darüber hinaus - fortgesetzt werden.
Wie bereits erwähnt, kann eine Analyse einer Wulst auf einem Trainingsbild bei einigen Ausführungsformen von einem Startindikator aus in einer Richtung entlang der Wulst erfolgen. In einigen solchen Fällen kann das Wulstprüfsystem nach Identifizierung eines Endes der Wulst entlang der anfänglichen Richtung zu dem Startindikator zurückkehren und mit einer Analyse in einer anderen (z. B. entgegengesetzten) Richtung entlang der Wulst fortfahren.
Bei einigen Ausführungsformen kann ein Wulstprüfsystem das Ende in einer betreffenden Richtung anhand eines Scheiterns einer Identifizierung von Wulstkantenpaaren, einer Wulstrichtung oder anderer Wulstmerkmale vor Erreichen der maximalen Anzahl von „Sprüngen“ identifizieren. Wie in 6 zum Beispiel gezeigt ist, kann eine Analyse der Wulst 24 bei einer maximalen Sprungzahl von 1 vom Startindikator 26 aus grob nach rechts erfolgen, bis die Analyse in Bereich 94 daran scheitert, die Wulst 24 nach der Ausführung eines einzelnen Sprungs zu charakterisieren. Da sie somit ein mögliches Ende der Wulst 24 identifiziert hat, kann die Analyse zum Startindikator 26 zurückkehren und nach links weitergehen, bis auf die gleiche Weise ein linkes Ende der Wulst 24 (z. B. in einem Bereich 96) identifiziert wird. Auf Grundlage des Satzes von Wulstrichtungen und Kantenpaaren, die anhand dieser Analyse identifiziert wurden, kann dementsprechend ein relativ umfassendes Wulstprofil 98 identifiziert werden.
Obgleich in den vorstehenden Beispielen die Analyse der Wulst mit Messeinrichtungsgruppen beschrieben ist, sind auch andere Herangehensweisen möglich. Es können zum Beispiel andere bekannte Verfahren zur Identifizierung einer lokalen Wulstrichtung (oder anderer Merkmale) mit einer ähnlichen sukzessiven Herangehensweise wie der oben beschriebenen angewendet werden, um einen Satz von Richtungsdaten für eine betreffende Wulst zusammenzustellen.
Ein Scheitern einer hinlänglich zuverlässigen Identifizierung von Wulstmerkmalen kann an einer Vielzahl von Faktoren liegen. In manchen Fällen kann zum Beispiel eine schlechte Bildqualität wie in 3 zu einem lokal schlechten Kontrast zwischen einer Wulst (z. B. der Wulst 24) und einem Hintergrundsubstrat (z. B. der Struktur 22) führen. Ebenso können auch Aspekte einer an die Wulst angrenzenden betreffenden Struktur (z. B. Öffnungen oder andere lokale Formationen) zu einem schlechten Kontrast zwischen einer Wulst und dem Hintergrund führen.
In einigen Fällen kann ein Nutzer, wie auch im Folgenden erörtert, zur Lösung dieser Probleme bestimmte Eigenschaften oder Richtlinien für ein Training oder eine anschließende Wulstanalyse vorgeben. Ebenso kann in einigen Fällen eine iterative Herangehensweise an die Wulstanalyse während des Trainings (z. B. mit anderen Parametern für die Messeinrichtungsgruppen oder anderen erwarteten Wulstmerkmalen) zu einer insgesamt erfolgreichen Wulstidentifizierung führen, selbst wenn ein einzelner Durchgang entlang der Wulst relativ erfolglos ist. Ein erster Durchgang entlang einer Wulst kann zum Beispiel einen ersten Satz von Parametern für Messeinrichtungsgruppen verwenden, wie zum Beispiel einen ersten Satz von Einstellungen für die Anzahl von Messeinrichtungen pro Gruppe, die Breite jeder einzelnen Messeinrichtung, den Abstand (z. B. Trennung oder Überlappung) zwischen benachbarten Messeinrichtungen, die zahlreichen Parameter für Bildfilter (z. B. Gauß-Filter), die Parameter für Kontrastgrenzwerte, die Parameter für die Erstreckung der Messeinrichtungen über die erwartete Breite der Wulst hinaus und so weiter. Anschließende Durchgänge entlang der Wulst können dann andere Sätze dieser oder weiterer Parameter verwenden, um die Chance auf die Identifizierung eines zuverlässigen Verlaufs (oder von Verläufen) für die Wulst bei zumindest einem der Durchgänge zu maximieren.
Bei einigen Ausführungsformen können relevante Analyseparameter (z. B. Parameter für Messeinrichtungsgruppen) anhand von Standardeinstellungen bestimmt werden. Bei einigen Ausführungsformen können relevante Analyseparameter anhand einer Analyse der betreffenden Wulst selbst bestimmt werden. Neben dem Analysieren einer Wulst in einem Trainingsbild an einem betreffenden Startindikator zur Identifizierung anfänglicher Wulstmerkmale (z. B. Kantenpaare und Wulstrichtung) kann ein erfindungsgemäßes System zum Beispiel auch die Wulst an dem Startindikator analysieren, um geeignete Sätze von Analyseparametern zu identifizieren. Bei einigen Ausführungsformen können mehrere Sätze von Analyseparametern identifiziert werden (z. B. als Standard und/oder auf Grundlage einer Analyse an dem Startindikator), um aufeinanderfolgende Analysedurchgänge an dem Trainingsbild zu lenken.
Im Allgemeinen kann ein durch das erfindungsgemäße System (z. B. wie oben beschrieben) anhand eines Trainingsbilds identifiziertes Wulstprofil (z. B. das Wulstprofil 98) Informationen enthalten, die zur hinlänglichen Identifizierung des Profils einer Wulst (z. B. eines Polygonzugverlaufs) über einen betreffenden Bereich oder einen Satz von Bereichen (z. B. über die gesamte Länge der Wulst) ausreichen. In einigen Fällen kann ein erfindungsgemäßes Wulstprüfsystem neben dem Wulstprofil auch andere Merkmale einer Wulst wie Farbe, Kontrast, Breite und so weiter identifizieren und einem geeigneten Wulstprofil zuordnen.
In einigen Fällen können ein bestimmtes Wulstprofil (z. B. das Wulstprofil 98) und (ggf.) zugeordnete Merkmale einfach als ein erwartetes Wulstprofil (und erwartete Wulstmerkmale) für die Operation, durch welche die Wulst 24 hervorgebracht wurde, übernommen werden. Dementsprechend kann das betreffende Wulstprofil zusammen mit den erwarteten Wulstmerkmalen, die zum Beispiel durch die vorstehend beschriebenen Analysen bestimmt wurden, zur Prüfung anschließend erstellter Nichttrainingswülste verwendet werden.
In einigen Fällen können mehrere Wulstprofile (und ggf. zusätzliche weitere Wulstmerkmale) bestimmt und dann ein bestes Profil (und ein bester Merkmalsatz) oder beste Profile (und Merkmalsätze) ausgewählt werden, um eine anschließende Wulstprüfung zu lenken. Wie zum Beispiel in 7 gezeigt ist, kann ein Wulstprüfsystem zusätzlich zu dem Wulstprofil 98 anhand einer Analyse des Trainingsbilds 20 unter Verwendung anderer Parameter als jener, die zur Bestimmung des Wulstprofils 98 verwendet wurden, ein alternatives Wulstprofil 100 für die Wulst 24 identifizieren. Bei einigen Ausführungsformen kann das Wulstprofil 100 zum Beispiel unter Verwendung anderer Parameter für Messeinrichtungsgruppen als jener, die zur Bestimmung des Wulstprofils 98 verwendet wurden, bestimmt werden.
Wenn mehrere Wulstprofile (oder andere Wulstdaten) bestimmt wurden, kann es manchmal vorteilhaft sein, die Wulstprofile (oder anderen Wulstdaten) einem Nutzer zu präsentieren, der angeben kann, welches der Wulstprofile am ehesten dem Wulstprofil entspricht, das visuell durch den Nutzer identifiziert wurde. In einigen Fällen können dem Nutzer mehrere (z. B. mit verschiedenen Farben oder Linientypen überlagerte) Profile gleichzeitig präsentiert werden. In einigen Fällen kann das Wulstprüfsystem verschiedene Wulstprofile (oder andere Wulstdaten) bewerten oder anderweitig einstufen und höher eingestufte Profile (oder andere Daten) Nutzern zuerst präsentieren. Wie zum Beispiel in 8 gezeigt ist, kann das Wulstprofil 98 einem Nutzer in einem visuell vereinfachten Format zuerst präsentiert werden, so dass der Nutzer entweder bestätigen kann, dass das Profil 98 ein für die anschließende Wulstprüfung geeignetes Profil ist, oder das Profil 98 (zumindest vorübergehend) zurückstellen kann, um niedriger eingestufte (oder andere) Profile zu sichten.
Bei einigen Ausführungsformen kann es vorteilhaft sein, multiple Trainingsbilder zu verwenden, damit ein Wulstprüfsystem Trainingsoperationen (z. B. einschließlich der vorstehend beschriebenen Trainingsoperationen) durchführen kann. Bei einigen Ausführungsformen kann es vorteilhaft sein, Trainingsbilder mit relevanten Wülsten und ohne relevante Wülste zu kombinieren, um eine präzisere Wulstanalyse zu ermöglichen. Hierbei können Trainingsbilder ohne Wülste zum Beispiel als mit Trainingsbildern mit Wülsten zu kombinierende (z. B. von diesen zu subtrahierende) Hintergrundbilder behandelt werden, um die relevanten Wülste für die Trainingsanalyse einzugrenzen. Dies kann zum Beispiel dazu dienen, Probleme zu vermeiden, die ansonsten bei der Verwendung von Bildern mit hellen oder „heißen“ Punkten, bei der Verwendung von Bildern mit einem geringeren Kontrast zwischen Wülsten und der Hintergrundstruktur oder anderweitig auftreten.
Wie in 9 und 10 gezeigt ist, kann hierbei zum Beispiel ein erstes Trainingsbild 110 eines Teils 112 aufgenommen werden, auf das eine Wulst aufgebracht werden wird, aber noch nicht aufgebracht wurde. Auch kann mit der gleichen Perspektive, der gleichen Beleuchtung und den gleichen anderen Bildaufnahmeparametern ggf. ein zweites Trainingsbild 114 des Teils 112 mit einer Wulst 116 als das Bild 114 aufgenommen werden. Mittels bekannter Verfahren kann das wulstlose Trainingsbild 110 dann von dem Trainingsbild 114 subtrahiert (oder anderweitig mit diesem kombiniert) werden, um die Wulst 116 grob einzugrenzen. Die eingegrenzte Wulst 116 kann dann durch ein Wulstprüfsystem (z. B. wie vorstehend beschrieben) analysiert werden, wobei ein insgesamt reduziertes Potenzial des Scheiterns der Identifizierung lokaler Wulstprofile besteht, was zu einem kombinierten Trainingsbild 118 mit einem bestimmten Wulstprofil 120 wie dem in 11 dargestellten führt.
Wie ebenfalls vorstehend erörtert wurde, kann eine Wulst in manchen Fällen derart mit einer tragenden Struktur interagieren, dass die Wulst lokal schwierig zu identifizieren ist. Wenn zum Beispiel eine Dunkel-auf-hell-Wulst nahe (z. B. direkt angrenzend) an einer Öffnung in einer betreffenden Struktur (oder einem anderen „dunklen“ Merkmal) vorbeiführt, ist es ggf. nicht möglich, typische Verfahren (z. B. Kontrastanalyse) zur Identifizierung der Wulst anzuwenden, selbst wenn ein Trainings- oder Prüfbild eine relativ hohe Qualität aufweist. In herkömmlichen Prüfsystemen kann das Vorhandensein dieser Arten von Bereichen dazu führen, dass die Wulst bei der Prüfung nicht aufgrund von Mängeln durchfällt, sondern einfach weil die Wulst in dem betreffenden Bild nicht adäquat identifiziert werden kann.
Diesbezüglich können einige Ausführungsformen der Erfindung es dementsprechend einem Nutzer vorteilhaft ermöglichen, die Suche nach einer Wulst während Wulstprüfoperationen in ausgewählten Bereichen zu deaktivieren (d. h. die Wulst selektiv zu „maskieren“). Wie 12 und 13 zum Beispiel zeigen, kann durch eine Trainingsanalyse (z.B. ähnlich der vorstehend beschriebenen) ein Wulstprofil 130 identifiziert worden sein, welches einem Teil 132 in einem Trainingsbild 134 überlagert präsentiert wird. In bestimmten Bereichen 136 des Trainingsbilds 134 ist sichtbar, dass das Wulstprofil 130 so nah an einer mittigen Öffnung 138 in dem Teil 132 vorbeiverläuft, dass nicht erwartet werden kann, dass eine kontrastbasierte Analyse die an die Öffnung 138 angrenzenden Kanten der Wulst zuverlässig identifizieren kann. Ebenso ist in anderen Bereichen (z. B. einem Bereich 140) des Trainingsbilds 134 erkennbar, dass Merkmale der Wulst in dem Trainingsbild (z. B. aufgrund eines Merkmals auf dem Teil 132, das zu einer Aufweitung des Wulstmaterials führt) dazu geführt haben, dass keine zuverlässige Identifizierung von Kanten der Wulst möglich war.
Zur Vermeidung eines Versagens eines Wulstprüfsystem an Wülsten während der Prüfung aufgrund der vorstehend genannten Schwierigkeiten (z. B. statt aufgrund einer tatsächlichen nicht dem Standard entsprechenden Qualität einer betreffenden Wulst) kann bei einigen Ausführungsformen ein erfindungsgemäßes Wulstprüfsystem dem Nutzer gestatten, Bereiche entlang des Wulstprofils 130 anzugeben, wo keine Identifizierung von mindestens einer Kante einer Wulst zu erwarten ist (d. h. das Wulstprofil selektiv zu maskieren). Ein Nutzer kann zum Beispiel entlang der Bereiche 136 und 140 klicken, um anzuzeigen, dass entlang der Bereiche 136 nur eine einzelne Wulstkante zu erwarten ist und dass entlang des Bereichs 140 keine Wulstkanten zu erwarten sind. Diese maskierenden Angaben können dann in eine spätere Wulstprüfung einbezogen werden, so dass Wülste aufgrund einer unvollständigen (oder fehlenden) Identifizierung von Wulstkanten an den Bereichen 136 und 140 nicht notwendigerweise durchfallen.
Übereinstimmend mit der vorstehenden Erläuterung können einige Ausführungsformen der Erfindung computerimplementierte Verfahren einschließlich solcher Verfahren, die durch Software- oder Hardwaremodule verschiedener maschinell sehender Systeme ausgeführt werden. Bei einigen Ausführungsformen kann ein computerimplementiertes Trainingsverfahren als Teil eines autonomen Trainingssystems zu Wulsterkennung oder als Teil eines Moduls (z. B. eines separaten oder integrierten Subsystems) eines größeren Wulsterkennungssystems ausgeführt werden. Als ein Beispiel, das in 14 dargestellt ist, kann eine Ausführungsform der Erfindung zum Beispiel ein Trainingsverfahren 200 zur Verwendung als Teil eines Wulsterkennungssystems 202 oder zur Bereitstellung von Eingaben in das Wulsterkennungssystem 202 umfassen, das mindestens eine Recheneinrichtung (z. B. mindestens eine Allzweck- oder Spezialprozessorvorrichtung) umfasst.
Bei einigen Ausführungsformen kann das Verfahren 200 dazu dienen, mindestens eine der vorstehend (z. B. mit Bezug auf 1 bis 13) beschriebenen Operationen und/oder verschiedenste andere Operationen durchzuführen. Bei der dargestellten Ausführungsform kann das Trainingsverfahren 200 zum Beispiel das Empfangen 204 eines Trainingsbilds (z. B. von einer in dem Wulsterkennungssystem 202 umfassten Bildaufnahmevorrichtung 206) umfassen. Bei einigen Ausführungsformen kann das empfangene 204 Trainingsbild ein Bild sein, das eine Wulst enthält und unter Verwendung von Merkmalabbildungsparametern für ein Wulstprüfsystem aufgenommen wird. Auf diese Weise kann sich die Erkennung der Wulst auf dem Trainingsbild einer Erkennung einer Wulst auf weiteren Bildern während einer tatsächlichen Wulstprüfung hinlänglich annähern.
Wie in dem beispielhaften Trainingsbild 20 nach 1 dargestellt ist, kann das empfangene 204 Trainingsbild bei einigen Ausführungsformen ein einzelnes Bild einer Wulst und eines darunterliegenden Substrats (z. B. einer Wulst aus Klebstoff oder Dichtmaterial auf einem strukturellen Teil) sein. Bei einigen Ausführungsformen kann das empfangene 204 Trainingsbild Teil eines Satzes von Bildern sein, wie zum Beispiel eines Satzes, der ein Referenzbild ohne Wulst und ein entsprechendes Bild mit einer Wulst umfasst, wie es bezüglich der Bilder 110 und 114 in 9 und 10 dargestellt ist. Bei einigen Ausführungsformen kann das empfangene 204 Trainingsbild ein Bild gemäß 11 sein, das sich aus einer Kombination von Referenzbildern, wie zum Beispiel einer Subtraktion eines Bilds ohne Wulst von einem Bild mit einer Wulst ergibt.
Nach dem Empfang 204 eines Trainingsbilds kann das Verfahren 200 des Weiteren das Empfangen 208 einer Eingabe (z. B. einer Nutzereingabe) umfassen, welche einen Startindikator für die Trainingsanalyse an einer Wulst in dem Trainingsbild angibt. Bei einigen Ausführungsformen kann ein durch die empfangene 208 Eingabe angegebener Startindikator einen Startbereich anzeigen, welcher einen separaten Abschnitt der Wulst auf dem empfangenen 204 Bild umgibt. Eine empfangene 208 Eingabe kann zum Beispiel eine Nutzereingabe umfassen, die einen Startindikator, wie zum Beispiel den in 1 dargestellten kreisförmigen Startindikator 26 lokalisiert (und bei einigen Ausführungsformen Größen oder andere Aspekte für einen Startindikator bereitstellt). Bei einigen Ausführungsformen kann ein Startindikator (z. B. per Nutzereingabe) ausgewählt werden, um einen Bereich einer Wulst auf einem Trainingsbild mit visuellen Eigenschaften (in dem Trainingsbild) anzugeben, die relativ charakteristisch für die Wulst im Ganzen sind.
Nach dem Angeben des Startindikators durch die empfangene 208 Eingabe kann das Verfahren 200 das Analysieren 210 des empfangenen 204 Trainingsbilds an dem Startindikator umfassen. Das Verfahren 200 kann zum Beispiel das Analysieren 210 eines Abschnitts der Wulst und des umgebenden Substrats umfassen, das in einem Startbereich, wie z. B. dem durch den Startindikator 26 angegebenen Bereich (siehe 1), enthalten ist.
Bei einigen Ausführungsformen kann das Analysieren 210 des empfangenen 204 Trainingsbilds ausgeführt werden, um eine beliebige Anzahl unterschiedlicher Wulstmerkmale zu identifizieren 212. Bei einigen Ausführungsformen können die identifizierten 212 Wulstmerkmale eine Wulstfarbe (z. B. absolute Farbwerte oder relative Farbbezeichnungen wie Hell-auf-dunkel oder Dunkel-auf-hell), eine lokale Wulstbreite, eine lokale Wulstrichtung, einen minimalen Wulstkontrast gegenüber dem umgebenden Substrat und so weiter umfassen.
Bei einigen Ausführungsformen kann das Analysieren 210 des empfangenen 204 Trainingsbilds an dem Startindikator das Identifizieren 214 weiterer Parameter für eine anschließende Analyse der Wulst abseits des Startindikators (z. B. außerhalb eines betreffenden Startbereichs) umfassen. Wenn zum Beispiel allgemein Messeinrichtungsgruppen für die Analyse der Wulst in dem empfangenen 204 Trainingsbild (siehe z. B. 3) zu verwenden sind, kann das Analysieren 210 des Trainingsbilds das Identifizieren von Parametern für die Messeinrichtungsgruppen umfassen, einschließlich einer Anzahl von Messeinrichtungen pro Gruppe, einer Breite einzelner Messeinrichtungen, eines Abstands zwischen benachbarten Messeinrichtungen, Bildfilterparameter für eine Messeinrichtungsanalyse (z. B. halbe Gaußsche Breitenwerte), eines Kontrastgrenzwerts, einer Messeinrichtungserstreckung über eine erwartete Breite der Wulst hinaus und so weiter.
Bei einigen Ausführungsformen kann das Verfahren 200 im Anschluss an die Analyse 210 des empfangenen 204 Trainingsbilds an dem Startindikator des Weiteren das Analysieren 216 von Abschnitten der Wulst umfassen, die von dem Startindikator beabstandet sind (z. B. von Abschnitten der Wulst, die außerhalb des dem Startindikator entsprechenden Startbereichs liegen oder anderweitig von dem Startindikator beabstandet sind), um ein Kandidatenwulstprofil zu identifizieren. Anschließende benachbarte Bereich einer Wulst auf einem empfangenen 204 Trainingsbild können zum Beispiel auf Grundlage von Wulstmerkmalen und Analyseparametern (z. B. Messeinrichtungsgruppenparametern), die anhand der Analyse 210 des Trainingsbilds an dem Startindikator identifiziert 212, 214 wurden, mittels Messeinrichtungsgruppen analysiert 216 werden.
Bei einigen Ausführungsformen kann die Wulst in dem empfangenen 204 Trainingsbild zunächst unter Bewegung in einer von dem Startindikator abgewandten ersten Richtung analysiert 218 werden und dann unter Bewegung in eine von dem Startindikator abgewandten zweiten Richtung analysiert 220 werden. Wie zum Beispiel in 6 gezeigt ist, kann die Wulst unter Bewegung in einer ersten Richtung entlang der Wulst analysiert 218 werden, bis ein erstes Ende eines Kandidatenwulstprofils für die Wulst identifiziert wird, und dann unter Bewegung in einer zweiten Richtung entlang der Wulst analysiert 220 werden, bis ein zweites Ende des Kandidatenwulstprofils identifiziert wird. Bei anderen Ausführungsformen sind andere Herangehensweisen einschließlich einer parallelen oder abwechselnden Analyse der Wulst beidseits eines Startindikators möglich.
Da eine Analyse 216 einer Wulst von Bereich zu Bereich der Wulst erfolgt, kann eine für einen ersten Bereich identifizierte Wulstrichtung bei einigen Ausführungsformen als eine erwartete Wulstrichtung verwendet werden, um eine Analyse eines zweiten Bereichs zu lenken. Eine lokale Wulstrichtung für einen ersten Bereich einer Wulst kann zum Beispiel anhand einer Analyse 216 bestimmt werden, die das Lokalisieren von mindestens einem Kantenpaar umfasst. Eine erwartete Wulstrichtung für einen (z. B. dem ersten Bereich benachbarten) zweiten Bereich der Wulst kann dann auf Grundlage (z. B. durch Kopieren) der lokalen Wulstrichtung des ersten Bereichs identifiziert 222 werden, und die Wulst kann in dem zweiten Bereich auf Grundlage der identifizierten 222 lokalen Wulstrichtung des ersten Bereichs analysiert 224 werden. Wie 3 zum Beispiel zeigt, kann diese Herangehensweise ausgehend von der Annahme, dass eine Wulst eher nicht dazu neigt, über relativ kleine Strecken wesentlich von einer lokalen Richtung abzuweichen, zu einer effizienten Identifizierung von aufeinanderfolgenden lokalen Wulstrichtungen führen.
Bei einigen Ausführungsformen kann die Analyse 216 einer Wulst an einem zweiten (oder anderen) Bereich die Wulst ausgehend von einer linearen Erstreckung einer zuvor identifizierten 222 lokalen Wulstrichtung eines benachbarten ersten Bereichs ggf. nicht hinlänglich charakterisieren (z. B. keine Kantenpaare oder lokale Wulstrichtung identifizieren). Da die Wulst 40 die Richtungen ändert, wie zum Beispiel in 3 gezeigt ist, entspricht die durch die Messeinrichtungsgruppe 42b identifizierte Wulstrichtung 40b einer (z. B. durch die Messeinrichtungsgruppe 42c analysierten) Wulstrichtung in einem benachbarten Bereich ggf. nicht besonders genau. Unter diesem und weiteren Umständen kann es dementsprechend vorteilhaft sein, den zweiten Bereich der Wulst auf Grundlage mindestens einer aktualisierten erwarteten Wulstrichtung zu analysieren 226, welche sich von der identifizierten 222 lokalen Wulstrichtung in dem ersten Bereich unterscheidet. Es kann zum Beispiel vorteilhaft sein, den zweiten Bereich der Wulst auf Grundlage von aktualisierten erwarteten Wulstrichtungen zu analysieren 226, die von der zuvor identifizierten 222 lokalen Wulstrichtung um einen vorbestimmten Winkel abweichen (siehe z. B. Wulstrichtungen 40c', 40c" in 3).
Wenn die Analyse eines betreffenden Bereichs einer Wulst nicht zu einer erfolgreichen Identifizierung einer Wulstrichtung führt, kann das Verfahren 200 bei einigen Ausführungsformen das Springen 228 zu einem anderen (z. B. benachbarten) Bereich der Wulst zur Fortsetzung der Analyse 216 der Wulst in jenem Bereich umfassen. Bei einigen Ausführungsformen kann es zum Beispiel möglich sein, eine lokale Wulstrichtung in einem ersten Bereich zu identifizieren 222, aber nicht möglich sein, selbst nach einer Analyse 224, 226 auf Grundlage der identifizierten 222 lokalen Wulstrichtung und einer aktualisierten erwarteten Wulstrichtung eine lokale Wulstrichtung in einem zweiten Bereich zu identifizieren. In einigen Fällen kann es dann zweckdienlich sein, für die weitere Analyse 216 zu einem dritten (z. B. benachbarten) Bereich zu springen 228.
Beim Springen 228 zu anschließenden Bereichen einer Wulst kann es bei einigen Ausführungsformen vorteilhaft sein, eine Analyse ähnlich der vorstehend beschriebenen durchzuführen, also z. B. auch den anschließenden (z. B. dritten, vierten und so weiter) Bereich auf Grundlage einer zuvor identifizierten 222 lokalen Wulstrichtung zu analysieren 224. Wie in 5 zum Beispiel dargestellt ist, kann die Analyse 216 des Bereichs 88 der Wulst 78 ausgehend von einer anfänglich identifizierten 222 lokalen Wulstrichtung und vorbestimmten Winkelabweichungen von dieser auf sich nach und nach erweiternde Weise erfolgen, bis eine neue lokale Wulstrichtung erfolgreich identifiziert wird.
Bei einigen Ausführungsformen kann das Verfahren 200 die Anzahl der Sprünge 228 auf eine vorbestimmte maximale Anzahl 230 von Sprüngen begrenzen. Bei einigen Ausführungsformen, wie in 6 bezüglich dem Bereich 94 und dem Wulstprofil 98 zu sehen ist, kann ein Ende eines Kandidatenwulstprofils anhand dessen identifiziert 232 werden, dass die Analyse 216 der betreffenden Wulst die maximale Anzahl 230 an Sprüngen erreicht, ohne erfolgreich eine lokale Wulstrichtung (oder ein anderes Wulstmerkmal) identifiziert zu haben.
Bei einigen Ausführungsformen können Verfahren nach der Erfindung gewissermaßen iterativ durchgeführt werden. Dies kann zum Beispiel zur Identifizierung mehrerer Kandidatenwulstprofile vorteilhaft sein, aus denen ein bestimmter Kandidat (oder Kandidaten) zur Verwendung bei der tatsächlichen Wulstprüfung ausgewählt wird. Wie 14 zum Beispiel zeigt, kann auf Grundlage einer anfänglichen Analyse 216 der Wulst ein erstes Kandidatenwulstprofil identifiziert 232 werden. Gegebenenfalls können dann Aspekte des Verfahrens 200 wiederholt werden, um mindestens ein zusätzliches Kandidatenwulstprofil zu identifizieren 232. Eine erste Analyse 216 der Wulst kann zum Beispiel basierend auf einem ersten Satz von identifizierten 214 Analyseparametern (z. B. einem ersten Satz von Messeinrichtungsgruppenparametern) ausgeführt werden, und eine zweite Analyse 216 der Wulst kann dann basierend auf einem zweiten Satz von identifizierten 214 Analyseparametern (z. B. einem zweiten Satz von Messeinrichtungsgruppenparametern) ausgeführt werden.
Wenn mehrere Kandidatenwulstprofile identifiziert 232 wurden, kann das Verfahren 200 manchmal das Präsentieren 234 der identifizierten 232 Kandidatenprofile für einen Nutzer und das Empfangen 236 einer Auswahl mindestens eines der identifizierten 232 Profile zur Verwendung bei einer tatsächlichen Wulstprüfung (oder anderen Operationen) umfassen.
Bei einigen Ausführungsformen kann das Verfahren 200 das Empfangen weiterer Nutzereingaben umfassen. Manchmal kann das Verfahren 200 zum Beispiel das Empfangen 238 einer Eingabe von einem Nutzer betreffend Bereiche eines identifizierten 232 Kandidatenwulstprofils umfassen, die maskiert werden sollen (d. h. die nicht zur Bewertung von Wülsten bei der eigentlichen Wulstprüfung verwendet werden sollen). Wie zum Beispiel in 12 und 13 gezeigt ist, kann dies dazu dienen, sicherzustellen, dass Bereiche einer Wulst, die sich nur begrenzt zu einer zuverlässigen bildbasierten Analyse 216 anbieten, nicht zu einem fälschlichen Durchfallen einer zu großen Zahl von Wülsten bei der eigentlichen Prüfung führen.
Nachdem mindestens ein geeignetes Wulstprofil identifiziert 232 und ggf. per empfangener 236, 238 Nutzereingabe (oder anderweitig) ausgewählt und/oder maskiert wurde, kann das Verfahren 200 das Bereitstellen 240 des betreffenden Wulstprofiles oder der betreffenden Wulstprofile an ein Prüfmodul (z. B. Teil des Wulsterkennungssystems 202) zur Verwendung bei der eigentlichen Wulstprüfung umfassen. Bei einigen Ausführungsformen kann ein nach dem Verfahren 200 bestimmtes Wulstprofil zum Beispiel zur Verwendung bei der eigentlichen (z. B. Echtzeit-)Wulstprüfung an das Wulsterkennungssystem 202 bereitgestellt 240 werden.
Es ist zu beachten, dass die in 14 dargestellte räumliche Anordnung von Operationen mit der zeitlichen Reihenfolge entsprechender Operationen bei der Durchführung des Verfahrens 200 korrelieren kann, aber nicht muss. Bei einigen Ausführungsformen können des Weiteren verschiedene Operationen, einschließlich derer, die vorliegend ausdrücklich fortlaufend beschrieben sind, auch parallel ausgeführt werden. Des Weiteren dienen die in 14 dargestellten Verbindungen zwischen Operationen (die zum Beispiel auf einen Datenfluss zwischen Software- oder Hardwaremodulen oder eine Ordnung einzelner Operationen hinweisen können) lediglich als Beispiel. Bei einigen Ausführungsformen können die verschiedenen dargestellten (oder andere) Operationen und Module miteinander verbunden sein und auf andere Weise miteinander interagieren und/oder mit Operationen oder Modulen weiterer Systeme und Verfahren verbunden sein.
Bei verschiedenen Ausführungsformen können unterschiedliche Arten von Bildaufnahmevorrichtungen verwendet werden, einschließlich betreffend die Bildaufnahmevorrichtung 206 nach 14 oder andere. Im Allgemeinen kann es vorteilhaft sein, mindestens eine aus einer Vielzahl von unterschiedlichen 2D-Bildaufnahmevorrichtungen (z. B. 2D-Kameras) verschiedenster Konfiguration zu verwenden, wie zum Beispiel nach Bedarf zur Aufnahme betreffender Bilder konfigurierte Flächenkameras oder Zeilenkameras.
Bei einigen Ausführungsformen kann dieselbe Bildaufnahmevorrichtung zur Aufnahme eines Trainingsbilds für ein Teil oder System und zur Aufnahme späterer Prüfbilder für dasselbe Teil oder System verwendet werden. Bei einigen Ausführungsformen können unterschiedliche Bildaufnahmevorrichtungen verwendet werden. Zum Beispiel kann eine erste Bildaufnahmevorrichtung (z. B. eine erste Flächenkamera) zur Aufnahme eines Trainingsbild (z. B. zur Verwendung bei dem Verfahren 200 nach 14) verwendet werden und eine zweite Bildaufnahmevorrichtung (z. B. eine zweite Flächenkamera) zur Aufnahme von Prüfbildern verwendet werden, die dann auf Grundlage einer vorhergehenden Verarbeitung des Trainingsbilds (z. B. nach dem Verfahren 200 von 14) analysiert werden können.
Im Allgemeinen kann eine Bildaufnahmevorrichtung 300 gemäß 15 nach einer Ausführungsform der Erfindung (z. B. zur Verwendung als die Bildaufnahmevorrichtung 206 von 14) ein Objektiv 302 und einen Bildsensor 304 (z. B. einen CCD- oder CMOS-Sensor) umfassen. Bei einigen Ausführungsformen kann die Bildaufnahmevorrichtung 300 ein Kommunikationsmodul 306 (z. B. ein drahtgebundenes oder drahtloses Kommunikationsmodul) zur Übertragung von Informationen zu (oder von) der Bildaufnahmevorrichtung 300 von (oder zu) einem separaten Gerät oder System, wie z. B. ein separates Rechengerät oder -system, eine Nutzerschnittstelle und so weiter umfassen. Bei einigen Ausführungsformen können Bildaufnahmeparameter (oder andere Parameter) für die Bildaufnahmevorrichtung 300 an einem separaten Rechensystem 308 mit einer (nicht gezeigten) Nutzerschnittstelle durch einen Nutzer ausgewählt und dann an die Bildaufnahmevorrichtung 300 übertragen werden. Ebenso können durch die Bildaufnahmevorrichtung 300 gesammelte und/oder verarbeitete Bildaufnahmedaten von der Bildaufnahmevorrichtung 300 an das Rechensystem 308 oder an andere Systeme (z. B. ein Bildverarbeitungssystem 310) übertragen werden.
Bei einigen Ausführungsformen kann die Bildaufnahmevorrichtung 300 Teil eines größeren Systems 312 zum maschinellen Sehen mit mindestens einer Prozessorvorrichtung 314 sein, die von der Bildaufnahmevorrichtung 300 separat ausgebildet sein kann. Bei einigen Ausführungsformen kann die Bildaufnahmevorrichtung 300 gesammelte Bilddaten an das System 312 zum maschinellen Sehen, das separate Bildverarbeitungssystem 310, das separate Rechensystem 308 oder andere Systeme zur Verarbeitung übertragen.
Bei einigen Ausführungsformen kann die Bildaufnahmevorrichtung 300 selbst mindestens eine Verarbeitungsvorrichtung 316 umfassen, die zum Beispiel dazu verwendet wird, von der Bildaufnahmevorrichtung 300 gesammelte Bildaufnahmedaten zu verarbeiten, bevor die Daten (z. B. über das Kommunikationsmodul 306) an ein anderes Modul oder System übertragen werden, oder um andere Funktionen durchzuführen. Die mindestens eine Verarbeitungsvorrichtung 316 (oder andere Verarbeitungsvorrichtungen) kann zum Beispiel mindestens eine Operation des Verfahrens 200 nach 14 bezüglich des durch die Bildaufnahmevorrichtung 300 aufgenommenen Trainingsbilds durchführen.
Obgleich die Erfindung vorstehend mit Bezug auf beispielhafte Ausführungsformen beschrieben wurde, versteht der Fachmann, dass zahlreiche Veränderungen vornehmbar sind und Elemente durch Entsprechungen ersetzbar sind, ohne damit von dem Umfang der Erfindung abzuweichen. Außerdem wird der Fachmann zahlreiche Modifikationen zur Anpassung eines betreffenden Instruments, einer betreffenden Situation oder eines betreffenden Materials an die Lehre der Erfindung erkennen, ohne von dem grundlegenden Umfang derselben abzuweichen. Somit soll die Erfindung nicht auf die als zur Ausführung der Erfindung bevorzugte Ausführungsform offenbarte Ausführungsform beschränkt sein; vielmehr umfasst die Erfindung alle Ausführungsformen, die in den Umfang der beigefügten Ansprüche fallen.

Claims

Trainingsverfahren für ein Wulsterkennungssystem zur Verwendung mit einem Trainingsbild, das eine Darstellung einer Wulst auf einem Substrat enthält, wobei das Trainingsverfahren folgende Schritte umfasst: Empfangen einer Eingabe, welche einen Startindikator bestimmt, der einem separaten Abschnitt der Wulst auf dem Trainingsbild entspricht, durch mindestens eine Recheneinrichtung; Analysieren des Trainingsbilds an dem Startindikator durch die mindestens eine Recheneinrichtung zur Identifizierung mindestens eines Merkmals der Wulst; Analysieren mindestens eines von dem Startindikator beabstandeten Abschnitts der Wulst durch die mindestens eine Recheneinrichtung und auf Grundlage des mindestens einen Merkmals der Wulst zur Identifizierung eines Kandidatenwulstprofils; und Bereitstellen des Kandidatenwulstprofils durch die mindestens eine Recheneinrichtung an ein Prüfmodul zur anschließenden Prüfung von Wülsten in Nichttrainingsbildern.
Trainingsverfahren nach Anspruch 1, wobei der Startindikator eine Indikatorform umfasst, welche den separaten Abschnitt der Wulst auf dem Trainingsbild umgibt.
Trainingsverfahren nach Anspruch 2, wobei sich im Wesentlichen die gesamte Wulst auf dem Trainingsbild außerhalb der Indikatorform befindet.
Trainingsverfahren nach einem der Ansprüche 1 bis 3, wobei das Analysieren des mindestens einen Abschnitts der Wulst zur Identifizierung eines Kandidatenwulstprofils folgende Schritte umfasst: Identifizieren einer erwarteten Wulstrichtung auf Grundlage einer vorherigen Analyse eines ersten Bereichs der Wulst; Analysieren eines dem ersten Bereich benachbarten zweiten Bereichs der Wulst auf Grundlage der erwarteten Wulstrichtung zur Identifizierung einer lokalen Wulstrichtung in dem zweiten Bereich der Wulst; und wenn festgestellt wird, dass die lokale Wulstrichtung in dem zweiten Bereich der Wulst nicht der erwarteten Wulstrichtung entspricht, Analysieren des zweiten Bereichs der Wulst auf Grundlage von mindestens einer aktualisierten erwarteten Wulstrichtung, die von der erwarteten Wulstrichtung um einen vorbestimmten Winkel abweicht.
Trainingsverfahren nach Anspruch 4, wobei das Analysieren des mindestens einen Abschnitts der Wulst zur Identifizierung des Kandidatenwulstprofils das Springen zu einem dem zweiten Bereich benachbarten dritten Bereich umfasst, wenn Versuche, die lokale Wulstrichtung in dem zweiten Bereich zu identifizieren, nicht erfolgreich sind.
Trainingsverfahren nach Anspruch 5, wobei eine Anzahl von Sprüngen zu benachbarten Abschnitten der Wulst auf Grundlage erfolgloser Versuche, lokale Wulstrichtungen zu identifizieren, auf eine vorbestimmte maximale Anzahl von Sprüngen begrenzt ist.
Trainingsverfahren nach Anspruch 6, wobei ein Ende des Kandidatenwulstprofils auf Grundlage des Erreichens der vorbestimmten maximalen Anzahl von Sprüngen identifiziert wird.
Trainingsverfahren nach einem der Ansprüche 1 bis 7, wobei das Analysieren des mindestens einen Abschnitts der Wulst zu Identifizierung des Kandidatenwulstprofils folgende Schritte umfasst: Analysieren der Wulst entlang einer von dem Startindikator abgewandten ersten Richtung, bis ein erstes Endes des Kandidatenwulstprofils identifiziert wird; und nach dem Identifizieren des ersten Endes des Kandidatenwulstprofils Analysieren der Wulst entlang einer von dem Startindikator abgewandten zweiten Richtung, bis ein zweites Ende des Kandidatenwulstprofils identifiziert wird.
Trainingsverfahren nach einem der Ansprüche 1 bis 8, wobei das Kandidatenwulstprofil ein erstes Kandidatenwulstprofil ist; wobei der mindestens eine Abschnitt der Wulst zur Identifizierung des ersten Kandidatenwulstprofils unter Verwendung eines ersten Satzes von Analyseparametern analysiert wird; und wobei das Trainingsverfahren des Weiteren das Analysieren des mindestens einen Abschnitts der Wulst zur Identifizierung eines zweiten Kandidatenwulstprofils auf Grundlage des mindestens einen Merkmals der Wulst und eines zweiten Satzes von Analyseparametern umfasst, die sich von dem ersten Satz von Analyseparametern unterscheiden.
Trainingsverfahren nach Anspruch 9, des Weiteren umfassend: Präsentieren des ersten und des zweiten Kandidatenwulstprofils gegenüber einem Nutzer zur Auswahl, ob dem Prüfmodul das erste oder das zweite Kandidatenwulstprofil bereitgestellt wird.
Trainingsverfahren nach Anspruch 9 oder 10, wobei der erste und der zweite Satz von Analyseparametern Parameter für Messeinrichtungsgruppen zur Analyse des mindestens einen Abschnitts der Wulst umfassen.
Trainingsverfahren nach Anspruch 11, wobei die Parameter für die Messeinrichtungsgruppen mindestens einen der folgenden Parameter umfassen: eine Anzahl von Messeinrichtungen pro Gruppe, eine Breite einzelner Messeinrichtungen, einen Abstand zwischen benachbarten Messeinrichtungen, Bildfilterparameter, einen Kontrastgrenzwert und eine Messeinrichtungserstreckung über eine erwartete Breite der Wulst hinaus.
Trainingsverfahren nach Anspruch 12, wobei die Parameter für die Messeinrichtungsgruppen auf Grundlage der Analyse der Wulst an dem Startindikator bestimmt werden.
Trainingsverfahren nach einem der Ansprüche 1 bis 13, des Weiteren umfassend: Empfangen einer Nutzereingabe, welche mindestens einen Bereich an dem Kandidatenwulstprofil bestimmt, der während der anschließenden Prüfung von Wülsten zu maskieren ist.
Trainingsverfahren nach einem der Ansprüche 1 bis 14, wobei das mindestens eine Merkmal der Wulst mindestens eines der folgenden Merkmale umfasst: Wulstfarbe, lokale Wulstbreite, lokale Wulstrichtung und geringster Wulstkontrast.
Trainingsverfahren für ein Wulsterkennungssystem zur Verwendung mit einem Trainingsbild, das eine Darstellung einer Wulst auf einer Struktur enthält, wobei das Trainingsverfahren folgende Schritte umfasst: Identifizieren eines Startbereichs an der Wulst auf dem Trainingsbild durch mindestens eine Recheneinrichtung auf Grundlage eines durch einen Nutzer bestimmten Startindikators; Analysieren der Wulst in dem Startbereich durch die mindestens eine Recheneinrichtung zur Identifizierung mindestens eines Merkmals der Wulst; Analysieren der Wulst außerhalb des Startbereichs durch die mindestens eine Recheneinrichtung und auf Grundlage erster Analyseparameter und des mindestens einen Merkmals der Wulst zur Identifizierung eines ersten Kandidatenwulstprofils; Analysieren der Wulst außerhalb des Startindikators durch die mindestens eine Recheneinrichtung und auf Grundlage des mindestens einen Merkmals der Wulst und sich von den ersten Analyseparametern unterscheidender zweiter Analyseparameter zur Identifizierung eines zweiten Kandidatenwulstprofils; Bestimmen eines Prüfwulstprofils durch die mindestens eine Recheneinrichtung auf Grundlage des ersten Kandidatenwulstprofils und/oder des zweiten Kandidatenwulstprofils; und Bereitstellen des Prüfwulstprofils durch die mindestens eine Recheneinrichtung an ein Prüfmodul zur anschließenden Prüfung von Wülsten in Nichttrainingsbildern.
Trainingsverfahren nach Anspruch 16, wobei das Analysieren der Wulst außerhalb des Startindikators des Weiteren folgende Schritte umfasst: Identifizieren einer erwarteten Wulstrichtung auf Grundlage einer vorherigen Analyse eines ersten Bereichs der Wulst; Analysieren eines dem ersten Bereich benachbarten zweiten Bereichs der Wulst auf Grundlage der erwarteten Wulstrichtung zur Identifizierung einer lokalen Wulstrichtung in dem zweiten Bereich der Wulst; und wenn die lokale Wulstrichtung in dem zweiten Bereich der Wulst auf Grundlage der erwarteten Wulstrichtung nicht erfolgreich identifiziert wird, Analysieren des zweiten Bereichs der Wulst auf Grundlage mindestens einer aktualisierten erwarteten Wulstrichtung, die von der erwarteten Wulstrichtung um einen vorbestimmten Winkel abweicht.
Trainingsverfahren nach Anspruch 17, wobei das Analysieren der Wulst außerhalb des Startbereichs des Weiteren Folgendes umfasst: wenn die lokale Wulstrichtung in dem zweiten Bereich der Wulst auf Grundlage der mindestens einen aktualisierten erwarteten Wulstrichtung nicht erfolgreich identifiziert wird, Analysieren eines dem zweiten Bereich benachbarten dritten Bereichs der Wulst auf Grundlage der erwarteten Wulstrichtung.
Trainingsverfahren nach Anspruch 18, wobei das Analysieren der Wulst außerhalb des Startbereichs des Weiteren Folgendes umfasst: wenn die lokale Wulstrichtung in dem dritten Bereich der Wulst auf Grundlage der erwarteten Wulstrichtung nicht erfolgreich identifiziert wird, Analysieren des dritten Bereichs der Wulst auf Grundlage mindestens einer weiteren aktualisierten erwarteten Wulstrichtung, die gemessen von dem ersten Bereich der Wulst um den vorbestimmten Winkel von der erwarteten Wulstrichtung abweicht.
Wulsterkennungstrainingssystem, umfassend: eine Bildaufnahmevorrichtung zur Aufnahme eines Trainingsbilds einer Wulst; und ein Analysemodul, das ausgebildet ist: zum Empfang des Trainingsbilds; zum Empfang einer Nutzereingabe, die einen Startindikator bereitstellt, der einen separaten Abschnitt der Wulst auf dem Trainingsbild bestimmt, wobei sich im Wesentlichen die gesamte Wulst auf dem Trainingsbild außerhalb des separaten Abschnitts befindet; zur Analyse der Wulst innerhalb des separaten Abschnitts der Wulst zum Zweck der Identifizierung mindestens eines Merkmals der Wulst; zur Analyse der Wulst außerhalb des separaten Abschnitts der Wulst auf Grundlage des identifizierten mindestens einen Merkmals der Wulst zum Zweck der Bestimmung mindestens eines Kandidatenwulstprofils; und zur Bereitstellung mindestens eines der Kandidatenwulstprofile an ein Prüfmodul zum Zweck der anschließenden Prüfung von Wülsten in Nichttrainingsbildern.