DE102013217354B4

DE102013217354B4 - Kantenmessungs-videowerkzeug und schnittstelle mit automatischen parametersatzalternativen

Info

Publication number: DE102013217354B4
Application number: DE102013217354.7A
Authority: DE
Inventors: Yuhua Ding; Robert Kamil Bryll; Mark Lawrence Delaney; Michael Nahum
Original assignee: Mitutoyo Corp
Current assignee: Mitutoyo Corp
Priority date: 2012-11-05
Filing date: 2013-08-30
Publication date: 2020-04-23
Anticipated expiration: 2033-08-31
Also published as: JP6243705B2; US9177222B2; DE102013217354A1; JP2014093094A; CN103809965B; US20140126804A1; CN103809965A

Abstract

Verfahren zum Definieren von Kantenerfassungsparametern in einer Maschinensichtinspektionssystem-Benutzerschnittstelle, mit:Bereitstellen eines Kantenstellen-Videowerkzeugs mit mehreren Kantenerfassungsparametern;Definieren einer Interessensregion (Interessensregion, ROI) für das Kantenstellen-Videowerkzeug mit zumindest einem ersten jeweiligen Kantenmerkmal in der Interessensregion;automatisches Bestimmen mehrerer Kandidatenparameterkombination der mehreren Kantenerfassungsparameter, wobei jeweilige Kandidatenparameterkombinationen verwendbar sind, um jeweilige Kantenmerkmale in der Interessensregion zu erfassen; undBedienen der Benutzerschnittstelle, um jeweilige Kandidatenparameterkombinationsdarstellungen anzuzeigen, welche den jeweiligen Kandidatenparameterkombinationen entsprechen, die verwendbar sind, um jeweilige Kantenmerkmale in der Interessensregion zu erfassen, wobei die Benutzerschnittstelle dazu konfiguriert ist, einem Benutzer zu erlauben, eine Parameterkombinations-Auswahlhandlung relativ zu den angezeigten jeweiligen Kandidatenparameterkombinationsdarstellungen durchzuführen, wobei die Benutzerauswahlhandlung zu einer Auswahl einer Kombination von Kantenerfassungsparametern führt, die die Betätigung des Kantenstellen-Videowerkzeugs in der definierten Interessensregion regeln.

Description

QUERVERWEIS ZU VERWANDTER/N ANMELDUNG(EN)
Die vorliegende Anmeldung ist eine Fortsetzungsanmeldung (continuation-inpart) der US-Patentanmeldung Ser. Nr. 13/669,333 mit dem Titel „KANTENMESSUNGS-VIDEOWERKZEUG-PARAMETER-EINSTELLUNGS-BENUTZERSCHNITTSTELLE“, die am 5. November 2012 eingereicht wurde und deren Offenbarung hiermit durch Bezugnahme in ihrem gesamten Umfang aufgenommen ist.
HINTERGRUND
Präzisionsmaschinen-Sichtinspektionssysteme (oder kurz „Sichtsysteme“) können eingesetzt werden, um präzise Dimensionsmessungen inspizierter Objekte zu erhalten und verschiedene andere Objekteigenschaften zu inspizieren. Systeme dieser Art können einen Computer, eine Kamera und ein optisches System beinhalten, sowie einen Präzisionsarbeitstisch, der in viele Richtungen bewegbar ist, um der Kamera zu erlauben, die Merkmale eines Werkstücks, das überprüft wird, abzutasten. Ein beispielhaftes System des Standes der Technik, das im Handel erhältlich ist, ist die QUICK VI-SION®-Reihe PC-basierter Sichtsysteme und die QVPAK@-Software, die von Mitutoyo America Corporation (MAC), mit Sitz in Aurora, IL, erhältlich ist. Die Merkmale und der Betrieb der QUICK VISION®-Reihe von Sichtsystemen und die QVPAK@-Software sind allgemein beispielsweise im Benutzerleitfaden der Sichtmessmaschine QVPAK 3D CNC, herausgegeben im Januar 2003, und der Betriebsanleitung der Sichtmessmaschine QVPAK 3D CNC, herausgegeben im September 1996, beschrieben, die beide hiermit durch Bezugnahme in ihrer Gesamtheit aufgenommen sind. Dieses Produkt, das durch das Modell QV-302 Pro beispielhaft verkörpert ist, kann beispielsweise ein optisches Mikroskoptyp-System verwenden, um Bilder eines Werkstücks in verschiedenen Vergrößerungen bereitzustellen, und kann den Arbeitstisch nach Bedarf bewegen, um die Werkstückoberfläche über die Grenzen irgendeines einzelnen Videobilds hinaus zu überstreichen. Angesichts der gewünschten Vergrößerung, Messauflösung und physika-lischen Größenbegrenzungen solcher Systeme umfasst ein einzelnes Videobild typischerweise nur einen Bereich des Werkstücks, das beobachtet oder inspiziert wird.
Maschinensichtinspektionssysteme verwenden im Allgemeinen eine automatisierte Videoinspektion. Das US-Patent Nr. 6,542,180 (das '180-Patent) lehrt verschiedene Aspekte einer solchen automatisierten Videoinspektion und ist vorliegend durch Bezugnahme in seiner Gesamtheit aufgenommen. Wie in dem '180-Patent gelehrt wird, weisen Metrologieinstrumente der automatisierten Videoinspektion im Allgemeinen eine Programmierfähigkeit auf, die es erlaubt, dass eine automatische Inspektionsfallsequenz vom Benutzer für jede besondere Werkstückkonfiguration definiert wird. Dies kann beispielsweise durch textbasiertes Programmieren oder durch einen Aufzeichnungsmodus umgesetzt werden, der die Inspektionsfallsequenz durch Speichern einer Sequenz von Maschinensteuerungsanweisungen, die einer Sequenz von Inspektionsvorgängen entsprechen, die von einem Benutzer mit Hilfe einer grafischen Benutzeroberfläche durchgeführt werden, oder durch eine Kombination beider Verfahren progressiv „lernt“. Ein solcher aufzeichnender Modus wird oft als „Lernmodus“ oder „Aufzeichnungsmodus“ bezeichnet. Sobald die Inspektionsfallsequenz im „Lernmodus“ definiert ist, kann eine solche Sequenz dann verwendet werden, um automatisch Bilder eines Werkstücks während des „Betriebsmodus“ zu erfassen (und zusätzlich zu analysieren oder überprüfen).
Die Maschinensteuerungsanweisungen, die die spezifische Inspektionsfallsequenz einschließen (d. h. wie man jedes Bild erfasst und wie man jedes erfasste Bild analysiert/inspiziert), sind im Allgemeinen als „Teilprogramm“ oder „Werkstückprogramm“ gespeichert, das für die besondere Werkstückkonfiguration spezifisch ist. Beispielsweise definiert ein Teilprogramm, wie man jedes Bild erfasst, etwa, wie man die Kamera relativ zum Werkstück positioniert, mit welchem Beleuchtungsniveau, mit welchem Vergrößerungsgrad, usw. Ferner definiert das Teilprogramm, wie man ein erfasstes Bild analysiert/inspiziert, beispielsweise durch Verwenden von einem oder mehreren Videowerkzeugen, wie etwa Kanten-/Grenzerfassungs-Videowerkzeugen.
Videowerkzeuge (oder kurz „Werkzeuge“) und andere grafische Benutzerschnittstellenmerkmale können manuell verwendet werden, um eine manuelle Inspektion und/oder Maschinensteuerungsvorgänge (im „manuellen Modus“) auszuführen. Ihre eingestellten Parameter und ihr eingestellter Betrieb können auch während des Lernmodus aufgezeichnet werden, um automatische Inspektionsprogramme oder „Teilprogramme“ zu erzeugen. Videowerkzeuge können beispielsweise Kanten-/Grenzerfassungswerkzeuge, Autofokuswerkzeuge, Form- oder Musterübereinstimmungswerkzeuge, Dimensionsmesswerkzeuge und dergleichen beinhalten.
Die US 7,454,053 B2 zeigt zum Beispiel ein Verfahren und ein System zum automatisierten Wiederherstellen von fehlerhaften Videoinspektionswerkzeugen in einem Präzisionsmaschineninspektionssystem.
Die US 2011/0317906 A1 beschreibt ein Verfahren zum automatisierten bestimmen von Maschinensichtwerkzeugparametern.
Die US 2007/0223817 A1 zeigt ein System und Verfahren zur automatischen Parameterbestimmung bei der maschinellen Bildverarbeitung im Allgemeinen und bei der Objekterkennung.
Es sind verschiedene Verfahren zum Lokalisieren von Kantenmerkmalen in Werkstückbildern bekannt. Beispielsweise sind verschiedene Algorithmen bekannt, die Helligkeitsgradientoperatoren bei Bildern anwenden, die ein Kantenmerkmal beinhalten, um seine Stelle zu bestimmen, beispielsweise ein Canny-Kantendetektor (Canny-Algorithmus) oder ein Differenzialkantendetektor. Solche Kantenerfassungsalgorithmen können in den Maschinensichtinspektionssystemen beinhaltet sein, die auch sorgfältig konfigurierte Beleuchtung und/oder spezielle Bildverarbeitungstechniken anwenden, um Helligkeitsgradienten zu verstärken oder anderweitig die Kantenstellengenauigkeit und - wiederholbarkeit zu verbessern.
Einige Maschinensichtsysteme (beispielsweise jene, die die vorstehend beschriebene QVPAK@-Software verwenden), stellen Kantenstellen-Videowerkzeuge bereit, die einstellbare Parameter für einen Kantenerfassungsalgorithmus aufweisen. In bestimmten Umsetzungen können die Parameter anfänglich für eine Kante auf einem repräsentativen Werkstück während eines Lernmodusvorgangs bestimmt und dann während eines Betriebsmodusvorgangs eingesetzt werden, um die entsprechende Kante eines ähnlichen Werkstücks zu finden. Wenn es schwierig oder unmöglich ist, gewünschte Kantenerfassungsparameter automatisch während des Lernmodus zu bestimmen, kann der Benutzer sich entscheiden, die Parameter manuell einzustellen. Jedoch gelten bestimmte Kantenerfassungsparameter (beispielsweise Schwellen wie etwa TH, THR und THS, die vorliegend umrissen sind) als für die meisten Benutzer zu schwierig zu verstehen (beispielsweise relativ ungelernte Benutzer) und es gilt als schwierig zu visualisieren, wie ihre Einstellung einen bestimmten Kantenerfassungsvorgang beeinflusst, insbesondere für eine Kombination von Parametern. Die Einstellungen der Parameter können ferner durch die Vielfalt von Kantenbedingungen und Werkstückmaterialien in Variationen von Teil zu Teil verkompliziert werden, denen man begegnet, wenn man Allzweckmaschinen-Sichtinspektionssysteme programmiert und einsetzt. Ein verbessertes Verfahren und System, das es relativ ungelernten Benutzern erlaubt, die Parameter von Kantenstellen-Videowerkzeugen einzustellen, so dass sie verwendet werden können, um eine Vielzahl von Kantentypen zuverlässig zu inspizieren, ist wünschenswert.
Figurenliste

1 ist ein Diagramm, das verschiedene typische Komponenten eines Allzweck-Präzisionsmaschinen-Sichtinspektionssystems zeigt.
2 ist ein Blockdiagramm eines Steuerungssystembereichs und eines Sichtkomponentenbereichs eines Maschinensichtinspektionssystems ähnlich demjenigen der 1, und mit Merkmalen, wie vorliegend beschrieben.
3 und 4 sind Diagramme, die verschiedene Merkmale einer ersten Ausführungsform einer Benutzerschnittstellenanzeige veranschaulichen, die eine mehrdimensionale Parameterraumdarstellung mit Kantenzonen und Fenstern einschließlich Kantenmerkmaldarstellungen beinhaltet.
5 ist ein Flussdiagramm eines Verfahrens zum Anzeigen einer mehrdimensionalen Parameterraumdarstellung und zumindest eines Fensters, das eine Kantenmerkmaldarstellung beinhaltet.
6 ist ein Flussdiagramm eines Verfahrens zum Anzeigen einer mehrdimensionalen Parameterraumdarstellung mit Kantenzonen.
7 und 8 sind Diagramme, die verschiedene Merkmale einer zweiten Ausführungsform einer Benutzerschnittstellenanzeige veranschaulichen, die eine mehrdimensionale Parameterraumdarstellung mit Kantenzonen und einem Videofenster einschließlich Kantenmerkmaldarstellungen und überlagerten erfassten Kantenpunkten beinhaltet.
9 ist ein Diagramm, das verschiedene Merkmale einer dritten Ausführungsform einer Benutzerschnittstellenanzeige veranschaulicht, die verschiedene Kantenmerkmaldarstellungen einschließt, unter denen ein Benutzer wählen kann.
10 ist ein Flussdiagramm eines Verfahrens, das eine erschöpfende Suche zum Bestimmen und Anzeigen unterschiedlicher Kantenmerkmaldarstellungen verwendet, unter denen ein Benutzer wählen kann.
11 ist ein Flussdiagramm eines Verfahrens, das verbundene Kanten zum Bestimmen und Anzeigen verschiedener Kantenmerkmaldarstellungen verwendet, unter denen ein Benutzer wählen kann.
12 ist ein Flussdiagramm eines Verfahrens zum automatischen Bestimmen mehrerer Kandidatenparameterkombinationen mehrerer Kantenerfassungsparameter.

DETAILLIERTE BESCHREIBUNG
Es wird ein Verfahren zum Definieren von Kantenerfassungsparametern in einer Maschinensichtinspektionssystem-Benutzerschnittstelle bereitgestellt. In einer Ausführungsform beginnt das Verfahren mit dem Bereitstellen eines Kantenstellen-Videowerkzeugs, das mehrere Kantenerfassungsparameter aufweist. Eine Interessensregion (region of interest, ROI) wird für das Kantenstellen-Videowerkzeug definiert, einschließlich zumindest eines ersten jeweiligen Kantenmerkmals in der Interessensregion. Mehrere Kandidatenparameterkombinationen der mehreren Kantenerfassungsparameter werden automatisch bestimmt, wobei jeweilige Kandidatenparameterkombinationen verwendbar sind, um jeweilige Kantenmerkmale in der Interessensregion zu erfassen. Die Benutzerschnittstelle wird betätigt, um jeweilige Kandidatenparameterkombinationsdarstellungen anzuzeigen, die den jeweiligen Kandidatenparameterkombinationen entsprechen, die dazu verwendbar sind, jeweilige Kantenmerkmale in der Interessensregion zu erfassen. Die Benutzerschnittstelle ist dazu konfiguriert, es einem Benutzer zu erlauben, eine Parameterkombinations-Auswahlhandlung relativ zu den angezeigten jeweiligen Kandidatenparameterkombinationsdarstellungen durchzuführen. Die Benutzerauswahlhandlung führt zu einer Auswahl einer Kombination von Kantenerfassungsparametern, die den Betrieb des Kantenstellen-Videowerkzeugs in der definierten Interessensregion regeln.
Die Benutzerschnittstelle kann eine mehrdimensionale Parameterraumdarstellung möglicher Kombinationen der mehreren Kantenerfassungsparameter umfassen. Der Schritt des Bestimmens mehrerer Kandidatenparameterkombinationen kann das Bestimmen eines ersten Satzes jeweiliger Kandidatenparameterkombinationen umfassen, die dazu verwendbar sind, das erste jeweilige Kantenmerkmal zu erfassen. Der Schritt des Betätigens der Benutzerschnittstelle kann das Anzeigen einer Darstellung eines ersten Satzes jeweiliger Kandidatenparameterkombinationen als erste Zone in der mehrdimensionalen Parameterraumdarstellung umfassen. Die Benutzerschnittstelle kann dazu konfiguriert sein, es einem Benutzer zu erlauben, eine Parameterkombinations-Auswahlhandlung relativ zur ersten Zone durchzuführen, was das Bewegen einer Parameterkombinations-Anzeigevorrichtung zu einer Stelle innerhalb der ersten Zone und das Betätigen der Parameterkombinations-Anzeigevorrichtung zum Auswählen der Parameterkombination, die jener Stelle entspricht, umfasst.
Die Interessensregion (ROI) kann zumindest ein zweites jeweiliges Kantenmerkmal in der Interessensregion umfassen. Der Schritt des Bestimmens mehrerer Kandidatenparameterkombinationen kann das Bestimmen eines zweiten Satzes jeweiliger Kandidatenparameterkombinationen umfassen, die dazu verwendbar sind, das zweite jeweilige Kantenmerkmal zu erfassen. Der Schritt des Betätigens der Benutzerschnittstelle kann das Anzeigen einer Darstellung des zweiten Satzes jeweiliger Kandidatenparameterkombinationen als zweite Zone in der mehrdimensionalen Parameterraumdarstellung umfassen.
Die Benutzerschnittstelle kann zumindest ein Kantenmerkmaldarstellungsfenster umfassen, das ein Bild des Sichtfeld des Maschinensichtinspektionssystems und eine Darstellung der Kantenmerkmale einschließt, die von der Kombination von Parametern erfasst werden können, die von einer aktuellen Konfiguration der Parameterkombinations-Anzeigevorrichtung angezeigt werden, die dem Bild des Sichtfeld überlagert ist. Die Darstellung der Kantenmerkmale, die von der Kombination von Parametern erfasst werden können, die von der aktuellen Konfiguration der Parameterkombinations-Anzeigevorrichtung angezeigt werden, können mehrere erfassbare Kantenpunkte umfassen, die mehreren Abtastlinien quer über die ROI entsprechen, die dem Bild des Sichtfeld überlagert sind. Das zumindest eine Kantenmerkmaldarstellungsfenster und die mehrdimensionale Parameterraumdarstellung können so synchronisiert sein, dass eine Einstellung oder Auswahl in dem zumindest einen Kantenmerkmaldarstellungsfenster zu einer entsprechenden Anzeige in der mehrdimensionalen Parameterraumdarstellung führt.
Die Interessensregion (ROI) kann zumindest ein zweites jeweiliges Kantenmerkmal in der Interessensregion beinhalten. Die Benutzerschnittstelle kann eine Darstellung der ersten und zweiten jeweiligen Kantenmerkmale umfassen. Der Schritt zum automatischen Bestimmen mehrerer Kandidatenparameterkombinationen kann das Bestimmen zumindest einer ersten jeweiligen Kandidatenparameterkombination, die dazu verwendet werden kann, das erste jeweilige Kantenmerkmal zu erfassen, und das Bestimmen zumindest einer zweiten jeweiligen Kandidatenparameterkombination umfassen, die dazu verwendet werden kann, das zweite jeweilige Kantenmerkmal zu erfassen. Der Schritt des Betätigens der Benutzerschnittstelle kann das Anzeigen der Darstellung der ersten und zweiten jeweiligen Kantenmerkmale umfassen.
Die Benutzerschnittstelle kann dazu konfiguriert sein, es einem Benutzer zu erlauben, eine Parameterkombinations-Auswahlhandlung relativ zu den angezeigten Darstellungen der ersten und zweiten jeweiligen Kantenmerkmale durchzuführen, was das Bewegen eines Cursors an eine Stelle nächst der Darstellung eines gewünschten der ersten und zweiten jeweiligen Kantenmerkmale und das Betätigen des Cursors zum Auswählen der Parameterkombination, die jener Kante entspricht, umfasst. Die Darstellung der ersten und zweiten jeweiligen Kantenmerkmale kann eine erste Anzeigevorrichtung umfassen, die einem Bild des ersten jeweiligen Kantenmerkmals überlagert ist, welches anzeigt, dass eine entsprechende erste jeweilige Kandidatenparameterkombination bestimmt worden ist, und eine zweite Anzeigevorrichtung umfassen, die einem Bild des zweiten jeweiligen Kantenmerkmals überlagert ist, was anzeigt, dass eine entsprechende zweite jeweilige Kandidatenparameterkombination bestimmt worden ist. Die erste und zweite Anzeigevorrichtung können erfasste Kantenpunkte längs des ersten bzw. zweiten Kantenmerkmals umfassen.
Die Darstellung des ersten jeweiligen Kantenmerkmals kann ein erstes Kantenfenster umfassen, das das erste jeweilige Kantenmerkmal einschließt, welches anzeigt, dass eine entsprechende erste jeweilige Kandidatenparameterkombination bestimmt worden ist, und die Darstellung des zweiten jeweiligen Kantenmerkmals kann ein zweites Kantenfenster umfassen, das das zweite jeweilige Kantenmerkmal einschließt, welches anzeigt, dass eine entsprechende zweite jeweilige Kandidatenparameterkombination bestimmt worden ist. Die Benutzerschnittstelle kann dazu konfiguriert sein, es einem Benutzer zu erlauben, eine Parameterkombinations-Auswahlhandlung relativ zu den angezeigten Darstellungen der ersten und zweiten jeweiligen Kantenmerkmale durchzuführen, was das Bewegen eines Cursors an eine Stelle in einem gewünschten der ersten und zweiten Kantenfenster und das Betätigen des Cursors zum Auswählen der Parameterkombination, die jener Kante entspricht, umfasst.
Die Benutzerschnittstelle kann ferner eine mehrdimensionale Parameterraumdarstellung möglicher Kombinationen der mehreren Kantenerfassungsparameter umfassen. Die Benutzerschnittstelle kann dazu konfiguriert sein, es einem Benutzer zu erlauben, eine Parameterkombinations-Auswahlhandlung relativ zu den angezeigten Darstellungen der ersten und zweiten jeweiligen Kantenmerkmale durchzuführen. Die Auswahlhandlung kann das Bewegen eines Cursors an eine Stelle nächst der Darstellung eines gewünschten der ersten und zweiten jeweiligen Kantenmerkmale und das Betätigen des Cursors zum Auswählen entweder des ersten oder des zweiten jeweiligen Kantenmerkmals umfassen. Als Reaktion auf die Auswahl kann die Benutzerschnittstelle ferner dazu konfiguriert sein, eine Darstellung einer ersten oder zweiten Zone anzuzeigen. Insbesondere kann eine Darstellung eines ersten Satzes jeweiliger Kandidatenparameterkombinationen als erste Zone in der mehrdimensionalen Parameterraumdarstellung angezeigt werden, wenn das erste jeweilige Kantenmerkmal ausgewählt wird, wobei der erste Satz jeweiliger Parameterkombinationen die erste jeweilige Kandidatenparameterkombination umfasst, die dazu verwendet werden kann, das erste jeweilige Kantenmerkmal zusätzlich zu anderen Kandidatenparameterkombinationen zu erfassen, die dazu verwendet werden können, das erste jeweilige Kantenmerkmal zu erfassen. Alternativ kann eine Darstellung eines zweiten Satzes jeweiliger Kandidatenparameterkombinationen als zweite Zone in der mehrdimensionalen Parameterraumdarstellung angezeigt werden, wenn das zweite jeweilige Kantenmerkmal ausgewählt wird, wobei der zweite Satz jeweiliger Parameterkombinationen die zweite jeweilige Kandidatenparameterkombination umfasst, die dazu verwendet werden kann, das zweite jeweilige Kantenmerkmal zusätzlich zu anderen Kandidatenparameterkombinationen zu erfassen, die dazu verwendet werden können, das zweite jeweilige Kantenmerkmal zu erfassen.
In einer Ausführungsform wird ein Verfahren zum Definieren von Kantenstellenparametern in einer Maschinensichtinspektionssystem-Benutzerschnittstelle bereitgestellt. Mehrere Kantenerfassungsparameter für eine Interessensregion (ROI) eines Kantenstellen-Videowerkzeugs werden definiert. Es wird eine mehrdimensionale Parameterraumdarstellung angezeigt, die mögliche Kombinationen der mehreren Kantenerfassungsparameter angibt. In einer Umsetzung ist die mehrdimensionale Parameterraumdarstellung ein zweidimensionales Gitter, wobei jede Dimension mögliche Werte angibt, die einem der Kantenerfassungsparameter entsprechen. Eine Parameterkombinations-Anzeigevorrichtung (zum Beispiel mit einer Parameterkombinationsmarkierung, die ausgewählt und in eine Benutzerschnittstelle gezogen werden kann) befindet sich innerhalb der mehrdimensionalen Parameterraumdarstellung, welche eine Kombination der Kantenerfassungsparameter auf der Basis ihrer Stelle angibt. Ein oder mehrere Kantenmerkmal-Darstellungsfenster sind angezeigt, welche Kantenmerkmale darstellen, die sich in der ROI des Kantenstellen-Videowerkzeugs befinden. In einer Ausführungsform werden Kantenmerkmale, die durch die Kombination von Kantenerfassungsparametern erfasst werden können, die durch eine aktuelle Konfiguration der Parameterkombinations-Anzeigevorrichtung angezeigt werden, in dem einen oder den mehreren Kantenmerkmal-Darstellungsfenstern automatisch aktualisiert. Es sollte gewürdigt werden, dass der vorliegend verwendete Begriff Fenster zuvor bekannte Typen von Benutzerschnittstellenfenstern einschließt und sich auch allgemeiner auf unkonventionelle Elemente einer Benutzerschnittstelle bezieht, die eine oder mehrere Benutzerschnittstelleneigenschaften beinhalten können, wie etwa: sie können Anzeigeelemente einschließen, die kompakter als ein gesamter Anzeigenbereich hergestellt sind, und/oder können zu manchen Zeiten verborgen werden (beispielsweise in der Größe geändert und/oder verlegt und/oder von einem Benutzer verborgen), sie können sich auf eine bestimmte Klasse von Informationen und/oder Menüs oder Auswahlen konzentrieren, die eine bestimmte Klasse von Informationen betreffen, und so weiter. Somit sind bestimmte Formen von Fenstern, die vorliegend veranschaulicht sind, rein exemplarisch und nicht einschränkend. Zum Beispiel kann es sein, dass ein „Fenster“ in manchen Ausführungsformen keine gut definierte Grenze oder dergleichen hat, es kann ein hyperlink-artiges Verhalten zeigen, es kann auf einem separaten und/oder isolierten Anzeigeelement erscheinen, und so weiter.
Die Kantenmerkmaldarstellungsfenster können Darstellungen einer Abtastlinienintensität und/oder eines Abtastlinienintensitätsgradienten der Interessensregion des Kantenstellen-Videowerkzeugs beinhalten. Ein weiteres Kantenmerkmaldarstellungsfenster kann ein Bild des Sichtfelds des Maschinensichtinspektionssystems einschließen. Eine Darstellung von einem oder mehreren der Kantenmerkmale, die durch die Kombination von Parametern erfassbar ist, die durch eine aktuelle Konfiguration der Parameterkombinations-Anzeigevorrichtung angegeben werden, können der Darstellung der Abtastlinienintensität und/oder des Abtastlinienintensitätsgradienten und/oder dem Bild des Sichtfeld überlagert werden.
Die Kantenmerkmaldarstellungsfenster und die mehrdimensionale Parameterraumdarstellung können so synchronisiert sein, dass eine Parametereinstellung oder -auswahl in einem der Kantenmerkmaldarstellungsfenster zu einer entsprechenden Einstellung oder Auswahl der Parameter-Anzeigevorrichtung (zum Beispiel ihrer Position) in der mehrdimensionalen Parameterraumdarstellung führt. Die Einstellung oder Auswahl im Kantenmerkmaldarstellungsfenster kann eine Einstellung oder Auswahl eines Schwellenniveaus umfassen, und die entsprechende Angabe in der mehrdimensionalen Parameterraumdarstellung kann eine Bewegung der Parameterkombinations-Anzeigevorrichtung zu einer Stelle umfassen, die dem ausgewählten Schwellenniveau entspricht.
Nachstehend werden verschiedene Ausführungsformen der Erfindung beschrieben. Die folgende Beschreibung liefert spezifische Details für ein gründliches Verständnis und eine befähigende Beschreibung dieser Ausführungsformen. Ein Fachmann auf dem Gebiet wird jedoch verstehen, dass die Erfindung ohne viele dieser Details in die Praxis umgesetzt werden kann. Darüber hinaus kann es sein, dass einige gut bekannte Strukturen oder Funktionen nicht eingehend gezeigt oder beschrieben sind, um ein unnötiges Verschleiern der relevanten Beschreibung der verschiedenen Ausführungsformen zu vermeiden. Die in der nachstehend präsentierten Beschreibung verwendete Terminologie soll in ihrer breitesten zweckmäßigen Weise ausgelegt werden, obwohl sie in Verbindung mit einer detaillierten Beschreibung bestimmter spezifischer Ausführungsformen der Erfindung verwendet wird.
1 ist ein Blockdiagramm eines beispielhaften Maschinensichtinspektionssystems 10, das gemäß vorliegend beschriebener Verfahren verwendet werden kann. Das Maschinensichtinspektionssystem 10 beinhaltet eine Sichtmessmaschine 12, die funktionsfähig angeschlossen ist, um mit einem steuernden Computersystem 14 Daten auszutauschen und Signale zu steuern. Das steuernde Computersystem 14 ist ferner mit einem Monitor oder einer Anzeige 16, einem Drucker 18, einem Joystick 22, einer Tastatur 24 und einer Maus 26 zum Austausch von Daten und Steuern von Signalen funktionsfähig verbunden. Der Monitor oder die Anzeige 16 kann eine Benutzerschnittstelle anzeigen, welche zum Steuern und/oder Programmieren der Vorgänge des Maschinensichtinspektionssystems 10 geeignet ist. Es wird gewürdigt werden, dass in verschiedenen Ausführungsformen ein Touchscreen-Tablet oder dergleichen statt dem Computersystem 14, der Anzeige 16, dem Joystick 22, einer Tastatur 24 und der Maus 26 eingesetzt werden und/oder die Funktionen von irgendeinem oder allen dieser Einrichtungen redundant zur Verfügung stellen kann.
Fachleute auf dem Gebiet werden zu würdigen wissen, dass das steuernde Computersystem 14 allgemein aus irgendeinem Rechensystem oder einer Rechenvorrichtung bestehen kann. Geeignete Rechensysteme oder -vorrichtungen können Personalcomputer, Servercomputer, Minicomputer, Mainframecomputer, verteilte Rechenumgebungen, die irgendeinem der vorstehenden Computer einschließen, und dergleichen beinhalten. Derartige Rechensysteme oder -vorrichtungen können einen oder mehrere Prozessoren einschließen, welche Software ausführen, um die vorliegend beschriebenen Funktionen durchzuführen. Prozessoren beinhalten programmierbare Allzweck- oder Spezial-Mikroprozessoren, programmierbare Steuerungen, anwenderspezifische integrierte Schaltungen (application specific integrated circuits, ASICs), programmierbare Logikschaltungen (programmable logic devices, PLDs) oder dergleichen oder eine Kombination solcher Vorrichtungen. Eine Software kann im Speicher gespeichert sein, wie etwa einem Direktzugriffsspeicher (random access memory, RAM), einem Nurlesespeicher (read-only memory, ROM), einem Flash-Speicher oder dergleichen oder einer Kombination solcher Komponenten. Eine Software kann auch in einer oder mehreren Speichervorrichtungen gespeichert sein, wie etwa Disks auf magnetischer oder optischer Basis, Flash-Speichervorrichtungen oder irgendeinem anderen Typ eines nicht-flüchtigen Speichermediums zum Speichern von Daten. Die Software kann ein oder mehrere Programmmodule einschließen, die Routinen, Programme, Objekte, Komponenten, Datenstrukturen und so weiter beinhalten, welche bestimmte Aufgaben durchführen oder bestimmte abstrakte Datentypen umsetzen. In verteilten Rechenumgebungen kann die Funktionalität der Programmmodule über viele Rechensysteme oder -vorrichtungen kombiniert oder verteilt sein und über Serviceaufrufe, entweder in einer verdrahteten oder drahtlosen Konfiguration, abgerufen werden.
Die Sichtmessmaschine 12 beinhaltet einen beweglichen Werkstück-Arbeitstisch 32 und ein optisches Abbildungssystem 34, das eine Zoomlinse oder austauschbare Linsen beinhalten kann. Die Zoomlinse oder austauschbaren Linsen sehen im Allgemeinen verschiedene Vergrößerungen für die von dem optischen Abbildungssystem 34 bereitgestellten Bilder vor. Das Maschinensichtinspektionssystem 10 ist im Allgemeinen mit der QUICK VISION®-Serie von Sichtsystemen und der QVPAK@-Software, die vorstehend erörtert wurden, und ähnlichen im Handel erhältlichen Präzisionsmaschinen-Sichtinspektionssystemen des Standes der Technik vergleichbar. Das Maschinensichtinspektionssystem 10 ist auch in den gemeinsam erteilten US-Patenten Nrn. 7,454,053, 7,324,682, 8,111,905 und 8,111,938 beschrieben, welche jeweils durch Bezugnahme in ihrer Gesamtheit hier aufgenommen sind.
2 ist ein Blockdiagramm eines Steuerungssystembereichs 120 und eines Sichtkomponentenbereichs 200 eines Maschinensichtinspektionssystems 100, das ähnlich dem Maschinensichtinspektionssystem der 1 ist, und beinhaltet Merkmale, wie vorliegend beschrieben. Wie nachstehend eingehender beschrieben wird, wird der Steuerungssystembereich 120 dazu verwendet, den Sichtkomponentenbereich 200 zu steuern. Der Sichtkomponentenbereich 200 beinhaltet einen optischen Zusammenbaubereich 205, Lichtquellen 220, 230 und 240 und einen Werkstück-Arbeitstisch 210 mit einem mittigen transparenten Bereich 212. Der Werkstück-Arbeitstisch 210 kann steuerbar entlang X- und Y-Achsen bewegt werden, die in einer Ebene liegen, welche im Allgemeinen parallel zur Oberfläche des Arbeitstisches ist, auf dem ein Werkstück 20 positioniert sein kann. Der optische Zusammenbaubereich 205 beinhaltet ein Kamerasystem 260, eine austauschbare Objektivlinse 250 und kann einen Revolverlinsenaufbau 280 mit Linsen 286 und 288 einschließen. Alternativ zu dem Revolverlinsenaufbau kann eine befestigte oder manuell austauschbare Vergrößerungsänderungslinse oder eine Zoomlinsenkonfiguration oder dergleichen beinhaltet sein.
Der optische Zusammenbaubereich 205 kann steuerbar entlang einer Z-Achse, die im Allgemeinen senkrecht zur X- und Y-Achse ist, unter Verwendung eines steuerbaren Motors 294 bewegt werden, der einen Aktor antreibt, um den optischen Zusammenbaubereich 205 längs der Z-Achse zu bewegen, um den Fokus des Bilds des Werkstücks 20 zu ändern. Der steuerbare Motor 294 ist über eine Signalleitung 296 mit der Eingabe-/Ausgabe-Schnittstelle 130 verbunden.
Ein Werkstück 20 oder ein Tablett oder eine Aufnahmevorrichtung, das bzw. die mehrere Werkstücke 20 hält, die unter Verwendung des Maschinensichtinspektionssystems 100 abgebildet werden sollen, wird auf dem Werkstück-Arbeitstisch 210 platziert. Der Werkstück-Arbeitstisch 210 kann so gesteuert werden, dass er sich relativ zu dem optischen Zusammenbaubereich 205 bewegt, so dass sich die austauschbare Objektivlinse 250 zwischen Stellen auf einem Werkstück 20 und/oder zwischen mehreren der Werkstücke 20 bewegt. Eines oder mehrere eines Arbeitstischlichts 220, eines koaxialen Lichts 230 und eines Oberflächenlichts 240 (zum Beispiel eines Ringlichts) kann jeweils Quellenlicht 222, 232 und/oder 242 emittieren, um das Werkstück oder die Werkstücke 20 zu beleuchten. Die Lichtquelle 230 kann Licht 232 längs eines Wegs emittieren, der einen Spiegel 290 beinhaltet. Die Lichtquelle wird als Werkstücklicht 255 reflektiert oder übertragen und das zum Abbilden verwendete Werkstücklicht geht durch die austauschbare Objektivlinse 250 und die Revolverlinsenanordnung 280 hindurch und wird vom Kamerasystem 260 aufgefangen. Das Bild des Werkstücks/der Werkstücke 20, vom Kamerasystem 260 aufgenommen, wird auf einer Signalleitung 262 an den Steuerungssystembereich 120 ausgegeben. Die Lichtquellen 220, 230 und 240 können durch Signalleitungen oder -busse 221, 231 bzw. 241 mit dem Steuerungssystembereich 120 verbunden sein. Um die Bildvergrößerung zu ändern, kann der Steuerungssystembereich 120 die Revolverlinsenanordung 280 durch eine Signalleitung oder einen Signalbus 281 längs der Achse 284 drehen, um eine Revolverlinse auszuwählen.
Wie in 2 gezeigt, beinhaltet der Steuerungssystembereich 120 in verschiedenen beispielhaften Ausführungsformen eine Steuerung 125, die Eingabe-/Ausgabe-Schnittstelle 130, einen Speicher 140, eine Werkstückprogrammgenerator und -ausführer 170 und einen Leistungsversorgungsbereich 190. Jede dieser Komponenten, sowie die nachstehend beschriebenen zusätzlichen Komponenten, können durch einen oder mehrere Daten-/Steuerbusse und/oder Anwendungsprogrammierungsschnittstellen oder durch direkte Verbindungen zwischen den verschiedenen Elementen untereinander verbunden sein.
Die Eingabe-/Ausgabe-Schnittstelle 130 beinhaltet eine Abbildungssteuerungs-Schnittstelle 131, eine Bewegungssteuerungs-Schnittstelle 132, eine Beleuchtungssteuerungs-Schnittstelle 133 und eine Linsensteuerungs-Schnittstelle 134. Die Bewegungssteuerungs-Schnittstelle 132 kann ein Positionssteuerungselement 132a und ein Geschwindigkeits-/Beschleunigungssteuerungselement 132b einschließen, obwohl solche Elemente verschmolzen und/oder ununterscheidbar sein können. Die Beleuchtungssteuerungs-Schnittstelle 133 beinhaltet Beleuchtungssteuerungselemente 133a-133n und 133fl, die beispielsweise die Auswahl, Leistung, den Ein/Aus-Schalter und die Stroboskop- bzw. Abtastimpulseinstellung für die verschiedenen entsprechenden Lichtquellen des Maschinensichtinspektionssystems 100 steuern.
Der Speicher 140 kann einen Bilddatei-Speicherbereich 141, einen Kantenerfassungs-Speicherbereich 140ed, einen Werkstückprogramm-Speicherbereich 142, der ein oder mehrere Teilprogramme oder dergleichen einschließen kann, und einen Videowerkzeugbereich 143 beinhalten. Der Videowerkzeugbereich 143 beinhaltet den Videowerkzeugbereich 143a und andere Videowerkzeugbereiche (beispielsweise 143n), die die GUI, den Bildverarbeitungsvorgang usw. für jedes der entsprechenden Videowerkzeuge und einen Interessensregion- (ROI) -generator 143roi bestimmen, der automatische, halbautomatische und/oder manuelle Vorgänge unterstützt, welche verschiedene ROIs definieren, die in verschiedenen Videowerkzeugen funktionsfähig sind, die in dem Videowerkzeugbereich 143 beinhaltet sind.
Im Kontext dieser Offenbarung und dem Durchschnittsfachmann bekannt, betrifft der Begriff Videowerkzeug im Allgemeinen einen relativ komplexen Satz automatischer oder programmierter Vorgänge, die ein Maschinensichtbenutzer durch eine relativ einfache Benutzerschnittstelle (beispielsweise eine grafische Benutzeroberfläche, editierbare Parameterfenster, Menüs und dergleichen) umsetzen kann, ohne den Schrittfür-Schritt-Ablauf von Vorgängen zu erzeugen, die im Videowerkzeug beinhaltet sind, oder auf eine verallgemeinerte textbasierte Programmiersprache oder dergleichen zurückzugreifen. Beispielsweise kann ein Videowerkzeug einen komplexen vorprogrammierten Satz von Bildverarbeitungsvorgängen und -berechnungen einschließen, die in einem bestimmten Fall durch Einstellen einiger weniger Variablen oder Parameter, welche die Vorgänge und Berechnungen regeln, angewendet und individuell angepasst werden. Zusätzlich zu den zugrundeliegenden Vorgängen und Berechnungen umfasst das Videowerkzeug die Benutzerschnittstelle, die es dem Benutzer erlaubt, jene Parameter für einen bestimmten Fall des Videowerkzeugs einzustellen. Beispielsweise erlauben es viele Maschinensicht-Videowerkzeuge einem Benutzer, eine grafische Interessensregion- (ROI) -Anzeigevorrichtung durch einfache „handle dragging“ (Ziehpunktzieh-) Vorgänge unter Verwendung einer Maus zu konfigurieren, um die Stellenparameter eines Teilsatzes eines Bilds zu definieren, das durch die Bildverarbeitungsvorgänge eines bestimmten Falls eines Videowerkzeugs zu analysieren ist. Es sollte beachtet werden, dass die sichtbaren Benutzerschnittstellenmerkmale manchmal als das Videowerkzeug bezeichnet werden, wobei die zugrundeliegenden Vorgänge implizit beinhaltet sind.
Gemeinsam mit vielen Videowerkzeugen beinhaltet der Kantenstellen- und Parametereinstellungs-Gegenstand dieser Offenbarung sowohl Benutzerschnittstellenmerkmale als auch zugrundeliegende Bildverarbeitungsvorgänge und dergleichen, und die diesbezüglichen Merkmale können als Merkmale eines Kantenstellenwerkzeugs 143el und eines entsprechenden Parametereinstellungsbereichs 143ps charakterisiert werden, der im Videowerkzeugbereich 143 beinhaltet ist. Das Kantenstellenwerkzeug 143el kann einen Algorithmus zum Bestimmen von Kantenstellen verwenden. Der Algorithmus kann durch Kantenerfassungsparameter geregelt werden, die in einigen Fällen während des Lernmodus automatisch bestimmt und programmiert und/oder von einem Benutzer manuell eingestellt werden können (zum Beispiel Schwellen, wie etwa TH, THR und THS, die nachstehend eingehender beschrieben sind.)
Damit ein Benutzer Kantenerfassungs-Videowerkzeugparameter, wie vorstehend umrissen, manuell einstellen kann, stellt der Parametereinstellbereich 143ps in einer Umsetzung eine mehrdimensionale Parameterraumdarstellung bereit (zum Beispiel ein 2-dimensionales Gitter mit TH auf einer Achse und THS auf der anderen Achse). Eine Parametermarkierung oder Anzeigevorrichtung (zum Beispiel ein Cursor) wird bereitgestellt, die innerhalb der Parameterraumdarstellung von einem Benutzer bewegt werden kann, um eine gewünschte Parameterkombination (zum Beispiel von TH und THS) einzustellen oder auszuwählen. Parameterkombinationskantenzonen sind innerhalb der Parameterraumdarstellung vorgesehen, die Stellen angeben, an denen die Parameter-Anzeigevorrichtung positioniert sein kann, um bestimmte Kantenmerkmale zu erfassen. Ein oder mehrere Kantenmerkmaldarstellungsfenster (die beispielsweise eine Abtastlinienintensität und/oder einen Abtastlinien-Intensitätsgradienten und/oder einen Sichtfeld des Maschinensichtsystems zeigen) sind vorgesehen, welche Änderungen an den Parametern und/oder den Kantenmerkmalen veranschaulichen, die gemäß der aktuellen Konfiguration erfassbar sind, wie nachstehend eingehender unter Bezugnahme auf 3, 4, 7 und 8 beschrieben wird. Das System kann auch oder alternativ automatisch den Suchbereich der Kantenerfassungsparameter abtasten und ein oder mehrere Bilder erzeugen, die aussagekräftige Variationen der Kantenerfassungsergebnisse zeigen, die als Antwort auf die Änderung der Kantenerfassungsparameterwerte auftreten. Eine Benutzerschnittstellenanzeige kann bereitgestellt werden, die die verschiedenen aussagekräftigen Variationen zeigt, unter denen ein Benutzer wählen kann (beispielsweise durch Klicken auf ein Fenster oder ein Kantenmerkmal), wie nachstehend eingehender unter Bezugnahme auf die 9-11 beschrieben wird.
Die Signalleitungen oder -busse 221, 231 und 241 des Arbeitstischlichts 220, die koaxialen Lichter 230 und 230' und das Oberflächenlicht 240 sind alle jeweils mit der Eingabe-/Ausgabe-Schnittstelle 130 verbunden. Die Signalleitung 262 vom Kamerasystem 260 und die Signalleitung 296 vom steuerbaren Motor 294 sind mit der Eingabe-/Ausgabe-Schnittstelle 130 verbunden. Zusätzlich zum Tragen bzw. Leiten von Bilddaten kann die Signalleitung 262 ein Signal von der Steuerung 125 leiten, das die Bilderfassung initiiert.
Eine oder mehrere Anzeigevorrichtungen 136 (zum Beispiel die Anzeige 16 der 1) und eine oder mehrere Eingabevorrichtungen 138 (zum Beispiel der Joystick 22, die Tastatur 24 und die Maus 26 der 1) können ebenfalls mit der Eingabe-/Ausgabe-Schnittstelle 130 verbunden sein. Die Anzeigevorrichtungen 136 und Eingabevorrichtungen 138 können verwendet werden, um eine Benutzerschnittstelle anzuzeigen, die verschiedene grafische Benutzerschnittstellen- (GUI) -merkmale beinhalten kann, welche dazu verwendet werden können, Inspektionsvorgänge durchzuführen und/oder Teilprogramme zu erzeugen und/oder zu modifizieren, um die Bilder anzusehen, die vom Kamerasystem 260 erfasst werden und/oder den Sichtsystem-Komponentenbereich 200 direkt zu steuern. Die Anzeigevorrichtungen 136 können Benutzerschnittstellenmerkmale anzeigen, die dem Kantenstellen-Videowerkzeug 143el und Parametereinstellbereich 143ps zugeordnet sind, die nachstehend eingehender beschrieben sind.
In verschiedenen beispielhaften Ausführungsformen erzeugt der Benutzer, wenn er das Maschinensichtinspektionssystem 100 verwendet, um ein Teilprogramm für das Werkstück 20 zu erzeugen, Teilprogrammanweisungen durch Betätigen des Maschinensichtinspektionssystems 100 in einem Lernmodus, um einen gewünschten Bilderfassungs-Trainingsablauf vorzusehen. Beispielsweise kann ein Trainingsablauf das Positionieren eines bestimmten Werkstückmerkmals eines repräsentativen Werkstücks im Sichtfeld (field of view, FOV), das Einstellen von Lichtstufen, Fokussieren oder Autofokussieren, Erfassen eines Bilds und Bereitstellen eines Inspektionstrainingsablaufs, der auf das Bild angewendet wird, umfassen (etwa die Verwendung eines Beispiels von einem der Videowerkzeuge an jenem Werkstückmerkmal). Der Lernmodus arbeitet so, dass der Ablauf/die Abläufe erfasst oder aufgezeichnet und in entsprechende Teilprogrammanweisungen umgewandelt werden. Wenn das Teilprogramm ausgeführt wird, veranlassen diese Anweisungen das Maschinensichtinspektionssystem, die trainierten Bilderfassungs- und -inspektionsvorgänge zu reproduzieren, um jenes bestimmte Werkstückmerkmal (das das entsprechende Merkmal an der entsprechenden Stelle ist) an einem Laufmoduswerkstück oder -werkstücken automatisch zu inspizieren, das dem repräsentativen Werkstück entspricht, das beim Erzeugen des Programms verwendet wird.
3 und 4 sind Diagramme, die verschiedene Merkmale einer ersten Ausführungsform einer Benutzerschnittstellenanzeige 300 veranschaulichen, die ein Sichtfeldfenster 310 beinhaltet, mit einem Werkstückbild, verschiedenen Mess- und/oder Vorgangsauswahlleisten, wie etwa den Auswahlleisten 320 und 340, einem Echtzeit-X-Y-Z- (Positions-) -Koordinatenfenster 370, einem Lichtsteuerungsfenster 350 und einer Kantenerfassungs-Videowerkzeug-Benutzerschnittstelle (einer „Kastenwerkzeug“-Benutzerschnittstelle), die das Kantenerfassungsparameterfenster 360, das in der in 3 gezeigten Ausführungsform durch Auswählen des „Fortgeschrittene Kantenparameter“-Tabulators der Kastenwerkzeug-Benutzerschnittstelle angezeigt ist. Die Kastenwerkzeug-Benutzerschnittstelle beinhaltet auch das Kastenwerkzeug-GUI-Widget 352, das dem Bild im Sichtfeldfenster 310 überlagert ist, das eine Interessensregion-Anzeigevorrichtung 355, eine steigende/fallende Anzeigevorrichtung RF, Abtastrichtung-Pfeilspitzen SD und eine Kantenauswahlvorrichtung ES beinhaltet, die in handelsüblichen Systemen bekannte Elemente sind. Die steigende/fallende Anzeigevorrichtung RF definiert in Kombination mit dem Abtastrichtungs-Pfeilspitzen SD, ob erfasste Kanten eine steigende oder fallende Intensität in der Abtastrichtung haben. Die Kantenauswahlvorrichtung ES gibt die Kante an, die zu erfassen ist (zum Beispiel durch den aktuellen Satz Werkzeugparameter). Das Kantenerfassungsparameterfenster 360 kann auch ROI-Stellen-Parameter/Editionskästchen, Abtastrichtungs-Parameter/Editionskästchen, Steigende/fallende-Kantenneigung-Parameter/Editionskästchen, Erfassbare-Kantenzahl-Parameter/Editionskästchen und Abtastintervall-Parameter/Editionskästchen einschließen. Es wird gewürdigt werden, dass verschiedene Parameter Standardwerte und/oder Werte aufweisen können, die auf der Basis vorheriger Benutzerschnittstellenvorgänge oder dergleichen automatisch bestimmt werden.
In der Ausführungsform, die in den 3 und 4 gezeigt ist, beinhaltet das Kantenerfassungsparameterfenster 360 Abtastlinienintensitäts- bzw. Abtastliniengradientenfenster 362 und 364 sowie eine mehrdimensionale Parameterraumdarstellung 370 möglicher Kombinationen mehrerer Kantenerfassungsparameter (auch als Kanteneigenschaftsparameter bezeichnet), die weiter unten beschrieben sind. Das Abtastlinienintensitätsfenster 362 und das Abtastliniengradientenfenster 364 veranschaulichen Grafiken eines Abtastlinienintensitätsprofils IP und eines Abtastlinienintensitätsgradientenprofils GP an Pixelstellen in der Abtastlinienrichtung für eine repräsentative Abtastlinie (zum Beispiel eine mittige oder durchschnittliche Abtastlinie oder dergleichen) quer über die Interessensregion, und jedes stellt Kantenmerkmaldarstellungen ER von Kantenmerkmalen bereit, die sich in der Interessensregion 355 des Kantenstellen-Videowerkzeugs 352 befinden. Wie vorliegend verwendet, ist eine Kantenmerkmaldarstellung so etwas wie eine Darstellungsform, von der ein Benutzer verstehen kann, dass sie eine Kante angibt. Im Abtastlinienintensitätsfenster 362 wird verstanden, dass Kantenmerkmale durch beträchtliche Änderungen der Intensität gegenüber einem relativ begrenzten Abstand entlang der Abtastlinie dargestellt werden. Typische Steigende-Kante- und Fallende-Kante-Kantenmerkmaldarstellungen ER (einer von mehreren Fällen) sind beispielsweise auf dem Abtastlinienintensitätsprofil IP angegeben. Im Abtastliniengradientenfenster 364 wird verstanden, dass Kantenmerkmale durch beträchtliche Gradientenänderungen über einen relativ begrenzten Abstand entlang der Abtastlinie und/oder Gradientenspitzen (oder -täler) darzustellen sind. Typische positive und negative Gradienten-Kantenmerkmaldarstellungen ER (einer von mehreren Fällen) sind beispielsweise auf dem Abtastlinienintensitätsgradientenprofil GP angegeben. Natürlich versteht es sich im Sichtfeldfenster 310, dass Kantenmerkmale durch ihr Bild darzustellen sind, wie zum Beispiel durch die Kantenmerkmaldarstellungen ER angegeben. Dementsprechend kann ein beliebiges oder können alle Fenster 310, 362, 364 oder dergleichen als Kantendarstellungsfenster bezeichnet werden. Das Abtastlinienintensitätsgradientenprofil GP kann so verstanden werden, dass es die Neigung des Abtastlinienintensitätsprofils IP in dieser Ausführungsform angibt, somit haben sie im Allgemeinen entsprechende Kantenmerkmaldarstellungen an entsprechenden Stellen längs ihrer jeweiligen Profile.
In der in den 3 und 4 gezeigten Ausführungsform beinhaltet die mehrdimensionale Parameterraumdarstellung 370 eine zweidimensionale Grafik 372, die potenzielle Kombinationen von Kantenerfassungsparametern TH und THS zeigt, wobei eine aktuelle Kombination der Parameter durch die Stelle einer Parameterkombinations-Anzeigevorrichtung PCI angegeben ist. Die durch die aktuelle Kombination der Kantenerfassungsparameter TH und THS erfassbaren Kantenmerkmale werden in den Fenstern 362 und 364 angezeigt und automatisch aktualisiert, wie für eine beispielhafte Ausführungsform nachstehend beschrieben ist.
Die Kantenerfassungsparameter TH und THS sind Kantenerfassungsparameter für einen Kantenerfassungsalgorithmus des Kantenstellen-Videowerkzeugs 352. In einer Ausführungsform können diese und andere Einstellungen während eines Lernmodus des Videowerkzeugs 352 bestimmt und dann während eines Laufmodus zum Bestimmen von Kanten verwendet werden. Wenn es nicht möglich ist, gewünschte Einstellungen während des Lernmodus zu bestimmen oder wenn bestimmt wird, dass die vom Videowerkzeug 352 gefundenen Kantenpunkte nicht zufriedenstellend sind, kann der Benutzer wählen, diese Einstellungen manuell einzustellen. Einige Einstellungen für Videowerkzeuge können intuitiv und leicht einstellbar sein. Jedoch werden manchmal andere Einstellungen (zum Beispiel für die Kantenerfassungsparameter TH und THS) als relativ kompliziert und schwierig einzustellen betrachtet, insbesondere in Kombination.
Die Parameter können verschiedene Funktionen beim Regeln des Algorithmus bereitstellen. Beispielsweise können die Parameter in einigen Fällen eine Ausfallschutztyp-Funktion bereitstellen. Das heißt, ein Parameter, der eine minimale Helligkeitsstufenänderung quer über eine Kante erfordert, kann verhindern, dass ein Kantenerfassungs-Videowerkzeug eine Kantenstelle im Fall einer unerwartet niedrigen Belichtung (zum Beispiel aufgrund eines Beleuchtungsausfalls) oder einer anderen anomalen Bedingung zurückspringen lässt. Der Parameter TH, auf den hier Bezug genommen wird, definiert eine Schwelle, die zu einer minimalen Helligkeitsstufenänderung in Beziehung steht, die quer über einer Kante erforderlich ist. In einem anderen Fall kann ein Parameter, der einen minimalen Grad an Helligkeitsänderungsrate quer über einer Kante benötigt (zum Beispiel ein Gradientenwert, der die Breite oder Schärfe einer Kante charakterisieren kann) ferner ein bestimmtes Beispiel einer Kante charakterisieren und kann verhindern, dass ein Kantenerfassungs-Videowerkzeug eine Kantenstelle im Fall einer unerwarteten Änderung in der Form einer Kante oder ihrer Beleuchtung (zum Beispiel eine Umgebungsbeleuchtungsänderung oder Richtungsänderung) oder des Fokusses ihres Bilds (ein verschwommenes Bild erweitert und schwächt eine Kante ab) relativ zur „Lernmodus“-Kantenformation oder -beleuchtung zurückbringt, die für das anfängliche Training/die anfängliche Programmierung des Videowerkzeugs verwendet wurde. Der Parameter THS, auf den hier Bezug genommen wird, definiert eine Schwelle, die sich auf einen minimalen Helligkeitsgradienten bezieht, der quer über einer Kante erforderlich ist. Es wird gewürdigt werden, dass jeder der vorstehend umrissenen Parameter und insbesondere deren Kombination so eingestellt werden kann, dass sie einem „Prototyp“-Fall einer Kante während des Lernmodus entsprechen und/oder ihn charakterisieren, um die Kantenerfassungszuverlässigkeit und/oder -spezifität (die Erfassung der erwarteten Kante unter Verwendung der erwarteten Abbildungsbedingungen) zu erhöhen. Die Parameter können so eingestellt werden, dass sie eine bestimmte Kante unterscheiden oder den „Ausfall“ des Videowerkzeugs bewirken, wenn die erwarteten Bedingungen nicht erfüllt (oder nur fast erfüllt) sind. In einigen Ausführungsformen kann ein Videowerkzeug so eingestellt sein, dass alle Parameter „statisch“ sind, was zu einem Videowerkzeug-„Ausfall“ führt, wenn die erwarteten Bedingungen strikt reproduziert werden. In einigen Ausführungsformen kann ein Parameter THR (auf den in den aufgenommenen Referenzen Bezug genommen ist) eine Beziehung zwischen THS und TH und/oder einen Schwellwert für jene Beziehung definieren, so dass ein Videowerkzeug eingestellt sein kann, um einige der Parameter (zum Beispiel THS) „dynamisch“ auf der Basis der tatsächlichen Helligkeit eines Bilds einzustellen (vorausgesetzt, dass die Helligkeit in einen Bereich fällt, der so beurteilt wird, dass er ein zweckmäßiges Bild für eine Inspektion liefert), was zu einem Videowerkzeug führt, das weniger oft wegen erwarteter Beleuchtungsschwankungen und/oder Teilvollendungsschwankungen oder dergleichen „ausfällt“.
In einigen Fällen kann eine Anzahl von Kanten auf einem Werkstück zusammengedrängt sein, so dass eine Zielkante durch die Stelle und Größe einer Videowerkzeug-Interessensregion nicht zuverlässig isoliert werden kann. In solchen Fällen können die vorstehend umrissenen Parameter und insbesondere deren Kombination auf Stufen eingestellt werden, die durch eine Zielkante erfüllt werden (einschließlich erwarteter Schwankungen von einem Werkstück zum anderen), und von anderen nahen Kanten auf dem Werkstück nicht erfüllt werden, so dass das Videowerkzeug die Zielkante von den anderen Kanten während Inspektions- und Messvorgängen unterscheidet. Es sollte gewürdigt werden, dass die vorliegend offenbarten erfindungsgemäßen Merkmale von besonderem Wert zum Einstellen einer Kombination von Parametern sind, die in diesem letzteren Fall nützlich sind, sowie zu einem allgemeineren Bereitstellen einer verbesserten Einfachheit des Gebrauchs und Verständnisses für Benutzer.
Das Intensitätsfenster 362 zeigt ein Intensitätsprofil IP entlang einer Abtastlinie des Kantenerfassungs-Videowerkzeugs 355 mit einer einstellbaren TH-Linie 363. Gleichermaßen zeigt das Gradientenfenster 364 ein Gradientenprofil GP entlang derselben Abtastlinie des Kantenerfassungs-Videowerkzeugs 355 mit einer einstellbaren THS-Linie 365. Die Fenster 362 und 364 sind dazu konfiguriert, Vorgänge einzuschließen, wobei ein Benutzer imstande ist, den Parameterwert der TH-Linie 363 und der THS-Linie 365 auszuwählen und grafisch einzustellen (zum Beispiel durch Ziehen der Linien), ohne die TH- und THS-Textkästchen 382 und 384 jeweils editieren zu müssen. Diese Art der Anzeige und Funktionalität kann insbesondere für erfahrene Benutzer nützlich sein, für welche die Einstellung leichter und schneller als das Anwenden der vorherigen Textbox-382- und -384-Verfahren sein kann. Die Stelle der Parameterkombinations-Anzeigevorrichtung PCI und der TH- und THS-Textkästchen kann in Echtzeit in Ansprechung auf eine solche Linieneinstellung aktualisiert werden. Ein Nachteil des Verwendens nur der einstellbaren Linien 363 und 365 besteht darin, dass nur ein Kantenerfassungsparameter auf einmal eingestellt werden kann und weniger erfahrene Benutzer nicht unbedingt wissen, wie man das Rohintensitätsprofil IP und das Gradientenprofil GP interpretieren soll, die in den Kantenmerkmaldarstellungsfenstern 362 und 364 veranschaulicht sind.
Wie in den Fenstern 362 und 364 veranschaulicht, sind, um das Verständnis des Benutzers der Kantendiskriminierungswirkung der TH- und THS-Parameterwerte zu erhöhen, in einer Ausführungsform die Fenster und GUI so konfiguriert, dass erfassbare Kanten DE in jenen Fenstern angegeben sein können (das heißt, die entsprechenden erfassbaren Kantendarstellungen entlang des Intensitätsprofils IP und des Gradientenprofils GP können angezeigt sein). In dem in 3 gezeigten Fall sind im Gradientenfenster 364 Segmente des Profils GP, die unter den Schwellwert für den Gradientenparameter THS fallen, schattiert. Die entsprechenden Segmente sind im Intensitätsfenster 362 ebenfalls schattiert. Darüber hinaus sind die Bereiche des Intensitätsprofils, die unter den Schwellwert für den Intensitätsparameter TH fallen, im Intensitätsfenster 362 schattiert. Somit sind drei Kantendarstellungen, die die aktuelle Parameterkombination erfüllen als erfassbare Kanten in den Fenstern 362 und 364 durch die unschattierten Bereiche hervorgehoben oder angegeben, die als DE1, DE3 und DE4 in 3 markiert sind. Solche visuellen Angaben unterstützen Benutzer bei dem Verstehen, wie Änderungen in den Kantenerfassungsparametern TH und THS, getrennt und in Kombination, die Bestimmung von Kanten beeinflussen, und stellen eine Echtzeitangabe bereit, wie der Algorithmus funktioniert. In einer (nicht gezeigten) Ausführungsform können erfassbare Kantenanzeigevorrichtungen ebenfalls über die entsprechenden Kanten im Sichtfeldfenster 310 gelegt werden. Wie in 3 gezeigt, ist, da das „Erfassbare Kantenzahl zum Auswählen“-Kästchen auf den Standardwert 1 eingestellt ist (was bedeutet, dass die zu lokalisierende Kante die erste erfassbare Kante in der ROI in der Abtastlinienrichtung ist), die ausgewählte Kante ES für das Videowerkzeug 352 im Fenster 310 auf die Kante eingestellt, die DE1 entspricht. Die erfassbare Kante DE1 kann in einigen Ausführungsformen im Fenster 362 auch als die „ausgewählte Kante“ markiert sein.
Im Gegensatz zu den individuellen Einstellungen der TH- und THS-Linien 363 und 365 in den Fenstern 362 und 364 gestattet es die mehrdimensionale Parameterraumdarstellung 370 einem Benutzer, beide Schwellen TH und THS gleichzeitig einzustellen. In der Grafik 372 ist der Kantenerfassungsparameter TH entlang der x-Achse dargestellt, während der Kantenerfassungsparameter THS entlang der y-Achse dargestellt ist. Die Anzeigevorrichtung PCI kann vom Benutzer ausgewählt und an eine beliebige Stelle auf der Grafik 372 gezogen werden, und die aktuelle Stelle definiert die aktuellen TH- und THS-Werte. Experimente haben gezeigt, dass durch die Verwendung verschiedener Merkmale dieser Benutzerschnittstelle sogar relativ ungelernte Benutzer Parameterkombinationen schnell erforschen und optimieren können, die bestimmte Kanten unter Verwendung der verschiedenen vorstehend umrissenen Merkmale zuverlässig isolieren oder ihnen mit gleicher Bedeutung verstehen helfen, dass eine Kante ohne bestimmte Bedingungen nicht zuverlässig isoliert werden kann (zum Beispiel durch Auswählen einer bestimmten erfassbaren Kante in der Interessensregion.)
Als veranschaulichendes Beispiel für den Betrieb der Benutzerschnittstelle in den 3 und 4, wie in 4 gezeigt, ist die Anzeigevorrichtung PCI in der Grafik 372 zu einer neuen Stelle bewegt worden (zum Beispiel durch Ziehen in der Benutzerschnittstelle). In der Ausführungsform der 3 und 4 sind die Fenster 362 und 364 mit der mehrdimensionalen Parameterraumdarstellung 370 synchronisiert, so dass eine Einstellung in der Position der Anzeigevorrichtung PCI zu einer entsprechenden Einstellung in der Stufe der TH-Linie 363 und der THS-Linie 365 und umgekehrt führt. Somit sind nach Maßgabe der neuen Stelle der Anzeigevorrichtung PCI die TH-Linie 363 im Fenster 362 und die THS-Linie 365 in Fenster 364 ebenfalls entsprechend eingestellt worden. In jedem Fall ist als Ergebnis der bestimmten neuen Stufen, die für die Parameter TH und THS definiert worden sind, eine zusätzliche Kante, die durch die Bezugsnummer DE2 in den Fenstern 362 und 364 angegeben ist, nun als erfassbare Kante angegeben. Es wird durch eine Inspektion der Figuren verstanden, dass die erfassbare Kante DE2 eine „schwächere“ Kante als die Kanten DE1, DE3 und DE4 ist und in der Interessensregion nicht auf der Basis der Parameter TH und THS allein isoliert werden kann. Jedoch ist leicht zu beobachten, dass sie die zweite erfassbare ansteigende Kante entlang der Abtastlinie ist, und somit hat der Benutzer das „Erfassbare Kantenzahl zum Auswählen“-Kästchen auf einen Wert 2 eingestellt. Dementsprechend isolieren die Parameter TH und THS die relativ starken erfassbaren Kanten DE1-DE4, während sie schwächere Kanten und/oder Rauschen zurückweisen, und die Erfassbare-Kantenzahl-Auswahlvorrichtung verfeinert die gewünschte zu lokalisierende Kante weiter - die zweite erfassbare Kante entlang der Abtastlinie (DE2) unter Verwendung des aktuellen Parametersatzes. In einer Ausführungsformen sind zumindest eines der Fenster 362 und 364 (und/oder das Fenster 310) und die erfassbare Kantenzahl (wie zum Beispiel in dem „Erfassbare Kantenzahl zum Auswählen“-Kästchen) so synchronisiert, dass ein Benutzer eine angegebene erfassbare Kante in einem der Fenster auswählen kann und eine entsprechende Parameterauswahl für die Nummer der erfassbaren Kante entlang der Abtastlinie in der Interessensregion automatisch erfolgt.
Es wird gewürdigt werden, dass ein Vorteil der mehrdimensionalen Parameterraumdarstellung 370 darin besteht, dass sie dem Benutzer erlaubt, mehrere Parameter (zum Beispiel Kantenerfassungsparameter TH und THS) gleichzeitig einzustellen, um die Erfassungsmargen und andere gegenseitige Erfassungszuverlässigkeitsabstimmungen (zum Beispiel die Erfassung einer inkorrekten Kante gegenüber der Wahrscheinlichkeit eines Werkzeugausfalls) rasch zu erforschen, die verschiedenen Einstellungskombinationen zugeordnet sind. Der Benutzer braucht die Funktionen der verschiedenen Parameter nicht zu verstehen, da durch das Einstellen der Stelle der Anzeigevorrichtung PCI und Beobachten des Echtzeit-Feedbacks einer entsprechenden erfassbaren Kantenangabe der Benutzer intuitiv die Empfindlichkeit der Kantenerfassungsergebnisse zur Stellen-Anzeigevorrichtung PCI fühlt und sie intuitiv an dem „besten Ort“ einstellen kann, um die gewünschte Kantenerfassung zu erzeugen. Ebenso wichtig ist, dass der Benutzer alle Parameterkombinationen rasch abtasten kann, indem er einfach die Anzeigevorrichtung PCI führt und erfährt, dass keine bestimmte Kombination eine Zielkante isoliert und bestimmen kann, dass eventuell zusätzliche Parameter (zum Beispiel das „Erfassbare Kantenzahl zum Auswählen“-Kästchen) eingestellt werden müssen, oder die Beleuchtung geändert oder die Interessensregion eingestellt werden muss, oder dergleichen. Im Gegensatz hierzu ist es unpraktisch oder unmöglich, diese gleiche Bestimmung mit derselben Effizienz und Gewissheit unter Verwendung von Verfahren und Schnittstellen des Standes der Technik zum Einstellen von Kantenerfassungsparametern durchzuführen.
Während die Techniken, die vorstehend in Bezug auf die mehrdimensionale Parameterraumdarstellung 370 beschrieben sind, es einem Benutzer erlauben, mehrfachen Kantenerfassungsparameter gleichzeitig einzustellen, kann es immer noch schwierig sein, präzise vorherzusagen, wo die Anzeigevorrichtung PCI für die Erfassung bestimmter Kanten lokalisiert sein muss. Wie nachstehend eingehender beschrieben wird, können Kandidatenparameterkombinations-Kantenzonen bereitgestellt werden, um bei der Bestimmung gewünschter Positionen für die Anzeigevorrichtung PCI zu helfen.
Wie in den 3 und 4 gezeigt, stellt in der mehrdimensionalen Parameterraumdarstellung 370 eine Kandidatenparameterkombinations-Kantenzone EZ1 eine Region dar, in welcher die Anzeigevorrichtung PCI zum Erfassen der ersten erfassbaren Kante DE1 platziert werden kann. Gleichermaßen stellt eine Kandidatenparameterkombinations-Kantenzone EZ2 einen Bereich dar, in welchem die Anzeigevorrichtung PCI zur Erfassung der zweiten erfassbaren Kante DE2 platziert werden kann, und eine Kandidatenparameterkombinations-Kantenzone EZ3 stellt einen Bereich dar, in welchem die Anzeigevorrichtung PCI zum Erfassen der dritten erfassbaren Kante DE3 platziert werden kann. Eine vierte Kandidatenparameterkombinations-Kantenzone EZ4 zum Erfassen der vierten erfassbaren Kante DE4 kann in Betracht gezogen werden, um mit der ersten Kandidatenparameterkombinationszone EZ1 vollständig zu überlappen. Es wird gewürdigt werden, dass die Kandidatenparameterkombinations-Kantenzonen EZ1, EZ2, EZ3 und EZ4 alle überlappende Bereiche beinhalten können, in welchen mehrfache Kanten erfasst werden können, und in einigen Umsetzungen mit Farben oder anderen sichtbaren Merkmalen veranschaulicht sein können.
Wie in 3 gezeigt, ist, um die Verwendung und den Betrieb dieses Merkmals zu veranschaulichen, die Anzeigevorrichtung PCI an einer Stelle platziert worden, die innerhalb der Kandidatenparameterkombinations-Kantenzonen EZ1, EZ3 und EZ4 liegt, aber nicht innerhalb der Kandidatenparameterkombinations-Kantenzone EZ2. Im Ergebnis sind, wie in den Fenstern 362 und 364 veranschaulicht und wie vorstehend beschrieben, nur die Kanten DE1, DE3 und DE4 durch die angegebene Kandidatenparameterkombination potenziell erfassbar. Wie in 4 gezeigt, ist die Anzeigevorrichtung PCI an eine neue Stelle bewegt worden, wo sie in der Kandidatenparameterkombinations-Kantenzone EZ2 sowie in den Kandidatenparameterkombinations-Kantenzonen EZ1, EZ3 und EZ4 liegt. Im Ergebnis ist jede der Kanten DE1, DE2, DE3 und DE4 von der angegebenen Parameterkombination potenziell erfassbar, wie in den Fenstern 362 und 364 angegeben und vorstehend beschrieben ist.
Es wird gewürdigt werden, dass es die Anzeige der Kandidatenparameterkombinations-Kantenzonen EZ1, EZ2, EZ3 und EZ4 auf diese Weise einem Benutzer erlaubt zu wissen, wo die Anzeigevorrichtung PCI zu positionieren ist, um imstande zu sein, eine gewünschte Kante von anderen Kanten (sofern möglich) zu unterscheiden, und auch, welche Möglichkeiten innerhalb der mehrdimensionalen Parameterraumdarstellung 370 zur Erfassung von Kanten existieren. In einer Ausführungsform sind die Kandidatenparameterkombinations-Kantenzonen EZ1, EZ2, EZ3 und EZ4 mit einem oder mehreren der Fenster 310, 362 und 364 synchronisiert, wobei ein Benutzer ein Kantenmerkmal auswählen kann, um eine entsprechende Kantenzone EZ hervorzuheben oder anzuzeigen. Beispielsweise kann ein Benutzer in einem der Fenster 310, 362 oder 364 ein erfassbares Kantenmerkmal DE oder eine Kantendarstellung ER auswählen (zum Beispiel anklicken), worauf als Reaktion die entsprechende Kandidatenparameterkombinations-Kantenzone EZ individuell ohne die anderen Kantenzonen EZ hervorgehoben und/oder angezeigt wird.
5 ist ein Flussdiagramm für ein Verfahren 500 zum Definieren von Kantenerfassungsparametern in einer Maschinensichtinspektionssystem-Benutzerschnittstelle. In einem Block 510 werden mehrere Kantenerfassungsparameter für eine Interessensregion (ROI) eines Kantenstellen-Videowerkzeugs bestimmt. In einem Block 520 ist eine mehrdimensionale Parameterraumdarstellung möglicher Kombinationen der mehreren Kantenerfassungsparameter angezeigt. In einem Block 530 ist eine Parameterkombinations-Anzeigevorrichtung, die sich in der mehrdimensionalen Parameterraumdarstellung befindet, angezeigt, die eine Kombination aus zumindest zwei der mehreren Kantenerfassungsparameter auf der Basis ihrer Stelle angibt. In einem Block 540 ist zumindest ein Kantenmerkmaldarstellungsfenster angezeigt, das Kantenmerkmale darstellt, die sich in der Interessensregion des Kantenstellen-Videowerkzeugs befinden. Das zumindest eine Kantenmerkmaldarstellungsfenster reagiert auf die Parameterkombinations-Anzeigevorrichtung, da sie von einem Benutzer so modifiziert wird, dass Kantenmerkmale, die durch die Kombination von Kantenerfassungsparametern erfassbar sind, durch eine aktuelle Konfiguration der Parameterkombinations-Anzeigevorrichtung angegeben sind, automatisch in dem zumindest einen Kantenmerkmaldarstellungsfenster aktualisiert werden.
6 ist ein Flussdiagramm, das eine beispielhafte Ausführungsform einer Routine 600 zum Bestimmen von Kandidatenparameterkombinations-Kantenzonen, wie etwa diejenigen, die in den 3 und 4 gezeigt sind, veranschaulicht. Wie nachstehend eingehender beschrieben wird, umfasst das Verfahren in dieser besonderen Ausführungsform im Allgemeinen Vorgänge, die eine Gruppe von Abtastlinienpixeln identifizieren, die einer bestimmten Kanten entsprechen, den Umfang von TH- und THS-Kantenerfassungsparameterwerten/-kombinationen bestimmen, die durch jene Pixelgruppe gezeigt werden, und jenen Umfang von TH- und THS-Werten/-kombinationen als entsprechenden Bereich oder Zone von auswählbaren Kandidatenparameterkombinationen in einer Benutzerschnittstelle darstellen, so dass ein Benutzer eine Parameterkombination in dem dargestellten Bereich oder der dargestellten Zone auswählen kann, um die Kante zu erfassen, die jener Zone entspricht. Eine Ausführungsform dieser Schritte wird nachstehend spezifischer unter Bezugnahme auf 6 beschrieben.
Wie in 6 gezeigt, werden in einem Block 610 ein Intensitätsprofil und ein Kantenstärkeprofil (zum Beispiel ein Gradientenprofil) entlang einer/von Abtastlinie(n) in der Interessensregion bestimmt. In einem Block 620 werden jeweilige Pixelgruppen entlang einer/von Abtastlinie(n), die jeweiligen Kanten in der Interessensregion entsprechen, bestimmt (zum Beispiel durch Identifizieren einer Gruppe benachbarter Pixel, die eine bedeutende Intensitätserhöhung (-senkung) für eine ansteigende (fallende) Kante zeigen). In einem Block 630 wird für jede jeweilige Gruppe der Umfang von Parameterkombinationen (zum Beispiel TH/THS-Kombinationen), die durch die Pixel in jener Gruppe gezeigt werden, bestimmt.
In einem Block 640 werden der bestimmte Umfang von Parameterkombinationen für eine jeweilige Gruppe oder Kante als Kandidatenparameterkombinationen abgebildet oder dargestellt, die als Umfang oder Zone auswählbarer Kandidatenparameterkombinationen in einer Benutzerschnittstelle (zum Beispiel als Kandidatenparameterkombinations-Kantenzone) dargestellt sind, so dass ein Benutzer eine Parameterkombination in dem dargestellten Umfang oder der dargestellten Zone auswählen kann, um die entsprechende jeweilige Kante zu erfassen.
7 und 8 sind Diagramme, die verschiedene Merkmale einer zweiten Ausführungsform einer Benutzerschnittstelleanzeige 700 veranschaulichen, die eine mehrdimensionale Parameterraumdarstellung und ein Sichtfeldfenster 310 mit Kantenmerkmaldarstellungen ER und darübergelegten erfassten Kantenpunkten DEP beinhalten. Ansonsten kann die Benutzerschnittstellenanzeige 700 gleich der Benutzerschnittstellenanzeige 300 sein, die in den 3 und 4 gezeigt ist, und gleich nummerierte Elemente können durch Analogie verstanden werden, wenn nicht anders angegeben.
Wie zuvor angegeben, sind im Sichtfeldfenster 310 Kantenmerkmale als durch ihr Bild dargestellt zu verstehen, wie beispielsweise durch die Kantenmerkmaldarstellungen ER angegeben. Die mehrdimensionale Parameterraumdarstellung 370 beinhaltet eine zweidimensionale Grafik 372, die potenzielle Kombinationen von Kantenerfassungsparametern TH und THS zeigt, wobei eine aktuelle Kombination der Parameter durch die Stelle einer Parameterkombinations-Anzeigevorrichtung PCI angegeben ist. Parameterkombinations-Kantenzonen EZ1, EZ2, EZ3 und EZ4 sind in der mehrdimensionalen Parameterraumdarstellung 370 angegeben. In der in den 7 und 8 gezeigten Ausführungsform veranschaulichen das Abtastlinien-Intensitätsfenster 362 und das Abtastlinien-Gradientenfenster 364 Grafiken eines Abtastlinien-Intensitätsprofils IP und eines Abtastlinien-Intensitätsgradientenprofils GP an Pixelstellen in der Abtastlinienrichtung für eine repräsentative Abtastlinie (zum Beispiel eine mittige oder durchschnittliche Abtastlinie oder dergleichen) quer über die Interessensregion. Die durch die aktuelle Kombination der Kantenerfassungsparameter TH und THS erfassbaren Kantenmerkmale (die erfassbaren Kanten DE) werden in den Fenstern 362 und 364 angezeigt und automatisch aktualisiert, wie zuvor beschrieben. Im Sichtfeldfenster 310 sind erfasste Kantenpunkte DEP angegeben, welche die aktuelle Kombination von Parametern erfüllen, wie nachstehend eingehender beschrieben ist.
In dem in 7 gezeigten Fall hat, im Vergleich zur 3, ein Benutzer die Parameterkombinations-Anzeigevorrichtung PCI neu positioniert, so dass sie innerhalb der Parameterkombinations-Kantenzonen EZ1, EZ3 und EZ4 ist, und so dass der Kantenerfassungsparameter TH den Wert 98,7 hat. Die drei Kantendarstellungen, die die aktuelle Kombination von Parametern erfüllen, sind als erfassbare Kanten in den Fenstern 362 und 364 durch die unschattierten Bereiche, die als DE1, DE3 und DE4 markiert sind, hervorgehoben oder angegeben.
Ein wichtiges Merkmal, das in der Benutzerschnittstellenanzeige 700 im Vergleich zur Benutzerschnittstellenanzeige 300 hinzugefügt ist, besteht darin, dass im Sichtfeldfenster 310 erfasste Kantenpunkte DEP angegeben sind, die die aktuelle Kombination von Parametern erfüllt. Dies stellt mehr Information als die Darstellungen in der Benutzerschnittstellenanzeige 300 bereit. Beispielsweise kann im Abtastlinien-Intensitätsfenster 362 gesehen werden, dass der Parameter TH so eingestellt ist, dass die erfassbare Kante DE1 der repräsentativen Abtastlinie, die im Fenster 362 veranschaulicht ist, den Parameter TH kaum überschreitet. Jedoch geben auf wichtige Weise die erfassten Kantenpunkte DEP im Sichtfeldfenster 310 an, dass die erfassbare Kante DE1 entlang nur weniger Abtastlinien den Parameter TH überschreitet. Somit geben die erfassten Kantenpunkte DEP im Sichtfeldfenster 310 auch an, dass entlang einiger Abtastlinien die erste ansteigende Kante, die den Parameter TH überschreitet, der erfassbaren Kante DE3 entspricht. Solche visuellen Angaben unterstützen Benutzer bei dem Verständnis, wie Änderungen der Kantenerfassungsparameter TH und THS, separat und in Kombination, die Bestimmung von Kanten beeinflussen und eine Echtzeitangabe liefern, wie der Algorithmus funktioniert. In dem in 7 gezeigten Fall veranschaulichen die erfassten Kantenpunkte DEP eindeutig und unmittelbar, dass die aktuellen Parameter nicht zuverlässig zwischen den Kanten DE1 und DE3 unterscheiden.
Im Gegensatz dazu ist, wie in 8 gezeigt, die Anzeigevorrichtung PCI in der Grafik 372 an eine neue Stelle bewegt worden (zum Beispiel durch Ziehen in der Benutzeroberfläche), um nur innerhalb der Parameterkombinations-Kantenzone EZ3 zu sein. In der Ausführungsform der 7 und 8 sind die Fenster 362 und 364 und 310 alle mit der mehrdimensionalen Parameterraumdarstellung 370 synchronisiert, so dass eine Einstellung der Position der Anzeigevorrichtung PCI zu einer entsprechenden Einstellung im Niveau der TH-Linie 363 und der THS-Linie 365 sowie der erfassten Kantenpunkte DEP führt. Als Ergebnis der bestimmten neuen Niveaus, die für die Parameter TH und THS definiert sind, ist nur die Kante, die durch die Bezugsziffer DE3 in den Fenstern 362 und 364 angegeben ist, nun als erfassbare Kante angegeben. Vielleicht noch wichtiger ist, dass im Fenster 310 gesehen werden kann, dass sich die erfassten Kantenpunkte DEP nun alle ebenfalls an der entsprechenden erfassbaren Kante DE3 befinden, wobei sie die Information befördern, dass der aktuelle Parametersatz die Kante DE3 von allen anderen Kanten entlang aller Abtastlinien unterscheidet, nicht nur entlang der repräsentativen Abtastlinie in den Fenstern 362 und 364. Tatsächlich kann ein Benutzer in einigen Ausführungsformen eventuell die PCI ziehen und die Parameter zuverlässiger durch Beobachten der entsprechenden erfassten Kantenpunkte DEP als durch Beobachten der Fenster 362 und 364 einstellen. Somit können in einigen Ausführungsformen, in denen erfasste Kantenpunkte DEP im Sichtfeldfenster 310 veranschaulicht sind, die Fenster 362 und 364 optional oder weggelassen und/oder verborgen sein, wenn sie nicht zur Anzeige durch den Benutzer ausgewählt werden.
9 ist ein Diagramm, das verschiedene Merkmale einer dritten Ausführungsform einer Benutzerschnittstellenanzeige 900 veranschaulicht, einschließlich verschiedener Kantenmerkmaldarstellungen, die in einer Reihe Sichtfeldfenster 910A-910D vorgesehen sind, unter denen ein Benutzer wählen kann. Die Sichtfeldfenster 910A-910D sind ähnlich dem Sichtfeldfenster 310, das vorstehend unter Bezugnahme auf die 3, 4, 7 und 8 beschrieben ist, und gleich nummerierte Elemente können durch Analogie verstanden werden, falls nicht anders angegeben.
Die Sichtfeldfenster 910A-910D unterscheiden sich hauptsächlich voneinander gemäß den Stellen erfasster Kantenpunkte DEP. Wie im Fenster 910A gezeigt, befinden sich die erfassten Kantenpunkte DEP auf einer ersten erfassbaren Kante DE1. Im Gegensatz hierzu befinden sich im Fenster 910B die erfassten Kantenpunkte DEP auf einer zweiten erfassbaren Kante DE2. Gleichermaßen befinden sich im Fenster 910C die erfassten Kantenpunkte DEP auf einer dritten erfassbaren Kante DE3 und im Fenster 910D befinden sich die erfassten Kantenpunkte DEP auf einer vierten erfassbaren Kante DE4. Ein Parameter-Anzeigevorrichtungskästchen 920 ist vorgesehen, welches Parameterwerte TH und THS (eine Parameterkombination) bereitstellt, die dem aktuell ausgewählten Sichtfeldfenster entsprechen. In einer Ausführungsform kann die Kandidatenparameterkombination, die im Anzeigevorrichtungskästchen 920 angegeben ist, die zu den besonderen angezeigten erfassten Kantenpunkte DEP führt, eine geschätzte beste Kombination zum Erfassen der Kante sein (in einer Ausführungsform zum Beispiel eine Halbwert- oder Durchschnitts-Parameterkombination aus einem Parameterkombinationsumfang, der von den Kantenpunkten der entsprechenden Kante gezeigt wird). Wie vorstehend unter Bezugnahme auf das Beispiel der 7 und 8 beschrieben ist, können verschiedene Parameterkombinationen der Kantenerfassungsparameter TH und THS zu verschiedenen erfassten Kantenpunkte DEP führen. Wie nachstehend eingehender beschrieben ist, stellt jedes der Sichtfeldfenster 910A-910D eine unterschiedliche Kandidatenparameterkombination der Kantenerfassungsparameter TH und THS (und/oder anderer Kantenparameter, wie etwa einen Kantenzahlparameter, in einigen Ausführungsformen) dar, was zu den verschiedenen Stellen der erfassten Kantenpunkte DEP führt.
In einer Ausführungsform tastet das System automatisch den Suchraum der Kantenerfassungsparameter ab, um die Sichtfeldfenster 910A-910D herzustellen, und erzeugt Bilder (zum Beispiel Sichtfeldfenster), die zweckmäßige Variationen der Kantenerfassungsergebnisse zeigen, welche als Antwort auf Kandidatenkantenerfassungsparameterkombinationen auftreten. Wie nachstehend unter Bezugnahme auf die 10 und 11 eingehender beschrieben wird, kann dieser Vorgang unter Anwendung verschiedener Techniken durchgeführt werden (zum Beispiel einer erschöpfenden Parameterraumsuche, einer merkmalsgeführten Suche, usw.). In einer alternativen Ausführungsform kann ein einzelnes Sichtfeldfenster bereitgestellt sein, wobei unterschiedliche erfassbare Kanten in dem einzelnen Sichtfeld angegeben sind (zum Beispiel durch Farbkodierung erfasster Kantenpunkte an jeder Kante oder überlagerte Nummerierung oder dergleichen). Ein Benutzer ist dann imstande, einfach die gewünschte Kandidatenparameterkombination zu wählen (zum Beispiel durch Klicken auf ein Sichtfeldfenster oder ein ausgewähltes Kantenmerkmal), um den entsprechenden Kantenerfassungsparameter für das Videowerkzeug einzustellen. Es wird gewürdigt werden, dass einem Benutzer durch Anzeigen der Ergebnisse verschiedener möglicher Kandidatenkantenerfassungskombinationen auch effektiv gezeigt wird, was das System in einer gegebenen Interessensregion erfassen kann, was es einem Benutzer erlaubt, eine informierte Wahl hinsichtlich der zu erfassenden Kanten zu treffen.
Es wird gewürdigt werden, dass die durch 9 veranschaulichte Ausführungsform den Kantenerfassungsschwellwert-Einstellungsvorgang vereinfacht und die Frustration des Benutzers reduzieren kann. Mit anderen Worten, in früheren Systemen, bei denen ein Benutzer einzelne Kantenerfassungsparameter manuell einstellen musste, konnte der Vorgang oft verwirrend und zeitaufwändig sein. Selbst mit den verbesserten Verfahren, die vorstehend unter Bezugnahme auf die 3-8 beschrieben sind, insbesondere in einer Umsetzung, bei der die Parameterkombinations-Kantenzonen nicht angegeben sind, können die Einstellungen der Kantenerfassungsparameter immer noch insofern etwas verwirrend sein, als der Mechanismus, wie die Schwellen die Kantenstelle beeinflussen, nicht intuitiv ist und oft nur von den fortgeschrittensten Benutzern verstanden wird.
In einer Ausführungsform kann der Benutzer, nachdem er die gewünschte Kandidatenparameterkombination ausgewählt hat (zum Beispiel klickt der Benutzer auf eines der Sichtfeldfenster 910A-910D), dann ferner die Parametereinstellung feineinstellen (zum Beispiel in einem breiteren Umfang von Kandidatenparameterkombinationen, die von den entsprechenden Kantenpunkten gezeigt werden), indem er die Benutzerschnittstelle und Techniken benutzt, die vorstehend unter Bezugnahme auf die 3-8 beschrieben sind). In bestimmten Umsetzungen, die es einem Benutzer erlauben, die Einstellungen feineinzustellen, die für bestimmte Kantenerfassungstechniken von Vorteil sein können, insbesondere diejenigen, die keine Merkmalserkennung (zum Beispiel Linie, Bogen etc.) im Kantenerfassungsalgorithmus verwenden. Zur Feineinstellung kann der Benutzer in bestimmten Umsetzungen die Kante im Bild direkt ziehen (oder die Kantenauswahlvorrichtung, wie in den 3 und 4 veranschaulicht), woraus der Algorithmus automatisch den Kantenerfassungsparameter neu erfährt. Für bestimmte Kanten, die nicht erfassbar sind, wenn die von einer vorherigen Kante in einer Abtastlinienrichtung überschattet werden, kann ein Benutzer mit Richtungen versehen werden, um ein GUI-Element zu bewegen oder zu ändern, um die überschattende Kante auszuschließen, oder mit einem Vorschlag, ein anderes Werkzeug zu verwenden, wie etwa ein Kantenauswahlwerkzeug.
10 ist ein Flussdiagramm eines Verfahrens 1000, das eine erschöpfende Suche zum Bestimmen und Anzeigen verschiedener Kantenmerkmaldarstellungen verwendet, aus denen ein Benutzer wählen kann, wie etwa diejenigen, die in 9 veranschaulicht sind. Wie nachstehend eingehender beschrieben wird, kann das Verfahren in einer Ausführungsform im Allgemeinen auf das Erzeugen eines Satzes von Kantenerfassungsergebnissen gerichtet sein, in welchen jedes Ergebnis (d. h. Variation) „ausreichend unterschiedlich“ oder „beträchtlich unterschiedlich“ von den übrigen Ergebnissen ist, um einen Benutzer mit zweckmäßigen Optionen zu versorgen, aus denen gewählt werden kann, und kann hauptsächlich während eines Lernmodus angewendet werden. Wie in 10 gezeigt, werden in einem Block 1010 Werte relevanter Kantenerfassungsparameter hindurch wiederholt, wobei die Körnigkeit bzw. Auflösung (d. h. Schrittgröße für jeden Parameter) der Suche vorab festgelegt wird (um zum Beispiel vernünftige Ergebnisse und eine akzeptable Suchzeit vorzusehen).
In einem Block 1020 wird für jede Kombination von Parameterwerten der Kantenerfassungsalgorithmus in der spezifizierten Werkzeug-Interessensregion laufen gelassen, wobei angenommen wird, dass es N unterschiedliche Kombinationen gibt, die gültige Ergebnisse liefern. In einer Umsetzung können Kombinationen, die sehr kleine Punktpuffer erzeugen (zum Beispiel relativ wenige Punkte), verworfen werden. Eine Schwelle kann für die minimale Anzahl von Punkten verwendet werden, die ein Punktpuffer erwartungsgemäß liefern soll. In einem Block 1030 wird der resultierende 2D-Punktpuffer als Cluster (d. h. ein Punktesatz) gespeichert und die relevanten Algorithmusparameter werden als Metadaten des Clusters gespeichert. In einer Umsetzung können die Blöcke 1010-1030 für alle N Kombinationen von Parameterwerten wiederholt werden.
In einem Block 1040 wird, wobei N Cluster (Punktpuffer) gegeben sind, die durch die vorhergehenden Schritte erzeugt wurden, ein hierarchisches anhäufendes Clustern durchgeführt, um die Anzahl der Cluster auf eine Zahl K zu reduzieren. In einer Ausführungsform kann der hierarchische anhäufende Clusteralgorithmus auf die folgende Weise arbeiten. Der Vorgang beginnt mit N Clustern, die jeweils aus einem 2D-Punktpuffer bestehen, der von dem Kantenerfassungsalgorithmus zurückgeschickt wird. Dann werden die zwei ähnlichsten Cluster A und B gefunden und zu einem Cluster verschmolzen, wenn sie ähnlich genug sind (dieser Vorgang wird bei Bedarf bis zu N-1-mal wiederholt). Wenn keine zwei Cluster ähnlich genug sind, endet der Clustervorgang. Wenn ein Unentschieden auftritt (d. h. zwei Paar Cluster haben gleiche Ähnlichkeit) wird das erste Paar verschmolzen, das gefunden wird. In einer Umsetzung kann die Ähnlichkeit von zwei Clustern unter Verwendung eines Abstandsmaßes gemessen werden, wie nachstehend eingehender beschrieben wird. In einer Umsetzung wird das „Ähnlichgenug“-Erfordernis danach bestimmt, ob der Abstand zwischen den zwei Clustern kleiner als ein vordefinierter Abstandsschwellwert ist.
Es können verschiedene Abstandsmaße für das anhäufende Clustern verwendet werden. In einer Umsetzung wird ein Hausdorff-Abstand (d. h. ein maximaler Abstand eines Satzes zum nächsten Punkt im anderen Satz) verwendet (siehe zum Beispiel http://cgm.cs.mcgill.ca/∼godfried/teaching/cg-proiects/98/normand/main.html). In einer weiteren Umsetzung kann ein modifizierter, Hausdorff-artiger Abstand DH geeigneter sein, um die Empfindlichkeit für Sonderfälle bzw. Ausreißer in Punktpuffern zu reduzieren, wobei: D(A, B) = Anteil von Punkten im Cluster A, die dem nächsten Punkt im Cluster B „nicht nahe genug“ sind (wobei „nicht nahe genug“ bedeutet, dass der euklidische Abstand zwischen Punkten größer als eine vordefinierte Schwelle ist); D(B, A) = Anteil von Punkten im Cluster B, die dem nächsten Punkt im Cluster A „nicht nahe genug“ sind; und DH = max{D(A,B), D(B,A)}. Es können auch andere Clusterabstandsmaße verwendet werden (zum Beispiel Durchschnitts-Verbindung oder Minimalvarianz, wie etwa das Ward'sche Verfahren, usw.).
Es sei zu 10 zurückgekehrt. In einem Block 1050 werden für jeden der K Cluster die repräsentativen Werte der Kantenerfassungsparameter berechnet. In einer Umsetzung können, da jeder Cluster A der K letzten Cluster ein Aggregat von einem oder mehreren der ursprünglichen Cluster (d. h. Punktepuffer) ist, die repräsentativen Werte für jeden Parameter berechnet werden (zum Beispiel als Median oder Durchschnitt der Werte jenes Parameters für alle ursprünglichen Cluster, die zu Cluster A gehören). In einem Block 1060 werden K Kantenerfassungsvariationsbilder unter Verwendung der berechneten K Parametersätze erzeugt.
Es wird gewürdigt werden, dass in bestimmten Umsetzungen die vorstehend unter Bezugnahme auf 10 beschriebene erschöpfende Suchtechnik eine relativ längere Zeit zur Durchführung in Anspruch nehmen kann als bestimmte andere Techniken (zum Beispiel aufgrund dessen, dass die Kantenerfassung N-mal durchgeführt werden muss, einmal für jede Einstellung). Jedoch kann die Gesamtzeiteinstellung dennoch relativ kurz sein (d. h. die grundlegenden Kantenerfassungsvorgänge können relativ schnell durchgeführt werden, für welche der gesamte Vorgang in einigen Umsetzungen weniger als einige Sekunden dauern kann). Eine solche Zeiteinstellung kann für bestimmte Anwendungen akzeptabel sein (zum Beispiel, wenn der Vorgang als Teil eines Lernmodusvorgangs genutzt wird, bei dem Zeiteinstellungsüberlegungen nicht so kritisch sind, usw.). In einigen Umsetzungen kann eine Matrix von Zwischenpunktabständen für alle Punkte, die in N Kombinationen erfasst werden, vorberechnet werden, um wiederholte Berechnungen während des Clustervorgangs zu vermeiden, was es erlaubt, den Vorgang schneller durchzuführen.
11 ist ein Flussdiagramm eines Verfahrens 1100, das verbundene Kanten zum Bestimmen und Anzeigen verschiedener Kantenmerkmaldarstellungen verwendet, unter denen ein Benutzer wählen kann, wie etwa denjenigen, die in 9 veranschaulicht sind. Mit anderen Worten, als Alternative zur Verwendung einer erschöpfenden Suche, wie vorstehend unter Bezugnahme auf 10 beschrieben, können in einer Umsetzung die Kanten stattdessen zu Kantenmerkmalen gruppiert werden, und dann können geeignete Schwellwerte für jedes Kantenmerkmal gefunden werden. In einigen Umsetzungen kann dieses Verfahren, das verbundene Kanten verwendet, schneller als ein Verfahren durchgeführt werden, das eine erschöpfende Suche verwendet.
Wie in 11 gezeigt, werden in einem Block 1110 alle Kantenpunkte gefunden und zu verbundenen Kanten gruppiert. In verschiedenen Umsetzungen kann dieser Vorgang folgende Techniken verwenden: Canny-Kantenerfassung, gefolgt von Kantenverknüpfung; Segmentation, gefolgt von Kantenablaufverfolgung; eine beliebige Kombination aus Segmentation und Kantenerfassung; 1D-Projektion zur Identifikation aller möglichen Linien und Bögen, usw. In einem Block 1120 werden die TH- und THS-Bereiche für jeden Kantenpunkt berechnet. Wie vorstehend beschrieben, kann im Allgemeinen für bestimmte Standard-Kantenerfassungsvorgänge jeder Kantenpunkt nur dann gefunden werden, wenn die TH und THS innerhalb bestimmter Bereiche liegen. Es wird gewürdigt werden, dass in bestimmten Umsetzungen einige Kantenpunkte null Bereiche von TH und THS haben könnten (zum Beispiel aufgrund eines „Früh-Aus“ (early-out) -Vorgangs des bestimmten Kantenerfassungsalgorithmus, der verwendet wird, usw.).
In einem Block 1130 werden für jede verbundene Kante die optimalen Schwellen gefunden. In einigen Umsetzungen können die optimalen Schwellen nach Maßgabe von folgenden Kriterien bestimmt werden: maximale Anzahl von Normalfällen; minimale Anzahl von Sonderfällen; Robustheit gegenüber Bildrauschen, usw. In einer Ausführungsform kann, wenn die Kantenpunkte entlang einer verbundenen Kante bedeutend unterschiedliche Schwellenbereiche aufweisen, eine Technik verwendet werden, um die Kante in Segmente ähnlicher Kanten herunterzubrechen (zum Beispiel durch teilendes Clustern, usw.). In einem Block 1140 wird die Kantenerfassung unter Verwendung jeder optimalen Schwelleneinstellung durchgeführt, um tatsächliche Kanten für die verschiedenen Karten zu erzeugen. In einer Ausführungsform kann, wenn die Anzahl der Variationskanten groß ist, eine Anzahl der bedeutendsten Karten (zum Beispiel 10) präsentiert werden, und ein Benutzer kann dann die Karte auswählen, die den gewünschten Werten am nächsten kommt, und darf dann die Schwellwerte ferner manuell einstellen.
12 ist ein Flussdiagramm eines Verfahrens 1200 zum automatischen Bestimmen mehrerer Kandidatenparameterkombinationen. In einem Block 1210 ist ein Kantenstellen-Videowerkzeug mit mehreren Kantenerfassungsparametern bereitgestellt. In einem Block 1220 ist eine Interessensregion (ROI) für das Kantenstellen-Videowerkzeug definiert, einschließlich zumindest eines ersten jeweiligen Kantenmerkmals in der Interessensregion. In einem Block 1230 werden mehrere Kandidatenparameterkombinationen der mehreren Kantenerfassungsparameter automatisch bestimmt, wobei jeweilige Kandidatenparameterkombinationen dazu verwendet werden können, jeweilige Kantenmerkmale in der Interessensregion zu erfassen. In einem Block 1240 wird die Benutzerschnittstelle betrieben, um jeweilige Kandidatenparameterkombinationsdarstellungen anzuzeigen, die den jeweiligen Kandidatenparameterkombinationen entsprechen, die dazu verwendet werden können, jeweilige Kantenmerkmale in der Interessensregion zu erfassen, und die Benutzerschnittstelle ist dazu konfiguriert, es einem Benutzer zu erlauben, eine Parameterkombinations-Auswahlhandlung relativ zu den jeweiligen Kandidatenparameterkombinationsdarstellungen durchzuführen. Die Benutzerauswahlhandlung führt zu einer Auswahl einer Kombination von Kantenerfassungsparametern, die die Betätigung des Kantenstellen-Videowerkzeugs in der definierten Interessensregion regeln.
Aus dem Vorstehenden wird gewürdigt werden, dass spezifische Ausführungsformen der Erfindung vorliegend zu Veranschaulichungszwecken beschrieben worden sind, aber dass verschiedene Modifikationen vorgenommen werden können, ohne vom Umfang der Erfindung abzuweisen. Beispielsweise kann eine mehrdimensionale Parameterraumdarstellung das Hinzufügen einer dritten Dimension zu einem zweidimensionalen Gitter beinhalten, um ein Volumen zu bilden (zum Beispiel isometrisch und/oder drehbar oder dergleichen dargestellt) und eine Parameterkombinations-Anzeigevorrichtung im Volumen zu lokalisieren. Oder ein zweidimensionales Gitter kann mit einer nahen linearen Parameterraumdarstellung für einen dritten Parameter oder dergleichen vergrößert werden. Als weiteres Beispiel wird gewürdigt werden, dass Bildverarbeitungsvorgänge (zum Beispiel Filtervorgänge) auf eine Interessensregion und/oder Kanten in derselben angewendet werden können, um eine Eigenschaft einer Kante (oder von Kanten) zu verbessern oder zu enthüllen, die die Kantenerfassung oder -unterscheidung möglich oder zuverlässiger macht. Beispielsweise können sich Texturkanten, Farbkanten oder dergleichen in einem gefilterten Bild oder Pseudobild oder dergleichen darstellen und die Systeme und Verfahren, die vorliegend offenbart sind, können bei solchen Bildern angewendet werden, um die vorliegend umrissenen verschiedenen Vorgänge zu ergänzen oder zu ersetzen. Dementsprechend ist die Erfindung nicht beschränkt, außer durch die beigefügten Ansprüche.

Claims

Verfahren zum Definieren von Kantenerfassungsparametern in einer Maschinensichtinspektionssystem-Benutzerschnittstelle, mit: Bereitstellen eines Kantenstellen-Videowerkzeugs mit mehreren Kantenerfassungsparametern; Definieren einer Interessensregion (Interessensregion, ROI) für das Kantenstellen-Videowerkzeug mit zumindest einem ersten jeweiligen Kantenmerkmal in der Interessensregion; automatisches Bestimmen mehrerer Kandidatenparameterkombination der mehreren Kantenerfassungsparameter, wobei jeweilige Kandidatenparameterkombinationen verwendbar sind, um jeweilige Kantenmerkmale in der Interessensregion zu erfassen; und Bedienen der Benutzerschnittstelle, um jeweilige Kandidatenparameterkombinationsdarstellungen anzuzeigen, welche den jeweiligen Kandidatenparameterkombinationen entsprechen, die verwendbar sind, um jeweilige Kantenmerkmale in der Interessensregion zu erfassen, wobei die Benutzerschnittstelle dazu konfiguriert ist, einem Benutzer zu erlauben, eine Parameterkombinations-Auswahlhandlung relativ zu den angezeigten jeweiligen Kandidatenparameterkombinationsdarstellungen durchzuführen, wobei die Benutzerauswahlhandlung zu einer Auswahl einer Kombination von Kantenerfassungsparametern führt, die die Betätigung des Kantenstellen-Videowerkzeugs in der definierten Interessensregion regeln.
Verfahren nach Anspruch 1, wobei: die Benutzerschnittstelle eine mehrdimensionale Parameterraumdarstellung möglicher Kombination der mehreren Kantenerfassungsparameter umfasst; der Schritt des Bestimmens mehrerer Kandidatenparameterkombinationen das Bestimmen eines ersten Satzes jeweiliger Kandidatenparameterkombinationen umfasst, die verwendbar sind, um das erste jeweilige Kantenmerkmal zu erfassen; und der Schritt des Betätigens der Benutzerschnittstelle das Anzeigen einer Darstellung eines ersten Satzes jeweiliger Kandidatenparameterkombinationen als erste Zone in der mehrdimensionalen Parameterraumdarstellung umfasst.
Verfahren nach Anspruch 2, wobei: die Benutzerschnittstelle dazu konfiguriert ist, einem Benutzer zu erlauben, eine Parameterkombinations-Auswahlhandlung relativ zu der ersten Zone durchzuführen, mit dem Bewegen einer Parameterkombinations-Anzeigevorrichtung zu einer Stelle innerhalb der ersten Zone und Betätigen der Parameterkombinations-Anzeigevorrichtung, um die jener Stelle entsprechende Parameterkombination auszuwählen.
Verfahren nach Anspruch 3, wobei: die Interessensregion (ROI) zumindest ein zweites jeweiliges Kantenmerkmal in der Interessensregion umfasst; der Schritt des Bestimmens mehrerer Kandidatenparameterkombinationen das Bestimmen eines zweiten Satzes jeweiliger Kandidatenparameterkombinationen umfasst, die dazu verwendbar sind, das zweite jeweilige Kantenmerkmal zu erfassen; und der Schritt des Betätigens der Benutzerschnittstelle das Anzeigen einer Darstellung des zweiten Satzes jeweiliger Kandidatenparameterkombinationen als zweite Zone in der mehrdimensionalen Parameterraumdarstellung umfasst.
Verfahren nach Anspruch 4, wobei die Benutzerschnittstelle ferner zumindest ein Kantenmerkmaldarstellungsfenster umfasst, das ein Bild des Sichtfeld des Maschinensichtinspektionssystems und eine Darstellung der Kantenmerkmale zeigt, die durch die Kombination von Parametern erfassbar sind, welche von einer aktuellen Konfiguration der Parameterkombinations-Anzeigevorrichtung angezeigt werden, die über das Bild des Sichtfeld gelegt ist.
Verfahren nach Anspruch 5, wobei die Darstellung der Kantenmerkmale, die durch die Kombination von Parametern erfassbar sind, die durch die aktuelle Konfiguration der Parameterkombinations-Anzeigevorrichtung angezeigt wird, mehrere erfassbare Kantenpunkte umfasst, die mehreren Abtastlinien über die ROI entsprechen, die über das Bild des Sichtfeld gelegt sind.
Verfahren nach Anspruch 6, wobei das zumindest eine Kantenmerkmaldarstellungsfenster und die mehrdimensionale Parameterraumdarstellung so synchronisiert sind, dass eine Einstellung oder Auswahl in dem zumindest einen Kantenmerkmaldarstellungsfenster zu einer entsprechenden Anzeige in der mehrdimensionalen Parameterraumdarstellung führt.
Verfahren nach Anspruch 1, wobei: die Interessensregion (ROI) zumindest ein zweites jeweiliges Kantenmerkmal in der Interessensregion einschließt; die Benutzerschnittstelle eine Darstellung der ersten und zweiten jeweiligen Kantenmerkmale umfasst; der Schritt des automatischen Bestimmens von Kandidatenparameterkombinationen das Bestimmen zumindest einer ersten jeweiligen Kandidatenparameterkombination, die dazu verwendbar ist, das erste jeweilige Kantenmerkmal zu erfassen, und das Bestimmen zumindest einer zweiten jeweiligen Kandidatenparameterkombination, die dazu verwendbar ist, das zweite jeweilige Kantenmerkmal zu erfassen, umfasst; und der Schritt des Betätigens der Benutzerschnittstelle das Anzeigen der ersten und zweiten jeweiligen Kantenmerkmale umfasst.
Verfahren nach Anspruch 8, wobei: die Benutzerschnittstelle dazu konfiguriert ist, es einem Benutzer zu erlauben, eine Parameterkombinations-Auswahlhandlung relativ zu den angezeigten Darstellungen der ersten und zweiten jeweiligen Kantenmerkmale durchzuführen, mit dem Bewegen eines Cursors an eine Stelle nächst der Darstellung eines gewünschten der ersten und zweiten jeweiligen Kantenmerkmale und dem Betätigen des Cursors zum Auswählen der Parameterkombination, die jener Kante entspricht.
Verfahren nach Anspruch 8, wobei: die Darstellung der ersten und zweiten jeweiligen Kantenmerkmale eine erste Anzeigevorrichtung umfasst, die einem Bild des ersten jeweiligen Kantenmerkmals überlagert ist, was anzeigt, dass eine entsprechende erste jeweilige Kandidatenparameterkombination bestimmt worden ist, und eine zweite Anzeigevorrichtung umfasst, die einem Bild des zweiten jeweiligen Kantenmerkmals überlagert ist, was anzeigt, dass eine entsprechende zweite jeweilige Kandidatenparameterkombination bestimmt worden ist.
Verfahren nach Anspruch 10, wobei die erste und zweite Anzeigevorrichtung Kantenpunkte entlang der ersten bzw. zweiten Kantenmerkmale umfassen.
Verfahren nach Anspruch 8, wobei: die Darstellung des ersten jeweiligen Kantenmerkmals ein erstes Kantenfenster umfasst, das das erste jeweilige Kantenmerkmal einschließt, was angibt, dass eine entsprechende erste jeweilige Kandidatenparameterkombination bestimmt worden ist, und die Darstellung des zweiten jeweiligen Kantenmerkmals ein zweites Kantenfenster umfasst, das das zweite jeweilige Kantenmerkmal einschließt, was angibt, dass eine entsprechende zweite jeweilige Kandidatenparameterkombination bestimmt worden ist; und die Benutzerschnittstelle dazu konfiguriert ist, es einem Benutzer zu erlauben eine Parameterkombinations-Auswahlhandlung relativ zu den angezeigten Darstellungen der ersten und zweiten jeweiligen Kantenmerkmale durchzuführen, mit dem Bewegen eines Cursors an eine Stelle in einem gewünschten der ersten und zweiten Kantenfenster und dem Betätigen des Cursors zum Auswählen der Parameterkombination, die jener Kante entspricht.
Verfahren nach Anspruch 8, wobei: die Benutzerschnittstelle ferner eine mehrdimensionale Parameterraumdarstellung möglicher Kombinationen der mehreren Kantenerfassungsparameter umfasst; und die Benutzerschnittstelle dazu konfiguriert ist, es einem Benutzer zu erlauben, eine Parameterkombinations-Auswahlhandlung relativ zu den angezeigten Darstellungen der ersten und zweiten jeweiligen Kantenmerkmale durchzuführen, mit dem Bewegen eines Cursors an eine Stelle nächst der Darstellung eines gewünschten der ersten und zweiten jeweiligen Kantenmerkmale und dem Betätigen des Cursors zum Auswählen entweder des ersten oder des zweiten jeweiligen Kantenmerkmals, wobei als Reaktion darauf die Benutzerschnittstelle ferner dazu konfiguriert ist, eine der folgenden anzuzeigen: eine Darstellung eines ersten Satzes jeweiliger Kandidatenparameterkombinationen als erste Zone in der mehrdimensionalen Parameterraumdarstellung, wenn das erste jeweilige Kantenmerkmal ausgewählt wird, wobei der erste Satz jeweiliger Parameterkombinationen die erste jeweilige Kandidatenparameterkombination umfasst, die dazu verwendbar ist, das erste jeweilige Kantenmerkmal zusätzlich zu anderen Kandidatenparameterkombinationen zu erfassen, die dazu verwendbar sind, das erste jeweilige Kantenmerkmal zu erfassen; oder eine Darstellung eines zweiten Satzes jeweiliger Kandidatenparameterkombinationen als zweite Zone in der mehrdimensionalen Parameterraumdarstellung, wenn das zweite jeweilige Kantenmerkmal ausgewählt wird, wobei der zweite Satz jeweiliger Parameterkombinationen die zweite jeweilige Kandidatenparameterkombination umfasst, die dazu verwendbar ist, das zweite jeweilige Kantenmerkmal zusätzlich zu anderen Kandidatenparameterkombinationen zu erfassen, die dazu verwendbar sind, das zweite jeweilige Kantenmerkmal zu erfassen.
System zum Definieren von Kantenerfassungsparametern in einer Maschinensichtinspektionssystem-Benutzerschnittstelle, mit: einem Speicher zum Speichern programmierter Anweisungen; einem Prozessor, der dazu konfiguriert ist, die programmierten Anweisungen auszuführen, um Vorgänge durchzuführen, welche einschließen: Bereitstellen eines Kantenstellen-Videowerkzeugs mit mehreren Kantenerfassungsparametern; Definieren einer Interessensregion (ROI) für das Kantenstellen-Videowerkzeug, einschließlich zumindest eines ersten jeweiligen Kantenmerkmals in der Interessensregion; automatisches Bestimmen mehrerer Kandidatenparameterkombinationen der mehreren Kantenerfassungsparameter, wobei jeweilige Kandidatenparameterkombinationen verwendbar sind, um jeweilige Kantenmerkmale in der Interessensregion zu erfassen; und Betätigen der Benutzerschnittstelle, um jeweilige Kandidatenparameterkombinationsdarstellungen anzuzeigen, die den jeweiligen Kandidatenparameterkombinationen entsprechen, die dazu verwendbar sind, jeweilige Kantenmerkmale in der Interessensregion zu erfassen, wobei die Benutzerschnittstelle dazu konfiguriert ist, es einem Benutzer zu erlauben, eine Parameterkombinations-Auswahlhandlung relativ zu den angezeigten jeweiligen Kandidatenparameterkombinationsdarstellungen durchzuführen, wobei die Benutzerauswahlhandlung zu einer Auswahl einer Kombination von Kantenerfassungsparametern führt, die die Betätigung des Kantenstellen-Videowerkzeugs in der definierten Interessensregion regeln.
System nach Anspruch 14, wobei: die Benutzerschnittstelle eine mehrdimensionale Parameterraumdarstellung möglicher Kombinationen der mehreren Kantenerfassungsparameter umfasst; der Schritt des Bestimmens mehrerer Kandidatenparameterkombinationen das Bestimmen eines ersten Satzes jeweiliger Kandidatenparameterkombinationen umfasst, die dazu verwendbar sind, das erste jeweilige Kantenmerkmal zu erfassen; und der Schritt des Betätigens der Benutzerschnittstelle das Anzeigen einer Darstellung eines ersten Satzes jeweiliger Kandidatenparameterkombinationen als erste Zone in der mehrdimensionalen Parameterraumdarstellung umfasst.
System nach Anspruch 14, wobei: die Interessensregion (ROI) zumindest ein zweites jeweiliges Kantenmerkmal in der Interessensregion einschließt; die Benutzerschnittstelle eine Darstellung der ersten und zweiten jeweiligen Kantenmerkmale umfasst; der Schritt des automatischen Bestimmens mehrerer Kandidatenparameterkombinationen das Bestimmen zumindest einer ersten jeweiligen Kandidatenparameterkombination umfasst, die dazu verwendbar ist, die erste jeweilige Kantenmerkmal zu erfassen, und das Bestimmen zumindest einer zweiten jeweiligen Kandidatenparameterkombination umfasst, die dazu verwendbar ist, das zweite jeweilige Kantenmerkmal zu erfassen; und der Schritt des Betätigens der Benutzerschnittstelle das Anzeigen der Darstellung der ersten und zweiten jeweiligen Kantenmerkmale umfasst.
System nach Anspruch 16, wobei: die Benutzerschnittstelle dazu konfiguriert ist, es einem Benutzer zu erlauben, eine Parameterkombinations-Auswahlhandlung relativ den angezeigten Darstellungen der ersten und zweiten jeweiligen Kantenmerkmale durchzuführen, mit dem Bewegen eines Cursors an eine Stelle nächst der Darstellung eines gewünschten der ersten und zweiten jeweiligen Kantenmerkmale und dem Betätigen des Cursors zum Auswählen der Parameterkombination, die jener Kante entspricht.
Computerlesbares Speichermedium mit darauf gespeicherten Anweisungen, die von einem Prozessor ausgeführt werden können, um folgende Vorgänge durchzuführen: Bereitstellen eines Kantenstellen-Videowerkzeugs, das mehrere Kantenerfassungsparameter hat; Definieren einer Interessensregion (ROI) für das Kantenstellen-Videowerkzeug, einschließlich zumindest eines ersten jeweiligen Kantenmerkmals in der Interessensregion; automatisches Bestimmen mehrerer Kandidatenparameterkombinationen der mehreren Kantenerfassungsparameter, wobei jeweilige Kandidatenparameterkombinationen dazu verwendbar sind, jeweilige Kantenmerkmale in der Interessensregion zu erfassen; und Betätigen der Benutzerschnittstelle zum Anzeigen jeweiliger Kandidatenparameterkombinationsdarstellungen, die den jeweiligen Kandidatenparameterkombinationen entsprechen, die dazu verwendbar sind, jeweilige Kantenmerkmale in der Interessensregion zu erfassen, wobei die Benutzerschnittstelle dazu konfiguriert ist, es einem Benutzer zu erlauben, eine Parameterkombinations-Auswahlhandlung relativ zu den angezeigten jeweiligen Kandidatenparameterkombinationsdarstellungen durchzuführen, wobei die Benutzerauswahlhandlung zu einer Auswahl einer Kombination von Kantenerfassungsparametern führt, die die Betätigung des Kantenstellen-Videowerkzeugs in der definierten Interessensregion regeln.
Computerlesbares Speichermedium nach Anspruch 18, wobei: die Benutzerschnittstelle eine mehrdimensionale Parameterraumdarstellung möglicher Kombinationen der mehreren Kantenerfassungsparameter umfasst; der Schritt des Bestimmens mehrerer Kandidatenparameterkombinationen das Bestimmen eines ersten Satzes jeweiliger Kandidatenparameterkombinationen umfasst, die dazu verwendbar sind, das erste jeweilige Kantenmerkmal zu erfassen; und der Schritt des Betätigens der Benutzerschnittstelle das Anzeigen einer Darstellung eines ersten Satzes jeweiliger Kandidatenparameterkombinationen als erste Zone in der mehrdimensionalen Parameterraumdarstellung umfasst.
Computerlesbares Speichermedium nach Anspruch 18, wobei: die Interessensregion (ROI) zumindest ein zweites jeweiliges Kantenmerkmal in der Interessensregion einschließt; die Benutzerschnittstelle eine Darstellung der ersten und zweiten jeweiligen Kantenmerkmale umfasst; der Schritt des automatischen Bestimmens mehrerer Kandidatenparameterkombinationen das Bestimmen zumindest einer ersten jeweiligen Kandidatenparameterkombination umfasst, die dazu verwendbar ist, das erste jeweilige Kantenmerkmal zu erfassen, und das Bestimmen zumindest einer zweiten jeweiligen Kandidatenparameterkombination umfasst, die dazu verwendbar ist, das zweite jeweilige Kantenmerkmal zu erfassen; und der Schritt des Betätigens der Benutzerschnittstelle das Anzeigen der Darstellung der ersten und zweiten jeweiligen Kantenmerkmale umfasst.