DE102022102459A1

DE102022102459A1 - Systeme und verfahren zur bildbasierten erkennung von elektrischen verbinderbaugruppen

Info

Publication number: DE102022102459A1
Application number: DE102022102459.8A
Authority: DE
Inventors: Raj Sohmshetty; Vikas Rajendra
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2021-02-09
Filing date: 2022-02-02
Publication date: 2022-08-11
Also published as: CN114943678A; US20220254055A1

Abstract

Ein Verfahren beinhaltet das Definieren von Begrenzungsrahmen um eine elektrische Verbinderbaugruppe, das Identifizieren einer Kante jedes der Begrenzungsrahmen und das Bestimmen einer oder mehrerer Metriken basierend auf der Kante jedes der Begrenzungsrahmen in einem Bild, wobei die eine oder mehreren Metriken eine Positionsbeziehung zwischen den Kanten der Begrenzungsrahmen angeben. Das Verfahren beinhaltet das Bestimmen eines Zustands der elektrischen Verbinderbaugruppe basierend auf der einen oder den mehreren Metriken und das Übertragen einer Benachrichtigung basierend auf dem Zustand.

Description

GEBIET DER TECHNIK
Die vorliegende Offenbarung betrifft ein System und/oder Verfahren zur bildbasierten Erkennung von elektrischen Verbinderbaugruppen.
ALLGEMEINER STAND DER TECHNIK
Die Aussagen in diesem Abschnitt stellen lediglich Hintergrundinformationen in Bezug auf die vorliegende Offenbarung bereit und stellen möglicherweise nicht den Stand der Technik dar.
In einer Fertigungsumgebung wird Objekterfassung genutzt, um automatisierte Montageaufgaben durchzuführen. Als ein Beispiel kann ein Steuersystem eine Routine für maschinelles Lernen durchführen, um eine elektrische Verbinderbaugruppe zu erkennen, einen Verbindungszustand der elektrischen Verbinderbaugruppe zu bestimmen und eine Korrekturmaßnahme basierend auf dem Verbindungszustand durchzuführen. Routinen für maschinelles Lernen können jedoch große Mengen an Trainingsdaten erfordern, um das Steuersystem angemessen zu trainieren, die Routinen für maschinelles Lernen genau durchzuführen.
Diese Probleme im Zusammenhang mit Routinen für maschinelles Lernen, die durch Steuersysteme durchgeführt werden, und andere Probleme werden durch die vorliegende Offenbarung angegangen.
KURZDARSTELLUNG
Dieser Abschnitt stellt eine allgemeine Kurzdarstellung der Offenbarung bereit und ist keine umfassende Offenbarung ihres vollständigen Umfangs oder all ihrer Merkmale.
Die vorliegende Offenbarung stellt ein Verfahren bereit, das das Definieren von Begrenzungsrahmen um eine elektrische Verbinderbaugruppe, das Identifizieren einer Kante jedes der Begrenzungsrahmen und das Bestimmen einer oder mehrerer Metriken basierend auf der Kante jedes der Begrenzungsrahmen in einem Bild beinhaltet, wobei die eine oder mehreren Metriken eine Positionsbeziehung zwischen den Kanten der Begrenzungsrahmen angeben. Das Verfahren beinhaltet das Bestimmen eines Zustands der elektrischen Verbinderbaugruppe basierend auf der einen oder den mehreren Metriken und das Übertragen einer Benachrichtigung basierend auf dem Zustand.
In einigen Formen beinhalten die Begrenzungsrahmen einen ersten Komponentenbegrenzungsrahmen und einen zweiten Komponentenbegrenzungsrahmen, wobei der erste Komponentenbegrenzungsrahmen einer ersten Komponente der elektrischen Verbinderbaugruppe zugeordnet ist und der zweite Komponentenbegrenzungsrahmen eine zweite Komponente der elektrischen Verbinderbaugruppe darstellt.
In einigen Formen sind der erste Komponentenbegrenzungsrahmen und der zweite Komponentenbegrenzungsrahmen gedrehte Begrenzungsrahmen.
In einigen Formen beinhaltet die Kante jedes der Begrenzungsrahmen eine erste benachbarte Kante des ersten Komponentenbegrenzungsrahmens und eine zweite benachbarte Kante des zweiten Komponentenbegrenzungsrahmens.
In einigen Formen beinhalten die eine oder mehreren Metriken einen Abstand zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante.
In einigen Formen ist der Zustand ein verbundener Zustand, wenn der Abstand zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante kleiner als ein Schwellenwertabstand ist.
In einigen Formen ist der Zustand ein unverbundener Zustand, wenn der Abstand zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante größer als ein Schwellenwertabstand ist.
In einigen Formen beinhalten die eine oder mehreren Metriken einen zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante definierten Winkel.
In einigen Formen ist der Zustand ein verbundener Zustand, wenn der zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante definierte Winkel kleiner als ein Schwellenwertwinkel ist.
In einigen Formen ist der Zustand ein unverbundener Zustand, wenn der zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante definierte Winkel größer als ein Schwellenwertwinkel ist.
Die vorliegende Offenbarung stellt ein System bereit, das einen Prozessor und ein nichttransitorisches computerlesbares Medium beinhaltet, das Anweisungen beinhaltet, die durch den Prozessor ausführbar sind. Die Anweisungen beinhalten das Definieren von Begrenzungsrahmen um eine elektrische Verbinderbaugruppe, das Identifizieren einer Kante jedes Begrenzungsrahmens und das Bestimmen einer oder mehrerer Begrenzungsrahmenmetriken basierend auf der Kante jedes Begrenzungsrahmens in einem Bild, wobei die eine oder mehreren Begrenzungsrahmenmetriken einen Abstand zwischen jeder Kante, einen Winkel zwischen jeder Kante oder eine Kombination davon beinhalten. Die Anweisungen beinhalten das Bestimmen eines Verbindungszustands der elektrischen Verbinderbaugruppe basierend auf der einen oder den mehreren Begrenzungsrahmenmetriken und das Übertragen einer Benachrichtigung basierend auf dem Verbindungszustand.
In einigen Formen beinhalten die Begrenzungsrahmen einen ersten Komponentenbegrenzungsrahmen und einen zweiten Komponentenbegrenzungsrahmen, wobei der erste Komponentenbegrenzungsrahmen einer ersten Komponente der elektrischen Verbinderbaugruppe zugeordnet ist und der zweite Komponentenbegrenzungsrahmen eine zweite Komponente der elektrischen Verbinderbaugruppe darstellt.
In einigen Formen beinhaltet die Kante jedes der Begrenzungsrahmen eine erste benachbarte Kante des ersten Komponentenbegrenzungsrahmens und eine zweite benachbarte Kante des zweiten Komponentenbegrenzungsrahmens.
In einigen Formen basiert der Abstand zwischen jeder Kante ferner auf einem Abstand zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante.
In einigen Formen basiert der Winkel zwischen jeder Kante ferner auf einem Winkel, der zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante definiert ist.
Die vorliegende Offenbarung stellt ein Verfahren bereit, das das Erzeugen eines ersten Komponentenbegrenzungsrahmens und eines zweiten Komponentenbegrenzungsrahmens eines Bildes, das eine elektrische Verbinderbaugruppe darstellt, das Identifizieren einer ersten benachbarten Kante des ersten Komponentenbegrenzungsrahmens und einer zweiten benachbarten Kante des zweiten Komponentenbegrenzungsrahmens und das Bestimmen einer oder mehrerer Metriken basierend auf der ersten benachbarten Kante und der zweiten benachbarten Kante beinhaltet, wobei die eine oder mehreren Metriken einen Abstand zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante, einen zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante definierten Winkel oder eine Kombination davon beinhalten. Das Verfahren beinhaltet das Bestimmen eines Zustands der elektrischen Verbinderbaugruppe basierend auf der einen oder den mehreren Metriken und das Übertragen einer Benachrichtigung basierend auf dem Zustand.
In einigen Formen ist der Zustand ein verbundener Zustand, wenn der Abstand zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante kleiner als ein Schwellenwertabstand ist, der zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante definierte Winkel kleiner als ein Schwellenwertwinkel ist oder bei einer Kombination davon.
In einigen Formen ist der Zustand ein unverbundener Zustand, wenn der Abstand zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante größer als ein Schwellenwertabstand ist, der zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante definierte Winkel größer als ein Schwellenwertwinkel ist oder bei einer Kombination davon.
In einigen Formen werden der erste Komponentenbegrenzungsrahmen und der zweite Komponentenbegrenzungsrahmen unter Verwendung eines Deep-Learning-Rechensystems erzeugt.
In einigen Formen werden der erste Komponentenbegrenzungsrahmen und der zweite Komponentenbegrenzungsrahmen unter Verwendung eines regionenbasierten neuronalen Faltungsnetzwerks erzeugt.
Weitere Anwendungsbereiche werden aus der in dieser Schrift bereitgestellten Beschreibung ersichtlich. Es versteht sich, dass die Beschreibung und konkrete Beispiele lediglich der Veranschaulichung dienen und den Schutzumfang der vorliegenden Offenbarung nicht einschränken sollen.
Figurenliste
Für ein umfassendes Verständnis der Offenbarung werden nun unter Bezugnahme auf die beigefügten Zeichnungen verschiedene beispielhafte Formen davon beschrieben, wobei Folgendes gilt:

1A veranschaulicht ein funktionelles Blockdiagramm eines Steuersystems zur Inspektion einer elektrischen Verbinderbaugruppe gemäß den Lehren der vorliegenden Offenbarung;
1B veranschaulicht eine schematische Ansicht einer elektrischen Verbinderbaugruppe gemäß den Lehren der vorliegenden Offenbarung;
1C veranschaulicht eine weitere schematische Ansicht einer elektrischen Verbinderbaugruppe gemäß den Lehren der vorliegenden Offenbarung; und
2 veranschaulicht eine beispielhafte Steuerroutine gemäß den Lehren der vorliegenden Offenbarung.

Die in dieser Schrift beschriebenen Zeichnungen dienen lediglich der Veranschaulichung und sollen den Umfang der vorliegenden Offenbarung in keiner Weise einschränken.
DETAILLIERTE BESCHREIBUNG
Die folgende Beschreibung ist lediglich beispielhafter Natur und soll die vorliegende Offenbarung, Anwendung oder die Verwendungen nicht einschränken. Es versteht sich, dass über alle Zeichnungen hinweg entsprechende Bezugszeichen gleiche oder entsprechende Teile und Merkmale angeben.
Die vorliegende Offenbarung stellt ein Steuersystem bereit, das dazu konfiguriert ist, die Qualität einer elektrischen Verbinderbaugruppenverbindung zu bestimmen. Insbesondere beinhaltet das Steuersystem ein neuronales Deep-Learning-Netzwerk, das Begrenzungsrahmen definiert, die verschiedene Komponenten der elektrischen Verbinderanordnung (z. B. Stecker- und Aufnahmeabschnitte der elektrischen Verbinderanordnung) umgeben. Darüber hinaus ist das Steuersystem dazu konfiguriert, die Qualität der elektrischen Verbinderbaugruppe basierend auf einer Positionsbeziehung zwischen den Kanten der Begrenzungsrahmen zu bestimmen, wie etwa einem Abstand und/oder Winkel, der zwischen den Kanten der Begrenzungsrahmen definiert ist. Somit ist das neuronale Deep-Learning-Netzwerk zum Erkennen der verschiedenen Abschnitte der elektrischen Verbinderanordnung trainiert und muss nicht zum Erkennen von Defekten trainiert werden. Dementsprechend bestimmt das Steuersystem durch Durchführen der in dieser Schrift beschriebenen Routinen die Qualität einer elektrischen Verbinderbaugruppenverbindung genau, reduziert die Anzahl von Iterationen, die zum Trainieren des neuronalen Deep-Learning-Netzwerks erforderlich sind, und reduziert die Rechenressourcen, die zum Bestimmen der Qualität einer elektrischen Verbinderbaugruppenverbindung erforderlich sind. Es versteht sich ohne Weiteres, dass das Steuersystem der vorliegenden Offenbarung andere Probleme angeht und nicht auf die in dieser Schrift bereitgestellten Beispiele beschränkt sein soll.
Unter Bezugnahme auf 1A ist ein Steuersystem 10 zum Prüfen einer elektrischen Verbinderbaugruppe (electrical connector assembly - ECA) 20 einer Komponente (z. B. eines Fahrzeugs) bereitgestellt. Das Steuersystem 10 beinhaltet im Allgemeinen Bildsensoren 30, ein Begrenzungsrahmen-Erzeugermodul (bounding box generator module - BBGM) 40, ein Metrikmodul 50, ein ECA-Zustandsmodul 60 und ein Benachrichtigungsmodul 70. Obwohl die Module des Steuersystems 10 als Teil des Steuersystems 10 dargestellt sind, versteht es sich, dass die Module am selben Standort positioniert oder an verschiedenen Standorten verteilt (z B. an einem oder mehreren Edge-Computing-Vorrichtungen) und entsprechend kommunikativ gekoppelt sein können. In einer Form sind die Module des Steuersystems 10 unter Verwendung eines verdrahteten und/oder drahtlosen Kommunikationsprotokolls (z. B. unter anderem eines Bluetooth®-Protokolls, eines Mobilfunkprotokolls, eines Wireless-Fidelity(Wi-Fi)-Protokolls, eines Nahfeldkommunikationsprotokolls (near-field communication - NFC-Protokolls), eines Ultrabreitband(ultra-wideband - UWB)-Protokolls usw.) kommunikativ gekoppelt.
In einer Form stellen die Bildsensoren 30 dem BBGM 40 Bilddaten der ECA 20 bereit und schließen unter anderem Folgendes ein: eine zweidimensionale (2D-)Kamera, eine 3D-Kamera, eine Stereovisionskamera, einen Infrarotsensor, einen Radar-Scanner, einen Laserscanner, einen Light-Detection-and-Ranging(LIDAR)-Sensor und/oder einen Ultraschallsensor.
Als ein Beispiel und unter Bezugnahme auf 1B können die Bildsensoren 30 ein Bild 75 einer ECA 20-1 bereitstellen, die einen Steckerabschnitt 22-1 und einen Aufnahmeabschnitt 24-1 aufweist, die in einem verbundenen Zustand bereitgestellt sind. Als weiteres Beispiel und unter Bezugnahme auf 1C können die Bildsensoren 30 ein Bild 150 einer ECA 20-2 mit einem Steckerabschnitt 22-2 und einem Aufnahmeabschnitt 24-2 in einem unverbundenen Zustand bereitstellen. Im Folgenden wird der Betrieb des Steuersystems 10 unter Bezugnahme auf die Beispiele aus 1B und 1C beschrieben.
In einer Form ist das BBGM 40 dazu konfiguriert, Begrenzungsrahmen (z. B. gedrehte Begrenzungsrahmen) zu definieren, die verschiedene Komponenten der ECA 20 umgeben und eine oder mehrere Kanten jedes der Begrenzungsrahmen identifizieren. Als ein Beispiel wird das BBGM 40 durch ein Deep-Learning-Rechensystem umgesetzt, wie etwa ein neuronales Deep-Learning-Netzwerk, das dazu konfiguriert ist, gedrehte Begrenzungsrahmen von Stecker- und Aufnahmeabschnitten der ECA 20 zu erzeugen und eine oder mehrere Kanten davon durch Durchführen bekannter semantischer Segmentierungsroutinen und Begrenzungsrahmen-Erzeugungsroutinen zu identifizieren.
In einer Form ist das BBGM 40 durch ein regionenbasiertes neuronales Faltungsnetzwerk (region-based convolutional neural network - R-CNN) umgesetzt, wie etwa ein Mask-R-CNN, ein Faster-R-CNN und andere. Insbesondere ist das BBGM 40 in einer Form ein Mask-R-CNN, das eine Faltungsschicht beinhaltet, die so konfiguriert ist, dass sie eine Faltungsroutine an den Bildern durchführt, um eine Vielzahl von Merkmalskarten zu erzeugen. Darüber hinaus kann das Mask-R-CNN eine Schicht eines Regionsvorschlagsnetzwerks (region proposal network - RPN) beinhalten, die dazu konfiguriert ist, eine oder mehrere interessierende Regionen (regions of interest - ROIs) aus der Merkmalskarte zu erzeugen und dadurch die gedrehten Begrenzungsrahmen des Stecker- und des Aufnahmeabschnitts der ECA 20 zu definieren. Zusätzlich kann das Mask-R-CNN eine ROI-Pooling-Schicht beinhalten, die dazu konfiguriert ist, die Breite und/oder Länge der durch die Faltungsschicht erzeugten Merkmalskarten zu reduzieren. Es versteht sich, dass das BBGM 40 durch ein beliebiges neuronales Netzwerk oder Rechensystem umgesetzt werden kann, das dazu konfiguriert ist, die Begrenzungsrahmen zu definieren, die verschiedene Komponenten der ECA 20 umgeben, und nicht auf die in dieser Schrift beschriebenen Rechensysteme beschränkt ist.
Als ein Beispiel definiert unter Bezugnahme auf 1B das BBGM 40 einen gedrehten Begrenzungsrahmen 80 um den Steckerabschnitt 22-1 der ECA 20-1 und einen gedrehten Begrenzungsrahmen 90 um den Aufnahmeabschnitt 24-1 der ECA 20-1. In ähnlicher Weise definiert das BBGM 40 im Beispiel von 1C einen gedrehten Begrenzungsrahmen 100 um den Steckerabschnitt 22-2 der ECA 20-2 und einen gedrehten Begrenzungsrahmen 110 um den Aufnahmeabschnitt 24-2 der ECA 20-2.
In einer Form ist das BBGM 40 ferner dazu konfiguriert, benachbarte Kanten der Begrenzungsrahmen zu identifizieren. Wie in dieser Schrift verwendet, bezieht sich „benachbarte Kanten“ auf eine Kante eines Begrenzungsrahmens, die einem anderen Begrenzungsrahmen am nächsten liegt. Zum Beispiel identifiziert in dem Beispiel aus 1B das BBGM 40 die Kante 84 als die benachbarte Kante des gedrehten Begrenzungsrahmens 80, da die Kante 84 dem gedrehten Begrenzungsrahmen 90 am nächsten ist. Darüber hinaus kann das BBGM 40 die Kante 94 als die benachbarte Kante des gedrehten Begrenzungsrahmens 90 identifizieren, da sie dem gedrehten Begrenzungsrahmen 80 am nächsten liegt. In dem Beispiel aus 1C identifiziert das BBGM 40 die Kante 104 als die benachbarte Kante des gedrehten Begrenzungsrahmens 100, da die Kante 104 dem gedrehten Begrenzungsrahmen 110 am nächsten liegt. Darüber hinaus kann das BBGM 40 die Kante 114 als die benachbarte Kante des gedrehten Begrenzungsrahmens 110 identifizieren, da sie dem gedrehten Begrenzungsrahmen 100 am nächsten liegt.
In einer Form ist das BBGM 40 dazu konfiguriert, distale Kanten der Begrenzungsrahmen zu identifizieren. Wie in dieser Schrift verwendet, bezieht sich „distale Kanten“ auf eine Kante eines Begrenzungsrahmens, die am weitesten von einem anderen Begrenzungsrahmen entfernt ist. Insbesondere identifiziert in dem Beispiel aus 1B das BBGM 40 die Kante 82 als die distale Kante des gedrehten Begrenzungsrahmens 80, da die Kante 82 am weitesten von dem gedrehten Begrenzungsrahmen 90 entfernt ist. Darüber hinaus kann das BBGM 40 die Kante 92 als die distale Kante des gedrehten Begrenzungsrahmens 90 identifizieren, da sie am weitesten von dem gedrehten Begrenzungsrahmen 80 entfernt ist. In Bezug auf das Beispiel aus 1C identifiziert das BBGM 40 die Kante 102 als die distale Kante des gedrehten Begrenzungsrahmens 100, da die Kante 102 am weitesten von dem gedrehten Begrenzungsrahmen 110 entfernt ist, und identifiziert die Kante 112 als die distale Kante des gedrehten Begrenzungsrahmens 110, da sie am weitesten von dem gedrehten Begrenzungsrahmen 100 entfernt ist.
Während das BBGM 40 als dazu konfiguriert beschrieben ist, eine benachbarte/distale Kante der Begrenzungsrahmen zu identifizieren, versteht es sich, dass das BBGM 40 mehr als eine benachbarte/distale Kante oder andere Kantentypen in anderen Variationen identifizieren kann. Wenn zum Beispiel das BBGM 40 drei Begrenzungsrahmen definiert, die drei Komponenten der ECA 20 darstellen, kann das BBGM 40 eine oder zwei separate benachbarte/distale Kanten für jeden Begrenzungsrahmen identifizieren.
Unter weiterer Bezugnahme auf 1A beinhaltet das Metrikmodul 50 in einer Form ein Abstandsmodul 52 und ein Winkelmodul 54, die dazu konfiguriert sind, eine oder mehrere Metriken basierend auf den identifizierten Kanten der Begrenzungsrahmen (z. B. den distalen Kanten und/oder den benachbarten Kanten) zu bestimmen. Die eine oder mehreren Metriken geben eine Positionsbeziehung zwischen den Kanten der Begrenzungsrahmen an. In einer Form kann das Metrikmodul 50 bekannte Bildverarbeitungsroutinen (z. B. eine differenzbasierte Bildverarbeitungsroutine, eine semantikbasierte Bildverarbeitungsroutine, Pixelumwandlungsroutinen usw.) an den Bilddaten der ECA 20 durchführen, um die eine oder mehreren Metriken wie nachstehend ausführlicher beschrieben zu bestimmen.
In einer Form ist das Abstandsmodul 52 dazu konfiguriert, einen Abstand zwischen einem oder mehreren Paaren der identifizierten Kanten zu bestimmen. In 1B bestimmt das Abstandsmodul 52 beispielsweise, dass ein Abstand zwischen den benachbarten Kanten 84 und 94 der gedrehten Begrenzungsrahmen 80 und 90 ungefähr Null ist. In dem Beispiel aus 1C kann das Abstandsmodul 52 bestimmen, dass ein Abstand zwischen den benachbarten Kanten 104, 114 der gedrehten Begrenzungsrahmen 100 und 110 „D“ ist. Während der Abstand als ein Abstand zwischen den Mittelpunkten der Kanten 104, 114 gezeigt ist, versteht es sich, dass in anderen Formen der Abstand auf anderen Punkten der Kanten 104, 114 basieren kann. Darüber hinaus kann das Abstandsmodul 52 in einigen Formen ähnliche Abstandsmessungen basierend auf den identifizierten distalen Kanten durchführen. In einer Variation kann das Abstandsmodul 52 ähnliche Abstandsmessungen zwischen einer der benachbarten Kanten eines gedrehten Begrenzungsrahmens und einer der distalen Kanten eines anderen gedrehten Begrenzungsrahmens durchführen.
In einer Form ist das Winkelmodul 54 dazu konfiguriert, einen zwischen einem oder mehreren Paaren der identifizierten Kanten definierten Winkel zu bestimmen. Unter Bezugnahme auf 1B bestimmt das Winkelmodul 54 beispielsweise, dass ein zwischen den Kanten 84 und 94 definierter Winkel ungefähr Null ist. In dem Beispiel aus 1C bestimmt das Winkelmodul 54, dass ein zwischen den Kanten 104 und 114 definierter Winkel „A“ ist. Darüber hinaus kann das Winkelmodul 54 in einigen Formen ähnliche Winkelmessungen basierend auf den distalen Kanten durchführen.
In einer Form ist das ECA-Zustandsmodul 60 dazu konfiguriert, einen Zustand der ECA 20 basierend auf der einen oder den mehreren durch das Metrikmodul 50 bestimmten Metriken zu bestimmen. Als ein Beispiel bestimmt das ECA-Zustandsmodul 60 als Reaktion darauf, dass der Abstand zwischen einem Paar von Kanten (z. B. einem Paar von benachbarten Kanten und/oder einem Paar von distalen Kanten) größer als ein Schwellenwert für den Verbindungsabstand ist und/oder der zwischen dem Paar von Kanten definierte Winkel größer als ein Schwellenwert für den Verbindungswinkel ist, dass sich die ECA 20 in einem unverbundenen Zustand befindet. Als ein weiteres Beispiel bestimmt das ECA-Zustandsmodul 60 als Reaktion darauf, dass der Abstand kleiner als der Schwellenwert für den Verbindungsabstand ist und/oder der Winkel kleiner als der Schwellenwert für den Verbindungswinkel ist, dass sich die ECA 20 in einem verbundenen Zustand befindet.
Zusätzlich zum oder anstelle des Bestimmens von verbundenen und unverbundenen Zuständen kann das ECA-Zustandsmodul 60 bestimmen, ob sich die ECA 20 in einem teilweise verbundenen Zustand befindet. Beispielsweise bestimmt das ECA-Zustandsmodul 60 als Reaktion darauf, dass der Abstand zwischen dem Paar von Kanten kleiner als der Schwellenwert für den Verbindungsabstand und größer als der Schwellenwert für den teilweise verbundenen Abstand ist, dass sich die ECA 20 in einem teilweise verbundenen Zustand befindet. Das ECA-Zustandsmodul 60 kann auch als Reaktion darauf, dass der zwischen dem Paar von Kanten definierte Winkel kleiner als der Schwellenwert für den Verbindungswinkel und größer als ein Schwellenwert für den teilweise verbundenen Winkel ist, bestimmen, dass sich die ECA 20 in einem teilweise verbundenen Zustand befindet.
In einer Form ist das Benachrichtigungsmodul 70 dazu konfiguriert, eine Benachrichtigung zu erzeugen, die den Zustand der ECA 20 darstellt (z. B. eine visuelle und/oder akustische Warnung, wenn sich die ECA 20 in dem unverbundenen Zustand, dem teilweise unverbundenen Zustand oder dem verbundenen Zustand befindet). In einer Form ist das Benachrichtigungsmodul 70 dazu konfiguriert, die Benachrichtigung an eine Mensch-Maschine-Schnittstelle (MMS) (z. B. eine Anzeigevorrichtung, einen Laptop, ein Smartphone usw.) und/oder ein entferntes Rechensystem zu übertragen, sodass die Benachrichtigung angezeigt und/oder gesendet werden kann.
Unter Bezugnahme auf 2 ist eine Routine 200 zum Bestimmen des Verbindungszustands der ECA 20 gezeigt und wird durch das Steuersystem 10 durchgeführt. Bei 204 definiert das Steuersystem 10 in einem Bild der ECA 20 Begrenzungsrahmen um die ECA 20. Bei 208 identifiziert das Steuersystem 10 eine Kante (z. B. eine benachbarte Kante) von jedem der Begrenzungsrahmen. Bei 212 bestimmt das Steuersystem 10 eine oder mehrere Metriken basierend auf den identifizierten Kanten der Begrenzungsrahmen. Als ein Beispiel bestimmt das Steuersystem 10 einen Abstand und/oder einen Winkel zwischen den benachbarten Kanten der Begrenzungsrahmen.
Bei 216 bestimmt das Steuersystem 10 den Zustand der ECA 20 basierend auf der einen oder den mehreren Metriken. Als ein Beispiel bestimmt das Steuersystem 10, dass sich die ECA 20 in einem unverbundenen Zustand befindet, wenn der Abstand zwischen den benachbarten Kanten größer als ein Schwellenwertabstand ist oder der zwischen den benachbarten Kanten definierte Winkel größer als ein Schwellenwertwinkel ist. Als ein weiteres Beispiel bestimmt das Steuersystem 10, dass sich die ECA 20 in einem verbundenen Zustand befindet, wenn der Abstand zwischen den benachbarten Kanten kleiner als ein Schwellenwertabstand ist und der zwischen den benachbarten Kanten definierte Winkel kleiner als ein Schwellenwertwinkel ist. Bei 220 überträgt das Steuersystem 10 eine Benachrichtigung basierend auf dem Zustand der ECA 20 (z. B. eine visuelle Warnung, die angibt, dass sich die ECA 20 in einem verbundenen Zustand oder einem unverbundenen Zustand befindet), und die Routine endet anschließend.
Während die Routine 200 das Bestimmen des Verbindungszustands der ECA 20 beschreibt, versteht es sich, dass die Routine 200 iterativ für eine beliebige Anzahl von ECAs 20 durchgeführt werden kann.
Dementsprechend kann das Steuersystem durch Verwenden eines neuronalen Deep-Learning-Netzwerks und/oder eines R-CNN zum Definieren von Begrenzungsrahmen, die verschiedene Komponenten der elektrischen Verbinderbaugruppe umgeben, die Qualität der elektrischen Verbinderbaugruppe basierend auf einer Positionsbeziehung zwischen den Kanten der Begrenzungsrahmen bestimmen. Somit ist das neuronale Deep-Learning-Netzwerk oder ein R-CNN nur zum Erkennen der verschiedenen Abschnitte der elektrischen Verbinderanordnung trainiert und muss nicht zum Erkennen von Defekten trainiert werden. Daher bestimmt das Steuersystem durch Durchführen der in dieser Schrift beschriebenen Routinen die Qualität einer elektrischen Verbinderbaugruppenverbindung genau, reduziert die Anzahl von Iterationen, die zum Trainieren des neuronalen Deep-Learning-Netzwerks erforderlich sind, und reduziert die Rechenressourcen, die zum Bestimmen der Qualität einer elektrischen Verbinderbaugruppenverbindung erforderlich sind.
Sofern in dieser Schrift nicht ausdrücklich etwas anderes angegeben ist, sind alle numerischen Werte, die mechanische/thermische Eigenschaften, Prozentanteile von Zusammensetzungen, Abmessungen und/oder Toleranzen oder andere Eigenschaften angeben, so zu verstehen, dass sie durch das Wort „etwa“ oder „ungefähr“ modifiziert sind, wenn sie den Umfang der vorliegenden Offenbarung beschreiben. Diese Modifikation ist aus verschiedenen Gründen wünschenswert, einschließlich industrieller Praxis; Material-, Fertigungs- und Montagetoleranzen; sowie Prüffähigkeit.
Im vorliegenden Zusammenhang sollte die Formulierung mindestens eines von A, B und C dahingehend ausgelegt werden, dass sie ein logisches (A ODER B ODER C) bedeutet, wobei ein nicht ausschließendes logisches ODER verwendet wird, und sollte nicht dahingehend ausgelegt werden, dass sie „mindestens eines von A, mindestens eines von B und mindestens eines von C“ bedeutet.
Die Beschreibung der Offenbarung ist rein beispielhafter Natur und somit ist beabsichtigt, dass Variationen, die nicht vom Kern der Offenbarung abweichen, innerhalb des Umfangs der Offenbarung liegen. Derartige Variationen sind nicht als Abweichung vom Wesen und Schutzumfang der Offenbarung zu betrachten.
In den Figuren zeigt die durch die Pfeilspitze angegebene Richtung eines Pfeils im Allgemeinen den Fluss von Informationen (wie etwa Daten oder Anweisungen) an, der für die Veranschaulichung von Interesse ist. Beispielsweise kann, wenn Element A und Element B eine Vielfalt an Informationen austauschen, für die Veranschaulichung aber Informationen relevant sind, die von Element A an Element B übertragen werden, der Pfeil von Element A zu Element B zeigen. Dieser unidirektionale Pfeil impliziert nicht, dass keine anderen Informationen von Element B an Element A übertragen werden. Ferner kann für Informationen, die von Element A an Element B gesendet werden, Element B Anforderungen oder Empfangsbestätigungen für die Informationen an Element A senden.
In dieser Anmeldung kann sich der Ausdruck „Steuerung“ und/oder „Modul“ auf Folgendes beziehen, Teil von Folgendem sein oder Folgendes beinhalten: eine anwendungsspezifische integrierte Schaltung (Application Specific Integrated Circuit - ASIC); eine digitale, analoge oder kombinierte analoge/digitale diskrete Schaltung; eine digitale, analoge oder kombinierte analoge/digitale integrierte Schaltung; eine kombinierbare logische Schaltung; ein feldprogrammierbares Gatearray (FPGA); eine Prozessorschaltung (geteilt, dediziert oder Gruppe), die Code ausführt; eine Speicherschaltung (geteilt, dediziert oder Gruppe), die Code speichert, der durch die Prozessorschaltung ausgeführt wird; andere geeignete Hardware-Komponenten, welche die beschriebene Funktionalität bereitstellen, wie etwa unter anderem Bewegungstreiber oder -systeme, Sendeempfänger, Router, Eingabe-/Ausgabeschnittstellenhardware; oder eine Kombination aus einigen oder allen der Vorstehenden, wie etwa in einem System-on-a-Chip.
Der Ausdruck Speicher ist eine Untergruppe des Ausdrucks computerlesbares Medium. Der Ausdruck computerlesbares Medium schließt im in dieser Schrift verwendeten Sinne keine transitorischen elektrischen oder elektromagnetischen Signale ein, die sich durch ein Medium (wie etwa über eine Trägerwelle) ausbreiten; der Ausdruck computerlesbares Medium kann daher als greifbar und nichttransitorisch betrachtet werden. Nicht einschränkende Beispiele für ein nichttransitorisches, greifbares computerlesbares Medium sind nichtflüchtige Speicherschaltungen (wie etwa eine Flash-Speicher-Schaltung, eine Schaltung eines löschbaren programmierbaren Festwertspeichers oder eine Schaltung eines Masken-Festwertspeichers), flüchtige Speicherschaltungen (wie etwa eine Schaltung eines statischen Direktzugriffsspeichers oder eine Schaltung eines dynamischen Direktzugriffsspeichers), magnetische Speichermedien (wie etwa ein analoges oder digitales Magnetband oder ein Festplattenlaufwerk) und optische Speichermedien (wie etwa eine CD, eine DVD oder eine Blu-ray Disc).
Die in dieser Anmeldung beschriebenen Vorrichtungen und Verfahren können teilweise oder vollständig durch einen Spezialcomputer umgesetzt werden, der durch Konfigurieren eines Allzweckcomputers zum Ausführen einer oder mehrerer bestimmter Funktionen, die in Computerprogrammen ausgebildet sind, erstellt wird. Die vorangehend beschriebenen funktionellen Blöcke, Ablaufdiagrammkomponenten und anderen Elemente dienen als Softwarespezifikationen, die durch die Routinearbeit eines erfahrenen Technikers oder Programmierers in die Computerprogramme übersetzt werden können.
Gemäß der vorliegenden Erfindung wird ein System bereitgestellt, das Folgendes aufweist: einen Prozessor; und ein nichttransitorisches computerlesbares Medium, das Anweisungen beinhaltet, die durch den Prozessor ausführbar sind, wobei die Anweisungen Folgendes beinhalten: das Definieren von Begrenzungsrahmen um eine elektrische Verbinderbaugruppe in einem Bild; das Identifizieren einer Kante jedes Begrenzungsrahmens; das Bestimmen einer oder mehrerer Begrenzungsrahmenmetriken basierend auf der Kante jedes Begrenzungsrahmens, wobei die eine oder mehreren Begrenzungsrahmenmetriken einen Abstand zwischen jeder Kante, einen zwischen jeder Kante definierten Winkel oder eine Kombination davon beinhalten; das Bestimmen eines Verbindungszustands der elektrischen Verbinderbaugruppe basierend auf der einen oder den mehreren Begrenzungsrahmenmetriken; und das Übertragen einer Benachrichtigung basierend auf dem Verbindungszustand.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren Folgendes: das Definieren eines ersten Komponentenbegrenzungsrahmens und eines zweiten Komponentenbegrenzungsrahmens um eine elektrische Verbinderbaugruppe in einem Bild; das Identifizieren einer ersten benachbarten Kante des ersten Komponentenbegrenzungsrahmens und einer zweiten benachbarten Kante des zweiten Komponentenbegrenzungsrahmens; das Bestimmen einer oder mehrerer Metriken basierend auf der ersten benachbarten Kante und der zweiten benachbarten Kante, wobei die eine oder mehreren Metriken einen Abstand zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante, einen zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante definierten Winkel oder eine Kombination davon beinhalten; das Bestimmen eines Zustands der elektrischen Verbinderbaugruppe basierend auf der einen oder den mehreren Metriken; und das Übertragen einer Benachrichtigung basierend auf dem Zustand.
Gemäß einer Ausführungsform ist der Zustand ein verbundener Zustand, wenn der Abstand zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante kleiner als ein Schwellenwertabstand ist, der zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante definierte Winkel kleiner als ein Schwellenwertwinkel ist oder bei einer Kombination davon.
Gemäß einer Ausführungsform ist der Zustand ein unverbundener Zustand, wenn der Abstand zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante größer als ein Schwellenwertabstand ist, der zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante definierte Winkel größer als ein Schwellenwertwinkel ist oder bei einer Kombination davon.

Claims

Verfahren, Folgendes umfassend: Definieren von Begrenzungsrahmen um eine elektrische Verbinderbaugruppe in einem Bild; Identifizieren einer Kante von jedem der Begrenzungsrahmen; Bestimmen einer oder mehrerer Metriken basierend auf der Kante von jedem der Begrenzungsrahmen, wobei die eine oder mehreren Metriken eine Positionsbeziehung zwischen den Kanten der Begrenzungsrahmen angeben; Bestimmen eines Zustands der elektrischen Verbinderbaugruppe basierend auf der einen oder den mehreren Metriken; und Übertragen einer Benachrichtigung basierend auf dem Zustand.
Verfahren nach Anspruch 1, wobei: die Begrenzungsrahmen einen ersten Komponentenbegrenzungsrahmen und einen zweiten Komponentenbegrenzungsrahmen beinhalten; der erste Komponentenbegrenzungsrahmen einer ersten Komponente der elektrischen Verbinderbaugruppe zugeordnet ist; und der zweite Komponentenbegrenzungsrahmen eine zweite Komponente der elektrischen Verbinderbaugruppe darstellt.
Verfahren nach Anspruch 2, wobei der erste Komponentenbegrenzungsrahmen und die zweiten Komponentenbegrenzungsrahmen gedrehte Begrenzungsrahmen sind.
Verfahren nach einem der Ansprüche 2 bis 3, wobei die Kante von jedem der Begrenzungsrahmen eine erste benachbarte Kante des ersten Komponentenbegrenzungsrahmens und eine zweite benachbarte Kante des zweiten Komponentenbegrenzungsrahmens beinhaltet.
Verfahren nach Anspruch 4, wobei die eine oder mehreren Metriken einen Abstand zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante beinhalten.
Verfahren nach Anspruch 5, wobei der Zustand ein verbundener Zustand ist, wenn der Abstand zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante kleiner als ein Schwellenwertabstand ist.
Verfahren nach Anspruch 5, wobei der Zustand ein unverbundener Zustand ist, wenn der Abstand zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante größer als ein Schwellenwertabstand ist.
Verfahren nach Anspruch 4, wobei die eine oder mehreren Metriken einen Winkel beinhalten, der zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante definiert ist.
Verfahren nach Anspruch 8, wobei der Zustand ein verbundener Zustand ist, wenn der zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante definierte Winkel kleiner als ein Schwellenwertwinkel ist.
Verfahren nach Anspruch 8, wobei der Zustand ein unverbundener Zustand ist, wenn der zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante definierte Winkel größer als ein Schwellenwertwinkel ist.
System, Folgendes umfassend: einen Prozessor; und ein nichttransitorisches computerlesbares Medium, das Anweisungen beinhaltet, die durch den Prozessor ausführbar sind, wobei die Anweisungen Folgendes beinhalten: Definieren von Begrenzungsrahmen um eine elektrische Verbinderbaugruppe in einem Bild; Identifizieren einer Kante jedes Begrenzungsrahmens; Bestimmen einer oder mehrerer Begrenzungsrahmenmetriken basierend auf der Kante jedes Begrenzungsrahmens, wobei die eine oder mehreren Begrenzungsrahmenmetriken einen Abstand zwischen jeder Kante, einen zwischen jeder Kante definierten Winkel oder eine Kombination davon beinhalten; Bestimmen eines Verbindungszustands der elektrischen Verbinderbaugruppe basierend auf der einen oder den mehreren Begrenzungsrahmenmetriken; und Übertragen einer Benachrichtigung basierend auf dem Verbindungszustand.
System nach Anspruch 11, wobei: die Begrenzungsrahmen einen ersten Komponentenbegrenzungsrahmen und einen zweiten Komponentenbegrenzungsrahmen beinhalten; der erste Komponentenbegrenzungsrahmen einer ersten Komponente der elektrischen Verbinderbaugruppe zugeordnet ist; und der zweite Komponentenbegrenzungsrahmen eine zweite Komponente der elektrischen Verbinderbaugruppe darstellt.
System nach Anspruch 12, wobei die Kante jedes Begrenzungsrahmens eine erste benachbarte Kante des ersten Komponentenbegrenzungsrahmens und eine zweite benachbarte Kante des zweiten Komponentenbegrenzungsrahmens beinhaltet.
System nach Anspruch 13, wobei der Abstand zwischen jeder Kante ferner auf einem Abstand zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante basiert.
System nach Anspruch 13, wobei der Winkel zwischen jeder Kante ferner auf einem Winkel basiert, der zwischen der ersten benachbarten Kante und der zweiten benachbarten Kante definiert ist.