DE202010018074U1 - Vorrichtung zur Unterstützung der Durchführung eines Wartungs- und/oder Bedienvorgangs, entsprechendes Verfahren und computerlesbares Medium mit Programmcode zur Ausführung eines entsprechenden Verfahrens - Google Patents

Vorrichtung zur Unterstützung der Durchführung eines Wartungs- und/oder Bedienvorgangs, entsprechendes Verfahren und computerlesbares Medium mit Programmcode zur Ausführung eines entsprechenden Verfahrens Download PDF

Info

Publication number
DE202010018074U1
DE202010018074U1 DE202010018074.0U DE202010018074U DE202010018074U1 DE 202010018074 U1 DE202010018074 U1 DE 202010018074U1 DE 202010018074 U DE202010018074 U DE 202010018074U DE 202010018074 U1 DE202010018074 U1 DE 202010018074U1
Authority
DE
Germany
Prior art keywords
camera
component
maintenance
target device
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE202010018074.0U
Other languages
English (en)
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Incca Zuhoren - Verstehen - Losen GmbH
Incca Zuhoren Verstehen Losen GmbH
Original Assignee
Incca Zuhoren - Verstehen - Losen GmbH
Incca Zuhoren Verstehen Losen GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Incca Zuhoren - Verstehen - Losen GmbH, Incca Zuhoren Verstehen Losen GmbH filed Critical Incca Zuhoren - Verstehen - Losen GmbH
Priority to DE202010018074.0U priority Critical patent/DE202010018074U1/de
Publication of DE202010018074U1 publication Critical patent/DE202010018074U1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/90Additional features
    • G08C2201/93Remote control using other portable devices, e.g. mobile phone, PDA, laptop

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

Vorrichtung, insbesondere Smartphone (100), zur Unterstützung der Durchführung eines Wartungs- und/oder Bedienvorgangs an einem Zielgerät (30), umfassend: – eine Eingabeeinrichtung (110) zur Auswahl eines Wartungs- und/oder Bedienvorgangs und/oder eines Bestandteils (32) des Zielgeräts (30) aus einer Liste von in einer Datenbank (13, 130) gespeicherten Wartungs- und/oder Bedienvorgängen und/oder Bestandteilen (32); – eine Ausleseeinrichtung (130) zum Auslesen von Konturdaten (Kon1) des ausgewählten Bestandteils (32) oder eines dem Wartungs- und/oder Bedienvorgang zugeordneten Bestandteils (32); – eine Kamera (105) zum Erfassen einer Vielzahl von Bildern (Img1); – eine Analyseeinrichtung (140) zum Analysieren der Bilder (Img1) und zum Identifizieren einer Abbildung des Bestandteils (32) anhand der Konturdaten (Kon1) in den Bildern (Img1); – eine Kennzeichnungseinrichtung (150) zur Kennzeichnung der identifizierten Abbildung des Bestandteils (32); – eine Anzeigeeinrichtung (200) zur Anzeige mindestens eines der erfassten Bilder in Verbindung mit der Kennzeichnung der Kennzeichnungseinrichtung (150).

Description

  • Die Erfindung betrifft eine Vorrichtung zur Unterstützung der Durchführung eines Wartungs- und/oder Bedienvorgangs an einem Zielgerät sowie ein computerlesbares Medium mit Programmcode zur Ausführung auf einer Recheneinheit, der die Recheneinheit veranlasst, eine bestimmte Routine durchzuführen.
  • Es sind Mobiltelefone mit besonders leistungsfähigen Prozessoren bekannt. Derartige Mobiltelefone werden als Smartphones bezeichnet, welche den Funktionsumfang eines Mobiltelefons erheblich erweitern. Fortschrittliche Smartphones können über zusätzliche Programme, z.B. Anwendungen, vom Anwender individuell mit neuen Funktionen ausgerüstet werden. Üblicherweise verfügt ein Smartphone über mindestens eine Eingabeeinrichtung, z.B. eine Tastatur oder einen Touchscreen, sowie über mindestens eine Ausgabeeinrichtung, z.B. einen LCD-Bildschirm. Weitere Einrichtungen wie beispielsweise ein Lautsprecher, ein GPS-Empfänger usw. können vorgesehen werden.
  • Es ist des Weiteren bekannt, derartige Smartphones mit Anwendungen auszurüsten, die es dem Benutzer erleichtern, bestimmte Adressen oder Orte oder Wege aufzufinden. Die Smartphones übernehmen dann die Funktion eines Navigationssystems, wobei eine aktuelle Position beispielsweise anhand eines GPS-Empfängers erfasst wird und die Zielführung mittels einer Ausgabeeinrichtung, beispielsweise der Anzeigeeinrichtung oder einem Lautsprecher, vorgenommen wird.
  • Eine Verwendung derartiger Smartphones zur Unterstützung der Durchführung eines Wartungs- und/oder Bedienvorgangs ist nicht bekannt.
  • Ausgehend von diesem Stand der Technik ist es Aufgabe der vorliegenden Erfindung, eine Vorrichtung zur Unterstützung der Durchführung eines Wartungs- und/oder Bedienvorgangs an einem Zielgerät aufzuzeigen.
  • Diese Aufgabe wird durch eine Vorrichtung gemäß dem vorliegenden Anspruch 1 sowie ein computerlesbares Medium gemäß dem Anspruch 9 gelöst.
  • Insbesondere wird die Aufgabe durch eine Vorrichtung, insbesondere ein Smartphone, gelöst, das eine Eingabeeinrichtung zur Auswahl eines Wartungs- und/oder Bedienvorgangs und/oder eines Bestandteils des Zielgeräts aus einer Liste von in einer Datenbank gespeicherten Wartungs- und/oder Bedienvorgängen und/oder Bestandteilen aufweist:
    • – eine Ausleseeinrichtung zum Auslesen von Konturdaten des ausgewählten Bestandteils oder eines dem Wartungs- und/oder Bedienvorgang zugeordneten Bestandteils;
    • – eine Kamera zum Erfassen einer Vielzahl von Bildern;
    • – eine Analyseeinrichtung zum Analysieren der Bilder und zum Identifizieren einer Abbildung des Bestandteils anhand der Konturdaten in den Bildern;
    • – eine Kennzeichnungseinrichtung zur Kennzeichnung der identifizierten Abbildung des Bestandteils;
    • – eine Anzeigeeinrichtung zur Anzeige mindestens eines der erfassten Bilder in Verbindung mit der Kennzeichnung der Kennzeichnungseinrichtung.
  • Die genannten Zielgeräte können vorzugsweise ein Motor oder ein Motorraum sein. Andererseits ist es auch denkbar, hierunter eine Kaffeemaschine oder jedes andere beliebige technische oder nicht-technische Gerät zu verstehen. Die erfindungsgemäße Vorrichtung ermöglicht es, Wartungs- und/oder Bedienvorgänge an diesen Zielgeräten wesentlich zu erleichtern. Hierbei wird es dem Benutzer insbesondere ermöglicht, für die Wartungs- und/oder Bedienvorgänge wesentliche Bestandteile, die integral mit dem Zielgerät verbunden sind oder zu diesem gehören, aufzufinden.
  • Erfindungsgemäß wird eine Eingabeeinrichtung, beispielsweise ein Touchscreen, eine Tastatur oder ein beliebiges anderes Bedienelement, verwendet, um einen bestimmten Wartungs- und/oder Bedienvorgang und/oder ein Bestandteil des Zielgeräts auszuwählen. Soweit man sich für die Auswahl eines Wartungs- und/oder Bedienvorgangs entscheidet, sind diesen meist Bestandteile zugeordnet, die aufgefunden werden müssen. Die Ausleseeinrichtung ermittelt gespeicherte Konturdaten des ausgewählten oder zugeordneten Bestandteils. Danach ist es dem Benutzer möglich, mit der Kamera Bilder vorzugsweise von dem Zielgerät zu erfassen, die dann wiederum von der Analyseeinrichtung ausgewertet werden können. Die Analyseeinrichtung ermöglicht es, in den Bildern Abbildungen des Bestandteils anhand der Konturdaten zu identifizieren. Die Kennzeichnungseinrichtung kennzeichnet die identifizierte Abbildung oder Teilabbildung des Bestandteils. Die Anzeigeeinrichtung zeigt dann mindestens eins der erfassten Bilder an, in dem die Abbildung des Bestandteils gekennzeichnet ist, so dass der Benutzer weiß, um welchen Bestandteil es sich handelt.
  • Beispielsweise kann der Benutzer den Wartungsvorgang „Öl-Wechsel“ mittels der Eingabeeinrichtung auswählen, wobei die erfindungsgemäße Vorrichtung dem Benutzer beispielsweise das Auffinden des Verschlussteils des Öleinfüllstutzens am Motor erleichtert. Obwohl im vorgenannten Beispiel die Eingabeeinrichtung eine Eingabe des Benutzers empfängt, kann diese derart ausgebildet sein, dass sie beliebige Daten von anderen Geräten oder Programmen empfängt. Diese Daten können beispielsweise einen Wartungs- und/oder Bedienvorgang oder ein bestimmtes Bestandteil vorgeben.
  • In einem Ausführungsbeispiel umfasst die Vorrichtung eine Positionsbestimmungseinrichtung zur Erfassung der Ausrichtung der Kamera bezüglich des Zielgeräts und optional der Position der Kamera bezüglich des Zielgeräts sowie eine Normalisierungseinrichtung zur Abbildung der Bilder auf eine, vorzugsweise durch die Konturdaten vorgegebene, Normalisierungsebene. Da es sich bei den Zielgeräten sowie bei den Bestandteilen meist um dreidimensionale Objekte handelt, übliche Kameras jedoch nur zweidimensionale Aufnahmen machen können, ist es äußerst problematisch, Abbildungen des gesuchten Bestandteils schnell – vorzugsweise in Echtzeit – innerhalb der aufgenommenen Bilder zu identifizieren. Die Vorrichtung kann daher über eine Positionsbestimmungseinrichtung verfügen, die eine Ausrichtung der Kamera und optional eine Position dieser gegenüber dem Zielgerät bestimmt. Die genaue oder ungefähre Ist-Ausrichtung und/oder Ist-Positionierung hilft bei einem schnelleren Abgleich der vorhandenen Konturdaten mit den erfassten Bilddaten. Vorzugsweise werden die erfassten Bilddaten derart normalisiert, dass sie in einer vorgegebenen Normalisierungsebene liegen. Die aufgenommenen Bilder können also derart transformiert werden, dass deren Darstellung einer bestimmten Ausrichtung bzw. Positionierung der Kamera entspricht. Vorzugsweise wird diese Ausrichtung anhand einer Normalisierungsebene, beispielsweise in Verbindung mit den Konturdaten vorgegeben. Insofern kann es unterstellt werden, dass die vorliegenden Konturdaten im Wesentlichen aus einer ähnlichen Aufnahmerichtung erfasst wurden, wie die abgebildeten Bilder. Dies ermöglicht ein schnelleres Auffinden von möglichen Übereinstimmungen.
  • Die Navigationseinrichtung kann dazu ausgebildet sein, eine Soll-Position und/oder eine Soll-Ausrichtung der Kamera (zur besseren Erfassung des Zielgeräts, insbesondere des ausgewählten Bestandteils) auszugeben und/oder vorzugeben. Die Navigationseinrichtung kann also dabei helfen, die Vorrichtung, insbesondere das Smartphone, derart auszurichten, dass die Kamera Bilder erfassen kann, die den aufzufindenden Bestandteil enthalten. Alternativ ist es auch möglich, dass die Navigationseinrichtung die Kamera automatisch entsprechend ausrichtet.
  • Die Vorrichtung kann eine Speichereinrichtung zur Speicherung der Datenbank umfassen, die eine Vielzahl von Bestandteilen von Zielgeräten und zugehörige Konturdaten umfasst. Es ist denkbar, die notwendigen Daten von externen Datenquellen abzufragen und zu empfangen. Vorzugsweise weist die Vorrichtung einen lokalen Speicher auf, der notwendige Daten enthält. Zu diesen Daten können de Konturdaten, die Normalisierungsebene, und/oder das Zielgerät gehören. Es ist ebenfalls denkbar, die Daten hierarchisch in Abhängigkeit von einem ausgewählten Zielgerät zu organisieren.
  • Die Vorrichtung kann eine Kommunikationseinrichtung zum Abfragen von Informationen, insbesondere Zusatzinformationen und/oder Konturdaten, von einem Server umfassen. Durch die Kommunikationseinrichtung können beispielsweise die oben genannten Konturdaten, Beziehungen zwischen Wartungs- oder Bedienvorgängen und Bestandteilen und/oder Listen von Zielgeräten abgefragt werden. Andererseits ist es ebenfalls möglich, Zusatzinformationen von einer externen Datenquelle abzufragen, um diese dem Benutzer in geeigneter Weise anzuzeigen. Beispielsweise können diese Zusatzinformationen Informationen sein, die sich auf den ausgewählten Wartungs- und/oder Bedienvorgang beziehen. Vorzugsweise geben die Zusatzinformationen an, wie das ausgewählte Bestandteil zu handhaben ist.
  • Die bereits genannte Positionsbestimmungseinrichtung kann zur Erfassung der Ausrichtung der Kamera bezüglich des Zielgeräts und/oder der Position der Kamera bezüglich des Zielgeräts ausgebildet sein, wobei zur Erfüllung dieser Aufgabe ein für das Zielgerät oder einen Teil des Zielgeräts spezifiziertes Farbmuster und/oder eine Farbverteilung eingelesen und dann anhand eines Abgleichs des Farbverteilungsmusters mit den erfassten Bildern die gewünschten Daten ermittelt werden. Es ist also nicht zwingend notwendig, dass Sensoren, beispielsweise Neigungssensoren oder eine GPS-Empfangseinrichtung vorgesehen sind, um die Ist-Ausrichtungsdaten und Ist-Positionsdaten zu erfassen. Die Ist-Ausrichtungsdaten und Ist-Positionsdaten der Kamera können auch anhand von Bildverarbeitungsschritten ermittelt werden.
  • Die Positionsbestimmungseinrichtung kann dazu ausgebildet sein, Konturdaten einer Vielzahl von unterschiedlichen, dem Zielgerät zugeordneten Bestandteilen auszulesen und anhand eines Abgleichs der Konturdaten mit den erfassten Bildern Ist-Ausrichtungsdaten und Ist-Positionsdaten der Kamera zu erzeugen.
  • Die Vorrichtung kann eine Zusatzinformationseinrichtung umfassen, die dazu ausgebildet ist, Zusatzinformationen auf der Anzeigeeinrichtung anzuzeigen, insbesondere wenn die Abbildung des Bestandteils von der Analyseeinrichtung identifiziert wurde. Es ist also möglich, Zusatzinformationen bereitzustellen, die beispielsweise den Wartungs- und/oder Bedienvorgang ergänzen. Konkret kann angegeben werden, wie mit einem bestimmten Bestandteil, das erkannt wurde, verfahren werden soll.
  • Des Weiteren wird die Aufgabe wie bereits beschrieben, durch ein computerlesbares Medium mit Programmcode zur Ausführung auf einer Recheneinheit gelöst, wobei der Programmcode die Recheneinheit veranlasst, eine Routine zur Durchführung eines Wartungs- und/oder Bedienvorgangs an einem Zielgerät unter Verwendung eines Smartphones durchzuführen, wobei die Routine die folgenden Schritte umfasst:
    • – Festlegen des Zielgeräts;
    • – Auswahl eines Wartungs- und/oder Bedienvorgangs und/oder eines Bestandteils des Zielgeräts aus einer Liste von in einer Datenbank gespeicherten Wartungs- und/oder Bedienvorgängen und/oder Bestandteilen;
    • – Erfassen einer Vielzahl von Bildern mittels mindestens einer Kamera des Smartphones;
    • – Auslesen von Konturdaten des ausgewählten Bestandteils oder eines dem Wartungs- und/oder Bedienvorgang zugeordneten Bestandteils;
    • – Analysieren der Bilder durch das Smartphone zur Identifikation einer Abbildung des Bestandteils anhand der Konturdaten;
    • – Anzeigen mindestens eines Bildes der erfassten Vielzahl von Bildern auf einer Anzeigeeinrichtung des Smartphones, wobei eine Abbildung des Bestandteils gekennzeichnet ist, wenn die Abbildung des Bestandteils anhand der Konturdaten identifiziert wurde.
  • Programmcodeseitig ergeben sich ähnliche Vorteile, wie diese bereits in Zusammenhang mit der Vorrichtung beschrieben wurden.
  • Weitere vorteilhafte Ausgestaltungen ergeben sich anhand der Unteransprüche. Nachfolgend wird die Erfindung anhand mehrerer Ausführungsbeispiele beschrieben, die mittels Abbildungen näher erläutert werden. Hierbei zeigen:
  • 1 eine Vorderseitenansicht eines Smartphones mit Anzeigeeinrichtung und Eingabeeinrichtung;
  • 2 eine Rückseitenansicht des Smartphones aus 1;
  • 3 eine schematische Darstellung einer Ausleseeinrichtung, Analyseeinrichtung, Kennzeichnungseinrichtung, Positionsbestimmungseinrichtung, Normalisierungseinrichtung, Navigationseinrichtung, Kommunikationseinrichtung;
  • 4 eine beispielhafte Bilddarstellung die auf der Anzeigeeinrichtung aus 1 angezeigt wird;
  • 5 eine schematische Darstellung von Bildverarbeitungsschritten, die von dem Smartphone gemäß 1 ausgeführt werden; und
  • 6 einen Server zur Kommunikation mit dem Smartphone aus 1.
  • In der nachfolgenden Beschreibung werden für gleiche und gleich wirkende Teile dieselben Bezugsziffern verwendet.
  • 1 zeigt ein erfindungsgemäßes Smartphone 100 in einer Frontansicht. Das Smartphone umfasst eine Antenne 191, eine Anzeigeeinrichtung 200 und eine Eingabeeinrichtung 110, die mehrere Tasten 111, 111’ aufweist, mittels derer ein Benutzer Eingaben tätigen kann. Die Anzeigeeinrichtung 200 dient zur Ausgabe von Informationen. Des Weiteren weist das Smartphone 100 einen Prozessor 101 zur Verarbeitung von Programmen und eine Speichereinrichtung 120 auf. Die Speichereinrichtung 120 kann dazu verwendet werden, Programmcode von auszuführenden Programmen zu speichern und/oder notwendige Daten, beispielsweise Konfigurationsdaten, dauerhaft zu sichern. Im beschriebenen Ausführungsbeispiel enthält die Speichereinrichtung 120 Daten für eine Gerätedatenbank 123.
  • 2 zeigt eine Rückseitenansicht des Smartphones 100 aus 1. Die Rückseite des Smartphones 100 hat eine Kamera 105 zum Erfassen von Bilddaten Img1. Das Smartphone 100 aus 2 ist derart ausgerichtet, dass sich mittels der Kamera 105 ein schematisch dargestellter Motor 30 als Zielgerät erfassen lässt. Der Motor 30 verfügt über einen Öleinfüllstutzen 31 und ein Verschlussteil 33.
  • In einer beispielhaften Ausführungsform läuft auf dem beschriebenen Smartphone 100 eine Anwendung ab, die den Benutzer auffordert, beispielsweise einen Wartungsvorgang für sein Auto auszuwählen. Der Benutzer kann unter anderem den Vorgang „Öl nachfüllen“ auswählen. Daraufhin sucht das Smartphone 100 aus der Gerätedatenbank 123 den entsprechenden Wartungsvorgang heraus und stellt fest, dass für das Auffüllen von Öl zunächst das Entriegeln des Verschlussteiles 32 des Öleinfüllstutzens 31 am Motor 30 notwendig ist. Die Anwendung fordert also den Benutzer auf, die Motorhaube zu öffnen und sein Smartphone 100 auf den Motorraum zu richten. Dann fängt die Anwendung an, Bilddaten Img1 von dem Motorraum, umfassend möglicherweise Abbildungen des Motors 30 wie in der 3 dargestellt, aufzuzeichnen. Die aufgezeichneten Bilddaten Img1 werden unmittelbar auf der Anzeigeeinrichtung 200 dargestellt.
  • 4 zeigt beispielhaft eine Darstellung der Bilddaten Img1 auf der Anzeigeeinrichtung 200. Erfindungsgemäß erkennt die laufende Anwendung, ob die Bilddaten Img1 eine Abbildung des Verschlussteils 32 enthalten und kennzeichnet dann diese Abbildung. Im in 4 gezeigten Ausführungsbeispiel ist die Abbildung dadurch gekennzeichnet, dass Pfeile 201, 201’ auf den gesuchten Bestandteil, nämlich das Verschlussteil 32 zeigen. In einer anderen Ausführungsform können die Konturen des gesuchten Bestandteils hervorgehoben werden, beispielsweise durch eine bestimmte Farbgebung. Auch wäre es denkbar, den gesuchten Bestandteil einzukreisen.
  • Nach dem Auffinden des gesuchten Bestandteils gibt die Anwendung vorzugsweise Anweisungen aus, die es dem Benutzer ermöglichen, den gewählten Wartungsvorgang durchzuführen. Beispielsweise kann der Benutzer aufgefordert werden, das angezeigte Verschlussteil 32, das mit den Pfeilen 201, 201’ gekennzeichnet ist, aufzuschrauben und je nach Bedarf Öl nachzufüllen.
  • Um den beschriebenen Ablauf zu gewährleisten, implementiert der Prozessor 101 des Smartphones 100 eine Vielzahl von Einrichtungen, die schematisch in 3 dargestellt sind. Hierunter fallen eine Ausleseeinrichtung 130 zum Auslesen der Konturdaten Kon1 aus der Gerätedatenbank 123, eine Analyseeinrichtung 140 zum Analysieren der aufgezeichneten Bilddaten Img1, eine Kennzeichnungseinrichtung 150 zur Kennzeichnung der identifizierten Abbildung des Bestandteils. Optional können eine Normalisierungseinrichtung 170 zur Normalisierung der erfassten Bilddaten Img1, eine Navigationseinrichtung 180 zum Auffinden einer geeigneten Ausrichtung der Kamera 105 und eine Kommunikationseinrichtung 190 vorgesehen sein.
  • 5 verdeutlicht beispielhaft einen möglichen Bildverarbeitungsvorgang, der zur Kennzeichnung des gesuchten Bestandteils – im Ausführungsbeispiel das Verschlussteil 32 – durch die Kennzeichnungseinrichtung 150 führt. So werden, wie bereits dargelegt, von der Kamera 105 eine Vielzahl von Bilddaten Img1 aufgezeichnet, die jeweils der Analyseeinrichtung 140 zugeführt werden. Des Weiteren wird anhand der vom Benutzer mittels der Eingabeeinrichtung 110 vorgenommenen Eingaben ein Wartungsvorgang ausgewählt, der mit ein oder mehreren Bestandteilen verknüpft ist. Für mindestens eines dieser Bestandteile werden beispielsweise über eine Identifikationsnummer ID von der Ausleseeinrichtung 130 Konturdaten Kon1 aus der Gerätedatenbank 123 ausgelesen. Diese Konturdaten Kon1 können Vektordaten sein, die den gesuchten Bestandteil im dreidimensionalen Raum ausreichend genau abbilden. Andererseits kann es sich hierbei auch lediglich um zweidimensionale Bilddaten handeln, die das eigentlich dreidimensionale Objekt, nämlich das Verschlussteil 32 aus einer vorgegebenen Sicht in einem (normalisierten) Abbild zeigen. Die Konturdaten Kon1 werden ebenfalls von der Analyseeinrichtung 140 verarbeitet und mit den Bilddaten Img1 abgeglichen. Sobald die Analyseeinrichtung 140 innerhalb der Bilddaten Img1 eine Abbildung entdeckt, die den Konturdaten Kon1 des gesuchten Bestandteils entspricht, werden entsprechende Informationen an die Kennzeichnungseinrichtung 150 ausgegeben, die dann eine Kennzeichnung vornimmt (z.B. die in 4 gezeigte Kennzeichnung).
  • Es sollte für den hier tätigen Fachmann klar sein, dass es eine Vielzahl von Bildverarbeitungsmöglichkeiten gibt, um die Abbildung des Verschlussteils 32 innerhalb der Bilddaten Img1 zu identifizieren. So wäre es theoretisch möglich, ein dreidimensionales Modell des gesamten Motorraums zu erstellen, aus den Bilddaten Img1 geeignete Konturen zu extrahieren und diese derart mit dem Modell zu vergleichen, dass festgestellt werden kann, welcher Teil des Motorraums aktuell von der Kamera 105 erfasst wird. Andererseits kann ein Vergleich im zweidimensionalen Bildraum erfolgen. In einer bevorzugten Ausführungsform liegen die Konturdaten Kon1 zweidimensional vor. Die erfassten Bilddaten Img1 werden mittels der Normalisierungseinrichtung 170 derart abgebildet, dass die Anwendung davon ausgehen kann, dass soweit das Verschlussteil 32 von der Kamera 105 erfasst wird, eine ausreichende Ähnlichkeit zwischen den gespeicherten Konturdaten Kon1 und den extrahierten Konturen besteht.
  • Vorzugsweise kennt die Normalisierungseinrichtung 170 zumindest im Groben die Ausrichtung und/oder die Position der Kamera 105 im Hinblick auf das Zielgerät, beispielsweise den Motor 30. Die Gerätedatenbank 123 kann bezüglich der Konturdaten Kon1 eine Normalisierungsebene vorgeben. Die Normalisierungseinrichtung 170 stellt dann fest, inwieweit die Ist-Ausrichtung der Kamera 105 von einer Soll-Ausrichtung der Kamera 105 abweicht und führt geeignete Transformationen durch, so dass die Bilddaten Img1 mit den Konturdaten Kon1 verglichen werden können. Die Ist-Ausrichtung der Kamera 105 kann durch geeignete Sensoren, z.B. Neigungssensoren, erfasst werden. Andererseits ist es denkbar, diesbezüglich Annahmen zu fällen. Beispielsweise ist es bei einem Motorraum ohne erheblichen Aufwand nur möglich, den Motor 30 aus einer bestimmten Richtung zu erfassen. Diese Informationen können ausreichen, um die Bilddaten Img1 in geeigneter Weise zu normalisieren.
  • Andererseits können die aufgezeichneten Bilddaten Img1 verwendet werden, um in einem iterativen Prozess die Ist-Position und/oder die Ist-Ausrichtung der Kamera 105 zu bestimmen. So können bezüglich des Motorraums bestimmte Farbmuster gespeichert werden, die in einfacher Weise eine grobe Feststellung der Position ermöglichen. So sind die üblichen Bestandteile eines Motorraums grau oder schwarz. Nur wenige Bereiche unterscheiden sich deutlich von diesen überwiegend dunklen Farben. Beispielsweise kann es eine blaue Abdeckkappe für das Wischwasser und eine helle Autobatterie geben. Die Autobatterie kann auf der einen Seite des Motorraums angeordnet sein, während die blaue Wischwasserkappe auf der anderen Seite ist. Sobald die Kamera 105 eines oder beide dieser Bauteile erfasst, ist es relativ einfach möglich, eine Position und/oder eine Ausrichtung der Kamera 105 zu berechnen. Diese Position kann dann dazu verwendet werden, die Bilddaten Img1 zur Auffindung der Konturdaten Kon1 zu verarbeiten.
  • Des Weiteren können diese gewonnenen Informationen bezüglich der Ist-Position und/oder der Ist-Ausrichtung der Kamera 105 dazu verwendet werden, dem Benutzer Instruktionen anzuzeigen, wie er die Kamera in geeigneter Weise ausrichten muss, um das Zielgerät – im Ausführungsbeispiel den Motor 30 – und/oder den gesuchten Bestandteil – im Ausführungsbeispiel das Verschlussteil 32 – zu erfassen. In der in 4 gezeigten Darstellung der Anzeigeeinrichtung 200 können beispielsweise Pfeile an den Rändern erscheinen, die dem Benutzer vorgeben, das Smartphone 100 nach links, nach rechts, nach oben oder nach unten zu bewegen. In dem vorher genannten Beispiel kann die Kamera 105 beispielsweise ausschließlich die Batterie erfassen. Die Navigationseinrichtung 180 weiß, dass sich das Verschlussteil 32 rechts von der Batterie befindet. Insofern kann sie entsprechende Instruktionen ausgeben, so dass der Benutzer das Smartphone 100 so lange nach rechts bewegt, bis die Bilddaten Img1 eine Abbildung des Verschlussteils 32 enthalten. Andererseits können entsprechende Anweisungen über einen Lautsprecher ausgegeben werden.
  • Der hier tätige Fachmann kennt eine Vielzahl von Möglichkeiten, wie die Positionsbestimmungseinrichtung 160 anhand von gewonnenen Bilddaten grobe Ist-Positionen und/oder Ist-Ausrichtungen der Kamera 105 erfassen kann. Des Weiteren weiß er, wie die Navigationseinrichtung 180 diese Daten zu verarbeiten hat, um dem Benutzer Soll-Positionen und/oder Soll-Ausrichtungen der Kamera 105 oder des Smartphones 100 vorzugeben.
  • In dem vorab beschriebenen Ausführungsbeispiel sind sämtliche Daten, die zur Auffindung des gesuchten Bestandteils und zur Auswahl des Wartungs- und/oder Bedienvorgangs notwendig sind, auf der Speichereinrichtung 120 gespeichert.
  • Theoretisch wäre es jedoch auch möglich, diese Daten zumindest teilweise von einer entfernten Einrichtung, beispielsweise einem Server 10 (vgl. 6) abzufragen. Dieser Abfragevorgang kann von der Kommunikationseinrichtung 190 durchgeführt werden, die eine Kommunikationsverbindung zu dem Server 10 herstellt. Hierfür verfügt der Server 10 über eine Sende-/Empfangseinheit. Des Weiteren weist der Server eine Serverdatenbank 13 auf, die ähnlich aufgebaut sein kann wie die Gerätedatenbank 123 des Smartphones 100. Hierin können beispielsweise eine Identifikationsnummer ID, Konturdaten Kon1 und Zusatzinformationen Data gespeichert werden. Das Smartphone, insbesondere die Kommunikationseinrichtung 190 kann die notwendigen Daten interaktiv von dem Server 10 abfragen und mit diesen ein Auffinden des Bestandteils erleichtern.
  • In einem weiteren Ausführungsbeispiel ist ein Teil der Daten lokal auf dem Smartphone 100 gespeichert. Weitere Daten, beispielsweise Zusatzinformationen Data werden von dem Server 10 abgefragt. Vorzugsweise können diese Daten zumindest zeitweise auf dem Smartphone 100, insbesondere auf der Speichereinrichtung 120, zwischengespeichert werden.
  • Im beschriebenen Ausführungsbeispiel werden die Tasten 111, 111’ dazu verwendet, um einen Wartungs- und/oder Bedienvorgang und/oder ein Bestandteil auszuwählen. Theoretisch könnte diese Auswahl auch anhand eines Touchscreens erfolgen. Des Weiteren kann diese Auswahl durch eine weitere Anwendung erfolgen.
  • Ebenso kann die beschriebene Anwendung dazu ausgebildet sein, unabhängig von einem Wartungs- und/oder Bedienvorgang Bestandteile des Zielgeräts aufzufinden. So kann der Benutzer beispielsweise direkt eingeben, dass er das Verschlussteil 32 des Öleinfüllstutzens 31 sucht. Einen Hinweis darauf, dass er möglicherweise Öl nachfüllen möchte, muss nicht erfolgen.
  • Im vorliegend beschriebenen Ausführungsbeispiel war das Zielgerät ein Motor oder ein Motorraum. Es sollte klar sein, dass das Zielgerät jedes beliebige technische Gerät, beispielsweise ein Tischventilator, eine Kaffeemaschine, ein Fahrrad, oder ein Stuhl sein kann. Ebenso sind die unterschiedlichsten Konstellationen bezüglich des gesuchten Bestandteils denkbar. Hierbei kann es sich beispielsweise um einen Schalter, eine Schraube, ein Anschlusskabel, usw. handeln.
  • Es ist denkbar eine Zusatzinformationseinrichtung zu implementieren, die Zusatzinformationen Data ausgibt, sobald das gesuchte Bestandteil aufgefunden wird. Diese Zusatzinformationen können in beliebigen Formaten, z. B. Bilddaten, Textdaten, Videodaten, Tondaten, vorliegen und in geeigneter Weise ausgegeben werden.
  • Bezugszeichenliste
  • 10
    Server
    11
    Sende-/Empfangseinheit
    13
    Serverdatenbank
    30
    Motor
    31
    Öleinfüllstutzen
    32
    Verschlussteil
    100
    Smartphone
    101
    Prozessor
    105
    Kamera
    110
    Eingabeeinrichtung
    111, 111’
    Taste
    120
    Speichereinrichtung
    123
    Gerätedatenbank
    130
    Ausleseeinrichtung
    140
    Analyseeinrichtung
    150
    Kennzeichnungseinrichtung
    160
    Positionsbestimmungseinrichtung
    170
    Normalisierungseinrichtung
    180
    Navigationseinrichtung
    190
    Kommunikationseinrichtung
    191
    Antenne
    200
    Anzeigeeinrichtung
    201, 201’
    Pfeil
    ID
    Identifikationsnummer
    Img1
    Bilddaten
    Kon1
    Konturdaten
    Data
    Zusatzinformationen

Claims (9)

  1. Vorrichtung, insbesondere Smartphone (100), zur Unterstützung der Durchführung eines Wartungs- und/oder Bedienvorgangs an einem Zielgerät (30), umfassend: – eine Eingabeeinrichtung (110) zur Auswahl eines Wartungs- und/oder Bedienvorgangs und/oder eines Bestandteils (32) des Zielgeräts (30) aus einer Liste von in einer Datenbank (13, 130) gespeicherten Wartungs- und/oder Bedienvorgängen und/oder Bestandteilen (32); – eine Ausleseeinrichtung (130) zum Auslesen von Konturdaten (Kon1) des ausgewählten Bestandteils (32) oder eines dem Wartungs- und/oder Bedienvorgang zugeordneten Bestandteils (32); – eine Kamera (105) zum Erfassen einer Vielzahl von Bildern (Img1); – eine Analyseeinrichtung (140) zum Analysieren der Bilder (Img1) und zum Identifizieren einer Abbildung des Bestandteils (32) anhand der Konturdaten (Kon1) in den Bildern (Img1); – eine Kennzeichnungseinrichtung (150) zur Kennzeichnung der identifizierten Abbildung des Bestandteils (32); – eine Anzeigeeinrichtung (200) zur Anzeige mindestens eines der erfassten Bilder in Verbindung mit der Kennzeichnung der Kennzeichnungseinrichtung (150).
  2. Vorrichtung nach Anspruch 1, gekennzeichnet durch eine Positionsbestimmungseinrichtung (160) zur Erfassung der Ausrichtung der Kamera (105) bezüglich des Zielgeräts (30) und optional der Position der Kamera (105) bezüglich des Zielgeräts (30); eine Normalisierungseinrichtung (170) zur Abbildung der Bilder (Img1) auf eine, vorzugsweise durch die Konturdaten (Kon1) vorgegebene, Normalisierungsebene.
  3. Vorrichtung nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Navigationseinrichtung (180) zum Empfangen von Ist-Ausrichtungsdaten der Kamera (105) bezüglich des Zielgeräts (30) und von Ist-Positionsdaten der Kamera (105) bezüglich des Zielgeräts (30) und zum Ausgeben einer Soll-Position und/oder einer Soll-Ausrichtung der Kamera (105) zur Erfassung des Zielgeräts (30), insbesondere des ausgewählten Bestandteils (32).
  4. Vorrichtung nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Speichereinrichtung (120) zur Speicherung der Datenbank (123), die eine Vielzahl von Bestandteilen (32) von Zielgeräten (30) und zugehörigen Konturdaten umfasst.
  5. Vorrichtung nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Kommunikationseinrichtung (190) zum Abfragen von Informationen, insbesondere Zusatzinformationen und/oder Konturdaten (Kon1), von einem Server (10).
  6. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine/die Positionsbestimmungseinrichtung (160) zur Erfassung der Ausrichtung der Kamera (105) bezüglich des Zielgeräts (30) und der Position der Kamera (105) bezüglich des Zielgeräts (30) dazu ausgebildet ist, – eine für das Zielgerät (30) oder einen Teil des Zielgeräts (30) spezifisches Farbverteilungsmuster einzulesen und – anhand eines Abgleichs des Farbverteilungsmuster mit den erfassten Bildern (Img1) Ist-Ausrichtungsdaten und Ist-Positionsdaten der Kamera (105) zu erzeugen.
  7. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine/die Positionsbestimmungseinrichtung (160) zur Erfassung der Ausrichtung der Kamera (105) bezüglich des Zielgeräts (30) und der Position der Kamera (105) bezüglich des Zielgeräts (30) dazu ausgebildet ist, Konturdaten (Kon1) einer Vielzahl von unterschiedlichen, dem Zielgerät (30) zugeordneten Bestandteilen (32) auszulesen und anhand eines Abgleichs der Konturdaten (Kon1) mit den erfassten Bildern (Img1) Ist-Ausrichtungsdaten und Ist-Positionsdaten der Kamera (105) zu erzeugen.
  8. Vorrichtung nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Zusatzinformationseinrichtung, die dazu ausgebildet ist Zusatzinformationen auf der Anzeigeeinrichtung (200) anzuzeigen, insbesondere, wenn die Abbildung des Bestandteils von der Analyseeinrichtung (140) identifiziert wurde.
  9. Computerlesbares Medium mit Programmcode zur Ausführung auf einer Recheneinheit (101), der die Recheneinheit (101) veranlasst, nachfolgende Routine zur Durchführung eines Wartungs- und/oder Bedienvorgangs an einem Zielgerät (30) unter Verwendung eines Smartphones (100), insbesondere eines Smartphones (100) nach einem der Ansprüche 1 bis 8, durchzuführen, umfassend die Schritte: – Festlegen des Zielgeräts (30); – Auswahl eines Wartungs- und/oder Bedienvorgangs und/oder eines Bestandteils (32) des Zielgeräts (30) aus einer Liste von in einer Datenbank gespeicherten Wartungs- und/oder Bedienvorgängen und/oder Bestandteilen (32); – Erfassen einer Vielzahl von Bildern (Img1) mittels mindestens einer Kamera (105) des Smartphones (100); – Auslesen von Konturdaten (Kon1) des ausgewählten Bestandteils (32) oder eines dem Wartungs- und/oder Bedienvorgang zugeordneten Bestandteils (32); – Analysieren der Bilder (Img1) durch das Smartphone (100) zur Identifikation einer Abbildung des Bestandteils (32) anhand der Konturdaten (Kon1); – Anzeigen mindestens eines Bildes der erfassten Vielzahl von Bildern (Img1) auf einer Anzeigeeinrichtung (200) des Smartphones (100), wobei eine Abbildung des Bestandteils (32) gekennzeichnet ist, wenn die Abbildung des Bestandteils (32) anhand der Konturdaten (Kon1) identifiziert wurde..
DE202010018074.0U 2010-12-13 2010-12-13 Vorrichtung zur Unterstützung der Durchführung eines Wartungs- und/oder Bedienvorgangs, entsprechendes Verfahren und computerlesbares Medium mit Programmcode zur Ausführung eines entsprechenden Verfahrens Expired - Lifetime DE202010018074U1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE202010018074.0U DE202010018074U1 (de) 2010-12-13 2010-12-13 Vorrichtung zur Unterstützung der Durchführung eines Wartungs- und/oder Bedienvorgangs, entsprechendes Verfahren und computerlesbares Medium mit Programmcode zur Ausführung eines entsprechenden Verfahrens

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE202010018074.0U DE202010018074U1 (de) 2010-12-13 2010-12-13 Vorrichtung zur Unterstützung der Durchführung eines Wartungs- und/oder Bedienvorgangs, entsprechendes Verfahren und computerlesbares Medium mit Programmcode zur Ausführung eines entsprechenden Verfahrens

Publications (1)

Publication Number Publication Date
DE202010018074U1 true DE202010018074U1 (de) 2014-01-21

Family

ID=50625891

Family Applications (1)

Application Number Title Priority Date Filing Date
DE202010018074.0U Expired - Lifetime DE202010018074U1 (de) 2010-12-13 2010-12-13 Vorrichtung zur Unterstützung der Durchführung eines Wartungs- und/oder Bedienvorgangs, entsprechendes Verfahren und computerlesbares Medium mit Programmcode zur Ausführung eines entsprechenden Verfahrens

Country Status (1)

Country Link
DE (1) DE202010018074U1 (de)

Similar Documents

Publication Publication Date Title
DE112017006448T5 (de) System und Verfahren zum Anzeigen von interessierenden Objekten an einem Ereignisort
DE102011013760B4 (de) Verfahren, Vorrichtung und Computerprogrammprodukt zur Informationsvermittlung mittels erweiterter Realität im Zusammenhang mit einem Straßenfahrzeug
DE102015108498A1 (de) Bereitstellen einer fahrzeugbenutzerhandbuchinformation unter verwendung einer objekterkennung an einer mobilen einrichtung
DE102017130041A1 (de) Automatische leckerkennung bei fahrzeugen
DE102014213556A1 (de) Tracking-Unterstützungsvorrichtung, Tracking-Unterstützungssystem und Tracking-Unterstützungsverfahren
DE102014220302A1 (de) Echt-Zeit Mehr-Klassen Fahreraktions-Erkennung unter Verwendung eines Random Forest
DE102014213554A1 (de) Tracking-Unterstützungsvorrichtung, Tracking-Unterstützungssystem und Tracking-Unterstützungsverfahren
DE112011102043T5 (de) Objekterfassungsmetadaten
DE102018100192A1 (de) Erzeugen von Trainingsdaten zur automatischen Leckerkennung bei Fahrzeugen
DE102019132052A1 (de) Intelligente Internet-der-Dinge-Menüs mit Kameras
DE102019102866A1 (de) Identifizierung eines Herstellungsteils unter Verwendung von Computervision und Maschinenlernen
DE102014204320A1 (de) Informationsabfrage durch Zeigen
DE112019004488B4 (de) Doppelmodus-Datenerfassungssystem zur Kollisionserfassung und Objektdimensionierung und Verfahren zur Doppelmodus-Datenerfassung
DE202015009148U1 (de) Automatische Bearbeitung von Bildern
DE202015009137U1 (de) Verwenden von Bildmerkmalen zur Extraktion von Ansichtsfenstern aus Bildern
DE112008000017T5 (de) Abbilden von Bildern mit Gestaltbeschreibern
DE102018003475A1 (de) Formbasierte Grafiksuche
DE102015223427A1 (de) Vorrichtung und Verfahren zur Visualisierung und Dokumentation von Schäden
CN110569856A (zh) 样本标注方法及装置、损伤类别的识别方法及装置
DE112016001039T5 (de) Vorrichtung und Verfahren zur Extraktion eines interessierenden Bereichs
DE102020126598A1 (de) Mikroskopiesystem und verfahren zur verifizierung eines trainierten bildverarbeitungsmodells
EP2813999B1 (de) Augmented-Reality-System und Verfahren zum Erzeugen und Anzeigen von Augmented-Reality-Objektdarstellungen für ein Fahrzeug
DE112019006132T5 (de) Verfahren, system und vorrichtung zur hilfsetikett-erkennung und -zuordnung
DE102018006764B4 (de) Verfahren und system(e) für das management von frachtfahrzeugen
DE112011106058T5 (de) Bilderfassung mit virtuellem Verschluss

Legal Events

Date Code Title Description
R150 Term of protection extended to 6 years
R207 Utility model specification

Effective date: 20140522

R157 Lapse of ip right after 6 years