DE102022208648A1 - Verfahren zur Erkennung eines Zustands eines Stützelements für eine Arbeitseinrichtung eines Arbeitsfahrzeugs, Steuereinrichtung dafür und Arbeitsfahrzeug damit - Google Patents

Verfahren zur Erkennung eines Zustands eines Stützelements für eine Arbeitseinrichtung eines Arbeitsfahrzeugs, Steuereinrichtung dafür und Arbeitsfahrzeug damit Download PDF

Info

Publication number
DE102022208648A1
DE102022208648A1 DE102022208648.1A DE102022208648A DE102022208648A1 DE 102022208648 A1 DE102022208648 A1 DE 102022208648A1 DE 102022208648 A DE102022208648 A DE 102022208648A DE 102022208648 A1 DE102022208648 A1 DE 102022208648A1
Authority
DE
Germany
Prior art keywords
support element
state
work vehicle
work
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022208648.1A
Other languages
English (en)
Inventor
Gabriela Jager
Carolin Heller
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102022208648.1A priority Critical patent/DE102022208648A1/de
Publication of DE102022208648A1 publication Critical patent/DE102022208648A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

Offenbart wird ein Verfahren zur Erkennung eines Zustands eines Stützelements für eine Arbeitseinrichtung eines Arbeitsfahrzeugs, das Verfahren umfassend: einen Erfassungsschritt (EFS) zum Erfassen von Bilddaten bezüglich einem das Stützelement beinhaltenden Bildbereich; einen Auswerteschritt (AS) zum Auswerten der erfassten Bilddaten, um das Stützelement innerhalb des Bildbereichs zu erkennen; einen Bestimmungsschritt (BS), um den Zustand des Stützelements zu bestimmen; und einen Erzeugungsschritt (EZS) zum Erzeugen eines dem Arbeitsfahrzeug zuführbaren Steuersignals abhängig von dem bestimmten Zustand des Stützelements. Offenbart wird ferner eine Steuereinrichtung (22) zum Erkennen eines Zustands eines Stützelements (16) für eine Arbeitseinrichtung (12) eines Arbeitsfahrzeugs (10) sowie ein Arbeitsfahrzeug (10) mit der Steuereinrichtung (22).

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Erkennung eines Zustands eines Stützelements für eine Arbeitseinrichtung eines Arbeitsfahrzeugs mittels Bildverarbeitung. Abhängig von dem erkannten Zustand des Stützelements wird ein Steuersignal für das Arbeitsfahrzeug erzeugt. Die Erfindung betrifft ferner eine Steuereinrichtung zum Erkennen eines Zustands eines Stützelements für eine Arbeitseinrichtung eines Arbeitsfahrzeugs und ein Arbeitsfahrzeug mit der Steuereinrichtung.
  • Stand der Technik
  • Es sind vielfältige Methoden zur Sicherheitsüberprüfung im Schwerlastbereich bekannt. Beispielsweise kann der Knickwinkel einer Deichsel zwischen einem Zugfahrzeug und einem Anhänger mittels Kameras überwacht werden. Ferner ist es bekannt, das Vorhandensein von Sicherungseinrichtungen wie Spanngurte oder Gurtschlösser in dafür vorgesehenen Aufnahmen sensorisch zu überwachen. Schließlich kann die ordnungsgemäße Ausrichtung von Abstützungen oder Gegengewichten eines Lastkrans per Funk überwacht werden. Es besteht jedoch weiterhin Bedarf, die Betriebssicherheit von Arbeitsfahrzeugen zu erhöhen.
  • Darstellung der Erfindung
  • Die vorliegende Erfindung betrifft in einem ersten Aspekt ein Verfahren zur Erkennung eines Zustands eines Stützelements für eine Arbeitseinrichtung eines Arbeitsfahrzeugs. Das Arbeitsfahrzeug kann ein Fahrzeug sein, welches zur Verrichtung einer oder mehrerer Arbeitsaufgaben ausgebildet ist. Ferner kann das Arbeitsfahrzeug auch zum Transport von Lasten ausgebildet sein. Beispielsweise kann ein Arbeitsfahrzeug ein Radlader, ein Bagger oder ein Muldenkipper sein. Die Arbeitseinrichtung kann an dem Arbeitsfahrzeug angebracht und zur Verrichtung der Arbeitsaufgabe ausgebildet sein.
  • Beispielweise kann die Arbeitseinrichtung eine Baggerschaufel, eine Hubvorrichtung oder eine Transportvorrichtung sein.
  • In bestimmten Betriebssituationen des Arbeitsfahrzeugs, beispielsweise während der Verrichtung der Arbeitsaufgabe oder des Ablagevorgangs von in der Arbeitseinrichtung aufgenommener Last kann es notwendig sein, dass die Arbeitseinrichtung von einem dazu ausgebildeten Stützelement an dem Arbeitsfahrzeug beziehungsweise relativ zu diesem abgestützt ist. Hierdurch kann die Betriebssicherheit des Arbeitsfahrzeugs erhöht und können Unfälle vermieden werden. Das Stützelement kann aus einem festen Material gebildet und entlang zumindest einer Stützachse steif sein. Es kann eine Mehrzahl von Stützelementen zum Abstützen der Arbeitseinrichtung vorgesehen sein.
  • Das Stützelement kann verschiedene Zustände aufweisen. Beispielweise kann das Stützelement an der Arbeitseinrichtung angelegt und mit dieser verbunden werden. An einem der Arbeitseinrichtung abgewandten Endabschnitt des Stützelements kann dieses mit dem Arbeitsfahrzeug verbunden sein. Alternativ kann die Arbeitseinrichtung mittels des Stützelements auf dem Erdboden abgestützt werden. Es kann eine Wirkverbindung des Stützelements mit der Arbeitseinrichtung vorliegen. Alternativ oder zusätzlich kann der Zustand des Stützelements auch hinsichtlich struktureller Eigenschaften definiert sein, wie beispielsweise einer bestimmten Materialbeschaffenheit oder bestimmter geometrischer Abmessungen. Die verschiedenen Zustände des Stützelements können mittels des vorgeschlagenen Verfahrens erfasst werden.
  • Das Verfahren umfasst einen Erfassungsschritt zum Erfassen von Bilddaten bezüglich eines das Stützelement beinhaltenden Bildbereichs. Die Bilddaten können beispielsweise mittels einer Kamera erfasst werden. Die Bilddaten können in Form von Einzelbildern vorliegen. Der Bildbereich kann dem von der Kamera erfassbaren Bildwinkel entsprechen. Der Bildbereich kann in Fahrtrichtung hinter einer Fahrerkabine des Arbeitsfahrzeugs angeordnet sein. Das Stützelement kann sich zumindest teilweise innerhalb des Bildbereichs befinden. Beispielsweise kann vorgesehen sein, dass zumindest derjenige Abschnitt des Stützelements innerhalb des Bildbereichs angeordnet ist, welcher an der Arbeitseinrichtung angelegt werden kann. Die Arbeitseinrichtung kann zumindest teilweise innerhalb des Bildbereichs angeordnet sein.
  • Das Verfahren umfasst einen Auswerteschritt zum Auswerten der erfassten Bilddaten, um das Stützelement innerhalb des Bildbereichs zu erkennen. Der Auswerteschritt kann von einer Steuereinrichtung des Arbeitsfahrzeugs durchgeführt werden, an welche die von der Kamera erfassten Bilddaten übertragen werden können. Der Auswerteschritt kann mittels bekannter Methoden zur Bildverarbeitung erfolgen. Beispielsweise können die Bilddaten in einzelne Segmente aufgeteilt werden, welche beispielsweise anhand ihres Farbwerts unterschieden werden können. Alternativ oder zusätzlich kann eine Kantenextraktion der Bilddaten durchgeführt werden, um vorgegebene Strukturen innerhalb der Bilddaten zu identifizieren. Die Bilddaten können hierbei derart verarbeitet werden, dass Bildbereiche beziehungsweise Pixel, welche einen Teil des Stützelements abbilden, von anderen Bildbereichen beziehungsweise Pixeln der Bilddaten unterschieden werden können. Hierdurch kann das Stützelement innerhalb des Bildbereichs erkannt werden.
  • Das Verfahren umfasst einen Bestimmungsschritt, um den Zustand des Stützelements zu bestimmen. Der Bestimmungsschritt kann von einer Steuereinrichtung des Arbeitsfahrzeugs durchgeführt werden, an welche die ausgewerteten Bilddaten übertragen werden können. Hierzu kann beispielsweise eine Lage des Stützelements innerhalb des Bildbereichs ermittelt und mit einer vorgegebenen Lage des Stützelements verglichen werden. Alternativ oder zusätzlich kann eine Winkelanordnung des Stützelements innerhalb des Bildbereichs ermittelt und mit einer vorgegebenen Winkelanordnung des Stützelements verglichen werden. Alternativ oder zusätzlich kann eine Oberflächenbeschaffenheit des Stützelements innerhalb des Bildbereichs ermittelt und mit einer vorgegebenen Oberflächenbeschaffenheit des Stützelements verglichen werden.
  • Das Verfahren umfasst einen Erzeugungsschritt zum Erzeugen eines dem Arbeitsfahrzeug zuführbaren Steuersignals abhängig von dem bestimmten Zustand des Stützelements. Der Erzeugungsschritt kann von einer Steuereinrichtung des Arbeitsfahrzeugs durchgeführt werden, an welche der bestimmte Zustand des Stützelements übertragen werden kann. Das erzeugte Steuersignal kann direkt der Steuereinrichtung des Arbeitsfahrzeugs zugeführt werden. Alternativ kann das erzeugte Steuersignal einer weiteren Steuereinrichtung des Arbeitsfahrzeugs, beispielsweise einer Motorsteuerung, zugeführt werden. Mittels des Steuersignals kann beispielsweise in Abhängigkeit des Zustands des Stützelements ein Betriebszustand des Arbeitsfahrzeugs beeinflusst werden. Alternativ oder zusätzlich kann mittels des Steuersignals ein Fahrer des Arbeitsfahrzeugs über den Zustand des Stützelements informiert werden. Alternativ oder zusätzlich kann ein Fahrer des Arbeitsfahrzeugs gewarnt werden, wenn der bestimmte Zustand des Stützelements von einem vorgegebenen Zustand desselben abweicht.
  • Die ordnungsgemäße und regelmäßige Anbringung des Stützelements an der Arbeitseinrichtung des Arbeitsfahrzeugs kann von einem Fahrer des Arbeitsfahrzeugs, insbesondere bei häufig wechselnden Betriebszuständen desselben, vergessen werden. Alternativ oder zusätzlich kann von dem Fahrer des Arbeitsfahrzeugs vergessen werden, das Abstützen der Arbeitseinrichtung durch das Stützelement zu lösen, beispielsweise während einer Fahrt des Arbeitsfahrzeugs. In beiden Fällen ist die Betriebssicherheit des Arbeitsfahrzeugs durch das fehlerhaft angeordnete Stützelement beeinträchtigt. Mittels des vorgeschlagenen Verfahrens erfolgt eine automatisierte Erkennung des Zustands des Stützelements aufgrund einfacher Bilderkennung. Durch das in Abhängigkeit von dem bestimmten Zustand des Stützelements erzeugte Steuersignal kann das Zustandekommen eines Unfalls aufgrund eines fehlerhaft angeordneten Stützelements vermieden werden. Die Betriebssicherheit des Arbeitsfahrzeugs wird dadurch erhöht.
  • Nach einer Ausführungsform kann der Zustand des Stützelements zumindest eines der folgenden umfassen: eine Ausrichtung des Stützelements relativ zu der Arbeitseinrichtung; das Vorliegen einer Wirkverbindung des Stützelements mit der Arbeitseinrichtung; und eine Struktureigenschaft des Stützelements. Eine Ausrichtung des Stützelements relativ zu der Arbeitseinrichtung kann beispielsweise aufgerichtet, teilweise aufgerichtet oder abgelegt sein. Eine Wirkverbindung des Stützelements mit der Arbeitseinrichtung kann beispielsweise hergestellt oder nicht hergestellt sein. Eine Struktureigenschaft des Stützelements kann beispielsweise verbogen, verdrillt, porös, zumindest teilweise gebrochen oder auf andere Art beschädigt sein. Mittels des vorgeschlagenen Verfahrens kann somit eine Vielzahl von unterschiedlichen Zuständen des Stützelements erfasst werden. Das Verfahren kann daher an unterschiedliche Arten von Stützelementen angepasst werden.
  • Gemäß einer weiteren Ausführungsform kann die Erkennung des Zustands des Stützelements im Zusammenhang mit einer Sicherheitsüberprüfung des Arbeitsfahrzeugs vorgenommen werden. Bei der Sicherheitsüberprüfung kann zumindest eine für die Betriebssicherheit des Arbeitsfahrzeugs relevante Eigenschaft desselben überprüft werden. Beispielweise kann die Funktion der Bremsen oder die Funktion der Arbeitseinrichtung des Arbeitsfahrzeugs überprüft werden. Die Sicherheitsüberprüfung kann in regelmäßigen Zeitabständen wiederholt werden. Während der Durchführung der Sicherheitsüberprüfung kann das vorgeschlagene Verfahren zur Erkennung des Zustands des Stützelements durchgeführt werden. Der Zustand des Stützelements für die Arbeitseinrichtung kann somit eine für die Betriebssicherheit des Arbeitsfahrzeugs relevante Eigenschaft sein. Die Betriebssicherheit des Arbeitsfahrzeugs wird dadurch erhöht.
  • Nach einer weiteren Ausführungsform kann der Bestimmungsschritt mittels eines auf maschinellem Lernen basierenden Algorithmus durchgeführt werden. Der auf maschinellem Lernen basierenden Algorithmus kann hierbei ein statistisches Modell generieren, welchem Trainingsdaten zugeführt werden. Von dem Algorithmus kann ein Zusammenhang zwischen den Trainingsdaten erkannt werden. Beispielweise kann ein neuronales Netz verwendet werden. Ein neuronales Netz kann mit Trainingsdaten trainiert werden, um mittels gewichteter mathematischer Verbindungen einen Zusammenhang zwischen Eingabedaten und Ausgabedaten zu lernen. Weitere Formen des maschinellen Lernens sind ebenfalls denkbar. Mittels maschinellen Lernens kann der Zustand des Stützelements schneller und zuverlässiger bestimmt werden als mit herkömmlichen Berechnungsverfahren.
  • Gemäß einer weiteren Ausführungsform kann von dem auf maschinellem Lernen basierenden Algorithmus ermittelt werden, ob das Stützelement in Richtung auf die Arbeitseinrichtung ausgerichtet ist. Der Algorithmus kann hierzu mit verschiedenen Klassen von Bilddaten trainiert werden. In einer Klasse von Bilddaten kann ein abgelegtes Stützelement dargestellt sein. Diese Klasse von Bilddaten kann hinsichtlich verschiedener Zustände der Arbeitseinrichtung in Teilmengen unterteilt werden. Beispielweise kann in einer ersten Teilmenge von Bilddaten dieser Klasse die Arbeitseinrichtung in einer Arbeitsposition des Arbeitsfahrzeugs dargestellt sein. In einer zweiten Teilmenge von Bilddaten dieser Klasse kann die Arbeitseinrichtung in einer Fahrtposition des Arbeitsfahrzeugs dargestellt sein. Die Genauigkeit der Erkennung eines Zustands des Stützelements hinsichtlich einer Ausrichtung desselben kann mittels des derart trainierten Algorithmus verbessert werden.
  • Nach einer weiteren Ausführungsform kann von dem auf maschinellem Lernen basierenden Algorithmus ermittelt werden, ob eine Wirkverbindung zwischen dem Stützelement und der Arbeitseinrichtung hergestellt ist. Der Algorithmus kann hierzu mit verschiedenen Klassen von Bilddaten trainiert werden. In einer Klasse von Bilddaten kann ein an der Arbeitseinrichtung angelegtes Stützelement dargestellt sein. Diese Klasse von Bilddaten kann hinsichtlich verschiedener Lagen des Stützelements in Teilmengen unterteilt werden. Beispielweise kann in einer ersten Teilmenge der Bilddaten dieser Klasse ein Fahrer dargestellt sein, welcher das Stützelement an die Arbeitseinrichtung anlegt. Beispielweise kann in einer zweiten Teilmenge von Bilddaten dieser Klasse ein Stützelement dargestellt sein, welches nicht mit der Arbeitseinrichtung wirkverbunden ist. Die Genauigkeit der Erkennung eines Zustands des Stützelements hinsichtlich einer Wirkverbindung desselben mit der Arbeitseinrichtung kann mittels des derart trainierten Algorithmus verbessert werden.
  • Gemäß einer weiteren Ausführungsform kann von dem auf maschinellem Lernen basierenden Algorithmus ermittelt werden, ob sich ein innerhalb des Bildbereichs erkanntes Stützelement in einer vorgegebenen Lage befindet. Die vorgegebene Lage kann bezüglich einer Position oder einer Winkelausrichtung des Stützelements vorgegeben sein. Der Algorithmus kann hierzu mit verschiedenen Klassen von Bilddaten trainiert werden. In einer ersten Klasse von Bilddaten kann ein abgelegtes Stützelement dargestellt sein. In einer zweiten Klasse von Bilddaten kann ein aufgerichtetes Stützelement dargestellt sein. Diese Klassen von Bilddaten können hinsichtlich verschiedener Lagen des Stützelements in Teilmengen unterteilt werden. Beispielweise kann in einer ersten Teilmenge von Bilddaten der ersten und der zweiten Klasse ein Stützelement dargestellt sein, welches sich in einer vorgegebenen Lage befindet. In einer zweiten Teilmenge von Bilddaten der ersten und der zweiten Klasse kann ein Stützelement dargestellt sein, welches von einer vorgegebenen Lage abweicht. Die Genauigkeit der Erkennung eines Zustands des Stützelements hinsichtlich einer vorgegebenen Lage desselben innerhalb des Bildbereichs kann mittels des derart trainierten Algorithmus verbessert werden.
  • Nach einer weiteren Ausführungsform kann das Verfahren ferner einen Personenerfassungsschritt zum Erfassen einer Person innerhalb eines vorgegebenen Gefahrenbereichs umfassen. Eine Person kann beispielsweise ein Fahrer des Arbeitsfahrzeugs sein. Alternativ kann eine Person erkannt werden, welche sich am oder in einer Umgebung des Arbeitsfahrzeugs befindet. Das Erfassen einer Person kann anhand der erfassten Bilddaten erfolgen. Die Person kann in analoger Weise wie der Zustand des Stützelements erfasst werden. Der Gefahrenbereich kann ein Bereich sein, innerhalb dessen der Aufenthalt einer Person bei nicht angelegtem Stützelement aufgrund unzureichender Abstützung der Arbeitseinrichtung nicht vorgesehen ist. Das Stützelement kann zumindest teilweise innerhalb des Gefahrenbereichs angeordnet sein. Alternativ oder zusätzlich kann die Arbeitseinrichtung zumindest teilweise innerhalb des Gefahrenbereichs angeordnet sein. Das Erfassen einer Person kann über einen vorgegebenen Zeitraum erfolgen. Beispielweise kann ein Mindestzeitraum vorgegeben werden, während dessen ein Fahrer des Arbeitsfahrzeugs das Stützelement an der Arbeitseinrichtung anlegen kann. Wird innerhalb dieses Mindestzeitraum eine Person innerhalb des Gefahrenbereichs erfasst, kann davon ausgegangen werden, dass es sich um den Fahrer des Arbeitsfahrzeugs handelt. Durch das Erfassen einer Person innerhalb eines vorgegebenen Gefahrenbereichs kann die Betriebssicherheit des Arbeitsfahrzeugs weiter erhöht werden.
  • Gemäß einer weiteren Ausführungsform kann das Steuersignal ferner in Abhängigkeit von dem Erfassen der Person erzeugt werden. Beispielweise kann durch das Steuersignal ein Warnsignal an den Fahrer des Arbeitsfahrzeugs generiert werden, wenn eine Person innerhalb des Gefahrenbereichs erfasst wurde. Alternativ oder zusätzlich kann durch das Steuersignal beispielsweise ein Losfahren des Arbeitsfahrzeugs oder ein Bewegen der Arbeitseinrichtung beschränkt werden, wenn eine Person innerhalb des Gefahrenbereichs erfasst wurde. Durch das Erzeugen des Steuersignals in Abhängigkeit von dem Erfassen der Person wird die Betriebssicherheit des Arbeitsfahrzeugs weiter erhöht.
  • Nach einer weiteren Ausführungsform kann auf Grundlage des Steuersignals ein Warnsignal erzeugt werden, wenn der erkannte Zustand des Stützelements von einem vorgegebenen Zustand abweicht. Beispielweise kann ein optisches, akustisches oder optisches Warnsignal erzeugt werden. Mittels des Warnsignals kann beispielweise ein Fahrer des Arbeitsfahrzeugs darüber informiert werden, dass das Stützelement von einem vorgegebenen Zustand abweicht. Beispielsweise kann ein Warnsignal erzeugt werden, wenn das Stützelement an der Arbeitseinrichtung angelegt ist und sich das Arbeitsfahrzeug in Bewegung setzt. Alternativ oder zusätzlich kann ein Warnsignal erzeugt werden, wenn das Stützelement nicht an der Arbeitseinrichtung angelegt ist und das Arbeitsfahrzeug mit der Verrichtung einer Arbeitsaufgabe beginnt. Durch die Erzeugung eines Warnsignals wird die Betriebssicherheit des Arbeitsfahrzeugs weiter erhöht.
  • Gemäß einer weiteren Ausführungsform kann mittels des Steuersignals ein Betriebszustand des Arbeitsfahrzeugs beschränkt werden, wenn der erkannte Zustand des Stützelements von einem vorgegebenen Zustand abweicht. Mittels des Steuersignals kann das Losfahren des Arbeitsfahrzeugs, beispielsweise durch automatisches Einlegen der Handbremse, das Blockieren eines Gangwechsels oder das Blockieren eines Motorstarts des Arbeitsfahrzeugs, beschränkt werden. Alternativ oder zusätzlich kann mittels des Steuersignals ein Wechsel zwischen zwei Betriebszuständen des Arbeitsfahrzeugs, beispielsweise zwischen einem Fahrzustand und einem Arbeitszustand desselben, blockiert werden. Hierdurch kann die Betriebssicherheit des Arbeitsfahrzeugs weiter erhöht werden.
  • Die vorliegende Erfindung betrifft in einem zweiten Aspekt eine Steuereinrichtung zum Erkennen eines Zustands eines Stützelements für eine Arbeitseinrichtung eines Arbeitsfahrzeugs. Die Steuereinrichtung umfasst eine Erfassungsvorrichtung zur Erfassung von Bilddaten bezüglich einem das Stützelement beinhaltenden Bildbereich. Die Erfassungsvorrichtungen kann zum Durchführen des Erfassungsschritts des Verfahrens gemäß dem ersten Aspekt ausgebildet sein. Die Erfassungsvorrichtung kann beispielsweise eine Kamera sein. Ferner umfasst die Steuereinrichtung eine Auswertevorrichtung zur Auswertung der erfassten Bilddaten, um das Stützelement innerhalb des Bildbereichs zu erkennen. Die Auswertevorrichtung kann zur Durchführung des Auswerteschritt des Verfahrens gemäß dem ersten Aspekt ausgebildet sein. Ferner umfasst die Steuereinrichtung eine Bestimmungsvorrichtung zur Bestimmung des Zustands des Stützelements. Die Bestimmungsvorrichtung kann zur Durchführung des Bestimmungsschritts des Verfahrens gemäß dem ersten Aspekt ausgebildet sein. Die Steuereinrichtung umfasst eine Erzeugungsvorrichtung zur Erzeugung eines dem Arbeitsfahrzeug zuführbaren Steuersignals abhängig von dem bestimmten Zustand des Stützelements. Die Erzeugungsvorrichtung kann zum Durchführen des Erzeugungsschritts des Verfahrens gemäß dem ersten Aspekt ausgebildet sein.
  • Die vorliegende Erfindung betrifft in einem dritten Aspekt ein Arbeitsfahrzeug. Das Arbeitsfahrzeug umfasst eine Arbeitseinrichtung, ein Stützelement für die Arbeitseinrichtung und die Steuereinrichtung nach dem zweiten Aspekt. Der von der Steuereinrichtung erkannte Zustand des Stützelements wird zur Sicherheitsüberprüfung des Arbeitsfahrzeugs verwendet.
  • Kurze Beschreibung der Figuren
    • 1 zeigt schematisch ein Arbeitsfahrzeug mit einer Arbeitseinrichtung und einem angelegten Stützelement nach einer Ausführungsform der Erfindung
    • 2 zeigt schematisch das Arbeitsfahrzeug der 1 mit nicht angelegtem Stützelement für die Arbeitseinrichtung
    • 3 zeigt schematisch das Arbeitsfahrzeug der 2 mit einer in einem Gefahrenbereich befindlichen Person
    • 4 zeigt ein Ablaufdiagramm mit Schritten eines Verfahrens zur Erkennung eines Zustands eines Stützelements für eine Arbeitseinrichtung eines Arbeitsfahrzeugs nach einer Ausführungsform der Erfindung.
  • Detaillierte Beschreibung von Ausführungsformen
  • 1 zeigt schematisch ein Arbeitsfahrzeug 10 in Form eines Muldenkippers 10. Der Muldenkipper 10 ist zum Transportieren von Geröll oder vergleichbaren Schwerlastgütern in einer Arbeitseinrichtung 12 ausgebildet. In dem Ausführungsbeispiel der 1 ist die Arbeitseinrichtung 12 die Mulde 12 des Muldenkippers 10.
  • Zum Abladen der Ladung aus der Mulde 12 des Muldenkippers 10 kann letztere mittels einer Fixiervorrichtung 14 in vorgegebenen Kipppositionen fixiert werden. Im Ausführungsbeispiel der 1 ist die Fixiervorrichtung in Form einer hydraulisch verschiebbaren Hebevorrichtung 14 für die Mulde 12 dargestellt. Das Arbeitsfahrzeug 10 umfasst ferner ein manuell bedienbares Stützelement 16, welches zusätzlich zu der hydraulischen Hebevorrichtung 14 an der Arbeitseinrichtung 12 angebracht werden kann. Im Ausführungsbeispiel der 1 ist das Stützelement 16 in Form einer beweglich an dem Arbeitsfahrzeug 10 gelagerten Stützstange 16 dargestellt. Befindet sich die Mulde 12 für einen längeren Zeitraum im aufgerichteten Zustand, ist es zur Erhöhung der Betriebssicherheit des Arbeitsfahrzeugs 10 ratsam, die Stützstange 16 an der Mulde 12 anzulegen. Ein Abkippen der Mulde 12 in Richtung auf das Arbeitsfahrzeug 10, beispielsweise durch Nachgeben der hydraulischen Hebevorrichtung 14, kann durch zusätzliches Anlegen des Stützelements 16 vermieden werden. Hierzu muss sich das Stützelement 16 jedoch in einem vorgegebenen Zustand befinden, um die Mulde 12 gegebenenfalls abstützen zu können.
  • Die Erkennung des Zustands des Stützelements 16 wird unter Verweis auf 4 genauer erläutert. 4 zeigt ein Ablaufdiagramm mit Schritten eines Verfahrens zur Erkennung eines Zustands eines Stützelements für eine Arbeitseinrichtung eines Arbeitsfahrzeugs nach einer Ausführungsform der Erfindung. Das Verfahren kann auf das Stützelement 16 für die Mulde 12 des Muldenkippers 10 angewandt werden.
  • Zur Erkennung des Zustands des Stützelements 16 umfasst das Arbeitsfahrzeug 10 eine Erfassungsvorrichtung 18, in dem Ausführungsbeispiel der 1 eine Kamera 18. Mittels der Kamera 18 werden in einem Erfassungsschritt EFS Bilddaten aus einem Bildbereich 20 erfasst. Im Ausführungsbeispiel der 1 liegen die Bilddaten als Serie von Einzelbildern vor. Der Bildbereich 20 befindet sich in Fahrtrichtung hinter einer Fahrerkabine des Arbeitsfahrzeugs 10. In dem Bildbereich 20 befindet sich das Stützelement 16.
  • Die von der Erfassungsvorrichtung 18 erfassten Bilddaten des Bildbereichs 20 werden an eine Steuereinrichtung 22 des Arbeitsfahrzeugs 10 übertragen. Die Steuereinrichtung 22 wertet in einem Auswerteschritt AS die erfassten Bilddaten mittels bekannter Methoden zur Bildbearbeitung aus, um das Stützelement 16 innerhalb des Bildbereichs 20 zu erkennen. Beispielweise kann das Stützelement 16 innerhalb der Bilddaten mittels Kantenerkennung erkannt werden.
  • Wurde das Stützelement 16 innerhalb des Bildbereichs 20 erkannt, bestimmt die Steuereinrichtung 22 in einem Bestimmungsschritt BS den Zustand des Stützelements 16. In dem Bestimmungsschritt BS kann der Zustand des Stützelements 16 hinsichtlich einer Ausrichtung des Stützelements 16 relativ zu der Arbeitseinrichtung 12, hinsichtlich des Vorliegens einer Wirkverbindung des Stützelements 16 mit der Arbeitseinrichtung 12 oder hinsichtlich einer Struktureigenschaft der Stützelements 16 bestimmt werden. Der Bestimmungsschritt BS wird mittels eines auf maschinellem Lernen basierenden Algorithmus durchgeführt. Der Algorithmus wird mit verschiedenen Klassen von Bilddaten trainiert, um unterschiedliche Zustände des Stützelements erkennen zu können. Im Ausführungsbeispiel der 1 wird der Zustand des Stützelements 16 als aufgerichtet und mit der Arbeitseinrichtung 12 verbunden bestimmt. Das Stützelement 16 weist demnach einen vorgegebenen Zustand auf, um die Mulde 12 zusätzlich zu der hydraulischen Hebevorrichtung 14 abstützen zu können.
  • Abhängig von dem bestimmten Zustand des Stützelements 16 wird von der Steuereinrichtung 22 in einem Erzeugungsschritt EZS ein dem Arbeitsfahrzeug 10 zuführbares Steuersignal erzeugt. Im Ausführungsbeispiel der 1 weist das Stützelement 16 einen vorgegebenen Zustand auf. Somit wird in dem Erzeugungsschritt EZS kein Steuersignal erzeugt. Die Erzeugung des Steuersignals wird unter Bezugnahme auf die 2 und 3 im Folgenden näher erläutert.
  • Die 2 zeigt schematisch das Arbeitsfahrzeug der 1 mit nicht an der Arbeitseinrichtung 12 angelegtem Stützelement 16. Dieser Zustand des Stützelements 16 kann ebenfalls mit dem in 4 dargestellten Verfahren erkannt werden. Der Erfassungsschritt EFS mittels der Kamera 18 und der Auswerteschritt AS mittels der Steuereinrichtung 22 werden analog zu der Ausführungsform der 1 durchgeführt.
  • In dem Bestimmungsschritt BS wird im Unterschied zur Ausführungsform der 1 der Zustand des Stützelements 16 als abgelegt und nicht mit der Mulde 12 verbunden bestimmt. Dieser Zustand des Stützelements 16 weicht von einem vorgegebenen Zustand ab. Die Mulde 12 kann im Ausführungsbeispiel der 2 somit nicht von dem Stützelement 16 abgestützt werden.
  • In dem Erzeugungsschritt EZS wird daher von der Steuereinrichtung 22 ein Steuersignal in Form eines Warnsignals erzeugt und dem Arbeitsfahrzeug 10 zugeführt. Das Warnsignal kann ein optisches, akustisches oder haptisches Warnsignal sein. Durch das Warnsignal kann der Fahrer des Arbeitsfahrzeugs 10 darüber informiert werden, dass sich das Stützelement 16 nicht in einem vorgegebenen Zustand befindet. Der Fahrer kann dann gegebenenfalls weitere Maßnahmen ergreifen, beispielweise das Stützelement 16 aufrichten und mit der Mulde 12 verbinden.
  • Die 3 zeigt schematisch das Arbeitsfahrzeug der 2 mit nicht an der Arbeitseinrichtung 12 angelegtem Stützelement 16. Ferner befindet sich im Ausführungsbeispiel der 3 eine Person 24 innerhalb eines vorgegebenen Gefahrenbereichs 26. Der Gefahrenbereich 26 erstreckt sich insbesondere unterhalb der angehobenen Mulde 12 und umfasst das nicht angelegte Stützelement 16. Innerhalb des Gefahrenbereichs 26 ist der Aufenthalt für die Person 24 unterhalb der angehobenen Mulde 12 aufgrund des nicht angelegten Stützelements 16 besonders gefährlich.
  • Daher wird in einem optionalen Personenerfassungsschritt PES des in 4 dargestellten Verfahrens von der Steuereinrichtung 22 zusätzlich zu dem Zustand des Stützelements 16 auch die Person 24 innerhalb des Gefahrenbereichs 26 erfasst. Die Erfassung der Person 24 innerhalb des Gefahrenbereichs 26 erfolgt analog zu der Erfassung des Zustands des Stützelements 16.
  • Da sich die Person 24 innerhalb des Gefahrenbereichs 26 befindet und das Stützelement 16 den Zustand nicht aufgerichtet und nicht an der Arbeitseinrichtung 12 angelegt aufweist, wird in dem Erzeugungsschritt EZS ein Steuersignal erzeugt. Das Steuersignal wird dem Arbeitsfahrzeugs 10 zugeführt, um das Losfahren des Arbeitsfahrzeugs 10 und das weitere Anheben oder Absenken der Mulde 12 zu verhindern. Zusätzlich kann analog zum Ausführungsbeispiel der 2 ein Warnsignal ausgegeben werden.
  • Bezugszeichen
  • 10
    Arbeitsfahrzeug; Muldenkipper
    12
    Arbeitseinrichtung; Mulde
    14
    hydraulische Fixiervorrichtung; Hebevorrichtung
    16
    Stützelement; Stützstange
    18
    Erfassungsvorrichtung; Kamera
    20
    Bildbereich
    22
    Steuereinrichtung
    24
    Person
    26
    Gefahrenbereich
    EFS
    Erfassungsschritt
    AS
    Auswerteschritt
    BS
    Bestimmungsschritt
    EZS
    Erzeugungsschritt

Claims (13)

  1. Verfahren zur Erkennung eines Zustands eines Stützelements (16) für eine Arbeitseinrichtung (12) eines Arbeitsfahrzeugs (10), das Verfahren umfassend: - einen Erfassungsschritt (EFS) zum Erfassen von Bilddaten bezüglich einem das Stützelement (16) beinhaltenden Bildbereich (20); - einen Auswerteschritt (AS) zum Auswerten der erfassten Bilddaten, um das Stützelement (16) innerhalb des Bildbereichs (20) zu erkennen; - einen Bestimmungsschritt (BS), um den Zustand des Stützelements (16) zu bestimmen; und - einen Erzeugungsschritt (EZS) zum Erzeugen eines dem Arbeitsfahrzeug (10) zuführbaren Steuersignals abhängig von dem bestimmten Zustand des Stützelements (16).
  2. Verfahren nach Anspruch 1, wobei der Zustand des Stützelements (16) zumindest eines der folgenden umfasst: eine Ausrichtung des Stützelements (16) relativ zu der Arbeitseinrichtung (12); das Vorliegen einer Wirkverbindung des Stützelements (16) mit der Arbeitseinrichtung (12); und eine Struktureigenschaft des Stützelements (16).
  3. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Erkennung des Zustands des Stützelements (16) im Zusammenhang mit einer Sicherheitsüberprüfung des Arbeitsfahrzeugs (10) vorgenommen wird.
  4. Verfahren nach Anspruch 3, wobei der Bestimmungsschritt (BS) mittels eines auf maschinellem Lernen basierenden Algorithmus durchgeführt wird.
  5. Verfahren nach Anspruch 4, wobei von dem auf maschinellem Lernen basierenden Algorithmus ermittelt wird, ob das Stützelement (16) in Richtung auf die Arbeitseinrichtung (12) ausgerichtet ist.
  6. Verfahren nach Anspruch 4 oder 5, wobei von dem auf maschinellem Lernen basierenden Algorithmus ermittelt wird, ob eine Wirkverbindung zwischen dem Stützelement (16) und der Arbeitseinrichtung (12) hergestellt ist.
  7. Verfahren nach einem der Ansprüche 4 bis 6, wobei von dem auf maschinellem Lernen basierenden Algorithmus ermittelt wird, ob sich ein innerhalb des Bildbereichs (20) erkanntes Stützelement (16) in einer vorgegebenen Lage befindet, wobei die vorgegebene Lage bezüglich einer Position oder einer Winkelausrichtung des Stützelements (16) vorgegeben ist.
  8. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend einen Personenerfassungsschritt (PES) zum Erfassen einer Person (24) innerhalb eines vorgegebenen Gefahrenbereichs (26).
  9. Verfahren nach Anspruch 8, wobei das Steuersignal ferner in Abhängigkeit von dem Erfassen der Person (24) erzeugt wird.
  10. Verfahren nach einem der vorhergehenden Ansprüche, wobei auf Grundlage des Steuersignals ein Warnsignal erzeugt wird, wenn der erkannte Zustand des Stützelements (16) von einem vorgegebenen Zustand abweicht.
  11. Verfahren nach einem der vorhergehenden Ansprüche, wobei mittels des Steuersignals ein Betriebszustand des Arbeitsfahrzeugs (10) beschränkt wird, wenn der erkannte Zustand des Stützelements (16) von einem vorgegebenen Zustand abweicht.
  12. Steuereinrichtung (22) zum Erkennen eines Zustands eines Stützelements (16) für eine Arbeitseinrichtung (12) eines Arbeitsfahrzeugs (10), die Steuereinrichtung (22) umfassend: - eine Erfassungsvorrichtung (18) zur Erfassung von Bilddaten bezüglich einem das Stützelement (16) beinhaltenden Bildbereich (20); - eine Auswertevorrichtung zur Auswertung der erfassten Bilddaten, um das Stützelement (16) innerhalb des Bildbereichs (20) zu erkennen; - eine Bestimmungsvorrichtung zur Bestimmung des Zustands des Stützelements (16); und - eine Erzeugungsvorrichtung zur Erzeugung eines dem Arbeitsfahrzeug (10) zuführbaren Steuersignals abhängig von dem bestimmten Zustand des Stützelements (16).
  13. Arbeitsfahrzeug (10), umfassend eine Arbeitseinrichtung (12), ein Stützelement (16) für die Arbeitseinrichtung (12) und die Steuereinrichtung (22) nach Anspruch 12, wobei der von der Steuereinrichtung (22) erkannte Zustand des Stützelements (16) zur Sicherheitsüberprüfung des Arbeitsfahrzeugs (10) verwendet wird.
DE102022208648.1A 2022-08-22 2022-08-22 Verfahren zur Erkennung eines Zustands eines Stützelements für eine Arbeitseinrichtung eines Arbeitsfahrzeugs, Steuereinrichtung dafür und Arbeitsfahrzeug damit Pending DE102022208648A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022208648.1A DE102022208648A1 (de) 2022-08-22 2022-08-22 Verfahren zur Erkennung eines Zustands eines Stützelements für eine Arbeitseinrichtung eines Arbeitsfahrzeugs, Steuereinrichtung dafür und Arbeitsfahrzeug damit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022208648.1A DE102022208648A1 (de) 2022-08-22 2022-08-22 Verfahren zur Erkennung eines Zustands eines Stützelements für eine Arbeitseinrichtung eines Arbeitsfahrzeugs, Steuereinrichtung dafür und Arbeitsfahrzeug damit

Publications (1)

Publication Number Publication Date
DE102022208648A1 true DE102022208648A1 (de) 2024-02-22

Family

ID=89808677

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022208648.1A Pending DE102022208648A1 (de) 2022-08-22 2022-08-22 Verfahren zur Erkennung eines Zustands eines Stützelements für eine Arbeitseinrichtung eines Arbeitsfahrzeugs, Steuereinrichtung dafür und Arbeitsfahrzeug damit

Country Status (1)

Country Link
DE (1) DE102022208648A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180334979A1 (en) 2017-05-17 2018-11-22 Deere & Company Work vehicle start system and method with engine cycling
US20190065931A1 (en) 2017-08-23 2019-02-28 Robert Bosch Gmbh Secure trailer connection system
DE102018002966A1 (de) 2018-04-12 2019-08-01 Daimler Ag Verfahren und Vorrichtung zur Durchführung einer Abfahrtskontrolle sowie Verwendung
DE102019006756A1 (de) 2019-09-27 2020-03-26 Daimler Ag Vorrichtung und Verfahren zum Entladen von Schüttgut
DE102019133172A1 (de) 2019-12-05 2021-06-10 Saf-Holland Gmbh System und Erfassungseinrichtung zum Überprüfen eines Zustands mindestens einer Komponente eines Fahrzeugs und Verfahren zum Überprüfen eines Zustands
DE102020108832A1 (de) 2020-03-31 2021-09-30 Connaught Electronics Ltd. System und Verfahren zur Überwachung einer Fahrzeugverbindung

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180334979A1 (en) 2017-05-17 2018-11-22 Deere & Company Work vehicle start system and method with engine cycling
US20190065931A1 (en) 2017-08-23 2019-02-28 Robert Bosch Gmbh Secure trailer connection system
DE102018002966A1 (de) 2018-04-12 2019-08-01 Daimler Ag Verfahren und Vorrichtung zur Durchführung einer Abfahrtskontrolle sowie Verwendung
DE102019006756A1 (de) 2019-09-27 2020-03-26 Daimler Ag Vorrichtung und Verfahren zum Entladen von Schüttgut
DE102019133172A1 (de) 2019-12-05 2021-06-10 Saf-Holland Gmbh System und Erfassungseinrichtung zum Überprüfen eines Zustands mindestens einer Komponente eines Fahrzeugs und Verfahren zum Überprüfen eines Zustands
DE102020108832A1 (de) 2020-03-31 2021-09-30 Connaught Electronics Ltd. System und Verfahren zur Überwachung einer Fahrzeugverbindung

Similar Documents

Publication Publication Date Title
DE102011120814B4 (de) Verfahren und Vorrichtung zur Bestimmung eines Winkels zwischen einem Zugfahrzeug und einem damit gekoppelten Anhänger
DE602005001374T2 (de) Spurabweichwarnung
DE102014007900A1 (de) Verfahren und Fahrerassistenzsystem zur Ermittlung fahrdynamischer Zustände eines Nutzfahrzeugs
DE102014015753A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Fahrzeug-Gespanns, insbesondere eines Nutzfahrzeug-Gespanns
DE102018121370A1 (de) Anhänger-rückfahrhilfesystem mit prädiktiver anhängerkupplungswinkelfunktion
EP3482975A1 (de) Raupenfahrzeug
EP3727936A1 (de) Verfahren zum erkennen von zumindest einem an einem kraftfahrzeug anliegenden objekt sowie steuervorrichtung und kraftfahrzeug
DE102022208648A1 (de) Verfahren zur Erkennung eines Zustands eines Stützelements für eine Arbeitseinrichtung eines Arbeitsfahrzeugs, Steuereinrichtung dafür und Arbeitsfahrzeug damit
DE102018200861A1 (de) Verfahren und Vorrichtung zur videobasierten Überwachung eines Bestandelements eines Güterkraftfahrzeugs
DE112020003003T5 (de) Ausschluss einer Komponente einer Arbeitsmaschine aus einem Videorahmen beruhend auf Bewegungsinformationen
DE102017220282A1 (de) Testverfahren für ein Kamerasystem, ein Steuergerät des Kamerasystems, das Kamerasystem und ein Fahrzeug mit diesem Kamerasystem
DE102019110018B4 (de) Verfahren zur Kollisionsvermeidung, System, fahrzeuginternes System, Zugfahrzeug und Signal
DE102015002715B4 (de) Verfahren und System zum Feststellen des Funktionsstatus bei einer Spoilervorrichtung eines Fahrzeugs
DE102019201690A1 (de) Verfahren und Assistenzsystem zur Umfeldüberwachung eines Ego-Fahrzeugs
EP4032731A1 (de) Ermitteln eines ordnungsgemäss angeschlossenen anhängers
EP3646237A1 (de) Verfahren und vorrichtung zum bestimmen einer beschaffenheit einer oberfläche in der umgebung eines fahrzeugs
DE102021004633A1 (de) Verfahren zur Überwachung der korrekten Montage eines Fahrradträgers am Heck eines Fahrzeugs und Fahrzeug
WO2021078514A1 (de) Verfahren zur verhinderung von personenschäden bei einem betrieb einer mobilen arbeitsmaschine
DE102017211026B4 (de) Vorrichtung und Verfahren zur Freigabe eines automatischen Fahrbetriebs für ein Fahrzeug
DE112020002887T5 (de) Anzeigesystem für ein Arbeitsfahrzeug und Anzeigeverfahren für ein Arbeitsfahrzeug
WO2020151779A1 (de) Verfahren zur überwachung einer position eines stützrades eines anhängers und ein kamerasystem zur überwachung einer position eines stützrades eines anhängers sowie ein kraftfahrzeug mit einem kamerasystem
DE102019115301A1 (de) Steuerungs- und/oder Regelvorrichtung und Verfahren zum Betrieb eines Anbaugerätes an einem Fahrzeug
DE102017111881A1 (de) Verfahren zur Vorhersage einer instabilen Bewegungssituation einer Anhängereinheit eines Gespanns im angehängten Zustand an einem Kraftfahrzeug, Fahrerassistenzsystem sowie Kraftfahrzeug
EP1312520A2 (de) Diebstahlalarmeinrichtung und Verfahren hierzu
DE102017115469A1 (de) Verfahren zum Verhindern von kritischen Situationen eines Gespanns, wobei ein Abstand zwischen Stellen vom Gespann bestimmt wird, Fahrerassistenzsystem und Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication