DE102017222966A1

DE102017222966A1 - Control of a motor vehicle

Info

Publication number: DE102017222966A1
Application number: DE102017222966.7A
Authority: DE
Inventors: Daniel Wolf; Carolin Heller
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2017-12-15
Filing date: 2017-12-15
Publication date: 2019-06-19

Abstract

Eine erste Kamera (120) ist innerhalb eines vorbestimmten geographischen Gebiets (105) ortsfest und eine zweite Kamera (140) innerhalb des Gebiets (105) beweglich angebracht. Ein Verfahren (400) zur Objekterkennung innerhalb des Gebiets (105) umfasst Schritte des Durchführens (410) einer Abtastung eines in dem Gebiet (105) beweglichen Objekts (110) mittels der ersten Kamera (120); des Bestimmens (415) von Objektinformationen (137) des Objekts (110) auf der Basis der Abtastung; des Ablegens (420) der Objektinformationen (137) in einer Objektliste (150); des Durchführens (405) einer Abtastung des Objekts (110) mittels der zweiten Kamera (140); und des Bestimmens (425) von Objektinformationen (137) des Objekts (110) auf der Basis der zweiten Abtastung und der Objektliste (150).A first camera (120) is fixed within a predetermined geographical area (105) and a second camera (140) is movably mounted within the area (105). A method (400) for object recognition within the area (105) comprises the steps of performing (410) scanning a object (110) movable in the area (105) by means of the first camera (120); determining (415) object information (137) of the object (110) based on the sample; storing (420) the object information (137) in an object list (150); performing (405) a scan of the object (110) by means of the second camera (140); and determining (425) object information (137) of the object (110) based on the second sample and the object list (150).

Description

Die vorliegende Erfindung betrifft eine Objekterkennung. Insbesondere betrifft die Erfindung eine Objekterkennung für ein Kraftfahrzeug.The present invention relates to an object recognition. In particular, the invention relates to an object recognition for a motor vehicle.

Ein Kraftfahrzeug umfasst ein Abtastsystem, um ein Objekt im Umfeld beispielsweise mittels einer Kamera, eines Radar- oder Lidarsensors berührungslos abzutasten. Liegen bereits ausreichend Informationen über das Objekt vor, so kann das Objekt aufgrund der Abtastung automatisch erkannt werden. Bezüglich des erkannten Objekts kann dann beispielsweise eine teilweise oder vollständige Steuerung des Kraftfahrzeugs erfolgen. Von besonderem Interesse ist allgemein ein bewegliches Objekt, da auf ein still stehendes Objekt üblicherweise durch Ausweichen oder Umfahren ausreichend sicher reagiert werden kann.A motor vehicle comprises a scanning system for contactlessly scanning an object in the environment, for example by means of a camera, a radar or lidar sensor. If there is already sufficient information about the object, then the object can be automatically recognized on the basis of the scan. With regard to the detected object, for example, a partial or complete control of the motor vehicle can take place. Of particular interest is a moving object in general, since it is usually possible to react sufficiently reliably to a stationary object by avoiding or avoiding it.

Das Erkennen des Objekts setzt üblicherweise eine große Menge von Referenzinformationen über das Objekt voraus. Beispielsweise kann das Erkennen mittels eines neuronalen Netzwerks erfolgen, das mittels mehreren 100,000 Bildern des Objekts auf dessen Erkennung konditioniert wurde. Im Umfeld eines Kraftfahrzeugs sind üblicherweise nur bestimmte Objekte zu erwarten, auf die spezifisch reagiert werden muss, beispielsweise ein anderes Kraftfahrzeug, ein Fußgänger oder ein Radfahrer.Detecting the object typically requires a large amount of reference information about the object. For example, the detection can be done by means of a neural network which has been conditioned by several 100,000 images of the object on its detection. In the environment of a motor vehicle, usually only certain objects are to be expected, to which specific reactions have to be made, for example another motor vehicle, a pedestrian or a cyclist.

Befindet sich das Kraftfahrzeug jedoch außerhalb des üblichen Straßenverkehrs, beispielsweise auf einem Betriebsgelände, an einem Hafen oder auf einem Bauernhof, so können bewegliche Objekte im Umfeld des Kraftfahrzeugs vorliegen, die mangels Referenzinformationen nicht erkannt werden können. Eine Reaktion auf ein solches Objekt kann dann nicht mehr unterstützt werden.However, if the motor vehicle is outside the usual road traffic, for example on a company premises, at a harbor or on a farm, there may be moving objects in the surroundings of the motor vehicle that can not be detected for lack of reference information. A reaction to such an object can then no longer be supported.

Eine der Erfindung zu Grunde liegende Aufgabe besteht darin, eine verbesserte Technik zur Objekterkennung bereitzustellen. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.An object underlying the invention is to provide an improved technique for object recognition. The invention solves this problem by means of the subjects of the independent claims. Subclaims give preferred embodiments again.

Eine erste Kamera ist innerhalb eines vorbestimmten geographischen Gebiets ortsfest und eine zweite Kamera innerhalb des Gebiets beweglich angebracht. Ein Verfahren zur Erkennung eines Objekts innerhalb des Gebiets umfasst Schritte des Durchführens einer ersten Abtastung eines in dem Gebiet beweglichen Objekts mittels der ersten Kamera; des Bestimmens von Objektinformationen des Objekts auf der Basis der ersten Abtastung; des Ablegens der Objektinformationen in einer Objektliste; des Durchführens einer zweiten Abtastung des Objekts mittels der zweiten Kamera; und des Bestimmens von Objektinformationen des Objekts auf der Basis der zweiten Abtastung und der Objektliste.A first camera is stationary within a predetermined geographic area and a second camera is movably mounted within the area. A method of detecting an object within the area comprises the steps of performing a first scan of an object movable in the area by means of the first camera; determining object information of the object based on the first scan; storing the object information in an object list; performing a second scan of the object by means of the second camera; and determining object information of the object based on the second scan and the object list.

Die Objektliste kann mittels der ersten, stationären Kamera im Lauf der Zeit gefüllt werden, bis eine vorbestimmte Menge oder Qualität der gesammelten Daten vorliegt. Das Abtasten des beweglichen Objekts kann mittels der ortsfesten ersten Kamera besonders einfach und zuverlässig sein und die abgetasteten Daten können leichter verarbeitet werden. Die Informationen der Objektliste können dann in Korrelation mit der Abtastung der zweiten, beweglichen Kamera gesetzt werden, die sich beispielsweise an Bord eines Kraftfahrzeugs befinden kann. Dem zweiten Kraftfahrzeug können auf diese Weise Objekte, die im vorbestimmten Gebiet anzutreffen sind, vorteilhaft ohne Einlernen bekannt gemacht werden. Insbesondere dann, wenn in dem Gebiet andere Verhältnisse als in einem üblichen Umfeld der zweiten Kamera gelten, beispielsweise weil das Gebiet außerhalb eines öffentlichen Straßenverkehrs liegt, kann auch an Bord eines bekannten Kraftfahrzeugs eine verbesserte Objekterkennung durchgeführt werden. Dabei ist die Durchführung des Verfahrens nicht auf einen Bereich der zweiten Kamera beschränkt, sondern kann auch entfernt davon stattfinden. Allgemein kann die Objektliste im Bereich der ersten Kamera, im Bereich der zweiten Kamera oder an einer anderen Stelle vorliegen.The object list may be filled by the first, stationary camera over time until a predetermined amount or quality of the collected data is present. The scanning of the moving object can be particularly simple and reliable by means of the stationary first camera, and the sampled data can be processed more easily. The information of the object list can then be correlated with the scan of the second moving camera, which may be on board a motor vehicle, for example. In this way, the second motor vehicle can advantageously be made aware of objects that can be found in the predetermined area without being taught in. In particular, if other conditions in the area than in a conventional environment of the second camera apply, for example because the area is outside of public road traffic, improved object recognition can also be carried out on board a known motor vehicle. The implementation of the method is not limited to an area of the second camera, but can also take place away from it. In general, the object list may be present in the area of the first camera, in the area of the second camera or in another location.

Die Objektinformationen können auf der Basis externer Informationen bestimmt werden. Dazu können eine oder mehrere weitere Informationsquellen herangezogen werden, die beispielsweise datentechnisch mittels eines Netzwerks erreichbar sind. So können beispielsweise bestehende Datenlücken geschlossen werden, sodass die Objektinformationen universeller verwendbar sind. Beispielsweise kann über die externe Informationsquelle bestimmt werden, in welchen Farben ein bekanntes bewegliches Objekt auftreten kann, welche Größen es annehmen kann oder mit welchem Bewegungsverhalten des Objekts zu rechnen ist. Enzyklopädisches Wissen kann so genutzt werden.The object information may be determined based on external information. For this purpose, one or more further sources of information can be used, which can be accessed, for example, by data technology by means of a network. For example, existing data gaps can be closed so that the object information can be used more universally. For example, it can be determined via the external information source in which colors a known moving object can occur, which quantities it can assume or which movement behavior of the object is to be expected. Encyclopedic knowledge can be used in this way.

Auf der Basis mehrerer Abtastungen kann eine Bewegung des Objekts bestimmt werden, wobei die Objektinformationen zusätzlich auf der Basis der Bewegung bestimmt werden. Das bewegliche Objekt kann beispielsweise ein Lebewesen umfassen, insbesondere einen Menschen oder ein Tier. Der Mensch kann etwa Funktionskleidung tragen, beispielsweise Hitzeschutzkleidung im Bereich einer Metallgießerei, sodass seine optische Erkennung erschwert ist. Anhand seiner Bewegungen kann der Mensch trotzdem erkannt werden. In entsprechender Weise können verschiedene Tiere anhand ihrer Bewegungen voneinander unterschieden werden. Dazu können etwa verschiedene Gänge wie der Passgang und der Kreuzgang oder unterschiedliche Bewegungsgeschwidigkeiten voneinander unterschieden werden.Based on multiple scans, movement of the object can be determined, with the object information also being determined based on the motion. The movable object may, for example, comprise a living being, in particular a human being or an animal. For example, humans can wear functional clothing, for example heat protection clothing in the area of a metal foundry, so that their visual recognition is made more difficult. Man can still be recognized by his movements. Similarly, different animals can be distinguished from one another by their movements. These can include various passages such as the pass passage and the cloister or different Movement trends are distinguished from each other.

Es können auch mehrere erste Kameras an unterschiedlichen Positionen im Gebiet ortsfest angebracht sein, wobei die Objektinformationen auf der Basis von Abtastungen der mehreren Kameras bestimmt werden. Dadurch kann das Objekt vorteilhaft aus unterschiedlichen Perspektiven und potentiell unterschiedlichen Entfernungen abgetastet werden, sodass die erstellbare Datenbasis verbreitert sein kann.Also, a plurality of first cameras may be fixedly mounted at different positions in the area, the object information being determined based on scans of the plurality of cameras. As a result, the object can advantageously be scanned from different perspectives and potentially different distances, so that the database that can be created can be broadened.

Bevorzugt wird das Objekt mittels wenigstens zwei Kameras gleichzeitig abgetastet. Mehrere Kameras können auch miteinander integriert als Stereo- oder Mehrfachkamera ausgeführt sein. Eine Korrelation abgetasteter Bilder kann dadurch erleichtert sein.
Es besteht auch die Möglichkeit die erste Kamera nicht ortsfest sondern beweglich anzubringen, beispielsweise an einem weiteren Kraftfahrzeug oder an Bord einer Drohne.Preferably, the object is scanned simultaneously by means of at least two cameras. Several cameras can also be integrated with each other as a stereo or multiple camera. A correlation of scanned images can be facilitated.
It is also possible to attach the first camera not stationary but movable, for example, on another motor vehicle or on board a drone.

In der Objektliste können Objektinformationen mehrerer Objekte abgelegt sein, wobei eine Zugehörigkeit einer bestimmten Objektinformation zu einem Objekt mittels einer Korrelationsanalyse bestimmt wird. Unterschiedliche Korrelationsanalysen können durchgeführt werden, wobei die Ergebnisse der Analysen statistisch bewertet werden können. Beispielsweise kann eine Zugehörigkeit einer Abtastung zu einem Objekt bestimmt werden, wenn eine vorbestimmte Mehrheit an Analysen diese Zugehörigkeit unterstützt. Eine Abtastung kann so verbessert einer Objektinformation zugeordnet werden und auf der Basis solcher Objektinformationen kann eine verbesserte Objekterkennung durchgeführt werden.Object information of a plurality of objects may be stored in the object list, an association of a specific object information to an object being determined by means of a correlation analysis. Different correlation analyzes can be performed and the results of the analyzes can be statistically evaluated. For example, an affiliation of a scan to an object may be determined if a predetermined majority of analyzes support this affiliation. A scan can thus be assigned to object information in an improved manner, and based on such object information, improved object recognition can be performed.

Verfahren nach einem der vorangehenden Ansprüche, wobei die zweite Kamera an Bord eines Kraftfahrzeugs angebracht ist und auf der Basis der Objektinformationen ein Hinweis zur Steuerung des Kraftfahrzeugs bezüglich des Objekts bereitgestellt wird. Der Hinweis kann von einer beispielsweise optisch, akustisch oder haptisch an einen Fahrer gerichteten Ausgabe über einen Teileingriff in eine Längs- und/oder Quersteuerung bis hin zu einer automatischen oder autonomen Steuerung des Kraftfahrzeugs reichen, insbesondere in einer der Autonomiestufen 3 bis 5. Der Hinweis kann beispielsweise ein Ausweichen, ein Abbremsen oder ein langsames Umfahren betreffen. Es kann aber auch eine direktere Interaktion mit dem Objekt gesteuert werden, beispielsweise indem das Objekt mittig überfahren wird. Insbesondere wenn das Kraftfahrzeug ein Bearbeitungsfahrzeug umfasst, kann das Objekt auch manipuliert werden, beispielswese indem es aufgenommen, geschoben oder mittels einer mitgeführten Vorrichtung bearbeitet wird.Method according to one of the preceding claims, wherein the second camera is mounted on board a motor vehicle and on the basis of the object information an indication for the control of the motor vehicle with respect to the object is provided. The indication can range from an output, directed, for example, optically, acoustically or haptically to a driver via a partial engagement in a longitudinal and / or lateral control up to an automatic or autonomous control of the motor vehicle, in particular in one of the autonomous steps 3 to 5 , The indication may concern, for example, an evasion, a deceleration or a slow detour. But it can also be a more direct interaction with the object to be controlled, for example, by the object is crossed over in the middle. In particular, if the motor vehicle comprises a processing vehicle, the object can also be manipulated, for example by being picked up, pushed or processed by means of an entrained device.

In einer weiteren Ausführungsform müssen nicht alle Objekte spezifisch erkannt werden, stattdessen können auch mehrere Objekte einer Objektklasse zugeordnet werden, sodass ein Objekt anhand seiner Objektklasse bestimmt werden kann. Beispielsweise können im Umfeld eines agrarwirtschaftlichen Betriebs eine Ziege und ein Schaf in der gemeinsamen Objektklasse „Hoftiere“ geführt werden. Eine solche Generalisierung bietet sich insbesondere an, wenn sich die Objekte bezüglich ihrer Merkmale (z. B. Größe, Farbe, Anzahl Beine oder Bewegungsverhalten) ähneln. So kann insbesondere der Hinweis zur Steuerung des Kraftfahrzeugs vereinfacht auf der Basis der Objektklasse bereitgestellt werden, statt eine differenzierte Erkennung zu erfordern. Kann ein Objekt nicht sicher erkannt werden, liegen aber alle oder mehrere mögliche bekannte Objekte, denen das Objekt ähnelt, in der gleichen Objektklasse, kann auch ohne genaue Erkennung ein Handlungshinweis bereitgestellt werden. In another embodiment, not all objects need to be specifically recognized; instead, multiple objects may be associated with an object class so that an object may be determined based on its object class. For example, in the environment of an agricultural farm, a goat and a sheep can be kept in the common object class "farm animals". Such a generalization is particularly useful if the objects are similar in terms of their characteristics (eg size, color, number of legs or movement behavior). Thus, in particular, the instruction for controlling the motor vehicle can be provided in simplified form on the basis of the object class, instead of requiring a differentiated recognition. If an object can not be reliably detected, but all or several possible known objects, which the object resembles, are in the same object class, an action indication can also be provided without exact recognition.

Eine Vorrichtung umfasst eine erste Kamera, die innerhalb eines vorbestimmten geographischen Gebiets ortsfest angebracht und zur Durchführung einer ersten Abtastung eines in dem Gebiet beweglichen Objekts eingerichtet ist; eine Speichervorrichtung zur Aufnahme einer Objektliste, die Objektinformationen wenigstens eines Objekts umfasst; eine drahtlose Schnittstelle; und eine Verarbeitungseinrichtung, die dazu eingerichtet ist, auf der Basis der ersten Abtastung Objektinformationen des Objekts zu bestimmen, die Objektinformationen in der Objektliste abzulegen, und Objektinformationen der Objektliste auf der Basis einer mittels der Schnittstelle empfangenen Anfrage bereitzustellen.An apparatus comprises a first camera fixedly mounted within a predetermined geographic area and adapted to perform a first scan of an object movable in the area; a storage device for holding an object list comprising object information of at least one object; a wireless interface; and a processing device configured to determine object information of the object based on the first scan, store the object information in the object list, and provide object information of the object list based on a request received by the interface.

Die Vorrichtung und insbesondere die Verarbeitungseinrichtung kann dazu eingerichtet sein, das hierin beschriebene Verfahren ganz oder teilweise durchzuführen. Dazu kann die Verarbeitungseinrichtung einen programmierbaren Mikrocomputer umfassen und das Verfahren kann zumindest teilweise in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen.The device and in particular the processing device can be configured to carry out the method described here in whole or in part. For this purpose, the processing device may comprise a programmable microcomputer and the method may be present at least partially in the form of a computer program product with program code means.

Die Anfrage kann auf der Basis einer Abtastung des Objekts mittels einer zweiten Kamera erstellt sein, wobei die zweite Kamera innerhalb des Gebiets beweglich ist. Die Vorrichtung und die zweite Kamera können mittels einer drahtlosen Datenverbindung miteinander gekoppelt sein und zusammen ein Objekterkennungssystem bilden. Dabei können auch weitere erste Kameras und/oder zweite Kameras vom System umfasst sein. Mehrere zweite Kameras können ein gemeinsames oder mehrere voneinander unabhängige Inertialsysteme aufweisen.The request may be based on a scan of the object by means of a second camera, the second camera being movable within the area. The device and the second camera may be coupled together by means of a wireless data link and together form an object recognition system. In this case, further first cameras and / or second cameras may be included in the system. Several second cameras may have one or more independent inertial systems.

In einer Ausführungsform kann eine Abtastung eines Objekts mittels einer zweiten Kamera oder eine aus der Abtastung abgeleitete Information an die Vorrichtung übermittelt werden, wobei die Vorrichtung mittels der Objektliste eine Objekterkennung durchführen und vorbestimmte Objektinformationen an die zweite Kamera zurück liefern kann.In one embodiment, a scan of an object by means of a second camera or information derived from the scan may indicate the device is transmitted, wherein the device can perform an object recognition by means of the object list and deliver predetermined object information back to the second camera.

In einer anderen Ausführungsform kann die Objektliste ganz oder in Teilen von der Vorrichtung in den Bereich der zweiten Kamera übermittelt werden, um eine lokale Objekterkennung an der zweiten Kamera zu ermöglichen. Dazu kann im Bereich der zweiten Kamera eine Verarbeitungseinrichtung angeordnet sein.In another embodiment, the object list may be transmitted in whole or in part by the device in the area of the second camera, in order to allow a local object recognition on the second camera. For this purpose, a processing device can be arranged in the region of the second camera.

Die Erfindung wird nun mit Bezug auf die beigefügten Figuren genauer beschrieben, in denen:

1 ein beispielhaftes System mit einem Kraftfahrzeug;
2 exemplarische Positionen mehrerer Kameras, von denen eine an Bord eines Kraftfahrzeugs angebracht ist;
3 eine beispielhafte Objektliste; und
4 ein Ablaufdiagramm eines Verfahrens zum Steuern eines Kraftfahrzeugs

darstellt.The invention will now be described in more detail with reference to the attached figures, in which:

1 an exemplary system with a motor vehicle;
2 exemplary positions of a plurality of cameras, one of which is mounted on board a motor vehicle;
3 an exemplary object list; and
4 a flowchart of a method for controlling a motor vehicle

represents.

1 zeigt ein beispielhaftes System 100, das bevorzugt einen Bereich oder ein geographisches Gebiet 105 betrifft, an dem eine vorbestimmte Verkehrssituation eintreten kann, von der im üblichen Straßenverkehr nicht auszugehen ist. Das vorbestimmte Gebiet 105 kann auf beliebige Weise abgegrenzt sein, beispielsweise wie dargestellt durch Häuser oder auch beispielsweise mittels eines Zauns, einer Straße, einer Markierung oder auf der Basis einer geographischen Angabe. 1 shows an exemplary system 100 , which prefers an area or a geographical area 105 concerns, on which a predetermined traffic situation may occur, from the usual road traffic is not expected. The predetermined area 105 can be delimited in any way, for example as shown by houses or even by means of a fence, a street, a marker or on the basis of a geographical indication.

Im Gebiet 105 können andere Regeln als im öffentlichen Straßenverkehr herrschen, beispielsweise was einen Verkehrsweg, eine Fahrgeschwindigkeit oder eine Verkehrsregel angeht. Auch ein sich im Gebiet 105 bewegendes oder bewegliches Objekt 110 kann im üblichen Straßenverkehr nicht zu erwarten sein. Das Objekt 110 kann beispielsweise ein Tier, einen insbesondere mit ungewöhnlicher Kleidung oder Montur ausgestatteten Menschen oder auch eine mechanische Einrichtung wie einen Teil einer Seilbahn oder ein ungewöhnliches Kraftfahrzeug wie einen Container-Transporter, einen Muldenkipper, einen Bagger oder einen Traktor umfassen. Übliche Gebiete 105 umfassen beispielsweise einen Betriebshof, einen Hafen, ein Experimentierfeld oder ein Testgelände.In the area of 105 There may be other rules than on public roads, for example as regards a traffic route, a driving speed or a traffic rule. Also in the area 105 moving or moving object 110 can not be expected in normal traffic. The object 110 For example, it may comprise an animal, a human being equipped, in particular, with unusual clothing or gear, or even a mechanical device such as a part of a cable car or an unusual motor vehicle such as a container van, a dump truck, an excavator or a tractor. Usual areas 105 include, for example, a depot, a harbor, an experimental field or a test area.

Eine Vorrichtung 115 umfasst eine erste Kamera 120, die innerhalb des Gebiets 105 ortsfest angebracht und zur Durchführung einer ersten optischen Abtastung des beweglichen Objekts 110 eingerichtet ist, ferner eine Verarbeitungseinrichtung 125 und eine Schnittstelle 130, die bevorzugt drahtlos ausgeführt ist, beispielsweise mittels WLAN, Bluetooth oder auf der Basis eines Mobilfunknetzes.A device 115 includes a first camera 120 that are within the area 105 fixedly mounted and for performing a first optical scanning of the movable object 110 is set up, further a processing device 125 and an interface 130 , which is preferably carried out wirelessly, for example by means of WLAN, Bluetooth or based on a mobile network.

Die erste Kamera 120 kann eine einfache oder eine Stereokamera umfassen, die in beliebigen Wellenlängenbereichen arbeiten kann. Die erste Kamera 120 ist dazu eingerichtet, das insbesondere bewegliche Objekt 110 abzutasten und ein erstes Bild 135 vom Objekt 110 zu erstellen. Die erste Kamera 120 ist bevorzugt dazu eingerichtet, mehrere Bilder des Objekts 110 zu erfassen, und es können auch mehrere ortsfeste Kameras 120 vorgesehen sein, um möglichst viele Bilder 135 des Objekts 110 zu erfassen, die sich beispielsweise in ihren Perspektiven oder Randbedingungen, etwa einer Tageszeit, Lichtverhältnissen oder der Anwesenheit eines anderen Objekts 110, unterscheiden können.The first camera 120 may include a single or a stereo camera that can operate in any wavelength range. The first camera 120 is adapted to the particular moving object 110 to scan and a first picture 135 from the object 110 to create. The first camera 120 is preferably adapted to multiple images of the object 110 and there can also be several stationary cameras 120 Be provided as many pictures as possible 135 of the object 110 for example, in their perspectives or boundary conditions, such as a time of day, lighting conditions or the presence of another object 110 , can distinguish.

Auf der Basis der ersten Bilder 135 können Objektinformationen 137 bestimmt werden, die eine rasche Bestimmung erlauben können, ob ein weiteres Bild das liegende Objekt 110 zeigt oder nicht. Dazu können die Bilder 135 beispielsweise zum Trainieren eines neuronalen Netzwerks verwendet werden. Alternativ können auch ein Modell oder eine Heuristik auf der Basis der Bilder 135 erstellt oder parametrisiert werden. Weitere Objektinformationen 137 können dem Objekt 110 zugeordnet sein, beispielsweise aufgrund einer manuellen Zuordnung, durch Abgleich mit einer anderen Informationsquelle oder aufgrund eines eigenen Lernverhaltens der Verarbeitung. Die weiteren Informationen können beispielsweise einen Namen, eine Identifikationsnummer, ein Verhalten oder einen Behandlungshinweis umfassen.Based on the first pictures 135 can object information 137 be determined, which can allow a rapid determination of whether another image is the underlying object 110 shows or not. This can be the pictures 135 For example, be used to train a neural network. Alternatively, a model or a heuristic can be based on the images 135 be created or parameterized. Further object information 137 can the object 110 be assigned, for example due to a manual assignment, by matching with another source of information or due to a separate learning behavior of the processing. The further information may include, for example, a name, an identification number, a behavior or a treatment reference.

Eine zweite Kamera 140 ist dazu eingerichtet, ein zweites Bild 145 vom Objekt anzufertigen. Dabei ist die zweite Kamera 140 innerhalb des Gebiets 105 beweglich angeordnet, beispielsweise indem sie an Bord eines fahrbaren und insbesondere fahrenden Kraftfahrzeugs 155 angebracht ist. In der dargestellten Ausführungsform sind im Bereich der zweiten Kamera 140 bevorzugt eine Verarbeitungseinrichtung 125 und/oder eine insbesondere drahtlose Schnittstelle 130 vorgesehen.A second camera 140 is set up to take a second picture 145 from the object. Here is the second camera 140 within the area 105 movably arranged, for example by being on board a mobile and in particular moving motor vehicle 155 is appropriate. In the illustrated embodiment, in the area of the second camera 140 preferably a processing device 125 and / or a particular wireless interface 130 intended.

Es wird vorgeschlagen, dass die Vorrichtung 120, insbesondere über einen längeren Zeitraum hinweg, beispielsweise über Stunden, Tage oder Wochen, erste Bilder 135 des Objekts 110 sammelt, verarbeitet und auf deren Basis Objektinformationen 137 bestimmt, die sie in einer Objektliste 150 ablegt. Die Objektliste 150 kann in einer Speichervorrichtung 160 abgelegt sein, die in unterschiedlichen Ausführungsformen im Bereich der ersten Kamera 140, im Bereich der zweiten Kamera 140 oder an einer anderen Stelle angeordnet sein kann. Die Verarbeitungseinrichtung 125 kann im Bereich der Objektliste 150, aber entfernt von der ersten Kamera 120 und/oder der zweiten Kamera 140 angeordnet sein. Bei Bedarf kann auf die Objektliste 150 mittels der insbesondere drahtlosen Schnittstelle 130 zugegriffen werden.It is suggested that the device 120 , Especially over a long period of time, for example, over hours, days or weeks, first pictures 135 of the object 110 collects, processes and based on this object information 137 It determines who they are in an object list 150 stores. The object list 150 can in a storage device 160 be stored in different embodiments in the area of the first camera 140 , in the area of the second camera 140 or may be arranged at another location. The processing device 125 can in the area of the object list 150 , but away from the first camera 120 and / or the second camera 140 be arranged. If necessary, you can access the object list 150 by means of the particular wireless interface 130 be accessed.

Sind ausreichend Objektinformationen 137 gesammelt, so können die Objektliste 150 und/oder darin gespeicherte Objektinformationen 137 extern verfügbar gemacht werden, insbesondere der zweiten Kamera 140 oder der Vorrichtung an Bord des Kraftfahrzeugs 155.Are enough object information 137 collected, so can the object list 150 and / or object information stored therein 137 made available externally, in particular the second camera 140 or the device on board the motor vehicle 155 ,

Dazu kann in einer ersten Variante mittels der zweiten Kamera 140 ein zweites Bild 135 des Objekts abgetastet werden. Insbesondere wenn auf der Basis des zweiten Bilds 135 mit lokal verfügbaren Mitteln keine oder keine ausreichend zuverlässige Erkennung des Objekts 110 durchgeführt werden kann, kann in einer ersten Ausführungsform das zweite Bild 135 an die Vorrichtung 120 übermittelt werden, die das Objekt 110 auf der Basis der Objektliste 150 erkennen und passende Objektinformationen 137 oder diesen zugeordnete Informationen bereitstellen kann.For this purpose, in a first variant by means of the second camera 140 a second picture 135 of the object are scanned. Especially if based on the second picture 135 with locally available means no or no sufficiently reliable detection of the object 110 can be performed, in a first embodiment, the second image 135 to the device 120 be transmitted to the object 110 based on the object list 150 recognize and matching object information 137 or provide information associated with it.

In einer zweiten Variante kann die Objektliste 150 auch ganz oder teilweise in den Bereich der zweiten Kamera 140, hier an Bord des Kraftfahrzeugs 155 und insbesondere an die dort angebrachte Verarbeitungseinrichtung 125, heruntergeladen werden, und die Erkennung des Objekts 110 kann lokal erfolgen.In a second variant, the object list 150 also completely or partially in the area of the second camera 140 , here on board the motor vehicle 155 and in particular to the processing device attached thereto 125 , downloaded, and the detection of the object 110 can be done locally.

Die Varianten können auch miteinander gemischt werden, indem mehrere Objektlisten 137 an unterschiedlichen Orten gepflegt und miteinander fusioniert oder abgeglichen werden können.The variants can also be mixed together by adding multiple object lists 137 maintained in different places and can be merged or compared.

In allen Fällen kann auf der Basis der Objektinformationen 137 ein Hinweis bestimmt werden, wie das Kraftfahrzeug 155 vorteilhaft auf das Objekt 110 reagieren kann. Der Hinweis kann an einen Fahrer des Kraftfahrzeugs 155 ausgegeben werden oder das Kraftfahrzeug kann auf der Basis des Hinweises mehr oder weniger automatisch gesteuert werden.In all cases, based on the object information 137 an indication can be determined, such as the motor vehicle 155 beneficial to the object 110 can react. The hint can be sent to a driver of the motor vehicle 155 output or the motor vehicle can be controlled more or less automatically on the basis of the hint.

2 zeigt exemplarische Positionen mehrerer Kameras 120, 140. Rein beispielhaft sind drei erste Kameras 120 und eine zweite Kameras 140 gezeigt. Je zwei erste Kameras 120 können miteinander zu einer virtuellen Stereokamera verbunden werden. Idealerweise können zwei beliebige erste Kameras 120 zu einer solchen Stereokamera kombiniert werden. Jede Kamera 120, 140 kann dabei Teil mehrerer Stereokameras sein. Mehrere Kameras 120 tasten das Objekt 110 möglichst zum gleichen Zeitpunkt ab und erstellen dabei erste Bilder 135, die anschließend verarbeitet werden können. Dazu können eines oder beide Bilder 135 angepasst werden, beispielsweise bezüglich einer Vergrößerung oder Helligkeit. Allgemein gilt, dass ein Objekt 110 besser erkannt werden kann, wenn es unter möglichst vielen verschiedenen Umständen wie Beleuchtung, Entfernung oder Ausprägung des Objekts 110 optisch abgetastet wurde. 2 shows exemplary positions of several cameras 120 . 140 , Purely exemplary are three first cameras 120 and a second cameras 140 shown. Two first cameras each 120 can be connected together to form a virtual stereo camera. Ideally, any two first cameras can 120 combined to such a stereo camera. Every camera 120 . 140 can be part of several stereo cameras. Several cameras 120 feel the object 110 possible at the same time and create the first pictures 135 which can then be processed. This can be one or both pictures 135 be adapted, for example, in terms of magnification or brightness. Generally, that is an object 110 It can be better recognized if it is under as many different circumstances as lighting, distance or expression of the object 110 was optically scanned.

Das Objekt 110 befindet sich zu einem Zeitpunkt, zu dem es mittels der zweiten Kamera 140 abgetastet wird, bevorzugt im optischen Erfassungsbereich einer oder mehrerer erster Kameras 120.The object 110 is at a time when it is using the second camera 140 is scanned, preferably in the optical detection range of one or more first cameras 120 ,

3 zeigt eine beispielhafte Objektliste 150. Schematisch sind in Zeilen 305 jeweils Objektinformationen 137 über unterschiedliche, exemplarische Objekte 110 eingetragen. Jedem Objekt 110 können beispielsweise eine Klasse 310, ein Name 315 oder ein zugeordnetes, bevorzugtes Manöver 320 des Kraftfahrzeugs 155 zugeordnet sein. Die Objektliste 150 kann aus unterschiedlichen Quellen befüllt werden. Üblicherweise erfolgt die Befüllung, indem mehrere Quellen miteinander fusioniert werden. Beispielsweise kann ein Objekt 110 auf der Basis eines oder mehrerer ersten Bilder 135 auf einem zweiten Bild 145 wiedererkannt werden. Eine Zuordnung des erkannten Objekts 110 zu einer Objektklasse 310, einem Namen 315 oder einem Manöver 320 erfolgt aber bevorzugt aus einer anderen Quelle. 3 shows an exemplary object list 150 , Schematically are in lines 305 each object information 137 about different, exemplary objects 110 entered. Every object 110 can, for example, be a class 310 , a name 315 or an associated, preferred maneuver 320 of the motor vehicle 155 be assigned. The object list 150 can be filled from different sources. Usually, the filling takes place by fusing several sources together. For example, an object 110 based on one or more first pictures 135 on a second picture 145 to be recognized. An association of the detected object 110 to an object class 310 , a name 315 or a maneuver 320 but preferably takes place from another source.

Eine beispielhafte weitere Quelle umfasst eine manuelle Angabe oder Zuordnung, die symbolisch als Mobilcomputer 325 dargestellt ist. Ein Benutzer kann auf diese Weise beispielsweise eine temporäre oder permanente Zuordnung zwischen einem Objekt 110 und einem Attribut oder einer Information treffen. Inkorrekte, automatisch bereitgestellte Informationen können editiert oder gelöscht werden. Noch eine weitere Quelle ist in Form eines Verarbeitungssystems 330 dargestellt, das insbesondere zweite Bilder 145 so verarbeiten kann, dass ein Objekt 110 auf der Basis eines ersten Bildes 135 wiedererkannt werden kann. Dabei kann eine automatische Adaption eines Eintrags für ein Objekt 110 erfolgen, in einer Weiterentwicklung kann der Eintrag auch maschinell erlernt werden, beispielsweise mittels eines rückgekoppelten Netzwerks. In einer Ausführungsform werden die Einträge der Objektliste 150 erst für den Abgleich mit einem ersten Bild 135 verwendet, wenn die Anzahl der Objektliste 150 ausreichend groß ist, was sich beispielsweise daran zeigen kann, dass die Anzahl über die Zeit weniger als ein vorbestimmtes Maß variiert.An exemplary further source includes a manual indication or assignment, symbolically as a mobile computer 325 is shown. For example, a user may have a temporary or permanent association between an object 110 and an attribute or information. Incorrect, automatically provided information can be edited or deleted. Yet another source is in the form of a processing system 330 represented, in particular second images 145 so that can handle an object 110 based on a first image 135 can be recognized. This can be an automatic adaptation of an entry for an object 110 take place, in a further development, the entry can also be learned by machine, for example by means of a feedback network. In one embodiment, the entries of the object list 150 only for the comparison with a first picture 135 used when the number of object list 150 is sufficiently large, which can be shown, for example, that the number varies over time less than a predetermined amount.

Zur Isolation oder Erkennung eines Objekts 110 in einem oder mehreren zweiten Bildern 145 können beliebige bekannte Techniken verwendet werden, beispielsweise mittels „Structure From Motion“, Bestimmung einer „Bounding Box“ oder Verfolgung („Tracking“) eines Bildausschnitts.For isolation or detection of an object 110 in one or more second pictures 145 For example, any known technique may be used, for example, by "structure from motion", determination of a bounding box, or tracking of an image section.

Ein Eintrag der Objektliste 150 kann auch auf der Basis einer weiteren Information verändert werden. Beispielsweise kann ein Verwaltungssystem für das System 100 ein bevorzugtes Manöver für ein vorbestimmtes Objekt 110 in Abhängigkeit eines geplanten Arbeitsgangs ändern. In einem Beispiel kann ein auf einer Wiese liegender Strohballen zunächst mit dem Manöver „Umfahren“ und später mit dem Manöver „Einsammeln“ verbunden sein. Ein automatisch steuerbares Kraftfahrzeug 155 zur Bearbeitung von Objekten 110 kann auf diese Weise verbessert gesteuert werden.An entry of the object list 150 can also be changed on the basis of further information. For example, a management system for the system 100 a preferred maneuver for a predetermined object 110 change depending on a planned operation. In one example, a bale of straw lying on a meadow may first be associated with the "avoid" maneuver and later with the "gather" maneuver. An automatically controlled motor vehicle 155 for editing objects 110 can be controlled in this way improved.

4 zeigt ein Ablaufdiagramm eines Verfahrens 400 zur Objekterkennung eines Objekts 110. Das Verfahren 400 kann insbesondere auf einer oder mehrerer der Verarbeitungseinrichtungen 125, dem Verarbeitungssystem 330 einer oder mehrerer Objektlisten 150 und/oder einem Verwaltungssystem 335 ablaufen. 4 shows a flowchart of a method 400 for object recognition of an object 110 , The procedure 400 may in particular on one or more of the processing facilities 125 , the processing system 330 one or more object lists 150 and / or a management system 335 expire.

In einem Schritt 405 wird mittels der zweiten Kamera 140 ein zweites Bild 145 des Objekts 110 erstellt. Kann auf der Basis der lokal zur Verfügung stehenden Informationen über das Objekt 110 keine eindeutige Entscheidung getroffen werden, um welches Objekt 110 es sich handelt oder wie darauf vorteilhaft zu reagieren ist, so kann auf die aus anderer Quelle bereitgestellte Objektliste 150 zurückgegriffen werden.In one step 405 is using the second camera 140 a second picture 145 of the object 110 created. Can be based on the locally available information about the object 110 no clear decision is made as to which object 110 it may or may not be advantageous to respond to the object list provided from another source 150 be resorted to.

Die Objektliste 150 wurde bevorzugt bereits vorher bereitgestellt, indem in einem Schritt 410 eines oder mehrere erste Bilder 135 des Objekts 110 mittels der ersten Kamera 120 erstellt wurde. Die ersten Bilder 135 können in einem Schritt 415 komprimiert, miteinander in Beziehung gesetzt oder sonstwie verarbeitet werden. Dabei kann bevorzugt eine Art Fingerabdruck des Objekts 110 bestimmt werden, der mit einem korrespondierenden Fingerabdruck des zweiten Bilds 145 verglichen werden kann. Diese und optional noch weitere Objektinformationen 137 können in einem Schritt 420 in einer Objektliste 150 abgelegt werden.The object list 150 was preferably already pre-provisioned, in one step 410 one or more first pictures 135 of the object 110 by means of the first camera 120 was created. The first pictures 135 can in one step 415 compressed, interrelated or otherwise processed. In this case, preferably a kind of fingerprint of the object 110 be determined with a corresponding fingerprint of the second image 145 can be compared. These and optionally further object information 137 can in one step 420 in an object list 150 be filed.

In einem Schritt 425 werden das zweite Bild und die zuvor bestimmten Objektinformationen 137 zusammen gebracht und miteinander verglichen. Dadurch kann insbesondere bestimmt werden, welches Objekt 110 auf dem zweiten Bild 145 abgebildet ist, bzw. ob das auf dem zweiten Bild 145 abgebildete Objekt 110 einem zuvor analysierten Objekt 110 zugeordnet werden kann oder nicht. Außerdem können weitere Objektinformationen 137 bestimmt werden, die dem Objekt 110 zugeordnet sind. Auf der Basis der Objektinformationen 137 kann ein Hinweis auf eine empfohlene Steuerung des Kraftfahrzeugs 155 bestimmt und bereitgestellt werden.In one step 425 become the second image and the previously determined object information 137 brought together and compared. In particular, it is possible to determine which object 110 on the second picture 145 is pictured, or whether that on the second picture 145 pictured object 110 a previously analyzed object 110 can be assigned or not. It also allows more object information 137 be determined that the object 110 assigned. On the basis of the object information 137 may be an indication of a recommended control of the motor vehicle 155 be determined and provided.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

100100: Systemsystem
105105: Gebietarea
110110: Objektobject
115115: Vorrichtungdevice
120120: erste Kamerafirst camera
125125: Verarbeitungseinrichtungprocessing device
130130: Schnittstelleinterface
135135: erstes Bildfirst picture
137137: ObjektinformationenProperty information
140140: zweite Kamerasecond camera
145145: zweites Bildsecond picture
150150: Objektlisteobject list
155155: Kraftfahrzeugmotor vehicle
160160: Speichervorrichtung storage device
305305: Zeilerow
310310: Klasseclass
315315: NameSurname
320320: Manövermaneuver
325325: Mobilcomputermobile computer
330330: Verarbeitungssystemprocessing system
335335: Verwaltungssystem management system
400400: Verfahrenmethod
405405: Anfertigen zweites BildMake second picture
410410: Anfertigen erstes BildMake first picture
415415: Objekt bestimmenDetermine object
420420: Informationen ablegenStore information
425425: Objekt bestimmenDetermine object
430430: Kraftfahrzeug steuernControl motor vehicle

Claims

A method (400) for object recognition within a predetermined geographical area (105), the method (400) comprising the steps of: performing (410) a first scan of an object (110) movable in the area (105) by means of a first camera (120 ), wherein the first camera (120) is fixedly mounted in the area (105); Determining (415) object information (137) of the object (110) based on the first sample; Storing (420) the object information (137) in an object list (150); Performing (405) a second scan of the object (110) by means of a second camera (140), the second camera (140) being movable within the area (105); and Determining (425) object information (137) of the object (110) based on the second sample and object information (137) of the object list (150).

Method (400) after Claim 1 wherein the object information (137) is additionally determined (415) based on external information.

Method (400) after Claim 1 or 2 wherein a motion of the object (110) is determined based on a plurality of scans, and wherein the object information (137) is additionally determined (415) based on the motion.

Method (400) according to one of the preceding claims, wherein a plurality of first cameras (120) are fixedly mounted at different positions in the area (105) and the object information (137) is determined on the basis of scans of the first cameras (120).

Method (400) after Claim 5 wherein the object (110) is scanned simultaneously by at least two first cameras (120).

Method (400) according to one of the preceding claims, wherein object information (137) of several objects (110) are stored in the object list (150) and an association of a specific object information (137) with an object (110) is determined by means of a correlation analysis (425) becomes.

Method (400) according to one of the preceding claims, wherein the second camera (140) is mounted on board a motor vehicle (155) and on the basis of the object information (137) an indication for the control of the motor vehicle (155) with respect to the object (110). provided.

Method (400) after Claim 7 in which the affiliation of one of the objects (110) to an object class (310) is determined and the indication is provided on the basis of the object class (310).

Apparatus (120) comprising a first camera (120) fixed within a predetermined geographic area (105) and adapted to perform a first scan of an object (110) movable in the area (105); a storage device (160) for receiving an object list (150) comprising object information (137) of at least one object (110); a wireless interface (130); and processing means (125) arranged to determine, based on the first scan, object information (137) of the object (110), store the object information (137) in the object list (150), and object information (137) of the object list (150) based on a request received by the interface (130).

Device (120) according to Claim 9 wherein the query is based on a scan of the object (110) by a second camera (140), the second camera (140) being movable within the area (105).