DE112021002170T5 - Image processing device and image processing method - Google Patents

Image processing device and image processing method Download PDF

Info

Publication number
DE112021002170T5
DE112021002170T5 DE112021002170.2T DE112021002170T DE112021002170T5 DE 112021002170 T5 DE112021002170 T5 DE 112021002170T5 DE 112021002170 T DE112021002170 T DE 112021002170T DE 112021002170 T5 DE112021002170 T5 DE 112021002170T5
Authority
DE
Germany
Prior art keywords
identification
image
processing
class
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112021002170.2T
Other languages
German (de)
Inventor
Hiroki MOIZUMI
Koji Doi
Takeshi Nagasaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of DE112021002170T5 publication Critical patent/DE112021002170T5/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es werden eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren geschaffen, die eine Verarbeitungslast einer Bildverarbeitung zum Identifizieren von mehreren Identifizierungszielen aus einem Bild verringern und die Identifizierungsgenauigkeit verbessern können. Eine Bildverarbeitungsvorrichtung IPA enthält eine Mehrklassenidentifizierungseinheit 122, eine Verfolgungsverarbeitungseinheit 131 und eine Identifizierungseinheit 132. Die Mehrklassenidentifizierungseinheit 122 führt eine Mehrklassenidentifizierungsverarbeitung an einem Bild, das durch eine Bildgebungsvorrichtung ID aufgenommen wird, durch und identifiziert mehrere Typen von Identifizierungszielen. Die Verfolgungsverarbeitungseinheit 131 führt eine Bildverfolgung, in der das Identifizierungsziel, das durch die Mehrklassenidentifizierungsverarbeitung identifiziert wurde, als ein Verfolgungsziel gesetzt ist, durch und berechnet einen vorhergesagten Ort des Verfolgungsziels in einem Bild zu einem späteren Zeitpunkt auf der Grundlage eines Bilds zu einer vorhergehenden Zeit. Die Identifizierungseinheit 132 führt einen Zweiklassenidentifizierungsprozess, der dem Typ des Verfolgungsziels entspricht, an dem vorhergesagten Ort des Bilds zur späteren Zeit durch und identifiziert den Typ des Verfolgu ngsziels.An image processing apparatus and an image processing method are provided that can reduce a processing load of image processing for identifying a plurality of identification targets from an image and improve identification accuracy. An image processing apparatus IPA includes a multi-class identification unit 122, a tracking processing unit 131, and an identification unit 132. The multi-class identification unit 122 performs multi-class identification processing on an image captured by an imaging apparatus ID and identifies plural types of identification targets. The tracking processing unit 131 performs image tracking in which the identification target identified by the multi-class identification processing is set as a tracking target, and calculates a predicted location of the tracking target in an image at a later time based on an image at a previous time. The identification unit 132 performs a two-class identification process corresponding to the type of the tracking target on the predicted location of the later-time image and identifies the type of the tracking target.

Description

Technisches Gebiettechnical field

Die vorliegende Offenbarung bezieht sich auf eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren.The present disclosure relates to an image processing device and an image processing method.

Technischer HintergrundTechnical background

Es sind bereits Erfindungen, die mit einer Objektdetektionsvorrichtung, einem Objektdetektionsverfahren und einem Programm in Beziehung stehen, bekannt (siehe PTL 1 unten). PTL 1 offenbart eine Objektdetektionsvorrichtung, die eine Detektionseinheit und eine nichtlineare Verarbeitungseinheit enthält (Zusammenfassung, Anspruch 1 und Absatz 0006 im selben Dokument). Die Detektionseinheit detektiert einen oder mehrere Objektkandidatenbereiche aus einem aufgenommenen Bild. Die nichtlineare Verarbeitungseinheit gibt das aufgenommene Bild, das mindestens den Objektkandidatenbereich enthält, teilweise oder vollständig in ein neuronales Netz ein, das eine Lage eines Objekts im Objektkandidatenbereich und eine Entfernung zum Objekt gleichzeitig schätzt. Ferner gibt die nichtlineare Verarbeitungseinheit Objektinformationen, die mindestens Informationen über die Entfernung zum Objekt enthalten, unter Verwendung einer Ausgabe des neuronalen Netzes aus.Inventions related to an object detection device, an object detection method and a program are already known (see PTL 1 below). PTL 1 discloses an object detection apparatus including a detection unit and a non-linear processing unit (abstract, claim 1 and paragraph 0006 in the same document). The detection unit detects one or more object candidate areas from a captured image. The non-linear processing unit inputs part or all of the captured image including at least the object candidate area to a neural network, which estimates a location of an object in the object candidate area and a distance to the object at the same time. Further, the non-linear processing unit outputs object information including at least information about the distance to the object using an output of the neural network.

Die herkömmliche Objektdetektionsvorrichtung, die in PTL 1 beschrieben ist, detektiert das Objekt, das in einem Bildgebungsbereich vorhanden ist, auf der Grundlage des Bilds, das durch eine fahrzeuginterne Kamera aufgenommen wurde, und gibt die Objektinformationen, die mindestens Informationen über die Entfernung zum detektierten Objekt enthalten, aus. Beispiele des Objekts, das durch die Objektdetektionsvorrichtung detektiert wird, umfassen weitere Fahrzeuge, Fußgänger, Zweiradfahrzeuge wie z. B. Fahrräder und Motorräder und Straßenrandinstallationen wie z. B. Ampeln, Verkehrszeichen, Strommasten und Schilder, die um das Trägerfahrzeug, an dem die Objektdetektionsvorrichtung montiert ist, vorhanden sind, und Hindernisse, die die Bewegung des Trägerfahrzeugs stören können (PTL 1, Absatz 0008).The conventional object detection device described in PTL 1 detects the object present in an imaging area based on the image picked up by an in-vehicle camera and gives the object information, which is at least information about the distance to the detected object included, off. Examples of the object detected by the object detection device include other vehicles, pedestrians, two-wheeled vehicles such as bicycles. B. bicycles and motorcycles and roadside installations such. B. traffic lights, road signs, electricity poles and signs that exist around the host vehicle on which the object detection apparatus is mounted, and obstacles that may interfere with the movement of the host vehicle (PTL 1, paragraph 0008).

Die Detektion des Objektkandidatenbereichs durch die Detektionsfunktion der Objektdetektionsvorrichtung verwendet als Grundlage die Bestimmung des Vorliegens oder des Fehlens des Objekts im aufgenommenen Bild der fahrzeuginternen Kamera unter Verwendung des Abtastrechtecks, das der Größe des Objekts, das detektiert werden soll, entspricht (PTL 1, Absatz 0021). Dann wird ein Bildmerkmal für den Bildbereich im Abtastrechteck berechnet, um unter Verwendung einer Identifizierungsvorrichtung ist, die im Voraus zum Lernen veranlasst worden ist, zu bestimmen, ob ein weiteres Fahrzeug im Abtastrechteck vorhanden ist oder nicht, oder eine Wahrscheinlichkeit auszugeben, die die Wahrscheinlichkeit des weiteren Fahrzeugs angibt (PTL 1, Absatz 0022).The detection of the object candidate area by the detection function of the object detection device uses as a basis the determination of the presence or absence of the object in the captured image of the in-vehicle camera using the scanning rectangle corresponding to the size of the object to be detected (PTL 1, paragraph 0021 ). Then, an image feature for the image area in the scanning rectangle is calculated to determine whether or not another vehicle is present in the scanning rectangle using an identification device that has been caused to learn in advance, or to output a probability that indicates the probability of the another vehicle (PTL 1, paragraph 0022).

Entgegen haItu ngslisteContrary to list of contents

Patentl iteratu rpatent literature

PTL 1: JP 2019-008460 A PTL 1: JP 2019-008460 A

Zusammenfassung der ErfindungSummary of the Invention

Technisches ProblemTechnical problem

Ähnlich der Objektdetektionsvorrichtung enthalten Beispiele der Identifizierungsvorrichtung, die identifiziert, ob ein Objekt, das detektiert werden soll, im Abtastrechteck vorhanden ist, eine Zweiklassenidentifizierungsvorrichtung, die ein Fahrzeug und weitere Objekte identifiziert, und eine Mehrklassenidentifizierungsvorrichtung, die jeweils mehrere Objekte wie z. B. ein Fahrzeug, einen Fußgänger und weitere Objekte identifiziert. Allerdings besteht mit der Entwicklung eines fortschrittlichen Fahrerunterstützungssystems (ADAS) und eines automatisierten Ansteuerungssystem (ADS) eine Tendenz, dass mehrere Typen von Zielen identifiziert werden.Similar to the object detection device, examples of the identification device that identifies whether an object to be detected is present in the scanning rectangle include a two-class identification device that identifies a vehicle and other objects, and a multi-class identification device that each identifies a plurality of objects such as vehicles. B. identifies a vehicle, a pedestrian and other objects. However, with the development of an advanced driver assistance system (ADAS) and an automated driving system (ADS), there is a tendency that multiple types of targets are identified.

Um die Zunahme der Typen von.ldentifizierungszielen in der Bildverarbeitung des Identifizierens des Objekts, das aus dem Bild der Bildgebungsvorrichtung identifiziert werden soll, zu bewältigen, ist es z. B. nötig, die Identifizierungsgenauigkeit durch gemeinsames Verwendung einer großen Anzahl von Identifizierungsvorrichtungen oder Vergrößern der Hierarchie jeder Identifizierungsvorrichtung zu verbessern. Allerdings wird, wenn die Anzahl von Identifizierungsvorrichtungen oder die Anzahl von Hierarchien von Identifizierungsvorrichtungen erhöht wird, die Last der Objektidentifizierungsverarbeitung erhöht und kann die Verarbeitungszeit eine erforderliche Zeit überschreiten.In order to cope with the increase in the types of identification targets in the image processing of identifying the object to be identified from the image of the imaging device, it is e.g. For example, it is necessary to improve identification accuracy by using a large number of identification devices together or increasing the hierarchy of each identification device. However, when the number of identification devices or the number of hierarchies of identification devices is increased, the load of the object identification processing is increased and the processing time may exceed a required time.

Die vorliegende Offenbarung schafft eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren, die eine Verarbeitungslast einer Bildverarbeitung zum Identifizieren von mehreren Identifizierungszielen aus einem Bild verringern und die Identifizierungsgenauigkeit verbessern können.The present disclosure provides an image processing apparatus and an image processing method that can reduce a processing load of image processing for identifying a plurality of identification targets from an image and improve identification accuracy.

Lösung des Problemsthe solution of the problem

Ein Aspekt der vorliegenden Offenbarung ist eine Bildverarbeitungsvorrichtung, die eine Mehrklassenidentifizierungseinheit, die eine Mehrklassenidentifizierungsverarbeitung an einem Bild, das durch eine Bildgebungsvorrichtung aufgenommen wurde, durchführt und mehrere Typen von Identifizierungszielen identifiziert, eine Verfolgungsverarbeitungseinheit, die eine Bildverfolgung, in der das Identifizierungsziel, das durch die Mehrklassenidentifizierungsverarbeitung identifiziert wurde, als ein Verfolgungsziel gesetzt ist, durchführt und einen vorhergesagten Ort des Verfolgungsziels in einem Bild zu einem späteren Zeitpunkt auf der Grundlage eines Bilds zu einer vorhergehenden Zeit berechnet, und eine Identifizierungseinheit, die einen Zweiklassenidentifizierungsprozess, der dem Typ eines Verfolgungsziels entspricht, an dem vorhergesagten Ort im Bild zur späteren Zeit durchführt und den Typ des Verfolgungsziels identifiziert, enthält.One aspect of the present disclosure is an image processing device that includes a multi-class identification unit that performs multi-class identification processing on an image captured by an imaging device and performs multiple types of identification tracking targets, a tracking processing unit that performs image tracking in which the identification target identified by the multi-class identification processing is set as a tracking target, and a predicted location of the tracking target in an image at a later time based on an image at a previous time time, and an identification unit that performs a two-class identification process that corresponds to the type of a tracking target at the predicted location in the image at the later time and identifies the type of the tracking target.

Vorteilhafte Wirkungen der ErfindungAdvantageous Effects of the Invention

Gemäß dem ersten Aspekt der vorliegenden Offenbarung, ist es möglich, die Bildverarbeitungsvorrichtung und das Bildverarbeitungsverfahren zu schaffen, die die Verarbeitungslasteiner Bildverarbeitung zum Identifizieren von mehreren Identifizierungszielen aus einem Bild verringern und die Identifizierungsgenauigkeit verbessern können.According to the first aspect of the present disclosure, it is possible to provide the image processing apparatus and the image processing method, which can reduce the processing load of an image processing for identifying a plurality of identification targets from an image and improve the identification accuracy.

Figurenlistecharacter list

  • [1] 1 ist ein Blockdiagramm, das eine Ausführungsform einer Bildverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung veranschaulicht.[ 1 ] 1 12 is a block diagram illustrating an embodiment of an image processing device according to the present disclosure.
  • [2A] 2A ist ein Ablaufplan, der eine Ausführungsform eines Bildverarbeitungsverfahrens gemäß der vorliegenden Offenbarung. veranschaulicht.[ 2A ] 2A FIG. 12 is a flowchart showing an embodiment of an image processing method according to the present disclosure. illustrated.
  • [2B] 2B ist ein Ablaufplan, der eine Ausführungsform des Bildverarbeitungsverfahrens gemäß der vorliegenden Offenbarung veranschaulicht.[ 2 B ] 2 B 12 is a flowchart illustrating an embodiment of the image processing method according to the present disclosure.

Beschreibung der AusführungsformenDescription of the embodiments

Im Folgenden werden Ausführungsformen einer Bildverarbeitungsvorrichtung und eines Bildverarbeitungsverfahrens gemäß der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen beschrieben.Hereinafter, embodiments of an image processing apparatus and an image processing method according to the present disclosure will be described with reference to the drawings.

1 ist ein Blockdiagramm, das eine Ausführungsform einer Bildverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung veranschaulicht. Die Bildverarbeitungsvorrichtung IPA gemäß der vorliegenden Ausführungsform ist z. B. eine Vorrichtung, die mehrere Typen von Identifizierungszielen aus einem Bild, das durch die Bildgebungsvorrichtung ID aufgenommen wurde, identifiziert. Insbesondere ist die Bildverarbeitungsvorrichtung IPA z. B. eine Vorrichtung, die an einem Fahrzeug montiert ist und mehrere verschiedene Objekte in der Nähe des Fahrzeugs aus einem Bild, das durch eine Bildgebungsvorrichtung ID wie z. B. eine monokulare Kamera oder eine Stereokamera aufgenommen wurde, identifiziert. Es ist festzuhalten, dass das Bild, das durch die Bildgebungsvorrichtung ID aufgenommen wird, nicht besonders beschränkt ist und z. B. ein Farbbild, ein Graustufenbild oder dergleichen geeignet gewählt werden kann. 1 12 is a block diagram illustrating an embodiment of an image processing device according to the present disclosure. The image processing device IPA according to the present embodiment is z. B. a device that identifies multiple types of identification targets from an image captured by the imaging device ID. In particular, the image processing device IPA is e.g. B. a device mounted on a vehicle and a plurality of different objects in the vicinity of the vehicle from an image created by an imaging device ID such. B. a monocular camera or a stereo camera was recorded identified. Note that the image captured by the imaging device ID is not particularly limited, and e.g. B. a color image, a grayscale image or the like can be selected appropriately.

In dem Beispiel, das in 1 veranschaulicht ist, ist die Bildgebungsvorrichtung ID eine Stereokamera, die an einem Fahrzeug montiert ist. Die Bildverarbeitungsvorrichtung IPA enthält z. B. eine Verarbeitungseinheit 100, die eine Verarbeitungsvorrichtung wie z. B. eine CPU enthält, eine Speichereinheit 200, die eine Speichervorrichtung wie z. B. einen ROM oder einen RAM enthält, und ein Computerprogramm, das in der Speichereinheit 200 gespeichert ist und durch die Verarbeitungseinheit 100 ausgeführt wird. Obwohl es nicht veranschaulicht ist, enthält die Bildverarbeitungsvorrichtung IPA z. B. eine Eingabe/Ausgabe-Einheit, die Signale einliest und ausgibt.In the example that in 1 1, the imaging device ID is a stereo camera mounted on a vehicle. The image processing device IPA contains z. B. a processing unit 100, which is a processing device such. B. contains a CPU, a memory unit 200, which is a storage device such. a ROM or a RAM, and a computer program stored in the storage unit 200 and executed by the processing unit 100 . Although not illustrated, the image processing device IPA includes e.g. B. an input/output unit that reads in and outputs signals.

Die Verarbeitungseinheit 100 der Bildverarbeitungsvorrichtung IPA enthält z. B. eine Signalverarbeitungseinheit 110 und eine Erkennungsverarbeitungseinheit 150. Die Signalverarbeitungseinheit 110 enthält z. B. eine Bilderfassungseinheit 111 und eine Parallaxenberechnungseinheit 112. Die Erkennungsverarbeitungseinheit 150 enthält z. B. eine erste Erkennungsverarbeitungseinheit 120, eine zweite Erkennungsverarbeitungseinheit 130 und eine Ausgabeverarbeitungseinheit 140. Die erste Erkennungsverarbeitungseinheit 120 enthält z. B. eine Bildbereichsauswahleinheit 121 und eine Mehrklassenidentifizierungseinheit 122. Die zweite Erkennungsverarbeitungseinheit 130 enthält z. B. eine Verfolgungsverarbeitungseinheit 131 und eine Identifizierungseinheit 132. Die Identifizierungseinheit 132 enthält z. B. mehrere Zweiklassenidentifizierungseinheiten 132a und 132b.The processing unit 100 of the image processing device IPA contains e.g. a signal processing unit 110 and a recognition processing unit 150. The signal processing unit 110 includes e.g. an image acquisition unit 111 and a parallax calculation unit 112. The recognition processing unit 150 includes e.g. B. a first recognition processing unit 120, a second recognition processing unit 130 and an output processing unit 140. The first recognition processing unit 120 includes e.g. an image area selection unit 121 and a multi-class identification unit 122. The second recognition processing unit 130 includes e.g. a tracking processing unit 131 and an identification unit 132. The identification unit 132 contains e.g. B. several two-class identification units 132a and 132b.

Jede Einheit der Verarbeitungseinheit 100 ist z. B. ein Funktionsblock der Verarbeitungseinheit 100, der durch Ausführen des Computerprogramms, das in der Speichereinheit 200 gespeichert ist, durch die Verarbeitungseinheit 100 realisiert wird. Jede Einheit der Verarbeitungseinheit 100 kann z. B. durch eine fest zugeordnete Verarbeitungsvorrichtung realisiert werden und mehrere Funktionsblöcke können durch eine Verarbeitungsvorrichtung realisiert werden. Zusätzlich kann die Speichereinheit 200 z. B. durch einen Typ oder mehrere Typen von Speichervorrichtungen konfiguriert sein oder kann durch eine einzelne Speichervorrichtung konfiguriert sein.Each unit of the processing unit 100 is e.g. B. a functional block of the processing unit 100, which is realized by executing the computer program stored in the memory unit 200 by the processing unit 100. Each unit of the processing unit 100 can e.g. B. can be implemented by a dedicated processing device and multiple functional blocks can be implemented by a processing device. In addition, the memory unit 200 can e.g. B. be configured by one or more types of storage devices or may be configured by a single storage device.

In dem Beispiel, das in 1 veranschaulicht ist, enthält die Bildverarbeitungsvorrichtung IPA die Speichereinheit 200; allerdings kann die Bildverarbeitungsvorrichtung IPA mit einer externen Speichereinheit 200 verbunden sein. Darüber hinaus ist in dem Beispiel, das in 1 veranschaulicht ist, die Bildverarbeitungsvorrichtung IPA mit einer externen Bildgebungsvorrichtung ID verbunden; allerdings kann die Bildverarbeitungsvorrichtung IPA die Bildgebungsvorrichtung ID enthalten. in dem Beispiel, das in 1 veranschaulicht ist, enthält die Identifizierungseinheit 132 das Paar von Zweiklassenidentifizierungseinheiten 132a und 132b, kann jedoch drei oder mehr Zweiklassenidentifizierungseinheiten enthalten.In the example that in 1 1, the image processing device IPA includes the storage unit 200; however, the image verar processing device IPA can be connected to an external storage unit 200 . Furthermore, in the example presented in 1 1, the image processing device IPA is connected to an external imaging device ID; however, the image processing device IPA may include the imaging device ID. in the example given in 1 As illustrated, identifier 132 includes the pair of two-class identifiers 132a and 132b, but may include three or more two-class identifiers.

Das Identifizierungsziel 202, das durch die Bildverarbeitungsvorrichtung IPA aus dem Bild, das durch die Bildgebungsvorrichtung ID aufgenommen wurde, identifiziert werden soll, wird z. B. im Voraus in der Speichereinheit 200 gespeichert. Das Identifizierungsziel 202 enthält mehrere Typen wie z. B. weitere Fahrzeuge, Fußgänger, bewegte Körper, Hindernisse, Fahrbahnen, Fahrbahnmarkierungen, Straßenschilder und Signale um das Trägerfahrzeug, an dem die Bildverarbeitungsvorrichtung IPA montiert ist. Ferner kann das weitere Fahrzeug, das durch die Bildverarbeitungsvorrichtung IPA identifiziert werden soll, mehrere Typen wie z. B. ein leichtes Fahrzeug wie ein Fahrrad, ein motorisiertes Fahrrad, ein Motorrad, einen leichten Personenkraftwagen, eine normalen Personenkraftwagen, einen großen Personenkraftwagen, einen Bus und einen Lastwagen enthalten. Ferner kann das weitere Fahrzeug z. B. einen Typ auf der Grundlage einer Position, eine Lage, einer Fahrtrichtung, einer Geschwindigkeit, einer Beschleunigung, einer Winkelgeschwindigkeit und dergleichen in Bezug auf das Trägerfahrzeug wie z. B. ein vorausfahrendes Fahrzeug, ein folgendes Fahrzeug, ein entgegenkommendes Fahrzeug, ein querendes Fahrzeug, ein rechtsabbiegendes Fahrzeug und ein linksabbiegendes Fahrzeug enthalten.The identification target 202 to be identified by the image processing device IPA from the image picked up by the imaging device ID is e.g. B. stored in the storage unit 200 in advance. The identification target 202 contains several types such as e.g. B. other vehicles, pedestrians, moving bodies, obstacles, lanes, lane markings, road signs and signals around the host vehicle on which the image processing device IPA is mounted. Furthermore, the other vehicle to be identified by the image processing device IPA, several types such. B. a light vehicle such as a bicycle, a motorized bicycle, a motorcycle, a light passenger car, an ordinary passenger car, a large passenger car, a bus and a truck. Furthermore, the other vehicle z. B. a type based on a position, an attitude, a heading, a speed, an acceleration, an angular velocity and the like with respect to the host vehicle such. For example, a preceding vehicle, a following vehicle, an oncoming vehicle, a crossing vehicle, a right-turning vehicle, and a left-turning vehicle are included.

Als nächstes wird eine Ausführungsform des Bildverarbeitungsverfahrens gemäß der vorliegenden Offenbarung unter Bezugnahme auf 2A und 2B zusammen mit dem Betrieb der Bildverarbeitungsvorrichtung IPA, die in 1 veranschaulicht ist, beschrieben. 2A und 2B sind Ablaufpläne des Bildverarbeitungsverfahrens IPM der vorliegenden Ausführungsform unter Verwendung der Bildverarbeitungsvorrichtung IPA, die in 1 veranschaulicht ist.Next, an embodiment of the image processing method according to the present disclosure will be described with reference to FIG 2A and 2 B together with the operation of the image processing device IPA, which in 1 is illustrated, described. 2A and 2 B are flow charts of the image processing method IPM of the present embodiment using the image processing apparatus IPA shown in FIG 1 is illustrated.

Die Bildgebungsvorrichtung ID nimmt z. B. ein Bild in einem vorgegebenen Zyklus und einer vorgegebenen Bildgebungszeit auf. Die Bildverarbeitungsvorrichtung IPA verarbeitet jedes Bild, das in einem vorgegebenen Zyklus durch die Bildgebungsvorrichtung ID durch das Bildverarbeitungsverfahren IPM aufgenommen, das in 2A veranschaulicht ist, wurde. Wenn das Bildverarbeitungsverfahren IPM, das in 2A veranschaulicht ist, gestartet wird, führt die Bildverarbeitungsvorrichtung IPA zuerst eine Bilderfassungsverarbeitung P1 aus.The imaging device ID takes e.g. B. acquires an image in a predetermined cycle and imaging time. The image processing device IPA processes each image captured in a predetermined cycle by the imaging device ID by the image processing method IPM described in 2A is illustrated, was. If the image processing method IPM, which is specified in 2A illustrated is started, the image processing apparatus IPA first executes image capturing processing P1.

In der Bilderfassungsverarbeitung P1 erfasst z. B. die Bilderfassungseinheit 111 ein Bild von der Bildgebungsvorrichtung ID und speichert das Bild in der Speichereinheit 200 als einen Abschnitt von Bildinformationen 201. Es ist festzuhalten, dass z. B. dann, wenn die Bildgebungsvorrichtung ID eine Stereokamera ist, die Bildinformationen 201 Bildinformationen sowohl eines rechten Bilds, das durch die rechte Kamera aufgenommen wird, und ein linkes Bild, das durch die linke Kamera aufgenommen wird, enthalten.In the image acquisition processing P1, e.g. For example, the image acquisition unit 111 takes an image from the imaging device ID and stores the image in the storage unit 200 as a piece of image information 201. It is noted that e.g. For example, when the imaging device ID is a stereo camera, the image information 201 includes image information of both a right image captured by the right camera and a left image captured by the left camera.

In der Bilderfassungsverarbeitung P1 verwendet z. B. die Parallaxenberechnungseinheit 112 das rechte Bild und das linke Bild als Eingaben und führt eine Verarbeitung des Suchens eines Bereichs im linken Bild ähnlich einem bestimmten Bereich im rechten Bild durch, um die Parallaxe zu erhalten. Die Parallaxenberechnungseinheit 112 führt diese Verarbeitung an dem gesamten Bereich des rechten Bilds durch, um das Parallaxenbild auszugeben. Die Parallaxenberechnungseinheit 112 speichert das Parallaxenbild in der Speichereinheit 200 als einen Abschnitt der Bildinformationen 201.In the image acquisition processing P1, e.g. For example, the parallax calculation unit 112 takes the right image and the left image as inputs, and performs processing of searching an area in the left image similar to a specific area in the right image to obtain the parallax. The parallax calculation unit 112 performs this processing on the entire area of the right image to output the parallax image. The parallax calculation unit 112 stores the parallax image in the storage unit 200 as a piece of the image information 201.

Als nächstes führt die Bildverarbeitungsvorrichtung IPA z. B. eine Bildbereichsauswahlverarbeitung P2 aus. In der Bildbereichsauswahlverarbeitung P2 wählt die Bildverarbeitungsvorrichtung IPA einen Bildbereich, der wahrscheinlich beliebige der mehreren Typen von Identifizierungszielen enthält, aus dem Bild, das durch die Bildgebungsvorrichtung ID aufgenommen wurde. Insbesondere erfasst z. B. die erste Erkennungsverarbeitungseinheit 120 das Parallaxenbild, das die Ausgabe der Parallaxenberechnungseinheit 112 ist, aus den Bildinformationen 201, die in der Parallaxenberechnungseinheit 112 oder der Speichereinheit 200 gespeichert sind.Next, the image processing device IPA executes e.g. B. an image area selection processing P2. In the image area selection processing P2, the image processing device IPA selects an image area likely to include any of the plural types of identification targets from the image captured by the imaging device ID. In particular, z. For example, the first recognition processing unit 120 selects the parallax image that is the output of the parallax calculation unit 112 from the image information 201 stored in the parallax calculation unit 112 or the storage unit 200 .

In der Bildbereichsauswahlverarbeitung P2 verwendet z. B. die Bildbereichsauswahleinheit 121 das Parallaxenbild als eine Eingabe und gruppiert zueinander benachbarte und zueinander naheliegende Parallaxen im Parallaxenbild, um einen rechteckigen Rahmen zu erzeugen, der die gruppierten Parallaxen umgibt. Zusätzlich wählt die Bildbereichsauswahleinheit 121 einen rechteckigen Rahmen, wobei die vertikalen und die horizontalen Größen des erzeugten rechteckigen Rahmens gleich oder größer als eine vorgegebene Größe sind, als einen Bildbereich, der beliebige von mehreren Typen von Identifizierungszielen enthalten kann.In the image area selection processing P2, e.g. For example, the image area selection unit 121 takes the parallax image as an input, and groups mutually adjacent and mutually close parallaxes in the parallax image to generate a rectangular frame surrounding the grouped parallaxes. In addition, the image area selection unit 121 selects a rectangular frame, with the vertical and horizontal sizes of the generated rectangular frame being equal to or larger than a predetermined size, as an image area that can contain any of plural types of identification targets.

Die Bildbereichsauswahleinheit 121 gibt die Ortsinformationen des gewählten Bildbereichs, d. h. die Koordinaten im Parallaxenbild und die vertikale Breite und die horizontale Breite, die die vertikale und die horizontale Größe sind, als den Bildbereich 203, der möglicherweise das Identifizierungsziel enthält, aus und speichert den Bildbereich in der Speichereinheit 200. Hier weist z. B. dann, wenn mehrere Bildbereiche aus dem Parallaxenbild gewählt werden, die Bildbereichsauswahleinheit 121 jedem Bildbereich Identifizierungsnummern N von 1 bis n (natürliche Zahlen) zu und speichert den Bildbereich in der Speichereinheit 200 als den Bildbereich 203.The image area selection unit 121 gives the location information of the selected image area, ie, the coordinates in the parallax image and the vertical one width and the horizontal width, which are the vertical and horizontal sizes, as the image area 203 possibly including the identification target, and stores the image area in the storage unit 200. Here, e.g. For example, when a plurality of image areas are selected from the parallax image, the image area selection unit 121 assigns identification numbers N from 1 to n (natural numbers) to each image area and stores the image area in the storage unit 200 as the image area 203.

Es ist festzuhalten, dass die Bildbereichsauswahleinheit 121 den Typ des Identifizierungsziels, das wahrscheinlich in dem Bildbereich des Parallaxenbilds, der durch den rechteckigen Rahmen umgeben ist, enthalten ist, z. B. durch das Seitenverhältnis des rechteckigen Rahmens schätzen und lediglich den Bildbereich wählen kann, der wahrscheinlich das Identifizierungsziel eines bestimmten Typs enthält. Es ist festzuhalten, dass, falls die Bildgebungsvorrichtung ID eine monokulare Kamera ist, die Bildbereichsauswahleinheit 121 einen Bildbereich, der beliebig von mehreren Typen von Identifizierungszielen enthalten kann, aus dem Bild der monokularen Kamera wählen kann.It is noted that the image area selection unit 121 selects the type of identification target likely to be included in the image area of the parallax image surrounded by the rectangular frame, e.g. B. can estimate by the aspect ratio of the rectangular frame and choose only the image area that is likely to contain the identification target of a certain type. Note that if the imaging device ID is a monocular camera, the image area selection unit 121 may select an image area, which may include any of plural types of identification targets, from the monocular camera image.

In diesem Fall kann die Bildbereichsauswahleinheit 121 z. B. ein Detektionsergebnis eines Objekts durch ein Millimeterwellenradar, das am Fahrzeug montiert ist, verwenden, um den Bildbereich zu wählen. Darüber hinaus kann z. B. die Bildbereichsauswahleinheit 121 einen bestimmten Bereich des Bilds der Bildgebungsvorrichtung ID im Voraus festlegen und eine Rasterabtastung unter Verwendung eines Fensters einer beliebigen Größe an dem Bereich durchführen, wodurch ein Bildbereich gewählt wird, der beliebig von mehreren Typen von Identifizierungszielen enthalten kann.In this case, the image area selection unit 121 can e.g. B. use a detection result of an object by a millimeter-wave radar mounted on the vehicle to select the image area. In addition, z. For example, the image area selection unit 121 predetermines a specific area of the image of the imaging device ID and performs raster scanning using a window of an arbitrary size on the area, thereby selecting an image area that can contain any of plural types of identification targets.

Als nächstes führt die Mehrklassenidentifizierungseinheit 122 z. B. eine Verarbeitung P3 zum Setzen der Identifizierungsnummer N des Bildbereichs, der in der Mehrklassenidentifizierungsverarbeitung als N = 1 verarbeitet werden soll, aus. Ferner führt die Mehrklassenidentifizierungseinheit 122 eine Mehrklassenidentifizierungsverarbeitung P4 zum Durchführen einer Mehrklassenidentifizierungsverarbeitung an dem Bild, das durch die Bildgebungsvorrichtung ID aufgenommen wurde, durch, um mehrere Typen von Identifizierungszielen zu identifizieren.Next, the multi-class identification unit 122 performs e.g. B. executes a processing P3 for setting the identification number N of the image area to be processed as N=1 in the multi-class identification processing. Further, the multi-class identification unit 122 performs multi-class identification processing P4 for performing multi-class identification processing on the image captured by the imaging device ID to identify plural types of identification targets.

Insbesondere identifiziert in der Mehrklassenidentifizierungsverarbeitung P4 die Mehrklassenidentifizierungseinheit 122 z. B. mehrere Typen von Identifizierungszielen aus dem Bildbereich, der durch die Bildbereichsauswahleinheit 121 gewählt wurde. Zum Beispiel führt die Mehrklassenidentifizierungseinheit 122 die Mehrklassenidentifizierungsverarbeitung P4 an jedem der Bildbereiche, die die Identifizierungsnummern N von 1 bis n, die in der oben beschriebenen Auswahlverarbeitung P2 gewählt wurden, besitzen, sequenziell aus.Specifically, in the multi-class identification processing P4, the multi-class identification unit 122 identifies e.g. B. multiple types of identification targets from the image area selected by the image area selection unit 121 . For example, the multi-class identification unit 122 sequentially executes the multi-class identification processing P4 on each of the image areas having the identification numbers N from 1 to n selected in the selection processing P2 described above.

Die Mehrklassenidentifizierungsverarbeitung P4 enthält z. B. eine Registrierungsnummerbestimmungsverarbeitung P4a, eine Mehrklassenidentifizierungsverarbeitung P4b, eine Typbestimmungsverarbeitung P4c, eine Typkandidatenregistrierungsverarbeitung P4d und P4e und eine Zuwachsverarbeitung P4f. Zunächst bestimmt in der Registrierungsnummerbestimmungsverarbeitung P4a die Mehrklassenidentifizierungseinheit 122, ob die Registrierungsnummer des Verfolgungsziels in der später beschriebenen Verfolgungsverarbeitung P6a kleiner als eine obere Grenzwertnummer ist oder nicht.The multi-class identification processing P4 includes e.g. B. a registration number determination processing P4a, a multi-class identification processing P4b, a type determination processing P4c, a type candidate registration processing P4d and P4e, and an accrual processing P4f. First, in the registration number determination processing P4a, the multi-class identification unit 122 determines whether or not the registration number of the tracking target is smaller than an upper limit number in the later-described tracking processing P6a.

Zum Beispiel führt dann, wenn bestimmt wird, dass die Registrierungsnummer nicht kleiner als die obere Grenzwertnummer ist (NEIN), d. h. die Registrierungsnummer in der Registrierungsnummerbestimmungsverarbeitung P4a die obere Grenzwertnummer erreicht hat, die Mehrklassenidentifizierungseinheit 122 die Verarbeitung nach der Mehrklassenidentifizierungsverarbeitung P4b nicht aus und schreitet fort zur nächsten Verarbeitung P5. Andererseits führt z. B. dann, wenn in der Registrierungsnummerbestimmungsverarbeitung P4a bestimmt wird, dass die Registrierungsnummer kleiner als die obere Grenzwertnummer ist (JA), die Mehrklassenidentifizierungseinheit 122 die Mehrklassenidentifizierungsverarbeitung P4b aus.For example, if it is determined that the registration number is not less than the upper limit number (NO), i. H. the registration number has reached the upper limit number in the registration number determination processing P4a, the multi-class identification unit 122 does not exit the processing after the multi-class identification processing P4b and proceeds to the next processing P5. On the other hand, e.g. For example, when it is determined that the registration number is smaller than the upper limit number (YES) in the registration number determination processing P4a, the multi-class identification unit 122 executes the multi-class identification processing P4b.

Zum Beispiel identifiziert in der Mehrklassenidentifizierungsverarbeitung P4b die Mehrklassenidentifizierungseinheit 122 mehrere Typen von Identifizierungszielen, die in der Speichereinheit 200 gespeichert sind, als das Identifizierungsziel 202 aus dem Bildbereich. Zum Beispiel bewertet die Mehrklassenidentifizierungseinheit 122 eine Ähnlichkeit zwischen dem Bildbereich 203, der durch die Bildbereichsauswahleinheit 121 gewählt und in der Speichereinheit 200 gespeichert wurde, und Mehrklassenidentifizierungs-Lerndaten 204, die in der Speichereinheit 200 gespeichert sind.For example, in the multi-class identification processing P4b, the multi-class identification unit 122 identifies plural types of identification targets stored in the storage unit 200 as the identification target 202 from the image area. For example, the multiclass identification unit 122 judges a similarity between the image area 203 selected by the image area selection unit 121 and stored in the storage unit 200 and multiclass identification learning data 204 stored in the storage unit 200.

Die Mehrklassenidentifizierungs-Lerndaten 204 sind z. B. Lerndaten, die durch Eingeben einer großen Anzahl von Bildern von Personenkraftwagen, Bildern von Motorrädern und Bildern von weiteren Objekten, die identifiziert werden sollen, maschinell gelernt wurden. Mit anderen Worten führt die Mehrklassenidentifizierungseinheit 122 die Mehrklassenidentifizierungsverarbeitung unter Verwendung der Mehrklassenidentifizierungs-Lerndaten 204, die durch Eingeben von mehreren Typen von Identifizierungszielen maschinell gelernt wurden, durch.The multi-class identification learning data 204 is e.g. B. Learning data machine-learned by inputting a large number of images of passenger cars, images of motorcycles, and images of other objects to be identified. In other words, the multi-class identification unit 122 performs the multi-class identification processing using the multi-class identification learning data 204 machine-learned by inputting plural types of identification targets.

Insbesondere führt gemäß der vorliegenden Ausführungsform die Mehrklasseriidentifizierungseinheit 122 die Mehrklassenidentifizierungsverarbeitung z. B. unter Verwendung der Mehrklassenidentifizierungs-Lerndaten 204 durch, wobei mindestens Personenkraftwagen als das Identifizierungsziel eines ersten Typs und die Motorräder als das Identifizierungsziel eines zweiten Typs eingegeben wurden und das maschinelles Lernen durchgeführt wurde. Gemäß der vorliegenden Ausführungsform wird ein Fall beschrieben, in dem der Typ des Identifizierungsziels in der Mehrklassenidentifizierungsverarbeitung P4b z. B. zwei Typen von Personenkraftwagen und Motorräder ist; allerdings sind der Typ des Identifizierungsziels und dessen Anzahl nicht sind besonders beschränkt.In particular, according to the present embodiment, the multi-class identification unit 122 the multi-class identification processing z. B. by using the multi-class identification learning data 204, where at least passenger cars were input as the identification target of a first type and the motorcycles were input as the identification target of a second type, and the machine learning was performed. According to the present embodiment, a case where the type of the identification target in the multi-class identification processing P4b is e.g. B. Two types of passenger cars and motorcycles; however, the type of identification target and the number thereof are not particularly limited.

Zum Beispiel berechnet in der Mehrklassenidentifizierungsverarbeitung P4b die Mehrklassenidentifizierungseinheit 122 einen Bewertungswert der Ähnlichkeit zwischen dem Bildbereich 203 und den Mehrklassenidentifizierungs-Lerndaten 204. Speziell berechnet z. B. die Mehrklassenidentifizierungseinheit 122 einen Bewertungswert der Ähnlichkeit zwischen dem Bildbereich 203 und den Mehrklassenidentifizierungs-Lerndaten 204, wobei das Identifizierungsziel (i) des ersten Typs Personenkraftwagen sind und das Identifizierungsziel (ii) des zweiten Typs Motorräder sind. Dann führt die Mehrklassenidentifizierungseinheit 122 eine Bestimmungsverarbeitung P4c des Typs des Identifizierungsziels, das im Bildbereich 203 vorliegt, auf der Grundlage des Bewertungswerts der Ähnlichkeit aus.For example, in the multi-class identification processing P4b, the multi-class identification unit 122 calculates an evaluation value of the similarity between the image area 203 and the multi-class identification learning data 204. Specifically, e.g. For example, the multi-class identification unit 122 obtains an evaluation value of the similarity between the image area 203 and the multi-class identification learning data 204, where the identification target (i) of the first type is passenger cars and the identification target (ii) of the second type is motorcycles. Then, the multi-class identification unit 122 executes determination processing P4c of the type of the identification target present in the image area 203 based on the similarity evaluation value.

In der Bestimmungsverarbeitung P4c identifiziert z. B. in einem Fall, in dem der Bewertungswert der Ähnlichkeit größer oder gleich einem vorgegebenen Schwellenwert ist, die Mehrklassenidentifizierungseinheit 122 den Typ des Identifizierungsziels, das im Bildbereich 203 vorliegt. Insbesondere identifiziert z. B. dann, wenn der Bewertungswert der Ähnlichkeit zwischen dem Bildbereich 203 und dem Personenkraftwagen, der das Identifizierungsziel (i) des ersten Typs ist, größer oder gleich einem vorgegebenen Schwellenwert ist, die Mehrklassenidentifizierungseinheit 122 den Personenkraftwagen, der das Identifizierungsziel (i) des ersten Typs ist, und seine Ortsinformationen aus dem Bildbereich 203. Ferner führt die Mehrklassenidentifizierungseinheit 122 die Verarbeitung P4d des Zuweisens einer Registrierungsnummer zu dem Personenkraftwagen, der das Identifizierungsziel (i) des ersten Typs ist und der im Bildbereich 203 identifiziert wurde, und des Registrierens des Personenkraftwagens als ein Verfolgungsziel und einen Typkandidaten 205 in der Speichereinheit 200 aus.In the determination processing P4c, e.g. For example, in a case where the similarity evaluation value is greater than or equal to a predetermined threshold, the multi-class identifying unit 122 determines the type of the identification target present in the image area 203 . In particular, e.g. B. when the evaluation value of the similarity between the image area 203 and the passenger car, which is the identification target (i) of the first type, is greater than or equal to a predetermined threshold value, the multi-class identification unit 122 the passenger car, which is the identification target (i) of the first type, and its location information from the image area 203. Further, the multi-class identification unit 122 performs the processing P4d of assigning a registration number to the passenger car that is the identification target (i) of the first type identified in the image area 203, and registering the passenger car as a tracking target and a candidate type 205 in the storage unit 200 .

In der Bestimmungsverarbeitung P4c identifiziert z. B. dann, wenn der Bewertungswert der Ähnlichkeit zwischen dem Bildbereich 203 und dem Motorrad, das das Identifizierungsziel (ii) des zweiten Typs ist, größer oder gleich dem vorgegebenen Schwellenwert ist, die Mehrklassenidentifizierungseinheit 122 das Motorrad, das das Identifizierungsziel (ii) des zweiten Typs ist, und seine Ortsinformationen aus dem Bildbereich 203. Ferner führt die Mehrklassenidentifizierungseinheit 122 die Verarbeitung P4e des Zuweisens einer Registrierungsnummer zu dem Motorrad, das das Identifizierungsziel (ii) des zweiten Typs ist, das aus dem Bildbereich 203 identifiziert wurde, und des Registrierens des Motorrads als ein Verfolgungsziel und einen Typkandidaten 205 in der Speichereinheit 200 aus. Zum Beispiel führt die Mehrklassenidentifizierungseinheit 122 die Zuwachsverarbeitung P4f aus, nachdem die Verarbeitung P4d oder die Verarbeitung P4e beendet worden ist.In the determination processing P4c, e.g. B. when the evaluation value of the similarity between the image area 203 and the motorcycle that is the identification target (ii) of the second type is greater than or equal to the predetermined threshold, the multi-class identification unit 122 identifies the motorcycle that is the identification target (ii) of the second type and its location information from the image area 203. Further, the multi-class identification unit 122 performs the processing P4e of assigning a registration number to the motorcycle that is the identification target (ii) of the second type identified from the image area 203 and registering the motorcycles as a tracking target and a candidate type 205 in the storage unit 200 . For example, the multi-class identification unit 122 executes the incremental processing P4f after the processing P4d or the processing P4e is finished.

In der Bestimmungsverarbeitung P4c identifiziert z. B. dann, wenn der Bewertungswert der Ähnlichkeit zwischen dem Bildbereich 203 und dem Identifizierungsziel (i) des ersten Typs und dem Identifizierungsziel (ii) des zweiten Typs kleiner als der vorgegebene Schwellenwert ist, die Mehrklassenidentifizierungseinheit 122, dass das Identifizierungsziel nicht im Bildbereich 203 enthalten ist. In diesem Fall führt die Mehrklassenidentifizierungseinheit 122 z. B. die Zuwachsverarbeitung P4f aus.In the determination processing P4c, e.g. B. If the evaluation value of the similarity between the image area 203 and the identification target (i) of the first type and the identification target (ii) of the second type is smaller than the predetermined threshold value, the multi-class identification unit 122 that the identification target is not included in the image area 203 is. In this case, the multi-class identification unit 122 performs e.g. B. the incremental processing P4f.

In der Zuwachsverarbeitung P4f erhöht z. B. die Mehrklassenidentifizierungseinheit 122 die Identifizierungsnummer N des Bildbereichs 203, der in der nächsten Mehrklassenidentifizierungsverarbeitung P4 verarbeitet werden soll, zu N + 1. Zum Beispiel führt die Mehrklassenidentifizierungseinheit 122 die Mehrklassenidentifizierungsverarbeitung P4, die die Verarbeitung P4a zur Verarbeitung P4f enthält, wiederholt aus, bis die erhöhte Identifizierungsnummer N des Bildbereichs 203 die Nummer n der Bildbereiche 203, die in der Auswahlverarbeitung P2 gewählt wurden, überschreitet.In the incremental processing P4f z. For example, the multi-class identification unit 122 sets the identification number N of the image area 203 to be processed in the next multi-class identification processing P4 to N+1 the increased identification number N of the image area 203 exceeds the number n of the image areas 203 selected in the selection processing P2.

Nach Abschluss der Mehrklassenidentifizierungsverarbeitung P4 für alle Bildbereiche 203, die in der Auswahlverarbeitung P2, die oben beschrieben ist, gewählt wurden, führt die Verfolgungsverarbeitungseinheit 131 z. B. die Verarbeitung P5 des Setzens der Registrierungsnummer R des Verfolgungsziels, das in der späterer beschriebenen Identifizierungsverarbeitung P6 verarbeitet werden soll, zu 1 aus. Darüber hinaus berechnet die Verfolgungsverarbeitungseinheit 131 einen vorhergesagten Ort des Verfolgungsziels, das in der Speichereinheit 200 als das Verfolgungsziel und der Typkandidat 205 registriert wurde, und führt die Identifizierungsverarbeitung P6 zum Bestätigen des Typs des Verfolgungsziels aus.After completing the multi-class identification processing P4 for all the image areas 203 selected in the selection processing P2 described above, the tracking processing unit 131 executes e.g. For example, the processing P5 of setting the registration number R of the tracking target to be processed in the later-described identification processing P6 becomes 1. In addition, the tracking processing unit 131 calculates a predicted location of the tracking target registered in the storage unit 200 as the tracking target and the candidate type 205, and executes the identification processing P6 for confirming the type of the tracking target.

Zum Beispiel führt die Verfolgungsverarbeitungseinheit 131 die Identifizierungsverarbeitung P6 an jedem der Verfolgungsziele mit den Registrierungsnummern R von 1 bis m (natürliche Zahlen), die in der Typkandidatenregistrierungsverarbeitung P4d und P4e, die oben beschrieben ist, als das Verfolgungsziel und der Typkandidat 205 in der Speichereinheit 200 registriert wurden, sequenziell aus. Die Identifizierungsverarbeitung P6 enthält z. B. eine Verfolgungsverarbeitung P6a, eine Typkandidatenbestimmungsverarbeitung P6b, eine Zweiklassenidentifizierungsverarbeitung P6c und P6h, eine Typbestimmungsverarbeitung P6d und P6i, eine Registrierungsverarbeitung P6e und P6j, eine Verarbeitung zur Berechnung P6f und P6k des vorhergesagten Orts, eine Registrierungslöschverarbeitung P6g und eine Zuwachsverarbeitung P6I.For example, the tracking processing unit 131 performs the identification processing P6 on each of the tracking targets with the registration number R from 1 to m (natural numbers) registered as the tracking target and the type candidate 205 in the storage unit 200 in the type candidate registration processing P4d and P4e described above, sequentially. The identification processing P6 includes e.g. B. tracking processing P6a, type candidate determination processing P6b, two-class identification processing P6c and P6h, type determination processing P6d and P6i, registration processing P6e and P6j, predicted location calculation processing P6f and P6k, registration deletion processing P6g, and increment processing P6I.

Zunächst führt in der Verfolgungsverarbeitung P6a die Verfolgungsverarbeitungseinheit 131 eine Bildverfolgung durch, in der das Identifizierungsziel, das durch die Mehrklassenidentifizierungsverarbeitung P4 identifiziert wurde, als ein Verfolgungsziel gesetzt wird, und berechnet einen vorhergesagten Ort des Verfolgungsziels in einem Bild zu einem späteren Zeitpunkt auf der Grundlage eines Bilds zu einer vorhergehenden Zeit. Zum Beispiel berechnet die Verfolgungsverarbeitungseinheit 131 den vorhergesagten Ort des Verfolgungsziels zur aktuellen Zeit auf der Grundlage der Ortsinformationen des Verfolgungsziels zur vorhergehenden Zeit.First, in the tracking processing P6a, the tracking processing unit 131 performs image tracking in which the identification target identified by the multi-class identification processing P4 is set as a tracking target, and calculates a predicted location of the tracking target in an image at a later time based on a image at a previous time. For example, the tracking processing unit 131 calculates the predicted location of the tracking target at the current time based on the location information of the tracking target at the previous time.

In der Verfolgungsverarbeitung P6a verwendet die Verfolgungsverarbeitungseinheit 131 z. B. ein Verfahren zum Suchen des Verfolgungsziels zur aktuellen Zeit durch Vorlagenabgleich unter Verwendung des Bilds des Verfolgungsziels zur vorhergehenden Zeit als eine Vorlage oder ein Verfahren zum Schätzen des Bewegungsbetrags jedes Pixels im Bereich des Verfolgungsziels durch einen optischen Fluss oder dergleichen. Dann sagt die Verfolgungsverarbeitungseinheit 131 die Bewegung des Verfolgungsziels zur aktuellen Zeit aus dem Ort des Verfolgungsziels zur vorhergehenden Zeit und dem vergangenen Bewegungsbetrag des Verfolgungsziels vorher.In the tracking processing P6a, the tracking processing unit 131 uses e.g. B. a method of searching the tracking target at the current time by template matching using the image of the tracking target at the previous time as a template, or a method of estimating the movement amount of each pixel in the area of the tracking target by an optical flow or the like. Then, the tracking processing unit 131 predicts the movement of the tracking target at the current time from the location of the tracking target at the previous time and the past movement amount of the tracking target.

Zusätzlich bezieht sich z. B. in der Typkandidatenbestimmungsverarbeitung P6b die Verfolgungsverarbeitungseinheit 131 auf das Verfolgungsziel und den Typkandidaten 205, die in der Speichereinheit 200 registriert sind, und bestimmt, ob der Typ des Verfolgungsziels, der in der Mehrklassenidentifizierungsverarbeitung P4 identifiziert wurde, der Personenkraftwagen des ersten Typs (i) oder des Motorrads des zweiten Typs (ii) ist.In addition, e.g. B. in the type candidate determination processing P6b, the tracking processing unit 131 on the tracking target and the type candidate 205 registered in the storage unit 200, and determines whether the type of the tracking target identified in the multi-class identification processing P4 is the passenger car of the first type (i) or the motorcycle of the second type (ii).

In der Typkandidatenbestimmungsverarbeitung P6b führt dann, wenn die Verfolgungsverarbeitungseinheit 131 bestimmt, dass der Typ des Verfolgungsziels der Personenkraftwagen des ersten Typs (i) ist, die Identifizierungseinheit 132 die Zweiklassenidentifizierungsverarbeitung gemäß dem Typ des Verfolgungsziels an dem vorhergesagten Ort des Bilds zur späteren Zeit durch, um den Typ des Verfolgungsziels zu identifizieren. Insbesondere führt die Identifizierungseinheit 132 die Zweiklassenidentifizierungsverarbeitung P6c unter Verwendung der Zweiklassenidentifizierungseinheit 132a durch, die dem Identifizierungsziel (i) des ersten Typs entspricht.In the type candidate determination processing P6b, when the tracking processing unit 131 determines that the type of the tracking target is the first type (i) passenger car, the identifying unit 132 performs the two-class identification processing according to the type of the tracking target at the predicted location of the image at the later time, to identify the type of tracking target. Specifically, the identification unit 132 performs the two-class identification processing P6c using the two-class identification unit 132a that corresponds to the first-type identification target (i).

Unter Verwendung von Zweiklassenidentifizierungs-Lerndaten 206, die in der Speichereinheit 200 gespeichert sind, führt die Zweiklassenidentifizierungseinheit 132a die Zweiklassenidentifizierungsverarbeitung an dem vorhergesagten Ort des Identifizierungsziels und seiner Umgebung durch, um den Typ des Verfolgungsziels zu identifizieren. Hier sind die Zweiklassenidentifizierungs-Lerndaten 206 Zweiklassenidentifizierungs-Lerndaten für Personenkraftwagen, wobei maschinelles Lernen durch Eingeben einer großen Anzahl von Bildern des Identifizierungsziels (i) des ersten Typs, der ein Typ unter den mehreren Typen von Identifizierungszielen der Bildverarbeitungsvorrichtung IPA ist, d. h. der Personenkraftwagen, und weiterer Identifizierungsziele durchgeführt wird.Using two-class identification learning data 206 stored in the storage unit 200, the two-class identification unit 132a performs the two-class identification processing on the predicted location of the identification target and its vicinity to identify the type of the tracking target. Here, the two-class identification learning data 206 is two-class identification learning data for passenger cars using machine learning by inputting a large number of images of the identification target (i) of the first type, which is one type among the plural types of identification targets of the image processing apparatus IPA, i. H. the passenger car, and other identification targets is carried out.

In der Zweiklassenidentifizierungsverarbeitung P6c berechnet z. B. die Zweiklassenidentifizierungseinheit 132a einen Bewertungswert der Ähnlichkeit zwischen dem vorhergesagten Ort des Verfolgungsziels und dem Bildbereich um den vorhergesagten Ort und den Zweiklassenidentifizierungs-Lerndaten 206. Als nächstes führt die Zweiklassenidentifizierungseinheit 132a die Typbestimmungsverarbeitung P6d aus. In der Typbestimmungsverarbeitung P6d bestimmt z. B. in einem Fall, in dem der Bewertungswert der Ähnlichkeit größer oder gleich dem vorgegebenen Schwellenwert ist, die Zweiklassenidentifizierungseinheit 132a, dass der Typ des Verfolgungsziels das Identifizierungsziel (i) des ersten Typs, d. h. ein Personenkraftwagen, ist, und führt die Registrierungsverarbeitung P6e aus.In the two-class identification processing P6c z. For example, the two-class identification unit 132a obtains an evaluation value of the similarity between the predicted location of the tracking target and the image area around the predicted location and the two-class identification learning data 206. Next, the two-class identification unit 132a executes the type determination processing P6d. In the type determination processing P6d, z. B. in a case where the evaluation value of the similarity is equal to or more than the predetermined threshold value, the two-class identification unit 132a that the type of the tracking target is the identification target (i) of the first type, i. H. a passenger car, and executes the registration processing P6e.

In der Registrierungsverarbeitung P6e registriert z. B. die Zweiklassenidentifizierungseinheit 132a den Personenkraftwagen, der das Identifizierungsziel (i) des ersten Typs ist, als den Typ des Verfolgungsziels in den Ausgabeinformationen 208 der Speichereinheit 200. Zusätzlich registriert in der Registrierungsverarbeitung P6e die Zweiklassenidentifizierungseinheit 132a den vorhergesagten Ort des Verfolgungsziels in den Ausgabeinformationen 208 der Speichereinheit 200 als den Ort des Personenkraftwagens, der das Identifizierungsziel (i) des ersten Typs ist. Als nächstes führt die Zweiklassenidentifizierungseinheit 132a z. B. eine Verarbeitung zur Berechnung P6f des vorhergesagten Orts aus.In the registration processing P6e z. B. the two-class identification unit 132a registers the passenger car, which is the identification target (i) of the first type, as the type of the tracking target in the output information 208 of the storage unit 200. In addition, in the registration processing P6e, the two-class identification unit 132a registers the predicted location of the tracking target in the output information 208 of the storage unit 200 as the location of the passenger car that is the first-type identification target (i). Next, the two-class identification unit 132a performs e.g. B. executes a processing for calculating P6f the predicted location.

In der Verarbeitung P6f zur Berechnung des vorhergesagten Orts erhält z. B. die Zweiklassenidentifizierungseinheit 132a eine Differenz zwischen den Ortsinformationen des Verfolgungsziels zur vorhergehenden Zeit und den Ortsinformationen des Verfölgungsziels zur aktuellen Zeit und berechnet die Bewegungsgeschwindigkeit des Verfolgungsziels durch Teilen der Differenz durch das Rahmenbildgebungsintervall. Ferner berechnet die Zweiklassenidentifizierungseinheit 132a den vorhergesagten Ort des Verfolgungsziels zur folgenden Zeit z. B. auf der Grundlage der Ortsinformationen des Verfolgungsziels zur aktuellen Zeit und der Bewegungsgeschwindigkeit des Verfolgungsziels. Der vorhergesagte Ort des Verfolgungsziels, der hier berechnet wird, wird z. B. in der Verfolgungsverarbeitung P6a zur folgenden Zeit verwendet.In the predicted location calculation processing P6f, e.g. For example, the two-class identifying unit 132a calculates a difference between the location information of the tracking target at the previous time and the location information of the tracking target at the current time, and calculates the moving speed of the tracking target by dividing the difference by the frame imaging interval. Further, the two-class identifying unit 132a calculates the predicted location of the tracking target at the following time z. B. based on the location information of the tracking target at the current time and the moving speed of the tracking target. The predicted location of the tracking target calculated here is e.g. B. used in the tracing processing P6a at the following time.

Zusätzlich bestimmt in der Typbestimmungsverarbeitung P6d, die oben beschrieben ist, z. B. in einem Fall, in dem der Bewertungswert der Ähnlichkeit kleiner als der vorgegebene Schwellenwert ist, die Zweiklassenidentifizierungseinheit 132a, dass das Verfolgungsziel ein Identifizierungsziel oder ein Hintergrund eines weiteren Typs außer dem Personenkraftwagen, der das Identifizierungsziel (i) des ersten Typs ist, ist, und führt die Registrierungslöschverarbeitung P6g aus. In der Registrierungslöschverarbeitung P6g löscht z. B. die Zweiklassenidentifizierungseinheit 132a das Verfolgungsziel und den Typkandidaten 205, die in der Speichereinheit 200 registriert wurden.In addition, in the type determination processing P6d described above, e.g. B. in a case where the evaluation value of the similarity is smaller than the predetermined threshold value, the two-class identification unit 132a that the tracking target is an identification target or a background of another type than the passenger car, which is the identification target (i) of the first type , and executes the registration deletion processing P6g. In the registration deletion processing P6g, e.g. B. the two-class identification unit 132a the tracking target and the type candidate 205 that have been registered in the storage unit 200.

Zusätzlich führt in der Typkandidatenbestimmungsverarbeitung P6b, die oben beschrieben ist, dann, wenn die Verfolgungsverärbeitungseinheit 131 bestimmt, dass der Typ des Verfolgungsziels das Motorrad des zweiten Typs (ii) ist, die Identifizierungseinheit 132 die Zweiklassenidentifizierungsverarbeitung gemäß dem Typ des Verfolgungsziels an dem vorhergesagten Ort des Bilds zur späteren Zeit durch, um den Typ des Verfolgungsziels zu identifizieren. Insbesondere führt die Identifizierungseinheit 132 die Zweiklassenidentifizierungsverarbeitung P6h unter Verwendung der Zweiklassenidentifizierungseinheit 132b, die dem zweiten Typ (ii) entspricht, durch.In addition, in the type candidate determination processing P6b described above, when the tracking processing unit 131 determines that the type of the tracking target is the motorcycle of the second type (ii), the identifying unit 132 performs the two-class identification processing according to the type of the tracking target at the predicted location of the image at a later time to identify the tracking target type. Specifically, the identification unit 132 performs the two-class identification processing P6h using the two-class identification unit 132b corresponding to the second type (ii).

Unter Verwendung von Zweiklassenidentifizierungs-Lerndaten 207, die in der Speichereinheit 200 gespeichert sind, führt die Zweiklassenidentifizierungseinheit 132b die Zweiklassenidentifizierungsverarbeitung an dem vorhergesagten Ort des Identifizierungsziels und seiner Umgebung durch, um den Typ des Verfolgungsziels zu identifizieren. Hier sind die Zweiklassenidentifizierungs-Lerndaten 207 Zweiklassenidentifizierungs-Lerndaten für Motorräder, wobei maschinelles Lernen durch Eingeben einer großen Anzahl von Bildern der Identifizierungsziele (ii) des zweiten Typs, d. h. Motorräder, die ein Typ unter mehreren Typen von Identifizierungszielen der Bildverarbeitungsvorrichtung IPA sind, und weiterer Identifizierungsziele durchgeführt wird. Es ist festzuhalten, dass die Zweiklassenidentifizierungs-Lerndaten 206 und die Zweiklassenidentifizierungs-Lerndaten 207 durch verschiedene Verfahren für maschinelles Lernen gelernt werden können.Using two-class identification learning data 207 stored in the storage unit 200, the two-class identification unit 132b performs the two-class identification processing on the predicted location of the identification target and its vicinity to identify the type of the tracking target. Here, the two-class identification learning data 207 is two-class identification learning data for motorcycles, in which machine learning is performed by inputting a large number of images of the identification targets (ii) of the second type, i. H. Motorcycles, which are one type among plural types of identification targets of the image processing device IPA, and other identification targets is performed. It is noted that the two-class identification learning data 206 and the two-class identification learning data 207 can be learned by various machine learning methods.

In der Zweiklassenidentifizierungsverarbeitung P6h berechnet z. B. die Zweiklassenidentifizierungseinheit 132b einen Bewertungswert der Ähnlichkeit zwischen dem vorhergesagten.Ort des Verfolgungsziels und dem Bildbereich um den vorhergesagten Ort und den Zweiklassenidentifizierungs-Lerndaten 207. Als nächstes führt die Zweiklassenidentifizierungseinheit 132b die Typbestimmungsverarbeitung P6i aus. In der Typbestimmungsverarbeitung P6i bestimmt z. B. in einem Fall, in dem der Bewertungswert der Ähnlichkeit ein vorgegebener Schwellenwert oder mehr ist, die Zweiklassenidentifizierungseinheit 132b, dass der Typ des Verfolgungsziels das Identifizierungsziel (ii) des zweiten Typs, d. h. das Motorrad, ist, und führt die Registrierungsverarbeitung P6j aus.In the two-class identification processing P6h z. For example, the two-class identification unit 132b obtains an evaluation value of the similarity between the predicted location of the tracking target and the image area around the predicted location and the two-class identification learning data 207. Next, the two-class identification unit 132b executes the type determination processing P6i. In the type determination processing P6i, z. B. in a case where the evaluation value of the similarity is a predetermined threshold value or more, the two-class identification unit 132b that the type of the tracking target is the identification target (ii) of the second type, i. H. the motorcycle, and executes the registration processing P6j.

In der Registrierungsverarbeitung P6j registriert z. B. die Zweiklassenidentifizierungseinheit 132b das Motorrad, das vom zweiten Typs (ii) identifiziert werden soll, als den Typ des Verfolgungsziels in den Ausgabeinformationen 208 der Speichereinheit 200. Zusätzlich registriert in der Registrierungsverarbeitung P6j die Zweiklassenidentifizierungseinheit 132b den vorhergesagten Ort des Verfolgungsziels als den Ort des Motorrads, das das Identifizierungsziel (ii) des zweiten Typs ist, in den Ausgabeinformationen 208 der Speichereinheit 200. Als nächstes führt z. B. die Zweiklassenidentifizierungseinheit 132b eine Verarbeitungzur Berechnung des vorhergesagten Orts P6k aus.In the registration processing P6j, e.g. B. the two-class identification unit 132b registers the motorcycle to be identified of the second type (ii) as the type of the tracking target in the output information 208 of the storage unit 200. In addition, in the registration processing P6j, the two-class identification unit 132b registers the predicted location of the tracking target as the location of the motorcycle which is the identification target (ii) of the second type in the output information 208 of the storage unit 200. Next, e.g. For example, the two-class identification unit 132b executes processing to calculate the predicted location P6k.

In der Verarbeitung P6k zur Berechnung eines vorhergesagten Orts erhält z. B. die Zweiklassenidentifizierungseinheit 132b eine Differenz zwischen den Ortsinformationen des Verfolgungsziels zur vorhergehenden Zeit und den Ortsinformationen des Verfolgungsziels zur aktuellen Zeit und berechnet die Bewegungsgeschwindigkeit des Verfolgungsziels durch Teilen der Differenz durch das Rahmenbildgebungsintervall. Ferner berechnet die Zweiklassenidentifizierungseinheit 132b den vorhergesagten Ort des Verfolgungsziels zur folgenden Zeit z. B. auf der Grundlage der Ortsinformationen des Verfolgungsziels zur aktuellen Zeit und der Bewegungsgeschwindigkeit des Verfolgungsziels. Der vorhergesagte Ort des Verfolgungsziels, das hier berechnet wird, wird z. B. in der Verfolgungsverarbeitung P6a zur folgenden Zeit verwendet.In the predicted location calculation processing P6k, e.g. For example, the two-class identifying unit 132b calculates a difference between the location information of the tracking target at the previous time and the location information of the tracking target at the current time, and calculates the moving speed of the tracking target by dividing the difference by the frame imaging interval. Further, the two-class identification unit 132b calculates the predicted location of the tracking target at the following time z. B. based on the location information of the tracking target at the current time and the moving speed of the tracking target. The predicted location of the tracking target calculated here is e.g. B. used in the tracing processing P6a at the following time.

Zusätzlich bestimmt in der Typbestimmungsverarbeitung P6i, die oben beschrieben ist, z. B. in einem Fall, in dem der Bewertungswert der Ähnlichkeit kleiner als der vorgegebene Schwellenwert ist, die Zweiklassenidentifizierungseinheit 132b, dass das Verfolgungsziel ein Identifizierungsziel oder ein Hintergrund eines weiteren Typs außer dem Motorrad, das das Identifizierungsziel (ii) des zweiten Typs ist, ist, und führt die Registrierungslöschverarbeitung P6g aus: In der Registrierungslöschverarbeitung P6g löscht z. B. die Zweiklassenidentifizierungseinheit 132b das Verfolgungsziel und den Typkandidaten 205, die in der Speichereinheit 200 registriert wurden.In addition, in the type determination processing P6i described above, e.g. Am a case where the evaluation value of the similarity is smaller than the predetermined threshold value, the two-class identification unit 132b that the tracking target is an identification target or a background of a type other than the motorcycle, which is the identification target (ii) of the second type, and guides the registration deletion processing P6g out: In the registration deletion processing P6g z. B. the two-class identification unit 132b the tracking target and the type candidate 205 that have been registered in the storage unit 200.

Nachdem die Verarbeitung P6f und P6k zur Berechnung des vorhergesagten Orts oder die Registrierungslöschverarbeitung P6g, die oben beschrieben ist, endet, führt die Verfolgungsverarbeitungseinheit 131 z. B. eine Zuwachsverarbeitung P6I aus. In der Zuwachsverarbeitung P6I erhöht z. B. die Verfolgungsverarbeitungseinheit 131 die Registrierungsnummer R des Verfolgungsziels und des Typkandidaten 205, der in der nächsten Identifizierungsverarbeitung P6 verarbeitet werden soll, zu R + 1. Zum Beispiel führt, bis die Registrierungsnummer R des erhöhten Verfolgungsziels und des Typkandidaten 205 die Nummer m eines Verfolgungsziels und Typkandidaten 205, die in der Mehrklassenidentifizierungsverarbeitung P4 registriert wurden, überschreitet, die Verfölgungsverarbeitungseinheit 131 die Identifizierungsverarbeitung P6, die die Verfolgungsverarbeitung P6a zur Zuwachsverarbeitung P6I, die oben beschrieben ist, enthält, wiederholt aus.After the predicted location calculation processing P6f and P6k or the registration deletion processing P6g described above ends, the tracking processing unit 131 executes e.g. B. select an incremental processing P6I. In the incremental processing P6I z. B. the tracking processing unit 131 leads the registration number R of the tracking target and the type candidate 205 to be processed in the next identification processing P6 to R + 1. For example, until the registration number R of the increased tracking target and the type candidate 205 becomes the number m of a tracking target and type candidates 205 registered in the multi-class identification processing P4, the tracing processing unit 131 repeatedly outputs the identification processing P6 including the tracing processing P6a to the incremental processing P6I described above.

Nach dem Ende der Identifizierungsverarbeitung P6 werden der vorhergesagte Ort und der Typ des Verfolgungsziels von der zweiten Erkennungsverarbeitungseinheit 130 oder der Speichereinheit 200 zur Ausgabeverarbeitungseinheit 140 als Ausgabeinformationen 208 ausgegeben, wie in 1 veranschaulicht ist. Die Ausgabeverarbeitungseinheit 140 gibt die Ausgabeinformationen 208 z. B. zu einer Fahrzeugsteuervorrichtung, die das ADS, das ADAS oder dergleichen bildet, aus, derart, dass die Ausgabeinformationen 208 in der Signalerzeugungsverarbeitung in automatischem Fahren oder einer fortschrittlichen Fahrunterstützung verwendet werden.After the end of the identification processing P6, the predicted location and the type of the tracking target are output from the second recognition processing unit 130 or the storage unit 200 to the output processing unit 140 as output information 208 as shown in FIG 1 is illustrated. The output processing unit 140 inputs the output information 208 e.g. B. to a vehicle control device forming the ADS, the ADAS or the like, such that the output information 208 is used in the signal generation processing in automatic driving or an advanced driving support.

Im Folgenden werden Funktionen der Bildverarbeitungsvorrichtung IPA der vorliegenden Ausführungsform und das Bildverarbeitungsverfahren IPM unter ihrer Verwendung beschrieben.Functions of the image processing apparatus IPA of the present embodiment and the image processing method IPM using them will be described below.

In den letzten Jahren haben ADAS und ADS unter Verwendung einer Bildgebungsvorrichtung ID wie z. B. einer fahrzeuginternen Kamera und ein Außenerkennungssensor wie z. B. ein Radar Aufmerksamkeit erregt. Um eine Zunahme des Typs eines Identifizierungsziels in der Bildverarbeitung zum Identifizieren des Objekts, das aus dem Bild der Bildgebungsvorrichtung ID identifiziert werden soll, zu bewältigen ist es z. B. nötig, die Identifizierungsgenauigkeit durch gemeinsame Verwendung einer großen Anzahl von Identifizierungsvorrichtungen oder Vergrößern der Hierarchie jeder Identifizierungsvorrichtung zu verbessern. Allerdings wird dann, wenn die Nummer der Identifizierungsvorrichtung oder die Anzahl von Hierarchien von Klassifikatoren erhöht wird, die Last der Objektidentifizierungsverarbeitung erhöht und muss die Verarbeitungszeit nicht in der erforderlichen Zeit liegen.In recent years, ADAS and ADS using an imaging device ID such as B. an in-vehicle camera and an external detection sensor such. B. a radar attracts attention. In order to cope with an increase in the type of an identification target in the image processing for identifying the object to be identified from the image of the imaging device ID, it is e.g. For example, it is necessary to improve identification accuracy by sharing a large number of identification devices or increasing the hierarchy of each identification device. However, when the identification device number or the number of hierarchies of classifiers is increased, the load of the object identification processing is increased and the processing time may not be within the required time.

Wie oben beschrieben ist, enthält die Bildverarbeitungsvorrichtung IPA gemäß der vorliegenden Ausführungsform die Mehrklassenidentifizierungseinheit 122, die Verfolgungsverarbeitungseinheit 131 und die Identifizierungseinheit 132. Die Mehrklassenidentifizierungseinheit 122 führt die Mehrklassenidentifizierungsverarbeitung P4 an dem Bild durch, das durch die Bildgebungsvorrichtung ID aufgenommen wurde, um mehrere Typen von Identifizierungszielen zu identifizieren. Die Verfolgungsverarbeitungseinheit 131 führt eine Bildverfolgung, in der das Identifizierungsziel, das durch die Mehrklassenidentifizierungsverarbeitung P4 identifiziert wurde, als ein Verfolgungsziel gesetzt ist, durch und berechnet einen vorhergesagten Ort des Verfolgungsziels in einem Bild zu einem späteren Zeitpunkt auf der Grundlage eines Bilds zu einer vorhergehenden Zeit. Die Identifizierungseinheit 132 führt die Zweiklassenidentifizierungsverarbeitung P6c und P6h gemäß dem Typ des Verfolgungsziels an dem vorhergesagten Ort des Bilds zur späteren Zeit durch, um den Typ des Verfolgungsziels zu identifizieren.As described above, the image processing apparatus IPA according to the present embodiment includes the multi-class identification unit 122, the tracking processing unit 131, and the identification unit 132. The multi-class identification unit 122 performs the multi-class identification processing P4 on the image captured by the imaging apparatus ID to identify multiple types of identification targets to identify. The tracking processing unit 131 performs image tracking in which the identification target identified by the multi-class identification processing P4 is set as a tracking target, and calculates a predicted location of the tracking target in an image at a later time based on an image at a previous time . The identification unit 132 performs the two-class identification processing P6c and P6h according to the type of the tracking target at the predicted location of the later-time image to identify the type of the tracking target.

Zusätzlich führt das Bildverarbeitungsverfahren IPM der vorliegenden Ausführungsform die Mehrklassenidentifizierungsverarbeitung P4 an einem Bild durch, das durch die Bildgebungsvorrichtung ID aufgenommen wurde, um mehrere Typen von Identifizierungszielen zu identifizieren. Ferner führt das Bildverarbeitungsverfahren IPM die Bildverfolgung, in der das Identifizierungsziel, das durch die Mehrklassenidentifizierungsverarbeitung P4 identifiziert wurde, als das Verfolgungsziel gesetzt ist, durch und berechnet den vorhergesagten Ort des Verfolgungsziels im Bild zur nachfolgenden Zeit auf der Grundlage des Bilds zur vorhergehenden Zeit. Dann führt das Bildverarbeitungsverfahren IPM die Zweiklassenidentifizierungsverarbeitung P6c und P6h gemäß dem Typ des Verfolgungsziels an dem vorhergesagten Ort des Bilds zur späteren Zeit durch, um den Typ des Verfolgungsziels zu identifizieren.In addition, the image processing method IPM of the present embodiment performs the multi-class identification processing P4 on an image captured by the imaging device ID to identify plural types of identification targets. Further, the image processing method IPM performs image tracking in which the identification target identified by the multi-class identification processing P4 is set as the tracking target, and calculates the predicted location of the tracking target in the subsequent-time image based on the previous-time image. Then, the image processing method IPM performs the two-class identification processing P6c and P6h according to the type of the tracking target at the predicted location of the image at the later time to identify the type of the tracking target.

Gemäß der Bildverarbeitungsvorrichtung IPA und dem Bildverarbeitungsverfahren IPM der vorliegenden Ausführungsform ist es möglich, die Verarbeitungslast einer Bildverarbeitung zum Identifizieren von mehreren Identifizierungszielen aus einem Bild zu verringern und die Identifizierungsgenauigkeit zu verbessern. Insbesondere ist es gemäß der Bildverarbeitungsvorrichtung IPA und dem Bildverarbeitungsverfahren IPM der vorliegenden Ausführungsform möglich, die Verarbeitungslast einer Bildverarbeitung im Vergleich zu dem Fall des Identifizierens von mehreren Identifizierungszielen aus einem Bild unter Verwendung lediglich einer Mehrklassenidentifizierungsvorrichtung oder lediglich einer Zweiklassenidentifizierungsvorrichtung zu verringern.According to the image processing apparatus IPA and the image processing method IPM of the present embodiment, it is possible to use the Verar to reduce the workload of image processing for identifying a plurality of identification targets from one image and to improve the identification accuracy. In particular, according to the image processing apparatus IPA and the image processing method IPM of the present embodiment, it is possible to reduce the processing load of image processing compared to the case of identifying plural identification targets from an image using only a multi-class identification device or only a two-class identification device.

Der Grund ist, dass durch Verwenden der Mehrklassenidentifizierungsverarbeitung durch die Mehrklassenidentifizierungseinheit 122 und der Zweiklassenidentifizierungsverarbeitung durch die Identifizierungseinheit 132 in Kombination die Hierarchie der Mehrklassenidentifizierungsverarbeitung im Vergleich mit dem Fall, in dem lediglich die Mehrklassenidentifizierungsverarbeitung verwendet wird, flacher gestaltet werden kann und die Verarbeitungslast verringert werden kann. Wie oben beschrieben ist, wird durch flaches Gestalten der Hierarchie der Mehrklassenidentifizierungsverarbeitung selbst dann, wenn die Identifizierungsgenauigkeit der Mehrklassenidentifizierungsverarbeitung abnimmt, das Identifizierungsziel, das durch die Mehrklassenidentifizierungsverarbeitung identifiziert wurde, als das Verfolgungsziel gesetzt und wird die Zweiklassenidentifizierungsverarbeitung am Verfolgungsziel durchgeführt, derart, dass die Identifizierungsgenauigkeit verbessert werden kann.The reason is that by using the multi-class identification processing by the multi-class identification unit 122 and the two-class identification processing by the identification unit 132 in combination, the hierarchy of the multi-class identification processing can be made flatter compared to the case where only the multi-class identification processing is used, and the processing load can be reduced . As described above, by making the hierarchy of the multi-class identification processing flat, even if the identification accuracy of the multi-class identification processing decreases, the identification target identified by the multi-class identification processing is set as the tracking target and the two-class identification processing is performed on the tracking target such that the identification accuracy can be improved.

Zusätzlich kann durch Setzen des Identifizierungsziels, das durch die Mehrklassenidentifizierungsverarbeitung P4 identifiziert wurde, als das Verfolgungsziel und Durchführen der Zweiklassenidentifizierungsverarbeitung gemäß dem Typ des Verfolgungsziels an dem vorhergesagten Ort des Verfolgungsziels des Bilds zur späteren Zeit die Zweiklassenidentifizierungsverarbeitung mit dem Typ durchgeführt werden, der lediglich auf den extrem beschränkten Bildbereich beschränkt ist. Als Ergebnis kann die Verarbeitungslast durch Verringern des Verarbeitungsaufwands des Zweiklassenidentifizierungsprozesses verringert werden und kann die falsche Erkennung der Mehrklassenidentifizierungsverarbeitung unterschieden werden, um die Identifizierungsgenauigkeit der mehreren Typen von Identifizierungszielen zu verbessern.In addition, by setting the identification target identified by the multi-class identification processing P4 as the tracking target and performing the two-class identification processing according to the type of the tracking target at the predicted location of the tracking target of the image at the later time, the two-class identification processing can be performed with the type based only on the extremely limited image area. As a result, the processing load can be reduced by reducing the amount of processing of the two-class identification process, and the misrecognition of the multi-class identification processing can be discriminated to improve the identification accuracy of the plural types of identification targets.

In der Bildverarbeitungsvorrichtung IPA gemäß der Ausführungsform führt die Mehrklassenidentifizierungseinheit 122 die Mehrklassenidentifizierungsverarbeitung P4 unter Verwendung der Mehrklassenidentifizierungs-Lerndaten 204, die durch Eingeben der mehreren Typen von Identifizierungszielen maschinell gelernt wurden, durch. Mit dieser Konfiguration kann eine Mehrklassenidentifizierungsverarbeitung zum Identifizieren mehrerer Typen von Identifizierungszielen aus einem Bild auf der Grundlage eines Ergebnisses des maschinellen Lernens genau durchgeführt werden.In the image processing apparatus IPA according to the embodiment, the multi-class identification unit 122 performs the multi-class identification processing P4 using the multi-class identification learning data 204 machine-learned by inputting the plural types of identification targets. With this configuration, multi-class identification processing for identifying plural types of identification targets from an image based on a machine learning result can be accurately performed.

In der Bildverarbeitungsvorrichtung IPA der Ausführungsform führt die Mehrklassenidentifizierungseinheit 122 die Mehrklassenidentifizierungsverarbeitung P4 unter Verwendung der Mehrklassenidentifizierungs-Lerndaten 204 durch, wobei mindestens das Identifizierungsziel (i) des ersten Typs und das Identifizierungsziel (ii) des zweiten Typs eingegeben worden sind und das maschinelles Lernen durchgeführt wurde. Mit dieser Konfiguration ist es möglich, zwischen dem Identifizierungsziel (i) des ersten Typs und dem Identifizierungsziel (ii) des zweiten Typs aus den mehreren Typen von Identifizierungszielen, die im Bild enthalten sind, genau zu unterscheiden.In the image processing apparatus IPA of the embodiment, the multi-class identification unit 122 performs the multi-class identification processing P4 using the multi-class identification learning data 204 where at least the first type identification target (i) and the second type identification target (ii) have been input and the machine learning has been performed . With this configuration, it is possible to accurately discriminate between the first type identification target (i) and the second type identification target (ii) out of the plural types of identification targets included in the image.

Ferner ist in der Bildverarbeitungsvorrichtung IPA gemäß der vorliegenden Ausführungsform das Identifizierungsziel (i) des ersten Typs ein Personenkraftwagen und ist das Identifizierungsziel (ii) des zweiten Typs ein Motorrad. Mit dieser Konfiguration ist es möglich, zwischen dem Personenkraftwagen, der das Identifizierungsziel (i) des ersten Typs ist, und dem Motorrad, das das Identifizierungsziel (ii) des zweiten Typs ist, unter den mehreren Typen von Identifizierungszielen, die im Bild enthalten sind, genau zu unterscheiden.Further, in the image processing apparatus IPA according to the present embodiment, the first type identification target (i) is a passenger car, and the second type identification target (ii) is a motorcycle. With this configuration, it is possible to distinguish between the passenger car, which is the first-type identification target (i), and the motorcycle, which is the second-type identification target (ii), among the plural types of identification targets included in the image. to distinguish exactly.

Ferner enthält in der Bildverarbeitungsvorrichtung IPA gemäß der vorliegenden Ausführungsform die Identifizierungseinheit 132 mehrere Zweiklassenidentifizierungseinheiten 132a und 132b. Zusätzlich führt jede der mehreren Zweiklassenidentifizierungseinheiten 132a und 132b die Zweiklassenidentifizierungsverarbeitung unter Verwendung der Zweiklassenidentifizierungs-Lerndaten 206, 207 durch, wobei maschinelles Lernen durch Eingeben eines Identifizierungsziels eines Typs unter den mehreren Typen durchgeführt wird. Mit dieser Konfiguration kann jede der Zweiklassenidentifizierungseinheit 132a und der Zweiklassenidentifizierungseinheit 132b genau bestimmen, ob das Objekt ein Identifizierungsziel eines Typs unter mehreren Typen ist oder nicht.Further, in the image processing apparatus IPA according to the present embodiment, the identification unit 132 includes a plurality of two-class identification units 132a and 132b. In addition, each of the plural two-class identification units 132a and 132b performs the two-class identification processing using the two-class identification learning data 206, 207, wherein machine learning is performed by inputting an identification target of one type among the plural types. With this configuration, each of the two-class identification unit 132a and the two-class identification unit 132b can accurately determine whether the object is an identification target of one type among plural types or not.

Ferner ist in der Bildverarbeitungsvorrichtung IPA gemäß der vorliegenden Ausführungsform die Anzahl der Zweiklassenidentifizierungseinheiten 132a und 132b gleich der Anzahl von Typen, die durch die Mehrklassenidentifizierungseinheit 122 identifiziert werden. Insbesondere identifiziert in der Bildverarbeitungsvorrichtung IPA gemäß der vorliegenden Ausführungsform die Mehrklassenidentifizierungseinheit 122 zwei Typen des Identifizierungsziels (i) des ersten Typs und des Identifizierungsziels (ii) des zweiten Typs und enthält die Identifizierungseinheit 132 zwei Zweiklassenidentifizierungseinheiten 132a und 132b. Mit dieser Konfiguration ist es möglich, die Zweiklassenidentifizierungsverarbeitung an allen Typen von Identifizierungszielen, die durch die Mehrklassenidentifizierungseinheit 122 identifiziert wurden, durchzuführen und die Identifizierungsgenauigkeit des Typs des Identifizierungsziels zu verbessern.Furthermore, in the image processing apparatus IPA according to the present embodiment, the number of the two-class identification units 132 a and 132 b is equal to the number of types identified by the multi-class identification unit 122 . Specifically, in the image processing apparatus IPA according to the present embodiment, the multi-class identification unit 122 identifies two types of the identification target (i) of the first type and des Identification target (ii) of the second type and the identification unit 132 includes two two-class identification units 132a and 132b. With this configuration, it is possible to perform the two-class identification processing on all types of identification targets identified by the multi-class identification unit 122 and improve the identification accuracy of the type of identification target.

Zusätzlich enthält die Bildverarbeitungsvorrichtung IPA gemäß der vorliegenden Ausführungsform die Bildbereichsauswahleinheit 121, die einen Bildbereich wählt, der beliebige von mehreren Typen von Identifizierungszielen aus dem Bild enthalten kann. Dann identifiziert die Mehrklassenidentifizierungseinheit 122 mehrere Typen von Identifizierungszielen aus dem Bildbereich, der durch die Bildbereichsauswahleinheit 121 gewählt wurde. Mit dieser Konfiguration kann die Mehrklassenidentifizierungsverarbeitung durch die Mehrklassenidentifizierungseinheit 122 lediglich an dem beschränkten Bildbereich durchgeführt werden und kann die Verarbeitungslast durch Verringern des Verarbeitungsaufwands der Mehrklassenidentifizierungsverarbeitung verringert werden.In addition, the image processing apparatus IPA according to the present embodiment includes the image area selection unit 121 that selects an image area that may contain any of plural types of identification targets from the image. Then, the multi-class identification unit 122 identifies plural types of identification targets from the image area selected by the image area selection unit 121 . With this configuration, the multi-class identification processing by the multi-class identification unit 122 can be performed only on the limited image area, and the processing load can be reduced by reducing the processing load of the multi-class identification processing.

Wie oben beschrieben ist, ist es gemäß der vorliegenden Ausführungsform möglich, die Bildverarbeitungsvorrichtung IPA und das Bildverarbeitungsverfahren IPM zu schaffen, die die Verarbeitungslasteiner Bildverarbeitung zum Identifizieren von mehreren Identifizierungszielen aus einem Bild verringern und die Identifizierungsgenauigkeit verbessern können.As described above, according to the present embodiment, it is possible to provide the image processing apparatus IPA and the image processing method IPM that can reduce the processing load of an image processing for identifying a plurality of identification targets from an image and improve the identification accuracy.

Obwohl die Ausführungsformen der Bildverarbeitungsvorrichtung und des Bildverarbeitungsverfahrens gemäß der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen genau beschrieben wurden, ist die konkrete Konfiguration nicht auf diese Ausführungsform beschränkt und selbst dann, wenn Entwurfsänderungen und dergleichen in einem Umfang vorliegen, der nicht vom Hauptinhalt der vorliegenden Offenbarung abweicht, sind sie in der vorliegenden Offenbarung enthalten.Although the embodiments of the image processing apparatus and the image processing method according to the present disclosure have been described in detail with reference to the drawings, the concrete configuration is not limited to this embodiment and even if there are design changes and the like to a extent that is not within the gist of the present disclosure differs, they are included in the present disclosure.

BezugszeichenlisteReference List

121121
Bildbereichsauswahleinheitimage area selection unit
122122
Mehrklassenidentifizierungseinheitmulticlass identifier
131131
Verfolgungsverarbeitungseinheittracking processing unit
132132
Identifizierungseinheitidentification unit
132a132a
Zweiklassenidentifizierungseinheittwo-class identification unit
132b132b
Zweiklassenidentifizierungseinheittwo-class identification unit
204204
Mehrklassenidentifizierungs-Lerndatenmulti-class identification learning data
206206
Zweiklassenidentifizierungs-LerndatenTwo Class Identification Training Data
207207
Zweiklassenidentifizierungs-LerndatenTwo Class Identification Training Data
IDID
Bildgebungsvorrichtungimaging device
IPAIPA
Bildverarbeitungsvorrichtungimage processing device
IPMIPM
Bildverarbeitungsverfahrenimage processing method
P4P4
MehrklassenidentifizierungsprozessMulticlass Identification Process
P6cP6c
ZweiklassenidentifizierungsprozessTwo Class Identification Process
P6hP6h
ZweiklassenidentifizierungsprozessTwo Class Identification Process

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • JP 2019008460 A [0005]JP 2019008460A [0005]

Claims (8)

Bildverarbeitungsvorrichtung, die Folgendes umfasst: eine Mehrklassenidentifizierungseinheit, die eine Mehrklassenidentifizierungsverarbeitung an einem Bild, das durch eine Bildgebungsvorrichtung aufgenommen wurde, durchführt und mehrere Typen von Identifizierungszielen identifiziert; eine Verfolgungsverarbeitungseinheit, die eine Bildverfolgung, in der das Identifizierungsziel, das durch die Mehrklassenidentifizierungsverarbeitung identifiziert wurde, als ein Verfolgungsziel gesetzt ist, durchführt und einen vorhergesagten Ort des Verfolgungsziels in einem Bild zu einem späteren Zeitpunkt auf der Grundlage eines Bilds zu einer vorhergehenden Zeit berechnet; und eine Identifizierungseinheit, die einen Zweiklassenidentifizierungsprozess, der dem Typ des Verfolgungsziels entspricht, an dem vorhergesagten Ort im Bild zur späteren Zeit durchführt und den Typ des Verfolgungsziels identifiziert.Image processing device, comprising: a multi-class identification unit that performs multi-class identification processing on an image captured by an imaging device and identifies plural types of identification targets; a tracking processing unit that performs image tracking in which the identification target identified by the multi-class identification processing is set as a tracking target, and calculates a predicted location of the tracking target in an image at a later time based on an image at a previous time; and an identification unit that performs a two-class identification process corresponding to the type of the tracking target at the predicted location in the image at the later time and identifies the type of the tracking target. Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Mehrklassenidentifizierungseinheit die Mehrklassenidentifizierungsverarbeitung unter Verwendung von Mehrklassenidentifizierungs-Lerndaten, die durch Eingeben der mehreren Typen von Identifizierungszielen maschinell gelernt wurden, durchführt.image processing device claim 1 wherein the multi-class identification unit performs the multi-class identification processing using multi-class identification learning data machine-learned by inputting the plural types of identification targets. Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die Mehrklassenidentifizierungseinheit die Mehrklassenidentifizierungsverarbeitung unter Verwendung der Mehrklassenidentifizierungs-Lerndaten, die durch Eingeben mindestens des Identifizierungsziel eines ersten Typs und des Identifizierungsziels eines zweiten Typs maschinell gelernt wurden, durchführt.image processing device claim 2 wherein the multi-class identification unit performs the multi-class identification processing using the multi-class identification learning data machine-learned by inputting at least the first-type identification target and the second-type identification target. Bildverarbeitungsvorrichtung nach Anspruch 3, wobei das Identifizierungsziel des ersten Typs ein Personenkraftwagen ist und das Identifizierungsziel des zweiten Typs ein Motorrad ist.image processing device claim 3 , wherein the first type identification target is a passenger car and the second type identification target is a motorcycle. Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Identifizierungseinheit mehrere Zweiklassenidentifizierungseinheiten enthält und die mehreren Zweiklassenidentifizierungseinheiten die Zweikiassenidentifizierungsverarbeitung unter Verwendung von Zweiklassenidentifizierungs-Lerndaten, die durch Eingeben des Identifizierungsziels jeweils eines der mehreren Typen maschinell gelernt wurden, durchführen.image processing device claim 1 wherein the identification unit includes a plurality of two-class identification units, and the plurality of two-class identification units performs the two-class identification processing using two-class identification learning data machine-learned by inputting the identification target of each of the plurality of types. Bildverarbeitungsvorrichtung nach Anspruch 5, wobei die Anzahl der Zweiklassenidentifizierungseinheiten gleich der Anzahl von Typen, die durch die Mehrklassenidentifizierungseinheit identifiziert wurden, ist.image processing device claim 5 , where the number of two-class identifiers is equal to the number of types identified by the multi-class identifier. Bildverarbeitungsvorrichtung nach Anspruch 1, die Folgendes umfasst: eine Bildbereichsauswahleinheit, die einen Bildbereich wählt, der wahrscheinlich einen der mehreren Typen von .Identifizierungszielen im Bild enthält, wobei . die Mehrklassenidentifizierungseinheit die mehreren Typen von Identifizierungszielen aus dem Bildbereich, der durch die Bildbereichsauswahleinheit gewählt wurde, identifiziert.image processing device claim 1 comprising: an image area selection unit that selects an image area likely to contain one of the plurality of types of identification targets in the image, where . the multi-class identification unit identifies the plural types of identification targets from the image area selected by the image area selection unit. Bildverarbeitungsverfahren, das Folgendes umfasst: Identifizieren mehrerer Typen von Identifizierungszielen durch Durchführen einer Mehrklassenidentifizierungsverarbeitung an einem Bild, das durch eine Bildgebungsvorrichtung aufgenommen wurde; Durchführen einer Bildverfolgung, in der das Identifizierungsziel, das in der Mehrklassenidentifizierungsverarbeitung identifiziert wurde, als ein Verfolgungsziel gesetzt ist, und Berechnen eines vorhergesagten Orts des Verfolgungsziels in einem Bild zu einem späteren Zeitpunkt auf der Grundlage eines Bilds zu einer vorhergehenden Zeit; und Identifizieren des Typs des Verfolgungsziels durch Durchführen eines Zweiklassenidentifizierungsprozesses, der dem Typ des Verfolgungsziels entspricht, an dem vorhergesagten Ort im Bild zur späteren Zeit.Image processing method, which includes: identifying a plurality of types of identification targets by performing multi-class identification processing on an image captured by an imaging device; performing image tracking in which the identification target identified in the multi-class identification processing is set as a tracking target, and calculating a predicted location of the tracking target in an image at a later time based on an image at a previous time; and Identifying the track target type by performing a two-class identification process corresponding to the track target type at the predicted location in the image at the later time.
DE112021002170.2T 2020-06-11 2021-02-05 Image processing device and image processing method Pending DE112021002170T5 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020101500 2020-06-11
JP2020-101500 2020-06-11
PCT/JP2021/004261 WO2021250934A1 (en) 2020-06-11 2021-02-05 Image processing device and image processing method

Publications (1)

Publication Number Publication Date
DE112021002170T5 true DE112021002170T5 (en) 2023-03-02

Family

ID=78847176

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112021002170.2T Pending DE112021002170T5 (en) 2020-06-11 2021-02-05 Image processing device and image processing method

Country Status (4)

Country Link
JP (1) JP7323716B2 (en)
CN (1) CN115769253A (en)
DE (1) DE112021002170T5 (en)
WO (1) WO2021250934A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019008460A (en) 2017-06-22 2019-01-17 株式会社東芝 Object detection device and object detection method and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133421A (en) * 2000-10-18 2002-05-10 Fujitsu Ltd Moving body recognition method and device
US20210133474A1 (en) 2018-05-18 2021-05-06 Nec Corporation Image processing apparatus, system, method, and non-transitory computer readable medium storing program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019008460A (en) 2017-06-22 2019-01-17 株式会社東芝 Object detection device and object detection method and program

Also Published As

Publication number Publication date
CN115769253A (en) 2023-03-07
JPWO2021250934A1 (en) 2021-12-16
WO2021250934A1 (en) 2021-12-16
JP7323716B2 (en) 2023-08-08

Similar Documents

Publication Publication Date Title
DE102014210820B4 (en) Method for detecting large and passenger vehicles from fixed cameras
DE102013205952B4 (en) Reconfigurable system and method for the detection of a free path
DE102006057552B4 (en) System and method for measuring the distance of a preceding vehicle
DE102017220307B4 (en) Device and method for recognizing traffic signs
DE102021002798A1 (en) Process for camera-based environment detection
DE102013113960A1 (en) Road surface shape determining device
DE102018111935A1 (en) Image processing system, image processing method, information processing apparatus and recording medium
DE102012000459A1 (en) Method for detecting object e.g. vehicle in surrounding area, involves transforming segments with classification surfaces into two-dimensional representation of environment, and searching and classifying segments in representation
DE102018129388A1 (en) DETECTION DEVICE FOR THE EXTERNAL ENVIRONMENT OF VEHICLES
DE102016218852A1 (en) Detection of objects from images of a camera
WO2020048669A1 (en) Method for determining a lane change indication of a vehicle, computer-readable storage medium, and vehicle
DE102017108255A1 (en) PARALLEL DETECTION OF PRIMITIVES IN A SCENE USING A ROUNDUM CAMERA SYSTEM
WO2020104551A1 (en) Object recognition using the sensor system of vehicles
DE102015211871A1 (en) Object detection device
DE102019214558A1 (en) PROJECTION INFORMATION RECOGNITION DEVICE BASED ON AN ARTIFICIAL NEURAL NETWORK AND PROCESSES OF THE SAME
DE102018010039A1 (en) Method for recognizing at least one pattern in an environment of a vehicle, control device for executing such a method, and vehicle with such a control device
DE102021003567A1 (en) Process for the recognition of object relationships and attributions from sensor data
EP4078238A1 (en) Method and device for making sensor data more robust against adverse disruptions
DE102020211971A1 (en) VEHICLE TRAJECTORY PREDICTION USING ROAD TOPOLOGY AND TRAFFIC PARTICIPANT OBJECT STATES
DE102019209473A1 (en) Method and device for the rapid detection of repetitive structures in the image of a street scene
DE112021002170T5 (en) Image processing device and image processing method
DE102018109680A1 (en) Method for distinguishing lane markings and curbs by parallel two-dimensional and three-dimensional evaluation; Control means; Driving assistance system; as well as computer program product
DE102018206743A1 (en) A method of operating a driver assistance system of an ego vehicle having at least one environment sensor for detecting an environment of the ego vehicle, computer-readable medium, system, and vehicle
DE102020200876B4 (en) Method for processing sensor data from a sensor system in a vehicle
DE102020211280A1 (en) Computer-implemented method for environment recognition for an automated driving system, machine learning method, control unit for an automated driving system and computer program for such a control unit

Legal Events

Date Code Title Description
R012 Request for examination validly filed