DE112020003840T5

DE112020003840T5 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, und informationsverarbeitungsprogramm

Info

Publication number: DE112020003840T5
Application number: DE112020003840.8T
Authority: DE
Inventors: Kyoji Yokoyama
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2019-08-13
Filing date: 2020-07-09
Publication date: 2022-05-05
Also published as: WO2021029167A1; JP2021033334A; US20220351505A1; CN114175110A

Abstract

Eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Informationsverarbeitungsprogramm, die fähig sind, eine Informationsverarbeitungsmenge eines Anwendungsprozessors zu reduzieren, der ein Objekt aus einem Eingabebild erkennt, werden bereitgestellt. Eine Informationsverarbeitungsvorrichtung (100) gemäß der vorliegenden Offenbarung weist eine Erfassungseinheit (4), eine Erzeugungseinheit (7) und eine Ausgabeeinheit (6) auf. Die Erfassungseinheit (4) erfasst die Bilddaten von einer Abbildungseinheit, die ein Bild aufnimmt und Bilddaten erzeugt. Die Erzeugungseinheit (7) erzeugt aus den von der Erfassungseinheit (4) erfassten Bilddaten Metadaten, um einen Anwendungsprozessor zu unterstützen, der eine Verarbeitung in Bezug auf das Bild ausführt. Die Ausgabeeinheit (6) gibt die von der Erzeugungseinheit (7) erzeugten Metadaten an den Anwendungsprozessor aus.

Description

Gebiet
Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Informationsverarbeitungsprogramm.
Hintergrund
Es gibt Bilderkennungsvorrichtungen, die ein Objekt aus einem Eingabebild erkennen unter Verwendung eines durch maschinelles Lernen erstellten neuronalen Netzes (siehe beispielsweise Patentliteratur 1). Eine solche Objekterkennung wird im Allgemeinen von einem Anwendungsprozessor zur Bilderkennung durchgeführt.
Literaturliste
Patentliteratur
Patentliteratur 1: Japanische Patentanmeldung, Offenlegungsnr. 2018-190332
Kurzdarstellung
Technisches Problem
Ein Anwendungsprozessor muss jedoch eine enorme Menge an Informationsverarbeitung durchführen, um ein Objekt aus einem Eingabebild unter Verwendung eines neuronalen Netzes zu erkennen.
Somit schlägt die vorliegende Offenbarung eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Informationsverarbeitungsprogramm vor, die fähig sind, eine Informationsverarbeitungsmenge des Anwendungsprozessors, der ein Objekt aus einem Eingabebild erkennt, zu reduzieren.
Lösung des Problems
Gemäß der vorliegenden Offenbarung wird eine Informationsverarbeitungsvorrichtung bereitgestellt. Die Informationsverarbeitungsvorrichtung weist eine Erfassungseinheit, eine Erzeugungseinheit und eine Ausgabeeinheit auf. Die Erfassungseinheit erfasst die Bilddaten von einer Abbildungseinheit, die ein Bild aufnimmt und Bilddaten erzeugt. Die Erzeugungseinheit erzeugt aus den von den Erfassungseinheit erfassten Bilddaten Metadaten, um einen Anwendungsprozessor zu unterstützen, der eine Verarbeitung in Bezug auf das Bild ausführt. Die Ausgabeeinheit gibt die von der Erzeugungseinheit erzeugten Metadaten an den Anwendungsprozessor aus.
Figurenliste

1 ist eine Ansicht, die ein Konfigurationsbeispiel einer Abbildungsvorrichtung darstellt, in der eine Informationsverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung vorgesehen ist.
2 ist eine Ansicht zur Beschreibung eines Beispiels von Metadaten gemäß der vorliegenden Offenbarung.
3 ist eine Ansicht zur Beschreibung eines Beispiels von Metadaten gemäß der vorliegenden Offenbarung.
4A ist eine Ansicht zur Beschreibung von Informationen, die von der Informationsverarbeitungsvorrichtung an einen AP ausgegeben werden, gemäß der vorliegenden Offenbarung.
4B ist eine Ansicht zur Beschreibung von Informationen, die von der Informationsverarbeitungsvorrichtung an den AP ausgegeben werden, gemäß der vorliegenden Offenbarung.
4C ist eine Ansicht zur Beschreibung von Informationen, die von der Informationsverarbeitungsvorrichtung an den AP ausgegeben werden, gemäß der vorliegenden Offenbarung.
5 ist eine Ansicht zur Beschreibung eines Beispiels eines Wasserzeichens gemäß der vorliegenden Offenbarung.
6 ist ein Flussdiagramm, das ein Beispiel einer Verarbeitung darstellt, die von der Informationsverarbeitungsvorrichtung ausgeführt wird, gemäß der vorliegenden Offenbarung.
7 ist ein Flussdiagramm, das ein Beispiel einer Verarbeitung darstellt, die von der Informationsverarbeitungsvorrichtung ausgeführt wird, gemäß der vorliegenden Offenbarung.
8 ist ein Blockdiagramm, das ein Beispiel einer schematischen Konfiguration eines Fahrzeugsteuersystems darstellt.
9 ist eine Ansicht zur Beschreibung eines Beispiels von Installationspositionen einer Fahrzeugaußeninformations-Detektionseinheit und einer Abbildungseinheit.

Beschreibung von Ausführungsformen
Im Folgenden werden Ausführungsformen der vorliegenden Offenbarung anhand der Zeichnungen ausführlich beschrieben. Man beachte, dass in den folgenden Ausführungsformen eine sich überschneidende Beschreibung weggelassen wird, indem identischen Teilen dieselben Bezugszeichen zugewiesen werden.
[1. Konfiguration der Bildverarbeitungsvorrichtung]
1 ist eine Ansicht, die ein Konfigurationsbeispiel einer Abbildungsvorrichtung 100 darstellt, in der eine Informationsverarbeitungsvorrichtung 1 gemäß der vorliegenden Offenbarung vorgesehen ist. Wie in 1 dargestellt wird, weist die Abbildungsvorrichtung 100 die Informationsverarbeitungsvorrichtung 1, eine Abbildungseinheit 2 und einen Speicher 3 auf.
Die Abbildungseinheit 2 weist eine Vielzahl von Abbildungspixeln auf, die zweidimensional angeordnet sind, und nimmt ein Bild auf, indem sie jedes der Abbildungspixel Licht aussetzt. Die Abbildungseinheit 2 erzeugt Bilddaten durch photoelektrisches Umwandeln von Licht von einem Objekt, wobei das Licht von jedem der Abbildungspixel empfangen wird, in Signalladungen, die einer Menge des empfangenen Lichts entsprechen, und durch Durchführen einer Analog-Digital-Umwandlung eines analogen Pixelsignals entsprechend den Signalladungen in ein digitales Pixelsignal. Die Abbildungseinheit 2 gibt die Bilddaten des aufgenommenen Bildes an die Informationsverarbeitungsvorrichtung 1 aus. Der Speicher 3 speichert temporär Bilddaten, die von der Abbildungseinheit 2 über die Informationsverarbeitungsvorrichtung 1 eingegeben werden.
Die Informationsverarbeitungsvorrichtung 1 weist beispielsweise einen Mikrocomputer auf, der eine zentrale Verarbeitungseinheit (CPU), einen Nur-Lese-Speicher (ROM), einen Direktzugriffsspeicher (RAM), und dergleichen, und verschiedene Schaltungen aufweist.
Die Informationsverarbeitungsvorrichtung 1 weist eine Erfassungseinheit 4, eine Bildverarbeitungseinheit 5, eine Ausgabeeinheit 6, eine Erzeugungseinheit 7, eine Markierungszuweisungseinheit 8 und eine Empfangseinheit 9 auf, die funktionieren, wenn die CPU ein in dem ROM gespeichertes Informationsverarbeitungsprogramm ausführt, während sie den RAM als einen Arbeitsbereich verwendet.
Man beachte, dass ein Teil oder die Gesamtheit der Erfassungseinheit 4, der Bildverarbeitungseinheit 5, der Ausgabeeinheit 6, der Erzeugungseinheit 7, der Markierungszuweisungseinheit 8 und der Empfangseinheit 9, die in der Informationsverarbeitungsvorrichtung 1 enthalten sind, durch Hardware, wie etwa eine anwendungsspezifische integrierte Schaltung (ASIC) oder ein feldprogrammierbares Gate-Array (FPGA) konfiguriert sein können.
Die Erfassungseinheit 4, die Bildverarbeitungseinheit 5, die Ausgabeeinheit 6, die Erzeugungseinheit 7, die Markierungszuweisungseinheit 8 und die Empfangseinheit 9, die in der Informationsverarbeitungsvorrichtung 1 enthalten sind, realisieren bzw. führen Aktionen der Informationsverarbeitung aus, die im Folgenden beschrieben werden. Man beachte, dass eine interne Konfiguration der Informationsverarbeitungsvorrichtung 1 nicht auf die in 1 dargestellte Konfiguration beschränkt ist und eine andere Konfiguration haben kann, solange es eine Konfiguration zur Durchführung der Informationsverarbeitung ist, die später beschrieben wird.
Die Erfassungseinheit 4 erfasst Bilddaten von der Abbildungseinheit 2 und führt eine Ausgabe davon an die Bildverarbeitungseinheit 5 durch. Die Bildverarbeitungseinheit 5 führt eine allgemeine Bildverarbeitung an den Bilddaten durch. Beispielsweise führt die Bildverarbeitungseinheit 5 eine Bildverarbeitung, wie etwa eine Pixelfehlerkorrektur, durch.
Die Bildverarbeitungseinheit 5 gibt die Bilddaten nach der Bildverarbeitung aus und speichert sie in dem Speicher 3. Außerdem gibt die Bildverarbeitungseinheit 5 die Bilddaten nach der Bildverarbeitung an die Ausgabeeinheit 6 aus. Die Ausgabeeinheit 6 ist beispielsweise ein Selektor und gibt Bilddaten IMG, die von der Bildverarbeitungseinheit 5 eingegeben werden, und Metadaten Meta, die von der Erzeugungseinheit 7 (später beschrieben) eingegeben werden, an einen Anwendungsprozessor (im Folgenden als „AP 101“ bezeichnet) aus.
Der AP 101 ist eine Verarbeitungseinheit, die eine Verarbeitung in Bezug auf ein Bild, das von der Abbildungseinheit 2 aufgenommen wird, ausführt, indem ein Anwendungsprogramm ausgeführt wird. Beispielsweise führt der AP 101 eine Verarbeitung aus, um zu bewirken, dass eine Anzeigeeinheit, wie etwa eine Flüssigkristallanzeige, die von der Abbildungsvorrichtung 100 eingegebenen Bilddaten IMG anzeigt.
Außerdem führt der AP 101 beispielsweise eine Verarbeitung zum Erkennen eines Objekts aus den Bilddaten IMG, die von der Abbildungsvorrichtung 100 eingegeben werden, eine Verarbeitung zum Authentifizieren eines Objekts daraus, und dergleichen aus. In einem Fall des Erkennens oder Authentifizierens des Objekts aus den Bilddaten IMG verwendet der AP 101 beispielsweise ein maschinelles Lernmodell, das durch maschinelles Lernen erstellt wurde, wie etwa ein tiefes neuronales Netz (DNN).
In einem Fall des Durchführens einer Bilderkennung unter Verwendung des DNN wandelt der AP 101 die von der Abbildungsvorrichtung 100 eingegebenen Bilddaten IMG in ein Datenformat von Farbsignalen von Rot (R), Grün (G) und Blau (B), eines Luminanzsignals (Y), eines Differenzsignals einer Blaukomponente (U) und eines Differenzsignals einer Rotkomponente (V) oder dergleichen um, und führt die Verarbeitung durch.
In diesem Fall besteht die Möglichkeit, dass die Leistung durch eine Schnittstelle zwischen der Abbildungsvorrichtung 100 und dem AP 101, einem Speicherband auf einer Seite des AP 101, und dergleichen, eingeschränkt wird. Außerdem erfordert der AP 101 zur Verbesserung der Erkennungsgenauigkeit des aus den Bilddaten IMG erkannten Objekts eine sehr umfangreiche Verarbeitung, und die Informationsverarbeitungsmenge wird enorm groß.
Somit erzeugt die in der Informationsverarbeitungsvorrichtung 1 enthaltene Erzeugungseinheit 7 Metadaten Meta, um den AP 101 zu unterstützen, und führt eine Ausgabe davon an die Ausgabeeinheit 6 durch. Die Ausgabeeinheit 6 gibt eine oder beide der Bilddaten IMG und der Metadaten Meta gemäß der Informationsausgabe von dem AP 101 an den AP 101 aus. Somit kann der AP 101 die Informationsverarbeitungsmenge reduzieren. Man beachte, dass ein Beispiel der von der Erzeugungseinheit 7 erzeugten Metadaten Meta später unter Bezugnahme auf 2 und 3 beschrieben wird.
Die Markierungszuweisungseinheit 8 erzeugt ein Wasserzeichen, das eine Quelle des von der Abbildungseinheit 2 aufgenommenen Bildes angibt und das mit bloßem Auge nicht zu erkennen ist, und führt eine Ausgabe davon an die Bildverarbeitungseinheit 5 durch, wodurch das Wasserzeichen den Bilddaten IMG zugewiesen wird. Beispielsweise weist die Markierungszuweisungseinheit 8 dem Bild ein Wasserzeichen zu, in welchem eine Seriennummer der Abbildungsvorrichtung 100 einem Datum und einem Ort der Aufnahme des Bildes zugeordnet ist.
Somit kann beispielsweise ein Benutzer der Abbildungsvorrichtung 100 in einem Fall, in dem ein aufgenommenes Bild unerlaubt für einen anderen Zweck als den eigenen Zweck verwendet wird, durch Analysieren eines dem Bild zugewiesenen Wasserzeichens mit einer vorbestimmten Bildanalysevorrichtung prüfen, ob das Bild das ist, was er/sie selbst aufgenommen hat.
Auch in einem Fall, in dem die Abbildungsvorrichtung 100 von einer Vielzahl von Benutzern gemeinsam genutzt wird, weist die Markierungszuweisungseinheit 8 einem Bild ein Wasserzeichen zu, das geeignet ist, eine Person zu spezifizieren, die das Bild aufnimmt. Beispielsweise ordnet die Markierungszuweisungseinheit 8 in einem Fall, in dem ein erster Benutzer das Bild aufnimmt, eine Seriennummer der Abbildungsvorrichtung 100 in Bezug auf ein Datum und einen Ort der Aufnahme eines Bildes zu, und ordnet in einem Fall, in dem ein zweiter Benutzer das Bild aufnimmt, eine für die Abbildungseinheit 2 eindeutige Chipnummer zu.
Auch ordnet die Markierungszuweisungseinheit 8 eine für den Speicher 3 eindeutige Chipnummer in einem Fall zu, in dem ein dritter Benutzer das Bild aufnimmt, und ordnet eine für die Informationsverarbeitungsvorrichtung 1 eindeutige Chipnummer in einem Fall zu, in dem ein vierter Benutzer das Bild aufnimmt.
Somit kann jeder der Vielzahl von Benutzern der Abbildungsvorrichtung 100 prüfen, ob ein Bild das ist, was er/sie selbst aufgenommen hat, indem er/sie ein dem Bild zugeordnetes Wasserzeichen mit der vorbestimmten Bildanalysevorrichtung analysiert. Man beachte, dass ein Beispiel des Wasserzeichens, das dem Bild durch die Markierungszuweisungseinheit 8 zugewiesen wird, später unter Bezugnahme auf 5 beschrieben wird.
Die Empfangseinheit 9 empfängt eine Anfrage von dem AP 101 und gibt Informationen entsprechend der Anfrage an die Erzeugungseinheit 7 oder die Abbildungseinheit 2 aus. Die Erzeugungseinheit 7 erzeugt Metadaten Meta entsprechend der Anfrage von dem AP 101, wobei die Anfrage von der Empfangseinheit 9 empfangen wird.
Beispielsweise bewirkt die Empfangseinheit 9 in einem Fall, bei dem es eine Anfrage zur Bereitstellung von Informationen für eine Position eines Objekts, einen Abstand zu dem Objekt, ein Attribut des Objekts und dergleichen von dem AP 101 gibt, dass die Erzeugungseinheit 7 Metadaten Meta erzeugt, die beispielsweise die von dem AP 101 angefragten Informationen aufweisen.
Auch empfängt die Empfangseinheit 9 Informationen in Bezug auf eine Verwendung des AP 101 (Typ der von dem AP 101 ausgegebenen Informationen) von dem AP 101. Dann bewirkt die Empfangseinheit 9, dass die Ausgabeeinheit 6 eines oder beide der Bilddaten IMG und der Metadaten Meta an den AP 101 ausgibt, gemäß der Verwendung des AP 101, wobei die Verwendung von dem AP 101 empfangen wird. Man beachte, dass die Informationsausgabe von der Informationsverarbeitungsvorrichtung 1 an den AP 101 später unter Bezugnahme auf 4A bis 4C beschrieben wird.
Auch in einem Fall des Empfangens einer Anfrage in Bezug auf eine Abbildungssteuerung von dem AP 101 gibt die Empfangseinheit 9 ein Steuersignal entsprechend der Anfrage in Bezug auf die Abbildungssteuerung an die Abbildungseinheit 2 aus, und stellt die Abbildungseinheit 2 ein, die von dem AP 101 angefragte Abbildungssteuerung durchzuführen.
Beispielsweise gibt der AP 101 in einem Fall, in dem hochauflösende Bilddaten IMG für die Informationsverarbeitung nicht erforderlich sind, eine Anfrage zum Verringern der Auflösung eines aufgenommenen Bildes an die Empfangseinheit 9 aus. In einem solchen Fall stellt die Empfangseinheit 9 die Abbildungseinheit 2 derart ein, dass die Auflösung des aufgenommenen Bildes gesenkt wird.
Da die Bilddaten IMG niedriger Auflösung mit einer kleinen Anzahl von Pixeln von der Ausgabeeinheit 6 eingegeben werden, kann der AP 101 somit im Vergleich zu einem Fall der Verarbeitung der Bilddaten IMG hoher Auflösung mit einer großen Anzahl von Pixeln eine Verarbeitungslast reduzieren.
Auch in einem Fall, in dem beispielsweise Farbsignale von Rot (R) und Blau (B) für die Informationsverarbeitung nicht erforderlich sind unter den Farbsignalen von Rot (R), Grün (G) und Blau (B), kann der AP 101 eine Ausgabeanfrage nur für das Farbsignal Grün (G) an die Empfangseinheit 9 ausgeben. In einem solchen Fall stellt die Empfangseinheit 9 die Abbildungseinheit 2 derart ein, dass nur das Farbsignal Grün (G) ausgegeben wird. Man beachte, dass der AP 101 eine Ausgabeanfrage für ein anderes Signal als das Farbsignal Grün (G), wie beispielsweise das Luminanzsignal (Y), ausgeben kann. In einem solchen Fall stellt die Empfangseinheit 9 die Abbildungseinheit 2 derart ein, dass sie ein Signal ausgibt, dessen Ausgabe von dem AP 101 angefordert wird.
Da somit nur das Farbsignal Grün (G) von der Ausgabeeinheit 6 in die Empfangseinheit 9 eingegeben wird, kann der AP 101 die Verarbeitungslast im Vergleich zu einem Fall, bei dem die Informationsverarbeitung bezüglich aller Farbsignale Rot (R), Grün (G) und Blau (B) durchgeführt wird, reduzieren. Auch in einem Fall, in dem nur das Luminanzsignal (Y) von der Abbildungsvorrichtung 100 eingegeben wird, kann der AP 101 in ähnlicher Weise die Verarbeitungslast reduzieren.
Außerdem gibt der AP 101 beispielsweise in einem Fall, in dem Bilddaten IMG mit einer hohen Frame-Rate für die Informationsverarbeitung nicht erforderlich sind, eine Anfrage zum Verringern der Frame-Rate an die Empfangseinheit 9 aus. In einem solchen Fall stellt die Empfangseinheit 9 die Abbildungseinheit 2 derart ein, dass die Frame-Rate gesenkt wird.
Da somit die Anzahl der innerhalb einer vorbestimmten Zeit eingegebenen Teile der Bilddaten IMG verringert wird, kann der AP 101 die Verarbeitungslast im Vergleich zu einem Fall, in dem eine große Anzahl von Bildern mit einer hohen Frame-Rate innerhalb der vorbestimmten Zeit eingegeben werden, reduzieren.
[2. Beispiel für Metadaten]
Als nächstes wird unter Bezugnahme auf 2 und 3 ein Beispiel der von der Erzeugungseinheit 7 erzeugten Metadaten Meta beschrieben. 2 und 3 sind Ansichten zur Beschreibung eines Beispiels für Metadaten gemäß der vorliegenden Offenbarung.
Wie in 2 dargestellt wird, gibt die Erzeugungseinheit 7 beispielsweise in einem Fall, in dem Bilddaten IMG1, in denen eine Person 201 abgebildet ist, eingegeben werden, die Bilddaten IMG1 in das DNN ein, extrahiert Merkmalsmengendaten, die ein Merkmal der Bilddaten IMG1 angeben, und erzeugt aus den Merkmalsmengendaten Metadaten Metal. Somit kann die Erzeugungseinheit 7 die korrekten Metadaten Metal erzeugen, die den AP 101 unterstützen.
Insbesondere spezifiziert die Erzeugungseinheit 7 eine Position eines Objekts (hier eine Person 201) in dem Bild aus den Merkmalsmengendaten, und erzeugt die Metadaten Metal, die die Position des Objekts angeben. Beispielsweise erzeugt die Erzeugungseinheit 7 als die Metadaten Metal Koordinaten (X1, Y1), (X2, Y2), (X3, Y3) und (X4, Y4) von vier Ecken eines rechteckigen Rahmens A, der einen Bereich eines Gesichts der Person 201 in den Bilddaten IMG1 umgibt, und führt eine Ausgabe davon an die Ausgabeeinheit 6 durch.
In einem Fall, in dem der AP 101 beispielsweise eine Informationsverarbeitung zur Erkennung des Gesichts der Person 201 durchführt, die in den Bilddaten IMG1 enthalten ist, gibt die Ausgabeeinheit 6 die Bilddaten IMG1 und die Metadaten Metal an den AP 101 aus. Somit kann der AP 101 unter Verwendung der Metadaten Metal eine Verarbeitungslast zur Erkennung des Gesichts der Person 201, die in den Bilddaten IMG1 enthalten ist, reduzieren.
Insbesondere in einem Fall des Erkennens des Gesichts der Person 201 aus den Bilddaten IMG1 ohne Verwendung der Metadaten Metal muss der AP 101 alle in den Bilddaten IMG1 enthaltenen Pixel in einem Speicher innerhalb des AP 101 expandieren, Informationen von allen Pixeln in das DNN eingeben, und dann die Informationsverarbeitung durchführen.
Andererseits expandiert der AP 101 in einem Fall, in dem die Metadaten Metal verwendet werden, in dem Speicher innerhalb des AP 101 nur Pixel in dem rechteckigen Rahmen A, der den Bereich des Gesichts der Person 201 in den Bilddaten IMG1 umgibt, gibt Informationen der Pixel in dem rechteckigen Rahmen A in das DNN ein, und erkennt das Gesicht der Person 201. Somit kann der AP 101 die Verarbeitungslast reduzieren, da eine Informationsverarbeitungsmenge im Vergleich zu einem Fall, in dem die Metadaten Metal nicht verwendet werden, reduziert wird.
Auch erzeugt die Erzeugungseinheit 7, wie in 3 dargestellt wird, beispielsweise in einem Fall, in dem Bilddaten IMG2 eingegeben werden, in denen eine männliche Person 202 und ein Fahrrad 203 sich in der Nähe befinden und eine weibliche Person 204 und ein Gebäude 205 sich entfernt befinden, Metadaten Meta2.
Beispielsweise erzeugt die Erzeugungseinheit 7 die Metadaten Meta2, die Informationen eines in der Nähe befindlichen Mannes, eines in der Nähe befindlichen Fahrrads, einer entfernten Frau und eines entfernten Gebäudes aufweisen, als Informationen von Objekten, die in den Bilddaten IMG2 enthalten sind, und führt eine Ausgabe davon an die Ausgabeeinheit 6 durch. Man beachte, dass die Erzeugungseinheit 7 auch die Metadaten Meta2 erzeugen kann, die Informationen aufweisen, die einen Abstand und Richtung zu jeder der Personen 202 und 204, dem Fahrrad 203 und dem Gebäude 205 angeben, und eine Ausgabe davon an die Ausgabeeinheit 6 durchführen kann.
Auf diese Weise erzeugt die Erzeugungseinheit 7 die Metadaten Meta2, die Informationen, die die Positionen der Objekte angeben, Informationen, die die Attribute der Objekte angeben, und Informationen, die die Abstände zu den Objekten angeben, aufweisen, und führt eine Ausgabe davon an die Ausgabeeinheit 6 durch. Somit kann beispielsweise in einem Fall, in dem der AP 101 an einem Fahrzeug angebracht ist und eine Informationsverarbeitung zum Detektieren eines Hindernisses durchführt, eine Verarbeitungslast reduziert werden, indem die entfernte Person 204 und das entfernte Gebäude 205 unter Verwendung der Metadaten Meta2 von Detektionsobjekten ausgeschlossen werden.
Außerdem kann der AP 101 beispielsweise in einem Fall, in dem Informationen ausgegeben werden, die aus den Bilddaten IMG2 gelesen werden können, unter Verwendung der Metadaten Meta2 die Anzahl von Männern und Frauen in dem Bild und dergleichen ausgeben, ohne dass eine Verarbeitung zum Bestimmen von Attributen der Objekte durchgeführt wird.
[3. Informationsausgabe von der Informationsverarbeitungsvorrichtung an den AP]
Als nächstes wird eine Informationsausgabe von der Abbildungsvorrichtung 100 an den AP 101 unter Bezugnahme auf 4A bis 4C beschrieben. 4A bis 4C sind Ansichten zur Beschreibung von Informationen, die von der Informationsverarbeitungsvorrichtung an den AP ausgegeben werden, gemäß der vorliegenden Offenbarung.
Die Informationsverarbeitungsvorrichtung 1 gibt gemäß der Verwendung des AP 101 (dem Typ der von dem AP 101 ausgegebenen Informationen) eine oder beide der Bilddaten IMG und der Metadaten Meta an den AP 101 aus. Wie beispielsweise in 4A dargestellt wird, gibt die Informationsverarbeitungsvorrichtung in einem Fall, in dem bei dem AP 101 angefordert wird, ein schönes Bild auszugeben, das zur Wertschätzung verwendet werden soll, die Bilddaten IMG aus, ohne die Metadaten Meta an den AP 101 auszugeben.
Auch gibt, wie in 4B dargestellt wird, die Informationsverarbeitungsvorrichtung 1 in einem Fall, in dem bei dem AP 101 angefordert wird, ein Bild und Informationen in dem Bild auszugeben, die Bilddaten IMG und die Metadaten Meta an den AP 101 aus.
Beispielsweise kann bei dem AP 101 angefordert werden, ein Bild einer Tafel, auf der Zeichen geschrieben sind, und Zeicheninformationen, die auf die Tafel geschrieben sind, auszugeben. In einem solchen Fall gibt die Informationsverarbeitungsvorrichtung 1 an den AP 101 die Bilddaten IMG, in denen die Tafel abgebildet ist, und Metainformationen, die eine Position angeben, wo die Zeicheninformationen in den Bilddaten IMG auf die Tafel geschrieben sind, aus.
Somit kann der AP 101 ein Bild, in dem die Tafel abgebildet ist, und durch selektive Bilderkennung erfasste Zeicheninformationen in den Bilddaten IMG über die Position, wo die Zeicheninformationen auf die Tafel geschrieben sind, ausgeben.
Auch gibt die Informationsverarbeitungsvorrichtung 1, wie in 4C dargestellt wird, in einem Fall, in dem bei dem AP 101 angefordert wird, ein Bestimmungsergebnis durch den AP 101 auszugeben, das heißt in einem Fall, in dem eine Ausgabe eines Bildes nicht erforderlich ist, die Metadaten Meta an den AP 101 aus, ohne die Bilddaten IMG auszugeben.
Beispielsweise gibt die Informationsverarbeitungsvorrichtung 1 in einem Fall, in dem bei dem AP 101 angefordert wird, ein Bestimmungsergebnis der Anzahl von Personen in einem Bild auszugeben, Metadaten Meta, die ein Attribut und eine Position eines Objekts in dem Bild angeben, an den AP 101 aus. Somit kann der AP 101, selbst wenn die Bilddaten IMG nicht von der Informationsverarbeitungsvorrichtung 1 eingegeben werden, die Anzahl von Personen in dem Bild aus den Metadaten Meta bestimmen und das Bestimmungsergebnis ausgeben.
[4. Beispiel eines Wasserzeichens]
Als nächstes wird ein Beispiel eines Wasserzeichens, das Bilddaten IMG durch die Markierungszuweisungseinheit 8 zugewiesen wird, unter Bezugnahme auf 5 beschrieben. 5 ist eine Ansicht zur Beschreibung eines Beispiels eines Wasserzeichens gemäß der vorliegenden Offenbarung.
Wie in 5 dargestellt wird, detektiert die Markierungszuweisungseinheit 8 beispielsweise in einem Fall, in dem Bilddaten IMG3 eines Bildes, in dem ein Gesicht einer Person abgebildet ist, aus dem Speicher 3 gelesen werden, einen Rand des Bildes aus den Bilddaten IMG3. Dann detektiert die Markierungszuweisungseinheit 8 eine Vielzahl von Pixeln, die an dem Rand enthalten sind und in denen die Farbdichte unregelmäßig ist.
In dem in 5 dargestellten Beispiel detektiert die Markierungszuweisungseinheit 8 einen Haarabschnitt einer Person und einen Wangenlinienabschnitt der Person als die Vielzahl von Pixeln, die in dem Rand enthalten sind und in denen die Farbdichte unregelmäßig ist. Dann weist die Markierungszuweisungseinheit 8 den Bilddaten IMG3 ein Wasserzeichen WM zu, indem sie die Vielzahl von detektierten Pixeln mit der unregelmäßigen Farbdichte durch eine Vielzahl von Pixeln P1 und P2 ersetzt, in denen die Farbdichte eine regelmäßige Beziehung aufweist, die mit bloßem Auge nicht zu unterscheiden ist.
In einem Pixel Pa, das in 5 durch einen weißen Kreis angegeben wird, ist die letzte Stelle eines Werts, der einen Luminanzwert angibt, eine gerade Zahl. Auch ist in einem Pixel Pb, das in 5 durch ein weißes Quadrat angegeben wird, die letzte Stelle eines Werts, der den Luminanzwert angibt, eine ungerade Zahl. Wie oben beschrieben, ist das von der Markierungszuweisungseinheit 8 zugewiesene Wasserzeichen WM ein Pixelarray, in dem sich eine gerade Zahl und eine ungerade Zahl der letzten Stelle der Werte, die die Luminanzwerte angeben, regelmäßig und sich wiederholend abwechseln.
Streng genommen hat das Wasserzeichen WM lokal eine andere Farbdichte als die ursprünglichen Bilddaten IMG3. Jedoch ist der Unterschied mit bloßem Auge nicht erkennbar bis zu dem Ausmaß, dass die letzte Stelle der Werte, die die Luminanzwerte angeben, geändert wird. Somit kann die Markierungszuweisungseinheit 8 den Bilddaten IMG3 das Wasserzeichen WM zuweisen, das mit bloßem Auge nicht erkennbar ist.
Außerdem weist die Markierungszuweisungseinheit 8 das Wasserzeichen WM einem Abschnitt eines Hauptobjekts wie etwa einer Person zu. Somit kann der Benutzer der Abbildungsvorrichtung 100 eine Quelle des Bildes beispielsweise durch Analysieren des Wasserzeichens WM sogar in einem Fall prüfen, in dem der Teil des Hauptobjekts in dem aufgenommenen Bild unerlaubt ausgeschnitten und mit einem anderen Bild kombiniert ist.
Die Markierungszuweisungseinheit 8 kann das Wasserzeichen WM auch dem gesamten Bild zuweisen. Somit kann der Benutzer der Abbildungsvorrichtung 100 eine Quelle des Bildes durch Analysieren des Wasserzeichens WM sogar in einem Fall prüfen, in dem ein Teil des aufgenommenen Bildes entgegen seiner/ihrer Absicht verarbeitet wird.
Darüber hinaus kann die Markierungszuweisungseinheit 8 beispielsweise auch ein Wasserzeichen WM erzeugen, das in einem Fall verschwindet, in dem eine Verarbeitung durchgeführt wird, bis eine ursprüngliche Form des Objekts in dem Bild für das bloße Auge nicht mehr erkennbar ist, und eine Zuweisung davon zu den Bilddaten durchführen . Somit kann die Markierungszuweisungseinheit 8 verhindern, dass die Quelle des verarbeiteten Bildes durch eine Analyse des Wasserzeichens WM spezifiziert wird, bis die ursprüngliche Form für das bloße Auge nicht mehr erkennbar ist.
[5. Verarbeitung, die von einer Informationsverarbeitungsvorrichtung ausgeführt wird]
Als nächstes wird unter Bezugnahme auf 6 und 7 eine Verarbeitung beschrieben, die von einer Informationsverarbeitungsvorrichtung ausgeführt wird, gemäß einer Ausführungsform. 6 und 7 sind Flussdiagramme, die ein Beispiel einer Verarbeitung darstellen, die von der Informationsverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung ausgeführt wird.
In einem Fall, in dem ein Bild durch die Abbildungseinheit 2 aufgenommen wird, führt die Informationsverarbeitungsvorrichtung 1 die in 6 und 7 dargestellte Verarbeitung aus. In einer spezifischen Fluss erfasst, wie in 6 dargestellt wird, wenn ein Bild durch die Abbildungseinheit 2 aufgenommen wird, die Erfassungseinheit 4 zuerst Bilddaten von der Abbildungseinheit 2 (Schritt S101).
Anschließend bestimmt die Empfangseinheit 9, ob es eine Anfrage in Bezug auf Metadaten von dem AP 101 gibt (Schritt S102). In einem Fall, in dem bestimmt wird, dass es die Anfrage bezüglich der Metadaten von dem AP 101 gibt (Schritt S102, Ja), bewirkt die Empfangseinheit 9, dass die Erzeugungseinheit 7 die von dem AP 101 angefragten Metadaten erzeugt (Schritt S103), und bewirkt, dass die Verarbeitung zu Schritt S107 übergeht.
Auch in einem Fall, in dem bestimmt wird, dass es keine Anfrage bezüglich der Metadaten von dem AP 101 gibt (Schritt S102, Nein), bestimmt die Empfangseinheit 9, ob es eine Anfrage bezüglich einer Abbildungssteuerung von dem AP 101 gibt (Schritt S104).
In einem Fall, in dem bestimmt wird, dass es die Anfrage bezüglich der Abbildungssteuerung von dem AP 101 gibt (Schritt S104, Ja), stellt die Empfangseinheit 9 die von dem AP 101 angefragte Abbildungssteuerung in der Abbildungseinheit 2 ein (Schritt S105), und bewirkt, dass die Verarbeitung zu Schritt S107 übergeht.
Auch in einem Fall, in dem bestimmt wird, dass es keine Anfrage bezüglich der Abbildungssteuerung von dem AP 101 gibt (Schritt S104, Nein), erzeugt die Empfangseinheit 9 vorbestimmte Metadaten aus den Bilddaten (Schritt S106) und bewirkt, dass die Verarbeitung zu Schritt S107 übergeht.
In Schritt S107 führt die Markierungszuweisungseinheit 8 eine Wasserzeichenzuweisungsverarbeitung durch, und bewirkt, dass die Verarbeitung zu Schritt S108 übergeht. Ein Beispiel der Wasserzeichenzuweisungsverarbeitung wird später unter Bezugnahme auf 7 beschrieben.
In einem Fall, in dem in Schritt S108 bestimmt wird, ob eine Ausgabe des AP 101 ein Bild und eine Information in dem Bild ist, und bestimmt wird, dass die Ausgabe das Bild und die Information in dem Bild ist (Schritt S108, Ja), bewirkt die Empfangseinheit 9, dass die Ausgabeeinheit 6 die Bilddaten und die Metadaten an den AP 101 ausgibt, und beendet die Verarbeitung (Schritt S109) .
Auch in einem Fall, in dem bestimmt wird, dass die Ausgabe des AP 101 kein Bild und Information in dem Bild ist (Schritt S108, Nein), bestimmt die Empfangseinheit 9, ob die Ausgabe des AP 101 ein Bestimmungsergebnis durch den AP 101 ist (Schritt S110) .
In einem Fall, in dem bestimmt wird, dass die Ausgabe des AP 101 das Bestimmungsergebnis durch den AP 101 ist (Schritt S110, Ja), bewirkt die Empfangseinheit 9, dass die Ausgabeeinheit 6 die Metadaten an den AP 101 ausgibt, und beendet die Verarbeitung (Schritt S111) .
Auch in einem Fall, in dem bestimmt wird, dass die Ausgabe des AP 101 nicht das Bestimmungsergebnis durch den AP 101 ist (Schritt S110, Nein), bewirkt die Empfangseinheit 9, dass die Ausgabeeinheit 6 die Bilddaten an den AP 101 ausgibt, und beendet die Verarbeitung (Schritt S112) .
Als nächstes wird unter Bezugnahme auf 7 ein Beispiel der Wasserzeichenzuweisungsverarbeitung, die von der Markierungszuweisungseinheit 8 in Schritt S107 durchgeführt wird, beschrieben. Wie in 7 dargestellt wird, detektiert die Markierungszuweisungseinheit 8 zuerst einen Rand eines Objekts in dem Bild (Schritt S201) .
Anschließend bestimmt die Markierungszuweisungseinheit 8 eine Unregelmäßigkeit der Farbdichte an dem Rand (Schritt S202). Dann erzeugt die Markierungszuweisungseinheit 8 ein Wasserzeichen mit regelmäßiger Farbdichte (Schritt S203) .
Dann weist die Markierungszuweisungseinheit 8 das Wasserzeichen den Bilddaten zu, indem sie Pixel mit der unregelmäßigen Farbdichte durch das Wasserzeichen ersetzt (Schritt S204), und beendet die Wasserzeichenzuweisungsverarbeitung.
[6. Anwendungsbeispiel für mobile Körper]
Die Technologie gemäß der vorliegenden Offenbarung (vorliegende Technologie) kann auf verschiedene Produkte angewendet werden. Beispielsweise kann die Technologie gemäß der vorliegenden Offenbarung als eine Vorrichtung realisiert werden, die an einem beliebigen mobilen Körper montiert ist, wie etwa einem Automobil, einem Elektrofahrzeug, einem Hybridelektrofahrzeug, einem Motorrad, einem Fahrrad, einer persönlichen mobilen Vorrichtung, einem Flugzeug, einer Drohne, einem Schiff und einem Roboter.
8 ist ein Blockdiagramm, das ein schematisches Konfigurationsbeispiel eines Fahrzeugsteuersystems darstellt, das ein Beispiel eines Steuersystems für einen mobilen Körper ist, auf das die Technologie gemäß der vorliegenden Offenbarung angewendet werden kann.
Ein Fahrzeugsteuersystem 12000 weist eine Vielzahl von elektronischen Steuereinheiten auf, die über ein Kommunikationsnetzwerk 12001 miteinander verbunden sind. Wie in 8 dargestellt wird, weist das Fahrzeugsteuersystem 12000 eine Antriebssystemsteuereinheit 12010, eine Körpersystemsteuereinheit 12020, eine Fahrzeugaußeninformations-Detektionseinheit 12030, eine FahrzeuginneninformationsDetektionseinheit 12040 und eine integrierte Steuereinheit 12050 auf. Außerdem wird als eine funktionale Konfiguration der integrierten Steuereinheit 12050, ein Mikrocomputer 12051, ein Ton-/Bildausgabeeinheit 12052 und eine fahrzeuginterne Netzwerkschnittstelle (I/F) 12053 dargestellt.
Die Antriebssystemsteuereinheit 12010 steuert den Betrieb von Vorrichtungen, die sich auf ein Antriebssystem eines Fahrzeugs beziehen, gemäß verschiedenen Programmen. Beispielsweise fungiert die Antriebssystemsteuereinheit 12010 als eine Steuervorrichtung einer Antriebskrafterzeugungsvorrichtung, die eine Antriebskraft eines Fahrzeugs erzeugen soll und die ein Verbrennungsmotor, ein Antriebsmotor oder dergleichen ist, eines Antriebskraftübertragungsmechanismus zum Übertragen der Antriebskraft auf Räder, eines Lenkmechanismus zum Einstellen eines Lenkwinkels des Fahrzeugs, einer Bremsvorrichtung zum Erzeugen einer Bremskraft des Fahrzeugs und dergleichen.
Die Körpersystemsteuereinheit 12020 steuert den Betrieb verschiedener Vorrichtungen, die an einem Fahrzeugkörper angebracht sind, gemäß verschiedenen Programmen. Beispielsweise fungiert die Körpersystemsteuereinheit 12020 als eine Steuervorrichtung eines schlüssellosen Zugangssystems, eines Smart-Key-Systems, einer Fensterhebervorrichtung oder verschiedener Lichter, wie etwa eines Scheinwerfers, eines Rücklichts, eines Bremslichts, eines Blinkers oder eines Nebelscheinwerfers. In diesem Fall können Funkwellen, die von einer tragbaren Maschine gesendet werden, die einen Schlüssel ersetzt, oder Signale verschiedener Schalter in die Körpersystemsteuereinheit 12020 eingegeben werden. Die Körpersystemsteuereinheit 12020 empfängt eine Eingabe dieser Funkwellen oder Signale und steuert eine Türverriegelungsvorrichtung, die Fensterhebervorrichtung, die Lichter des Fahrzeugs, und dergleichen.
Die Fahrzeugaußeninformations-Detektionseinheit 12030 detektiert Informationen außerhalb des Fahrzeugs, an dem das Fahrzeugsteuersystem 12000 montiert ist. Beispielsweise ist eine Abbildungseinheit 12031 mit der Fahrzeugaußeninformations-Detektionseinheit 12030 verbunden. Die Fahrzeugaußeninformations-Detektionseinheit 12030 bewirkt, dass die Abbildungseinheit 12031 ein Bild außerhalb des Fahrzeugs aufnimmt, und empfängt das erfasste Bild. Die Fahrzeugaußeninformations-Detektionseinheit 12030 kann eine Objektdetektionsverarbeitung oder eine Abstandsdetektionsverarbeitung in Bezug auf eine Person, ein Fahrzeug, ein Hindernis, ein Schild, ein Zeichen auf einer Straßenoberfläche, oder dergleichen, basierend auf dem empfangenen Bildes durchführen.
Die Abbildungseinheit 12031 ist ein optischer Sensor, der Licht empfängt und ein elektrisches Signal entsprechend einer Menge des empfangenen Lichts ausgibt. Die Abbildungseinheit 12031 kann das elektrische Signal als Bild oder als Abstandsmessinformation ausgeben. Auch kann das von der Abbildungseinheit 12031 empfangene Licht sichtbares Licht sein, oder kann unsichtbares Licht sein, wie etwa Infrarotstrahlen.
Die Fahrzeuginneninformations-Detektionseinheit 12040 detektiert Informationen innerhalb des Fahrzeugs. Beispielsweise ist eine Fahrerzustands-Detektionseinheit 12041, die einen Zustand eines Fahrers detektiert, mit der Fahrzeuginneninformations-Detektionseinheit 12040 verbunden. Die Fahrerzustands-Detektionseinheit 12041 weist beispielsweise eine Kamera auf, die den Fahrer und die Fahrzeuginneninformationen abbildet, und die Fahrzeuginneninformations-Detektionseinheit 12040 kann einen Grad der Ermüdung oder einen Grad der Konzentration des Fahrers berechnen oder kann basierend auf der von der Fahrerzustands-Detektionseinheit 12041 detektierten Informationseingabe bestimmen, ob der Fahrer eindöst.
Der Mikrocomputer 12051 kann einen Steuersollwert der Antriebskrafterzeugungsvorrichtung, des Lenkmechanismus oder der Bremsvorrichtung basierend auf den Informationen innerhalb/außerhalb des Fahrzeugs berechnen, wobei diese Informationen von der Fahrzeugaußeninformations-Detektionseinheit 12030 oder dem Fahrzeuginneninformations-Detektionseinheit 12040 erfasst werden, und kann einen Steuerbefehl an die Antriebssystemsteuereinheit 12010 ausgeben. Beispielsweise kann der Mikrocomputer 12051 eine kooperative Steuerung durchführen, um Funktionen eines fortschrittlichen Fahrerassistenzsystems (ADAS) zu realisieren, einschließlich einer Kollisionsvermeidung oder Stoßminderung des Fahrzeug, einer Folgefahrt basierend auf einem Zwischenfahrzeugabstand, einer Fahrzeuggeschwindigkeitsbeibehaltungsfahrt, einer Kollisionswarnung des Fahrzeugs, einer Spurhaltewarnung des Fahrzeugs oder dergleichen.
Auch kann der Mikrocomputer 12051 eine kooperative Steuerung für autonomes Fahren oder dergleichen durchführen, bei der das Fahren autonom ohne Betätigung durch den Fahrer durchgeführt wird, durch Steuern der Antriebskrafterzeugungsvorrichtung, des Lenkmechanismus, der Bremsvorrichtung oder dergleichen basierend auf den Informationen um das Fahrzeug herum, welche Informationen von der Fahrzeugaußeninformations-Detektionseinheit 12030 oder der Fahrzeuginneninformations-Detektionseinheit 12040 erfasst werden.
Außerdem kann der Mikrocomputer 12051 basierend auf den Informationen außerhalb des Fahrzeugs einen Steuerbefehl an die Körpersystemsteuereinheit 12020 ausgeben, welche Informationen von der Fahrzeugaußeninformations-Detektionseinheit 12030 erfasst werden. Beispielsweise kann der Mikrocomputer 12051, um eine Blendung zu verhindern, eine kooperative Steuerung durchführen, wie etwa Umschalten von Fernlicht auf Abblendlicht, durch Steuern des Scheinwerfers gemäß einer Position eines vorausfahrenden Fahrzeugs oder eines entgegenkommenden Fahrzeugs, das von der Fahrzeugaußeninformations-Detektionseinheit 12030 detektiert wird.
Die Ton-/Bildausgabeeinheit 12052 überträgt ein Ausgabesignal von mindestens einem von Ton und einem Bild an eine Ausgabevorrichtung, die fähig ist, einem Insassen des Fahrzeugs oder an die Außenseite des Fahrzeugs Informationen visuell oder akustisch mitzuteilen. Im Beispiel von 8 sind ein Lautsprecher 12061, eine Anzeigeeinheit 12062 und eine Instrumententafel 12063 als Beispiele der Ausgabevorrichtung dargestellt. Die Anzeigeeinheit 12062 kann beispielsweise mindestens eines von einer On-Board-Anzeige und einer Head-up-Anzeige aufweisen.
9 ist eine Ansicht, die ein Beispiel einer Installationsposition der Abbildungseinheit 12031 darstellt.
In 9 weist das Fahrzeug 12100 Abbildungseinheiten 12101, 12102, 12103, 12104 und 12105 als die Abbildungseinheit 12031 auf.
Die Abbildungseinheiten 12101, 12102, 12103, 12104 und 12105 sind beispielsweise jeweils an Positionen wie etwa einer Frontnase, einem Seitenspiegel, einer hinteren Stoßstange, einer hinteren Tür und einem oberen Abschnitt einer Windschutzscheibe im Fahrzeuginneren des Fahrzeugs 12100 vorgesehen. Die an der Frontnase vorgesehene Abbildungseinheit 12101 und die an dem oberen Abschnitt der Windschutzscheibe im Fahrzeuginneren vorgesehene Abbildungseinheit 12105 erfassen hauptsächlich Bilder vor dem Fahrzeug 12100. Die an dem Seitenspiegeln vorgesehenen Abbildungseinheiten 12102 und 12103 erfassen hauptsächlich Bilder der Seiten des Fahrzeugs 12100. Die an der hinteren Stoßstange oder der hinteren Tür vorgesehene Abbildungseinheit 12104 erfasst hauptsächlich ein Bild hinter dem Fahrzeug 12100. Die von den Abbildungseinheiten 12101 und 12105 erfassten Frontbilder werden hauptsächlich verwendet, um ein vorausfahrendes Fahrzeug, einen Fußgänger, ein Hindernis, eine Ampel, ein Verkehrszeichen, eine Fahrspur oder dergleichen zu detektieren.
Man beachte, dass in 7 ein Beispiel von Aufnahmebereichen der Abbildungseinheiten 12101 bis 12104 dargestellt ist. Ein Abbildungsbereich 12111 gibt einen Abbildungsbereich der an der Frontnase vorgesehenen Abbildungseinheit 12101 an, Abbildungsbereiche 12112 und 12113 geben Abbildungsbereiche der Abbildungseinheiten 12102 und 12103 an, die jeweils an den Seitenspiegeln vorgesehen sind, und ein Abbildungsbereich 12114 gibt einen Abbildungsbereich der an der hinteren Stoßstange oder der hinteren Tür vorgesehenen Abbildungseinheit 12104 an. Beispielsweise wird durch Überlagerung von Bilddaten, die von den Abbildungseinheiten 12101 bis 12104 aufgenommen werden, ein Überkopfbild des von oben betrachteten Fahrzeugs 12100 erfasst.
Mindestens eine der Abbildungseinheiten 12101 bis 12104 kann eine Funktion zum Erfassen von Abstandsinformationen aufweisen. Beispielsweise kann mindestens eine der Abbildungseinheiten 12101 bis 12104 eine Stereokamera sein, die eine Vielzahl von Abbildungselementen aufweist, oder kann ein Abbildungselement mit Pixeln zur Phasendifferenzdetektion sein.
Beispielsweise kann der Mikrocomputer 12051 durch Erfassen eines Abstands zu jedem dreidimensionalen Objekt in den Abbildungsbereichen 12111 bis 12114 und einer zeitlichen Änderung dieses Abstands (relative Geschwindigkeit in Bezug auf das Fahrzeug 12100) basierend auf der von den Abbildungseinheiten 12101 erfassten Abstandsinformationen bis 12104 ein vorausfahrendes Fahrzeug als ein dreidimensionales Objekt extrahieren, das sich mit einer vorbestimmten Geschwindigkeit (wie etwa 0 km/h oder mehr) in im Wesentlichen der gleichen Richtung wie das Fahrzeug 12100 bewegt und das insbesondere das nächstgelegene dreidimensionale Objekt auf einem Fahrweg des Fahrzeugs 12100 ist. Ferner kann der Mikrocomputer 12051 einen Abstand zwischen Fahrzeugen einstellen, der vor dem vorausfahrenden Fahrzeug vorher gesichert werden soll, und kann eine automatische Bremssteuerung (einschließlich Folgestoppsteuerung), automatische Beschleunigungssteuerung (einschließlich Folgestartsteuerung) und dergleichen durchführen. Wie oben beschrieben, ist es möglich, eine kooperative Steuerung für autonomes Fahren oder dergleichen durchzuführen, bei der das Fahren autonom durchgeführt wird, ohne dabei von einer Bedienung durch den Fahrer abhängig zu sein.
Beispielsweise kann der Mikrocomputer 12051 basierend auf den von den Abbildungseinheiten 12101 bis 12104 erfassten Abstandsinformationen dreidimensionale Objektdaten in Bezug auf dreidimensionale Objekte in ein zweirädriges Fahrzeug, ein Fahrzeug mit Standardgröße, ein großes Fahrzeug, einen Fußgänger und andere dreidimensionale Objekte, wie beispielsweise einen Strommast, klassifizieren, eine Extraktion davon durchführen, und sie zum automatischen Vermeiden von Hindernissen verwenden. Beispielsweise unterscheidet der Mikrocomputer 12051 Hindernisse um das Fahrzeug 12100 herum in Hindernisse, die von dem Fahrer des Fahrzeugs 12100 visuell erkannt werden können, und Hindernisse, die visuell kaum erkannt werden. Dann bestimmt der Mikrocomputer 12051 ein Kollisionsrisiko, das für jedes Hindernis ein Kollisionsrisiko angibt. Wenn das Kollisionsrisiko gleich oder höher als ein eingestellter Wert ist und die Möglichkeit einer Kollision besteht, ist es möglich, eine Fahrerunterstützung zur Kollisionsvermeidung durchzuführen, indem über den Lautsprecher 12061 oder die Anzeigeeinheit 12062 ein Alarm an den Fahrer ausgegeben wird oder eine Zwangsverzögerung oder Ausweichlenkung über die Antriebssystemsteuereinheit 12010 durchgeführt wird.
Mindestens eine der Abbildungseinheiten 12101 bis 12104 kann eine Infrarotkamera sein, die Infrarotstrahlen detektiert. Beispielsweise kann der Mikrocomputer 12051 einen Fußgänger erkennen, indem er bestimmt, ob der Fußgänger in den aufgenommenen Bildern der Abbildungseinheiten 12101 bis 12104 vorkommt. Eine solche Fußgängererkennung wird beispielsweise durch eine Prozedur zum Extrahieren von Merkmalspunkten in den Bildern, die durch die Abbildungseinheiten 12101 bis 12104 als die Infrarotkameras aufgenommen wurden, und eine Prozedur zum Durchführen einer Mustervergleichsverarbeitung an einer Reihe von Merkmalspunkten, die einen Umriss eines Objekts angeben, und zum Bestimmen, ob das Objekt ein Fußgänger ist, durchgeführt. Wenn der Mikrocomputer 12051 bestimmt, dass ein Fußgänger in den aufgenommenen Bildern der Abbildungseinheiten 12101 bis 12104 vorkommt, und den Fußgänger erkennt, steuert die Ton-/Bildausgabeeinheit 12052 die Anzeigeeinheit 12062, um einen quadratischen Umriss zur Hervorhebung des erkannten Fußgängers zu überlagern und anzuzeigen. Außerdem kann die Ton-/Bildausgabeeinheit 12052 die Anzeigeeinheit 12062 steuern, um ein Symbol oder dergleichen anzuzeigen, das den Fußgänger an einer gewünschten Position angibt.
Ein Beispiel des Fahrzeugsteuersystems, auf das die Technologie gemäß der vorliegenden Offenbarung angewendet werden kann, wurde oben beschrieben. Die Technologie gemäß der vorliegenden Offenbarung kann unter den oben beschriebenen Konfigurationen beispielsweise auf die Abbildungseinheit 12031 und dergleichen angewendet werden. Beispielsweise kann die Abbildungsvorrichtung 100 in 1 auf die Abbildungseinheit 12031 angewendet werden. Durch Anwenden der Technologie gemäß der vorliegenden Offenbarung auf die Abbildungseinheit 12031 ist es möglich, eine Verarbeitungslast, die für die Detektionsverarbeitung von Fahrzeugaußeninformationen durch die Fahrzeugaußeninformationen-Detektionseinheit 12030 erforderlich ist, zu reduzieren.
[7. Effekt]
Die Informationsverarbeitungsvorrichtung 1 weist die Erfassungseinheit 4, die Erzeugungseinheit 7 und die Ausgabeeinheit 6 auf. Von der Abbildungseinheit 2, die ein Bild aufnimmt und Bilddaten erzeugt, erfasst die Erfassungseinheit 4 die Bilddaten. Die Erzeugungseinheit 7 erzeugt aus den durch die Erfassungseinheit 4 erfassten Bilddaten Metadaten Meta, um den AP 101 zu unterstützen, der eine Verarbeitung in Bezug auf das Bild ausführt. Die Ausgabeeinheit 6 gibt die von der Erzeugungseinheit 7 erzeugten Metadaten Meta an den AP 101 aus. Somit kann die Informationsverarbeitungsvorrichtung 1 eine Informationsverarbeitungsmenge des AP 101, der ein Objekt aus dem Eingabebild erkennt, reduzieren.
Außerdem extrahiert die Erzeugungseinheit 7 unter Verwendung eines Maschinenlernmodells Merkmalsdaten, die ein Merkmal des Bildes angeben, aus den Bilddaten und erzeugt Metadaten Meta aus den Merkmalsdaten. Somit kann die Erzeugungseinheit 7 genaue Metadaten Metal erzeugen, die den AP 101 unterstützen.
Außerdem erzeugt die Erzeugungseinheit 7 die Metadaten Metal, die eine Position des Objekts in dem Bild angeben. Somit kann in einem Fall des Durchführens einer Erkennungsverarbeitung des Objekts der AP 101 das Objekt erkennen, während eine Verarbeitungslast reduziert wird, indem unter Verwendung der Metadaten Metal die Erkennungsverarbeitung selektiv an einem Bereich durchgeführt wird, wo das Objekt in dem Bild vorkommt.
Außerdem erzeugt die Erzeugungseinheit 7 Metadaten Meta2, die ein Attribut des Objekts in dem Bild angeben. Somit kann beispielsweise in einem Fall, in dem der AP 101 die Erkennungsverarbeitung des Objekts durchführt, die Verarbeitungslast reduziert werden, da die Verarbeitung zum Bestimmen des Attributs des Objekts durch Verwendung der Metadaten Meta2 weggelassen werden kann.
Außerdem erzeugt die Erzeugungseinheit 7 die Metadaten Meta2, die einen Abstand zu dem Objekt in dem Bild angeben. Somit ist es beispielsweise in einem Fall, in dem der AP 101 an einem Fahrzeug montiert ist und eine Informationsverarbeitung zum Detektieren eines Hindernisses durchführt, möglich, die Verarbeitungslast zu reduzieren, indem ein entferntes Objekt von Detektionsobjekten ausgeschlossen wird, indem die Metadaten Meta2 verwendet werden.
Außerdem weist die Informationsverarbeitungsvorrichtung 1 ferner die Empfangseinheit 9 auf, die eine Anfrage von dem AP 101 empfängt. Die Erzeugungseinheit 7 erzeugt Metadaten Meta entsprechend der von der Empfangseinheit 9 empfangenen Anfrage. Somit kann die Informationsverarbeitungsvorrichtung 1 bei der durch den AP 101 durchgeführten Informationsverarbeitung mehr nützliche Metadaten Meta an den AP 101 ausgeben.
Außerdem gibt die Empfangseinheit 9 ein Steuersignal, das einer Anfrage bezüglich der Abbildungssteuerung entspricht und von dem AP 101 empfangen wird, an die Abbildungseinheit 2 aus, die ein Bild aufnimmt und Bilddaten erzeugt. Somit kann die Informationsverarbeitungsvorrichtung 1 in der durch den AP 101 durchgeführten Informationsverarbeitung beispielsweise Bilddaten IMG der minimal erforderlichen Informationsmenge an den AP 101 ausgeben.
Außerdem umfasst die Informationsverarbeitungsvorrichtung 1 ferner die Markierungszuweisungseinheit 8, die Wasserzeichen WM1 und WM2 erzeugt und deren Zuweisung zu den Bilddaten durchführt, wobei die Wasserzeichen WM1 und WM2 eine Quelle des Bildes angeben und mit bloßem Auge nicht erkennbar sind. Somit kann die Informationsverarbeitungsvorrichtung 1 die Wasserzeichen WM den Bilddaten IMG3 zuweisen, ohne das Erscheinungsbild des Bildes zu beeinträchtigen.
Außerdem detektiert die Markierungszuweisungseinheit 8 einen Rand des Objekts in dem Bild und weist die Wasserzeichen WM den Bilddaten zu, indem sie eine Vielzahl von Pixeln, die in dem Rand enthalten sind und eine unregelmäßige Farbdichte aufweisen, durch eine Vielzahl von Pixeln ersetzen, in denen die Farbdichte eine regelmäßige Beziehung hat, die mit bloßem Auge nicht zu unterscheiden ist. Somit können im Ergebnis die Wasserzeichen WM, die mit bloßem Auge nicht erkennbar sind, den Bilddaten IMG3 zugewiesen werden.
Außerdem weist die Markierungszuweisungseinheit 8 die Wasserzeichen WM dem gesamten Bild zu. Somit kann der Benutzer der Abbildungsvorrichtung 100 eine Quelle des Bildes durch Analysieren der Wasserzeichen WM sogar in einem Fall prüfen, in dem ein Teil des aufgenommenen Bildes entgegen seiner/ihrer Absicht verarbeitet wird.
Außerdem weist die Markierungszuweisungseinheit 8 die Wasserzeichen WM einem Abschnitt eines Hauptobjekts in dem Bild zu. Somit kann der Benutzer der Abbildungsvorrichtung 100 eine Quelle des Bildes beispielsweise durch Analysieren der Wasserzeichen WM prüfen, sogar in einem Fall, in dem der Teil des Hauptobjekts in dem aufgenommenen Bild unerlaubt ausgeschnitten und mit einem anderen Bild kombiniert wird.
Außerdem erzeugt die Markierungszuweisungseinheit 8 ein Wasserzeichen WM, das in einem Fall verschwindet, in dem eine Verarbeitung durchgeführt wird, bis eine ursprüngliche Form des Objekts in dem Bild für das bloße Auge nicht mehr erkennbar ist. Somit kann die Informationsverarbeitungsvorrichtung 1 verhindern, dass die Quelle des verarbeiteten Bildes durch eine Analyse des Wasserzeichens spezifiziert wird, bis die ursprüngliche Form für das bloße Auge unkenntlich wird.
Außerdem weist ein Informationsverarbeitungsverfahren ein Erfassen von Bilddaten von der Abbildungseinheit 2, die ein Bild aufnimmt und die Bilddaten erzeugt, ein Erzeugen von Metadaten Meta aus den Bilddaten, um einen Anwendungsprozessor zu unterstützen, der eine Verarbeitung in Bezug auf das Bild ausführt, und ein Ausgeben der Metadaten Meta an den AP 101 auf, wobei das Erfassen, Erzeugen und Ausgeben von einem Computer durchgeführt werden. Somit ist es gemäß dem Informationsverarbeitungsverfahren der vorliegenden Offenbarung möglich, eine Informationsverarbeitungsmenge des AP 101, der ein Objekt aus dem Eingabebild erkennt, zu reduzieren.
Außerdem bewirkt ein Informationsverarbeitungsprogramm, dass der Computer als die Erfassungseinheit 4, die Erzeugungseinheit 7 und die Ausgabeeinheit 6 fungiert. Die Erfassungseinheit 4 erfasst die Bilddaten von der Abbildungseinheit 2, die ein Bild aufnimmt und Bilddaten erzeugt. Die Erzeugungseinheit 7 erzeugt aus den durch die Erfassungseinheit 4 erfassten Bilddaten Metadaten Meta, um den AP 101 zu unterstützen, der eine Verarbeitung in Bezug auf das Bild ausführt. Die Ausgabeeinheit 6 gibt die von der Erzeugungseinheit 7 erzeugten Metadaten Meta an den AP 101 aus. Somit ist es gemäß dem Informationsverarbeitungsprogramm der vorliegenden Offenbarung möglich, eine Informationsverarbeitungsmenge des AP 101, der ein Objekt aus dem Eingangsbild erkennt, zu reduzieren.
Man beachte, dass die in der vorliegenden Beschreibung beschriebenen Effekte lediglich Beispiele und keine Einschränkungen sind, und dass es anderer Effekte geben kann.
Man beachte, dass die vorliegende Technologie auch die folgenden Konfigurationen aufweisen kann.

(1) Eine Informationsverarbeitungsgerät, die aufweist:
- eine Erfassungseinheit, die Bilddaten von einer Abbildungseinheit erfasst, die ein Bild aufnimmt und die Bilddaten erzeugt;
- eine Erzeugungseinheit, die aus den von der Erfassungseinheit erfassten Bilddaten Metadaten erzeugt, um einen Anwendungsprozessor zu unterstützen, der eine Verarbeitung in Bezug auf das Bild ausführt; und
- eine Ausgabeeinheit, die die von der Erzeugungseinheit erzeugten Metadaten an den Anwendungsprozessor ausgibt.
(2) Die Informationsverarbeitungsvorrichtung nach (1), wobei die Erzeugungseinheit Merkmalsdaten, die ein Merkmal des Bildes angeben, unter Verwendung eines maschinellen Lernmodells aus den Bilddaten extrahiert und die Metadaten aus den Merkmalsdaten erzeugt.
(3) Die Informationsverarbeitungsvorrichtung nach (1) oder (2), wobei die Erzeugungseinheit die Metadaten erzeugt, die eine Position eines Objekts in dem Bild angeben.
(4) Die Informationsverarbeitungsvorrichtung nach einem von (1) bis (3), wobei die Erzeugungseinheit die Metadaten erzeugt, die ein Attribut eines Objektes in dem Bild angeben.
(5) Die Informationsverarbeitungsvorrichtung nach einem von (1) bis (4), wobei die Erzeugungseinheit die Metadaten erzeugt, die einen Abstand zu einem Objekt in dem Bild angeben.
(6) Die Informationsverarbeitungsvorrichtung nach einem von (1) bis (5), ferner aufweisend eine Empfangseinheit, die eine Anfrage von dem Anwendungsprozessor empfängt, wobei die Erzeugungseinheit die Metadaten entsprechend der von der Empfangseinheit empfangenen Anfrage erzeugt.
(7) Die Informationsverarbeitungsvorrichtung nach (6), wobei die Empfangseinheit ein der Anfrage entsprechendes Steuersignal, das sich auf die Abbildungssteuerung bezieht und von dem Anwendungsprozessor empfangen wird, an die Abbildungseinheit ausgibt, die das Bild aufnimmt und die Bilddaten erzeugt.
(8) Die Informationsverarbeitungsvorrichtung nach einem von (1) bis (7), ferner aufweisend eine Markierungszuweisungseinheit, die ein Wasserzeichen erzeugt, das eine Quelle des Bildes angibt und mit bloßem Auge nicht erkennbar ist, und dessen Zuweisung zu den Bilddaten durchführt.
(9) Die Informationsverarbeitungsvorrichtung nach (8), wobei die Markenzuweisungseinheit einen Rand eines Objekts in dem Bild detektiert und das Wasserzeichen den Bilddaten zuweist, indem eine Vielzahl von Pixeln, die in dem Rand enthalten sind und eine unregelmäßige Farbdichte haben, durch eine Vielzahl von Pixeln ersetzt wird, in denen die Farbdichte eine regelmäßige Beziehung aufweist, die mit bloßem Auge nicht zu unterscheiden ist.
(10) Die Informationsverarbeitungsvorrichtung nach (8) oder (9), wobei die Markenzuweisungseinheit das Wasserzeichen dem gesamten Bild zuweist.
(11) Die Informationsverarbeitungsvorrichtung nach einem von (8) bis (10), wobei die Markenzuweisungseinheit das Wasserzeichen einem Abschnitt eines Hauptobjekts in dem Bild zuweist.
(12) Die Informationsverarbeitungsvorrichtung nach einem von (8) bis (11), wobei die Markenzuweisungseinheit das Wasserzeichen erzeugt, das in einem Fall, in dem eine Verarbeitung durchgeführt wird, verschwindet, bis eine ursprüngliche Form des Objekts in dem Bild für das bloße Auge nicht mehr erkennbar ist.
(13) Ein Informationsverarbeitungsverfahren, aufweisend:
- Erfassen von Bilddaten von einer Abbildungseinheit, die ein Bild aufnimmt und die Bilddaten erzeugt;
- Erzeugen von Metadaten aus den Bilddaten, um einen Anwendungsprozessor zu unterstützen, der eine Verarbeitung in Bezug auf das Bild ausführt; und
- Ausgeben der Metadaten an den Anwendungsprozessor,
- wobei das Erfassen, Erzeugen und Ausgeben von einem Computer durchgeführt wird.
(14) Ein Informationsverarbeitungsprogramm zum Bewirken, dass ein Computer funktioniert als eine Erfassungseinheit, die Bilddaten von einer Abbildungseinheit erfasst, die ein Bild aufnimmt und die Bilddaten erzeugt, eine Erzeugungseinheit, die aus den von der Erfassungseinheit erfassten Bilddaten Metadaten erzeugt, um einen Anwendungsprozessor zu unterstützen, der eine Verarbeitung in Bezug auf das Bild ausführt, und eine Ausgabeeinheit, die die von der Erzeugungseinheit erzeugten Metadaten an den Anwendungsprozessor ausgibt.

Bezugszeichenliste

1: INFORMATIONSVERARBEITUNGSVORRICHTUNG
2: ABBILDUNGSEINHEIT
3: SPEICHER
4: ERFASSUNGSEINHEIT
5: BILDVERARBEITUNGSEINHEIT
6: AUSGABEEINHEIT
7: ERZEUGUNGSEINHEIT
8: MARKIERUNGSEINHEIT
9: EMPFANGSEINHEIT
100: ABBILDUNGSVORRICHTUNG
101: AP

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2018190332 [0003]

Claims

Informationsverarbeitungsvorrichtung, umfassend: eine Erfassungseinheit, die Bilddaten von einer Abbildungseinheit erfasst, die ein Bild aufnimmt und die Bilddaten erzeugt; eine Erzeugungseinheit, die aus den von der Erfassungseinheit erfassten Bilddaten Metadaten erzeugt, um einen Anwendungsprozessor zu unterstützen, der eine Verarbeitung in Bezug auf das Bild ausführt; und eine Ausgabeeinheit, die die von der Erzeugungseinheit erzeugten Metadaten an den Anwendungsprozessor ausgibt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Erzeugungseinheit Merkmalsdaten, die ein Merkmal des Bildes angeben, aus den Bilddaten extrahiert, unter Verwendung eines maschinellen Lernmodells, und die Metadaten aus den Merkmalsdaten erzeugt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Erzeugungseinheit die Metadaten erzeugt, die eine Position eines Objekts in dem Bild angeben.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Erzeugungseinheit die Metadaten erzeugt, die ein Attribut eines Objektes in dem Bild angeben.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Erzeugungseinheit die Metadaten erzeugt, die einen Abstand zu einem Objekt im Bild angeben.
Informationsverarbeitungsvorrichtung nach Anspruch 1, ferner umfassend eine Empfangseinheit, die eine Anfrage von dem Anwendungsprozessor empfängt, wobei die Erzeugungseinheit die Metadaten entsprechend der von der Empfangseinheit empfangenen Anfrage erzeugt.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei die Empfangseinheit ein der Anfrage entsprechendes Steuersignal, das sich auf die Abbildungssteuerung bezieht und von dem Anwendungsprozessor empfangen wird, an die Abbildungseinheit ausgibt, die das Bild aufnimmt und die Bilddaten erzeugt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, ferner umfassend eine Markierungszuweisungseinheit, die ein Wasserzeichen erzeugt, das eine Quelle des Bildes angibt und mit bloßem Auge nicht erkennbar ist, und dessen Zuweisung zu den Bilddaten durchführt.
Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die Markenzuweisungseinheit einen Rand eines Objekts in dem Bild detektiert, und das Wasserzeichen den Bilddaten zuweist, indem eine Vielzahl von Pixeln, die in dem Rand enthalten sind und eine unregelmäßige Farbdichte haben, durch eine Vielzahl von Pixeln ersetzt wird, in denen die Farbdichte eine regelmäßige Beziehung aufweist, die mit bloßem Auge nicht zu unterscheiden ist.
Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die Markenzuweisungseinheit dem gesamten Bild das Wasserzeichen zuweist.
Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die Markenzuweisungseinheit das Wasserzeichen einem Abschnitt eines Hauptobjekts in dem Bild zuweist.
Informationsverarbeitungsvorrichtung nach Anspruch 8, wobei die Markenzuweisungseinheit das Wasserzeichen erzeugt, das in einem Fall verschwindet, in dem eine Verarbeitung durchgeführt wird, bis eine ursprüngliche Form des Objekts in dem Bild für das bloße Auge nicht mehr erkennbar ist.
Informationsverarbeitungsverfahren, umfassend: Erfassen von Bilddaten von einer Abbildungseinheit, die ein Bild aufnimmt und die Bilddaten erzeugt; Erzeugen von Metadaten aus den Bilddaten, um einen Anwendungsprozessor zu unterstützen, der eine Verarbeitung in Bezug auf das Bild ausführt; und Ausgeben der Metadaten an den Anwendungsprozessor, wobei das Erfassen, Erzeugen und Ausgeben von einem Computer durchgeführt wird.
Informationsverarbeitungsprogramm zum Bewirken, dass ein Computer funktioniert als eine Erfassungseinheit, die Bilddaten von einer Abbildungseinheit erfasst, die ein Bild aufnimmt und die Bilddaten erzeugt, eine Erzeugungseinheit, die aus den von der Erfassungseinheit erfassten Bilddaten Metadaten erzeugt, um einen Anwendungsprozessor zu unterstützen, der eine Verarbeitung in Bezug auf das Bild ausführt, und eine Ausgabeeinheit, die die von der Erzeugungseinheit erzeugten Metadaten an den Anwendungsprozessor ausgibt.