DE112020003638T5

DE112020003638T5 - Sender, empfänger und kommunikationssystem

Info

Publication number: DE112020003638T5
Application number: DE112020003638.3T
Authority: DE
Inventors: Naoki YOSHIMOCHI
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2019-07-30
Filing date: 2020-07-21
Publication date: 2022-04-21
Also published as: WO2021020224A1; JPWO2021020224A1; US20220272208A1; TW202110184A; CN114128300A

Abstract

Ein Sender gemäß einer Ausführungsform der vorliegenden Offenbarung umfasst einen Ausschneideteil, einen Ableitungsteil, eine erste Verarbeitungseinheit und eine zweite Verarbeitungseinheit. Der Ausschneideteil schneidet aus durch Bildgebung erhaltenen Bilddaten ein oder mehrere Stücke von in den Bilddaten enthaltenen ROI-Bilddaten aus. Der Ableitungsteil leitet ROI-Positionsinformationen in den Bilddaten ab. Die Verarbeitungseinheit erzeugt erste Übertragungsdaten, die einem ersten Übertragungsverfahren entsprechen, auf der Basis des einen oder der mehreren Stücke von ROI-Bilddaten und eines oder mehrerer Stücke der ROI-Positionsinformationen in den Bilddaten. Die Verarbeitungseinheit erzeugt zweite Übertragungsdaten, die einem zweiten Übertragungsverfahren entsprechen, auf der Basis des einen oder der mehreren Stücke von ROI-Bilddaten und eines oder mehrerer Stücke der ROI-Positionsinformationen in den Bilddaten.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft einen Sender, einen Empfänger und ein Kommunikationssystem.
Stand der Technik
In den letzten Jahren haben Anwendungen zum Übertragen von großen Mengen an Daten mit einem großen Datenvolumen zugenommen. Übertragungssysteme werden wahrscheinlich stark belastet, und im ungünstigsten Fall besteht die Möglichkeit, dass die Übertragungssysteme betriebsunfähig werden und Datenübertragung nicht durchgeführt werden kann.
Um zu verhindern, dass Übertragungssysteme betriebsunfähig werden, wurde zum Beispiel, statt die Gesamtheit eines fotografierten Bildes zu übertragen, nur ein Teilbild übertragen, das durch Spezifizieren eines zu fotografierenden Objekts und Ausschneiden des spezifizierten Objekts erhalten wird. Es sei angemerkt, dass zum Beispiel die folgende Patentliteratur das Ausschneiden eines Teilbildes aus einem fotografierten Bild beschreibt.
Zitatliste
Patentliteratur

PTL 1: Japanische ungeprüfte Patentanmeldung, Publikationsnummer 2016-201756
PTL 2: Japanische ungeprüfte Patentanmeldung, Publikationsnummer 2014-39219 PTL 3: Japanische ungeprüfte Patentanmeldung, Publikationsnummer 2013-164834
PTL 4: Japanische ungeprüfte Patentanmeldung, Publikationsnummer 2012-209831

Kurzfassung der Erfindung
Im Übrigen kann in einigen Fällen als zur Übertragung von einem Bildsensor zu einem Anwendungsprozessor verwendetes Verfahren MIPI (Mobile Industry Processor Interface) CSI (Camera Serial Interface)-2, MIPI CSI-3, oder dergleichen verwendet werden. Als zur Übertragung von einem Anwendungsprozessor zu einer Anzeige verwendetes Verfahren kann in einigen Fällen außerdem SLVS-EC (Scalable Low Voltage Signaling Embedded Clock) oder dergleichen verwendet werden. Es ist wünschenswert, einen Sender, einen Empfänger und ein Kommunikationssystem bereitzustellen, die an mehrere Übertragungsverfahren anpassbar sind.
Ein Sender gemäß einer Ausführungsform der vorliegenden Offenbarung umfasst einen Ausschneideteil, einen Ableitungsteil, eine erste Verarbeitungseinheit und eine zweite Verarbeitungseinheit. Der Ausschneideteil schneidet aus durch Bildgebung erhaltenen Bilddaten ein oder mehrere Stücke von in den Bilddaten enthaltenen ROI-Bilddaten aus. Der Ableitungsteil leitet ROI-Positionsinformationen in den Bilddaten ab. Die erste Verarbeitungseinheit erzeugt erste Übertragungsdaten, die einem ersten Übertragungsverfahren entsprechen, auf der Basis des einen oder der mehreren Stücke von ROI-Bilddaten und eines oder mehrerer Stücke der ROI-Positionsinformationen in den Bilddaten. Die zweite Verarbeitungseinheit erzeugt zweite Übertragungsdaten, die einem zweiten Übertragungsverfahren entsprechen, auf der Basis des einen oder der mehreren Stücke von ROI-Bilddaten und des einen oder der mehreren Stücke der ROI-Positionsinformationen in den Bilddaten.
In dem Sender gemäß einer Ausführungsform der vorliegenden Offenbarung teilen sich das erste Übertragungsverfahren und das zweite Übertragungsverfahren einen Verarbeitungsblock, der aus durch Bildgebung erhaltenen Bilddaten das eine oder die mehreren Stücke von in den Bilddaten enthaltenen ROI-Bilddaten ausschneidet und die ROI-Positionsinformationen in den Bilddaten ableitet.
Ein Empfänger gemäß einer Ausführungsform der vorliegenden Offenbarung umfasst eine erste Verarbeitungseinheit, eine zweite Verarbeitungseinheit und einen Erzeugungsteil. Die erste Verarbeitungseinheit extrahiert aus ersten Übertragungsdaten, die einem ersten Übertragungsverfahren entsprechen, eines oder mehrere Stücke von Bilddaten und eines oder mehrere Stücke von Positionsinformationen. Die zweite Verarbeitungseinheit extrahiert aus zweiten Übertragungsdaten, die einem zweiten Übertragungsverfahren entsprechen, eines oder mehrere Stücke von Bilddaten und eines oder mehrere Stücke von Positionsinformationen. Der Erzeugungsteil erzeugt auf einer Basis des einen oder der mehreren Stücke von Bilddaten und des einen oder der mehreren Stücke von Positionsinformationen, die durch die erste Verarbeitungseinheit oder die zweite Verarbeitungseinheit extrahiert werden, ein oder mehrere Stücke von in durch Bildgebung erhaltenen erfassten Bilddaten enthaltenen ROI-Bilddaten.
In dem Empfänger gemäß einer Ausführungsform der vorliegenden Offenbarung teilen sich das erste Übertragungsverfahren und das zweite Übertragungsverfahren einen Verarbeitungsblock, der Verarbeitung des Erzeugens des einen oder der mehreren Stücke von ROI-Bilddaten ausführt.
Ein Kommunikationssystem gemäß einer Ausführungsform der vorliegenden Offenbarung umfasst einen Sender und einen Empfänger. Der Sender hat eine Auslegung, die der des oben beschriebenen Senders gemeinsam ist. Der Empfänger hat eine Auslegung, die der des oben beschriebenen Empfängers gemeinsam ist.
In dem Kommunikationssystem gemäß einer Ausführungsform der vorliegenden Offenbarung teilen sich das erste Übertragungsverfahren und das zweite Übertragungsverfahren einen Verarbeitungsblock, der aus durch Bildgebung erhaltenen Bilddaten das eine oder die mehreren Stücke von in den Bilddaten enthaltenen ROI-Bilddaten ausschneidet und die ROI-Positionsinformationen in den Bilddaten ableitet. Ferner teilen sich das erste Übertragungsverfahren und das zweite Übertragungsverfahren einen Verarbeitungsblock, der Verarbeitung des Erzeugens des einen oder der mehreren Stücke von ROI-Bilddaten ausführt.
Figurenliste

1 zeigt ein schematisches Auslegungsbeispiel für ein Kommunikationssystem.
2 zeigt ein schematisches Auslegungsbeispiel für einen Bildsensor.
3 zeigt ein schematisches Auslegungsbeispiel für einen Prozessor.
4 zeigt ein Auslegungsbeispiel für bei MIPI benutzte Pakete.
5 zeigt ein Auslegungsbeispiel für bei MIPI benutzte Übertragungsdaten.
6 zeigt ein Auslegungsbeispiel für bei MIPI benutzte Übertragungsdaten.
7 zeigt ein Auslegungsbeispiel für ein bei SLVS-EC benutztes Paket.
8 zeigt ein Auslegungsbeispiel für bei SLVS-EC benutzte Übertragungsdaten.
9 zeigt ein Formatbeispiel für die bei SLVS-EC benutzten Übertragungsdaten.

Arten der Ausführung der Erfindung
Im Folgenden werden Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen ausführlich beschrieben. Die folgende Beschreibung beschreibt spezifische Beispiele für die vorliegende Offenbarung, und die vorliegende Offenbarung ist nicht auf die folgenden Aspekte beschränkt.
<1. Ausführungsform>
[Auslegung]
In den letzten Jahren hat in tragbaren Vorrichtungen wie Smartphones, Kameravorrichtungen und dergleichen die Kapazität von handzuhabenden Bilddaten zugenommen, und höhere Geschwindigkeit und niedrigerer Stromverbrauch wurden bei der Datenübertragung in einer Vorrichtung oder zwischen unterschiedlichen Vorrichtungen verlangt. Um solchen Ansprüchen zu genügen, wurde Standardisierung von Hochgeschwindigkeits-Schnittstellenspezifikationen wie der C-PHY-Spezifikation und D-PHY-Spezifikation, die durch die MIPI-Allianz definiert wird, als Kopplungsschnittstellen für tragbare Vorrichtungen und Kameravorrichtungen vorgeschlagen. Die C-PHY-Spezifikation und die D-PHY-Spezifikation sind Schnittstellenspezifikationen der Bitübertragungsschicht (Bitübertragungsschicht: PHY) für Kommunikationsprotokolle. Zusätzlich gibt es CSI für Kameravorrichtungen als eine obere Protokollschicht der C-PHY-Spezifikation und der D-PHY-Spezifikation. Außerdem gibt es als die CSI für Kameravorrichtungen SLVS-EC als einzigartige Spezifikation.
Ein Kommunikationssystem 1000 gemäß einer Ausführungsform der vorliegenden Offenbarung ist ein System, das Signale gemäß MIPI-CSI-2-Spezifikation oder MIPI-CSI-3-Spezifikation und SLVS-EC-Spezifikation sendet und empfängt. Das Kommunikationssystem 1000 ist zum Beispiel auf verschiedene elektronische Vorrichtungen anwendbar, wie etwa eine Kommunikationsvorrichtung wie etwa ein Smartphone, eine Drohne (eine durch Fernsteuerung betreibbare oder autonom betreibbare Vorrichtung), ein mobiler Körper, wie etwa ein Automobil, ein Computer wie etwa ein PC (Personal Computer), eine Vorrichtung des Tablet-Typs und eine Spielmaschine.
1 zeigt ein schematisches Auslegungsbeispiel für ein Kommunikationssystem 1000 gemäß der vorliegenden Ausführungsform. Das Kommunikationssystem 1000 wird auf die Übertragung von Datensignalen, Taktsignalen und Steuersignalen angewandt und umfasst einen Bildsensor 100 (Sender) und einen Prozessor 200 (Empfänger).
Der Bildsensor 100 und der Prozessor 200 sind durch einen Datenbus B1 elektrisch miteinander gekoppelt. Der Datenbus B1 ist ein einzelner Signalübertragungspfad, der den Bildsensor 100 und den Prozessor 200 miteinander koppelt. Daten, die ein von dem Bildsensor 100 zu sendendes Bild repräsentieren (im Folgenden als „Bilddaten“ bezeichnet) werden von dem Bildsensor 100 über den Datenbus B1 zu dem Prozessor 200 gesendet. Der Bildsensor 100 und der Prozessor 200 können durch einen Bus (einen Steuerbus B2) elektrisch miteinander gekoppelt sein. Der Steuerbus B2 ist ein anderer einzelner Signalübertragungspfad, der den Bildsensor 100 und den Prozessor 200 miteinander koppelt, und ist ein von dem Datenbus B1 verschiedener Übertragungspfad. Von dem Prozessor 200 zu sendende Steuerdaten werden von dem Prozessor 200 über den Steuerbus B2 zu dem Bildsensor 100 gesendet.
Der Bildsensor 100 hat eine Bildgebungsfunktion und eine Übertragungsfunktion und sendet durch Bildgebung erzeugte Bilddaten. Der Bildsensor 100 dient als Sender in dem Kommunikationssystem 1000. Beispiele für den Bildsensor 100 umfassen eine beliebige Art von Bildsensorvorrichtungen mit der Fähigkeit zur Erzeugung eines Bildes, wie etwa „eine Bildgebungsvorrichtung, z. B. eine digitale Standbildkamera, eine digitale Videokamera oder eine Stereokamera“, „einen Infrarotsensor“ oder „einen Entfernungsbildsensor“, und der Bildsensor 100 hat eine Funktion des Sendens des erzeugten Bildes. Das in dem Bildsensor 100 erzeugte Bild entspricht Daten, die ein Erfassungsergebnis in dem Bildsensor 100 angeben. Später erfolgt eine Beschreibung eines Beispiels für eine Auslegung des Bildsensors 100 im Detail unter Bezugnahme auf 2.
Der Bildsensor 100 sendet Daten, die einer für die Bilddaten gesetzten Region entsprechen (im Folgenden auch als „Regionenbilddaten“ bezeichnet) durch ein später beschriebenes Übertragungsverfahren. Steuerung der Übertragung der Regionenbilddaten erfolgt zum Beispiel durch eine (später beschriebene) Komponente, die als Bildverarbeitungseinheit in dem Bildsensor 100 fungiert. Eine für ein Bild gesetzte Region wird als ROI (interessierende Region) bezeichnet. Im Folgenden wird eine für das Bild gesetzte Region als „ROI“ bezeichnet. Außerdem werden die Regionenbilddaten als „ROI-Bilddaten“ bezeichnet.
Beispiele für Verarbeitung in Bezug auf das Setzen einer Region für das Bild umfassen jede Verarbeitung, die es ermöglicht, eine Teilregion in dem Bild zu spezifizieren (oder jede Verarbeitung, die es ermöglicht, eine Teilregion aus dem Bild auszuschneiden), wie etwa „Verarbeitung des Detektierens eines Objekts aus dem Bild und des Setzens einer das detektierte Objekt enthaltenden Region“ oder „Verarbeitung des Setzens einer durch eine Operation oder dergleichen designierten Region auf einer beliebigen Betriebs-Vorrichtung“.
Der Bildsensor 100 sendet die ROI-Bilddaten, d.h. sendet einen Teil der Bilddaten, um es dadurch zu erlauben, dass eine Menge an Daten in Bezug auf die Übertragung kleiner als die beim Senden der gesamten Bilddaten ist. Deshalb erzielt die Übertragung der ROI-Bilddaten durch den Bildsensor 100 verschiedene Effekte, die durch Reduktion der Menge an Daten hervorgebracht werden, wie zum Beispiel Verkürzung der Übertragungszeit oder Verringerung der der Übertragung in dem Kommunikationssystem 1000 zugeordneten Last. Es ist zu beachten, dass der Bildsensor 100 auch in der Lage ist, die gesamten Bilddaten zu senden.
Der Prozessor 200 empfängt von dem Bildsensor 100 gesendete Daten und verarbeitet die empfangenen Daten. Der Prozessor 200 dient als Empfänger in dem Kommunikationssystem 1000. Ein Beispiel für eine Auslegung der Verarbeitung von von dem Bildsensor 100 gesendeten Daten (Auslegung zum Dienen als der Empfänger) wird später ausführlich unter Bezugnahme auf 3 beschrieben.
Der Prozessor 200 umfasst zum Beispiel einen oder zwei oder mehr Prozessoren, die jeweils eine arithmetische Schaltung, wie etwa eine MPU (Mikroverarbeitungseinheit) oder verschiedene Verarbeitungsschaltungen umfassen. Der Prozessor 200 führt verschiedene Arten von Verarbeitung aus, wie zum Beispiel Verarbeitung in Bezug auf Steuerung und Aufzeichnung von Bilddaten in einem Aufzeichnungsmedium, Verarbeitung in Bezug auf Steuerung von Bildanzeige auf einem Anzeigeschirm einer Anzeigevorrichtung und Verarbeitung des Ausführens beliebiger Anwendungssoftware. Beispiele für die Verarbeitung in Bezug auf die Aufzeichnungssteuerung umfassen „Verarbeitung des Übermittelns von Steuerdaten, die einen Aufzeichnungsbefehl umfassen, und von in dem Aufzeichnungsmedium aufzuzeichnenden Daten zu dem Aufzeichnungsmedium“. Zusätzlich umfassen Beispiele für die Verarbeitung in Bezug auf die Anzeigesteuerung „Verarbeitung des Übermittelns von Steuerdaten, die einen Anzeigebefehl umfassen, und von auf einem Anzeigeschirm anzuzeigenden Daten“. Der Prozessor 200 kann zum Beispiel Steuerinformationen zu dem Bildsensor 100 senden, um dadurch Funktionen in dem Bildsensor 100 zu steuern. Der Prozessor 200 kann auch Regionenbezeichnungsinformationen zu dem Bildsensor 100 senden, um dadurch von dem Bildsensor 100 gesendete Daten zu steuern.
(Paketstruktur)
Als Nächstes erfolgt eine Beschreibung eines Beispiels für eine Struktur eines zum Senden eines Bildes von dem Bildsensor 100 zum dem Prozessor 200 in dem Kommunikationssystem 1000 zu benutzenden Pakets. In dem Kommunikationssystem 1000 werden durch den Bildsensor 100 erfasste Bilddaten in Partialbilddaten in einer Zeileneinheit aufgeteilt, und die Partialbilddaten für jede Zeile werden durch Benutzen eines oder mehrerer Pakete gesendet. Dasselbe gilt auch für die ROI-Bilddaten.
4 zeigt ein Beispiel für eine Struktur von Paketen (Paket), die zum Senden von Bilddaten in dem Kommunikationssystem 1000 zu benutzen sind. 4 zeigt ein Beispiel für die Struktur von Paketen, die beim Senden von Bilddaten gemäß der MIPI-CS-2-Spezifikation oder MIPI-CS-3-Spezifikation zu benutzen sind. 5 und 6 zeigen jeweils ein Beispiel für Übertragungsdaten 137A, die in dem Kommunikationssystem 1000 von dem Bildsensor 100 zu dem Prozessor 200 zu senden sind. 5 und 6 zeigen jeweils ein Beispiel für die Übertragungsdaten 137A, die beim Senden von Bilddaten gemäß der MIPI-CS-2-Spezifikation oder der MIPI-CS-3-Spezifikation zu benutzen sind.
Wie in 4 dargestellt, wird das beim Senden der Bilddaten zu benutzende Paket in einem Energiesparmodus LP in einem Datenstrom gestartet und wird als eine Reihe von Daten definiert, die in dem Energiesparmodus LP geendet werden. Zusätzlich umfasst ein solches Paket einen Paketheader PH, Nutzinformationsdaten (Nutzinformationsdaten) und einen Paketfuß PF in dieser Reihenfolge angeordnet. Die Nutzinformationsdaten (die im Folgenden einfach als „Nutzinformationen“ bezeichnet werden) umfassen Pixeldaten eines Teilbildes in einer Zeileneinheit.
Der Paketheader PH ist zum Beispiel einen Paketheader von Nutzinformationsdaten des Lang-Pakets. Das Lang-Paket bezieht sich auf ein zwischen dem Paketheader PH und dem Paketfuß PF angeordnetes Paket. Die Nutzinformationsdaten des Lang-Pakets beziehen sich auf zwischen Vorrichtungen übertragene Primärdaten. Der Paketheader PH umfasst zum Beispiel DI, WC und ECC (Fehlerkorrekturcode). DI ist eine Region, die eine Datenkennung speichert. Die DI umfasst Nummer des VC (virtuellen Kanals) und Datentyp (Datentyp jeder ROI). Der VC ist ein zur Paketflusssteuerung eingeführtes Konzept und ist ein Mechanismus zur Unterstützung mehrerer unabhängiger Datenströme, die sich dieselbe Verbindung teilen. WC ist eine Region, um dem Prozessor 200 das Ende des Pakets durch die Anzahl von Wörtern anzugeben. Die WC umfasst zum Beispiel eine Nutzinformationslänge. Die Nutzinformationslänge ist zum Beispiel die Anzahl der in den Nutzinformationen des Lang-Pakets enthaltenden Byte und ist zum Beispiel die Anzahl der Byte für jede ROI. ECC sind Nutzinformationsdaten-ECC-Informationen, darunter Werte zum Ausführen von Fehlerdetektion oder -korrektur an den Nutzinformationsdaten. Der ECC umfasst einen Fehlerkorrekturcode.
Die Übertragungsdaten 137A umfassen zum Beispiel Bilddaten-Rahmen, wie in 5 und 6 dargestellt. Der Bilddaten-Rahmen umfasst typischerweise eine Headerregion, eine Paketregion und eine Fußregion. In 5 und 6 ist der Zweckmäßigkeit halber eine Darstellung der Fußregion weggelassen. In dem Bilddaten-Einzelbild umfasst eine Headerregion R1 Headerinformationen wie eingebettete Daten und Header-ECC-Informationen zur Ausführung von Fehlerdetektion oder -korrektur an den Headerinformationen. Die eingebetteten Daten beziehen sich auf zusätzliche Informationen, die in den Header oder Fuß des Bilddaten-Rahmens einbettbar sind. Zu diesem Zeitpunkt umfassen die eingebetteten Daten Rahmennummern, die Anzahl der ROI und ROI-Informationen. Die Header-ECC-Informationen umfassen Werte zum Ausführen von Fehlerdetektion oder -korrektur an den Headerinformationen. Die Header-ECC-Informationen umfassen einen Fehlerkorrekturcode.
Die Rahmennummer ist eine Kennung der Übertragungsdaten 137A. Die Anzahl der ROI ist die Gesamtanzahl der in den Übertragungsdaten 137A enthaltenen ROI. Die ROI-Informationen sind Informationen über die ROI, die für jede in den Übertragungsdaten 137A enthaltene ROI bereitgestellt werden.
Die ROI-Informationen umfassen zum Beispiel eine Regionennummer (oder -Priorität) einer oder mehrerer in Bilddaten enthaltener ROI und Positionsinformationen über eine oder mehrere ROI in den Bilddaten. Die Regionennummer der ROI ist eine jeder ROI zugewiesene Kennung. Die Priorität der ROI ist eine jeder ROI zugewiesene Kennung und ist Bestimmungsinformationen, durch die es möglich wird, zu bestimmen, welche der mehreren ROI in den Bilddaten Weglassung einer überlappten Region unterzogen wurden.
Die Positionsinformationen über die ROI umfassen zum Beispiel Koordinaten des oberen linken Rands (Xa, Ya) der ROI, eine Länge der ROI in einer X-Achsen-Richtungslänge und eine Länge der ROI in einer Y-Achsenrichtung. Die Länge der ROI in der X-Achsenrichtung ist zum Beispiel eine physische-Region-Länge XLa der ROI in der X-Achsenrichtung. Die Länge der ROI in der Y-Achsenrichtung ist zum Beispiel eine physische-Region-Länge YLa der ROI in der Y-Achsenrichtung. Die Physische-Region-Länge bezieht sich auf eine physische Länge (Datenlänge) der ROI. Die Positionsinformationen über die ROI können Koordinaten einer vom oberen linken Rand der ROI verschiedenen Position umfassen. Die Positionsinformationen über die ROI umfassen ferner zum Beispiel eine Ausgangsregionenlänge XLc der ROI in der X-Achsenrichtung und eine Ausgangsregionenlänge YLc der ROI in der Y-Achsenrichtung. Die Ausgangsregionenlänge bezieht sich zum Beispiel auf eine physische Länge (Datenlänge) der ROI, nachdem eine Auflösung dieser durch Ausführen von Verdünnungsverarbeitung, Pixelzusatz oder dergleichen an der ROI geändert wurde.
Die ROI-Informationen können ferner für jede ROI zum Beispiel Erfassungsinformationen, Belichtungsinformationen, Verstärkungsinformationen, AD-Analog-Digital-Wortlänge, Bildformat und dergleichen zusätzlich zu den Positionsinformationen umfassen. Die Erfassungsinformationen beziehen sich auf Inhalte arithmetischer Operationen an einem in der ROI enthaltenen Objekt, Ergänzungsinformationen zur Signalverarbeitung der nachfolgenden Phase an den ROI-Bilddaten und dergleichen. Die Belichtungsinformationen beziehen sich auf Belichtungszeit der ROI. Die Verstärkungsinformationen beziehen sich auf Verstärkungsinformationen an der ROI. Die AD-Wortlänge bezieht sich auf eine Wortlänge von Daten pro Pixel, die in der ROI AD-umgesetzt wurden. Das Bildformat bezieht sich auf ein Format des ROI-Bildes.
Ferner umfasst wie in 5 und 6 dargestellt in jedem Datenrahmen eine Paketregion R2 für jede Zeile die Nutzinformationsdaten des Lang-Pakets und umfasst ferner den Paketheader PH und den Paketfuß PF an Zwischen-Positionen der Nutzinformationsdaten des Lang-Pakets. Ferner sind die Energiesparmodi LP an Zwischen-Positionen des Paketheaders PH und des Paketfußes PF enthalten.
Außerdem umfasst die Paketregion R2 komprimierte Bilddaten 137B. Die komprimierten Bilddaten 137B umfassen ein Stück komprimierter Bilddaten oder mehrere Stücke komprimierter Bilddaten. Hier umfasst in 5 eine Paketgruppe in der Nähe des Paketheaders PH zum Beispiel komprimierte Bilddaten 135C (135C1) einer ROI, und eine von dem Paketheader PH entfernte Paketgruppe umfasst zum Beispiel komprimierte Bilddaten 135C (135C2) einer anderen ROI. Die zwei Stücke komprimierter Bilddaten 135C1 und 135C2 sind in den komprimierten Bilddaten 137B enthalten. Die Nutzinformationsdaten des Lang-Pakets jeder Zeile umfassen Pixeldaten für eine Zeile in den komprimierten Bilddaten 137B.
7 zeigt ein Beispiel für eine Struktur eines Pakets (Paket), das zur Übertragung von Bilddaten in dem Kommunikationssystem 1000 benutzt wird. 7 zeigt ein Beispiel für die Struktur des Pakets, das beim Senden von Bilddaten in der SLVS-EC-Spezifikation benutzt wird. 8 zeigt ein Beispiel für Übertragungsdaten 147A, die in dem Kommunikationssystem 1000 von dem Bildsensor 100 zu dem Prozessor 200 zu senden sind.
Wie in 7 dargestellt, ist ein für die Übertragung von Bilddaten benutztes Paket als eine Reihe von Daten definiert, die mit einem Startcode (Startcode) beginnt und mit einem Endecode (Endecode) in einem Datenstrom endet. Zusätzlich umfasst ein solches Paket den Header (Header) und die Nutzinformationsdaten (Nutzinformationsdaten), in dieser Reihenfolge angeordnet. Außerdem kann ein Fuß (Fuß) hinten an den Nutzinformationsdaten hinzugefügt werden. Die Nutzinformationsdaten umfassen Pixeldaten über ein Teilbild in einer Zeileneinheit. Der Header umfasst verschiedene Arten von Informationen in Bezug auf eine Zeile entsprechend dem in den Nutzinformationen enthaltenen Teilbild. Der Fuß umfasst zusätzliche Informationen (Option).
Der Fuß des Pakets kann eine CRC-Option oder eine Nutzinformationsdaten-ECC-Option umfassen. Das Paket kann zum Beispiel beliebige der folgenden Elemente (1), (2) und (3) umfassen:

(1) Paketheader + Nutzinformationsdaten;
(2) Paketheader + Nutzinformationsdaten + Paketfuß; und
(3) Paketheader + Nutzinformationsdaten mit ECC.

Der Paketfuß umfasst Nutzinformationsdaten-ECC-Informationen, um gegebenenfalls Fehlerdetektion an den Nutzinformationsdaten auszuführen. Das Paket wird in der TX-LINK-Schicht synthetisiert und in der RX-LINK-Schicht zerlegt, um Nutzinformationsdaten oder andere Hilfsinformationen zu extrahieren. Es erfolgt eine Beschreibung einer Option (Fußoption) in dem Paketfuß. Bei schneller serieller Datenübertragung durch einen eingebauten Takt kann die Bitfehlercharakteristik einer PHY-Schicht einen Zufallsdatenfehler in einem Teil von als Nutzinformationsdaten transferierten Pixeldaten verursachen. Es ist deshalb notwendig, zu berücksichtigen, dass die Pixeldaten zerstört sind. Die Funktionen der Detektion und Korrektur von Nutzinformationsdaten erlauben Detektion solcher Pixeldatenverfälschung und Korrektur des zerstörten Teils zur Verbesserung der Gültig-Bitfehler-Leistungsfähigkeit der gesamten Schnittstelle.
Der Paketfuß umfasst ferner die Nutzinformationsdaten-ECC-Informationen, um gegebenenfalls Fehlerkorrektur an den Nutzinformationsdaten auszuführen. Die Leistungsfähigkeit und Kosten der Fehlerkorrekturschaltung können durch die Funktionen optimiert werden, um einen Unterschied zwischen einer Systemebenenanforderung der Fehlertoleranz und Bitfehlercharakteristiken in der PHY-Schicht zu kompensieren. Die Funktionen sind auch optional und können durch ein Konfigurationsregister (ECC-Option) gesetzt werden.
Es erfolgt hier eine Beschreibung von im Header enthaltenen Informationen. Wie in 7 dargestellt, umfasst der Header „Rahmenstart“, „Rahmenende“, „Zeile Gültig“, „Zeilennummer“, „EBD-Zeile“, „Daten-ID“, „Reserviert“ und „Header-ECC“ in dieser Reihenfolge.
Beim Rahmenstart handelt es sich um Ein-Bit-Informationen, die einen Kopf des Rahmens angeben. Zum Beispiel wird ein Wert von eins für Rahmenstart des Headers eines Pakets gesetzt, das zur Übertragung von Pixeldaten über die erste Zeile unter zu übertragenden Daten über ein Bild verwendet wird, und ein Wert von null wird für Rahmenstart des Headers des Pakets gesetzt, das zur Übertragung von Pixeldaten über eine andere Zeile verwendet wird. Es ist zu beachten, dass Rahmenstart einem Beispiel für „einen Start des Rahmens angebende Informationen“ entspricht.
Bei Rahmenende handelt es sich um Ein-Bit-Informationen, die Beendigung des Rahmens angeben. Zum Beispiel wird ein Wert von eins für Rahmenende des Headers eines Pakets gesetzt, das in den Nutzinformationen Pixeldaten über eine Ende-Zeile einer gültigen Pixelregion unter zu übertragenden Daten über ein Bild umfasst, und ein Wert von null für Rahmendende des Headers des Pakets gesetzt, das für Übertragung von Pixeldaten über eine andere Zeile verwendet wird. Es ist zu beachten, dass Rahmende einem Beispiel für „ein Ende des Rahmens angebende Informationen“ entspricht.
Rahmenstart und Rahmenende entsprechen Beispielen für Rahmeninformationen (Rahmeninformationen), die Informationen bezüglich eines Rahmens sind.
Bei Zeile Gültig handelt es sich um Ein-Bit-Informationen, die angeben, ob eine in den Nutzinformationen gespeicherte Zeile von Pixeldaten eine Zeile gültiger Pixel ist. Für Zeile Gültig des Headers eines Pakets, das zur Übertragung von Pixeldaten über eine Zeile der gültigen Pixelregion verwendet wird, wird ein Wert von eins gesetzt, und für Zeile Gültig des Headers des Pakets, das zur Übertragung der Pixeldaten über die andere Zeile verwendet wird, wird ein Wert von null gesetzt. Es ist zu beachten, dass Zeile Gültig einem Beispiel für „Informationen, die angeben, ob eine entsprechende Zeile gültig ist“ entspricht.
Bei Zeilennummer handelt es sich um 13-Bit-Informationen, die eine Zeilennummer einer in den Nutzinformationen gespeicherte Pixeldaten umfassenden Zeile angeben.
Bei EBD-Zeile handelt es sich um Ein-Bit-Informationen, die angeben, ob es sich um eine Zeile mit eingebetteten Daten handelt. Das heißt, EBD-Zeile entspricht einem Beispiel für „Informationen, die angeben, ob es sich um eine Zeile mit eingebetteten Daten handelt oder nicht“.
Bei Daten-ID handelt es sich um Vier-Bit-Informationen zum Identifizieren aller Daten (d.h. in den Nutzinformationen enthaltener Daten), falls Daten durch Unterteilung in mehrere Ströme transferiert werden. Es ist zu beachten, dass Daten-ID einem Beispiel für „Identifikationsinformationen über in den Nutzinformationen enthaltene Daten“ entspricht.
Zeile Gültig, Zeilennummer, EBD-Zeile und Daten-ID dienen als Zeileninformationen (Zeileninformationen), die Informationen bezüglich der Zeile sind.
Für Erweiterung ist eine 27-Bit-Region reserviert. Es ist zu beachten, dass im Folgenden eine solche als reserviert angegebene Region auch als „erweiterte Region“ bezeichnet wird. Außerdem ist die Gesamtmenge von Daten in den Headerinformationen sechs Byte.
Wie in 7 dargestellt, umfasst der nach den Headerinformationen angeordnete Header-ECC einen CRC-Code (Cyclic Redundancy Check), der ein Zwei-Byte-Fehlerdetektionscode ist, der auf der Basis von Sechs-Byte-Headerinformationen berechnet wird. Das heißt, Header-ECC entspricht einem Beispiel für „Informationen zum Ausführen von Fehlerdetektion oder -korrektur an den Headerinformationen“. Zusätzlich umfasst Header-ECC nach dem CRC-Code zwei Stücke derselben Informationen als Acht-Byte-Informationen, wobei es sich um eine Menge der Headerinformationen und des CRC-Codes handelt.
Der Header ist am Kopf des Pakets angeordnet und dient zum Speichern zusätzlicher Informationen außer den zu transferierenden Pixeldaten vor den Nutzinformationsdaten. Der Header umfasst Headerinformationen und Header-ECC, und die zusätzlichen Informationen werden in den Headerinformationen gespeichert. Der Header-ECC speichert CRC zum Detektieren von Fehlern in den Headerinformationen und zwei Wiederholungen einer Kombination der Headerinformationen und des CRC. Falls während des Transfers der Headerinformationen ein Fehler auftritt, wird der Fehler durch den CRC detektiert, und andere Headerinformationen (in denen kein Fehler detektiert wird), die wiederholt transferiert werden, werden verwendet, um Wiedergabe der korrekten Headerinformationen auf der RX-Seite zu ermöglichen.
Die Rahmeninformationen werden hauptsächlich transferiert, um Rahmensynchronisation im System herzustellen. Ähnlich werden Zeileninformationen verwendet, um Zeilensynchronisation herzustellen, und es wird angenommen, dass diese Informationen zur Wiedergabe einer Synchronisationsbeziehung zwischen Bildströmen auf der RX-Seite verwendet werden, wenn mehrere Bildströme gleichzeitig unter Verwendung mehrerer SLVS-EC-Schnittstellen übertragen werden. Wie oben beschrieben, wird der Header-ECC als Maß für einen Transferfehler der Headerinformationen verwendet. Außerdem werden die Rahmeninformationen und die Zeileninformationen von einer Anwendungsschicht (CIS) eingegeben und werden so wie sie sind zu einer Anwendungsschicht (DSP) auf der Empfangsseite transferiert, ohne in der Schnittstelle verarbeitet zu werden. Ähnliche Transferverarbeitung wird auch für reservierte Bit ausgeführt. In der Zwischenzeit wird der Header-ECC in der Schnittstelle erzeugt und zu anderen Informationen hinzugefügt, bevor sie transferiert werden; es wird angenommen, dass diese Informationen von einer Sicherungsschicht auf der RX-Seite verwendet werden.
Das heißt, der Header eines Pakets umfasst dieselben drei Mengen der Headerinformationen und des CRC-Codes. Die Datenmenge des gesamten Headers beträgt insgesamt 24 Byte, einschließlich acht Byte der ersten Menge der Headerinformationen und des CRC-Codes, acht Byte der zweiten Menge der Headerinformationen und des CRC-Codes und acht Byte der dritten Menge der Headerinformationen und des CRC-Codes.
Es erfolgt hier eine Beschreibung einer in dem Header des Pakets vorgesehenen erweiterten Region (reserviert) unter Bezugnahme auf 8. Wie in 8 dargestellt, werden in der erweiterten Region Informationen, die Typen entsprechend in einem Paket übertragenen Informationen angeben, als Headerinformationstyp (Header-Info-Typ) für drei Bit am Kopf gesetzt. Abhängig von dem Headerinformationstyp wird ein Format von Informationen (d.h., Informationstyp und eine Position, an der solche Informationen gesetzt sind) bestimmt, das in der übrigen 24-Bit-Region der erweiterten Region ausschließlich drei Bit, in denen ein solcher Headerinformationstyp designiert wird, gesetzt wird. Dies ermöglicht der Empfangsseite, den Headerinformationstyp zu bestätigen, um so in der Lage zu sein, zu erkennen, welche Informationen an welcher Position einer anderen Region der erweiterten Region außer der Region, in der ein solcher Headerinformationstyp designiert ist, gesetzt sind, und somit solche Informationen zu lesen.
Zum Beispiel zeigt 8 ein Beispiel für das Setzen, falls eine Nutzinformationsmenge (anders ausgedrückt, eine Zeilenmenge) des Pakets variabel ist, als ein Beispiel für Verfahren zum Setzen des Headerinformationstyps und Verwenden der erweiterten Region abhängig von einem solchen Setzen. Speziell wird in dem in 8 dargestellten Beispiel mit Bezug auf den Headerinformationstyp ein Wert gesetzt, der dem Typ in einem Fall entspricht, in dem die Nutzinformationsmenge variabel ist. Spezieller wird in dem in 8 dargestellten Beispiel „001“ für den Headerinformationstyp gesetzt. Das heißt, in diesem Fall bedeutet der „001“ entsprechende Typ unter dem Headerinformationstyp einen Typ in einem Fall, in dem die Nutzinformationsmenge variabel ist. Zusätzlich werden in dem in 8 dargestellten Beispiel 14 Bit in der erweiterten Region „Zeilenlänge“ zugewiesen. Bei „Zeilenlänge“ handelt es sich um Informationen zum Mitteilen der Nutzinformationslänge. Eine solche Konfiguration ermöglicht der Empfangsseite, zu erkennen, dass die Nutzinformationslänge variabel ist, auf der Basis eines als der Headerinformationstyp gesetzten Werts, und die Nutzinformationslänge durch Lesen eines als die „Zeilenlänge“ in der erweiterten Region gesetzten Werts zu erkennen.
9 zeigt ein Beispiel für das Format der Übertragungsdaten 147A, die in der Spezifikation des SLVS-EC-Verfahrens gesendet werden. In 9 veranschaulicht eine durch eine Bezugszahl A1 angegebene Reihe von Paketen schematisch Pakete, durch die Bilddaten über eine ROI gesendet werden. Außerdem entspricht eine durch die Bezugszahlen A2 und A3 angegebene Reihe von Paketen Paketen, die von den Paketen zum Senden der Bilddaten über die ROI verschieden sind. Es ist zu beachten, dass in der folgenden Beschreibung der Einfachheit halber in einem Fall der Unterscheidung der durch die Bezugszahlen A1, A2 und A3 angegebenen Pakete voneinander sie auch als „Pakete A1“, „Pakete A2“ bzw. „Pakete A3“ bezeichnet werden. Das heißt, in einer Periode, in der Daten eines Rahmens gesendet werden, wird eine Reihe von Paketen A2 gesendet, bevor eine Reihe von Paketen A1 gesendet wird. Außerdem kann eine Reihe von Paketen A3 auch gesendet werden, nachdem die Reihe von Paketen gesendet wird.
In dem in 9 dargestellten Beispiel wird mindestens ein Teil der Reihe von Paketen A2 zur Übertragung der eingebetteten Daten benutzt. Die eingebetteten Daten können zum Beispiel in den Nutzinformationen des Pakets A2 gespeichert werden, bevor sie gesendet werden. Außerdem können als ein anderes Beispiel die eingebetteten Daten in einer anderen Region als den Nutzinformationen der Pakete A2 gespeichert werden, bevor sie gesendet werden.
Die eingebetteten Daten entsprechen zusätzlichen Informationen, die zusätzlich durch den Bildsensor 100 zu senden sind (anders ausgedrückt, durch den Bildsensor 100 eingebetteten Informationen), und Beispiele dafür wären Informationen bezüglich Bildgebungsbedingungen von Bildern, Informationen bezüglich einer ROI und dergleichen. Die eingebetteten Daten umfassen zum Beispiel Informationen wie „ROI-ID“, „obere linke Koordinaten“, „Höhe“, „Breite“, „AD-Wortlänge (AD-Bit)“, „Belichtung“, „Verstärkung“, „Erfassungsinformationen“ und dergleichen.
Die Informationen über die „ROI-ID“, die „oberen linken Koordinaten“, die „Höhe“ und die „Breite“ entsprechen Informationen bezüglich der in dem Bild gesetzten Region (ROI) und werden zum Beispiel zum Wiederherstellen des Bildes einer solchen Region auf der Empfangsseite benutzt. Speziell handelt es sich bei der „ROI-ID“ um Identifikationsinformationen zum Identifizieren jeder Region. Die „oberen linken Koordinaten“ entsprechen Koordinaten, die als Index einer Position in einem Bild einer für ein solches Bild gesetzten Region dienen, und geben die oberen linken Eckpunktkoordinaten eines rechteckigen Bereichs an, in dem eine solche Region gesetzt ist. Zusätzlich geben die „Höhe“ und die „Breite“ eine Höhe (eine Breite in einer vertikalen Richtung“ und eine Breite (eine Breite in einer horizontalen Richtung) des Bereichs, wie etwa einer rechteckigen Form, worin die Region gesetzt ist, an. Es ist zu beachten, dass unter den eingebetteten Daten insbesondere die oben erwähnten Informationen bezüglich der Region (ROI), wie etwa die „ROI-ID“, die „oberen linken Koordinaten“, die „Höhe“ und die „Breite“ einem Beispiel für in einem ersten Paket (z. B. in Paketen A2) enthaltene „Regioneninformationen“ entsprechen.
Die Informationen „Belichtung“ bedeuten die Belichtungszeit in Bezug auf Bildgebung der Region (ROI). Die Informationen „Verstärkung“ bedeuten eine Verstärkung in Bezug auf die Bildgebung einer solchen Region. Die AD-Wortlänge (AD-Bit) bedeutet die Wortlänge von Daten pro Pixel, die in einer solchen Region AD-umgesetzt wurden. Beispiele für die Erfassungsinformationen wären Inhalte arithmetischer Operationen an einem in einer solchen Region enthaltenen Objekt (Subjekt), Ergänzungsinformationen für Signalverarbeitung einer nachfolgenden Phase an dem Bild einer solchen Region und dergleichen.
Es ist zu beachten, dass in dem in 9 dargestellten Beispiel mindestens ein Teil der Pakete A2 für die Übertragung der eingebetteten Daten benutzt wird, es kann aber mindestens ein Teil der Pakete A3 anstelle solcher Pakete A2 für die Übertragung der eingebetteten Daten benutzt werden. Zusätzlich werden in der folgenden Beschreibung die eingebetteten Daten auch als „EBD“ bezeichnet.
In 9 bedeutet „SC“ „Startcode“ und ist eine Symbolgruppe, die einen Start des Pakets angibt. Der Startcode wird vor die Pakete gehängt. Der Startcode wird zum Beispiel durch vier Symbole von K28.5, K27.7, K28.2 und K27.7 repräsentiert, wobei es sich um eine Kombination von drei Arten von K-Zeichen handelt.
„EC“ bedeutet „Endecode“ und ist eine Symbolgruppe, die das Ende eines Pakets angibt. Der Endecode wird an das Ende des Pakets angehängt. Der Endecode wird zum Beispiel durch vier Symbole von K28.5, K27.7, K30.7 und K27.7 repräsentiert, wobei es sich um eine Kombination dreier Arten von K-Zeichen handelt.
„PH“ bedeutet „Paketheader (Paketheader)“ und entspricht zum Beispiel dem mit Bezug auf 7 beschriebenen Header. „FS“ bezieht sich auf ein FS- bzw. Rahmenstart-Paket. „FE“ bedeutet ein FE- bzw. Rahmenendepaket.
„DC“ bedeutet „Entschrägungscode“ und ist eine Symbolgruppe, die zur Korrektur von Datenschräge zwischen Spuren, d.h. Abweichung der Empfangstimings von Stücken von Daten, die in den jeweiligen Spuren auf der Empfangsseite empfangen werden, benutzt wird. Der Entschrägungscode wird zum Beispiel durch vier Symbole von K28.5 und Beliebig ** repräsentiert.
„IC“ bedeutet „Leerlaufcode“ und ist eine Symbolgruppe, die während einer Periode außer der Übertragungszeit von Paketdaten wiederholt gesendet wird. Der Leerlaufcode wird zum Beispiel durch D00.0 (00000000) des D-Zeichens repräsentiert, wobei es sich um den 8B10B-Code handelt.
„DATEN“ bedeutet Regionendaten (d.h., Pixeldaten in einem Teil, der einer in dem Bild gesetzten Region entspricht), die in den Nutzinformationen gespeichert werden.
„XY“ entspricht Informationen, die als eine X-Koordinate und eine Y-Koordinate eine Linker-Rand-Position (Position in einem Bild) einer Teilregion entsprechend in den Nutzinformationen gespeicherten Regionendaten angeben. Es ist zu beachten, dass im Folgenden die X-Koordinate und die Y-Koordinate, die die Position am linken Rand der Teilregion angeben, die auch mit „XY“ bezeichnet werden, einfach als „X-Y-Koordinaten der Teilregion“ bezeichnet werden.
Die X-Y-Koordinaten der Teilregion werden am Kopf der Nutzinformationen der Pakete A1 gespeichert. Außerdem können die X-Y-Koordinaten der Teilregion in den später gesendeten Paketen A1 weggelassen werden, falls keine Änderung der X-Koordinate entsprechend der Teilregionen zwischen kontinuierlich gesendeten Paketen A1 existieren und nur +1 zur Y-Koordinate addiert wird. Es ist zu beachten, dass die vorliegende Steuerung später getrennt unter Bezugnahme auf ein spezifisches Beispiel beschrieben wird.
Im Fall des Sendens von Regionendaten über eine Teilregion entsprechend jeder von mehreren Regionen, die in der horizontalen Richtung voneinander beabstandet sind, werden außerdem für jede Zeile, in der solche mehreren Regionen gesetzt sind, die Pakete A1 für jede solcher mehreren Regionen einzeln erzeugt und gesendet. Das heißt, für Zeilen, in denen zwei voneinander in der horizontalen Richtung beabstandete Regionen gesetzt sind, werden zwei Pakete A1 erzeugt und gesendet.
(Bildsensor 100)
2 zeigt ein Beispiel für eine Auslegung des Bildsensors 100. Die in 2 dargestellte Auslegung entspricht einem spezifischen Beispiel für einen CSI-Sender. Der Bildsensor 100 umfasst zum Beispiel eine Bildgebungseinheit 110, eine gemeinsame Verarbeitungseinheit 120, eine MIPI-Verarbeitungseinheit 130, eine SLVS-EC-Verarbeitungseinheit 140 und eine Übertragungseinheit 150. Der Bildsensor 100 sendet die Übertragungsdaten 137A oder die Übertragungsdaten 147A, die durch Ausführen vorbestimmter Verarbeitung an durch die Bildgebungseinheit 110 erhaltenen Bilddaten 111 erzeugt werden, über den Datenbus B1 zu dem Prozessor 200.
Die Bildgebungseinheit 110 setz ein zum Beispiel mittels einer optischen Linse oder dergleichen erhaltenes optisches Bildsignal in Bilddaten um. Die Bildgebungseinheit 110 umfasst zum Beispiel einen CCD-Bildsensor (Charge Coupled Device) oder zum Beispiel einen CMOS-Bildsensor (Complementary Metal Oxide Semiconductor). Die Bildgebungseinheit 110 umfasst eine Analog-Digital-Umsetzungsschaltung und setzt analoge Bilddaten in digitale Bilddaten um. Die Datenform nach der Umsetzung kann eine Form YCbCr sein, bei der eine Farbe jedes Pixels durch eine Luminanzkomponente Y und Farbdifferenzkomponenten Cb und Cr repräsentiert wird, oder kann eine RGB-Form sein. Die Bildgebungseinheit 110 gibt die Bilddaten 111 (digitalen Bilddaten), die durch Bildgebung erhalten werden, an die gemeinsame Verarbeitungseinheit 120 aus.
Die gemeinsame Verarbeitungseinheit 120 ist eine Schaltung, die vorbestimmte Verarbeitung an den von der Bildgebungseinheit 110 eingegebenen Bilddaten 111 ausführt. Falls ein Steuersignal, das Ausschneiden der ROI anweist, über den Steuerbus B2 von dem Prozessor 200 eingegeben wird, führt die gemeinsame Verarbeitungseinheit 120 vorbestimmte Verarbeitung an den von der Bildgebungseinheit 110 eingegebenen Bilddaten 111 aus. Folglich erzeugt die gemeinsame Verarbeitungseinheit 120 verschiedene Arten von Daten (ein oder mehrere Stücke von ROI-Bilddaten 112 oder ein oder mehrere Stücke von ROI-Informationen 116 und Rahmeninformationen 117) und gibt die erzeugten verschiedenen Arten von Daten an die MIPI-Verarbeitungseinheit 130 und die SLVS-EC-Verarbeitungseinheit 140 aus. Falls ein Steuersignal, das Ausgabe eines normalen Bildes anweist, über den Steuerbus B2 von dem Prozessor 200 eingegeben wird, führt die gemeinsame Verarbeitungseinheit 120 vorbestimmte Verarbeitung an den von der Bildgebungseinheit 110 eingegebenen Bilddaten 111 aus. Folglich erzeugt die gemeinsame Verarbeitungseinheit 120 Bilddaten 119 und gibt die erzeugten Bilddaten 119 an die MIPI-Verarbeitungseinheit 130 und die SLVS-EC-Verarbeitungseinheit 140 aus.
Die MIPI-Verarbeitungseinheit 130 ist eine Schaltung, die Übertragungsdaten 137A entsprechend einem Übertragungsverfahren der MIPI-CS-2-Spezifikation oder der MIPI-CS-3-Spezifikation auf der Basis der verschiedenen Arten von Daten (des einen oder der mehreren Stücke von ROI-Bilddaten 112, des einen oder der mehreren Stücke von ROI-Informationen 116 und der Rahmeninformationen 117), die von der gemeinsamen Verarbeitungseinheit 120 eingegeben werden, erzeugt. Die SLVS-EC-Verarbeitungseinheit 140 ist eine Schaltung, die Übertragungsdaten 147A entsprechend einem Übertragungsverfahren der SLVS-EC-CS-2-Spezifikation oder der SLVS-EC-CS-3-Spezifikation auf der Basis der verschiedenen Arten von Daten (des einen oder der mehreren Stücke von ROI-Bilddaten 112, des einen oder der mehreren Stücke von ROI-Informationen 116 und der Rahmeninformationen 117), die von der gemeinsamen Verarbeitungseinheit 120 eingegeben werden, erzeugt. Die Übertragungseinheit 150 sendet ein Paket (die Übertragungsdaten 137A oder die Übertragungsdaten 147A), die von der MIPI-Verarbeitungseinheit 130 oder der SLVS-EC-Verarbeitungseinheit 140 gesendet werden, für jede Zeile über den Datenbus B1 zu dem Prozessor 200.
Die gemeinsame Verarbeitungseinheit 120 umfasst zum Beispiel einen ROI-Ausschneideteil 121, einen ROI-Analyseteil 122, einen Überlappungsdetektionsteil 123, einen Prioritätssetzteil 124 und einen Bildverarbeitungs-Steuerteil 125.
Falls ein Steuersignal, das Ausschneiden der ROI anweist, von dem Prozessor 200 über den Steuerbus B2 eingegeben wird, spezifiziert der ROI-Ausschneideteil 121 ein oder mehrere zu fotografierende Objekte, die in den von der Bildgebungseinheit 110 eingegebenen Bilddaten enthalten sind, und setzt die ROI für jedes der spezifizierten Objekte. Die ROI ist zum Beispiel eine das spezifizierte Objekt enthaltende rechteckige Region. Der ROI-Ausschneideteil 121 schneidet Bilddaten über die eine oder die mehreren ROI (das eine oder die mehreren Stücke von ROI-Bilddaten 112) aus den Bilddaten 111 aus. Der ROI-Ausschneideteil 121 schneidet aus den Bilddaten 111 das eine oder die mehreren in den Bilddaten 111 enthaltenen Stücke von ROI-Bilddaten 112 aus. Der ROI-Ausschneideteil 121 weist ferner jeder der Menge von ROI eine Regionennummer als Kennung zu. Falls zum Beispiel zwei ROI in den Bilddaten 111 gesetzt sind, weist der ROI-Ausschneideteil 121 einer ROI (ROI1) die Nummer eins und der anderen ROI (ROI2) die Nummer zwei zu. Der ROI-Ausschneideteil 121 speichert zum Beispiel die zugewiesene Kennung (Regionennummer) in einem Speicherungsteil. Der ROI-Ausschneideteil 121 speichert zum Beispiel alle aus den Bilddaten 111 ausgeschnittenen ROI-Bilddaten 112 in dem Speicherungsteil. Der ROI-Ausschneideteil 121 speichert ferner zum Beispiel eine jeder ROI zugewiesene Kennung (Regionennummer) in dem Speicherungsteil in Assoziation mit den ROI-Bilddaten 112. Es ist zu beachten, dass, falls ein Ausgabe eines normalen Bildes anweisendes Steuersignal über den Steuerbus B2 von dem Prozessor 200 eingegeben wird, der ROI-Ausschneideteil 121 vorbestimmte Verarbeitung an den von der Bildgebungseinheit 110 eingegebenen Bilddaten 111 ausführt, um dadurch die Bilddaten 119 zu erzeugen.
Der ROI-Analyseteil 122 leitet für jede ROI Positionsinformationen 113 der ROI in den Bilddaten 111 ab. Zum Beispiel speichert der ROI-Analyseteil 122 die abgeleiteten Positionsinformationen 113 in dem Speicherungsteil. Zum Beispiel speichert der ROI-Analyseteil 122 sie in Assoziation mit der der ROI zugewiesenen Kennung (Regionennummer) in dem Speicherungsteil.
Wenn mehrere zu fotografierende Objekte in den Bilddaten 111 spezifiziert sind, detektiert der Überlappungsdetektionsteil 123 eine überlappte Region (ROO (Region der Überlappung)), wo sich zwei oder mehr ROI überlappen, auf der Basis der Positionsinformationen 113 über die mehreren ROI in den Bilddaten 111. Das heißt, der Überlappungsdetektionsteil 123 leitet für jede überlappte Region ROO Positionsinformationen 114 über die überlappte Region ROO in den Bilddaten 111 ab. Der Überlappungsdetektionsteil 123 speichert zum Beispiel die abgeleiteten Positionsinformationen 114 in dem Speicherungsteil. Zum Beispiel speichert der Überlappungsdetektionsteil 123 die abgeleiteten Positionsinformationen 114 in dem Speicherungsteil in Assoziation mit der überlappten Region ROO. Die überlappte Region ROO ist zum Beispiel eine rechteckige Region, die dieselbe Größe wie die kleinste ROI von zwei oder mehr sich überlappenden ROI aufweist oder kleiner als diese ist.
Der Prioritätssetzteil 124 weist jeder ROI in den Bilddaten 111 eine Priorität 115 zu. Zum Beispiel speichert der Prioritätssetzteil 124 die zugewiesene Priorität 115 in dem Speicherungsteil. Zum Beispiel speichert der Prioritätssetzteil 124 die zugewiesene Priorität 115 in dem Speicherungsteil in Assoziation mit der ROI. Zusätzlich zu der jeder ROI zugewiesenen Regionennummer kann der Prioritätssetzteil 124 die Priorität 115 jeder ROI zuweisen oder kann die Priorität 115 mit der jeder ROI zugewiesenen Regionennummer ersetzen. Zum Beispiel kann der Prioritätssetzteil 124 die Priorität 115 in dem Speicherungsteil in Assoziation mit der ROI speichern oder kann die jeder ROI zugewiesene Regionennummer in dem Speicherungsteil in Assoziation mit der ROI speichern.
Die Priorität 115 ist eine Kennung jeder ROI und ist Bestimmungsinformationen, die bestimmen können, welche der mehreren ROI in den Bilddaten 111 Weglassung der überlappten Region ROO unterzogen wurden. Zum Beispiel weist der Prioritätssetzteil 124 einer ROI von zwei ROI, die jeweils die überlappte Region ROO umfassen, eins als die Priorität 115 und der anderen ROI davon zwei als die Priorität 115 zu. In diesem Fall wird bei Erzeugung der Übertragungsbilddaten 135A, die später beschrieben werden, die ROI mit einem größeren numerischen Wert der Priorität 115 Weglassung der überlappten Region ROO unterzogen. Es ist zu beachten, dass der Prioritätssetzteil 124 der ROI als die Priorität 115 dieselbe Nummer zuweisen kann wie die jeder ROI zugewiesene Regionennummer. Zum Beispiel speichert der Prioritätssetzteil 124 die jeder ROI zugewiesene Priorität 115 in Assoziation mit den ROI-Bilddaten 112 in dem Speicherungsteil. Der Prioritätssetzteil 124 gibt die jeder ROI zugewiesene Regionennummer oder Priorität 115 an die MIPI-Verarbeitungseinheit 130 und die SLVS-EC-Verarbeitungseinheit 140 aus.
Der Bildverarbeitungs-Steuerteil 125 erzeugt die ROI-Informationen 116 und die Rahmeninformationen 117 und gibt sie an die MIPI-Verarbeitungseinheit 130 und die SLVS-EC-Verarbeitungseinheit 140 aus. Die ROI-Informationen 116 umfassen zum Beispiel alle Positionsinformationen 113. Die ROI-Informationen 116 umfassen ferner zum Beispiel den Datentyp jeder ROI, die Anzahl der in den Bilddaten 111 enthaltenen ROI, die Positionsinformationen 114 über die überlappte Region, die Regionennummer (oder die Priorität 115) jeder ROI, die Datenlänge jeder ROI und/oder das Bildformat jeder ROI. Die Rahmeninformationen 117 umfassen zum Beispiel die Nummer eines jedem Rahmen zugewiesenen virtuellen Kanals, den Datentyp jeder ROI, Nutzinformationslänge jeder Zeile und dergleichen. Der Datentyp umfasst zum Beispiel YUV-Daten, RGB-Daten, RAW-Daten oder dergleichen. Der Datentyp umfasst ferner zum Beispiel Daten in einer ROI-Form oder Daten in einer Normalform.
Die MIPI-Verarbeitungseinheit 130 ist eine Schaltung, die die Übertragungsdaten 137A entsprechend einem Übertragungsverfahren der MIPI-CSI-2-Spezifikation oder MIPI-CSI-3-Spezifikation auf der Basis der verschiedenen Arten von Daten (des einen oder der mehreren Stücke von ROI-Bilddaten 112, des einen oder der mehreren Stücke von ROI-Informationen 116 und der Rahmeninformationen 117), die von der gemeinsamen Verarbeitungseinheit 120 eingegeben werden, erzeugt und sendet. Die MIPI-Verarbeitungseinheit 130 sendet in den eingebetteten Daten die ROI-Informationen 116 über jede ROI in den Bilddaten 111. Falls ein Ausschneiden der ROI anweisendes Steuersignal von dem Prozessor 200 über den Steuerbus B2 eingegeben wird, sendet die MIPI-Verarbeitungseinheit 130 ferner in den Nutzinformationsdaten des Lang-Pakets die Bilddaten (die komprimierten Bilddaten 135C) jeder ROI. Zu diesem Zeitpunkt sendet die MIPI-Verarbeitungseinheit 130 die Bilddaten (die komprimierten Bilddaten 135C) jeder ROI über einen gemeinsamen virtuellen Kanal. Außerdem sendet die MIPI-Verarbeitungseinheit 130 in einem Bilddaten-Rahmen die Bilddaten (die komprimierten Bilddaten 135C) jeder ROI und sendet in einem Header des Bilddaten-Rahmens die ROI-Informationen 116 über jede ROI. Falls ein Ausgabe eines Normalbildes anweisendes Steuersignal über den Steuerbus B2 von dem Prozessor 200 eingegeben wird, sendet zusätzlich die MIPI-Verarbeitungseinheit 130 auch in den Nutzinformationsdaten des Lang-Pakets Normalbilddaten (komprimierte Bilddaten 135D).
Die MIPI-Verarbeitungseinheit 130 umfasst zum Beispiel einen LINK-Steuerteil 131, eine ECC-Erzeugungsteil 132, einen PH-Erzeugungsteil 133, einen EBD-Puffer 134, einen Codierungsteil 135, einen ROI-Datenpuffer 136 und einen Synthetisierungsteil 137.
Zum Beispiel gibt der LINK-Steuerteil 131 die Rahmeninformationen 117 für jede Zeile an den ECC-Erzeugungsteil 132 und den PH-Erzeugungsteil 133 aus. Zum Beispiel auf der Basis von Daten einer Zeile (z. B. Anzahl virtueller Kanäle, Datentyp jeder ROI, Nutzinformationslänge jeder Zeile usw.) in den Rahmeninformationen 117 erzeugt der ECC-Erzeugungsteil 132 einen Fehlerkorrekturcode für die Zeile. Zum Beispiel gibt der ECC-Erzeugungsteil 132 den erzeugten Fehlerkorrekturcode an den PH-Erzeugungsteil 133 aus. Der PH-Erzeugungsteil 133 erzeugt den Paketheader PH für jede Zeile zum Beispiel unter Verwendung der Rahmeninformationen 117 und des durch den ECC-Erzeugungsteil 132 erzeugten Fehlerkorrekturcodes. Der PH-Erzeugungsteil 143 gibt den erzeugten Paketheader PH an einen Synthetisierungsteil 147 aus.
Der EBD-Puffer 134 speichert vorübergehend das eine oder die mehreren Stücke von ROI-Informationen 116 und gibt das eine oder die mehreren Stücke von ROI-Informationen 116 mit einem vorbestimmten Timing als eingebetteten Daten an den Synthetisierungsteil 137 aus.
Falls ein Ausschneiden der ROI anweisendes Steuersignal von dem Prozessor 200 über den Steuerbus B2 eingegeben wird, erzeugt der Codierungsteil 135 eines oder mehrere Stücke von Übertragungsbilddaten 13 5A auf der Basis des einen oder der mehreren Stücke von ROI-Bilddaten 112, die aus den Bilddaten 111 erhalten werden, und der Priorität 115 entsprechend dem einen oder den mehreren Stücken von ROI-Bilddaten 112. Der Codierungsteil 135 erzeugt die mehreren Stücke von Übertragungsbilddaten 135A, die Weglassung der Bilddaten 135B unterzogen wurden, aus den mehreren Stücken von ROI-Bilddaten 112, die aus den Bilddaten 111 erhalten werden, um es nicht zu erlauben, dass die Bilddaten 135B der überlappten Region ROO auf überlappte Weise in die mehreren Stücke von ROI-Bilddaten 112, die aus den Bilddaten 111 erhalten werden, aufgenommen werden.
Falls ein Ausschneiden der ROI anweisendes Steuersignal über den Steuerbus B2 von dem Prozessor 200 eingegeben wird, codiert der Codierungsteil 135 ferner das eine oder die mehreren Stücke von Übertragungsbilddaten 135A, um die komprimierten Bilddaten 135C zu erzeugen. Der Codierungsteil 135 komprimiert das eine oder die mehreren Stücke von Übertragungsbilddaten 135A durch eine Komprimierungsform oder dergleichen zum Beispiel gemäß der JPEG-Spezifikation, um dadurch die komprimierten Bilddaten 135C zu erzeugen. Falls ein Ausgabe eines Normalbildes anweisendes Steuersignal über den Steuerbus B2 von dem Prozessor 200 eingegeben wird, codiert der Codierungsteil 135 die Bilddaten 119, um die komprimierten Bilddaten 135D zu erzeugen. Der Codierungsteil 135 komprimiert die Bilddaten 119 durch eine Komprimierungsform oder dergleichen zum Beispiel gemäß der JPEG-Spezifikation, um dadurch komprimierte Bilddaten 135E zu erzeugen.
Der ROI-Datenpuffer 136 speichert vorübergehend die komprimierten Bilddaten 135C oder die komprimierten Bilddaten 135D und gibt die komprimierten Bilddaten 135C oder die komprimierten Bilddaten 135D als die Nutzinformationsdaten des Lang-Pakets mit einem vorbestimmten Timing an den Synthetisierungsteil 137 aus.
Der Synthetisierungsteil 137 erzeugt die Übertragungsdaten 137A auf der Basis der eingegebenen verschiedenen Arten von Daten (Paketheader PH, ROI-Informationen 116 und komprimierte Bilddaten 135C oder komprimierte Bilddaten 135D). Der Synthetisierungsteil 137 gibt die erzeugten Übertragungsdaten 137A an die Übertragungseinheit 150 aus. Das heißt, der Synthetisierungsteil 137 sendet Datentyp (Datentyp jeder ROI) zur Aufnahme in den Paketheader PH der Nutzinformationsdaten des Lang-Pakets. Außerdem sendet der Synthetisierungsteil 137 die Bilddaten (die komprimierten Bilddaten 135C) jeder ROI über einen gemeinsamen virtuellen Kanal. Der Synthetisierungsteil 137 synthetisiert die ROI-Informationen 116 als die eingebetteten Daten mit den Übertragungsdaten 137A. Der Synthetisierungsteil 137 synthetisiert mit den Übertragungsdaten 137A die Headerinformationen einschließlich der eingebetteten Daten und der Header-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an den Headerinformationen. Der Synthetisierungsteil 137 synthetisiert mit den Übertragungsdaten 137A die Nutzinformationsdaten-ECC-Informationen zur Ausführung von Fehlerdetektion oder -korrektur an den Nutzinformationsdaten. Der Synthetisierungsteil 137 synthetisiert die komprimierten Bilddaten 135C oder die komprimierten Bilddaten 135D als die Nutzinformationsdaten mit den Übertragungsdaten 137A.
Zum Beispiel arrangiert der Synthetisierungsteil 137 Stücke der komprimierten Bilddaten 135C getrennt für jeweilige Pixelzeilen der komprimierten Bilddaten 135C in der Paketregion R2 der Übertragungsdaten 137A. Dementsprechend umfasst die Paketregion R2 der Übertragungsdaten 137A keine überlappten komprimierten Bilddaten, die den Bilddaten 135B der überlappten Region ROO entsprechen. Außerdem lässt der Synthetisierungsteil 137 eine Pixelzeile, die nicht allen Übertragungsbilddaten 135A der Bilddaten 111 entspricht, in der Paketregion R2 der Übertragungsdaten 137A weg. Dementsprechend umfasst die Paketregion R2 der Übertragungsdaten 137A keine Pixelzeile, die nicht allen Übertragungsbilddaten 135A der Bilddaten 111 entspricht. Es ist zu beachten, dass in der Paketregion R2 von 6 ein von einer gestrichelten Linie umgebener Teil den komprimierten Bilddaten der Bilddaten 135B über die überlappte Region ROO entspricht.
Eine Grenze zwischen einer Paketgruppe in der Nähe des Paketheaders PH (z. B. 1 (n) in 6) und einer von dem Paketheader PH entfernten Paketgruppe (z. B. 2 (1) in 6)) wird durch eine physische Regionenlänge XLa1 der ROI-Bilddaten 112 entsprechend den komprimierten Bilddaten der Paketgruppe in der Nähe des Paketheaders PH (z. B. 1 (n) in 6) spezifiziert. In den komprimierten Bilddaten entsprechend den Bilddaten 135B der überlappten Region ROO in der Paketgruppe in der Nähe des Paketheaders PH (z. B. 1 (n) in 6) wird die Startposition des Pakets durch eine physische Regionenlänge XLa2 der ROI-Bilddaten 112 entsprechend der von dem Paketheader PH entfernten Paketgruppe (z. B. 2 (1) in 6) spezifiziert.
Der Synthetisierungsteil 137 kann in die Nutzinformationsdaten des Lang-Pakets zum Beispiel zusätzlich zu Pixeldaten für eine Zeile in den komprimierten Bilddaten 135C zum Beispiel bei Erzeugung der Nutzinformationsdaten des Lang-Pakets für jede Zeile zum Beispiel in der Paketregion R2 der Übertragungsdaten 137A die ROI-Informationen 116 aufnehmen. Das heißt, der Synthetisierungsteil 137 kann die ROI-Informationen 116 zur Aufnahme in die Nutzinformationsdaten des Lang-Pakets senden. Zu diesem Zeitpunkt umfassen die ROI-Informationen 116 zum Beispiel die Anzahl der in den Bilddaten 111 enthaltenen ROI (die Anzahl der ROI), die Regionennummer jeder ROI (oder die Priorität 115), die Datenlänge jeder ROI und/oder das Bildformat jeder ROI. Die ROI-Informationen 116 werden vorzugsweise an einem Randteil auf der Seite des Paketheaders PH in den Nutzinformationsdaten des Lang-Pakets angeordnet (d.h., am Kopf der Nutzinformationsdaten des Lang-Pakets).
Die SLVS-EC-Verarbeitungseinheit 140 ist eine Schaltung, die die Übertragungsdaten 147A entsprechend den Übertragungsverfahren der SLVS-EC-Spezifikation auf der Basis der verschiedenen Arten von Daten (des einen oder der mehreren Stücke von ROI-Bilddaten 112, des einen oder der mehreren Stücke von ROI-Informationen 116 und der Rahmeninformationen 117), die von der gemeinsamen Verarbeitungseinheit 120 eingegeben werden, erzeugt und sendet. Falls ein Ausschneiden der ROI anweisendes Steuersignal über den Steuerbus B2 von dem Prozessor 200 eingegeben wird, sendet die SLVS-EC-Verarbeitungseinheit 140 ferner in den Nutzinformationsdaten die Bilddaten (komprimierten Bilddaten 145C) jeder ROI. Falls ein Ausgabe eines Normalbildes anweisendes Steuersignal über den Steuerbus B2 von dem Prozessor 200 eingegeben wird, sendet die SLVS-EC-Verarbeitungseinheit 140 außerdem Normalbilddaten (komprimierte Bilddaten 145D).
Die SLVS-EC-Verarbeitungseinheit 140 umfasst zum Beispiel ein LINK-Steuerteil 141, einen ECC-Erzeugungsteil 142, einen PH-Erzeugungsteil 143, einen EBD-Puffer 144, einen Codierungsteil 145, einen ROI-Datenpuffer 146 und den Synthetisierungsteil 147.
Zum Beispiel gibt der LINK-Steuerteil 141 die Rahmeninformationen 117 für jede Zeile an den ECC-Erzeugungsteil 142 und den PH-Erzeugungsteil 143 aus. Zum Beispiel auf der Basis von Daten einer Zeile (z. B. Rahmenstart, Rahmenende usw.) in den Rahmeninformationen 117 erzeugt der ECC-Erzeugungsteil 142 einen Fehlerkorrekturcode für die Zeile. Zum Beispiel gibt der ECC-Erzeugungsteil 142 den erzeugten Fehlerkorrekturcode an den PH-Erzeugungsteil 143 aus. Der PH-Erzeugungsteil 143 erzeugt den Paketheader für jede Zeile zum Beispiel unter Verwendung der Rahmeninformationen 117 und des durch den ECC-Erzeugungsteil 142 erzeugten Fehlerkorrekturcodes. Im Fall des Übertragens der Regionendaten setzt der PH-Erzeugungsteil 134 Informationen, die angeben, dass Informationen über die Region (z. B. Regionendaten) als der Headerinformationstyp gesendet werden, wie oben beschrieben auf eine erweiterte Region des Paketheaders. Außerdem setzt der PH-Erzeugungsteil 143 Informationen, die angeben, dass die Regionendaten durch Verwendung der Nutzinformationen gesendet werden, auf mindestens einen Teil der erweiterten Region. Zusätzlich setzt der PH-Erzeugungsteil 143 für ein Paket, in dem Koordinaten einer Region in die Nutzinformationen eingefügt werden, Informationen, die angeben, dass die Koordinaten der Region durch Verwendung der Nutzinformationen gesendet werden, auf mindestens einen Teil der erweiterten Region. Der PH-Erzeugungsteil 143 gibt den erzeugten Paketheader an den Synthetisierungsteil 147 aus. Es ist zu beachten, dass der PH-Erzeugungsteil 143 Regionendaten in den eingebetteten Daten platzieren kann, statt in den Nutzinformationen.
Der EBD-Puffer 144 speichert vorübergehend zusätzliche Informationen (das eine oder die mehreren Stücke von ROI-Informationen 116), die von der gemeinsamen Verarbeitungseinheit 120 gesendet werden, und gibt das eine oder die mehreren Stücke von ROI-Informationen 116 als die eingebetteten Daten mit einem vorbestimmten Timing an den Synthetisierungsteil 147 aus.
Falls ein Ausschneiden der ROI anweisendes Steuersignal über den Steuerbus B2 von dem Prozessor 200 eingegeben wird, erzeugt der Codierungsteil 145 eines oder mehrere Stücke von Übertragungsbilddaten 145A auf der Basis des einen oder der mehreren Stücke von ROI-Bilddaten 112, die aus den Bilddaten 111 erhalten werden, und der Priorität 115 entsprechend dem einen oder den mehreren Stücken von ROI-Bilddaten 112. Der Codierungsteil 145 erzeugt die mehreren Stücke von Übertragungsbilddaten 145A, die Auslassung der Bilddaten 145B aus dem einen oder den mehreren Stücken von ROI-Bilddaten 112, die aus den Bilddaten 111 erhalten werden, unterzogen wurden, um nicht zu erlauben, dass die Bilddaten 145B der überlappten Region ROO auf überlappte Weise in die mehreren Stücke von ROI-Bilddaten 112, die aus den Bilddaten 111 erhalten werden, aufgenommen werden.
Falls ein Ausschneiden der ROI anweisendes Steuersignal über den Steuerbus B2 von dem Prozessor 200 eingegeben wird, codiert der Codierungsteil 145 ferner das eine oder die mehreren Stücke von Übertragungsbilddaten 145A, um die komprimierten Bilddaten 145C zu erzeugen. Der Codierungsteil 145 komprimiert das eine oder die mehreren Stücke von Übertragungsbilddaten 145A durch eine Komprimierungsform oder dergleichen gemäß zum Beispiel der JPEG-Spezifikation, um dadurch die komprimierten Bilddaten 145C zu erzeugen. Falls ein Ausgabe eines Normalbildes anweisendes Steuersignal über den Steuerbus B2 von dem Prozessor 200 eingegeben wird, codiert der Codierungsteil 145 die Bilddaten 119, um die komprimierten Bilddaten 145D zu erzeugen. Der Codierungsteil 145 komprimiert die Bilddaten 119 durch ein Komprimierungsformat oder dergleichen zum Beispiel gemäß der JPEG-Spezifikation, um dadurch die komprimierten Bilddaten 145D zu erzeugen.
Der ROI-Datenpuffer 146 speichert vorübergehend die komprimierten Bilddaten 145C oder die komprimierten Bilddaten 145D und gibt die komprimierten Bilddaten 145C oder die komprimierten Bilddaten 145D mit einem vorbestimmten Timing an den Synthetisierungsteil 147 aus.
Der Synthetisierungsteil 147 erzeugt die Übertragungsdaten 147A auf der Basis der eingegebenen verschiedenen Arten von Daten (der Paketheader, die zusätzlichen Informationen und die komprimierten Bilddaten 145C oder die komprimierten Bilddaten 145D). Der Synthetisierungsteil 147 synthetisiert die ROI-Informationen 116 als die eingebetteten Daten mit den Übertragungsdaten 147A. Der Synthetisierungsteil 147 synthetisiert mit den Übertragungsdaten 147A die Headerinformationen einschließlich der eingebetteten Daten und der Header-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an den Headerinformationen. Der Synthetisierungsteil 147 gibt die erzeugten Übertragungsdaten 147A an die Übertragungseinheit 150 aus. Der Synthetisierungsteil 147 synthetisiert mit den Übertragungsdaten 147A die Nutzinformationsdaten-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an den Nutzinformationsdaten. Der Synthetisierungsteil 147 synthetisiert die komprimierten Bilddaten 145C oder die komprimierten Bilddaten 145D als die Nutzinformationsdaten mit den Übertragungsdaten 147A.
Falls zum Beispiel drei ROI (ROI1, ROI2 und ROI3) gesetzt sind, sendet der Synthetisierungsteil 147 in den Paketen A2 die Regioneninformationen über jede ROI als einen Teil der zusätzlichen Informationen (der eingebetteten Daten) und sendet in den Paketen A1 die Regionendaten entsprechend jeder ROI für jede Zeile.
Die Übertragungseinheit 150 sendet die Übertragungsdaten 137A oder die Übertragungsdaten 147A über den Datenbus B1 zu dem Prozessor 200. Die Übertragungseinheit 150 sendet ein von dem Synthetisierungsteil 137 oder dem Synthetisierungsteil 147 gesendetes Paket für jede Zeile über den Datenbus B1 zu dem Prozessor 200. Ein Ausgang der Übertragungseinheit 150 ist mit einem Ausgangsanschluss P1 gekoppelt, der zum Beispiel mit dem Datenbus B1 gekoppelt ist.
(Prozessor 200)
Als Nächstes erfolgt eine Beschreibung des Prozessors 200. 3 zeigt ein Beispiel für eine Auslegung des Prozessors 200. Die in 3 dargestellte Auslegung entspricht einem spezifischen Beispiel für einen CSI-Empfänger. Der Prozessor 200 ist zum Beispiel eine Vorrichtung, die Signale in einer gemeinsamen Spezifikation bezüglich der des Bildgebungssensors 100 (z. B. der MIPI-CSI-2-Spezifikation oder der MIPI-CSI-3 -Spezifikation und der SLVS-EC-Spezifikation) empfängt.
Der Prozessor 200 umfasst zum Beispiel eine MIPI-Verarbeitungseinheit 210, eine SLVS-EC-Verarbeitungseinheit 220 und eine gemeinsame Verarbeitungseinheit 230. Die MIPI-Verarbeitungseinheit 210 und die SLVS-EC-Verarbeitungseinheit 220 sind Schaltungen, die die über den Datenbus B1 von dem Bildsensor 100 ausgegebenen Übertragungsdaten 137A oder Übertragungsdaten 147A empfangen und vorbestimmte Verarbeitung an den empfangenen Übertragungsdaten ausführen, um dadurch verschiedene Arten von Daten (112, 116 und 117) zu erzeugen und diese an die gemeinsame Verarbeitungseinheit 230 auszugeben. Ein Eingang der MIPI-Verarbeitungseinheit 210 und ein Eingang der SLVS-EC-Verarbeitungseinheit 220 sind mit einem gemeinsamen Eingangsanschluss P2 gekoppelt, der zum Beispiel mit dem Datenbus B1 gekoppelt ist. Dadurch wird es möglich, die Anzahl der Eingangsanschlüsse verglichen mit einem Fall der getrennten Bereitstellung von Eingangsanschlüssen zu verringern. Die verschiedenen Arten von Daten (112, 116 und 117), die Ausgaben der MIPI-Verarbeitungseinheit 210 sind, und die verschiedenen Arten von Daten (112, 116 und 117), die Ausgaben der SLVS-EC-Verarbeitungseinheit 220 sind, weisen einander gleiche Datenformate auf.
Die gemeinsame Verarbeitungseinheit 230 ist eine Schaltung, die ROI-Bild 233A auf der Basis der verschiedenen Arten von Daten (112, 116 und 117) erzeugt, die von der MIPI-Verarbeitungseinheit 210 oder der SLVS-EC-Verarbeitungseinheit 220 empfangen werden. Die gemeinsame Verarbeitungseinheit 230 ist eine Schaltung, die auf der Basis der von der MIPI-Verarbeitungseinheit 210 oder der SLVS-EC-Verarbeitungseinheit 220 empfangenen Daten (119) das Normalbild 234A erzeugt. Die Ausgabe der MIPI-Verarbeitungseinheit 210 und die Ausgabe der SLVS-EC-Verarbeitungseinheit 220 weisen das einander gleiche Datenformat auf und somit umfasst die gemeinsame Verarbeitungseinheit 230 keine eigene Verarbeitungsschaltung für die Ausgabe der MIPI-Verarbeitungseinheit 210 und keine eigene Verarbeitungsschaltung für die Ausgabe der SLVS-EC-Verarbeitungseinheit 220. Das heißt, es ist möglich, dass die gemeinsame Verarbeitungseinheit 230 die Ausgaben sowohl der MIPI-Verarbeitungseinheit 210 als auch der SLVS-EC-Verarbeitungseinheit 220 unter Verwendung einer gemeinsamen Verarbeitungsschaltung verarbeitet.
Die MIPI-Verarbeitungseinheit 210 extrahiert das eine oder die mehreren Stücke von ROI-Bilddaten 112 und das eine oder die mehreren Stücke von ROI-Informationen 116 aus den Übertragungsdaten 137A entsprechend der MIPI-CSI-2-Spezifikation oder der MIPI-CSI-3-Spezifikation. Die MIPI-Verarbeitungseinheit 210 umfasst zum Beispiel einen Header-Trennteil 211, einen Header-Interpretationsteil 212, einen Nutzinformations-Trennteil 213, einen EBD-Interpretationsteil 214, einen ROI-Daten-Trennteil 215, einen Informationsextraktionsteil 216, einen ROI-Decodierungsteil 217 und einen Normalbild-Decodierungsteil 218.
Der Header-Trennteil 211 empfängt die Übertragungsdaten 137A von dem Bildsensor 100 über den Datenbus B1. Das heißt, der Header-Trennteil 211 nimmt die eingebetteten Daten, die ROI-Informationen 116 für jede ROI in den Bilddaten 111, auf und empfängt die Übertragungsdaten 137A einschließlich der Bilddaten (der komprimierten Bilddaten 135C) jeder ROI in den Nutzinformationsdaten des Lang-Pakets. Der Header-Trennteil 211 trennt die empfangenen Übertragungsdaten 137A gemäß einer Regel, die durch die MIPI-CSI-2-Spezifikation oder die MIPI-CSI-3-Spezifikation definiert wird. Der Header-Trennteil 211 trennt die empfangenen Übertragungsdaten 137A für die Headerregion R1 und die Paketregion R2.
Der Header-Interpretationsteil 212 spezifiziert eine Position der Nutzinformationsdaten des Lang-Pakets, die in der Paketregion R2 enthalten ist, auf der Basis der Daten (speziell der eingebetteten Daten), die in der Headerregion R1 enthalten sind. Der Nutzinformations-Trennteil 213 trennt die Nutzinformationsdaten des Lang-Pakets, die in der Paketregion R2 enthalten sind, von der Paketregion R2 auf der Basis der Position der Nutzinformationsdaten des Lang-Pakets, die durch den Header-Interpretationsteil 212 spezifiziert wird.
Der EBD-Interpretationsteil 214 gibt die eingebetteten Daten als EBD-Daten 214A an den Informationsextraktionsteil 216 aus. Der EBD-Interpretationsteil 214 bestimmt ferner aus in den eingebetteten Daten enthaltenen Datentypen, ob die in den Nutzinformationsdaten des Lang-Pakets enthaltenen Bilddaten die komprimierten Bilddaten 135C der Bilddaten der ROI (die ROI-Bilddaten 112) oder die komprimierten Bilddaten 135D der Normalbilddaten (der Bilddaten 119) sind. Der EBD-Interpretationsteil 214 gibt ein Bestimmungsergebnis an den ROI-Datentrennteil 215 aus.
Falls die in den Nutzinformationsdaten des Lang-Pakets enthaltenen Bilddaten die komprimierten Bilddaten 135C der Bilddaten der ROI (die ROI-Bilddaten 112) sind, gibt der ROI-Datentrennteil 215 die Nutzinformationsdaten des Lang-Pakets als Nutzinformationsdaten 215A an den ROI-Decodierungsteil 217 aus. Falls die in den Nutzinformationsdaten enthaltenen Bilddaten die komprimierten Bilddaten 135D der Normalbilddaten (die Bilddaten 119) sind, gibt der ROI-Datentrennteil 215 die Nutzinformationsdaten des Lang-Pakets als Nutzinformationsdaten 215B an den Normalbild-Decodierungsteil 218 aus. Falls die Nutzinformationsdaten des Lang-Pakets die ROI-Informationen 116 umfassen, umfassen die Nutzinformationsdaten 215A die ROI-Informationen 116 und Pixeldaten für eine Zeile der komprimierten Bilddaten 135C.
Der Informationsextraktionsteil 216 extrahiert das eine oder die mehreren Stücke von ROI-Informationen 116 aus den in den EBD-Daten 214A enthaltenen eingebetteten Daten. Zum Beispiel extrahiert der Informationsextraktionsteil 216 aus den in den EBD-Daten 214A enthaltenen eingebetteten Daten zum Beispiel die Anzahl der in den Bilddaten 111 enthaltenen ROI, die Regionennummer (oder Priorität 115) jeder ROI, die Datenlänge jeder ROI und das Bildformat jeder ROI. Das heißt, die Übertragungsdaten 137A umfassen die Regionennummer (oder Priorität 115) der ROI entsprechend allen ROI-Bilddaten 112 als Bestimmungsinformationen, die bestimmen können, welche der mehreren Stücke von ROI-Bilddaten 112, die aus solchen Übertragungsdaten 137A erhalten werden, Auslassung eines Bildes 118 der überlappten Region ROO unterzogen wurden.
Der Informationsextraktionsteil 216 extrahiert aus den in den EBD-Daten 214A enthaltenen eingebetteten Daten zum Beispiel die Koordinaten (z. B. Obere-Linke-Kante-Koordinaten (Xa1, Ya1)), die Länge (z. B. physische Regionenlänge XLa1, YLa1) und die Regionennummer eins (oder Priorität 115 (=1)) der ROI entsprechend Eine-ROI-Bilddaten 112. Der Informationsextraktionsteil 216 extrahiert ferner aus den in den EBD-Daten 214A enthaltenen eingebetteten Daten zum Beispiel die Koordinaten (z. B. Obere-Linke-Kante-Koordinaten (Xa2, Ya2)), die Länge (z. B. physische Regionenlänge XLa2, YLa2) und die Regionennummer zwei (oder Priorität 115 (=2)) der ROI entsprechend den Andere-ROI-Bilddaten 112.
Der Normalbild-Decodierungsteil 218 decodiert die Nutzinformationsdaten 215B, um Normalbilddaten 218A zu erzeugen. Der ROI-Decodierungsteil 217 decodiert die komprimierten Bilddaten 137B, die in den Nutzinformationsdaten 215A enthalten sind, um Bilddaten 217A zu erzeugen. Die Bilddaten 217A umfassen das eine oder die mehreren Stücke von ROI-Bilddaten 112.
Die SLVS-EC-Verarbeitungseinheit 220 extrahiert das eine oder die mehreren Stücke von ROI-Bilddaten 112 und das eine oder die mehreren Stücke von ROI-Informationen 116 aus den Übertragungsdaten 147A entsprechend der SLVS-EC-Spezifikation. Die SLVS-EC-Verarbeitungseinheit 220 umfasst zum Beispiel einen Header-Trennteil 221, einen Header-Interpretationsteil 222, einen Nutzinformations-Trennteil 223, einen EBD-Interpretationsteil 224, einen ROI-Daten-Trennteil 225, einen Informationsextraktionsteil 226, einen ROI-Decodierungsteil 227 und einen Normalbild-Decodierungsteil 228.
Der Header-Trennteil 221 empfängt die Übertragungsdaten 147A von dem Bildsensor 100 über den Datenbus B1. Der Header-Trennteil 211 trennt die empfangenen Übertragungsdaten 147A gemäß einer durch die SLVS-EC-Spezifikation definierten Regel.
Der Header-Interpretationsteil 222 interpretiert durch Headerdaten angegebene Inhalte. Als ein spezifisches Beispiel erkennt der Header-Interpretationsteil 222 gemäß dem in drei Bit am Kopf der erweiterten Region des Paketheaders gesetzten Header-Informationstyp ein Format von Informationen, das in einer anderen Region außer solchen drei Bit am Kopf der erweiterten Region gesetzt ist. Dann liest der Header Interpretationsteil 222 verschiedene Arten von Informationen, die in der erweiterten Region gesetzt sind, gemäß einem Erkennungsergebnis eines solchen Formats. Dadurch kann der Header-Interpretationsteil 222 erkennen, dass Informationen über die Region (ROI) (z. B. Regionendaten) gesendet werden oder dass die Nutzinformationen zum Beispiel zum Senden der Koordinaten der Region benutzt werden, auf der Basis der in der erweiterten Region gesetzten Informationen. Dann benachrichtigt der Header-Interpretationsteil 222 den Nutzinformations-Trennteil 223 über erkannte Einstellungen gemäß einem Leseergebnis der verschiedenen Arten von Informationen, die in der erweiterten Region gesetzt sind. Speziell benachrichtigt der Header-Interpretationsteil 222, falls erkannt wird, dass die Informationen über die Region (ROI) (z. B. die Regionendaten) gesendet werden, oder dass die Nutzinformationen zum Senden der Koordinaten der Region benutzt werden, den Nutzinformations-Trennteil 223 über ein solches Erkennungsergebnis.
Auf der Basis eines Interpretationsergebnisses in dem Header-Interpretationsteil 222 trennt der Nutzinformations-Trennteil 223 die zusätzlichen Informationen und die Bilddaten (Normaldaten oder Regionendaten) von den Nutzinformationsdaten. Falls zum Beispiel das zu verarbeitende Paket das Paket A2 oder A3 ist, kann der Nutzinformations-Trennteil 223 die zusätzlichen Informationen (die eingebetteten Daten) von dem Paket trennen.
Als ein anderes Beispiel trennt, falls das zu verarbeitende Paket das Paket A1 ist, der Nutzinformations-Trennteil 223 die Bilddaten von den Nutzinformationsdaten. Falls zum Beispiel die Regionendaten in den Nutzinformationen gespeichert sind, kann der Nutzinformations-Trennteil 223 solche Regionendaten abhängig von einem Interpretationsergebnis des Paketheaders von den Nutzinformationsdaten trennen. Außerdem kann der Nutzinformations-Trennteil 223 zu diesem Zeitpunkt die in den Kopfteil der Nutzinformation eingefügten Koordinaten der Region (d. h. die X-Y-Koordinaten der Teilregion) abhängig von dem Interpretationsergebnis des Paketheaders trennen. Zusätzlich kann, falls die Normaldaten in den Nutzinformationen gespeichert sind, der Nutzinformations-Trennteil 223 solche Normaldaten abhängig von dem Interpretationsergebnis des Paketheaders von den Nutzinformationsdaten trennen.
Der Nutzinformations-Trennteil 223 sendet die zusätzlichen Informationen unter verschiedenen Arten von Daten, die von den Nutzinformationsdaten getrennt sind, zu dem EBD-Interpretationsteil 224. Außerdem sendet der Nutzinformations-Trennteil 223 die Bilddaten (die Regionendaten oder die Normaldaten) unter verschiedenen Arten von Daten, die von den Nutzinformationsdaten getrennt sind, zu dem ROI-Datentrennteil 225. Zusätzlich kann zu diesem Zeitpunkt der Nutzinformations-Trennteil 223 die Regionendaten mit den Koordinaten einer solchen Regionendaten entsprechenden Region (d. h. den X-Y-Koordinaten der Teilregion) vor der Übertragung zu dem ROI-Datentrennteil 225 assoziieren.
Der EBD-Interpretationsteil 224 interpretiert Inhalte der zusätzlichen Informationen (eingebetteten Daten), um ein Interpretationsergebnis 224A solcher zusätzlichen Informationen an den Informationsextraktionsteil 226 auszugeben. Außerdem kann der EBD-Interpretationsteil 224 das Interpretationsergebnis 224A solcher zusätzlichen Informationen zu dem ROI-Datentrennteil 225 senden. Es ist zu beachten, dass das Format der zusätzlichen Informationen (eingebetteten Daten) wie oben mit Bezug auf 9 beschrieben ist.
Falls die von dem Nutzinformations-Trennteil 223 gesendeten Bilddaten die komprimierten Bilddaten 120A der ROI-Bilddaten 112 sind, gibt der ROI-Datentrennteil 225 als die Nutzinformationsdaten 215A die von den Nutzinformationsdaten getrennten Bilddaten an den ROI-Decodierungsteil 227 aus. Falls die von dem Nutzinformations-Trennteil 223 gesendeten Bilddaten die komprimierten Bilddaten 130A der Normalbilddaten sind, gibt der ROI-Datentrennteil 225 als die Nutzinformationsdaten 215B die von den Nutzinformationsdaten getrennten Bilddaten an den Normalbild-Decodierungsteil 228 aus.
Der Informationsextraktionsteil 226 extrahiert die ROI-Informationen 116 aus dem Interpretationsergebnis 224A der zusätzlichen Informationen. Zum Beispiel extrahiert der Informationsextraktionsteil 226 aus dem Interpretationsergebnis 224A der zusätzlichen Informationen zum Beispiel die Anzahl der in den Bilddaten 111 enthaltenen ROI, die Regionennummer (oder Priorität 115) jeder ROI, die Datenlänge jeder ROI und das Bildformat jeder ROI. Das heißt, die Übertragungsdaten 147A umfassen die Regionennummer (oder Priorität 115) der ROI entsprechend allen ROI-Bilddaten 112, als Bestimmungsinformationen, die bestimmen können, welche der mehreren Stücke von ROI-Bilddaten 112, die aus solchen Übertragungsdaten 147A erhalten werden, Weglassung des Bildes 118 der überlappten Region ROO unterzogen wurden.
Der Normalbild-Decodierungsteil 228 decodiert die Nutzinformationsdaten 225B, um die Normalbilddaten 228A zu erzeugen. Der ROI-Decodierungsteil 227 decodiert die in den Nutzinformationsdaten 225A enthaltenen komprimierten Bilddaten 147B, um die Bilddaten 227A zu erzeugen. Die Bilddaten 227A umfassen das eine oder die mehreren Stücke von ROI-Bilddaten 112.
Die gemeinsame Verarbeitungseinheit 230 erzeugt das eine oder die mehreren Stücke von ROI-Bilddaten 112, die in den Bilddaten 111 enthalten sind, auf der Basis der Ausgabe der MIPI-Verarbeitungseinheit 210 oder der SLVS-EC-Verarbeitungseinheit 220. Die gemeinsame Verarbeitungseinheit 230 erzeugt auch die Bilddaten 111 als das Normalbild auf der Basis der Ausgabe der MIPI-Verarbeitungseinheit 210 oder der SLVS-EC-Verarbeitungseinheit 220. Falls der Prozessor 200 ein Ausschneiden der ROI anweisendes Steuersignal über den Steuerbus B2 in den Bildsensor 100 eingibt, führt die gemeinsame Verarbeitungseinheit 230 Bildverarbeitung auf der Basis der erzeugten mehreren Stücke von ROI-Bilddaten 112 aus. Falls der Prozessor 200 ein Ausgabe des Normalbilds anweisendes Steuersignal über den Steuerbus B2 in den Bildsensor 100 eingibt, führt die gemeinsame Verarbeitungseinheit 230 Bildverarbeitung auf der Basis der erzeugten Bilddaten 111 aus.
Die gemeinsame Verarbeitungseinheit 230 umfasst zum Beispiel drei Auswahlteile 231, 232 und 234, einen ROI-Bilderzeugungsteil 233 und einen Bildverarbeitungsteil 235.
Die zwei Auswahlteile 231 und 232 wählen jeweils die Ausgabe der MIPI-Verarbeitungseinheit 210 (des Informationsextraktionsteils 216 und des ROI-Decodierungsteils 217) oder der SLVS-EC-Verarbeitungseinheit 220 (des Informationsextraktionsteils 226 und des ROI-Decodierungsteils 227), um die ausgewählte Ausgabe an den ROI-Bilderzeugungsteil 233 auszugeben. Der Auswahlteil 234 wählt die Ausgabe der MIPI-Verarbeitungseinheit 210 (des Normalbild-Decodierungsteils 218) oder der SLVS-EC-Verarbeitungseinheit 220 (des Normalbild-Decodierungsteils 228) um die ausgewählte Ausgabe an den Bildverarbeitungsteil 235 auszugeben.
Der ROI-Bilderzeugungsteil 233 erzeugt das Bild jeder ROI (die ROI-Bilddaten 112) in den Bilddaten 111 auf der Basis der zwei Auswahl-Auswahlen 231 und 232. Falls der Prozessor 200 ein Ausschneiden der ROI anweisendes Steuersignal über den Steuerbus B2 in den Bildsensor 100 eingibt, führt der Bildverarbeitungsteil 235 Bildverarbeitung unter Verwendung des Bildes jeder ROI (der ROI-Bilddaten 112) in den Bilddaten 111 aus. Zwischenzeitlich führt, falls der Prozessor 200 ein Ausgabe des Normalbildes anweisendes Steuersignal über den Steuerbus B2 in den Bildsensor 100 eingibt, der Bildverarbeitungsteil 235 Bildverarbeitung unter Verwendung der Bilddaten 111 aus.
[Effekte]
Als Nächstes erfolgt eine Beschreibung von Effekten des Kommunikationssystems 1000 gemäß der vorliegenden Ausführungsform.
In den letzten Jahren haben Anwendungen zum Übertragen großer Mengen von Daten mit einem großen Datenvolumen zugenommen. Übertragungssysteme werden wahrscheinlich stark belastet, und im ungünstigsten Fall besteht eine Möglichkeit, dass die Übertragungssysteme versagen und Datenübertragung nicht durchgeführt werden kann.
Um Versagen der Übertragungssysteme zu verhindern, wurde zum Beispiel, statt die Gesamtheit eines fotografierten Bildes zu übertragen, nur ein durch Spezifizieren eines zu fotografierenden Objekts und Ausschneiden des spezifizierten Objekts erhaltenes Teilbild übertragen.
Im Übrigen kann in einigen Fällen als zur Übertragung von einem Bildsensor zu einem Anwendungsprozessor verwendetes Verfahren MIPI-CSI-2, MIPI-CSI-3 oder dergleichen verwendet werden. Zusätzlich kann in einigen Fällen als zur Übertragung von einem Anwendungsprozessor zu einer Anzeige verwendetes Verfahren SLVS-EC oder dergleichen verwendet werden.
Falls diese Verfahren zum Übertragen einer aus einem erfassten Bild ausgeschnittenen Teilregion (ROI (interessierende Region)) verwendet werden, ist es zur Anpassung an mehrere Übertragungsverfahren notwendig, für jedes der entsprechenden Übertragungsverfahren einen Sender und einen Empfänger bereitzustellen, was Verbesserungen im Hinblick auf Kosten und Vorrichtungsgrößen erfordert.
In der Zwischenzeit sind in der vorliegenden Ausführungsform sowohl der Bildsensor 100 als auch der Prozessor 200 an die zwei Übertragungsverfahren (MIPI-CSI-2 oder MIPI-CSI-3 und SLVS-EC) angepasst. In den Bildsensor 100 wird hier ein Verarbeitungsblock (die gemeinsame Verarbeitungseinheit 120), der MIPI-CSI-2 oder MIPI CSI-3 und SLVS-EC gemeinsam sein kann, geteilt. Ferner wird in dem Prozessor 200 ein Verarbeitungsblock (die gemeinsame Verarbeitungseinheit 230), die MIPI-CSI-2 oder MIPI-CSI-3 und SLVS-EC gemeinsam sein kann, geteilt.
Speziell wird in dem Bildsensor 100 ein Verarbeitungsblock geteilt, der Verarbeitung des Ausschneidens der ROI-Bilddaten 112 aus den Bilddaten 111, die durch die Bildgebungseinheit 110 erhalten werden, und Verarbeitung des Erzeugens der Informationen (der ROI-Informationen 116 und der Rahmeninformationen 117), die zum Erzeugen von Stücken der Übertragungsdaten 137A und 147A entsprechend den jeweiligen Übertragungsverfahren notwendig sind, ausführt. Außerdem wird in dem Prozessor 200 ein Verarbeitungsblock geteilt, der Verarbeitung des Erzeugens (Wiederherstellens) der ROI-Bilddaten 112 ausführt. Dadurch wird es möglich, die Größe der Schaltung zu verringern und somit die Kosten zu verringern, verglichen mit einem Fall, in dem Verarbeitungsblöcke getrennt bereitgestellt werden, um an MIPI-CSI-2 oder MIPI-CSI-3 und SLVS-EC angepasst zu sein.
<2. Modifikationsbeispiel>
Bei der obigen Ausführungsform wurden MIPI-CSI-2 oder MIPI-CSI-3 und SLVS-EC als mehrere anpassbare Übertragungsverfahren erwähnt. Bei der obigen Ausführungsform ist es jedoch selbst in einem Fall des Anpassens an mehrere Übertragungsverfahren, die davon verschieden sind, auf der Seite des Senders möglich, den Verarbeitungsblock, der Verarbeitung des Ausschneidens der ROI-Bilddaten aus den Bilddaten, die aus Bildgebung erhalten werden, und Verarbeitung des Erzeugens der Informationen (ROI-Informationen und Rahmeninformationen), die zur Erzeugung der Übertragungsdaten notwendig sind, ausführt, zu teilen. Außerdem ist es auf der Seite des Empfängers möglich, den Verarbeitungsblock zu teilen, der Verarbeitung des Erzeugens (Wiederherstellens) der ROI-Bilddaten ausführt.
Obwohl die Beschreibung der vorliegenden Offenbarung oben unter Bezugnahme auf die Ausführungsform und das Modifikationsbeispiel davon gegeben wurde, ist die vorliegende Offenbarung nicht auf die obige Ausführungsform usw. beschränkt, und es können verschiedene Modifikationen vorgenommen werden. Es ist zu beachten, dass die hier beschriebenen Effekte lediglich veranschaulichend sind. Die Effekte der vorliegenden Offenbarung sind nicht auf die hier beschriebenen beschränkt. Die vorliegende Offenbarung kann andere Effekte als die hier beschriebenen aufweisen.
Zusätzlich kann die vorliegende Offenbarung zum Beispiel die folgenden Auslegungen aufweisen.
(1)
Ein Sender, umfassend:

einen Ausschneideteil, der aus durch Bildgebung erhaltenen Bilddaten ein oder mehrere Stücke von in den Bilddaten enthaltenen Bilddaten einer ROI (interessierenden Region) ausschneidet;
einen Ableitungsteil, der ROI-Positionsinformationen in den Bilddaten ableitet;
eine erste Verarbeitungseinheit, die auf einer Basis des einen oder der mehreren Stücke von ROI-Bilddaten und eines oder mehrerer Stücke von ROI-Positionsinformationen in den Bilddaten erste Übertragungsdaten erzeugt, die einem ersten Übertragungsverfahren entsprechen; und
eine zweite Verarbeitungseinheit, die auf einer Basis des einen oder der mehreren Stücke von ROI-Bilddaten und eines oder mehrerer Stücke von ROI-Positionsinformationen in den Bilddaten erste Übertragungsdaten erzeugt, die einem zweiten Übertragungsverfahren entsprechen.

(2)
Der Sender nach (1), wobei

die erste Verarbeitungseinheit das eine oder die mehreren Stücke der ROI-Positionsinformationen als eingebettete Daten mit den ersten Übertragungsdaten synthetisiert und
die zweite Verarbeitungseinheit das eine oder die mehreren Stücke der ROI-Positionsinformationen als eingebettete Daten mit den zweiten Übertragungsdaten synthetisiert.

(3)
Der Sender nach (2), wobei

die erste Verarbeitungseinheit mit den ersten Übertragungsdaten Headerinformationen synthetisiert, die die eingebetteten Daten und Header-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an den Headerinformationen umfassen, und
die zweite Verarbeitungseinheit mit den zweiten Übertragungsdaten Headerinformationen synthetisiert, die die eingebetteten Daten und Header-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an den Headerinformationen umfassen.

(4)
Der Sender nach (1), wobei

die erste Verarbeitungseinheit das eine oder die mehreren Stücke von ROI-Bilddaten als Nutzinformationsdaten mit den ersten Übertragungsdaten synthetisiert und
die zweiten Verarbeitungseinheit das eine oder die mehreren Stücke von ROI-Bilddaten als Nutzinformationsdaten mit den zweiten Übertragungsdaten synthetisiert.

(5)
Der Sender nach (4), wobei

die erste Verarbeitungseinheit mit den ersten Übertragungsdaten Nutzinformationsdaten-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an den Nutzinformationsdaten synthetisiert und
die zweite Verarbeitungseinheit mit den zweiten Übertragungsdaten Nutzinformationsdaten-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an den Nutzinformationsdaten synthetisiert.

(6)
Der Sender nach Anspruch (1), wobei

die erste Verarbeitungseinheit mit den ersten Übertragungsdaten das eine oder die mehreren Stücke der ROI-Positionsinformationen als eingebettete Daten und das eine oder die mehreren Stücke von ROI-Bilddaten als Nutzinformationsdaten synthetisiert,
die zweite Verarbeitungseinheit mit den zweiten Übertragungsdaten das eine oder die mehreren Stücke der ROI-Positionsinformationen als eingebettete Daten und das eine oder die mehreren Stücke von ROI-Bilddaten als Nutzinformationsdaten synthetisiert,
die erste Verarbeitungseinheit mit den ersten Übertragungsdaten Headerinformationen, die die eingebetteten Daten umfassen, Header-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an den Headerinformationen und/oder Nutzinformationsdaten-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an einem Paketfuß oder den Nutzinformationsdaten synthetisiert und
die zweite Verarbeitungseinheit mit den zweiten Übertragungsdaten Headerinformationen, die die eingebetteten Daten umfassen, Header-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an den Headerinformationen und/oder Nutzinformationsdaten-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an einem Paketfuß oder den Nutzinformationsdaten synthetisiert.

(7)
Ein Empfänger, umfassend:

eine erste Verarbeitungseinheit, die ein oder mehrere Stücke von Bilddaten und ein oder mehrere Stücke von Positionsinformationen aus ersten Übertragungsdaten extrahiert, die einem ersten Übertragungsverfahren entsprechen;
eine zweite Verarbeitungseinheit, die ein oder mehrere Stücke von Bilddaten und ein oder mehrere Stücke von Positionsinformationen aus zweiten Übertragungsdaten extrahiert, die einem zweiten Übertragungsverfahren entsprechen; und
einen Erzeugungsteil, der ein oder mehrere Stücke von ROI-Bilddaten, die in durch Bildgebung erhaltenen erfassten Bilddaten enthalten sind, auf einer Basis des einen oder der mehreren Stücke von Bilddaten und des einen oder der mehreren Stücke von Positionsinformationen, die durch die erste Verarbeitungseinheit oder die zweite Verarbeitungseinheit extrahiert werden, erzeugt.

(8)
Der Empfänger nach (7), wobei

die erste Verarbeitungseinheit das eine oder die mehreren Stücke von Positionsinformationen aus in den ersten Übertragungsdaten enthaltenen eingebetteten Daten extrahiert und
die zweite Verarbeitungseinheit das eine oder die mehreren Stücke von Positionsinformationen aus in den zweiten Übertragungsdaten enthaltenen eingebetteten Daten extrahiert.

(9)
Der Empfänger nach (7), wobei

die erste Verarbeitungseinheit das eine oder die mehreren Stücke von Bilddaten aus in den ersten Übertragungsdaten enthaltenen Nutzinformationsdaten extrahiert und
die zweite Verarbeitungseinheit das eine oder die mehreren Stücke von Bilddaten aus in den zweiten Übertragungsdaten enthaltenen Nutzinformationsdaten extrahiert.

(10)
Ein Kommunikationssystem, umfassend:

einen Sender; und
einen Empfänger,
wobei der Sender Folgendes umfasst:
- einen Ausschneideteil, der aus durch Bildgebung erhaltenen Bilddaten ein oder mehrere Stücke von in den Bilddaten enthaltenen ROI-Bilddaten ausschneidet,
- einen Ableitungsteil, der ROI-Positionsinformationen in den Bilddaten ableitet,
- eine erste Verarbeitungseinheit, die auf einer Basis des einen oder der mehreren Stücke von ROI-Bilddaten und eines oder mehrerer Stücke von ROI-Positionsinformationen in den Bilddaten erste Übertragungsdaten erzeugt, die einem ersten Übertragungsverfahren entsprechen; und
eine zweite Verarbeitungseinheit, die auf einer Basis des einen oder der mehreren Stücke von ROI-Bilddaten und eines oder mehrerer Stücke von ROI-Positionsinformationen in den Bilddaten zweite Übertragungsdaten erzeugt, die einem zweiten Übertragungsverfahren entsprechen, und
der Empfänger Folgendes umfasst:
- eine erste Verarbeitungseinheit, die ein oder mehrere Stücke von Bilddaten und das eine oder die mehreren Stücke von Positionsinformationen aus den ersten Übertragungsdaten extrahiert,
- eine zweite Verarbeitungseinheit, die ein oder mehrere Stücke von Bilddaten und das eine oder die mehreren Stücke von Positionsinformationen aus den zweiten Übertragungsdaten extrahiert, und
- einen Erzeugungsteil, der auf einer Basis des einen oder der mehreren Stücke von Bilddaten und des einen oder der mehreren Stücke von Positionsinformationen, die durch die erste Verarbeitungseinheit oder die zweite Verarbeitungseinheit extrahiert werden, ein oder mehrere Stücke von in den Bilddaten enthaltenen ROI-Bilddaten erzeugt.

Gemäß den Sender einer Ausführungsform der vorliegenden Offenbarung teilen sich das erste Übertragungsverfahren und das zweite Übertragungsverfahren einen Verarbeitungsblock, der aus durch Bildgebung erhaltenen Bilddaten das eine oder die mehreren Stücke von ROI-Bilddaten, die in den Bilddaten enthalten sind, ausschneidet und die ROI-Positionsinformationen in den Bilddaten ableitet, so dass es möglich wird, sich an mehrere Übertragungsverfahren anzupassen.
Außerdem teilen sich das erste Übertragungsverfahren und das zweite Übertragungsverfahren gemäß dem Empfänger einer Ausführungsform der vorliegenden Offenbarung einen Verarbeitungsblock, der Verarbeitung des Erzeugens des einen oder der mehreren Stücke von ROI-Bilddaten ausführt, so dass es möglich wird, sich an mehrere Übertragungsverfahren anzupassen.
Außerdem teilen sich das erste Übertragungsverfahren und das zweite Übertragungsverfahren gemäß dem Kommunikationssystem eine Ausführungsform der vorliegenden Offenbarung einen Verarbeitungsblock, der aus durch Bildgebung erhaltenen Bilddaten das eine oder die mehreren Stücke von ROI-Bilddaten, die in den Bilddaten enthalten sind, ausschneidet und die ROI-Positionsinformationen in den Bilddaten ableitet, und einen Verarbeitungsblock, der Verarbeitung des Erzeugens des einen oder der mehreren Stücke von ROI-Bilddaten ausführt, so dass es möglich wird, sich an mehrere Übertragungsverfahren anzupassen.
Es ist zu beachten, dass Effekte der vorliegenden Offenbarung nicht unbedingt auf die hier beschriebenen Effekte beschränkt sind und beliebige der in der vorliegenden Patentschrift beschriebenen Effekte sein können.
Die vorliegende Anmeldung beansprucht den Nutzen der japanischen Prioritätspatentanmeldung JP2019-139884 , eingereicht beim japanischen Patentamt am 30.07.2019, deren gesamte Inhalte hiermit durch Bezugnahme aufgenommen werden.
Für Fachleute ist erkennbar, dass verschiedene Modifikationen, Kombinationen, Subkombinationen und Abänderungen abhängig von Entwurfsanforderungen und anderen Faktoren auftreten können, soweit sie im Schutzumfang der angefügten Ansprüche oder ihrer Äquivalente liegen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2019139884 [0150]

Claims

Sender, umfassend: einen Ausschneideteil, der aus durch Bildgebung erhaltenen Bilddaten ein oder mehrere Stücke von in den Bilddaten enthaltenen Bilddaten einer ROI (interessierenden Region) ausschneidet; einen Ableitungsteil, der ROI-Positionsinformationen in den Bilddaten ableitet; eine erste Verarbeitungseinheit, die auf einer Basis des einen oder der mehreren Stücke von ROI-Bilddaten und eines oder mehrerer Stücke von ROI-Positionsinformationen in den Bilddaten erste Übertragungsdaten erzeugt, die einem ersten Übertragungsverfahren entsprechen; und eine zweite Verarbeitungseinheit, die auf einer Basis des einen oder der mehreren Stücke von ROI-Bilddaten und eines oder mehrerer Stücke von ROI-Positionsinformationen in den Bilddaten erste Übertragungsdaten erzeugt, die einem zweiten Übertragungsverfahren entsprechen.
Sender nach Anspruch 1, wobei die erste Verarbeitungseinheit das eine oder die mehreren Stücke der ROI-Positionsinformationen als eingebettete Daten mit den ersten Übertragungsdaten synthetisiert und die zweite Verarbeitungseinheit das eine oder die mehreren Stücke der ROI-Positionsinformationen als eingebettete Daten mit den zweiten Übertragungsdaten synthetisiert.
Sender nach Anspruch 2, wobei die erste Verarbeitungseinheit mit den ersten Übertragungsdaten Headerinformationen synthetisiert, die die eingebetteten Daten und Header-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an den Headerinformationen umfassen, und die zweite Verarbeitungseinheit mit den zweiten Übertragungsdaten Headerinformationen synthetisiert, die die eingebetteten Daten und Header-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an den Headerinformationen umfassen.
Sender nach Anspruch 1, wobei die erste Verarbeitungseinheit das eine oder die mehreren Stücke von ROI-Bilddaten als Nutzinformationsdaten mit den ersten Übertragungsdaten synthetisiert und die zweiten Verarbeitungseinheit das eine oder die mehreren Stücke von ROI-Bilddaten als Nutzinformationsdaten mit den zweiten Übertragungsdaten synthetisiert.
Sender nach Anspruch 4, wobei die erste Verarbeitungseinheit mit den ersten Übertragungsdaten Nutzinformationsdaten-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an den Nutzinformationsdaten synthetisiert und die zweite Verarbeitungseinheit mit den zweiten Übertragungsdaten Nutzinformationsdaten-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an den Nutzinformationsdaten synthetisiert.
Sender nach Anspruch 1, wobei die erste Verarbeitungseinheit mit den ersten Übertragungsdaten das eine oder die mehreren Stücke der ROI-Positionsinformationen als eingebettete Daten und das eine oder die mehreren Stücke von ROI-Bilddaten als Nutzinformationsdaten synthetisiert, die zweite Verarbeitungseinheit mit den zweiten Übertragungsdaten das eine oder die mehreren Stücke der ROI-Positionsinformationen als eingebettete Daten und das eine oder die mehreren Stücke von ROI-Bilddaten als Nutzinformationsdaten synthetisiert, die erste Verarbeitungseinheit mit den ersten Übertragungsdaten Headerinformationen, die die eingebetteten Daten umfassen, Header-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an den Headerinformationen und/oder Nutzinformationsdaten-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an einem Paketfuß oder den Nutzinformationsdaten synthetisiert und die zweite Verarbeitungseinheit mit den zweiten Übertragungsdaten Headerinformationen, die die eingebetteten Daten umfassen, Header-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an den Headerinformationen und/oder Nutzinformationsdaten-ECC-Informationen zum Ausführen von Fehlerdetektion oder -korrektur an einem Paketfuß oder den Nutzinformationsdaten synthetisiert.
Empfänger, umfassend: eine erste Verarbeitungseinheit, die ein oder mehrere Stücke von Bilddaten und ein oder mehrere Stücke von Positionsinformationen aus ersten Übertragungsdaten extrahiert, die einem ersten Übertragungsverfahren entsprechen; eine zweite Verarbeitungseinheit, die ein oder mehrere Stücke von Bilddaten und ein oder mehrere Stücke von Positionsinformationen aus zweiten Übertragungsdaten extrahiert, die einem zweiten Übertragungsverfahren entsprechen; und einen Erzeugungsteil, der ein oder mehrere Stücke von ROI-Bilddaten, die in durch Bildgebung erhaltenen erfassten Bilddaten enthalten sind, auf einer Basis des einen oder der mehreren Stücke von Bilddaten und des einen oder der mehreren Stücke von Positionsinformationen, die durch die erste Verarbeitungseinheit oder die zweite Verarbeitungseinheit extrahiert werden, erzeugt.
Empfänger nach Anspruch 7, wobei die erste Verarbeitungseinheit das eine oder die mehreren Stücke von Positionsinformationen aus in den ersten Übertragungsdaten enthaltenen eingebetteten Daten extrahiert und die zweite Verarbeitungseinheit das eine oder die mehreren Stücke von Positionsinformationen aus in den zweiten Übertragungsdaten enthaltenen eingebetteten Daten extrahiert.
Empfänger nach Anspruch 7, wobei die erste Verarbeitungseinheit das eine oder die mehreren Stücke von Bilddaten aus in den ersten Übertragungsdaten enthaltenen Nutzinformationsdaten extrahiert und die zweite Verarbeitungseinheit das eine oder die mehreren Stücke von Bilddaten aus in den zweiten Übertragungsdaten enthaltenen Nutzinformationsdaten extrahiert.
Kommunikationssystem, umfassend: einen Sender; und einen Empfänger, wobei der Sender Folgendes umfasst: einen Ausschneideteil, der aus durch Bildgebung erhaltenen Bilddaten ein oder mehrere Stücke von in den Bilddaten enthaltenen ROI-Bilddaten ausschneidet, einen Ableitungsteil, der ROI-Positionsinformationen in den Bilddaten ableitet, eine erste Verarbeitungseinheit, die auf einer Basis des einen oder der mehreren Stücke von ROI-Bilddaten und eines oder mehrerer Stücke von ROI-Positionsinformationen in den Bilddaten erste Übertragungsdaten erzeugt, die einem ersten Übertragungsverfahren entsprechen; und eine zweite Verarbeitungseinheit, die auf einer Basis des einen oder der mehreren Stücke von ROI-Bilddaten und eines oder mehrerer Stücke von ROI-Positionsinformationen in den Bilddaten erste Übertragungsdaten erzeugt, die einem zweiten Übertragungsverfahren entsprechen, und der Empfänger Folgendes umfasst: eine erste Verarbeitungseinheit, die ein oder mehrere Stücke von Bilddaten und das eine oder die mehreren Stücke von Positionsinformationen aus den ersten Übertragungsdaten extrahiert, eine zweite Verarbeitungseinheit, die ein oder mehrere Stücke von Bilddaten und das eine oder die mehreren Stücke von Positionsinformationen aus den zweiten Übertragungsdaten extrahiert, und einen Erzeugungsteil, der auf einer Basis des einen oder der mehreren Stücke von Bilddaten und des einen oder der mehreren Stücke von Positionsinformationen, die durch die erste Verarbeitungseinheit oder die zweite Verarbeitungseinheit extrahiert werden, ein oder mehrere Stücke von in den Bilddaten enthaltenen ROI-Bilddaten erzeugt.