DE102012206406A1 - Method for generating data stream for transmission of image data, implemented in motor vehicle, involves determining data frames in dependence of determined intra-coded image data and difference-coded image data - Google Patents
Method for generating data stream for transmission of image data, implemented in motor vehicle, involves determining data frames in dependence of determined intra-coded image data and difference-coded image data Download PDFInfo
- Publication number
- DE102012206406A1 DE102012206406A1 DE201210206406 DE102012206406A DE102012206406A1 DE 102012206406 A1 DE102012206406 A1 DE 102012206406A1 DE 201210206406 DE201210206406 DE 201210206406 DE 102012206406 A DE102012206406 A DE 102012206406A DE 102012206406 A1 DE102012206406 A1 DE 102012206406A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- data
- image data
- segments
- coded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Erzeugen eines Datenstroms zur Übertragung von Bilddaten.The invention relates to a method and a device for generating a data stream for the transmission of image data.
Die Speicherung und Übertragung von digitalen Videobildern erfordert eine große Speicherkapazität beziehungsweise Übertragungskapazität. Um die Anforderungen an die Speicherkapazität und Übertragungskapazität zu reduzieren, werden die digitalen Videobilddaten komprimiert. Bekannte Komprimierungsmethoden basieren im Wesentlichen auf einer Reduzierung der Auflösung und der Verringerung der Anzahl der Bilder pro Sekunde. Hierbei werden Redundanzen der Videobilddaten sowie Irrelevanzen des menschlichen Sehens genutzt, um die Datenrate zu reduzieren. Die Redundanzen von aufeinanderfolgenden Bildern werden beim Enkodieren von Differenzbildern ausgenutzt. Irrelevanzen des menschlichen Sehens ermöglichen eine Reduktion hoher Frequenzen. Ein aktueller Standard für Videokodierung ist MPEG-4 (Moving Picture Experts Group). Hierzu werden in zeitlich vorgegebenen zeitlichen Abständen I-Bilder, im Englischen intra-coded-pictures, übertragen. Zwischen zwei aufeinanderfolgenden Intra-Bildern wird beispielsweise eine vorgegebene Anzahl von P-Bildern, im Englischen predictive-coded picture, übertragen. Die Intra-Bilder umfassen jeweils alle Informationen für die Darstellung des Bildinhalts, es gibt weder zeitliche noch räumliche Bezüge auf umgebende Bilder. Die P-Bilder leiten sich aus vorhergehenden Bildern ab.The storage and transmission of digital video images requires a large storage capacity or transmission capacity. To reduce storage capacity and transmission capacity requirements, the digital video image data is compressed. Known compression methods are essentially based on reducing the resolution and reducing the number of frames per second. Here, redundancies of the video image data as well as irrelevances of human vision are used to reduce the data rate. The redundancies of successive images are exploited when encoding differential images. Irrelevances of human vision enable a reduction of high frequencies. A current standard for video encoding is MPEG-4 (Moving Picture Experts Group). For this purpose I-pictures, in English intra-coded-pictures, are transmitted at timely intervals. For example, between two consecutive intra-images, a predetermined number of P-pictures are transmitted in the predictive-coded picture. The intra images each contain all the information for the representation of the image content, there are no temporal or spatial references to surrounding images. The P-pictures are derived from previous pictures.
Die Aufgabe, die der Erfindung zugrunde liegt, ist es, ein Verfahren und eine Vorrichtung zur Erzeugung eines Datenstroms zur Übertragung von Bilddaten zu schaffen, das beziehungsweise die einen Beitrag leisten, eine Zuverlässigkeit und eine Effizienz der Bildübertragung zu verbessern.The object underlying the invention is to provide a method and apparatus for generating a data stream for transmission of image data, which contribute to improving the reliability and efficiency of image transmission.
Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen gekennzeichnet.The object is solved by the features of the independent claims. Advantageous developments of the invention are characterized in the subclaims.
Die Erfindung zeichnet sich aus durch ein Verfahren und eine korrespondierende Vorrichtung zur Erzeugung eines Datenstroms zur Übertragung von Bilddaten. Es wird jeweils ein erfasstes Bild einer Bildfolge in vorgegebene Bildsegmente aufgeteilt. Wenn erkannt wird, dass das jeweilige Bildsegment eine vorgegebene Charakteristik aufweist, wird das jeweilige Bildsegment als erstes Bildsegment klassifiziert. Die verbleibenden Bildsegmente werden nach einer vorgegebenen Zuordnungsvorschrift als erstes oder zweites Bildsegment klassifiziert. Für die ersten Bildsegmente werden intra-kodierte Bilddaten ermittelt abhängig von Ausgangsdaten des erfassten Bildes und für die zweiten Bildsegmente werden differenz-kodierte Bilddaten ermittelt abhängig von den Ausgangsbilddaten des erfassten Bildes. Ferner wird ein Datenrahmen ermittelt abhängig von den ermittelten intra-kodierten Bilddaten und den ermittelten differenz-kodierten Bilddaten.The invention is characterized by a method and a corresponding device for generating a data stream for the transmission of image data. In each case, a captured image of a sequence of images is divided into predetermined image segments. If it is detected that the respective image segment has a predetermined characteristic, the respective image segment is classified as the first image segment. The remaining image segments are classified according to a predetermined allocation rule as first or second image segment. For the first image segments, intra-coded image data are determined as a function of output data of the acquired image, and for the second image segments, difference-coded image data are determined as a function of the output image data of the acquired image. Furthermore, a data frame is determined as a function of the determined intra-coded image data and the determined difference-coded image data.
Vorteilhafterweise ermöglicht dies, die Bilddaten der Bilder der Bildfolge derart zu komprimieren und zu übertragen, dass die erforderliche Übertragungsbandbreite nur in einem geringen Bereich schwankt. Es kann somit bei Übertragung der Bilddaten über ein Kommunikationsnetz, zum Beispiel in einem Fahrzeugkommunikationsnetz, das zur Übertragung von Steuer-, Audio- und Videosignalen ausgebildet ist, eine nahezu gleichbleibende Netzauslastung erreicht werden. Dies kann einen Beitrag leisten, eine Dimensionierung des jeweiligen Kommunikationsnetzes, beispielsweise des Fahrzeugkommunikationsnetzes, zu vereinfachen und/oder zuverlässiger auszubilden. Dies kann insbesondere vorteilhaft für Kraftfahrzeuge genutzt werden, da aufgrund der Sicherheitsanforderungen des Kraftfahrzeugs eine zuverlässige Übertragung der Daten im Kraftfahrzeug erforderlich ist. Das Kommunikationsnetz kann für eine geringere Spitzenbandbreite dimensioniert werden und ein Datenverlust bei der Übertragung der Audio- und Videosignale kann zumindest teilweise vermieden werden, selbst wenn hochpriorisierte Signale, beispielsweise Steuersignale, gleichzeitig übertragen werden.Advantageously, this makes it possible to compress and transmit the image data of the images of the image sequence such that the required transmission bandwidth varies only in a small range. It can thus be achieved when transmitting the image data via a communication network, for example in a vehicle communication network, which is designed for the transmission of control, audio and video signals, a nearly constant network utilization. This can make a contribution to simplify and / or make more reliable a dimensioning of the respective communication network, for example of the vehicle communication network. This can be used to particular advantage for motor vehicles, since a reliable transmission of data in the motor vehicle is required due to the safety requirements of the motor vehicle. The communication network can be dimensioned for lower peak bandwidth, and loss of data in the transmission of the audio and video signals can be at least partially avoided, even when high priority signals, such as control signals, are transmitted simultaneously.
Das Klassifizieren des jeweiligen Bildsegmentes als erstes Bildsegment, wenn erkannt wird, dass das Bildsegment eine vorgegebene Charakteristik aufweist, ermöglicht ferner, eine Bildqualität für das jeweilige Bildsegment zu erhöhen, das solch eine Charakteristik aufweist. Dies kann zum einen genutzt werden, für Bereiche von Interesse in einem Bild intra-kodierte Bilddaten zu ermitteln und zu übertragen, so dass die Ausgangsbilddaten dieser Bereiche mit hoher Bildqualität rekonstruiert werden können. Zum anderen können Bereiche von geringerem Interesse in einem Bild mit differenz-kodierten Bilddaten übertragen werden. Eine durchschnittliche Übertragungsbandbreite kann somit gleich bleiben oder sogar reduziert werden, obwohl die Bereiche von Interesse mit hoher Qualität übertragen werden. Vorteilhafterweise kann dies ein Anpassen und/oder Optimieren der komprimierten Bilddaten im Hinblick auf eine Anwendung von Bildverarbeitungsalgorithmen ermöglichen. Dies kann vorteilhaft genutzt für Anwendungen, bei denen bereits vor einer anwendungsspezifischen Bildverarbeitung und/oder Bildauswertung die Bilddaten komprimiert, insbesondere verlustbehaftet komprimiert, werden. Solche Anwendungen können beispielsweise in Fahrzeugen genutzt werden. Die Bilddaten werden von einer Aufnahmeeinheit erfasst und verlustbehaftet komprimiert an eine zentrale Recheneinheit gesendet, die ausgebildet ist eine Objektklassifizierung auszuführen.Classifying the respective image segment as a first image segment, when it is detected that the image segment has a predetermined characteristic, further enables to enhance an image quality for the respective image segment having such a characteristic. On the one hand, this can be used to determine and transmit intra-coded image data for regions of interest in an image, so that the output image data of these regions can be reconstructed with high image quality. On the other hand, regions of lesser interest can be transmitted in a picture with difference-coded image data. An average transmission bandwidth can thus remain the same or even reduced, although the areas of interest are transmitted with high quality. Advantageously, this may allow for adapting and / or optimizing the compressed image data with regard to an application of image processing algorithms. This can be advantageously used for applications in which the image data are compressed, in particular lossy compressed, before an application-specific image processing and / or image evaluation. Such applications can be used in vehicles, for example. The image data is acquired by a recording unit and transmitted in a lossy compressed manner to a central processing unit which is designed to perform an object classification.
Eine Kompressionsrate für die Ausgangsbilddaten und eine davon abhängige Übertragungsbandbreite kann anwendungsspezifisch vorgegeben werden. Die differenz-kodierten Bilddaten werden auch als predictive-coded Bilddaten bezeichnet. A compression rate for the output image data and a dependent transmission bandwidth can be specified application-specific. The difference-coded image data is also referred to as predictive-coded image data.
In einer vorteilhaften Ausgestaltung weisen die jeweiligen ersten Bildsegmente jeweils eine vorgegebene erste Größe auf und/oder die jeweiligen zweiten Bildsegmente weisen eine vorgegebene zweite Größe auf. Insbesondere können die erste Größe und die zweite Größe gleich sein. Es können alle Bildsegmente eine gleiche Bildpunktanzahl aufweisen. Alternativ können die jeweiligen ersten Bildsegmente eine erste Bildpunktanzahl aufweisen und/oder die jeweiligen zweiten Bildsegmente können eine zweite Bildpunktanzahl aufweisen. Dies ermöglicht ein einfaches Erzeugen des Datenstroms zur Übertragung der Bilddaten.In an advantageous embodiment, the respective first image segments each have a predetermined first size and / or the respective second image segments have a predetermined second size. In particular, the first size and the second size may be the same. All image segments can have the same number of pixels. Alternatively, the respective first image segments may have a first pixel number and / or the respective second image segments may have a second pixel number. This allows easy generation of the data stream for transmission of the image data.
In einer weiteren vorteilhaften Ausgestaltung werden dem jeweiligen erfassten Bild eine vorgegebene erste Anzahl an ersten Bildsegmenten und eine vorgegebene zweite Anzahl an zweiten Bildsegmenten zugeordnet. Insbesondere können die erste Anzahl der ersten Bildsegmente und die zweite Anzahl der zweiten Bildsegmente für die erfassten Bilder jeweils gleich sein. Dies kann einen Beitrag leisten, das Erzeugen des Datenstroms zur Übertragung der Bilddaten zu vereinfachen.In a further advantageous embodiment, a predetermined first number of first image segments and a predetermined second number of second image segments are assigned to the respective captured image. In particular, the first number of the first image segments and the second number of the second image segments for the captured images may be the same in each case. This can contribute to simplifying the generation of the data stream for transmission of the image data.
In einer weiteren vorteilhaften Ausgestaltung repräsentiert die vorgegebene Charakteristik ein vorgegebenes Detektionsobjekt und/oder einen vorgegebenen Detektionsbereich. Vorteilhafterweise ermöglicht dies, abhängig von einer Anwendung, zum Beispiel einer Anwendung in einem Fahrzeug, ein jeweiliges Bildsegment zu ermitteln, das von besonderem Interesse ist. Beispielsweise kann das Bildsegment von Interesse ein mögliches Kollisionsobjekt umfassen, sodass die Ausgangsbilddaten des Bildsegments, welches das gewünschte Detektionsobjekt und/oder den gewünschten Detektionsbereich umfasst, intra-kodiert übertragen werden und somit mit einer hohen Bildqualität rekonstruiert werden können. Mittels eines geeigneten Detektionsalgorithmus kann das Detektionsobjekt und/oder der Detektionsbereich in dem jeweiligen Bild detektiert werden und so das jeweilige Bildsegment ermittelt und/oder erkannt wird.In a further advantageous embodiment, the predetermined characteristic represents a predetermined detection object and / or a predetermined detection area. Advantageously, this makes it possible, depending on an application, for example an application in a vehicle, to determine a respective image segment that is of particular interest. For example, the image segment of interest may comprise a possible collision object, so that the output image data of the image segment comprising the desired detection object and / or the desired detection region can be transmitted intra-coded and thus reconstructed with a high image quality. By means of a suitable detection algorithm, the detection object and / or the detection area can be detected in the respective image and thus the respective image segment is determined and / or detected.
In einer weiteren vorteilhaften Ausgestaltung repräsentiert die vorgegebene Charakteristik eine Abweichung zwischen den Ausgangsbilddaten des aktuellen Bildes und den Ausgangsbilddaten eines vorangegangen Bildes, die einen vorgegebenen Schwellenwert überschreitet. Vorteilhafterweise ermöglicht dies, die Bildsegmente, die sich stark verändern, intra-kodiert zu übertragen, so dass diese Bildsegmente mit hoher Bildqualität wieder rekonstruiert werden können.In a further advantageous embodiment, the predetermined characteristic represents a deviation between the output image data of the current image and the output image data of a preceding image which exceeds a predetermined threshold value. Advantageously, this makes it possible to transmit the image segments, which change greatly, intra-coded, so that these image segments can be reconstructed with high image quality.
In einer weiteren vorteilhaften Ausgestaltung werden das oder die verbleibenden Bildsegmente, das beziehungsweise die einen vorgegebenen Bildausschnitt umfassen, als erste Bildsegmente klassifiziert. Vorzugsweise ist der Bildausschnitt kleiner als das Bild. Der vorgegebene Bildausschnitt kann jeweils in den Bildern der Bildfolge die gleiche Größe und/oder die gleiche Position aufweisen. Vorteilhafterweise ermöglicht dies, die Bilddaten des vorgegebenen Bildausschnitts intra-kodiert zu übertragen, so dass diese Bildsegmente mit hoher Bildqualität wieder rekonstruiert werden können. Dies kann vorteilhaft genutzt werden, wenn beispielsweise zu erwarten ist, dass der vorgegebene Bildausschnitt überwiegend einen oder mehrere der Bereiche von Interesse umfasst.In a further advantageous embodiment, the one or more remaining image segments which comprise a predetermined image section are classified as first image segments. Preferably, the image section is smaller than the image. The predefined image detail can each have the same size and / or the same position in the images of the image sequence. Advantageously, this makes it possible to transmit the image data of the predetermined image section intra-coded, so that these image segments can be reconstructed with high image quality again. This can be used advantageously if, for example, it is to be expected that the predefined image section predominantly comprises one or more of the areas of interest.
In einer weiteren vorteilhaften Ausgestaltung werden die verbleibenden Bildsegmente zufällig als erstes oder zweites Bildsegment klassifiziert. Vorteilhafterweise ermöglicht dies, dass zumindest die jeweiligen verbleibenden Bildsegmente gleich häufig als erstes Bildsegment klassifiziert werden. Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen erläutert.In a further advantageous embodiment, the remaining image segments are randomly classified as first or second image segment. Advantageously, this allows at least the respective remaining image segments to be classified equally frequently as the first image segment. Embodiments of the invention are explained below with reference to the schematic drawings.
Es zeigen:Show it:
Elemente gleicher Konstruktion oder Funktion sind figurenübergreifend mit den gleichen Bezugszeichen versehen.Elements of the same construction or function are provided across the figures with the same reference numerals.
Solche differenz-kodierte Datenrahmen P-FRAME leiten sich aus den vorhergehenden differenz-kodierten P-FRAME und/oder den intra-kodierten Datenrahmen I-FRAME ab und umfassen zum Teil eigenständige, vollständige Bildteile und zum Teil rekonstruierte Bildteile, die abhängig von einem vorhergesagtem Bildsignal ermittelt werden. Durch die Nutzung einer Bildvorhersage ergeben sich Bildergruppen GoP untereinander abhängiger kodierter Datenrahmen mit jeweils mindestens einem unabhängig dekodierbaren intra-kodierten Datenrahmen I-FRAME. In
Vorteilhafterweise ermöglicht dies, die Bilddaten der Bilder der Bildfolge derart zu komprimieren und zu übertragen, dass die erforderliche Übertragungsbandbreite nur in einem geringen Bereich schwankt.Advantageously, this makes it possible to compress and transmit the image data of the images of the image sequence such that the required transmission bandwidth varies only in a small range.
Die jeweiligen ersten Bildsegmente I können jeweils eine vorgegebene erste Größe aufweisen und/oder die jeweiligen zweiten Bildsegmente P können eine vorgegebene zweite Größe aufweisen. Insbesondere können die erste Größe und die zweite Größe gleich sein. Es können alle Bildsegmente eine gleiche Bildpunktanzahl aufweisen. Alternativ können die jeweiligen ersten Bildsegmente eine vorgegebene erste Bildpunktanzahl aufweisen und/oder die jeweiligen zweiten Bildsegmente können eine zweite vorgegebene Bildpunktanzahl aufweisen, wobei sich die erste Bildpunktanzahl von der zweiten Bildpunktanzahl unterscheidet.The respective first image segments I can each have a predefined first size and / or the respective second image segments P can have a predetermined second size. In particular, the first size and the second size may be the same. All image segments can have the same number of pixels. Alternatively, the respective first image segments may have a predetermined first pixel number and / or the respective second image segments may have a second predetermined pixel number, wherein the first pixel number differs from the second pixel number.
Eine erste Anzahl der ersten Bildsegmente I und eine zweite Anzahl der zweiten Bildsegmente P für das erfasste Bild können jeweils vorgegeben sein. Insbesondere können die erste Anzahl der ersten Bildsegmente I und die zweite Anzahl der zweiten Bildsegmente P für die erfassten Bilder jeweils gleich sein.A first number of the first image segments I and a second number of the second image segments P for the acquired image can each be predetermined. In particular, the first number of the first image segments I and the second number of the second image segments P for the captured images may be the same in each case.
Die Bildsegmente werden beispielsweise zufällig als erstes I oder zweites Bildsegment P klassifiziert.For example, the image segments are randomly classified as the first I or second image segment P.
Alternativ oder zusätzlich ist möglich, dass jeweils das oder die Bildsegmente, die einen vorgegebenen Bildausschnitt umfassen, als erste Bildsegmente klassifiziert werden, wobei der Bildausschnitt kleiner ist als das Bild.Alternatively or additionally, it is possible that in each case the image segment or segments which comprise a predetermined image section are classified as first image segments, the image section being smaller than the image.
Um eine Bildqualität zu verbessern, kann vorgesehen sein, zu Beginn der Übertragung der Bilddaten einmalig einen ausschließlich intra-kodierten Datenrahmen I-FRAME zu ermitteln und zu übertragen und anschließend die Datenrahmen, die jeweils die intra-kodierten Bilddaten für die ersten Bildsegmente I und die differenz-kodierten Bilddaten für die zweiten Bildsegmente P umfassen, zu ermitteln und zu übertragen.In order to improve image quality, it may be provided to determine and transmit once exclusively an intra-coded data frame I-FRAME at the beginning of the transmission of the image data, and then to transfer the data frames respectively containing the intra-coded image data for the first image segments I and difference-encoded image data for the second image segments P include, determine and transmit.
Im Unterschied zu dem in
Die verbleibenden Bildsegmente werden beispielsweise zufällig als erstes I oder zweites Bildsegment P klassifiziert.For example, the remaining image segments are randomly classified as the first I or second image segment P.
Alternativ oder zusätzlich ist möglich, dass das oder die verbleibende Bildsegmente, die einen vorgegebenen Bildausschnitt umfassen, als erste Bildsegmente klassifiziert werden, wobei der Bildausschnitt kleiner ist als das Bild.Alternatively or additionally, it is possible for the remaining image segment or segments, which comprise a predefined image section, to be classified as first image segments, the image detail being smaller than the image.
Hierzu kann vorgesehen sein, dass ein Bildverarbeitungssystem, das beispielsweise in dem Fahrzeug angeordnet ist, ausgebildet ist, Bildsegmente A, die eine vorgegebene Charakteristik aufweisen, zu detektieren in den jeweils erfassten Bildern. Das Bildverarbeitungssystem kann beispielsweise ausgebildet sein, ein Detektionsobjekt und/oder einen Detektionsbereich zu erkennen, beispielsweise ein Objekt, das sich auf einer Fahrbahn bewegt, auf der sich auch das Fahrzeug bewegt. Dieses Objekt kann von dem Bildverarbeitungssystem beispielsweise als mögliches Kollisionsobjekt klassifiziert werden. Hierbei kann insbesondere vorgesehen sein, dass das Bildsegment A, das die vorgegebene Charakteristik aufweist, mit hoher Bildqualität rekonstruierbar sein soll, um eine einfach erkennbare optische Anzeige, beispielsweise auf einem Display, zu ermöglichen.For this purpose, it can be provided that an image processing system, which is arranged, for example, in the vehicle, is designed to detect image segments A which have a predetermined characteristic in the respectively acquired images. The image processing system can be designed, for example, to detect a detection object and / or a detection area, for example an object that moves on a roadway on which the vehicle also moves. This object can be classified by the image processing system as a possible collision object, for example. In this case, provision may be made, in particular, for the image segment A, which has the predetermined characteristic, to be able to be reconstructed with high image quality in order to enable an easily recognizable visual display, for example on a display.
Alternativ oder zusätzlich kann die vorgegebene Charakteristik auch eine Abweichung zwischen den Ausgangsbilddaten des aktuellen Bildes und den Ausgangsbilddaten eines vorangegangen Bildes, die einen vorgegebenen Schwellenwert überschreitet, repräsentieren.Alternatively or additionally, the predetermined characteristic may also represent a deviation between the output image data of the current image and the output image data of a preceding image that exceeds a predetermined threshold.
Für die ersten Bildsegmente I werden die intra-kodierten Bilddaten ermittelt abhängig von Ausgangsdaten des erfassten Bildes und für die zweiten Bildsegmente P werden die differenz-kodierten Bilddaten ermittelt abhängig von den Ausgangsbilddaten des erfassten Bildes. Der Datenrahmen wird ermittelt abhängig von den ermittelten intra-kodierten Bilddaten und den ermittelten differenz-kodierten Bilddaten.For the first image segments I, the intra-coded image data is determined as a function of output data of the acquired image, and for the second image segments P, the difference-coded image data is determined as a function of the output image data of the acquired image. The data frame is determined as a function of the determined intra-coded image data and the determined difference-coded image data.
Um eine Bildqualität zu verbessern, kann vorgesehen sein, zu Beginn der Übertragung der Bilddaten einmalig einen ausschließlich intra-kodierten Datenrahmen I-FRAME zu ermitteln und zu übertragen und anschließend die Datenrahmen, die jeweils die intra-kodierten Bilddaten für die ersten Bildsegmente I und die differenz-kodierten Bilddaten für die zweiten Bildsegmente P umfassen, zu ermitteln und zu übertragen.In order to improve image quality, it may be provided to determine and transmit once exclusively an intra-coded data frame I-FRAME at the beginning of the transmission of the image data, and then to transfer the data frames respectively containing the intra-coded image data for the first image segments I and difference-encoded image data for the second image segments P include, determine and transmit.
Das Klassifizieren des jeweiligen Bildsegmentes als erstes Bildsegment, wenn erkannt wird, dass das Bildsegment eine vorgegebene Charakteristik aufweist, ermöglicht ein Anpassen und/oder Optimieren der komprimierten Bilddaten im Hinblick auf eine Anwendung von Bildverarbeitungsalgorithmen. Dies kann insbesondere vorteilhaft genutzt für Anwendungen, zum Beispiel für Fahrzeuganwendungen, bei denen bereits vor einer anwendungsspezifischen Bildverarbeitung und/oder Bildauswertung die Bilddaten komprimiert, insbesondere verlustbehaftet komprimiert, werden und beispielsweise von einer Aufnahmeeinheit über das Fahrzeugkommunikationsnetz an eine zentrale Auswerteeinheit komprimiert gesendet werden. Die zentrale Auswerteeinheit ist beispielsweise ausgebildet, eine Objektklassifizierung auszuführen, bei der beispielsweise das Objekt als Fahrzeug oder Fußgänger erkannt wird. In diesem Zusammenhang können weitere Maßnahmen vorgesehen sein, die eine sichere und zuverlässige Datenübertragung der Bilddaten ermöglicht. Beispielsweise kann vorgesehen sein, dass für die Datenübertragung ein Übertragungsprotokoll genutzt wird mittels dessen ein Verlust von Datenpaketen erkennt werden kann. Die Vorrichtung zur Erzeugung des Datenstroms kann beispielsweise ausgebildet sein, wenn der Verlust eines Datenpakets erkannt wird, einen ausschließlich intra-kodierten Datenrahmen I-FRAME zu ermitteln und zu übertragen und anschließend wieder die Datenrahmen, die jeweils die intra-kodierten Bilddaten für die ersten Bildsegmente I und die differenz-kodierten Bilddaten für die zweiten Bildsegmente P umfassen, zu ermitteln und zu übertragen.Classifying the respective image segment as the first image segment, when it is detected that the image segment has a predetermined characteristic, enables adaptation and / or optimization of the compressed image data with regard to an application of image processing algorithms. This can be used particularly advantageously for applications, for example for vehicle applications, in which the image data are compressed, in particular lossy compressed, before an application-specific image processing and / or image evaluation, and sent compressed, for example, by a recording unit via the vehicle communication network to a central evaluation unit. The central evaluation unit is designed, for example, to carry out an object classification in which, for example, the object is recognized as a vehicle or pedestrian. In this connection, further measures can be provided which enable secure and reliable data transmission of the image data. For example, it may be provided that a transmission protocol is used for the data transmission by means of which a loss of data packets can be detected. The device for generating the data stream can be formed, for example, if the loss of a data packet is detected, an exclusively intra-coded data frame I-FRAME to determine and transmit and then again the data frames, each containing the intra-coded image data for the first image segments I and the difference-coded image data for the second image segments P include, determine and transmit.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
-
- AA
- Bildsegment mit vorgegebener CharakteristikImage segment with specified characteristic
- DATADATA
- ÜbertragungsbandbreiteTransmission bandwidth
- F1, F2, F3, F4F1, F2, F3, F4
- erster, zweiter, dritter und vierter Datenrahmenfirst, second, third and fourth data frames
- GoPGoP
- Bildergruppepictures group
- II
- erstes Bildsegmentfirst image segment
- I-FRAMEI-FRAME
- intra-kodierter Datenrahmenintra-coded data frame
- PP
- zweites Bildsegmentsecond image segment
- P_np_n
- Bildfolgeimage sequence
- P1, P2, P3, P4P1, P2, P3, P4
- erstes, zweites, drittes und viertes Bildfirst, second, third and fourth picture
- P-FRAME,P-FRAME,
- differenz-kodierter Datenrahmendifference-coded data frame
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE201210206406 DE102012206406A1 (en) | 2012-04-18 | 2012-04-18 | Method for generating data stream for transmission of image data, implemented in motor vehicle, involves determining data frames in dependence of determined intra-coded image data and difference-coded image data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE201210206406 DE102012206406A1 (en) | 2012-04-18 | 2012-04-18 | Method for generating data stream for transmission of image data, implemented in motor vehicle, involves determining data frames in dependence of determined intra-coded image data and difference-coded image data |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102012206406A1 true DE102012206406A1 (en) | 2013-10-24 |
Family
ID=49290136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE201210206406 Pending DE102012206406A1 (en) | 2012-04-18 | 2012-04-18 | Method for generating data stream for transmission of image data, implemented in motor vehicle, involves determining data frames in dependence of determined intra-coded image data and difference-coded image data |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102012206406A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022203889A1 (en) | 2022-04-20 | 2023-10-26 | Volkswagen Aktiengesellschaft | Method for adaptive video data compression in a vehicle and corresponding device |
-
2012
- 2012-04-18 DE DE201210206406 patent/DE102012206406A1/en active Pending
Non-Patent Citations (6)
Title |
---|
Boulos, F.; Wei Chen; Parrein, B.; Le Callet, P.; , "Region-of-Interest intra prediction for H.264/AVC error resilience," Image Processing (ICIP), 2009 16th IEEE International Conference on , vol., no., pp.3109-3112, 7-10 Nov. 2009doi: 10.1109/ICIP.2009.5414458URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5414458&isnumber=5413332 * |
Motion JPEG. 16.04.2012, Wikipedia [online]. http://en.wikipedia.org/w/index.php?title=Motion_JPEG&oldid=487744429, * |
P. Baccichet, X. Zhu, and B. Girod, "Network-Aware H.264/AVC ROI Coding for a Multi-Camera Wireless Surveillance Network," Proc. International Picture Coding Symposium, Beijing, P. R. China, April 2006. Accepted. * |
SU, P.-C.; WU, C.-Y.: A JointWatermarking and ROI Coding Scheme for Annotating Traffic Surveillance Videos. In: EURASIP Journal on Advances in Signal Processing, 2010, 1 - 14. Article ID 658328. [doi:10.1155/2010/658328] * |
Tian, Ying-Li; Hampapur, Arun; , "Robust Salient Motion Detection with Complex Background for Real-Time Video Surveillance," Application of Computer Vision, 2005. WACV/MOTIONS '05 Volume 1. Seventh IEEE Workshops on , vol.2, no., pp.30-35, 5-7 Jan. 2005doi: 10.1109/ACVMOT.2005.106URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4129581&isnumber=4129571 * |
Vetro, A.; Peng Yin; Bede Liu; Huifang Sun; , "Reduced spatio-temporal transcoding using an intra refresh technique," Circuits and Systems, 2002. ISCAS 2002. IEEE International Symposium on , vol.4, no., pp. IV-723- IV-726 vol.4, 2002doi: 10.1109/ISCAS.2002.1010559URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=1010559&isnumber=21779 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022203889A1 (en) | 2022-04-20 | 2023-10-26 | Volkswagen Aktiengesellschaft | Method for adaptive video data compression in a vehicle and corresponding device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102009028743B4 (en) | Method and control unit for equalizing a camera image | |
DE10113880B4 (en) | Method for compressing and decompressing video data | |
DE19919600A1 (en) | Image data compression device for rapid image data transmission and efficient image data recording | |
DE19637522A1 (en) | Process for reducing data in video signals | |
DE102008057043A1 (en) | Video signal processing system and corresponding method | |
DE3905234C2 (en) | ||
DE602005002907T2 (en) | Image type control in video compression | |
DE102006020511A1 (en) | Video signals transmitting device for use in e.g. truck, has real time encoder coding and compressing camera video signals and supplying coded video signals to supply voltage device of motor vehicle | |
DE102012206406A1 (en) | Method for generating data stream for transmission of image data, implemented in motor vehicle, involves determining data frames in dependence of determined intra-coded image data and difference-coded image data | |
DE102011117654B4 (en) | Method for operating an image processing device and corresponding image processing device | |
EP3867870B1 (en) | Determining the transmission quality of an optical unit in a camera system | |
DE102010055156A1 (en) | Multi-camera system for a motor vehicle, motor vehicle and method for operating a multi-camera system in a motor vehicle | |
DE102013019604B4 (en) | System consisting of a plurality of cameras and a central server, as well as procedures for operating the system | |
EP2501133A2 (en) | Method and device for reducing bandwidth for image data | |
DE69906338T2 (en) | ANALYSIS OF DECOMPRESSED VIDEO IMAGES | |
DE69735408T2 (en) | Digital video camera with constant bit rate and transmission system with such a camera | |
WO2020007423A1 (en) | Bundling of camera and radar raw data channels | |
DE10230812B4 (en) | Method for transmitting additional information when using a method for compressing data by means of a prioritizing pixel transmission | |
DE102010031514B4 (en) | Transmission of data via a packet-oriented network in a vehicle | |
WO1999012356A1 (en) | Method for compressing image information | |
DE10231285B4 (en) | Method for compressing and decompressing video data | |
DE102020100695A1 (en) | Method and device for the transmission of multi-view video data | |
DE102011080253A1 (en) | Method and device for generating a transport data stream composed of a plurality of video data streams | |
DE10231286A1 (en) | Method for the transmission of additional data within a video data transmission | |
DE102020003095A1 (en) | Method and device for transmitting images in a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: H04N0007300000 Ipc: H04N0019610000 Effective date: 20131205 |
|
R012 | Request for examination validly filed | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: H04N0019610000 Ipc: H04N0019107000 |