DE102009001520B4 - Apparatus and method for inter-frame interpolation - Google Patents

Apparatus and method for inter-frame interpolation

Info

Publication number
DE102009001520B4
DE102009001520B4 DE200910001520 DE102009001520A DE102009001520B4 DE 102009001520 B4 DE102009001520 B4 DE 102009001520B4 DE 200910001520 DE200910001520 DE 200910001520 DE 102009001520 A DE102009001520 A DE 102009001520A DE 102009001520 B4 DE102009001520 B4 DE 102009001520B4
Authority
DE
Grant status
Grant
Patent type
Prior art keywords
image signal
information
input image
images
companded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE200910001520
Other languages
German (de)
Other versions
DE102009001520A1 (en )
Inventor
Peter Rieder
Markus Schu
Kilian Jacob
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Entropic Communications LLC
Original Assignee
Entropic Communications LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Abstract

Vorrichtung zur Zwischenbildinterpolation, die Folgendes aufweist: An apparatus for inter-frame interpolation, comprising:
– einen Eingang zur Zuführung eines Eingangsbildsignals (F), das eine Folge von Bildern (F(i – 1), F(i)) repräsentiert, die jeweils eine Anzahl von Bildpunkten aufweist, denen jeweils eine Mehrzahl von Bildinformationswerten zugeordnet ist; - an input for supplying an input image signal (F) comprising a sequence of pictures (F (i - 1), F (i)) represents, each having a number of pixels, which is associated with image information values ​​in each case a plurality;
– eine Kompandereinheit (1), der das Eingangsbildsignal (F) zugeführt ist und die dazu ausgebildet ist, aus dem Eingangsbildsignal (F) durch Kompandieren der Bildinformationswerte ein kompandiertes Bildsignal (F1) zu erzeugen, dessen Bilder die gleiche Anzahl von Bildpunkten besitzen wie die Bilder des Eingangsbildsignals (F), wobei die Kompandereinheit (1) dazu ausgebildet ist, einen Wertebereich der Bildinformationswerte der Bilder zu reduzieren, wobei die Bildinformationswerte Farbinformationen und Helligkeitsinformationen umfassen; - a Kompandereinheit (1) which is supplied to the input image signal (F) and which is adapted, from the input image signal (F) by companding of the image information values ​​companded image signal (F1) to generate the images have the same number of pixels as the images of the input image signal (F), wherein the Kompandereinheit (1) is adapted to reduce a range of values ​​of the image information values ​​of the images, wherein said image information values ​​of color information and brightness information;
– eine Bewegungsschätzeinheit (3), der das kompandierte Bildsignal (F1) zugeführt ist und die dazu ausgebildet ist, basierend auf dem kompandierten Bildsignal (F1) eine Bewegungsinformation (M) zu dem Eingangsbildsignal (F) zu ermitteln; - a motion estimation unit (3), of the companded image signal (F1) is fed and which is adapted, based on the companded image signal (F1) a motion information (M) to the input image signal (F) to be determined;
– eine Interpolationseinheit (4), der das Eingangsbildsignal (F) und die Bewegungsinformation (M) zugeführt sind und die dazu ausgebildet ist, ein interpoliertes Bildsignal (F2) zu erzeugen, das eine Bildfolge repräsentiert, die im Vergleich zu der durch das Eingangsbildsignal (F) repräsentierten Bildfolge eine höhere Bildfrequenz und/oder Bilder mit anderen Bewegungsphasen aufweist, ... - an interpolation unit (4) which are supplied to the input image signal (F) and motion information (M) and which is adapted to produce an interpolated image signal (F2) representative of an image sequence, the (compared to by the input image signal F) represented image sequence a higher frame rate and / or images having different motion phases having ...

Description

  • Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zur Zwischenbildinterpolation. The present invention relates to an apparatus and a method for inter-frame interpolation.
  • Vorrichtungen und Verfahren zur Zwischenbildinterpolation sind grundsätzlich bekannt und dienen beispielsweise dazu, aus einem Bildsignal, das eine Bildfolge mit einer ersten Bildfrequenz repräsentiert, ein interpoliertes Bildsignal, das eine Bildfolge mit einer zweiten, höheren Bildfrequenz repräsentiert, zu erzeugen. Devices and methods for inter-frame interpolation are generally known and serve for example to generate, from an image signal representing a sequence of images at a first frame frequency, an interpolated image signal representing a sequence of images at a second, higher frame rate. Anwendung finden solche Vorrichtungen und Verfahren beispielsweise in der Fernsehtechnik, um aus einem Bildsignal, das eine 50 Hz-(Halb)-Bildfolge repräsentiert, ein Bildsignal zu erzeugen, das eine 100 Hz-Bildfolge repräsentiert, oder um aus einem Kinofilmsignal, das eine 24 Hz-Bildfolge repräsentiert, ein 100 Hz-Bildsignal zu interpolieren. apply such apparatus and methods, for example, in television technology, in order from an image signal, which represents a 50 Hz (half) -Bildfolge, to generate an image signal representing a 100 Hz frame rate, or from a movie signal is a 24 Hz frame rate representing to interpolate a 100 Hz image signal.
  • Um die Zwischenbilder bewegungsrichtig interpolieren zu können, ist es bekannt, die Bilder der zu interpolierenden Bildfolge in Bildblöcke zu unterteilen und durch Vergleich der Bildinhalte aufeinanderfolgender Bilder Bewegungsinformationen zu den einzelnen Bildblöcken, beispielsweise in Form von Bewegungsvektoren, zu ermitteln. In order to interpolate the intermediate images move properly, it is known to divide the images of being interpolated image sequence into image blocks and to determine by comparing the image contents of consecutive images motion information about the individual image blocks, for example in the form of motion vectors. Diese Bewegungsinformation wird anschließend für die Interpolation der Inhalte der Bildblöcke der Zwischenbilder verwendet. This motion information is then used for the interpolation of the contents of the image blocks of the intermediate images.
  • Die Bewegungsschätzung, dh die Ermittlung von Bewegungsinformationen zu Bildblöcken der zu interpolierenden Zwischenbilder kann sehr rechenaufwendig sein, insbesondere dann, wenn den Bildpunkten der Bilder der zu interpolierenden Bildfolge Bildinformationswerte zugeordnet sind, die aus einem großen Wertebereich stammen können. The motion estimation, ie the detection of motion information on image blocks of the to be interpolated intermediate images can be very computationally intensive, particularly when the pixels of the images to be interpolated image sequence image information values ​​are assigned, which may originate from a wide range of values. Dies ist beispielsweise dann der Fall, wenn die zu interpolierende Bildfolge eine Folge von Bildern mit hohem Dynamikbereich ist. This is for example the case if the to be interpolated image sequence is a series of images with high dynamic range. Eine solche Bildfolge wird nachfolgend auch als HDR-Bildfolge (HDR = High Dynamic Range) bezeichnet. Such an image sequence is hereinafter referred to as HDR image sequence (HDR = High Dynamic Range). Den Bildpunkten der Bilder einer solchen HDR-Bildfolge sind beispielsweise Bildinformationen in Form von Datenworten mit einer Datenwortbreite von 32 Bit zugeordnet. The pixels of the images of such a HDR image sequence are associated with a data word width of 32 bits, for example, image information in the form of data words.
  • Die Publikation ”Multi-level pixel difference classification methods”, Y. Chan et al., International Conference on Image Processing, IEEE, 23. bis 26. Oktober 1995, Vol. 3, Seite 252 bis 255, befasst sich mit Verfahren zur Pixel Difference Classification und beschreibt eine Verallgemeinerung, die als Multi-Level Pixel Difference Classification bezeichnet wird. The publication "Multi-level pixel difference classification methods", Y. Chan et al., International Conference on Image Processing, IEEE, October 23 to 26, 1995, Vol. 3, Page 252 to 255, deals with procedures for pixels Difference Classification and describes a generalization that is referred to as multi-level pixel difference classification. Eine besondere Untermenge der Multi-Level Pixel Difference Classification ist ein Bit-Truncation Verfahren. A particular subset of the multi-level pixel Difference Classification is a bit truncation process. Dabei werden einige der am wenigsten signifikanten Bits eines Bildpunktes fallengelassen. Here, some of the least significant bits of a pixel to be dropped. So wird ein Videosignal um einige der am wenigsten signifikanten Bits gekürzt, ehe es einer Bewegungsschätzeinheit zugeleitet wird. Thus, a video signal is reduced by some of the least significant bits before it is fed to a motion estimation unit.
  • In der Publikation ”Motion compensated frame rate conversion using a specialized instruction set processor”, N. Beucher et al., IEEE Workshop on Signal Processing Systems Design and Implementation SIPS, 2. bis 4. Oktober 2006, Seite 130 bis 135, ist eine Bildratenkonversion beschrieben, welche bewegungskompensiert realisiert wird. In the publication "motion compensated frame rate conversion using a specialized instruction set processor", N. Beucher et al., IEEE Workshop on Signal Processing Systems Design and Implementation SIPS, 2 to 4 October 2006, Page 130 to 135, is a frame rate conversion described which is realized motion compensated.
  • In der Publikation ”New Motion Estimation Algorithm Using Adaptively Quantized Low Bit-Resolution Image and Its VLSI Architecture for MPEG2 Video Encoding”, Seongsoo Lee et al., IEEE transactions on circuits and systems for video technology, Oktober 1998, Vol. 8, No. In the publication "New Motion Estimation Algorithm Using adaptively quantized Low Bit-Resolution Image and Its VLSI Architecture for MPEG2 video encoding," Seongsoo Lee et al., IEEE transactions on circuits and systems for video technology, Oct. 1998, Vol. 8, No. , 6, Seiten 734 bis 744, ISSN 1051–8215 wird ein weiteres Verfahren zur Bewegungsschätzung beschrieben, bei dem zur Ermittlung einer Bewegungsinformation bei unterschiedlich hohen Pixelauflösungen potentielle Bewegungsvektoren errechnet werden. 6, pages 734-744, ISSN 1051-8215, a further method of motion estimation is described in which potential motion vectors are calculated for determining a motion information at different high resolutions.
  • US 5,737,023 B US 5,737,023 B beschreibt ein Verfahren zur Bewegungsschätzung, bei dem die Pixelauflösung von Halbbildern reduziert wird, bevor eine Bewegungsschätzung vorgenommen wird. describes a method for motion estimation, wherein the pixel resolution of fields is reduced before motion estimation is performed.
  • US 2002/0036705 A1 US 2002/0036705 A1 beschreibt ein Verfahren zur Bewegungsschätzung, bei dem informationslose Leerzeilen, die jede zweite Bildzeile ausmachen, gelöscht werden; describes a method for motion estimation, in which informationless blank lines, which make up every other line is deleted; hierdurch werden Halbbild-Felder gebildet, die anschließend in progressiv projizierbare Vollbilder umgewandelt werden. thereby field arrays are formed, which are subsequently converted into projectable progressive frames. Durch das Löschen der informationslosen Leerzeilen wird die Anzahl der Pixel bzw. Bildpunkte der ursprünglichen Bilder halbiert. By deleting the non-information blank lines the number of pixels or picture elements of the original images is halved.
  • US 6,192,079 B1 US 6,192,079 B1 zeigt ein Verfahren, bei dem eine Bewegungsschätzung jeweils basierend auf Blöcken von Bildpunkten durchgeführt wird, was einer zumindest vorübergehenden Verringerung der Pixelzahl der Bilder gleichkommt. shows a method in which a motion estimation is in each case carried out based on blocks of pixels, which is equivalent to at least temporarily reduce the number of pixels of the images.
  • EP 0883298 A2 EP 0883298 A2 zeigt eine Vorrichtung zur Zwischenbildinterpolation, bei der Feldern bzw. Halbbildern interpolierte Bildzeilen hinzugefügt werden. shows an apparatus for inter-frame interpolation can be added in the fields or fields interpolated scanning line. Dadurch entstehen Vollbilder mit doppelter Bildgröße bzw. doppelter Pixelzahl. This creates frames with double image size or double pixel count.
  • WO 2008/081611 A1 WO 2008/081611 A1 zeigt eine Vorrichtung zur Zwischenbildinterpolation, die eine Bewegungsschätzung unter ausschließlicher Verwendung von Helligkeitssignalen durchführt, wohingegen Farbinformationen ohne Einfluss auf die Bewegungsschätzung bleiben. shows an apparatus for inter-frame interpolation which performs a motion estimation using only luminance signals, whereas color information without influence remain on the motion estimation.
  • Aufgabe der vorliegenden Erfindung ist es, eine Vorrichtung zur Zwischenbildinterpolation sowie ein Verfahren zur Zwischenbildinterpolation zur Verfügung zu stellen, bei denen für die Bewegungsschätzung ein geringerer Rechenaufwand benötigt wird, aber dennoch eine zuverlässige Bewegungsschätzung erreicht wird. The object of the present invention is to provide an apparatus for inter-frame interpolation and a method for inter-frame interpolation is available in which a lesser amount of computation required for motion estimation, but nevertheless a reliable motion estimation is achieved.
  • Diese Aufgabe wird durch eine Vorrichtung gemäß Anspruch 1 und durch ein Verfahren gemäß Anspruch 13 gelöst. This object is achieved by an apparatus according to claim 1 and by a method according to claim. 13
  • Die erfindungsgemäße Vorrichtung zur Zwischenbildinterpolation umfasst: The inventive device for inter-frame interpolation comprises:
    • – einen Eingang zur Zuführung eines Eingangsbildsignals, das eine Folge von Bildern repräsentiert, die jeweils eine Anzahl von Bildpunkten aufweist, denen jeweils wenigstens eine Mehrzahl von Bildinformationswerten zugeordnet ist; - an input for supplying an input image signal representing a sequence of images, each having a number of pixels, which is associated with image information values ​​in each case at least one of the plurality;
    • – eine Kompandereinheit, der das Eingangsbildsignal zugeführt ist und die dazu ausgebildet ist, aus dem Eingangsbildsignal durch Kompandieren der Bildinformationswerte ein kompandiertes Bildsignal zu erzeugen, dessen Bilder die gleiche Anzahl von Bildpunkten besitzen wie die Bilder des Eingangsbildsignals, wobei die Kompandereinheit dazu ausgebildet ist, einen Wertebereich der Bildinformationswerte der Bilder zu reduzieren, wobei die Bildinformationswerte Farbinformationen und Helligkeitsinformationen umfassen; - a Kompandereinheit, of the input image signal is supplied and which is adapted to generate from the input image signal by companding of the image information values ​​companded image signal whose images have the same number of image points have as the images of the input image signal, wherein the Kompandereinheit is adapted to a value range of the image information values ​​of the images to reduce, wherein said image information values ​​of color information and brightness information;
    • – eine Bewegungsschätzeinheit, der das kompandierte Bildsignal zugeführt ist und die dazu ausgebildet ist, basierend auf dem kompandierten Bildsignal eine Bewegungsinformation zu dem Eingangsbildsignal zu ermitteln; - a motion estimation unit which is supplied with the companded image signal and which is adapted to determine, based on the companded image signal, motion information to the input image signal; und and
    • – eine Interpolationseinheit, der das Eingangsbildsignal und die Bewegungsinformation zugeführt sind und die dazu ausgebildet ist, ein interpoliertes Bildsignal zu erzeugen, das eine Bildfolge repräsentiert, die im Vergleich zu der durch das Eingangsbildsignal repräsentierten Bildfolge eine höhere Bildfrequenz und/oder Bilder mit anderen Bewegungsphasen aufweist. - an interpolation unit, of the input image signal and the motion information are supplied and which is adapted to generate an interpolated image signal representing an image sequence having a higher frame rate and / or images having different motion phases compared to the address represented by the input image signal sequence ,
  • Hierbei ist die Kompandereinheit dazu ausgebildet, den Wertebereich der Bildinformationswerte zu reduzieren, indem sowohl die Farbinformationen als auch die Helligkeitsinformationen der Bilder kompandiert werden, und das auf diese Weise kompandierte Bildsignal wird der Bewegungsschätzeinheit zugeführt. Here, the Kompandereinheit is designed to reduce the range of the image information values ​​by both the color information and the brightness information of the images are companded, and the companded in this way image signal is supplied to the motion estimation unit.
  • Das erfindungsgemäße Verfahren zur Zwischenbildinterpolation umfasst: The inventive method for inter-frame interpolation comprises:
    • – Bereitstellen eines Eingangsbildsignals, das eine Folge von Bildern repräsentiert, die jeweils eine Anzahl von Bildpunkten aufweist, denen jeweils eine Mehrzahl von Bildinformationswerten zugeordnet ist; - providing an input image signal representing a sequence of images, each having a number of pixels, which is associated with image information values ​​in each case a plurality;
    • – Erzeugen eines kompandierten Bildsignals, dessen Bilder die gleiche Anzahl von Bildpunkten besitzen wie die Bilder des Eingangsbildsignals, aus dem Eingangsbildsignal durch Kompandieren von Bildern des Eingangsbildsignals, deren Bildinformationswerte Farbinformationen und Helligkeitsinformationen umfassen, wodurch ein Wertebereich der Bildinformationswerte reduziert wird; - generating a companded image signal whose images have the same number of image points have as the images of the input image signal, from the input image signal by companding of images of the input image signal, the image information values ​​include color information and brightness information, whereby a value range of the image information values ​​is reduced;
    • – Ermitteln einer Bewegungsinformation zu dem Eingangsbildsignal anhand des kompandierten Bildsignals; - determining a motion information to the input image signal based on the companded image signal; und and
    • – Erzeugen eines interpolierten Bildsignals, das eine Bildfolge repräsentiert, die im Vergleich zu der durch das Eingangsbildsignal repräsentierten Bildfolge eine höhere Bildfrequenz und/oder Bilder mit anderen Bewegungsphasen aufweist, aus dem Eingangsbildsignal unter Verwendung der Bewegungsinformation. - producing an interpolated image signal representing an image sequence having a higher frame rate and / or images having different motion phases compared to the address represented by the input image signal sequence from the input image signal using the motion information.
  • Hierbei wird der Wertebereich der Bildinformationswerte reduziert, indem sowohl die Farbinformationen als auch die Helligkeitsinformationen der Bilder kompandiert werden, und das auf diese Weise kompandierte Bildsignal wird beim Ermitteln der Bewegungsinformation verwendet. Here, the value range of the image information values ​​is reduced by both the color information and the brightness information of the images are companded, and the companded in this way image signal is used in determining the motion information.
  • Unter einem Kompandieren der Bildinformationswerte ist im Zusammenhang mit der vorliegenden Beschreibung eine Reduktion des Wertebereichs der Bildinformationswerte zu verstehen. Under a companding of the image information values ​​is to be understood in the context of the present specification, a reduction of the value range of the image information values. Diese Reduktion des Wertebereichs kann wahlweise unter Verwendung einer linearen oder einer nicht-linearen Kompanderkennlinie erfolgen. This reduction of the value range can be done either using a linear or a non-linear compander. Bei einem Beispiel ist vorgesehen, dass die Bildinformationswerte des Eingangsbildsignals jeweils durch Datenworte mit einer Datenwortbreite von 32 Bit repräsentiert sind und dass diese Bildinformationswerte auf kompandierte Bildinformationswerte abgebildet werden, die jeweils durch ein Datenwort mit einer Datenwortbildbreite Von 8 Bit repräsentiert sind. In one example, it is provided that the image information values ​​of the input image signal are each represented by data words with a data word width of 32 bits and that this image information values ​​are mapped to companded image information values, each represented by a data word with a data word image width of 8 bits. Im einfachsten Fall erfolgt eine solche Kompandierung beispielsweise dadurch, dass das zu kompandierende Datenwort in eine Anzahl von Teildatenworten unterteilt wird, die jeweils gleiche oder unterschiedliche Datenwortbreiten besitzen und dass sich das kompandierte Datenwort jeweils aus den signifikantesten Bits (MSB) der Teildatenworte zusammensetzt. In the simplest case, such companding done, for example, that to companding data word is divided into a number of partial data words, each having the same or different data word widths and that the companded data word composed in each case of the signifikantesten bits (MSB) of the partial data words.
  • Indem bei dieser Vorrichtung bzw. bei diesem Verfahren die Bewegungsschätzung nicht auf das Eingangsbildsignal, sondern auf das hinsichtlich seines Datenumfangs reduzierte kompandierte Bildsignal angewendet wird, lässt sich der Rechenaufwand im Zusammenhang mit der Bewegungsschätzung erheblich reduzieren. By the motion estimation is not applied to the input image signal, but at the reduced data in terms of its circumference companded image signal in this device and with this method, this can greatly reduce the amount of calculation in connection with the motion estimation.
  • Ausführungsbeispiele werden nachfolgend unter Bezugnahme auf Figuren näher erläutert. Embodiments will be explained in more detail below with reference to FIGS. Diese Figuren dienen zur Veranschaulichung des Grundprinzips, so dass lediglich die zur Veranschaulichung dieses Grundprinzips notwendigen Aspekte dargestellt sind. These figures are intended to illustrate the basic principle, so that only the necessary to illustrate aspects of this basic principle are illustrated. In den Figuren bezeichnen, sofern nicht anders angegeben, gleiche Bezugszeichen gleiche Merkmale mit gleicher Bedeutung. , Like reference numerals refer unless otherwise indicated in the figures, the same features with the same meaning.
  • 1 1 veranschaulicht schematisch eine durch ein Eingangsbildsignal repräsentierte Eingangsbildfolge und ein aus dieser Eingangsbildfolge resultierende interpolierte Bildfolge. illustrates schematically a group represented by an input image signal and an input image sequence resulting from this input image sequence interpolated image sequence.
  • 2 2 veranschaulicht ein Beispiel einer Vorrichtung zur Erzeugung der interpolierten Bildfolge aus der Eingangsbildfolge, die eine Kompandereinheit, eine Bewegungsschätzeinheit und eine Interpolationseinheit aufweist. illustrates an example of a device for generating the interpolated image sequence from the input image sequence having a Kompandereinheit, a motion estimation unit and an interpolation unit.
  • 3 3 veranschaulicht die Funktionsweise eines Beispiels einer Kompandereinheit. illustrates the operation of an example of a Kompandereinheit.
  • 4 4 veranschaulicht anhand eines Blockschaltbilds ein Beispiel der Bewegungsschätzeinheit. illustrates an example of the motion estimation unit on the basis of a block diagram.
  • 5 5 veranschaulicht anhand eines Blockschaltbilds ein Beispiel einer Interpolationseinheit. illustrates an example of interpolation with reference to a block diagram.
  • 6 6 veranschaulicht anhand eines Blockschaltbilds ein weiteres Beispiel einer Vorrichtung zur Erzeugung einer interpolierten Bildfolge aus einer Eingangsbildfolge. illustrates another example of a device for generating an interpolated image sequence from an input image sequence on the basis of a block diagram.
  • 1 1 zeigt schematisch eine Bildfolge, die nachfolgend auch als Eingangsbildfolge bezeichnet wird und die zeitlich aufeinanderfolgende Bilder F(i – 1), F(i) aufweist. schematically shows an image sequence, which is also referred to as the input image sequence and the temporally consecutive pictures F - which F (i) (i 1). Diese Bilder sind in These images are in 1 1 als zeitlich aufeinanderfolgende Bilder dargestellt, wobei t die Zeit und k eine diskrete Zeitvariable bezeichnet. represented as chronologically successive images, where t is time, and k denotes a discrete time variable. Die einzelnen Bilder F(i – 1), F(i) weisen jeweils eine Anzahl von Bildpunkten (Pixel) auf, denen jeweils wenigstens ein Bildinformationswert zugeordnet ist. The individual images F (i - 1), F (i) each have a number of image points (pixels), each associated with at least one image information value. Sind diese Bilder Farbbilder, so sind jedem Bildpunkt beispielsweise drei Bildinformationswerte zugeordnet, entweder ein Rot-Wert (R), ein Grün-Wert (G) und ein Blau-Wert (B) bei einer RGB-Darstellung, oder ein Luminanzwert (Y-Wert) und zwei Chrominanzwerte (U-Wert und V-Wert) bei einer YUV-Darstellung. These images are color images, so each pixel are allocated, for example, three image information values, either a red value (R), a green value (G) and a blue value (B) in an RGB representation, or a luminance value (Y value) and two chrominance (U and V-value-value) at a YUV representation. Aus verschiedenen Gründen kann es wünschenswert sein, an zeitlichen Positionen zwischen zwei aufeinanderfolgenden Bildern F(i – 1), F(i) der Eingangsbildfolge bewegungsrichtig Zwischenbilder zu interpolieren. For various reasons it may be desirable to temporal positions between two successive frames F (i - 1), F (i) of the input image sequence motion correctly interpolate between images. ”Bewegungsrichtig” heißt in diesem Zusammenhang, dass diese Zwischenbilder so interpoliert werden, dass sich bewegende Objekte, die sich in einem Bild F(i – 1) der Eingangsbildfolge an einer ersten Position und in dem zweiten Bild F(i) an einer zweiten Position befinden, sich in dem wenigstens einen Zwischenbild an einer räumlichen Position zwischen der ersten und zweiten Position befinden. "Moving right" in this context means that these intermediate images are interpolated so that moving objects in an image F (i - 1) of the input image sequence at a first position and in the second image F (i) at a second position are, are an intermediate image at a spatial position between the first and second positions at least in the. Die relative räumliche Lage dieses Objekts zwischen der ersten und zweiten Position entspricht dabei der relativen zeitlichen Lage des interpolierten Zwischenbilds zwischen den zeitlichen Positionen des ersten und zweiten Bilds F(i – 1), F(i). The relative spatial position of the object between the first and second positions corresponds to the relative time position of the interpolated intermediate image between the temporal positions of the first and second frame F (i - 1), F (i). In In 1 1 sind beispielhaft zwei solcher zu interpolierender Zwischenbilder F(i–)(α 1 – 1)) und F(i – (α 2 – 1)) dargestellt. are exemplary two such to be interpolated intermediate images F (i -) (α 1 - 1)) and F (i - (α 2 - 1)), respectively. Diese Zwischenbilder unterscheiden sich von den Eingangsbildern F(i – 1), F(i) hinsichtlich ihrer Bewegungsphase α, die grundsätzlich zwischen 0 und 1 liegen kann. This intermediate images are different from the input images F (i - 1), F (i) with respect to their movement phase α, which can in principle be between 0 to 1. In dem dargestellten Beispiel besitzen die Eingangsbilder beispielsweise die Bewegungsphase α = 0 oder α = 1, während die Zwischenbilder Bewegungsphasen α = α 1 und α = α 2 besitzen, die zwischen 0 und 1 liegen. In the illustrated example, the input images, for example, have the movement phase α = 0 or α = 1, while the intermediate frames movement phases α = α 1 and α = α 2 are comprised between 0 to 1.
  • Die Eingangsbildfolge kann hinsichtlich der Bildinformationswerte, die den einzelnen Pixel zugeordnet sind, insbesondere eine hochaufgelöste Bildfolge, wie z. The input image sequence may in terms of image information values ​​that are associated with the individual pixels, in particular a high-resolution image sequence, such. B. eine HDR-Bildfolge sein. For example, be an HDR image sequence. Diese Bildinformationswerte können dabei im Vergleich zu herkömmlichen Fernsehbildern einem hohen Wertebereich entstammen. This image information values ​​may come from a high range compared to conventional television pictures. Bei HDR-Bildfolgen ist jedem Pixel beispielsweise ein digitales Datenwort mit einer Wortbreite von 32 Bit zugeordnet, von denen 24 bit die Farbverteilung und 8 bit die Helligkeit bestimmen. In HDR image sequences each pixel is, for example, a digital data word having a word width of 32 bits allocated, of which 24 bit and 8 bit color distribution to determine the brightness. Ein digitales Datenwort für ein Pixel eines HDR-Bilds umfasst also: 8 bit für einen Rotanteil (R); A digital data word for a pixel of the HDR image thus comprises: 8 bit for a red component (R); 8 bit für einen Grünanteil (G); 8 bits for a green component (G); 8 bit für einen Blauanteil (G); 8 bits for a blue component (G); 8 bit für einen die Helligkeit bestimmenden Exponenten. 8 bits for a brightness determining exponents.
  • Zu Zwecken einer Zwischenbildinterpolation ist es grundsätzlich bekannt, eine sogenannte Bewegungsschätzung zu einzelnen Bildblöcken des zu interpolierenden Zwischenbildes durchzuführen. For purposes of inter-frame interpolation, it is generally known to carry out a so-called motion estimation to individual image blocks of being interpolated intermediate image. Das Zwischenbild wird hierbei in einzelne Blöcke unterteilt, die matrixartig angeordnet sind und die beispielsweise 8×8 oder 16×16 Bildpunkte umfassen. The intermediate image is in this case divided into individual blocks which are arranged in a matrix and include, for example, 8 × 8 or 16 × 16 pixels. Zu jedem dieser Bildblöcke wird eine Bewegungsinformation ermittelt, die für jeden zu interpolierenden Bildblock angibt, unter Verwendung der Bildinhalte welcher Bildblöcke in dem ersten und zweiten Bild F(i – 1), F(i) der Bildinhalt des zu interpolierenden Bildblocks zu interpolieren ist. For each of these image blocks motion information is detected, which indicates for each to be interpolated image block using the image content which image blocks in the first and second image F (i - 1), F (i) of the image content of the interpolated image block to be interpolated. Diese Bewegungsinformation liegt beispielsweise in Form eines sogenannten Bewegungsvektors vor. This motion information is present for example in the form of a so-called motion vector. Die Ermittlung dieser Bewegungsinformation kann beispielsweise mittels eines rekursiven Bewegungsschätzverfahrens erfolgen. The determination of this motion information can for example take place by means of a recursive motion estimation process. Ein solches Verfahren ist grundsätzlich bekannt, so dass auf weitere Ausführungen hierzu verzichtet werden kann. Such a process is known in principle, can be so that no further explanations in this respect.
  • Die Ermittlung einer Bewegungsinformation zu einem zu interpolierenden Bildblock erfordert abhängig vom verwendeten Schätzverfahren mehrere Vergleiche zwischen den Bildinhalten von Bildblöcken in dem ersten Bild F(i – 1) einerseits und dem zweiten Bild F(i) andererseits. The detection of motion information concerning a to be interpolated image block requires depends on the estimation procedure, several comparisons between the image contents of image blocks in the first image F (i - 1) on the one hand and the second image F (i) on the other. Ein solcher ”Blockvergleich” ist dabei umso rechenaufwendiger, je größer die Wertebereiche sind, denen die einzelnen Pixelwerte entstammen. Such a "block matching" is all the more computationally expensive, the greater the value ranges, which come from the individual pixel values. Eine Vorrichtung und ein mit dieser Vorrichtung durchführbares Verfahren zur Zwischenbildinterpolation mit der bzw. mit dem sich dieser Rechenaufwand reduzieren lässt, wird nachfolgend anhand von An apparatus and can be carried out with this device, method for inter-frame interpolation with the or with the computing effort can be reduced that is, below with reference to 2 2 veranschaulicht. illustrated.
  • 2 2 zeigt schematisch eine Vorrichtung zur Zwischenbildinterpolation. schematically shows an apparatus for inter-frame interpolation. Diese Vorrichtung besitzt einen Eingang zur Zuführung eines Eingangsbildsignals F, das eine Eingangsbildfolge, wie beispielsweise die anhand von This device has an input for supplying an input image signal F having an input picture sequence, such as based on 1 1 veranschaulichte Bildfolge mit den Bildern F(i – 1), F(i) repräsentiert. illustrated image sequence with the images F (i - 1), F (i) represents. Dieses Eingangsbildsignal F enthält also eine Abfolge der Pixelwerte, die den Pixeln in den einzelnen Bildern zugeordnet sind. Thus, this input image signal F contains a sequence of pixel values ​​which are assigned to the pixels in the individual pictures. Dieses Eingangsbildsignal F ist zum Einen einer Kompandereinheit This input image signal F is firstly a Kompandereinheit 1 1 und zum Anderen einer Interpolationseinheit and on the other an interpolation 4 4 zugeführt. fed. Optional ist zwischen den Eingang und die Interpolationseinheit Optionally, between the input and the interpolation 4 4 ein Verzögerungsglied a delay element 2 2 geschaltet, das dazu dient, eine Signalverzögerung, die durch die noch zu erläuternde Verarbeitung des Eingangsbildsignals F in der Kompandereinheit connected, which serves a signal delay caused by the processing to be explained of the input image signal F in the Kompandereinheit 1 1 resultiert, zu ”kompensieren”. results, "compensate" to. Die Kompandereinheit the Kompandereinheit 1 1 ist dazu ausgebildet, aus dem Eingangsbildsignal F ein kompandiertes Bildsignal F1 zu erzeugen, indem sie die in dem Eingangsbildsignal F enthaltenen Pixelwerte kompandiert. is adapted to generate from the input image signal F a companded image signal F1 by companded the pixel values ​​contained in the input image signal F. Die Eingangsbildfolge F umfasst beispielsweise eine Abfolge von Datenworten einer Wortbreite von jeweils n Bit, und das kompandierte Bildsignal F1 umfasst beispielsweise eine Abfolge von Datenworten mit einer Wortbreite von m Bit, wobei m kleiner als n ist. The input image sequence F, for example, comprises a sequence of data words of a word width of n bits, and the companded image signal F1, for example, comprises a sequence of data words having a word width of m bits, where m is less than n.
  • Das kompandierte Bildsignal F1 repräsentiert eine Bildfolge, die dieselbe Bildfrequenz besitzt, wie die durch die Eingangsbildfolge F repräsentierte Bildfolge, und deren Bilder die gleiche Anzahl von Bildpunkten besitzen wie die Bilder der Eingangbildfolge. The companded image signal F1 represents an image sequence having the same frame frequency as that represented by the input image sequence F picture sequence, and the images of the same number of pixels as the images having the input image sequence. Mit anderen Worten: Die durch die kompandierte Bildfolge F1 repräsentierte Bildfolge resultiert aus der Eingangsbildfolge durch Reduzieren der Darstellungsgenauigkeit der Pixelwerte und somit der hierfür benötigten Datenmenge. In other words, represented by the companded image sequence F1 image sequence results from the input image sequence by reducing the accuracy of representation of the pixel values ​​and thus the data required for this amount. Bei einem Beispiel ist vorgesehen, dass die Pixelwerte der Eingangsbildfolge Datenworte der Breite n = 32 Bit sind, während die Pixelwerte der ”kompandierten Bildfolge” Datenworte der Breite m = 8 Bit sind. In one example, it is provided that the pixel values ​​of the input image sequence data words of width n = 32 bits, while the pixel values ​​of the "companded image sequence" data words of width = m are 8 bits. In diesem Fall liegt eine Reduktion der Datenmenge um einen Faktor 4 vor. In this case, a reduction of data volume by a factor of 4 is available. Diese Reduktion der Datenmenge kann auf beliebige Weise sowohl unter Verwendung einer linearen als auch unter Verwendung einer nicht-linearen Kompanderkennlinie erfolgen. This reduction in the amount of data can be done in any manner using both a linear and using a non-linear compander. Kompander zur Kompandierung eines HDR-Bilds, beispielsweise auf ein 8-Bit-Bild sind grundsätzlich bekannt, so dass auf weitere Ausführungen hierzu verzichtet werden kann. can be compander companding for an HDR image, for example, on an 8-bit image are generally known, so that no further explanations in this respect.
  • Lediglich zum besseren Verständnis veranschaulicht Illustrated only for better understanding 3 3 die Funktionsweise eines Beispiels eines Kompanders, der ein HDR-Bild mit 32 Bit je Pixel auf ein Bild mit 8 Bit je Pixel kompandiert. The operation of an example of a compander, the companded an HDR image with 32 bits per pixel to an image with 8 bits per pixel. Mit D ist in D is 3 3 ein Datenwort eines Pixels eines HDR-Bilds bezeichnet. refers to a data word of a pixel of an HDR image. Von den 32 Bit dieses Datenworts repräsentieren 8 Bit einen Rotanteil R des Bildpunkts, 8 Bit einen Grünanteil G, 8 Bit einen Blauanteil B und 8 Bit einen die Helligkeit bestimmenden Exponenten E. In einem kompandierten Datenwort D' mit 8 Bit repräsentieren beispielsweise nur noch 2 Bit einen Rotanteil R, 2 Bit einen Grünanteil G, 2 Bit einen Blauanteil B und 2 Bit einen die Helligkeit bestimmenden Exponenten E. Die Umsetzung der die Farbanteile repräsentierenden Teildatenworte von je 8 Bit in dem ursprünglichen Datenwort auf die Farbanteile repräsentierenden Teildatenworte von je 2 Bit in dem kompandierten Datenwort kann unter Verwendung einer beliebigen linearen oder nicht-linearen Kompanderkennlinie erfolgen. Of the 32 bits of this data word of 8 bits representing a red component R of the pixel, 8 bits a green component G, 8 bits a blue component B and 8 bits a brightness determining exponent E. represent in a companded data word D 'with 8 bits, for example, only 2 bit a red component R, 2 bits a green component G, 2 bits a blue component B and 2 bits a brightness determining exponent E. the implementation of the color components representing partial data words of 8 bits each in the original data word representing the color components of partial data words of 2 bits in the companded data word can be performed using any linear or non-linear compander. Bei einem Beispiel ist vorgesehen, von den 8 Bit breiten Teildatenworten jeweils die 6 am wenigstens signifikanten Bits (LSBs, Least Significant Bits) zu streichen, um die 2 Bit breiten Teildatenworte zu erhalten. In one example, wide part of the data words of 8 bits is provided, in each case to remove the 6 least significant bits (LSBs, Least Significant Bits), to obtain the 2-bit partial data words. In entsprechender Weise kann der Exponent kompandiert werden. Similarly, the exponent can be companded. In diesem Zusammenhang sei noch angemerkt, dass die Farbanteile und der Exponent auf unterschiedliche Weise, dh unter Verwendung unterschiedlicher Kompanderkennlinien, kompandiert werden können. In this context it should be noted that the amount of color and the exponent, that can be companded in different ways using different Kompanderkennlinien.
  • Bei einem weiteren Beispiel (nicht dargestellt) ist vorgesehen, das Datenwort D durch Streichen des Exponenten E zu kompandieren. In another example (not shown) is provided to companding the data word D by brushing of the exponent e. Das hieraus resultierende Datenwort besitzt in diesem Fall eine Wortlänge von 24 Bit. in this case, the resulting data word has a word length of 24 bits. Zusätzlich zum Streichen des Exponenten, der die Helligkeitsinformation repräsentiert, besteht die Möglichkeit, die Farbinformationen für Rot, Grün und Blau zu kompandieren, um die Datenwortbreite weiter zu reduzieren. In addition to the strike of the exponent that represents the brightness information, it is possible to compand the color information for red, green and blue, to reduce the data word width on. Der Kompandierungsfaktor ist dabei abhängig von der im Ergebnis gewünschten Wortbreite des Datenworts D'. The Kompandierungsfaktor is dependent on the desired result word width of the data word D '. Die Wortbreite der die Farben repräsentierenden Teildatenworte im kompandierten Datenwort D' ist beispielsweise zwischen 3 Bit und 6 Bit, wobei die einzelnen Farben sowohl bezüglich des Kompandierungsfaktors als auch bezüglich der Kompanderkennlinie unterschiedlich kompandiert werden können. The word width of the colors representing part of data words in the companded data word D 'is for example between 3 bits and 6 bits, with the individual colors can be companded different both with respect to the Kompandierungsfaktors as well as with respect to the compander.
  • Bei einem weiteren Beispiel ist vorgesehen, das Datenwort D durch Streichen der Farbanteile zu kompandieren. In another example is provided to companding the data word D by brushing of the color components. Das kompandierte Datenwort entspricht in diesem Fall dem Exponenten E. Eine Bewegungsschätzung wird in diesem Fall ausschließlich unter Verwendung der durch den Exponenten repräsentierten Helligkeitsinformation durchgeführt. The companded data word in this case corresponds to the exponent E. A motion estimation is performed in this case using only the brightness information represented by the exponent.
  • Das kompandierte Bildsignal F1 ist einer Bewegungsschätzeinheit The companded image signal F1 is a motion estimation unit 3 3 zugeführt, die dazu ausgebildet ist, eine Bewegungsinformation zu dem Eingangsbildsignal F basierend auf dem kompandierten Bildsignal F1 zu ermitteln. supplied, which is adapted to determine motion information to the input image signal F based on the companded image signal F1. Diese Bewegungsschätzeinheit This motion estimation unit 3 3 kann eine herkömmliche Bewegungsschätzeinheit sein, beispielsweise eine Bewegungsschätzeinheit, die zu jedem zu interpolierenden Bildblock eines gewünschten Zwischenbildes eine Bewegungsinformation durch Vergleich einzelner Bildblöcke aufeinanderfolgender Bilder der durch das kompandierte Bildsignal F1 repräsentierten ”kompandierten Bildfolge” ermittelt. may be a conventional motion estimation unit, for example, a motion estimation unit which determines for each to be interpolated image block of a desired intermediate image a motion information by comparison of individual image blocks of successive images of the represented by the companded image signal F1 "companded image sequence". Ein solcher Blockvergleich umfasst einen Vergleich der einzelnen Bildpunkte (Pixel) dieser Blöcke. Such a block comparison comprises a comparison of the individual image points (pixels) of these blocks. Bei diesem Vergleich können alle Bildinformationen verglichen werden, die durch die kompandierten Datenworte einzelnen Bildpunkten zugeordnet sind. In this comparison, all the image information can be compared, which are assigned by the companded data words individual pixels. Es können allerdings auch nur Teile der kompandierten Datenworte miteinander verglichen werden, wie z. It can be compared with each other, however, only parts of the companded data words such. B. nur eine oder mehrere der Farbinformationen oder nur die Helligkeitsinformation. For example, only one or more of the color information or only the brightness information.
  • Die Bewegungsinformation wird beispielsweise in Form von Bewegungsvektoren ermittelt, wobei beispielsweise jedem Bildblock eines zu interpolierenden Bildes ein solcher Bewegungsvektor zugeordnet ist. The motion information is determined, for example in the form of motion vectors, for example, each image block of an image to be interpolated is associated with such a motion vector. Diese Bewegungsinformation M ist der Interpolationseinheit This motion information M is the interpolation 4 4 zugeführt, die dazu ausgebildet ist, basierend auf dem Eingangsbildsignal F und dieser Bewegungsinformation M ein interpoliertes Bildsignal F2 zu erzeugen, das eine Bildfolge mit interpolierten Bildern repräsentiert. supplied, which is adapted to generate based on the input image signal F and the motion information M is an interpolated image signal F2 representing an image sequence with interpolated images. Diese Bildfolge mit interpolierten Bildern kann bezugnehmend auf This image sequence with interpolated images can be applied to reference 1 1 eine Bildfolge sein, die die Eingangsbilder und die interpolierten Zwischenbilder umfasst, die also eine höhere Bildfrequenz als die Eingangsbildfolge besitzt. be an image sequence including the input images and the interpolated intermediate images, so the image has a higher frequency than the input image sequence. Diese Bildfolge mit interpolierten Bilder kann jedoch auch eine Bildfolge sein, die die Eingangsbilder nicht mehr enthält und die lediglich Bilder mit anderen Bewegungsphasen als die Eingangsbilder umfasst. However, this image sequence with interpolated images can also be a sequence of images that no longer contains the input images and the only comprises images with different phases of motion than the input images.
  • Bei dem erfindungsgemäßen Verfahren bzw. der erfindungsgemäßen Vorrichtung ist der Rechenaufwand für die Bewegungsschätzung reduziert, da die Bewegungsschätzung nicht auf die Eingangsbildfolge F sondern auf die eine verringerte Datenmenge umfassende kompandierte Bildfolge F1 angewendet wird. In the inventive method and the inventive apparatus, the amount of computation for the motion estimation is reduced because the motion estimation is not applied to the input image sequence F but on a reduced amount of data comprehensive companded image sequence F1. Die Bewegungsschätzeinheit The motion estimation unit 3 3 und die Interpolationseinheit and the interpolation 4 4 können dabei herkömmliche Bewegungsschätzeinheiten und Interpolationseinheiten possibility to conventional motion estimation units and interpolation units 4 4 sein. his.
  • Ein Beispiel einer Bewegungsschätzeinheit An example of a motion estimation unit 3 3 ist schematisch in is schematically illustrated in 4 4 dargestellt. shown. Diese Bewegungsschätzeinheit This motion estimation unit 3 3 umfasst zwei Speicher includes two memory 31 31 , . 32 32 , die dazu ausgebildet sind, je ein kompandiertes Bild der durch das kompandierte Bildsignal F1 repräsentierten Bildfolge zu speichern. That are adapted to store a respective companded the image represented by the image signal F1 companded image sequence. Das kompandierte Bildsignal F1 ist hierbei einem ersten Speicher The companded image signal F1 is in this case a first memory 31 31 unmittelbar und einem zweiten Speicher immediately and a second memory 32 32 über ein Verzögerungsglied via a delay element 33 33 zeitverzögert zugeführt. delayed supplied. Eine Verzögerungsdauer des Verzögerungsglieds A delay time of the delay element 33 33 entspricht hierbei der Bilddauer eines Bildes, so dass zu einem Zeitpunkt in den beiden Speichern here corresponds to the duration of a picture image such that at a time in the two memories 31 31 , . 32 32 zwei Bilder abgespeichert sind, die in der kompandierten Bildfolge zeitlich aufeinanderfolgen. two images are stored, which follow one another in time in the companded image sequence. Die Bewegungsschätzeinheit The motion estimation unit 3 3 umfasst außerdem einen Bewegungsschätzer further comprising a motion estimator 34 34 , der auf die beiden Speicher , Of the two memory 31 31 , . 32 32 zugreift, um einzelne Bildblöcke der abgespeicherten Bilder miteinander zu vergleichen. accesses to compare individual image blocks of the stored images with each other. Die Bewegungsschätzeinheit The motion estimation unit 3 3 kann außerdem einen Bewegungsvektorspeicher may further comprise a motion vector memory 35 35 umfassen, in dem Bewegungsvektoren abgespeichert sind, die der Bewegungsschätzer include, but are stored in the motion vectors of the motion estimator 34 34 zur Bewegungsschätzung verwendet. used for motion estimation. Die Bewegungsinformation M steht am Ausgang des Bewegungsschätzers The motion information M at the output of the motion estimator 34 34 zur Verfügung. to disposal. Diese Bewegungsinformation M liegt beispielsweise in Form von Bewegungsvektoren vor, wobei der Bewegungsschätzer This motion information M is, for example in the form of motion vectors, the motion estimator 34 34 zu jedem Bildblock eines zu interpolierenden Zwischenbildes einen Bewegungsvektor erzeugt. generates a motion vector for each image block a to be interpolated intermediate image. Bei einem Beispiel ist dabei vorgesehen, dass für Bewegungsphasen α = 0 und α = 1 keine Bewegungsschätzung durchgeführt wird, sondern dass für diese Bewegungsphasen unmittelbar die Bilder der Eingangsbildfolge in die interpolierte Bildfolge übernommen werden. In one example, it is provided that 0 and α = 1, no motion estimation is performed for motion phases α =, but be that adopted for this movement phases immediately the images of the input image sequence in the interpolated image sequence.
  • Ein Beispiel einer Interpolationseinheit An example of interpolation 4 4 , die dazu ausgebildet ist, unter Verwendung der Bewegungsinformation M aus dem Eingangsbildsignal F das interpolierte Bildsignal F2 zu erzeugen, ist in Which is adapted to generate the interpolated image signal F2 by using the motion information M from the input image signal F is in 5 5 dargestellt. shown. Diese Interpolationseinheit this interpolation 4 4 umfasst zwei Speicher includes two memory 41 41 , . 42 42 , die jeweils in der Lage sind, ein Bild der Eingangsbildfolge zu speichern. That are each capable of storing an image of the input image sequence. Das Eingangsbildsignal F ist hierbei einem der Speicher The input image signal F is in this case one of the memories 41 41 unmittelbar und einem zweiten immediately and a second 42 42 der Speicher über ein Verzögerungsglied the memory via a delay element 43 43 , das eine Verzögerungsdauer von 1 Bit besitzt, zugeführt. Having a delay time of 1 bit supplied. Die Interpolationseinheit the interpolation 4 4 umfasst außerdem einen Interpolator also includes an interpolator 44 44 , der auf die beiden Speicher , Of the two memory 41 41 , . 42 42 zugreift und der dazu ausgebildet ist, jeden Bildblock eines zu interpolierenden Zwischenbildes dadurch zu interpolieren, dass unter Verwendung des dem Bildblock zugeordneten Bewegungsvektors die Bildinhalte je eines in dem ersten Speicher accesses and which is adapted to interpolate each image block of an intermediate image to be interpolated, characterized in that using the image associated with the block motion vector of the image contents of each of a first in the memory 41 41 abgespeicherten Bildblock und eines in dem zweiten Speicher stored image block and one in the second memory 42 42 abgespeicherten Bildblocks gemischt werden. stored image blocks are mixed.
  • 6 6 veranschaulicht anhand eines Blockschaltbilds eine weitere Vorrichtung zur Zwischenbildinterpolation und ein durch diese Vorrichtung durchführbares Verfahren. illustrated with reference to a block diagram of a further apparatus for inter-frame interpolation, and a method can be carried out by this apparatus. Bei dieser Vorrichtung ist das Eingangsbildsignal F unmittelbar der Bewegungsschätzeinheit In this apparatus, the input image signal F is directly to the motion estimation unit 3 3 zugeführt, die in diesem Fall dazu ausgebildet ist, eine Bewegungsschätzung zu dem unkompandierten Eingangssignal F durchzuführen und eine Bewegungsinformation M zu dem Eingangsbildsignal F zu erzeugen. supplied, which is designed in this case to perform motion estimation to the unkompandierten input signal F and to generate a motion information M to the input image signal F. Diese Bewegungsinformation M wird in der Interpolationseinheit This motion information M is in the interpolation 4 4 dazu verwendet, das interpolierte Bildsignal F2 zu erzeugen. used to generate the interpolated image signal F2. Dieses interpolierte Bildsignal F2 kann beispielsweise eine Bildfolge mit Eingangsbildern und interpolierten Zwischenbildern repräsentieren, wie es in This interpolated image signal F2 can represent, for example, an image sequence of input images and interpolated intermediate images, as shown in 1 1 dargestellt ist. is shown. Dieses interpolierten Bildsignal ist einer Kompandereinheit This interpolated image signal is a Kompandereinheit 1 1 zugeführt, die dazu ausgebildet ist, aus diesem interpolierten Zwischenbildsignal F2 ein kompandiertes interpoliertes Bildsignal F3 zu erzeugen. supplied, which is adapted to generate, from this interpolated intermediate image signal F2 is a companded interpolated image signal F3. Das kompandierte Bildsignal F3 besitzt die gleiche Bildfrequenz wie das interpolierte Bildsignal F2, jedoch einen reduzierten Dynamikbereich hinsichtlich der Pixelwerte der einzelnen Pixel. The companded image signal F3 has the same frame rate as the interpolated image signal F2, however, a reduced dynamic range with respect to the pixel values ​​of individual pixels. Der Umfang der Kompandierung ist beispielsweise an die Darstellungsmöglichkeiten eines Anzeigegerätes angepasst, auf dem das kompandierte interpolierte Bildsignal F3 dargestellt werden soll. The scope of the companding is for example adapted to the display capabilities of a display device on which the companded interpolated image signal F3 to be displayed. Diese Vorrichtung ermöglicht es, beispielsweise eine Eingangsbildfolge, die eine HDR-Bildfolge ist, zu interpolieren und auf einem herkömmlichen Fernsehgerät darzustellen. This device makes it possible to interpolate, for example, an input image sequence which is a HDR image sequence, and display on a conventional television set. Die Anwendung der Bewegungsschätzung auf die Eingangsbildfolge ist zwar rechenaufwendig, bietet jedoch den Vorteil einer genaueren Bewegungsschätzung. The application of motion estimation on the input image sequence, although computationally intensive, but has the advantage of more accurate motion estimation.

Claims (15)

  1. Vorrichtung zur Zwischenbildinterpolation, die Folgendes aufweist: – einen Eingang zur Zuführung eines Eingangsbildsignals (F), das eine Folge von Bildern (F(i – 1), F(i)) repräsentiert, die jeweils eine Anzahl von Bildpunkten aufweist, denen jeweils eine Mehrzahl von Bildinformationswerten zugeordnet ist; An apparatus for inter-frame interpolation, comprising: - an input for supplying an input image signal (F) comprising a sequence of pictures (F (i - 1), F (i)) represents, each having a number of pixels each of which a plurality is associated with image information values; – eine Kompandereinheit ( - a Kompandereinheit ( 1 1 ), der das Eingangsbildsignal (F) zugeführt ist und die dazu ausgebildet ist, aus dem Eingangsbildsignal (F) durch Kompandieren der Bildinformationswerte ein kompandiertes Bildsignal (F1) zu erzeugen, dessen Bilder die gleiche Anzahl von Bildpunkten besitzen wie die Bilder des Eingangsbildsignals (F), wobei die Kompandereinheit ( ), Which is supplied to the input image signal (F) and which is adapted, from the input image signal (F) by companding of the image information values ​​companded image signal (F1) to generate the images have the same number of image points have as the images of the input image signal (F ), the Kompandereinheit ( 1 1 ) dazu ausgebildet ist, einen Wertebereich der Bildinformationswerte der Bilder zu reduzieren, wobei die Bildinformationswerte Farbinformationen und Helligkeitsinformationen umfassen; is formed) to reduce a range of values ​​of the image information values ​​of the images, wherein said image information values ​​of color information and brightness information; – eine Bewegungsschätzeinheit ( - a motion estimation unit ( 3 3 ), der das kompandierte Bildsignal (F1) zugeführt ist und die dazu ausgebildet ist, basierend auf dem kompandierten Bildsignal (F1) eine Bewegungsinformation (M) zu dem Eingangsbildsignal (F) zu ermitteln; ) Of the companded image signal (F1) is fed and which is adapted to determine based (on the companded image signal F1), motion information (M) (to the input image signal F); – eine Interpolationseinheit ( - an interpolation unit ( 4 4 ), der das Eingangsbildsignal (F) und die Bewegungsinformation (M) zugeführt sind und die dazu ausgebildet ist, ein interpoliertes Bildsignal (F2) zu erzeugen, das eine Bildfolge repräsentiert, die im Vergleich zu der durch das Eingangsbildsignal (F) repräsentierten Bildfolge eine höhere Bildfrequenz und/oder Bilder mit anderen Bewegungsphasen aufweist, wobei die Kompandereinheit ( ), Which are supplied to the input image signal (F) and motion information (M) and which is adapted to produce an interpolated image signal (F2) which represents a sequence of images, representing in comparison to the (by the input image signal F) image sequence a has higher frame rate and / or images having different motion phases, the Kompandereinheit ( 1 1 ) dazu ausgebildet ist, den Wertebereich der Bildinformationswerte zu reduzieren, indem sowohl die Farbinformationen als auch die Helligkeitsinformationen der Bilder kompandiert werden, und wobei das auf diese Weise kompandierte Bildsignal (F1) der Bewegungsschätzeinheit ( ) Is adapted to reduce the value range of the image information values ​​by both the color information and the luminance information of the images are companded and wherein the companded in this way, image signal (F1) of the motion estimation unit ( 3 3 ) zugeführt wird. ) Is supplied.
  2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Kompandereinheit ( Device according to claim 1, characterized in that the Kompandereinheit ( 1 1 ) dazu ausgebildet ist, die Helligkeitsinformationen des Eingangsbildsignals (F) auf andere Weise zu kompandieren als die Farbinformationen des Eingangsbildsignals (F). ) Is adapted to the brightness information of the input image signal (F) to compand in ways other than the color information of the input image signal (F).
  3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Kompandereinheit ( Device according to claim 1 or 2, characterized in that the Kompandereinheit ( 1 1 ) dazu ausgebildet ist, die Helligkeitsinformationen und die Farbinformationen unter Verwendung unterschiedlicher Kompanderkennlinien zu kompandieren. ) Is adapted to compand the brightness information and the color information using different Kompanderkennlinien.
  4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Kompandereinheit ( Device according to one of claims 1 to 3, characterized in that the Kompandereinheit ( 1 1 ) dazu ausgebildet ist, die Farbinformationen einzelner Farben unter Verwendung unterschiedlicher Kompanderkennlinien und/oder mit unterschiedlichen Kompandierungsfaktoren zu kompandieren. ) Is adapted to compand the chrominance information of individual colors using different Kompanderkennlinien and / or with different Kompandierungsfaktoren.
  5. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Kompandereinheit ( Device according to one of claims 1 to 4, characterized in that the Kompandereinheit ( 1 1 ) dazu ausgebildet ist, ein Eingangsbildsignal (F) zu kompandieren, das aus Datenworten einer ersten Datenwortbreite (n) zusammengesetzt ist, um ein kompandiertes Bildsignal (F) einer reduzierten Datenwortbreite (m) zu erzeugen. ) Is adapted to an input image signal (F) to compand, the (from data words, a first data word length n) is composed to generate a companded image signal (F) a reduced data word length (m).
  6. Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Kompandereinheit ( Device according to one of claims 1 to 5, characterized in that the Kompandereinheit ( 1 1 ) dazu ausgebildet ist, die Helligkeitsinformationen und die Farbinformationen zu kompandieren, indem für die Helligkeit (E) und für jeden Farbanteil (R, G, B) des Eingangsbildsignals (F) die Breite eines zugehörigen Teildatenworts auf eine bestimmte Anzahl von Bits reduziert wird. is formed) to compand the brightness information and the color information by (for the brightness E) and R, G, B) (for each color component of the input image signal (F) the width of an associated sub-data word to a particular number of bits is reduced.
  7. Vorrichtung nach Anspruch einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Kompandereinheit ( Device according to claim one of claims 1 to 6, characterized in that the Kompandereinheit ( 1 1 ) dazu ausgebildet ist, ein aus Datenworten mit einer Datenwortbreite von 32 Bit bestehendes Eingangsbildsignal (F) in ein kompandiertes Bildsignal (F) mit einer Datenwortbreite von 8 Bit zu kompandieren. ) Is adapted to compand one of data words with a data word width of 32 bits existing input image signal (F) in a companded image signal (F) with a data word width of 8 bits.
  8. Vorrichtung nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Kompandereinheit ( Device according to claim 6 or 7, characterized in that the Kompandereinheit ( 1 1 ) dazu ausgebildet ist, die Helligkeitsinformationen und die Farbinformationen zu kompandieren, indem für die Helligkeit (E) und für jeden Farbanteil (R, G, B) des Eingangsbildsignals (F) die Breite des zugehörigen Teildatenworts von acht Bit auf zwei Bit reduziert wird. is formed) to compand the brightness information and the color information by the brightness (E) and R, G, B) (for each color component of the input image signal (F) the width of the associated partial data word of eight bits is reduced to two bits.
  9. Vorrichtung nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass die Kompandereinheit ( Device according to one of claims 6 to 8, characterized in that the Kompandereinheit ( 1 1 ) dazu ausgebildet ist, die Helligkeitsinformationen und die Farbinformationen zu kompandieren, indem für die Helligkeit (E) und für jeden Farbanteil (R, G, B) des Eingangsbildsignals (F) sechs am wenigsten signifikante Bits gestrichen werden. is formed) to compand the brightness information and the color information by (for the brightness E) and R, G, B) (for each color component of the input image signal (F) six least significant bits are deleted.
  10. Vorrichtung nach Anspruch einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Kompandereinheit ( Device according to claim one of claims 1 to 5, characterized in that the Kompandereinheit ( 1 1 ) dazu ausgebildet ist, ein Eingangsbildsignal (F) aus Datenworten, die sich aus Werten für die Luminanz (Y) und für die Chrominanz (U, V) gemäß der YUV-Darstellung zusammensetzen, zu empfangen und zu kompandieren. ) Is adapted to an input image signal (F) from data words from values ​​for the luminance (Y) and (for the chrominance U, V) according to the YUV representation compose, receive, and compand.
  11. Vorrichtung nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Vorrichtung dazu ausgebildet ist, das Eingangsbildsignal (F) sowohl der Kompandereinheit ( Apparatus (according to any of claims 1 to 10, characterized in that the device is adapted to the input image signal (F) of both the Kompandereinheit 1 1 ) als auch der Interpolationseinheit ( ) And the interpolation unit ( 4 4 ) zuzuführen. supply).
  12. Vorrichtung nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Vorrichtung und/oder die Interpolationseinheit ( Device according to one of claims 1 to 11, characterized in that the device and / or the interpolation ( 4 4 ) dazu ausgebildet ist, ein interpoliertes Bildsignal (F2) zu erzeugen, das keine Bilder des Eingangsbildsignals (F) mehr enthält und das lediglich Bilder umfassst, die andere Bewegungsphasen besitzen als die Bilder des Eingangsbildsignals (F). ) Is adapted, an interpolated image signal (F2) to produce that any images of the input image signal (F) contains more, and the only images umfassst having other phases of movement as the images of the input image signal (F).
  13. Verfahren zur Zwischenbildinterpolation, das Folgendes umfasst: – Bereitstellen eines Eingangsbildsignals (F), das eine Folge von Bildern (F(i – 1), F(i)) repräsentiert, die jeweils eine Anzahl von Bildpunkten aufweist, denen jeweils eine Mehrzahl von Bildinformationswerten zugeordnet ist; A method for inter-frame interpolation, comprising: - providing an input image signal (F) comprising a sequence of pictures (F (i - 1), F (i)) represents, each having a number of pixels each of which a plurality of image information values assigned; – Erzeugen eines kompandierten Bildsignals (F1), dessen Bilder die gleiche Anzahl von Bildpunkten besitzen wie die Bilder des Eingangsbildsignals (F), aus dem Eingangsbildsignal (F) durch Kompandieren von Bildern des Eingangsbildsignals (F) deren Bildinformationswerte Farbinformationen und Helligkeitsinformationen umfassen, wodurch ein Wertebereich der Bildinformationswerte reduziert wird; - generating a companded image signal (F1) whose images have the same number of image points have as the images of the input image signal (F), from the input image signal (F) by companding of images of the input image signal (F) consist of the video information values ​​of color information and brightness information, thereby forming a value range of the image information values ​​is reduced; – Ermitteln einer Bewegungsinformation (M) zu dem Eingangsbildsignal (F) anhand des kompandierten Bildsignals (F1); - determining a motion information (M) to the input image signal (F) based on the companded image signal (F1); – Erzeugen eines interpolierten Bildsignals (F2), das eine Bildfolge repräsentiert, die im Vergleich zu der durch das Eingangsbildsignal (F) repräsentierten Bildfolge eine höhere Bildfrequenz und/oder Bilder mit anderen Bewegungsphasen aufweist, aus dem Eingangsbildsignal (F) unter Verwendung der Bewegungsinformation, wobei der Wertebereich der Bildinformationswerte reduziert wird, indem sowohl die Farbinformationen als auch die Helligkeitsinformationen der Bilder kompandiert werden, und wobei das auf diese Weise kompandierte Bildsignal (F1) beim Ermitteln der Bewegungsinformation verwendet wird. - producing an interpolated image signal (F2) which represents a sequence of images, representing in comparison to the by the input image signal (F) image sequence having a higher frame rate and / or images having different motion phases from the input image signal (F) using the movement information, wherein the value range of the image information values ​​is reduced by both the color information and the luminance information of the images are companded and wherein the companded in this way, image signal (F1) is used in determining the movement information.
  14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die Helligkeitsinformationen des Eingangsbildsignals (F) auf andere Weise kompandiert werden als die Farbinformationen des Eingangsbildsignals (F). A method according to claim 13, characterized in that the brightness information of the input image signal (F) are companded in ways other than the color information of the input image signal (F).
  15. Verfahren nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass Datenworte des Eingangsbildsignals (F) kompandiert werden, indem sowohl für die Helligkeitsinformationen als auch für die Farbinformationen jedes Farbanteils (R, G, B) des Eingangsbildsignals (F) die Breite von zugehörigen Teildatenworten auf eine bestimmte Anzahl von Bits reduziert wird. The method of claim 13 or 14, characterized in that data words of the input image signal (F) are companded by on both the luminance information and for the color information of each color component (R, G, B) of the input image signal (F) the width of the associated partial data words, a certain number of bits is reduced.
DE200910001520 2009-03-12 2009-03-12 Apparatus and method for inter-frame interpolation Expired - Fee Related DE102009001520B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE200910001520 DE102009001520B4 (en) 2009-03-12 2009-03-12 Apparatus and method for inter-frame interpolation

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE200910001520 DE102009001520B4 (en) 2009-03-12 2009-03-12 Apparatus and method for inter-frame interpolation
PCT/EP2010/053196 WO2010103106A1 (en) 2009-03-12 2010-03-12 Device and method for intermediate image interpolation

Publications (2)

Publication Number Publication Date
DE102009001520A1 true DE102009001520A1 (en) 2010-09-23
DE102009001520B4 true DE102009001520B4 (en) 2016-02-25

Family

ID=42174436

Family Applications (1)

Application Number Title Priority Date Filing Date
DE200910001520 Expired - Fee Related DE102009001520B4 (en) 2009-03-12 2009-03-12 Apparatus and method for inter-frame interpolation

Country Status (2)

Country Link
DE (1) DE102009001520B4 (en)
WO (1) WO2010103106A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737023A (en) * 1996-02-05 1998-04-07 International Business Machines Corporation Hierarchical motion estimation for interlaced video
EP0883298A2 (en) * 1997-06-04 1998-12-09 Hitachi, Ltd. Conversion apparatus for image signals and TV receiver
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
US20020036705A1 (en) * 2000-06-13 2002-03-28 Samsung Electronics Co., Ltd. Format converter using bi-directional motion vector and method thereof
WO2008081611A1 (en) * 2006-12-27 2008-07-10 Sharp Kabushiki Kaisha Image display device and method, and image processing device and method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8085852B2 (en) * 2007-06-26 2011-12-27 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737023A (en) * 1996-02-05 1998-04-07 International Business Machines Corporation Hierarchical motion estimation for interlaced video
EP0883298A2 (en) * 1997-06-04 1998-12-09 Hitachi, Ltd. Conversion apparatus for image signals and TV receiver
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
US20020036705A1 (en) * 2000-06-13 2002-03-28 Samsung Electronics Co., Ltd. Format converter using bi-directional motion vector and method thereof
WO2008081611A1 (en) * 2006-12-27 2008-07-10 Sharp Kabushiki Kaisha Image display device and method, and image processing device and method

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BEUCHER, N. (et al.): Motion compensated frame rate conversion using a specialized instruction set processor. In: IEEE Workshop on Signal Processing Design and Implementation SIPS '06, 2.-4. Oktober 2006, S. 130-135.-ISSN 1520-6130 *
CHAN, YIN, KUNG, S.Y.: Multi-level pixel difference classification methods. In: International conference on image processing, IEEE, 23.-26. Oktober 1995, Vol. 3, S. 252-255 *
SEONGSOO, LEE (et al.): New motion estimation algorithm using adaptively quantized lowbitresolution image and its architecture for MPEG2 video encoding. In: IEEE transactions on circuits and systems for video technology. Oktober 1998, Vol. 8, Ausgabe 6, S. 734-744. ISSN 1051-8215 *

Also Published As

Publication number Publication date Type
DE102009001520A1 (en) 2010-09-23 application
WO2010103106A1 (en) 2010-09-16 application

Similar Documents

Publication Publication Date Title
US6717622B2 (en) System and method for scalable resolution enhancement of a video image
EP0414113A2 (en) Method for movement compensation in a moving-image encoder or decoder
DE4143074A1 (en) TV picture redn. by reformatting of interlocked data - averaging successive pixel pairs and row averages before removing foregoing pixel or row
DE4411179B4 (en) image capture device
EP0095514A1 (en) Method and apparatus for the reproduction of an image with a coarser resolution than during picture scanning
EP0471878A1 (en) Method of picture-in-picture superimposition and apparatus for following the method
DE10113880A1 (en) A method for compression and decompression of video data
DE3545106A1 (en) Circuit for image data reduction, pattern recognition and so forth
DE3709094A1 (en) A method for coding of image signals
DE4441295A1 (en) Method and circuit for addressing components organized in blocks of digital image data in a memory having Page addressing
DE3433493C2 (en)
EP0990992A2 (en) DCT/IDCT processor and data processing method
DE102004040023A1 (en) Object tracking for display e.g. for speaker or lecturer at video conference, requires preparing first and second part-zones for tracking display of object
EP1383322A2 (en) Method for the interpolation of an image pixel of an interlaced line in a video frame
EP0661667A1 (en) Movement estimation process and apparatus
EP0069325A2 (en) Method of converting the number of lines
EP0558922A2 (en) Method for improving motion estimation in a motion picture sequence with half pel precision
DE19531004A1 (en) Compressed video data transmission method
DE10236207A1 (en) Method for movement-vector supported interpolation of inter-image picture element e.g. for television technology, involves multiplying image information values
EP0163898A2 (en) Facsimile coding method
DE4407101A1 (en) A method for format conversion of present in a first image point raster image sequences into a second image point raster
DE2953109C2 (en)
DE10150428A1 (en) Multiple three dimensional imaging system for research integrates high and low resolution
EP0366976A2 (en) Transformation circuit
DE4327733C1 (en) Video signal picture movement detector - generates movement bits for each full image from signals produced due to difference between pixels of luminance half images

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8181 Inventor (new situation)

Inventor name: JACOB, KILIAN, 81825 MUENCHEN, DE

Inventor name: SCHU, MARKUS, 85435 ERDING, DE

Inventor name: RIEDER, PETER, 81737 MUENCHEN, DE

R016 Response to examination communication
R084 Declaration of willingness to licence
R084 Declaration of willingness to licence

Effective date: 20111122

Effective date: 20110426

R016 Response to examination communication
R082 Change of representative

Representative=s name: EPPING HERMANN FISCHER, PATENTANWALTSGESELLSCH, DE

R082 Change of representative

Representative=s name: EPPING HERMANN FISCHER, PATENTANWALTSGESELLSCH, DE

Effective date: 20121022

Representative=s name: EPPING HERMANN FISCHER PATENTANWALTSGESELLSCHA, DE

Effective date: 20121022

R081 Change of applicant/patentee

Owner name: ENTROPIC COMMUNICATIONS, INC., US

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD., GRAND CAYMAN, KY

Effective date: 20121022

Owner name: ENTROPIC COMMUNICATIONS, INC., SAN DIEGO, US

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD., GRAND CAYMAN, KY

Effective date: 20121022

R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee