DE60211978T2 - Laufbildsystem mit bildinterpolation und variabler bildfrequenz - Google Patents

Laufbildsystem mit bildinterpolation und variabler bildfrequenz Download PDF

Info

Publication number
DE60211978T2
DE60211978T2 DE60211978T DE60211978T DE60211978T2 DE 60211978 T2 DE60211978 T2 DE 60211978T2 DE 60211978 T DE60211978 T DE 60211978T DE 60211978 T DE60211978 T DE 60211978T DE 60211978 T2 DE60211978 T2 DE 60211978T2
Authority
DE
Germany
Prior art keywords
sequence
pictures
image
frame rate
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60211978T
Other languages
English (en)
Other versions
DE60211978D1 (de
Inventor
c/o Eastman Kodak Company Ronald S. Rochester Cok
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Application granted granted Critical
Publication of DE60211978D1 publication Critical patent/DE60211978D1/de
Publication of DE60211978T2 publication Critical patent/DE60211978T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/915Television signal processing therefor for field- or frame-skip recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)

Description

  • Die Erfindung bezieht sich auf ein verbessertes System zur Wiedergabe von Laufbildern. Insbesondere wird zur Optimierung der Laufbildqualität eine Bildfolge mit variabler Bildfrequenz interpoliert.
  • Laufbildsysteme sind seit mehr als hundert Jahren im Gebrauch. Diese Systeme beruhen auf dem Aufnehmen und Wiedergeben einer Folge von Stehbildern. Wenn die Bildfolge mit ausreichend hoher Bildfrequenz wiedergegeben wird, nehmen das menschliche Auge und das menschliche Gehirn die Bilder nicht als einzelne Stehbilder, sondern wie auch in einer realen Szene als fortlaufende Folge von Laufbildern wahr. Die Mindestbildfrequenz, mit der die Bilder aufgenommen oder wiedergegeben werden, ist bei verschiedenen Abbildungssystemen etwas unterschiedlich. Zum Beispiel wird herkömmlicher Laufbildfilm normalerweise mit einer Bildfrequenz von 24 Bildern pro Sekunde aufgenommen und vorgeführt. Beim NTSC-Fernsehen beträgt die Rate 30 Bilder pro Sekunde, bei PAL 25. Manchmal werden Bildfolgen auch aus künstlerischen Gründen mit einer Bildfrequenz aufgenommen und mit einer anderen wiedergegeben, zum Beispiel um Zeitlupenwiedergaben zu erzeugen.
  • Bei höheren Wiedergabe-Bildfrequenzen können Änderungen des Szenengehalts (etwa Kameraschwenks, Objektbewegungen oder Szenenänderungen) durch höhere Wiedergabe-Bildfrequenzen angenehmer erscheinen, weil dadurch die sichtbare Detailgenauigkeit verbessert, Unschärfen vermindert und die Bewegung geglättet wird. Die für die Aufrechterhaltung der Illusion einer glatten Bewegung erforderliche Bildfrequenz ist jedoch abhängig von Art und Inhalt der Szene. Das Verhalten des Betrachters macht die Lage noch komplizierter. Zum Beispiel hängen Umfang und Position der in einer Laufbildfolge wahrgenommenen Details zumindest teilweise davon ab, ob die Augen des Betrachters ein sich bewegendes Objekt in der Bildfolge verfolgen. Somit ist die für die optimale Betrachtung einer Laufbildfolge erforderliche Bildfrequenz abhängig von der Art des Bildmaterials und dem Verhalten des Betrachters sowie auch der Betrachtungsumgebung.
  • Heute kann die Darstellung von Laufbildern entweder mittels herkömmlicher Laufbildfilme oder mittels elektronischer – analoger oder digitaler – Abbildungsgeräte erfolgen. Für digitale Laufbildfolgen sind extrem umfangreiche Computerressourcen nötig, da sie ungeheure Mengen an Speicherplatz, hochauflösende Aufnahme- und Wiedergabegeräte, enorme Rechenleistungen und für die Kommunikation eine große Bandbreite erfordern.
  • Da die Bilddatenmenge in hohem Maße von der Bildfrequenz abhängt, muss für jedes digitale Abbildungssystem ein Kompromiss zwischen Bilddatenmenge und wahrgenommener Laufbildqualität gefunden werden.
  • Die Änderung der Bildfrequenz von Laufbildfolgen sowohl bei der Erfassung als auch bei der Wiedergabe ist bereits bekannt. US-A-3 723 644, erteilt am 27. März 1973 an Haskell et al., beschreibt ein System zum Analysieren des Laufbildgehalts einer Bildfolge und zum Anpassen der Bilderfassungsfrequenz mit dem Ziel, die wahrgenommene Bewegung zu vervollkommnen. Dabei werden die Bilder gezählt, und anhand der Zählung wird die Frequenz für das Playback bestimmt, um die Anforderungen an die Übermittlungsbandbreite zu verringern. WO 99/67590, veröffentlicht am 29. Dezember 1999, beschreibt die Änderung der Wiedergabebildfrequenz einer Bildfolge mit dem Ziel, die Herstellung von Raubkopien zu verhindern. Auch Kompromisse zwischen Bildfrequenz und Bilddetail sind bekannt. US-A-S 389 965, erteilt am 14. Februar 1995 an Kuzma, beschreibt die Übermittlung einer Bildfolge über einen Kanal fester Bandbreite, bei der die Frequenz bei abnehmenden Bilddetailgehalt erhöht wird.
  • Bildfolgen, die mit einer festen Bildfrequenz aufgenommen wurden, können umgewandelt und mit einer anderen Bildfrequenz wiedergegeben werden. Zum Beispiel können auf Film mit einer Bildfrequenz von 24 Bildern pro Sekunde aufgenommene Bildfolgen für die Fernsehausstrahlung in Realzeit mit einer Frequenz von 30 Bildern pro Sekunde wiedergegeben werden. Diese Umwandlungen werden entweder durch Wiederholen von Bildern oder durch zeitliches Interpolieren und Einfügen neuer Bilder zwischen vorhandene Bilder erreicht.
  • Heute werden Bildfolgen mit einer festen Bildfrequenz aufgenommen, wobei gegebenenfalls bei der Nachbearbeitung die Bildfrequenz für die Zwecke der Kompression oder Kommunikation verringert wird. Die Kosten einer höheren Aufnahmebildfrequenz sind prohibitiv hoch, insbesondere bei Laufbildfilm, da die verbrauchte Filmmenge entsprechend der Erhöhung der Bildfrequenz steigt. Und selbst wenn die Bildfolgen mit einer höheren Bildfrequenz aufgenommen oder digital gespeichert werden, ist der damit verbundene Anstieg der Rechner-Ressourcen, Kommunikations-Bandbreite, usw., problematisch.
  • US-A-6 192 079 beschreibt eine verbesserte Interpolationseinrichtung mit Estimation der Vordergrund- und Hintergrund-Bewegung. US-A-S 828 786 beschreibt ein Komprimierverfahren, das darauf beruht, sich wiederholende Bilder einer Folge auszulassen, um Redundanzen zu vermeiden.
  • Es besteht daher ein Bedarf an einem Laufbild-Wiedergabesystem, das die Bewegungsqualität optimiert und die für die Speicherung, Manipulation und Kommunikation einer digitalen Laufbildfolge erforderlichen Rechner-Ressourcen minimiert.
  • Gemäß der in Anspruch 1 definierten Erfindung wird dieser Bedarf erfüllt durch die Bereitstellung eines Verfahrens zum Aufzeichnen und Bearbeiten einer Folge digitaler Laufbilder mit den Schritten: Aufzeichnen einer Folge digitaler Laufbilder mit einer Aufnahmefrequenz; Bestimmen verschiedener effektiver Frequenzen für Bildgehaltsänderungen in Abhängigkeit von den Bildgehaltsänderungen in verschiedenen Abschnitten der Bildfolge und Verarbeiten der digitalen Laufbildfolge mit dem Ziel, eine verarbeitete digitale Laufbildfolge herzustellen, die Abschnitte mit den ausgewählten effektiven Veränderungs-Bildfrequenzen enthält.
  • Die Erfindung bietet den Vorteil, die Laufbildqualität einer Folge von Laufbildern zu verbessern und dabei gleichzeitig die Kommunikations-, Rechen- und Speicherkosten für die Laufbildfolge zu reduzieren.
  • Die Erfindung wird im Folgenden anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert.
  • In den Zeichnungen zeigen:
  • 1 ein Diagramm zur Erläuterung einer effektiven Bildfrequenz einer Bildgehaltsänderung gemäß der Erfindung;
  • 2 ein Diagramm zur Erläuterung einer interpolierten Bildfolge gemäß der Erfindung;
  • 3 ein Diagramm zur Erläuterung einer anderen interpolierten Bildfolge gemäß der Erfindung;
  • 4 eine Darstellung eines bekannten Bildspeicherformats;
  • 5 ein Diagramm zur Erläuterung einer interpolierten Bildfolge mit wiederholten Bildern gemäß der Erfindung; und
  • 6 ein schematisches Diagramm eines Systems zur Ausführung des erfindungsgemäßen Verfahrens.
  • Die Erfindung stellt ein Verfahren zur Wiedergabe einer Folge digitaler Laufbilder mit unterschiedlichen effektiven Bildfrequenzen der Bildgehaltsänderungen (effektive Bildfrequenz) dar. Die effektive Bildfrequenz ist die Frequenz, mit der sich der Bildgehalt innerhalb eines Abschnitts einer Laufbildfolge ändert. Digitale Laufbildfolgen werden zunächst mit bestimmten Bildfrequenzen aufgenommen. Die Änderungen innerhalb einer Bildfolge bestimmen die effektive Bildfrequenz und sind abhängig von den Veränderungen des Szenengehalts zwischen den einzelnen Bildern einer Bildfolge. Erfindungsgemäß wird die digitale Laufbildfolge zunächst analysiert, um eine effektive Bildfrequenz zu bestimmen, und anschließend verarbeitet, um eine Laufbildfolge zu erzeugen, deren Bildgehaltsänderung mit der effektiven Bildfrequenz dargestellt werden kann. Wenn die digitale Laufbildfolge mit einer Bildfrequenz wiedergegeben wird, die niedriger ist als die effektive Bildfrequenz, werden die Änderungen im Szenengehalt der Folge nicht als glatt, sondern als ruckhaft oder zittrig wahrgenommen. Wenn die digitale Laufbildfolge mit einer höheren Bildfrequenz wiedergegeben wird als der effektiven Bildfrequenz, erscheint die Bewegung in der Folge zwar glatt, es werden aber mehr Bilder als nötig für die Wiedergabe der Bildfolge verwendet, so dass digitale Abbildungsressourcen verschwendet werden.
  • Die effektive Bildfrequenz kann in verschiedenen Abschnitten einer Bildfolge unterschiedlich sein. In manchen Abschnitten werden nur sehr wenige Bilder benötigt, um Änderungen im Szenengehalt effektiv wiederzugeben. In anderen Abschnitten werden sehr viel mehr Bilder benötigt, um die Änderungen im Szenengehalt effektiv wiederzugeben.
  • In 1 ist ein Beispiel einer 10 Sekunden langen Laufbildfolge mit 240 Bildern mit einer ursprünglichen Bild-Zeitzeile 10 und einer effektiven Bild-Zeitzeile 12 dargestellt. Die Bilder 1 bis 48 können effektiv mit vier in zwei Sekunden dargestellten Bildern wiedergegeben werden. Die Bilder 49 bis 120 können effektiv mit 72 in drei Sekunden dargestellten Bildern wiedergegeben. Die Bilder 121 bis 192 können effektiv mit 144 in drei Sekunden dargestellten Bildern wiedergegeben werden. Die Bilder 193 bis 240 können effektiv mit 144 in zwei Sekunden dargestellten Bildern wiedergegeben werden. Die für die Laufbildfolge insgesamt benötigte Zeit bleibt gleich – 10 Sekunden -, aber die Anzahl der Gesamtbilder in der Folge und die Anzahl effektiver Bilder je Sekunde verändert sich während der Bildfolge. Die effektive Bildfrequenz 14 verändert sich, um Änderungen des Szenengehalts effektiv wiederzugeben. In jedem Fall vollziehen sich die sichtbaren Szenenänderung mit der Geschwindigkeit, mit der sie ursprünglich aufgenommen wurden, das heißt, das Zeitmaß hat sich nicht verändert.
  • Wenn die effektive Bildfrequenz niedriger ist als die ursprüngliche Bildfrequenz, kann die Zahl der Bilder in einfacher Weise durch Weglassen von Bildern, durch Ersetzen einer Anzahl von Bildern durch einen über mehrere Bilder ermittelten Mittelwert oder durch Interpolieren eines repräsentativen Bildes für die mehreren Bilder der Laufbildfolge erreicht werden, so dass man eine Bildfolge mit der effektiven Bildfrequenz erhält. Wenn die effektive Bildfrequenz größer ist als die ursprüngliche Aufnahme-Bildfrequenz, können zusätzliche Bilder durch Bild-Interpolation erzeugt werden, so dass man eine Bildfolge mit der effektiven Bild frequenz erhält. Unter Bild-Interpolation versteht man das Verfahren zum Erzeugen neuer Bilder innerhalb einer Bildfolge durch Analyse des Bildgehalts der dem neuen Bild vorausgehenden und folgender Bilder und Erzeugung des neuen Bildes aus den Daten der vorausgehenden und folgenden Bilder. Hierfür sind dem Fachmann verschiedene Berechnungstechniken bekannt, insbesondere die Laufbildvektoranalyse und Estimation. Vorzugsweise wendet man die Laufbildvektoranalyse und Interpolation an. Das Cineon-System von Eastman Kodak liefert zum Beispiel ein solches Tool. Alternativ können auch bekannte Morphing-Techniken zur Erzeugung interpolierter Bilder angewandt werden.
  • In 2 wurde eine Laufbildfolge 20 ursprünglich mit 24 Bildern pro Sekunde aufgenommen. Wegen der Änderungen im Bildgehalt wird für die Wiedergabe eine effektive Änderungs-Bildfrequenz von 48 Bildern pro Sekunde gewählt. Zur Erzeugung dieser Bildfolge mit schnellerer Bildfrequenz wird die Bildfolge 20 verarbeitet. Ein (mit einem Sternchen gekennzeichnetes) interpoliertes Bild, das ein in der Mitte zwischen den ursprünglichen Bildern liegendes Bild repräsentiert, wird berechnet und zwischen jeweils zwei ursprüngliche Bilder eingefügt, so dass man eine verarbeitete, interpolierte Bildfolge 22 erhält. Die Bilder der verarbeiteten Bildfolge können dann mit der effektiven Bildfrequenz von 48 Bildern pro Sekunde dargestellt werden.
  • 3 zeigt ein komplexeres Beispiel. In 3 wird eine ursprüngliche Laufbildfolge 30 mit einer Bildfrequenz von 24 Bildern pro Sekunde aufgenommen, und die effektive Bildfrequenz wird mit 32 Bildern pro Sekunde festgestellt. Zur Erzeugung einer verarbeiteten Folge 32 mit einer effektiven Bildfrequenz von 32 Bildern pro Sekunde wird die Bildfolge interpoliert, wobei jedoch in diesem Beispiel nur jedes dritte ursprüngliche Bild erhalten bleibt, während die übrigen interpoliert werden. Mit einem Apostroph gekennzeichnete Bilder werden an einem Punkt drei Viertel der Strecke zwischen den beiden Bildern interpoliert, mit einem Sternchen markierte Bilder werden an einem Punkt mitten zwischen den Bildern interpoliert, während mit einem Et-Zeichen markierte Bilder an einem Punkt ein Viertel der Strecke zwischen den Bildern interpoliert werden.
  • Die Wiedergabe einer Laufbildfolge mit einer effektiven Bildfrequenz kann in zweierlei Weise erfolgen. Bei einer Ausführungsform kann ein Wiedergabegerät ein Bild beliebig lange darstellen. Bei dieser Ausführungsform hat jedes Bild der verarbeiteten Folge digitaler Laufbilder eine ihm zugeordnete Dauer, die die Dauer der Wiedergabe des Bildes angibt. Diese Dauer kann von einem Bild der Folge zum anderen unterschiedlich sein. Hierzu wird jedem Bild der Bildfolge eine Metadaten-Information hinzugefügt, die die Bildfrequenz (oder Belichtungszeit) jedes Bildes in der Bildfolge wiedergibt. Diese Information kann in einem Bilddatei-Header oder in Form zusätzlicher beschreibender Information gespeichert werden, die der betreffenden Bilddatei zugeordnet, aber getrennt von ihr gespeichert wird. Die Techniken zum Speichern von Information in Verbindung mit einem digitalen Bild sind dem Fachmann bekannt. In 4 ist ein bekanntes Speicherformat 40 zum Speichern der Bilder 42 und der Metadaten 44 in einem Datei-Header 46 dargestellt.
  • Bei einer zweiten Ausführungsform arbeitet das Wiedergabegerät mit einer festen Wiedergabe-Bildfrequenz, die ein ganzes Vielfaches einer der effektiven Bildfrequenzen der Laufbildfolge ist. Dabei ist jedem Bild ein Wiederholungswert zugeordnet, der wiedergibt, wie oft jedes Bild wiedergegeben werden soll, damit die Bilder mit der effektiven Bildfrequenz wiedergegeben werden. Diese Technik ist in 5 dargestellt, wo eine ursprüngliche Folge mit 24 Bildern pro Sekunde erfasst wird, aber effektive Bildfrequenzen von 24, 32 und 48 für verschiedene Abschnitte der Bildfolge aufweist. Das kleinste gemeinsame Vielfache dieser effektiven Frequenzen ist die Wiedergabefrequenz 96. Jeder Abschnitt wird interpoliert (wie in 2 und 3 dargestellt). Bei dem Beispiel gemäß 5 weist der Abschnitt 60 eine effektive Bildfrequenz 24 auf, so dass jedes Bild viermal angezeigt wird, der Abschnitt 62 hat die effektive Bildfrequenz 32, so dass jedes Bild dreimal angezeigt wird, und der Abschnitt 64 hat die effektive Bildfrequenz 48, so dass jedes Bild zweimal angezeigt wird. Beim Speichern können wiederholte Bilder mehrfach gespeichert werden oder, was effizienter ist, es kann jedem Bild eine Wiederholungszahl in Form von Metadaten hinzugefügt werden, die dann vom Wiedergabegerät verwendet wird.
  • Weil das niedrigste gemeinsame Vielfache der verschiedenen effektiven Bildfrequenzen innerhalb einer Bildfolge schnell sehr groß werden kann, ist es zweckmäßig, die Anzahl zulässiger effektiver Bildfrequenzen (und damit die maximale Wiedergabe-Bildfrequenz) zu begrenzen. Dies kann in einfacher Weise dadurch geschehen, dass man die effektive Bildfrequenz für einen Abschnitt einer Bildfolge auf die nächste höchstzulässige Bildfrequenz run det. Zwar erfordert eine Erhöhung der effektiven Bildfrequenz mehr Bilder und Bilddaten als unbedingt nötig, sie begrenzt aber andererseits die physischen Anforderungen an das Wiedergabesystem und vereinfacht gegebenenfalls die Systemhardware.
  • In 6 sind die Komponenten eines erfindungsgemäßen Systems dargestellt. Diese Komponenten sind ähnlich denen, die von herkömmlichen Laufbildfilm- oder Videosystemen verwendet werden, aber die Anzeige- und Rechenkomponenten können mit Bildern beliebiger Dauer oder beliebigen Widerholungszahlen arbeiten. In 6 speichert ein Bildaufzeichnungsgerät 70, etwa eine Film-, Video- oder digitale Kamera, Laufbilder einer Szene. Die Bilder werden nötigenfalls in ein digitales Format umgewandelt, wenn dies zum Beispiel für die Entwicklung des Films in einem Standard-Filmentwicklungsgerät (nicht dargestellt) und das Scannen des Films in einem Filmscanner 72 erforderlich ist. Alternativ kann die digitale Laufbildfolge auch direkt mit einer digitalen Kamera 73 aufgenommen werden. Die die Laufbildfolge repräsentierenden digitalen Daten werden in einem digitalen Computer 76 verarbeitet, um eine Bildfolge zu erstellen, in der verschiedene Abschnitte unterschiedliche effektive Bildfrequenzen aufweisen. Die verarbeitete digitale Bildfolge wird auf einem Speichermedium, etwa einer optischen Platte 80, gespeichert oder über einen Verteilerkanal 82 an ein Wiedergabegerät 84 übermittelt, wo sie einem Betrachter vorgeführt werden kann. Das Wiedergabegerät gibt die Bildfolge mit unterschiedlichen effektiven Bildfrequenzen oder einem festen Vielfachen der in der Bildfolge enthalten effektiven Bildfrequenzen wieder. In der Praxis wird das Wiedergabegerät hinsichtlich der Bildfrequenz in gewisser Weise beschränkt sein. Zum Beispiel hat das System eine maximale Frequenz, mit der Daten aus einem Speichermedium ausgelesen werden können, oder gegebenenfalls eine feste Bild- oder Pixel-Wiederholfrequenz, die die maximal erzielbare Bildfrequenz begrenzt.
  • Die Bestimmung der effektiven Bildfrequenz kann auf unterschiedliche Weise erfolgen. Zum einen kann sie aufgrund der vorherigen Kenntnis der Szene, ihrer Komponenten und der gewünschten Wirkung willkürlich für unterschiedliche Abschnitte einer Bildfolge auf eine gewünschte Frequenz festgelegt werden. Eine zweite anwendbare Technik besteht darin, Abschnitte der Bilder der Bildfolge automatisch zu analysieren, um die effektive Bildfrequenz für den betreffenden Abschnitt zu berechnen, und diese effektive Bildfrequenz dann anzu wenden. Dann kann sich die Bildfrequenz je nach dem in dem betreffenden Abschnitt vorliegenden Bildgehalt dynamisch ändern.
  • Auch um andere Probleme zu lösen, kann die effektive Bildfrequenz geändert werden. Zum Beispiel könnte die effektive Bildfrequenz als Antwort auf andere Beschränkungen des Systems, etwa bezüglich der Speicher- oder Bandbreiten- oder Rechenkapazitäten, oder zum Ausgleich für Verarbeitungsartefakte verringert werden. Alternativ ist es auch möglich, die effektive Bildfrequenz unabhängig von den Aspekten der optimalen Betrachtung oder der Rechnermöglichkeiten ausschließlich für gewisse künstlerische Effekte zu manipulieren. Auch kann eine Bedienungsperson in eine Bildfolge eingreifen, um die effektive Frequenz willkürlich zu manipulieren oder auszuwählen. Dies ist in 6 mit einem herkömmlichen Computer 76, einem Anzeigesystem 74, interaktiven Geräten wie Tastaturen und einer Maus 78 und einem Speichergerät 80 dargestellt. Herkömmliche Effekte, etwa Zeitlupenwiedergaben, werden in einfacher Weise an dieser Stelle des Verfahrens realisiert.
  • Nachdem die Bildfolge zur Optimierung der Frequenz für jedes Bild verarbeitet wurde, wird die Bildfolge mittels herkömmlicher digitaler Speicher- und Kommunikationsgeräte, etwa magnetischer oder optischer Medien, Telekommunikationssysteme, usw., gespeichert und übermittelt. Zur weiteren Optimierung dieses Prozesses können auch vorhandene Techniken wie die Kompression eingesetzt werden.
  • An dem Ort der Wiedergabe wird die verarbeitete Bildfolge dargestellt. Das Wiedergabegerät liest jedes Bild der Laufbildfolge zusammen mit den Metadaten aus, welche die Bilddauer oder die diesem Bild zugeordnete Wiederholungszahl angeben. Dann wird jedes Bild der Bildfolge für die vorgegebene Zeitdauer oder mit der vorgegebenen Wiederholungszahl zum Betrachten angezeigt.
  • In der Praxis können die interpolierten oder wiederholten Bilder auch in Realzeit im Wiedergabegerät erzeugt werden. In diesem Fall müssen die die gewünschte Bildfrequenz angebenden Daten an das Wiedergabegerät übermittelt werden, so dass dieses die entsprechenden interpolierten Bilder erzeugen kann. Dies kann die Anforderungen hinsichtlich der Kommunikations-Bandbreite oder der Speicherkapazität für die Bildfolge verringern, wenn zu erwarten ist, dass die effektive Bildfrequenz insgesamt schneller sein wird als beim Original. Alternativ können die interpolierten Bilder auch vor dem Anzeigen der Bildfolge erzeugt werden. Diese Lösung verringert die Rechen-Anforderungen an das Wiedergabegerät.
  • Eine Laufbildfolge mit effektiven Bildfrequenzen kann auch dann erzeugt und Betrachtern vorgeführt werden, wenn sie ursprünglich nicht mit einer festen Bildfrequenz, sondern mit einer variablen Bildfrequenz aufgenommen wurde. Beim Verarbeiten oder Manipulieren kann dann dasselbe Verfahren zum Bestimmen der effektiven Bildfrequenzen durchgeführt werden; die Bilder werden nach Bedarf interpoliert oder gelöscht, und die entsprechenden Metadaten werden erzeugt und den betreffenden Bildern zugeordnet. Dies kann bei einer Bilderfassung mit variablen Bildfrequenzen das Endergebnis verbessern, da bei Erfassung mit variablen Frequenzen eine größere Menge der erforderlichen Information erhalten werden dürfte.
  • Die Erfindung stellt eine einfache Möglichkeit zur Verbesserung von Laufbildfolgen hinsichtlich Wiedergabequalität und Speicherungs-, Kommunikations- und Manipulationsanforderungen bereit.

Claims (12)

  1. Verfahren zum Aufzeichnen und Bearbeiten einer Folge digitaler Laufbilder, mit den Schritten: a) Aufzeichnen einer Folge digitaler Laufbilder mit einer konstanten Bilderfassungsfrequenz, um eine zeitlich geordnete Bildfolge zu erzeugen; b) Auswählen einer Vielzahl aufeinanderfolgender Bilder in einer zeitlich geordneten Folge, um einen ersten Abschnitt der digitalen Laufbildfolge zu erzeugen; c) Analysieren der Unterschiede im Szenengehalt der Bilder des ersten Abschnitts, um eine erste effektive Bildfrequenz zu bestimmen, die sich von der Bilderfassungsfrequenz unterscheidet; d) Erzeugen erster neuer Filmbilder, deren Szenengehalt zeitlich interpoliert ist zwischen den Bildern im ersten Abschnitt und zeitliches Ordnen der ersten neuen Filmbilder zwischen den Bildern im ersten Abschnitt, um eine Folge digitaler Laufbilder mit einem interpolierten ersten Abschnitt mit einer ersten effektiven Bildfrequenz zu schaffen; e) Auswählen zweier oder mehrerer aufeinanderfolgender Bilder in der zeitlich geordneten Folge, die sich von den Bildern im ersten Abschnitt unterscheiden, um einen zweiten Abschnitt der Folge digitaler Laufbilder zu erzeugen; f) Analysieren der Unterschiede im Szenengehalt der Bilder des zweiten Abschnitts, um eine zweite effektive Bildfrequenz zu bestimmen, die sich von der ersten effektiven Bildfrequenz unterscheidet; g) Erzeugen zweiter neuer Filmbilder, deren Szenengehalt zeitlich interpoliert ist zwischen den Bildern im zweiten Abschnitt und zeitliches Ordnen der zweiten neuen Filmbilder zwischen den Bildern im zweiten Abschnitt, um eine Folge digitaler Laufbilder mit einem interpolierten zweiten Abschnitt mit einer zweiten effektiven Bildfrequenz zu schaffen; h) nacheinander erfolgendes Anzeigen von Bildern im interpolierten ersten Abschnitt mit der ersten effektiven Bildfrequenz und der Bilder im interpolierten zweiten Abschnitt mit der zweiten effektiven Bildfrequenz.
  2. Verfahren nach Anspruch 1, worin mindestens eine der ersten und zweiten effektiven Bildfrequenzen größer ist als die Erfassungsbildfrequenz.
  3. Verfahren nach Anspruch 1, worin die Erzeugungsschritte mindestens einen Bearbeitungsschritt umfassen, der aus der Gruppe bestehend aus Bildwiederholung, Bildinterpolation und Bildlöschung ausgewählt wird.
  4. Verfahren nach Anspruch 3, worin der Bearbeitungsschritt der Bildinterpolation eine Laufbildvektorinterpolation umfasst.
  5. Verfahren nach Anspruch 1, worin die Schritte des Bestimmens effektiver Bildfrequenzen von einer Bedienungsperson ausgeführt werden.
  6. Verfahren nach Anspruch 1, worin die Schritte des Bestimmens effektiver Bildfrequenzen automatisch erfolgen.
  7. Verfahren nach Anspruch 1, mit den Schritten des Komprimierens der Folge digitaler Laufbilder nach dem Aufzeichnungsschritt; Übertragen der Folge digitaler Laufbilder an einen entfernten Ort; und Dekomprimieren der komprimierten Folge digitaler Laufbilder vor dem Auswahlschritt.
  8. Verfahren nach Anspruch 1 oder 2, worin der Anzeigeschritt die Interpolation von Bildern gemäß den Anleitungen in einer Displayvorrichtung umfasst.
  9. Verfahren nach Anspruch 7, worin die Kompression eine MPEG Kompression ist.
  10. Verfahren nach Anspruch 1, worin der Aufzeichnungsschritt das Erfassen einer Folge von Laufbildern auf Silberhalogenidfilm umfasst, das Entwickeln des Films und das Scannen des Films, um eine Folge digitaler Laufbilder zu erzeugen.
  11. Verfahren nach Anspruch 1, worin der Aufzeichnungsschritt das Erfassen einer Folge von Laufbildern mit einer Videokamera umfasst sowie das Digitalisieren der erfassten Folge.
  12. Verfahren nach Anspruch 1, worin der Aufzeichnungsschritt das Erfassen einer Folge von Laufbildern mit einer Digitalkamera umfasst.
DE60211978T 2001-02-23 2002-02-11 Laufbildsystem mit bildinterpolation und variabler bildfrequenz Expired - Lifetime DE60211978T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US792314 1997-01-31
US09/792,314 US7242850B2 (en) 2001-02-23 2001-02-23 Frame-interpolated variable-rate motion imaging system

Publications (2)

Publication Number Publication Date
DE60211978D1 DE60211978D1 (de) 2006-07-20
DE60211978T2 true DE60211978T2 (de) 2007-01-18

Family

ID=25156469

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60211978T Expired - Lifetime DE60211978T2 (de) 2001-02-23 2002-02-11 Laufbildsystem mit bildinterpolation und variabler bildfrequenz

Country Status (4)

Country Link
US (1) US7242850B2 (de)
EP (1) EP1237370B1 (de)
JP (1) JP2002359778A (de)
DE (1) DE60211978T2 (de)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020039138A1 (en) * 2000-09-29 2002-04-04 Edelson Steven D. Method and apparatus for automatically adjusting video panning and zoom rates
EP1483909B1 (de) * 2002-03-13 2010-04-28 Imax Corporation Systeme und verfahren für ein digitales remastering oder anderweitiges modifizieren von beweglichen bildern oder anderen bildsequenzdaten
US20040090554A1 (en) * 2002-10-23 2004-05-13 Takahiro Nishi Picture coding method
WO2004047441A1 (ja) 2002-11-15 2004-06-03 Sony Corporation 伝送装置と伝送方法と再生装置と再生方法およびプログラムと記録媒体
KR100542361B1 (ko) * 2003-02-12 2006-01-10 삼성전자주식회사 피피피오이 네트워크 시스템 및 이 시스템의 접속 방법
JP4178161B2 (ja) * 2003-10-01 2008-11-12 松下電器産業株式会社 映像信号処理装置
KR100852803B1 (ko) * 2004-03-15 2008-08-18 샤프 가부시키가이샤 녹화 재생 편집 장치
US20090027549A1 (en) * 2004-05-17 2009-01-29 Weisgerber Robert C Method for processing motion pictures at high frame rates with improved temporal and spatial resolution, resulting in improved audience perception of dimensionality in 2-D and 3-D presentation
US20110025911A1 (en) * 2004-05-17 2011-02-03 Weisgerber Robert C Method of enhancing motion pictures for exhibition at a higher frame rate than that in which they were originally produced
US20060244917A1 (en) * 2004-05-17 2006-11-02 Weisgerber Robert C Method for exhibiting motion picture films at a higher frame rate than that in which they were originally produced
US20050254011A1 (en) * 2004-05-17 2005-11-17 Weisgerber Robert C Method for exhibiting motion picture films at a higher frame rate than that in which they were originally produced
JP4483501B2 (ja) * 2004-09-22 2010-06-16 株式会社ニコン 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法
WO2006049616A1 (en) * 2004-11-01 2006-05-11 Thomson Licensing Anticamcorder media projection using enhanced frame rate
JP4429148B2 (ja) * 2004-11-25 2010-03-10 富士フイルム株式会社 画像撮影記録装置及び方法
JP4516536B2 (ja) * 2005-03-09 2010-08-04 富士フイルム株式会社 動画生成装置、動画生成方法、及びプログラム
EP1897087A4 (de) * 2005-06-08 2009-11-18 Dean K Goodhill Verfahren und vorrichtung zum verhindern der raubkopie von spielfilmen
US7907248B2 (en) * 2005-08-22 2011-03-15 Nds Limited Movie copy protection
JP4887727B2 (ja) * 2005-10-20 2012-02-29 ソニー株式会社 画像信号処理装置、カメラシステム、および画像信号処理方法
CN101375315B (zh) * 2006-01-27 2015-03-18 图象公司 数字重制2d和3d运动画面以呈现提高的视觉质量的方法和系统
EP2160037A3 (de) * 2006-06-23 2010-11-17 Imax Corporation Verfahren und Systeme zur Umwandlung von 2D-Filmen für stereoskopische 3D-Vorführung
US8885099B2 (en) * 2007-02-16 2014-11-11 Marvell World Trade Ltd. Methods and systems for improving low resolution and low frame rate video
US8749752B2 (en) * 2007-04-28 2014-06-10 Robert C. Weisgerber Compact acquisition format for dimensionalized digital cinema projection at forty-eight images per second
JP5125294B2 (ja) * 2007-07-31 2013-01-23 株式会社ニコン プログラム、画像処理装置、撮像装置および画像処理方法
JP5018332B2 (ja) * 2007-08-17 2012-09-05 ソニー株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP4831017B2 (ja) * 2007-08-27 2011-12-07 ソニー株式会社 画像処理装置、現像装置、画像処理方法、現像方法、画像処理プログラム、および現像プログラム
US8179466B2 (en) 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US8405770B2 (en) * 2009-03-12 2013-03-26 Intellectual Ventures Fund 83 Llc Display of video with motion
US8346915B2 (en) * 2009-05-04 2013-01-01 Qualcomm Incorporated System and method of recording and sharing mobile application activities
US8358782B2 (en) * 2009-06-26 2013-01-22 Eastman Kodak Company Method for displaying a video of a scene
US9286709B2 (en) * 2009-07-27 2016-03-15 Dreamworks Animation Llc Variable frame rate rendering and projection
KR20110056837A (ko) * 2009-11-23 2011-05-31 삼성전자주식회사 3차원 영상 디스플레이 장치 및 디스플레이 방법
JP5980604B2 (ja) * 2012-07-18 2016-08-31 オリンパス株式会社 内視鏡システム
US20140056354A1 (en) * 2012-08-21 2014-02-27 Mediatek Inc. Video processing apparatus and method
US9277169B2 (en) * 2013-02-21 2016-03-01 Robert C. Weisgerber Method for enhancing motion pictures for exhibition at a higher frame rate than that in which they were originally produced
US9736448B1 (en) * 2013-03-15 2017-08-15 Google Inc. Methods, systems, and media for generating a summarized video using frame rate modification
US9392215B2 (en) * 2014-03-25 2016-07-12 Robert C. Weisgerber Method for correcting corrupted frames during conversion of motion pictures photographed at a low frame rate, for exhibition at a higher frame rate
US9865205B2 (en) * 2015-01-19 2018-01-09 Himax Technologies Limited Method for transmitting data from timing controller to source driver and associated timing controller and display system
AU2018415667B2 (en) * 2018-03-26 2022-05-19 Beijing Kunshi Intellectual Property Management Co., Ltd. Video recording method and electronic device
CN111277895B (zh) * 2018-12-05 2022-09-27 阿里巴巴集团控股有限公司 一种视频插帧方法和装置
US11421843B2 (en) 2018-12-21 2022-08-23 Kyocera Sld Laser, Inc. Fiber-delivered laser-induced dynamic light system
US11239637B2 (en) 2018-12-21 2022-02-01 Kyocera Sld Laser, Inc. Fiber delivered laser induced white light system
US11526970B2 (en) 2019-09-04 2022-12-13 Samsung Electronics Co., Ltd System and method for video processing with enhanced temporal consistency
CN111225150B (zh) * 2020-01-20 2021-08-10 Oppo广东移动通信有限公司 插帧处理方法及相关产品
US11870948B2 (en) 2020-05-26 2024-01-09 Dolby Laboratories Licensing Corporation Picture metadata for variable frame-rate video

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3723644A (en) 1972-04-24 1973-03-27 Bell Telephone Labor Inc Variable frame rate recording system using speed measurement
US5327243A (en) * 1989-12-05 1994-07-05 Rasterops Corporation Real time video converter
JP2530090B2 (ja) 1992-02-28 1996-09-04 三星電子株式会社 映像信号符号化装置
JP3548191B2 (ja) * 1993-03-22 2004-07-28 キヤノン株式会社 カメラ
US5389965A (en) 1993-04-01 1995-02-14 At&T Corp. Video telephone station having variable image clarity
US5828786A (en) 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
US6222589B1 (en) * 1996-08-08 2001-04-24 Yves C. Faroudja Displaying video on high-resolution computer-type monitors substantially without motion discontinuities
US5893062A (en) * 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
US6151075A (en) * 1997-06-11 2000-11-21 Lg Electronics Inc. Device and method for converting frame rate
US6192079B1 (en) 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
DK79298A (da) 1998-06-08 1999-12-09 Norsk Hydro As Profil for køling af brændstof, en brændstofledning samt en fremgangsmåde til fremstilling heraf
US6034733A (en) * 1998-07-29 2000-03-07 S3 Incorporated Timing and control for deinterlacing and enhancement of non-deterministically arriving interlaced video data
JP3542911B2 (ja) 1998-08-24 2004-07-14 日本電気株式会社 動画圧縮装置
US6542198B1 (en) * 1999-03-30 2003-04-01 Ati International Srl Method and apparatus for optimizing video playback at arbitrary refresh rates
US6469744B1 (en) * 1999-07-06 2002-10-22 Hitachi America, Ltd. Methods and apparatus for encoding, decoding and displaying images in a manner that produces smooth motion
US6351545B1 (en) * 1999-12-14 2002-02-26 Dynapel Systems, Inc. Motion picture enhancing system
AU2465001A (en) * 1999-12-30 2001-07-16 Applied Science Fiction, Inc. System and method for digital color dye film processing
US6433839B1 (en) * 2000-03-29 2002-08-13 Hourplace, Llc Methods for generating image set or series with imperceptibly different images, systems therefor and applications thereof
US20020149696A1 (en) * 2001-02-23 2002-10-17 Eastman Kodak Company Method for presenting improved motion image sequences

Also Published As

Publication number Publication date
JP2002359778A (ja) 2002-12-13
EP1237370A2 (de) 2002-09-04
US20030016750A1 (en) 2003-01-23
US7242850B2 (en) 2007-07-10
EP1237370A3 (de) 2003-12-17
EP1237370B1 (de) 2006-06-07
DE60211978D1 (de) 2006-07-20

Similar Documents

Publication Publication Date Title
DE60211978T2 (de) Laufbildsystem mit bildinterpolation und variabler bildfrequenz
DE69124283T2 (de) Videosignalaufzeichnungs/-wiedergabegerät
DE68928438T2 (de) Verfahren und Vorrichtung zur Erzeugung von beweglichen Bildern
DE69635528T2 (de) Bildverarbeitungsgerät
DE3814627C2 (de)
DE69826155T2 (de) Verfahren und Vorrichtung zur digitalen Videosignalfilterung und -kodierung
DE69908334T2 (de) Eine mehrfachdatenstrom-schalterbasierte-videoeditierarchitektur
DE602004008794T2 (de) Bildwiedergabe mit interaktiver bewegungsparallaxe
DE69114083T2 (de) Verfahren und Gerät zum Umsetzung eines Filmes in Videosignale.
DE69628282T2 (de) Verfahren zur kompression mehrerer videobilder
DE2937282C2 (de)
DE19531004C2 (de) Verfahren und Vorrichtung zur wahrnehmungsoptimierten Übertragung von Video- und Audio-Daten
DE3233882C2 (de)
DE69120499T2 (de) Bildverbesserung in Videosichtgeräten
DE602004002171T2 (de) Verfahren zum adaptiven abspielen von videorahmen
EP2229784B1 (de) Verfahren und vorrichtung zur echtzeit-multiview-erzeugung
DE10113880B4 (de) Verfahren zur Komprimierung und Dekomprimierung von Videodaten
DE69732089T2 (de) Vorrichtung und verfahren zur zeitlichen und räumlichen integration und verwaltung einer vielzahl von videos sowie speichermedium zur speicherung eines programms dafür
DE112004002391B4 (de) Räumlich-zeitliche Erzeugung von Bewegungsunschärfe
DE69833775T2 (de) Formatierung von kodierten videosignalen
DE602005001583T2 (de) Verfahren und Anordnung für Bildinterpolierungssysteme mit Bewegungsschätzung und -kompensation
DE69916662T2 (de) Verfahren und vorrichtung zur bewegungskompensation in einem texturabbildungssystem
DE3853433T2 (de) Film-zu-video-transferverfahren.
DE19680974B3 (de) Vorrichtung und Verfahren zum Komprimieren von Audio- und/oder Videodaten
DE4143074A1 (de) Verfahren und einrichtung zum umformatieren verschachtelter videodaten zur darstellung auf einem computer-ausgabedisplay

Legal Events

Date Code Title Description
8364 No opposition during term of opposition