DE102018001838A1 - Systems and methods for combining video and graphics sources for the display - Google Patents

Systems and methods for combining video and graphics sources for the display Download PDF

Info

Publication number
DE102018001838A1
DE102018001838A1 DE102018001838.6A DE102018001838A DE102018001838A1 DE 102018001838 A1 DE102018001838 A1 DE 102018001838A1 DE 102018001838 A DE102018001838 A DE 102018001838A DE 102018001838 A1 DE102018001838 A1 DE 102018001838A1
Authority
DE
Germany
Prior art keywords
format
predetermined output
streams
video
formats
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018001838.6A
Other languages
German (de)
Inventor
Richard Wyman
David Wu
Jason Herrick
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avago Technologies International Sales Pte Ltd
Original Assignee
Avago Technologies International Sales Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201762556300P priority Critical
Priority to US62/556,300 priority
Priority to US15/793,791 priority patent/US10573279B2/en
Priority to US15/793,791 priority
Application filed by Avago Technologies International Sales Pte Ltd filed Critical Avago Technologies International Sales Pte Ltd
Publication of DE102018001838A1 publication Critical patent/DE102018001838A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/642Multi-standard receivers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42653Internal components of the client ; Characteristics thereof for processing graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0442Handling or displaying different aspect ratios, or changing the aspect ratio
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Abstract

Es werden Systeme und Verfahren zum Kombinieren einer Vielzahl von Strömen mit einer Vielzahl von Formaten zu einem einzelnen Ausgabestrom in einem vorbestimmten Ausgabeformat vorgesehen. Jeder der Vielzahl von Strömen umfasst wenigstens eines von Video- oder Grafikdaten. Jeder Strom wird verarbeitet, indem ein Format des Stroms bestimmt wird, indem bestimmt wird, ob das Format mit dem vorbestimmten Ausgabeformat kompatibel ist, und indem, als Reaktion auf das Bestimmen, dass das Format mit dem vorbestimmten Ausgabeformat kompatibel ist, das Format in das vorbestimmte Ausgabeformat konvertiert wird. Die verarbeitete Vielzahl von Strömen wird zu einem einzelnen Ausgabestrom in dem vorbestimmten Ausgabeformat kombiniert.Systems and methods are provided for combining a plurality of streams having a plurality of formats into a single output stream in a predetermined output format. Each of the plurality of streams includes at least one of video or graphics data. Each stream is processed by determining a format of the stream by determining whether the format is compatible with the predetermined output format, and by, in response to determining that the format is compatible with the predetermined output format, include the format in the predetermined output format is converted. The processed plurality of streams is combined into a single output stream in the predetermined output format.

Description

  • Diese Offenbarung betrifft im Allgemeinen Systeme und Verfahren zum Kombinieren von Video und Grafik, einschließlich, aber nicht beschränkt auf, Systeme und Verfahren, um mehrere Video- und Grafikquellen mit hohem Dynamikbereich (High Dynamic Range, HDR) und mit Standard-Dynamikbereich (Standard Dynamic Range, SDR), die einen breiten und/oder Standard-Farbumfang nutzen, zu einem einzelnen Videosignal für die Anzeige zu kombinieren.This disclosure generally relates to systems and methods for combining video and graphics, including, but not limited to, systems and methods to provide multiple high dynamic range (HDR) video and graphics sources and standard dynamic range (Standard Dynamic Range, SDR) that use a wide and / or standard color gamut to combine into a single video signal for display.
  • Das Mischen bzw. Kombinieren von Video und Grafik wird mit den immer komplexer und vielfältiger werdenden Video- und Grafikformaten in zunehmendem Maße schwierig. Verfahren zum Bewerkstelligen des Mischens von Video und Grafik können zeitaufwändig werden und zusätzliche Ressourcen erfordern. Mit dem wachsenden Bedarf an immer komplexeren Videodaten kann das Mischen von Grafikdaten für die Anzeige zunehmende Herausforderungen darstellen.Mixing and combining video and graphics is becoming increasingly difficult as video and graphics formats become ever more complex and diverse. Methods for accomplishing the mixing of video and graphics can be time consuming and require additional resources. With the growing demand for more complex video, mixing graphic data for the ad can be increasingly challenging.
  • Gemäß einer Erscheinungsform der Erfindung wird ein Verfahren vorgesehen, das Folgendes umfasst:
    • Empfangen einer Vielzahl von Strömen, von denen jeder ein Format aus einer Vielzahl von Formaten aufweist, wobei jedes von der Vielzahl von Formaten wenigstens eines von Video- oder Grafikdaten umfasst;
    • für jeden von der Vielzahl von Strömen, Verarbeiten des Stroms durch:
      • Bestimmen des Formats des Stroms;
      • Bestimmen, ob das Format mit einem vorbestimmten Ausgabeformat kompatibel ist; und
      • als Reaktion auf das Bestimmen, dass das Format mit dem vorbestimmten Ausgabeformat nicht kompatibel ist, Konvertieren des Formats in das vorbestimmte Ausgabeformat; und
    • Kombinieren der verarbeiteten Ströme zu einem Ausgabestrom in dem vorbestimmten Ausgabeformat.
    According to one aspect of the invention, there is provided a method comprising:
    • Receiving a plurality of streams, each having a format of a plurality of formats, each of the plurality of formats comprising at least one of video or graphics data;
    • for each of the plurality of streams, processing the stream by:
      • Determining the format of the stream;
      • Determining if the format is compatible with a predetermined output format; and
      • in response to determining that the format is incompatible with the predetermined output format, converting the format to the predetermined output format; and
    • Combining the processed streams into an output stream in the predetermined output format.
  • Zweckmäßigerweise umfasst das Konvertieren des Formats in das vorbestimmte Ausgabeformat das Abbilden des Farbraums und des Farbumfangs des Formats auf einen Farbraum und einen Farbumfang des vorbestimmten Ausgabeformats.Conveniently, converting the format to the predetermined output format comprises mapping the color space and gamut of the format to a color space and gamut of the predetermined output format.
  • Zweckmäßigerweise definiert der Farbraum Rot, Grün und Blau als Grundfarben sowie den Weißpunkt.The color space expediently defines red, green and blue as the primary colors as well as the white point.
  • Zweckmäßigerweise handelt es sich bei dem Weißpunkt um eine Weiß-Temperatur mit gleichen Anteilen der Grundfarben Rot, Grün und Blau.Expediently, the white point is a white temperature with equal proportions of the primary colors red, green and blue.
  • Zweckmäßigerweise umfasst das Konvertieren des Formats in das vorbestimmte Ausgabeformat das Ändern der Helligkeit des Formats in eine mit dem vorbestimmten Ausgabeformat verbundene Helligkeit.Conveniently, converting the format to the predetermined output format comprises changing the brightness of the format to a brightness associated with the predetermined output format.
  • Zweckmäßigerweise weist die Vielzahl von Strömen wenigstens ein Format auf, das sich von dem vorbestimmten Ausgabeformat unterscheidet.Conveniently, the plurality of streams have at least one format different from the predetermined output format.
  • Zweckmäßigerweise ist die Vielzahl von Formaten der Vielzahl von Strömen von dem vorbestimmten Ausgabeformat unabhängig.Conveniently, the plurality of formats of the plurality of streams is independent of the predetermined output format.
  • Gemäß einer Erscheinungsform umfasst ein Video-Verarbeitungssystem Folgendes:
    • einen Formatkonverter, der so konfiguriert ist, dass er jedes Format von einer mit einer Vielzahl von Strömen verbundenen Vielzahl von Formaten, die von dem Video-Verarbeitungssystem empfangen wurden, in ein vorbestimmtes Ausgabeformat konvertiert, wobei jeder von der Vielzahl von Strömen wenigstens eines von Video- oder Grafikdaten umfasst;
    • einen Kombinierer, der so konfiguriert ist, dass er die Vielzahl von Strömen in dem vorbestimmten Ausgabeformat kombiniert.
    In one aspect, a video processing system includes:
    • a format converter configured to convert each format from a plurality of formats associated with a plurality of streams received from the video processing system to a predetermined output format, wherein each of the plurality of streams is at least one of video or graphic data;
    • a combiner configured to combine the plurality of streams in the predetermined output format.
  • Zweckmäßigerweise ist der Formatkonverter so konfiguriert, dass er den Farbraum und den Farbumfang jedes Formats auf einen Farbraum und einen Farbumfang des vorbestimmten Ausgabeformats abbildet.Conveniently, the format converter is configured to map the color space and gamut of each format to a color space and gamut of the predetermined output format.
  • Zweckmäßigerweise definiert der Farbraum Rot, Grün und Blau als Grundfarben sowie den Weißpunkt.The color space expediently defines red, green and blue as the primary colors as well as the white point.
  • Zweckmäßigerweise handelt es sich bei dem Weißpunkt um eine Weiß-Temperatur mit gleichen Anteilen der Grundfarben Rot, Grün und Blau. Expediently, the white point is a white temperature with equal proportions of the primary colors red, green and blue.
  • Zweckmäßigerweise ist der Formatkonverter so konfiguriert, dass er die Helligkeit jedes Formats in eine mit dem vorbestimmten Ausgabeformat verbundene Helligkeit ändert.Conveniently, the format converter is configured to change the brightness of each format to a brightness associated with the predetermined output format.
  • Zweckmäßigerweise ist die Vielzahl von Formaten von dem vorbestimmten Ausgabeformat unabhängig.Conveniently, the plurality of formats are independent of the predetermined output format.
  • Gemäß einer Erscheinungsform werden ein oder mehrere computerlesbare Speichermedien mit darauf gespeicherten Anweisungen vorgesehen, die, wenn sie von wenigstens einer Schaltung ausgeführt werden, bewirken, dass die wenigstens eine Schaltung Operationen durchführt, die Folgende umfassen:
    • Empfangen einer Vielzahl von Strömen, von denen jeder ein Format aus einer Vielzahl von Formaten aufweist, wobei jedes von der Vielzahl von Formaten wenigstens eines von Video-oder Grafikdaten umfasst;
    • für jeden von der Vielzahl von Strömen, Verarbeiten des Stroms durch:
      • Bestimmen des Formats des Stroms;
      • Bestimmen, ob das Format mit einem vorbestimmten Ausgabeformat kompatibel ist; und
      • als Reaktion auf das Bestimmen, dass das Format mit dem vorbestimmten Ausgabeformat nicht kompatibel ist, Konvertieren des Formats in das vorbestimmte Ausgabeformat; und
    • Kombinieren der verarbeiteten Ströme zu einem Ausgabestrom in dem vorbestimmten Ausgabeformat.
    According to one aspect, there are provided one or more computer readable storage media having instructions stored thereon that, when executed by at least one circuit, cause the at least one circuit to perform operations including:
    • Receiving a plurality of streams, each having a format of a plurality of formats, each of the plurality of formats comprising at least one of video or graphics data;
    • for each of the plurality of streams, processing the stream by:
      • Determining the format of the stream;
      • Determining if the format is compatible with a predetermined output format; and
      • in response to determining that the format is incompatible with the predetermined output format, converting the format to the predetermined output format; and
    • Combining the processed streams into an output stream in the predetermined output format.
  • Zweckmäßigerweise umfasst das Konvertieren des Formats in das vorbestimmte Ausgabeformat das Abbilden des Farbraums und des Farbumfangs des Formats auf einen Farbraum und einen Farbumfang des vorbestimmten Ausgabeformats.Conveniently, converting the format to the predetermined output format comprises mapping the color space and gamut of the format to a color space and gamut of the predetermined output format.
  • Zweckmäßigerweise definiert der Farbraum Rot, Grün und Blau als Grundfarben sowie den Weißpunkt.The color space expediently defines red, green and blue as the primary colors as well as the white point.
  • Zweckmäßigerweise handelt es sich bei dem Weißpunkt um eine Weiß-Temperatur mit gleichen Anteilen der Grundfarben Rot, Grün und Blau.Expediently, the white point is a white temperature with equal proportions of the primary colors red, green and blue.
  • Zweckmäßigerweise umfasst das Konvertieren des Formats in das vorbestimmte Ausgabeformat das Ändern der Helligkeit des Formats in eine mit dem vorbestimmten Ausgabeformat verbundene Helligkeit.Conveniently, converting the format to the predetermined output format comprises changing the brightness of the format to a brightness associated with the predetermined output format.
  • Zweckmäßigerweise weist die Vielzahl von Formaten wenigstens ein Format auf, das sich von dem vorbestimmten Ausgabeformat unterscheidet.Conveniently, the plurality of formats have at least one format different from the predetermined output format.
  • Zweckmäßigerweise ist die Vielzahl von Formaten von dem vorbestimmten Ausgabeformat unabhängig.Conveniently, the plurality of formats are independent of the predetermined output format.
  • Verschiedene Aufgaben, Erscheinungsformen, Merkmale und Vorteile der Offenbarung werden unter Bezugnahme auf die ausführliche Beschreibung noch besser verständlich, wenn diese zusammen mit den beigefügten Zeichnungen betrachtet wird, in denen identische Bezugszeichen durchgängig entsprechende Elemente bezeichnen. In den Zeichnungen geben identische Bezugszeichen im Allgemeinen identische, funktionell ähnliche und/oder strukturell ähnliche Elemente an.
    • 1 ist ein Diagramm eines Video-Verarbeitungssystems gemäß einem veranschaulichenden Ausführungsbeispiel;
    • 2 ist ein Diagramm eines Formatkonverters eines Video-Verarbeitungssystems gemäß einem veranschaulichenden Ausführungsbeispiel;
    • 3 ist ein Ablaufdiagramm eines Video- und Grafikströme kombinierenden Prozesses gemäß einem veranschaulichenden Ausführungsbeispiel.
    Various objects, aspects, features, and advantages of the disclosure will become more apparent by reference to the detailed description taken in conjunction with the accompanying drawings in which like reference characters designate corresponding elements throughout. In the drawings, identical reference numbers generally indicate identical, functionally similar and / or structurally similar elements.
    • 1 FIG. 10 is a diagram of a video processing system according to an illustrative embodiment; FIG.
    • 2 FIG. 10 is a diagram of a format converter of a video processing system according to an illustrative embodiment; FIG.
    • 3 FIG. 10 is a flowchart of a video and graphics stream combining process according to an illustrative embodiment. FIG.
  • Die Einzelheiten verschiedener Ausführungsbeispiele der Verfahren und Systeme sind in den beigefügten Zeichnungen und in der nachfolgenden Beschreibung dargelegt.The details of various embodiments of the methods and systems are set forth in the accompanying drawings and the description below.
  • Bevor nun auf die Figuren eingegangen wird, welche die beispielhaften Ausführungsbeispiele ausführlich veranschaulichen, versteht es sich, dass die Anwendung nicht auf die in der Beschreibung dargelegten oder in den Figuren veranschaulichten Einzelheiten oder die in der Beschreibung dargelegte oder in den Figuren veranschaulichte Methodik beschränkt ist. Es sollte sich auch verstehen, dass die Terminologie nur zu dem Zweck der Beschreibung vorgesehen ist und nicht als einschränkend betrachtet werden sollte.Before turning to the figures which illustrate the exemplary embodiments in detail, it should be understood that the application is not limited to those set forth in the specification or the details illustrated in the figures or the methodology set forth in the description or illustrated in the figures. It should also be understood that the terminology is provided for the purpose of description only and should not be considered as limiting.
  • Einige herkömmliche Video-Verarbeitungssysteme können mehrere Videoströme und Grafik empfangen und die empfangenen Video- und Grafikdaten in einer einzigen Anzeige zusammenzuführen. Das Zusammenführen erfolgt unter Verwendung von Alpha-Blending, bei dem mehrere Quellen Pixel für Pixel gemischt werden. Da ein einzelnes Ausgabeformat angestrebt werden muss, werden die nicht mit diesem Format übereinstimmenden Eingabequellen konvertiert. Herkömmlicherweise erfolgt dies durch Verarbeitung einer linearen Matrix. Diese funktioniert leidlich gut, wenn der einzige Unterschied zwischen den Eingabeformaten an einem Farbraumunterschied liegt und die Farbräume einigermaßen ähnlich sind. Bei komplexeren Unterschieden zwischen den Eingabeformaten und den Ausgabeformaten ist es wünschenswert, die Eingabeformate in ein gewünschtes Ausgabeformat zu konvertieren.Some conventional video processing systems can receive multiple video streams and graphics and merge the received video and graphics data into a single display. Merging is done using alpha blending, which mixes multiple sources pixel by pixel. Since a single output format must be sought, the input sources that do not match this format will be converted. Traditionally, this is done by processing a linear matrix. This works reasonably well if the only difference between the input formats is a color space difference and the color spaces are reasonably similar. For more complex differences between the input formats and the output formats, it is desirable to convert the input formats to a desired output format.
  • Unter allgemeiner Bezugnahme auf die Figuren werden Systeme und Verfahren vorgesehen, um mehrere Quellen (zum Beispiel Video- und Grafikquellen mit hohem Dynamikbereich und mit Standard-Dynamikbereich, die einen breiten und/oder Standard-Farbumfang nutzen) zu einem einzelnen Videosignal für die Anzeige zu kombinieren. Die Systeme und Verfahren der vorliegenden Offenbarung behandeln die Herausforderung des Kombinierens von Eingabe-Video- und -Grafikdaten mit unterschiedlichen Quellformaten durch Anwendung eines Formatkonverters vor dem Kombinieren der Video- und Grafikdaten. Durch Anwendung der Systeme und Verfahren der vorliegenden Offenbarung können bei einigen Implementierungen eine Vielfalt von inkompatiblen Formaten zu einem einzelnen Ausgabestrom zusammengeführt werden, unabhängig davon, ob die Eingabeformate miteinander oder mit dem Format des Ausgangsstroms kompatibel sind.With general reference to the figures, systems and methods are provided for augmenting multiple sources (e.g., high dynamic range video and graphics sources and standard dynamic range using wide and / or standard color gamut) into a single video signal for display combine. The systems and methods of the present disclosure address the challenge of combining input video and graphics data with different source formats by using a format converter prior to combining the video and graphics data. Using the systems and methods of the present disclosure, in some implementations, a variety of incompatible formats may be merged into a single output stream, regardless of whether the input formats are compatible with each other or with the format of the output stream.
  • Unter Bezugnahme auf 1 ist ein Diagramm eines Video-Verarbeitungssystems 100 gemäß einem veranschaulichenden Ausführungsbeispiel abgebildet. Das Video-Verarbeitungssystem 100 ist so konfiguriert, dass es mehrere Ströme zu einem einzigen Ausgabestrom für die Anzeige zusammenführt. Bei einigen Ausführungsbeispielen werden die mehreren Ströme von verschiedenen Video- oder Grafikressourcen und/oder in verschiedenen Video- oder Grafikformaten empfangen. Zum Beispiel empfängt das Video-Verarbeitungssystem 100 in dem veranschaulichten Ausführungsbeispiel mit den Videoformaten CLRSPC-A, NLSPC-A und REFSPC-A verbundene Eingabe-Videodaten 102a und mit den Videoformaten CLRSPC-B, NLSPC-B und REFSPC-A verbundene Eingabe-Videodaten 102b und mit den Videoformaten CLRSPC-C, NLSPC-C und REFSPC-B verbundene Eingabe-Grafikdaten 102c. Das Video-Verarbeitungssystem 100 umfasst einen oder mehrere zum Konvertieren von Formaten von Eingabe-Videodaten und -Grafikdaten in ein gewünschtes Format konfigurierte Formatkonverter 104. Das gewünschte Format wird durch ein für die Anzeige nachgelagertes Ausgabeformat bestimmt. Zum Beispiel handelt es sich, wie in 1 gezeigt, bei dem Ausgabeformat um ein Videoformat einschließlich CLRSPC-A, NLSPC-A und REFSPC-A. Die Eingabeströme können eine beliebige Kombination von Formaten umfassen. Die Formate der Eingabeströme sind von dem erforderlichen Ausgabeformat unabhängig, das heißt, Erscheinungsformen des Eingabeformats können mit Aspekten des Ausgabeformats inkompatibel sein.With reference to 1 is a diagram of a video processing system 100 depicted in accordance with an illustrative embodiment. The video processing system 100 is configured to merge multiple streams into a single output stream for the display. In some embodiments, the multiple streams are received from different video or graphics resources and / or in different video or graphics formats. For example, the video processing system receives 100 in the illustrated embodiment, input video data associated with the video formats CLRSPC-A, NLSPC-A, and REFSPC-A 102 and input video data associated with the video formats CLRSPC-B, NLSPC-B and REFSPC-A 102b and input graphics data connected to the video formats CLRSPC-C, NLSPC-C and REFSPC-B 102c , The video processing system 100 includes one or more format converters configured to convert formats of input video data and graphics data to a desired format 104 , The desired format is determined by an output format downstream of the display. For example, as in 1 shown in the output format by a video format including CLRSPC-A, NLSPC-A and REFSPC-A. The input streams may include any combination of formats. The formats of the input streams are independent of the required output format, that is, appearances of the input format may be incompatible with aspects of the output format.
  • Das Video-Verarbeitungssystem 100 bestimmt, ob der jeweilige Eingabe-Video- oder -Grafikstrom ein Format aufweist, das mit dem gewünschten Ausgabeformat kompatibel ist. Bei jeglichen Video- und Grafikströmen, die kein mit dem gewünschten Ausgabeformat kompatibles Format aufweisen, verwendet das Video-Verarbeitungssystem 100 den Formatkonverter 104 zum Konvertieren der inkompatiblen Formate in das gewünschte Ausgabeformat. Zum Beispiel konvertiert das Video-Verarbeitungssystem 100 bei dem Videostrom 102b und dem Grafikstrom 102c jeden der Ströme 102b und 102c aus seinem Quellformat (das heißt CLRSPC-B, NLSPC-B bzw. REFSPC-A, CLRSPC-C, NLSPC-C und REFSPC-B) in das Ausgabe-Videoformat (das heißt CLRSPC-A, NLSPC-A und REFSPC-A).The video processing system 100 determines whether each input video or graphics stream has a format that is compatible with the desired output format. Any video and graphics streams that do not have a format compatible with the desired output format will use the video processing system 100 the format converter 104 to convert the incompatible formats to the desired output format. For example, the video processing system converts 100 at the video stream 102b and the graphics stream 102c each of the streams 102b and 102c from its source format (ie CLRSPC-B, NLSPC-B or REFSPC-A, CLRSPC-C, NLSPC-C and REFSPC-B) into the output video format (ie CLRSPC-A, NLSPC-A and REFSPC-A ).
  • Das Video-Verarbeitungssystem 100 umfasst ferner einen Kombinierer 106, der so konfiguriert ist, dass er die konvertierten Video- und Grafikströme zu einem einzelnen Ausgabestrom 108 in einem mit dem gewünschten Ausgabe-Videoformat kompatiblen Ausgabe-Videoformat kombiniert. Der Kombinierer 106 ist so konfiguriert, dass er die konvertierten Video- und Grafikströme zu einer einzigen Ausgabe 108 zusammenführt. Bei einigen Ausführungsbeispielen verwendet der Kombinierer 106 das Alpha-Blending, bei dem mehrere Quellen Pixel für Pixel gemischt werden. Der Ausgabestrom 108 kann ein Ausgabeformat aufweisen, das so ausgewählt ist, dass es Bild-in-Bild-Darstellung (PIP, Picture-In-Picture), Mehrfenster-PIP, Bild-in-Grafik-Darstellung, usw. zulässt. Bei solchen Ausführungsbeispielen kann jeder der Ströme zum Erzeugen gesonderter Teile des Ausgabebildes (zum Beispiel gesonderte PIP-Teile) verwendet werden. Das Ausgabeformat braucht nicht mit den Eingabeformaten des Video- und des Grafikstroms übereinzustimmen. Bei einigen Ausführungsbeispielen wird der Ausgabestrom in mehreren, sich auf dem Bildschirm überlagernden Fenstern angezeigt. Bei einigen solchen Ausführungsbeispielen ist der Ausgabestrom so beschaffen, dass an den Überlagerungsstellen eine Überdeckung oder ein Alpha-Blending stattfindet.The video processing system 100 further comprises a combiner 106 which is configured to convert the converted video and graphics streams into a single output stream 108 combined in an output video format compatible with the desired output video format. The combiner 106 is configured to convert the converted video and graphics streams into a single output 108 merges. In some embodiments, the combiner uses 106 Alpha blending, where multiple sources are mixed pixel by pixel. The output stream 108 may have an output format selected to allow picture-in-picture (PIP), multi-window PIP, picture-in-picture, and so on. In such embodiments, each of the streams may be used to create separate parts of the output image (eg, separate PIP parts). The output format does not need to match the input formats of the video and graphic streams. For some Embodiments, the output stream is displayed in a plurality of overlapping windows on the screen. In some such embodiments, the output stream is such that overlap or alpha blending occurs at the overlay locations.
  • Unter Bezugnahme auf 2 ist ein Diagramm des Formatkonverters 200 eines Video-Verarbeitungssystems gemäß einem veranschaulichenden Ausführungsbeispiel abgebildet. Bei einigen Ausführungsbeispielen kann der Formatkonverter 200 als Formatkonverter für ein Video-Verarbeitungssystem, wie beispielsweise das in 1 gezeigte Video-Verarbeitungssystem 100, verwendet werden. Ein Format aus grafischen Objekten ist gemäß einem oder mehreren Ausführungsbeispielen durch mehrere Parameter definiert, einschließlich, aber nicht beschränkt auf Farbraum, nichtlinearen Raum und Lichtquelle. Tabelle 1- Zur Definition eines Video-/Grafikformats verwendete Parameter
    Grafik-/Videoformatparameter Beschreibung Beispiele definiert in
    CLRSPC Farbraum (Chromatizitäten) definieren bestimmte R-, G-, B-Grundfarben und den Weißpunkt (Weiß-Temperatur mit gleichen R-, G- und B-Anteilen). sRGB
    ITU-R BT.601
    ITU-R BT.709
    ITU-R BT.2020
    ITU-R BT.2100
    D65 (Weißpunkt bei 6.500 K)
    NLSPC Nichtlineare Signaltransformation zur effizienten Signalcodierung sRGB
    ITU-R BT.709
    ITU-R BT.1886
    ITU-R BT.2100
    SMPTE ST.2084
    REFSPC Annahme des Systems, ob in dem Signal von einer Kamera empfangenes oder von einer Anzeige ausgestrahltes Licht codiert wird Szenenbezogen
    Anzeigenbezogen
    ITU-R BT.2100
    With reference to 2 is a diagram of the format converter 200 of a video processing system according to an illustrative embodiment. In some embodiments, the format converter 200 as a format converter for a video processing system, such as the in 1 shown video processing system 100 , be used. A format of graphical objects is defined by a plurality of parameters, including but not limited to color space, nonlinear space, and light source, in accordance with one or more embodiments. Table 1- Parameters used to define a video / graphic format
    Graphics / video format parameters description Examples defined in
    CLRSPC Color space (chromaticities) defines certain R, G, B basic colors and the white point (white temperature with the same R, G and B proportions). sRGB
    ITU-R BT.601
    ITU-R BT.709
    ITU-R BT.2020
    ITU-R BT.2100
    D65 (white point at 6,500 K)
    NLSPC Non-linear signal transformation for efficient signal coding sRGB
    ITU-R BT.709
    ITU-R BT.1886
    ITU-R BT.2100
    SMPTE ST.2084
    REFSPC Assuming the system whether light received in the signal from a camera or emitted by a display is encoded Based scene
    Based display
    ITU-R BT.2100
  • Tabelle 1 zeigt gemäß beispielhaften Ausführungsbeispielen einige zum Definieren eines bestimmten Video- oder Grafikformats verwendete Parameter und Beispiele für Standards, welche die speziellen, für die einzelnen Parameter verwendeten Werte definieren. Diese Parameter implizieren beliebige Arten von Formatstandards, wie beispielsweise Standard- oder hoher Dynamikbereich, Standard- oder breiter Farbumfang, maximale Weißhelligkeit und minimale Schwarzhelligkeit, usw.Table 1 shows, in accordance with exemplary embodiments, some parameters and examples of standards used to define a particular video or graphics format, which define the particular values used for each parameter. These parameters imply any type of format standard, such as standard or high dynamic range, standard or wide gamut, maximum white brightness and minimum blackness, etc.
  • Der Formatkonverter 200 ist so konfiguriert, dass er einen Bitstrom von einer Quelle empfängt, die Video- und Grafikdaten in Quellformaten umfasst und die Video- und Grafikdaten aus den Quellformaten in ein gewünschtes Format konvertiert. Das gewünschte Format wird auf der Grundlage des nachgelagerten Formats für die Anzeige ausgewählt. Bei einigen Ausführungsbeispielen werden die Quellformate der Video- und Grafikdaten mittels des Bitstrom-Headers angegeben. Bei einigen Ausführungsbeispielen werden die Quellformate unter Verwendung einer Seitenband-Signalisierung über eine drahtgebundene Kommunikation (zum Beispiel HDMI) bestimmt, wobei die Quelle und die Ausgabeeinrichtung (zum Beispiel Display) ein Quellformat aushandeln und sich darauf einigen. Bei einigen Ausführungsbeispielen sind die Quellformate in einen Standard integriert (zum Beispiel die NTSC-Analog-Eingabeformate des National Television System Committee, die einen vordefinierten und festen Farbraum, einen nichtlinearen Raum und einen Referenzraum aufweisen). Bei einigen Ausführungsbeispielen liegen die Quellformate in Standardformaten vor (zum Beispiel in dem Format sRGB für JPEGs, wie durch den Standard definiert). Bei einigen Ausführungsbeispielen gibt jedes Quellformat Parameter einschließlich des Farbraums (CLRSPC), des nichtlinearen Raums (NLSPC) und des Referenzraums (REFSPC) an. Bei einigen Ausführungsbeispielen geben der Bitstrom-Header oder die HDMI-Seitenbandinformationen jeden Parameter einzeln an. Bei einigen Ausführungsbeispielen wird der REFSPC auf der Grundlage des ausgewählten NLSPC angegeben. Bei einigen Ausführungsbeispielen werden die Quellformate der Grafikdaten von dem Ersteller der betreffenden Grafikdaten festgelegt. Zum Beispiel kann ein Satz von Schriftarten oder grafischen Texturen (die zum Hinzufügen von Textur zu 3D-Rendering-Daten verwendet werden) in einem bestimmten Format erstellt werden. Bei einigen Ausführungsbeispielen werden die von dem Ersteller festgelegten Quellformate als Bestandteile eines Paketsatzes angegeben.The format converter 200 is configured to receive a bit stream from a source that includes video and graphics data in source formats and converts the video and graphics data from the source formats to a desired format. The desired format is selected based on the display's downstream format. In some embodiments, the source formats of the video and graphics data are indicated by the bitstream header. In some embodiments, the source formats are determined using sideband signaling over a wired communication (eg, HDMI), where the source and output device (eg, display) negotiate and agree on a source format. In some embodiments, the source formats are integrated into a standard (e.g., the NTSC analog input formats of the National Television System Committee, which have a predefined and fixed color space, a nonlinear space, and a reference space). In some embodiments, the source formats are in standard formats (for example, in the sRGB format for JPEGs, as defined by the standard). In some embodiments, each source format specifies parameters including color space (CLRSPC), nonlinear space (NLSPC), and reference space (REFSPC). In some embodiments, the bitstream header or the HDMI sideband information indicates each parameter individually. In some embodiments, the REFSPC is specified based on the selected NLSPC. In some embodiments, the source formats of the graphics data are determined by the creator of the respective graphics data. For example, a set of fonts or graphic textures (which are used to add texture to 3D rendering data be created) in a specific format. In some embodiments, the source formats specified by the creator are specified as constituents of a set of packets.
  • Der Formatkonverter 200 umfasst mehrere Schaltungen, die so konfiguriert sind, dass sie Teile des Konvertierungsprozess implementieren. Bei dem veranschaulichten Ausführungsbeispiel umfassen die Schaltungen eine NLSPC-Decodierungsschaltung 202, eine CLRSPC-Konvertierungs- und -Farbumfang-Abbildungsschaltung 204, eine szenen-/anzeigenbezogene REFSPC-Konvertierungsschaltung 206, eine Helligkeitsausgleichsschaltung 208 und eine NLSPC-Codierungsschaltung 210. Es sollte sich verstehen, dass bei anderen Ausführungsbeispielen weniger, zusätzliche oder andere Schaltungen verwendet werden könnten. Bei verschiedenen Ausführungsbeispielen können die Schaltungen unter Verwendung von Hardware (zum Beispiel integrierten Schaltungen), Software (zum Beispiel in einem Speicher gespeicherten, mittels eines Prozessors ausführbaren Anweisungen) oder in einer Kombination aus beiden implementiert sein. Diese Schaltungen sind in 2 in einer Reihenfolge gezeigt, aber die Reihenfolge der Schaltungen kann gemäß einem oder mehreren Ausführungsbeispielen umgeordnet werden. Bei Schaltungen des Formatkonverters 200, die so konfiguriert sind, dass sie eine nichtlineare Decodierung oder Codierung durchführen, kann der Formatkonverter 200 diese Schaltungen bei der Verarbeitung linear decodierter und/oder codierter Objekte umgehen. Analog umgeht der Formatkonverter 200 bei Schaltungen des Formatkonverters 200, die so konfiguriert sind, dass sie lineare Eingaben verarbeiten oder lineare Ausgaben erzeugen, bei einigen Ausführungsbeispielen diese Module, wenn er nichtlinear decodierte und/oder codierte Objekte verarbeitet.The format converter 200 includes several circuits that are configured to implement parts of the conversion process. In the illustrated embodiment, the circuits include an NLSPC decoding circuit 202 , a CLRSPC conversion and color gamut mapping circuit 204, a scene / display related REFSPC conversion circuit 206 , a brightness compensation circuit 208 and an NLSPC coding circuit 210 , It should be understood that in other embodiments fewer, additional or different circuits could be used. In various embodiments, the circuits may be implemented using hardware (eg, integrated circuits), software (eg, stored in a memory, processor-executable instructions), or a combination of both. These circuits are in 2 shown in an order, but the order of the circuits may be rearranged according to one or more embodiments. For circuits of the format converter 200 , which are configured to perform nonlinear decoding or encoding, can be the format converter 200 bypass these circuits when processing linear decoded and / or encoded objects. The format converter bypasses this analogously 200 in circuits of the format converter 200 configured to process linear inputs or generate linear outputs, in some embodiments, these modules when processing nonlinearly decoded and / or encoded objects.
  • Die Decodierungsschaltung für den nichtlinearen Raum (NLSPC-Decodierungsschaltung) 202 ist so konfiguriert, dass sie die Eingabeobjekte umwandelt, wenn die Eingabeobjekte nichtlinear codiert sind. Bei einigen Ausführungsbeispielen implementiert die NLSPC-Decodierungsschaltung 202 beliebige geeignete Algorithmen (zum Beispiel mathematische Funktionen, Nachschlagetabelle oder PWL-Approximationen (Piecewise Linear Approximation, stückweise lineare Approximation)) zum Konvertieren des Eingabeobjekts aus dem nichtlinearen Raum in den linearen Raum. Die Eingabeobjekte werden unter linearem Licht exakter dargestellt, sodass die NLSPC-Decodierungsschaltung 202 es dem Formatkonverter 200 ermöglicht, die Objekte in den nachfolgenden Operationen (zum Beispiel von den Schaltungen 204, 206 und 208 durchgeführte Operationen) zu konvertieren. Die Schaltung zur Farbraumkonvertierung (CLRSPC-Konvertierung) und zur Farbumfangsabbildung 204 ist so konfiguriert, dass sie die decodierten Objekte von einem Farbraum und einem Farbumfang der Quelle auf einen Farbraum und einen Farbumfang des Ausgabeformats abbildet. Die Abbildung von Farbraum und Farbumfang umfasst das Ändern der Grundfarben Rot, Grün und Blau und der Weißpunktwerte (Weiß-Temperatur mit gleichen Anteilen von Rot, Grün und Blau) von decodierten Objekten in Grundfarben- und Weißpunktwerte des Ausgabeformats. Bei einigen Ausführungsbeispielen werden die Grundfarben und die Weißpunktwerte mittels der Quellformate angegeben, und durch die Kenntnis des Eingabe- und des Ausgabeformats kann das System die Eingabe- und Ausgabe-Grundfarben und die entsprechenden Weißpunktwerte ermitteln.The Nonlinear Space Decoding Circuit (NLSPC Decoding Circuit) 202 is configured to transform the input objects if the input objects are nonlinear coded. In some embodiments, the NLSPC decoding circuit implements 202 any suitable algorithms (e.g., mathematical functions, look-up table, or piecewise linear approximation (PWL) approximations) for converting the input object from the nonlinear space to the linear space. The input objects are displayed more accurately under linear light, so that the NLSPC decoding circuit 202 it the format converter 200 allows the objects in subsequent operations (for example, from the circuits 204 . 206 and 208 performed operations). The circuit for color space conversion (CLRSPC conversion) and color gamut mapping 204 is configured to map the decoded objects from a color space and a gamut of the source to a color space and a gamut of the output format. The mapping of color space and gamut includes changing the primary colors red, green, and blue and the white point values (white temperature with equal proportions of red, green, and blue) of decoded objects into baseline and white point values of the output format. In some embodiments, the base colors and the white point values are indicated by the source formats, and by knowing the input and output formats, the system can determine the input and output basic colors and the corresponding white point values.
  • Gemäß einem oder mehreren Ausführungsbeispielen ist die Schaltung für die szenen-/anzeigenbezogene REFSPC-Konvertierung 206 so konfiguriert, dass sie Lichtquellen ermittelt, auf deren Grundlage die Quellformate der Eingabeobjekte definiert sind (zum Beispiel von einer Kamera empfangenes Licht, von einer Anzeige ausgestrahltes Licht). Die Schaltung für die szenen-/anzeigenbezogene REFSPC-Konvertierung 206 bestimmt eine Lichtquelle des Ausgabeformats. Bei einigen Ausführungsbeispielen sind die Eingabeformate auf der Grundlage von Lichtquellen definiert. Die Schaltung für die szenen-/anzeigenbezogene REFSPC-Konvertierung 206 konvertiert die Lichtquellen der Eingabeobjekte in die Lichtquelle des Ausgabeformats. Zum Beispiel dann, wenn die Eingabeobjekte einer Szene im Freien mit einer Kamera aufgenommen wurden, deren Spitzenhelligkeit außerhalb des im Fernsehen anzeigbaren Bereichs liegt. Die Schaltung für die szenen-/anzeigenbezogene REFSPC-Konvertierung 206 skaliert die Spitzenhelligkeit der Szene im Freien auf eine Spitzenhelligkeit des Fernsehens und passt die Objekte an, indem sie gemäß der Ansichtsumgebung Kontrast zu den Objekten hinzufügt. Bei einigen Ausführungsbeispielen verwendet die Schaltung für die szenen-/anzeigenbezogene REFSPC-Konvertierung 206 eine OOTF-Übertragungsfunktion (Optical-To-Optical Transfer Function, optisch-zu-optisch-Übertragungsfunktion), um den Kontrast auf die linear skalierten Objekte anzupassen. Ein Beispiel für eine OOTF ist eine Gammakorrektur wie nachfolgend gezeigt: L i c h t A n z e i g e = S k a l i e r f a k t o r × L i c h t S z e n e γ
    Figure DE102018001838A1_0001
    In one or more embodiments, the circuit is for scene / view related REFSPC conversion 206 configured to determine light sources on the basis of which the source formats of the input objects are defined (for example, light received by a camera, light emitted by a display). The scene / view REFSPC conversion circuit 206 determines a light source of the output format. In some embodiments, the input formats are defined based on light sources. The scene / view REFSPC conversion circuit 206 converts the light sources of the input objects into the light source of the output format. For example, when the input objects of an outdoor scene have been shot with a camera whose peak brightness is outside the range that can be displayed on the TV. The scene / view REFSPC conversion circuit 206 The top-level brightness of the outdoor scene scales to a peak brightness of the television and adjusts the objects by adding contrast to the objects according to the viewing environment. In some embodiments, the circuit uses scene / view related REFSPC conversion 206 an OOTF (Optical-to-Optical Transfer Function) transfer function to adjust the contrast to the linearly scaled objects. An example of an OOTF is a gamma correction as shown below: L i c H t A n z e i G e = S k a l i e r f a k t O r × L i c H t S z e n e γ
    Figure DE102018001838A1_0001
  • Bei einigen Ausführungsbeispielen werden die Eingabeobjekte mit für Anzeigezwecke geeignetem Licht codiert, sodass der Helligkeitsbereich der Eingabeobjekte auf einer Anzeigevorrichtung (zum Beispiel Fernsehgerät) angezeigt werden kann. Bei einigen solchen Ausführungsbeispielen wird die Schaltung für die szenen-/anzeigenbezogene REFSPC-Konvertierung 206 umgangen. Wenn die Eingabeobjekte und die Ausgabeobjekte denselben REFSPC aufweisen, wird bei einigen Ausführungsbeispielen die Schaltung für die szenen-/anzeigenbezogene REFSPC-Konvertierung 206 umgangen. Wenn die Eingabeobjekte szenenbezogen sind und eine anzeigenbezogene Ausgabe erforderlich ist, führt die Schaltung für die szenen-/anzeigebezogene REFSPC-Konvertierung 206 eine OOTF-Korrektur durch. Wenn die Eingabeobjekte anzeigenbezogen sind und eine szenenbezogene Ausgabe erforderlich ist, führt die Schaltung für die szenen-/anzeigenbezogene REFSPC-Konvertierung 206 eine umgekehrte OOTF-Korrektur durch. Die Helligkeitsausgleichsschaltung 208 ist so konfiguriert, dass die Helligkeit der decodierten Objekte von der Quellhelligkeit auf die Helligkeit des erforderlichen Ausgabeformats korrigiert wird. Wenn der Konverter 200 zum Beispiel eine Konvertierung von SDR auf HDR verarbeitet, verstärkt der Konverter 200 die Helligkeit des angezeigten Signals so, dass es im Vergleich zu den HDR-Quellen nicht unnatürlich dunkel aussieht. Wenn der Konverter 200 die Konvertierung von HDR auf SDR verarbeitet, kann das SDR-Signal nicht so hell oder dunkel werden wie in der HDR-Quelle. In diesem Fall bildet der Konverter die Signale, die sich außerhalb des Bereichs befinden, auf den verfügbaren Bereich des verfügbaren SDR-Ausgangssignals ab. Die Codierungsschaltung für den nichtlinearen Raum (NLSPC-Codierungsschaltung) 210 ist so konfiguriert, dass sie die konvertierten Objekte nichtlinear codiert, um eine nichtlineare Ausgabe zu erzeugen. Die Ausgabe des Formatkonverters 200 ist mit dem erforderlichen Ausgabeformat kompatibel. Bei der Eingabe des Formatkonverters 200 kann es sich gemäß einem oder mehreren Ausführungsbeispielen um beliebige Formate handeln, die mit dem erforderlichen Ausgabeformat kompatibel oder inkompatibel sind. Gemäß einigen Ausführungsbeispielen wird der Formatkonverter 200 von dem Video-Verarbeitungssystem umgangen, wenn die Eingabe-Videodaten und -Grafikdaten des Video-Verarbeitungssystems ein Format aufweisen, das mit dem erforderlichen Ausgabeformat kompatibel ist.In some embodiments, the input objects are encoded with light suitable for display purposes so that the brightness range of the input objects can be displayed on a display device (eg, TV). In some such embodiments, the circuitry for the scene / view related REFSPC conversion 206 bypassed. If the input objects and the output objects have the same REFSPC, in some embodiments, the scene / view related REFSPC conversion circuit becomes 206 bypassed. If the input objects are scene-related and display-related output is required, the circuit performs scene-to-scene REFSPC conversion 206 an OOTF correction by. If the input objects are display-related and scene-related output is required, then the scene / view REFSPC conversion will run 206 a reverse OOTF correction. The brightness compensation circuit 208 is configured to correct the brightness of the decoded objects from the source brightness to the brightness of the required output format. If the converter 200 For example, a conversion from SDR to HDR is processed, the converter amplifies 200 the brightness of the displayed signal so that it does not look unnaturally dark compared to the HDR sources. If the converter 200 When converting from HDR to SDR, the SDR signal may not be as bright or dark as in the HDR source. In this case, the converter maps the signals that are out of range to the available range of the available SDR output signal. The Nonlinear Space Coding Circuit (NLSPC Coding Circuit) 210 is configured to non-linearly encode the converted objects to produce a non-linear output. The output of the format converter 200 is compatible with the required output format. When entering the format converter 200 For example, one or more embodiments may be any format that is compatible or incompatible with the required output format. According to some embodiments, the format converter becomes 200 is bypassed by the video processing system when the input video data and graphics data of the video processing system have a format that is compatible with the required output format.
  • Unter Bezugnahme auf 3 ist ein Ablaufdiagramm eines Video- und Grafikströme kombinierenden Prozesses 300 gemäß einem veranschaulichenden Ausführungsbeispiel abgebildet. Der Prozess 300 umfasst das Empfangen von Eingabe-Video- und -Grafikströmen 302, das Bestimmen eines Formats für jeden der Video- und Grafikströme 304, das Bestimmen, ob das jeweilige Format der Video- und Grafikströme mit einem vorbestimmten Ausgabeformat kompatibel ist 306, das Konvertieren des Formats der Ströme, die mit dem vorbestimmten Ausgabeformat inkompatible Formate aufweisen, und das Kombinieren aller Ströme zu dem vorbestimmten Ausgabeformat.With reference to 3 is a flowchart of a video and graphics stream combining process 300 depicted in accordance with an illustrative embodiment. The process 300 comprising receiving input video and graphics streams 302, determining a format for each of the video and graphics streams 304 determining whether the respective format of the video and graphics streams is compatible 306 with a predetermined output format, converting the format of the streams having formats incompatible with the predetermined output format, and combining all streams into the predetermined output format.
  • In Schritt 302 werden die grafischen Eingabeobjekte empfangen. Bei einigen Ausführungsbeispielen können die grafischen Eingabeobjekte in beliebigen Quellformaten vorliegen. Die Quellformate sind nicht auf ein Format beschränkt, das mit dem vorbestimmten Ausgabeformat oder dem erforderlichen Ausgabeformat der nachgelagerten Anzeigeeinrichtung (zum Beispiel TV, Computer) kompatibel ist. Die Eingabe-Video- und -Grafikströme können mehrere Eingabe-Quellformate umfassen.In step 302 the graphic input objects are received. In some embodiments, the graphical input objects may be in any source formats. The source formats are not limited to a format that is compatible with the predetermined output format or output format of the downstream display device (eg, TV, computer). The input video and graphics streams may include multiple input source formats.
  • In Schritt 304 bestimmt das Video-Verarbeitungssystem gemäß einem oder mehreren Ausführungsbeispielen aus jedem der Eingabe-Video- und -Grafikströme ein Format. Bei einem oder mehreren Ausführungsbeispielen ist jeder Videostrom mit mehr als einem Format oder einer Kombination aus mehreren Formaten verbunden. In Schritt 306 bestimmt das Video-Verarbeitungssystem für jeden Eingabestrom, ob das Format der Eingabe mit einem vorbestimmten Ausgabeformat kompatibel ist. Bei den kompatiblen Formaten muss es sich nicht zwangsläufig jeweils um dasselbe Format handeln; in einigen Fällen können mehrere Formate mit dem Ausgabeformat kompatibel sein. Das vorbestimmte Ausgabeformat ist bei einigen Ausführungsbeispielen mit einem erforderlichen Format für die Anzeige verbunden. In Schritt 308 kombiniert das Video-Verarbeitungssystem, als Reaktion auf das Bestimmen, dass das Format der Eingangs-Video- und -Grafikströme mit dem vorbestimmten Ausgabeformat kompatibel ist, die Ströme mit dem vorbestimmten Ausgabeformat. In Schritt 310 konvertiert ein Formatkonverter des Video-Verarbeitungssystems, als Reaktion auf das Bestimmen, dass das Format der Eingabe-Video- und -Grafikströme mit dem vorbestimmten Ausgabeformat nicht kompatibel ist, das Format der grafischen Eingabeobjekte/-ströme in ein Format, das mit dem vorbestimmten Ausgabeformat kompatibel ist. Nach dem Konvertieren aller inkompatiblen Formate der Eingabe-Video- und -Grafikströme kombiniert das Video-Verarbeitungssystem alle Ströme, die das vorbestimmte Ausgabeformat aufweisen, um einen einzelnen Strom für die Ausgabe/Anzeige auszugeben.In step 304 In accordance with one or more embodiments, the video processing system determines a format from each of the input video and graphics streams. In one or more embodiments, each video stream is associated with more than one format or a combination of multiple formats. In step 306 For each input stream, the video processing system determines whether the format of the input is compatible with a predetermined output format. The compatible formats do not necessarily have to be the same format; in some cases, several formats may be compatible with the output format. The predetermined output format is associated with a required format for the display in some embodiments. In step 308 the video processing system combines the streams having the predetermined output format in response to determining that the format of the input video and graphic streams is compatible with the predetermined output format. In step 310 In response to determining that the format of the input video and graphic streams is incompatible with the predetermined output format, a format converter of the video processing system converts the format of the graphic input objects / streams into a format that conforms to the predetermined output format is compatible. After converting all incompatible formats of the input video and graphic streams, the video processing system combines all streams having the predetermined output format to output a single stream for the output / display.
  • Die vorliegende Offenbarung wurde oben unter Zuhilfenahme von Verfahrensschritten beschrieben, welche die Leistung von spezifizierten Funktionen und ihre Beziehungen zueinander veranschaulichen. Die Begrenzungen und die Abfolge dieser Funktionsbausteine und Verfahrensschritte wurden in dem vorliegenden Dokument aus praktischen Gründen für die Beschreibung willkürlich definiert. Alternative Begrenzungen und Abfolgen können definiert werden, solange die spezifizierten Funktionen und deren Beziehungen zueinander auf geeignete Weise bewirkt werden. Solchermaßen liegen alternative Begrenzungen oder Abfolgen somit in dem Schutzumfang und dem Gedanken der beanspruchten Erfindung. Ferner wurden die Begrenzungen dieser Funktionsbausteine aus praktischen Gründen für die Beschreibung willkürlich definiert. Alternative Begrenzungen könnten definiert werden, solange die gewissen wesentlichen Funktionen auf geeignete Weise ausgeführt werden. Auf ähnliche Weise können auch Ablaufdiagrammblöcke in dem vorliegenden Dokument willkürlich definiert worden sein, um eine gewisse wesentliche Funktionalität zu veranschaulichen. In dem verwendeten Maße könnten die Grenzen und Abfolgen der Ablaufdiagrammblöcke auf andere Weise definiert worden sein und dennoch die gewisse wesentliche Funktionalität bewirken. Solche alternativen Definitionen sowohl von Funktionsbausteinen als auch von Ablaufdiagrammblöcken und Abfolgen liegen somit in dem Schutzumfang und dem Gedanken der beanspruchten Erfindung. Ein Durchschnittsfachmann auf diesem Gebiet wird außerdem erkennen, dass die Funktionsbausteine und weitere in dem vorliegenden Dokument enthaltene veranschaulichende Blöcke, Module und Komponenten wie veranschaulicht oder mittels diskreter Komponenten, anwendungsspezifischer integrierter Schaltungen, Prozessoren, die eine geeignete Software ausführen, und dergleichen oder beliebiger Kombinationen daraus implementiert werden können.The present disclosure has been described above with the aid of method steps illustrating the performance of specified functions and their relationships to one another. The limitations and sequence of these function blocks and method steps have been arbitrarily defined in the present document for convenience of description. Alternative constraints and sequences may be defined as long as the specified functions and their relationships are properly effected. Thus, alternative limitations or sequences are thus within the scope and spirit of the claimed invention. Furthermore, the limitations of these function blocks have been arbitrarily defined for convenience of description. Alternative constraints could be defined as long as the certain essential functions are properly performed. Similarly, flowchart blocks in the present document may also be arbitrarily defined to illustrate some essential functionality. To the extent used, the boundaries and sequences of the flowchart blocks could have been otherwise defined and still provide some essential functionality. Such alternative definitions of both functional building blocks and flowchart blocks and sequences are thus within the scope and spirit of the claimed invention. One of ordinary skill in the art will also recognize that the functional building blocks and other illustrative blocks, modules, and components incorporated herein include as illustrated or discrete components, application specific integrated circuits, processors executing appropriate software, and the like, or any combination thereof can be implemented.
  • Die vorliegende Offenbarung kann, wenigstens in Teilen, auch in Form eines oder mehrerer Ausführungsbeispiele beschrieben worden sein. Ein Ausführungsbeispiel der vorliegenden Erfindung wird in dem vorliegenden Dokument verwendet, um die vorliegende Erfindung, eine Erscheinungsform davon, ein Merkmal davon, ein Konzept davon und/oder ein Beispiel davon zu veranschaulichen. Ein physisches Ausführungsbeispiel einer Vorrichtung, eines Erzeugnisses, einer Maschine und/oder eines Prozesses, die bzw. das bzw. der die vorliegende Erfindung verkörpert, kann eines oder mehrere von den in dem vorliegenden Dokument beschriebenen Erscheinungsformen, Merkmalen, Konzepten, Beispielen, usw. unter Bezugnahme auf eines oder mehrere der in dem vorliegenden Dokument erörterten Ausführungsbeispiele umfassen. Ferner können die Ausführungsbeispiele von Figur zu Figur dieselben oder ähnlich benannte Funktionen, Schritte, Module, usw. enthalten, welche dieselben oder unterschiedliche Bezugszeichen verwenden können, und solchermaßen kann es sich bei den Funktionen, Schritten, Modulen, usw. um dieselben oder ähnliche Funktionen, Schritte, Module, usw. oder unterschiedliche davon handeln.The present disclosure may have been described, at least in part, also in the form of one or more embodiments. One embodiment of the present invention is used in the present document to illustrate the present invention, an appearance thereof, a feature thereof, a concept thereof, and / or an example thereof. A physical embodiment of an apparatus, product, machine, and / or process embodying the present invention may include one or more of the forms, features, concepts, examples, etc. described herein. with reference to one or more of the embodiments discussed in this document. Further, the embodiments may include the same or similarly named functions, steps, modules, etc., which may use the same or different reference numbers, and thus the functions, steps, modules, etc. may be the same or similar functions , Steps, modules, etc. or different ones.
  • Es sollte sich verstehen, dass die oben beschriebenen Systeme mehrere von beliebigen oder alle von diesen Komponenten vorsehen können, und dass diese Komponenten entweder auf einer eigenständigen Maschine oder, bei einigen Ausführungsbeispielen, auf mehreren Maschinen in einem verteilten System vorgesehen sein können. Zusätzlich können die oben beschriebenen Systeme und Verfahren als eines oder mehrere computerlesbare Programme oder ausführbare Anweisungen vorgesehen sein, die auf oder in einem oder mehreren Erzeugnissen verwirklicht sind. Bei dem Erzeugnis kann es sich um eine Diskette, eine Festplatte, eine CD-ROM, eine Flash-Speicherkarte, ein PROM, ein RAM, ein ROM oder ein Magnetband handeln. Im Allgemeinen können die computerlesbaren Programme in einer beliebigen Programmiersprache, wie beispielsweise LISP, PERL, C, C++, C#, PROLOG oder in einer beliebigen Bytecode-Sprache, wie beispielsweise JAVA, implementiert sein. Die Softwareprogramme oder ausführbaren Anweisungen können in oder auf einem oder mehreren Erzeugnissen als Objektcode gespeichert sein.It should be understood that the systems described above may provide for any or all of these components, and that these components may be provided either on a stand-alone machine or, in some embodiments, on multiple machines in a distributed system. In addition, the systems and methods described above may be provided as one or more computer-readable programs or executable instructions embodied on or in one or more products. The product may be a floppy disk, a hard disk, a CD-ROM, a flash memory card, a PROM, a RAM, a ROM, or a magnetic tape. In general, the computer readable programs may be implemented in any programming language such as LISP, PERL, C, C ++, C #, PROLOG, or any bytecode language such as JAVA. The software programs or executable instructions may be stored in or on one or more products as object code.

Claims (10)

  1. Verfahren, das Folgendes umfasst: Empfangen einer Vielzahl von Strömen, von denen jeder ein Format aus einer Vielzahl von Formaten aufweist, wobei jedes von der Vielzahl von Formaten wenigstens eines von Video- oder Grafikdaten umfasst; für jeden von der Vielzahl von Strömen, Verarbeiten des Stroms durch: Bestimmen des Formats des Stroms; Bestimmen, ob das Format mit einem vorbestimmten Ausgabeformat kompatibel ist; und als Reaktion auf das Bestimmen, dass das Format mit dem vorbestimmten Ausgabeformat nicht kompatibel ist, Konvertieren des Formats in das vorbestimmte Ausgabeformat; und Kombinieren der verarbeiteten Ströme zu einem Ausgabestrom in dem vorbestimmten Ausgabeformat.A method comprising: Receiving a plurality of streams, each having a format of a plurality of formats, each of the plurality of formats comprising at least one of video or graphics data; for each of the plurality of streams, processing the stream by: Determining the format of the stream; Determining if the format is compatible with a predetermined output format; and in response to determining that the format is incompatible with the predetermined output format, converting the format to the predetermined output format; and Combining the processed streams into an output stream in the predetermined output format.
  2. Verfahren nach Anspruch 1, wobei das Konvertieren des Formats in das vorbestimmte Ausgabeformat das Abbilden des Farbraums und des Farbumfangs des Formats auf einen Farbraum und einen Farbumfang des vorbestimmten Ausgabeformats umfasst.Method according to Claim 1 wherein converting the format to the predetermined output format comprises mapping the color space and color gamut of the format to a color space and gamut of the predetermined output format.
  3. Verfahren nach Anspruch 2, wobei der Farbraum Rot, Grün und Blau als Grundfarben sowie den Weißpunkt definiert.Method according to Claim 2 , where the color space defines red, green and blue as the primary colors as well as the white point.
  4. Verfahren nach Anspruch 3, wobei es sich bei dem Weißpunkt um eine Weiß-Temperatur mit gleichen Anteilen der Grundfarben Rot, Grün und Blau handelt.Method according to Claim 3 , where the white point is a white temperature with equal proportions of the primary colors red, green and blue.
  5. Verfahren nach Anspruch 1, wobei das Konvertieren des Formats in das vorbestimmte Ausgabeformat das Ändern der Helligkeit des Formats in eine mit dem vorbestimmten Ausgabeformat verbundene Helligkeit umfasst. Method according to Claim 1 wherein converting the format to the predetermined output format comprises changing the brightness of the format to a brightness associated with the predetermined output format.
  6. Verfahren nach Anspruch 1, wobei die Vielzahl von Strömen wenigstens ein Format aufweist, das sich von dem vorbestimmten Ausgabeformat unterscheidet.Method according to Claim 1 wherein the plurality of streams has at least one format different from the predetermined output format.
  7. Verfahren nach Anspruch 1, wobei die Vielzahl von Formaten der Vielzahl von Strömen von dem vorbestimmten Ausgabeformat unabhängig ist.Method according to Claim 1 wherein the plurality of formats of the plurality of streams is independent of the predetermined output format.
  8. Video-Verarbeitungssystem, das Folgendes umfasst: einen Formatkonverter, der so konfiguriert ist, dass er jedes Format von einer mit einer Vielzahl von Strömen verbundenen Vielzahl von Formaten, die von dem Video-Verarbeitungssystem empfangen wurden, in ein vorbestimmtes Ausgabeformat konvertiert, wobei jeder von der Vielzahl von Strömen wenigstens eines von Video- oder Grafikdaten umfasst; einen Kombinierer, der so konfiguriert ist, dass er die Vielzahl von Strömen in dem vorbestimmten Ausgabeformat kombiniert.A video processing system comprising: a format converter configured to convert each format from a plurality of formats associated with a plurality of streams received from the video processing system to a predetermined output format, wherein each of the plurality of streams is at least one of video or graphic data; a combiner configured to combine the plurality of streams in the predetermined output format.
  9. System nach Anspruch 8, wobei der Formatkonverter so konfiguriert ist, dass er den Farbraum und den Farbumfang jedes Formats auf einen Farbraum und einen Farbumfang des vorbestimmten Ausgabeformats abbildet.System after Claim 8 wherein the format converter is configured to map the color space and gamut of each format to a color space and gamut of the predetermined output format.
  10. Ein oder mehrere computerlesbare Speichermedien mit darauf gespeicherten Anweisungen die, wenn sie von wenigstens einer Schaltung ausgeführt werden, bewirken, dass die wenigstens eine Schaltung Operationen durchführt, die Folgende umfassen: Empfangen einer Vielzahl von Strömen, von denen jeder ein Format aus einer Vielzahl von Formaten aufweist, wobei jedes von der Vielzahl von Formaten wenigstens eines von Video- oder Grafikdaten umfasst; für jeden von der Vielzahl von Strömen, Verarbeiten des Stroms durch: Bestimmen des Formats des Stroms; Bestimmen, ob das Format mit einem vorbestimmten Ausgabeformat kompatibel ist; und als Reaktion auf das Bestimmen, dass das Format mit dem vorbestimmten Ausgabeformat nicht kompatibel ist, Konvertieren des Formats in das vorbestimmte Ausgabeformat; und Kombinieren der verarbeiteten Ströme zu einem Ausgabestrom in dem vorbestimmten Ausgabeformat.One or more computer-readable storage media having instructions stored thereon, when executed by at least one circuit, cause the at least one circuit to perform operations including: Receiving a plurality of streams, each having a format of a plurality of formats, each of the plurality of formats comprising at least one of video or graphics data; for each of the plurality of streams, processing the stream by: Determining the format of the stream; Determining if the format is compatible with a predetermined output format; and in response to determining that the format is incompatible with the predetermined output format, converting the format to the predetermined output format; and Combining the processed streams into an output stream in the predetermined output format.
DE102018001838.6A 2017-09-08 2018-03-07 Systems and methods for combining video and graphics sources for the display Pending DE102018001838A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US201762556300P true 2017-09-08 2017-09-08
US62/556,300 2017-09-08
US15/793,791 US10573279B2 (en) 2017-09-08 2017-10-25 Systems and methods for combining video and graphic sources for display
US15/793,791 2017-10-25

Publications (1)

Publication Number Publication Date
DE102018001838A1 true DE102018001838A1 (en) 2019-03-14

Family

ID=65441863

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018001838.6A Pending DE102018001838A1 (en) 2017-09-08 2018-03-07 Systems and methods for combining video and graphics sources for the display

Country Status (1)

Country Link
DE (1) DE102018001838A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160080716A1 (en) * 2014-03-05 2016-03-17 Dolby Laboratories Licensing Corporation Graphics Blending for High Dynamic Range Video
US20160365065A1 (en) * 2015-06-12 2016-12-15 Broadcom Corporation System And Method To Provide High-Quality Blending Of Video And Graphics

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160080716A1 (en) * 2014-03-05 2016-03-17 Dolby Laboratories Licensing Corporation Graphics Blending for High Dynamic Range Video
US20160365065A1 (en) * 2015-06-12 2016-12-15 Broadcom Corporation System And Method To Provide High-Quality Blending Of Video And Graphics

Similar Documents

Publication Publication Date Title
US10419689B2 (en) Mapping between linear luminance values and luma codes
DE102017122391A1 (en) Low-resolution RGB rendering for efficient transmission
DE102014015352B4 (en) dynamic compression
US9202292B2 (en) Image processing apparatus having a plurality of image processing blocks that are capable of real-time processing of an image signal
EP3205082B1 (en) Saturation processing specification for dynamic range mappings
US8325198B2 (en) Color gamut mapping and brightness enhancement for mobile displays
DE102013113721A1 (en) A system, method, and computer program product that implement an image processing pipeline for high dynamic range images
DE69839277T2 (en) METHOD AND ARRANGEMENT FOR IMPLEMENTING COLOR KEYS, TRANSPARENCY AND FOG FUNCTIONS
DE10223751B4 (en) System and method for combining graphics formats in a digital video pipeline
JP4150710B2 (en) Method and apparatus for improving local brightness of video and computer-readable recording medium recording computer program
DE3313392C2 (en)
DE3447472C2 (en)
DE3600330C2 (en) Three-color cathode ray tube assembly
DE60012653T2 (en) Bit length extension through noise use in a digital display
DE3348093C2 (en)
DE60101013T2 (en) Color transformation process for mapping colors in images
DE69836540T2 (en) METHOD AND DEVICE FOR CARRYING OUT IMAGE IMPROVEMENTS
DE202017105882U1 (en) Fovealized two-way graphics pipeline
CN101778246B (en) Method and device for processing multipicture video image
DE60026258T2 (en) Image processing method and image processing apparatus
DE60009644T2 (en) Color conversion using local information
DE69633262T2 (en) Color conversion method and apparatus for producing color conversion tables
DE3486494T2 (en) Graphic pattern processing device
EP2624204B1 (en) Image processing apparatus and method of controlling the same
DE69633586T2 (en) Scan conversion device with improved vertical resolution and device for flicker reduction

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: BOSCH JEHLE PATENTANWALTSGESELLSCHAFT MBH, DE

R016 Response to examination communication
R016 Response to examination communication