CN112203124A - 显示装置及其控制方法 - Google Patents

显示装置及其控制方法 Download PDF

Info

Publication number
CN112203124A
CN112203124A CN202010080495.9A CN202010080495A CN112203124A CN 112203124 A CN112203124 A CN 112203124A CN 202010080495 A CN202010080495 A CN 202010080495A CN 112203124 A CN112203124 A CN 112203124A
Authority
CN
China
Prior art keywords
image
resolution
display
graphic
graphics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010080495.9A
Other languages
English (en)
Other versions
CN112203124B (zh
Inventor
林大成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112203124A publication Critical patent/CN112203124A/zh
Application granted granted Critical
Publication of CN112203124B publication Critical patent/CN112203124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

提供了一种显示装置及其控制方法。所述显示装置包括：显示器；以及处理器，被配置为控制显示器显示包括视频内容和多个图形对象的输出图像，其中，处理器被配置为：通过处理输入的视频内容获得视频图像，通过并行处理所述多个图形对象中的每个图形对象来获得包括所述多个图形对象中的每个图形对象的多个图形图像，并且通过将所述视频图像和所述多个图形图像进行混合来获得所述输出图像。

Description

显示装置及其控制方法
技术领域
与本公开一致的装置和方法涉及一种显示装置及其控制方法，更具体地，涉及一种用于提供高分辨率的图形图像的显示装置及其控制方法。
背景技术
随着电子技术的发展，已经开发并推广了各种类型的电子装置。特别地，近年来，在诸如住宅、办公室、公共场所等的各种场所中使用的显示装置已经得到持续发展。
近年来，对高分辨率图像服务的需求已大大增加。由于这种需求，显示装置的分辨率正在增加。然而，为了匹配图形处理单元(GPU)的当前性能，以比显示装置的分辨率更低的分辨率来处理图形图像，将图形图像的尺寸放大，并且将图形图像与视频内容混合。结果，存在发生图形图像的分辨率劣化和图像质量劣化的问题。
发明内容
本公开的实施例克服了以上缺点以及以上未描述的其他缺点。此外，不要求本公开克服上述缺点，并且本公开的实施例可以不克服上述任何问题。
根据本公开的实施例，一种显示装置包括：显示器；以及处理器，被配置为控制显示器显示包括视频内容和多个图形对象的输出图像，其中，处理器被配置为：通过处理输入的视频内容来获得视频图像，通过并行处理所述多个图形对象中的每个图形对象来获得包括所述多个图形对象中的每个图形对象的多个图形图像，并且通过将所获得的视频图像和所获得的多个图形图像进行混合来获得输出图像。
根据本公开的另一实施例，一种显示装置的控制方法包括：通过处理输入的视频内容来获得视频图像；通过并行处理多个图形对象中的每个图形对象来获得包括所述多个图形对象中的每个图形对象的多个图形图像；并且基于获得的视频图像和获得的多个图形图像，显示包括所述视频内容和所述多个图形对象的输出图像。
根据本公开的另一实施例，提供了一种用于存储计算机指令的非暂时性计算机可读介质，所述计算机指令在由显示装置的处理器执行时使显示装置执行操作，其中，所述操作包括：通过处理输入视频内容来获得视频图像，通过并行处理多个图形对象中的每个图形对象来获得包括所述多个图形对象中的每个图形对象的多个图形图像；并且基于所述视频图像和所述多个图形图像，显示包括所获得的视频内容和所获得的多个图形对象的输出图像。
附图说明
通过参照附图描述本公开的特定实施例，本公开的以上和/或其他方面将变得更加显而易见，其中：
图1A和图1B是示出根据本公开的实施例的显示装置的实施方式的示图。
图2A和图2B是示出根据本公开的实施例的显示装置的配置的框图。
图3A和图3B是示出根据本公开的各种实施例的处理器的实施方式的示图。
图4是示出根据本公开的另一实施例的处理器的实施方式的示图。
图5A和图5B是示出根据本公开的各种实施例的处理顺序的示图。
图6A、图6B、图6C和图6D是示出根据本公开的各种实施例的处理顺序的示图。
图7是示出根据本公开的另一实施例的显示装置的一种实施方式的示图。
图8是示出根据本公开的实施例的显示装置的控制方法的流程图。
具体实施方式
本公开提供了一种用于提供与高分辨率视频内容一起以高分辨率显示的图形图像的显示装置及其控制方法。
在下文中，将参照附图详细描述本公开。
在简要描述说明书中使用的术语之后，将详细描述本公开。
考虑到本公开中的功能，选择当前广泛使用的通用术语作为本公开的实施例中使用的术语，但是这些术语可根据本领域技术人员的意图或司法判例、新技术的出现等被改变。另外，在特定情况下，可能存在申请人任意选择的术语。在这种情况下，这些术语的含义将在本公开的相应描述部分中被详细提及。因此，本公开中使用的术语应基于本公开中的术语的含义和内容而不是术语的简单名称来被定义。
术语“第一”、“第二”等可用于描述各种组件，但是这些组件不应受这些术语的限制。这些术语仅用于区分一个组件和另一组件。
除非上下文另外明确指出，否则单数形式旨在包括复数形式。应当进一步理解，本申请中使用的术语“包括”或“组成”是指存在说明书中提到的特征、数字、步骤、操作、组件、部件或其组合，但不排除存在或添加一个或更多个其他特征、数字、步骤、操作、组件、部件或其组合。
表述“A或B中的至少一个”应被理解为表示“A”或“B”或“A和B”中的任何一个。
在本公开中，“模块”或“～器”可执行至少一个功能或操作，并且可由硬件或软件来实现，或者可由硬件和软件的组合来实现。另外，多个“模块”或多个“～器”可被集成在至少一个模块中，并且除了可被实现为需要由特定硬件实现的“模块”或“～器”之外，还可被实现为至少一个处理器(未示出)。
在下文中，将参照附图详细描述本公开的实施例，使得本公开所属领域的技术人员可容易地实践本公开。然而，本公开可以以各种不同的形式来实现，并且不限于在此描述的实施例。另外，在附图中，将省略与描述无关的部分以明显地描述本公开，并且在整个说明书中，相似的部分将由相似的附图标号表示。
图1A和图1B是示出根据本公开的实施例的显示装置的实施方式的示图。
显示装置100可被实现为电视(TV)，但不限于此，并且可不受限制地被应用，只要其具有诸如视频墙、大型显示器(LFD)、数字标牌、数字信息显示器(DID)、投影仪显示器等的显示功能即可。
显示装置100可接收各种压缩图像和/或各种分辨率的图像。例如，显示装置100可接收以运动画面专家组(MPEG)(例如，MP2、MP4、MP7等)、联合图像编码专家组(JPEG)、高级视频编码(AVC)、H.264、H.265、高效视频编解码器(HEVC)等压缩的形式的图像。可选地，显示装置100可接收标准清晰度(SD)图像、高清晰度(HD)图像、全HD图像、和超HD图像中的任何一个。
另外，显示装置100可基于接收到的图像的特性来执行各种图像处理。这里，图像可以是数字图像。数字图像是指通过采样、量化和编码的处理对模拟图像进行变换而获得的图像。可通过使用坐标或矩阵位置以二维形式布置每个像素来表征数字图像。图像处理可以是数字图像处理，所述数字图像处理包括图像增强、图像恢复、图像变换、图像分析、图像理解或图像压缩中的至少一种。
根据一个示例，显示装置100可以以如图1A所示的视频墙的形式实现。例如，可以以物理方式连接多个显示模块的形式来实现视频墙。这里，每个显示模块可包括自发光元件，所述自发光元件包括发光二极管(LED)、微型LED、或迷你LED中的至少一个。例如，显示模块可被实现为LED模块，在所述LED模块中多个像素中的每个像素被实现为LED像素，或者显示模块可被实现为被连接有多个LED模块的LED柜，但不限于此。
在这种情况下，可根据构成显示装置100的多个显示模块的数量来改变显示装置100的分辨率。作为示例，在每个显示模块具有1K的分辨率的情况下，当以8×8的形式连接显示模块时，可实现具有8K的分辨率的高分辨率显示器。然而，显示器不限于此，并且可通过根据用户的要求组装显示模块来支持各种分辨率或宽高比(诸如7×7、6×6和8×4)。在这种情况下，一个显示模块可具有诸如960×540(1K)、480×270(0.5K)、640×480等的各种尺寸。例如，视频墙是一种结构，在所述结构中多个显示模块被组合以形成诸如各种尺寸的墙的大型显示器，并且可被实现为边框最小化或不存在以使在模块之间连接的点处的不连续性最小化。
根据实施例，仅视频墙的整个区域的一部分可被用于播放视频内容，并且背景图像可被提供给其余区域。作为示例，可基于用户选择命令、图像内容的类型等来改变用于播放内容的区域的位置和/或尺寸。例如，显示装置100可通过使用传感器来检测用户的位置、观看距离等以将视频内容提供到适当位置处的适当尺寸的区域。
在显示装置100被实现为视频墙的情况下，显示装置100可输出包括视频区域11和背景区域12的内容10，其中，视频区域11包括视频内容，背景区域12包括背景图像。然而，在作为背景图像提供的图形图像具有高分辨率(例如，8K)的情况下，存在GPU的当前性能难以维持和输出高分辨率的问题，并且在这种情况下，存在背景区域的分辨率降低和/或图像质量降低的问题。
因此，在下文中，将描述可处理高分辨率背景图像而不会损失分辨率并且提供高分辨率背景图像的各种实施例。
图2A和图2B是示出根据本公开的实施例的显示装置的配置的框图。
参照图2A，显示装置100包括显示器110和处理器120。
显示器110可被实现为包括自发光元件的显示器，以及包括非发光元件和背光的显示器。例如，显示器110可被实现为诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器、发光二极管(LED)、微型LED、迷你LED、等离子显示面板(PDP)、量子点(QD)显示器、量子点发光二极管(QLED)等的各种形式的显示器。显示器110还可包括可以以a-si薄膜晶体管(TFT)、低温多晶硅(LTPS)TFT和有机TFT(OTFT)的形式实现的驱动电路、背光单元等。同时，显示器110可被实现为与触摸传感器结合的触摸屏、柔性显示器、可弯曲显示器、三维(3D)显示器、多个显示模块物理地彼此连接的显示器等。
处理器120控制显示装置100的全部操作。
根据实施例，处理器120可被实现为用于处理数字图像信号的数字信号处理器(DSP)、微处理器、图形处理单元(GPU)、人工智能(AI)处理器、或时间控制器(TCON)。然而，处理器120不限于此，而是可以包括中央处理器(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用主处理器(AP)、通信处理器(CP)、和ARM处理器中的一个或更多个，或者可被定义为相应术语。另外，处理器120还可被实现为嵌入了处理算法的片上系统(SoC)或大规模集成电路(LSI)，并且还可以以现场可编程门阵列(FPGA)的形式被实现。
处理器120对输入图像执行图像处理以获得输出图像。这里，输入图像和输出图像可以是具有标准清晰度(SD)、高清晰度(HD)、全HD、超高清(UHD)、或8K(7680×4320)UHD或更高分辨率(例如，16K、32K)的图像，但不限于此。
处理器120可控制显示器110显示包括视频图像和多个图形对象的输出图像。
为此，处理器120可处理输入的视频内容(或视频信号)以获得视频内容被包括在一个区域中的视频图像。具体地，处理器120可实时处理实时输入的视频内容(或视频信号)以获得视频内容被包括在一个区域中的视频图像。例如，假设输出图像是8K图像，则可获得8K尺寸的视频图像，在8K尺寸的视频图像中，视频内容被包括在一个区域中并且其余区域具有预定像素值。这里，预定像素值可以是例如0，但不限于此。例如，还可获得视频内容被包括在一个区域中并且其余区域不具有预定像素值的8K尺寸的视频图像。
另外，处理器120可并行地处理多个图形对象中的每个图形对象以获得包括多个图形对象中的每个图形对象的多个图形图像。例如，处理器120可并行渲染多个图形对象中的每个图形对象或者并行解码压缩图像中包括的多个图形对象中的每个图形对象以获得多个图形图像。
在这种情况下，处理器120可通过基于与多个图形图像中的至少一个图形图像对应的alpha值，将视频图像和多个图形图像进行alpha混合来获得输出图像。这里，alpha混合是指通过在将另一图像重叠在图像上时将新值A(Alpha)分配给颜色值RGB以产生透明效果来显示背景RGB值和其上的RGB值的混合的方法。例如，alpha值分为0到255的值或0.0到1.0的值。0可表示完全透明，而与其相反的255(或最大值，诸如1.0)可表示完全不透明。可选地，0可表示完全不透明，而与其相反的255(或最大值，诸如1.0)可表示完全透明。例如，在可通过将8比特分配给alpha值来表示从0到255的值的情况下，对应值越大，对应像素的比例越高，对应值越低，对应像素的比例越低。根据一个示例，在视频V和图形G被混合的情况下，混合操作可由诸如V×Alpha+G×(1-Alpha)或V×(1-Alpha)+G×Alpha或V×Alpha+G的数学表达式表示。
根据实施例，输出图像可以是视频内容被包括在某个区域(以下称为第一区域)中并且至少一个图形对象被包括在其余区域(以下称为第二区域)中的图像。例如，假设输出图像是8K的图像，如图1B所示，输出图像可以是视频内容在8K图像的某个区域中被播放并且背景图像被包括在其余区域中的图像。
根据一个示例，第一区域和第二区域中的每个可包括具有第一分辨率的图形对象。这里，第一分辨率可以是与输出图像的分辨率相同的分辨率(或与显示器110的分辨率相同的分辨率)，但不限于此。例如，在输出图像是8K图像的情况下，第一分辨率可以是8K分辨率。在这种情况下，处理器120可通过基于与第一图形图像或第二图形图像中的至少一个对应的alpha值对包括第一图形对象的第一图形图像、包括第二图形对象的第二图形图像、以及视频图像进行alpha混合来获得输出图像。
根据另一示例，具有第一分辨率的图形对象可被包括在第二区域中，并且具有第二分辨率的图形对象可被包括在第一区域或第二区域中的至少一个中。这里，第二分辨率可以是小于第一分辨率的分辨率。
在这种情况下，处理器120可通过放大包括具有第二分辨率的图形对象的图像(以下称为具有第二分辨率的图形图像)和与具有第二分辨率的图形图像对应的alpha值，并且基于放大后的alpha值，对包括具有第一分辨率的图形对象的图像(称为具有第一分辨率的图形图像)、视频图像、和放大后的图形图像进行alpha混合，来获得输出图像。
如图2B所示，显示装置100'还可包括存储器130。
存储器130可存储本公开的各种实施例所必需的数据。取决于数据存储目的，存储器130可以以嵌入在显示装置100′中的存储器的形式实现，或者也可以以可连接到显示装置100＇和可从显示装置100＇拆卸的存储器的形式实现。例如，用于驱动显示装置100＇的数据可被存储在嵌入在显示装置100′中的存储器中，并且用于显示装置100′的扩展功能的数据可被存储在可连接到显示装置100′和从显示装置100′拆卸的存储器中。同时，嵌入在显示装置100中的构件可被实现为易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)或非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪速ROM、闪存(例如，NAND闪存、NOR闪存等)、硬盘驱动器、或固态驱动器(SSD))中的至少一个。另外，可连接到显示装置100′和可从显示装置100′拆卸的存储器可以以诸如存储卡(例如，紧凑型闪存(CF)、安全数字(SD)、微安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极限数字(xD)、多媒体卡(MMC)等)、可连接到USB端口的外部存储器(例如，USB存储器)等的形式实现。
根据实施例，存储器130可存储从外部装置(例如，源装置)、外部存储介质(例如，USB)、外部服务器(例如，网络硬盘)等接收的图像。这里，图像可以是数字视频，但不限于此。
根据实施例，处理器120可将具有第一分辨率的图形图像写入存储器130，读取图形图像，并将图形图像与视频图像混合。在这种情况下，处理器120可以以低于显示器110的输出频率(或帧率)的频率，将具有第一分辨率的图形图像写入存储器130，读取具有第一分辨率的图形图像，将具有第一分辨率的图形图像与视频图像混合，然后输出混合后的图像。例如，处理器120可以以与显示器110的输出频率(即，视频图像的输出频率)相同的输出频率从存储器130读取具有第一分辨率的图形图像。因此，可将具有第一分辨率的视频图像和图形图像混合并以相同的输出频率输出。
例如，在显示器110是利用7680×4320像素实现的具有8K分辨率的显示器并且处理器120以60Hz将具有8K分辨率的视频图像输出至显示器110的情况下，即使GPU的性能较低，以较低的频率渲染也可渲染具有8K分辨率的图形图像。例如，处理器120可以以15Hz渲染具有8K分辨率的图形图像，并将图形图像写入存储器。随后，处理器120可以以显示器110的输出频率(即，60Hz)重复读取并输出存储在存储器130中的具有8K分辨率的图形图像。即，在8K分辨率的图形图像是在预定时间内不变或几乎没有运动的图像的情况下，处理器120可以以8K分辨率将图像存储在存储器130中，然后重复读取并输出所存储的图像以与显示器110的输出频率同步。因此，即使在处理器120的GPU的性能略低的情况下，也可维持高分辨率图形图像的分辨率。
根据一个示例，处理器120可使用alpha混合来将具有第一分辨率的图形图像和视频图像混合。
例如，假定在第二区域中提供的背景图像是具有8K分辨率的图形图像(以下称为8K图形图像)。在这种情况下，处理器120可基于视频内容被包括在一个区域中的8K视频图像、8K图形图像、与8K图形图像对应的alpha混合图像(或alpha图)来获得包括视频内容和图形图像的输出图像。
这里，alpha混合图像可以是与第一区域的像素位置对应的alpha值小于阈值以及与第二区域的像素位置对应的alpha值大于阈值的图(例如，8K尺寸图)。例如，在与第一区域对应的alpha值为0并且与背景区域对应的alpha值为255的情况下，通过alpha混合，8K图形图像的透明度在第一区域较大，而8K图形图像的透明度在第二区域减小。因此，可获得视频图像被包括在第一区域中并且8K图形图像被包括在第二区域中的内容。
根据另一示例，处理器120可基于关于第一区域的位置信息来混合8K图形图像和视频图像。例如，处理器120可在处理视频图像时获得第一区域的像素坐标信息。因此，处理器120可通过基于获得的像素坐标信息，将缩放的视频内容提供给对应区域并且将8K图形图像提供给其余区域，以将8K图形图像和视频图像彼此混合。
另一方面，根据另一实施例，处理器120还可通过将具有第一分辨率的图形图像、具有小于第一分辨率的第二分辨率的图形图像、和具有第一分辨率的视频图像混合来获得输出图像。在这种情况下，处理器120可将具有第二分辨率的图形图像放大到第一分辨率，从存储器130读取具有第一分辨率的图形图像，并将具有第一分辨率的图形图像与视频图像和放大后的图形图像混合。这里，放大后的图形图像可被混合到视频图像区域或背景图像区域中的至少一个中。例如，处理器120可将具有2K或4K分辨率的图形图像放大到8K分辨率，并且将放大后的图形图像与8K图形图像和8K视频图像混合。
例如，处理器120可渲染具有2K或4K分辨率的图形图像并将经过渲染的图形图像写入存储器130，并且可将存储在存储器130中的2K或4K分辨率的图形图像放大到8K尺寸。在这种情况下，处理器120可以以与显示器110的输出频率相同的频率来渲染2K或4K分辨率的图形图像。这里，如上所述，假设处理器120的GPU的性能不足以以与显示器110的输出频率相同的频率渲染8K分辨率，但是足以以与显示器110的输出频率相同的频率渲染具有2K或4K分辨率的图形图像。
例如，在处理器120以60Hz将视频图像输出到显示器110的情况下，处理器120可以以60Hz渲染具有2K或4K分辨率的图形图像，并且以15Hz渲染具有8K分辨率的图形图像以被写入存储器130。随后，处理器120可放大以60Hz渲染并存储在存储器130中的具有2K或4K分辨率的图形图像的尺寸，并且以60Hz重复读取并输出具有8K分辨率的图形图像。
在这种情况下，处理器120可将放大后的图形图像与视频图像混合，然后将混合后的图像与8K图形图像混合。可选地，处理器120可将放大后的图形图像与8K图形图像混合，然后将混合后的图像与视频图像混合。可选地，处理器120可将8K图形图像与视频图像混合，然后将混合后的图像与放大后的图形图像混合。
这里，alpha混合可用于各个图像之间的混合。然而，本公开不限于此，并且可使用每个图像中包括的区域的位置信息(或坐标信息)来混合每个图像。
在处理器120使用alpha混合来混合各个图像的情况下，处理器120可将与2K或4K分辨率的图形图像对应的alpha值放大到8K尺寸，然后使用放大后的alpha值执行混合。例如，alpha值的缩放可使用多相缩放(或多相插值)、三线性缩放(或三线性插值)、线性缩放(或线性插值)、或双线性缩放(或双线性插值)中的至少一个缩放技术(或插值技术)。例如，在基于4K尺寸的alpha图生成8k尺寸的alpha图的情况下，需要对与要添加的像素值对应的alpha值进行插值，并且可通过使用各种现有的插值技术来生成8K尺寸的alpha图。
根据一种实施方式，处理器120可包括图形处理单元(GPU)，所述GPU以低于显示器110的输出频率的频率渲染具有第一分辨率的图形图像，并将经过渲染的图形图像存储在存储器130中，并且以显示器110的输出频率渲染具有第二分辨率的图形图像。
作为示例，处理器120可包括：GPU，被配置为处理具有第二分辨率的图形图像；第一混合器，被配置为将由GPU处理的具有第二分辨率的图形图像与视频图像进行第一混合；解码器，被配置为对具有第一分辨率的图形图像进行解码，并将解码后的图形图像写入存储器130；以及第二混合器，被配置为读取被写入存储器130的具有第一分辨率的图形图像，并将读取出的图形图像与经过第一混合的图像(即，第一混合器的输出)进行第二混合。在这种情况下，处理器120还可包括：视频处理器，被配置为处理视频图像或经过第一混合的图像。
作为另一示例，处理器120可包括：解码器，被配置为处理具有第一分辨率的图形图像并将经过处理的图形图像写入存储器130；第一混合器，被配置为读取被写入存储器130的具有第一分辨率的图形图像，并且将读取出的图形图像与视频图像进行第一混合；GPU，被配置为处理具有第二分辨率的图形图像；以及第二混合器，被配置为将由GPU处理的具有第二分辨率的图形图像与经过第一混合的图像(即，第一混合器的输出)进行第二混合。在这种情况下，处理器120还可包括：视频处理器，被配置为处理视频图像或经过第一混合的图像。
图3A和图3B是示出根据本公开的各种实施例的处理器的实施方式的示图。
参照图3A，处理器120可包括视频处理器121、GPU 122、解码器125、第一缩放器123、第一混合器124、第二缩放器126和第二混合器127。这里，每个组件可由至少一个软件、至少一个硬件或其组合来实现。
根据示例，可在单一芯片中实现与每个组件对应的软件或硬件逻辑。例如，视频处理器121可被实现为数字信号处理器(DSP)，并且可在具有图形处理单元(GPU)(或视觉处理单元(VPU))和其他组件的单一芯片中被实现。然而，本公开不限于此，与组件中的一些组件对应的软件或硬件逻辑可在单一芯片中被实现，并且与其余组件对应的软件或硬件逻辑可在另一芯片中被实现。
图3A是示出根据本公开的实施例的高分辨率压缩图像被解码器125解码并且被用作背景图像的情况的示图。
视频处理器121可对输入的视频内容执行各种图像质量处理。这里，各种图像质量处理可包括噪声滤波、纹理处理、边缘处理、缩放等。
根据实施例，视频处理器121可输出具有等于或大于阈值分辨率的第一分辨率(例如，8K)的视频图像31。这里，视频图像31可以是视频内容被包括在一个区域中并且其余区域具有预定像素值(例如，0)的图像。
GPU 122可执行图形处理功能。例如，GPU 122可通过使用计算器(未示出)和渲染器(未示出)来生成包括各种对象(诸如图标、图像、文本等)的图形图像。这里，计算器(未示出)可基于接收到的控制命令，根据屏幕的布局，计算每个对象将被显示的属性值(诸如坐标值、形状、尺寸和颜色)。另外，渲染器(未示出)可基于由计算器(未示出)计算出的属性值来渲染包括对象的各种布局的图形图像。
根据实施例，GPU 122可在与视频信号相同的输出频率或在临界误差范围内与视频信号相似的输出频率下渲染具有小于临界分辨率的第二分辨率(例如，2K、4K)的图形图像。具体地，GPU 122可渲染具有小于临界分辨率的第二分辨率的图形图像，并且将经过渲染后的图形图像写入第一存储器131。例如，GPU 122可渲染包括在背景区域中提供的图形“News”和“灯”以及在视频区域中提供的图形“Ch 11”的2K图形图像32，并将经过渲染的图形图像写入第一存储器131。这里，图形图像32可以是具有第二分辨率的图像，其中，在该图像中，除图形(“News”、“灯”和“Ch 11”)之外的区域具有预定像素值(例如，0)。
另外，GPU 122可生成与经过渲染的图形图像对应的alpha值。例如，GPU 122可生成与在背景区域中提供的每个图形“News”和“灯”以及在视频区域中提供的图形“Ch 11”对应的alpha图，并将所生成的alpha图存储在第一存储器131或另一存储器中。这里，alpha图可以是与图形(“News”、“灯”和“Ch 11”)对应的像素区域具有较小的alpha值并且其余区域具有较大的alpha值，同时具有第二分辨率尺寸的图。
在某些情况下，GPU 122还可执行对图像进行解码的功能。例如，GPU 122可使用译码逻辑(coding logic)来对各种格式的压缩图像进行解码。然而，也可通过除GPU 122之外的CPU(未示出)或解码器125的操作来执行解码。
第一缩放器123可以是对被渲染到GPU 122的图形图像进行缩放的软件或硬件。根据示例，第一缩放器124可将具有第二分辨率(例如，2K、4K)的图形图像放大至第一分辨率(例如8K)。例如，第一缩放器123可将包括被写入第一存储器131中的图形(“News”、“灯”和“Ch 11”)的4K图形图像32放大为8K图形图像(未示出)。
另外，第一缩放器123可对与在GPU 122上渲染的图形图像对应的alpha值进行缩放，以与放大后的图形图像对应。例如，第一缩放器123可将由GPU 122生成的2K尺寸的alpha图放大为8K尺寸的alpha图。在某些情况下，alpha值的缩放还可由与第一缩放器123分开的缩放器来执行。
第一混合器124可以是将由第一缩放器124缩放的图形图像与由视频处理器121处理的视频图像混合的软件或硬件。具体地，第一混合器124可基于由第一缩放器123缩放的alpha值，将由第一缩放器123缩放的图形图像和由视频处理器121处理的视频图像进行混合。这里，如上所述，可以根据多相缩放、三线性缩放、线性缩放或双线性缩放中的至少一个来执行alpha值的缩放。例如，在经过缩放的alpha图中，在与图形(“News”、“灯”和“Ch 11”)对应的alpha值为255，并且其余区域的alpha值为0的情况下，图形区域的透明度较低，并且其余区域的透明度较高，使得可为图形区域提供图形(“News”、“灯”和“Ch 11”)，并且可为其余区域提供将被混合的其他内容(例如，稍后描述具有第一分辨率的图形图像或视频图像)。
解码器125可以是对图像进行解码的软件或硬件。这里，将被解码的图像可以是视频图像和图形图像中的至少一个。
根据实施例，当具有第一分辨率(例如，8K)的图形图像是压缩图像时，解码器125可对图形图像进行解码，并将解码后的图形图像写入第二存储器132。这里，压缩图像可以是诸如JPG、JPEG、......等的各种类型的压缩图像。然而，当图形图像不是压缩图像时，也可绕过解码器125。在某些情况下，GPU 122或CPU(未示出)也可用于对各种格式的压缩图像进行解码。例如，如图3A所示，可由解码器135对包括放置有相框、花瓶等的架子图像的8K分辨率背景图像34进行解码，并将其写入第二存储器132。
第二缩放器126可以是对与由GPU 122渲染的具有第二分辨率的图形图像对应的alpha值进行缩放的软件或硬件。例如，需要alpha混合处理在由解码器125解码的背景图像和/或视频图像上提供由GPU 122渲染的具有第二分辨率的图形图像。然而，由GPU 122生成的alpha值与放大前的图形图像的分辨率(即第一分辨率(例如，2K或4K))对应，因此，为了获得与放大后的图形图像的分辨率(即第二分辨率(例如，8K))对应的alpha值，必须对alpha值进行缩放。
第二混合器127可以是将第一混合器125的输出与背景图像混合的软件或硬件。具体地，第二混合器127可读取被写入第二存储器132的具有第二分辨率的图形图像，并且将读取出的图形图像与第一混合器125的输出图像混合。这里，第一混合器125的输出图像可以是由第一缩放器124放大的图形图像和由视频处理器121处理的视频图像彼此混合的图像。在这种情况下，第二混合器127可通过使用由第二缩放器126放大的alpha值来将第一混合器125的输出图像与写入第二存储器132的背景图像34彼此混合。
例如，第二混合器127可基于从视频处理器121传送的视频帧的输出频率，将信宿信息(sink information)传送到布置在第二混合器127和第二存储器132之间的特定逻辑，并通过相应的逻辑接收从第二存储器132读取的背景图像34。
第二混合器127可基于与第一混合器124的输出图像33对应的alpha图来将第一混合器124的输出图像33与背景图像34混合。因此，如图3A所示，第二混合器127的输出可以是图像35，所述图像35包括由GPU 122渲染的图形信息和背景图像34。
同时，与图3A不同，在第一混合器125的输出是不包括图形图像并且在一些区域中仅包括视频帧的视频图像的情况下，还可能基于视频区域的位置信息将视频帧混合到背景图像的相应区域。然而，即使在这种情况下，也可使用alpha值来混合视频内容。
图3B是示出根据本公开的另一实施例的高分辨率图形图像被GPU 122渲染并被用作背景图像的情况的示图。
参照图3B，处理器120可包括视频处理器121、GPU 122、第一缩放器123、第一混合器124、第二缩放器126和第二混合器127。尽管为了便于描述在图3B中省略了解码器125，但是对于其他解码操作(诸如视频内容的解码)，可能需要解码器125。在图3B中，将仅描述与图3A所示的操作不同的操作。
GPU 122还可渲染具有等于或大于临界分辨率的第一分辨率(例如，8K)的图形图像。GPU 122可以以低于视频信号的输出频率(或帧率)的输出频率来渲染具有第一分辨率的图形图像，并将经过渲染的图形图像写入第二存储器132。在GPU 122的性能可以以等于或类似于视频信号的输出频率的输出频率渲染具有第二分辨率(例如2K或4K)的图形图像的情况下，当GPU 122渲染具有等于或大于临界分辨率的第一分辨率(例如，8K)的图形图像时，GPU 122的输出频率与所渲染的图形图像成比例地降低。例如，为了使具有能够以60Hz输出4K图形图像的性能的GPU渲染8K图形图像，需要将输出频率降低到15Hz以实现上述操作。
因此，在由GPU 122渲染的具有第一分辨率的图形图像以低输出频率被渲染并存储在第二存储器132中的情况下，通过重复读取并输出所存储的图形图像，输出频率可与视频信号的输出频率匹配或相似。例如，在背景图像中，相同图像保留预定时间或更长时间的背景图像可以以低于视频信号的输出频率的输出频率被渲染，并被写入第二存储器132，然后以等于或类似于视频信号输出频率的输出频率被重复读取并输出。例如，如图3B所示，GPU 122可对包括放置有相框、花瓶等的架子图像的8K分辨率背景图像36进行渲染，并将经过渲染的背景图像36存储在第二存储器132中。
第二缩放器126可放大与由GPU 122渲染的具有第二分辨率的图形图像对应的alpha值。例如，可将2K尺寸的alpha图放大到8K尺寸的alpha图。
在这种情况下，第二混合器127可通过使用由第二缩放器126放大的alpha图来将第一混合器124的输出图像与写入第二存储器132的背景图像彼此混合。
尽管在附图中未示出，但是处理器120还可包括帧率转换器。帧率转换器可以是改变视频图像的输出频率的软件或硬件。例如，帧率转换器可被布置在第一混合器124的后级，以将从第一混合器124输出的视频图像的输出频率从60Hz改变为120Hz。在这种情况下，第二混合器127可基于从帧率转换器传送的改变后的视频帧的输出频率来接收从第二存储器132读取出的图形图像。
尽管图3A示出了具有第一分辨率的压缩照片图像被解码并被用作背景图像的实施例，而图3B示出了由GPU 122渲染的具有第一分辨率的图形图像被用作背景图像的实施例，但由解码器125解码的照片图像和由GPU 122渲染的图形图像可一起被用作背景图像。在这种情况下，GPU 122还可生成与经过渲染的图形图像对应的alpha值。
在上述实施例中，第一存储器131至第三存储器133可以以适于执行相应操作的大小来实现。例如，第二存储器132可以以适于存储经过渲染或经过解码的具有第一分辨率的图形图像的大小来实现。
另外，尽管已经将第一存储器131至第三存储器133描述为单独的硬件组件，但是根据另一实施例，可在一个存储器中以不同的地址区域来实现第一存储器131至第三存储器133。这样，为了存储器的带宽效率，可使用单独的存储器或一个存储器中的其他区域来执行处理。然而，根据另一实施例，为了存储器的容量和带宽效率，还可使用压缩方法来存储数据。例如，当数据以1/2被压缩并存储时，存储容量减小并且用于操作的带宽减小。
另外，在上述实施例中，第一混合器124和第二混合器127被描述为单独的混合器，但是可被实现为一个混合器。
图4是示出根据本公开的另一实施例的处理器的操作的示图。
与图3A和图3B所示的实施例不同，图4示出了输出图像不包括具有第二分辨率的图形图像，而仅包括具有第一分辨率的图形图像作为背景图像的情况。即，在某些情况下，GPU 122可不对具有第二分辨率的图形图像进行渲染，而可仅对具有第一分辨率的图形图像进行渲染。可选地，在不对具有第二分辨率的图形图像进行渲染并且仅包括由GPU 122或解码器(未示出)解码的具有第一分辨率的图形图像作为背景图像的情况下，可执行类似的操作。
图4所示的实施例是从在图3A和图3B所示的实施例中省略与第二图形图像有关的组成部分的实施例，并且因此可不包括如图所示的与第二图形图像有关的组成部分。
具体地，GPU 122可对具有第一分辨率的图形图像进行渲染(对具有第一分辨率的图形图像进行解码)，并且将经过渲染的(或经过解码的)图形图像写入第二存储器132，并且可生成与具有第一分辨率的图形图像对应的alpha值，并将所生成的alpha值存储在第三存储器133中。在这种情况下，第二混合器127可基于存储在第三存储器133中的alpha值，将由视频处理器121处理的视频图像与从第二存储器132读取出的具有第一分辨率的图形图像彼此混合。
图5A和图5B是示出根据本公开的各种实施例的处理顺序的示图。
图5A示出了一个实施例，如图3A(或图3B)所述，在该实施例中，首先处理低分辨率图形图像(例如，2K图形图像)，处理高分辨率背景图像(例如，8K背景图像)，然后将这两个经过处理的图像进行混合。
图5B示出了一个实施例，与在图3A(或图3B)中不同，在该实施例中，首先处理高分辨率背景图像(例如，8K背景图像)，处理低分辨率图形图像(例如，2K图形图像)，然后将这两个经过处理的图像进行混合。
图6A至图6D是示出根据本公开的各种实施例的处理顺序的示图。
根据图6A所示的实施例，在对视频图像进行图像质量处理(611)之后，可将低分辨率图形图像与经过图像质量处理的视频图像进行混合(612)。随后，可将高分辨率背景图像与混合后的图像混合(613)。这里，低分辨率和高分辨率可具有相对含义。例如，低分辨率图形图像可以是2K或4K图形图像，而高分辨率背景图像可以是8K图形图像。
根据图6B所示的另一实施例，在对视频图像执行图像质量处理(621)之后，可将高分辨率背景图像与经过图像质量处理的视频图像混合(622)。随后，可将低分辨率图形图像与混合后的图像混合(623)。
根据图6C所示的又一实施例，在将低分辨率图形图像与视频图像混合(631)之后，对混合后的图像进行图像质量处理(632)。随后，可将高分辨率背景图像与经过图像质量处理的图像混合(633)。
根据图6D所示的又一实施例，在将高分辨率图形图像与视频图像混合(641)之后，对混合后的图像进行图像质量处理(642)。随后，可将低分辨率图形图像与经过图像质量处理的图像混合(643)。
图7是示出根据本公开的另一实施例的显示装置的一种实施方式的示图。
参照图7，显示装置100″包括显示器110、处理器120、存储器130、输入器140、输出器150、和用户接口160。将省略对图7所示的组件中的与图2所示的组件重叠的组件的详细描述。
根据本公开的实施例，存储器130可被实现为存储在根据本公开的各种操作中生成的数据的单一存储器。然而，根据本公开的另一实施例，存储器130也可被实现为包括多个存储器。
存储器130可存储通过输入器140输入的图像、图像处理所需的各种图像信息(例如，用于纹理处理的纹理信息和用于边缘处理的边缘信息等)的至少一部分。另外，存储器130还可存储将通过显示器110输出的最终输出图像。
输入器140接收各种类型的内容。例如，输入器140可通过诸如基于AP的Wi-Fi(Wi-Fi、无线局域网网络)、蓝牙、Zigbee、有线/无线局域网(WAN)、广域网(WAN)、以太网、第五代(5G)、IEEE 1394、高清晰度多媒体接口(HDMI)、通用串行总线(USB)、移动高清链接(MHL)、音频工程协会/欧洲广播联盟(AES/EBU)、光缆、同轴电缆等通信方式以流传输或下载方式从外部装置(例如，源装置)、外部存储介质(例如，USB存储器)、外部服务器(例如，网络硬盘)等接收图像信号。这里，图像信号可以是标准清晰度(SD)图像、高清晰度(HD)图像、全HD图像、和超HD图像中的任何一种的数字图像信号，但不限于此。
输出器150输出声音信号。例如，输出器150可将由处理器120处理的数字声音信号转换为模拟声音信号，并且放大并输出该模拟声音信号。例如，输出器150可包括可输出至少一个声道的至少一个扬声器单元、D/A转换器、音频放大器等。根据示例，输出器150可被实现为输出各种多声道声音信号。在这种情况下，处理器120可控制输出器150对输入的声音信号执行并输出增强处理，以与输入图像的增强处理对应。例如，处理器120可将输入的双声道声音信号转换成虚拟多声道(例如，5.1声道)声音信号，或识别显示装置100″的放置位置并使用针对空间进行了优化的立体声信号处理识别的位置，或根据输入图像的类型(例如，内容类型)提供优化的声音信号。
用户接口160可被实现为诸如按钮、触摸板、鼠标或键盘等的装置，或者可被实现为还可执行上述显示功能和操纵/输入功能的触摸屏、遥控器收发器等。遥控器收发器可通过红外通信、蓝牙通信、或Wi-Fi通信中的至少一种通信方案来从外部遥控器接收遥控器信号，或发送遥控器信号。
根据实施方式，显示装置100″还可包括调谐器和解调器。调谐器(未示出)可通过调谐用户选择的信道或通过天线接收到的RF广播信号中先前存储的所有信道来接收射频(RF)广播信号。解调器(未示出)可接收和解调由调谐器转换的数字IF信号(DIF)并执行信道解码。根据实施例，通过调谐器接收到的输入图像可通过解调器(未示出)被处理，然后根据本公开的实施例被提供给处理器120以进行图像处理。
图8是示出根据本公开的实施例的显示装置的控制方法的流程图。
根据如图8所示的输出包括视频区域和背景区域的内容的显示装置的控制方法，通过处理输入的视频内容来获得视频图像(S810)。
另外，通过并行处理多个图形对象中的每个图形对象来获得包括多个图形对象中的每个图形图像的多个图形图像(S820)。根据示例，可通过并行渲染多个图形对象中的每个图形对象或并行解码压缩图像中包括的多个图形对象中的每个图形对象来获得多个图形图像。
随后，基于视频图像和多个图形图像来显示包括视频内容和多个图形对象的输出图像(S830)。这里，输出图像可以是4K或8K图像。
另外，在显示输出图像的S830中，可通过基于与多个图形图像中的每个图形图像对应的alpha值，将视频图像和多个图形图像进行alpha混合，获得输出图像。
在这种情况下，显示装置被实现为多个显示模块被连接的模块化显示装置，并且可根据多个显示模块的数量来改变显示装置的分辨率。
另外，在显示输出图像的S830中，可显示视频内容被包括在某些区域中并且至少一个图形对象被包括在其余区域中的输出图像。
另外，在显示输出图像的S830中，可显示具有第一分辨率的图形对象被包括在其余区域中并且具有第二分辨率的图形对象被包括在在某些区域或其余区域的至少一个中的输出图像。在这种情况下，第二分辨率可小于第一分辨率。
另外，在显示输出图像的S830中，可通过放大具有第二分辨率的图形图像和与具有第二分辨率的图形图像对应的alpha值，并且基于放大后的alpha值将具有第一分辨率的图形图像、视频图像和放大后的图形图像进行alpha混合来获得输出图像。
另外，第一分辨率与显示装置的分辨率相同，并且在获得多个图形图像的S820中，可以以低于显示装置的输出频率的频率将具有第一分辨率的图形图像写入存储器，可以以与显示装置的输出频率相同的频率从存储器读取具有第一分辨率的图形图像，并且可以以显示装置的输出频率对具有第二分辨率的图形图像进行渲染。
根据上述各种实施例，即使GPU的性能较低，也可将与高分辨率视频内容一起提供的图形的分辨率保持在高分辨率。
另外，在根据本公开的各种实施例提供的高分辨率图形图像的情况下，像素单元运动可能不同于放大后的图形图像。例如，假设在多个帧中发生与一个像素单元对应的运动，在放大后的图形图像的情况下，运动出现在多个像素单元(增加的像素数量)中，但在高分辨率图形图像的情况下，运动出现在一个像素单元中。
根据本公开的各种实施例，可将与高分辨率视频内容一起提供的图形的分辨率保持在高分辨率。
本公开的各种实施例除了可被应用于显示装置之外，还可被应用于能够处理图像的所有电子装置，诸如图像接收装置(诸如机顶盒)和图像处理装置。
另一方面，可以以可安装在现有显示装置或图像处理装置上的应用或软件的形式来实现上述根据本公开的各种实施例的方法。可选地，可使用基于深度学习的人工神经网络(或深度人工神经网络)(即，学习网络模型)来执行上述根据本公开的各种实施例的方法。
另外，可仅通过升级现有显示装置或图像处理装置的软件或硬件来实现上述根据本公开的各种实施例的方法。
另外，上述本公开的各种实施例还可通过包括在显示装置或图像处理装置中的嵌入式服务器或图像处理装置的外部服务器被执行。
同时，根据本公开的实施例，可通过包括存储在机器(例如，计算机)可读存储介质中的指令的软件来实现上述各种实施例。机器是从存储介质调用存储的指令并且可根据调用的指令进行操作的装置，并且可包括根据所公开的实施例的图像处理装置(例如，图像处理装置A)。当指令由处理器执行时，处理器可直接地执行与指令对应的功能或在处理器的控制下使用其他组件来执行与指令对应的功能。指令可包括由编译器或解释器生成或执行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。这里，术语“非暂时性”表示存储介质不包括信号并且是有形的，但是并不区分数据是永久地还是临时地存储在存储介质中。
另外，根据本公开的实施例，可在计算机程序产品中包括并提供上述根据各种实施例的方法。计算机程序产品可作为产品在卖方和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线上发布计算机程序产品。如果是在线上发布的，可将计算机程序产品中的至少一部分至少临时存储在存储介质(诸如中继服务器的存储器、应用商店的服务器或中继服务器)中，或者计算机程序产品的至少一部分可以是临时产生的。
根据上述各种实施例的每个组件(例如，模块或程序)可包括单个实体或多个实体，并且可省略上述子组件中的一些子组件，或者在各种实施例中还可包括其他子组件。可选地或另外地，一些组件(例如，模块或程序)可被集成到一个实体中，以执行在集成之前的各个组件所执行的相同或相似的功能。根据各种实施例，由模块、程序或其他组件所执行的操作可顺序地、并行地、重复地或以启发式方式被执行，或者至少一些操作可按照不同的顺序被运行或被省略，或者其它操作可被添加。
尽管上面已经示出和描述了本公开的实施例，但是本公开不限于上述特定实施例，在不脱离如所附权利要求中公开的本公开的主旨的情况下，可由本公开所属领域的技术人员进行各种修改。这些修改也应被理解为落入本公开的范围和精神内。

Claims (15)

1.一种显示装置，包括：
显示器；以及
处理器，被配置为控制显示器显示包括视频内容和多个图形对象的输出图像，
其中，处理器被配置为：
通过处理输入的视频内容获得视频图像，
通过并行处理所述多个图形对象中的每个图形对象来获得包括所述多个图形对象中的每个图形对象的多个图形图像，并且
通过将所获得的所述视频图像和所获得的所述多个图形图像进行混合来获得所述输出图像。
2.如权利要求1所述的显示装置，其中，处理器被配置为通过基于与所述多个图形图像中的每个图形图像对应的alpha值，将所述视频图像和所述多个图形图像进行alpha混合来获得所述输出图像。
3.如权利要求1所述的显示装置，其中，显示器被实现为多个显示模块被连接的模块化显示器，并且
显示器的分辨率根据所述多个显示模块的数量而改变。
4.如权利要求1所述的显示装置，其中，处理器被配置为通过并行渲染所述多个图形对象中的每个图形对象或并行解码压缩图像中包括的所述多个图形对象中的每个图形对象来获得所述多个图形图像。
5.如权利要求1所述的显示装置，其中，处理器包括：
视频处理器，被配置为处理所述视频内容；以及
图形处理单元(GPU)，被配置为处理所述多个图形对象。
6.如权利要求1所述的显示装置，其中，处理器控制显示器显示所述输出图像，其中，在所述输出图像中，视频内容被包括在第一区域中，并且至少一个图形对象被包括在不是第一区域的其余区域中。
7.如权利要求6所述的显示装置，其中，处理器控制显示器显示所述输出图像，其中，在所述输出图像中，在具有第一分辨率的图形对象被包括在所述其余区域中，并且具有第二分辨率的图形对象被包括在第一区域或所述其余区域中的至少一个中，并且
第二分辨率小于第一分辨率。
8.如权利要求7所述的显示装置，其中，处理器被配置为：通过放大具有第二分辨率的图形图像和与具有第二分辨率的图形图像对应的alpha值，并且基于放大后的alpha值，将包括具有第一分辨率的图形对象的图形图像、视频图像和放大后的图形图像进行alpha混合，来获得所述输出图像。
9.如权利要求7所述的显示装置，还包括存储器，
其中，第一分辨率与显示器的分辨率相同，并且
处理器被配置为：
以低于显示器的输出频率的频率将具有第一分辨率的图形图像写入存储器，并且
以与显示器的输出频率相同的频率从存储器读取具有第一分辨率的图形图像。
10.如权利要求7所述的显示装置，其中，处理器包括：
GPU，被配置为处理具有第二分辨率的图形图像；
第一混合器，被配置为将经过处理的具有第二分辨率的图形图像与视频图像混合；
解码器，被配置为对具有第一分辨率的图形图像进行解码；以及
第二混合器，被配置为将解码后的具有第一分辨率的图形图像与由第一混合器混合的第一混合图像进行混合。
11.如权利要求1所述的显示装置，其中，所述输出图像是4K或8K图像或更高分辨率的高分辨率图像。
12.一种显示装置的控制方法，所述控制方法包括：
通过处理输入的视频内容获得视频图像；
通过并行处理多个图形对象中的每个图形对象来获得包括所述多个图形对象中的每个图形对象的多个图形图像；并且
基于获得的所述视频图像和获得的所述多个图形图像，显示包括所述视频内容和所述多个图形对象的输出图像。
13.如权利要求12所述的控制方法，其中，在显示所述输出图像时，通过基于与所述多个图形图像中的每个图形图像对应的alpha值对所述视频图像和所述多个图形图像进行alpha混合来获得所述输出图像。
14.如权利要求12所述的控制方法，其中，显示装置被实现为多个显示模块被连接的模块化显示装置，并且
显示装置的分辨率根据多所述个显示模块的数量而改变。
15.如权利要求12所述的控制方法，其中，在获得所述多个图形图像时，通过并行渲染所述多个图形对象中的每个图形对象或并行解码压缩图像中包括的所述多个图形对象中的每个图形对象来获得所述多个图形图像。
CN202010080495.9A 2019-07-08 2020-02-05 显示装置及其控制方法 Active CN112203124B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0082029 2019-07-08
KR1020190082029A KR20210006130A (ko) 2019-07-08 2019-07-08 디스플레이 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
CN112203124A true CN112203124A (zh) 2021-01-08
CN112203124B CN112203124B (zh) 2023-04-14

Family

ID=69726441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010080495.9A Active CN112203124B (zh) 2019-07-08 2020-02-05 显示装置及其控制方法

Country Status (5)

Country Link
US (1) US20210012754A1 (zh)
EP (1) EP3764216B1 (zh)
KR (1) KR20210006130A (zh)
CN (1) CN112203124B (zh)
WO (1) WO2021006451A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117453170A (zh) * 2023-12-25 2024-01-26 西安芯云半导体技术有限公司 一种显示控制方法、装置及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD956790S1 (en) * 2018-08-30 2022-07-05 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
KR20220105890A (ko) * 2021-01-21 2022-07-28 삼성전자주식회사 커맨드가 삽입된 데이터를 공유된 채널 양방향으로 전송할 수 있는 스토리지 장치 및 그것의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101042854A (zh) * 2006-03-22 2007-09-26 株式会社东芝 信息再现设备和信息再现方法
US20100220105A1 (en) * 2009-03-02 2010-09-02 Jong Ho Roh Image Processors, Electronic Device Including the Same, and Image Processing Methods
CN106851129A (zh) * 2015-12-07 2017-06-13 北京航天长峰科技工业集团有限公司 一种视频拼接结果多屏显示和控制方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157365A (en) * 1998-03-24 2000-12-05 Ati Technologies, Inc. Method and apparatus for processing video and graphics data utilizing a higher sampling rate
US6208354B1 (en) * 1998-11-03 2001-03-27 Ati International Srl Method and apparatus for displaying multiple graphics images in a mixed video graphics display
US7446774B1 (en) * 1998-11-09 2008-11-04 Broadcom Corporation Video and graphics system with an integrated system bridge controller
US8212842B2 (en) * 2004-02-23 2012-07-03 Panasonic Corporation Display processing device
KR101029612B1 (ko) * 2008-12-15 2011-04-15 한국전자통신연구원 그래픽 애니메이션과 영상의 동시 재생 방법 및 시스템
EP2959676B1 (en) * 2013-02-21 2020-09-23 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
US9424624B2 (en) * 2013-04-08 2016-08-23 Broadcom Corporation System and method for graphics upscaling
US9412196B2 (en) * 2013-04-15 2016-08-09 Broadcom Corporation Regional compositing
GB2544333B (en) * 2015-11-13 2018-02-21 Advanced Risc Mach Ltd Display controller
KR102511363B1 (ko) * 2016-02-04 2023-03-17 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
US10540736B2 (en) * 2017-08-03 2020-01-21 Texas Instruments Incorporated Display sub-system sharing for heterogeneous systems
CN108170396A (zh) * 2018-01-19 2018-06-15 深圳市宏像智能科技有限公司 一种显示系统及其显示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101042854A (zh) * 2006-03-22 2007-09-26 株式会社东芝 信息再现设备和信息再现方法
US20100220105A1 (en) * 2009-03-02 2010-09-02 Jong Ho Roh Image Processors, Electronic Device Including the Same, and Image Processing Methods
CN106851129A (zh) * 2015-12-07 2017-06-13 北京航天长峰科技工业集团有限公司 一种视频拼接结果多屏显示和控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117453170A (zh) * 2023-12-25 2024-01-26 西安芯云半导体技术有限公司 一种显示控制方法、装置及存储介质
CN117453170B (zh) * 2023-12-25 2024-03-29 西安芯云半导体技术有限公司 一种显示控制方法、装置及存储介质

Also Published As

Publication number Publication date
CN112203124B (zh) 2023-04-14
KR20210006130A (ko) 2021-01-18
US20210012754A1 (en) 2021-01-14
WO2021006451A1 (en) 2021-01-14
EP3764216B1 (en) 2022-11-09
EP3764216A1 (en) 2021-01-13

Similar Documents

Publication Publication Date Title
CN112203124B (zh) 显示装置及其控制方法
US8723891B2 (en) System and method for efficiently processing digital video
CN112235626A (zh) 视频渲染方法、装置、电子设备及存储介质
EP3779862B1 (en) Electronic apparatus and control method thereof
JP2018512644A (ja) 低品質タイルを使用してメモリ帯域幅を減らすためのシステムおよび方法
US7821575B2 (en) Image processing apparatus, receiver, and display device
CN111064906A (zh) 国产处理器和国产fpga多路4k高清视频综合显示方法
KR20160146542A (ko) 비디오 처리 시스템
KR20160036332A (ko) 디스플레이 장치, 이의 제어 방법 및 이의 데이터 전송 방법
CN113596571B (zh) 屏幕分享方法、装置、系统、存储介质以及计算机设备
CN112218132A (zh) 一种全景视频图像显示方法及显示设备
CN116248889A (zh) 图像编码及解码方法、装置和电子设备
US11741570B2 (en) Image processing device and image processing method of same
CN114710633A (zh) 显示设备及视频信号显示方法
US11373340B2 (en) Display apparatus and controlling method thereof
US20180288353A1 (en) Low power video composition using a stream out buffer
KR20210108027A (ko) 전자 장치 및 그 제어 방법
US11467798B2 (en) Display apparatus for changing an advertisement area, server, electronic apparatus and control methods thereof
JP2005266792A (ja) 大型のオーバーレイされたカメラ画像を表示するためのメモリ効率の良い方法及び装置
CN117453170B (zh) 一种显示控制方法、装置及存储介质
US11622113B2 (en) Image-space function transmission
KR20240055504A (ko) 디스플레이 장치 및 그 동작 방법
CN117522879A (zh) 处理图像的方法、视频处理装置、设备及存储介质
JP4697482B2 (ja) 画像合成装置
CN114968155A (zh) 一种显示设备及媒资数据的显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant