CN115190351B - 显示设备及媒资缩放控制方法 - Google Patents

显示设备及媒资缩放控制方法 Download PDF

Info

Publication number
CN115190351B
CN115190351B CN202210798671.1A CN202210798671A CN115190351B CN 115190351 B CN115190351 B CN 115190351B CN 202210798671 A CN202210798671 A CN 202210798671A CN 115190351 B CN115190351 B CN 115190351B
Authority
CN
China
Prior art keywords
media
coordinate data
window
display
media resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210798671.1A
Other languages
English (en)
Other versions
CN115190351A (zh
Inventor
李敏
刘玉琦
高鹏
汤小娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vidaa Netherlands International Holdings BV
Original Assignee
Vidaa Netherlands International Holdings BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vidaa Netherlands International Holdings BV filed Critical Vidaa Netherlands International Holdings BV
Priority to CN202210798671.1A priority Critical patent/CN115190351B/zh
Publication of CN115190351A publication Critical patent/CN115190351A/zh
Application granted granted Critical
Publication of CN115190351B publication Critical patent/CN115190351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438Window management, e.g. event handling following interaction with the user interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种显示设备及媒资缩放控制方法,所述显示设备包括:显示器;控制器,被配置为:响应于接收到的用于控制媒资缩放展示的缩放指令,获取媒资缩放过程中的坐标数据,其中,坐标数据用于指示媒资缩放过程中媒资窗口、媒资画面的尺寸及在用户界面中的相对位置;根据坐标数据渲染媒资窗口,并于媒资窗口渲染完成后控制媒资窗口不显示;解码处理媒资数据,获取图像帧,根据坐标数据将图像帧调整为相应尺寸的媒资画面;在生成媒资画面之后,将媒资画面和媒资窗口发送至显示器进行显示。本申请中,在媒资窗口渲染完成后拦截当前渲染的媒资窗口,等待生成相应的媒资画面之后,同步显示出缩放过程中的媒资窗口和媒资画面,提高了用户体验。

Description

显示设备及媒资缩放控制方法
技术领域
本申请涉及显示技术领域,尤其涉及一种显示设备及媒资缩放控制方法。
背景技术
智能电视是一种可实现双向人机交互功能,集影音、娱乐、数据等多种功能于一体的电视产品。智能电视的用户界面被用于其与用户之间进行交互和信息交换的媒介,为满足用户多样化的需求,对应显示有影音、娱乐等多种应用程序。
目前,显示设备中设置有通过视频缩放功能实现小窗口预览到全屏播放转换的场景,在该转换过程中,能够展示出由小窗口转换至全屏过程中不同渐变尺寸下的视频播放效果。对于视频播放来说,视频窗口以及视频窗口内所播放的视频画面由两套不同的流程来完成,所以会存在因两边处理流程不同导致的显示不同步问题,使得用户体验效果不佳。
发明内容
本申请提供了一种显示设备及媒资缩放控制方法,以解决现有技术中由于视频窗口和视频画面处理流程不同导致的显示不同步,使得用户体验效果不佳的技术问题。
为了解决上述技术问题,本申请实施例公开了如下技术方案:
第一方面,本申请实施例公开了一种显示设备,所述显示设备包括:
显示器;
控制器,所述控制器被配置为:
响应于接收到的用于控制媒资缩放展示的缩放指令,获取媒资缩放过程中的坐标数据,其中,所述坐标数据用于指示媒资缩放过程中媒资窗口的尺寸、媒资画面的尺寸及所述媒资窗口位于所述显示器所展示的用户界面中的相对位置;
根据所述坐标数据渲染所述媒资窗口,并于所述媒资窗口渲染完成后控制所述媒资窗口不显示;
解码处理所述缩放指令指向的媒资数据,获取图像帧,根据所述坐标数据将所述图像帧调整为相应尺寸的所述媒资画面;
在生成所述媒资画面之后,将所述媒资画面和所述媒资窗口发送至所述显示器进行显示。
第二方面,本申请实施例公开了一种媒资缩放控制方法,所述方法包括:
响应于接收到的用于控制媒资缩放展示的缩放指令,获取媒资缩放过程中的坐标数据,其中,所述坐标数据用于指示媒资缩放过程中媒资窗口的尺寸、媒资画面的尺寸及所述媒资窗口位于显示器所展示的用户界面中的相对位置;
根据所述坐标数据渲染所述媒资窗口,并于所述媒资窗口渲染完成后控制所述媒资窗口不显示;
解码处理所述缩放指令指向的媒资数据,获取图像帧,根据所述坐标数据将所述图像帧调整为相应尺寸的所述媒资画面;
在生成所述媒资画面之后,将所述媒资画面和所述媒资窗口发送至所述显示器进行显示。
与现有技术相比,本申请的有益效果为:
本申请提供了一种显示设备及媒资缩放控制方法,在用户有需要将当前所指向的媒资进行放大播放或缩小播放时,可向显示设备发送缩放指令来控制所指向媒资的缩放。显示设备在接收到用户输入的缩放指令时,获取该媒资缩放过程中的坐标数据。根据该坐标数据,显示设备可渲染出相应尺寸的媒资窗口,在渲染完成后,显示设备拦截当前媒资窗口的显示。在渲染媒资窗口的同时,显示设备对用户所指向的媒资数据所解码,获取图像帧,且同样是基于获取到的坐标将解码出的图像帧调整至相应尺寸的媒资画面。在处理完成媒资画面后,将媒资画面和媒资窗口同步发送至显示器进行显示。本申请中,由于媒资缩放过程中处理媒资画面耗时较多,因此可在媒资窗口渲染完成后拦截当前渲染的媒资窗口,等待生成相应的媒资画面之后,同步显示出缩放过程中的媒资窗口和媒资画面,提高了用户体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1中示例性示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图;
图2中示例性示出了根据一些实施例的控制装置100的硬件配置框图;
图3中示例性示出了根据一些实施例的显示设备200的硬件配置框图;
图4中示例性示出了根据一些实施例的显示设备200中软件配置示意图;
图5中示例性示出了根据一些实施例的显示设备200中应用程序的媒资显示效果示意图;
图6中示例性示出了根据一些实施例的媒资放大过程中显示效果示意图;
图7中示例性示出了根据一些实施例的媒资缩小过程中显示效果示意图;
图8中示例性示出了根据一些实施例的媒资缩放控制方法的流程示意图;
图9中示例性示出了根据一些实施例的媒资起播过程的时序图;
图10中示例性示出了根据一些实施例的媒资缩放过程的时序图。
具体实施方式
为使本申请的目的和实施方式更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的所有组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
图1为根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示,用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式,通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令,来控制显示设备200。
在一些实施例中,也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。
在一些实施例中,显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制,例如,可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制,也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。
在一些实施例中,显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示,控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。
如图3,显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
显示器260包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件,用于接收源自控制器输出的图像信号,进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。
显示器260可为液晶显示器、OLED显示器、以及投影显示器,还可以为一种投影装置和投影屏幕。
通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括Wifi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接收。
用户接口,可用于接收控制装置100(如:红外遥控器等)的控制信号。
检测器230用于采集外部环境或与外部交互的信号。例如,检测器230包括用于采集环境光线强度的光接收器;或者,检测器230包括用于采集外部环境场景、用户的属性或用户交互手势的图像采集器,再或者,检测器230包括用于接收外部声音的声音采集器。
外部装置接口240可以包括但不限于如下:高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
调谐解调器210通过有线或无线接收方式接收广播电视信号,以及从多个无线或有线广播电视信号中解调出音视频信号,如以及EPG数据信号。
控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器260上显示UI对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中,控制器250包括中央处理器(Central Processing Unit,CPU),视频处理器,音频处理器,图形处理器(Graphics Processing Unit,GPU),RAM RandomAccess Memory,RAM),ROM(Read-Only Memory,ROM),用于输入/输出的第一接口至第n接口,通信总线(Bus)等中的至少一种。
CPU处理器,用于执行存储在存储器中操作系统和应用程序指令,以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。CPU处理器,可以包括多个处理器。如,包括一个主处理器以及一个或多个子处理器。
图形处理器,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等。图形处理器包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象;还包括渲染器,对基于运算器得到的各种对象,进行渲染,上述渲染后的对象用于显示在显示器上。
视频处理器,用于将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理,可得到直接可显示设备200上显示或播放的信号。
视频处理器,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。其中,解复用模块,用于对输入音视频数据流进行解复用处理。视频解码模块,用于对解复用后的视频信号进行处理,包括解码和缩放处理等。图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。帧率转换模块,用于对转换输入视频帧率。显示格式化模块,用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出RGB数据信号。
音频处理器,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理,得到可以在扬声器中播放的声音信号。
用户可在显示器260上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
参见图4,在一些实施例中,将显示设备系统分为三层,从上至下分别为应用层、中间件层和硬件层。
应用层主要包含电视上的常用应用,以及应用框架(Application Framework),其中,常用应用主要是基于浏览器Browser开发的应用,例如:HTML5 APPs;以及原生应用(Native APPs);
应用框架(Application Framework)是一个完整的程序模型,具备标准应用软件所需的一切基本功能,例如:文件存取、资料交换...,以及这些功能的使用接口(工具栏、状态列、菜单、对话框)。
原生应用(Native APPs)可以支持在线或离线,消息推送或本地资源访问。
中间件层包括各种电视协议、多媒体协议以及系统组件等中间件。中间件可以使用系统软件所提供的基础服务(功能),衔接网络上应用系统的各个部分或不同的应用,能够达到资源共享、功能共享的目的。
硬件层主要包括HAL接口、硬件以及驱动,其中,HAL接口为所有电视芯片对接的统一接口,具体逻辑由各个芯片来实现。驱动主要包含:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器,温度传感器,压力传感器等)、以及电源驱动等。
在一些实施例中的硬件或软件架构可以基于上述实施例中的介绍,在一些实施例中可以是基于相近的其他硬件或软件架构,可以实现本申请的技术方案即可。
基于上述显示设备200,用户可通过显示设备200浏览或搜寻中意的媒资进行观看,除了可以观看传统的数字信号的电视节目,还可以通过显示设备200播放网络媒资,如在接收到用户选中某一媒资控件的操作指令时,可向第三方服务器发送媒资请求,以使第三方服务器反馈相应的媒资数据,以提供给用户多样化、丰富的媒资内容。这里,媒资可以包括视频、漫画等内容。
以播放视频为例,显示设备200可以搭载视频应用,用户可以通过视频应用播放视频。图5中示例性示出了根据一些实施例的显示设备200中应用程序的媒资显示效果示意图。如图5所示,显示器展示出XXX应用中XXX频道下所展示出的媒资,多个媒资通过相应的媒资控件进行展示。当用户选中其中某一媒资控件时,XXX应用可根据开发设置有媒资缩放功能实现小窗口预览到全屏播放转换的场景。
在一些实施例中,在实现媒资缩放功能时,可包括媒资窗口的渲染,以及媒资画面的加载两部分,媒资窗口以及媒资窗口内所加载的媒资画面由两套不同的流程来完成。
由于媒资画面的处理涉及媒资解码、解码后画面大小的调整等,而媒资窗口的渲染则直接根据坐标数据渲染窗口页面即可,从而使得媒资画面加载的过程明显慢于媒资窗口的渲染过程。图6中示例性示出了根据一些实施例的媒资放大过程中显示效果示意图。如图6所示,媒资窗口的放大过程快于媒资画面的加载过程,使得媒资画面四周出现黑边。图7中示例性示出了根据一些实施例的媒资缩小过程中显示效果示意图,再结合图7所示,媒资窗口的缩小过程快于媒资画面的加载过程,使得媒资画面的四周出现切边现象。以上,由于媒资窗口以及媒资画面的处理流程不同导致两者显示不同步,使得用户体验效果不佳。
为了解决上述问题,本申请在一些实施例中提供了一种显示设备及媒资缩放控制方法。为了实施所述媒资缩放控制方法,所述显示设备200包括显示器260和控制器250,其中所述控制器250被配置为执行上述媒资缩放控制方法。
在一些实施例中,显示设备200中可安装视频应用、漫画应用等,用户根据所需,选中相应的应用,以使应用启动。例如,用户想要查找一些视频观看,在找到所需应用时,可通过遥控器选中该应用的控件,以启动该应用。
在一些实施例中,用户还可以通过语音控制显示设备200启动应用。例如,在用户输入唤醒词“嗨!XX”后,对显示设备200输入“打开XX应用”的语音指令,显示设备200即可启动XX应用。
在一些实施例中,用户可通过显示设备200进入观看媒资的应用程序,如进入某一视频应用,在该视频应用里搜寻自己想要观看的视频。如图5所示的XXX应用的媒资显示效果示意图,A媒资、B媒资、C媒资等多个媒资通过相应的媒资控件展示出来,用户在浏览展示有媒资的页面时,若是对其中某一媒资感兴趣,则可控制焦点移动至该媒资所对应的媒资控件上。显示设备200检测出用户将焦点停留在某一媒资控件上,则可在该媒资控件所在位置上小窗口起播该媒资。例如,用户将焦点移动至图5中的B媒资控件上,则显示设备200可起播B媒资。
图8中示例性示出了根据一些实施例的媒资起播过程的时序图。显示设备200包括浏览器、中间件、播放器以及显示器260,其中,浏览器、中间件、播放器为软件层面,显示器260为硬件层面。浏览器为前端引擎,指的是所述显示设备200与所述第三方服务器之间的通信载体,中间件为浏览器和控制器250之间的桥梁。当用户选择任一视频后,即将焦点移动至展示该视频的控件上,浏览器检测停留在该控件上的时长,当停留时长满足一定条件时,即可认定用户想要浏览该控件所展示的视频,浏览器通过中间件触发控制器250生成播放器,完成播放器的初始化。在播放器初始化完成后,控制器250通过中间件通知浏览器请求视频数据。浏览器向第三方服务器发送数据获取请求,以使第三方服务器反馈初始坐标数据(x,y,w,h)和视频数据。浏览器在接收到第三方服务器所发送的初始坐标数据和视频数据后,将初始坐标数据和视频数据通过中间件发送至播放器,播放器在解码视频数据后,以初始坐标数据标定的位置起播视频。
在通过小窗口起播视频后,用户可以触发该视频放大播放,或者放大之后触发视频缩小播放。
下面结合附图,来介绍本申请实施例提供的媒资缩放的控制过程。
图9中示例性示出了根据一些实施例的媒资缩放控制方法的流程示意图。结合图9,该媒资缩放控制的过程如下:
S901:响应于接收到的用于控制媒资缩放展示的缩放指令,获取媒资缩放过程中的坐标数据。
这里,坐标数据用于指示媒资缩放过程中媒资窗口的尺寸、媒资画面的尺寸及所述媒资窗口位于所述显示器所展示的用户界面中的相对位置,参见图6,坐标数据(x,y,w,h),其中,x为媒资窗口左边界与用户界面左侧的距离,y为媒资窗口的上边界与用户界面上侧的距离,w为媒资窗口的宽,也即为媒资画面的宽,h为媒资窗口的高,也即为媒资画面的高。根据x,y,w,h即可获得媒资缩放过程中媒资窗口的尺寸、媒资画面的尺寸及所述媒资窗口位于所述显示器所展示的用户界面中的相对位置。
在一些实施例中,当用户将焦点停留在某一媒资控件上,触发显示设备200于媒资控件所在的小窗口起播当前媒资,若用户通过小窗口观看当前媒资,并确想要全屏播放该媒资时,可进一步通过选中该媒资控件触发该媒资全屏播放。例如,由于此时焦点位于该媒资控件上,用户通过按压遥控器上的“确认”按键,即可触发该媒资的全屏播放。此时,用户所按压的“确认”按键即可视为缩放指令,进一步可视为用于控制媒资放大播放的放大指令。
在一些实施例中,当用户全屏播放一媒资时,若是不想继续观看,或只剩下片尾部分,则可退出当前全屏播放状态,例如,通过按压遥控器上的“返回”按键,即可触发退出全屏,由全屏装换为小窗口播放,此时,用户所按压的“返回”按键即可视为缩放指令,进一步视为用于控制媒资缩小播放的缩小指令。
在一些实施例中,当显示设备200接收到用户所发送的缩放指令时,响应于该缩放指令,获取媒资缩放过程中的坐标数据。在媒资由小窗口转换为全屏的过程中,所用到的坐标数据可以为显示设备200通过浏览器从第三方服务器获取到的,该转换过程中,所有用到的坐标数据均可进行保存,以便后续在缩小当前媒资时,再次利用所保存的坐标数据进行缩小操作。
在一些实施例,第三方服务器可根据显示设备200的刷新率(fps,Frames PerSecond)设定每次缩放过程中的坐标数据的数量,例如,以显示设备200的刷新率为60fps为例,用户发送放大指令后,浏览器将在一秒内注下所获取到的60次坐标数据以完成放大过程。
在一些实施例中,显示设备200控制浏览器向第三方服务器发送含有设备标识的坐标数据获取请求。第三方服务器在接收到坐标数据获取请求后,根据设备标识确定相应的显示设备的刷新率,并下发坐标数据。浏览器接收第三方服务器所发送的坐标数据,并可在一秒内注下所获取到的坐标数据。
在一些实施例中,显示设备200在获取变化后的坐标数据时,可根据获取到的第一帧坐标数据判断所述缩放指令的指示意图,其中,所述第一帧坐标数据指的是由小窗口第一次转换时的坐标数据。参见图6,媒资窗口的初始坐标数据为(x,y,w,h),在完成第一次转换后,媒资窗口的坐标数据为(x1,y1,w1,h1),通过两个坐标数据的比较,显示设备200即可确定出用户所发送的缩放指令的指示意图,也就是能够确定出缩放指令为放大指令还是缩小指令。
在所述指示意图表征为控制媒资放大播放时,显示设备200可设置放大标志位,用于指示后续缩放过程为放大过程。在在后续放大过程中,根据转换后的坐标数据与当前标志位进行验证,确保当前转换过程为放大过程。
在所述指示意图表征为控制媒资缩小播放时,显示设备200可设置缩小标志位,用于指示后续缩放过程为缩小过程。在在后续缩小过程中,根据转换后的坐标数据与当前标志位进行验证,确保当前转换过程为缩小过程。
S902:根据所述坐标数据渲染所述媒资窗口,并于所述媒资窗口渲染完成后控制所述媒资窗口不显示。
在一些实施例中,显示设备200控制浏览器将获取到的坐标数据注入至图形处理器,并控制图形处理器根据所述坐标数据渲染所述媒资窗口。图形处理器通过运算器计算所得到的坐标数据,计算出媒资窗口的大小,在用户界面上的相对位置等,再通过渲染器对基于运算器得到的媒资窗口进行渲染,渲染所得的媒资窗口最后会用于显示在显示器260上。
在一些实施例中,在所述媒资窗口渲染完成后,控制器控制所述图形处理器进入等待机制,也就是控制图形处理器进入休眠状态,控制所述图形处理器停止向所述显示器260发送渲染后的媒资窗口,即拦截当前所渲染的媒资窗口的显示,以等待相应尺寸的媒资画面加载完成。
在一些实施例中,在所述图形处理器渲染完成媒资窗口之后,即准备交换buffer(缓冲器)显示时,在EglSwapBuffer(egl交换缓冲区)接口内设置等待时间,延缓buffer交换。这里,等待时间依据控制器的播放性能设置,即依据视频处理器处理视频的性能进行设置。当然,如若所述图形处理器在进入等待机制后,相应尺寸的媒资画面提前加载完成,可由播放器通过中间件通知浏览器媒资画面已加载完成,此时,即使图形处理器还处于等待机制中,浏览器也可控制图像处理器释放出被延缓交换的媒资窗口。
在一些实施例中,显示设备200控制所述浏览器每间隔预设时长向所述图形处理器下发一次坐标数据,直至下发完成媒资缩放过程中所有的坐标数据后终止下发过程。例如,以显示设备200的刷新率为60fps为例,浏览器可每16.67毫秒注下一次坐标数据,以使在一秒内注下所获取到的60次坐标数据。当图形处理器每次接收到坐标数据时,检测确定所述图形处理器是否已根据之前接收到的坐标数据渲染完成媒资窗口且进入等待机制,若是当前图形处理器已进入等待机制时,则控制所述图形处理器丢弃当前所接收到的坐标数据。因此,可以看出,浏览器获取到的60次坐标数据,并不一定全部用于缩放过程,显示设备20需要根据图形处理器是否处于等待机制对坐标数据作出取舍。
在一些实施例中,在媒资的放大过程中,图形处理器每根据接收到的坐标数据进行媒资窗口的渲染时,显示设备200均对当前所用到坐标数据进行保存,以使后续缩小当前媒资窗口时进行使用。
S903:解码处理所述缩放指令指向的媒资数据,获取图像帧,根据所述坐标数据将所述图像帧调整为相应尺寸的所述媒资画面。
在一些实施例中,显示设备200控制浏览器将从第三方服务器获取到的媒资数据和坐标数据下发至播放器。播放器可对该媒资数据进行解码,将其解码为图像帧,并且,播放器根据接收到的坐标数据调整图像帧的大小,以生成相应尺寸的媒资画面。
在一些实施例中,显示设备200将浏览器向播放器下发坐标数据的过程与图形处理器的等待机制绑定,以使若是图形处理器根据当前是否处于等待机制而适当丢弃了一些坐标数据,保证后续播放器同步丢弃相应的坐标。举例来说,浏览器向图形处理器注下坐标数据(x,y,w,h),且通过中间件向播放器注下坐标数据(x,y,w,h)后,控制图像处理器进入等待机制,此时,在浏览器下发坐标数据(x1,y1,w1,h1)时,如果等待机制未完成则图像处理器进行丢弃,同时浏览器不会下发至播放器。
S904:在生成所述媒资画面之后,将所述媒资画面和所述媒资窗口发送至所述显示器进行显示。
在一些实施例中,在媒资画面生成之后,显示设备200可将图形处理器从等待机制中释放出来,以使图形处理器将渲染完成的媒资窗口发送至显示器260.
在一些实施例中,显示设备200可以包括至少两个图层,分别为第一图层:屏幕菜单调节层(on-screen display,OSD)以及第二图层:视频层(Video)。其中,所述第二图层是位于所述第一图层下层的图层。OSD层又称为中间层或菜单层,用于展示应用界面、应用菜单、工具栏等内容。Video层一般可以用来显示电视连接的外接信号对应的画面内容。图形处理器将渲染完成的媒资窗口发送至OSD层,播放器将生成的媒资画面发送至Video层,通过叠加所述第一图层和所述第二图层,以控制显示器260显示出缩放效果。
下面结合附图进一步介绍一下媒资缩放过程。
图10中示例性示出了根据一些实施例的媒资缩放过程的时序图。结合图10,用户在发送缩放指令后,浏览器识别为缩放媒资,并将从第三方服务器所获取到的坐标数据和媒资数据发送至中间件,同时可将坐标数据发送至图形处理器,以使图形处理器根据坐标数据渲染媒资窗口。图形处理器在渲染完成媒资窗口后,向中间件发送用于表征渲染完成的指示信息,控制器在通过中间件得知图形处理器已经渲染完成媒资窗口时,通过中间件控制图形处理器进入等待机制,以拦截此次媒资窗口的显示。与此同时,中间件将坐标数据和媒资数据发送至播放器,播放器对媒资数据进行解码,并处理坐标数据,以使将解码后的图像帧调整为相应尺寸的媒资画面。当播放器处理完成后,可向中间件发送用于表征媒资画面加载完成的指示信息,控制器在确定媒资画面加载完成后,则通过中间件结束图形处理器的等待机制,以使图形处理器将之前被拦截的媒资窗口发送至显示器,播放器同时将生成的媒资画面发送至显示器,最终在显示器上同步展示出媒资的缩放效果。
本申请中的显示设备,由于媒资缩放过程中处理媒资画面耗时较多,因此通过软件控制的方式,在媒资窗口渲染完成后拦截当前渲染的媒资窗口,等待生成相应的媒资画面之后,同步显示出缩放过程中的媒资窗口和媒资画面,提高了用户体验。
基于与上述显示设备同样的发明构思,本申请在一些实施例中还提供了一种媒资缩放控制方法,所述方法包括:显示设备200响应于接收到的用于控制媒资缩放展示的缩放指令,获取媒资缩放过程中的坐标数据,其中,所述坐标数据用于指示媒资缩放过程中媒资窗口的尺寸、媒资画面的尺寸及所述媒资窗口位于显示器所展示的用户界面中的相对位置。显示设备200根据所述坐标数据渲染所述媒资窗口,并于所述媒资窗口渲染完成后控制所述媒资窗口不显示。显示设备200解码处理所述缩放指令指向的媒资数据,获取图像帧,根据所述坐标数据将所述图像帧调整为相应尺寸的所述媒资画面。显示设备200在生成所述媒资画面之后,将所述媒资画面和所述媒资窗口发送至所述显示器进行显示。
在一些实施例中,在所述获取变化后的坐标数据的步骤中,所述方法包括:显示设备200控制浏览器向第三方服务器发送坐标数据获取请求,其中,所述浏览器指的是所述显示设备与所述第三方服务器之间的通信载体。显示设备200接收所述第三方服务器根据所述坐标数据获取请求反馈的所述坐标数据,其中,媒资缩放过程中所述坐标数据的数量为所述第三方服务器根据所述显示设备的刷新率进行设定。
在一些实施例中,在所述根据所述坐标数据渲染所述媒资窗口,并于所述媒资窗口渲染完成后控制所述媒资窗口不显示的步骤中,所述方法包括:显示设备200接收浏览器下发的所述坐标数据,控制图形处理器根据所述坐标数据渲染所述媒资窗口。在所述媒资窗口渲染完成后,显示设备200控制所述图形处理器进入等待机制,以使所述图形处理器停止向所述显示器发送渲染后的媒资窗口。
由于以上实施方式均是在其他方式之上引用结合进行说明,不同实施例之间均具有相同的部分,本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。
需要说明的是,在本说明书中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或暗示这些实体或操作之间存在任何这种实际的关系或顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下,有语句“包括一个……”限定的要素,并不排除在包括要素的电路结构、物品或者设备中还存在另外的相同要素。
本领域技术人员在考虑说明书及实践这里发明的公开后,将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求的内容指出。
以上的本申请实施方式并不构成对本申请保护范围的限定。

Claims (10)

1.一种显示设备,其特征在于,所述显示设备包括:
显示器;
控制器,所述控制器被配置为:
响应于接收到的用于控制媒资缩放展示的缩放指令,获取媒资缩放过程中的坐标数据,其中,所述坐标数据用于指示媒资缩放过程中媒资窗口的尺寸、媒资画面的尺寸及所述媒资窗口位于所述显示器所展示的用户界面中的相对位置;
根据所述坐标数据渲染所述媒资窗口,并于所述媒资窗口渲染完成后控制所述媒资窗口不显示;
解码处理所述缩放指令指向的媒资数据,获取图像帧,根据所述坐标数据将所述图像帧调整为相应尺寸的所述媒资画面;
在生成所述媒资画面之后,将所述媒资画面和所述媒资窗口发送至所述显示器进行显示。
2.根据权利要求1所述的显示设备,其特征在于,在所述获取媒资缩放过程中的坐标数据的步骤中,所述控制器被配置为:
控制浏览器向第三方服务器发送坐标数据获取请求,其中,所述浏览器指的是所述显示设备与所述第三方服务器之间的通信载体;
接收所述第三方服务器根据所述坐标数据获取请求反馈的所述坐标数据,其中,媒资缩放过程中所述坐标数据的数量为所述第三方服务器根据所述显示设备的刷新率进行设定。
3.根据权利要求1所述的显示设备,其特征在于,在所述根据所述坐标数据渲染所述媒资窗口,并于所述媒资窗口渲染完成后控制所述媒资窗口不显示的步骤中,所述控制器被配置为:
接收浏览器下发的所述坐标数据,控制图形处理器根据所述坐标数据渲染所述媒资窗口;
在所述媒资窗口渲染完成后,控制所述图形处理器进入等待机制,以使所述图形处理器停止向所述显示器发送渲染后的媒资窗口。
4.根据权利要求3所述的显示设备,其特征在于,在所述接收所述浏览器下发的所述坐标数据的步骤中,所述控制器被配置为:
控制所述浏览器每间隔预设时长向所述图形处理器下发一次坐标数据,其中,在下发完成媒资缩放过程中所有的坐标数据后终止下发过程;
控制所述图形处理器接收所述坐标数据,确定所述图形处理器是否已根据之前接收到的坐标数据渲染完成媒资窗口且进入等待机制;
在所述图形处理器已进入等待机制时,则控制所述图形处理器丢弃当前所接收到的坐标数据。
5.根据权利要求1所述的显示设备,其特征在于,在所述获取媒资缩放过程中的坐标数据的步骤之后,所述控制器还被配置为:
根据获取到的第一帧坐标数据判断所述缩放指令的指示意图,其中,所述第一帧坐标数据指的是由小窗口第一次转换时的坐标数据;
在所述指示意图表征为控制媒资放大播放时,设置放大标志位,其中,所述放大标志位用于指示后续缩放过程为放大过程;
在所述指示意图表征为控制媒资缩小播放时,设置缩小标志位,其中,所述缩小标志位用于指示后续缩放过程为缩小过程。
6.根据权利要求4所述的显示设备,其特征在于,所述控制器还被配置为:
在所述图形处理器根据接收到的坐标数据进行媒资窗口的渲染时,保存当前坐标数据。
7.根据权利要求1所述的显示设备,其特征在于,在所述将所述媒资画面和所述媒资窗口发送至所述显示器进行显示的步骤中,所述控制器被配置为:
控制图形处理器结束等待机制以将所述媒资窗口发送至第一图层,并将所述媒资画面发送至第二图层,其中,所述第二图层是位于所述第一图层下层的图层;
叠加所述第一图层和所述第二图层,以控制显示器显示出缩放效果。
8.一种媒资缩放控制方法,其特征在于,所述方法包括:
响应于接收到的用于控制媒资缩放展示的缩放指令,获取媒资缩放过程中的坐标数据,其中,所述坐标数据用于指示媒资缩放过程中媒资窗口的尺寸、媒资画面的尺寸及所述媒资窗口位于显示器所展示的用户界面中的相对位置;
根据所述坐标数据渲染所述媒资窗口,并于所述媒资窗口渲染完成后控制所述媒资窗口不显示;
解码处理所述缩放指令指向的媒资数据,获取图像帧,根据所述坐标数据将所述图像帧调整为相应尺寸的所述媒资画面;
在生成所述媒资画面之后,将所述媒资画面和所述媒资窗口发送至所述显示器进行显示。
9.根据权利要求8所述的媒资缩放控制方法,其特征在于,在所述获取媒资缩放过程中的坐标数据的步骤中,所述方法包括:
控制浏览器向第三方服务器发送坐标数据获取请求,其中,所述浏览器指的是显示设备与所述第三方服务器之间的通信载体;
接收所述第三方服务器根据所述坐标数据获取请求反馈的所述坐标数据,其中,媒资缩放过程中所述坐标数据的数量为所述第三方服务器根据所述显示设备的刷新率进行设定。
10.根据权利要求8所述的媒资缩放控制方法,其特征在于,在所述根据所述坐标数据渲染所述媒资窗口,并于所述媒资窗口渲染完成后控制所述媒资窗口不显示的步骤中,所述方法包括:
接收浏览器下发的所述坐标数据,控制图形处理器根据所述坐标数据渲染所述媒资窗口;
在所述媒资窗口渲染完成后,控制所述图形处理器进入等待机制,以使所述图形处理器停止向所述显示器发送渲染后的媒资窗口。
CN202210798671.1A 2022-07-06 2022-07-06 显示设备及媒资缩放控制方法 Active CN115190351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210798671.1A CN115190351B (zh) 2022-07-06 2022-07-06 显示设备及媒资缩放控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210798671.1A CN115190351B (zh) 2022-07-06 2022-07-06 显示设备及媒资缩放控制方法

Publications (2)

Publication Number Publication Date
CN115190351A CN115190351A (zh) 2022-10-14
CN115190351B true CN115190351B (zh) 2023-09-29

Family

ID=83518055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210798671.1A Active CN115190351B (zh) 2022-07-06 2022-07-06 显示设备及媒资缩放控制方法

Country Status (1)

Country Link
CN (1) CN115190351B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117311460A (zh) * 2022-06-21 2023-12-29 苏州源控电子科技有限公司 一种支持多通道音视频输入的一体机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207750A (zh) * 2007-11-28 2008-06-25 深圳市同洲电子股份有限公司 一种视频画面平滑缩小或者放大的方法
CN108184158A (zh) * 2017-12-29 2018-06-19 深圳华侨城卡乐技术有限公司 一种同步播放视频的方法及系统
CN108449641A (zh) * 2018-03-28 2018-08-24 聚好看科技股份有限公司 播放媒体流的方法、装置、计算机设备和存储介质
CN111107418A (zh) * 2019-12-19 2020-05-05 北京奇艺世纪科技有限公司 视频数据处理方法、装置、计算机设备和存储介质
WO2021000921A1 (zh) * 2019-07-03 2021-01-07 华为技术有限公司 一种基于垂直同步信号的图像处理方法及电子设备
CN112533021A (zh) * 2019-09-19 2021-03-19 青岛海信传媒网络技术有限公司 一种显示方法及显示设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8736673B2 (en) * 2009-12-31 2014-05-27 Stmicroelectronics, Inc. Method and apparatus for viewing 3D video using a stereoscopic viewing device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207750A (zh) * 2007-11-28 2008-06-25 深圳市同洲电子股份有限公司 一种视频画面平滑缩小或者放大的方法
CN108184158A (zh) * 2017-12-29 2018-06-19 深圳华侨城卡乐技术有限公司 一种同步播放视频的方法及系统
CN108449641A (zh) * 2018-03-28 2018-08-24 聚好看科技股份有限公司 播放媒体流的方法、装置、计算机设备和存储介质
WO2021000921A1 (zh) * 2019-07-03 2021-01-07 华为技术有限公司 一种基于垂直同步信号的图像处理方法及电子设备
CN112533021A (zh) * 2019-09-19 2021-03-19 青岛海信传媒网络技术有限公司 一种显示方法及显示设备
CN111107418A (zh) * 2019-12-19 2020-05-05 北京奇艺世纪科技有限公司 视频数据处理方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An efficient multi-window display-memory architecture for full-motion video signals;A. A. J. de Lange et al.;《Proceedings of IEEE Workshop on VLSI Signal Processing》;66-74 *
集群并行显示同步技术研究;付燕平 等;《计算机技术与发展》;第24卷(第07期);174-177 *

Also Published As

Publication number Publication date
CN115190351A (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
WO2021109491A1 (zh) Epg用户界面的显示方法及显示设备
CN114302219B (zh) 一种显示设备及可变帧率显示方法
CN113630649B (zh) 一种显示设备及视频播放进度的调整方法
CN112653906B (zh) 显示设备上视频热点播放方法及显示设备
WO2021189712A1 (zh) 网页视频全屏播放切换小窗口播放的方法及显示设备
CN114302021A (zh) 显示设备和音画同步方法
CN113535019A (zh) 显示设备及应用图标的显示方法
CN115190351B (zh) 显示设备及媒资缩放控制方法
CN112799576B (zh) 一种虚拟鼠标移动的方法及显示设备
WO2021232914A1 (zh) 一种显示方法及显示设备
CN113490032A (zh) 显示设备及媒资显示方法
CN113163258A (zh) 一种频道切换的方法及显示设备
CN112733050A (zh) 显示设备上搜索结果的展示方法及显示设备
WO2021109411A1 (zh) 文本类型转换方法及显示设备
CN113453052B (zh) 音画同步方法及显示设备
CN112911371B (zh) 双路视频资源播放方法及显示设备
CN113014977B (zh) 显示设备及音量显示方法
CN113064691A (zh) 一种开机用户界面的显示方法及显示设备
CN113190144B (zh) 显示页面上焦点置顶方法及显示设备
CN113784222B (zh) 应用和数字电视节目的交互方法及显示设备
CN113038193B (zh) 一种自动修复音视频不同步的方法及显示设备
CN113766164B (zh) 显示设备及信号源界面显示方法
CN113038221B (zh) 一种双路视频播放方法及显示设备
CN113490041B (zh) 语音功能切换方法及显示设备
US20220188069A1 (en) Content-based voice output method and display apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant