CN112243147B - 视频画面缩放方法及显示设备 - Google Patents

视频画面缩放方法及显示设备 Download PDF

Info

Publication number
CN112243147B
CN112243147B CN201910641912.XA CN201910641912A CN112243147B CN 112243147 B CN112243147 B CN 112243147B CN 201910641912 A CN201910641912 A CN 201910641912A CN 112243147 B CN112243147 B CN 112243147B
Authority
CN
China
Prior art keywords
display
video
user
layer
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910641912.XA
Other languages
English (en)
Other versions
CN112243147A (zh
Inventor
张会岳
杨依灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vidaa Netherlands International Holdings BV
Original Assignee
Vidaa Netherlands International Holdings BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vidaa Netherlands International Holdings BV filed Critical Vidaa Netherlands International Holdings BV
Priority to CN201910641912.XA priority Critical patent/CN112243147B/zh
Priority to PCT/CN2020/076703 priority patent/WO2021008137A1/zh
Publication of CN112243147A publication Critical patent/CN112243147A/zh
Priority to US17/645,511 priority patent/US20220114695A1/en
Application granted granted Critical
Publication of CN112243147B publication Critical patent/CN112243147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438Window management, e.g. event handling following interaction with the user interface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种显示设备,包括显示器,被配置为呈现用户界面,其中,包括用于呈现视频层的视频画面的第一视图显示区和用于呈现用户层的推荐信息的第二视图显示区,用户层浮于视频层上呈现,用户层在视频画面处的控件为透明;控制器,被配置为接收用户输入的用于指示放大所述视频画面的指令,用户层的透明控件按照第一缩放规则放大;确定透明控件的位置信息,生成第二缩放规则;视频层内视频画面按照第二缩放规则放大。本申请通过获取预设时间内用户层在视频画面处的控件的位置信息生成第二缩放规则,使视频层视频画面根据第二缩放规则缩放,达到视频层中视频画面与用户层在视频画面处的控件同步缩放的效果。

Description

视频画面缩放方法及显示设备
技术领域
本申请涉及显示画面缩放技术领域,尤其涉及一种视频画面的缩放方法、视频画面缩放服务装置及显示设备。
背景技术
随着网络及智能终端的普及,用户观看视频节目的渠道和方式也越来越广泛。例如,在智能电视或手机等设备上安装诸如点播视频等各类视频显示应用,通过设备运行显示应用,用户即可选择并观看视频。
用户界面通常包括OSD层(On Screen Display)和视频层(Video层),OSD层用于提供视频简介及其他基本信息,而视频层则用于显示一帧帧的视频画面。
目前,视频显示应用可提供小屏播放和全屏播放的切换功能,当视频窗口在小屏播放情况下时,显示界面的最上层显示OSD层,该OSD层采用“挖洞”的方式,在视频播放窗口位置处,把OSD层的当前控件(Activity)的主题(Theme)设置为透明或半透明,才能看到Video层输出的视频图像。
传统在从小屏播放切换到全屏播放的过程中,OSD层和Video层分别按照各自规则从小屏播放图像一步切换到全屏播放图像,当缩放速度不一致时,容易出现切换不同步导致的黑边和切边现象,更没有经过中间态的渐变,也无法按照用户需求动态的缩放到预设的窗口,给用户不好的用户体验。
发明内容
本申请提供了一种了显示设备呈现的用户界面中视频画面的缩放方法、视频画面缩放服务装置及显示设备,以达到视频画面可渐变缩放的效果。
第一方面,本申请提供了一种显示设备,其特征在于,包括:
显示器,被配置为呈现用户界面,所述用户界面包括第一视图显示区和第二视图显示区,该第一视图显示区用于呈现视频层的视频画面,该第二视图显示区用于呈现用户层的推荐信息,其中,所述用户层浮于所述视频层上呈现,所述用户层在视频画面处的控件为透明,以使所述视频层的视频画面透过所述用户层呈现;
与所述显示器通信的控制器,所述控制器被配置为执行呈现用户界面:
接收用户输入的用于指示放大所述视频画面的指令,所述用户层的透明控件按照第一缩放规则放大;
确定所述预设时间内所述透明控件的位置信息,生成第二缩放规则;
所述视频层内视频画面按照所述第二缩放规则放大至目标显示位置。
第二方面,本申请提供一种显示设备呈现的用户界面中视频画面的缩放方法,其特征在于:
接收用户输入的用于指示放大视频画面的指令,用户层的透明控件按照第一缩放规则放大;
确定所述预设时间内所述透明控件的位置信息,生成第二缩放规则;
所述视频层内视频画面按照所述第二缩放规则放大至目标显示位置。
其中,所述用户界面包括第一视图显示区和第二视图显示区,该第一视图显示区用于呈现视频层的视频画面,该第二视图显示区用于呈现用户层的推荐信息,其中,所述用户层浮于所述视频层上呈现,所述用户层在视频画面处的控件为透明,以使所述视频层的视频画面透过所述用户层呈现。
与现有技术相比,本申请示例性的实施方式中所提出的技术方案通过获取预设时间内用户层在视频画面处的控件的位置信息,生成第二缩放规则,使视频层待显示的视频画面根据所述第二缩放规则缩放,使视频层中视频画面与用户层在视频画面处的控件同步缩放,可达到可渐变缩放效果,给用户带来好的用户体验。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请根据一示例性性实施例示出的显示设备与控制装置之间的操作场景图;
图2为本申请根据一示例性性实施例示出的显示设备200的硬件配置框图;
图3为本申请根据一示例性性实施例示出的控制装置100的硬件配置框图;
图4为本申请根据一示例性性实施例示出的显示设备200的功能配置示意图;
图5a为本申请根据一示例性性实施例示出的显示设备200的软件配置框图;
图5b为本申请根据一示例性性实施例示出的显示设备200中应用程序中心的示意图;
图6a为本申请根据一示例性实施例示出的显示设备200用户界面示意图;
图6b为本申请根据一示例性实施例示出的显示设备200用户界面示意图;
图7a为用户在应用程序中心选择具有视频点播功能的视频显示时的用户界面示意图;
图7b为用户在视频显示应用中选择视频节目时的用户界面示意图;
图7c为用户在视频显示应用中选择视频节目而进入的用户界面示意图;
图7d为用户在如图7c所示的用户界面中点击“全屏”而进入的又一用户界面示意图;
图7e为用户界面中视频画面由图7c放大到图7d的过程中出现的黑边现象示意图;
图7f为用户界面中视频画面由图7d缩小到图7c的过程中出现的切边现象示意图;
图8a为本申请根据一示例性实施例示出的另一种应用场景图;
图8b为用户在图8a所示用户界面中点击“全屏”而进入的又一用户界面示意图;
图8c为用户在图8b所示用户界面中点击“小窗口界面”而进入的又一用户界面示意图;
图8d为用户界面中视频画面由图8a放大至图8b的过程中出现的黑边现象示意图;
图9为为本申请根据一示例性实施例示出的显示设备控制器执行方法流程图;
图10为本申请根据一示例性实施例示出的S94的一种实现方式流程图;
图11为本申请根据一示例性实施例示出的S103的一种实现方式流程图;
图12为本申请根据一示例性实施例示出的S112的一种实现方式流程图;。
图13为本申请根据一示例性实施例示出的一种视频画面缩放方法路程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
基于本申请中示出的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。
应当理解,本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语“模块”,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
本申请中使用的术语“遥控器”,是指电子设备(如本申请中公开的显示设备)的一个组件,通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接,也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如:手持式触摸遥控器,是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
本申请中使用的术语“手势”,是指用户通过一种手型的变化或手部运动等动作,用于表达预期想法、动作、目的/或结果的用户行为。
在对本申请技术方案的具体实现方式进行详细介绍之前,本申请技术方案的基本应用场景予以介绍。
图1为本申请根据一示例性性实施例示出的显示设备与控制装置之间的操作场景图。如图1所示,用户可通过控制装置100来操作显示设备200。
其中,控制装置100可以是遥控器100A,包括红外协议通信或蓝牙协议通信,及其他短距离通信方式等,通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令,来控制显示设备200。如:用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令,来实现控制显示设备200的功能。
控制装置100也可以是智能设备,如移动终端100B、平板电脑、计算机、笔记本电脑等。例如,使用在智能设备上运行的应用程序控制显示设备200。该应用程序可以在与智能设备关联的屏幕上通过直观的用户界面(UI)为用户提供各种控制。
示例的,移动终端100B可与显示设备200安装软件应用,通过网络通信协议实现连接通信,实现一对一控制操作的和数据通信的目的。如:可以使移动终端100B与显示设备200建立控制指令协议,将遥控控制键盘同步到移动终端100B上,通过控制移动终端100B上用户界面,实现控制显示设备200的功能。也可以将移动终端100B上显示的音视频内容传输到显示设备200上,实现同步显示功能。
如图1所示,显示设备200还与服务器300通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器300可以向显示设备200提供各种内容和互动。示例的,显示设备200通过发送和接收信息,以及电子节目指南(EPG)互动,接收软件程序更新,或访问远程储存的数字媒体库。服务器300可以是一组,也可以是多组,可以是一类或多类服务器。通过服务器300提供视频点播和广告服务等其他网络服务内容。
显示设备200,可以是液晶显示器、OLED显示器、投影显示设备。具体显示设备类型,尺寸大小和分辨率等不作限定,本领技术人员可以理解的是,显示设备200可以根据需要做性能和配置上的一些改变。
显示设备200除了提供广播接收电视功能之外,还可以附加提供计算机支持功能的智能网络电视功能。示例的包括,网络电视、显示设备、互联网协议电视(IPTV)等。
图2为本申请根据一示例性性实施例示出的显示设备200的硬件配置框图。如图2所示,显示设备200中可以包括调谐解调器220、通信器230、检测器240、外部装置接口250、控制器210、存储器290、用户输入接口、视频处理器260-1、音频处理器260-2、显示器280、音频输出接口272、供电电源。
调谐解调器220,通过有线或无线方式接收广播电视信号,可以进行放大、混频和谐振等调制解调处理,用于从多个无线或有线广播电视信号中解调出用户所选择电视频道的频率中所携带的音视频信号,以及附加信息(例如EPG数据信号)。
调谐解调器220,可根据用户选择,以及由控制器210控制,响应用户选择的电视频道频率以及该频率所携带的电视信号。
调谐解调器220,根据电视信号广播制式不同,可以接收信号的途径有很多种,诸如:地面广播、有线广播、卫星广播或互联网广播等;以及根据调制类型不同,可以数字调制方式,也可以模拟调制方式;以及根据接收电视信号种类不同,可以解调模拟信号和数字信号。
在其他一些示例性实施例中,调谐解调器220也可在外置设备中,如外置机顶盒等。这样,机顶盒通过调制解调后输出电视音视频信号,经过外置装置接口250输入至显示设备200中。
通信器230是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如:通信器230可以包括WIFI模块231,蓝牙通信协议模块232,有线以太网通信协议模块233等其他网络通信协议模块或近场通信协议模块。
显示设备200可以通过通信器230与外部控制设备或内容提供设备之间建立控制信号和数据信号的连接。例如,通信器可根据控制器的控制接收遥控器100的控制信号。
检测器240,是显示设备200用于采集外部环境或与外部交互的信号的组件。检测器240可以包括光接收器242,用于采集环境光线强度的传感器,可以通过采集环境光来自适应显示参数变化等;还可以包括图像采集器241,如相机、摄像头等,可以用于采集外部环境场景,以及用于采集用户的属性或与用户交互手势,可以自适应变化显示参数,也可以识别用户手势,以实现与用户之间互动的功能。
在其他一些示例性实施例中,检测器240,还可包括温度传感器,如通过感测环境温度,显示设备200可自适应调整图像的显示色温。示例性的,当温度偏高的环境时,可调整显示设备200显示图像色温偏冷色调;当温度偏低的环境时,可以调整显示设备200显示图像色温偏暖色调。
在其他一些示例性实施例中,检测器240还可包括声音采集器,如麦克风,可以用于接收用户的声音,包括用户控制显示设备200的控制指令的语音信号,或采集环境声音,用于识别环境场景类型,显示设备200可以自适应环境噪声。
外部装置接口250,提供控制器210控制显示设备200与外部其他设备间数据传输的组件。外部装置接口可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等的外部设备连接,可接收外部设备的诸如视频信号(例如运动图像)、音频信号(例如音乐)、附加信息(例如EPG)等数据。
其中,外部装置接口250可以包括:高清多媒体接口(HDMI)端子251、复合视频消隐同步(CVBS)端子252、模拟或数字分量端子253、通用串行总线(USB)端子254、红绿蓝(RGB)端子(图中未示出)等任一个或多个。
控制器210,通过运行存储在存储器290上的各种软件控制程序(如操作系统和各种应用程序),来控制显示设备200的工作和响应用户的操作。
如图2所示,控制器210包括随机存取存储器RAM213、只读存储器ROM214、图形处理器216、CPU处理器212、通信接口218、以及通信总线。其中,RAM213和ROM214以及图形处理器216、CPU处理器212、通信接口218通过总线相连接。
ROM213,用于存储各种系统启动的指令。如在收到开机信号时,显示设备200电源开始启动,CPU处理器212运行ROM中系统启动指令,将存储在存储器290的操作系统拷贝至RAM214中,以开始运行启动操作系统。当操作系统启动完成后,CPU处理器212再将存储器290中各种应用程序拷贝至RAM214中,然后,开始运行启动各种应用程序。
图形处理器216,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等。包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象。以及包括渲染器,产生基于运算器得到的各种对象,进行渲染的结果显示在显示器280上。
CPU处理器212,用于执行存储在存储器290中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。
在一些示例性实施例中,CPU处理器212,可以包括多个处理器。多个处理器可包括一个主处理器以及多个或一个子处理器。主处理器,用于在预加电模式中执行显示设备200一些操作,和/或在正常模式下显示画面的操作。多个或一个子处理器,用于执行在待机模式等状态下的一种操作。
通信接口,可包括第一接口218-1到第n接口218-n。这些接口可以是经由网络被连接到外部设备的网络接口。
控制器210可以控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器280上显示UI对象的用户命令,控制器210便可以执行与由用户命令选择的对象有关的操作。
其中,所述对象可以是可选对象中的任何一个,例如超链接或图标。与所选择的对象有关操作,例如:显示连接到超链接页面、文档、图像等操作,或者执行与图标相对应程序的操作。用于选择UI对象用户命令,可以是通过连接到显示设备200的各种输入装置(例如,鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
存储器290,包括存储用于驱动和控制显示设备200的各种软件模块。如:存储器290中存储的各种软件模块,包括:基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等。
其中,基础模块是用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块是用于从各种传感器或用户输入接口中收集各种信息,并进行数模转换以及分析管理的管理模块。
例如:语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块是用于控制显示器280进行显示图像内容的模块,可以用于播放多媒体图像内容和UI界面等信息。通信模块,是用于与外部设备之间进行控制和数据通信的模块。浏览器模块,是用于执行浏览服务器之间数据通信的模块。服务模块,是用于提供各种服务以及各类应用程序在内的模块。
同时,存储器290还用于存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
用户输入接口,用于将用户的输入信号发送给控制器210,或者,将从控制器输出的信号传送给用户。示例性的,控制装置(例如移动终端或遥控器)可将用户输入的诸如电源开关信号、频道选择信号、音量调节信号等输入信号发送至用户输入接口,再由用户输入接口转送至控制器;或者,控制装置可接收经控制器处理从用户输入接口输出的音频、视频或数据等输出信号,并且显示接收的输出信号或将接收的输出信号输出为音频或振动形式。
在一些实施例中,用户可在显示器280上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
视频处理器260-1,用于接收视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频数据处理,可得到直接在显示器280上显示或播放的视频信号。
示例的,视频处理器260-1,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
其中,解复用模块,用于对输入音视频数据流进行解复用处理,如输入MPEG-2,则解复用模块进行解复用成视频信号和音频信号等。
视频解码模块,用于对解复用后的视频信号进行处理,包括解码和缩放处理等。
图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。
帧率转换模块,用于对输入视频的帧率进行转换,如将输入的24Hz、25Hz、30Hz、60Hz视频的帧率转换为60Hz、120Hz或240Hz的帧率,其中,输入帧率可以与源视频流有关,输出帧率可以与显示器的更新率有关。输入有通常的格式采用如插帧方式实现。
显示格式化模块,用于将帧率转换模块输出的信号,改变为符合诸如显示器显示格式的信号,如将帧率转换模块输出的信号进行格式转换以输出RGB数据信号。
显示器280,用于接收源自视频处理器260-1输入的图像信号,进行显示视频内容和图像以及菜单操控界面。显示器280包括用于呈现画面的显示器组件以及驱动图像显示的驱动组件。显示视频内容,可以来自调谐解调器220接收的广播信号中的视频,也可以来自通信器或外部设备接口输入的视频内容。显示器220,同时显示显示设备200中产生且用于控制显示设备200的用户操控界面UI。
以及,根据显示器280类型不同,还包括用于驱动显示的驱动组件。或者,倘若显示器280为一种投影显示器,还可以包括一种投影装置和投影屏幕。
音频处理器260-2,用于接收音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等音频数据处理,得到可以在扬声器272中播放的音频信号。
音频输出接口270,用于在控制器210的控制下接收音频处理器260-2输出的音频信号,音频输出接口可包括扬声器272,或输出至外接设备的发生装置的外接音响输出端子274,如:外接音响端子或耳机输出端子等。
在其他一些示例性实施例中,视频处理器260-1可以包括一个或多个芯片组成。音频处理器260-2,也可以包括一个或多个芯片组成。
以及,在其他一些示例性实施例中,视频处理器260-1和音频处理器260-2,可以为单独的芯片,也可以与控制器210一起集成在一个或多个芯片中。
供电电源,用于在控制器210控制下,将外部电源输入的电力为显示设备200提供电源供电支持。供电电源可以包括安装显示设备200内部的内置电源电路,也可以是安装在显示设备200外部的电源,如在显示设备200中提供外接电源的电源接口。
图3为本申请根据一示例性性实施例示出的控制装置100的硬件配置框图。如图3所示,控制装置100包括控制器110、通信器130、用户输入/输出接口140、存储器190、供电电源180。
控制装置100被配置为控制显示设备200,以及可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起着用户与显示设备200之间交互中介作用。如:用户通过操作控制装置100上频道加减键,显示设备200响应频道加减的操作。
在一些实施例中,控制装置100可是一种智能设备。如:控制装置100可根据用户需求安装控制显示设备200的各种应用。
在一些实施例中,如图1所示,移动终端100B或其他智能电子设备,可在安装操控显示设备200的应用之后,可以起到控制装置100类似功能。如:用户可以通过安装应用,在移动终端100B或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮,以实现控制装置100实体按键的功能。
控制器110包括处理器112、RAM113和ROM114、通信接口以及通信总线。控制器110用于控制控制装置100的运行和操作,以及内部各部件之间通信协作以及外部和内部的数据处理功能。
通信器130在控制器110的控制下,实现与显示设备200之间控制信号和数据信号的通信。如:将接收到的用户输入信号发送至显示设备200上。通信器130可包括WIFI模块131、蓝牙模块132、NFC模块133等通信模块中至少一种。
用户输入/输出接口140,其中,输入接口包括麦克风141、触摸板142、传感器143、按键144等输入接口中至少一者。如:用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能,输入接口通过将接收的模拟信号转换为数字信号,以及数字信号转换为相应指令信号,发送至显示设备200。
输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中,可以是红外接口,也可以是射频接口。如:红外信号接口时,需要将用户输入指令按照红外控制协议转化为红外控制信号,经红外发送模块进行发送至显示设备200。再如:射频信号接口时,需将用户输入指令转化为数字信号,然后按照射频控制信号调制协议进行调制后,由射频发送端子发送至显示设备200。
在一些实施例中,控制装置100包括通信器130和输出接口中至少一者。控制装置100中配置通信器130,如:WIFI、蓝牙、NFC等模块,可将用户输入指令通过WIFI协议、或蓝牙协议、或NFC协议编码,发送至显示设备200.
存储器190,用于在控制器110的控制下存储驱动和控制控制装置100的各种运行程序、数据和应用。存储器190,可以存储用户输入的各类控制信号指令。
供电电源180,用于在控制器110的控制下为控制装置100各元件提供运行电力支持。可以电池及相关控制电路。
图4为本申请根据一示例性性实施例示出的显示设备200的功能配置示意图。如图4所示,存储器290用于存储操作系统、应用程序、内容和用户数据等,在控制器210控制下执行驱动显示设备200的系统运行以及响应用户的各种操作。存储器290可以包括易失性和/或非易失性存储器。
存储器290,具体用于存储驱动显示设备200中控制器210的运行程序,以及存储显示设备200内置各种应用程序,以及用户从外部设备下载的各种应用程序、以及与应用程序相关的各种图形用户界面,以及与图形用户界面相关的各种对象,用户数据信息,以及各种支持应用程序的内部数据。存储器290用于存储操作系统(OS)内核、中间件和应用等系统软件,以及存储输入的视频数据和音频数据、及其他用户数据。
存储器290,具体用于存储视频处理器260-1和音频处理器260-2、显示器280、通信接口230、调谐解调器220、检测器240、输入/输出接口等驱动程序和相关数据。
在一些实施例中,存储器290可以存储软件和/或程序,用于表示操作系统(OS)的软件程序包括,例如:内核、中间件、应用编程接口(API)和/或应用程序。示例性的,内核可控制或管理系统资源,或其它程序所实施的功能(如所述中间件、API或应用程序),以及内核可以提供接口,以允许中间件和API,或应用访问控制器,以实现控制或管理系统资源。
示例的,存储器290,包括广播接收模块2901、频道控制模块2902、音量控制模块2903、图像控制模块2904、显示控制模块2905、音频控制模块2906、外部指令识别模块2907、通信控制模块2908、光接收模块2909、电力控制模块2910、操作系统2911、以及其他应用程序2912、浏览器模块等等。控制器210通过运行存储器290中各种软件程序,来执行诸如:广播电视信号接收解调功能、电视频道选择控制功能、音量选择控制功能、图像控制功能、显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器功能等其他应用。
图5a为本申请根据一示例性性实施例示出的显示设备200的软件配置框图。如图5a所示:
操作系统210,包括用于处理各种基础系统服务和用于实施硬件相关任务的执行操作软件,充当应用程序和硬件组件之间完成数据处理的媒介。
一些实施例中,部分操作系统内核可以包含一系列软件,用以管理显示设备硬件资源,并为其他程序或软件代码提供服务。
其他一些实施例中,部分操作系统内核可包含一个或多个设备驱动器,设备驱动器可以是操作系统中的一组软件代码,帮助操作或控制显示设备关联的设备或硬件。驱动器可以包含操作视频、音频和/或其他多媒体组件的代码。示例的,包括显示屏、摄像头、Flash、WiFi和音频驱动器。
可访问性模块211,用于修改或访问应用程序,以实现应用程序的可访问性和对其显示内容的可操作性。通信模块212,用于经由相关通信接口和通信网络与其他外设的连接。用户界面模块213,用于提供显示用户界面的对象,以供各应用程序访问,可实现用户可操作性。用户界面模块213进一步包括用户层和视频层,用户层提供多个可实现用户操作的控件,视频层用于显示视频画面帧。界面底层模块214,包括用户层的底层模块和视频层的底层模块,其中,视频层的底层模块用于为视频层提供待显示的视频画面。控制应用程序215,用于控制进程管理,包括运行时间应用程序等。
界面布局管理模块220,用于管理待显示的用户界面对象,控制用户界面布局,以使用户界面的显示可响应于用户操作。
事件传输系统230,可在操作系统210内或应用程序层240中实现。一些实施例中,一方面在在操作系统210内实现,同时在应用程序240中实现,用于监听各种用户输入事件,将根据各种事件指代响应各类事件或子事件的识别结果,而实施一组或多组预定义的操作的处理程序。
示例性的,视频缩放服务231运行于事件传输系统,用于接收用户输入的用于触发缩放功能的指令。
图5b为本申请根据一示例性性实施例示出的显示设备200中应用程序中心的示意图。如图5b中所示,应用程序层240包含可在显示设备执行的各种应用程序。应用程序可包含但不限于一个或多个应用程序,如:直播电视应用程序、视频点播VOD应用程序、媒体中心应用程序、应用程序中心、游戏应用等。
直播电视应用程序,可以通过不同的信号源提供直播电视。例如,直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及,直播电视应用程序可在显示设备上显示直播电视信号的视频。
视频点播应用程序,可以提供来自不同存储源的视频。不同于直播电视应用程序,视频点播提供来自某些存储源的视频显示。例如,视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
媒体中心应用程序,可以提供各种多媒体内容播放的应用程序。例如,媒体中心,可以为不同于直播电视或视频点播,用户可通过媒体中心应用程序访问各种图像或音频所提供服务。
直播电视应用程序、视频点播应用程序、媒体中心应用程序中的至少一个应用程序配置有缩放功能模块,用于响应用户触发的缩放指令实现缩放功能。
应用程序中心,可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序,或某些和计算机系统或其他设备相关但可以在智能电视中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序,将它们储存在本地储存器中,然后在显示设备上可运行。
图6a为本申请根据一示例性实施例示出的显示设备200用户界面示意图。如图6a所示,用户界面通过不同层级的显示画面叠加而得以显示,多层画面分别用以呈现出不同的图像内容,例如,第一层界面610可呈现系统层项目内容,如当前属性等,第二层界面620可用于呈现应用层项目内容,如网页视频、VOD展示和应用程序画面等。
由于根据用户对显示设备200进行的不同操作,用户界面呈现的画面,以及每一层所呈现的图像内容、来源等有所不同,因此为了便于对本申请技术方案清楚说明,本申请将显示设备呈现视频画面时的用户界面称为用户界面。
图6b为本申请根据一示例性实施例示出的显示设备200用户界面示意图。如图6b所示,用户界面至少包括两个层级,分别为视频层和用户层,视频层用于呈现一帧帧的视频画面,用户层则至少用于呈现出一些可供用户点击的控件,如“小窗口播放”控件。
进一步,用户层可由多个子层画面叠加呈现,每一子层用于呈现用户界面的一部分内容,以使除视频画面以外的其他画面分层次呈现,保证呈现效果,示例性的,第三层界面630为用户层的子层。
图7a为用户在应用程序中心选择具有视频点播功能的视频显示时的用户界面示意图。该视频显示应用(如爱奇艺视频、腾讯视频等)非系统程序,可通过在应用商店下载或者通过外接存储设备传输安装使用。或者,该视频显示应用为系统程序,面向用户呈现系统参数。在一种可能的实现方式中,视频显示应用预先安装于显示设备中,并在应用程序中心对应的用户界面呈现,可供用户点选。
图7b为用户在视频显示应用中选择视频节目时的用户界面示意图。如图7b所示,此时的用户界面提供多个用户可选择的视频节目点选标识,用户可通过选择使显示设备开始播放所选择的视频节目。
图7c为用户在视频显示应用中选择视频节目,而进入的用户界面示意图。如图7c所示,此时的用户界面中,用户层呈现出“首页”、“热门”、“推荐”、“个人中心”、“节目简介”、“评论”、“全屏”等可供用户点击的控件;视频层呈现出视频画面。
图7d为用户在如图7c所示的用户界面中点击“全屏”,而进入的又一用户界面。如图7d所示,相比于图7c的呈现效果,此时的用户界面中,用户层仅呈现出“小窗口播放”,而视频层呈现出的视频画面由于显示参数的变化,显示位置和尺寸发生变化,尤其明显地,视频画面尺寸被放大。
用户在如图7d所示的用户界面中点击“小窗口播放”,可以看出,在用户对显示设备的操作控制下,用户界面中视频画面缩小,用户层画面适应视频画面的变化,呈现出更多内容,最终呈现效果图7c。
如本申请背景技术所述,已有的视频缩放方法中,由于视频层和图像层的缩放不同步,导致在缩放过程中经常出现黑边或者切边现象。
图e示出了在用户界面中视频画面由图7c放大到图7d的过程中,出现的黑边现象。具体来说,用户层画面的放大速度大于视频画面的放大速度,导致同时显示的两层画面尺寸不适应,进而出现黑边。
图7f示出了在用户界面中视频画面由图7d缩小到图7c的过程中出现的切边现象。具体来说,用户层画面的缩小速度大于视频画面的缩小速度,导致同时显示的两层画面尺寸不适应,用户层画面覆盖视频画面的边缘部分,进而出现切边。
图8a为本申请根据一示例性实施例示出的另一种应用场景图。如图8a所示,移动终端运行预先安装的视频显示应用,用户在小窗口播放模式下观看视频。
图8b为用户在图8a所示用户界面中点击“全屏”,而进入的又一用户界面示意图。
图8c为用户在图8b所示用户界面中点击“小窗口界面”,而进入的又一用户界面,图8c与图8a的呈现效果一致。
图8d示出了在用户界面中视频画面由图8a放大至图8b的过程中出现的黑边现象。
为了解决上述技术问题,本申请提供一种显示设备。图9为本申请根据一示例性实施例示出的显示设备硬件结构示意图。
该显示设备可以包括:
显示器280,被配置为呈现用户界面,所述用户界面包括第一视图显示区和第二视图显示区,该第一视图显示区用于呈现视频层的视频画面,该第二视图显示区用于呈现用户层的推荐信息,其中,所述用户层浮于所述视频层上呈现,所述用户层在视频画面处的控件为透明,以使所述视频层的视频画面透过所述用户层呈现。
与所述显示器280通信的控制器210,所述控制器210被配置为执行呈现用户界面,具体包括:
步骤91:执行在显示器呈现包括视频画面的用户界面。
在步骤S91之前,用户在应用中心选择一个视频显示应用,如图7a所示,进而进入该视频显示应用的用户界面,并在该用户界面选择想要观看的视频节目,如图7b所示,进而进入该播放该视频节目的用户界面,如图7c或图7d所示。
可选地,对于视频画面的呈现,显示设备至少预设两种显示模式,一种显示模式中视频画面尺寸较大,例如视频画面达到最大化的全屏播放,一种显示模式中视频画面尺寸较小,例如视频画面最小化的小窗口播放。当然,在每种模式下,视频画面的显示尺寸还需适应于显示器尺寸等等。
进一步可选地,显示设备还可以预设一个中间态显示模式,即视频画面的尺寸处于上述最大化和最小化状态之间。
步骤S92,接收用户通过控制装置输入的用于指示放大或缩小当前呈现的视频显示界面中视频画面的缩放指令,例如,可以为放大所述视频画面的指令;
可选地,在接收到缩放指令之后,判断所述缩放指令是为放大指令或为缩小指令。
步骤S93,响应于所述缩放指令,所述用户层的透明控件按照第一缩放规则缩放;
第一缩放规则用于对用户层画面进行缩放,用户层画面按照第一缩放规则缩放的过程,包括按照第一缩放规则获取用户层图层数据,和显示所述用户层图层数据。
其中,若为放大过程,用户层中用户透过视频画面的透明窗口将按照第一缩放规则放大,若为缩小过程,该透明窗口将按照第一缩放规则缩小。在用户缩放过程中,透明控件随时间的放大或虽小,透明窗口在用户层中的位置信息相应变化。
需要说明的是,在透明控件处显示的视频画面,其显示参数与透明窗口尺寸及透明窗口在用户层中的位置信息是相适应的,也就是说,在透明窗口处显示的视频画面,其显示参数需要跟随透明窗口的变化而变化。
步骤S94,确定所述预设时间内所述透明控件的位置信息,生成第二缩放规则;
该在步骤中,控制器预设时间内记录透明控件的位置信息。如每隔40ms内有3帧用户层数据,记录该三帧用户层图像的透明控件的四个点或四条边界在屏幕内的位置坐标。根据该三帧图像数据,生成第二缩放规则,预测第四帧图像中,透明控件的位置信息。
步骤S95,所述视频层内视频画面按照所述第二缩放规则缩放至目标显示位置。
本实施例中,预设时间段为当前时间点之前的一个预设的过去时间段,例如在当前时间点之前距离当前时间点预设间隔的时间段,该过去时间段由若干连续的过去时间点组成。
第二缩放规则用于使视频层的视频窗口按照该第二缩放规则与该透明控件协同缩放。该第二缩放规则为每隔预设时间就改变一次,旨在与透明控件的变化规则保持一致。
本实施例中,第二缩放规则根据预设的过去预设时间段内透明窗口在用户层中的位置信息生成。由于在过去预设时间段内,透明控件在用户层中的位置信息与该过去预设时间段内视频画面的预定显示参数是相应的,因此根据预设时间段内透明控件在用户层中的位置信息可以预测出未来某一时间点透明窗口在用户层中的位置信息,即预测出未来某一时间点待显示的视频画面的显示参数,即得到了第二缩放规则,进而可以预先缓存待显示的视频画面,避免视频画面因缓存耗时等原因而延迟显示,保证视频层待显示的画面可与用户层待显示的画面同步显示,而不会出现切边和黑边现象,使用户的视觉体验更友好。
本实施例中,目标显示位置为根据缩放指令确定的视频画面经缩放后的显示位置。例如,若缩放指令为缩小指令,则目标显示位置可以为小窗口播放模式对应的视频画面显示位置,同时也是该模式下透明窗口在用户层中的位置,若缩放指令为放大指令,则目标显示位置可以为全屏播放模式对应的视频画面显示位置,同时也是该模式下透明窗口在用户层中的位置。
由以上实施例可知,本申请实施例提供一种显示设备,其中,显示设备的控制器在接收到放大视频画面的指令后,一方面按照第一缩放规则更新所述用户层画面,另一方面获取预设时间段内所述透明控件在所述用户层中的位置信息,生成第二缩放规则,控制所述视频画面按照所述第二缩放规则放大至目标显示位置。由于在前述预设时间段内,透明控件在用户层中的位置信息与该预设时间段内视频画面的预定显示参数是相应的,因此根据预设时间段内透明控件在用户层中的位置信息可以预测出未来某一时间点透明窗口在用户层中的位置信息,即预测出未来某一时间点待显示的视频画面的显示参数,即得到了第二缩放规则,进而可以预先缓存待显示的视频画面,从而避免视频画面因缓存耗时等原因而延迟显示,保证视频层待显示的画面可与用户层待显示的画面同步显示,而不会出现切边和黑边现象,使用户的视觉体验更友好。
以下对步骤S94的具体实现方式进行详细说明。
参阅图10,在一个可选实施例中,步骤S94进一步包括:
步骤S101,响应于接收到的放大所述视频画面的指令,启动基于参数预测机制的视频画面缩放服务,所述视频画面缩放服务用于获取预设时间段内的用户层画面数据。
基于参数预测机制的视频画面缩放服务,可以为显示设备上一个单独的应用程序,当其为单独应用程序时,通过与视频显示应用交互,与视频显示应用共同提供视频画面缩放服务。还可以为视频显示应用自身配置的一段程序,独立或通过调用系统层程序提供视频画面缩放服务。
获取预设时间内所述用户界面,确定所述预设时间内所述透明控件的位置信息,生成第二缩放规则。
可选地,基于参数预测机制的视频画面缩放服务可以为至少两套,其一适用于缩小过程,即视频画面缩小服务,另一适用于放大过程,即视频画面放大服务。
一可选地,响应于缩小指令,启动基于参数预测机制的视频画面缩小服务。
另一可选地,响应于放大指令,启动基于参数预测机制的视频画面缩小服务。
步骤S102,所述基于参数预测机制的视频画面缩放服务运行,预先缓存待显示的视频画面。
与此同时,用户层待显示的画面也将按照预设的缓存机制得以缓存。
需要说明的是,待显示的视频画面由视频画面缩放服务根据其预测得到的显示参数预先缓存出来,因此能够补偿缓存耗时,进而避免视频层画面相对于用户层画面的延迟显示。
可选地,启动基于参数预测机制的视频画面缩放服务之后,基于参数预测机制的视频画面缩放服务将持续运行,直到缓存的待显示的视频画面符合目标显示模式。
目标显示模式为显示设备预设的多种显示模式中的一种,例如,若缩放指令为缩小指令,则目标显示模式可以为小窗口播放模式,若缩放指令为放大指令,则目标显示模式可以为全屏播放模式。
需要说明的是,可以根据视频画面缩放服务预测的显示参数,判断缓存的待显示的视频画面是否符合目标显示模式对应的显示参数。
该预测服务确定预定时间内,透明控件的位置信息,生成基于时间和位置的对应关系,计算缩放速率。
步骤S103,按照第二缩放规则,同步呈现所述视频层待显示的视频画面与所述用户层待显示的画面。
当计算出所述缩放速率时,根据所述缩放速率生成第二缩放规则,并控制视频层的视频层的视频画面按照第二缩放规则将视频画面缩放至目标显示位置。
以下将对步骤S102和S103的具体实现方式进一步详细说明。
图10为步骤S103的一种实现方式流程图。如图10所示,基于参数预测机制的视频画面缩放服务运行后,将执行下述步骤:
步骤S111,根据当前时间点,获取预设时间段内至少两个时间点对应的预定显示参数。
视频画面的缩放过程中,视频画面的显示参数如尺寸、参考点坐标等,随时间变化而连续变化。其中,参考点坐标用于确定视频画面在视频层的显示位置,可以为视频画面的左上角顶点或中心点在视频层的坐标,当参考点坐标及视频画面的尺寸一定时,该视频画面在视频层的显示效果随之确定。
预定显示参数是指,在缩放过程中,视频显示应用下发给视频层的底层模块,以使其根据该参数缓存出相应的待显示画面并在视频层显示。预定显示参数具体可以包括预定显示高度、预定显示宽度以及预定参考点坐标。
根据已有的缩放实现方法,连续的缩放过程可以进一步形象为,视频显示应用在连续的n个时间点依次向视频层的底层模块下发具有变化的预定显示参数,一个时间点对应一组显示参数,也即对应一帧视频画面。底层模块根据预定显示参数缓存相应的视频画面,在视频层,具有不同显示参数的视频画面依次连续显示,与此同时,用户层也将加载并显示相应的画面,以适应视频画面的缩放,进而为用户呈现出流畅的连续放大或者连续缩小过程。可以理解的是,n的大小取决于视频的帧率,具体来说,帧率越大,n就越大,帧率越小,n则越小。
用户可以通过点击用户层提供的相应控件触发缩放过程,视频显示应用响应用户点击,在前述n个时间点,依次将每个时间点对应的预定显示参数下发给视频层的底层模块。
由于参数的下发具有严格的时序性和次序性,因此,当前时间点可以理解为距离当前时间最近的一个过去时间点,当前时间点对应的预定显示参数则为本次下发的参数。
本实施例中,步骤S111的目的是从应用已下发的预定显示参数,即过去时间点对应的预定显示参数中,获取用于预测未来时间点(即当前时间点之后的时间点)对应的显示参数。由于越是相近的时间点对应的显示参数,隐含的参数变化规律越精确,因此,在本实施例中,将每个时间点关联一个时间段,即预设时间段,并使二者之间的间隔足够小,那么对于当前时间点,若从其预设时间段中,获取用于预测未来时间点的参数,则这些参数所隐含的参数变化规律更具实际变化规律的代表性,进而可在一定程度上提高步骤S112中预测结果的准确性。
预设时间段包含多个时间点,如[ti-m,ti]这一时间段内包含m+1个时间点。在步骤S111中,根据当前时间点,可以确定与其关联的所述预设时间段,进而获取该时间段内至少两个时间点对应的预定显示参数。
作为一种可能的实现方式,当前时间点为其关联的预设时间段的右边界。例如,当前时间点为ti关联的时间段为[ti-m,ti]。在步骤S111中,获取当前时间点和当前时间点之前的预设时间段内至少一个时间点对应的预定显示参数,即获取的预定显示参数为ti对应的预定显示参数,和,[ti-m,ti)中至少一个时间点对应的预定显示参数。本实现方式将当前时间点对应的预定显示参数用于预测未来时间点的显示参数,能够进一步提高预测结果的准确性。
当然,在其他可能的实现方式中,还可以两个以上的时间点对应的预定显示参数,本申请对此不加以限定。
通过步骤S111,获取已下发的至少部分时间点对应的预定显示参数,并尽可能地选取出能够代表缩放过程参数变化趋势的数据,以在后续步骤中,利用这些参数隐含的变化趋势,预测未来时间点对应的显示参数。
步骤S112,根据获取的所述预定显示参数,生成目标时间点对应的显示参数预测值,所述显示参数预测值用于视频层预先缓存所述目标时间点待显示的视频画面,所述目标时间点为当前时间点之后且距离当前时间点预设间隔的时间点。
目标时间点是指距离当前时间点预设间隔的未来时间点。其中,两个时间点的间隔可以利用二者之间存在的时间点个数来度量。例如,在当前时间点和目标时间点之间存在j个时间点,则间隔为j。
步骤S112利用根据当前时间点获取的预定显示参数,生成目标时间点对应的显示参数预测值,以使视频层的底层模块可以根据显示参数预测值,预先缓存出相应的视频画面。也就是说,在应用仅仅下发当前时间点对应的预定显示参数的情况下,视频层的底层模块已将距当前时间点预设间隔的未来时间点相应的视频画面缓存完毕,从而既能补偿n帧视频画面的累计缓存耗时∑△ti,还能将预设帧数的视频画面超前缓存出来,解决了现有缩放方法中视频层画面显示延迟的问题,避免出现黑边或者切边现象。
需要说明的是,预设间隔的大小决定了视频层的底层模块所能超前缓存的视频画面帧数。具体来说,假设假设间隔为j,则当前时间点ti对应的目标时间点为ti+j,也就是说,在应用下发ti对应的预定显示参数后,视频层的底层模块就可以根据ti+j对应的显示参数预测值,缓存第i+j帧视频画面,而非第i帧,进而不影响第i帧视频画面的即时显示。
作为一种可能的实现方式,步骤S112可以包括图11所示细化步骤:
步骤S121,根据获取的预定显示参数,计算预定参数变化量。
预定参数变化量可以作为预定显示参数变化幅度的量化表示。由于预定显示参数的变化包括高度变化、宽度变化等等,因此计算预定显示高度的变化量或者预定显示宽度的变化量,作为预定参数变化量。
如果在步骤S111中,获取当前时间点和上一个时间点对应的预定显示参数,则可以使用下式计算预定参数变化量:
Δp=Δh=hi-hi-1,或者,Δp=Δw=wi-wi-1
其中,Δp表示预定参数变化量;Δh表示预定高度变化量;hi表示当前时间点对应的预定显示高度;hi-1上一个时间点对应的预定显示高度;Δw表示预定宽度变化量;wi表示当前时间点对应的预定显示宽度;wi-1表示上一个时间点对应的预定显示宽度。。
步骤S122,使用预测权重和预定参数变化量,计算目标时间点对应的显示参数预测变化量。
显示参数预测变化量代表目标时间点相对于当前时间点的参数预测变化量。由于缩放过程的参数变化规律未必是线性规律,即每个时间点相对于过去时间点的参数变化量并非一成不变,因此本申请采用预测权重对预定参数变化量进行调整,以得到目标时间点对应的显示参数预测变化量。具体可将预测权重与预定参数变化量相乘,将其乘积作为显示参数预测变化量。
在缩放过程的伊始,或者说,当当前时间点为缩放过程的第一个时间点时,使用预设的预测权重初始值计算第一个目标时间点的显示参数预测变化量。另外,由于放大过程和缩小过程视频层画面所产生的延时不同,因此针对放大和缩小两个过程分别设置不同的预测权重初始值。
基于此,如果判定当前时间点为缩放过程的第一个时间点,则需要根据缩放过程起始点对应的显示参数和当前时间点对应的预定显示参数判定缩放过程是为放大过程,或是为缩小过程,以选择相应的预测权重初始值。其中,起始点是指用户触发缩放过程之时且用户界面仍处于原始状态的时间点,起始点对应的显示参数则至少包括全屏播放和小窗口播放两种模式下的显示参数。具体的,如果起始点对应的显示高度大于当前时间点对应的预定显示高度,可见具有缩小趋势,因此为缩小过程,反之,则为放大过程。
如果缩放过程是为放大过程,则选择放大过程对应的预测权重初始值,以用于计算放大过程第一个目标时间点对应的显示参数预测变化量;如果缩放过程是为缩小过程,选择缩小过程对应的预测权重初始值,以用于计算缩小过程第一个目标时间点对应的显示参数预测变化量。
在步骤S122中,预测权重用于对预定参数变化量进行调整,以得到目标时间点对应的显示参数变化量。由于在缩放过程的不同时间段,显示参数的变化趋势不尽相同,因此如若始终采用同一个预测权重,将导致得到的显示参数预测变化量准确性不足,进而影响目标时间点显示参数预测值的准确性。
为了进一步提高预测结果的准确性,在一个优选实现方式中,利用计数器记录当前预测权重的使用次数,并在执行步骤S122之前,判断预测权重的使用次数是否超过预设使用次数,若是,则利用预设更新系数对预测权重进行重新赋值,即令预测权重=预测权重×预设更新系数,以将新的预测权重用于步骤S112中的计算;若否,则使用当前的预测权重进行步骤S112的计算。其中,预设更新系数一般在0~1之间。
采用上述优选实现方式,随着时间点的推移,对预测权重不断更新,使本申请预测机制具有较高的灵活性,进而提高目标时间点显示参数预测值的准确性。
步骤S123,根据所述显示参数预测变化量,计算目标时间点对应的显示参数预测值。
显示参数预测变化量是通过预测得到的目标时间点相对于当前时间点的参数变化量,因此,具体实现中,可以使用下式,计算目标时间点对应的显示参数预测值:
hG=hi+Δp;
其中,xG、yG、wG和hG分别表示目标时间点对应的预测参考横坐标、预测参考纵坐标、显示宽度预测值和显示高度预测值;xi、yi、wi和hi分别表示当前时间点对应的预定参考横坐标、预定参考纵坐标、预定显示宽度和预定显示高度;Δp=Δh。
步骤S113,根据所述显示参数预测值预先缓存所述目标时间点待显示的视频画面。
综上所述,步骤S104,首先根据当前时间点,获取预设时间段内至少两个时间点对应的预定显示参数,以用于预测。由于前述参数根据当前时间点获取,因此可以保证参数的代表性。再根据获取的预定显示参数,生成目标时间点对应的显示参数预测值,所述目标时间点为当前时间点之后且距离当前时间点预设间隔的时间点,即在当前时间就能获得未来时间点的显示参数,所述显示参数预测值用于视频层预先缓存目标时间点待显示的视频画面,也就是对未来时间点待显示视频画面的预先缓存。由于每帧待显示的视频画面均已预先缓存出来,因此能够将视频层待显示的视频画面与用户层待显示的画面按照预设规则同步显示,而不会出现切边或黑边现象,使用户的视觉体验更友好。
按照预设规则,同步呈现所述视频层待显示的视频画面与所述用户层待显示的画面。
视频层待显示的视频画面,即视频层的底层模块根据显示参数预测值预先缓存的视频画面。
上述预设规则中至少可以包括用于匹配视频画面与用户层画面的规则,以使同步显示的两层画面为相适应的画面。另外,本申请所述的同步显示是指将相适应的两层画面在同一时刻显示,或者依次显示两层画面的时间足够短。基于此,上述预设规则还可以包括设定的依次显示两层画面的时间间隔的阈值。
另外,还可以在预设规则中规定视频画面和用户层画面的显示时间与应用下发预定显示参数的时间点的关系,例如,依次执行的参数下发和显示的两个动作的时长等等。当在足够短的时长内先后执行参数下发和显示这两个动作时,将为用户呈现出即时、流程的画面缩放效果。
本实施例提供的显示设备呈现的用户界面中视频画面的缩放方法,通过所述基于参数预测机制的视频画面缩放服务,预先缓存待显示的视频画面,从而避免视频画面因缓存耗时等原因而延迟显示,保证视频层待显示的画面可与用户层待显示的画面同步显示,杜绝切边和黑边现象,使用户的视觉体验更友好。
另外,本申请实施例还提供一种显示设备呈现的用户界面中视频画面的缩放方法,包括:
步骤131,接收用户输入的用于指示放大视频画面的指令,用户层的透明控件按照第一缩放规则放大;
步骤132,确定所述预设时间内所述透明控件的位置信息,生成第二缩放规则;
步骤133,所述视频层内视频画面按照所述第二缩放规则放大至目标显示位置,其中,所述用户界面包括第一视图显示区和第二视图显示区,该第一视图显示区用于呈现视频层的视频画面,该第二视图显示区用于呈现用户层的推荐信息,其中,所述用户层浮于所述视频层上呈现,所述用户层在视频画面处的控件为透明,以使所述视频层的视频画面透过所述用户层呈现。
以上步骤131-133中任意步骤的具体实现方式可以参见上述显示设备实施例,此处不再赘述。
具体实现中,本发明还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本发明提供的缩放方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称:ROM)或随机存储记忆体(英文:random access memory,简称:RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于缩放装置和显示设备的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (6)

1.一种显示设备,其特征在于,包括:
显示器,被配置为呈现用户界面,所述用户界面包括第一视图显示区和第二视图显示区,该第一视图显示区用于呈现视频层的视频画面,该第二视图显示区用于呈现用户层的推荐信息,其中,所述用户层浮于所述视频层上呈现,所述用户层在视频画面处的控件为透明,以使所述视频层的视频画面透过所述用户层呈现;
与所述显示器通信的控制器,所述控制器被配置为执行呈现用户界面:
接收用户输入的用于指示放大所述视频画面的指令,所述用户层的透明控件按照第一缩放规则放大;
确定预设时间内所述透明控件的位置信息,生成第二缩放规则;
所述视频层内视频画面按照所述第二缩放规则放大至目标显示位置;
其中,所述确定所述预设时间内所述透明控件的位置信息,生成第二缩放规则包括:根据当前时间点,获取预设时间内至少两个时间点对应的所述透明控件的预定显示参数;
根据获取的预定显示参数,计算预定参数变化量;
使用预测权重和预定参数变化量,计算目标时间点对应的显示参数预测变化量;
根据所述显示参数预测变化量,计算目标时间点对应的显示参数预测值,所述目标时间点为当前时间点之后且距离当前时间点预设间隔的时间点;
根据所述显示参数预测值预先缓存所述目标时间点待显示的视频画面。
2.根据权利要求1所述的显示设备,其特征在于,所述控制器计算预定参数变化量之后,还包括:
判断所述预测权重的使用次数是否超过预设使用次数;
若是,令目标时间点的预测权重=预测权重×预设更新系数,其中预设更新系数用于根据所述预设使用次数对预测权重进行更新;
若否,则使用当前的预测权重进行下一步计算。
3.根据权利要求1所述的显示设备,其特征在于,所述控制器根据获取的预定显示参数,计算预定参数变化量,包括:
所述预定显示参数包括预定显示高度、预定显示宽度和预定参考点坐标;
计算当前时间点和当前时间点之前的预设时间段内至少一个时间点对应的预定显示高度的变化量或者预定显示宽度的变化量,作为预定参数变化量。
4.根据权利要求1所述的显示设备,其特征在于,所述控制器使用预测权重和预定参数变化量,计算目标时间点对应的显示参数预测变化量,包括:
计算所述预测权重与预定参数变化量的乘积,作为所述目标时间点对应的显示参数预测变化量。
5.根据权利要求1所述的显示设备,其特征在于,所述控制器根据显示参数预测变化量,使用下式,计算目标时间点对应的显示参数预测值:
hG=hi+Δp;
其中,xG、yG、wG和hG分别表示目标时间点对应的预测参考横坐标、预测参考纵坐标、显示宽度预测值和显示高度预测值;xi、yi、wi和hi分别表示当前时间点对应的预定参考横坐标、预定参考纵坐标、预定显示宽度和预定显示高度;Δp表示显示参数预测变化量。
6.一种显示设备呈现的用户界面中视频画面的缩放方法,其特征在于:应用于显示设备,所述显示设备包括显示器和控制器,所述显示器被配置为提供用户界面,所述用户界面包括第一视图显示区和第二视图显示区,该第一视图显示区用于呈现视频层的视频画面,该第二视图显示区用于呈现用户层的推荐信息,其中,所述用户层浮于所述视频层上呈现,所述用户层在视频画面处的控件为透明,以使所述视频层的视频画面透过所述用户层呈现,所述缩放方法包括:
接收用户输入的用于指示放大视频画面的指令,用户层的透明控件按照第一缩放规则放大;
确定预设时间内所述透明控件的位置信息,生成第二缩放规则;
所述视频层内视频画面按照所述第二缩放规则放大至目标显示位置;
其中,所述确定所述预设时间内所述透明控件的位置信息,生成第二缩放规则包括:根据当前时间点,获取预设时间内至少两个时间点对应的所述透明控件的预定显示参数;
根据获取的预定显示参数,计算预定参数变化量;
使用预测权重和预定参数变化量,计算目标时间点对应的显示参数预测变化量;
根据所述显示参数预测变化量,计算目标时间点对应的显示参数预测值,所述目标时间点为当前时间点之后且距离当前时间点预设间隔的时间点;
根据所述显示参数预测值预先缓存所述目标时间点待显示的视频画面。
CN201910641912.XA 2019-07-16 2019-07-16 视频画面缩放方法及显示设备 Active CN112243147B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910641912.XA CN112243147B (zh) 2019-07-16 2019-07-16 视频画面缩放方法及显示设备
PCT/CN2020/076703 WO2021008137A1 (zh) 2019-07-16 2020-02-26 显示设备及视频画面缩放方法
US17/645,511 US20220114695A1 (en) 2019-07-16 2021-12-22 Display apparatus and image scaling method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910641912.XA CN112243147B (zh) 2019-07-16 2019-07-16 视频画面缩放方法及显示设备

Publications (2)

Publication Number Publication Date
CN112243147A CN112243147A (zh) 2021-01-19
CN112243147B true CN112243147B (zh) 2023-08-04

Family

ID=74166950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910641912.XA Active CN112243147B (zh) 2019-07-16 2019-07-16 视频画面缩放方法及显示设备

Country Status (3)

Country Link
US (1) US20220114695A1 (zh)
CN (1) CN112243147B (zh)
WO (1) WO2021008137A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117459662A (zh) * 2023-10-11 2024-01-26 书行科技(北京)有限公司 一种视频播放方法、识别方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007207048A (ja) * 2006-02-03 2007-08-16 Institute Of National Colleges Of Technology Japan 画像処理方法
CN103260081A (zh) * 2012-02-21 2013-08-21 中国移动通信集团公司 一种视频图像缩放处理方法及装置
CN106980510A (zh) * 2017-04-14 2017-07-25 宁波视睿迪光电有限公司 一种播放器的视窗自适应方法及装置
CN107852531A (zh) * 2015-08-25 2018-03-27 Lg电子株式会社 显示装置及其控制方法
CN108900898A (zh) * 2018-08-21 2018-11-27 北京深瞐科技有限公司 视频结构化方法、装置及系统
CN109547838A (zh) * 2018-12-06 2019-03-29 青岛海信传媒网络技术有限公司 视频窗口的处理方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6407747B1 (en) * 1999-05-07 2002-06-18 Picsurf, Inc. Computer screen image magnification system and method
KR102227088B1 (ko) * 2014-08-11 2021-03-12 엘지전자 주식회사 전자기기 및 그것의 제어방법
CN106294474B (zh) * 2015-06-03 2019-07-16 阿里巴巴集团控股有限公司 显示数据的处理方法、装置及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007207048A (ja) * 2006-02-03 2007-08-16 Institute Of National Colleges Of Technology Japan 画像処理方法
CN103260081A (zh) * 2012-02-21 2013-08-21 中国移动通信集团公司 一种视频图像缩放处理方法及装置
CN107852531A (zh) * 2015-08-25 2018-03-27 Lg电子株式会社 显示装置及其控制方法
CN106980510A (zh) * 2017-04-14 2017-07-25 宁波视睿迪光电有限公司 一种播放器的视窗自适应方法及装置
CN108900898A (zh) * 2018-08-21 2018-11-27 北京深瞐科技有限公司 视频结构化方法、装置及系统
CN109547838A (zh) * 2018-12-06 2019-03-29 青岛海信传媒网络技术有限公司 视频窗口的处理方法及装置

Also Published As

Publication number Publication date
US20220114695A1 (en) 2022-04-14
CN112243147A (zh) 2021-01-19
WO2021008137A1 (zh) 2021-01-21

Similar Documents

Publication Publication Date Title
CN109618206B (zh) 呈现用户界面的方法和显示设备
CN112118400B (zh) 显示设备上图像的显示方法及显示设备
CN112087671B (zh) 一种输入法控件的操控提示信息的显示方法及显示设备
CN111899175A (zh) 图像转换方法及显示设备
CN111954059A (zh) 屏保的展示方法及显示设备
CN112243141A (zh) 投屏功能的显示方法及显示设备
WO2021213097A1 (zh) 一种显示设备及投屏方法
CN111757181B (zh) 一种减少网络媒体清晰度抖动的方法及显示设备
CN110602540B (zh) 显示设备音量控制方法及显示设备
CN112243147B (zh) 视频画面缩放方法及显示设备
CN112243148B (zh) 显示设备及视频画面缩放方法
CN111935530B (zh) 一种显示设备
CN112040297B (zh) 一种epg页面的翻页方法及显示设备
CN112104950B (zh) 一种音量控制方法及显示设备
CN112235621B (zh) 一种可视区域的显示方法及显示设备
CN111988646B (zh) 一种应用程序的用户界面显示方法和显示设备
CN111259639B (zh) 一种表格的自适应调节方法及显示设备
CN114417035A (zh) 一种图片浏览方法和显示设备
CN112367550A (zh) 一种媒资列表多标题动态展示的实现方法及显示设备
CN113971049A (zh) 一种后台服务管理方法及显示设备
CN112261463A (zh) 显示设备及节目推荐方法
CN112218156A (zh) 一种调节视频动态对比度的方法及显示设备
CN113467651A (zh) 一种控件对应的内容的显示方法及显示设备
CN113495654A (zh) 一种控件展示方法及显示设备
CN112135173B (zh) 一种改善流媒体起播码率的方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221013

Address after: 83 Intekte Street, Devon, Netherlands

Applicant after: VIDAA (Netherlands) International Holdings Ltd.

Address before: 266100 Songling Road, Laoshan District, Qingdao, Shandong Province, No. 399

Applicant before: QINGDAO HISENSE MEDIA NETWORKS Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant