CN113099308A - 一种内容显示方法、显示设备及图像采集器 - Google Patents

一种内容显示方法、显示设备及图像采集器 Download PDF

Info

Publication number
CN113099308A
CN113099308A CN202110350826.0A CN202110350826A CN113099308A CN 113099308 A CN113099308 A CN 113099308A CN 202110350826 A CN202110350826 A CN 202110350826A CN 113099308 A CN113099308 A CN 113099308A
Authority
CN
China
Prior art keywords
video stream
format
static
display
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110350826.0A
Other languages
English (en)
Other versions
CN113099308B (zh
Inventor
王光强
薛新丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Media Network Technology Co Ltd
Original Assignee
Qingdao Hisense Media Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Media Network Technology Co Ltd filed Critical Qingdao Hisense Media Network Technology Co Ltd
Priority to CN202110350826.0A priority Critical patent/CN113099308B/zh
Publication of CN113099308A publication Critical patent/CN113099308A/zh
Application granted granted Critical
Publication of CN113099308B publication Critical patent/CN113099308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4825End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供一种内容显示方法、显示设备及图像采集器,方法包括预设应用发送图像采集器调用指令后,控制图像采集器启动,图像采集器采集视频流。如果视频流的画面为动态画面,则图像采集器将动态格式的视频流输出至显示设备,通过预设应用在显示器上播放动态格式的视频流。如果视频流的画面为静态画面,图像采集器将静态格式的视频流输出至显示设备,通过预设应用在显示器上播放静态格式的视频流。从而能够自动确定摄像头采集图像的格式,以适用预设应用的内容在显示屏幕上的展示,而不需要用户手动设置格式,提升用户体验。

Description

一种内容显示方法、显示设备及图像采集器
技术领域
本申请涉及显示设备技术领域,尤其涉及一种内容显示方法、显示设备及图像采集器。
背景技术
近年来,人们对智能电视功能需求日益提升。人们已经不能满足于仅仅通过智能电视来进行观影,还希望通过智能电视来进行娱乐活动。因此,越来越多的智能电视上增设了摄像头。基于摄像头的一些体验类应用也应运而生,例如拍照应用,健身应用等。
目前基于摄像头的智能电视应用,通常是通过摄像头采集图像后,将采集的图像在显示屏幕上进行展示,从而实现交互的目的。
然而,基于摄像头的智能电视应用多种多样,目前的智能电视不能同时兼容动态图像和静态图像。用户打开应用后,可能需要手动设置摄像头采集图像的格式,以适用该应用的内容在显示屏幕上的展示,造成用户使用体验较差。
发明内容
本申请提供了一种内容显示方法、显示设备及图像采集器,用于解决基于摄像头的智能电视应用多种多样,目前的智能电视不能同时兼容动态图像和静态图像。用户打开应用后,可能需要手动设置摄像头采集图像的格式,以适用该应用的内容在显示屏幕上的展示,造成用户使用体验较差的问题。
第一方面,本实施例提供一种显示设备,包括,
显示器;
控制器,用于执行:
接收预设应用发送的图像采集器调用指令,根据所述调用指令启动所述图像采集器,以使所述图像采集器采集视频流;
在所述视频流的画面为动态画面时,从所述图像采集器接收动态格式的所述视频流,以及将动态格式的所述视频流输出至所述预设应用,以使在所述显示器上播放动态格式的所述视频流;
在所述视频流的画面为静态画面时,从所述图像采集器接收静态格式的所述视频流,以及将静态格式的所述视频流输出至所述预设应用,以使在所述显示器上播放静态格式的所述视频流。
第二方面,本实施例提供一种显示设备,包括:
显示器;
控制器,用于执行:
接收预设应用发送的图像采集器调用指令,根据所述调用指令启动所述图像采集器,以使所述图像采集器采集视频流,其中所述调用指令携带所述预设应用所需的视频编码格式;
在所述视频编码格式为动态格式时,从所述图像采集器接收动态格式的所述视频流,以及将动态格式的所述视频流输出至所述预设应用,以使在所述显示器上播放动态格式的所述视频流;
在所述视频编码格式为静态格式时,从所述图像采集器接收静态格式的所述视频流,以及将静态格式的所述视频流输出至所述预设应用,以使在所述显示器上播放静态格式的所述视频流。
第三方面本实施例提供一种图像采集器,用于执行:
接收显示设备发送的调用指令,根据所述调用指令采集视频流;
在所述视频流的画面为动态画面时,将所述视频流压缩成动态格式的所述视频流,以及将动态格式的所述视频流反馈至显示设备,以使在显示设备上播放动态格式的所述视频流;
在所述视频流的画面为静态画面时,将所述视频流压缩成静态格式的所述视频流,以及将静态格式的所述视频流反馈至显示设备,以使在显示设备上播放静态格式的所述视频流。
第四方面本实施例提供一种图像采集器,用于执行:
接收显示设备的预设应用发送的调用指令,根据所述调用指令采集视频流,其中所述调用指令携带所述预设应用所需的视频编码格式;
在所述视频编码格式为动态格式时,将所述视频流压缩成动态格式的所述视频流,以及将动态格式的所述视频流反馈至显示设备,以使在所述预设应用上播放动态格式的所述视频流;
在所述视频编码格式为静态格式时,将所述视频流压缩成静态格式的所述视频流,以及将静态格式的所述视频流反馈至显示设备,以使在所述预设应用上播放静态格式的所述视频流。
第五方面,本实施例提供一种内容显示方法,所述方法应用于显示设备,包括:
接收预设应用发送的图像采集器调用指令,根据所述调用指令启动所述图像采集器,以使所述图像采集器采集视频流;
在所述视频流的画面为动态画面时,从所述图像采集器接收动态格式的所述视频流,以及将动态格式的所述视频流输出至所述预设应用,以使在显示器上播放动态格式的所述视频流。
在所述视频流的画面为静态画面时,从所述图像采集器接收静态格式的所述视频流,以及将静态格式的所述视频流输出至所述预设应用,以使在显示器上播放静态格式的所述视频流。
第六方面,本实施例提供一种内容显示方法,所述方法应用于显示设备,包括:
接收预设应用发送的图像采集器调用指令,根据所述调用指令启动所述图像采集器,以使所述图像采集器采集视频流,其中所述调用指令携带所述预设应用所需的视频编码格式;
在所述视频编码格式为动态格式时,从所述图像采集器接收动态格式的所述视频流,以及将动态格式的所述视频流输出至所述预设应用,以使在所述显示器上播放动态格式的所述视频流;
在所述视频编码格式为静态格式时,从所述图像采集器接收静态格式的所述视频流,以及将静态格式的所述视频流输出至所述预设应用,以使在所述显示器上播放静态格式的所述视频流。
本实施例提供的内容显示方法、显示设备及图像采集器,预设应用发送图像采集器调用指令后,控制图像采集器启动,图像采集器采集视频流。如果视频流的画面为动态画面,则图像采集器将动态格式的视频流输出至显示设备,通过预设应用在显示器上播放动态格式的视频流。如果视频流的画面为静态画面,图像采集器将静态格式的视频流输出至显示设备,通过预设应用在显示器上播放静态格式的视频流。从而能够自动确定摄像头采集图像的格式,以适用预设应用的内容在显示屏幕上的展示,而不需要用户手动设置格式,提升用户体验。
本申请提供的另一种内容显示方法、显示设备及图像采集器,预设应用发送图像采集器调用指令后,控制图像采集器启动,图像采集器采集视频流。图像采集器根据调用指令携带的编码格式压缩视频流,并将压缩后的视频流反馈至显示设备。从而也可实现自动确定摄像头采集图像的格式,以适用预设应用的内容在显示屏幕上的展示,而不需要用户手动设置格式,提升用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据一些实施例的显示设备的使用场景;
图2示出了根据一些实施例的控制装置100的硬件配置框图;
图3示出了根据一些实施例的显示设备200的硬件配置框图;
图4示出了根据一些实施例的显示设备200中软件配置图;
图5示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示图;
图6示出了根据一些实施例的内容显示系统的框架示意图;
图7示出了根据一些实施例中显示设备200中的用户界面示意图;
图8示出了根据一些实施例中又一种显示设备200中的用户界面示意图;
图9示出了根据一些实施例的内容显示方法信令图;
图10示出了根据一些实施例的又一种内容显示方法信令图。
具体实施方式
为使本申请的目的和实施方式更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语″第一″、″第二″、″第三″等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语″包括″和″具有″以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的所有组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语″模块″是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
图1为根据实施例中显示设备的使用场景的示意图。如图1所示,显示设备200还与服务器400进行数据通信,用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式中的至少一种,通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令,来控制显示设备200。
在一些实施例中,智能设备300可以包括移动终端300A、平板电脑、计算机、笔记本电脑,AR/VR设备等中的任意一种。
在一些实施例中,也可以使用智能设备300以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。
在一些实施例中,也可以使用智能设备300和显示设备进行数据的通信。
在一些实施例中,显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制,例如,可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制,也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
在一些实施例中,显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。
在一些实施例中,一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的,服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行,反之亦然。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示,控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。
在一些实施例中,通信接口130用于和外部通信,包含WIFI芯片,蓝牙模块,NFC或可替代模块中的至少一种。
在一些实施例中,用户输入/输出接口140包含麦克风,触摸板,传感器,按键或可替代模块中的至少一种。
图3示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中,显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器包括中央处理器,视频处理器,音频处理器,图形处理器,RAM,ROM,用于输入/输出的第一接口至第n接口。
在一些实施例中,显示器260包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件,用于接收源自控制器输出的图像信号,进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。
在一些实施例中,显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种,还可以为一种投影装置和投影屏幕。
在一些实施例中,调谐解调器210通过有线或无线接收方式接收广播电视信号,以及从多个无线或有线广播电视信号中解调出音视频信号,如以及EPG数据信号。
在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括Wifi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
在一些实施例中,检测器230用于采集外部环境或与外部交互的信号。例如,检测器230包括光接收器,用于采集环境光线强度的传感器;或者,检测器230包括图像采集器,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手势,再或者,检测器230包括声音采集器,如麦克风等,用于接收外部声音。
在一些实施例中,外部装置接口240可以包括但不限于如下:高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。
在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器260上显示UI对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中,所述对象可以是可选对象中的任何一个,例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有:显示连接到超链接页面、文档、图像等操作,或者执行与所述图标相对应程序的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit,CPU),视频处理器,音频处理器,图形处理器(Graphics Processing Unit,GPU),RAM Random AccessMemory,RAM),ROM(Read-Only Memory,ROM),用于输入/输出的第一接口至第n接口,通信总线(Bus)等中的至少一种。
CPU处理器。用于执行存储在存储器中操作系统和应用程序指令,以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。CPU处理器,可以包括多个处理器。如,包括一个主处理器以及一个或多个子处理器。
在一些实施例中,图形处理器,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象;还包括渲染器,对基于运算器得到的各种对象,进行渲染,上述渲染后的对象用于显示在显示器上。
在一些实施例中,视频处理器,用于将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种,可得到直接可显示设备200上显示或播放的信号。
在一些实施例中,视频处理器,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中,解复用模块,用于对输入音视频数据流进行解复用处理。视频解码模块,用于对解复用后的视频信号进行处理,包括解码和缩放处理等。图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。帧率转换模块,用于对转换输入视频帧率。显示格式化模块,用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出RGB数据信号。
在一些实施例中,音频处理器,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理中的至少一种,得到可以在扬声器中播放的声音信号。
在一些实施例中,用户可在显示器260上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
在一些实施例中,″用户界面″,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。
在一些实施例中,用户接口280,为可用于接收控制输入的接口(如:显示设备本体上的实体按键,或其他等)。
在一些实施例中,显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构,它们让用户可以管理文件、运行程序并使用系统。上电后,内核启动,激活内核空间,抽象硬件、初始化硬件参数等,运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后,再加载Shell和用户应用程序。应用程序在启动后被编译成机器码,形成一个进程。
参见图4,在一些实施例中,将系统分为四层,从上至下分别为应用程序(Applications)层(简称″应用层″),应用程序框架(Application Framework)层(简称″框架层″),安卓运行时(Android runtime)和系统库层(简称″系统运行库层″),以及内核层。
在一些实施例中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等;也可以是第三方开发者所开发的应用程序。在具体实施时,应用程序层中的应用程序包不限于以上举例。
框架层为应用程序层的应用程序提供应用编程接口(application programminginterface,API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口,可在执行中访问系统中的资源和取得系统的服务。
如图4所示,本申请实施例中应用程序框架层包括管理器(Managers),内容提供者(Content Provider)等,其中管理器包括以下模块中的至少一个:活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互;位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问;文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息;通知管理器(NotificationManager)用于控制通知消息的显示和清除;窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中,活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能,比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序,比如获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕,控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中,系统运行库层为上层即框架层提供支撑,当框架层被使用时,安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中,内核层是硬件和软件之间的层。如图4所示,内核层至少包含以下驱动中的至少一种:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器,温度传感器,压力传感器等)、以及电源驱动等。
在一些实施例中,显示设备启动后可以直接进入预置的视频点播程序的界面,视频点播程序的界面可以如图5中所示,至少包括导航栏510和位于导航栏510下方的内容显示区,内容显示区中显示的内容会随导航栏中被选中控件的变化而变化。应用程序层中的程序可以被集成在视频点播程序中通过导航栏的一个控件进行展示,也可以在导航栏中的应用控件被选中后进行进一步显示。
在一些实施例中,显示设备启动后可以直接进入上次选择的信号源的显示界面,或者信号源选择界面,其中信号源可以是预置的视频点播程序,还可以是HDMI接口,直播电视接口等中的至少一种,用户选择不同的信号源后,显示器可以显示从不同信号源获得的内容。
为了更清楚的解释本申请实施例,以下对一些名称进行解释:
MJPEG(逐帧压缩技术),一种视频压缩格式,其原理是将镜头拍成的视频分成一张张分离的JPEG格式的图像。其特点是不考虑视频流中不同帧之间的变化,只单独对某一帧进行压缩,压缩效率较低,但可以获取清晰度较高的视频图像。MJPEG格式的视频流中的每一帧视频图像都可以独立出来。
H264是MPEG-4标准所定义的编码格式。H264的核心算法是帧内压缩和帧件压缩。其特点是使用高编码效率,具有很高的数据压缩比率,能够在低码率情况下提供高质量的视频图像。
近年来,人们对智能电视功能需求日益提升。人们已经不能满足于仅仅通过智能电视来进行观影,还希望通过智能电视来进行娱乐活动。因此,越来越多的智能电视上增设了摄像头。基于摄像头的一些体验类应用也应运而生,例如拍照应用,健身应用等。
目前基于摄像头的智能电视应用,通常是通过摄像头采集图像后,将采集的图像在显示屏幕上进行展示,从而实现交互的目的。
然而,基于摄像头的智能电视应用多种多样,目前的智能电视不能同时兼容动态图像和静态图像。用户打开应用后,可能需要手动设置摄像头采集图像的格式,以适用该应用的内容在显示屏幕上的展示,造成用户使用体验较差。
为了解决上述问题,如图6所示,本申请提供一种内容显示系统,该系统包括显示设备200和图像采集器230A,其中图像采集器可以是作为显示设备的部件,也可以是不作为显示设备的部件。本申请实施例均将图像采集器作为独立的部件为示例进行方案的阐述。图像采集器可以为摄像头等设备,只需实现采集视频流的功能,对于设备类型本申请不作限制。
显示设备包括显示器260和控制器250,该显示设备的应用程序层中运行有至少一个应用程序。这里,控制器可以是摄像头调度模块。图像采集器用于采集显示设备前端的画面,并形成视频流。显示器用于播放图像采集器采集的视频流。
基于上述显示设备,用户开启显示设备后,选择显示设备中已经安装的预设应用,开启选择的预设应用。预设应用启动后,首先判断该预设应用是否需要开启图像采集器。可以是预设应用启动后,如果预设应用向控制器发送图像采集器调用指令。则控制器根据该调用指令启动图像采集器。如果预设应用未向控制器发送图像采集器调用指令,则预设应用不需要使用图像采集器,控制器不控制图像采集器启动,预设应用按照其自身的业务逻辑运行。
在一些实施例中,预设应用启动后,并不立即向控制器发送图像采集器调用指令。而是在实际需要使用图像采集器时,才向控制器发送图像采集器调用指令。
图像采集器启动后,采集显示设备前端的图像,并形成视频流。
在一些实施例中,图像采集器采集视频流后,根据该视频流判断视频流的画面是动态画面还是静态画面。
如果视频流的画面为动态画面时,图像采集器将该视频流压缩成动态格式的视频流,以及将动态格式的视频流输出至控制器。控制器进一步将动态格式的视频流发送至预设应用,通过预设应用在显示器上播放动态格式的视频流。
如果视频流的画面为静态画面时,图像采集器将该视频流压缩成静态格式的视频流,以及将静态格式的视频流输出至控制器。控制器进一步将静态格式的视频流发送至预设应用,通过预设应用在显示器上播放静态格式的视频流。
示例性的,动态格式的视频流可以是H264格式的视频流,静态格式的视频流可以是MJPEG格式的视频流。如果采集的视频流的画面为静态画面,则可以在显示器上播放MJPEG格式视频流中的静态高清图像。如果采集的视频流的画面为动态画面,则可以在显示器上播放H264格式的视频图像。
在一些实施例中,如果视频流的画面为人物图像时,确定视频流的画面状态的具体方法为:
根据人物图像中人物的骨骼点位置是否变化,确定视频流的画面状态。具体的,根据人物的骨骼点位置在预设间隔时间内实际变化值与预设变化值的大小关系,判断骨骼点位置是否变化。如果人物图像中人物的骨骼点位置在预设间隔时间内实际变化值大于或等于预设变化值时,确定人物的骨骼点位置发生变化,则确定视频流的画面为动态画面。相反地,如果人物图像中人物的骨骼点位置在预设间隔时间内实际变化值小于预设变化值时,确定人物的骨骼点位置未发生变化,则确定视频流的画面的静态画面。
示例性的,如果用户正在拍照,则用户可能会保持一个姿势较长时间,或者姿势有幅度较小的调整。因此,在视频流的画面中,用户的骨骼点位置在某段时间内调整的位置变化值小于预设变化值,确定用户骨骼点位置未发生变化,则可以确定画面为静态画面。如果用户正在录像,则用户并不会保持一个姿势较长时间。因此,在视频流的画面中,用户的骨骼点位置在某段时间内调整的位置变化值较大,明显超过预设变化值,则确定用户骨骼点位置发生变化,则可以确定画面为动态画面。这里,用户的骨骼点位置指的是用户的肢体骨骼点位置,并不包括五官的骨骼点变化。例如,并不包括眨眼,嘴型变化等动作。
在一些实施例中,如果确定视频流的画面为动态画面时,在显示器上同时播放动态格式视频流和示范视频流,示范视频流为预存在预设应用中的。在显示器上同时播放动态格式视频流和示范视频流后,可以根据动态格式视频流中人物的骨骼点位置和示范视频流中人物的骨骼点位置的不同,在显示器上显示提示信息。该提示信息用户提示动态格式视频流中人物的骨骼点位置和示范视频流中人物的骨骼点位置的不同之处。
示例性的,预设应用为健身应用,动态格式视频流为图像采集器录制的用户的健身视频,示范视频流为预存在预设应用中的示范健身视频。用户在健身的过程中,可以通过显示器查看到提示信息。
如图7所示的显示设备的用户界面示意图,用户在做箭步蹲这个动作时,可以分析采集的用户视频流中用户的骨骼点位置和示范视频流中教练的骨骼点位置的不同之处。并将不同之处在显示器上显示。例如,提示用户左臂抬高,或者提示用户双腿距离加大。还可以根据用户视频流和示范视频流中骨骼点位置的不同,计算用户动作的准确度,并在屏幕上展示,从而给用户更良好的互动体验。
在一些实施例中,如果视频流的画面为静态画面,在将静态格式视频流输出至预设应用之前,控制器还接收用户输入的语音指令。如果用户输入的语音指令为与拍照相关的语音指令,则从静态格式视频流中截取接收到该语音指令时拍摄的静态图像(接收到该语音指令的时间对应的一帧视频图像)。并将该静态图像输送至预设应用,以使在显示器上显示该静态图像。
示例性的,预设应用为拍照应用,如图8所示的显示设备的又一种用户界面示意图,在显示器上显示提示语″语音说茄子拍照″。在当监测到画面为静态画面时,将视频流压缩为静态格式视频流。
当用户在保持姿势的同时,发出拍照相关的语音指令,例如用户发出语音″茄子″,表示用户已保持好姿势,指示图像采集器进行拍照。控制器接收到该语音指令后,从静态格式视频流中取出收到该语音指令的时间对应的一帧视频图像。并且在显示器上显示该视频图像。另外用户也可以通过特定的动作指示图像采集器进行拍照。控制器在分析视频流中每一帧图像时,查找到具有该特定动作的图像时,将该帧图像作为需要展示的图像发送至预设应用进行展示。
在一些实施例中,预设应用发送的调用指令还携带有需要的视频编码格式。调用指令鞋底携带的视频编码格式包括动态格式和静态格式中的一种。控制器在接收图像采集器采集的视频流后图像采集器根据,根据调用指令携带的视频编码格式压缩视频流,以及将压缩后的视频流发送至预设应用反馈至显示设备,以使通过预设应用在显示器上播放与预设应用所需视频编码格式的该视频流。
示例性的,如果预设应用为拍照应用,拍照应用需要的视频流格式为静态格式。则图像采集器按照调用指令携带的静态格式将采集的视频流压缩成静态格式视频流,以及将静态格式的视频流反馈至显示设备。因而能够通过拍照应用在显示器上播放静态格式的视频流,例如静态高清图像。
如果预设应用为健身应用,健身应用需要的视频流格式为动态格式。则图像采集器按照调用指令携带的动态格式将采集的视频流压缩成动态格式视频流,以及将动态格式的视频流反馈至显示设备。因而能够通过健身应用在显示器上播放动态格式的视频流,例如动态的健身视频。
本申请实施例提供一种内容显示方法,如图9所示的内容显示方法的信令图,所述方法中显示设备包括显示器、控制器,所述方法还应用到图像采集器。显示设备的应用程序中运行有至少一个应用程序,所述方法包括以下步骤:
步骤一、预设应用向控制器发送图像采集器调用指令,控制器根据该调用指令启动图像采集器,图像采集器启动后采集视频流;
步骤二、图像采集器判断该视频流的画面是动态画面还是静态画面。如果视频流的画面是静态画面,将视频流压缩成静态格式的视频流,以及将静态格式的视频流反馈至显示设备,显示设备将静态格式的视频流输出至预设应用,以使在所述显示器上播放静态格式的所述视频流;
步骤三、如果视频流的画面是动态画面,将视频流压缩成动态格式的视频流,以及将动态格式的视频流反馈至显示设备,显示设备将动态格式的视频流输出至预设应用,以使在所述显示器上播放动态格式的所述视频流。
本申请实施例提供又一种内容显示方法,如图10所示的内容显示方法的信令图,所述方法包括以下步骤:
步骤一、预设应用向控制器发送图像采集器调用指令,控制器根据该调用指令启动图像采集器,图像采集器启动后采集视频流,调用指令携带预设应用所需的视频编码格式。
步骤二、如果视频编码格式为动态格式,图像采集器将视频流压缩为动态格式的视频流,以及将动态格式的视频流反馈至显示设备,显示设备将动态格式的视频流输出至预设应用,以使通过预设应用在显示器上播放动态格式的视频流。
步骤三、如果视频编码格式为静态格式,图像采集器将视频流压缩为静态格式的视频流,以及将静态格式的视频流反馈至显示设备,显示设备将静态格式的视频流输出至预设应用,以使通过预设应用在显示器上播放静态格式的视频流。
本申请各个实施例之间相同或相似的内容可相互参照,相关实施例不再赘述。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种显示设备,其特征在于,包括:
显示器;
控制器,用于执行:
接收预设应用发送的图像采集器调用指令,根据所述调用指令启动所述图像采集器,以使所述图像采集器采集视频流;
在所述视频流的画面为动态画面时,从所述图像采集器接收动态格式的所述视频流,以及将动态格式的所述视频流输出至所述预设应用,以使在所述显示器上播放动态格式的所述视频流;
在所述视频流的画面为静态画面时,从所述图像采集器接收静态格式的所述视频流,以及将静态格式的所述视频流输出至所述预设应用,以使在所述显示器上播放静态格式的所述视频流。
2.根据权利要求1所述的显示设备,其特征在于,在所述视频流的画面为人物图像时,确定视频流的画面状态的具体步骤为:
在人物图像中人物的骨骼点位置,在预设间隔时间内实际变化值大于或等于预设变化值时,确定所述视频流的画面为动态画面;
在人物图像中人物的骨骼点位置,在预设间隔时间内实际变化值小于所述预设变化值时,确定所述视频流的画面为静态画面。
3.根据权利要求2所述的显示设备,其特征在于,在确定视频流的画面为动态画面时,在所述显示器上同时播放动态格式的所述视频流和示范视频流,其中,所述示范视频流为预存在所述预设应用中的;
根据动态格式的所述视频流中人物的骨骼点位置和所述示范视频流中人物的骨骼点位置的不同,在所述显示器上显示提示信息,其中,所述提示信息用于提示动态格式的所述视频流中人物的骨骼点位置和所述示范视频流中人物的骨骼点位置的不同之处。
4.根据权利要求1所述的显示设备,其特征在于,在将静态格式的所述视频流输出至所述预设应用之前,还包括:接收用户输入的语音指令;
将静态格式的所述视频流输出至所述预设应用,以使在所述显示器上播放静态格式的所述视频流,具体步骤为:在所述语音指令为与拍照相关的语音指令时,从静态格式的所述视频流中截取接收到所述语音指令时拍摄的静态图像,以及将所述静态图像输送至所述预设应用,以使在所述显示器上播放所述静态图像。
5.一种显示设备,其特征在于,包括:
显示器;
控制器,用于执行:
接收预设应用发送的图像采集器调用指令,根据所述调用指令启动所述图像采集器,以使所述图像采集器采集视频流,其中所述调用指令携带所述预设应用所需的视频编码格式;
在所述视频编码格式为动态格式时,从所述图像采集器接收动态格式的所述视频流,以及将动态格式的所述视频流输出至所述预设应用,以使在所述显示器上播放动态格式的所述视频流;
在所述视频编码格式为静态格式时,从所述图像采集器接收静态格式的所述视频流,以及将静态格式的所述视频流输出至所述预设应用,以使在所述显示器上播放静态格式的所述视频流。
6.一种图像采集器,其特征在于,用于执行:
接收显示设备发送的调用指令,根据所述调用指令采集视频流;
在所述视频流的画面为动态画面时,将所述视频流压缩成动态格式的所述视频流,以及将动态格式的所述视频流反馈至显示设备,以使在显示设备上播放动态格式的所述视频流;
在所述视频流的画面为静态画面时,将所述视频流压缩成静态格式的所述视频流,以及将静态格式的所述视频流反馈至显示设备,以使在显示设备上播放静态格式的所述视频流。
7.一种图像采集器,其特征在于,用于执行:
接收显示设备的预设应用发送的调用指令,根据所述调用指令采集视频流,其中所述调用指令携带所述预设应用所需的视频编码格式;
在所述视频编码格式为动态格式时,将所述视频流压缩成动态格式的所述视频流,以及将动态格式的所述视频流反馈至显示设备,以使在所述预设应用上播放动态格式的所述视频流;
在所述视频编码格式为静态格式时,将所述视频流压缩成静态格式的所述视频流,以及将静态格式的所述视频流反馈至显示设备,以使在所述预设应用上播放静态格式的所述视频流。
8.一种内容显示方法,所述方法应用于显示设备,其特征在于,包括:
接收预设应用发送的图像采集器调用指令,根据所述调用指令启动所述图像采集器,以使所述图像采集器采集视频流;
在所述视频流的画面为动态画面时,从所述图像采集器接收动态格式的所述视频流,以及将动态格式的所述视频流输出至所述预设应用,以使在显示器上播放动态格式的所述视频流;
在所述视频流的画面为静态画面时,从所述图像采集器接收静态格式的所述视频流,以及将静态格式的所述视频流输出至所述预设应用,以使在显示器上播放静态格式的所述视频流。
9.根据权利要求8所述的内容显示方法,其特征在于,在所述视频流的画面为人物图像时,确定视频流的画面状态的具体步骤为:
在人物图像中人物的骨骼点位置,在预设间隔时间内实际变化值大于或等于预设变化值时,确定所述视频流的画面为动态画面;
在人物图像中人物的骨骼点位置,在预设间隔时间内实际变化值小于所述预设变化值时,确定所述视频流的画面为静态画面。
10.一种内容显示方法,所述方法应用于显示设备,其特征在于,包括:
接收预设应用发送的图像采集器调用指令,根据所述调用指令启动所述图像采集器,以使所述图像采集器采集视频流,其中所述调用指令携带所述预设应用所需的视频编码格式;
在所述视频编码格式为动态格式时,从所述图像采集器接收动态格式的所述视频流,以及将动态格式的所述视频流输出至所述预设应用,以使在所述显示器上播放动态格式的所述视频流;
在所述视频编码格式为静态格式时,从所述图像采集器接收静态格式的所述视频流,以及将静态格式的所述视频流输出至所述预设应用,以使在所述显示器上播放静态格式的所述视频流。
CN202110350826.0A 2021-03-31 2021-03-31 一种内容显示方法、显示设备及图像采集器 Active CN113099308B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110350826.0A CN113099308B (zh) 2021-03-31 2021-03-31 一种内容显示方法、显示设备及图像采集器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110350826.0A CN113099308B (zh) 2021-03-31 2021-03-31 一种内容显示方法、显示设备及图像采集器

Publications (2)

Publication Number Publication Date
CN113099308A true CN113099308A (zh) 2021-07-09
CN113099308B CN113099308B (zh) 2023-10-27

Family

ID=76672269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110350826.0A Active CN113099308B (zh) 2021-03-31 2021-03-31 一种内容显示方法、显示设备及图像采集器

Country Status (1)

Country Link
CN (1) CN113099308B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1662944A (zh) * 2002-06-28 2005-08-31 汤姆森许可贸易公司 处理视频画面以提高动态假轮廓效应补偿的方法和设备
CN103533358A (zh) * 2013-10-14 2014-01-22 上海纬而视科技股份有限公司 自适用图像采集传输显示装置
CN105049711A (zh) * 2015-06-30 2015-11-11 广东欧珀移动通信有限公司 一种拍照方法及用户终端
CN105430247A (zh) * 2015-11-26 2016-03-23 上海创米科技有限公司 一种利用摄像设备拍摄照片的方法与设备
WO2016110075A1 (zh) * 2015-01-06 2016-07-14 中兴通讯股份有限公司 一种移动终端相机的拍照方法及装置
CN105979149A (zh) * 2016-06-24 2016-09-28 深圳市金立通信设备有限公司 一种拍摄方法及终端
US20160344933A1 (en) * 2014-07-29 2016-11-24 Panasonic Intellectual Property Management Co., Ltd. Imaging device
CN108632679A (zh) * 2017-09-07 2018-10-09 北京视联动力国际信息技术有限公司 一种多媒体数据传输的方法和一种视联网终端
US20190268601A1 (en) * 2018-02-26 2019-08-29 Microsoft Technology Licensing, Llc Efficient streaming video for static video content
CN110636353A (zh) * 2019-06-10 2019-12-31 青岛海信电器股份有限公司 一种显示设备
CN111669508A (zh) * 2020-07-01 2020-09-15 海信视像科技股份有限公司 一种摄像头的控制方法及显示设备
CN111917988A (zh) * 2020-08-28 2020-11-10 长沙摩智云计算机科技有限公司 一种云手机的远程摄像头应用方法、系统及介质
CN112399234A (zh) * 2019-08-18 2021-02-23 聚好看科技股份有限公司 一种界面显示方法及显示设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1662944A (zh) * 2002-06-28 2005-08-31 汤姆森许可贸易公司 处理视频画面以提高动态假轮廓效应补偿的方法和设备
CN103533358A (zh) * 2013-10-14 2014-01-22 上海纬而视科技股份有限公司 自适用图像采集传输显示装置
US20160344933A1 (en) * 2014-07-29 2016-11-24 Panasonic Intellectual Property Management Co., Ltd. Imaging device
WO2016110075A1 (zh) * 2015-01-06 2016-07-14 中兴通讯股份有限公司 一种移动终端相机的拍照方法及装置
CN105049711A (zh) * 2015-06-30 2015-11-11 广东欧珀移动通信有限公司 一种拍照方法及用户终端
CN105430247A (zh) * 2015-11-26 2016-03-23 上海创米科技有限公司 一种利用摄像设备拍摄照片的方法与设备
CN105979149A (zh) * 2016-06-24 2016-09-28 深圳市金立通信设备有限公司 一种拍摄方法及终端
CN108632679A (zh) * 2017-09-07 2018-10-09 北京视联动力国际信息技术有限公司 一种多媒体数据传输的方法和一种视联网终端
US20190268601A1 (en) * 2018-02-26 2019-08-29 Microsoft Technology Licensing, Llc Efficient streaming video for static video content
CN110636353A (zh) * 2019-06-10 2019-12-31 青岛海信电器股份有限公司 一种显示设备
CN112399234A (zh) * 2019-08-18 2021-02-23 聚好看科技股份有限公司 一种界面显示方法及显示设备
CN111669508A (zh) * 2020-07-01 2020-09-15 海信视像科技股份有限公司 一种摄像头的控制方法及显示设备
CN111917988A (zh) * 2020-08-28 2020-11-10 长沙摩智云计算机科技有限公司 一种云手机的远程摄像头应用方法、系统及介质

Also Published As

Publication number Publication date
CN113099308B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN114302190A (zh) 一种显示设备及画质调整方法
CN111901654A (zh) 一种显示设备及屏幕录制方法
CN112672195A (zh) 遥控器按键设置方法及显示设备
CN112367543A (zh) 显示设备、移动终端、投屏方法及投屏系统
CN111970548B (zh) 显示设备及调整摄像头角度的方法
CN112118400B (zh) 显示设备上图像的显示方法及显示设备
CN112667184A (zh) 一种显示设备
CN112188279A (zh) 一种频道切换方法和显示设备
CN112788240A (zh) 显示设备及摄像头角度调整方法
CN113301420A (zh) 一种内容显示方法和显示设备
CN113014939A (zh) 显示设备及播放方法
CN112752156A (zh) 字幕调整方法及显示设备
CN112601117A (zh) 显示设备和内容展示方法
CN112306604B (zh) 一种传输文件的进度显示方法及显示设备
CN112055245B (zh) 一种彩色字幕实现方法及显示设备
CN114095769B (zh) 一种应用级播放器的直播低延迟处理方法及显示设备
CN111954043B (zh) 一种信息栏显示方法及显示设备
CN116017006A (zh) 显示设备及与功放设备建立通信连接的方法
CN111741314A (zh) 视频播放方法及显示设备
CN114390190B (zh) 显示设备及监测应用启动摄像头的方法
CN116980554A (zh) 一种显示设备及视频会议界面显示方法
CN114302203A (zh) 图像显示方法及显示设备
CN113099308B (zh) 一种内容显示方法、显示设备及图像采集器
CN114296664A (zh) 一种副屏亮度调节方法及显示设备
CN114302197A (zh) 一种语音分离控制方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant