CN113038216A - 指令获得方法、电视机、服务器以及存储介质 - Google Patents

指令获得方法、电视机、服务器以及存储介质 Download PDF

Info

Publication number
CN113038216A
CN113038216A CN202110262890.3A CN202110262890A CN113038216A CN 113038216 A CN113038216 A CN 113038216A CN 202110262890 A CN202110262890 A CN 202110262890A CN 113038216 A CN113038216 A CN 113038216A
Authority
CN
China
Prior art keywords
gesture
video
instruction
preset
television
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110262890.3A
Other languages
English (en)
Inventor
方星火
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Skyworth RGB Electronics Co Ltd
Original Assignee
Shenzhen Skyworth RGB Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Skyworth RGB Electronics Co Ltd filed Critical Shenzhen Skyworth RGB Electronics Co Ltd
Priority to CN202110262890.3A priority Critical patent/CN113038216A/zh
Publication of CN113038216A publication Critical patent/CN113038216A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders

Abstract

本发明公开一种指令获得方法,用于电视机,所述方法包括以下步骤:对目标用户的手势进行拍摄,以获得手势视频;将所述手势视频发送至服务器,以使所述服务器对所述手势视频进行分析,以获得执行指令;接收所述执行指令。本发明还公开一种电视机、服务器以及计算机可读存储介质。利用本发明的指令获得方法,获得执行指令的难度较低。

Description

指令获得方法、电视机、服务器以及存储介质
技术领域
本发明涉及电视机领域,特别涉及一种指令获得方法、电视机、服务器以及计算机可读存储介质。
背景技术
随着科技的进步,电视机的功能越来多,功能越来越全面。
相关技术中,公布了一种指令获得方法,电视机接收用户发送的语音信息,并对语音信息进行分析,获得文本信息,进而根据文本信息,获得对应的执行指令。
但是,采用现有的指令获得方法,执行指令获得较难。
发明内容
本发明的主要目的是提供一种指令获得方法、电视机、服务器以及计算机可读存储介质,旨在解决现有技术中采用现有的指令获得方法,执行指令获得较难的技术问题。
为实现上述目的,本发明提出一种指令获得方法,用于电视机,所述方法包括以下步骤:
对目标用户的手势进行拍摄,以获得手势视频;
将所述手势视频发送至服务器,以使所述服务器对所述手势视频进行分析,以获得执行指令;
接收所述执行指令。
可选的,所述对目标用户的手势进行拍摄,以获得手势视频的步骤之前,所述方法还包括:
在接收到所述目标用户发送的触发操作时,输出提示信息;
接收所述目标用户针对所述提示信息发送的确定操作;
所述对目标用户的手势进行拍摄,以获得手势视频的步骤包括:
基于所述确定操作,对目标用户的手势进行拍摄,以获得手势视频。
此外,为实现上述目的,本发明还提出了一种指令获得方法,用于服务器,所述方法包括以下步骤:
接收电视机发送的手势视频,所述手势视频是对目标用户的手势进行拍摄获得;
对所述手势视频进行分析,以获得执行指令;
将所述执行指令发送至所述电视机。
可选的,所述对所述手势视频进行分析,以获得执行指令的步骤之前,所述方法还包括:
对所述手势视频进行消音处理,以获得无声手势视频;
所述对所述手势视频进行分析,以获得执行指令的步骤包括:
对所述无声手势视频进行分析,以获得所述执行指令。
可选的,所述对所述无声手势视频进行分析,以获得所述执行指令的步骤之前,所述方法还包括:
对所述无声手势视频进行压缩,以获得压缩视频;
所述对所述无声手势视频进行分析,以获得所述执行指令的步骤包括:
对所述压缩视频进行分析,以获得所述执行指令。
可选的,所述对所述压缩视频进行分析,以获得所述执行指令的步骤包括:
在所述压缩视频中提取关键帧;
对所述关键帧进行特征提取,以获得待分析手势特征;
在预设手势库中确定出与所述待分析手势特征对应的选定手势特征;
在所述预设手势库中确定出与所述选定手势特征对应的选定文本信息,所述预设手势库包括不同手势特征对应的文本信息;
基于所述选定文本信息,获得所述执行指令。
可选的,所述在预设手势库中确定出与所述待分析手势特征对应的选定手势特征的步骤之前,所述方法还包括:
获取预设手势图像和与所述预设手势图像对应预设文本信息;
对所述预设手势图像进行特征提取,以获得预设手势特征;
建立所述预设手势特征与所述预设文本信息的映射关系;
基于所述预设手势特征、预设文本信息和所述映射关系,获得所述预设手势库。
此外,为实现上述目的,本发明还提出了一种电视机,所述电视机包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行指令获得程序,所述指令获得程序被所述处理器执行时实现如上文所述的指令获得方法的步骤
此外,为实现上述目的,本发明还提出了一种服务器,所述服务器包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行指令获得程序,所述指令获得程序被所述处理器执行时实现如上文任一项所述的指令获得方法的步骤。
此外,为实现上述目的,本发明还提出了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令获得程序,所述指令获得程序被处理器执行时实现如上述任一项所述的指令获得方法的步骤。
本发明技术方案提出了一种指令获得方法,用于电视机,通过对目标用户的手势进行拍摄,以获得手势视频;将所述手势视频发送至服务器,以使所述服务器对所述手势视频进行分析,以获得执行指令;接收所述执行指令。
采用现有的指令获得方法,当目标用户无法发送语音指令时,电视机难以获得对应的执行指令,而本发明,在目标用户无法发送语音指令时,电视机基于对目标用户的手势进行拍摄,获得手势视频,以使服务器基于手势视频获得对应的执行指令,从而使得电视机获得执行指令,所以,利用本发明的指令获得方法,获得执行指令的难度较低。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例方案涉及的硬件运行环境的电视机结构示意图;
图2为本发明实施例方案涉及的硬件运行环境的服务器结构示意图;
图3为本发明指令获得方法第一实施例的流程示意图;
图4为本发明指令获得方法第二实施例的流程示意图;
图5为本发明指令获得装置第一实施例的结构框图;
图6为本发明指令获得装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的电视机结构示意图。
通常,电视机包括:至少一个处理器301、存储器302以及存储在所述存储器上并可在所述处理器上运行的指令获得程序,所述指令获得程序配置为实现如前所述的指令获得方法的步骤。
处理器301可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(CentralProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器301可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。处理器301还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关指令获得方法操作,使得指令获得方法模型可以自主训练学习,提高效率和准确度。
存储器302可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器301所执行以实现本申请中方法实施例提供的指令获得方法。
在一些实施例中,终端还可选包括有:通信接口303和至少一个外围设备。处理器301、存储器302和通信接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与通信接口303相连。具体地,外围设备包括:射频电路304、显示屏305和电源306中的至少一种。
通信接口303可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中,处理器301、存储器302和通信接口303被集成在同一芯片或电路板上;在一些其他实施例中,处理器301、存储器302和通信接口303中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路304用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路304包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路304还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏305用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时,显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时,显示屏305还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏305可以为一个,电子设备的前面板;在另一些实施例中,显示屏305可以为至少两个,分别设置在电子设备的不同表面或呈折叠设计;在再一些实施例中,显示屏305可以是柔性显示屏,设置在电子设备的弯曲表面上或折叠面上。甚至,显示屏305还可以设置成非矩形的不规则图形,也即异形屏。显示屏305可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
电源306用于为电子设备中的各个组件进行供电。电源306可以是交流电、直流电、一次性电池或可充电电池。当电源306包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解,图1中示出的结构并不构成对电视机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
参照图2,图2为本发明实施例方案涉及的硬件运行环境的服务器结构示意图。
所述服务器包括中央处理单元(CPU)401、包括随机存取存储器(RAM)402和只读存储器(ROM)403的系统存储器404,以及连接系统存储器404和中央处理单元401的系统总线405。所述服务器还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)406,和用于存储操作系统413、应用程序414和其他程序模块415的大容量存储设备407。所述基本输入/输出系统406包括有用于显示信息的显示器408和用于用户输入信息的诸如鼠标、键盘之类的输入设备409。其中,所述显示器408和输入设备409都通过连接到系统总线405的输入输出控制器410连接到中央处理单元401。所述基本输入/输出系统406还可以包括输入输出控制器410以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。
类似地,输入输出控制器410还提供输出到显示屏、打印机或其他类型的输出设备。所述大容量存储设备407通过连接到系统总线405的大容量存储控制器连接到中央处理单元401。所述大容量存储设备407及其相关联的计算机可读介质为服务器提供非易失性存储。也就是说,所述大容量存储设备407可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。
当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器404和大容量存储设备407可以统称为存储器。根据本申请的各种实施例,所述服务器还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器可以通过连接在所述系统总线405上的网络接口单元411连接到网络412,或者说,也可以使用网络接口单元411来连接到其他类型的网络或远程计算机系统。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有指令获得程序,所述指令获得程序被处理器执行时实现如上文所述的指令获得方法的步骤。因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。确定为示例,程序指令可被部署为在一个电视机和一个服务器上执行,或者在位于一个地点的多个电视机和多个服务器上执行,又或者,在分布在多个地点且通过通信网络互连的多个电视机和多个服务器上执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,上述的计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
基于上述硬件结构,提出本发明指令获得方法的实施例。
参照图3,图3为本发明指令获得方法第一实施例的流程示意图,所述方法用于电视机,所述方法包括以下步骤:
步骤S11:对目标用户的手势进行拍摄,以获得手势视频。
需要说明的是,本发明此处实施例的执行主体是电视机,电视机结构参照上述描述,此处不再赘述,通常电视机具有高清摄像头,用于进行拍摄动作,以获得手势视频。电视机安装有指令获得程序,电视机执行指令获得程序时,实现本发明的指令获得方法。
可以理解的是,现有的指令获得方法中,电视机接收用户(目标用户,正在使用电视机发送指令的用户)发送的语音信息,并对语音信息进行分析,获得文本信息,进而根据文本信息,获得对应的执行指令。但是当用户(目标用户)无法发送语音信息时,例如,用户(目标用户)是语言障碍人群,此时,电视机无法接收到语音指令,进而无法获得用户要发送指令,用户只能通过遥控器手动编辑指令,由电视机接收用户手动编辑的指令,使得电视机的指令获得效率较低,用户体验较差。利用本发明的指令获得方法,用户只需要做出手势,由电视机拍摄手势视频,即可获得最终的执行指令。
进一步的,步骤S11之前,所述方法还包括:在接收到所述目标用户发送的触发操作时,输出提示信息;接收所述目标用户针对所述提示信息发送的确定操作;相应的,步骤S11包括:基于所述确定操作,对目标用户的手势进行拍摄,以获得手势视频。
需要说明的是,电视机通常具有遥控器(或与电视机配对连接的,与遥控器具有相同作用的移动终端,移动终端可以是通过蓝牙等与电视机配对连接的),用户通过按下遥控器的触发按键,发送触发操作,电视机输出提示信息,用于提示用户是否继续进行手势的拍摄。当用户确定继续拍摄时,即通过遥控器发送确定操作(按下遥控器的确定按键等),电视机基于接收到的确定操作,拍摄目标用户的手势视频,通常,用户发送确定操作后,即可做出手势,用于电视机拍摄。当用户未发送确定操作,或发送了取消操作时,即不再进行拍摄动作。通过确定操作触发拍摄动作,避免用户误操作,发送无效手势视频。
步骤S12:将所述手势视频发送至服务器,以使所述服务器对所述手势视频进行分析,以获得执行指令。
步骤S13:接收所述执行指令。
需要说明的是,通常电视机处理器性能不是很高,需要将视频信息发送至服务器,由服务器对手势视频进行分析,以获得与手势视频对应的执行指令,由电视机接收执行指令,并继续执行执行指令,输出对应的动作。其中,执行指令可以是获取天气信息、新闻信息和节目信息等,本发明不做限制。服务器进行手势视频分析的步骤参照下文描述,此处不再赘述。
本发明技术方案提出了一种指令获得方法,用于电视机,通过对目标用户的手势进行拍摄,以获得手势视频;将所述手势视频发送至服务器,以使所述服务器对所述手势视频进行分析,以获得执行指令;接收所述执行指令。
采用现有的指令获得方法,当目标用户无法发送语音指令时,电视机难以获得对应的执行指令,而本发明,在目标用户无法发送语音指令时,电视机基于对目标用户的手势进行拍摄,获得手势视频,以使服务器基于手势视频获得对应的执行指令,从而使得电视机获得执行指令,所以,利用本发明的指令获得方法,获得执行指令的难度较低。
参照图4,4为本发明指令获得方法第二实施例的流程示意图,所述方法用于服务器,所述方法包括以下步骤:
步骤S21:接收电视机发送的手势视频,所述手势视频是对目标用户的手势进行拍摄获得。
需要说明的是,本发明此处实施例的执行主体是服务器,服务器的结构参照上述描述,此处不再赘述。服务器安装有指令获得方法,服务器执行指令获得方法时,实现本发明的指令方法。
步骤S21描述参照上文,此处不再赘述。
步骤S22:对所述手势视频进行分析,以获得执行指令;
进一步的,步骤S22之前,所述方法还包括:对所述手势视频进行消音处理,以获得无声手势视频;相应的,步骤S22包括:对所述无声手势视频进行分析,以获得所述执行指令。
需要说明的是,服务器对手势视频进行分析时,是对手势视频中的手势对应的视频部分进行分析,手势视频中的音频部分并不需要进行分析,所以,需要对手势视频进行消音处理,以消除手势视频中的音频部分,以获得无声手势视频。在对无声手势视频进行分析时,不需要对无效的声音部分进行分析,分析的数据量较少,无声手势视频的分析速度较快,从而使得获得执行指令的速度较快。
进一步的,所述对所述无声手势视频进行分析,以获得所述执行指令的步骤之前,所述方法还包括:对所述无声手势视频进行压缩,以获得压缩视频;所述对所述无声手势视频进行分析,以获得所述执行指令的步骤包括:对所述压缩视频进行分析,以获得所述执行指令。
需要说明的是,去掉了声音部分的无声手势视频还需要进行压缩操作,以减少视频包括的数据。通常,拍摄的手势视频是清晰度较好包括较多数据的视频,去掉音频部分后的无声手势视频还是包括较多的数据,而对无声手势视频进行分析时,是对视频中的视频帧对应的手势(动作)进行分析,视频帧只需要具有一定的清晰度即可,视频帧只需要清晰的表现出手势的动作即可,视频帧不需要包括较多的细节信息,此时需要对无声手势视频(对无声手势视频的视频帧)进行压缩,获得压缩视频,压缩视频的数据量较少,对压缩视频进行分析时,分析速度较快。
进一步的,所述对所述压缩视频进行分析,以获得所述执行指令的步骤包括:在所述压缩视频中提取关键帧;对所述关键帧进行特征提取,以获得待分析手势特征;在预设手势库中确定出与所述待分析手势特征对应的选定手势特征;在所述预设手势库中确定出与所述选定手势特征对应的选定文本信息,所述预设手势库包括不同手势特征对应的文本信息;基于所述选定文本信息,获得所述执行指令。
需要说明的是,压缩视频中的,目标用户做出的手势是连续的手势动作,能表达文本信息的手势是连续的手势动作中的一些固定的手势,这些固定的手势为有效手势,其他手势动作为这些有效手势之间的动作转换的无效手势,分析时只需要对有效手势进行分析,对于有效手势之间的动作转换的无效手势不需要进行分析,此时,需要在压缩视频中提取出有效手势对应的视频帧,有效手势对应的视频帧即是关键帧。
其中,对关键帧进行特征提取,可以是指对关键帧中手势进行手部骨骼识别,获得识别后的手部骨骼的特征(手部骨骼动作,例如,左手握拳放于胸前或右手是指触摸下巴等),即待分析手势特征。将待分析手势特征与预设手势库中的手势特征进行比对,确定出与待分析手势特征匹配(匹配可以是指相似或完全相同,由于每个人的手势会有一定区别,对于同一个文本信息对应的手势,不同用户做出的手势对应的待分析手势特征存在一定的差异,使得待分析手势特征与预设手势库中的手势特征不能完全匹配,所以,只要实现待分析手势特征与预设手势库中的某一个预设手势特征相似或者相似度较高即可认为他们匹配)的手势特征即为选定手势特征。
然后,在所述预设手势库中确定出与所述选定手势特征对应的选定文本信息,所述预设手势库包括不同手势特征对应的文本信息;基于所述选定文本信息,获得所述执行指令;其中,文本信息即为手势特征对应的文字描述,例如,A手势特征对应文本信息为“我们”。可以理解的是,手势视频中的一个手势(一个关键帧中的手势)对应的一个待分析手势特征,一个待分析手势特征对应一个选定手势特征,一个选定手势特征对应一个选定文本信息(可以是一个字、一个词或一个短语等)。压缩视频中的关键帧通常包括多个,需要分别获得多个关键帧对应的多个选定文本信息,并基于多个选定文本信息,获得最后的执行指令,即将多个文本信息组合成最终的指令。
例如,目标用户的手势视频对应的关键帧包括3个,每个关键帧的待分析手势特征对应的文本信息分别为:今天、天气和怎么样三个文本信息,基于获得的三个文本信息,获得执行指令:今天天气怎么样。
需要说明的是,在预设手势库中确定出与所述待分析手势特征对应的选定手势特征的步骤之前,所述方法还包括:获取预设手势图像和与所述预设手势图像对应预设文本信息;对所述预设手势图像进行特征提取,以获得预设手势特征;建立所述预设手势特征与所述预设文本信息的映射关系;基于所述预设手势特征、预设文本信息和所述映射关系,获得所述预设手势库。
参照上述步骤建立预设手势库,以便于直接利用预设手势库进行上述操作。可以理解的是,为了保证分析的准确性和有效性,预设手势库需要包括较多的预设手势特征和与预设手势特征对应的预设文本信息,即,需要获取较多的预设手势图像和与所述预设手势图像对应预设文本信息。
另外,建立预设手势特征和预设文本信息的映射关系时,可以是利用预设文本信息对预设手势特征进行标注,例如预设文本信息以yolo标签的形式对预设手势图像中提取出的预设手势特征进行标注。
再次,在获得预设手势库之后,还可以对预设手势库进行更新,以丰富预设手势库包括的预设手势特征和预设文本信息。
步骤S23:将所述执行指令发送至所述电视机。
步骤S23参照上文描述,此处不再赘述。
可以理解的是,在另一些实施例中,对手势视频进行分析的步骤也可以在电视机执行,此时电视机需要具备较高的运算能力。其中,预设手势库可以是服务器获得,并发送至电视机进行存储的,服务器可以对电视机的预设手势库进行更新。
参照图5,图5为本发明指令获得装置第一实施例的结构框图,所述装置用于电视机,所述装置包括:
拍摄模块10,用于对目标用户的手势进行拍摄,以获得手势视频;
第一发送模块20,用于将所述手势视频发送至服务器,以使所述服务器对所述手势视频进行分析,以获得执行指令;
第一接收模块30,用于接收所述执行指令。
参照图6,图6为本发明指令获得装置第一实施例的结构框图,所述装置用于服务器,所述装置包括:
第二接收模块40,用于接收电视机发送的手势视频,所述手势视频是对目标用户的手势进行拍摄获得;
分析模块50,用于对所述手势视频进行分析,以获得执行指令;
第二发送模块60,用于将所述执行指令发送至所述电视机。
以上所述仅为本发明的可选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种指令获得方法,其特征在于,用于电视机,所述方法包括以下步骤:
对目标用户的手势进行拍摄,以获得手势视频;
将所述手势视频发送至服务器,以使所述服务器对所述手势视频进行分析,以获得执行指令;
接收所述执行指令。
2.如权利要求1所述的方法,其特征在于,所述对目标用户的手势进行拍摄,以获得手势视频的步骤之前,所述方法还包括:
在接收到所述目标用户发送的触发操作时,输出提示信息;
接收所述目标用户针对所述提示信息发送的确定操作;
所述对目标用户的手势进行拍摄,以获得手势视频的步骤包括:
基于所述确定操作,对目标用户的手势进行拍摄,以获得手势视频。
3.一种指令获得方法,其特征在于,用于服务器,所述方法包括以下步骤:
接收电视机发送的手势视频,所述手势视频是对目标用户的手势进行拍摄获得;
对所述手势视频进行分析,以获得执行指令;
将所述执行指令发送至所述电视机。
4.如权利要求3所述的方法,其特征在于,所述对所述手势视频进行分析,以获得执行指令的步骤之前,所述方法还包括:
对所述手势视频进行消音处理,以获得无声手势视频;
所述对所述手势视频进行分析,以获得执行指令的步骤包括:
对所述无声手势视频进行分析,以获得所述执行指令。
5.如权利要求4所述的方法,其特征在于,所述对所述无声手势视频进行分析,以获得所述执行指令的步骤之前,所述方法还包括:
对所述无声手势视频进行压缩,以获得压缩视频;
所述对所述无声手势视频进行分析,以获得所述执行指令的步骤包括:
对所述压缩视频进行分析,以获得所述执行指令。
6.如权利要求5所述的方法,其特征在于,所述对所述压缩视频进行分析,以获得所述执行指令的步骤包括:
在所述压缩视频中提取关键帧;
对所述关键帧进行特征提取,以获得待分析手势特征;
在预设手势库中确定出与所述待分析手势特征对应的选定手势特征;
在所述预设手势库中确定出与所述选定手势特征对应的选定文本信息,所述预设手势库包括不同手势特征对应的文本信息;
基于所述选定文本信息,获得所述执行指令。
7.如权利要求6所述的方法,其特征在于,所述在预设手势库中确定出与所述待分析手势特征对应的选定手势特征的步骤之前,所述方法还包括:
获取预设手势图像和与所述预设手势图像对应预设文本信息;
对所述预设手势图像进行特征提取,以获得预设手势特征;
建立所述预设手势特征与所述预设文本信息的映射关系;
基于所述预设手势特征、预设文本信息和所述映射关系,获得所述预设手势库。
8.一种电视机,其特征在于,所述电视机包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行指令获得程序,所述指令获得程序被所述处理器执行时实现如权利要求1或2所述的指令获得方法的步骤。
9.一种服务器,其特征在于,所述服务器包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行指令获得程序,所述指令获得程序被所述处理器执行时实现如权利要求3至7中任一项所述的指令获得方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令获得程序,所述指令获得程序被处理器执行时实现如权利要求1至7中任一项所述的指令获得方法的步骤。
CN202110262890.3A 2021-03-10 2021-03-10 指令获得方法、电视机、服务器以及存储介质 Pending CN113038216A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110262890.3A CN113038216A (zh) 2021-03-10 2021-03-10 指令获得方法、电视机、服务器以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110262890.3A CN113038216A (zh) 2021-03-10 2021-03-10 指令获得方法、电视机、服务器以及存储介质

Publications (1)

Publication Number Publication Date
CN113038216A true CN113038216A (zh) 2021-06-25

Family

ID=76469837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110262890.3A Pending CN113038216A (zh) 2021-03-10 2021-03-10 指令获得方法、电视机、服务器以及存储介质

Country Status (1)

Country Link
CN (1) CN113038216A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102200830A (zh) * 2010-03-25 2011-09-28 夏普株式会社 基于静态手势识别的非接触控制系统和控制方法
US20130141327A1 (en) * 2011-12-05 2013-06-06 Wistron Corp. Gesture input method and system
US20130182898A1 (en) * 2012-01-13 2013-07-18 Sony Corporation Image processing device, method thereof, and program
CN106020478A (zh) * 2016-05-20 2016-10-12 青岛海信电器股份有限公司 一种智能终端操控方法、装置和智能终端
CN106295464A (zh) * 2015-05-15 2017-01-04 济南大学 基于形状上下文的手势识别方法
CN106886751A (zh) * 2017-01-09 2017-06-23 深圳数字电视国家工程实验室股份有限公司 一种手势识别方法和系统
CN108229391A (zh) * 2018-01-02 2018-06-29 京东方科技集团股份有限公司 手势识别装置及其服务器、手势识别系统、手势识别方法
CN109587535A (zh) * 2017-09-29 2019-04-05 上海赛特斯信息科技股份有限公司 Iptv手势操作的方法
CN110868600A (zh) * 2019-11-11 2020-03-06 腾讯云计算(北京)有限责任公司 目标跟踪视频推流方法、显示方法、装置和存储介质
CN111079791A (zh) * 2019-11-18 2020-04-28 京东数字科技控股有限公司 人脸识别方法、设备及计算机可读存储介质
CN111339806A (zh) * 2018-12-19 2020-06-26 马上消费金融股份有限公司 唇语识别模型的训练方法、活体识别方法及装置
CN111680618A (zh) * 2020-06-04 2020-09-18 西安邮电大学 基于视频数据特性的动态手势识别方法、存储介质和设备
CN111913585A (zh) * 2020-09-21 2020-11-10 北京百度网讯科技有限公司 一种手势识别方法、装置、设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102200830A (zh) * 2010-03-25 2011-09-28 夏普株式会社 基于静态手势识别的非接触控制系统和控制方法
US20130141327A1 (en) * 2011-12-05 2013-06-06 Wistron Corp. Gesture input method and system
US20130182898A1 (en) * 2012-01-13 2013-07-18 Sony Corporation Image processing device, method thereof, and program
CN106295464A (zh) * 2015-05-15 2017-01-04 济南大学 基于形状上下文的手势识别方法
CN106020478A (zh) * 2016-05-20 2016-10-12 青岛海信电器股份有限公司 一种智能终端操控方法、装置和智能终端
CN106886751A (zh) * 2017-01-09 2017-06-23 深圳数字电视国家工程实验室股份有限公司 一种手势识别方法和系统
CN109587535A (zh) * 2017-09-29 2019-04-05 上海赛特斯信息科技股份有限公司 Iptv手势操作的方法
CN108229391A (zh) * 2018-01-02 2018-06-29 京东方科技集团股份有限公司 手势识别装置及其服务器、手势识别系统、手势识别方法
CN111339806A (zh) * 2018-12-19 2020-06-26 马上消费金融股份有限公司 唇语识别模型的训练方法、活体识别方法及装置
CN110868600A (zh) * 2019-11-11 2020-03-06 腾讯云计算(北京)有限责任公司 目标跟踪视频推流方法、显示方法、装置和存储介质
CN111079791A (zh) * 2019-11-18 2020-04-28 京东数字科技控股有限公司 人脸识别方法、设备及计算机可读存储介质
CN111680618A (zh) * 2020-06-04 2020-09-18 西安邮电大学 基于视频数据特性的动态手势识别方法、存储介质和设备
CN111913585A (zh) * 2020-09-21 2020-11-10 北京百度网讯科技有限公司 一种手势识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
EP3160150A1 (en) Electronic device and method for executing function using speech recognition thereof
CN106919918B (zh) 一种人脸跟踪方法和装置
WO2018103525A1 (zh) 人脸关键点跟踪方法和装置、存储介质
CN104869305B (zh) 处理图像数据的方法及其装置
CN108135033B (zh) 一种蓝牙连接方法及移动终端
CN107749046B (zh) 一种图像处理方法及移动终端
WO2022001343A1 (zh) Nfc装置输出信号控制方法及终端设备、介质和电子设备
WO2017088434A1 (zh) 人脸模型矩阵训练方法、装置及存储介质
CN114327179B (zh) 应用启动方法、电子设备及可读存储介质
CN111399819B (zh) 数据生成方法、装置、电子设备及存储介质
CN109166164B (zh) 一种表情图片的生成方法及终端
CN111026457B (zh) 一种硬件配置方法、装置、存储介质及终端设备
CN112351507A (zh) 交互控制方法、交互控制装置、电子设备和可读存储介质
CN112449098B (zh) 一种拍摄方法、装置、终端及存储介质
CN111722903A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN113038216A (zh) 指令获得方法、电视机、服务器以及存储介质
CN113518143B (zh) 界面输入源切换方法、装置和电子设备、存储介质
CN112311652B (zh) 消息发送方法、装置、终端及存储介质
CN113778596A (zh) 远程协助方法、装置和电子设备
CN114070892A (zh) 数据传输方法和装置
CN112073785A (zh) 文字输入方法、装置、智能电视及计算机可读存储介质
CN111290672A (zh) 一种图像显示方法、装置、存储介质及终端
CN112911403B (zh) 事件分析方法、装置、电视机以及计算机可读存储介质
CN111143580A (zh) 多媒体数据存储方法、装置、存储介质及电子设备
CN113542206B (zh) 一种图像处理方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210625

RJ01 Rejection of invention patent application after publication