CN105635776B - 虚拟操作界面遥控控制方法及系统 - Google Patents

虚拟操作界面遥控控制方法及系统 Download PDF

Info

Publication number
CN105635776B
CN105635776B CN201410620941.5A CN201410620941A CN105635776B CN 105635776 B CN105635776 B CN 105635776B CN 201410620941 A CN201410620941 A CN 201410620941A CN 105635776 B CN105635776 B CN 105635776B
Authority
CN
China
Prior art keywords
image
pseudo operation
interface
finger tip
remote terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410620941.5A
Other languages
English (en)
Other versions
CN105635776A (zh
Inventor
璧垫尝
赵波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL New Technology Co Ltd
Original Assignee
Shenzhen TCL New Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL New Technology Co Ltd filed Critical Shenzhen TCL New Technology Co Ltd
Priority to CN201410620941.5A priority Critical patent/CN105635776B/zh
Priority to PCT/CN2015/090466 priority patent/WO2016070688A1/zh
Priority to EP15857359.2A priority patent/EP3217637A4/en
Priority to US15/125,134 priority patent/US10429936B2/en
Publication of CN105635776A publication Critical patent/CN105635776A/zh
Application granted granted Critical
Publication of CN105635776B publication Critical patent/CN105635776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/31—Voice input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种虚拟操作界面遥控控制方法，包括：遥控终端接收与用户输入的语音信息对应的语音命令，所述语音命令与预置的虚拟操作界面一一对应；遥控终端根据语音命令投影与语音命令对应的虚拟操作界面；遥控终端每间隔预置时间采集虚拟操作界面形成的画面图像；遥控终端根据采集的画面图像分析手指指尖在虚拟操作界面上停留位置对应的遥控指令，并将遥控指令发送至被控终端，以控制被控终端执行相应的遥控操作。本发明还提供一种虚拟操作界面遥控控制系统。本发明提高了遥控指令输入的准确率以及遥控操作指令输入的灵活性。

Description

虚拟操作界面遥控控制方法及系统
技术领域
本发明涉及遥控技术领域，尤其涉及虚拟操作界面遥控控制方法及系统。
背景技术
随着技术的发展，特别是智能云技术和智能OS的普及和成熟，以及越来越多的可穿戴设备的兴起，人机交互已经不再像以往那样只能通过单一模式进行，例如人类和电视之间的交互目前就不再局限于遥控，其它如手势/语音/体感等等，越来越多的交互方式已经越来越普及，在以遥控为中心的传统交互模式上，通常遥控器进行按键遥控操作，但是由于机械按键容易损坏，从而导致按键失灵，影响遥控指令输入的准确率。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提高遥控指令输入的准确率，提高遥控操作指令输入的灵活性。
为了实现发明目的，本发明提供一种虚拟操作界面遥控控制方法，包括以下步骤：
遥控终端接收与用户输入的语音信息对应的语音命令，所述语音命令与预置的虚拟操作界面一一对应；
所述遥控终端根据所述语音命令投影与所述语音命令对应的虚拟操作界面；
所述遥控终端每间隔预置时间采集所述虚拟操作界面形成的画面图像；
所述遥控终端根据采集的画面图像分析手指指尖在所述虚拟操作界面上停留位置对应的遥控指令，并将所述遥控指令发送至被控终端，以控制被控终端执行相应的遥控操作，其中，该步骤包括：
当投影装置将虚拟操作界面进行投影后，遥控终端获取所述虚拟操作界面的第一帧图像，并将所述第一帧图像设定为模板图像；
判断后续每间隔预置时间采集虚拟操作界面形成的画面图像的像素值与所述模板图像像素值的差值的绝对值是否大于第一预设值；
若是，则提取当前采集的画面图像中指尖图像；
根据所述指尖图像确定用户在所述虚拟操作界面上输入的键值；
根据所述键值发送相应的遥控指令至被控终端，以控制被控终端执行相应的遥控操作；
其中，所述虚拟操作界面遥控控制方法还包括：在采集画面图像后，对画面图像进行优化处理。
优选地，所述提取当前采集的画面图像中指尖图像之后还包括：
计算所述指尖图像的面积；
判断所述指尖图像的面积是否大于预置范围的最大值；
若是，则根据指尖图像的类圆特征获取指尖图像的弧度跳跃点，在圆弧跳跃点进行图像分割，将具有连续弧形的目标图像设定为指尖图像；并返回执行所述根据指尖图像确定用户在所述虚拟操作界面上输入的键值的步骤；
若否，则执行所述根据指尖图像确定用户在所述虚拟操作界面上输入的键值的步骤。
优选地，所述根据指尖图像确定用户在所述虚拟操作界面上输入的键值包括：
计算所述指尖图像的中点坐标值；
根据所述中点坐标值分析用户在所述虚拟操作界面上输入的键值。
优选地，所述遥控终端根据所述语音命令投影与所述语音命令对应的虚拟操作界面之后还包括：
所述遥控终端实时检测其自身移动的距离是否大于第二预设值；
若是，则返回执行所述遥控终端根据所述语音命令投影与所述语音命令对应的虚拟操作界面的步骤。
为了实现上述目的，本发明还提供一种虚拟操作界面遥控控制系统，包括遥控终端和被控终端，其中
遥控终端，用于接收与用户输入的语音信息对应的语音命令，所述语音命令与预置的虚拟操作界面一一对应；
所述遥控终端，还用于根据所述语音命令投影与所述语音命令对应的虚拟操作界面；每间隔预置时间采集所述虚拟操作界面形成的画面图像；根据采集的画面图像分析手指指尖在所述虚拟操作界面上停留位置对应的遥控指令，并将所述遥控指令发送至被控终端，以控制被控终端执行相应的遥控操作，其中，所述遥控终端具体用于当投影装置将虚拟操作界面进行投影后，获取所述虚拟操作界面的第一帧图像，并将所述第一帧图像设定为模板图像；判断后续每间隔预置时间采集虚拟操作界面形成的画面图像的像素值与所述模板图像像素值的差值的绝对值是否大于第一预设值；若是，则提取当前采集的画面图像中指尖图像；根据所述指尖图像确定用户在所述虚拟操作界面上输入的键值；根据所述键值发送相应的遥控指令至被控终端，以控制被控终端执行相应的遥控操作，并对采集的画面图像进行优化处理。
优选地，遥控终端还用于，计算所述指尖图像的面积；判断所述指尖图像的面积是否大于预置范围的最大值；若是，则根据指尖图像的类圆特征获取指尖图像的弧度跳跃点，在圆弧跳跃点进行图像分割，将具有连续弧形的目标图像设定为指尖图像；并执行所述根据指尖图像确定用户在所述虚拟操作界面上输入的键值操作；若否，则执行所述根据指尖图像确定用户在所述虚拟操作界面上输入的键值操作。
优选地，所述遥控终端具体用于计算所述指尖图像的中点坐标值；根据所述中点坐标值分析用户在所述虚拟操作界面上输入的键值。
优选地，所述遥控终端还用于实时检测其自身移动的距离是否大于第二预设值；当遥控终端移动的距离大于第二预设值时，根据所述语音命令投影与所述语音命令对应的虚拟操作界面。
本发明实施例通过采用遥控终端输出虚拟操作界面，并由遥控终端每间隔预置时间采集虚拟操作界面形成的画面图像，从而确定用户手指指尖在虚拟操作界面上点击的位置所对应的遥控指令，并将该遥控指令输出至被控终端，以实现遥控指令的输入。由于本发明实现了虚拟操作界面的遥控指令输入，相对于现有技术采用机械按键实现遥控指令的输入，可以有效防止按键失灵，提高遥控指令输入的准确率。此外，由于采用智能穿戴设备实现遥控指令的输入，方便用户操作，提高了遥控操作指令输入的灵活性。
附图说明
图1为本发明虚拟操作界面遥控控制方法较佳实施例的流程示意图；
图2为图1中进行指尖图像识别一实施例的细化流程示意图；
图3为图1中进行指尖图像识别另一实施例的细化流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种虚拟操作界面遥控控制方法，参照图1，在一实施例中，该虚拟操作界面遥控控制方法包括：
步骤S10，遥控终端接收与用户输入的语音信息对应的语音命令，所述语音命令与预置的虚拟操作界面一一对应；
本实施例提供的虚拟操作界面遥控控制方法主要应用于遥控操作系统当中，以实现基于虚拟遥控操作界面的遥控指令的输入。以下实施例中可以以电视遥控系统为例作出详细说明，具体地，上述遥控终端可以为智能穿戴设备(如眼镜等)，上述被控终端可以为智能电视，其中智能电视可以与智能穿戴设备建立通讯连接，实现数据传输。上述智能电视和智能穿戴设备上均可设置语音输入功能，当用户打开语音功能后，可通过智能穿戴设备(遥控终端)直接接收用户的语音信息，并解析得到对应的语音命令，也可以通过智能电视(被控终端)接收用户的语音信息，解析得到对应的语音命令，并将所述语音命令传送给智能穿戴设备。上述虚拟操作界面包括数字遥控投影界面、传统遥控操控界面和字母键盘投影界面，具体地虚拟操作界面的类型形式在此不作进一步地限定。应当说明的是，上述语音命令可以包括：“打开数字遥控投影界面”、“打开传统遥控操控界面”、“打开字母键盘投影界面”和“无效命令”。
应当说明的是，在接收到语音信息时，可加入语音/音频数据预处理。该语音/音频数据预处理是指对原始语音信息进行处理，滤除掉其中不重要的信息和背景噪声，以及端点检测、语音分帧和预加重等处理，从而降低后续语音识别的难度。可以理解的是，语音识别可以采用现有成熟的语音识别技术实现，在此不作赘述。例如可以采用HMM(隐马尔可夫模型)、DTW(动态时间规整技术)、VQ(矢量量化技术)、ANN(人工神经网络技术)、SVN(支持向量机技术)，这些技术都是现有技术，可直接采用或采用其它成熟的语音识别技术进行语音识别。
步骤S20，所述遥控终端根据所述语音命令投影与所述语音命令对应的虚拟操作界面；
步骤S30，所述遥控终端每间隔预置时间采集所述虚拟操作界面形成的画面图像；
步骤S40，所述遥控终端根据采集的画面图像分析手指指尖在所述虚拟操作界面上停留位置对应的遥控指令，并将所述遥控指令发送至被控终端，以控制被控终端执行相应的遥控操作。
本实施例中，上述遥控终端内置有投影装置，用于投影虚拟操作界面；遥控终端还内置有图像获取装置(摄像头)，用于采集虚拟操作界面形成的画面图像。上述预置时间间隔系统默认会给一个初始经验值，用户也可以自行调整设定。
例如当语音命令为“打开数字遥控投影界面”时，遥控终端内置的投影装置投影出数字遥控投影界面；当语音命令为“打开传统遥控操控界面”时，遥控终端内置的投影装置投影出传统遥控操控界面；当语音命令为“打开字母键盘投影界面”时，遥控终端内置的投影装置投影出字母键盘投影界面；当语音命令为“无效命令”，不进行投影显示，或者投影出空的虚拟操作界面。
当投影显示相应的虚拟操作界面后，遥控终端上预置的摄像头将每隔预置时间采集所述虚拟操作界面形成的画面图像，具体地，摄像头采集图像的大小可根据实际需要进行设置，例如，摄像头采集的图像大小与虚拟操作界面投影的大小一致，也可以是，摄像头采集的图像大于虚拟操作界面投影，使用时，虚拟操作界面投影至少全部包含在摄像头采集的区域范围内。
当用户手指在投影形成的虚拟操作菜单界面上进行遥控指令输入时，可根据采集的画面图像首先确定用户手指停留对应的画面图像，然后跟据该画面图像分析用户手指指尖停留的坐标信息。根据该坐标信息确定输入的遥控指令，然后由遥控终端将该遥控指令输出至被控终端，以使被控终端执行相应的遥控操作，从而实现遥控指令的输入。
本发明实施例通过采用遥控终端输出虚拟操作界面，并由遥控终端每间隔预置时间采集虚拟操作界面形成的画面图像，从而确定用户手指指尖在虚拟操作界面上点击的位置所对应的遥控指令，并将该遥控指令输出至被控终端，以实现遥控指令的输入。由于本发明实现了虚拟操作界面的遥控指令输入，相对于现有技术采用机械按键实现遥控指令的输入，可以有效防止按键失灵，提高遥控指令输入的准确率。此外，由于采用智能穿戴设备实现遥控指令的输入，方便用户操作，提高了遥控操作指令输入的灵活性。
进一步地，参照图2，提供了本发明虚拟操作界面遥控控制方法第二实施例，基于上述实施例，本实施例中，上述步骤S40包括：
步骤S41，当遥控终端内置的投影装置将虚拟操作界面进行投影后，遥控终端内置的图像获取装置获取所述虚拟操作界面的第一帧图像，并将所述第一帧图像设定为模板图像；
步骤S42，判断后续每间隔预置时间采集的虚拟操作界面形成的画面图像的像素值与所述模板图像像素值的差值的绝对值是否大于第一预设值；若是，则执行步骤S43；若否继续返回执行步骤S42；
步骤S43，提取当前采集的画面图像中指尖图像；
步骤S44，根据所述指尖图像确定用户在所述虚拟操作界面上输入的键值；
步骤S45，根据所述键值发送相应的遥控指令至被控终端，以控制被控终端执行相应的遥控操作。
应当说明的是，在采集画面图像后，可对画面图像进行优化处理，可以提高图像的信噪比，抑制背景噪声，最真实的还原原始图像信息。本实施例中，当投影装置将虚拟操作界面进行投影后，遥控终端的内置摄像头获取所述虚拟操作界面的第一帧图像，并将其设为模板图像，例如该模板图像的像素值为i1(x,y)，后续每间隔预置时间采集虚拟操作界面形成的画面图像，如获取的每一帧图像的像素值为in(x,y)，n表示图像的帧数，例如第二帧图像的像素值为i2(x,y)。模板图像进行优化处理后得到图像像素值为A1(x,y)，第二帧以后的图像进行优化后得到的图像像素值为An(x,y)。
具体地，优化处理包括光照校正、图像降噪滤波、图像灰度化处理。其中，光照校正为：利用图像光照校正算法对原始特定信息图中夹杂的一些变化信息(如光照变化、角度变化等)进行处理，可采用的方法有(不局限于)：Gamma校正、图像亮度非线性变换、直方图均衡化和最高亮度点光照补偿算法。Gamma校正和图像亮度非线性变换通过对图像像素点的非线性调整，能去除原始信息图中的一些无关的变化信息；直方图均衡化和最高亮度点光照补偿算法是一种针对图像对比度调整的方法，能增强图像局部对比度。图像降噪算法主要是对原始图像中的噪声信息进行滤除，图像中典型的噪声有高斯噪声、椒盐噪声、加性噪声等，常用的方法有均值滤波、中值滤波和高斯滤波等。上述通过Camera获取的图像是彩色图像，彩色图像通常是用RGB三分量的值来表示的，但RGB三分量之间有很高的相关性，直接利用这些分量一般很难得到所需的效果，同时也将增加计算的复杂度，由于后续算法中不关心色彩信息，所以在预处理中对彩色图像进行灰度化，灰度化的算法如下公式所示：A'n(x,y)＝(AnR(x,y)+AnG(x,y)+AnB(x,y))/3(1-1)，采用平均值法，其中AnR，AnG，AnB分别表示RGB分量。
当获取到优化处理后的图像像素值A1(x,y)和An(x,y)时，通过计算当前获取的帧图像与模板图像之间的像素差值Bn(x,y)，其中T1为一个经验阈值(即上述第一预设值)，该公式表示当第n帧图像与模版图像的每个像素点很相似/相近时，将输出图像对应坐标点的像素值置为0，反之置为255。
当得到Bn(x,y)为255对应的图像时，对该图像进行形态学的方法进一步优化，形态学可采用的算法包括膨胀，腐蚀，开运算和闭运算等，其中膨胀针对的是不连续点的处理，腐蚀针对的是孤立点的处理，开和闭运算是两者的综合。然后在针对上述形态学处理后的图像中提取指尖图像，根据指尖图像的位置，从而确定用户在所述虚拟操作界面上输入的键值。
进一步地，参照图3，提供了本发明虚拟操作界面遥控控制方法第三实施例，基于上述实施例，本实施例中，上述步骤S43之后还包括：
步骤S46，计算所述指尖图像的面积；
步骤S47，判断所述指尖图像的面积是否大于预置范围的最大值；若是则执行步骤S48，若否则执行步骤S44；
步骤S48，根据指尖图像的类圆特征获取指尖图像的弧度跳跃点，在圆弧跳跃点进行图像分割，将具有连续弧形的目标图像设定为指尖图像；接着执行步骤S44。
本实施例中，由于人手指尖的大小不同，因此人手指尖图像的像素点的个数不同，现有技术中通常采用一个特定的范围确定当前提取的指尖图像中是否为单纯的手指指尖图像。具体地，计算上述指尖图像的面积具体为计算提取的指尖图像的像素点个数，当该个数满足预置范围时，则表示提取的指尖图像为单纯的手指指尖图像，当该个数超过预置范围的最大值时，则表示提取的指尖图像并非单纯的手指指尖图像，还包括手指的投影等图像。此时，则根据指尖图像的类圆特征获取指尖图像的弧度跳跃点，在圆弧跳跃点进行图像分割，并将具有连续弧形的目标图像设定为指尖图像。本实施例中，由于对指尖图像的有效性进行判断，从而可以进一步提高遥控指令输入的准确性。
可以理解的是，上述根据指尖图像确定用户在所述虚拟操作界面上输入的键值的方式可根据实际需要进行设置，例如可根据指尖图像中心坐标进行确定，也可以根据整个指尖图像区域覆盖的面积进行判断。本实施例中，优选地，遥控终端可首先计算所述指尖图像的中点坐标值；然后根据所述中点坐标值分析用户在所述虚拟操作界面上输入的键值。例如该指尖图像中心图像为其中in(x)和in(y)分别表示指尖图像的x坐标值和y坐标值，R是一坐标集合，表示指尖图像上的所有坐标值(x,y)，N表示所述指尖图像的像素个数。然后确定所落入的虚拟按键对应的范围，从而确定用户输入的键值。
进一步地，基于上述实施例，本实施例中，在上述步骤S20之后还包括：
所述遥控终端实时检测其自身移动的距离是否大于第二预设值；
若是，则返回执行所述遥控终端根据所述语音命令投影与所述语音命令对应的虚拟操作界面的步骤。
本实施例中，当投影装置投影出虚拟操作界面后，如若遥控终端发生了移动，此时遥控终端将将关闭摄像头，并控制投影装置进行重设。此处的遥控终端移动会设定一个经验阈值(即上述第二预设值)，只有用户穿戴遥控终端发生的移动距离超过了该经验阈值才开始上述重设过程，这样是为了避免用户轻微的晃动误识别为移动。
应当说明的是，遥控终端和被控终端进行连接通讯的方式可根据实际需要进行设置。例如可以采用WiFi/蓝牙/2.4G等无线通讯方式进行数据交互。本实施例中优选通过NFC通讯建立连接，在NFC建立连接过程中，首先需要确定当前的无线交互方式。以下以遥控终端为智能穿戴，被控终端为智能电视，两者采用蓝牙和WiFi两种方式分别进行详细介绍：
如若通过蓝牙的方式进行数据交互，则连接建立中，遥控终端首先会去获取本机的蓝牙MAC地址(BMacAddr)，获取到BMacAddr后，将其通过存储模块进行缓存，当用户执行触碰操作，即遥控终端与被控终端进行P2P交互时，将BMacAddr通过NFC传递给被控终端(在传递过程中，若未接收到被控终端的接收结果反馈则持续传送直至接收到被控终端的接收反馈结果信息)，被控终端通过NFC获取BMacAddr后自动与遥控终端适配，完成蓝牙连接的建立，实现对码过程。
如若通过WiFi的方式进行数据交互，由于遥控终端无人机交互界面，无法手动进行WiFi的连接，也即无法连接WiFi，只能从被控终端中获取WiFi联网需要的SSID(标示符)和KEY(安全密匙)，所以在连接的建立过程中，被控终端首先需要开启一个服务去获取本机当前连上的WiFi的SSID(标示符)和KEY(安全密匙)，当然如若被控终端当前未联网，则在被控终端初始化步骤中会提示用户进行联网操作，获取到SSID和KEY后，将其通过存储模块进行缓存，当用户执行遥控终端触碰被控终端的操作时，即遥控终端与被控终端进行P2P交互时，将SSID和KEY通过NFC传递给遥控终端(在传递过程中，若未接收到遥控终端的接收结果反馈则持续传送直至接收到被控和总段的接收反馈结果信息)，遥控终端通过NFC获取SSID和KEY后，首先完成自身的联网，然后再与被控适配，完成WiFi连接的建立，实现对码过程。
本发明还提供一种虚拟操作界面遥控控制系统，本实施例提供的虚拟操作界面遥控控制系统包括遥控终端和被控终端，其中
遥控终端，用于接收与用户输入的语音信息对应的语音命令，所述语音命令与预置的虚拟操作界面一一对应；
本实施例提供的虚拟操作界面遥控控制方法主要应用于遥控操作系统当中，以实现基于虚拟遥控操作界面的遥控指令的输入。以下实施例中可以以电视遥控系统为例作出详细说明，具体地，上述遥控终端可以为智能穿戴设备(如眼镜等)，上述被控终端可以为智能电视，其中智能电视可以与智能穿戴设备建立通讯连接，实现数据传输。上述智能电视和智能穿戴设备上均可设置语音输入功能，当用户打开语音功能后，可通过智能穿戴设备直接接收用户的语音信息，并解析得到对应的语音命令，，也可以通过智能电视接收用户的语音信息，解析得到对应的语音命令，并将所述语音命令传送给智能穿戴设备。。上述虚拟操作界面包括数字遥控投影界面、传统遥控操控界面和字母键盘投影界面，具体地虚拟操作界面的类型形式在此不作进一步地限定。应当说明的是，上述语音命令可以包括：“打开数字遥控投影界面”、“打开传统遥控操控界面”、“打开字母键盘投影界面”和“无效命令”。
应当说明的是，在接收到语音信息时，可加入语音/音频数据预处理。该语音/音频数据预处理是指对原始语音信息进行处理，滤除掉其中不重要的信息和背景噪声，以及端点检测、语音分帧和预加重等处理，从而降低后续语音识别的难度。可以理解的是，语音识别可以采用现有成熟的语音识别技术实现，在此不作赘述。例如可以采用HMM(隐马尔可夫模型)、DTW(动态时间规整技术)、VQ(矢量量化技术)、ANN(人工神经网络技术)、SVN(支持向量机技术)，这些技术都是现有技术，可直接采用或采用其它成熟的语音识别技术进行语音识别。
所述遥控终端，还用于根据所述语音命令投影与所述语音命令对应的虚拟操作界面；每间隔预置时间采集所述虚拟操作界面形成的画面图像；根据采集的画面图像分析手指指尖在所述虚拟操作界面上停留位置对应的遥控指令，并将所述遥控指令发送至被控终端，以控制被控终端执行相应的遥控操作。
本实施例中，上述遥控终端内置有投影装置，用于投影虚拟操作界面；遥控终端还内置有图像获取装置(摄像头)，用于采集虚拟操作界面形成的画面图像。上述预置时间间隔系统默认会给一个初始经验值，用户也可以自行调整设定。
例如当语音命令为“打开数字遥控投影界面”时，遥控终端内置的投影装置投影出数字遥控投影界面；当语音命令为“打开传统遥控操控界面”时，遥控终端内置的投影装置投影出传统遥控操控界面；当语音命令为“打开字母键盘投影界面”时，遥控终端内置的投影装置投影出字母键盘投影界面；当语音命令为“无效命令”，不进行投影显示，或者投影出空的虚拟操作界面。
当投影显示相应的虚拟操作界面后，遥控终端上预置的摄像头将每隔预置时间采集所述虚拟操作界面形成的画面图像，具体地，摄像头采集图像的大小可根据实际需要进行设置，例如，摄像头采集的图像大小与虚拟操作界面投影的大小一致，也可以是，摄像头采集的图像大于虚拟操作界面投影，使用时，虚拟操作界面投影至少全部包含在摄像头采集的区域范围内。
当用户手指在投影形成的虚拟操作菜单界面上进行遥控指令输入时，可根据采集的画面图像首先确定用户手指停留对应的画面图像，然后跟据该画面图像分析用户手指指尖停留的坐标信息。根据该坐标信息确定输入的遥控指令，然后由遥控终端将该遥控指令输出至被控终端，以使被控终端执行相应的遥控操作，从而实现遥控指令的输入。
本发明实施例通过采用遥控终端输出虚拟操作界面，并由遥控终端每间隔预置时间采集虚拟操作界面形成的画面图像，从而确定用户手指指尖在虚拟操作界面上点击的位置所对应的遥控指令，并将该遥控指令输出至被控终端，以实现遥控指令的输入。由于本发明实现了虚拟操作界面的遥控指令输入，相对于现有技术采用机械按键实现遥控指令的输入，可以有效防止按键失灵，提高遥控指令输入的准确率。此外，由于采用智能穿戴设备实现遥控指令的输入，方便用户操作，提高了遥控操作指令输入的灵活性。
进一步地，基于上述实施例，本实施例中，上述遥控终端具体用于当投影装置将虚拟操作界面进行投影后，获取所述虚拟操作界面的第一帧图像，并将所述第一帧图像设定为模板图像；判断后续每间隔预置时间采集虚拟操作界面形成的画面图像的像素值与所述模板图像像素值的差值的绝对值是否大于第一预设值；若是，则提取当前采集的画面图像中指尖图像；根据所述指尖图像确定用户在所述虚拟操作界面上输入的键值；根据所述键值发送相应的遥控指令至被控终端，以控制被控终端执行相应的遥控操作。
应当说明的是，在采集画面图像后，可对画面图像进行优化处理，可以提高图像的信噪比，抑制背景噪声，最真实的还原原始图像信息。本实施例中，当投影装置将虚拟操作界面进行投影后，遥控终端的内置摄像头获取所述虚拟操作界面的第一帧图像，并将其设为模板图像，例如该模板图像的像素值为i1(x,y)，后续每间隔预置时间采集虚拟操作界面形成的画面图像，如获取的每一帧图像的像素值为in(x,y)，n表示图像的帧数，例如第二帧图像的像素值为i2(x,y)。模板图像进行优化处理后得到图像像素值为A1(x,y)，第二帧以后的图像进行优化后得到的图像像素值为An(x,y)。
具体地，优化处理包括光照校正、图像降噪滤波、图像灰度化处理。其中，光照校正为：利用图像光照校正算法对原始特定信息图中夹杂的一些变化信息(如光照变化、角度变化等)进行处理，可采用的方法有(不局限于)：Gamma校正、图像亮度非线性变换、直方图均衡化和最高亮度点光照补偿算法。Gamma校正和图像亮度非线性变换通过对图像像素点的非线性调整，能去除原始信息图中的一些无关的变化信息；直方图均衡化和最高亮度点光照补偿算法是一种针对图像对比度调整的方法，能增强图像局部对比度。图像降噪算法主要是对原始图像中的噪声信息进行滤除，图像中典型的噪声有高斯噪声、椒盐噪声、加性噪声等，常用的方法有均值滤波、中值滤波和高斯滤波等。上述通过Camera获取的图像是彩色图像，彩色图像通常是用RGB三分量的值来表示的，但RGB三分量之间有很高的相关性，直接利用这些分量一般很难得到所需的效果，同时也将增加计算的复杂度，由于后续算法中不关心色彩信息，所以在预处理中对彩色图像进行灰度化，灰度化的算法如下公式所示：A'n(x,y)＝(AnR(x,y)+AnG(x,y)+AnB(x,y))/3(1-1)，采用平均值法，其中AnR，AnG，AnB分别表示RGB分量。
当获取到优化处理后的图像像素值A1(x,y)和An(x,y)时，通过计算当前获取的帧图像与模板图像之间的像素差值Bn(x,y)，其中T1为一个经验阈值(即上述第一预设值)，该公式表示为，表示当第n帧图像与模版图像的每个像素点很相似/相近时，将输出图像对应坐标点的像素值置为0，反之置为255。
当得到Bn(x,y)为255对应的图像时，对该图像进行形态学的方法进一步优化，形态学可采用的算法包括膨胀，腐蚀，开运算和闭运算等，其中膨胀针对的是不连续点的处理，腐蚀针对的是孤立点的处理，开和闭运算是两者的综合。然后在针对上述形态学处理后的图像中提取指尖图像，根据指尖图像的位置，从而确定用户在所述虚拟操作界面上输入的键值。
进一步地，基于上述实施例，本实施例中，上述遥控终端还用于，计算所述指尖图像的面积；判断所述指尖图像的面积是否大于预置范围的最大值；若是，则根据指尖图像的类圆特征获取指尖图像的弧度跳跃点，在圆弧跳跃点进行图像分割，将具有连续弧形的目标图像设定为指尖图像；并执行所述根据指尖图像确定用户在所述虚拟操作界面上输入的键值操作；若否，则执行所述根据指尖图像确定用户在所述虚拟操作界面上输入的键值操作。
本实施例中，由于人手指尖的大小不同，因此人手指尖图像的像素点的个数不同，现有技术中通常采用一个特定的范围确定当前提取的指尖图像中是否为单纯的手指指尖图像。具体地，计算上述指尖图像的面积具体为计算提取的指尖图像的像素点个数，当该个数满足预置范围时，则表示提取的指尖图像为单纯的手指指尖图像，当该个数超过预置范围的最大值时，则表示提取的指尖图像并非单纯的手指指尖图像，还包括手指的投影等图像。此时，则根据指尖图像的类圆特征获取指尖图像的弧度跳跃点，在圆弧跳跃点进行图像分割，并将具有连续弧形的目标图像设定为指尖图像。本实施例中，由于对指尖图像的有效性进行判断，从而可以进一步提高遥控指令输入的准确性。
可以理解的是，上述根据指尖图像确定用户在所述虚拟操作界面上输入的键值的方式可根据实际需要进行设置，例如可根据指尖图像中心坐标进行确定，也可以根据整个指尖图像区域覆盖的面积进行判断。本实施例中，优选地，遥控终端具体用于计算所述指尖图像的中点坐标值；根据所述中点坐标值分析用户在所述虚拟操作界面上输入的键值。
例如该指尖图像中心图像为其中in(x)和in(y)分别表示指尖图像的x坐标值和y坐标值，R是一坐标集合，表示指尖图像上的所有坐标值(x,y)，N表示所述指尖图像的像素个数。然后确定所落入的虚拟按键对应的范围，从而确定用户输入的键值。
进一步地，基于上述实施例，本实施例中，上述遥控终端还用于实时检测其自身移动的距离是否大于第二预设值；当遥控终端移动的距离大于第二预设值时，根据所述语音命令投影与所述语音命令对应的虚拟操作界面。
本实施例中，当投影装置投影出虚拟操作界面后，如若遥控终端发生了移动，此时遥控终端将将关闭摄像头，并控制投影装置进行重设。此处的遥控终端移动会设定一个经验阈值(即上述第二预设值)，只有用户穿戴遥控终端发生的移动距离超过了该经验阈值才开始上述重设过程，这样是为了避免用户轻微的晃动误识别为移动。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种虚拟操作界面遥控控制方法，其特征在于，包括以下步骤：
遥控终端接收与用户输入的语音信息对应的语音命令，所述语音命令与预置的虚拟操作界面一一对应；
所述遥控终端根据所述语音命令投影与所述语音命令对应的虚拟操作界面；
所述遥控终端每间隔预置时间采集所述虚拟操作界面形成的画面图像；
所述遥控终端根据采集的画面图像分析手指指尖在所述虚拟操作界面上停留位置对应的遥控指令，并将所述遥控指令发送至被控终端，以控制被控终端执行相应的遥控操作，其中，该步骤包括：
当投影装置将虚拟操作界面进行投影后，遥控终端获取所述虚拟操作界面的第一帧图像，并将所述第一帧图像设定为模板图像；
判断后续每间隔预置时间采集虚拟操作界面形成的画面图像的像素值与所述模板图像像素值的差值的绝对值是否大于第一预设值；
若是，则提取当前采集的画面图像中指尖图像；
根据所述指尖图像确定用户在所述虚拟操作界面上输入的键值；
根据所述键值发送相应的遥控指令至被控终端，以控制被控终端执行相应的遥控操作；
其中，所述虚拟操作界面遥控控制方法还包括：在采集画面图像后，对画面图像进行优化处理；
在所述提取当前采集的画面图像中指尖图像之后还包括：
计算所述指尖图像的面积；
判断所述指尖图像的面积是否大于预置范围的最大值；
若是，则根据指尖图像的类圆特征获取指尖图像的弧度跳跃点，在圆弧跳跃点进行图像分割，将具有连续弧形的目标图像设定为指尖图像；并返回执行所述根据指尖图像确定用户在所述虚拟操作界面上输入的键值的步骤；
若否，则执行所述根据指尖图像确定用户在所述虚拟操作界面上输入的键值的步骤。
2.如权利要求1所述的虚拟操作界面遥控控制方法，其特征在于，所述根据指尖图像确定用户在所述虚拟操作界面上输入的键值包括：
计算所述指尖图像的中点坐标值；
根据所述中点坐标值分析用户在所述虚拟操作界面上输入的键值。
3.如权利要求1所述的虚拟操作界面遥控控制方法，其特征在于，所述遥控终端根据所述语音命令投影与所述语音命令对应的虚拟操作界面之后还包括：
所述遥控终端实时检测其自身移动的距离是否大于第二预设值；
若是，则返回执行所述遥控终端根据所述语音命令投影与所述语音命令对应的虚拟操作界面的步骤。
4.一种虚拟操作界面遥控控制系统，其特征在于，包括遥控终端和被控终端，其中
遥控终端，用于接收与用户输入的语音信息对应的语音命令，所述语音命令与预置的虚拟操作界面一一对应；
所述遥控终端，还用于根据所述语音命令投影与所述语音命令对应的虚拟操作界面；每间隔预置时间采集所述虚拟操作界面形成的画面图像；根据采集的画面图像分析手指指尖在所述虚拟操作界面上停留位置对应的遥控指令，并将所述遥控指令发送至被控终端，以控制被控终端执行相应的遥控操作，其中，所述遥控终端具体用于当投影装置将虚拟操作界面进行投影后，获取所述虚拟操作界面的第一帧图像，并将所述第一帧图像设定为模板图像；判断后续每间隔预置时间采集虚拟操作界面形成的画面图像的像素值与所述模板图像像素值的差值的绝对值是否大于第一预设值；若是，则提取当前采集的画面图像中指尖图像；根据所述指尖图像确定用户在所述虚拟操作界面上输入的键值；根据所述键值发送相应的遥控指令至被控终端，以控制被控终端执行相应的遥控操作，并对采集的画面图像进行优化处理；遥控终端还用于，计算所述指尖图像的面积；判断所述指尖图像的面积是否大于预置范围的最大值；若是，则根据指尖图像的类圆特征获取指尖图像的弧度跳跃点，在圆弧跳跃点进行图像分割，将具有连续弧形的目标图像设定为指尖图像；并执行所述根据指尖图像确定用户在所述虚拟操作界面上输入的键值操作；若否，则执行所述根据指尖图像确定用户在所述虚拟操作界面上输入的键值操作。
5.如权利要求4所述的虚拟操作界面遥控控制系统，其特征在于，所述遥控终端具体用于计算所述指尖图像的中点坐标值；根据所述中点坐标值分析用户在所述虚拟操作界面上输入的键值。
6.如权利要求4所述的虚拟操作界面遥控控制系统，其特征在于，所述遥控终端还用于实时检测其自身移动的距离是否大于第二预设值；当遥控终端移动的距离大于第二预设值时，根据所述语音命令投影与所述语音命令对应的虚拟操作界面。
CN201410620941.5A 2014-11-06 2014-11-06 虚拟操作界面遥控控制方法及系统 Active CN105635776B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201410620941.5A CN105635776B (zh) 2014-11-06 2014-11-06 虚拟操作界面遥控控制方法及系统
PCT/CN2015/090466 WO2016070688A1 (zh) 2014-11-06 2015-09-23 虚拟操作界面遥控控制方法及系统
EP15857359.2A EP3217637A4 (en) 2014-11-06 2015-09-23 Remote control method and system for virtual operation interface
US15/125,134 US10429936B2 (en) 2014-11-06 2015-09-23 Remote control method and system for virtual operating interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410620941.5A CN105635776B (zh) 2014-11-06 2014-11-06 虚拟操作界面遥控控制方法及系统

Publications (2)

Publication Number Publication Date
CN105635776A CN105635776A (zh) 2016-06-01
CN105635776B true CN105635776B (zh) 2019-03-01

Family

ID=55908540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410620941.5A Active CN105635776B (zh) 2014-11-06 2014-11-06 虚拟操作界面遥控控制方法及系统

Country Status (4)

Country Link
US (1) US10429936B2 (zh)
EP (1) EP3217637A4 (zh)
CN (1) CN105635776B (zh)
WO (1) WO2016070688A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105635776B (zh) * 2014-11-06 2019-03-01 深圳Tcl新技术有限公司 虚拟操作界面遥控控制方法及系统
CN105898256A (zh) * 2016-05-30 2016-08-24 佛山市章扬科技有限公司 一种动作识别无屏电视
CN106293346A (zh) * 2016-08-11 2017-01-04 深圳市金立通信设备有限公司 一种虚拟现实视景的切换方法及终端
WO2018112856A1 (zh) * 2016-12-22 2018-06-28 深圳前海达闼云端智能科技有限公司 基于语音控制的位置定位方法、装置、用户设备及计算机程序产品
CN108476339B (zh) * 2016-12-30 2020-12-01 华为技术有限公司 一种遥控方法和终端
CN109640064A (zh) * 2019-01-11 2019-04-16 郑州嘉晨电器有限公司 一种带语音识别功能的激光投影系统
CN110427148A (zh) * 2019-07-26 2019-11-08 苏州蜗牛数字科技股份有限公司 一种语音触发屏幕的方法
CN112073958A (zh) * 2020-09-15 2020-12-11 苏州臻迪智能科技有限公司 连接建立方法、装置、移动终端及计算机可读存储介质
CN112085942B (zh) * 2020-09-25 2021-12-31 汉桑（南京）科技有限公司 一种根据遥控设备图像配置遥控功能数据的方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204852B1 (en) * 1998-12-09 2001-03-20 Lucent Technologies Inc. Video hand image three-dimensional computer interface
CN102200834A (zh) * 2011-05-26 2011-09-28 华南理工大学 面向电视控制的指尖鼠标交互方法
CN102780864A (zh) * 2012-07-03 2012-11-14 深圳创维－Rgb电子有限公司 一种基于投影菜单的电视遥控方法、装置及电视
CN103067766A (zh) * 2012-12-30 2013-04-24 深圳市龙视传媒有限公司 数字电视应用业务语音控制方法、系统及终端

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8472665B2 (en) * 2007-05-04 2013-06-25 Qualcomm Incorporated Camera-based user input for compact devices
US7916126B2 (en) * 2007-06-13 2011-03-29 Apple Inc. Bottom-up watershed dataflow method and region-specific segmentation based on historic data to identify patches on a touch sensor panel
JP4840620B2 (ja) * 2009-04-30 2011-12-21 株式会社デンソー 車載用電子機器操作装置
US20110074675A1 (en) * 2009-09-29 2011-03-31 Nokia Corporation Method and apparatus for initiating a feature based at least in part on the tracked movement
TWI423112B (zh) * 2009-12-09 2014-01-11 Ind Tech Res Inst 可攜式虛擬輸入操作裝置與其操作方法
JP5743416B2 (ja) * 2010-03-29 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9122307B2 (en) * 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US9135503B2 (en) * 2010-11-09 2015-09-15 Qualcomm Incorporated Fingertip tracking for touchless user interface
KR101646616B1 (ko) * 2010-11-30 2016-08-12 삼성전자주식회사 객체 제어 장치 및 방법
US8928589B2 (en) * 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
US9317130B2 (en) * 2011-06-16 2016-04-19 Rafal Jan Krepec Visual feedback by identifying anatomical features of a hand
US8228315B1 (en) * 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
WO2013012107A1 (ko) * 2011-07-19 2013-01-24 엘지전자 주식회사 전자 기기 및 그 제어 방법
US10140011B2 (en) * 2011-08-12 2018-11-27 Microsoft Technology Licensing, Llc Touch intelligent targeting
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US9459457B2 (en) * 2011-12-01 2016-10-04 Seebright Inc. Head mounted display with remote control
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US9773345B2 (en) * 2012-02-15 2017-09-26 Nokia Technologies Oy Method and apparatus for generating a virtual environment for controlling one or more electronic devices
CN103428339A (zh) * 2012-05-17 2013-12-04 西安闻泰电子科技有限公司 通过语音输入控制手机进行操作的方法
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
US9213436B2 (en) * 2012-06-20 2015-12-15 Amazon Technologies, Inc. Fingertip location for gesture input
CN102819315B (zh) * 2012-07-23 2016-04-13 中兴通讯股份有限公司 一种3d人机交互方法及系统
KR101958778B1 (ko) * 2012-08-31 2019-03-15 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 디지털 디바이스 제어 방법
KR101991133B1 (ko) * 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
US20140160162A1 (en) * 2012-12-12 2014-06-12 Dhanushan Balachandreswaran Surface projection device for augmented reality
CN103092437B (zh) * 2012-12-13 2016-07-13 同济大学 一种基于图像处理技术的便捷式触控交互系统
US20140282239A1 (en) * 2013-03-15 2014-09-18 Lenovo (Singapore) Pte, Ltd. Selecting a touch screen hot spot
US10846942B1 (en) * 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
KR101465894B1 (ko) * 2013-09-13 2014-11-26 성균관대학교산학협력단 손가락에 부착한 마커를 이용하여 제어 명령을 생성하는 이동 단말 및 손가락에 부착한 마커를 이용하여 단말에서 제어 명령을 생성하는 방법
CN105635776B (zh) * 2014-11-06 2019-03-01 深圳Tcl新技术有限公司 虚拟操作界面遥控控制方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204852B1 (en) * 1998-12-09 2001-03-20 Lucent Technologies Inc. Video hand image three-dimensional computer interface
CN102200834A (zh) * 2011-05-26 2011-09-28 华南理工大学 面向电视控制的指尖鼠标交互方法
CN102780864A (zh) * 2012-07-03 2012-11-14 深圳创维－Rgb电子有限公司 一种基于投影菜单的电视遥控方法、装置及电视
CN103067766A (zh) * 2012-12-30 2013-04-24 深圳市龙视传媒有限公司 数字电视应用业务语音控制方法、系统及终端

Also Published As

Publication number Publication date
EP3217637A4 (en) 2018-06-06
US20160378194A1 (en) 2016-12-29
US10429936B2 (en) 2019-10-01
CN105635776A (zh) 2016-06-01
WO2016070688A1 (zh) 2016-05-12
EP3217637A1 (en) 2017-09-13

Similar Documents

Publication Publication Date Title
CN105635776B (zh) 虚拟操作界面遥控控制方法及系统
US20220261960A1 (en) Super-resolution reconstruction method and related apparatus
WO2020216054A1 (zh) 视线追踪模型训练的方法、视线追踪的方法及装置
US11455830B2 (en) Face recognition method and apparatus, electronic device, and storage medium
CN110163806B (zh) 一种图像处理方法、装置以及存储介质
CN110689500B (zh) 一种人脸图像的处理方法、装置、电子设备及存储介质
CN109918975A (zh) 一种增强现实的处理方法、对象识别的方法及终端
CN104410883A (zh) 一种移动可穿戴非接触式交互系统与方法
CN108079565A (zh) 一种台球比赛计分系统
WO2020078319A1 (zh) 基于手势的操控方法及终端设备
CN103412643B (zh) 终端及其遥控的方法
CN110909654A (zh) 训练图像的生成方法及装置、电子设备和存储介质
CN110689479B (zh) 一种人脸上妆方法、装置、设备及介质
US20240169687A1 (en) Model training method, scene recognition method, and related device
US20180075661A1 (en) Method for reproducing object in 3d scene and virtual reality head-mounted device
CN103299342A (zh) 提供用于姿势识别的机制的方法和装置
CN108111762A (zh) 一种图像处理方法、终端及计算机可读存储介质
CN117274383A (zh) 视点预测方法及装置、电子设备和存储介质
CN107452381B (zh) 一种多媒体语音识别装置及方法
CN109639981B (zh) 一种图像拍摄方法及移动终端
CN111182280A (zh) 一种投影方法、投影装置、音箱设备及存储介质
US20180239436A1 (en) Gesture recognition device and man-machine interaction system
CN115526772A (zh) 视频处理方法、装置、设备和存储介质
KR20110032429A (ko) 휴대용 단말기에서 제스처를 인식하기 위한 장치 및 방법
CN114550261A (zh) 人脸识别方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant