CN111866562A - 适用于视频设备的虚拟触屏方法 - Google Patents

适用于视频设备的虚拟触屏方法 Download PDF

Info

Publication number
CN111866562A
CN111866562A CN202010745314.XA CN202010745314A CN111866562A CN 111866562 A CN111866562 A CN 111866562A CN 202010745314 A CN202010745314 A CN 202010745314A CN 111866562 A CN111866562 A CN 111866562A
Authority
CN
China
Prior art keywords
touch
control
remote controller
video equipment
touch screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010745314.XA
Other languages
English (en)
Inventor
姚滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010745314.XA priority Critical patent/CN111866562A/zh
Publication of CN111866562A publication Critical patent/CN111866562A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及一种适用于视频设备的虚拟触屏方法，视频设备上匹配连接有摄像头装置，视频设备配置有遥控器，视频设备配置有计算模块，摄像头装置捕捉用户的手部动作，通过计算模块生成绝对坐标，绝对坐标在视频设备上显示为触摸点位置，触摸点位置采用指针浮标表示，用户通过遥控器的按键控制，模拟触摸控制。由此，只需要增设一个摄像头，既可以通过常规的动作捕捉程序，获取用户的控制轨迹，实现触摸点的跟踪。能够在常规遥控器的配合下，实现虚拟的触摸点击控制、触摸拖动控制，且模拟精度高。可以实现双手的两个触点模拟控制，满足各类应用的控制需要，模拟双指点击触摸控制。

Description

适用于视频设备的虚拟触屏方法
技术领域
本发明涉及一种虚拟触屏方法，尤其涉及一种适用于视频设备的虚拟触屏方法。
背景技术
目前对于诸如带有安卓系统的智能电视来看，有好多应用程序需要进行触摸操控，但是常规的智能电视并不带有触控屏。为此，智能通过遥控器来进行相对简单的模拟操作。但是，但是由于没有触摸功能，很多软件应用起来非常繁琐，远没有触摸控制带来的便利，而给智能电视匹配触摸屏的成本又过高，影响智能电视对于一些触控软件的兼容性。
有鉴于上述的缺陷，本设计人，积极加以研究创新，以期创设一种适用于视频设备的虚拟触屏方法，使其更具有产业上的利用价值。
发明内容
为解决上述技术问题，本发明的目的是提供一种适用于视频设备的虚拟触屏方法。
本发明的适用于视频设备的虚拟触屏方法，其中：所述视频设备上匹配连接有摄像头装置，所述视频设备配置有遥控器，所述视频设备配置有计算模块，所述摄像头装置捕捉用户的手部动作，通过计算模块生成绝对坐标，所述绝对坐标在视频设备上显示为触摸点位置，所述触摸点位置采用指针浮标表示，用户通过遥控器的按键控制，模拟触摸控制。
进一步地，上述的适用于视频设备的虚拟触屏方法，其中，所述视频设备为智能电视，或是为智能机顶盒，或是为智能投影仪。
更进一步地，上述的适用于视频设备的虚拟触屏方法，其中，所述遥控器为红外线遥控器，或是为蓝牙遥控器，所述遥控器至少配置有一个按压按钮，或是配置有一个触摸按钮。
更进一步地，上述的适用于视频设备的虚拟触屏方法，其中，所述计算模块将用户的手部动作配置人体关键点，构成追踪骨架，所述追踪骨架包括手掌部分、前臂部分、后臂部分，所述手掌部分的运动轨迹转化为位于视频设备显示边界内的绝对坐标。
更进一步地，上述的适用于视频设备的虚拟触屏方法，其中，所述绝对坐标为二维坐标，包括X轴标定点与Y轴标定点，计算模块根据追踪骨架的运动以手掌部分的中心点构成绝对坐标。
更进一步地，上述的适用于视频设备的虚拟触屏方法，其中，所述触摸控制包括触摸点击控制、触摸拖动控制，用户按压遥控器按键，实现触摸点击控制；用户按压遥控器按键且控制遥控器进行移动后，控制画面进行拖动，用户松开遥控器按键后，拖动停止，实现触摸拖动控制。
更进一步地，上述的适用于视频设备的虚拟触屏方法，其中，触摸点击控制时，指针浮标播出下压动画；触摸拖动控制时，指针浮标转化为手型浮标的图形或是动画。
更进一步地，上述的适用于视频设备的虚拟触屏方法，其中，用户双手均持有遥控器，摄像头装置同时跟踪左右手动作，模拟双点触摸控制。
再进一步地，上述的适用于视频设备的虚拟触屏方法，其中，所述遥控器内安装有无线通讯模块，或是陀螺仪。
借由上述方案，本发明至少具有以下优点：
1、只需要增设一个摄像头，既可以通过常规的动作捕捉程序，获取用户的控制轨迹，实现触摸点的跟踪。
2、能够在常规遥控器的配合下，实现虚拟的触摸点击控制、触摸拖动控制，且模拟精度高。
3、可以实现双手的两个触点模拟控制，满足各类应用的控制需要，模拟双指点击触摸控制。
4、整体构造简单，需要增设的硬件少，可以有效利用常规的设备和模块，易于实施。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
图1是适用于视频设备的虚拟触屏方法的结构示意图。
图中各附图标记的含义如下。
1视频设备 2摄像头装置
3遥控器 4计算模块
5指针浮标 6按键
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1的适用于视频设备的虚拟触屏方法，其与众不同之处在于：视频设备1上匹配连接有摄像头装置2，视频设备1配置有遥控器3，视频设备1配置有计算模块4。首先，摄像头装置2捕捉用户的手部动作，通过计算模块4生成绝对坐标。之后，绝对坐标在视频设备1上显示为触摸点位置，触摸点位置采用指针浮标5表示，便于用户参考识别。最后，用户通过遥控器3的按键6控制，模拟触摸控制。
结合本发明一较佳的实施方式来看，考虑到实施的便利，视频设备1为智能电视，或是为智能机顶盒，或是为智能投影仪。这样，可以自带计算模块4，实现集成化的配置。并且，可以采用多数的市售产品，降低实施成本。同时，遥控器3为红外线遥控器3，或是为蓝牙遥控器3，遥控器3至少配置有一个按压按钮，或是配置有一个触摸按钮。考虑到某些特殊应用需要，还可以在遥控器3内安装有无线通讯模块，或是陀螺仪。这样，可以提升数据通讯的稳定性且拥有更好的空间位置辨识度。
进一步来看，为了过去精确的平面坐标，利用遥控器3模拟对视频设备1所播放的影像进行虚拟触摸操作，计算模块4将用户的手部动作配置人体关键点，构成追踪骨架。具体来说，追踪骨架包括手掌部分、前臂部分、后臂部分，将手掌部分的运动轨迹转化为位于视频设备1显示边界内的绝对坐标。同时，本发明采用的绝对坐标为二维坐标。具体来说，其包括X轴标定点与Y轴标定点，计算模块4根据追踪骨架的运动以手掌部分的中心点构成绝对坐标。
结合实际实施来看，本发明采用的触摸控制包括触摸点击控制、触摸拖动控制。具体来说，用户按压遥控器3的按键6，实现触摸点击控制。同时，用户按压遥控器3的按键6且控制遥控器3进行移动后，控制画面进行拖动，用户松开遥控器3的按键6后，拖动停止，实现触摸拖动控制。这样，可以满足常规触摸屏操作中的点击、拖动等操作的模拟。并且，为了及时反馈用户对按键6的操作，让其知晓当前进行的点击控制还是触摸，用户在进行触摸点击控制时，指针浮标5播出下压动画；触摸拖动控制时，指针浮标5转化为手型浮标的图形或是动画。
再进一步来看，利用本发明的原理，可以实现双手双触控的模拟。具体来说，用户双手均持有遥控器3，摄像头装置2同时跟踪左右手动作，模拟双点触摸控制。
本发明的工作原理如下：
以智能电视机为例，用户手持遥控器3，伴随着用户的手部运动，在智能电视机的播放界面上会显示一个虚拟的触摸点图标(类似鼠标指针)，该图标可以实时显示或是隐藏，待按压遥控器3按钮或是用户手持遥控器3移动后激活显示。之后，待触摸点图标到达需要位置后，用户点击按键6，进行相应的触摸点击模拟操作。在此期间，用户可以按压遥控器3的按键6不放，实现拖动模拟。
通过上述的文字表述并结合附图可以看出，采用本发明后，拥有如下优点：
1、只需要增设一个摄像头，既可以通过常规的动作捕捉程序，获取用户的控制轨迹，实现触摸点的跟踪。
2、能够在常规遥控器的配合下，实现虚拟的触摸点击控制、触摸拖动控制，且模拟精度高。
3、可以实现双手的两个触点模拟控制，满足各类应用的控制需要，模拟双指点击触摸控制。
4、整体构造简单，需要增设的硬件少，可以有效利用常规的设备和模块，易于实施。
此外，本发明所描述的指示方位或位置关系，均为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或构造必须具有特定的方位，或是以特定的方位构造来进行操作，因此不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，术语“连接”、“设置”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个组件内部的连通或两个组件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。并且它可以直接在另一个组件上或者间接在该另一个组件上。当一个组件被称为是“连接于”另一个组件，它可以是直接连接到另一个组件或间接连接至该另一个组件上。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (9)

1.适用于视频设备的虚拟触屏方法，其特征在于：所述视频设备上匹配连接有摄像头装置，所述视频设备配置有遥控器，所述视频设备配置有计算模块，所述摄像头装置捕捉用户的手部动作，通过计算模块生成绝对坐标，所述绝对坐标在视频设备上显示为触摸点位置，所述触摸点位置采用指针浮标表示，用户通过遥控器的按键控制，模拟触摸控制。
2.根据权利要求1所述的适用于视频设备的虚拟触屏方法，其特征在于：所述视频设备为智能电视，或是为智能机顶盒，或是为智能投影仪。
3.根据权利要求1所述的适用于视频设备的虚拟触屏方法，其特征在于：所述遥控器为红外线遥控器，或是为蓝牙遥控器，所述遥控器至少配置有一个按压按钮，或是配置有一个触摸按钮。
4.根据权利要求1所述的适用于视频设备的虚拟触屏方法，其特征在于：所述计算模块将用户的手部动作配置人体关键点，构成追踪骨架，所述追踪骨架包括手掌部分、前臂部分、后臂部分，所述手掌部分的运动轨迹转化为位于视频设备显示边界内的绝对坐标。
5.根据权利要求4所述的适用于视频设备的虚拟触屏方法，其特征在于：所述绝对坐标为二维坐标，包括X轴标定点与Y轴标定点，计算模块根据追踪骨架的运动以手掌部分的中心点构成绝对坐标。
6.根据权利要求1所述的适用于视频设备的虚拟触屏方法，其特征在于：所述触摸控制包括触摸点击控制、触摸拖动控制，用户按压遥控器按键，实现触摸点击控制；用户按压遥控器按键且控制遥控器进行移动后，控制画面进行拖动，用户松开遥控器按键后，拖动停止，实现触摸拖动控制。
7.根据权利要求6所述的适用于视频设备的虚拟触屏方法，其特征在于：触摸点击控制时，指针浮标播出下压动画；触摸拖动控制时，指针浮标转化为手型浮标的图形或是动画。
8.根据权利要求1所述的适用于视频设备的虚拟触屏方法，其特征在于：用户双手均持有遥控器，摄像头装置同时跟踪左右手动作，模拟双点触摸控制。
9.根据权利要求1所述的适用于视频设备的虚拟触屏方法，其特征在于：所述遥控器内安装有无线通讯模块，或是陀螺仪。
CN202010745314.XA 2020-07-29 2020-07-29 适用于视频设备的虚拟触屏方法 Pending CN111866562A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010745314.XA CN111866562A (zh) 2020-07-29 2020-07-29 适用于视频设备的虚拟触屏方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010745314.XA CN111866562A (zh) 2020-07-29 2020-07-29 适用于视频设备的虚拟触屏方法

Publications (1)

Publication Number Publication Date
CN111866562A true CN111866562A (zh) 2020-10-30

Family

ID=72945622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010745314.XA Pending CN111866562A (zh) 2020-07-29 2020-07-29 适用于视频设备的虚拟触屏方法

Country Status (1)

Country Link
CN (1) CN111866562A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199549A (zh) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 人机交互式虚拟触控装置、系统及方法
US20160014446A1 (en) * 2013-12-04 2016-01-14 Boe Technology Group Co., Ltd. Touch-screen remote controller and remote control method thereof
CN107329591A (zh) * 2017-07-04 2017-11-07 苏州运智互动科技有限公司 无线体感双手柄模拟两点触屏的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160014446A1 (en) * 2013-12-04 2016-01-14 Boe Technology Group Co., Ltd. Touch-screen remote controller and remote control method thereof
CN104199549A (zh) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 人机交互式虚拟触控装置、系统及方法
CN107329591A (zh) * 2017-07-04 2017-11-07 苏州运智互动科技有限公司 无线体感双手柄模拟两点触屏的方法

Similar Documents

Publication Publication Date Title
Zhang et al. Visual panel: virtual mouse, keyboard and 3D controller with an ordinary piece of paper
US7598942B2 (en) System and method for gesture based control system
US9268400B2 (en) Controlling a graphical user interface
US20200310561A1 (en) Input device for use in 2d and 3d environments
KR101652535B1 (ko) 차량 인터페이스를 위한 제스처 기반 제어 시스템
CN102830795B (zh) 利用运动传感装置的远程控制
CN102335510B (zh) 人机互动系统
CN102707799B (zh) 一种手势识别方法及手势识别装置
CN102402290A (zh) 一种肢体姿势识别方法及系统
CN102622083A (zh) 一种手势识别方法及手势识别装置
CN102402291A (zh) 一种肢体姿势识别方法及装置
CN110570737A (zh) 虚拟化学实验的实现系统和方法
CN202512510U (zh) 一种肢体姿势识别系统
Shao et al. A natural interaction method of multi-sensory channels for virtual assembly system of power transformer control cabinet
US20140359536A1 (en) Three-dimensional (3d) human-computer interaction system using computer mouse as a 3d pointing device and an operation method thereof
CN106383583B (zh) 用于隔空人机交互的控制虚拟物体精确定位的方法与系统
CN102430244B (zh) 一种通过手指接触产生视觉上的人机互动的方法
CN111866562A (zh) 适用于视频设备的虚拟触屏方法
CN107102725B (zh) 一种基于体感手柄进行虚拟现实移动的控制方法及系统
JP7513262B2 (ja) 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム
JP2013047978A (ja) ジェスチャベースの制御システムのためのシステムおよび方法
WO2024131405A1 (zh) 对象移动控制方法、装置、设备及介质
Tao et al. Human-Computer Interaction Using Fingertip Based on Kinect
Schlattmann et al. Efficient bimanual symmetric 3d manipulation for bare-handed interaction
CN202694258U (zh) 一种肢体姿势识别装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030

RJ01 Rejection of invention patent application after publication