CN104460988B - 一种智能手机虚拟现实设备的输入控制方法 - Google Patents

一种智能手机虚拟现实设备的输入控制方法 Download PDF

Info

Publication number
CN104460988B
CN104460988B CN201410629636.2A CN201410629636A CN104460988B CN 104460988 B CN104460988 B CN 104460988B CN 201410629636 A CN201410629636 A CN 201410629636A CN 104460988 B CN104460988 B CN 104460988B
Authority
CN
China
Prior art keywords
mobile phone
smart mobile
virtual reality
reality device
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410629636.2A
Other languages
English (en)
Other versions
CN104460988A (zh
Inventor
陈琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201410629636.2A priority Critical patent/CN104460988B/zh
Publication of CN104460988A publication Critical patent/CN104460988A/zh
Application granted granted Critical
Publication of CN104460988B publication Critical patent/CN104460988B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种智能手机虚拟现实设备的输入控制方法,步骤为:1)通过在虚拟现实设备后方摄像头的位置开口,使得位于虚拟现实设备内部的智能手机的摄像头正常使用,用户在使用时需要佩戴彩色手环;2)当智能手机的摄像头检测到用户佩戴的彩色手环时,智能手机的程序准确定位彩色手环位置,从而和界面中的控件进行交互。与其他采用外加设备蓝牙手柄等方式相比,本发明采用低的成本就可实现虚拟现实设备的输入;在控制过程中,本发明通过彩色手环和广角镜头可以稳定快速地接受手臂的运动,用户的体验效果不错。

Description

一种智能手机虚拟现实设备的输入控制方法
技术领域
本发明涉及一种输入控制方法,具体是一种智能手机虚拟现实设备的输入控制方法。
背景技术
目前市场上的智能手机虚拟现实头盔、眼镜等设备,由于智能手机置于虚拟现实眼镜中,不借助其他设备很难对智能手机虚拟现实的游戏软件进行操控,一般需要外加蓝牙控制设备,但是附带的外加硬件也增加了虚拟现实设备的成本,并且有较大的延时效果。
发明内容
本发明的目的在于提供一种低成本、高效的智能手机虚拟现实设备的输入控制方法。
为实现上述目的,本发明提供如下技术方案:
一种智能手机虚拟现实设备的输入控制方法,具体步骤如下:
1)通过在虚拟现实设备后方摄像头的位置开口,使得位于虚拟现实设备内部的智能手机的摄像头正常使用,用户在使用时需要佩戴彩色手环;
2)当智能手机的摄像头检测到用户佩戴的彩色手环时,智能手机准确定位彩色手环的位置,从而和界面中的控件进行交互。
作为本发明进一步的方案:所述步骤2)中,和界面中的控件进行交互,包括两个场景:一是类似第一人称游戏中,在游戏中,智能手机的摄像头获取用户手臂的位置,在虚拟现实的游戏中相应地将游戏中的手臂也同样移动到相应的位置,从而模仿用户做出交互动作;二是模拟类似鼠标的操作,首先通过定位用户手臂上的彩色手环在智能手机的摄像头中的位置来在屏幕上画出光标,通过手臂前后摇晃,改变颜色块的大小来模拟鼠标左键点击的动作,从而和界面中的控件进行交互。
作为本发明进一步的方案:所述彩色手环的材质为硅胶材质。
作为本发明进一步的方案:为了增加显示效果,在用户智能手机的摄像头处安装有广角镜头1。
作为本发明进一步的方案:所述广角镜头为嵌入式广角镜头或吸附式广角镜头。
作为本发明进一步的方案:所述智能手机的摄像头获取用户手臂的位置后,智能手机通过自适应颜色阈值提取算法识别彩色手环的颜色和形状面积,具体流程为:
首先将提取的RGB空间的图像转化成HSV图像:
若 ,则
,则
,则
根据HSV中的S,V分量动态设定H分量的具体范围,对于所有变量归一到0~1之间,是预设的颜色阈值区间,,,是输入矩阵的三个分量,是输出阈值矩阵,具体公式如下:
判断颜色是否在阈值区间之内,
否则,
对于输出矩阵T求连通域,过滤掉面积过小的区域,对于最大的连通域求出图像的矩M和面积,根据如下方程即可求出区域中心,
即可返回区域的重心,也就是区域的位置。
与现有技术相比,本发明的有益效果是:与其他采用外加设备蓝牙手柄等方式相比,本发明采用低的成本就可实现虚拟现实设备的输入;在控制过程中,本发明通过彩色手环和广角镜头可以稳定快速地接受手臂的运动,用户的体验效果不错。
附图说明
图1是智能手机虚拟现实设备的结构框图;
图2是智能手机虚拟现实设备的输入控制方法的流程图;
图中:1-广角镜头、2-智能手机、3-彩色手环。
具体实施方式
下面将结合本发明实施例及附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例中,一种智能手机虚拟现实设备的输入控制方法,具体步骤如下:
1)通过在虚拟现实设备后方摄像头的位置开口,使得位于虚拟现实设备内部的智能手机2的摄像头正常使用,用户在使用时需要佩戴彩色手环3,彩色手环3可以是硅胶材质,为了增加显示效果,可选配广角镜头1装在用户智能手机2的摄像头处,广角镜头1可以是嵌入广角镜头,也可以是吸附式广角镜头,这样智能手机2的摄像头工作时,光会先通过广角镜头1再进入智能手机2的摄像头,实现智能手机2的摄像头广角输入;
2)当检测到用户佩戴的彩色手环3时,可以准确定位彩色手环3的位置,实现控制;主要应用在两个场景:一是类似第一人称游戏中,在游戏中,智能手机2的摄像头获取用户手臂的位置,在虚拟现实的游戏中相应地将游戏中的手臂也同样移动到相应的位置,从而模仿用户做出开枪、劈砍等动作;二是模拟类似鼠标的操作,首先通过定位用户手臂上的彩色手环3在智能手机2的摄像头中的位置来在屏幕上画出光标,通过手臂前后摇晃,改变颜色块的大小来模拟鼠标左键点击的动作,这样就可以和界面中的控件进行交互,实现游戏的进入退出、播放影音的快进暂停等功能。
本发明实施例中,智能手机2的摄像头获取用户手臂的位置后,智能手机2将会通过颜色过滤算法,识别彩色手环3的颜色和形状面积,具体流程如图2所示:
相对于其他颜色提取算法,本发明实现了一种自适应颜色阈值提取算法,首先将提取的RGB空间的图像转化成HSV图像:
,则
,则
,则
传统的固定阈值的颜色提取算法,需要首先将图像的颜色空间转变为HSV空间,然后通过HSV空间的H(颜色分量)来判别是否为需要的指定颜色。而本发明中,由于用户佩戴的彩色手环3工作环境比较复杂,可能在有光,灰暗,阴影等多种光照下运行,H分量的范围需要精确设置,范围过小可能无法检测出彩色手环3的颜色,过大可能将其他类似颜色物体识别成彩色手环3,对于高光或者较暗的情况,彩色手环3上H分量的改变可能会相对较大,所以需要根据HSV中的S,V分量动态设定H分量的具体范围,对于所有变量归一到0~1之间,是预设的颜色阈值区间,,,是输入矩阵的三个分量,是输出阈值矩阵,具体公式如下:
判断颜色是否在阈值区间之内,
否则,
对于输出矩阵T求连通域,过滤掉面积过小的区域,对于最大的连通域求出图像的矩M和面积,根据如下方程即可求出区域中心,
即可返回区域的重心,也就是区域的位置。
在判断出用户佩戴的彩色手环3的具体位置之后,智能手机2通过彩色手环3的位置信息和面积信息,首先可以在虚拟现实设备中实现类似鼠标的功能,用户通过移动手臂,即可移动光标,通过前后摇动手臂改变彩色手环3在摄像头中的面积,即可实现类似鼠标左键的功能。对于一些第一人称游戏,自适应颜色阈值提取算法可以做到将实际人手的三维位置输入到系统当中,在系统中模拟出一样的手来操作角色,实现控制方向盘、劈砍等交互动作。
与其他采用外加设备蓝牙手柄等方式相比,本发明采用低的成本就可实现虚拟现实设备的输入;在控制过程中,本发明通过彩色手环3和广角镜头1可以稳定快速地接受手臂的运动,用户的体验效果不错。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种智能手机虚拟现实设备的输入控制方法,其特征在于,具体步骤如下:
1)通过在虚拟现实设备后方摄像头的位置开口,使得位于虚拟现实设备内部的智能手机(2)的摄像头正常使用,用户在使用时需要佩戴彩色手环(3);
2)当智能手机(2)的摄像头检测到用户佩戴的彩色手环(3)时,智能手机(2)准确定位彩色手环(3)的位置,从而和界面中的控件进行交互;所述智能手机(2)的摄像头获取用户手臂的位置后,智能手机(2)通过自适应颜色阈值提取算法识别彩色手环(3)的颜色和形状面积,具体流程为:
首先将提取的RGB空间的图像转化成HSV图像:
,则
,则
,则
根据HSV中的S,V分量动态设定H分量的具体范围,对于所有变量归一到0~1之间,是预设的颜色阈值区间,,,是输入矩阵的三个分量,是输出阈值矩阵,具体公式如下:
判断颜色是否在阈值区间之内,
否则,
对于输出矩阵T求连通域,过滤掉面积过小的区域,对于最大的连通域求出图像的矩M和面积,根据如下方程即可求出区域中心,
即可返回区域的重心,也就是区域的位置。
2.根据权利要求1所述的智能手机虚拟现实设备的输入控制方法,其特征在于,所述步骤2)中,和界面中的控件进行交互,包括两个场景:一是类似第一人称游戏中,在游戏中,智能手机(2)的摄像头获取用户手臂的位置,在虚拟现实的游戏中相应地将游戏中的手臂也同样移动到相应的位置,从而模仿用户做出交互动作;二是模拟类似鼠标的操作,首先通过定位用户手臂上的彩色手环(3)在智能手机(2)的摄像头中的位置来在屏幕上画出光标,通过手臂前后摇晃,改变颜色块的大小来模拟鼠标左键点击的动作,从而和界面中的控件进行交互。
3.根据权利要求1所述的智能手机虚拟现实设备的输入控制方法,其特征在于,所述彩色手环(3)和彩色指环(4)的材质为硅胶材质。
4.根据权利要求1所述的智能手机虚拟现实设备的输入控制方法,其特征在于,为了增加显示效果,在用户智能手机(2)的摄像头处安装有广角镜头(1)。
5.根据权利要求4所述的智能手机虚拟现实设备的输入控制方法,其特征在于,所述广角镜头(1)为嵌入式广角镜头或吸附式广角镜头。
CN201410629636.2A 2014-11-11 2014-11-11 一种智能手机虚拟现实设备的输入控制方法 Expired - Fee Related CN104460988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410629636.2A CN104460988B (zh) 2014-11-11 2014-11-11 一种智能手机虚拟现实设备的输入控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410629636.2A CN104460988B (zh) 2014-11-11 2014-11-11 一种智能手机虚拟现实设备的输入控制方法

Publications (2)

Publication Number Publication Date
CN104460988A CN104460988A (zh) 2015-03-25
CN104460988B true CN104460988B (zh) 2017-12-22

Family

ID=52907181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410629636.2A Expired - Fee Related CN104460988B (zh) 2014-11-11 2014-11-11 一种智能手机虚拟现实设备的输入控制方法

Country Status (1)

Country Link
CN (1) CN104460988B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106343670A (zh) * 2016-10-09 2017-01-25 王玲 智能手环及通过智能手环控制手机画面的方法
CN106502400B (zh) * 2016-10-24 2018-10-23 网易(杭州)网络有限公司 虚拟现实系统及虚拟现实系统输入方法
CN109697001B (zh) * 2017-10-24 2021-07-27 腾讯科技(深圳)有限公司 交互界面的显示方法和装置、存储介质、电子装置
CN109753140B (zh) * 2017-11-02 2021-08-24 腾讯科技(深圳)有限公司 基于虚拟现实的操作指令获取方法、装置
CN109087276B (zh) * 2018-05-17 2022-02-01 苏州斯玛维科技有限公司 基于smt料盘的x射线图像的元器件自动计数和定位方法
CN115035573A (zh) * 2022-05-27 2022-09-09 哈尔滨工程大学 一种基于融合策略的唇部分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101256673A (zh) * 2008-03-18 2008-09-03 中国计量学院 用于在实时视频跟踪系统中跟踪手臂运动的方法
CN102193631A (zh) * 2011-05-05 2011-09-21 上海大学 可穿戴式三维手势交互系统及其使用方法
CN103135754A (zh) * 2011-12-02 2013-06-05 深圳泰山在线科技有限公司 交互设备及采用交互设备实现交互的方法
CN103186230A (zh) * 2011-12-30 2013-07-03 北京朝歌数码科技股份有限公司 基于颜色识别与跟踪的人机交互方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101256673A (zh) * 2008-03-18 2008-09-03 中国计量学院 用于在实时视频跟踪系统中跟踪手臂运动的方法
CN102193631A (zh) * 2011-05-05 2011-09-21 上海大学 可穿戴式三维手势交互系统及其使用方法
CN103135754A (zh) * 2011-12-02 2013-06-05 深圳泰山在线科技有限公司 交互设备及采用交互设备实现交互的方法
CN103186230A (zh) * 2011-12-30 2013-07-03 北京朝歌数码科技股份有限公司 基于颜色识别与跟踪的人机交互方法

Also Published As

Publication number Publication date
CN104460988A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
CN104460988B (zh) 一种智能手机虚拟现实设备的输入控制方法
US11734867B2 (en) Detecting physical boundaries
US11562528B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
JP2019149202A (ja) エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン
CN105182662B (zh) 具有增强现实效果的投影方法及系统
US20190102928A1 (en) Virtual Reality
KR20190106769A (ko) 전자 장치 및 전자 장치에서 오브젝트를 디스플레이 하는 방법
AU2017248527A1 (en) Real-time virtual reflection
US20170178411A1 (en) Mobile tele-immersive gameplay
CN108421252B (zh) 一种基于ar设备的游戏实现方法和ar设备
CN205015835U (zh) 头戴式智能交互系统
US20130335405A1 (en) Virtual object generation within a virtual environment
US20100060722A1 (en) Display with built in 3d sensing
KR20200029998A (ko) 3차원 콘텐츠 내의 위치-기반 가상 요소 양식
CN105068648A (zh) 头戴式智能交互系统
CN210666200U (zh) Ar眼镜及可穿戴系统
CN106648038A (zh) 在虚拟现实中显示交互对象的方法和装置
CN106730815A (zh) 一种易实现的体感互动方法及系统
CN107102736A (zh) 实现增强现实的方法
WO2020061087A1 (en) Method and device for attenuation of co-user interactions in simulated reality (sr) space
Kuntz et al. The Democratization of VR‐AR
CN109985385A (zh) 一种游戏设备及其游戏角色的控制方法和装置
CN105511649B (zh) 一种多点定位系统及多点定位方法
CN206906983U (zh) 增强现实设备
WO2023241206A1 (zh) 虚拟对象的套装处理方法、装置、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171222

Termination date: 20181111