CN106502420A - 基于图像色差识别的虚拟按键触发方法 - Google Patents

基于图像色差识别的虚拟按键触发方法 Download PDF

Info

Publication number
CN106502420A
CN106502420A CN201611001891.8A CN201611001891A CN106502420A CN 106502420 A CN106502420 A CN 106502420A CN 201611001891 A CN201611001891 A CN 201611001891A CN 106502420 A CN106502420 A CN 106502420A
Authority
CN
China
Prior art keywords
virtual key
thing
aberration
easyar
identification point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611001891.8A
Other languages
English (en)
Inventor
董晋超
孙冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
According To Beijing Science And Technology Co Ltd
Original Assignee
According To Beijing Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by According To Beijing Science And Technology Co Ltd filed Critical According To Beijing Science And Technology Co Ltd
Priority to CN201611001891.8A priority Critical patent/CN106502420A/zh
Publication of CN106502420A publication Critical patent/CN106502420A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于AR技术领域，提供了基于图像色差识别的虚拟按键触发方法，S1：预设有标定物目标和虚拟按键区域，实时获取摄像头拍摄得到的图片信息；S2：当搜索到标定物时，识别并记录标定物对应的虚拟按键区域的识别点的颜色信息，定义为初始颜色组；S3：实时跟踪标定物，如果当前标定物对应的虚拟按键区域中任一个识别点的颜色信息与初始颜色组中对应识别点的颜色信息之间的色差大于预设的最大色差，且持续预设的色差持续时间后，运行与虚拟按键关联的操作。该方法能够通过图像色差识别判断出手部位置识别，并触发与虚拟按键关联的操作，从而实现在AR产品中添加虚拟按键的功能，运算量低，快速，能够广泛应用于AR领域中。

Description

基于图像色差识别的虚拟按键触发方法
技术领域
本发明涉及AR技术领域，具体涉及基于图像色差识别的虚拟按键触发方法。
背景技术
增强现实技术(Augmented Reality，简称AR)，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。现有的AR主要通过手机与现实互动，互动方式单一。
为了增强AR中与现实的互动性，申请人提出了在AR产品中植入虚拟按键的概念，使得用户通过点击现实空间中虚拟按键对应的空间，便能触发与虚拟按键关联的操作。这就要求AR产品能够对手部的位置进行识别。但是由于手相特征不明显，所以现有的AR产品中还不能实现手部位置识别。
发明内容
针对现有技术中的缺陷，本发明提供一种运算量低、快速、应用于AR领域中的基于图像色差的虚拟按键触发方法。
基于图像色差识别的虚拟按键触发方法，包括以下步骤：
S1：标定：在easyar中预设有标定物目标，并在标定物目标内标定虚拟按键区域，虚拟按键区域上设有若干个识别点；easyar实时获取摄像头拍摄得到的图片信息；
S2：采样：当easyar通过摄像头搜索到与标定物目标相匹配的标定物时，识别并记录标定物对应的虚拟按键区域的识别点的颜色信息，定义为初始颜色组；
S3：跟踪识别：easyar实时跟踪标定物，并实时识别标定物对应的虚拟按键区域的识别点的颜色信息；如果当前标定物对应的虚拟按键区域中任一个识别点的颜色信息与初始颜色组中对应识别点的颜色信息之间的色差大于预设的最大色差，且持续预设的色差持续时间后，运行与虚拟按键关联的操作。
优选地，所述步骤S1中，虚拟按键区域为矩形区域，识别点包括矩形区域中的四个顶点。
优选地，所述步骤S2中，当easyar通过摄像头搜索到与标定物目标相匹配的标定物时，记录当前摄像头的对准方向，定义为初始方向。
优选地，所述步骤S3中，在easyar实时跟踪标定物的过程中，当检测到摄像头的对准方向与初始方向之间的夹角大于预设的最大夹角时，返回步骤S2。
优选地，所述步骤S3中，假设当前标定物对应的虚拟按键区域中识别点A的颜色信息为(RA1，GA1，BA1)，初始颜色组中识别点A的颜色信息为(RA，GA，BA)，则当前识别点A的色差为：
PA＝sqrt((RA-RA1)^2+(GA-GA1)^2+(BA-BA1)^2)。
优选地，所述最大色差的取值范围为1.3-1.8。
优选地，所述easyar采用Target方式实时跟踪标定物。
由上述技术方案可知，本发明提供的基于图像色差识别的虚拟按键触发方法，能够通过图像色差识别判断出手部位置识别，并触发与虚拟按键关联的操作，从而实现在AR产品中添加虚拟按键的功能，运算量低，快速，能够广泛应用于AR领域中。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为easyar首次搜索到的标定物的示意图。
图2为当有手点击虚拟按键对应的空间时标定物的示意图。
图中，1-虚拟按键区域，2-手在摄像头中的成像。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
实施例：
基于图像色差识别的虚拟按键触发方法，包括以下步骤：
S1：标定：在easyar中预设有标定物目标，并在标定物目标内标定虚拟按键区域，虚拟按键区域上设有若干个识别点；easyar实时获取摄像头拍摄得到的图片信息；
S2：采样：当easyar通过摄像头搜索到与标定物目标相匹配的标定物时，识别并记录标定物对应的虚拟按键区域的识别点的颜色信息，定义为初始颜色组；
S3：跟踪识别：easyar实时跟踪标定物，并实时识别标定物对应的虚拟按键区域的识别点的颜色信息；如果当前标定物对应的虚拟按键区域中任一个识别点的颜色信息与初始颜色组中对应识别点的颜色信息之间的色差大于预设的最大色差，且持续预设的色差持续时间后，运行与虚拟按键关联的操作。
easyar是Easy Augmented Reality的缩写，easyar于增强现实(AR)互动营销技术和解决方案，服务遍布手机app互动营销，户外大屏幕互动活动，网络营销互动等领域，包括运用于网络推广，消费品，发布会，零售，主题公园及博物馆上。
如图1-2所示，标定物目标为预先输入的标定物图片，针对本实施例而言，标定物目标就是如图1所示的图片。当easyar第一次搜索到与标定物目标相匹配的标定物时，如图1所示，1为预设的虚拟按键区域。在采集初始颜色组时，尽量保证标定物中整个虚拟按键区域的颜色最好为同样的纯色，因为最大色差是固定的，如果虚拟按键区域中各个识别点的初始颜色不一样，就会导致用手遮挡虚拟按键区域不同的识别点时，有些识别点能够触发与虚拟按键关联的操作，有些识别点不能触发与虚拟按键关联的操作，导致虚拟按键区域中各个识别点的灵敏度不同。当有手点击现实空间中虚拟按键所对应的空间时，标定物投射在摄像头的图片如图2所示，2为手在摄像头中的成像，假设虚拟按键区域为矩形区域，识别点包括矩形区域中的四个顶点。图2中可以看出虚拟按键区域中左上顶点、左下顶点和右下顶点这3个顶点的颜色信息发生变化，此时运行与虚拟按键关联的操作。最大色差根据标定物中识别点的初始颜色和手在摄像头中呈现的颜色确定。所述最大色差的取值范围为1.3-1.8，优选为1.5。
色差持续时间条件的设置是因为标定物在应用程序中投射出来的世界坐标是不变的，变化的是摄像机的位置和朝向，所以标定物在头盔显示屏屏幕中的位置会随着摄像头的位移和旋转产生改变，但是这种改变并不同步于摄像头帧率，也就是说可能会存在摄像头捕捉到的画面更新了，但是标定物在摄像头中的新位置和朝向还没有及时进行更新。此时识别点的颜色信息的准确获取存在一定的延时，所以在判断识别点的色差时，需要持续一段时间，如果该识别点的色差在一段时间内均大于最大色差时，才判断虚拟按键按下，运行与虚拟按键关联的操作。该方法能够通过图像色差识别判断出手部位置识别，并触发与虚拟按键关联的操作，从而实现在AR产品中添加虚拟按键的功能，运算量低，快速，能够广泛应用于AR领域中。
所述easyar采用Target方式实时跟踪标定物。标定物在应用程序中投射的世界坐标是不变的，变化的是摄像头的位置和朝向。所述步骤S2中，当easyar通过摄像头搜索到与标定物目标相匹配的标定物时，记录当前摄像头的对准方向，定义为初始方向。所述步骤S3中，在easyar实时跟踪标定物的过程中，当检测到摄像头的对准方向与初始方向之间的夹角大于预设的最大夹角时，此时认为摄像头发生较大的位移，应重新对标定物进行采样，返回步骤S2。
所述步骤S3中，假设当前标定物对应的虚拟按键区域中识别点A的颜色信息为(RA1，GA1，BA1)，初始颜色组中识别点A的颜色信息为(RA，GA，BA)，则当前识别点A的色差为：
PA＝sqrt((RA-RA1)^2+(GA-GA1)^2+(BA-BA1)^2)。
其中RA1、GA1、BA1分别为当前识别点A中红、绿、蓝三种原色所占比例。RA、GA、BA分别为初始颜色组组中识别点A中红、绿、蓝三种原色所占比例。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (7)

1.基于图像色差识别的虚拟按键触发方法，其特征在于，包括以下步骤：
S1：标定：在easyar中预设有标定物目标，并在标定物目标内标定虚拟按键区域，虚拟按键区域上设有若干个识别点；easyar实时获取摄像头拍摄得到的图片信息；
S2：采样：当easyar通过摄像头搜索到与标定物目标相匹配的标定物时，识别并记录标定物对应的虚拟按键区域的识别点的颜色信息，定义为初始颜色组；
S3：跟踪识别：easyar实时跟踪标定物，并实时识别标定物对应的虚拟按键区域的识别点的颜色信息；如果当前标定物对应的虚拟按键区域中任一个识别点的颜色信息与初始颜色组中对应识别点的颜色信息之间的色差大于预设的最大色差，且持续预设的色差持续时间后，运行与虚拟按键关联的操作。
2.根据权利要求1所述的基于图像色差识别的虚拟按键触发方法，其特征在于，所述步骤S1中，虚拟按键区域为矩形区域，识别点包括矩形区域中的四个顶点。
3.根据权利要求1所述的基于图像色差识别的虚拟按键触发方法，其特征在于，所述步骤S2中，当easyar通过摄像头搜索到与标定物目标相匹配的标定物时，记录当前摄像头的对准方向，定义为初始方向。
4.根据权利要求3所述的基于图像色差识别的虚拟按键触发方法，其特征在于，所述步骤S3中，在easyar实时跟踪标定物的过程中，当检测到摄像头的对准方向与初始方向之间的夹角大于预设的最大夹角时，返回步骤S2。
5.根据权利要求1所述的基于图像色差识别的虚拟按键触发方法，其特征在于，所述步骤S3中，假设当前标定物对应的虚拟按键区域中识别点A的颜色信息为(RA1，GA1，BA1)，初始颜色组中识别点A的颜色信息为(RA，GA，BA)，则当前识别点A的色差为：
PA＝sqrt((RA-RA1)^2+(GA-GA1)^2+(BA-BA1)^2)。
6.根据权利要求1所述的基于图像色差识别的虚拟按键触发方法，其特征在于，所述最大色差的取值范围为1.3-1.8。
7.根据权利要求1所述的基于图像色差识别的虚拟按键触发方法，其特征在于，所述easyar采用Target方式实时跟踪标定物。
CN201611001891.8A 2016-11-14 2016-11-14 基于图像色差识别的虚拟按键触发方法 Pending CN106502420A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611001891.8A CN106502420A (zh) 2016-11-14 2016-11-14 基于图像色差识别的虚拟按键触发方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611001891.8A CN106502420A (zh) 2016-11-14 2016-11-14 基于图像色差识别的虚拟按键触发方法

Publications (1)

Publication Number Publication Date
CN106502420A true CN106502420A (zh) 2017-03-15

Family

ID=58324674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611001891.8A Pending CN106502420A (zh) 2016-11-14 2016-11-14 基于图像色差识别的虚拟按键触发方法

Country Status (1)

Country Link
CN (1) CN106502420A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114518158A (zh) * 2022-01-28 2022-05-20 厦门顶尖电子有限公司 一种触控识别秤及基于触控识别秤的标签打印触发方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673161A (zh) * 2009-10-15 2010-03-17 复旦大学 一种可视可操作无实体的触摸屏系统
CN103488283A (zh) * 2012-06-07 2014-01-01 佳能株式会社 信息处理设备及其控制方法和背景确定方法
CN103955267A (zh) * 2013-11-13 2014-07-30 上海大学 光透视增强现实系统中双手人机交互方法
CN104808790A (zh) * 2015-04-08 2015-07-29 冯仕昌 一种基于非接触式交互获取无形透明界面的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673161A (zh) * 2009-10-15 2010-03-17 复旦大学 一种可视可操作无实体的触摸屏系统
CN103488283A (zh) * 2012-06-07 2014-01-01 佳能株式会社 信息处理设备及其控制方法和背景确定方法
CN103955267A (zh) * 2013-11-13 2014-07-30 上海大学 光透视增强现实系统中双手人机交互方法
CN104808790A (zh) * 2015-04-08 2015-07-29 冯仕昌 一种基于非接触式交互获取无形透明界面的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114518158A (zh) * 2022-01-28 2022-05-20 厦门顶尖电子有限公司 一种触控识别秤及基于触控识别秤的标签打印触发方法

Similar Documents

Publication Publication Date Title
US10495884B2 (en) Visual perception enhancement of displayed color symbology
US10126554B2 (en) Visual perception enhancement of displayed color symbology
EP2207113B1 (en) Automated annotation of a view
CN101552874B (zh) 图像处理设备、显示控制方法、程序和存储介质
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN109865289B (zh) 一种基于增强现实技术的实景环境娱乐系统及其方法
US20160019722A1 (en) System and Method for Defining an Augmented Reality View in a Specific Location
US20140247281A1 (en) Dynamic Augmented Reality Vision Systems
US11600029B2 (en) Display synchronization using colored anchors
CN106447788B (zh) 观看视角的指示方法及装置
CN106127680A (zh) 一种720度全景视频快速浏览方法
CN104634784B (zh) 大气能见度监测方法和装置
CN102194206B (zh) 绘画图像共有装置、绘画图像共有方法
CN105869115B (zh) 一种基于kinect2.0的深度图像超分辨率方法
CN108269231A (zh) 一种用于球幕系统的图像融合方法及其图像融合装置
CN108509173A (zh) 图像展示系统及方法、存储介质、处理器
CN105827975B (zh) 一种用于全景视频拼接的颜色在线校正方法
WO2022022260A1 (zh) 图像风格迁移方法及其装置
CN106502420A (zh) 基于图像色差识别的虚拟按键触发方法
TWI669633B (zh) Mixed reality interaction method and system thereof
US20230388109A1 (en) Generating a secure random number by determining a change in parameters of digital content in subsequent frames via graphics processing circuitry
CN112684893A (zh) 信息展示方法、装置、电子设备及存储介质
JP3860560B2 (ja) 表示インタフェース方法および装置
CN111918114A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
CN107430841A (zh) 信息处理设备、信息处理方法、程序以及图像显示系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170315