CN107506031B - 一种vr应用程序的识别方法及电子设备 - Google Patents

一种vr应用程序的识别方法及电子设备 Download PDF

Info

Publication number
CN107506031B
CN107506031B CN201710703519.XA CN201710703519A CN107506031B CN 107506031 B CN107506031 B CN 107506031B CN 201710703519 A CN201710703519 A CN 201710703519A CN 107506031 B CN107506031 B CN 107506031B
Authority
CN
China
Prior art keywords
image
interface
black image
black
image area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710703519.XA
Other languages
English (en)
Other versions
CN107506031A (zh
Inventor
孟亚州
姜滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201710703519.XA priority Critical patent/CN107506031B/zh
Priority to PCT/CN2017/103193 priority patent/WO2019033510A1/zh
Publication of CN107506031A publication Critical patent/CN107506031A/zh
Application granted granted Critical
Publication of CN107506031B publication Critical patent/CN107506031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection

Abstract

本发明提供一种VR应用程序的识别方法及电子设备。其中,方法包括:从待识别应用程序的界面图像的四角上,获取至少四个指定尺寸的参考图像块;根据所述至少四个参考图像块包含的像素点的灰度值,判断所述至少四个参考图像块是否均为黑色图像块;若所述至少四个图像块均为黑色图像块,则根据界面图像包含的像素点的灰度值,识别界面图像中的黑色图像区;根据黑色图像区包含的像素点的灰度值,判断黑色图像区的左右两部分是否对应;若黑色图像区的左右两部分对应,则确定待识别应用程序为VR应用程序。本发明提供的技术方案,能够从大量的应用程序中,高效地识别出VR应用程序。

Description

一种VR应用程序的识别方法及电子设备
技术领域
本发明涉及虚拟现实技术领域,尤其涉及一种VR应用程序的识别方法及电子设备。
背景技术
VR(Virtual Reality,虚拟现实)技术是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,并通过多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该模拟环境中。
随着VR技术的日趋成熟,应用在VR模式下的应用程序不断涌现。如何从大量的应用程序中高效地识别出VR应用程序,成为一个亟待解决的技术问题。
发明内容
本发明提供一种VR应用程序的识别方法及电子设备,用以从大量的应用程序中,高效地识别出VR应用程序。
本发明提供一种VR应用程序的识别方法,包括:
从待识别应用程序的界面图像的四角上,获取至少四个指定尺寸的参考图像块;
根据所述至少四个参考图像块包含的像素点的灰度值,判断所述至少四个参考图像块是否均为黑色图像块;
若所述至少四个图像块均为黑色图像块,则根据所述界面图像包含的像素点的灰度值,识别所述界面图像中的黑色图像区;
根据所述黑色图像区包含的像素点的灰度值,判断所述黑色图像区的左右两部分是否对应;
若所述黑色图像区的左右两部分对应,则确定所述待识别应用程序为VR应用程序。
进一步可选地,根据所述至少四个参考图像块包含的像素点的灰度值,判断所述至少四个参考图像块是否均为黑色图像块,包括:获取所述至少四个参考图像块中,灰度值小于指定灰度阈值的像素点的数量;计算所述灰度值小于指定灰度阈值的像素点的数量与所述至少四个参考图像块包含的像素点总数的比值;若所述比值大于或等于设定的比例阈值,则确定所述至少四个图像块均为黑色图像块。
进一步可选地,还包括:若所述至少四个参考图像块不都是黑色图像块,则确定所述待识别应用程序为非VR应用程序。
进一步可选地,从待识别应用程序的界面图像的四角上,获取至少四个指定尺寸的参考图像块,包括:以所述界面图像的四个顶点分别为图像选取的起始点,在所述界面图像上选取指定尺寸的图像区域,以获得所述至少四个作为所述参考图像块。
进一步可选地,根据所述界面图像包含的像素点的灰度值,识别所述界面图像中的黑色图像区,包括:在所述界面图像中,获取灰度值小于所述指定灰度阈值的像素点所在的区域;根据所述可疑黑色图像区包含的像素点的坐标,获取所述可疑黑色图像区的几何包络图;若所述几何包络图存在与所述界面图像的顶角重合的顶角或所述几何包络图的纵向中轴线与所述界面图像的纵向中轴线重合,则确定所述可疑黑色图像区属于所述界面图像的黑色图像区。
进一步可选的地,根据所述黑色图像区包含的像素点的灰度值,判断所述黑色图像区的左右两部分是否对应,包括:根据所述黑色图像区包含的像素点的灰度值,判断所述黑色图像区是否沿所述界面图像的纵向中轴线对称。
进一步可选地,根据所述黑色图像区包含的像素点的灰度值,判断所述黑色图像区是否沿所述界面图像的纵向中轴线对称,包括:沿所述界面图像的纵向中轴线将所述黑色图像区划分为左右两个子图像区;根据所述两个子图像区包含的像素点的总数量以及灰度值相同的对称像素点的数量,计算所述两个子图像区的相似率;若所述相似率大于设定的相似度阈值,确定所述黑色图像区沿所述界面图像的纵向中轴线对称。
进一步可选地,根据所述两个子图像区包含的像素点的总数量以及所述两个子图像区中灰度值相同的对称像素点的数量,计算所述两个子图像区的相似率,包括:以所述界面图像的横向中轴线为横坐标轴,以所述界面图像的纵向中轴线为纵坐标轴,建立坐标系;在所述两个子图像区中,获取纵坐标相同、横坐标相反的像素点,作为对称像素点;统计灰度值相同的对称像素点的数量,并获取所述两个子图像区包含的像素点的总数量的平均值;根据所述灰度值相同的对称像素点的数量与平均值的比值,确定所述两个子图像区的相似率。
本发明还提供一种VR应用程序识别电子设备,包括:存储器以及处理器;
所述存储器用于:存储一条或多条指令;所述处理器用于执行所述一条或多条计算机指令,以用于:从待识别应用程序的界面图像的四角上,获取至少四个指定尺寸的参考图像块;
根据所述至少四个参考图像块包含的像素点的灰度值,判断所述至少四个参考图像块是否均为黑色图像块;
若所述至少四个图像块均为黑色图像块,则根据所述界面图像包含的像素点的灰度值,识别所述界面图像中的黑色图像区;
根据所述黑色图像区包含的像素点的灰度值,判断所述黑色图像区的左右两部分是否对应;
若所述黑色图像区的左右两部分对应,则确定所述待识别应用程序为VR应用程序。
进一步可选地,所述处理器具体用于:获取所述至少四个参考图像块中,灰度值小于指定灰度阈值的像素点的数量;计算所述灰度值小于指定灰度阈值的像素点的数量与所述至少四个参考图像块包含的像素点总数的比值;若所述比值大于或等于设定的比例阈值,则确定所述至少四个图像块均为黑色图像块。
进一步可选地,所述处理器具体用于:在所述界面图像中,获取灰度值小于所述指定灰度阈值的像素点所在的区域作为可疑黑色图像区;根据所述可疑黑色图像区包含的像素点的坐标,获取所述可疑黑色图像区的几何包络图;若所述几何包络图存在与所述界面图像的顶角重合的顶角或所述几何包络图的纵向中轴线与所述界面图像的纵向中轴线重合,则确定所述可疑黑色图像区属于所述界面图像的黑色图像区。
本发明提供的VR应用程序的识别方法及电子设备,通过判断待识别应用程序的界面图像四角上是否均为黑色图像块以初步筛选非VR应用程序,再进一步判断界面图像的左右两部分是否对应。进而可在判定界面图像的左右部分对应时,确定待识别应用程序为VR应用程序。该方法不受应用程序的包名或名称的限制,对VR应用的识别效率高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一VR应用程序的识别方法的流程示意图;
图1b是VR应用程序的一界面图像的示意图;
图2a是本发明实施例提供的另一VR应用程序的识别方法的流程示意图;
图2b是是本发明实施例提供的在界面图像四角上选取参考图像块的示意图;
图2c是本发明实施例提供的在界面图像获取可疑黑色图像区的几何包络图的一示意图;
图2d是本发明实施例提供的在界面图像获取可疑黑色图像区的几何包络图的另一示意图;
图2e是本发明实施例提供的在界面图像上建立坐标系的示意图;
图3是本发明实施例提供的电子设备的结构示意图;
图4是本发明提供的一些实施例中头戴显示设备400的内部配置结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1a是本发明实施例提供的一VR应用程序的识别方法的流程示意图,结合图1a,该方法包括:
步骤101、从待识别应用程序的界面图像的四角上,获取至少四个指定尺寸的参考图像块。
步骤102、根据所述至少四个参考图像块包含的像素点的灰度值,判断所述至少四个参考图像块是否均为黑色图像块;若为是,执行步骤103;若为否,执行步骤106。
步骤103、根据所述界面图像包含的像素点的灰度值,识别所述界面图像中的黑色图像区。
步骤104、根据所述黑色图像区包含的像素点的灰度值,判断所述黑色图像区的左右两部分是否对应;若为是,执行步骤105;若为否,执行步骤106。
步骤105、确定所述待识别应用程序为VR应用程序。
步骤106、确定所述待识别应用程序为非VR应用程序。
针对步骤101,待识别应用程序,可以是安装于VR设备上或手机等终端设备上的任一应用程序。界面图像,是待识别应用程序的任一界面的对应图像,包含待识别应用程序的界面样式以及界面元素等。针对VR设备,可进入应用商店或应用场景找到待识别应用程序,打开该待识别应用程序并获取待识别应用程序任一界面的界面图像。针对手机等终端设备,可在桌面上或者应用程序列表中找到待识别应用程序,打开该待识别应用程序并获取待识别应用程序任一界面的界面图像。通常,界面图像的形状为矩形,界面图像的四角,为界面图像的四个顶点附近的区域。本步骤中,可在界面图像的每一个角上,分别获取至少一个参考图像块。其中,参考图像块的尺寸是指定的,该指定尺寸与界面图像的尺寸相关联。
针对步骤102,通常,VR应用程序的显示界面包含内容图像区和黑色图像区。内容图像区用于展示VR内容或VR应用程序的界面信息,黑色图像区为非内容图像区。为了让用户观看时产生立体纵深感,VR应用程序的显示界面包含与用户左右眼连线方向平行的两个内容图像区。可以认为,在VR应用程序的矩形的界面图像中,除去两个内容图像区,剩余的部分即为黑色图像区。图2b为VR应用程序的一界面图像的示意图,在图1b中,网格部分为内容图像区,网格之外的部分为黑色图像区。
如图1b所示,为了让用户观看时产生真实的沉浸感,两个内容图像区均存在一定程度上的桶形畸变。进而,这种桶形畸变导致VR应用程序的界面图像的四个角一定是黑色。非VR应用程序的界面图像中,图像的四个角不一定是黑色的。因此,本实施例可通过判断界面图像的四个角上的参考图像块是否均为黑色,来初步筛选出非VR应用程序。
黑色图像包含的像素点的灰度值通常较小,通常在0-10之间。因此,可选的,在获取至少四个参考图像块之后,可根据每一个参考图像块包含的像素点的灰度值,判断该参考图像块是不是黑色图像块以实现非VR应用的初步筛选。
针对步骤103,在一种可能的情形下,非VR应用程序的界面图像也可能存在四角全是黑色的情况。因此,如果步骤101获取到的至少四个参考图像块不均为黑色图像块,可认为该界面图像为非VR应用程序的界面图像。如果步骤101获取到的至少四个参考图像块均为黑色图像块,则可认为该界面图像有可能是VR应用程序的界面图像。但还需要进一步确定该界面图像确实为VR应用程序的界面图像。
可选的,本实施例中,可结合界面图像中的黑色图像区左右两个部分相对应的特征,进一步确定该界面图像确实为VR应用程序的界面图像。在对黑色图像区的左右部分进行对应性判断之前,可先根据界面图像包含的像素点的灰度值,识别界面图像中的黑色图像区。
针对步骤104,针对VR应用程序而言,VR应用程序展示的界面为双屏界面,左右屏分别对应用户左眼和右眼的位置。进而,在同一时刻,用户左眼和右眼看到的显示内容不同以产生强烈的立体纵深感。进而,可认为:若一界面图像为VR应用的界面图像,则该界面图像中的黑色图像区的左右部分一定是对应的。
若一图像区的左右部分对应,则该图像区的左右两部分中,位置对应的像素点的灰度值一定相同。因此,可选的,本步骤可通过界面图像的黑色图像区包含的像素点的灰度值,判断该界面图像的左右两部分是否对应。若对应,则可确定该待识别应用程序为VR应用程序,否则为非VR应用程序。
本实施例中,通过判断待识别应用程序的界面图像四角上是否均为黑色图像块以初步筛选非VR应用程序,再进一步判断界面图像的左右两部分是否对应。进而可在判定界面图像的左右部分对应时,确定待识别应用程序为VR应用程序。该方法不受应用程序的包名或名称的限制,对VR应用的识别效率高。
需要说明的是,在本发明的上述或下述实施例中,界面图像,可以是针对待识别应用程序任一界面进行截屏得到的截屏图像,也可以是针对待识别应用程序任一界面的进行拍摄得到的拍摄图像。以下部分将以待识别对象界面的截屏图像为例,对本发明实施例的技术方案进行进一步阐述。
图2a是本发明实施例提供的另一VR应用程序的识别方法的流程示意图,结合图2a,该方法包括:
步骤201、从待识别应用程序的截屏图像的四角上,获取至少四个指定尺寸的参考图像块;
步骤202、获取所述至少四个参考图像块中,灰度值小于指定灰度阈值的像素点的数量;
步骤203、计算所述灰度值小于指定灰度阈值的像素点的数量与所述至少四个参考图像块包含的像素点总数的比值。
步骤204、判断所述比值是否小于设定的比例阈值,若为是,执行步骤210;若为否,执行步骤205。
步骤205、根据所述截屏图像包含的像素点的灰度值,识别所述截屏图像中的黑色图像区。
步骤206、沿所述截屏图像的纵向中轴线将所述黑色图像区划分为左右两个子图像区;
步骤207、根据所述两个子图像区包含的像素点的总数量以及灰度值相同的对称像素点的数量,计算所述两个子图像区的相似率;
步骤208、根据所述两个子图像区的相似率,判断所述黑色图像区是否沿所述截屏图像的纵向中轴线对称;若为是,执行步骤209;若为否,执行步骤210。
步骤209、确定所述待识别应用程序为VR应用程序。
步骤210、确定所述待识别应用程序为非VR应用程序。
针对步骤201,从待识别应用程序的截屏图像的四角上,获取至少四个指定尺寸的参考图像块时,可以将截屏图像的四个顶点作为图像选取的起始点,在截屏图像上选取指定尺寸的图像区域,获得所述至少四个参考图像块。
可选的,在本实施例中,为提升识别效率,减少识别过程中的计算量,可在截屏图像的每一个角上只取一个正方形的参考图像块。如图2b所示,在截屏图像上选取四个参考图像块rect1、rect2、rect3以及rect4,每个参考图像块的顶点均与截屏图像的顶点重合。
本步骤中,以截屏图像的顶点为图像选取起始点的优势在于,针对内容图像区畸变程度不同的截屏图像,能够减小取到的参考图像块中包含内容图像的可能性,进一步提升黑色图像块的识别准确性。
例如,一VR应用程序界面上的内容图像区畸变程度较大,导致VR应用程序的界面上四个角的黑色图像区较小。此时,以截屏图像的顶点为图像选取的起始点可以避免选取到内容图像区的像素点。
可选的,指定尺寸与截屏图像的尺寸相关联。经反复试验,当指定尺寸为截屏图像尺寸的十分之一时,选取到的参考图像块的有效性较高,但本发明实施例并不限制指定尺寸的大小。
针对步骤202,获取到至少四个参考图像块之后,可获取该至少四个参考图像块中,灰度值小于指定灰度阈值的像素点的数量C。其中,指定的灰度值阈值很小,通常为个位数。
当截屏图像为RGB色彩格式的图像时,判断参考图像块中的像素点的灰度值是否小于指定灰度阈值时,可先获取该像素点的灰度值。
可选的,获取参考图像块包含的像素点的灰度值可采用下列可选方法:
1、浮点算法:Gray=R*0.3+G*0.59+B*0.11;
2、整数方法:Gray=(R*30+G*59+B*11)/100;
3、移位方法:Gray=(R*28+G*151+B*77)>>8;
4、平均值法:Gray=(R+G+B)/3;
5、仅取绿色法:Gray=G。
其中,R、G、B分别为参考图像块上任一像素点在红、绿、蓝三个颜色分量上的取值,Gray为计算得到的该像素点灰度值。
针对步骤203,计算灰度值小于指定灰度阈值的像素点的数量C与参考图像块包含的像素点总数的比值P1,可采用如下公式:
Figure BDA0001380967510000101
其中,a为参考图像块的长度方向包含的像素点数,b为参考图像块的高度方向包含的像素点数,N为参考图像块的总个数,N≥4。
针对步骤204,在本实施例中,优选的,设定的比例阈值为99%时,黑色图像块的识别效率以及准确率较高。也就是说,若P1大于99%,则可确定步骤201中获取到的至少四个参考图像块均为黑色图像块。
针对步骤205、截屏图像中的黑色图像区,指的是截屏图像中除内容图像区之外的部分。若要识别出该部分,可先从截屏图像中,识别出灰度值小于所述指定灰度阈值的像素点所在的可疑黑色图像区,再从可疑黑色图像区中区分出黑色图像区。
在一种可能的情形下,截屏图像的内容图像区中展示的图像内容存在黑色部分,这些黑色部分包含的像素点的灰度值也小于指定灰度阈值。因而,所述可疑黑色图像区,可能包含内容图像区中的黑色部分。可选的,为提升VR应用程序识别的准确性,在本实施例中,可以采用如下的方法从可疑黑色图像区中,识别截屏图像的黑色图像区:
首先,针对每一个可疑黑色图像区,可采用规则的几何图形,画出该可疑黑色图像区的最大轮廓,作为该可疑黑色图像区的几何包络图。可选的,在画可疑黑色图像区的几何包络图时,可先计算可疑黑色图像区中,像素点的横坐标的最大值、横坐标的最小值、纵坐标的最大值以及纵坐标的最小值,并由这四个最值确定可疑黑色图像区的几何包络图。
其次,在确定可疑黑色图像区的几何包络图后,判断所述几何包络图是否存在与所述截屏图像的顶角重合的顶角,或判断所述几何包络图的纵向中轴线是否与所述截屏图像的纵向中轴线重合。若判定所述几何包络图存在与所述截屏图像的顶角重合的顶角,或判定所述几何包络图的纵向中轴线与所述截屏图像的纵向中轴线重合,则可确定所述可疑黑色图像区属于所述截屏图像的黑色图像区。以下部分将结合图2c以及图2d进一步阐述本实施例提供的黑色图像区的识别方法。
图2c是本发明实施例提供的在截屏图像获取可疑黑色图像的几何包络图的一示意图。图2c中的5个阴影区域为可疑黑色图像区,几何包络图1-几何包络图5分别是图2c中的可疑黑色图像区对应的几何包络图。在图2c中,几何包络图1的四个顶角均与截屏图像的顶角重合,且几何包络图1的纵向中轴线与截屏图像的纵向中轴线重合。因此,可认为几何包络图1对应的可疑黑色图像区是截屏图像的黑色图像区。几何包络图2-几何包络图5的任意顶角均不与截屏图像的顶角重合,且几何包络图2-几何包络图5的纵向中轴线均不与截屏图像的纵向中轴线重合。因此,可认为几何包络图1对应的可疑黑色图像区属于截屏图像的内容图像区。
图2d是本发明实施例提供的在截屏图像获取可疑黑色图像区的几何包络图的另一示意图。图2d所示的情形下,内容图像区的畸变程度较大,内容图像区的边界与截屏图像的边界相切。在图2d中,共有A1-A10共10个可疑黑色图像区。在图2d中,A1-A4对应的几何包络图,均存在一顶角与截屏图像的顶角重合,则可认为可疑黑色图像区A1-A4属于截屏图像的黑色图像区。图2d中,A5和A6的纵向中轴线均与截屏图像的纵向中轴线重合,则可认为可疑黑色图像区A5和A6属于截屏图像的黑色图像区。而A7-A10的任意顶角均不与截屏图像的顶角重合,且任意纵向中轴线均不与截屏图像的纵向中轴线重合。因此,可认为可疑黑色图像区A7-A10属于截屏图像的内容图像区。
针对步骤206,识别出黑色图像区后,沿纵向中轴线将所述黑色图像区划分为左右两个子图像区。
待测应用程序安装在VR设备上,或安装在内嵌于VR设备内的手机上以供用户双眼观看。故,获取到的待测应用程序的截屏图像的较长边为与用户左右眼连线方向平行的边。纵向中轴线是与截屏图像较长边垂直的中轴线,该纵向中轴线能够将截屏图像分为左右均等的两部分。也就是说,若截屏图像的长高分别为w、h,则纵向中轴线沿(w/2,0)以及(w/2,h)的连线方向。
针对步骤207、将所述黑色图像区划分为左右两部分后,可以所述截屏图像的横向中轴线为横坐标轴x,以所述截屏图像的纵向中轴线为纵坐标轴y,建立如图2e所示的坐标系x0y。
基于该坐标系,在所述两个子图像区中,获取纵坐标相同、横坐标相反的像素点,作为对称像素点,例如图2e中的像素点A(-x1,y1)以及像素点B(x1,y1)。
统计灰度值相同的对称像素点的数量并获取所述两个子图像区包含的像素点的总数量的平均值。
根据所述灰度值相同的对称像素点的数量与所述像素点总数量的平均值的比值,可确定所述两个子图像区的相似率P2。其中,相似率的计算公式可如下所示:
Figure BDA0001380967510000121
其中,M为灰度值相同的对称像素点的数量,Ci为第Z个黑色区域的像素点数量,
Figure BDA0001380967510000122
为所述两个子图像区包含的像素点的总数量,n为所述两个子图像区包含的黑色图像区的数量。
若所述相似率大于设定的相似度阈值,确定所述黑色图像区沿所述截屏图像的纵向中轴线对称。其中,设定的相似度阈值可以为99%,即在P2大于99%时,确定所述黑色图像区沿所述截屏图像的纵向中轴线对称。
本实施例中,首先判断待识别应用程序的截屏图像四角上是否均为黑色图像块,再进一步判断截屏图像的对称性,进而可确定截屏图像上是否包含双屏的桶形畸变。基于对截屏图像上是否包含双屏的桶形畸变的判断结果,可确定待识别应用程序是否为VR应用程序。该方法不受应用程序的包名或名称的限制,对VR应用的识别准确率高且效率高。进而,当用户在VR设备上使用非VR应用程序时,可快速识别出非VR应用程序并及时提醒用户以提升用户体验。
图3是本发明实施例提供的电子设备的结构示意图,结合图3,该电子设备包括:存储器301以及处理器302。
其中,所述存储器301用于:存储一条或多条指令。
所述处理器302用于调用执行所述一条或多条指令以用于:从待识别应用程序的界面图像的四角上,获取至少四个指定尺寸的参考图像块;根据所述至少四个参考图像块包含的像素点的灰度值,判断所述至少四个参考图像块是否均为黑色图像块;若所述至少四个图像块均为黑色图像块,则根据所述界面图像包含的像素点的灰度值,识别所述界面图像中的黑色图像区;根据所述黑色图像区包含的像素点的灰度值,判断所述黑色图像区的左右两部分是否对应;若所述黑色图像区的左右两部分对应,则确定所述待识别应用程序为VR应用程序。
进一步可选地,所述处理器302具体用于:获取所述至少四个参考图像块中,灰度值小于指定灰度阈值的像素点的数量;计算所述灰度值小于指定灰度阈值的像素点的数量与所述至少四个参考图像块包含的像素点总数的比值;若所述比值大于或等于设定的比例阈值,则确定所述至少四个图像块均为黑色图像块。
进一步可选地,所述处理器302具体用于:以所述界面图像的四个顶点分别为图像选取的起始点,在所述界面图像上选取指定尺寸的图像区域,以获得所述至少四个作为所述参考图像块。
进一步可选地,所述处理器302具体用于:在所述界面图像中,获取灰度值小于所述指定灰度阈值的像素点所在的区域作为可疑黑色图像区;根据所述可疑黑色图像区包含的像素点的坐标,获取所述可疑黑色图像区的几何包络图;若所述几何包络图存在与所述界面图像的顶角重合的顶角或所述几何包络图的纵向中轴线与所述界面图像的纵向中轴线重合,则确定所述可疑黑色图像区属于所述界面图像的黑色图像区。
进一步可选地,根据所述黑色图像区包含的像素点的灰度值,判断所述黑色图像区的左右两部分是否对应,包括:根据所述黑色图像区包含的像素点的灰度值,判断所述黑色图像区是否沿所述界面图像的纵向中轴线对称。
进一步可选地,所述处理器302具体用于:沿所述界面图像的纵向中轴线将所述黑色图像区划分为左右两个子图像区;根据所述两个子图像区包含的像素点的总数量以及灰度值相同的对称像素点的数量,计算所述两个子图像区的相似率;若所述相似率大于设定的相似度阈值,确定所述黑色图像区沿所述界面图像的纵向中轴线对称。
进一步可选地,所述处理器302具体用于:以所述界面图像的横向中轴线为横坐标轴,以所述界面图像的纵向中轴线为纵坐标轴,建立坐标系;在所述两个子图像区中,获取纵坐标相同、横坐标相反的像素点,作为对称像素点;统计灰度值相同的对称像素点的数量并获取所述两个子图像区包含的像素点的总数量的平均值;根据所述灰度值相同的对称像素点的数量与所述像素点总数量的平均值的比值,确定所述两个子图像区的相似率。
本实施例中,通过判断待识别应用程序的界面图像四角上是否均为黑色图像块以初步筛选非VR应用程序,再进一步判断界面图像的左右两部分是否对应。进而可在判定界面图像的左右部分对应时,确定待识别应用程序为VR应用程序。该方法不受应用程序的包名或名称的限制,对VR应用的识别效率高。
本发明一些实施例提供的电子设备可以为外接式头戴显示设备或者一体式头戴显示设备,其中外接式头戴显示设备需要与外部处理系统(例如计算机处理系统)配合使用。
图4示出了一些实施例中头戴显示设备400的内部配置结构示意图。
显示单元401可以包括显示面板,显示面板设置在头戴显示设备400上面向用户面部的侧表面,可以为一整块面板、或者为分别对应用户左眼和右眼的左面板和右面板。显示面板可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。
虚拟图像光学单元402以放大方式拍摄显示单元401所显示的图像,并允许用户按放大的虚拟图像观察所显示的图像。作为输出到显示单元401上的显示图像,可以是从内容再现设备(蓝光光碟或DVD播放器)或流媒体服务器提供的虚拟场景的图像、或者使用外部相机410拍摄的现实场景的图像。一些实施例中,虚拟图像光学单元402可以包括透镜单元,例如球面透镜、非球面透镜、菲涅尔透镜等。
输入操作单元403包括至少一个用来执行输入操作的操作部件,例如按键、按钮、开关或者其他具有类似功能的部件,通过操作部件接收用户指令,并且向控制单元407输出指令。
状态信息获取单元404用于获取穿戴头戴显示设备400的用户的状态信息。状态信息获取单元404可以包括各种类型的传感器,用于自身检测状态信息,并可以通过通信单元405从外部设备(例如智能手机、腕表和用户穿戴的其它多功能终端)获取状态信息。状态信息获取单元404可以获取用户的头部的位置信息和/或姿态信息。状态信息获取单元404可以包括陀螺仪传感器、加速度传感器、全球定位系统(GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器中的一个或者多个。此外,状态信息获取单元404获取穿戴头戴显示设备400的用户的状态信息,例如获取例如用户的操作状态(用户是否穿戴头戴显示设备400)、用户的动作状态(诸如静止、行走、跑动和诸如此类的移动状态,手或指尖的姿势、眼睛的开或闭状态、视线方向、瞳孔尺寸)、精神状态(用户是否沉浸在观察所显示的图像以及诸如此类的),甚至生理状态。
通信单元405执行与外部装置的通信处理、调制和解调处理、以及通信信号的编码和解码处理。另外,控制单元407可以从通信单元405向外部装置发送传输数据。通信方式可以是有线或者无线形式,例如移动高清链接(MHL)或通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真(Wi-Fi)、蓝牙通信或低功耗蓝牙通信,以及IEEE802.11s标准的网状网络等。另外,通信单元405可以是根据宽带码分多址(W-CDMA)、长期演进(LTE)和类似标准操作的蜂窝无线收发器。
一些实施例中,头戴显示设备400还可以包括存储单元,存储单元406是配置为具有固态驱动器(SSD)等的大容量存储设备。一些实施例中,存储单元406可以存储应用程序或各种类型的数据。例如,用户使用头戴显示设备400观看的内容可以存储在存储单元406中。
一些实施例中,头戴显示设备400还可以包括控制单元,控制单元407可以包括计算机处理单元(CPU)或者其他具有类似功能的设备。一些实施例中,控制单元407可以用于执行存储单元406存储的应用程序,或者控制单元407还可以用于执行本申请一些实施例公开的方法、功能和操作的电路。
图像处理单元408用于执行信号处理,比如与从控制单元407输出的图像信号相关的图像质量校正,以及将其分辨率转换为根据显示单元401的屏幕的分辨率。然后,显示驱动单元409依次选择显示单元401的每行像素,并逐行依次扫描显示单元401的每行像素,因而提供基于经信号处理的图像信号的像素信号。
一些实施例中,头戴显示设备400还可以包括外部相机。外部相机410可以设置在头戴显示设备400主体前表面,外部相机410可以为一个或者多个。外部相机410可以获取三维信息,并且也可以用作距离传感器。另外,探测来自物体的反射信号的位置灵敏探测器(PSD)或者其他类型的距离传感器可以与外部相机410一起使用。外部相机410和距离传感器可以用于检测穿戴头戴显示设备400的用户的身体位置、姿态和形状。另外,一定条件下用户可以通过外部相机410直接观看或者预览现实场景。
一些实施例中,头戴显示设备400还可以包括声音处理单元,声音处理单元411可以执行从控制单元407输出的声音信号的声音质量校正或声音放大,以及输入声音信号的信号处理等。然后,声音输入/输出单元412在声音处理后向外部输出声音以及输入来自麦克风的声音。
需要说明的是,图4中虚线框示出的结构或部件可以独立于头戴显示设备400之外,例如可以设置在外部处理系统(例如计算机系统)中与头戴显示设备400配合使用;或者,虚线框示出的结构或部件可以设置在头戴显示设备400内部或者表面上。
以上所描述的电子设备实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种VR应用程序的识别方法,其特征在于,包括:
从待识别应用程序的界面图像的四角上,获取至少四个指定尺寸的参考图像块;
根据所述至少四个参考图像块包含的像素点的灰度值,判断所述至少四个参考图像块是否均为黑色图像块;
若所述至少四个参考图像块均为黑色图像块,则根据所述界面图像包含的像素点的灰度值,识别所述界面图像中的黑色图像区;
根据所述黑色图像区包含的像素点的灰度值,判断所述黑色图像区的左右两部分是否对应;
若所述黑色图像区的左右两部分对应,则确定所述待识别应用程序为VR应用程序。
2.根据权利要求1所述的方法,其特征在于,根据所述至少四个参考图像块包含的像素点的灰度值,判断所述至少四个参考图像块是否均为黑色图像块,包括:
获取所述至少四个参考图像块中,灰度值小于指定灰度阈值的像素点的数量;
计算所述灰度值小于指定灰度阈值的像素点的数量与所述至少四个参考图像块包含的像素点总数的比值;
若所述比值大于或等于设定的比例阈值,则确定所述至少四个参考图像块均为黑色图像块。
3.根据权利要求2所述的方法,其特征在于,从待识别应用程序的界面图像的四角上,获取至少四个指定尺寸的参考图像块,包括:
以所述界面图像的四个顶点分别为图像选取的起始点,在所述界面图像上选取指定尺寸的图像区域,以获得所述至少四个参考图像块。
4.根据权利要求2所述的方法,其特征在于,根据所述界面图像包含的像素点的灰度值,识别所述界面图像中的黑色图像区,包括:
在所述界面图像中,获取灰度值小于所述指定灰度阈值的像素点所在的区域作为可疑黑色图像区;
根据所述可疑黑色图像区包含的像素点的坐标,获取所述可疑黑色图像区的几何包络图;
若所述几何包络图存在与所述界面图像的顶角重合的顶角或所述几何包络图的纵向中轴线与所述界面图像的纵向中轴线重合,则确定所述可疑黑色图像区属于所述界面图像的黑色图像区。
5.根据权利要求1~4中任一项所述的方法,其特征在于,根据所述黑色图像区包含的像素点的灰度值,判断所述黑色图像区的左右两部分是否对应,包括:
根据所述黑色图像区包含的像素点的灰度值,判断所述黑色图像区是否沿所述界面图像的纵向中轴线对称。
6.根据权利要求5所述的方法,其特征在于,根据所述黑色图像区包含的像素点的灰度值,判断所述黑色图像区是否沿所述界面图像的纵向中轴线对称,包括:
沿所述界面图像的纵向中轴线将所述黑色图像区划分为左右两个子图像区;
根据所述两个子图像区包含的像素点的总数量以及所述两个子图像区中灰度值相同的对称像素点的数量,计算所述两个子图像区的相似率;
若所述相似率大于设定的相似度阈值,确定所述黑色图像区沿所述界面图像的纵向中轴线对称。
7.根据权利要求6所述的方法,其特征在于,根据所述两个子图像区包含的像素点的总数量以及所述两个子图像区中灰度值相同的对称像素点的数量,计算所述两个子图像区的相似率,包括:
以所述界面图像的横向中轴线为横坐标轴,以所述界面图像的纵向中轴线为纵坐标轴,建立坐标系;
在所述两个子图像区中,获取纵坐标相同、横坐标相反的像素点,作为对称像素点;
统计灰度值相同的对称像素点的数量,并获取所述两个子图像区包含的像素点的总数量的平均值;
根据所述灰度值相同的对称像素点的数量与所述平均值的比值,确定所述两个子图像区的相似率。
8.一种电子设备,其特征在于,包括存储器以及处理器;
所述存储器用于:存储一条或多条计算机指令;
所述处理器用于执行所述一条或多条计算机指令,以用于:
从待识别应用程序的界面图像的四角上,获取至少四个指定尺寸的参考图像块;
根据所述至少四个参考图像块包含的像素点的灰度值,判断所述至少四个参考图像块是否均为黑色图像块;
若所述至少四个参考图像块均为黑色图像块,则根据所述界面图像包含的像素点的灰度值,识别所述界面图像中的黑色图像区;
根据所述黑色图像区包含的像素点的灰度值,判断所述黑色图像区的左右两部分是否对应;
若所述黑色图像区的左右两部分对应,则确定所述待识别应用程序为VR应用程序。
9.根据权利要求8所述的电子设备,其特征在于,所述处理器具体用于:
获取所述至少四个参考图像块中,灰度值小于指定灰度阈值的像素点的数量;
计算所述灰度值小于指定灰度阈值的像素点的数量与所述至少四个参考图像块包含的像素点总数的比值;
若所述比值大于或等于设定的比例阈值,则确定所述至少四个参考图像块均为黑色图像块。
10.根据权利要求9所述的电子设备,其特征在于,所述处理器具体用于:
在所述界面图像中,获取灰度值小于所述指定灰度阈值的像素点所在的区域作为可疑黑色图像区;
根据所述可疑黑色图像区包含的像素点的坐标,获取所述可疑黑色图像区的几何包络图;
若所述几何包络图存在与所述界面图像的顶角重合的顶角或所述几何包络图的纵向中轴线与所述界面图像的纵向中轴线重合,则确定所述可疑黑色图像区属于所述界面图像的黑色图像区。
CN201710703519.XA 2017-08-16 2017-08-16 一种vr应用程序的识别方法及电子设备 Active CN107506031B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710703519.XA CN107506031B (zh) 2017-08-16 2017-08-16 一种vr应用程序的识别方法及电子设备
PCT/CN2017/103193 WO2019033510A1 (zh) 2017-08-16 2017-09-25 一种vr应用程序的识别方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710703519.XA CN107506031B (zh) 2017-08-16 2017-08-16 一种vr应用程序的识别方法及电子设备

Publications (2)

Publication Number Publication Date
CN107506031A CN107506031A (zh) 2017-12-22
CN107506031B true CN107506031B (zh) 2020-03-31

Family

ID=60692124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710703519.XA Active CN107506031B (zh) 2017-08-16 2017-08-16 一种vr应用程序的识别方法及电子设备

Country Status (2)

Country Link
CN (1) CN107506031B (zh)
WO (1) WO2019033510A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11189054B2 (en) * 2018-09-28 2021-11-30 Apple Inc. Localization and mapping using images from multiple devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821298A (zh) * 2012-08-27 2012-12-12 深圳市维尚视界立体显示技术有限公司 一种3d播放调节自适应的方法、装置和设备
CN106780521A (zh) * 2016-12-08 2017-05-31 广州视源电子科技股份有限公司 屏幕漏光的检测方法、系统和装置
WO2017092410A1 (zh) * 2015-12-01 2017-06-08 乐视控股(北京)有限公司 一种对虚拟现实vr设备进行控制的方法及设备
CN106982389A (zh) * 2017-03-17 2017-07-25 腾讯科技(深圳)有限公司 视频类型识别方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101025789A (zh) * 2007-03-29 2007-08-29 上海大学 基于计算提取数字图像选择性骨骼面积特征的数字识别方法
US20140214921A1 (en) * 2013-01-31 2014-07-31 Onavo Mobile Ltd. System and method for identification of an application executed on a mobile device
CN104317574B (zh) * 2014-09-30 2018-03-30 北京金山安全软件有限公司 识别应用程序类型的方法和装置
EP3356912A1 (en) * 2015-09-28 2018-08-08 Microsoft Technology Licensing, LLC Unified virtual reality platform
CN106095432B (zh) * 2016-06-07 2020-02-07 北京小鸟看看科技有限公司 一种识别应用类型的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821298A (zh) * 2012-08-27 2012-12-12 深圳市维尚视界立体显示技术有限公司 一种3d播放调节自适应的方法、装置和设备
WO2017092410A1 (zh) * 2015-12-01 2017-06-08 乐视控股(北京)有限公司 一种对虚拟现实vr设备进行控制的方法及设备
CN106780521A (zh) * 2016-12-08 2017-05-31 广州视源电子科技股份有限公司 屏幕漏光的检测方法、系统和装置
CN106982389A (zh) * 2017-03-17 2017-07-25 腾讯科技(深圳)有限公司 视频类型识别方法及装置

Also Published As

Publication number Publication date
CN107506031A (zh) 2017-12-22
WO2019033510A1 (zh) 2019-02-21

Similar Documents

Publication Publication Date Title
US20210233310A1 (en) Automated three dimensional model generation
CN108615248B (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
US9940720B2 (en) Camera and sensor augmented reality techniques
KR101979669B1 (ko) 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
KR20210071015A (ko) 재투영된 프레임을 위한 모션 스무딩
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
US11887246B2 (en) Generating ground truth datasets for virtual reality experiences
US20180204340A1 (en) A depth map generation apparatus, method and non-transitory computer-readable medium therefor
US11176747B2 (en) Information processing apparatus and information processing method
KR20180005528A (ko) 영상 처리를 위한 디스플레이 장치 및 방법
US10482670B2 (en) Method for reproducing object in 3D scene and virtual reality head-mounted device
CN109002248B (zh) Vr场景截图方法、设备及存储介质
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
WO2019076348A1 (zh) 一种虚拟现实vr界面生成的方法和装置
KR102337209B1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
CN107704397B (zh) 应用程序测试方法、装置及电子设备
CN107506031B (zh) 一种vr应用程序的识别方法及电子设备
WO2024055531A1 (zh) 照度计数值识别方法、电子设备及存储介质
WO2017173583A1 (zh) 一种终端显示防抖方法及装置
CN107545595B (zh) 一种vr场景处理方法及vr设备
KR101915578B1 (ko) 시점 기반 오브젝트 피킹 시스템 및 그 방법
CN117461309A (zh) 对于计算机立体视觉的未对准观察点缓解
CN108965859B (zh) 投影方式识别方法、视频播放方法、装置及电子设备
CN107705311B (zh) 图像轮廓的内外识别方法及设备
CN108921097B (zh) 人眼视角检测方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Meng Yazhou

Inventor after: Jiang Bin

Inventor before: Meng Yazhou

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201016

Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Patentee after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Patentee before: GOERTEK TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221123

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.