CN111178127B - 显示目标物体的图像的方法、装置、设备及存储介质 - Google Patents

显示目标物体的图像的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111178127B
CN111178127B CN201911143000.6A CN201911143000A CN111178127B CN 111178127 B CN111178127 B CN 111178127B CN 201911143000 A CN201911143000 A CN 201911143000A CN 111178127 B CN111178127 B CN 111178127B
Authority
CN
China
Prior art keywords
image
target object
virtual reality
tracking module
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911143000.6A
Other languages
English (en)
Other versions
CN111178127A (zh
Inventor
张明
闫展逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN201911143000.6A priority Critical patent/CN111178127B/zh
Publication of CN111178127A publication Critical patent/CN111178127A/zh
Application granted granted Critical
Publication of CN111178127B publication Critical patent/CN111178127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种显示目标物体的图像的方法、装置、设备及存储介质。其中,该方法应用于虚拟现实设备,目标物体上设置有追踪模块,包括:获取当前时间虚拟现实设备所处外界环境的平面图像;从平面图像中识别追踪模块所在的图像位置;根据图像位置,从平面图像中识别出目标物体的图像;根据追踪模块在当前时间的空间位置,获得目标物体的图像在虚拟现实设备的显示屏上的显示区域;根据显示区域,在显示屏上显示目标物体的图像。

Description

显示目标物体的图像的方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域,更具体地,涉及一种显示目标物体的图像的方法、一种显示目标物体的图像的装置、一种虚拟现实设备以及一种计算机可读存储介质。
背景技术
目前,虚拟现实设备在显示虚拟图像的同时,还可以显示自身对应视野内的现实环境中指定物体(例如键盘、鼠标或者手机等)的图像。
现有的虚拟现实设备实现显示虚拟图像的同时,显示自身对应视野内的现实环境中指定物体的图像的过程通常为:利用设置在虚拟现实设备上的摄像装置采集包含指定物体的图像;然后通过图像识别算法识别出所采集到的图像中指定物体的图像;再将识别出的指定物体的图像从所采集到的图像中切割出来;最后将切割出来的图像显示在虚拟现实设备的显示屏上。
但是,图像识别算法识别出的指定物体的图像的边缘并不齐整。同时,不能将指定物体的图像完整的识别出来,存在识别出指定物体的图像缺失一部分或者多出一部分的可能性。另外,图像识别算法所需的功耗大。
发明内容
本发明的一个目的是提供一种新的显示目标物体的图像的技术方案。
根据本发明的第一方面,提供了一种显示目标物体的图像的方法,应用于虚拟现实设备,所述目标物体上设置有追踪模块,包括:
获取当前时间所述虚拟现实设备所处外界环境的平面图像;
从所述平面图像中识别所述追踪模块所在的图像位置;
根据所述图像位置,从所述平面图像中识别出所述目标物体的图像;
根据所述追踪模块在所述当前时间的空间位置,获得所述目标物体的图像在所述虚拟现实设备的显示屏上的显示区域;
根据所述显示区域,在所述显示屏上显示所述目标物体的图像。
可选的,所述方法还包括获取所述追踪模块在所述当前时间的空间位置的步骤,包括:
获取所述追踪模块在所述当前时间发射的追踪信号;
根据所述追踪信号,确定所述追踪模块在所述当前时间的空间位置。
可选的,所述根据所述显示区域,在所述显示屏上显示所述目标物体的图像,包括:
根据所述虚拟现实设备中镜片的畸变参数,对所述显示区域进行桶形畸变,以到桶形畸变后的显示区域;
从所述平面图像中切割出所述目标物体的图像;
根据所述镜片的畸变参数,对所述目标物体的图像进行桶形畸变,以得到桶形畸变后的目标物体的图像;
将桶形畸变后的目标物体的图像,显示在所述桶形畸变后的显示区域上所显示的虚拟图像之上。
可选的,所述根据所述显示区域,在所述显示屏上显示所述目标物体的图像,包括:
根据所述虚拟现实设备中镜片的畸变参数,对所述显示区域进行桶形畸变,以到桶形畸变后的显示区域;
根据所述镜片的畸变参数,对所述平面图像进行桶形畸变;
将桶形畸变后的所述平面图像显示在底层,并控制桶形畸变后的平面图像中的目标物体图像位于所述桶形畸变后的显示区域处;
将在所述显示屏上层显示的虚拟图像中位于桶形畸变后的显示区域的部分虚拟图像透明化。
可选的,所述根据所述追踪模块在所述当前时间的空间位置,获得所述目标物体的图像在所述虚拟现实设备的显示屏上的显示区域,包括:
获取空间变换信息;所述空间变换信息用于表征所述显示屏显示的现实环境图像与对应的现实环境间的变换关系;
根据所述追踪模块在所述当前时间的空间位置、所述空间变换信息,获得所述目标物体的图像在所述虚拟现实设备的显示屏上的显示区域。
可选的,所述根据所述追踪模块在所述当前时间的空间位置,获得所述目标物体的图像在所述虚拟现实设备的显示屏上的显示区域,包括:
获取所述虚拟现实设备的显示屏在所述当前时间的空间位置、人眼相对于所述显示屏的参考空间位置;
根据所述追踪模块在所述当前时间的空间位置、所述虚拟现实设备的显示屏在所述当前时间的空间位置以及所述参考空间位置,获得所述目标物体的图像在所述虚拟现实设备的显示屏上的显示区域。
可选的,所述目标物体上设置有一个追踪模块,所述根据所述图像位置,从所述平面图像中切割出所述目标物体的图像;包括:
获取所述追踪模块在所述目标物体上的位置,以及目标物体的形状参数信息;
根据所述图像位置、所述追踪模块在所述目标物体上的位置以及所述形状参数信息,从所述平面图像中识别出所述目标物体的图像。
根据本发明的第二方面,提供了一种显示目标物体的图像的装置,所述装置包括:
第一获取模块,用于获取当前时间虚拟现实设备所处外界环境的平面图像;
识别模块,用于从所述平面图像中识别所述目标物体上的追踪模块所在的图像位置;
切割模块,用于根据所述图像位置,从所述平面图像中切割出所述目标物体的图像;
第二获取模块,用于根据所述追踪模块在所述当前时间的空间位置,获得所述目标物体在所述虚拟现实设备的显示屏上的显示位置;
显示模块,用于根据所述显示位置,在所述显示屏上显示所述目标物体的图像。
根据本发明的第三方面,提供了一种虚拟现实设备,包括如上述第二方面所述的显示目标物体的图像的装置;或者,
包括存储器和处理器,所述存储器用于存储计算机指令;
所述处理器用于根据所述计算机指令,执行根据第一方面所述的方法。
根据本发明的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在被处理器执行时实现根据第一方面所述的方法。
在本实施例中,虚拟现实设备通过获取当前时间虚拟现实设备所处外界环境的平面图像;从平面图像中识别追踪模块所在的图像位置;根据图像位置,从平面图像中识别出目标物体的图像;根据追踪模块在当前时间的空间位置,获得目标物体的图像在虚拟现实设备的显示屏上的显示区域;根据显示区域,在显示屏上显示目标物体的图像。一方面,由于仅需要出追踪模块所在的图像位置,而无需识别出整个目标物体的图像所在的图像位置,这可大大的降低数据处理量,即可降低图像识别算法所需的功耗。另一方面,由于可根据追踪模块可精准的定位出目标物体的位置,因此,可根据追踪模块的图像位置从平面图像中精准的识别出目标图像的图像。这样,识别出的目标物体的图像的边缘是齐整的,且目标物体的图像是完整的。这使得显示屏上显示的目标物体的图像是齐整且完整的。又一方面,可根据追踪模块在当前时间的空间位置,获取到目标物体的图像在虚拟现实设备的显示屏上的显示区域。这样,可使得用户通过虚拟现实设备查看到的目标物体的图像的位置对应于现实环境中的目标物体,这样,可提高用户的体验。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1是本发明实施例提供的现实目标物体的图像的方法的流程示意图;
图2是一种虚拟现实设备的示意图;
图3是一种设置有追踪模块的目标物体的结构示意图;
图4是一种目标物体的图像在虚拟现实设备的显示屏上的显示区域的示意图;
图5是一种显示目标物体的图像的装置的示意图;
图6是一种虚拟现实设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
<方法实施例>
本实施例提供了一种显示目标物体的图像的方法,该方法应用于虚拟现实设备。该虚拟现实设备可以为VR眼镜、VR头盔等。另外,目标物体上设置有追踪模块。如图1所示,该方法包括如下S1100-S1500:
S1100、获取当前时间虚拟现实设备所处外界环境的平面图像。
在本实施例中,上述S1100的具体实现可以为:通过设置在虚拟现实设备上的摄像装置来获取当前时间虚拟现实设备所处外界环境的图像。由于摄像装置通过鱼眼镜头获取到的图像存在桶形畸变。因此,进一步的还需根据摄像装置的鱼眼镜头的畸变参数,将摄像装置获取到的图像进行枕形畸变,以得到对应的平面图像。
在一个例子中,如图2所示,上述的摄像装置可以设置在虚拟现实设备的左眼或右眼对应的显示屏的朝向外界环境一侧。
需要说明的是,虚拟现实设备所处环境中包含目标物体。基于此,可以理解的是,上述S1100中的平面图像中包含目标物体的图像。
S1200、从平面图像中识别追踪模块所在的图像位置。
在一个实施例中,上述的追踪模块可以为电磁发射器或电磁接收器,上述的追踪模块还可以为红外指示灯,上述的追踪模块还可以为惯性传感器等。
在一个实施例中,上述的追踪模块可以为多个。追踪模块可设置在目标物体的各个顶点上,以使得由追踪模块顺次连接得到的区域仅包含目标物体。基于该实施例,在一个例子中,如图3所示,当目标物体为一个键盘时,追踪模块为4个,分别设置在键盘的四个顶点处。此时,有这4个追踪模块顺次连接的区域为键盘所在的矩形区域。
在另一个实施例中,上述的追踪模块可以为1个。该1个追踪模块可设置在目标物体的一个顶点,或者可以设置在目标物体上的其他位置。
另外,追踪模块可固定在目标物体上,也可可拆卸的设置在目标物体上。
在本实施例中,可通过图像识别算法识别出追踪模块所在的图像位置。由于仅需要根据图像识别算法识别出追踪模块所在的图像位置,而无需图像识别算法识别出整个目标物体的图像所在的图像位置,这可大大的降低数据处理量,即可降低图像识别算法所需的功耗。
S1300、根据图像位置,从平面图像中识别出目标物体的图像。
在一个实施例中,当追踪模块为多个,且分别设置在目标物体的各个顶点上,以使得由追踪模块顺次连接得到的区域仅包含目标物体时,上述S1300的具体实现可以为:将平面图像中由对应多个图像位置顺次连接得到的区域所对应的图像识别为目标物体的图像。
在另一个实施例中,当追踪模块为1个时,上述S1300的具体实现可以为如下S1310和S1320:
S1310、获取追踪模块在目标物体上的位置、以及目标物体的形状参数信息。
在本实施例中,追踪模块在目标物体上的位置、以及目标物体的形状参数信息由用户通过设定的输入接口输入至虚拟现实设备中。
其中,目标物体的形状参数信息包含目标物体的形状、目标物体的形状所对应的参数。例如,当目标物体为键盘时,键盘的形状参数为:矩形、矩形的长度值和宽度值。另外,追踪模块在目标物体上的位置例如可以为:左上角、中心等。
S1320、根据图像位置、追踪模块在目标物体上的位置以及形状参数信息,从平面图像中识别出目标物体的图像。
在一个例子中,当目标物体为键盘时,追踪模块可设置在键盘左上角处。此时,用户可通过设定的输入接口输入“左上角、矩形、矩形长度值和宽度值”。此时,虚拟现实设备根据设定输入接口接收到的信息,确定目标物体的图像的过程为:以追踪模块的图像位置处为起点,从平面图像中选取矩形区域。该矩形区域的长度沿平面图像的长度方向,该矩形区域的长度的值为接收到的长度值。该矩形区域的宽度为沿着平面图像的宽度方向,该矩形区域的宽度的值为接收到的宽度值。基于此,将选取出的矩形区域对应的图像作为目标物体的图像。
在该实施例中,当用户通过虚拟现实设备观察到目标物体不完整时,可适应性的调整自身的位置,以使得虚拟现实设备上显示的目标物体被完整的显示。
S1400、根据追踪模块在当前时间的空间位置,获取目标物体的图像在虚拟现实设备的显示屏上的显示区域。
在一个实施例中,本实施例提供的显示目标物体的图像的方法还包括获取追踪模块在当前时间的空间位置的步骤。该步骤可包括如下S1410和S1420:
S1410、获取追踪模块在当前时间发射的追踪信号。
S1411、根据追踪信号,确定追踪模块在当前时间的空间位置。
在一个例子中,以追踪模块为电磁发射器为例,上述的追踪信号为电磁波。虚拟现实设备上设置有对应的电磁接收器,通过电磁接收器接收对应的电磁波并感测出对应的电动势。虚拟现实设备通过电磁接收器感测出的电动势,确定出电磁接收器与电磁发射器间的相对位置信息及方向信息。进一步的基于电磁接收器与虚拟现实设备的显示屏之间的相对位置信息和方向信息(预先已知的)、电磁接收器与电磁发射器间的相对位置信息及方向信息,可确定出电磁发射器与虚拟现实设备的显示屏间的相对位置信息及方向信息。再根据电磁发射器与虚拟现实设备的显示屏间的相对位置信息及方向信息,便可确定出电磁发射器的空间位置。即确定出追踪模块的空间位置。
当然,上述的追踪模块还可以为红外指示灯。当追踪模块为红外指示灯时,虚拟现实设备可基于红外追踪的技术方案,确定出追踪模块的空间位置。
需要说明的是,本实施例中对上述S1410和S1420的具体实现并不做限定。
在一个实施例中,上述S1400可通过如下两种方式来实现。
在第一种方式中上述S1400包括如下S1420和S1421:
S1420、获取空间变换信息;空间变换信息用于表征显示屏显示的现实环境图像与对应的现实环境间的变换关系。
在本实施例中,上述S1420中的空间变换信息为人工预先测试得到的。测试的过程为:在同一方位处分别获取两张图像。其中第一张图像为在该同一个方位处获取现实环境的平面图像,该平面图像对应于真实的现实环境。第二张图像为在相同方位处,控制虚拟现实设备的显示屏仅显示的对应方位的现实环境图像所对应的平面图像。比较获取到的两张图像,可确定出虚拟现实设备的显示屏所显示的现实环境图像,相对于对应现实环境间的变换关系。该变换关系可包含平移、旋转、缩放关系。
在本实施例中,空间变换信息可通过一个空间变换矩阵来表示。
S1421、根据追踪模块在当前时间的空间位置、空间变换信息,获得目标物体在虚拟现实设备的显示屏上的显示区域。
基于上述对S1420的说明可知,在确定追踪模块在当前时间的空间位置时,基于上述S1420得到的空间变换信息,可以得到追踪模块在虚拟现实设备的显示屏上的位置。基于该位置可以得到追踪模块在虚拟现实设备的显示屏上的显示区域。可以理解的是,基于上述S1421得到的显示区域,为对应于当前时间的显示区域。
在第二种方式中上述S1400包括如下S1430和S1431:
S1430、获取虚拟现实设备的显示屏在当前时间的空间位置、人眼相对于显示屏的参考空间位置。
在本实施例中,虚拟现实设备的显示屏在当前时间的空间位置可通过:设置在显示屏附近的定位传感器确定出的自身的空间位置,以及定位传感器与显示屏的相对位置来确定。另外,人眼相对于显示屏的参考空间位置为虚拟现实设备对应的人眼的最佳位置,这是虚拟现实设备的固有参数,可以直接获得。
S1431、根据追踪模块在当前时间的空间位置、虚拟现实设备的显示屏在当前时间的空间位置以及参考空间位置,获得目标物体的图像在虚拟现实设备的显示屏上的显示区域。
在本实施例中,以目标物体为键盘,且追踪模块设置在键盘的四个顶点为例,上述S1431的具体实现可参加图4所示。首先根据人眼相对于显示屏的参考空间位置和显示屏在当前时间的空间位置,得到人眼的空间位置。基于人眼的空间位置、追踪模块在当前时间的空间位置以及显示屏在当前时间的空间位置可模拟出如图4所示的四面锥。该四面锥被显示屏横切或者斜切,该显示屏横切或斜切该四面锥得到的切面,即为目标物体在虚拟现实设备的显示屏的显示区域。
S1500、根据显示区域,在显示屏上显示目标物体的图像。
在一个实施中,可参见如图4所示,用户在观看虚拟现实设备的显示屏上显示的图像时,是通过镜片再查看到虚拟现实设备的显示屏上的画面。但是,通过镜片观看到的画面是存在畸变的。因此,为了使得用户能看到平面的图像,本发明实施例提供如下两种实现上述S1500的具体方式:
第一种方式,上述S1500的具体实现可以为如下S1510-S1513:
S1510、根据虚拟现实设备中镜片的畸变参数,对显示区域进行桶形畸变,以得到桶形畸变后的显示区域。
在本实施例中,通过虚拟现实设备的镜片看到的桶形畸变后的显示区域为平面的显示区域。另外,镜片的畸变参数为镜片的固有参数,可以直接获取到。
S1511、从平面图像中切割出目标物体的图像。
S1512、根据镜片的畸变参数,对目标物体的图像进行桶形畸变,以得到桶形畸变后的目标图像。
在本实施例中,由于基于上述S1300得到的目标物体的图像为平面的图像,因此,为了能对目标物体的图像进行正常显示,需要对基于上述S1300得到的目标物体的图像进行与上述S1510中相同的桶形畸变。
S1513、将桶形畸变后的目标物体的图像,显示在桶形畸变后的显示区域上所显示
的虚拟图像之上。
在本实施例中,上述1513的具体实现可以为:将桶形畸变后的目标物体的图像叠
加显示在,桶形畸变后的显示区域处所显示的虚拟图像上。
第二种方式,上述S1500的具体实现可以为如下S1520-S1523:
S1520、根据虚拟现实设备中镜片的畸变参数,对显示区域进行桶形畸变,以到桶形畸变后的显示区域。
S1521、根据镜片的畸变参数,对平面图像进行桶形畸变。
S1522、将桶形畸变后的平面图像显示在底层,并控制桶形畸变后的平面图像中的目标物体图像位于桶形畸变后的显示区域处。
S1523、将在显示屏上层显示的虚拟图像中位于桶形畸变后的显示区域的部分虚拟图像透明化。
在本实施例中,无需在桶形畸变后的平面图像中对目标物体的图像进行切割,只需将桶形畸变后的平面图像显示在底层,并控制桶形畸变后的平面图像中的目标物体图像位于桶形畸变后的显示区域处,同时将在显示屏上层显示的虚拟图像中位于桶形畸变后的显示区域的部分虚拟图像透明化,这样,通过在虚拟图像中露出目标物体图像的方式,也可实现在显示屏上显示目标物体的图像。
在本实施例中,虚拟现实设备通过获取当前时间虚拟现实设备所处外界环境的平面图像;从平面图像中识别追踪模块所在的图像位置;根据图像位置,从平面图像中识别出目标物体的图像;根据追踪模块在当前时间的空间位置,获得目标物体的图像在虚拟现实设备的显示屏上的显示区域;根据显示区域,在显示屏上显示目标物体的图像。一方面,由于仅需要出追踪模块所在的图像位置,而无需识别出整个目标物体的图像所在的图像位置,这可大大的降低数据处理量,即可降低图像识别算法所需的功耗。另一方面,由于可根据追踪模块可精准的定位出目标物体的位置,因此,可根据追踪模块的图像位置从平面图像中精准的识别出目标图像的图像。这样,识别出的目标物体的图像的边缘是齐整的,且目标物体的图像是完整的。这使得显示屏上显示的目标物体的图像是齐整且完整的。又一方面,可根据追踪模块在当前时间的空间位置,获取到目标物体的图像在虚拟现实设备的显示屏上的显示区域。这样,可使得用户通过虚拟现实设备查看到的目标物体的图像的位置对应于现实环境中的目标物体,这样,可提高用户的体验。
在上述任一实施例的基础上,本发明实施例提供的显示目标物体的图像的方法还包括如下S1600:
S1600、响应于设定事件的触发,执行获取当前时间虚拟现实设备所处外界环境的平面图像的步骤。
在本实施例中,用户在想要查看目标物体时,可基于虚拟现实设备触发设定事件,例如通过按压虚拟现实设备上设置的按钮,触发设定事件。当虚拟现实设备检测到设定事件被触发时,响应该设定事件。同时,开始执行上述S1100。进而虚拟现实设备的显示屏上可显示出目标物体的图像。
<装置实施例>
如图5所示,本实施例提供了一种显示目标物体的图像的装置50,该装置包括:第一获取模块51、识别模块52、切割模块53、第二获取模块54以及显示模块55。其中:
第一获取模块51,用于获取当前时间所述虚拟现实设备所处外界环境的平面图像;
识别模块52,用于从所述平面图像中识别所述目标物体上的追踪模块所在的图像位置;
切割模块53,用于根据所述图像位置,从所述平面图像中识别出所述目标物体的图像;
第二获取模块54,用于根据所述追踪模块在所述当前时间的空间位置,获得所述目标物体在所述虚拟现实设备的显示屏上的显示位置;
显示模块55,用于根据所述显示位置,在所述显示屏上显示所述目标物体的图像。
在一个实施例中,第二获取模块54还用于:获取所述追踪模块在所述当前时间发射的追踪信号;
根据所述追踪信号,确定所述追踪模块在所述当前时间的空间位置。
在一个实施例中,显示模块55具体用于:根据所述虚拟现实设备中镜片的畸变参数,对所述显示区域进行桶形畸变,以到桶形畸变后的显示区域;
从所述平面图像中切割出所述目标物体的图像;
根据所述镜片的畸变参数,对所述目标物体的图像进行桶形畸变,以得到桶形畸变后的目标物体的图像;
将桶形畸变后的目标物体的图像,显示在所述桶形畸变后的显示区域上所显示的虚拟图像之上。
在一个实施例中,显示模块55还具体用于:
根据所述虚拟现实设备中镜片的畸变参数,对所述显示区域进行桶形畸变,以到桶形畸变后的显示区域;
根据所述镜片的畸变参数,对所述平面图像进行桶形畸变;
将桶形畸变后的所述平面图像显示在底层,并控制桶形畸变后的平面图像中的目标物体图像位于所述桶形畸变后的显示区域处;
将在所述显示屏上层显示的虚拟图像中位于桶形畸变后的显示区域的部分虚拟图像透明化。
在一个实施例中,第二获取模块54具体用于:获取空间变换信息;所述空间变换信息用于表征所述显示屏显示的现实环境图像与对应的现实环境间的变换关系;
根据所述追踪模块在所述当前时间的空间位置、所述空间变换信息,获得所述目标物体的图像在所述虚拟现实设备的显示屏上的显示区域。
在一个实施例中,第二获取模块54具体用于:获取所述虚拟现实设备的显示屏在所述当前时间的空间位置、人眼相对于所述显示屏的参考空间位置;
根据所述追踪模块在所述当前时间的空间位置、所述虚拟现实设备的显示屏在所述当前时间的空间位置以及所述参考空间位置,获得所述目标物体的图像在所述虚拟现实设备的显示屏上的显示区域。
在一个实施例中,所述目标物体上设置有一个追踪模块,切割模块53具体用于:获取所述追踪模块在所述目标物体上的位置,以及目标物体的形状参数信息;
根据所述图像位置、所述追踪模块在所述目标物体上的位置以及所述形状参数信息,从所述平面图像中切割出所述目标物体的图像。
需要说明的是,本发明装置实施例中各模块的具体实现方式可以参见本发明方法实施例的相关内容,在此不再赘述。
<设备实施例>
如图6所示,本实施例提供了一种虚拟现实设备60。该虚拟现实设备60包括如上述装置实施例中所示的显示目标物体的图像的装置50。或者包括存储器61和处理器62。其中:
所述存储器61用于存储计算机指令;
所述处理器62用于根据所述计算机指令,执行根据上述方法实施例中任一项所述的方法。
在一个实施例中,虚拟现实设备60可以为虚拟现实眼镜、虚拟现实头盔等。
<存储介质实施例>
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在被处理器执行时实现上述方法实施例中任一项所述的方法。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种显示目标物体的图像的方法,其特征在于,应用于虚拟现实设备,所述目标物体上设置有追踪模块,包括:
通过设置在虚拟现实设备上的摄像装置以获取当前时间所述虚拟现实设备所处外界环境的平面图像;
从所述平面图像中识别所述追踪模块所在的图像位置;
根据所述图像位置,从所述平面图像中识别出所述目标物体的图像,包括:当所述追踪模块为多个,将所述平面图像中追踪模块对应的多个所述图像位置顺次连接得到的区域所对应的图像识别为所述目标物体的图像;当所述追踪模块为一个,根据所述图像位置和获取的所述目标物体的形状参数信息,从所述平面图像中识别出所述目标物体的图像;
根据所述追踪模块在所述当前时间的空间位置,获得所述目标物体的图像在所述虚拟现实设备的显示屏上的显示区域;其中,所述追踪模块能够获取仅包括所述目标物体的区域;
根据所述显示区域,在所述显示屏上显示所述目标物体的图像。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括获取所述追踪模块在所述当前时间的空间位置的步骤,包括:
获取所述追踪模块在所述当前时间发射的追踪信号;
根据所述追踪信号,确定所述追踪模块在所述当前时间的空间位置。
3.根据权利要求1所述的方法,其特征在于,所述根据所述显示区域,在所述显示屏上显示所述目标物体的图像,包括:
根据所述虚拟现实设备中镜片的畸变参数,对所述显示区域进行桶形畸变,以到桶形畸变后的显示区域;
从所述平面图像中切割出所述目标物体的图像;
根据所述镜片的畸变参数,对所述目标物体的图像进行桶形畸变,以得到桶形畸变后的目标物体的图像;
将桶形畸变后的目标物体的图像,显示在所述桶形畸变后的显示区域上所显示的虚拟图像之上。
4.根据权利要求1所述的方法,其特征在于,所述根据所述显示区域,在所述显示屏上显示所述目标物体的图像,包括:
根据所述虚拟现实设备中镜片的畸变参数,对所述显示区域进行桶形畸变,以到桶形畸变后的显示区域;
根据所述镜片的畸变参数,对所述平面图像进行桶形畸变;
将桶形畸变后的所述平面图像显示在底层,并控制桶形畸变后的平面图像中的目标物体图像位于所述桶形畸变后的显示区域处;
将在所述显示屏上层显示的虚拟图像中位于桶形畸变后的显示区域的部分虚拟图像透明化。
5.根据权利要求1所述的方法,其特征在于,所述根据所述追踪模块在所述当前时间的空间位置,获得所述目标物体的图像在所述虚拟现实设备的显示屏上的显示区域,包括:
获取空间变换信息;所述空间变换信息用于表征所述显示屏显示的现实环境图像与对应的现实环境间的变换关系;
根据所述追踪模块在所述当前时间的空间位置、所述空间变换信息,获得所述目标物体的图像在所述虚拟现实设备的显示屏上的显示区域。
6.根据权利要求1所述的方法,其特征在于,所述根据所述追踪模块在所述当前时间的空间位置,获得所述目标物体的图像在所述虚拟现实设备的显示屏上的显示区域,包括:
获取所述虚拟现实设备的显示屏在所述当前时间的空间位置、人眼相对于所述显示屏的参考空间位置;
根据所述追踪模块在所述当前时间的空间位置、所述虚拟现实设备的显示屏在所述当前时间的空间位置以及所述参考空间位置,获得所述目标物体的图像在所述虚拟现实设备的显示屏上的显示区域。
7.根据权利要求1所述的方法,其特征在于,所述目标物体上设置有一个追踪模块,所述根据所述图像位置,从所述平面图像中识别出所述目标物体的图像;包括:
获取所述追踪模块在所述目标物体上的位置,以及目标物体的形状参数信息;
根据所述图像位置、所述追踪模块在所述目标物体上的位置以及所述形状参数信息,从所述平面图像中识别出所述目标物体的图像。
8.一种显示目标物体的图像的装置,其特征在于,所述装置包括:
第一获取模块,用于通过设置在虚拟现实设备上的摄像装置以获取当前时间虚拟现实设备所处外界环境的平面图像;
识别模块,用于从所述平面图像中识别所述目标物体上的追踪模块所在的图像位置;
切割模块,用于根据所述图像位置,从所述平面图像中识别出所述目标物体的图像,包括:当所述追踪模块为多个,将所述平面图像中追踪模块对应的多个所述图像位置顺次连接得到的区域所对应的图像识别为所述目标物体的图像;当所述追踪模块为一个,根据所述图像位置和获取的所述目标物体的形状参数信息,从所述平面图像中识别出所述目标物体的图像;
第二获取模块,用于根据所述追踪模块在所述当前时间的空间位置,获得所述目标物体在所述虚拟现实设备的显示屏上的显示位置;其中,所述追踪模块能够获取仅包括所述目标物体的区域;
显示模块,用于根据所述显示位置,在所述显示屏上显示所述目标物体的图像。
9.一种虚拟现实设备,其特征在于,包括如上述权利要求8所述的显示目标物体的图像的装置;或者,
包括存储器和处理器,所述存储器用于存储计算机指令;
所述处理器用于根据所述计算机指令,执行根据权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
CN201911143000.6A 2019-11-20 2019-11-20 显示目标物体的图像的方法、装置、设备及存储介质 Active CN111178127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911143000.6A CN111178127B (zh) 2019-11-20 2019-11-20 显示目标物体的图像的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911143000.6A CN111178127B (zh) 2019-11-20 2019-11-20 显示目标物体的图像的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111178127A CN111178127A (zh) 2020-05-19
CN111178127B true CN111178127B (zh) 2024-02-20

Family

ID=70657204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911143000.6A Active CN111178127B (zh) 2019-11-20 2019-11-20 显示目标物体的图像的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111178127B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506463A (zh) * 2020-12-04 2021-03-16 歌尔光学科技有限公司 基于头戴设备的显示器显示方法、装置及设备
CN113240789B (zh) 2021-04-13 2023-05-23 青岛小鸟看看科技有限公司 虚拟对象构建方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104169941A (zh) * 2011-12-01 2014-11-26 莱特克拉夫特科技有限责任公司 自动跟踪抠像区系统
CN205581784U (zh) * 2016-04-14 2016-09-14 江苏华博创意产业有限公司 一种基于现实场景的可交互混合现实平台
CN105959595A (zh) * 2016-05-27 2016-09-21 西安宏源视讯设备有限责任公司 一种虚拟现实实时交互中虚拟对现实自主响应方法
CN106774935A (zh) * 2017-01-09 2017-05-31 京东方科技集团股份有限公司 一种显示设备
WO2017107524A1 (zh) * 2015-12-21 2017-06-29 乐视控股(北京)有限公司 虚拟现实头盔的成像畸变测试方法及装置
CN107888899A (zh) * 2017-10-30 2018-04-06 杭州联络互动信息科技股份有限公司 用于虚拟现实设备中图像获取方法、装置和虚拟现实设备
CN109471533A (zh) * 2018-11-09 2019-03-15 深圳职业技术学院 一种vr/ar教室内的学生端系统及其使用方法
CN109657672A (zh) * 2018-12-20 2019-04-19 上海曼恒数字技术股份有限公司 空间定位方法、装置、设备和存储介质
CN110120099A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 定位方法、装置、识别跟踪系统及计算机可读介质
CN110443850A (zh) * 2019-08-05 2019-11-12 珠海优特电力科技股份有限公司 目标对象的定位方法及装置、存储介质、电子装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104169941A (zh) * 2011-12-01 2014-11-26 莱特克拉夫特科技有限责任公司 自动跟踪抠像区系统
WO2017107524A1 (zh) * 2015-12-21 2017-06-29 乐视控股(北京)有限公司 虚拟现实头盔的成像畸变测试方法及装置
CN205581784U (zh) * 2016-04-14 2016-09-14 江苏华博创意产业有限公司 一种基于现实场景的可交互混合现实平台
CN105959595A (zh) * 2016-05-27 2016-09-21 西安宏源视讯设备有限责任公司 一种虚拟现实实时交互中虚拟对现实自主响应方法
CN106774935A (zh) * 2017-01-09 2017-05-31 京东方科技集团股份有限公司 一种显示设备
CN107888899A (zh) * 2017-10-30 2018-04-06 杭州联络互动信息科技股份有限公司 用于虚拟现实设备中图像获取方法、装置和虚拟现实设备
CN110120099A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 定位方法、装置、识别跟踪系统及计算机可读介质
CN109471533A (zh) * 2018-11-09 2019-03-15 深圳职业技术学院 一种vr/ar教室内的学生端系统及其使用方法
CN109657672A (zh) * 2018-12-20 2019-04-19 上海曼恒数字技术股份有限公司 空间定位方法、装置、设备和存储介质
CN110443850A (zh) * 2019-08-05 2019-11-12 珠海优特电力科技股份有限公司 目标对象的定位方法及装置、存储介质、电子装置

Also Published As

Publication number Publication date
CN111178127A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
US10645332B2 (en) Subtitle displaying method and apparatus
EP3742250B1 (en) Method, apparatus and system for controlling unmanned aerial vehicle
EP3163401A1 (en) Mobile terminal and control method thereof
US11880956B2 (en) Image processing method and apparatus, and computer storage medium
CN110140106A (zh) 根据背景图像动态显示图标的方法及装置
US20150281565A1 (en) Image processing apparatus, method for controlling image processing apparatus and storage medium
WO2018005051A1 (en) Selection of objects in three-dimensional space
US10007963B2 (en) Context-based provision of screenshot modifications
US11500533B2 (en) Mobile terminal for displaying a preview image to be captured by a camera and control method therefor
CN106716302A (zh) 用于显示图像的方法、设备和计算机程序
EP3460745B1 (en) Spherical content editing method and electronic device supporting same
CN111178127B (zh) 显示目标物体的图像的方法、装置、设备及存储介质
CN111091610B (zh) 图像处理方法及装置、电子设备和存储介质
CN111898676B (zh) 目标检测方法及装置、电子设备和存储介质
US11003707B2 (en) Image processing in a virtual reality (VR) system
EP3651144A1 (en) Method and apparatus for information display, and display device
US10032299B2 (en) Portable image device for generating application images
US9047795B2 (en) Methods and devices for providing a wallpaper viewfinder
US11810336B2 (en) Object display method and apparatus, electronic device, and computer readable storage medium
US20190318449A1 (en) Imaging method and apparatus for virtual reality device, and virtual reality device
CN111726671A (zh) 播放媒体信息的方法、设备和电子设备
CN116349220A (zh) 实时视频编辑
CN109542231B (zh) 一种反馈信息的方法、装置、电子设备和存储介质
EP2642384B1 (en) Methods and devices for providing a wallpaper viewfinder
CN109753213B (zh) 基于地图的指挥指令传输方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant