CN110618751B - 虚拟对象的显示方法、装置、终端设备及存储介质 - Google Patents

虚拟对象的显示方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN110618751B
CN110618751B CN201810632329.8A CN201810632329A CN110618751B CN 110618751 B CN110618751 B CN 110618751B CN 201810632329 A CN201810632329 A CN 201810632329A CN 110618751 B CN110618751 B CN 110618751B
Authority
CN
China
Prior art keywords
marker
virtual object
scaling
display device
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810632329.8A
Other languages
English (en)
Other versions
CN110618751A (zh
Inventor
尹元庆
戴景文
贺杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Virtual Reality Technology Co Ltd
Original Assignee
Guangdong Virtual Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Virtual Reality Technology Co Ltd filed Critical Guangdong Virtual Reality Technology Co Ltd
Priority to CN201810632329.8A priority Critical patent/CN110618751B/zh
Priority to PCT/CN2019/091863 priority patent/WO2019242634A1/zh
Priority to US16/535,054 priority patent/US11087545B2/en
Publication of CN110618751A publication Critical patent/CN110618751A/zh
Application granted granted Critical
Publication of CN110618751B publication Critical patent/CN110618751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种虚拟对象的显示方法、装置、终端设备及存储介质,该方法包括:采集标志物图像,所述标志物图像包括标志物信息;根据所述标志物信息识别所述标志物图像包含的标志物;获取构建的虚拟对象与所述标志物的缩放比例;将所述虚拟对象按照所述缩放比例,显示在所述标志物所在的位置处。本方法可以对内容对象进行自动适配,使得标志物可以相对于摄像头以任意方式放置。

Description

虚拟对象的显示方法、装置、终端设备及存储介质
技术领域
本申请涉及计增强现实技术领域,更具体地,涉及一种虚拟对象的显示方法、装置、终端设备及存储介质。
背景技术
近年来,随着科技的进步,增强现实(AR,Augmented Reality)等技术已逐渐成为国内外研究的热点,增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术,其将计算机生成的虚拟对象、场景或系统提示信息等内容对象叠加到真实场景中,来增强或修改对现实世界环境或表示现实世界环境的数据的感知。如何将内容对象更好的进行适配成为亟待解决的问题。
发明内容
本申请提出了一种虚拟对象的显示方法、装置、终端设备及存储介质,可以实现对内容对象进行自动适配,使得虚拟对象可以任意方式放置。
第一方面,本申请实施例提供了一种虚拟对象的显示方法,该方法包括:采集标志物图像,所述标志物图像包括标志物信息;根据所述标志物信息识别所述标志物图像包含的标志物;获取构建的虚拟对象与所述标志物的缩放比例;将所述虚拟对象按照所述缩放比例,显示在所述标志物所在的位置处。
第二方面,本申请实施例提供了一种虚拟对象的显示装置,所述装置包括:采集模块,用于采集标志物图像,所述标志物图像包括标志物信息;识别模块,根据所述标志物信息识别所述标志物图像包含的标志物;获取模块,用于获取构建的虚拟对象与所述标志物的缩放比例;显示模块,用于将所述虚拟对象按照所述缩放比例,显示在所述标志物所在的位置处。
第三方面,本申请实施例提供了一种终端设备,所述终端设备包括摄像头、一个或多个处理器以及存储器;一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述第一方面提供的虚拟对象的显示方法。
第四方面,本申请实施例还提供了一种具有处理器可执行的程序代码的计算机可读存储介质,所述计算机可读取存储介质包括存储的程序,其中,在所述程序运行时执行上述第一方面提供的虚拟对象的显示方法。
本申请提供的虚拟对象的显示方法、装置、终端设备及存储介质,通过采集标志物图像,所述标志物图像包括标志物信息;根据所述标志物信息识别所述标志物图像包含的标志物;获取构建的虚拟对象与所述标志物的缩放比例;将所述虚拟对象按照所述缩放比例,显示在所述标志物所在的位置处,实现对内容对象进行自动适配,使得虚拟对象可以任意方式放置。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例的虚拟对象的显示方法的应用场景图;
图2示出了本发明实施例的终端设备的结构框图;
图3为本发明一个实施例提供的虚拟对象的显示方法的流程图;
图4示出了本发明一个实施例的虚拟对象的显示方法的效果示意图;
图5为本发明一个实施例提供的虚拟对象的显示方法的流程图;
图6为本发明一个实施例提供的虚拟对象的显示方法的流程图;
图7为本发明一个实施例提供的虚拟对象的显示方法的流程图;
图8为本发明一个实施例提供的虚拟对象的显示方法的流程图;
图9为本发明一个实施例提供的虚拟对象的显示方法的流程图;
图10示出了本发明一个实施例的虚拟对象的显示方法的效果示意图;
图11为本发明一个实施例提供的虚拟对象的显示装置的结构框图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参阅图1,示出了本发明实施例提供的虚拟对象的显示方法的应用场景图,该应用场景包括显示系统10。该显示系统10包括:终端设备20以及标志物30。
本实施例中,终端设备20可以为头戴显示装置、手机、平板等设备。请参阅图2 ,作为一种实施方式,终端设备20可以包括:处理器21、存储器22、显示装置23以及摄像头24。存储器22、显示装置23以及摄像头24均与处理器21连接。
摄像头24用于采集待拍摄物体的图像并发送至处理器21。该摄像头24可以为红外摄像头、彩色摄像头等,摄像头24的具体类型在本申请实施例中并不作为限定。
处理器21可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器24可以被配置为经由例如网络从系统的各种组件接收数据和/或信号。处理器21还可处理数据和/或信号以确定系统中的一个或多个操作条件。例如,处理器21根据预先存储的图像数据生成虚拟世界的图像数据,将其发送至显示装置进行显示;也可以通过有线或无线网络接收智能终端或计算机的发送的图像数据,根据所接收的图像数据生成虚拟世界的图像进行显示;还可以根据摄像头采集的图像进行识别定位,并根据定位信息确定在虚拟世界中对应的显示内容,发送至显示装置23进行显示。
存储器22可用于存储软件程序以及模块,处理器21通过运行存储在存储器22内的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器22可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。
终端设备20的显示装置以及摄像头与一具有存储器的存储功能以及处理器的处理功能的电子设备连接。可以理解的是,上述实施方式中的处理器执行的处理由电子设备的处理器执行,上述实施方式中的存储器存储的数据由电子设备的存储器进行存储。
在本申请实施例中,终端设备20还可以包括通信模块,通信模块与处理器连接。通信模块用于终端设备20与其他终端之间的通信。
在本申请实施例中,显示系统10还包括放置于终端设备20的摄像头24视野范围内的标志物30,即摄像头24可以采集到标志物30的图像。该标志物30的图像存储于终端设备20中,用于定位终端设备20相对标志物30的位置。标志物30可以包括背景以及按照特定规则分布于背景的若干子标志物,每个子标志物具有一个或多个特征点。本申请实施方式中,不同标志物内的子标志物的分布规则不同,因此,每个标志物所对应的虚拟对象互不相同。
子标志物为具有一定形状的图案,且该子标志物的颜色与标志物内的背景有一定的区分度,例如,背景为白色,而子标志物的颜色为黑色。子标志物可以是由一个或多个特征点构成,且特征点的形状不做限定,可以是圆点、圆环,也可以是三角形、其他形状。
作为一种实施方式,标志物30的轮廓可以为矩形,当然,标志物30的形状也可以是其他形状,在此不做限定,矩形的区域以及该区域内的多个子标志物构成一个标志物。在本申请实施例中,标志物30可以为终端设备20可以识别追踪的图案。需要说明的是,具体的标志物30在本申请实施例中并不作为限定,仅需要标志物30能被终端设备20识别追踪即可。
终端设备20中还存储有与不同的标志物30对应的虚拟对象,该虚拟对象可以为建筑物、场景、树木、人物等。
用户在使用终端设备20时,当标志物30在终端设备20的视野范围内时,终端设备20可以采集到包含有标志物30的标志物图像。终端设备20的处理器获取到标志物图像及相关信息,运算识别出标志物30,并获取到该标志物30与终端设备20的摄像头之间的位置与旋转关系,进而得到标志物30相对于终端设备20的位置及旋转关系。
针对上述的显示系统,本发明实施例提供了一种通过上述系统进行虚拟对象的显示方法,具体地,请参阅以下实施例。
请参阅图3,图3为一个实施例中虚拟对象的显示方法的流程示意图。下面将针对图3所示的流程进行详细的阐述,虚拟对象的显示方法具体可以包括以下步骤:
步骤S110:采集标志物图像,标志物图像包括标志物信息。
终端设备可以对上述显示系统中处于其视野范围内的标志物进行采集。具体地,当标志物的部分或整体在摄像头的视野范围内时,摄像头会采集到标志物图像,标志物图像包含标志物的图像信息,例如图案信息。终端设备的处理器获取摄像头采集的包含有标志物信息的标志物图像。
步骤S120:根据标志物信息识别标志物图像包含的标志物。
终端设备根据标志物图像中的标志物信息对标志物进行识别追踪,以得到终端设备相对于标志物的位置以及标志物对应的虚拟对象。
终端设备的处理器可以从标志物图像中任意选取特定数量的特征点作为目标特征点,用于确定终端设备(摄像头)与具有目标特征点的标志物之间的真实的姿态信息。其中,处理器可以获取所有目标特征点的像素坐标。然后,根据所有特征点的像素坐标和预先获取的所有特征点的物理坐标,获取终端设备与标志物之间的姿态信息(包括旋转信息以及位置信息),其中,物理坐标为预先获取的特征点在标志物对应的第二空间的坐标。各个特征点的物理坐标可以预先获取。
终端设备还可以通过识别标志物图像中的标志物,获取与该标志物对应的虚拟对象,由终端设备确定的标志物在第二空间中的位置信息也就是虚拟对象的基准空间坐标中的位置信息。
步骤S130:获取构建的虚拟对象与标志物的缩放比例。
虚拟对象可以是与标志物对应的,或者是在APP中预先创建的虚拟对象。在一些实际应用场景中,存在所要展示的虚拟对象的大小会大于或者小于标志物的大小,如果不对虚拟对象的大小进行缩放,那么展示的虚拟对象会过大或者过小,当终端设备的位置相对于标志无发生变化时,虚拟对象无法与标志物对齐,且影响用户的观感。
因此,在步骤S120中得到虚拟对象在基准空间坐标中的位置信息之后,可以根据虚拟对象与标志物的比值计算缩放比例,以实现对虚拟对象的缩放。具体地,缩放比例即虚拟对象的大小和标志物大小的比值,其中,大小的比值可指的是所占面积的大小,例如,虚拟对象的大小为100m(米)*100m,标志物的大小为1m*1m等,则虚拟对象与标志物的缩放比例为100:1,但不限于此,虚拟对象与标志物也可以是其他任意大小。虚拟对象的大小可以是在虚拟对象模型建好之后确定的大小。标志物的大小可以是预先存储的标志物的大小值,也可以是依据采集的图片中识别的标志物的大小。
根据虚拟对象与标志物的比值计算缩放比例,可以包括将虚拟对象与标志物的大小比值作为缩放比例,或者将虚拟对象与标志物的比值乘以预设系数后作为缩放比例。也就是说,对虚拟对象的缩放比值可以是虚拟对象与标志物的比值,这样虚拟对象就能与标志物对齐。对虚拟对象的缩放比值也可以是虚拟对象与标志物的比值乘以预设系数,例如预设系数可以是0.8~1.2之间,也可以根据用户的观感体验设置经验系数,允许对齐存在一定的偏差值的同时保证用户的体验。可以采用灵活的缩放比例实现虚拟对象与标志物大小的自适配,提升用户观看的体验。
步骤S140:将虚拟对象按照缩放比例,显示在标志物所在的位置处。
将虚拟对象按照缩放比例,可以是当检测到针对虚拟对象的放大指令时,将缩放比例放大,或者是当检测到针对虚拟对象的缩小指令时,将缩放比例缩小。放大指令或缩小指令可以是用户通过终端设备的控制器发出的,也可以是语音发出的,还可以是终端设备根据用户注视虚拟对象的时间长度确定。
根据步骤S130中的到的缩放比例,将虚拟对象进行缩放,将虚拟对象与标志物进行对齐显示,从而可实现虚拟对象相对于摄像机随机放置。
请参见图4,图4为虚拟对象为单个时,虚拟对象与标志物对齐显示的示意图,用户在观看时,虚拟对象A1叠加于标志物30,且虚拟对象A1与标志物对齐。
终端设备可以读取标志物所对应的虚拟对象对应的数据,数据可以包括虚拟对象的模型数据,模型数据为用于渲染虚拟对象的数据,可以包括用于建立虚拟对象对应的模型的颜色、3D模型中的各顶点坐标等。
例如,终端设备显示一条某颜色的线段,则可以将该线段的3D点队列(多个虚拟空间中的点坐标),线段的粗度,线段的颜色作为虚拟对象的模型数据。
终端设备在获取到虚拟对象在基准中间坐标中的位置信息以及虚拟对象的数据之后,再得到虚拟对象在终端设备的设备空间中(即显示空间中)的位置。
终端设备在设备空间的对应位置处渲染虚拟对象,创建出虚拟对象得到显示内容并进行显示,使终端设备显示的内容中虚拟对象的真实位置,与终端设备显示的内容中标志物的真实位置相同,即对应于真实场景中的位置相同。从而终端设备的用户可以通过自己视角观察虚拟对象,终端设备的用户可以进行位置的移动,虚拟对象也会随用户位置的移动而变化,例如,终端设备远离虚拟对象于真实场景中的位置时,则虚拟对象变小,反之,靠近虚拟对象于真实场景中的位置时,虚拟对象变大等。
另外,第一终端设备的用户在可以通过自己的视角观察虚拟对象时,也可以进行显示内容的录制,以便于本次观察以后的观察以及分析。
将虚拟对象按照缩放比例,显示在终端设备的设备空间中标志物所在的位置处,具体地,根据确定好的标志物信息和虚拟对象在现实世界中的信息,将虚拟对象映射到现实世界中的标志物所在的位置上,得到现实世界中的虚拟对象,用户通过穿戴设备即能观看到现实世界以及虚拟对象。
本实施例提供的虚拟对象的显示方法,通过采集标志物图像,标志物图像包括标志物信息,根据标志物信息识别标志物图像包含的标志物,获取构建的虚拟对象与标志物的缩放比例,将虚拟对象按照缩放比例,显示在标志物所在的位置处,实现了虚拟对象与标志物大小的自适配,提升了用户观看的体验。
请参阅图5,图5为一个实施例中虚拟对象的显示方法的流程示意图。下面将针对图5所示的流程进行详细的阐述,虚拟对象的显示方法具体可以包括以下步骤:
步骤S210:采集标志物图像,标志物图像包括标志物信息。
步骤S220:根据标志物信息识别标志物图像包含的标志物。
步骤S230:获取构建的虚拟对象与标志物的缩放比例。
步骤S210至步骤S230的具体过程可以参照第一实施例中的步骤S110至步骤S130,这里不再赘述。
步骤S240:根据标志物信息获取标志物与终端设备之间的相对位置信息。
根据标志物的位置和大小信息,获取标志物与终端设备之间在不同的坐标空间中的相对坐标和朝向信息,坐标空间包括第一坐标空间、第二坐标空间及第三坐标空间。第一坐标空间即设备空间,设备空间包含标志物相对于终端设备的坐标和朝向。第二坐标空间即基准坐标空间,基准坐标空间包含终端设备相对于标志物的坐标和朝向。第三坐标空间即内容空间,内容空间用于确定虚拟对象与现实世界中的标志物的比例大小。
步骤S250:根据相对位置信息及缩放比例确定虚拟对象的显示坐标,并根据显示坐标显示虚拟对象。
根据相对位置信息及缩放比例确定虚拟对象在内容空间中的显示坐标。为了方便说明,假设虚拟对象的大小为100m*100m,现实世界中的标志物的大小为0.1m*0.1m,则缩放比例为1000。可根据内容空间的缩放比例对设备空间中终端设备的变化坐标进行缩放,例如,设备空间中终端设备的坐标为(0,0,-3),则经过缩放比例进行缩放后变成(0,0,-3000),从而可得到虚拟世界中虚拟对象的变化坐标。并依据显示坐标显示虚拟对象。
本实施例提供的虚拟对象的显示方法,通过采集标志物图像,标志物图像包括标志物信息,根据标志物信息识别标志物图像包含的标志物,获取构建的虚拟对象与标志物的缩放比例,根据标志物信息获取标志物与终端设备之间的相对位置信息,根据相对位置信息及缩放比例确定虚拟对象的显示坐标,并根据显示坐标显示虚拟对象,确保虚拟对象能始终能成功显示在标志物所在的位置,这样提升了用户观看的体验。
请参阅图6,图6为一个实施例中虚拟对象的显示方法的流程示意图。面将针对图6所示的流程进行详细的阐述,虚拟对象的显示方法具体可以包括以下步骤:
步骤S310:采集标志物图像,标志物图像包括标志物信息。
步骤S320:根据标志物信息识别标志物图像包含的标志物。
步骤S330:获取构建的虚拟对象与标志物的缩放比例。
步骤S310至步骤S330的具体过程可以参照第一实施例中的步骤S110至步骤S130,这里不再赘述。
步骤S340:以终端设备为原点,获取第一坐标空间中的标志物与终端设备的第一相对位置信息。
第一坐标空间即是设备空间,在设备空间中以终端设备为原点,获取第一坐标空间中的第一相对位置信息,即获取设备空间中终端设备与标志物的相对坐标和朝向,具体地,即设备空间中终端设备相对于标志物的相对坐标和朝向。
步骤S350:以标志物为原点,反向还原第一相对位置信息,得到第二坐标空间中的标志物与终端设备的第二相对位置信息。
第二坐标空间即基准坐标空间,在基准坐标空间中以标志物为原点,反向还原第一相对位置信息,即反向还原步骤S340中所获得的设备空间中终端设备与标志物的相对坐标和朝向,第二相对位置信息即终端设备相对于标志物的相对坐标和朝向,得到第二坐标空间中的第二相对位置信息即得到基准坐标空间中终端设备相对于标志物的相对坐标和朝向。
反向还原第一相对位置信息,得到第二坐标空间中的第二相对位置信息,是由于设备空间和基准空间坐标两个坐标系中的参照坐标即坐标原点不一样,具体地,设备空间中的坐标原点是终端设备,基准空间坐标中的坐标原点是标志物,因此终端设备与标志物的相对坐标和朝向在两个坐标空间中是镜像的关系。
那么,要获得第二坐标空间中的第二相对位置信息,则需要对设备空间中的终端设备与标志物的相对坐标和朝向进行1:1反向获取基准坐标空间中终端设备与标志物的相对坐标和朝向。
进一步地,反向还原终端设备与标志物的相对坐标和朝向,得到设备空间中终端设备与标志物的相对坐标和朝向,即是将设备空间中标志物的变化坐标转化为基准坐标空间中终端设备的变化坐标,以标志物为原点,对标志物坐标进行变化,得到基准坐标空间中终端设备相对于标志物的坐标和朝向。
具体地,将设备空间中终端设备的变化坐标转化为基准坐标空间中标志物的变化坐标,在设备空间中以终端设备为原点,由于终端设备与标志物的相对坐标和朝向在两个坐标空间中是镜像的关系,因此将终端设备的坐标进行反向变化即得到设备空间中标志物与终端设备的相对坐标和朝向。为了方便说明,假设某一时刻基准坐标空间中以标志物为原点终端设备相对于标志物的坐标是(6,8,-1),那么经过坐标变换之后,在上设备空间中以终端设备为原点得到标志物相对于终端设备的坐标为(-6,-8,1)。
步骤S360:根据相对位置信息及缩放比例确定虚拟对象的显示坐标,并根据显示坐标显示虚拟对象。
步骤S360的具体过程可以参照第二实施例中的步骤S250,这里不再赘述。
本实施例提供的虚拟对象的显示方法,通过采集标志物图像,标志物图像包括标志物信息,根据标志物信息识别标志物图像包含的标志物,获取构建的虚拟对象与标志物的缩放比例,以标志物为原点,获取第一坐标空间中的标志物与终端设备的第一相对位置信息,以终端设备为原点,反向还原第一相对位置信息,得到第二坐标空间中的标志物与终端设备的第二相对位置信息,根据相对位置信息及缩放比例确定虚拟对象的显示坐标,并根据显示坐标显示虚拟对象,使得虚拟对象在现实世界随着用户或者标志物的移动始终显示在标志物所在位置上。
请参阅7,图7为一个实施例中虚拟对象的显示方法的流程示意图。面将针对图7所示的流程进行详细的阐述,虚拟对象的显示方法具体可以包括以下步骤:
步骤S410:采集标志物图像,标志物图像包括标志物信息。
步骤S420:根据标志物信息识别标志物图像包含的标志物。
步骤S430:获取构建的虚拟对象与标志物的缩放比例。
步骤S440:根据标志物信息获取标志物与终端设备之间的相对位置信息。
步骤S410至步骤S440的具体过程可以参照第二实施例中的步骤S210至步骤S240,这里不再赘述。
步骤S450:将第二相对位置信息赋值给第三坐标空间中终端设备与虚拟对象。
第三坐标空间即内容空间,具体地,内容空间中标志物与虚拟对象的坐标和朝向与基准坐标空间中的标志物与终端设备的相对坐标和朝向是相同的,那么要得到内容空间中虚拟对象相对于终端设备的坐标,需要将所获取的基准坐标空间中终端设备与标志物的相对坐标和朝向赋值给内容空间中标志物和虚拟对象。在内容空间,将虚拟对象按照缩放比例进行显示,那么可以将虚拟对象映射到标志物上。
步骤S460:根据缩放比例对第二相对位置信息进行计算,得到虚拟对象的显示坐标。
根据缩放比例对第二相对位置信息即基准坐标空间中终端设备相对于标志物的相对坐标和朝向,将虚拟对象的坐标进行按照得到的基准坐标空间中终端设备相对于标志物的相对坐标和朝向确定虚拟对象的显示坐标。显示坐标即为进行缩放后的坐标,根据坐标可以确定虚拟对象的显示位置,从而可将虚拟对象与标志物适配。
步骤S470:根据显示坐标显示虚拟对象。
根据步骤S460中得到显示坐标将虚拟对象与标志物对齐并显示。
本实施例提供的虚拟对象的显示方法,通过采集标志物图像,标志物图像包括标志物信息,根据标志物信息识别标志物图像包含的标志物,获取构建的虚拟对象与标志物的缩放比例,根据标志物信息获取标志物与终端设备之间的相对位置信息,将第二相对位置信息赋值给第三坐标空间中终端设备与虚拟对象,根据缩放比例对第二相对位置信息进行计算,得到虚拟对象的显示坐标,根据显示坐标显示虚拟对象,使得虚拟对象在现实世界随着用户或者标志物的移动始终显示在标志物所在位置上。
请参阅8,图8为一个实施例中虚拟对象的显示方法的流程示意图。面将针对图8所示的流程进行详细的阐述,虚拟对象的显示方法具体可以包括以下步骤:
步骤S510:采集标志物图像,标志物图像包括标志物信息。
步骤S520:根据标志物信息识别标志物图像包含的标志物。
步骤S530:获取构建的虚拟对象与标志物的缩放比例。
步骤S540:将虚拟对象按照缩放比例,显示在标志物所在的位置处。
步骤S510至步骤S540的具体过程可以参照第一实施例中的步骤S110至步骤S140,这里不再赘述。
步骤S550:当检测到标志物相对于终端设备发生移动时,获取标志物相对于终端设备的移动参数。
当检测到标志物相对于终端设备发生移动时,表明用户与标志物的相对位置或者角度发生了改变,或者标志物的位置或者角度发生了变化,移动可以是水平方向的移动和/或用户俯仰角度的变化,此时用户有可能需要从不同的角度或者是不同的距离观察虚拟对象。由于标志物的相对位置发生了变化,在坐标空间中终端设备与标志物的相对坐标和朝向也发生了变化,如果将虚拟对象再次映射到用户位置未变化状态下标志物所在的位置,那么可能会存在虚拟对象无法正确映射到标志物当前所处的位置的情况,此时,需要重新获取内容空间中终端设备与标志物的相对坐标和朝向。
步骤S560:根据移动参数,重新确定标志物的位置。
当标志物相对于终端设备发生移动,在内容空间中虚拟对象与标志物的缩放比例也会发生的变化,因此需要根据步骤S550中获取内容空间中终端设备与标志物的相对坐标和朝向,重新确定虚拟对象与标志物的缩放比例。
步骤S570:依据重新确定的标志物的位置,将虚拟对象显示在重新确定的标志物所在的位置处。
对虚拟对象根据实际情况按照步骤S560中得到的缩放比例进行放大或者缩小,依据重新确定的虚拟对象在现实世界中的位置,将虚拟对象重新映射到所确定现实世界中的位置,用户通过移动终端即能观察到现实世界中的虚拟对象。
本实施例提供的虚拟对象的显示方法,通过采集标志物图像,标志物图像包括标志物信息,根据标志物信息识别标志物图像包含的标志物,获取构建的虚拟对象与标志物的缩放比例,将虚拟对象按照缩放比例,显示在标志物所在的位置处,当检测到标志物相对于终端设备发生移动时,获取标志物相对于终端设备的移动参数,根据移动参数,重新确定标志物的位置,依据重新确定的标志物的位置,将虚拟对象显示在重新确定的标志物所在的位置处,使得虚拟对象在现实世界随着用户或者标志物的移动始终显示在标志物所在位置上。
请参阅9,图9为一个实施例中虚拟对象的显示方法的流程示意图。下面将针对图9所示的流程进行详细的阐述,虚拟对象的显示方法具体可以包括以下步骤:
步骤S610:采集标志物图像,标志物图像包括标志物信息。
步骤S620:根据标志物信息识别标志物图像包含的标志物。
步骤S610至步骤S620的具体过程可以参照第一实施例中的步骤S110至步骤S120,这里不再赘述。
步骤S630:分别获取每个虚拟对象与标志物的缩放比例。
当虚拟对象为至少两个时,分别获取每个虚拟对象与标志物的缩放比例,获取的缩放比例是预先存储好的比例,也即,当虚拟对象为单个时放置在标志物上的比例。
步骤S640:确定每个虚拟对象在标志物上的显示区域。
当有多个虚拟对象时,不同虚拟对象在标志物上的显示区域不同,显示区域的大 小可相同,可不同,根据每个虚拟对象与标志物的大小关系确定在标志物上的显示区域。为 了方便说明,假设有2个虚拟对象O1和O2需要在标志物M上显示,其中标志物M的大小为S0,虚 拟对象O1与虚拟对象O2的大小比例关系为S1:S2,根据二者的大小比例关系得到虚拟对象O1 在标志物上的显示区域为
Figure 614712DEST_PATH_IMAGE001
,虚拟对象O2在标志物上的显示区域为
Figure 531852DEST_PATH_IMAGE002
请参见图10,虚拟对象O1与虚拟对象O2叠加于标志物30上,且虚拟对象O1与虚拟对象O2与标志物30对齐,标志物30对应上述虚拟对象O1与虚拟对象O2的面积大小比例关系为2:1,则虚拟对象O1在标志物30上的显示区域占标志物的面积的2/3,虚拟对象O2在标志物30上的显示区域占标志物的面积的1/3。
步骤S650:根据每个虚拟对象在标志物上的显示区域调整各个虚拟对象对应的缩放比例,并按照各个虚拟对象调整后的缩放比例,将虚拟对象显示在标志物所在的位置处。
将步骤S640中确定的每个虚拟对象在标志物上的显示区域,对各个虚拟对象对应的缩放比例进行调整,并按照各个虚拟对象调整后的缩放比例得到每个虚拟对象的显示坐标,将虚拟对象显示在标志物所在的位置处。
本实施例提供的虚拟对象的显示方法,通过采集标志物图像,标志物图像包括标志物信息,根据标志物信息识别标志物图像包含的标志物,分别获取每个虚拟对象与标志物的缩放比例,确定每个虚拟对象在标志物上的显示区域,根据每个虚拟对象在标志物上的显示区域调整各个虚拟对象对应的缩放比例,并按照各个虚拟对象调整后的缩放比例,将虚拟对象显示在标志物所在的位置处,使得虚拟对象在现实世界随着用户或者标志物的移动始终显示在标志物所在位置上。
请参阅图11,图11为一个实施例中虚拟对象的显示方法的装置意图的结构示意图。虚拟对象的显示装置700可以包括:采集模块710、识别模块720、获取模块730以及显示模块740。
其中,采集模块710,用于采集标志物图像,标志物图像包括标志物信息;
识别模块720,根据标志物信息识别标志物图像包含的标志物;
获取模块730,用于获取构建的虚拟对象与标志物的缩放比例;
显示模块740,用于将虚拟对象按照缩放比例,显示在标志物所在的位置处;
获取模块730,用于根据标志物信息获取标志物与终端设备之间的相对位置信息;
获取模块730,用于以标志物为原点,获取第一坐标空间中的标志物与终端设备的第一相对位置信息;
获取模块730,用于以终端设备为原点,反向还原第一相对位置信息,得到第二坐标空间中的标志物与终端设备的第二相对位置信息;
获取模块730,用于根据缩放比例对第二相对位置信息进行计算,得到虚拟对象的显示坐标;
获取模块730,用于当检测到标志物相对于终端设备发生移动时,获取标志物相对于终端设备的移动参数;
获取模块730,用于根据移动参数,重新确定标志物的位置;
获取模块730,用于显示模块740,用于根据相对位置信息及缩放比例确定虚拟对象的显示坐标,并根据显示坐标显示虚拟对象;
获取模块730,用于分别获取每个虚拟对象与标志物的缩放比例;
获取模块730,还用于确定每个虚拟对象在标志物上的显示区域;
显示模块740,用于根据显示坐标显示虚拟对象;
显示模块740,用于依据重新确定的标志物的位置,将虚拟对象显示在重新确定的标志物所在的位置处;
显示模块740,还用于根据每个虚拟对象在标志物上的显示区域调整各个虚拟对象对应的缩放比例,并按照各个虚拟对象调整后的缩放比例,将虚拟对象显示在标志物所在的位置处。
本实施例对虚拟对象的显示方法的装置700的各功能模块实现各自功能的具体过程,请参见上述图3至图10所示实施例中描述的具体内容,此处不再赘述。
在一个实施例中,提供一种终端设备,终端设备包括摄像头、一个或多个处理器以及存储器;一个或多个程序,其中一个或多个程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于执行上述的虚拟对象的显示方法。
在一个实施例中,提供一种计算机可读存储介质,计算机可读取存储介质包括存储的程序,其中,在程序运行时执行上述的虚拟对象的显示方法。
需要说明的是,本发明实施例的系统中各设备的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,在此不赘述。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

Claims (8)

1.一种虚拟对象的显示方法,其特征在于,应用于可采集包含有标志物的图像信息的头戴显示装置,所述方法包括:
采集标志物图像,所述标志物图像包括标志物信息;
根据所述标志物信息识别所述标志物图像包含的标志物;
获取构建的虚拟对象与所述标志物的缩放比例;
以所述头戴显示装置为原点,获取第一坐标空间中的所述标志物与所述头戴显示装置的第一相对位置信息;
以所述标志物为原点,反向还原所述第一相对位置信息,得到第二坐标空间中的所述标志物与所述头戴显示装置的第二相对位置信息;
根据所述第二相对位置信息及缩放比例确定所述虚拟对象的显示坐标,并根据所述显示坐标将所述虚拟对象与所述标志物进行对齐显示,以使用户透过所述头戴显示装置观看到所述虚拟对象在现实世界随着用户或者标记物的移动始终显示与标志物所对应的位置上;
当检测到所述标志物相对于所述头戴显示装置发生移动时,获取所述标志物相对于所述头戴显示装置的移动参数;
根据所述移动参数,重新确定所述标志物的位置;
依据重新确定的所述标志物的位置,将所述虚拟对象显示在重新确定的所述标志物所对应的位置处,以使用户透过所述头戴显示装置观察到所述虚拟对象叠加在现实世界中对应的位置上。
2.根据权利要求1所述的方法,其特征在于,所述获取构建的虚拟对象与所述标志物的缩放比例,包括:
将所述虚拟对象与所述标志物大小的比值作为所述缩放比例;或者
将所述虚拟对象与所述标志物大小的比值乘以预设系数后作为所述缩放比例。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当检测到针对所述虚拟对象的放大指令时,将所述缩放比例放大;
当检测到针对所述虚拟对象的缩小指令时,将所述缩放比例缩小。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第二相对位置信息及缩放比例确定所述虚拟对象的显示坐标,并根据所述显示坐标将所述虚拟对象与所述标志物进行对齐显示,包括:
将所述第二相对位置信息赋值给第三坐标空间中所述头戴显示装置与所述虚拟对象;
根据所述缩放比例对所述第二相对位置信息进行计算,得到所述虚拟对象的显示坐标;
根据所述显示坐标将所述虚拟对象与所述标志物进行对齐显示。
5.根据权利要求1所述的方法,其特征在于,所述虚拟对象为至少两个;所述获取构建的虚拟对象与所述标志物的缩放比例,包括:
分别获取每个虚拟对象与标志物的缩放比例;
确定所述每个虚拟对象在所述标志物上的显示区域;
所述根据所述第二相对位置信息及缩放比例确定所述虚拟对象的显示坐标,并根据所述显示坐标将所述虚拟对象与所述标志物进行对齐显示,包括:
根据每个虚拟对象在所述标志物上的显示区域调整各个虚拟对象对应的缩放比例,并按照各个虚拟对象调整后的缩放比例对各个第二相对位置信息进行计算,得到所述各个虚拟对象的显示坐标,以及根据所述各个虚拟对象的显示坐标将所述各个虚拟对象与标志物对齐显示。
6.一种虚拟对象的显示装置,其特征在于,应用于可采集包含有标志物的图像信息的头戴显示装置,所述装置包括:
采集模块,用于采集标志物图像,所述标志物图像包括标志物信息;
识别模块,根据所述标志物信息识别所述标志物图像包含的标志物;
获取模块,用于获取构建的虚拟对象与所述标志物的缩放比例;
所述获取模块,还用于以所述头戴显示装置为原点,获取第一坐标空间中的所述标志物与所述头戴显示装置的第一相对位置信息;
所述获取模块,还用于以所述标志物为原点,反向还原所述第一相对位置信息,得到第二坐标空间中的所述标志物与所述头戴显示装置的第二相对位置信息;
显示模块,用于根据所述第二相对位置信息及缩放比例确定所述虚拟对象的显示坐标,并根据所述显示坐标将所述虚拟对象与所述标志物进行对齐显示,以使用户透过所述头戴显示装置观看到所述虚拟对象在现实世界随着用户或者标记物的移动始终显示在标志物所对应的位置上;
所述获取模块还用于当检测到所述标志物相对于所述头戴显示装置发生移动时,获取所述标志物相对于所述头戴显示装置的移动参数,以及根据所述移动参数,重新确定所述标志物的位置;
所述显示模块还用于依据重新确定的所述标志物的位置,将所述虚拟对象显示在重新确定的所述标志物所在的位置处,以使用户透过所述头戴显示装置观察到所述虚拟对象叠加在现实世界中对应的位置上。
7.一种终端设备,其特征在于,所述终端设备包括一个或多个处理器以及存储器,所述存储器存储有一个或多个程序,其中所述一个或多个程序被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行权利要求1-5任一所述的方法。
8.一种具有处理器可执行的程序代码的计算机可读存储介质,其特征在于,所述计算机可读取存储介质包括存储的程序,其中,在所述程序运行时执行权利要求1-5任一所述的方法。
CN201810632329.8A 2018-06-19 2018-06-19 虚拟对象的显示方法、装置、终端设备及存储介质 Active CN110618751B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810632329.8A CN110618751B (zh) 2018-06-19 2018-06-19 虚拟对象的显示方法、装置、终端设备及存储介质
PCT/CN2019/091863 WO2019242634A1 (zh) 2018-06-19 2019-06-19 虚拟对象的增强现实显示方法和设备
US16/535,054 US11087545B2 (en) 2018-06-19 2019-08-07 Augmented reality method for displaying virtual object and terminal device therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810632329.8A CN110618751B (zh) 2018-06-19 2018-06-19 虚拟对象的显示方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN110618751A CN110618751A (zh) 2019-12-27
CN110618751B true CN110618751B (zh) 2021-03-26

Family

ID=68920260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810632329.8A Active CN110618751B (zh) 2018-06-19 2018-06-19 虚拟对象的显示方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN110618751B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070903A (zh) * 2020-09-04 2020-12-11 脸萌有限公司 虚拟对象的展示方法、装置、电子设备及计算机存储介质
CN113160337B (zh) * 2021-05-17 2024-02-06 视境技术(深圳)有限公司 一种ar/vr虚拟现实融合相机控制方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103503013A (zh) * 2010-10-13 2014-01-08 哈默尔Tlc公司 以与储值令牌相关的视频创建个性化体验的方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270577A (zh) * 2014-08-22 2015-01-07 北京德馨同创科技发展有限责任公司 用于移动智能终端的图像处理方法和装置
US9734634B1 (en) * 2014-09-26 2017-08-15 A9.Com, Inc. Augmented reality product preview
CN106228613B (zh) * 2016-06-12 2017-11-24 深圳超多维光电子有限公司 一种虚拟立体场景的构建方法、装置及立体显示设备
CN107680164B (zh) * 2016-08-01 2023-01-10 中兴通讯股份有限公司 一种虚拟对象大小调整方法和装置
CN107895397A (zh) * 2016-10-01 2018-04-10 北京餐影传媒科技有限责任公司 一种虚拟显示方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103503013A (zh) * 2010-10-13 2014-01-08 哈默尔Tlc公司 以与储值令牌相关的视频创建个性化体验的方法和系统

Also Published As

Publication number Publication date
CN110618751A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
US9959681B2 (en) Augmented reality contents generation and play system and method using the same
EP3926441B1 (en) Output of virtual content
CN103312971A (zh) 图像处理装置及图像处理方法
CN110794955B (zh) 定位跟踪方法、装置、终端设备及计算机可读取存储介质
CN112348968B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN110737414B (zh) 交互显示方法、装置、终端设备及存储介质
CN110873963B (zh) 内容显示方法、装置、终端设备及内容显示系统
US11087545B2 (en) Augmented reality method for displaying virtual object and terminal device therefor
US10764493B2 (en) Display method and electronic device
CN110737326A (zh) 虚拟对象的显示方法、装置、终端设备及存储介质
US20210192751A1 (en) Device and method for generating image
CN110618751B (zh) 虚拟对象的显示方法、装置、终端设备及存储介质
KR101148508B1 (ko) 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기
TWM482797U (zh) 能顯示三維影像的擴增實境系統
CN103327246A (zh) 一种多媒体拍摄处理方法、装置及智能终端
JP6283329B2 (ja) 拡張現実対象認識装置
CN112165629B (zh) 智能直播方法、可穿戴设备及智能直播系统
CN107102794B (zh) 操作处理方法及装置
CN116744065A (zh) 视频播放方法、装置
CN112015316A (zh) 全景图片展示及调整方法、系统、设备和存储介质
CN113486941B (zh) 直播图像的训练样本生成方法、模型训练方法及电子设备
CN112672057B (zh) 拍摄方法及装置
CN113010057B (zh) 位姿控制方法及电子设备、计算机可读存储介质
CN110598605B (zh) 定位方法、装置、终端设备及存储介质
US10482641B2 (en) Virtual reality display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant