CN108830940A - 遮挡关系处理方法、装置、终端设备及存储介质 - Google Patents
遮挡关系处理方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN108830940A CN108830940A CN201810632313.7A CN201810632313A CN108830940A CN 108830940 A CN108830940 A CN 108830940A CN 201810632313 A CN201810632313 A CN 201810632313A CN 108830940 A CN108830940 A CN 108830940A
- Authority
- CN
- China
- Prior art keywords
- dimensional virtual
- virtual models
- virtual objects
- model
- models
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000000903 blocking effect Effects 0.000 claims abstract description 17
- 239000003550 marker Substances 0.000 claims description 50
- 238000009877 rendering Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 239000011800 void material Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000003190 augmentative effect Effects 0.000 description 10
- 230000009467 reduction Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 239000000700 radioactive tracer Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000406668 Loxodonta cyclotis Species 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000003872 anastomosis Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种遮挡关系处理方法、装置、终端设备及存储介质,涉及遮挡关系处理技术领域。具体地,所述遮挡关系处理方法包括:获取目标现实对象的三维虚拟模型和需要进行显示的虚拟对象模型;确定所述三维虚拟模型与虚拟对象模型之间的位置关系;当根据所述位置关系确定所述三维虚拟模型与所述虚拟对象模型存在遮挡时,对所述三维虚拟模型进行处理,使所述三维虚拟模型对所述虚拟对象模型进行遮挡;显示被遮挡的虚拟对象模型。与现有技术相比,本方法提供了基于模型的遮挡关系处理方法的算法流程,可以还原现实对象与虚拟对象之间的正确遮挡关系。
Description
技术领域
本申请涉及遮挡关系处理技术领域,更具体地,涉及一种遮挡关系处理方法、装置、终端设备及存储介质。
背景技术
近年来,随着科技的进步,增强现实(AR,Augmented Reality)和虚拟现实(VR,Virtual Reality)等技术已逐渐成为国内外研究的热点。以增强现实为例,增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术,其将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中,来增强或修改对现实世界环境或表示现实世界环境的数据的感知。
在增强现实系统的显示技术中,用户在利用AR设备观看显示内容时,例如用户佩戴AR眼镜或者AR头盔观看显示内容时,仅能看到AR设备所展示的内容,虚拟对象模型总是浮现在现实对象之上,也就是说无论这些虚拟对象模型代表的空间位置距离摄像机是远还是近,其模型都是简单显示在现实对象的前方,用户无法看到现实对象与虚拟对象模型处于正确遮挡关系时的内容。
发明内容
有鉴于此,本申请实施例提供了一种遮挡处理方法、装置、终端设备及存储介质,可以还原现实对象与虚拟对象之间的正确遮挡关系。
为了实现上述目的,本申请采用的技术方案如下:
第一方面,本申请实施例提供了一种遮挡处理方法,所述方法包括:获取目标现实对象的三维虚拟模型和需要进行显示的虚拟对象模型;确定所述三维虚拟模型与虚拟对象模型之间的位置关系;当根据所述位置关系确定所述三维虚拟模型与所述虚拟对象模型存在遮挡时,对所述三维虚拟模型进行处理,使所述三维虚拟模型对所述虚拟对象模型进行遮挡;显示被遮挡的虚拟对象模型。
第二方面,本申请实施例提供了一种遮挡处理装置,所述装置包括:虚拟模型获取模块、位置关系判定模块、遮挡关系处理模块以及遮挡关系显示模块,其中,虚拟模型获取模块用于获取目标现实对象的三维虚拟模型和需要进行显示的虚拟对象模型;位置关系判定模块用于确定所述三维虚拟模型与虚拟对象模型之间的位置关系;遮挡关系处理模块用于当根据所述位置关系确定所述三维虚拟模型与所述虚拟对象模型存在遮挡时,对所述三维虚拟模型进行处理,使所述三维虚拟模型对所述虚拟对象模型进行遮挡;遮挡关系显示模块用于显示被遮挡的虚拟对象模型。
第三方面,本申请实施例提供了一种遮挡处理终端设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面提供的遮挡处理方法。
第四方面,本申请实施例提供了一种遮挡处理计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面提供的遮挡处理方法。
本申请实施例提供的遮挡处理方法、装置、终端设备及存储介质,通过获取目标现实对象的三维虚拟模型和需要进行显示的虚拟对象模型,确定所述三维虚拟模型与虚拟对象模型之间的位置关系,当根据所述位置关系确定所述三维虚拟模型与所述虚拟对象模型存在遮挡时,对所述三维虚拟模型进行处理,使所述三维虚拟模型对所述虚拟对象模型进行遮挡,显示被遮挡的虚拟对象模型。本方法提供了基于模型的遮挡关系处理方法的算法流程,可以使虚拟对象浮现到现实对象之上的不可见部分隐藏在现实对象的后面,还原真实对象与虚拟对象的正确遮挡关系。
为了让本申请的上述和其他目的、特征和优点能更简明易懂,下文特举较佳实施例,并配合所附图式,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提出的遮挡关系处理方法的应用场景图;
图2示出了本申请实施例的终端设备的结构框图;
图3示出了本申请实施例提出的遮挡关系处理方法的流程图;
图4示出了本申请实施例提出的遮挡关系处理方法的一种处理方式示例图;
图5示出了本申请实施例提出的遮挡关系处理方法的另一种处理方式的一示例图;
图6示出了本申请实施例提出的遮挡关系处理方法的另一种处理方式的二示例图;
图7示出了本申请实施例提供的遮挡关系处理装置的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参阅图1,示出了本申请实施例提供的遮挡关系处理方法的应用场景10。该应用场景10包括:终端设备20以及现实对象30。其中,终端设备20可以是一体式头戴显示装置,也可以是连接有电子设备的头戴显示装置,在此不作限定;特别的,本申请实施例中的现实对象30可以包括现实世界中的任一物理实体,视觉交互控制装置可以作为现实对象的一种。视觉交互装置指的是增强现实系统的显示技术中用以完成视觉交互的移动终端,可与终端设备20通信连接,比如AR枪、控制手柄等。
本实施例中,终端设备20可以为头戴显示装置、手机、平板等设备。请参阅图2,作为一种实施方式,头戴显示装置20可以包括:处理器21、存储器22、显示装置23以及图像采集装置24。存储器22、显示装置23以及图像采集装置24均与处理器21连接。
图像采集装置24用于采集待拍摄物体的图像并发送至处理器21。该图像采集装置24可以为红外摄像头、彩色摄像头等,图像采集装置24的具体类型在本申请实施例中并不作为限定。
处理器21可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器24可以被配置为经由例如网络从系统的各种组件接收数据和/或信号。处理器21还可处理数据和/或信号以确定系统中的一个或多个操作条件。例如,处理器21根据预先存储的图像数据生成虚拟世界的图像数据,将其发送至显示装置进行显示;也可以通过有线或无线网络接收智能终端或计算机的发送的图像数据,根据所接收的图像数据生成虚拟世界的图像进行显示;还可以根据图像采集装置采集的图像进行识别定位,并根据定位信息确定在虚拟世界中对应的显示内容,发送至显示装置进行显示。可以理解的是,处理器并不限定于装设在头戴显示装置内。
存储器22可用于存储软件程序以及模块,处理器21通过运行存储在存储器22内的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器22可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。
作为另一种实施方式,头戴显示装置20可以包括:显示装置以及图像采集装置,头戴显示装置20的显示装置以及图像采集装置与一具有存储器的存储功能以及处理器的处理功能的电子设备连接。可以理解的是,上述实施方式中的处理器执行的处理由电子设备的处理器执行,上述实施方式中的存储器存储的数据由电子设备的存储器进行存储。该电子设备可以是移动终端,也可以是PC(Personal Computer,PC)机,即在该实施方式中,头戴显示装置可以为插入手机式的,也可以为外接电脑式的。
在本申请实施例中,头戴显示装置20还可以包括通信模块,通信模块与头戴显示装置的处理器连接。通信模块用于头戴显示装置与终端设备之间的通信,例如与本申请实施例中的应用场景10的终端设备之间的通信。
当然,本申请实施例提供的终端设备并不局限于上述实施方式中的组件,还可以包括比上述的组件更多或者更少的组件。
在本申请实施例中,应用场景10还包括放置于终端设备20的视野范围内的至少一个标识物40,当然,这里也可以包含更多的标识物,每个标识物可以包含若干子标识物,每个标识物具有一个或多个特征点,每个白色圆形图案为一个特征点,其中,特征点的图案可以为其他形状,特征点的颜色可以为其他颜色,在此不做限定,终端设备20可以采集到标识物40的图像,标识物40的图像存储于终端设备20中,用于定位标识物40相对于终端设备20的位置。
作为一种实施方式,标识物40是由终端设备20可以追踪的图案或不同颜色的光点,也可以是特征点,不同的标识物40可以贴在同一需要追踪的现实对象上,同一现实对象也可以包含不同的标识物40,需要说明的是,标识物40的具体形态本申请实施例中并不作为限定,仅需要标识物40能被终端设备20识别追踪即可。
用户在使用终端设备20时,如果标识物40在终端设备20的视野范围内,终端设备20可以采集到包含有标识物40的目标图像;终端设备20的处理器获取到目标图像及相关信息,运算识别出标识物40,并获取到该标识物40与终端设备20的摄像头之间的位置与旋转关系,进而得到标识物40相对于终端设备20的位置及旋转关系。
根据得到的标识物40相对于终端设备20的位置及旋转关系,可以获取标识物40所贴附的目标现实对象的三维虚拟模型和需要进行显示的虚拟对象模型;确定三维虚拟模型与虚拟对象模型之间的位置关系;当根据所述位置关系确定三维虚拟模型与虚拟对象模型存在遮挡时,对三维虚拟模型进行处理,使三维虚拟模型对虚拟对象模型进行遮挡;显示被遮挡的虚拟对象模型,用三维虚拟模型代替现实对象对虚拟对象与现实对象的遮挡关系进行处理,还原现实对象与虚拟对象之间的正确遮挡关系。
针对上述的应用场景,本申请实施例提供了一种通过上述应用场景获取目标现实对象的三维虚拟模型和需要进行显示的虚拟对象模型,通过判定三维虚拟模型与虚拟对象模型的位置关系确定三维虚拟模型与虚拟对象模型存在遮挡时,对三维虚拟模型进行处理,使三维虚拟模型对虚拟对象模型进行遮挡,实现还原现实对象与虚拟对象之间的正确遮挡关系的方法,具体的,请参阅图3,示出了一种遮挡关系处理方法,所述方法包括:
步骤S110,获取目标现实对象的三维虚拟模型和需要进行显示的虚拟对象模型。
需要说明的是,在本申请实施例中,结合上述系统10,现实对象指的是现实世界中的物体,虚拟对象指的是对应于现实世界的纯虚拟场景中的物体或场景,目标现实对象指的是人为贴附有标识物的现实世界中的物体,可以通过标识物的位置信息以及标识物所表示的信息确定目标现实对象。
由于增强现实系统只是将虚拟对象直接叠加到场景图像中标识物所在的位置,而并没有考虑虚拟对象与现实对象间的空间位置关系,因此,真实场景中的对象始终被虚拟对象遮挡。由于这种错误的遮挡关系导致用户在感官方向上的迷失和空间位置上的错乱,长时间观察这种场景,可能会导致观察者的眼疲劳,降低用户体验。
三维虚拟模型和虚拟对象模型,是在增强现实显示环境之前,为了便于在遮挡关系的处理过程中使虚拟对象与现实对象之间的空间位置产生交错,由人工通过三维建模软件提前制作完成的。需要说明的是,本申请实施例中需要进行显示的虚拟对象模型可以是与目标现实对象对应的模型,例如AR枪上显示的虚拟瞄准器,控制手柄上显示的虚拟光剑等,终端设备可根据标识物的信息以及对应的附着有标识物的目标图像的信息获取虚拟对象模型。虚拟对像模型也可以是与目标现实对象没有对应关系的模型,例如与现实对象没有关联的虚拟人物、虚拟场景等,在此不作限定。
在一个实施例中,目标现实对象的三维虚拟模型可以是在对目标现实对象进行处理的过程中,根据目标现实对象的空间位置信息以及目标现实对象的图像信息进行构建得到。进一步的,目标现实对象的三维虚拟模型也可以预先构建好存储在终端设备中,当终端设备判断需要处理现实对象与虚拟对象之间的遮挡关系时,可以读取所确定的目标现实对象所对应的三维虚拟模型。
步骤S120,确定所述三维虚拟模型与虚拟对象模型之间的位置关系。
特别的,在确定三维虚拟模型与虚拟对象模型之间的位置关系之前还包括将三维虚拟模型与虚拟对象模型的位置进行吻合,进一步的,所述吻合过程是利用标识追踪技术将三维虚拟模型与目标现实对象进行吻合,具体过程如下:
获取附着有标识物的目标现实对象的图像。
头戴显示装置20中的图像采集装置24通过摄像头采集目标现实对象的图像,处理器21对采集到的图像中的标识物进行识别,获取目标现实对象相对于标识物的图像,也就是目标现实对象中贴附有标识物的部分的图像,也可以理解为需要处理遮挡关系的目标现实对象部分的图像。
识别目标现实对象的图像中标识物的空间位置信息。
根据识别到的标识物确定头戴显示装置20与标识物之间的旋转方向、位置和距离等数据信息,进而识别目标现实对象的图像中标识物的空间位置信息。其中,所述标识物的空间位置信息包含目标现实对象的三维空间坐标信息和目标现实对象的二维平面坐标信息,可以通过矩阵变换,将目标现实对象的二维平面坐标信息转换为三维空间坐标信息,进而使得标识物的空间位置信息在三维空间坐标中显示,便于后续进行深度检测,判定目标现实对象与虚拟对象的遮挡关系。
根据所述标识物的空间位置信息和附着有标识物的目标现实对象的图像确定目标现实对象的位置。
可以理解的是,在增强现实系统的显示技术中,用户通过佩戴头戴显示装置观看虚拟对象与现实对象的交互部分的内容时,往往不能够看到虚拟对象与现实对象处于正确遮挡关系时的内容,虚拟对象常常浮现于现实对象之上,这时需要确定虚拟对象与现实对象的正确遮挡关系并对所述遮挡关系进行还原处理。
当追踪识别到标识物,可以获取与标识物对应的需要处理遮挡关系的目标现实对象模型;以及,根据标识物的所在位置,可以确定需要处理遮挡关系的目标现实对象模型的位置,即需要用以处理遮挡关系的三维虚拟模型的位置。其中,标识物与目标现实对象的对应关系信息可以预先存储在HMD(Head Mount Display,头戴式显示器)中,HMD可以是头戴显示装置的一种。
根据目标现实对象的位置,将三维虚拟模型与目标现实对象进行叠加。
通过标识物可以获取需要处理遮挡关系的目标现实对象的原点,当确定了需要处理遮挡关系的目标现实对象的位置,可以通过标识物将目标现实对象的三维虚拟模型与目标现实对象进行叠加,其中,现实对象的平面坐标中的数据也可以通过处理器21自动计算,通过矩阵变换为三维虚拟模型中的空间坐标进行显示。
特别的,本申请实施例的标识追踪技术以人为贴附于现实对象之上的标识物作为追踪导向为例来进行说明。可以理解的是,在本申请实施例中,标识物的具体形态不作为对标识追踪技术的限定,例如,标识物可以是一些标志性的图案,或者是一些带有特征点的图案,也可以是光点,其中,标识物事先贴附于需要处理遮挡关系的目标现实对象上。
将三维虚拟模型与目标现实对象进行叠加之后,需确定三维虚拟模型与虚拟对象模型之间的位置关系,其中,位置关系可以包含二者的坐标、深度、朝向以及旋转关系等,通过将三维虚拟模型的深度值与虚拟对象模型的深度值进行比较可以确定二者之间的遮挡关系。需要说明的是,本申请实施例中的遮挡关系包含三维虚拟模型与虚拟对象模型不存在遮挡的情况,也包含二者存在遮挡的情况。特别的,当二者之间存在遮挡关系的时候,包括三维虚拟模型遮挡了虚拟对象模型、虚拟对象模型遮挡了三维虚拟模型等。
当确定了三维虚拟模型与虚拟对象模型之间的位置关系后,需要对二者的深度关系进行计算来判断二者之间的相互遮挡关系。物体之间相互遮挡关系计算的方法有很多,例如:交叉检验、深度测算等,本申请实施例中的深度关系可以通过图形程序接口例如OpenGL(Open Graphics Library)来进行测算,具体实现过程描述如下:
打开深度写入,由图形渲染管线(graphics pipe line)自动计算深度值,写入Z缓冲区(Z-buffer),进行深度比较,通过深度检测,获取所述三维虚拟模型与所述虚拟对象模型的深度关系,通常比较远的对象容易被比较近的对象遮挡,通过对所述三维虚拟模型与所述虚拟对象模型的深度信息进行比较判断是否存在遮挡关系。
步骤S130,当根据所述位置关系确定所述三维虚拟模型与所述虚拟对象模型存在遮挡时,对所述三维虚拟模型进行处理,使所述三维虚拟模型对所述虚拟对象模型进行遮挡。
当虚拟对象模型的深度值大于三维虚拟模型的深度值时,可以确定三维虚拟模型与虚拟对象模型之间存在遮挡,即三维虚拟模型遮挡了虚拟对象模型。处理器21获取遮挡关系,并传输给终端设备20,存储器22对遮挡关系进行记录。可以通过对三维虚拟模型进行处理,使三维虚拟模型对虚拟对象模型进行遮挡,即还原三维虚拟模型与虚拟对象模型之间的正确遮挡关系,处理器21根据遮挡关系发出对应的修正指令,指示通过对三维虚拟模型进行处理来执行修正指令,还原虚拟对象与现实对象的正确遮挡关系,并将正确的遮挡关系发送至头戴显示装置进行显示。特别的,如果不存在遮挡关系,将所述信息传输给终端设备20中的存储器22进行记录存储,然后将所述信息发送至显示装置进行显示。可以理解的是,上述过程只是一种计算遮挡关系的示例,并不构成对本申请实施方式的限定。
特别的,本申请实施例提供两种对所述三维虚拟模型进行处理的方式,进一步的,所述两种处理方式均适用于三维虚拟模型与虚拟对象模型存在遮挡关系的情况,具体处理过程描述如下:
作为一种处理方式,可以通过调整三维虚拟模型与虚拟对象模型的渲染顺序,使三维虚拟模型对虚拟对象模型进行遮挡。调整三维虚拟模型与虚拟对象模型的渲染顺序的过程可以描述如下:
标定三维虚拟模型为不透明物体;通过着色器控制三维虚拟模型在虚拟对象模型之后进行渲染;将三维虚拟模型的透明度设为目标值。其中,三维虚拟模型与目标现实对象的位置、大小始终保持一致,首先标定三维虚拟模型为不透明物体,通过着色器控制三维虚拟模型在虚拟对象模型之后渲染,后渲染的三维虚拟模型的图像可以覆盖虚拟对象模型的图像,可以理解是,作为一种实施方式,图形处理器中可为透明物体及不透明物体分配不同序号的渲染队列,透明物体和不透明物体在不同序号区间的渲染队列中进行渲染。可以通过控制将三维虚拟模型在图形处理器中渲染不透明物体的渲染队列的最后进行渲染,实现渲染的三维虚拟模型覆盖虚拟对象模型的效果。
将三维虚拟模型的透明度设为目标值后,三维虚拟模型可呈现出透明的效果,与目标现实对象进行叠加,也就是背景色相加,可以显示出目标现实对象,使目标现实对象对虚拟对象模型进行遮挡,即还原现实对象与虚拟对象之间正确的遮挡关系。特别的,作为一种实施方式,此处的目标值可以是直接将透明度修改为全透明,也可以将透明度设为大于定值,例如透明度大于95%,当然,这里对三维虚拟模型的透明度值不作限定,只要可以满足将三维虚拟模型与目标现实对象进行叠加的时候可以使目标现实对象的图像显示出来即可。
特别的,该种处理方式的终端设备不限于头戴显示装置,该终端设备可以为任何具有增强现实显示效果的电子设备。
下面以图4为例,对本实施例该种处理方式进行示例性的说明:
作为一种实施方式,假设圆形为虚拟对象,正方形物体为目标现实对象,圆形与正方形重叠部分表示正方形遮挡了圆形,本应该隐藏在正方形后边的部分圆形浮现在了正方形之上,本应该可见的部分正方形却被圆形遮挡了起来,这时需要将所述遮挡关系进行修正处理,才能还原圆形与正方形的正确遮挡关系。
如图4中的2所示,构建正方形的三维虚拟模型,图4中的2的虚线正方形表示正方形的虚拟模型,通过标识追踪技术将虚线正方形与正方形进行吻合,标定虚线正方形为不透明物体,由于虚线正方形与圆形均为虚拟模型,所处空间相同,可以用虚线正方形代表正方形与圆形进行遮挡关系计算,通过深度检测获取深度信息并进行比较,用着色器控制虚线正方形与圆形的渲染顺序,将虚线正方形的渲染顺序调到最后,用以覆盖前面被渲染的圆形,得到虚线正方形与圆形的遮挡关系,再将虚线正方形的透明度设为全透明或者透明度大于定值,将虚线正方形的背景色与正方形的背景色进行叠加,如图4中3所示,得到有正确遮挡关系的圆形与正方形的场景图片,即所述遮挡关系得到修正处理。
作为另一种处理方式,请参阅图5,假设圆形为虚拟对象,图5中1所示正方形表示目标现实对象的三维虚拟模型,图5中2所示正方形表示目标现实对象,可以通过将三维虚拟模型的颜色设为亮度值低于阈值的颜色,并对三维虚拟模型和需要进行显示的虚拟对象模型进行渲染,使三维虚拟模型对虚拟对象模型进行遮挡。由先验的反射式显示原理可知,接收装置接收的是反射源反射过来的光线,即接收装置只能吸收比自身亮度更高的颜色,亮度越低,接收装置的吸收能力越差,因此亮度低的颜色是无法显示在接收装置上的,需要说明的是,所述接收装置通常是具备投影或显示功能的显示设备。
特别的,本申请实施例中的终端设备20可以作为接收装置的一种,所述阈值为低于目标现实对象的图像亮度的亮度值,将三维虚拟模型的颜色设为亮度低于阈值的颜色,例如黑色、灰色、深灰色或灰黑色等,所述终端设备20只会吸收亮度较高的颜色,因此在进行显示时,亮度低于阈值时三维虚拟模型不会进行显示,用户可以看到目标现实物体,从而实现目标现实对象对虚拟对象模型进行遮挡的效果,即还原现实对象与虚拟对象之间正确的遮挡关系。
特别的,该种处理方式的终端设备可适用于采用了投影式或反射式显示方案的设备,如投影仪、反射式AR头显、投影式AR头显等。
下面以图6为例,对本申请实施例中的另一种处理方式进行示例性的说明:
作为一种实施方式,图6中左边黑色部分为枪的后半部分的三维虚拟模型,枪的前半部分为虚拟对象模型,当判断出枪的后半部分的三维虚拟模型与枪的前半部分的虚拟模型存在遮挡时,将枪的后半部分的三维虚拟模型的图形颜色修改为纯黑色,将图6中枪的前后部分模型信息投影到头戴显示装置后,由于黑色亮度极低而无法被吸收与显示出来,因此枪的后半部分设为纯黑色可以修正枪的三维虚拟模型与枪的前半部分的虚拟模型之间的遮挡关系,使得枪的后半部分与枪的前半部分的虚拟模型之间的正确遮挡关系得以显示出来,即所述遮挡关系得到修正处理。
步骤S140,显示被遮挡的虚拟对象模型。
获取了遮挡关系,通过对所述三维虚拟模型进行处理,使所述三维虚拟模型对所述虚拟对象模型进行遮挡后,处理器21将具备正确遮挡关系的三维虚拟模型和虚拟对象模型信息传输给终端设备20中的存储器22进行记录存储,然后将所述信息发送至显示装置进行显示。由于三维虚拟模型进行处理后,显示时处于人眼不可见的状态,用户可以直接看到被目标现实对象遮挡的虚拟对象模型场景。
在一个实施例中,若需要进行显示的虚拟对象模型与目标现实对象的三维虚拟模型不存在遮挡,则处理器21将所述三维虚拟模型与虚拟对象模型之间的空间位置关系信息传输给终端设备20中的存储器22进行记录存储,然后将所述信息发送至显示装置进行显示。需要说明的是,此时三维虚拟模型显示时处于人眼不可见的状态,用户可以直接看到目标现实对象与虚拟对象模型之间的空间位置关系。
本申请实施例提供的遮挡关系处理方法,通过获取目标现实对象的三维虚拟模型和需要进行显示的虚拟对象模型;确定所述三维虚拟模型与虚拟对象模型之间的位置关系;当根据所述位置关系确定所述三维虚拟模型与所述虚拟对象模型存在遮挡时,对所述三维虚拟模型进行处理,使所述三维虚拟模型对所述虚拟对象模型进行遮挡;显示被遮挡的虚拟对象模型。本方法可以使虚拟对象浮现到现实对象之上的不可见部分隐藏在现实对象的后面,还原真实对象与虚拟对象的正确遮挡关系。
请参阅图7,为本发明实施例提供的一种遮挡关系处理装置的结构框图,本实施例提供一种遮挡关系处理装置200,应用于虚拟对象与现实对象的遮挡关系处理中,所述装置200包括:虚拟模型获取模块210、位置关系判定模块220、遮挡关系处理模块230、遮挡关系显示模块240。
虚拟模型获取模块210,用于获取目标现实对象的三维虚拟模型和需要进行显示的虚拟对象模型。
位置关系判定模块220,用于确定所述三维虚拟模型与虚拟对象模型之间的位置关系。
进一步的,作为一种实施方式,确定所述三维虚拟模型与虚拟对象模型之间的位置关系之前还包括:
获取附着有标识物的目标现实对象的图像;
识别所述目标现实对象的图像中标识物的空间位置信息;
根据所述标识物的空间位置信息和所述附着有标识物的目标现实对象的图像确定目标现实对象的位置;
根据所述目标现实对象的位置,将所述三维虚拟模型与所述目标现实对象进行叠加。
遮挡关系处理模块230,用于当根据所述位置关系确定所述三维虚拟模型与所述虚拟对象模型存在遮挡时,对所述三维虚拟模型进行处理,使所述三维虚拟模型对所述虚拟对象模型进行遮挡。
遮挡关系显示模块240,用于显示被遮挡的虚拟对象模型。
本申请实施例提供的遮挡处理方法、装置、终端设备及存储介质,通过获取目标现实对象的三维虚拟模型和需要进行显示的虚拟对象模型;确定所述三维虚拟模型与虚拟对象模型之间的位置关系;当根据所述位置关系确定所述三维虚拟模型与所述虚拟对象模型存在遮挡时,对所述三维虚拟模型进行处理,使所述三维虚拟模型对所述虚拟对象模型进行遮挡;显示被遮挡的虚拟对象模型。本方法可以使虚拟对象浮现到现实对象之上的不可见部分隐藏在现实对象的后面,还原真实对象与虚拟对象的正确遮挡关系。
需要说明的是,本说明书中的各个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
Claims (10)
1.一种遮挡关系处理方法,其特征在于,所述方法包括:
获取目标现实对象的三维虚拟模型和需要进行显示的虚拟对象模型;
确定所述三维虚拟模型与虚拟对象模型之间的位置关系;
当根据所述位置关系确定所述三维虚拟模型与所述虚拟对象模型存在遮挡时,对所述三维虚拟模型进行处理,使所述三维虚拟模型对所述虚拟对象模型进行遮挡;
显示被遮挡的虚拟对象模型。
2.根据权利要求1所述的方法,其特征在于,所述确定所述三维虚拟模型与虚拟对象模型之间的位置关系之前还包括:
将所述三维虚拟模型与所述目标现实对象的位置进行吻合。
3.根据权利要求2所述的方法,其特征在于,所述将所述三维虚拟模型与所述目标现实对象的位置进行吻合包括:
获取附着有标识物的目标现实对象的图像;
识别所述目标现实对象的图像中标识物的空间位置信息;
根据所述标识物的空间位置信息和所述附着有标识物的目标现实对象的图像确定目标现实对象的位置;
根据所述目标现实对象的位置,将所述三维虚拟模型与所述目标现实对象进行叠加。
4.根据权利要求1所述的方法,其特征在于,所述确定所述三维虚拟模型与虚拟对象模型之间的位置关系,包括:
将所述三维虚拟模型与虚拟对象模型进行深度比较,判断所述三维虚拟模型与所述虚拟对象模型是否存在遮挡。
5.根据权利要求1所述的方法,其特征在于,所述对所述三维虚拟模型进行处理,使所述三维虚拟模型对所述虚拟对象模型进行遮挡,包括:
调整所述三维虚拟模型与所述虚拟对象模型的渲染顺序,使所述三维虚拟模型对所述虚拟对象模型进行遮挡。
6.如权利要求5所述的方法,其特征在于,所述调整所述三维虚拟模型与所述虚拟对象模型的渲染顺序,包括:
标定所述三维虚拟模型为不透明物体;
通过着色器控制所述三维虚拟模型在所述虚拟对象模型之后进行渲染;
将所述三维虚拟模型的透明度设为目标值。
7.根据权利要求1所述的方法,其特征在于,所述对所述三维虚拟模型进行处理,使所述三维虚拟模型对所述虚拟对象模型进行遮挡,包括:
将所述三维虚拟模型的颜色设为亮度低于阈值的颜色,使所述三维虚拟模型对所述虚拟对象模型进行遮挡。
8.一种遮挡处理装置,其特征在于,所述装置包括:
虚拟模型获取模块,用于获取目标现实对象的三维虚拟模型和需要进行显示的虚拟对象模型;
位置关系判定模块,用于确定所述三维虚拟模型与虚拟对象模型之间的位置关系;
遮挡关系处理模块,用于当根据所述位置关系确定所述三维虚拟模型与所述虚拟对象模型存在遮挡时,对所述三维虚拟模型进行处理,使所述三维虚拟模型对所述虚拟对象模型进行遮挡;
遮挡关系显示模块,用于显示被遮挡的虚拟对象模型。
9.一种终端设备,其特征在于,包括存储器及处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任一所述的方法。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810632313.7A CN108830940A (zh) | 2018-06-19 | 2018-06-19 | 遮挡关系处理方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810632313.7A CN108830940A (zh) | 2018-06-19 | 2018-06-19 | 遮挡关系处理方法、装置、终端设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108830940A true CN108830940A (zh) | 2018-11-16 |
Family
ID=64142799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810632313.7A Pending CN108830940A (zh) | 2018-06-19 | 2018-06-19 | 遮挡关系处理方法、装置、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108830940A (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110264568A (zh) * | 2019-06-21 | 2019-09-20 | 网易(杭州)网络有限公司 | 一种三维虚拟模型交互方法和装置 |
CN110889890A (zh) * | 2019-11-29 | 2020-03-17 | 深圳市商汤科技有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
CN111145323A (zh) * | 2019-12-27 | 2020-05-12 | 珠海金山网络游戏科技有限公司 | 一种图像渲染方法及装置 |
CN111383348A (zh) * | 2020-03-17 | 2020-07-07 | 北京理工大学 | 一种虚拟现实远程同步控制机器人的方法 |
CN111462339A (zh) * | 2020-03-30 | 2020-07-28 | 网易(杭州)网络有限公司 | 增强现实中的显示方法和装置、介质和电子设备 |
CN111651031A (zh) * | 2019-03-04 | 2020-09-11 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
CN111833455A (zh) * | 2020-06-30 | 2020-10-27 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、显示设备及计算机存储介质 |
CN111951407A (zh) * | 2020-08-31 | 2020-11-17 | 福州大学 | 一种具有真实位置关系的增强现实模型叠加方法 |
CN112099638A (zh) * | 2020-10-19 | 2020-12-18 | 深圳市瑞立视多媒体科技有限公司 | 虚拟现实场景中的信息处理方法、装置和计算机设备 |
CN112365516A (zh) * | 2020-11-11 | 2021-02-12 | 华中科技大学 | 一种增强现实中虚实遮挡处理方法 |
CN113112612A (zh) * | 2021-04-16 | 2021-07-13 | 中德(珠海)人工智能研究院有限公司 | 一种真实人物与混合现实动态叠加的定位方法及系统 |
CN113223149A (zh) * | 2021-05-08 | 2021-08-06 | 中煤(西安)航测遥感研究院有限公司 | 三维模型纹理生成方法、装置、设备及存储介质 |
WO2021184303A1 (zh) * | 2020-03-19 | 2021-09-23 | 深圳市创梦天地科技有限公司 | 一种视频处理的方法及设备 |
CN113632498A (zh) * | 2019-03-28 | 2021-11-09 | 多玩国株式会社 | 内容发布系统、内容发布方法、以及内容发布程序 |
CN115248501A (zh) * | 2021-04-27 | 2022-10-28 | 广州视享科技有限公司 | 增强现实设备的显示方法、装置和增强现实设备 |
WO2023138467A1 (zh) * | 2022-01-21 | 2023-07-27 | 北京字跳网络技术有限公司 | 虚拟物体的生成方法、装置、设备及存储介质 |
WO2023226851A1 (zh) * | 2022-05-25 | 2023-11-30 | 北京字节跳动网络技术有限公司 | 三维效果形象的生成方法、装置、电子设备及存储介质 |
CN113112612B (zh) * | 2021-04-16 | 2024-06-04 | 中德(珠海)人工智能研究院有限公司 | 一种真实人物与混合现实动态叠加的定位方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130215230A1 (en) * | 2012-02-22 | 2013-08-22 | Matt Miesnieks | Augmented Reality System Using a Portable Device |
CN103472909A (zh) * | 2012-04-10 | 2013-12-25 | 微软公司 | 用于头戴式、增强现实显示器的逼真遮挡 |
CN103489214A (zh) * | 2013-09-10 | 2014-01-01 | 北京邮电大学 | 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法 |
CN106056663A (zh) * | 2016-05-19 | 2016-10-26 | 京东方科技集团股份有限公司 | 增强现实场景中的渲染方法、处理模块和增强现实眼镜 |
-
2018
- 2018-06-19 CN CN201810632313.7A patent/CN108830940A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130215230A1 (en) * | 2012-02-22 | 2013-08-22 | Matt Miesnieks | Augmented Reality System Using a Portable Device |
CN103472909A (zh) * | 2012-04-10 | 2013-12-25 | 微软公司 | 用于头戴式、增强现实显示器的逼真遮挡 |
CN103489214A (zh) * | 2013-09-10 | 2014-01-01 | 北京邮电大学 | 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法 |
CN106056663A (zh) * | 2016-05-19 | 2016-10-26 | 京东方科技集团股份有限公司 | 增强现实场景中的渲染方法、处理模块和增强现实眼镜 |
Non-Patent Citations (3)
Title |
---|
俞文炯等: "增强现实环境下虚实物体遮挡判断方法研究", 《计算机应用研究》 * |
徐维鹏等: "增强现实中的虚实遮挡处理综述", 《计算机辅助设计与图形学学报》 * |
徐迟等: "面向增强现实装配的虚实遮挡技术研究", 《机械设计与制造》 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111651031A (zh) * | 2019-03-04 | 2020-09-11 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
CN111651031B (zh) * | 2019-03-04 | 2023-08-29 | 广东虚拟现实科技有限公司 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
CN113632498A (zh) * | 2019-03-28 | 2021-11-09 | 多玩国株式会社 | 内容发布系统、内容发布方法、以及内容发布程序 |
US11961190B2 (en) | 2019-03-28 | 2024-04-16 | Dwango Co., Ltd. | Content distribution system, content distribution method, and content distribution program |
CN110264568B (zh) * | 2019-06-21 | 2023-07-25 | 网易(杭州)网络有限公司 | 一种三维虚拟模型交互方法和装置 |
CN110264568A (zh) * | 2019-06-21 | 2019-09-20 | 网易(杭州)网络有限公司 | 一种三维虚拟模型交互方法和装置 |
CN110889890A (zh) * | 2019-11-29 | 2020-03-17 | 深圳市商汤科技有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
CN110889890B (zh) * | 2019-11-29 | 2023-07-28 | 深圳市商汤科技有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
CN111145323A (zh) * | 2019-12-27 | 2020-05-12 | 珠海金山网络游戏科技有限公司 | 一种图像渲染方法及装置 |
CN111145323B (zh) * | 2019-12-27 | 2023-09-22 | 珠海金山数字网络科技有限公司 | 一种图像渲染方法及装置 |
CN111383348A (zh) * | 2020-03-17 | 2020-07-07 | 北京理工大学 | 一种虚拟现实远程同步控制机器人的方法 |
WO2021184303A1 (zh) * | 2020-03-19 | 2021-09-23 | 深圳市创梦天地科技有限公司 | 一种视频处理的方法及设备 |
CN111462339B (zh) * | 2020-03-30 | 2023-08-08 | 网易(杭州)网络有限公司 | 增强现实中的显示方法和装置、介质和电子设备 |
CN111462339A (zh) * | 2020-03-30 | 2020-07-28 | 网易(杭州)网络有限公司 | 增强现实中的显示方法和装置、介质和电子设备 |
CN111833455B (zh) * | 2020-06-30 | 2023-04-07 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、显示设备及计算机存储介质 |
CN111833455A (zh) * | 2020-06-30 | 2020-10-27 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、显示设备及计算机存储介质 |
CN111951407A (zh) * | 2020-08-31 | 2020-11-17 | 福州大学 | 一种具有真实位置关系的增强现实模型叠加方法 |
CN112099638B (zh) * | 2020-10-19 | 2024-02-06 | 瑞立视多媒体科技(北京)有限公司 | 虚拟现实场景中的信息处理方法、装置和计算机设备 |
CN112099638A (zh) * | 2020-10-19 | 2020-12-18 | 深圳市瑞立视多媒体科技有限公司 | 虚拟现实场景中的信息处理方法、装置和计算机设备 |
CN112365516B (zh) * | 2020-11-11 | 2022-09-27 | 华中科技大学 | 一种增强现实中虚实遮挡处理方法 |
CN112365516A (zh) * | 2020-11-11 | 2021-02-12 | 华中科技大学 | 一种增强现实中虚实遮挡处理方法 |
CN113112612A (zh) * | 2021-04-16 | 2021-07-13 | 中德(珠海)人工智能研究院有限公司 | 一种真实人物与混合现实动态叠加的定位方法及系统 |
CN113112612B (zh) * | 2021-04-16 | 2024-06-04 | 中德(珠海)人工智能研究院有限公司 | 一种真实人物与混合现实动态叠加的定位方法及系统 |
CN115248501A (zh) * | 2021-04-27 | 2022-10-28 | 广州视享科技有限公司 | 增强现实设备的显示方法、装置和增强现实设备 |
CN115248501B (zh) * | 2021-04-27 | 2023-11-21 | 广州视享科技有限公司 | 增强现实设备的显示方法、装置和增强现实设备 |
CN113223149A (zh) * | 2021-05-08 | 2021-08-06 | 中煤(西安)航测遥感研究院有限公司 | 三维模型纹理生成方法、装置、设备及存储介质 |
WO2023138467A1 (zh) * | 2022-01-21 | 2023-07-27 | 北京字跳网络技术有限公司 | 虚拟物体的生成方法、装置、设备及存储介质 |
WO2023226851A1 (zh) * | 2022-05-25 | 2023-11-30 | 北京字节跳动网络技术有限公司 | 三维效果形象的生成方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108830940A (zh) | 遮挡关系处理方法、装置、终端设备及存储介质 | |
CN106101689B (zh) | 利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法 | |
US9916681B2 (en) | Method and apparatus for selectively integrating sensory content | |
CN102591449B (zh) | 虚拟内容和现实内容的低等待时间的融合 | |
CN102540464B (zh) | 提供环绕视频的头戴式显示设备 | |
CN102419631B (zh) | 虚拟内容到现实内容中的融合 | |
CN107430785B (zh) | 用于显示三维对象的方法和系统 | |
US6822648B2 (en) | Method for occlusion of movable objects and people in augmented reality scenes | |
US11900569B2 (en) | Image-based detection of surfaces that provide specular reflections and reflection modification | |
EP0583060A2 (en) | Method and system for creating an illusion of three-dimensionality | |
US20050083248A1 (en) | Mobile face capture and image processing system and method | |
CA2984785A1 (en) | Virtual reality editor | |
CN105264478A (zh) | 全息锚定和动态定位 | |
CN110335307B (zh) | 标定方法、装置、计算机存储介质和终端设备 | |
JP2000122176A (ja) | 情報提示方法及び装置 | |
CN108616752A (zh) | 支持增强现实交互的头戴设备及控制方法 | |
CN110383341A (zh) | 用于视觉效果的方法、系统和装置 | |
US20170330369A1 (en) | Digital Video Rendering | |
CN111651031B (zh) | 虚拟内容的显示方法、装置、终端设备及存储介质 | |
CN110060349B (zh) | 一种扩展增强现实头戴式显示设备视场角的方法 | |
CN111710044A (zh) | 图像处理方法、装置和计算机可读存储介质 | |
US20210208402A1 (en) | A System and Method for Alignment Between Real and Virtual Objects in a Head-Mounted Optical See-Through Display | |
CN108346183A (zh) | 一种用于ar基准定位的方法及系统 | |
CN114170409A (zh) | 一种三维模型的自动判断显示标注的方法 | |
CN109683707A (zh) | 一种使ar眼镜投影颜色自适应的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181116 |