CN107682690A - 自适应视差调节方法和虚拟现实vr显示系统 - Google Patents

自适应视差调节方法和虚拟现实vr显示系统 Download PDF

Info

Publication number
CN107682690A
CN107682690A CN201710976848.1A CN201710976848A CN107682690A CN 107682690 A CN107682690 A CN 107682690A CN 201710976848 A CN201710976848 A CN 201710976848A CN 107682690 A CN107682690 A CN 107682690A
Authority
CN
China
Prior art keywords
interpupillary distance
eye image
deviant
distance information
image center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710976848.1A
Other languages
English (en)
Inventor
陈寅伟
楚明磊
王晨如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710976848.1A priority Critical patent/CN107682690A/zh
Publication of CN107682690A publication Critical patent/CN107682690A/zh
Priority to US16/028,716 priority patent/US10572010B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本公开提供一种自适应视差调节方法和虚拟现实VR显示系统,属于显示技术领域。该自适应视差调节方法包括:获取使用者的瞳距信息;根据所述瞳距信息对待显示的图像进行调整。该方法通过结合VR显示系统使用者的瞳距信息,并结合该瞳距信息对显示的图像进行调整,这样当使用者的瞳距发生变化时,显示的图像中心也随之发生变化,从而无需使用复杂的硬件调节机构的情况下,就能达到使用者观看到的图像能够根据其自身的瞳孔发生相应改变,为使用者提供良好的用户体验。

Description

自适应视差调节方法和虚拟现实VR显示系统
技术领域
本公开涉及显示技术领域,具体而言,涉及一种自适应视差调节方法和虚拟现实VR显示系统。
背景技术
VR(Virtual Reality,虚拟现实)显示设备一般由成像透镜和显示屏幕构成,由于不同使用者瞳距大小存在差异,造成使用者观看到的立体深度感存在差异,使得VR显示系统无法适配所有使用者。现有的VR显示系统(如VR头盔)多数采用智能多媒体播放终端(如智能手机)作为计算和显示的单元,安装在头盔的前部。在VR头盔中,具有两组分别与使用者的左眼和右眼相对应的透镜组件,由于不同使用者的双眼的瞳距各不相同,如果透镜组件之间的距离恒定不变,会导致部分使用者在穿戴VR头盔时难以获得较好的体验感受。
虽然目前市场上部分VR头盔安装有瞳距调节机构,使用者可以根据自身的需要将两组透镜组件之间的距离调节至与自身的双眼瞳距相匹配,从而能让使用者获得更好的使用体验。为了提高使用者的体验感受,可以在VR显示系统中增加瞳距调节装置或物距调节装置,这样虽然可以改善观看效果的差异,但是硬件结构较为复杂,存在一定的用户使用难度,且仍然无法实现最佳的立体深度观看体验。
因此,现有技术中的技术方案还存在有待改进之处。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种虚拟现实VR显示系统、自适应视差调整方法、电子设备和计算机可读介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
本公开的其他特性和优点将通过下面的详细描述变得清晰,或者部分地通过本公开的实践而习得。
根据本公开的一个方面,提供一种自适应视差调整方法,用于虚拟现实VR显示系统,包括:
获取使用者的瞳距信息;
根据所述瞳距信息对待显示的图像进行调整。
在本公开的一种示例性实施例中,利用眼球追踪装置获取使用者的瞳距信息。
在本公开的一种示例性实施例中,根据所述瞳距信息对待显示的图像进行调整包括:
根据所述瞳距信息计算左眼图像中心位置的偏移值和右眼图像中心位置的偏移值;
根据所述左眼图像中心位置的偏移值和所述右眼图像中心位置的偏移值对待显示的图像进行调整。
在本公开的一种示例性实施例中,根据所述瞳距信息计算左眼图像中心位置的偏移值和右眼图像中心位置的偏移值包括:
根据所述瞳距信息结合预设的瞳距-透镜-屏距匹配关系计算左眼图像中心位置和右眼图像中心位置;
根据所述左眼图像中心位置与标准瞳距相对应的左眼图像中心位置计算得到所述左眼图像中心位置的偏移值,根据所述右眼图像中心位置与标准瞳距相对应的右眼图像中心位置计算得到所述右眼图像中心位置的偏移值。
在本公开的一种示例性实施例中,根据所述左眼图像中心位置的偏移值和所述右眼图像中心位置的偏移值对待显示的图像进行调整包括:
根据所述左眼图像中心位置的偏移值将所述待显示的图像的左眼图像部分进行平移;
根据所述右眼图像中心位置的偏移值将所述待显示的图像的右眼图像部分进行平移;
对平移后的图像进行显示。
在本公开的一种示例性实施例中,根据所述瞳距信息对待显示的图像进行调整包括:
根据所述瞳距信息计算左眼图像中心位置的偏移值和右眼图像中心位置的偏移值;
根据所述左眼图像中心位置的偏移值和右眼图像中心位置的偏移值确定新的立体空间的图像中心;
基于所述新的立体空间的图像中心对所述待显示的图像进行平移;
对平移后的图像进行显示。
在本公开的一种示例性实施例中,对平移后的图像进行显示之前,还包括:
对所述平移后的图像进行反畸变处理。
根据本公开的第二方面,还提供一种虚拟现实VR显示系统,包括:
瞳距检测装置,配置为获取使用者的瞳距信息;
调整装置,配置为根据所述瞳距信息对待显示的图像进行调整。
根据本公开的第三方面,提供一种电子设备,包括处理器;存储器,存储用于所述处理器控制如上所述的方法步骤。
根据本公开的第四方面,提供一种计算机可读介质,其上存储有计算机可执行指令,所述可执行指令被处理器执行时实现如上所述的方法步骤。
本公开的某些实施例提供的自适应视差调节方法、虚拟现实VR显示系统、电子设备和计算机可读介质,通过结合VR显示系统使用者的瞳距信息,并结合该瞳距信息对显示的图像进行调整,这样当使用者的瞳距发生变化时,显示的图像中心也随之发生变化,从而无需使用复杂的硬件调节机构的情况下,就能达到使用者观看到的图像能够根据其自身的瞳孔发生相应改变,为使用者提供良好的用户体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施方式。
图1示出本公开一实施例中提供的一种自适应视差调整方法的流程示意图。
图2示出本公开第一实施例图1中步骤S12根据瞳距信息对待显示的图像进行调整的流程示意图。
图3示出本公开第一实施例图2中步骤S21的流程示意图。
图4示出本公开第一实施例中使用者瞳距小于标准瞳距时的光路示意图。
图5示出本公开第一实施例中使用者瞳距大于标准瞳距时的光路示意图。
图6示出本公开第一实施例图2中步骤S22的流程示意图。
图7示出本公开第一实施例中基于图6所示的流程处理的效果图。
图8示出本公开第二实施例中步骤S12的流程示意图。
图9示出本公开第二实施例中基于图8所示的流程处理的效果图。
图10示出本公开第三实施例中提供的一种虚拟现实VR显示系统的示意图。
图11示出本公开再一实施例中提供的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。
图1示出本公开一实施例中提供的一种用于虚拟现实VR显示系统的自适应视差调整方法的示意图。
如图1所示,在步骤S11中,获取使用者的瞳距信息。
如图1所示,在步骤S12中,根据瞳距信息对待显示的图像进行调整。
瞳距是指两眼瞳孔之间的距离,通常情况下,由于身高和脸型等不同特征的差异,人的双眼瞳距有很大的差异。不同使用者的脸庞大小不同,瞳距大小也不是固定不变的,例如,小孩的瞳距小,成人的瞳距大,而且随着年龄的增长同一个人的瞳距也在发生变化,通常成人的瞳距范围是58-70mm,一般成年男性瞳距在60-73mm之间,女性为53-68mm之间。如果VR显示系统采用固定的结构设计,则不同的使用者透过成像透镜可以观看到屏幕上不同的显示位置,进而在产生双眼立体空间时可能会感受到不同的深度效果,甚至于无法将两幅图像融合在一起。
基于上述,本实施例中通过获取使用者的瞳距信息,然后根据使用者的瞳距信息对双眼图像进行自适应调整,可以保证不同瞳距的使用者都能满足透镜中心和图像中心与人眼瞳孔位置在一条直线上,达到良好的虚像现实体验效果。
在本实施例步骤S11中,可以采用眼球追踪技术获取使用者的瞳距信息,例如可以利用VR显示系统上的眼球跟踪装置(包括红外设备和图像采集设备)来实现。眼球跟踪装置根据初始设定采集人眼的瞳距信息,其工作原理可以按照标准脸设定一标准瞳距,当使用者带上VR显示系统时,人眼跟踪装置(例如图像采集设备)采集使用者的瞳距图像,直接得到瞳距信息,或者根据采集的瞳距图像与标准瞳距进行对比,得到瞳距信息。
图2示出本公开第一实施例图1中步骤S12根据瞳距信息对待显示的图像进行调整的流程示意图。
如图2所示,在步骤S21中,根据瞳距信息计算左眼图像中心位置的偏移值和右眼图像中心位置的偏移值。图3示出根据瞳距信息结合预设的瞳距-透镜-屏距匹配关系计算偏移值的步骤流程。
如图2所示,在步骤S22中,根据左眼图像中心位置的偏移值和右眼图像中心位置的偏移值对待显示的图像进行调整。
图3示出本公开第一实施例图2中步骤S21根据瞳距信息计算左眼图像中心位置的偏移值和右眼图像中心位置的偏移值的流程示意图。
如图3所示,在步骤S31中,根据瞳距信息结合预设的瞳距-透镜-屏距匹配关系计算左眼图像中心位置和右眼图像中心位置。其中预设的瞳距-透镜-屏距匹配关系为单眼(如左眼)的瞳孔中心以及与左相对应的透镜中心和屏幕中心在一条直线上。
如图3所示,在步骤S32中,根据左眼图像中心位置与标准瞳距相对应的左眼图像中心位置计算得到左眼图像中心位置的偏移值,根据右眼图像中心位置与标准瞳距相对应的右眼图像中心位置计算得到右眼图像中心位置的偏移值。
不同瞳距的使用者在佩戴VR显示系统时,由于瞳距大小相对于标准瞳距之间存在差异,人眼位置、成像透镜和屏幕上显示的图像内容之间的匹配关系也会发生变化。
图4示出使用者瞳距小于标准瞳距时的光路示意图,图5示出使用者瞳距大于标准瞳距时的光路示意图。在图4和图5中,21a和21b表示屏幕,22a和22b表示成像透镜,23a和23b表示使用者的眼睛所在位置。根据预设的瞳距-透镜-屏距匹配关系,当瞳距信息与标准瞳距一致时,屏幕中心与图像中心重合;当瞳距信息与标准瞳距不一致时,屏幕中心与图像中心存在偏移值。
由图4可以看出,当使用者瞳距小于标准瞳距时,使用者瞳孔与成像透镜的连线在屏幕21a(或21b)上的交叉点就是使用者视线的中心,相对于屏幕中心向外侧发生偏移;由图5可以看出,当使用者瞳距大于标准瞳距时,使用者瞳孔与成像透镜的连线在屏幕21a(或21b)上的交叉点就是使用者视线的中心,此时,使用者的视线中心相对于屏幕中心向内侧发生偏移。当保证图像中心与使用者视线中心一致时,能给使用者带来良好的观看体验。
结合图4和图5还可以看出,当使用者的瞳距与标准瞳距相差越大时,由于两个透镜中心的间距不变,瞳孔和透镜中心以及图像中心所形成的直线倾斜角度也就越大,图像中心相对于屏幕中心的偏移值也越大;当使用者的瞳距与标准瞳距相差越小时,瞳孔和透镜中心以及图像中心所形成的直线倾斜角度越小,图像中心相对于屏幕中心的偏移值也越小。由此可知,按照预设的瞳距-透镜-屏距匹配关系,瞳距不同的使用者所对应的双眼图像的中心所在的位置不同,也就是说相同的屏幕内容在不同瞳距的使用者的视网膜的投影位置是不同的,从而给不同的使用者所形成的立体深度感差异很大。因此本实施例通过对屏幕上显示的图像进行调整,来适应不同瞳距的使用者,满足不同使用者的立体效果体验需求。
在本实施例中,图4和图5所示的透镜中心间距可以为固定值,通常,为了满足多数人观看的舒适度,根据统计结果,透镜中心间距通常取为53mm或者53.5mm。因此本实施例不需要复杂的透镜调节装置,以使瞳距与透镜中心间距相适应。
由于透镜中心间距固定,而不同瞳距的使用者会从不同角度观看屏幕,因此为了可以使得不同瞳距的使用者透过成像透镜可以看到的视野范围不发生明显变化,本实施例中VR显示系统所采用的用于显示双眼图像的屏幕尺寸略大于透镜所形成的视场尺寸,这样当观看视角发生变化的话,也不会产生观看内容出现缺失的现象。
步骤S32中根据瞳距信息计算左眼图像中心位置的偏移值和右眼图像中心位置的偏移值,也就是图4和图5中使用者瞳孔与成像透镜中心的连线在屏幕21a(或21b)上的交叉点相对于屏幕中心的偏移值。
需要说明的是,本实施例中的VR显示系统可以采用单个显示屏幕分屏显示左眼图像和右眼图像,例如通过一个显示屏幕上分两屏进行显示,相应的计算双眼图像的中心所在的坐标可以在一个坐标系中进行标记,也可以在两个坐标系中进行标记。也可以采用具有一定间距的两块屏幕来显示左眼图像和右眼图像,例如通过两块屏幕分别显示左眼图像和右眼图像。对于两块屏幕分别显示左眼图像和右眼图像,通常在各自的屏幕坐标系中分别标记坐标的位置。
由于屏幕21a或21b的位置固定,屏幕中心的坐标位置也固定,而且在设计过程中设定屏幕的位置时,屏幕中心的位置是与标准瞳孔相对应的,即标准瞳距的瞳孔与透镜中心的连接线与显示屏幕的交叉点在屏幕的中心位置。而当使用者的瞳距与标准瞳距有差异时,计算得到的左眼图像的中心位置相对于显示左眼图像的屏幕中心位置就会发生偏移,可以根据左眼图像的中心位置的坐标以及屏幕中心的坐标计算得到偏移值,其中该偏移值可以采用向量的形式表示,也可以采用偏移距离的形式表示,可以在具体计算过程中根据需要选择,此处不做限定。
得到左眼图像中心位置的偏移值和左眼图像中心位置的偏移值后,据此进行平移操作。图6示出本公开第一实施例中步骤S22根据左眼图像中心位置的偏移值和右眼图像中心位置的偏移值对待显示的图像进行调整的流程示意图。
如图6所示,在步骤S61中,根据左眼图像中心位置的偏移值将待显示的图像的左眼图像部分进行平移。
如图6所示,在步骤S62中,根据右眼图像中心位置的偏移值将待显示的图像的右眼图像部分进行平移。
如图6所示,在步骤S63中,对平移后的图像进行显示。
需要说明的是,由于平移之后屏幕的各个边角相对于新的图像中心距离有所变化,因此还包括:对平移后的图像进行反畸变处理,并显示处理后的图像。
本实施例中的反畸变处理需要对反畸变参数进行计算,通常的反畸变数据由VR透镜的不同半径畸变数据生成,即针对显示屏幕各像素点所对应的畸变量在软件模型中进行反向调整。进行反畸变处理所需的参数包括显示屏幕的尺寸和分辨率,以显示屏幕中心为原点的畸变量曲线等,基于上述计算参数,根据畸变模型对VR图像内容进行调整,可得到反畸变处理后的图像内容。这样上述显示屏幕显示的内容经过VR透镜后,人眼所看到的内容与原图像内容保持一致。
图7示出基于图6所示的流程处理的效果图,以如图5所示使用者瞳距大于标准瞳距的情况为例,图7中P1和P2分别为显示屏幕21b中显示左眼图像的屏幕中心和显示右眼图像的屏幕中心。由于使用者瞳距与标准瞳距之间存在差异,Q1和Q2分别为显示屏幕21b中左眼图像的中心和右眼图像的中心,通过步骤S32计算得到左眼图像中心位置的偏移值和右眼图像中心位置的偏移值。相应的,需要将待显示的图像中对应左眼的部分和右眼的部分分别按照各自的偏移值进行平移,如图7中箭头所表示的方向,也就是左眼图像和右眼图像均相对于各自的屏幕中心向彼此靠近的方向平移,这样显示的画面可以与该使用者的瞳距相适应,提升使用者的观看体验。
图8还示出本公开第二实施例中步骤S12根据瞳距信息对待显示的图像进行调整的流程示意图。
如图8所示,在步骤S81中,根据瞳距信息计算左眼图像中心位置的偏移值和右眼图像中心位置的偏移值。步骤S81的具体计算过程和方法可以参见第一实施例中步骤S21的描述,此处不再赘述。
如图8所示,在步骤S82中,根据左眼图像中心位置的偏移值和右眼图像中心位置的偏移值确定新的立体空间的图像中心。由于使用者的瞳孔位置相对于透镜中心以及屏幕中心的位置发生偏移,相当于标准瞳距的使用者的观看位置发生变化,则相应的经过双眼合成确定的立体空间的图像中心也就发生变化,因此需要确定新的立体空间的图像中心。
如图8所示,在步骤S83中,基于新的立体空间的图像中心对待显示的图像进行平移。
如图8所示,在步骤S84中,对平移后的图像进行显示。
需要说明的是,平移后,还包括:对平移后的图像进行反畸变处理,并显示处理后的图像。该方法在无畸变的情况下,屏幕上各个坐标点所显示的内容将不发生变化。由于确定新的立体空间的图像中心并对待显示的图像进行平移后,屏幕的各个边角相对于重新确定的立体空间的图像中心距离有所变化,因此也需要重新对反畸变参数同上一实施例描述进行计算,从而生成新的反畸变结果。这样生成的图像内容是原屏幕所显示内容的延伸,因此调整后在显示屏幕边缘位置上所显示的图像与调整前在显示屏幕边缘位置上所显示的图像并不相同。
图9示出基于图8所示的流程处理的效果图,以如图4所示使用者瞳距小于标准瞳距的情况为例,图9中P1和P2分别为显示屏幕21b中显示左眼图像的屏幕中心和显示右眼图像的屏幕中心。由于使用者瞳距与标准瞳距之间存在差异,Q1和Q2分别为显示屏幕21b中左眼图像的中心和右眼图像的中心,通过步骤S32计算得到左眼图像中心位置的偏移值和右眼图像中心位置的偏移值。相应的,需要将待显示的图像中对应左眼的部分和右眼的部分分别按照各自的偏移值进行平移,如图9中箭头所表示的方向,也就是左眼图像和右眼图像均相对于各自的屏幕中心向彼此远离的方向平移。由于对边缘的图像进行延伸显示,如图9中实线框W内的内容为平移显示的内容,虚线框X内的内容即为延伸显示的内容,可以增加图像的景深效果,而且显示的画面可以与该使用者的瞳距相适应,提升使用者的观看体验。其中图9中仅以左眼图像的显示为例进行说明,右眼图像的显示原理同理,图9中予以省略。
综上所述,本公开上述实施例提供的视差调整方法,无需增加复杂的透镜调节装置,而是通过瞳距检测获取瞳距信息,进而根据瞳距信息对显示的图像进行调整,使得不同瞳距的使用者都能获得良好的用户体验。
进一步地,本公开还提供一种用于虚拟现实VR显示系统的自适应视差调整方法,在采用上述第一实施例和第二实施例基于软件实现上述视差调整方法对图像进行调整的基础上,还可以增加透镜调节装置和/或屏幕间距调节装置,以便根据瞳距信息对透镜中心间距和/或屏幕间距进行调节。也就是硬件调整与上述软件调整相结合,达到更好的双眼图像融合效果。本实施例中所采用的透镜调节装置或屏幕间距调节装置可以将其所对应的位置反馈给实现上述软件调整的处理器,处理器利用上述信息和使用者的瞳距信息等参数计算出与之匹配的左眼图像和右眼图像,并在显示屏幕上进行显示。
由于不同使用者的瞳距信息会有差异,而VR显示系统在设计时会按照一标准瞳距设定两透镜的中心间距,因此当使用者的瞳距信息变化时,需要根据瞳距信息对透镜中心间距进行调整。其中根据瞳距信息对透镜中心间距进行调节具体包括:比较VR显示系统的瞳距与使用者的瞳距是否匹配,VR显示系统的瞳距为VR显示系统的透镜中心间距(或理解为两个透镜的焦点之间的距离);当VR显示系统的瞳距与用户的瞳距不匹配时,调整VR显示系统的瞳距,以使调整后的VR显示系统的瞳距与使用者的瞳距匹配。例如可以在VR显示系统中增加一调节机构来实现调整VR显示系统的瞳距,可以提高使用者佩戴VR显示系统的视觉体验。
由于需要满足透镜中心和图像中心与人眼瞳孔位置在一条直线上,因此除了调整透镜,还可以调整屏幕的位置,改变屏幕位置与显示的图像中心的对应关系。其中根据瞳距信息对屏幕间距进行调节的原理与对透镜进行调整的原理类似,可以在VR显示系统中增加一调节机构来实现调整屏幕的位置,提高使用者的视觉体验。
综上所述,本实施例通过改变透镜位置或者屏幕位置和显示内容中心的对应关系,弥补单纯对瞳距进行调节或者屏幕进行调节所不能达到的提高用户体验的缺陷,可以使得不同瞳距的使用者都能获得更佳良好的虚拟现实效果体验。
图10还示出本公开第三实施例中提供的一种虚拟现实VR显示系统的示意图,如图10所示,该VR显示系统1000包括:瞳距检测装置101、处理器102、透镜组件103和显示屏幕104。
其中瞳距检测装置101可以采用眼球跟踪装置,配置为获取使用者的瞳距信息。处理器102中包括调整模块,配置为根据瞳距信息对待显示的图像进行调整,调整模块所实现的功能参见上述实施例描述,透镜组件103用于设置在人眼和显示屏幕104之间,显示屏幕104用于对调整后的图像进行显示。
本实施提供的VR显示系统能够实现与上述视差调整方法相同的技术效果,此处不再赘述。
另一方面,本公开还提供了一种电子设备,包括处理器和存储器,存储器存储用于上述处理器控制以下方法的操作指令:
获取使用者的瞳距信息;
根据瞳距信息对待显示的图像进行调整。
下面参考图11,其示出了适于用来实现本申请实施例的电子设备的计算机系统1100的结构示意图。图11示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。这里的计算机系统可以为应用于计算机的较为复杂的计算机系统,或者是应用于手机等移动设备上的微型计算机系统。
如图11所示,计算机系统1100包括中央处理单元(CPU)1101,其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1107加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。在RAM 1103中,还存储有系统1100操作所需的各种程序和数据。CPU 1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
以下部件连接至I/O接口1105:包括键盘、鼠标等的输入部分1106;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107;包括硬盘等的存储部分1108;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1110上,以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1109从网络上被下载和安装,和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(CPU)1101执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,发送单元还可以被描述为“向所连接的服务端发送图片获取请求的单元”。
另一方面,本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括以下方法步骤:
获取使用者的瞳距信息;
根据瞳距信息对待显示的图像进行调整。
应清楚地理解,本公开描述了如何形成和使用特定示例,但本公开的原理不限于这些示例的任何细节。相反,基于本公开公开的内容的教导,这些原理能够应用于许多其它实施方式。
以上具体地示出和描述了本公开的示例性实施方式。应可理解的是,本公开不限于这里描述的详细结构、设置方式或实现方法;相反,本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种自适应视差调整方法,用于虚拟现实VR显示系统,其特征在于,包括:
获取使用者的瞳距信息;
根据所述瞳距信息对待显示的图像进行调整。
2.根据权利要求1所述的自适应视差调整方法,其特征在于,利用眼球追踪装置获取使用者的瞳距信息。
3.根据权利要求1所述的自适应视差调整方法,其特征在于,根据所述瞳距信息对待显示的图像进行调整包括:
根据所述瞳距信息计算左眼图像中心位置的偏移值和右眼图像中心位置的偏移值;
根据所述左眼图像中心位置的偏移值和所述右眼图像中心位置的偏移值对待显示的图像进行调整。
4.根据权利要求3所述的自适应视差调整方法,其特征在于,根据所述瞳距信息计算左眼图像中心位置的偏移值和右眼图像中心位置的偏移值包括:
根据所述瞳距信息结合预设的瞳距-透镜-屏距匹配关系计算左眼图像中心位置和右眼图像中心位置;
根据所述左眼图像中心位置与标准瞳距相对应的左眼图像中心位置计算得到所述左眼图像中心位置的偏移值,根据所述右眼图像中心位置与标准瞳距相对应的右眼图像中心位置计算得到所述右眼图像中心位置的偏移值。
5.根据权利要求3所述的自适应视差调整方法,其特征在于,根据所述左眼图像中心位置的偏移值和所述右眼图像中心位置的偏移值对待显示的图像进行调整包括:
根据所述左眼图像中心位置的偏移值将所述待显示的图像的左眼图像部分进行平移;
根据所述右眼图像中心位置的偏移值将所述待显示的图像的右眼图像部分进行平移;
对平移后的图像进行显示。
6.根据权利要求1所述的自适应视差调整方法,其特征在于,根据所述瞳距信息对待显示的图像进行调整包括:
根据所述瞳距信息计算左眼图像中心位置的偏移值和右眼图像中心位置的偏移值;
根据所述左眼图像中心位置的偏移值和右眼图像中心位置的偏移值确定新的立体空间的图像中心;
基于所述新的立体空间的图像中心对所述待显示的图像进行平移;
对平移后的图像进行显示。
7.根据权利要求5或6所述的自适应视差调整方法,其特征在于,对平移后的图像进行显示之前,还包括:
对所述平移后的图像进行反畸变处理。
8.一种虚拟现实VR显示系统,其特征在于,包括:
瞳距检测装置,配置为获取使用者的瞳距信息;
调整装置,配置为根据所述瞳距信息对待显示的图像进行调整。
9.一种电子设备,其特征在于,包括:
处理器;
存储器,存储用于所述处理器控制如权利要求1-7任一项所述的方法步骤。
10.一种计算机可读介质,其上存储有计算机可执行指令,其特征在于,所述可执行指令被处理器执行时实现如权利要求1-7任一项所述的方法步骤。
CN201710976848.1A 2017-10-19 2017-10-19 自适应视差调节方法和虚拟现实vr显示系统 Pending CN107682690A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710976848.1A CN107682690A (zh) 2017-10-19 2017-10-19 自适应视差调节方法和虚拟现实vr显示系统
US16/028,716 US10572010B2 (en) 2017-10-19 2018-07-06 Adaptive parallax adjustment method and virtual reality display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710976848.1A CN107682690A (zh) 2017-10-19 2017-10-19 自适应视差调节方法和虚拟现实vr显示系统

Publications (1)

Publication Number Publication Date
CN107682690A true CN107682690A (zh) 2018-02-09

Family

ID=61141682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710976848.1A Pending CN107682690A (zh) 2017-10-19 2017-10-19 自适应视差调节方法和虚拟现实vr显示系统

Country Status (2)

Country Link
US (1) US10572010B2 (zh)
CN (1) CN107682690A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259883A (zh) * 2018-04-04 2018-07-06 联想(北京)有限公司 图像处理方法、头戴式显示器以及可读存储介质
CN108519676A (zh) * 2018-04-09 2018-09-11 杭州瑞杰珑科技有限公司 一种头戴式助视装置
CN108665445A (zh) * 2018-04-17 2018-10-16 青岛小鸟看看科技有限公司 一种检验图像畸变的方法、装置和头戴显示设备
CN109710318A (zh) * 2018-11-30 2019-05-03 歌尔科技有限公司 开机logo的显示方法、设备及计算机存储介质
CN109856802A (zh) * 2019-04-17 2019-06-07 京东方科技集团股份有限公司 瞳距调节方法、装置和虚拟显示设备
CN110007759A (zh) * 2019-03-26 2019-07-12 上海临奇智能科技有限公司 瞳距调节方法及设备
CN111103975A (zh) * 2019-11-30 2020-05-05 华为技术有限公司 显示方法、电子设备及系统
CN111652959A (zh) * 2020-05-29 2020-09-11 京东方科技集团股份有限公司 图像处理方法、近眼显示设备、计算机设备和存储介质
CN112270766A (zh) * 2020-10-14 2021-01-26 浙江吉利控股集团有限公司 虚拟现实系统的控制方法、系统、设备及存储介质
CN112362309A (zh) * 2020-10-27 2021-02-12 青岛歌尔声学科技有限公司 偏心视差测试方法及装置
CN112748573A (zh) * 2019-10-30 2021-05-04 精工爱普生株式会社 头部佩戴型显示装置和显示方法
CN113050792A (zh) * 2021-03-15 2021-06-29 广东小天才科技有限公司 虚拟对象的控制方法、装置、终端设备及存储介质
CN113419344A (zh) * 2021-05-20 2021-09-21 歌尔股份有限公司 虚拟现实装置的瞳距调节方法、虚拟现实装置及介质
CN113906736A (zh) * 2019-06-07 2022-01-07 索尼集团公司 视频分发系统、视频分发方法和显示终端
CN114624875A (zh) * 2020-12-14 2022-06-14 华为技术有限公司 图像校准方法和设备
CN114859561A (zh) * 2022-07-11 2022-08-05 泽景(西安)汽车电子有限责任公司 一种可穿戴显示设备及其控制方法、存储介质
CN115190284A (zh) * 2022-07-06 2022-10-14 敏捷医疗科技(苏州)有限公司 一种图像处理方法
CN115278203A (zh) * 2022-07-20 2022-11-01 广州视享科技有限公司 虚拟现实设备的校准方法、校准装置以及校准机器人
CN115665398A (zh) * 2022-11-15 2023-01-31 龙旗电子(惠州)有限公司 基于虚拟现实技术的图像调整方法、装置、设备及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111308707B (zh) * 2020-01-19 2022-11-04 惠州Tcl移动通信有限公司 画面显示调节方法、装置、存储介质及增强现实显示设备
CN114051099B (zh) * 2022-01-13 2022-04-29 北京蔚领时代科技有限公司 无人机模块vr系统及通过无人机模块实现vr的方法
CN116820246B (zh) * 2023-07-06 2024-05-28 上海仙视电子科技有限公司 一种视角自适应的屏幕调节控制方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104603673A (zh) * 2012-09-03 2015-05-06 Smi创新传感技术有限公司 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
US20160320623A1 (en) * 2015-05-01 2016-11-03 Seiko Epson Corporation Transmission-type display
CN106843677A (zh) * 2016-12-29 2017-06-13 华勤通讯技术有限公司 一种虚拟现实vr眼镜的图像显示方法、设备和终端
WO2017122004A1 (en) * 2016-01-12 2017-07-20 Sony Interactive Entertainment Europe Limited Detection system
US20170237974A1 (en) * 2014-03-14 2017-08-17 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105892053A (zh) 2015-12-30 2016-08-24 乐视致新电子科技(天津)有限公司 一种虚拟头盔的透镜间距调节方法及其装置
US10126937B2 (en) * 2016-01-26 2018-11-13 Adobe Systems Incorporated Input techniques for virtual reality headset devices with front touch screens
CN205581407U (zh) 2016-02-29 2016-09-14 深圳市海丽空间科技有限公司 双屏显示的头戴式虚拟现实设备
CN105954875A (zh) 2016-05-19 2016-09-21 华为技术有限公司 一种虚拟现实眼镜以及虚拟现实眼镜的调整方法
CN206115030U (zh) 2016-08-30 2017-04-19 北京奇艺世纪科技有限公司 一种虚拟现实头盔
CN106950694A (zh) 2017-03-28 2017-07-14 哈尔滨医科大学 一种外接式改善视力头戴vr装置
CN106896504A (zh) 2017-04-27 2017-06-27 浙江大华技术股份有限公司 一种头戴式显示器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104603673A (zh) * 2012-09-03 2015-05-06 Smi创新传感技术有限公司 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
US20170237974A1 (en) * 2014-03-14 2017-08-17 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US20160320623A1 (en) * 2015-05-01 2016-11-03 Seiko Epson Corporation Transmission-type display
WO2017122004A1 (en) * 2016-01-12 2017-07-20 Sony Interactive Entertainment Europe Limited Detection system
CN106843677A (zh) * 2016-12-29 2017-06-13 华勤通讯技术有限公司 一种虚拟现实vr眼镜的图像显示方法、设备和终端

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259883A (zh) * 2018-04-04 2018-07-06 联想(北京)有限公司 图像处理方法、头戴式显示器以及可读存储介质
CN108259883B (zh) * 2018-04-04 2020-11-20 联想(北京)有限公司 图像处理方法、头戴式显示器以及可读存储介质
CN108519676A (zh) * 2018-04-09 2018-09-11 杭州瑞杰珑科技有限公司 一种头戴式助视装置
CN108665445B (zh) * 2018-04-17 2020-09-18 青岛小鸟看看科技有限公司 一种检验图像畸变的方法、装置和头戴显示设备
CN108665445A (zh) * 2018-04-17 2018-10-16 青岛小鸟看看科技有限公司 一种检验图像畸变的方法、装置和头戴显示设备
CN109710318A (zh) * 2018-11-30 2019-05-03 歌尔科技有限公司 开机logo的显示方法、设备及计算机存储介质
CN110007759A (zh) * 2019-03-26 2019-07-12 上海临奇智能科技有限公司 瞳距调节方法及设备
CN109856802A (zh) * 2019-04-17 2019-06-07 京东方科技集团股份有限公司 瞳距调节方法、装置和虚拟显示设备
CN113906736A (zh) * 2019-06-07 2022-01-07 索尼集团公司 视频分发系统、视频分发方法和显示终端
CN112748573B (zh) * 2019-10-30 2023-10-20 精工爱普生株式会社 头部佩戴型显示装置和显示方法
US11422379B2 (en) 2019-10-30 2022-08-23 Seiko Epson Corporation Head-mounted display apparatus and display method adopting interpupillary distance based image modification
CN112748573A (zh) * 2019-10-30 2021-05-04 精工爱普生株式会社 头部佩戴型显示装置和显示方法
CN111103975A (zh) * 2019-11-30 2020-05-05 华为技术有限公司 显示方法、电子设备及系统
WO2021103990A1 (zh) * 2019-11-30 2021-06-03 华为技术有限公司 显示方法、电子设备及系统
WO2021238423A1 (zh) * 2020-05-29 2021-12-02 京东方科技集团股份有限公司 图像处理方法、近眼显示设备、计算机设备和存储介质
CN111652959B (zh) * 2020-05-29 2022-01-18 京东方科技集团股份有限公司 图像处理方法、近眼显示设备、计算机设备和存储介质
CN111652959A (zh) * 2020-05-29 2020-09-11 京东方科技集团股份有限公司 图像处理方法、近眼显示设备、计算机设备和存储介质
US11721062B2 (en) 2020-05-29 2023-08-08 Beijing Boe Optoelectronics Technology Co., Ltd. Method for processing images, near-eye display device, computer device, and storage medium
CN112270766A (zh) * 2020-10-14 2021-01-26 浙江吉利控股集团有限公司 虚拟现实系统的控制方法、系统、设备及存储介质
CN112362309A (zh) * 2020-10-27 2021-02-12 青岛歌尔声学科技有限公司 偏心视差测试方法及装置
CN114624875B (zh) * 2020-12-14 2023-07-28 华为技术有限公司 图像校准方法和设备
CN114624875A (zh) * 2020-12-14 2022-06-14 华为技术有限公司 图像校准方法和设备
WO2022127612A1 (zh) * 2020-12-14 2022-06-23 华为技术有限公司 图像校准方法和设备
EP4242727A4 (en) * 2020-12-14 2024-05-08 Huawei Technologies Co., Ltd. IMAGE CALIBRATION DEVICE AND METHOD
CN113050792A (zh) * 2021-03-15 2021-06-29 广东小天才科技有限公司 虚拟对象的控制方法、装置、终端设备及存储介质
CN113419344A (zh) * 2021-05-20 2021-09-21 歌尔股份有限公司 虚拟现实装置的瞳距调节方法、虚拟现实装置及介质
CN115190284A (zh) * 2022-07-06 2022-10-14 敏捷医疗科技(苏州)有限公司 一种图像处理方法
CN115190284B (zh) * 2022-07-06 2024-02-27 敏捷医疗科技(苏州)有限公司 一种图像处理方法
CN114859561B (zh) * 2022-07-11 2022-10-28 泽景(西安)汽车电子有限责任公司 一种可穿戴显示设备及其控制方法、存储介质
CN114859561A (zh) * 2022-07-11 2022-08-05 泽景(西安)汽车电子有限责任公司 一种可穿戴显示设备及其控制方法、存储介质
CN115278203A (zh) * 2022-07-20 2022-11-01 广州视享科技有限公司 虚拟现实设备的校准方法、校准装置以及校准机器人
CN115665398B (zh) * 2022-11-15 2023-03-21 龙旗电子(惠州)有限公司 基于虚拟现实技术的图像调整方法、装置、设备及介质
CN115665398A (zh) * 2022-11-15 2023-01-31 龙旗电子(惠州)有限公司 基于虚拟现实技术的图像调整方法、装置、设备及介质

Also Published As

Publication number Publication date
US10572010B2 (en) 2020-02-25
US20190121428A1 (en) 2019-04-25

Similar Documents

Publication Publication Date Title
CN107682690A (zh) 自适应视差调节方法和虚拟现实vr显示系统
CN113240601B (zh) 单一深度追踪调节-聚散解决方案
US11632537B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
US9684994B2 (en) Modifying perspective of stereoscopic images based on changes in user viewpoint
TWI523488B (zh) 處理包含在信號中的視差資訊之方法
US7907167B2 (en) Three dimensional horizontal perspective workstation
WO2018086295A1 (zh) 一种应用界面显示方法及装置
US9754379B2 (en) Method and system for determining parameters of an off-axis virtual camera
CN103238337B (zh) 立体图像获取系统及方法
CN105825499A (zh) 基准平面的确定方法和确定系统
CN108076208A (zh) 一种显示处理方法及装置、终端
CN104982034A (zh) 自适应深度感测
US20120308115A1 (en) Method for Adjusting 3-D Images by Using Human Visual Model
CN102063735B (zh) 通过改变视点角度制作三维图像源的方法和装置
CN102340679B (zh) 一种3d视频清晰度调整系统及方法
CN108769644B (zh) 一种基于深度学习的双目动画风格化渲染方法
Mangiat et al. Disparity remapping for handheld 3D video communications
CN106254847B (zh) 一种确定立体显示屏幕的显示极限的方法、装置和系统
CN112257653A (zh) 空间装饰效果图确定方法、装置、存储介质与电子设备
CN108335336B (zh) 超声成像方法和装置
US20240346848A1 (en) Method for determining expression model, electronic device and non-transient computer readable storage medium
CN102892023A (zh) 具有3d结构的显示设备及其控制方法
CN109246411B (zh) 立体图像产生方法及其装置
KR102358240B1 (ko) 단일 깊이 추적 순응-수렴 솔루션
CN109313823A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180209