CN107167924A - 一种虚拟现实设备和虚拟现实设备的透镜调节方法 - Google Patents
一种虚拟现实设备和虚拟现实设备的透镜调节方法 Download PDFInfo
- Publication number
- CN107167924A CN107167924A CN201710607044.4A CN201710607044A CN107167924A CN 107167924 A CN107167924 A CN 107167924A CN 201710607044 A CN201710607044 A CN 201710607044A CN 107167924 A CN107167924 A CN 107167924A
- Authority
- CN
- China
- Prior art keywords
- lens
- distance
- virtual reality
- reality device
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 210000001747 pupil Anatomy 0.000 claims abstract description 77
- 238000004364 calculation method Methods 0.000 claims abstract description 31
- 238000006073 displacement reaction Methods 0.000 claims abstract description 26
- 230000000007 visual effect Effects 0.000 claims description 16
- 230000000694 effects Effects 0.000 abstract description 18
- 238000010586 diagram Methods 0.000 description 14
- 210000003128 head Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000011800 void material Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000009738 saturating Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012938 design process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/023—Mountings, adjusting means, or light-tight connections, for optical elements for lenses permitting adjustment
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Eye Examination Apparatus (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明实施例公开了一种虚拟现实设备和虚拟现实设备的透镜调节方法。该虚拟现实设备包括:摄像模块,用于拍摄用户的眼部图像,并向处理器发送眼部图像;处理器,用于根据眼部图像,计算用户的瞳孔距和两个透镜的移动距离,并向透镜控制模块发送计算结果和控制指令;透镜控制模块,用于根据计算结果和控制指令分别调节每个透镜的位置,使得两个透镜的中心一一对应的与用户的两个眼睛的瞳孔中心重合。本发明实施例解决了现有技术中的VR设备,由于需要通过手动方式调节透镜位置,调节的精准度较差,从而导致用户在观看图像时效果模糊而影响体验效果的问题。
Description
技术领域
本申请涉及但不限于计算机技术领域,尤指一种虚拟现实设备和虚拟现实设备的透镜调节方法。
背景技术
随着计算机技术的不断发展,虚拟现实(Virtual Reality,简称为:VR)设备成为人们生活娱乐的一种重要工具。VR设备(例如VR头盔)通过左右眼屏幕分别显示左右眼的图像,人眼获取这种带有差异的信息后在脑海中产生立体感。
在虚拟现实领域中,人眼通过两块透镜注视屏幕上影像,影像分别在两眼视网膜处成像,并在大脑视觉中枢重叠起来,成为一个完整的、具有立体感的影像。现有技术中的VR设备,一般将显示的内容分屏,切成两半,通过透镜实现叠加成像;上述成像方式往往会导致人眼瞳孔中心、透镜中心,以及分屏后的屏幕分屏后中心不在一条直线上,使得视觉效果不好,出现不清晰、变形等问题;另外,不同用户的瞳孔距也不相同,不同用户在使用VR设备时需要调节透镜位置。针对上述问题,目前的VR设备中透镜都配置为位置可以调节,调节透镜位置的方式为手动调节,但是手动调节的精度较差,容易出现偏移,从而导致用户在看到图像时模糊而影响体验效果。另外,手动调节透镜位置的调节方式较为复杂,会给用户带来不便利因素。
综上所述,现有技术中的VR设备,由于需要通过手动方式调节透镜位置,调节的精准度较差,从而导致用户在观看图像时效果模糊而影响体验效果的问题。
发明内容
为了解决上述技术问题,本发明实施例提供了一种虚拟现实设备和虚拟现实设备的透镜调节方法,以解决现有技术中的VR设备,由于需要通过手动方式调节透镜位置,调节的精准度较差,从而导致用户在观看图像时效果模糊而影响体验效果的问题。
本发明实施例提供一种虚拟现实设备,包括:处理器、透镜控制模块和摄像模块;
所述摄像模块,用于拍摄用户的眼部图像,并向所述处理器发送所述眼部图像;
所述处理器,用于根据所述眼部图像,计算所述用户的瞳孔距和两个透镜的移动距离,并向所述透镜控制模块发送计算结果和控制指令;
所述透镜控制模块,用于根据所述计算结果和所述控制指令分别调节每个所述透镜的位置,使得所述两个透镜的中心一一对应的与所述用户的两个眼睛的瞳孔中心重合。
可选地,如上所述的虚拟现实设备中,所述摄像模块包括:第一摄像头和第二摄像头,所述第一摄像头和所述第二摄像头一一对应的设置于所述虚拟现实设备顶部的左右两端;
所述第一摄像头,用于拍摄所述用户的左眼部图像;
所述第二摄像头,用于拍摄所述用户的右眼部图像。
可选地,如上所述的虚拟现实设备中,所述透镜控制模块包括:所述两个透镜、控制单元,以及与所述两个透镜一一对应的两个电机;
所述控制单元,用于接收所述处理器发送的所述计算结果和所述控制指令,并通过所述电机将每个所述透镜的中心调节到与对应眼睛的瞳孔中心重合的位置。
可选地,如上所述的虚拟现实设备中,所述处理器计算所述用户的瞳孔距,包括:
所述处理器计算出所述用户的瞳孔距为:
O1O2=L-(O1A+O2B)=L-k*(x+y);
其中,所述L为所述两个摄像头的视场边缘距离,所述O1A和所述O2B分别为左眼和右眼的瞳孔中心到对应摄像头的视场边缘的实际距离,所述x和所述y分别为左眼和右眼的瞳孔中心到对应摄像头的视场边缘的图像距离,所述k为实际距离与图像距离的比值;
k=O1A/x=O2B/y=w/W=2h*tan(α)/W;
其中,所述w为所述摄像头拍摄图像的实际宽度,所述W为所述摄像头拍摄图像的图像宽度,所述h为摄像头到人眼的垂直距离,所述α为水平方向视场角的一半。
可选地,如上所述的虚拟现实设备中,所述处理器计算所述两个透镜的移动距离,包括:
获取每个所述透镜中心的当前位置;
计算所述用户的左眼瞳孔中心到所述虚拟现实设备的左边缘的第一距离,以及右眼瞳孔中心到所述虚拟现实设备的右边缘的第二距离;
根据每个所述透镜的当前位置、所述第一距离和所述第二距离,以及所述用户的瞳孔距,分别计算所述两个透镜的移动距离。
可选地,如上所述的虚拟现实设备中,所述计算所述第一距离和所述第二距离,包括:
计算出所述第一距离为:O1C=O1A-(w/2-S);
计算出所述第二距离为:O2D=O2B-(w/2-S);
其中,所述S为所述摄像头中心到所述虚拟现实设备边缘的距离,所述w为所述摄像头拍摄图像的实际宽度;
w=2h*tan(α);
其中,所述h为摄像头到人眼的垂直距离,所述α为水平方向视场角的一半。
本发明实施例还提供一种虚拟现实设备的透镜调节方法,包括:
拍摄用户的左右眼部图像;
根据所拍摄的所述左右眼部图像,计算所述用户的瞳孔距和两个透镜的移动距离;
根据所述计算结果和控制指令分别调节每个所述透镜的位置,使得所述两个透镜的中心一一对应的与所述用户的两个眼睛的瞳孔中心重合。
可选地,如上所述的虚拟现实设备的透镜调节方法中,所述计算所述用户的瞳孔距,包括:
计算出所述用户的瞳孔距为:
O1O2=L-(O1A+O2B)=L-k*(x+y);
其中,所述L为所述两个摄像头的视场边缘距离,所述O1A和所述O2B分别为左眼和右眼的瞳孔中心到对应摄像头的视场边缘的实际距离,所述x和所述y分别为左眼和右眼的瞳孔中心到对应摄像头的视场边缘的图像距离,所述k为实际距离与图像距离的比值;
k=O1A/x=O2B/y=w/W=2h*tan(α)/W;
其中,所述w为所述摄像头拍摄图像的实际宽度,所述W为所述摄像头拍摄图像的图像宽度,所述h为摄像头到人眼的垂直距离,所述α为水平方向视场角的一半。
可选地,如上所述的虚拟现实设备的透镜调节方法中,所述计算所述两个透镜的移动距离,包括:
获取每个所述透镜中心的当前位置;
计算所述用户的左眼瞳孔中心到所述虚拟现实设备的左边缘的第一距离,以及右眼瞳孔中心到所述虚拟现实设备的右边缘的第二距离;
根据每个所述透镜的当前位置、所述第一距离和所述第二距离,以及所述用户的瞳孔距,分别计算所述两个透镜的移动距离。
可选地,如上所述的虚拟现实设备的透镜调节方法中,所述计算所述第一距离和所述第二距离,包括:
计算出所述第一距离为:O1C=O1A-(w/2-S);
计算出所述第二距离为:O2D=O2B-(w/2-S);
其中,所述S为所述摄像头中心到所述虚拟现实设备边缘的距离,所述w为所述摄像头拍摄图像的实际宽度;
w=2h*tan(α);
其中,所述h为摄像头到人眼的垂直距离,所述α为水平方向视场角的一半。
本发明实施例提供的虚拟现实设备和虚拟现实设备的透镜调节方法,该虚拟现实设备通过配置的摄像模块在用户使用该虚拟现实设备时拍摄用户的眼部图像,并由处理器对拍摄的眼部图像的处理,计算出用户的瞳孔距和两个透镜的移动距离,随后,透镜控制模块根据处理器发送的计算结果和控制指令分别调节每个透镜的位置,使得两个透镜的中心一一对应的与所述用户的两个眼睛的瞳孔中心重合。本发明实施例提供的虚拟现实设备在使用过程中,不需要用户手动调节透镜的位置,通过虚拟现实设备自动进行瞳孔距的计算和透镜位置的调节,提高了调节透镜位置的智能性和便捷性,解决了现有技术中的VR设备,由于需要通过手动方式调节透镜位置,调节的精准度较差,从而导致用户在观看图像时效果模糊而影响体验效果的问题。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本发明实施例提供的一种虚拟现实设备的模块构架示意图;
图2为本发明实施例提供的一种虚拟现实设备的硬件结构示意图;
图3为本发明实施示例提供的虚拟现实设备的一种透镜调节原理示意图;
图4为本发明实施例提供的另一种虚拟现实设备的模块构架示意图;
图5为一种摄像头的FOV角度的原理示意图;
图6为本发明实施例提供的虚拟现实设备中一种摄像头到用户眼部的示意图;
图7为本发明实施例提供的虚拟现实设备中一种拍摄图像的示意图;
图8为本发明实施例提供的虚拟现实设备中一种计算瞳孔中心位置的示意图;
图9为本发明实施例提供的一种虚拟现实设备的透镜调节方法的流程图;
图10为本发明实施例提供的另一种虚拟现实设备的透镜调节方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
本发明提供以下几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例提供的一种虚拟现实设备的模块构架示意图。本发明实施例提供的虚拟现实设备10,可以包括:处理器11、透镜控制模块12和摄像模块13。
其中,摄像模块13,用于拍摄用户的眼部图像,并向处理器11发送眼部图像;
处理器11,用于根据该眼部图像,计算用户的瞳孔距和两个透镜121的移动距离,并向透镜控制模块12发送计算结果和控制指令;
透镜控制模块12,用于根据计算结果和控制指令分别调节每个透镜121的位置,使得两个透镜121的中心一一对应的与用户的两个眼睛的瞳孔中心重合。
本发明实施例提供的虚拟现实设备10,例如可以为一虚拟显示头盔,该虚拟现实设备10的顶部两端分别设置有摄像模块13,该摄像模块13例如可以为红外摄像头,用于拍摄用户的眼部图像。由于用户在使用虚拟现实设备10时,脸部贴合在虚拟现实设备10上,距离摄像头的位置较近,而摄像头的视场角(FOV)有限,若采用单摄像头拍摄,很难全面覆盖到两只眼睛,因此采用双摄像头拍摄,并将两个摄像头设置在虚拟现实设备10顶部的左右两端,分别拍摄左右眼部图像。在实际拍摄时,用户的眼睛自然注视前方,以便得到正常情况下的瞳孔大小并减小瞳孔的偏移。
根据上述对虚拟现实设备10可以采用双摄像头的描述,以下通过一个具体示例予以示出,如图2所示,为本发明实施例提供的一种虚拟现实设备的硬件结构示意图,本发明实施例中的摄像模块13可以包括:第一摄像头131和第二摄像头132,第一摄像头131和第二摄像头132一一对应的设置于虚拟现实设备10顶部的左右两端,例如,第一摄像头131设置于虚拟现实设备10顶部的左端,第二摄像头132设置于虚拟现实设备10顶部的右端,则第一摄像头131,用于拍摄用户的左眼部图像,第二摄像头132,用于拍摄用户的右眼部图像。
由于虚拟现实设备10的使用者可以为不同用户,每个用户的瞳孔距的大小都有差距,例如,成年男性的瞳孔距大约在60~73毫米(mm)之间,成年女性的瞳距大约在53~68mm之间。因此,本发明实施例设计出种虚拟现实设备10,可以实现根据使用者的实际情况对透镜121的位置进行调节,其实现方式为:处理器11在接收到摄像模块13发送的眼部图像后,可以根据用户的眼部图像计算出该用户的瞳孔距,并根据瞳孔距的大小和虚拟现实设备10中每个透镜121的当前位置,计算出每个透镜121需要移动的距离,随后,向透镜控制模块12发送计算结果和控制指令,控制指令可以为处理器11根据已计算得到的结果,发送的指示透镜121移动的相应指令,例如,该控制指令可以指示其中一个透镜向左移动,指示另一个透镜向右移动,移动的距离分别为L1和L2,即为上述计算出的每个透镜121对应的移动距离。透镜控制模块12在接收到上述计算结果和控制指令后,根据控制指令的命令和已知的移动距离分别调节每个透镜121的位置,即控制透镜121移动相位的位置,最终达到的移动效果为两个透镜的中心一一对应的与用户的两个眼睛的瞳孔中心重合,图3为本发明实施示例提供的虚拟现实设备的一种透镜调节原理示意图,如图3所示,可以为左边的透镜121的中心与用户左眼的瞳孔中心重合,右边的透镜121的中心与用户右眼的瞳孔中心重合。
需要说明的是,本发明实施例通过调节两个透镜121的位置可以使得每个透镜121的中心与对应眼睛的瞳孔中心重合,而理想的状态如图3所示,人眼的瞳孔中心、透镜中心、分屏后的屏幕中心在一条直线上,从而获得最佳的视觉效果;由于屏幕的中心通常是固定不变的,在设计虚拟现实设备10的硬件结构时可以使其屏幕的宽度适合大多数人的眼睛位置,并通过调节透镜121的位置使透镜中心与对应眼睛的瞳孔中心重合。
现有技术中的VR设备,虽然其透镜也配置为位置可调节,但是调节透镜位置的方式为手动调节,手动调节的精度较差,容易出现偏移,从而导致用户在看到图像时模糊而影响体验效果;另外,手动调节透镜位置的调节方式较为复杂,会给用户带来麻烦。与现有技术中VR设备相比,由于本发明实施例的虚拟现实设备10通过配置的摄像模块13在用户使用该虚拟现实设备10时拍摄用户的眼部图像,并由处理器11对拍摄的眼部图像的处理,指示和透镜控制模块12调节每个透镜121的位置,以实现最佳的显示效果;本发明实施例中的虚拟现实设备10在使用过程中,不需要用户手动调节透镜121的位置,通过虚拟现实设备10自动进行瞳孔距的计算和透镜位置的调节,提高了调节透镜位置的智能性和便捷性。
本发明实施例提供的虚拟现实设备,通过配置的摄像模块在用户使用该虚拟现实设备时拍摄用户的眼部图像,并由处理器对拍摄的眼部图像的处理,计算出用户的瞳孔距和两个透镜的移动距离,随后,透镜控制模块根据处理器发送的计算结果和控制指令分别调节每个透镜的位置,使得两个透镜的中心一一对应的与所述用户的两个眼睛的瞳孔中心重合。本发明实施例提供的虚拟现实设备在使用过程中,不需要用户手动调节透镜的位置,通过虚拟现实设备自动进行瞳孔距的计算和透镜位置的调节,提高了调节透镜位置的智能性和便捷性,解决了现有技术中的VR设备,由于需要通过手动方式调节透镜位置,调节的精准度较差,从而导致用户在观看图像时效果模糊而影响体验效果的问题。
可选地,图4为本发明实施例提供的另一种虚拟现实设备的模块构架示意图,本发明实施例中的透镜控制模块12可以包括:两个透镜121、控制单元122,以及与两个透镜121一一对应的两个电机123。
其中,控制单元122,用于接收处理器11发送的计算结果和控制指令,并通过电机123将每个透镜121的中心调节到与对应眼睛的瞳孔中心重合的位置。
在本发明实施例中,控制单元122分别与两个电机123相连接,两个电机123一一对应的与两个透镜121相连接,控制单元122在接收到计算结果和控制指令时,指示左边的电机123调节左边透镜121的位置,指示右边的电机123调节右边透镜121的位置。
在实际应用中,摄像模块13中摄像头的参数会给出FOV角,通常会给出垂直方向的FOV角度,图5为一种摄像头的FOV角度的原理示意图,如图5所示,垂直方向的FOV角(∠CFD)为β,本发明实施例提供的虚拟现实设备10在透镜调节过程中,使用水平方向的FOV角(∠AFB)为γ,设定摄像模块13拍摄出的图像的分辨率为W*H,则水平方向的FOV角为:
γ=β*W/H。
如图6所示,为本发明实施例提供的虚拟现实设备中一种摄像头到用户眼部的示意图。图6中的O1和O2分别为用户的左眼和右眼的瞳孔中心处,即O1O2为瞳孔距,两个摄像头可以安装在虚拟现实设备上部的左右两侧,分别拍摄用户的左右眼部图像,两个摄像头的间距为L0,左边摄像头中心到设备左边缘的距离和右边摄像头中心到设备右边缘的距离均为S,摄像头距离用户眼部的垂直距离为h。以左边摄像头的计算方式为例予以示出,可以得到FOV角γ,并且α=γ/2,w为摄像头的拍摄角度2α对应的实际距离w,则w为:
w=2h*tan(α)。
如图7所示,为本发明实施例提供的虚拟现实设备中一种拍摄图像的示意图,由于摄像头拍摄出的拍摄图像的图像距离,即(分辨率W*H)与实际距离存在一定的误差,若采用拍摄图像的分辨率计算瞳孔距和透镜的移动距离,得到的计算结果会存在一定的误差,为了尽可能减小并消除上述误差,可以定义系数k为实际距离与图像距离的比值。图7中示出了左摄像头的拍摄图像,拍摄图像的图像宽度为W,对应的实际宽度为图6中的w,左眼瞳孔中心到左摄像头的视场边缘的图像距离为x,对应的实际距离为O1A,则O1A的计算方式如下:
k=O1A/x=O2B/y=w/W=2h*tan(α)/W;
O1A=2h*tan(α)/W*x;
同理可得:O2B=2h*tan(α)/W*x;
因此,本发明实施例中处理器11计算出用户的瞳孔距O1O2为:
O1O2=L-(O1A+O2B)=L-k*(x+y); (1)
上述式(1)中,L为两个摄像头的视场边缘距离,O1A和O2B分别为左眼和右眼的瞳孔中心到对应摄像头的视场边缘的实际距离,x和y分别为左眼和右眼的瞳孔中心到对应摄像头的视场边缘的图像距离,k为实际距离与图像距离的比值。
上述式(1)的计算方式中,图像距离x和y,通过图像识别后得到的值可能存在较大的误差,所以可以采用测量左右瞳孔中心到对应摄像头的视场边缘的实际距离,即实测O1A和O2B,并计算平均值的方式,计算用户的瞳孔距O1O2。如图8所示,为本发明实施例提供的虚拟现实设备中一种计算瞳孔中心位置的示意图,同样以左眼为例予以示出,其中,O1A和O2B与图6中的定义相同,O1A1和O1A2分别为左眼的瞳孔的最左侧和最右侧到左摄像头的视场边缘的实际距离,O2B1和O2B2分别为右眼的瞳孔的最右侧和最左侧到右摄像头的视场边缘的实际距离,可以得到:
O1A=(O1A1+O1A2)/2,O2B=(O2B1和O2B2)/2;
其中,对上述O1A1、O1A2、O2B1和O2B2的值可以通过多次测量求平均值的方式以减小误差。
可选地,在本发明实施例中,处理器11计算两个透镜的移动距离的实现方式,可以包括:
获取每个透镜中心的当前位置;
计算用户的左眼瞳孔中心到虚拟现实设备的左边缘的第一距离,以及右眼瞳孔中心到虚拟现实设备的右边缘的第二距离;
根据每个透镜的当前位置、第一距离和第二距离,以及用户的瞳孔距,分别计算两个透镜的移动距离。
参考图6所示,第一距离为O1C,第二距离为O2D,在上述已知O1A和O2B的情况下,可以计算出:
第一距离为:O1C=O1A-(w/2-S);
第二距离为:O2D=O2B-(w/2-S);
其中,上述实施例中已经说明S为摄像头中心到虚拟现实设备相应边缘的距离,S的值在虚拟现实设备的结构设计过程中已经确定,w为摄像头拍摄图像的实际宽度,并且w=2h*tan(α),h为摄像头到人眼的垂直距离,α为水平方向视场角的一半。
本发明实施例提供的虚拟现实设备10,在计算出瞳孔距,以及上述第一距离和第二距离后,结合每个摄像头的当前距离,通过透镜控制模块12对每个透镜121的位置进行调节,使得透镜121的中心与对应人眼的瞳孔中心重合,以实现最佳显示效果。在实际移动透镜121时,可以以虚拟现实设备10的左右边缘为基准进行调节。
基于本发明上述实施例提供的虚拟现实设备10,用户在使用虚拟现实设备10时开启设备,带上虚拟现实头盔,设备的处理器11向摄像模块13发送指令,进行用户眼部图像的拍摄,并将拍摄的眼部图像传输给处理器11进行处理,处理器11采用预设的算法进行图像处理,根据上述方式计算出瞳孔距O1O2,以及上述第一距离和第二距离,从而可以得到每个透镜的移动距离,然后由处理器11向透镜控制模块12发送控制指令,透镜控制模块12通过控制步进式电机123使两个透镜121分别移动到相应的位置,使得两个透镜121的中心距离与瞳孔距相同(即为O1O2),本发明实施例通过比例系统k计算得到的瞳孔距O1O2,同时可以满足人眼瞳孔距不对称的情况,计算方式具有普遍适用性。
基于本发明上述各实施例提供的虚拟现实设备10,本发明实施例还提供一种虚拟现实设备的透镜调节方法,该虚拟现实设备的透镜调节方法由本发明上述任一实施例提供的虚拟现实设备10执行。
如图9所示,为本发明实施例提供的一种虚拟现实设备的透镜调节方法的流程图。本实施例提供的方法可以由图1到图8所示任一实施例中的虚拟现实设备10执行,本发明实施例提供的方法,可以包括如下步骤:
S110,拍摄用户的左右眼部图像。
S120,根据所拍摄的左右眼部图像,计算用户的瞳孔距和两个透镜的移动距离。
本发明实施例提供的虚拟现实设备的透镜调节方法,用于对虚拟现实设备中的透镜位置进行调节,该虚拟现实设备例如可以为一虚拟显示头盔,该虚拟现实设备的顶部两端分别设置有摄像头,可以为红外摄像头。由于用户在使用虚拟现实设备时,脸部贴合在虚拟现实设备上,距离摄像头的位置较近,而摄像头的FOV角有限,若采用单摄像头拍摄,很难全面覆盖到两只眼睛,因此采用双摄像头拍摄,并将两个摄像头设置在虚拟现实设备顶部的左右两端,分别拍摄左右眼部图像,可以参考图2所示虚拟现实设备的硬件结构。在实际拍摄时,用户的眼睛自然注视前方,以便得到正常情况下的瞳孔大小并减小瞳孔的偏移。
由于虚拟现实设备的使用者可以为不同用户,每个用户的瞳孔距的大小都有差距,例如,成年男性的瞳孔距大约在60~73mm之间,成年女性的瞳距大约在53~68mm之间。因此,本发明实施例设计出一种虚拟现实设备的透镜调节方法,可以实现根据使用者的实际情况对透镜的位置进行调节,其实现方式为:根据已拍摄的用户的眼部图像计算出该用户的瞳孔距,并根据瞳孔距的大小和虚拟现实设备中每个透镜的当前位置,计算出每个透镜需要移动的距离。
S130,根据计算结果和控制指令分别调节每个透镜的位置,使得两个透镜的中心一一对应的与用户的两个眼睛的瞳孔中心重合。
在本发明实施例中,在计算出用户的瞳孔距和两个透镜的移动距离后,可以根据上述计算结果和控制指令执行调节透镜的操作,该控制指令可以为虚拟现实设备的处理器根据已计算得到的结果,发送的指示透镜移动的相应指令,例如,该控制指令可以指示其中一个透镜向左移动,指示另一个透镜向右移动,移动的距离分别为L1和L2,即为上述计算出的每个透镜对应的移动距离;随后,根据控制指令的命令和已知的移动距离分别调节每个透镜的位置,即控制透镜移动相位的位置,最终达到的移动效果为两个透镜的中心一一对应的与用户的两个眼睛的瞳孔中心重合,可以参考图3所示调节原理,可以为左边的透镜的中心与用户左眼的瞳孔中心重合,右边的透镜的中心与用户右眼的瞳孔中心重合。
需要说明的是,本发明实施例通过调节两个透镜的位置可以使得每个透镜的中心与对应眼睛的瞳孔中心重合,而理想的状态如图3所示,人眼的瞳孔中心、透镜中心、分屏后的屏幕中心在一条直线上,从而获得最佳的视觉效果;由于屏幕的中心通常是固定不变的,在设计虚拟现实设备的硬件结构时可以使其屏幕的宽度适合大多数人的眼睛位置,并通过调节透镜的位置使透镜中心与对应眼睛的瞳孔中心重合。
现有技术中的VR设备,虽然其透镜也配置为位置可调节,但是调节透镜位置的方式为手动调节,手动调节的精度较差,容易出现偏移,从而导致用户在看到图像时模糊而影响体验效果;另外,手动调节透镜位置的调节方式较为复杂,会给用户带来麻烦。与现有技术中VR设备相比,由于本发明实施例的虚拟现实设备的透镜调节方法,在用户使用该虚拟现实设备时通过拍摄用户的眼部图像,并拍摄的眼部图像的进行处理,从而调节每个透镜的位置,以实现最佳的显示效果;通过本发明实施例提供的虚拟现实设备的透镜调节方法,在使用虚拟现实设备的过程中,不需要用户手动调节透镜的位置,通过虚拟现实设备自动进行瞳孔距的计算和透镜位置的调节,提高了调节透镜位置的智能性和便捷性。
发明实施例提供的虚拟现实设备的透镜调节方法,在用户使用该虚拟现实设备时通过拍摄用户的眼部图像,并对拍摄的眼部图像的进行处理,计算出用户的瞳孔距和两个透镜的移动距离,随后,根据上述计算结果和控制指令分别调节每个透镜的位置,使得两个透镜的中心一一对应的与所述用户的两个眼睛的瞳孔中心重合。通过本发明实施例提供的虚拟现实设备的透镜调节方法,在虚拟现实设备在使用过程中,不需要用户手动调节透镜的位置,通过虚拟现实设备自动进行瞳孔距的计算和透镜位置的调节,提高了调节透镜位置的智能性和便捷性,解决了现有技术中的VR设备,由于需要通过手动方式调节透镜位置,调节的精准度较差,从而导致用户在观看图像时效果模糊而影响体验效果的问题。
在实际应用中,虚拟现实设备中摄像头的参数会给出FOV角,通常会给出垂直方向的FOV角度,参考图5所示的FOV角度,如图5所示,垂直方向的FOV角(∠CFD)为β,虚拟现实设备在透镜调节过程中,使用水平方向的FOV角(∠AFB)为γ,设定摄像头拍摄出的图像的分辨率为W*H,则水平方向的FOV角为:
γ=β*W/H;
参考图6所示,O1和O2分别为用户的左眼和右眼的瞳孔中心处,即O1O2为瞳孔距,两个摄像头可以安装在虚拟现实设备上部的左右两侧,分别拍摄用户的左右眼部图像,两个摄像头的间距为L0,左边摄像头中心到设备左边缘的距离和右边摄像头中心到设备右边缘的距离均为S,摄像头距离用户眼部的垂直距离为h。以左边摄像头的计算方式为例予以示出,可以得到FOV角γ,并且α=γ/2,w为摄像头的拍摄角度2α对应的实际距离w,则w为:
w=2h*tan(α)。
参考图7所示的拍摄图像,由于摄像头拍摄出的拍摄图像的图像距离,即(分辨率W*H)与实际距离存在一定的误差,若采用拍摄图像的分辨率计算瞳孔距和透镜的移动距离,得到的计算结果会存在一定的误差,为了尽可能减小并消除上述误差,可以定义系数k为实际距离与图像距离的比值。图7中示出了左摄像头的拍摄图像,拍摄图像的图像宽度为W,对应的实际宽度为图6中的w,左眼瞳孔中心到左摄像头的视场边缘的图像距离为x,对应的实际距离为O1A,则O1A的计算方式如下:
k=O1A/x=O2B/y=w/W=2h*tan(α)/W;
O1A=2h*tan(α)/W*x;
同理可得:O2B=2h*tan(α)/W*x;
图10为本发明实施例提供的另一种虚拟现实设备的透镜调节方法的流程图,由此上述计算方式可知,本发明实施例的S120中计算用户的瞳孔距的实现方式,可以包括:
S121,计算出用户的瞳孔距O1O2为:
O1O2=L-(O1A+O2B)=L-k*(x+y); (1)
上述式(1)中,L为两个摄像头的视场边缘距离,O1A和O2B分别为左眼和右眼的瞳孔中心到对应摄像头的视场边缘的实际距离,x和y分别为左眼和右眼的瞳孔中心到对应摄像头的视场边缘的图像距离,k为实际距离与图像距离的比值。
上述式(1)的计算方式中,图像距离x和y,通过图像识别后得到的值可能存在较大的误差,所以可以采用测量左右瞳孔中心到对应摄像头的视场边缘的实际距离,即实测O1A和O2B,并计算平均值的方式,计算用户的瞳孔距O1O2。如图8所示,为本发明实施例提供的虚拟现实设备中一种计算瞳孔中心位置的示意图,同样以左眼为例予以示出,其中,O1A和O2B与图6中的定义相同,O1A1和O1A2分别为左眼的瞳孔的最左侧和最右侧到左摄像头的视场边缘的实际距离,O2B1和O2B2分别为右眼的瞳孔的最右侧和最左侧到右摄像头的视场边缘的实际距离,可以得到:
O1A=(O1A1+O1A2)/2,O2B=(O2B1和O2B2)/2;
其中,对上述O1A1、O1A2、O2B1和O2B2的值可以通过多次测量求平均值的方式以减小误差。
可选地,本发明实施例的S120中计算两个透镜的移动距离的实现方式,可以包括:
S122,获取每个透镜中心的当前位置;
S123,计算用户的左眼瞳孔中心到虚拟现实设备的左边缘的第一距离,以及右眼瞳孔中心到虚拟现实设备的右边缘的第二距离;
S124,根据每个透镜的当前位置、第一距离和第二距离,以及用户的瞳孔距,分别计算两个透镜的移动距离。
参考图6所示,第一距离为O1C,第二距离为O2D,在上述已知O1A和O2B的情况下,可以计算出:
第一距离为:O1C=O1A-(w/2-S);
第二距离为:O2D=O2B-(w/2-S);
其中,上述实施例中已经说明S为摄像头中心到虚拟现实设备相应边缘的距离,S的值在虚拟现实设备的结构设计过程中已经确定,w为摄像头拍摄图像的实际宽度,并且w=2h*tan(α),h为摄像头到人眼的垂直距离,α为水平方向视场角的一半。
通过本发明实施例提供的虚拟现实设备的透镜调节方法,在计算出瞳孔距,以及上述第一距离和第二距离后,结合每个摄像头的当前距离,对每个透镜的位置进行调节,使得透镜的中心与对应人眼的瞳孔中心重合,以实现最佳显示效果。在实际移动透镜时,可以以虚拟现实设备的左右边缘为基准进行调节。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种虚拟现实设备,其特征在于,包括:处理器、透镜控制模块和摄像模块;
所述摄像模块,用于拍摄用户的眼部图像,并向所述处理器发送所述眼部图像;
所述处理器,用于根据所述眼部图像,计算所述用户的瞳孔距和两个透镜的移动距离,并向所述透镜控制模块发送计算结果和控制指令;
所述透镜控制模块,用于根据所述计算结果和所述控制指令分别调节每个所述透镜的位置,使得所述两个透镜的中心一一对应的与所述用户的两个眼睛的瞳孔中心重合。
2.根据权利要求1所述的虚拟现实设备,其特征在于,所述摄像模块包括:第一摄像头和第二摄像头,所述第一摄像头和所述第二摄像头一一对应的设置于所述虚拟现实设备顶部的左右两端;
所述第一摄像头,用于拍摄所述用户的左眼部图像;
所述第二摄像头,用于拍摄所述用户的右眼部图像。
3.根据权利要求1所述的虚拟现实设备,其特征在于,所述透镜控制模块包括:所述两个透镜、控制单元,以及与所述两个透镜一一对应的两个电机;
所述控制单元,用于接收所述处理器发送的所述计算结果和所述控制指令,并通过所述电机将每个所述透镜的中心调节到与对应眼睛的瞳孔中心重合的位置。
4.根据权利要求1所述的虚拟现实设备,其特征在于,所述处理器计算所述用户的瞳孔距,包括:
所述处理器计算出所述用户的瞳孔距为:
O1O2=L-(O1A+O2B)=L-k*(x+y);
其中,所述L为所述两个摄像头的视场边缘距离,所述O1A和所述O2B分别为左眼和右眼的瞳孔中心到对应摄像头的视场边缘的实际距离,所述x和所述y分别为左眼和右眼的瞳孔中心到对应摄像头的视场边缘的图像距离,所述k为实际距离与图像距离的比值;
k=O1A/x=O2B/y=w/W=2h*tan(α)/W;
其中,所述w为所述摄像头拍摄图像的实际宽度,所述W为所述摄像头拍摄图像的图像宽度,所述h为摄像头到人眼的垂直距离,所述α为水平方向视场角的一半。
5.根据权利要求1所述的虚拟现实设备,其特征在于,所述处理器计算所述两个透镜的移动距离,包括:
获取每个所述透镜中心的当前位置;
计算所述用户的左眼瞳孔中心到所述虚拟现实设备的左边缘的第一距离,以及右眼瞳孔中心到所述虚拟现实设备的右边缘的第二距离;
根据每个所述透镜的当前位置、所述第一距离和所述第二距离,以及所述用户的瞳孔距,分别计算所述两个透镜的移动距离。
6.根据权利要求5所述的虚拟现实设备,其特征在于,所述计算所述第一距离和所述第二距离,包括:
计算出所述第一距离为:O1C=O1A-(w/2-S);
计算出所述第二距离为:O2D=O2B-(w/2-S);
其中,所述S为所述摄像头中心到所述虚拟现实设备边缘的距离,所述w为所述摄像头拍摄图像的实际宽度;
w=2h*tan(α);
其中,所述h为摄像头到人眼的垂直距离,所述α为水平方向视场角的一半。
7.一种虚拟现实设备的透镜调节方法,其特征在于,包括:
拍摄用户的左右眼部图像;
根据所拍摄的所述左右眼部图像,计算所述用户的瞳孔距和两个透镜的移动距离;
根据所述计算结果和控制指令分别调节每个所述透镜的位置,使得所述两个透镜的中心一一对应的与所述用户的两个眼睛的瞳孔中心重合。
8.根据权利要求7所述的虚拟现实设备的透镜调节方法,其特征在于,所述计算所述用户的瞳孔距,包括:
计算出所述用户的瞳孔距为:
O1O2=L-(O1A+O2B)=L-k*(x+y);
其中,所述L为所述两个摄像头的视场边缘距离,所述O1A和所述O2B分别为左眼和右眼的瞳孔中心到对应摄像头的视场边缘的实际距离,所述x和所述y分别为左眼和右眼的瞳孔中心到对应摄像头的视场边缘的图像距离,所述k为实际距离与图像距离的比值;
k=O1A/x=O2B/y=w/W=2h*tan(α)/W;
其中,所述w为所述摄像头拍摄图像的实际宽度,所述W为所述摄像头拍摄图像的图像宽度,所述h为摄像头到人眼的垂直距离,所述α为水平方向视场角的一半。
9.根据权利要求7所述的虚拟现实设备的透镜调节方法,其特征在于,所述计算所述两个透镜的移动距离,包括:
获取每个所述透镜中心的当前位置;
计算所述用户的左眼瞳孔中心到所述虚拟现实设备的左边缘的第一距离,以及右眼瞳孔中心到所述虚拟现实设备的右边缘的第二距离;
根据每个所述透镜的当前位置、所述第一距离和所述第二距离,以及所述用户的瞳孔距,分别计算所述两个透镜的移动距离。
10.根据权利要求9所述的虚拟现实设备的透镜调节方法,其特征在于,所述计算所述第一距离和所述第二距离,包括:
计算出所述第一距离为:O1C=O1A-(w/2-S);
计算出所述第二距离为:O2D=O2B-(w/2-S);
其中,所述S为所述摄像头中心到所述虚拟现实设备边缘的距离,所述w为所述摄像头拍摄图像的实际宽度;
w=2h*tan(α);
其中,所述h为摄像头到人眼的垂直距离,所述α为水平方向视场角的一半。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710607044.4A CN107167924B (zh) | 2017-07-24 | 2017-07-24 | 一种虚拟现实设备和虚拟现实设备的透镜调节方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710607044.4A CN107167924B (zh) | 2017-07-24 | 2017-07-24 | 一种虚拟现实设备和虚拟现实设备的透镜调节方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107167924A true CN107167924A (zh) | 2017-09-15 |
CN107167924B CN107167924B (zh) | 2019-07-19 |
Family
ID=59818071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710607044.4A Expired - Fee Related CN107167924B (zh) | 2017-07-24 | 2017-07-24 | 一种虚拟现实设备和虚拟现实设备的透镜调节方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107167924B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107577052A (zh) * | 2017-09-30 | 2018-01-12 | 深圳市冠旭电子股份有限公司 | 瞳距调节结构及虚拟现实显示设备 |
CN107976808A (zh) * | 2017-10-25 | 2018-05-01 | 深圳市虚拟现实科技有限公司 | 虚拟现实显示装置及其方法 |
CN108107582A (zh) * | 2017-12-27 | 2018-06-01 | 北京传嘉科技有限公司 | Vr眼镜瞳距调节方法及vr眼镜 |
CN108363940A (zh) * | 2017-12-07 | 2018-08-03 | 上海点与面智能科技有限公司 | 一种应用于虹膜采集模块中的测距控制方法及装置 |
CN109725418A (zh) * | 2017-10-30 | 2019-05-07 | 华为技术有限公司 | 显示设备、用于调整显示设备的图像呈现的方法及装置 |
CN109739460A (zh) * | 2019-01-04 | 2019-05-10 | 京东方科技集团股份有限公司 | Vr显示方法及设备、计算机可读存储介质 |
CN109857255A (zh) * | 2019-02-13 | 2019-06-07 | 京东方科技集团股份有限公司 | 一种显示参数调节方法、装置以及头戴显示设备 |
CN111596763A (zh) * | 2020-05-15 | 2020-08-28 | 京东方科技集团股份有限公司 | 虚拟现实设备的控制方法及装置 |
CN113768240A (zh) * | 2021-08-30 | 2021-12-10 | 航宇救生装备有限公司 | 显示保护头盔成像位置调整方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106019589A (zh) * | 2016-06-25 | 2016-10-12 | 深圳市虚拟现实科技有限公司 | 一种自动调整光学系统的近眼显示装置 |
-
2017
- 2017-07-24 CN CN201710607044.4A patent/CN107167924B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106019589A (zh) * | 2016-06-25 | 2016-10-12 | 深圳市虚拟现实科技有限公司 | 一种自动调整光学系统的近眼显示装置 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107577052B (zh) * | 2017-09-30 | 2023-11-10 | 深圳市冠旭电子股份有限公司 | 瞳距调节结构及虚拟现实显示设备 |
CN107577052A (zh) * | 2017-09-30 | 2018-01-12 | 深圳市冠旭电子股份有限公司 | 瞳距调节结构及虚拟现实显示设备 |
CN107976808A (zh) * | 2017-10-25 | 2018-05-01 | 深圳市虚拟现实科技有限公司 | 虚拟现实显示装置及其方法 |
US11115648B2 (en) | 2017-10-30 | 2021-09-07 | Huawei Technologies Co., Ltd. | Display device, and method and apparatus for adjusting image presence on display device |
CN109725418A (zh) * | 2017-10-30 | 2019-05-07 | 华为技术有限公司 | 显示设备、用于调整显示设备的图像呈现的方法及装置 |
CN108363940A (zh) * | 2017-12-07 | 2018-08-03 | 上海点与面智能科技有限公司 | 一种应用于虹膜采集模块中的测距控制方法及装置 |
CN108107582A (zh) * | 2017-12-27 | 2018-06-01 | 北京传嘉科技有限公司 | Vr眼镜瞳距调节方法及vr眼镜 |
CN109739460A (zh) * | 2019-01-04 | 2019-05-10 | 京东方科技集团股份有限公司 | Vr显示方法及设备、计算机可读存储介质 |
CN109739460B (zh) * | 2019-01-04 | 2022-09-09 | 京东方科技集团股份有限公司 | Vr显示方法及设备、计算机可读存储介质 |
CN109857255A (zh) * | 2019-02-13 | 2019-06-07 | 京东方科技集团股份有限公司 | 一种显示参数调节方法、装置以及头戴显示设备 |
CN109857255B (zh) * | 2019-02-13 | 2020-07-24 | 京东方科技集团股份有限公司 | 一种显示参数调节方法、装置以及头戴显示设备 |
CN111596763A (zh) * | 2020-05-15 | 2020-08-28 | 京东方科技集团股份有限公司 | 虚拟现实设备的控制方法及装置 |
CN111596763B (zh) * | 2020-05-15 | 2023-12-26 | 京东方科技集团股份有限公司 | 虚拟现实设备的控制方法及装置 |
CN113768240A (zh) * | 2021-08-30 | 2021-12-10 | 航宇救生装备有限公司 | 显示保护头盔成像位置调整方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107167924B (zh) | 2019-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107167924B (zh) | 一种虚拟现实设备和虚拟现实设备的透镜调节方法 | |
US9338370B2 (en) | Visual system having multiple cameras | |
TWI516804B (zh) | 頭戴式顯示裝置及其背光調整方法 | |
JP6520119B2 (ja) | 画像処理装置および画像処理方法 | |
EP3029935A1 (en) | Holographic displaying method and device based on human eyes tracking | |
JPWO2018008232A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11962746B2 (en) | Wide-angle stereoscopic vision with cameras having different parameters | |
TWI507729B (zh) | 頭戴式視覺輔助系統及其成像方法 | |
US11143876B2 (en) | Optical axis control based on gaze detection within a head-mountable display | |
US20210235063A1 (en) | Computer-readable non-transitory storage medium, web server, and calibration method for interpupillary distance | |
CN107037584B (zh) | 一种智能眼镜透视方法及系统 | |
JP2018513656A (ja) | 画像強調可能な眼鏡構造 | |
KR101670328B1 (ko) | 다중 실시간 영상 획득 카메라를 통한 실감영상표출장치 및 이를 통한 영상 제어 인식방법 | |
JP6576639B2 (ja) | 電子眼鏡および電子眼鏡の制御方法 | |
US20130215237A1 (en) | Image processing apparatus capable of generating three-dimensional image and image pickup apparatus, and display apparatus capable of displaying three-dimensional image | |
CN113112407B (zh) | 基于电视的照镜视野生成方法、系统、设备及介质 | |
US20190028690A1 (en) | Detection system | |
JPH02291787A (ja) | 広視野表示装置 | |
Hwang et al. | 23.4: Augmented Edge Enhancement for Vision Impairment using Google Glas | |
JP2016133541A (ja) | 電子眼鏡および電子眼鏡の制御方法 | |
CN115826249A (zh) | 一种vr设备调节方法及装置 | |
CN114051099A (zh) | 无人机模块vr系统及通过无人机模块实现vr的方法 | |
CN116418968A (zh) | 一种3d摄像机位姿自适应调整的方法、装置和拍摄系统 | |
CN117499613A (zh) | 用于云台装置的防止3d眩晕的方法和云台装置 | |
CN112862819A (zh) | 一种在虚拟现实中增加体验者自我元素的装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190719 |
|
CF01 | Termination of patent right due to non-payment of annual fee |