CN108663799A - 一种vr图像的显示控制系统及其显示控制方法 - Google Patents
一种vr图像的显示控制系统及其显示控制方法 Download PDFInfo
- Publication number
- CN108663799A CN108663799A CN201810292158.9A CN201810292158A CN108663799A CN 108663799 A CN108663799 A CN 108663799A CN 201810292158 A CN201810292158 A CN 201810292158A CN 108663799 A CN108663799 A CN 108663799A
- Authority
- CN
- China
- Prior art keywords
- image distance
- image
- blinkpunkt
- human eye
- variable focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
Abstract
本发明提供了一种VR图像的显示控制系统及其显示控制方法，包括：显示屏、VR主透镜、眼球追踪装置、变焦透镜组，以及与所述变焦透镜组均建立连接的计算与控制装置和变焦控制装置；所述眼球追踪装置用于识别出人眼注视点区域；计算与控制装置根据注视点区域计算当成像像距与注视点区域图像像距相同时所述变焦透镜组所需满足的焦距值；所述变焦控制装置，控制变焦透镜组的焦距调节为所述焦距值，调整VR图像的像距与所述注视点区域图像的像距保持一致。本发明提供系统及方法首先获取人眼的注视点区域，利用变焦透镜组调节成像像距与人眼注视点区域像距之间的差距，克服由于VR成像位置固定而导致视觉辐辏调节冲突的缺陷。
Description
技术领域
本发明涉及显示控制技术领域，尤其涉及的是一种VR图像的显示控制系统及其显示控制方法。
背景技术
现在VR显示技术，是通过在观察者的左右眼前分别显示同一物体不同角度的2D图像，利用视差形成3D视感，由于左右眼所观察的2D图像的像距固定，其焦点调节与左右眼视差形成的有纵深的3D视感不匹配，出现辐辏调节冲突的问题，观察者长时间观看时会出现眼睛的疲劳甚至眩晕。
具体见图1a与图1b，图1a为观察真实3D实物的情况，图1b为现有VR技术的立体视觉示意图，图中101、102分别代表左眼、右眼，103为真实的3D实物，104为现有VR装置，105为VR成像位置，而3D视感位置为106，图中Lb与La分别代表辐辏距离和聚焦距离，如图1a所示，人眼观察真实世界时辐辏距离Lb和聚焦距离La相等，不存在辐辏调节冲突即调焦-聚焦矛盾，而在现有VR立体显示技术下，辐辏距离Lb和聚焦距离La有较大差别，辐辏调节冲突的问题突出，影响观看体验。
现有技术中，主要有两种不同的VR显示技术，第一种显示技术的光路图见图2，显示屏210生成画面通过VR主透镜220生成VR图像230，供观察者左右眼观看。由于VR主透镜220的焦距固定，并且与显示屏210的距离固定，因此VR成像230的像距位置固定。可以看出，此显示技术的缺点是其VR成像位置固定，不能与3D视差图像的视感距离保持一致，因此存在辐辏调节冲突的问题。第二种显示技术是基于微透镜阵列的光场显示技术，其光场如图3，位于微透镜阵列320焦平面附近的显示屏像素310通过微透镜阵列形成光场矢量330，光场矢量则经过人眼340汇聚成像，通过选择不同像素可调整光场矢量角度从而调整成像的像距以避免辐辏调节冲突。从图3中可以看出每个像素形成一个光场矢量，而多个光场矢量形成一个像点。基于微透镜阵列的光场显示技术的缺点是：需要多个像素点才能显示一个像点，提供光场矢量角度分辨率的同时降低了显示图像的空间分辨率，而且角度分辨率与空间分辨率是一对矛盾。
因此，现有技术有待于进一步的改进。
发明内容
鉴于上述现有技术中的不足之处，本发明的目的在于为用户提供一种基于VR的图像处理方法与系统，克服现有技术中VR成像位置固定，视觉辐辏调节冲突的缺陷。
本发明提供的第一实施例为一种VR图像的显示控制系统，包括：显示屏和VR主透镜，其中，还包括：
用于追踪观看者的人眼，并识别出人眼注视点区域的眼球追踪装置；
用于调节VR成像位置，设置在所述VR主透镜和显示屏之间的变焦透镜组；
以及与所述变焦透镜组均建立连接的计算与控制装置和变焦控制装置；
所述眼球追踪装置与所述计算与控制装置相连接，用于将识别出的人眼注视点区域的数据信息传输到计算与控制装置；
所述计算与控制装置，用于根据注视点区域的数据信息计算出当成像像距与注视点区域图像像距相同时所述变焦透镜组所需满足的焦距值，并根据所述焦距值生成变焦控制指令；
所述变焦控制装置，接收所述变焦控制指令，控制变焦透镜组的焦距调整为所述焦距值，进而调整VR图像的像距与所述注视点区域图像的像距保持一致。
可选的，所述眼球追踪装置基于眼球追踪技术获取人眼注视点区域。
可选的，所述计算与控制装置还用于，根据人眼的注视点区域的数据信息获取待显示图像内相对应子图像的像距信息，并根据所述子图像的像距信息计算出成像像距信息。
可选的，所述显示控制系统，还包括：与显示屏相连接的图形处理器；
所述计算与控制装置，还用于计算人眼注视点区域与非注视点区域之间的像距差值，并根据所述像距差值计算各个非注视点区域所对应子图像的虚化参数；
所述图形处理器，用于根据计算出的虚化参数对各个非注视点区域所对应的子图像进行虚化处理。
可选的，所述变焦透镜组至少包括一个变焦透镜，所述变焦透镜与VR主透镜平行且共光轴。
本发明所提供的第二实施例为所述的显示控制系统的显示控制方法，其中，包括以下步骤：
追踪观看者的人眼，并识别出人眼注视点区域；
根据识别出的人眼注视点区域的数据信息，计算当成像像距与注视点区域图像像距相同时所述变焦透镜组所需满足的焦距值，并根据所述焦距值生成变焦控制指令；
接收所述变焦控制指令，控制变焦透镜组将变焦透镜组的焦距调节为所述焦距值，调整VR图像的像距与所述注视点区域图像的像距保持一致。
可选的，所述根据识别出的人眼注视点区域的数据信息，计算当成像像距与注视点区域图像像距相同时所述变焦透镜组所需满足的焦距值的步骤，还包括：
根据人眼的注视点区域的数据信息获取待显示图像内相对应子图像的像距信息，并根据所述子图像的像距信息计算出成像像距信息。
可选的，所述根据识别出的人眼注视点区域的数据信息，计算当成像像距与注视点区域图像像距相同时所述变焦透镜组所需满足的焦距值的步骤还包括：
保持显示屏、变焦透镜组和VR主透镜三者之间的位置不变，依据高斯成像公式推导出变焦透镜组所需满足的焦距值。
可选的，所述的显示控制方法，还包括步骤：
计算人眼注视点区域与非注视点区域之间的像距差值，并根据所述像距差值计算各个非注视点区域所对应子图像的虚化参数；
根据计算出的虚化参数对各个非注视点区域所对应的子图像进行虚化处理。
可选的，所述变焦透镜组至少包括一个变焦透镜，所述变焦透镜与VR主透镜平行且共光轴。
有益效果，本发明提供了一种VR图像的显示控制系统及其显示控制方法，包括：显示屏、VR主透镜、眼球追踪装置、变焦透镜组，以及与所述变焦透镜组均建立连接的计算与控制装置和变焦控制装置；所述眼球追踪装置用于识别出人眼注视点区域，并将识别出的人眼注视点区域的数据信息传输到计算与控制装置；所述计算与控制装置根据注视点区域的数据信息计算出当成像像距与注视点区域图像像距相同时所述变焦透镜组所需满足的焦距值；所述变焦控制装置，控制变焦透镜组调整焦距值，以使得调整后的VR图像的像距与人眼注视点区域图像的像距保持一致。本发明提供的显示控制系统及方法首先获取人眼的注视点区域，利用变焦透镜组调节成像像距与人眼注视点区域像距之间的差距，克服由于VR成像位置固定而导致视觉辐辏调节冲突的缺陷。
附图说明
图1a是现有技术中观察真实3D实物的示意图；
图1b是现有技术中VR技术的立体视觉示意图；
图2是现有技术中VR显示技术的光路图；
图3是现有技术中基于微透镜阵列的VR光场显示技术光路图；
图4是本发明提供的一种VR图像的显示控制系统的结构示意图；
图5是本发明应用实施例中待显示图像和子图像的结构示意图；
图6是本发明应用实施例中人眼注视点区域所对应子图像的结构示意图；
图7是本发明所提供的VR图像显示控制系统的光路图；
图8是本发明所述所提供VR图像的显示控制方法的方法步骤流程图；
图9是本发明所述方法具体应用实施的步骤流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
现在VR显示技术，是通过在观察者的左右眼前分别显示有视差的2D图像，形成3D视感，由于左右眼所观察的2D图像的像距固定，存在辐辏调节冲突的问题，使得观察者长时间观看时会出现眼睛疲劳甚至眩晕，这是3D显示中需解决的问题。为了解决现有VR显示技术中存在的辐辏调节冲突的问题，本发明提供了一种VR图像的显示控制系统及其显示控制方法。
本发明提供的第一实施例提供了一种VR图像的显示控制系统，如图4所示，所述显示控制系统包括：显示屏440和VR主透镜460，其中，还包括：
用于追踪观看者的人眼视线位置，并识别出人眼注视点区域的眼球追踪装置420；
用于调节VR成像位置，设置在所述VR主透镜460和显示屏440之间的变焦透镜组（包括凹透镜451和凸透镜452）；以及与所述变焦透镜组均建立连接的计算与控制装置400和变焦控制装置470；
所述眼球追踪装置420与所述计算与控制装置400相连接，用于将识别出的人眼注视点区域的数据信息传输到计算与控制装置400；
所述计算与控制装置400，用于根据注视点区域的数据信息计算出当成像像距与注视点区域图像像距相同时所述变焦透镜组所需满足的焦距值，并根据所述焦距值生成变焦控制指令；
所述变焦控制装置470，接收所述变焦控制指令，控制变焦透镜组的焦距调整为所述焦距值，使得调整后的VR成像480的像距与人眼注视点区域图像的像距保持一致。
本发明中所述的注视点区域即是观看者的眼睛所注视的区域，在具体实施时，优选地，所述眼球追踪装置基于眼球追踪技术获取人眼图像中人眼的注视点区域。可以想到的是，还可以选择由红外光源+红外图像识别模块识别瞳孔与普尔钦斑实现，只要能实现准确获取到人眼的注视点区域的信息均可。
本发明所使用的变焦透镜组中选择使用的变焦透镜可以有多种选择，如可采用液晶变焦透镜或液体变焦透镜，前者通过改变所施加电信号调节液晶折射率从而调节透镜焦距，后者通过应力使透镜变形改变焦距。本领域技术人员可以想到的是，还可以采用两种不同的变焦透镜组合实现。
具体的，结合图5所示，所述计算与控制装置400，还用于根据人眼的注视点区域获取待显示图像内相对应子图像的像距信息，并根据所述子图像的像距信息计算出成像像距信息。
计算与控制装置从GPU获取待显示图像的图像数据，并根据图像数据获取注视点区域所对应于待显示图像中的子图像的像距信息。
计算将VR成像的像距调节与上述注视点区域的图像像距相同时变焦透镜组所需满足的焦距值。
较佳的，为了实现更好的对VR成像的像距进行调整，所述变焦透镜组至少包括一个透镜，为了更便于调节焦点，也可以选择使用一个凸透镜和一个凹透镜，可以想到的是，选择使用一个变焦透镜进行像距调整，还是选择使用一个凸透镜与凹透镜，透镜均需要与VR主透镜平行且共光轴。
结合图6至图7所示，以变焦透镜组包含一个凸透镜和一个凹透镜为例，对根据注视点区域信息计算出变焦透镜组所需满足的焦距值的步骤进行更加详细的说明，具体的，所述步骤包括：
首先，计算与控制装置获取待显示图像中所包含的子图像像距数据。较佳的，所述子图像的像距数据采用二维数组格式，X[i][j]为像距值，i，j分别为子图像在图像中的坐标，子图像的像距数据，如下二维矩阵所示：
其次，眼球追踪装置实时基于眼球追踪技术计算观察者正在观看的注视点位置坐标。如图6所示，追踪到人眼正在观察的注视点位置为(i,j)，即对应图中热气球中部子图像。计算与控制单元读取注视点位置坐标对应的子图像像距数据，确定图像待显示的位置，即像距。由于坐标(i,j)对应像距为X[i][j]，则图像应在像距X[i][j]处成像。
再次，计算与控制单元根据子图像的像距数据计算出变焦透镜的焦距值。本实施例光路如图7，变焦透镜组包含2片变焦透镜，沿显示屏发出的入射光方向依次排列第一变焦透镜720与第二变焦透镜730，其中第一变焦透镜为凹透镜，第二变焦透镜为凸透镜，第一变焦透镜与第二变焦透镜均与VR主透镜平行且共光轴。
如图7所示，显示屏710所显示的图像依次经过第一变焦透镜720、第二变焦透镜730分别成中间像1(760）、中间像2(770)，中间像1(760) 与中间像2(770)均为虚像，中间像2(770)经VR主透镜740成VR成像。图7中, Hp：显示屏像高；Le：人眼距VR主透镜距离，为固定值；S：VR成像与VR主透镜的距离，即像距；Ss：VR成像与人眼距离，即视距，Ss=S+Le；Hx：VR成像高度；L1：显示屏与第一变焦透镜的距离；S1：中间像1与第一变焦透镜的距离；d:第一变焦透镜与第二透镜之间距离；L：第二变焦透镜与主透镜之间距离。L1、d、L均为固定值；Lz：中间像2与VR主透镜的距离。
本发明中以f表示VR主透镜焦距；f1表示第一变焦透镜焦距,f2表示第二变焦透镜焦距,其中，f1和f2为待计算参数；
结合图7光路图所示，依据高斯成像公式可以推导出第一变焦透镜、第二变焦透镜的焦距，其推导步骤如下：
VR主透镜焦距为f，符号为正，物距为Lz，像距为（-S），（虚像）；
第一变焦透镜的焦距为-f1（凹透镜），物距为L1，像距为（-S1）（虚像）；
第二变焦透镜的焦距为f2，符号为正，物距为S1+d，像距为-(Lz-L）（虚像，像距为负）；
其中，f1、f2为待求量，需要满足的要求：
1）VR成像像距为S
2）虚像高，v为视角相关的比例，调节第一变焦透镜和第二变焦透镜焦距过程中不变。
对VR主透镜使用高斯成像公式：
因此：
（01）
VR主透镜放大倍数为 （02）
光路总放大倍数应为 （03）
第一变焦透镜与第二变焦透镜的总放大倍数k等于光路总放大倍数除以VR主透镜放大倍数，则根据上述公式（02）和公式（03），可以得到：
（04）
设：第一变焦透镜放大倍数为r1，即；
第二变焦透镜放大倍数为r2，即；
则第一变焦透镜与第二变焦透镜的总放大倍数为：
；
；
得到：
（05）
对第一变焦透镜，使用高斯成像公式：
，得到：
（1）
对第二变焦透镜使用高斯成像公式有：
，得到：
（2）
根据上述公式（01）、（04）、（05）可以得到：
（3）
（4）
（5）
则计算与控制装置根据以上公式（1）至公式（5）计算第一变焦透镜和第二变焦透镜的焦距值。
根据以上变焦公式计算的焦距值结果如下：
给定数据：
主透镜焦距f：50mm，显示屏高度：30mm，视角相关的比例因子v=0.8
人眼距VR主透镜距离Le：10mm，
第一变焦透镜物距L1：13mm，
第一变焦透镜与第二透镜之间距离d：12mm，
第二变焦透镜与主透镜之间距离L：13mm
对VR成像像距S=330mm，计算得到f1=312.00mm，f2=125.35mm；
对VR成像像距S=500mm，计算得到f1=124.80mm，f2=88.88mm；
对VR成像像距S=1000mm，计算得到f1=78.29mm，f2=69.87mm；
对VR成像像距S=2000mm，计算得到f1=65.84mm，f2=63.28mm；
对VR成像像距S=4000mm，计算得到f1=60.98mm，f2=60.47mm。
得到第一变焦透镜和第二变焦透镜所需满足的焦距值后，则根据上述焦距值生成变焦控制装置的变焦控制指令。
变焦控制装置接收变焦控制指令，根据上述计算所得到的第一变焦透镜的焦距值f1和第二变焦透镜的焦距值f2，并控制第一变焦透镜和第二变焦透镜根据上述焦距值进行的调整，从而控制VR图像的像距与所述注视点区域图像的像距保持一致。
较佳的，为了更好的实现对用户注视点区域所对应的VR成像进行显示，本发明所公开的显示控制系统还包括：与显示屏440相连接的图形处理器（即图4中所示的GPU 430）；
所述计算与控制装置，还用于计算人眼注视点区域与非注视点区域之间的像距差值，并根据所述像距差值计算各个非注视点区域所对应子图像的虚化参数；
所述图形处理器，用于根据计算出的虚化参数对各个非注视点区域所对应的子图像进行虚化处理。
本发明所述VR图像的显示控制系统，基于眼球追踪技术计算确定人眼所观察的图像区域，即确定观察者人眼当前的注视点区域，根据注视点区域确定左右眼应成像的像距，调节变焦透镜组中各透镜的焦距值以调节左右眼VR成像距离，使得左右眼图像落在应成像像距上，然后根据注视点区域与非注视点区域的像距计算非注视点区域的虚化参数，对非注视点区域进行虚化处理，不仅仅克服了由于VR图像的像距与人眼成像像距之间的差值，还避免了其他图像对用户注视点区域显示的影响，从而提供用户更加舒适的VR观看环境。
本发明所述显示控制系统的有益效果是，根据观察者的注视点位置，实时调整VR成像在光轴上的位置即像距，并可依据非注视点区域与注视点区域的像距差异对非注视点区域图像进行虚化，以解决人眼观看3D图像时的辐辏冲突问题。
本实施例公开的第二实施例为一种如所述的显示控制系统的显示控制方法，如图8所示，包括以下步骤：
步骤S810，追踪观看者的人眼，并识别出人眼注视点区域；其功能如上述系统中眼球追踪装置所述。
步骤S820，根据识别出的人眼注视点区域，计算当成像像距与注视点区域图像像距相同时所述变焦透镜组所需满足的焦距值，并根据所述焦距值生成变焦控制指令；其功能如上述系统中计算与控制装置所述。
步骤S830，接收所述变焦控制指令，控制变焦透镜组将变焦透镜组的焦距调节为所述焦距值，调整VR图像的像距与所述注视点区域图像的像距保持一致。其功能如上述系统中所述变焦控制装置所述。
较佳的，所述根据识别出的人眼注视点区域的数据信息，计算当成像像距与注视点区域图像像距相同时所述变焦透镜组所需满足的焦距值的步骤包括：
根据人眼的注视点区域获取待显示图像内相对应子图像的像距信息，并根据所述子图像的像距信息计算出成像像距信息。
较佳的，所述根据识别出的人眼注视点区域的数据信息，计算当成像像距与注视点区域图像像距相同时所述变焦透镜组所需满足的焦距值的步骤还包括：
保持显示屏、变焦透镜组和VR主透镜三者之间的位置不变，以及依据高斯成像公式推导出变焦透镜组的焦距值。
较佳的，所述变焦透镜组包括一个凸透镜和一个凹透镜，所述凸透镜与凹透镜均与主透镜平行且共光轴。
为了实现更好的对VR图像进行显示，上述显示控制方法还包括步骤：
计算人眼注视点区域与非注视点区域之间的像距差值，并根据所述像距差值计算各个非注视点区域所对应子图像的虚化参数；
根据计算出的虚化参数对各个非注视点区域所对应的子图像进行虚化处理。
为了对本发明所述提供的显示控制方法做更详细的解释，下面对本发明在具体应用实施例时的步骤进行更加详细的说明。
在进行具体实施时，如图9所示，本发明所提供的方法具有以下步骤：
步骤S910，计算与控制装置获取待显示图像中所包含的子图像像距数据。
步骤S920，眼球追踪装置基于眼球追踪技术计算观察者正在观看的注视点位置坐标。例如：观察者人眼正在观看的注视点位置坐标位于待显示图像的中部区域。
步骤S930，计算与控制装置读取注视点位置坐标对应的子图像像距数据，确定图像待显示的位置，即像距。
步骤S940，计算与控制装置计算变焦透镜组中各个变焦透镜所需满足的焦距,并生成变焦控制指令。本实施例中，变焦透镜组包含2片变焦透镜，沿显示屏发出的入射光方向依次排列第一变焦透镜720与第二变焦透镜730，第一变焦透镜为凹透镜，第二变焦透镜为凸透镜，两个变焦透镜与VR主透镜平行且共光轴。
步骤S950，变焦控制装置根据变焦控制指令调节变焦透镜组的焦距，进而调整VR图像的像距与所述注视点区域图像的像距保持一致。
步骤S960,根据注视点区域与非注视点区域的像距差值计算各非注视点区域子图像虚化因子。
步骤S970,GPU根据虚化因子对各个非注视点区域进行虚化处理。
本发明提供了一种VR图像的显示控制系统及其显示控制方法，包括：显示屏、VR主透镜、眼球追踪装置、变焦透镜组，以及与所述变焦透镜组均建立连接的计算与控制装置和变焦控制装置；所述眼球追踪装置与所述计算与控制装置相连接，用于将其获取到的人眼注视点区域数据信息传输到计算与控制装置；所述计算与控制装置获取根据注视点区域的数据信息计算出当成像像距与注视点区域图像像距相同时所述变焦透镜组所满足的焦距值；所述变焦控制装置，控制变焦透镜组调节其焦距为所述焦距值，调整VR图像的像距与人眼注视点区域图像的像距保持一致。本发明提供的显示控制系统及方法首先获取人眼的注视点区域，利用变焦透镜组调节成像像距与人眼注视点区域像距之间的差距，克服由于VR成像位置固定，视觉辐辏调节冲突的缺陷，解决了用户观看VR视频或图像时的视觉辐辏调节冲突问题。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
Claims (10)
1.一种VR图像的显示控制系统，包括：显示屏和VR主透镜，其特征在于，还包括：
用于追踪观看者的人眼，并识别出人眼注视点区域的眼球追踪装置；
用于调节VR成像位置，设置在所述VR主透镜和显示屏之间的变焦透镜组；
以及与所述变焦透镜组均建立连接的计算与控制装置和变焦控制装置；
所述眼球追踪装置与所述计算与控制装置相连接，用于将识别出的人眼注视点区域的数据信息传输到计算与控制装置；
所述计算与控制装置，用于根据注视点区域的数据信息计算出当成像像距与注视点区域图像像距相同时所述变焦透镜组所需满足的焦距值，并根据所述焦距值生成变焦控制指令；
所述变焦控制装置，接收所述变焦控制指令，控制变焦透镜组的焦距调节为所述焦距值，调整VR图像的像距与所述注视点区域图像的像距保持一致。
2.根据权利要求1所述的VR图像的显示控制系统，其特征在于，所述眼球追踪装置基于眼球追踪技术获取人眼的注视点区域。
3.根据权利要求1所述的VR图像的显示控制系统，其特征在于，所述计算与控制装置还用于，根据人眼的注视点区域的数据信息获取待显示图像内相对应子图像的像距信息，并根据所述子图像的像距信息计算出成像像距信息。
4.根据权利要求1所述的VR图像的显示控制系统，其特征在于，还包括：与显示屏相连接的图形处理器；
所述计算与控制装置，还用于计算人眼注视点区域与非注视点区域之间的像距差值，并根据所述像距差值计算各个非注视点区域所对应子图像的虚化参数；
所述图形处理器，用于根据计算出的虚化参数对各个非注视点区域所对应的子图像进行虚化处理。
5.根据权利要求2至4任一项所述的VR图像的显示控制系统，其特征在于，所述变焦透镜组至少包括一个变焦透镜，所述变焦透镜与VR主透镜平行且共光轴。
6.一种如权利要求1所述的显示控制系统的显示控制方法，其特征在于，包括以下步骤：
追踪观看者的人眼，并识别出人眼注视点区域；
根据识别出的人眼注视点区域的数据信息，计算当成像像距与注视点区域图像像距相同时所述变焦透镜组所需满足的焦距值，并根据所述焦距值生成变焦控制指令；
接收所述变焦控制指令，控制变焦透镜组将变焦透镜组的焦距调节为所述焦距值，调整VR图像的像距与所述注视点区域图像的像距保持一致。
7.根据权利要求6所述的显示控制方法，其特征在于，所述根据识别出的人眼注视点区域的数据信息，计算当成像像距与注视点区域图像像距相同时所述变焦透镜组所需满足的焦距值的步骤，还包括：
根据人眼的注视点区域的数据信息获取待显示图像内相对应子图像的像距信息，并根据所述子图像的像距信息计算出成像像距信息。
8.根据权利要求7所述的显示控制方法，其特征在于，所述根据识别出的人眼注视点区域的数据信息，计算当成像像距与注视点区域图像像距相同时所述变焦透镜组所需满足的焦距值的步骤还包括：
保持显示屏、变焦透镜组和VR主透镜三者之间的位置不变，依据高斯成像公式推导出变焦透镜组所需满足的焦距值。
9.根据权利要求6至8任一项所述的显示控制方法，其特征在于，还包括步骤：
计算人眼注视点区域与非注视点区域之间的像距差值，并根据所述像距差值计算各个非注视点区域所对应子图像的虚化参数；
根据计算出的虚化参数对各个非注视点区域所对应的子图像进行虚化处理。
10.根据权利要求6至8任一项所述的显示控制方法，其特征在于，所述变焦透镜组至少包括一个变焦透镜，所述变焦透镜与VR主透镜平行且共光轴。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810292158.9A CN108663799B (zh) | 2018-03-30 | 2018-03-30 | 一种vr图像的显示控制系统及其显示控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810292158.9A CN108663799B (zh) | 2018-03-30 | 2018-03-30 | 一种vr图像的显示控制系统及其显示控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108663799A true CN108663799A (zh) | 2018-10-16 |
| CN108663799B CN108663799B (zh) | 2020-10-09 |
Family
ID=63783005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810292158.9A Active CN108663799B (zh) | 2018-03-30 | 2018-03-30 | 一种vr图像的显示控制系统及其显示控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108663799B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108632599A (zh) * | 2018-03-30 | 2018-10-09 | 蒋昊涵 | 一种vr图像的显示控制系统及其显示控制方法 |
| CN109753260A (zh) * | 2018-12-29 | 2019-05-14 | 联想(北京)有限公司 | 一种电子设备及其控制方法 |
| CN109856802A (zh) * | 2019-04-17 | 2019-06-07 | 京东方科技集团股份有限公司 | 瞳距调节方法、装置和虚拟显示设备 |
| CN110794590A (zh) * | 2019-12-12 | 2020-02-14 | 中国科学技术大学 | 虚拟现实显示系统及其显示方法 |
| CN110933396A (zh) * | 2019-12-12 | 2020-03-27 | 中国科学技术大学 | 集成成像显示系统及其显示方法 |
| CN110954983A (zh) * | 2019-12-18 | 2020-04-03 | 京东方科技集团股份有限公司 | 一种彩色光波导结构及显示装置 |
| CN111047947A (zh) * | 2019-12-10 | 2020-04-21 | 塔普翊海（上海）智能科技有限公司 | 一种基于ar技术的书写指导器及书写指导方法 |
| CN111175990A (zh) * | 2020-02-19 | 2020-05-19 | 京东方科技集团股份有限公司 | 光场显示系统 |
| CN111580671A (zh) * | 2020-05-12 | 2020-08-25 | Oppo广东移动通信有限公司 | 视频图像处理方法及相关装置 |
| CN112099244A (zh) * | 2020-09-04 | 2020-12-18 | 中国科学院计算技术研究所苏州智能计算产业技术研究院 | 基于视网膜成像检测的自适应变焦眼镜 |
| CN113064278A (zh) * | 2021-03-22 | 2021-07-02 | 海南南岛眼镜有限公司 | 视觉增强方法、系统、计算机存储介质及智能眼镜 |
| CN113376837A (zh) * | 2021-06-09 | 2021-09-10 | Oppo广东移动通信有限公司 | 近眼显示光学系统、近眼显示设备及方法 |
| CN113890987A (zh) * | 2021-08-23 | 2022-01-04 | 歌尔光学科技有限公司 | 一种自动调焦方法、装置、电子设备及存储介质 |
| CN114341703A (zh) * | 2019-09-25 | 2022-04-12 | Jvc建伍株式会社 | 显示装置、显示系统、显示调整方法 |
| CN115227998A (zh) * | 2022-06-18 | 2022-10-25 | 张硕 | 一种红外增强现实呼吸器面罩和方法 |
| WO2022247482A1 (zh) * | 2021-05-27 | 2022-12-01 | 华为技术有限公司 | 虚拟显示设备和虚拟显示方法 |
| US11689710B2 (en) | 2021-03-31 | 2023-06-27 | Coretronic Corporation | Image processing device, image processing method and 3D image generation system |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1352753A (zh) * | 1999-05-04 | 2002-06-05 | 美国精密镜片股份有限公司 | 与像素化面板联用的具有小横色的投影透镜 |
| JP2006285482A (ja) * | 2005-03-31 | 2006-10-19 | Toppan Printing Co Ltd | 映像ジオメトリ補正装置 |
| CN201251647Y (zh) * | 2008-08-20 | 2009-06-03 | 比亚迪股份有限公司 | 一种头戴显示器 |
| CN102375235A (zh) * | 2010-08-18 | 2012-03-14 | 索尼公司 | 显示设备 |
| CN102944935A (zh) * | 2012-11-13 | 2013-02-27 | 京东方科技集团股份有限公司 | 双眼式头戴显示装置及其图像间距调整方法 |
| CN103605198A (zh) * | 2013-11-07 | 2014-02-26 | 中国科学院西安光学精密机械研究所 | 一种多探测器光学系统联动调焦机构及其调焦方法 |
| CN103698884A (zh) * | 2013-12-12 | 2014-04-02 | 京东方科技集团股份有限公司 | 开放式头戴显示装置及其显示方法 |
| CN106199958A (zh) * | 2015-05-07 | 2016-12-07 | 尚立光电股份有限公司 | 自动调焦头戴式显示装置 |
| CN106199964A (zh) * | 2015-01-21 | 2016-12-07 | 成都理想境界科技有限公司 | 能自动调节景深的双目ar头戴设备及景深调节方法 |
| CN107272200A (zh) * | 2017-05-02 | 2017-10-20 | 北京奇艺世纪科技有限公司 | 一种焦距控制设备、方法及vr眼镜 |
| CN108632599A (zh) * | 2018-03-30 | 2018-10-09 | 蒋昊涵 | 一种vr图像的显示控制系统及其显示控制方法 |
-
2018
- 2018-03-30 CN CN201810292158.9A patent/CN108663799B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1352753A (zh) * | 1999-05-04 | 2002-06-05 | 美国精密镜片股份有限公司 | 与像素化面板联用的具有小横色的投影透镜 |
| JP2006285482A (ja) * | 2005-03-31 | 2006-10-19 | Toppan Printing Co Ltd | 映像ジオメトリ補正装置 |
| CN201251647Y (zh) * | 2008-08-20 | 2009-06-03 | 比亚迪股份有限公司 | 一种头戴显示器 |
| CN102375235A (zh) * | 2010-08-18 | 2012-03-14 | 索尼公司 | 显示设备 |
| CN102944935A (zh) * | 2012-11-13 | 2013-02-27 | 京东方科技集团股份有限公司 | 双眼式头戴显示装置及其图像间距调整方法 |
| CN103605198A (zh) * | 2013-11-07 | 2014-02-26 | 中国科学院西安光学精密机械研究所 | 一种多探测器光学系统联动调焦机构及其调焦方法 |
| CN103698884A (zh) * | 2013-12-12 | 2014-04-02 | 京东方科技集团股份有限公司 | 开放式头戴显示装置及其显示方法 |
| CN106199964A (zh) * | 2015-01-21 | 2016-12-07 | 成都理想境界科技有限公司 | 能自动调节景深的双目ar头戴设备及景深调节方法 |
| CN106199958A (zh) * | 2015-05-07 | 2016-12-07 | 尚立光电股份有限公司 | 自动调焦头戴式显示装置 |
| CN107272200A (zh) * | 2017-05-02 | 2017-10-20 | 北京奇艺世纪科技有限公司 | 一种焦距控制设备、方法及vr眼镜 |
| CN108632599A (zh) * | 2018-03-30 | 2018-10-09 | 蒋昊涵 | 一种vr图像的显示控制系统及其显示控制方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张承安: "《中国园林艺术辞典》", 30 April 1994 * |
| 白玉琢 等: ""紧凑型长波致冷红外变焦距透镜系统"", 《红外技术》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108632599A (zh) * | 2018-03-30 | 2018-10-09 | 蒋昊涵 | 一种vr图像的显示控制系统及其显示控制方法 |
| CN109753260A (zh) * | 2018-12-29 | 2019-05-14 | 联想(北京)有限公司 | 一种电子设备及其控制方法 |
| US11069306B2 (en) | 2018-12-29 | 2021-07-20 | Lenovo (Beijing) Co., Ltd. | Electronic device and control method thereof |
| CN109856802A (zh) * | 2019-04-17 | 2019-06-07 | 京东方科技集团股份有限公司 | 瞳距调节方法、装置和虚拟显示设备 |
| CN114341703A (zh) * | 2019-09-25 | 2022-04-12 | Jvc建伍株式会社 | 显示装置、显示系统、显示调整方法 |
| CN114341703B (zh) * | 2019-09-25 | 2024-02-02 | Jvc建伍株式会社 | 显示装置、显示系统、显示调整方法 |
| CN111047947A (zh) * | 2019-12-10 | 2020-04-21 | 塔普翊海（上海）智能科技有限公司 | 一种基于ar技术的书写指导器及书写指导方法 |
| CN110794590A (zh) * | 2019-12-12 | 2020-02-14 | 中国科学技术大学 | 虚拟现实显示系统及其显示方法 |
| CN110933396A (zh) * | 2019-12-12 | 2020-03-27 | 中国科学技术大学 | 集成成像显示系统及其显示方法 |
| CN110794590B (zh) * | 2019-12-12 | 2023-10-20 | 中国科学技术大学 | 虚拟现实显示系统及其显示方法 |
| CN110954983A (zh) * | 2019-12-18 | 2020-04-03 | 京东方科技集团股份有限公司 | 一种彩色光波导结构及显示装置 |
| CN111175990A (zh) * | 2020-02-19 | 2020-05-19 | 京东方科技集团股份有限公司 | 光场显示系统 |
| CN111580671A (zh) * | 2020-05-12 | 2020-08-25 | Oppo广东移动通信有限公司 | 视频图像处理方法及相关装置 |
| CN112099244A (zh) * | 2020-09-04 | 2020-12-18 | 中国科学院计算技术研究所苏州智能计算产业技术研究院 | 基于视网膜成像检测的自适应变焦眼镜 |
| CN113064278A (zh) * | 2021-03-22 | 2021-07-02 | 海南南岛眼镜有限公司 | 视觉增强方法、系统、计算机存储介质及智能眼镜 |
| US11689710B2 (en) | 2021-03-31 | 2023-06-27 | Coretronic Corporation | Image processing device, image processing method and 3D image generation system |
| WO2022247482A1 (zh) * | 2021-05-27 | 2022-12-01 | 华为技术有限公司 | 虚拟显示设备和虚拟显示方法 |
| CN113376837A (zh) * | 2021-06-09 | 2021-09-10 | Oppo广东移动通信有限公司 | 近眼显示光学系统、近眼显示设备及方法 |
| CN113890987A (zh) * | 2021-08-23 | 2022-01-04 | 歌尔光学科技有限公司 | 一种自动调焦方法、装置、电子设备及存储介质 |
| CN115227998A (zh) * | 2022-06-18 | 2022-10-25 | 张硕 | 一种红外增强现实呼吸器面罩和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108663799B (zh) | 2020-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108663799A (zh) | 一种vr图像的显示控制系统及其显示控制方法 | |
| US11852890B2 (en) | Near-eye display system | |
| JP4995092B2 (ja) | ステレオカメラの画像の歪み補正装置、及びその方法 | |
| US10241329B2 (en) | Varifocal aberration compensation for near-eye displays | |
| KR100918294B1 (ko) | 입체 시화상(視畵像) 표시장치, 입체 시화상 표시방법 및컴퓨터 프로그램 | |
| CN107071382B (zh) | 立体图像显示装置 | |
| CN108632599A (zh) | 一种vr图像的显示控制系统及其显示控制方法 | |
| US20030113012A1 (en) | Method and system for controlling a screen ratio based on a photographing ratio | |
| WO2006062325A1 (en) | Apparatus for correcting image distortion of stereo-camera and method thereof | |
| EP0707288A2 (en) | Image processing method and apparatus | |
| US6788274B2 (en) | Apparatus and method for displaying stereoscopic images | |
| EP0707287B1 (en) | Image processing apparatus and method | |
| JPH08317429A (ja) | 立体電子ズーム装置及び立体画質制御装置 | |
| JP2000354257A (ja) | 画像処理装置、画像処理方法、およびプログラム提供媒体 | |
| US7280274B2 (en) | Three-dimensional image observation microscope system | |
| US9571824B2 (en) | Stereoscopic image display device and displaying method thereof | |
| JPH03292093A (ja) | ３次元表示装置 | |
| US20220060680A1 (en) | Head mounted display apparatus | |
| JP2002223458A (ja) | 立体映像作成装置 | |
| US20230239457A1 (en) | System and method for corrected video-see-through for head mounted displays | |
| CN103828362B (zh) | 成像设备以及视频记录与再现系统 | |
| JPH0685590B2 (ja) | 立体表示システム | |
| KR20020037097A (ko) | 신호처리를 이용한 주시각 제어 장치 및 그 방법과 그를이용한 평행축 입체 카메라 시스템 | |
| JP3425402B2 (ja) | 立体画像を表示する装置および方法 | |
| JP5741353B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |