CN112995638A - 自动调节视差的裸眼3d采集和显示系统及方法 - Google Patents
自动调节视差的裸眼3d采集和显示系统及方法 Download PDFInfo
- Publication number
- CN112995638A CN112995638A CN202011640988.XA CN202011640988A CN112995638A CN 112995638 A CN112995638 A CN 112995638A CN 202011640988 A CN202011640988 A CN 202011640988A CN 112995638 A CN112995638 A CN 112995638A
- Authority
- CN
- China
- Prior art keywords
- parallax
- image
- camera
- real
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000000694 effects Effects 0.000 claims abstract description 12
- 238000009877 rendering Methods 0.000 claims abstract description 10
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 8
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 8
- 210000004556 brain Anatomy 0.000 claims abstract description 7
- 230000007246 mechanism Effects 0.000 claims abstract description 7
- 238000012937 correction Methods 0.000 claims description 30
- 210000001747 pupil Anatomy 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000004304 visual acuity Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000012886 Vertigo Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008309 brain mechanism Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008288 physiological mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 231100000889 vertigo Toxicity 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明揭示了一种自动调节视差的裸眼3D采集和显示系统及方法，所述系统包括实时视频流采集模块、视差自动调节模块及裸眼3D视频显示模块；实时视频流采集模块用以采集实时视频流；视差自动调节模块用以通过对左右路图像进行立体匹配，获取图像视差图，基于观看场景计算出合适的视差范围，然后对左右路图像进行渲染得到具有合适视差的3D视频帧；裸眼3D视频显示模块用以通过分光使左侧图像投射到左眼，右侧图像投射到右眼，利用人眼和大脑的立体图像合成机制，使人感受的真实的立体效果。本发明提出的自动调节视差的裸眼3D采集和显示系统及方法，可用于实时作业的领域，提高立体信息显示的实时性和准确性。
Description
技术领域
本发明属于裸眼3D显示技术领域，涉及一种裸眼3D显示系统，尤其涉及一种自动调节视差的裸眼3D采集和显示系统及方法。
背景技术
裸眼3D技术的发展，给人们带来了亲临其境的3D观看体验，其逼真的立体效果、无束缚的观看体验，在许多行业中成为提高工作效率的利器。左右眼图像的视差和大脑对图像的合成机制使人们能够感受到立体世界。裸眼3D技术基于该生理机制，通过分光原理把采集到的具有固定视差的左右图分别投射到观看者的左右眼中，使人能够感受到逼真的立体画面。
目前3D视频通常采用前期录制、中期处理、后期播放的流程，制作成本和时间成本较大，限制了3D技术在诸多领域的需求。为了防止3D视频带来的眩晕感，3D视频的视差通常控制在一个很小的范围，3D效果微弱，且不同的观看角度和观看距离得到的3D效果不同。
有鉴于此，如今迫切需要设计一种新的3D显示系统，以便克服现有3D显示系统存在的上述至少部分缺陷。
发明内容
本发明提供一种自动调节视差的裸眼3D采集和显示系统及方法，可用于实时作业的领域，提高立体信息显示的实时性和准确性。
为解决上述技术问题，根据本发明的一个方面，采用如下技术方案：
一种自动调节视差的裸眼3D采集和显示系统，所述系统包括：
实时视频流采集模块，用以采集实时视频流；
视差自动调节模块，用以通过对左右路图像进行立体匹配，获取图像视差图，基于观看场景计算出合适的视差范围，然后对左右路图像进行渲染得到具有合适视差的3D视频帧；
裸眼3D视频显示模块，用以通过分光使左侧图像投射到左眼，右侧图像投射到右眼，利用人眼和大脑的立体图像合成机制，使人感受的真实的立体效果。
作为本发明的一种实施方式，所述实时视频流采集模块包括双目相机，作为整个3D系统的输入端；所述双目相机模拟人眼的位置进行左右布置，双目相机的基线距离根据应用场景的不同选择合适的距离；
所述实时视频流采集模块用以实时视频流的采集是通过左右两个高清相机，实时采集并输出图像数据，左右两个相机模拟人眼的位置进行安装固定，以此获取具有固定视差的左右路图像数据。
作为本发明的一种实施方式，所述视差自动调节模块经过立体校正的双目相机，获得左右路无畸变、行对准的图像；所述观看场景包括观看者、显示器、观看者之间的相互距离。
作为本发明的一种实施方式，所述实时视频流采集模块中，相机首次安装需要进行立体校正，以获取无畸变、行对准的左右路图像；所述实时视频流采集模块包括：
图像采集标定单元，用以标定图像采集，根据所述的裸眼3D采集系统，同时采集N对不同角度、不同位置拍摄的标定板图像，用于双目相机立体校正；其中，N>10；
板角点检测标定单元，用以标定板角点检测，检测所拍摄的标定板图像上内角点的位置，用于求解相机内参、外参以及畸变参数；
立体校正单元，用以进行立体校正，根据左右相机的内参、外参及畸变参数，求解左右相机之间的旋转矩阵和平移矢量，使校正后的左右相机成像平面共面；此时左右相机成像平面具有的6个自由度被限制为2个，通过进一步校正获取左右图像重投影的投影矩阵，经过最后校正映射获得行对准的左右图像。
作为本发明的一种实施方式，所述视差自动调节模块进行视差自动调节，包括：
视差图计算单元，用以计算视差图，为了加速立体匹配的时间，首先对左右路图像进行固定宽高比的缩小，然后采用SAD算法按行进行左右图立体匹配，获取视差图。最后根据缩放比例，对视差图进行插值得到原图对应的视差图；
视差范围估算单元，用以估算合适的视差范围，根据观看者的瞳距、瞳孔直径、裸眼3D 显示器的屏幕尺寸以及观看者距离显示器的距离，估算出合适视差的范围；
其中：η为人眼视锐度，标准值η≈2.907×104；L为观看距离；PD为双眼瞳距；D为瞳孔直径；Pw为屏幕像素宽度；
3D视频帧获取单元，用以根据得到视差图和合适视差范围对具有固定视差的左右图进行重新渲染，得到具有合适视差的3D视频帧，通过裸眼3D显示器上进行显示。
根据本发明的另一个方面，采用如下技术方案：一种自动调节视差的裸眼3D采集和显示方法，所述方法包括：
采集实时视频流步骤；
视差自动调节步骤；通过对左右路图像进行立体匹配，获取图像视差图，基于观看场景计算出合适的视差范围，然后对左右路图像进行渲染得到具有合适视差的3D视频帧；
裸眼3D视频显示步骤；通过分光使左侧图像投射到左眼，右侧图像投射到右眼，利用人眼和大脑的立体图像合成机制，使人感受的真实的立体效果。
作为本发明的一种实施方式，实时视频流采集步骤中，实时视频流的采集是通过左右两个高清相机，实时采集并输出图像数据，左右两个相机模拟人眼的位置进行安装固定，以此获取具有固定视差的左右路图像数据。
作为本发明的一种实施方式，视差自动调节步骤中，经过立体校正的双目相机，获得左右路无畸变、行对准的图像；所述观看场景包括观看者、显示器、观看者之间的相互距离。
作为本发明的一种实施方式，采集实时视频流步骤中，相机首次安装需要进行立体校正，以获取无畸变、行对准的左右路图像；采集实时视频流步骤包括：
标定图像采集，根据所述的裸眼3D采集系统，同时采集N对不同角度、不同位置拍摄的标定板图像，用于双目相机立体校正；其中，N>10；
标定板角点检测，检测所拍摄的标定板图像上内角点的位置，用于求解相机内参、外参以及畸变参数；
进行立体校正，根据左右相机的内参、外参及畸变参数，求解左右相机之间的旋转矩阵和平移矢量，使校正后的左右相机成像平面共面；此时左右相机成像平面具有的6个自由度被限制为2个，通过进一步校正获取左右图像重投影的投影矩阵，经过最后校正映射获得行对准的左右图像。
作为本发明的一种实施方式，所述视差自动调节步骤主要包括以下步骤：
计算视差图，为了加速立体匹配的时间，首先对左右路图像进行固定宽高比的缩小，然后采用SAD算法按行进行左右图立体匹配，获取视差图。最后根据缩放比例，对视差图进行插值得到原图对应的视差图；
估算合适视差范围，根据观看者的瞳距、瞳孔直径、裸眼3D显示器的屏幕尺寸以及观看者距离显示器的距离，估算出合适视差的范围；
其中：η为人眼视锐度，标准值η≈2.907×104；L为观看距离；PD为双眼瞳距；D为瞳孔直径；Pw为屏幕像素宽度；
根据得到视差图和合适视差范围，对具有固定视差的左右图进行重新渲染，得到具有合适视差的3D视频帧，通过裸眼3D显示器上进行显示。
本发明的有益效果在于：本发明提出的自动调节视差的裸眼3D采集和显示系统及方法，可用于实时作业的领域，提高立体信息显示的实时性和准确性。
附图说明
图1为本发明一实施例中裸眼3D采集和显示系统的组成示意图。
图2为本发明一实施例中裸眼3D采集和显示方法的流程图。
图3为本发明一实施例中实时视频流采集模块的组成示意图。
图4为本发明一实施例中视差自动调节模块的组成示意图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。
该部分的描述只针对几个典型的实施例，本发明并不仅局限于实施例描述的范围。相同或相近的现有技术手段与实施例中的一些技术特征进行相互替换也在本发明描述和保护的范围内。
说明书中各个实施例中的步骤的表述只是为了方便说明，本申请的实现方式不受步骤实现的顺序限制。说明书中的“连接”既包含直接连接，也包含间接连接。
本发明揭示了一种自动调节视差的裸眼3D采集和显示系统，图1为本发明一实施例中裸眼3D采集和显示系统的组成示意图；请参阅图1，所述系统包括：实时视频流采集模块1、视差自动调节模块2及裸眼3D视频显示模块3。实时视频流采集模块1用以采集实时视频流。视差自动调节模块2用以通过对左右路图像进行立体匹配，获取图像视差图，基于观看场景计算出合适的视差范围，然后对左右路图像进行渲染得到具有合适视差的3D视频帧。裸眼3D 视频显示模块3用以通过分光使左侧图像投射到左眼，右侧图像投射到右眼，利用人眼和大脑的立体图像合成机制，使人感受的真实的立体效果。
在本发明的一种实施方式，所述实时视频流采集模块1包括双目相机，作为整个3D系统的输入端；所述双目相机模拟人眼的位置进行左右布置，双目相机的基线距离根据应用场景的不同选择合适的距离。所述实时视频流采集模块1用以实时视频流的采集是通过左右两个高清相机，实时采集并输出图像数据，左右两个相机模拟人眼的位置进行安装固定，以此获取具有固定视差的左右路图像数据。
在一实施例中，所述实时视频流采集模块1中，相机首次安装需要进行立体校正，以获取无畸变、行对准的左右路图像。图3为本发明一实施例中实时视频流采集模块的组成示意图；请参阅图3，在本发明的一实施例中，所述实时视频流采集模块1包括：图像采集标定单元11、板角点检测标定单元12及立体校正单元13。
图像采集标定单元11用以标定图像采集，根据所述裸眼3D采集系统，同时采集N对不同角度、不同位置拍摄的标定板图像，用于双目相机立体校正；其中，N>10。
板角点检测标定单元12用以标定板角点检测，检测所拍摄的标定板图像上内角点的位置，用于求解相机内参、外参以及畸变参数。
立体校正单元13用以进行立体校正，根据左右相机的内参、外参及畸变参数，求解左右相机之间的旋转矩阵和平移矢量，使校正后的左右相机成像平面共面；此时左右相机成像平面具有的6个自由度被限制为2个，通过进一步校正获取左右图像重投影的投影矩阵，经过最后校正映射获得行对准的左右图像。
在本发明的一实施例中，所述视差自动调节模块2经过立体校正的双目相机，获得左右路无畸变、行对准的图像；所述观看场景包括观看者、显示器、观看者之间的相互距离。
图4为本发明一实施例中视差自动调节模块的组成示意图；请参阅图4，在本发明的一实施例中，所述视差自动调节模块2进行视差自动调节，包括：视差图计算单元21、视差范围估算单元22及3D视频帧获取单元23。
视差图计算单元21用以计算视差图，为了加速立体匹配的时间，首先对左右路图像进行固定宽高比的缩小，然后采用SAD算法按行进行左右图立体匹配，获取视差图。最后根据缩放比例，对视差图进行插值得到原图对应的视差图。
视差范围估算单元22用以估算合适的视差范围，根据观看者的瞳距、瞳孔直径、裸眼3D 显示器的屏幕尺寸以及观看者距离显示器的距离，估算出合适视差的范围；
其中：η为人眼视锐度，标准值η≈2.907×104；L为观看距离；PD为双眼瞳距；D为瞳孔直径；Pw为屏幕像素宽度。
3D视频帧获取单元23用以根据得到视差图和合适视差范围对具有固定视差的左右图进行重新渲染，得到具有合适视差的3D视频帧，通过裸眼3D显示器上进行显示。
本发明进一步揭示一种自动调节视差的裸眼3D采集和显示方法，图2为本发明一实施例中裸眼3D采集和显示方法的流程图；请参阅图2，所述方法包括：
【步骤S1】采集实时视频流步骤；实时视频流采集模块采集实时视频流。
在本发明的一实施例中，所述实时视频流采集模块实时视频流的采集是通过左右两个高清相机，实时采集并输出图像数据，左右两个相机模拟人眼的位置进行安装固定，以此获取具有固定视差的左右路图像数据。
在本发明的一实施例中，采集实时视频流步骤中，相机首次安装需要进行立体校正，以获取无畸变、行对准的左右路图像；采集实时视频流步骤包括：
标定图像采集，根据所述的裸眼3D采集系统，同时采集N对不同角度、不同位置拍摄的标定板图像，用于双目相机立体校正；其中，N>10；
标定板角点检测，检测所拍摄的标定板图像上内角点的位置，用于求解相机内参、外参以及畸变参数；
进行立体校正，根据左右相机的内参、外参及畸变参数，求解左右相机之间的旋转矩阵和平移矢量，使校正后的左右相机成像平面共面；此时左右相机成像平面具有的6个自由度被限制为2个，通过进一步校正获取左右图像重投影的投影矩阵，经过最后校正映射获得行对准的左右图像。
【步骤S2】视差自动调节步骤；视差自动调节模块通过对左右路图像进行立体匹配，获取图像视差图，基于观看场景计算出合适的视差范围，然后对左右路图像进行渲染得到具有合适视差的3D视频帧。
在本发明的一实施例中，所述视差自动调节步骤中，经过立体校正的双目相机，获得左右路无畸变、行对准的图像；所述观看场景包括观看者、显示器、观看者之间的相互距离。
在本发明的一实施例中，视差自动调节步骤主要包括以下步骤：
计算视差图，为了加速立体匹配的时间，首先对左右路图像进行固定宽高比的缩小，然后采用SAD算法按行进行左右图立体匹配，获取视差图。最后根据缩放比例，对视差图进行插值得到原图对应的视差图；
估算合适视差范围，根据观看者的瞳距、瞳孔直径、裸眼3D显示器的屏幕尺寸以及观看者距离显示器的距离，估算出合适视差的范围；
其中：η为人眼视锐度，标准值η≈2.907×104；L为观看距离；PD为双眼瞳距；D为瞳孔直径；Pw为屏幕像素宽度；
根据得到视差图和合适视差范围，对具有固定视差的左右图进行重新渲染，得到具有合适视差的3D视频帧，通过裸眼3D显示器上进行显示。
【步骤S3】裸眼3D视频显示步骤；裸眼3D视频显示模块通过分光使左侧图像投射到左眼，右侧图像投射到右眼，利用人眼和大脑的立体图像合成机制，使人感受的真实的立体效果。
综上所述，本发明提出的自动调节视差的裸眼3D采集和显示系统及方法，可用于实时作业的领域，提高立体信息显示的实时性和准确性。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施；例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中；例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现；例如，作为与处理器配合从而执行各个步骤或功能的电路。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。实施例中所涉及的效果或优点可因多种因素干扰而可能不能在实施例中体现，对于效果或优点的描述不用于对实施例进行限制。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。
Claims (10)
1.一种自动调节视差的裸眼3D采集和显示系统，其特征在于，所述系统包括：
实时视频流采集模块，用以采集实时视频流；
视差自动调节模块，用以通过对左右路图像进行立体匹配，获取图像视差图，基于观看场景计算出合适的视差范围，然后对左右路图像进行渲染得到具有合适视差的3D视频帧；
裸眼3D视频显示模块，用以通过分光使左侧图像投射到左眼，右侧图像投射到右眼，利用人眼和大脑的立体图像合成机制，使人感受的真实的立体效果。
2.根据权利要求1所述的自动调节视差的裸眼3D采集和显示系统，其特征在于：
所述实时视频流采集模块包括双目相机，作为整个3D系统的输入端；所述双目相机模拟人眼的位置进行左右布置，双目相机的基线距离根据应用场景的不同选择合适的距离；
所述实时视频流采集模块用以实时视频流的采集是通过左右两个高清相机，实时采集并输出图像数据，左右两个相机模拟人眼的位置进行安装固定，以此获取具有固定视差的左右路图像数据。
3.根据权利要求1所述的自动调节视差的裸眼3D采集和显示系统，其特征在于：
所述视差自动调节模块经过立体校正的双目相机，获得左右路无畸变、行对准的图像；所述观看场景包括观看者、显示器、观看者之间的相互距离。
4.根据权利要求1所述的自动调节视差的裸眼3D采集和显示系统，其特征在于：
所述实时视频流采集模块中，相机首次安装需要进行立体校正，以获取无畸变、行对准的左右路图像；所述实时视频流采集模块包括：
图像采集标定单元，用以标定图像采集，根据所述的裸眼3D采集系统，同时采集N对不同角度、不同位置拍摄的标定板图像，用于双目相机立体校正；其中，N>10；
板角点检测标定单元，用以标定板角点检测，检测所拍摄的标定板图像上内角点的位置，用于求解相机内参、外参以及畸变参数；
立体校正单元，用以进行立体校正，根据左右相机的内参、外参及畸变参数，求解左右相机之间的旋转矩阵和平移矢量，使校正后的左右相机成像平面共面；此时左右相机成像平面具有的6个自由度被限制为2个，通过进一步校正获取左右图像重投影的投影矩阵，经过最后校正映射获得行对准的左右图像。
5.根据权利要求1所述的自动调节视差的裸眼3D采集和显示系统，其特征在于：
所述视差自动调节模块进行视差自动调节，包括：
视差图计算单元，用以计算视差图，为了加速立体匹配的时间，首先对左右路图像进行固定宽高比的缩小，然后采用SAD算法按行进行左右图立体匹配，获取视差图。最后根据缩放比例，对视差图进行插值得到原图对应的视差图；
视差范围估算单元，用以估算合适的视差范围，根据观看者的瞳距、瞳孔直径、裸眼3D显示器的屏幕尺寸以及观看者距离显示器的距离，估算出合适视差的范围；
其中：η为人眼视锐度，标准值η≈2.907×104；L为观看距离；PD为双眼瞳距；D为瞳孔直径；Pw为屏幕像素宽度；
3D视频帧获取单元，用以根据得到视差图和合适视差范围对具有固定视差的左右图进行重新渲染，得到具有合适视差的3D视频帧，通过裸眼3D显示器上进行显示。
6.一种自动调节视差的裸眼3D采集和显示方法，其特征在于，所述方法包括：
采集实时视频流步骤；
视差自动调节步骤；通过对左右路图像进行立体匹配，获取图像视差图，基于观看场景计算出合适的视差范围，然后对左右路图像进行渲染得到具有合适视差的3D视频帧；
裸眼3D视频显示步骤；通过分光使左侧图像投射到左眼，右侧图像投射到右眼，利用人眼和大脑的立体图像合成机制，使人感受的真实的立体效果。
7.根据权利要求6所述的自动调节视差的裸眼3D采集和显示方法，其特征在于：
采集实时视频流步骤中，实时视频流的采集是通过左右两个高清相机，实时采集并输出图像数据，左右两个相机模拟人眼的位置进行安装固定，以此获取具有固定视差的左右路图像数据。
8.根据权利要求6所述的自动调节视差的裸眼3D采集和显示方法，其特征在于：
所述视差自动调节步骤中，经过立体校正的双目相机，获得左右路无畸变、行对准的图像；所述观看场景包括观看者、显示器、观看者之间的相互距离。
9.根据权利要求6所述的自动调节视差的裸眼3D采集和显示方法，其特征在于：
采集实时视频流步骤中，相机首次安装需要进行立体校正，以获取无畸变、行对准的左右路图像；采集实时视频流步骤包括：
标定图像采集，根据所述的裸眼3D采集系统，同时采集N对不同角度、不同位置拍摄的标定板图像，用于双目相机立体校正；其中，N>10；
标定板角点检测，检测所拍摄的标定板图像上内角点的位置，用于求解相机内参、外参以及畸变参数；
进行立体校正，根据左右相机的内参、外参及畸变参数，求解左右相机之间的旋转矩阵和平移矢量，使校正后的左右相机成像平面共面；此时左右相机成像平面具有的6个自由度被限制为2个，通过进一步校正获取左右图像重投影的投影矩阵，经过最后校正映射获得行对准的左右图像。
10.根据权利要求6所述的自动调节视差的裸眼3D采集和显示方法，其特征在于：
所述视差自动调节步骤主要包括以下步骤：
计算视差图，为了加速立体匹配的时间，首先对左右路图像进行固定宽高比的缩小，然后采用SAD算法按行进行左右图立体匹配，获取视差图。最后根据缩放比例，对视差图进行插值得到原图对应的视差图；
估算合适视差范围，根据观看者的瞳距、瞳孔直径、裸眼3D显示器的屏幕尺寸以及观看者距离显示器的距离，估算出合适视差的范围；
其中：η为人眼视锐度，标准值η≈2.907×104；L为观看距离；PD为双眼瞳距；D为瞳孔直径；Pw为屏幕像素宽度；
根据得到视差图和合适视差范围，对具有固定视差的左右图进行重新渲染，得到具有合适视差的3D视频帧，通过裸眼3D显示器上进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011640988.XA CN112995638A (zh) | 2020-12-31 | 2020-12-31 | 自动调节视差的裸眼3d采集和显示系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011640988.XA CN112995638A (zh) | 2020-12-31 | 2020-12-31 | 自动调节视差的裸眼3d采集和显示系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112995638A true CN112995638A (zh) | 2021-06-18 |
Family
ID=76345266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011640988.XA Pending CN112995638A (zh) | 2020-12-31 | 2020-12-31 | 自动调节视差的裸眼3d采集和显示系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112995638A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114650405A (zh) * | 2022-03-21 | 2022-06-21 | 嘉兴智瞳科技有限公司 | 一种立体视频最佳融像视差成像方法及装置 |
| CN115022612A (zh) * | 2022-05-31 | 2022-09-06 | 北京京东方技术开发有限公司 | 一种显示装置的驱动方法、装置及显示设备 |
| CN116939186A (zh) * | 2023-09-18 | 2023-10-24 | 北京天图万境科技有限公司 | 一种自动联想性遮盖视差裸眼空间计算的处理方法及装置 |
| CN117615113A (zh) * | 2023-10-11 | 2024-02-27 | 浙江华诺康科技有限公司 | 一种视差自动矫正方法、装置、设备和可读存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102523469A (zh) * | 2011-12-21 | 2012-06-27 | 吉林大学 | 基于视距感知的小分辨率立体视频自适应解码方法 |
| CN105008984A (zh) * | 2013-01-30 | 2015-10-28 | 大日本印刷株式会社 | 立体影像显示装置 |
| US20160219260A1 (en) * | 2015-01-22 | 2016-07-28 | Nlt Technologies, Ltd. | Stereoscopic display device and parallax image correcting method |
| CN106131536A (zh) * | 2016-08-15 | 2016-11-16 | 万象三维视觉科技（北京）有限公司 | 一种裸眼3d增强现实互动展示系统及其展示方法 |
| CN108259881A (zh) * | 2018-01-30 | 2018-07-06 | 深圳市得色科技有限公司 | 基于视差估算的3d合成方法及其系统 |
| CN108830905A (zh) * | 2018-05-22 | 2018-11-16 | 苏州敏行医学信息技术有限公司 | 仿真医疗器械的双目标定定位方法及虚拟仿真医教系统 |
| CN109525830A (zh) * | 2018-11-28 | 2019-03-26 | 浙江未来技术研究院(嘉兴) | 一种立体视频采集系统 |
| CN109668509A (zh) * | 2019-01-18 | 2019-04-23 | 南京理工大学 | 基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法 |
| CN111145361A (zh) * | 2019-12-26 | 2020-05-12 | 和信光场(深圳)科技有限公司 | 一种裸眼3d显示视觉提升方法 |
| CN111243002A (zh) * | 2020-01-15 | 2020-06-05 | 中国人民解放军国防科技大学 | 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法 |
| CN111447429A (zh) * | 2020-04-02 | 2020-07-24 | 深圳普捷利科技有限公司 | 一种基于双目摄像头摄像的车载裸眼3d显示方法及系统 |
-
2020
- 2020-12-31 CN CN202011640988.XA patent/CN112995638A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102523469A (zh) * | 2011-12-21 | 2012-06-27 | 吉林大学 | 基于视距感知的小分辨率立体视频自适应解码方法 |
| CN105008984A (zh) * | 2013-01-30 | 2015-10-28 | 大日本印刷株式会社 | 立体影像显示装置 |
| US20160219260A1 (en) * | 2015-01-22 | 2016-07-28 | Nlt Technologies, Ltd. | Stereoscopic display device and parallax image correcting method |
| CN106131536A (zh) * | 2016-08-15 | 2016-11-16 | 万象三维视觉科技（北京）有限公司 | 一种裸眼3d增强现实互动展示系统及其展示方法 |
| CN108259881A (zh) * | 2018-01-30 | 2018-07-06 | 深圳市得色科技有限公司 | 基于视差估算的3d合成方法及其系统 |
| CN108830905A (zh) * | 2018-05-22 | 2018-11-16 | 苏州敏行医学信息技术有限公司 | 仿真医疗器械的双目标定定位方法及虚拟仿真医教系统 |
| CN109525830A (zh) * | 2018-11-28 | 2019-03-26 | 浙江未来技术研究院(嘉兴) | 一种立体视频采集系统 |
| CN109668509A (zh) * | 2019-01-18 | 2019-04-23 | 南京理工大学 | 基于双棱镜单摄像机三维测量工业内窥镜系统及测量方法 |
| CN111145361A (zh) * | 2019-12-26 | 2020-05-12 | 和信光场(深圳)科技有限公司 | 一种裸眼3d显示视觉提升方法 |
| CN111243002A (zh) * | 2020-01-15 | 2020-06-05 | 中国人民解放军国防科技大学 | 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法 |
| CN111447429A (zh) * | 2020-04-02 | 2020-07-24 | 深圳普捷利科技有限公司 | 一种基于双目摄像头摄像的车载裸眼3d显示方法及系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114650405A (zh) * | 2022-03-21 | 2022-06-21 | 嘉兴智瞳科技有限公司 | 一种立体视频最佳融像视差成像方法及装置 |
| CN114650405B (zh) * | 2022-03-21 | 2023-01-24 | 嘉兴智瞳科技有限公司 | 一种立体视频最佳融像视差成像方法及装置 |
| CN115022612A (zh) * | 2022-05-31 | 2022-09-06 | 北京京东方技术开发有限公司 | 一种显示装置的驱动方法、装置及显示设备 |
| CN115022612B (zh) * | 2022-05-31 | 2024-01-09 | 北京京东方技术开发有限公司 | 一种显示装置的驱动方法、装置及显示设备 |
| CN116939186A (zh) * | 2023-09-18 | 2023-10-24 | 北京天图万境科技有限公司 | 一种自动联想性遮盖视差裸眼空间计算的处理方法及装置 |
| CN116939186B (zh) * | 2023-09-18 | 2023-12-05 | 北京天图万境科技有限公司 | 一种自动联想性遮盖视差裸眼空间计算的处理方法及装置 |
| CN117615113A (zh) * | 2023-10-11 | 2024-02-27 | 浙江华诺康科技有限公司 | 一种视差自动矫正方法、装置、设备和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11076142B2 (en) | Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene | |
| TWI712918B (zh) | 擴增實境的影像展示方法、裝置及設備 | |
| US9699438B2 (en) | 3D graphic insertion for live action stereoscopic video | |
| CN112995638A (zh) | 自动调节视差的裸眼3d采集和显示系统及方法 | |
| US20180205936A1 (en) | Stereoscopic 3d camera for virtual reality experience | |
| US8711204B2 (en) | Stereoscopic editing for video production, post-production and display adaptation | |
| US8189035B2 (en) | Method and apparatus for rendering virtual see-through scenes on single or tiled displays | |
| US8208048B2 (en) | Method for high dynamic range imaging | |
| JP4533895B2 (ja) | 画像レンダリングのための動き制御 | |
| CN101729920B (zh) | 一种自由视角立体视频显示方法 | |
| TWI531212B (zh) | 呈現立體影像之系統及方法 | |
| JP2011520398A (ja) | 立体動画による潜在的眼精疲労を測定するシステムおよび方法 | |
| US11812009B2 (en) | Generating virtual reality content via light fields | |
| CN107209949B (zh) | 用于产生放大3d图像的方法和系统 | |
| JP2022506104A (ja) | 広角画像からの視差推定 | |
| Park et al. | 48.2: Light field rendering of multi‐view contents for high density light field 3D display | |
| WO2012176526A1 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
| KR20110025083A (ko) | 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법 | |
| KR20170044319A (ko) | 헤드 마운트 디스플레이의 시야 확장 방법 | |
| Gurrieri et al. | Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos | |
| Redert et al. | 3-D scene reconstruction with viewpoint adaptation on stereo displays | |
| CN106954060B (zh) | 一种面向智能手机的立体视频生成方法及辅助拍摄装置 | |
| CN113821107B (zh) | 一种实时、自由视点的室内外裸眼3d系统 | |
| KR20140000831A (ko) | 디스플레이 장치 및 방법 | |
| Zilly | Method for the automated analysis, control and correction of stereoscopic distortions and parameters for 3D-TV applications: new image processing algorithms to improve the efficiency of stereo-and multi-camera 3D-TV productions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210618 |