CN115578296B - 一种立体视频处理方法 - Google Patents
一种立体视频处理方法 Download PDFInfo
- Publication number
- CN115578296B CN115578296B CN202211553521.0A CN202211553521A CN115578296B CN 115578296 B CN115578296 B CN 115578296B CN 202211553521 A CN202211553521 A CN 202211553521A CN 115578296 B CN115578296 B CN 115578296B
- Authority
- CN
- China
- Prior art keywords
- viewpoint
- image
- calibration
- view
- viewpoints
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000013507 mapping Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 9
- 208000002173 dizziness Diseases 0.000 abstract description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种立体视频处理方法，其涉及立体视频处理技术领域，旨在解决由于装配公差等因素的影响双光路有时的对焦点并不完全一致，对焦点不一致的视差图将极大影响立体视频的显示效果甚至造成眩晕等影响的问题，其处理步骤如下：S1：使用布局结构为棋盘格的标定板测量立体相机的单应性矩阵H，S2：将立体相机放置于目标拍摄场景中，以其中一个视点为参考视点，调整拍摄距离使其图像达到最清晰，分别记录左右视点的图像
和
；S3：利用S1获得的H矩阵，将
中的图像变换到左视点坐标下，得到新的图像集合
；S4：采用图像去模糊方法将模糊视点的图像去模糊，用去模糊图像替换原始立体图像中的模糊图像并作为输出结果。
Description
技术领域
本发明涉及视频处理技术领域，尤其涉及一种立体视频处理方法。
背景技术
立体视频技术是未来多媒体技术的发展方向，它是一种能够提供立体感的新型视频技术。与单通道视频相比，立体视频一般有两个视频通道，数据量要远远大于单通道视频；近年来，立体视频采集技术目前已是多媒体领域的研究热点。目前立体视频的采集方式主要是通过有两个视点的立体摄像机拍摄获得视差图。通过处理视差图进而呈现出立体视觉效果。
现有的技术中，为了获得较好的立体拍摄效果，双视点立体摄像机双光路需要尽量保持严格的一致性；实际应用中由于装配公差等因素的影响双光路有时的对焦点并不完全一致；对焦点不一致的视差图将极大影响立体视频的显示效果甚至造成眩晕等影响。因此需要一种能够改善对焦点不一致的视差图效果的立体视频处理方法来解决上述问题。
发明内容
针对现有技术存在的不足，本发明目的是提供一种立体视频处理方法，通过对双视点获取的图像进行变换后进行去模糊处理，同时在进行双视点拍摄时能够对左右视点进行校准选取，以解决立体视频拍摄装置双光路对焦点不一致带来的显示效果存在视差的问题。
为了实现上述目的，本发明是通过如下的技术方案来实现：一种立体视频处理方法，其处理步骤如下：
S1：使用布局结构为棋盘格的标定板测量立体相机的单应性矩阵H，获得单应性矩阵H的方法为：
A1：将标定板置于立体相机视野中；
A2：采集标定板图像，识别左右视点中的标定板的棋盘格角点位置坐标，并对其进行匹配，同时根据多次获取的标定板图像进行左右视点的校准选取；
A3：根据相机成像的几何原理，使用最小二乘法计算立体相机的单应性矩阵；
S2：将立体相机放置于目标拍摄场景中，以其中一个视点为参考视点，调整拍摄距离使其图像达到最清晰，分别记录左右视点的图像
和
，多次重复以上采集过程获得图像样本集合
和
，其中，
表示左视点图像集合，
表示右视点图像集合；
S3：利用S1获得的H矩阵，将
中的图像变换到左视点坐标下，得到新的图像集合
，其中，
表示
任意一点的像素坐标，
表示
中所对应的任意一点的像素坐标，采用以下公式变换：
；
S4：采用图像去模糊方法将模糊视点的图像去模糊，用去模糊图像替换原始立体图像中的模糊图像并作为输出结果。
进一步地，所述A2中采标定板图像采用棋盘格图像。
进一步地，所述A2还配置有视点校准方法，所述视点校准方法包括：
A211，根据标定板图像建立平面直角坐标系；
A212，通过立体相机获取左视点的标定板图像和右视点的标定板图像，并分别设定为左视点标定图像和右视点标定图像，重复采集若干组左视点标定图像和右视点标定图像；
A213，将获取到的若干组左视点标定图像和右视点标定图像放置于平面直角坐标系中，分别获取若干左视点标定图像中的左视点的坐标和右视点坐标；
A214，根据若干左视点的坐标和右视点的坐标确定标定板的棋盘格的单位划分长度，根据单位划分长度对标定板进行棋盘格划分；
A215，获取若干左视点所在的棋盘格的方格，并设定为左视点方格，选取左视点方格中的若干特征点中的一个作为左视点的坐标；获取若干右视点所在的棋盘格的方格，并设定为右视点方格，选取右视点方格中的若干特征点中的一个作为右视点的坐标。
进一步地，所述A214还包括：
A2141，获取若干左视点的横坐标和纵坐标，并分别设定为左视横坐标和左视纵坐标，求取横向间距最大的两个左视横坐标的差值，并设定为左视横向偏离值；求取纵向间距最大的两个左视纵坐标的差值，并设定为左视纵向偏离值；
A2142，获取若干右视点的横坐标和纵坐标，并分别设定为右视横坐标和右视纵坐标，求取横向间距最大的两个右视横坐标的差值，并设定为右视横向偏离值；求取纵向间距最大的两个右视纵坐标的差值，并设定为右视纵向偏离值；
A2143，将左视横向偏离值、左视纵向偏离值、右视横向偏离值、右视纵向偏离值代入到单位划分计算公式中计算得到单位划分长度；所述单位划分计算公式配置为：；其中，
为单位划分长度，
为左视横向偏离值，
为左视纵向偏离值，
为右视横向偏离值，
为右视纵向偏离值；
进一步地，步骤A215还包括：
A2151，将左视点方格的四个拐角由左上方按照顺时针进行标记，分别标记为第一左视方格拐角、第二左视方格拐角、第三左视方格拐角以及第四左视方格拐角，将左视点方格的中心点标记为左视方格中心点；
A2152，将右视点方格的四个拐角由左上方按照顺时针进行标记，分别标记为第一右视方格拐角、第二右视方格拐角、第三右视方格拐角以及第四右视方格拐角，将右视点方格的中心点标记为右视方格中心点；
A2153，将第一左视方格拐角和第一右视方格拐角作为第一组校准视点，将第二左视方格拐角和第二右视方格拐角作为第二组校准视点，将第三左视方格拐角和第三右视方格拐角作为第三组校准视点，将第四左视方格拐角和第四右视方格拐角作为第四组校准视点，将左视方格中心点和右视方格中心点作为第五组校准视点；
A2154，对左视点和右视点进行视点校准选取，分别从第一组校准视点、第二组校准视点、第三组校准视点、第四组校准视点以及第五组校准视点中随机选取一组作为左视点和右视点的校准点。
进一步地，所述S4中图像去模糊方法设置有第一图像去模糊方法和第二图像去模糊方法。
进一步地，所述S4中的第一图像去模糊方法为：
B1：分别对图像集合
和
的图像进行傅里叶变换，分别得到图像的频率域数据集合
和
；
B2：使用最小二次乘法优化以下目标函数：
B3：正常采集阶段，对每次采集的双视点图像的右视点的图像进行傅里叶变换得到
；
B4：得右视点频率域数据
，其计算方法采用下式：
B5：对
进行傅里叶逆变换获得新的图像，将该图像替换原始立体图像中的模糊视点图像作为输出结果。
进一步地，所述S4中的第二图像去模糊方法为：
C1：构建生成器网络；
优选的生成器网络每个级别的网络分为7个模块，包括1个输入块、2个编码块、1个LSTM块、2个解码块以及1个输出块；
每个编码块包括1个卷积层和3个残差模块，编码块将输入的特征映射下采样为原来的1/2，将解码块与其相对应；
每个解码块还包括1个反卷积层，反卷积层将输入的特征映射上采样到原来的2倍，输出块将上采样后的特征映射作为输入生成图像，在生成器的第1层网络运行结束时，生成最粗糙的潜在清晰图像，第2层和第3层网络将上一层生成的清晰图像与下一级别尺寸的模糊图像作为输入，对图像进行上采样，使上一层网络的输出图像适应下一层网络的输入尺寸；
C2：收集用于训练的样本数据，采用S3的样本集合
和
；
C3：对生成器网络进行训练，获得生成器网络参数；
C4：将模糊图像输入已训练生成器网络，获得去模糊后的图像。
本发明的有益效果：本发明通过使用布局结构为棋盘格的标定板测量立体相机的单应性矩阵H，在获取单应性矩阵H的方法中，将标定板置于立体相机视野中，采集标定板图像，识别左右视点中的标定板的棋盘格角点位置坐标，并对其进行匹配，同时根据多次获取的标定板图像进行左右视点的校准选取，该方法能够在立体相机投入使用前进行左右视点的与校准，从而降低使用场景中左右视点拍摄时存在的视差；
本发明通过步骤S2和S3的设置方式，能够将左右视点获取到的若干图像进行比对变换，然后采用图像去模糊方法将模糊视点的图像去模糊，用去模糊图像替换原始立体图像中的模糊图像并作为输出结果，能够提高输出的图像的显示效果。
上述立体视频处理方法，采用图像去模糊方法将模糊视点的图像去模糊，其运算速度较快适合对实时性延时要求较高的场合，且增加了立体视频的显示效果，该立体视频处理方法，可以使用两种方式对图像去模糊，降低了图像模糊的同时解决了立体视频拍摄装置双光路对焦点不一致问题。
本发明附加方面的优点将在下面的具体实施方式的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显：
图1为本发明的工作流程示意图；
图2为本发明的方法步骤流程图；
图3为本发明的标定板图像划分后的坐标示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明提供一种立体视频处理方法，通过对双视点获取的图像进行变换后进行去模糊处理，同时在进行双视点拍摄时能够对左右视点进行校准选取，旨在解决由于装配公差等因素的影响双光路有时的对焦点并不完全一致，对焦点不一致的视差图将极大影响立体视频的显示效果甚至造成眩晕等影响的问题。
实施例一
请参阅图1和图2所示，立体视频处理方法的处理步骤如下：
S1：使用布局结构为棋盘格的标定板测量立体相机的单应性矩阵H，获得单应性矩阵H的方法为：
A1：将标定板置于立体相机视野中；
A2：采集标定板图像，识别左右视点中的标定板的棋盘格角点位置坐标，并对其进行匹配，同时根据多次获取的标定板图像进行左右视点的校准选取；A2中采标定板图像采用棋盘格图像。通过使用棋盘格布局结构的标定板，能够在对左右视点进行预校准时，便于进行坐标选取和确定。
对于单应性矩阵的解释为：属于现有的投影方法中的一种，具体说的是投影的时候可以逆过来找，比如，一个物体可以通过旋转相机镜头获取两张不同的照片（这两张照片的内容不一定要完全对应，部分对应即可），我们可以把单应性设为一个二维矩阵M ，那么照片1乘以M就是照片2，这有着很多实际应用，比如图像校正、图像对齐或两幅图像之间的相机运动计算（旋转和平移）等。一旦旋转和平移从所估计的单应性矩阵中提出出来，那么该信息将可被用来导航或是把3D物体模型插入到图像或视频中，使其可根据正确的透视来渲染，并且成为原始场景的一部分。
请参阅图3所示，图3为标定板图像划分后的坐标示意图；A2还配置有视点校准方法，视点校准方法包括：
A211，根据标定板图像建立平面直角坐标系；
A212，通过立体相机获取左视点的标定板图像和右视点的标定板图像，并分别设定为左视点标定图像和右视点标定图像，重复采集若干组左视点标定图像和右视点标定图像；
A213，将获取到的若干组左视点标定图像和右视点标定图像放置于平面直角坐标系中，分别获取若干左视点标定图像中的左视点的坐标和右视点坐标；
A214，根据若干左视点的坐标和右视点的坐标确定标定板的棋盘格的单位划分长度，根据单位划分长度对标定板进行棋盘格划分；A214还包括：
A2141，获取若干左视点的横坐标和纵坐标，并分别设定为左视横坐标和左视纵坐标，求取横向间距最大的两个左视横坐标的差值，并设定为左视横向偏离值；求取纵向间距最大的两个左视纵坐标的差值，并设定为左视纵向偏离值；
A2142，获取若干右视点的横坐标和纵坐标，并分别设定为右视横坐标和右视纵坐标，求取横向间距最大的两个右视横坐标的差值，并设定为右视横向偏离值；求取纵向间距最大的两个右视纵坐标的差值，并设定为右视纵向偏离值；
A2143，将左视横向偏离值、左视纵向偏离值、右视横向偏离值、右视纵向偏离值代入到单位划分计算公式中计算得到单位划分长度；单位划分计算公式配置为：
；其中，
为单位划分长度，
为左视横向偏离值，
为左视纵向偏离值，
为右视横向偏离值，
为右视纵向偏离值。通过上述单位划分长度的计算，能够确保无论是在左视点的图像获取时还是在右视点的图像获取时，能够保证其获取误差在一个单位划分长度之内。
A215，获取若干左视点所在的棋盘格的方格，并设定为左视点方格，选取左视点方格中的若干特征点中的一个作为左视点的坐标；获取若干右视点所在的棋盘格的方格，并设定为右视点方格，选取右视点方格中的若干特征点中的一个作为右视点的坐标；步骤A215还包括：
A2151，将左视点方格的四个拐角由左上方按照顺时针进行标记，分别标记为第一左视方格拐角、第二左视方格拐角、第三左视方格拐角以及第四左视方格拐角，将左视点方格的中心点标记为左视方格中心点；
A2152，将右视点方格的四个拐角由左上方按照顺时针进行标记，分别标记为第一右视方格拐角、第二右视方格拐角、第三右视方格拐角以及第四右视方格拐角，将右视点方格的中心点标记为右视方格中心点；
A2153，将第一左视方格拐角和第一右视方格拐角作为第一组校准视点，将第二左视方格拐角和第二右视方格拐角作为第二组校准视点，将第三左视方格拐角和第三右视方格拐角作为第三组校准视点，将第四左视方格拐角和第四右视方格拐角作为第四组校准视点，将左视方格中心点和右视方格中心点作为第五组校准视点；
A2154，对左视点和右视点进行视点校准选取，分别从第一组校准视点、第二组校准视点、第三组校准视点、第四组校准视点以及第五组校准视点中随机选取一组作为左视点和右视点的校准点，通过A214中对单位划分长度的计算，保证在预校准过程中，左视点和右视点的坐标落点分别在左视点方格和右视点方格之内，通过选取对应选取左视点方格和右视点方格中的特征点作为校准点，能够提高校准点选取的效率和对应的准确度，便于后续进行立体视频合成时的位置转换计算。
A3：根据相机成像的几何原理，使用最小二乘法计算立体相机的单应性矩阵。
S2：将立体相机放置于目标拍摄场景中，以其中一个视点为参考视点，调整拍摄距离使其图像达到最清晰，分别记录左右视点的图像
和
，多次重复以上采集过程获得图像样本集合
和
，其中，
表示左视点图像集合，
表示右视点图像集合；
S3：利用S1获得的H矩阵，将
中的图像变换到左视点坐标下，得到新的图像集合
，其中，
表示
任意一点的像素坐标，
表示
中所对应的任意一点的像素坐标，采用以下公式变换：
；
S4：采用图像去模糊方法将模糊视点的图像去模糊，用去模糊图像替换原始立体图像中的模糊图像并作为输出结果；S4中图像去模糊方法设置有第一图像去模糊方法；S4中的第一图像去模糊方法为：
B1：分别对图像集合
和
的图像进行傅里叶变换，分别得到图像的频率域数据集合
和
；
B2：使用最小二次乘法优化以下目标函数：
B3：正常采集阶段，对每次采集的双视点图像的右视点的图像进行傅里叶变换得到
；
B4：得右视点频率域数据
，其计算方法采用下式：
B5：对
进行傅里叶逆变换获得新的图像，将该图像替换原始立体图像中的模糊视点图像作为输出结果。
实施例二
实施例二与实施例一的不同之处在于采用第二图像去模糊方法进行图像去模糊处理，具体的方案为：
S4中图像去模糊方法设置有第二图像去模糊方法；S4中的第二图像去模糊方法为：
C1：构建生成器网络；
优选的生成器网络每个级别的网络分为7个模块，包括1个输入块、2个编码块、1个LSTM块、2个解码块以及1个输出块；
每个编码块包括1个卷积层和3个残差模块，编码块将输入的特征映射下采样为原来的1/2，将解码块与其相对应；
每个解码块还包括1个反卷积层，反卷积层将输入的特征映射上采样到原来的2倍，输出块将上采样后的特征映射作为输入生成图像，在生成器的第1层网络运行结束时，生成最粗糙的潜在清晰图像，第2层和第3层网络将上一层生成的清晰图像与下一级别尺寸的模糊图像作为输入，对图像进行上采样，使上一层网络的输出图像适应下一层网络的输入尺寸；
C2：收集用于训练的样本数据，采用S3的样本集合
和
；
C3：对生成器网络进行训练，获得生成器网络参数；
C4：将模糊图像输入已训练生成器网络，获得去模糊后的图像。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static RandomAccess Memory，简称SRAM），电可擦除可编程只读存储器（Electrically ErasableProgrammable Read-Only Memory，简称EEPROM），可擦除可编程只读存储器（ErasableProgrammable Read Only Memory，简称EPROM），可编程只读存储器（Programmable Red-Only Memory，简称PROM），只读存储器（Read-OnlyMemory，简称ROM），磁存储器，快闪存储器，磁盘或光盘。
以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (3)
1.一种立体视频处理方法，其特征在于，其处理步骤如下：
S1：使用标定板测量立体相机的单应性矩阵H，获得单应性矩阵H的方法为：
A1：将标定板置于立体相机视野中；
A2：采集标定板图像，识别左右视点中的标定板的棋盘格角点位置坐标，并对其进行匹配，同时根据多次获取的标定板图像进行左右视点的校准选取；
A3：根据相机成像的几何原理，使用最小二乘法计算立体相机的单应性矩阵；
S2：将立体相机放置于目标拍摄场景中，以其中一个视点为参考视点，调整拍摄距离使其图像达到最清晰，分别记录左右视点的图像 
和
，多次重复以上采集过程获得图像样本集合
和
，其中，
表示左视点图像集合，
表示右视点图像集合；
S3：利用S1获得的H矩阵，将
中的图像变换到左视点坐标下，得到新的图像集合
，其中，
表示
任意一点的像素坐标，
表示
中所对应的任意一点的像素坐标，采用以下公式变换：
；
S4：采用图像去模糊方法将模糊视点的图像去模糊，用去模糊图像替换原始立体图像中的模糊图像并作为输出结果；
所述A2中采集标定板图像采用棋盘格图像；
所述A2还配置有视点校准方法，所述视点校准方法包括：
A211，根据标定板图像建立平面直角坐标系；
A212，通过立体相机获取左视点的标定板图像和右视点的标定板图像，并分别设定为左视点标定图像和右视点标定图像，重复采集若干组左视点标定图像和右视点标定图像；
A213，将获取到的若干组左视点标定图像和右视点标定图像放置于平面直角坐标系中，分别获取若干左视点标定图像中的左视点的坐标和右视点坐标；
A214，根据若干左视点的坐标和右视点的坐标确定标定板的棋盘格的单位划分长度，根据单位划分长度对标定板进行棋盘格划分；
A215，获取若干左视点所在的棋盘格的方格，并设定为左视点方格，选取左视点方格中的若干特征点中的一个作为左视点的坐标；获取若干右视点所在的棋盘格的方格，并设定为右视点方格，选取右视点方格中的若干特征点中的一个作为右视点的坐标；
所述A214还包括：
A2141，获取若干左视点的横坐标和纵坐标，并分别设定为左视横坐标和左视纵坐标，求取横向间距最大的两个左视横坐标的差值，并设定为左视横向偏离值；求取纵向间距最大的两个左视纵坐标的差值，并设定为左视纵向偏离值；
A2142，获取若干右视点的横坐标和纵坐标，并分别设定为右视横坐标和右视纵坐标，求取横向间距最大的两个右视横坐标的差值，并设定为右视横向偏离值；求取纵向间距最大的两个右视纵坐标的差值，并设定为右视纵向偏离值；
A2143，将左视横向偏离值、左视纵向偏离值、右视横向偏离值、右视纵向偏离值代入到单位划分计算公式中计算得到单位划分长度；所述单位划分计算公式配置为：
；其中，
为单位划分长度，
为左视横向偏离值，
为左视纵向偏离值，
为右视横向偏离值，
为右视纵向偏离值；
所述S4中图像去模糊方法设置有第一图像去模糊方法和第二图像去模糊方法；
所述S4中的第一图像去模糊方法为：
B1：分别对图像集合
和
的图像进行傅里叶变换，分别得到图像的频率域数据集合
和
；
B2：使用最小二次乘法优化以下目标函数：
B3：正常采集阶段，对每次采集的双视点图像的右视点的图像进行傅里叶变换得到
；
B4：得右视点频率域数据
，其计算方法采用下式：
B5：对
进行傅里叶逆变换获得新的图像，将该图像替换原始立体图像中的模糊视点图像作为输出结果。
2.根据权利要求1所述的一种立体视频处理方法，其特征在于：步骤A215还包括：
A2151，将左视点方格的四个拐角由左上方按照顺时针进行标记，分别标记为第一左视方格拐角、第二左视方格拐角、第三左视方格拐角以及第四左视方格拐角，将左视点方格的中心点标记为左视方格中心点；
A2152，将右视点方格的四个拐角由左上方按照顺时针进行标记，分别标记为第一右视方格拐角、第二右视方格拐角、第三右视方格拐角以及第四右视方格拐角，将右视点方格的中心点标记为右视方格中心点；
A2153，将第一左视方格拐角和第一右视方格拐角作为第一组校准视点，将第二左视方格拐角和第二右视方格拐角作为第二组校准视点，将第三左视方格拐角和第三右视方格拐角作为第三组校准视点，将第四左视方格拐角和第四右视方格拐角作为第四组校准视点，将左视方格中心点和右视方格中心点作为第五组校准视点；
A2154，对左视点和右视点进行视点校准选取，分别从第一组校准视点、第二组校准视点、第三组校准视点、第四组校准视点以及第五组校准视点中随机选取一组作为左视点和右视点的校准点。
3.根据权利要求1所述的一种立体视频处理方法，其特征在于：所述S4中的第二图像去模糊方法为：
C1：构建生成器网络；
生成器网络每个级别的网络分为7个模块，包括1个输入块、2个编码块、1个LSTM块、2个解码块以及1个输出块；
每个编码块包括1个卷积层和3个残差模块，编码块将输入的特征映射下采样为原来的1/2，将解码块与其相对应；
每个解码块还包括1个反卷积层，反卷积层将输入的特征映射上采样到原来的2倍，输出块将上采样后的特征映射作为输入生成图像，在生成器的第1层网络运行结束时，生成最粗糙的潜在清晰图像，第2层和第3层网络将上一层生成的清晰图像与下一级别尺寸的模糊图像作为输入，对图像进行上采样，使上一层网络的输出图像适应下一层网络的输入尺寸；
C2：收集用于训练的样本数据，采用S3的样本集合
和
；
C3：对生成器网络进行训练，获得生成器网络参数；
C4：将模糊图像输入已训练生成器网络，获得去模糊后的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211553521.0A CN115578296B (zh) | 2022-12-06 | 2022-12-06 | 一种立体视频处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211553521.0A CN115578296B (zh) | 2022-12-06 | 2022-12-06 | 一种立体视频处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115578296A CN115578296A (zh) | 2023-01-06 |
| CN115578296B true CN115578296B (zh) | 2023-03-10 |
Family
ID=84590528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211553521.0A Active CN115578296B (zh) | 2022-12-06 | 2022-12-06 | 一种立体视频处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115578296B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116206067B (zh) * | 2023-04-27 | 2023-07-18 | 南京诺源医疗器械有限公司 | 医疗设备荧光三维成像方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809719A (zh) * | 2015-04-01 | 2015-07-29 | 华南理工大学 | 基于单应性矩阵分割的虚拟视点合成的方法 |
| CN105678687A (zh) * | 2015-12-29 | 2016-06-15 | 天津大学 | 基于图像内容的立体图像拼接方法 |
| CN112449170A (zh) * | 2020-10-13 | 2021-03-05 | 宁波大学 | 一种立体视频重定位方法 |
| CN113362228A (zh) * | 2021-06-29 | 2021-09-07 | 中国科学技术大学 | 基于改进畸变校正和标记拼接的环视图像拼接方法及系统 |
| CN114401391A (zh) * | 2021-12-09 | 2022-04-26 | 北京邮电大学 | 虚拟视点生成方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108389232B (zh) * | 2017-12-04 | 2021-10-19 | 长春理工大学 | 基于理想视点的非规则表面投影图像几何校正方法 |
-
2022
- 2022-12-06 CN CN202211553521.0A patent/CN115578296B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809719A (zh) * | 2015-04-01 | 2015-07-29 | 华南理工大学 | 基于单应性矩阵分割的虚拟视点合成的方法 |
| CN105678687A (zh) * | 2015-12-29 | 2016-06-15 | 天津大学 | 基于图像内容的立体图像拼接方法 |
| CN112449170A (zh) * | 2020-10-13 | 2021-03-05 | 宁波大学 | 一种立体视频重定位方法 |
| CN113362228A (zh) * | 2021-06-29 | 2021-09-07 | 中国科学技术大学 | 基于改进畸变校正和标记拼接的环视图像拼接方法及系统 |
| CN114401391A (zh) * | 2021-12-09 | 2022-04-26 | 北京邮电大学 | 虚拟视点生成方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| "基于平面棋盘格标定板的三维空间标定新方法";王向东等;《图学学报》;第778-782页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115578296A (zh) | 2023-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11570423B2 (en) | System and methods for calibration of an array camera | |
| Jeon et al. | Accurate depth map estimation from a lenslet light field camera | |
| CN107430782B (zh) | 用于利用深度信息的全视差压缩光场合成的方法 | |
| Zhou et al. | Coded aperture pairs for depth from defocus and defocus deblurring | |
| CN103003665B (zh) | 立体测距装置 | |
| KR20170005009A (ko) | ３ｄ 라돈 이미지의 생성 및 사용 | |
| CN107545586B (zh) | 基于光场极线平面图像局部的深度获取方法及系统 | |
| JPWO2008050904A1 (ja) | 高解像度仮想焦点面画像生成方法 | |
| CN110009693B (zh) | 一种光场相机的快速盲标定方法 | |
| Kubota et al. | Reconstructing dense light field from array of multifocus images for novel view synthesis | |
| CN110766767B (zh) | 获取格雷码结构光图像的方法、系统、装置 | |
| CN115578296B (zh) | 一种立体视频处理方法 | |
| Wang et al. | Depth from semi-calibrated stereo and defocus | |
| CN107256563B (zh) | 基于差异液位图像序列的水下三维重建系统及其方法 | |
| Mustaniemi et al. | Parallax correction via disparity estimation in a multi-aperture camera | |
| CN113160393A (zh) | 基于大景深的高精度三维重建方法、装置及其相关组件 | |
| Luo et al. | KeystoneDepth: History in 3D | |
| Ziegler | Advanced image processing for immersive media applications using sparse light-fields | |
| CN116258759B (zh) | 一种立体匹配方法、装置和设备 | |
| Shi et al. | Learning based Deep Disentangling Light Field Reconstruction and Disparity Estimation Application | |
| CN113821107B (zh) | 一种实时、自由视点的室内外裸眼3d系统 | |
| Chandramouli et al. | Motion deblurring for plenoptic images | |
| Zilly | Method for the automated analysis, control and correction of stereoscopic distortions and parameters for 3D-TV applications | |
| Labussière et al. | Blur aware metric depth estimation with multi-focus plenoptic cameras | |
| Zilly | Method for the automated analysis, control and correction of stereoscopic distortions and parameters for 3D-TV applications: new image processing algorithms to improve the efficiency of stereo-and multi-camera 3D-TV productions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |