CN109993781B - 基于双目立体视觉匹配的视差图像生成方法及系统 - Google Patents
基于双目立体视觉匹配的视差图像生成方法及系统 Download PDFInfo
- Publication number
- CN109993781B CN109993781B CN201910241340.6A CN201910241340A CN109993781B CN 109993781 B CN109993781 B CN 109993781B CN 201910241340 A CN201910241340 A CN 201910241340A CN 109993781 B CN109993781 B CN 109993781B
- Authority
- CN
- China
- Prior art keywords
- matching
- pixel point
- pixel
- window
- windows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000005284 excitation Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 42
- 238000012545 processing Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种基于双目立体视觉匹配的视差图像生成方法及系统，本申请通过一对散斑图像生成二值图像，并根据二值图像生成视差图像，一方面散斑图像包含的信息相对实物图简单，影响因素小，但却可以很好地反映出物体的表面属性，因此通过提取散斑信息计算视差图相比于传统的双目立体视觉方法(BM、SGBM等)可以有效降低匹配的计算量。基于此，本申请并未直接对散斑图求取视差，而是先将散斑图转化为两个二值图像，二值图像的每个像素点仅包括两种取值，基于二值图像实现双目立体匹配大大减小了像素匹配的计算量，对硬件负担较小，易于实现，计算迅速，能够用于人脸识别等深度传感器设备中。
Description
技术领域
本发明属于图像处理领域，更具体的，涉及一种基于双目立体视觉匹配的视差图像生成方法、系统、电子设备及可读介质。
背景技术
深度传感器的快速发展为计算机视觉领域带来了新的变革，深度估计信息被充分应用于自动驾驶、3D重建、行为识别和活体检测相关难题解决方案中。目前主流深度传感器主要包含3种技术类型：飞行时间(time of flight,ToF)、结构光与双目视觉。
双目立体视觉是基于视差原理，利用成像设备(Camera)从不同的位置获取被测环境的两幅图像，通过同一物体在不同图像中的像素差，利用三维几何原理计算深度信息。但是目前双目立体视觉匹配方法复杂，计算处理量大，对设备负担较大，存在诸多不足。
发明内容
为了解决目前双目立体视觉技术存在的上述问题的至少一个，本发明提供一种基于双目立体视觉匹配的视差图像生成方法、系统、电子设备及可读介质，本申请通过一对散斑图像生成二值图像，并根据二值图像生成视差图像，一方面散斑图像包含的信息相对实物图简单，影响因素小，但却可以很好地反映出物体的表面属性，因此利用散斑图像大大减小了视差图生成的计算量，此外，本申请并未直接对散斑图求取视差，而是先将散斑图转化为两个二值图像，二值图像的每个像素点仅包括两种取值，大大减小了像素匹配的计算量，对硬件负担较小，易于实现，计算迅速，能够用于人脸识别等深度传感器设备中。
本发明第一方面提供一种基于双目立体视觉匹配的视差图像生成方法，包括：
基于获取的一对散斑图像，对应生成一对二值图像；所述一对散斑图像是物体在设定光束照射下经一对双目标定后的摄像头捕获的散斑的图像；
基于所述一对二值图像生成视差图像。
在某些实施例中，所述基于获取的一对散斑图像，对应生成一对二值图像，包括：
将获取的一对散斑图像对应转化为一对灰度图像；
将所述一对灰度图像对应转化为所述一对二值图像。
在某些实施例中，所述将所述一对灰度图像对应转化为所述一对二值图像，包括：
将每个灰度图像划分为若干尺寸相同的像素窗口；
对每个像素窗口内的像素点按照灰度值从大到小的顺序排序；
对排序中位于设定位置之前的第一赋值点和排列在设定位置之后的第二赋值点分别赋值为第一赋值及第二赋值，并将每个像素窗口转化为二值像素窗口；
基于若干所述像素窗口在每个灰度图中的位置，将若干二值像素窗口拼接为对应的两个二值图像。
在某些实施例中，所述一对二值图像为第一二值图像和第二二值图像，所述第一二值图像中的像素点为第一像素点，第二二值图像中的像素点为第二像素点；
所述基于所述一对二值图像生成视差图像，包括：
基于所有第一像素点和第二像素点的赋值，确定第一像素点与第二像素点之间一一对应的匹配关系；
根据每个第一像素点和第二像素点在二值图像中的位置，计算每个第一像素点与其具有匹配关系的第二像素点之间的位置偏差值；
将所述位置偏差值映射为灰度值或者色彩值，对所有第一像素点进行赋值操作，生成所述视差图。
在某些实施例中，在确定匹配关系之前，所述基于所述一对二值图像生成视差图像还包括：
确定与每个第一像素点一一对应的第一匹配窗口，和与每个第二像素点一一对应的第二匹配窗口；其中匹配窗口为二值图像中以选取的像素点为中心的部分图像；
所述确定第一像素点与第二像素点之间一一对应的匹配关系，包括：
针对每个第一匹配窗口，选取出若干第二匹配窗口；
针对每个第一匹配窗口，计算其与对应的若干第二匹配窗口中的每一个之间的匹配度；其中所述匹配度根据两个匹配窗口中每个像素点的赋值确定；
针对每个第一匹配窗口，查找出与其匹配度最大的第二匹配窗口，以此确定每个第一匹配窗口与第二匹配窗口的一一对应关系，进而确定第一像素点与第二像素点之间一一对应的匹配关系。
在某些实施例中，所述针对每个第一匹配窗口，选取出若干第二匹配窗口，包括：
针对每个第一匹配窗口，根据对应第一匹配窗口的第一像素点所处第一二值图像中的位置，在第二二值图像中选取出所处位置与该第一像素点相同的第二像素点；
以选取出的第二像素点为中心，预设像素长度为搜索半径，获取处于搜索范围内的所有第二像素点；
选取与搜索范围内所有第二像素点一一对应的若干第二匹配窗口。
在某些实施例中，所述针对每个第一匹配窗口，计算其与对应的若干第二匹配窗口中的每一个之间的匹配度，包括：
根据其中一个第一匹配窗口中每个第一像素点的赋值，以及与其对应的其中一个第二匹配窗口中第二像素点的赋值，计算该其中一个第一匹配窗口与该对应的其中一个第二匹配窗口的匹配度；
遍历所有第一匹配窗口和与其各自对应的所有第二匹配窗口，计算每个第一匹配窗口和与其各自对应的若干第二匹配窗口中的每一个之间的匹配度。
在某些实施例中，所述根据其中一个第一匹配窗口中每个第一像素点的赋值，以及与其对应的其中一个第二匹配窗口中第二像素点的赋值，计算该其中一个第一匹配窗口与该对应的其中一个第二匹配窗口的匹配度，包括：
按照像素点在匹配窗口中的位置，将该第一匹配窗口中的每个第一像素点与该第二匹配窗口中的每个第二像素点建立一一对应的关联关系；
根据具有关联关系的第一像素点和第二像素点之间的赋值，计算两个像素点之间的匹配值；
遍历该第一匹配窗口中的所有第一像素点，计算出每个第一像素点与其关联的第二像素点之间的匹配值；
对计算出的匹配值进行求和处理，获得该其中一个第一匹配窗口与该对应的第二匹配窗口的匹配度。
在某些实施例中，根据具有关联关系的第一像素点和第二像素点之间的赋值，计算两个像素点之间的匹配值，包括：
若具有关联关系的第一像素点和第二像素点均具有第一赋值，根据预设第一正向激励确定匹配值；
若具有关联关系的第一像素点和第二像素点均具有第二赋值，根据预设第二正向激励确定匹配值；
若具有关联关系的第一像素点和第二像素点具有不同赋值，根据预设负向激励确定匹配值。
在某些实施例中，在将所述一对灰度图像对应转化为一对二值图像之前，所述方法还包括：
对所述一对灰度图像进行预处理。
在某些实施例中，所述对所述一对灰度图像进行预处理，至少包括如下至少一个：
对所述一对灰度图进行图像补边处理；
对所述一对灰度图像进行提高对比度处理；以及
对所述一对灰度图像进行图像归一化处理。
本发明第二方面提供一种基于双目立体视觉匹配的视差图像生成系统，包括：
二值图像生成模块，基于获取的一对散斑图像，对应生成一对二值图像；所述一对散斑图像是物体在设定光束照射下经一对双目标定后的摄像头捕获的散斑的图像；
视差图像生成模块，基于所述一对二值图像生成视差图像。
在某些实施例中，所述二值图像生成模块，包括：
灰度图像转化单元，将获取的一对散斑图像对应转化为一对灰度图像；
二值图像转化单元，将所述一对灰度图像对应转化为所述一对二值图像。
本发明的有益效果如下：
本发明提供一种基于双目立体视觉匹配的视差图像生成方法、系统、电子设备及可读介质，本申请通过一对散斑图像生成二值图像，并根据二值图像生成视差图像，一方面散斑图像包含的信息相对实物图简单，影响因素小，但却可以很好地反映出物体的表面属性，因此通过提取散斑信息计算视差图相比于传统的双目立体视觉方法(BM、SGBM等)可以有效降低匹配的计算量。基于此，本申请并未直接对散斑图求取视差，而是先将散斑图转化为两个二值图像，二值图像的每个像素点仅包括两种取值，基于二值图像实现双目立体匹配大大减小了像素匹配的计算量，对硬件负担较小，易于实现，计算迅速，能够用于人脸识别等深度传感器设备中。
在优选的实施例中，本申请提供的二值匹配方法首先将散斑图处理为灰度图，并对灰度图进行二值量化处理，然后利用搜索匹配出的匹配窗口实施二值匹配，通过对两个二值图像中的对应匹配窗口中所有像素点求取匹配值的方式，提高了二值匹配的精度，考虑了像素点在整个匹配窗口中的影响，使得每个像素点的计算更加准确，提高了二值计算的精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a至图1e示出本发明实施例中几种不同场景的基于双目立体视觉匹配的深度感知系统的结构示意图。
图2示出本发明实施例中将灰度图像转化为二值图像的过程示意图。
图3a至图3f示出本发明具体实施例方式中对二值图像进行匹配处理的详细过程示意图。
图4示出本发明实施例中一种基于双目立体匹配的视差图像生成方法的流程示意图。
图5示出图4的步骤S100的具体流程示意图之一。
图6示出图5中步骤S120的具体流程示意图。
图7示出图4中步骤S200的具体流程示意图之一。
图8示出图4中步骤S200的具体流程示意图之二。
图9示出图7中步骤S210的具体流程示意图。
图10示出图9中步骤S211的具体流程示意图。
图11示出图9中步骤S212的具体流程示意图。
图12示出图11中步骤S212-1的具体流程示意图。
图13示出图12中步骤S212-1a的具体流程示意图。
图14示出图4中的步骤S100的具体流程示意图之二。
图15示出图14中步骤S105的具体流程示意图。
图16示出本发明实施例中一种基于双目立体匹配的视差图像生成系统的结构示意图。
图17示出图16中二值图像生成模块100的具体结构示意图之一。
图18示出图17中二值图像转化单元120的具体结构示意图。
图19示出图16中视差图像生成模块200的具体结构示意图之一。
图20示出图16中视差图像生成模块200的具体结构示意图之二。
图21示出图19中匹配关系确定单元210的具体结构示意图。
图22示出图21中第二匹配窗口选取单元211的具体结构示意图。
图23示出图21中匹配度计算单元212的具体结构示意图。
图24示出图23中单个匹配度计算单元212-1的具体结构示意图。
图25示出图24中关联关系建立单元212-1a的具体结构示意图。
图26示出图16中二值图像生成模块100的具体结构示意图之二。
图27示出图26中预处理单元115的具体结构示意图。
图28示出适于用来实现本申请实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前双目立体视觉匹配方法复杂，计算处理量大，对设备负担较大，存在诸多不足。
基于此，本申请实施例通过一对散斑图像生成二值图像，并根据二值图像生成视差图像，一方面散斑图像包含的信息相对实物图简单，影响因素小，但却可以很好地反映出物体的表面属性，因此利用散斑图像大大减小了视差图生成的计算量，此外，本申请并未直接对散斑图求取视差，而是先将散斑图转化为两个二值图像，二值图像的每个像素点仅包括两种取值，大大减小了像素匹配的计算量，对硬件负担较小，易于实现，计算迅速，能够用于人脸识别等深度传感器设备中。
本申请实施例中提供了一种基于双目立体视觉匹配的深度感知系统，参见图1a，该深度感知系统包括：图像采集模块101，设定光束发出模块102，服务器103。
在实际应用中，设定光束发出模块102可以发出设定光束，设定光束是可在所述物体上形成散斑的光束，一般为红外光或者激光，即设定光束发出模块102可以是红外光发射器或者激光发射器等。
图像采集模块101包括有通过一对经双目标定的摄像头，通过一对摄像头可采集对应左摄像头和对应右摄像头的一对图像，并且在本系统中，摄像头是与设定光束发出模块102相匹配的摄像头，例如当设定光束为红外光时，摄像头可以采集红外光照射到物体上所形成的图像，当设定光束为激光时，摄像头可以采集激光照射到物体上所形成的图像，通过图像采集模块101可以获取一对散斑图像，即左散斑图像和右散斑图像。
在一个优选的实施例中，可以对左散斑图像和右散斑图像进行极线矫正，避免图像本身带来的不利影响。
一般地，一对摄像头在采集图像前，需要进行相机标定等常规消除畸变、噪音的措施，本申请不限于此。
在一些实施例中，一对摄像头可以是双目摄像头中的两个摄像头，也可以是两个独立存在的摄像头，本申请不限于此，只要该一对摄像头经过双目标定即可，当然，在双目标定之前，还可以对单个摄像头进行标定。但需要理解，经双目标定的两个摄像头需要处于于同一水平线上，并且中轴线互相平行。
在实际应用中，本系统还包括数据传输模块104，例如蓝牙、无线信号发射器等，将一对摄像头采集的一对散斑图传输至服务器103中，然后服务器基于获取的一对散斑图像，对应生成一对二值图像，并基于所述一对二值图像生成视差图像。
数据传输模块104将待生成视差图的一对散斑图像发送至服务器103，所述服务器103在线接收图像数据，部署有二值图像匹配算法的所述服务器103在线或者离线将获取的一对散斑图像转换为一对二值图像，然后根据一对二值图像输出对应该一对散斑图的视差图。然后服务器103将该视差图发送给需要的设备，例如客户端设备，或者服务器103将视差图输入深度计算模型得到深度图，深度计算模型基于深度计算公式建立，其输入是视差图像，输出是深度图像。
在实际应用中，如图1b，服务器103可以替代为客户端设备105，进行散斑图像转换二值图像和基于二值图像生成视差图可以至少部分在客户端设备105执行，具体可以根据客户端设备105的处理能力，以及用户使用场景的限制等进行选择。例如用户可以在线或离线进行视差图的生成，本申请不做限制。
为了提高视差图输出的效率和整合性，客户端设备105上可以集成一对摄像头，即图像采集模块101集成在客户端设备105上，用户可以通过操作客户端设备105在目标场地对目标物进行图像拍摄，然后直接应用该客户端设备105对采集的一对散斑图进行处理，输出视差图，如图1d；或者应用该客户端设备105将采集到的一对散斑图发送至服务器103，并接收服务器回传的视差图，如图1c，即客户端设备105集成了图像采集模块101、数据传输模块104的功能。
如图1e，服务器103也可以替代为上位机106，进行散斑图像转换二值图像和基于二值图像生成视差图可以在上位机106上执行，上位机通过有线数据线或者无线通信接收图像数据，然后利用内置的二值图像匹配算法将获取的一对散斑图像转换为一对二值图像，然后根据一对二值图像输出对应该一对散斑图的视差图。然后上位机106将该视差图发送给需要的设备，例如客户端设备，或者上位机106将视差图输入深度计算模型得到深度图，深度计算模型基于深度计算公式建立，其输入是视差图像，输出是深度图像。
在具有客户端设备105的实施例中，客户端设备105可以是手机、平板电脑、可穿戴设备、台式电脑、一体机等等，本申请对客户端设备105的具体形式不予限制。
在一个或多个实施例中，当本系统用于人脸识别时，可以将摄像头旋转90°捕获散斑图像，旋转90°的摄像头可以有效提高摄像头采集人脸的信息量，同时降低硬件计算深度图需要的硬件资源开销。
将散斑图像转化为灰度图像，首先确定图像在RGB三个通道上数值，然后对每个通道设定特定的权重，进而形成灰度值与三个通道数值的对应关系。
在一些实施例中，一对应关系为：Gray＝(R*30+G*59+B*11+50)/100
其中，R、G、B分别表示RGB图片三个通道上的数值；Gray表示转成灰度图以后的数值。
二值图像的转化首先将灰度图像划分为若干像素窗口，每个像素窗口的尺寸相同，然后对每个像素窗口中的像素点按照灰度值的大小进行排序，排列在前的灰度值较大，排列在后的灰度值较小，此时按照一定的比例，例如20％，即位置处于前20％的像素点赋值为1(或者其他数值，例如225等)，位置处于20％之后的像素点赋值为0(或者其他与前20％赋值不同的数值，例如100)，这样即将每个像素窗口中的像素值处理为1和0，或者是其他类似的两个值，所有的像素点的像素值均为二值中的一个，然后按照原划分规则，即按照原像素窗口在原灰度图像中的位置，将转化为二值像素窗口拼接为二值图像。如图2所示，例如将灰度图像划分为4个像素窗口，分别为a1、a2、a3、a4，每个像素窗口中有四个像素点，转化为二值后按照原窗口的位置形成二值图像，当然，图示中仅仅是简化的示意图，实质上图像的尺寸并非如此，一般地可以为1980*1080、1080*720等，本申请不限于此。
二值图像生成之后，需要对两个二值图像进行视差匹配，假设两个二值图像分别为M和N，则M中的像素点为m1、m2…(以此类推)，N中的像素点为n1、n2…(以此类推，M和N中的像素点的个数是相同的(例如分辨率均为1980*1080)，由于上述两个二值图像是针对同一个物体的图像，因此可以对M和N中的每个像素点进行视差匹配，下面以M中的一个像素点对视差匹配进行详细说明。
如图3a至图3c所示，对于位于二值图像M中的一个像素点mx，从二值图像N中选取一个与mx相对位置相同的nx，即若在二值图像上建立直角坐标系x-y，横坐标对应图中的左右方向，纵坐标对应图中的上下方向，即每个像素点都具有一个位置坐标，假设mx对应的位置坐标为(x，y)，则在二值图像中查找出(x，y)的像素点nx，然后在二值图像N中以(x，y)为中心，以一个设定的像素长度(例如2个像素)为搜索半径，形成一个正方形的搜索范围，搜索区域中共有9个像素点，像素点的坐标分别为(x-1，y-1)、(x，y-1)、(x+1，y-1)、(x-1，y)、(x，y)、(x+1，y)、(x-1，y+1)、(x，y+1)、(x+1，y+1)，此时针对每个像素点形成一个匹配窗口，设定为nv1至nv9，每个匹配窗口的中心像素点的坐标为上面9个像素点的坐标，即nv1对应中心像素点的坐标为(x-1，y-1)，nv4对应中心像素点的坐标为(x-1，y)以此类推。同样的，在二值图像M中，以(x，y)为中心，形成一个同样大小的匹配窗口mv，假设匹配窗口的大小为3*3，则每个匹配窗口中包括9个像素点，以其中一个nv1为示例，计算匹配窗口nv1与mv的匹配度。
需要说明的是，图3a至图3f中的灰度没有任何含义，仅仅是用于区分选取的像素，其中灰度更深的像素点表示对应匹配窗口的中心像素点。例如，图3b中的mx，其对应的mv如图3b所示，图3c中的nv1，其右上角的三个灰度较浅的像素点和灰度较深的像素点对应二值图像N中左下角的四个像素点，nv1中白色的像素点对应二值图像N中未标记出的像素点(具体为左下角的外侧像素点)，其中较深的像素点表示该匹配窗口以该像素点(x-1，y-1)为中心。
匹配度的计算过程为：计算两个匹配窗口nv1与mv中相对位置相同的像素点之间的匹配值的加和，此处重新定义两个匹配窗口的坐标，对于3*3的匹配窗口，其中的像素点的坐标为(1,1)、(1,2)、(1,3)、(2,1)、(2,2)、(2,3)、(3,1)、(3,2)和(3,3)，将nv1中的坐标为(1,1)的像素点与mv中坐标为(1,1)的像素点建立关联关系，计算这两个像素点的匹配值，以此类推，进而计算出上述9个具有关联关系的匹配值，然后将这9个匹配值相加，得出一个匹配度K1，该匹配度K1为nv1与mv之间的匹配度。
匹配值的计算可以有很多种不同方式，本申请实施例列举出其中一种，首先确定出两个正向激励和一个负向激励，例如两个正向激励为P1和P2，负向激励为Q，Q是不匹配的惩罚。则如果两个具有关联关系的像素点的赋值均为相同的其中一个赋值(例如1)时，则匹配值cost＝cost0+P1，如果两个具有关联关系的像素点的赋值均为另一个赋值(例如0)时，则匹配值cost＝cost0+P2，如果两个具有关联关系的像素点的赋值一个为0，一个为1，即赋值不同时，cost＝cost0-Q。
同样的计算方式用于nv2至nv9，依次计算出nv2与mv、nv3与mv…(以此类推)至nv9与mv的匹配度K2、K3至K9。比较K1至K9的值的大小，选取最大的作为最优匹配，如图3d所示，假设在K1至K9中K4的值最大，此时选取K4作为最优匹配，则K4对应的nv4为与mv的最优匹配窗口，nv4所对应的中心像素点为(x-1，y)，因此确定在二值图像M中的坐标为(x，y)的像素点与二值图像N中坐标为(x-1，y)的像素点之间具有匹配关系。
基于双目匹配的视差图是根据图中每个像素点之间的匹配关系生成，即在两个二值图像中，二值图像M和二值图像N中每一个点均具有匹配关系，如图3e和图3f所示，通过计算两个具有匹配关系的像素点各自在二值图像中的坐标位置差，以上述具有匹配关系的像素点M中的(x，y)和N中的(x-1，y)，说明这两个点的坐标差为x＝-1，y＝0，然后将-1映射为颜色值或者灰度值，即二值图像M中的每个像素点都可以根据二值图像N中具有匹配关系的像素点的坐标差，形成一个颜色值或者灰度值，然后对该二值图像M中的每个像素对应赋值为颜色值或灰度值，这样就形成了能够体现视差的视差图。
本系统基于二值图像生成视差图，因此作为一个优选例，可以对灰度图像进行图像增强的预处理，灰度图像经过图像增强后，能够提高灰度的对比度，便于后续的二值化处理，使得二值处理计算量更低，并且精确度更高。
图像增强操作一般包括：通过直方图均衡化、拉普拉斯算子提高对比度，通过高帽滤波增强图像。
常规的彩色图转化为二值图像时，若经过图像增强处理，由于彩色图具有三个色彩通道，图像增强需要考虑三个色彩通道的比重，并且还需要考虑不同场景下不同色彩的影响，因此增强后的彩色图容易导致失真过度，对最终的二值化处理产生巨大影响。
进一步的，在上述匹配处理的过程中，由于匹配窗口是以匹配的像素点为中心建立的窗口，若选取的像素点为边缘像素点，则无法利用上述方式进行匹配，或者需要更改匹配窗口的建立策略，例如建立一维匹配窗口，这样对实际精确度产生一定影响。
因此，优选的，在进行匹配窗口建立之前，可以对图像进行补边操作，例如假设原图像的分辨率是1280*960，对该图像水平补边128个像素，得到(1280+128)*960分辨率的图像；补边操作是将1280*960最左边的960个像素，复制128次，放在图片的最左边，其他边缘也可以这样处理。
进一步的，本申请还可以对图像进行归一化操作，由于两个相机离投射器的距离有差异、并且相机的角度与投射器的角度有差异，因此往往会出现一个摄像头(A)的照片偏亮、一个摄像头(B)的照片偏暗；这种现象视觉上表现为对应的匹配点，A的灰度值高于B的灰度值；为了消除问题，将A与B都归一化道0～255的数据范围；Gray(A)＝((Gray-min)/(max-min))*255。
本领域公知的，在需要的场景下，可以对最终得到的视差图进行后处理操作，例如唯一性检测、亚像素插值、左右一致性检查、双边滤波、连通域滤波等，本申请不予赘述。
可以知晓，本系统通过一对散斑图像生成二值图像，并根据二值图像生成视差图像，一方面散斑图像包含的信息相对实物图简单，影响因素小，但却可以很好地反映出物体的表面属性，因此通过提取散斑信息计算视差图相比于传统的双目立体视觉方法(BM、SGBM等)可以有效降低匹配的计算量。基于此，本申请并未直接对散斑图求取视差，而是先将散斑图转化为两个二值图像，二值图像的每个像素点仅包括两种取值，基于二值图像实现双目立体匹配大大减小了像素匹配的计算量，对硬件负担较小，易于实现，计算迅速，能够用于人脸识别等深度传感器设备中。
在优选的实施例中，本申请提供的二值匹配方法首先将散斑图处理为灰度图，并对灰度图进行二值量化处理，然后利用搜索匹配出的匹配窗口实施二值匹配，通过对两个二值图像中的对应匹配窗口中所有像素点求取匹配值的方式，提高了二值匹配的精度，考虑了像素点在整个匹配窗口中的影响，使得每个像素点的计算更加准确，提高了二值计算的精确度。
虽然本申请提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本申请实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。
对于客户端设备、服务器或者上位机而言，为了解决双目立体视觉匹配方法复杂，计算处理量大，对设备负担较大的问题，参见图4，本申请第一方面提供一种基于双目立体匹配的视差图像生成方法，具体包括：
S100：基于获取的一对散斑图像，对应生成一对二值图像；所述一对散斑图像是物体在设定光束照射下经一对双目标定后的摄像头捕获的散斑的图像；
S200：基于所述一对二值图像生成视差图像。
从上述描述可以知晓，本方面通过一对散斑图像生成二值图像，并根据二值图像生成视差图像，一方面散斑图像包含的信息相对实物图简单，影响因素小，但却可以很好地反映出物体的表面属性，因此通过提取散斑信息计算视差图相比于传统的双目立体视觉方法(BM、SGBM等)可以有效降低匹配的计算量。基于此，本申请并未直接对散斑图求取视差，而是先将散斑图转化为两个二值图像，二值图像的每个像素点仅包括两种取值，基于二值图像实现双目立体匹配大大减小了像素匹配的计算量，对硬件负担较小，易于实现，计算迅速，能够用于人脸识别等深度传感器设备中。
为了降低散斑图向二值图像转化的处理量，参见图5，提供一种二值图像的生成过程，可以包括如下步骤：
S110：将获取的一对散斑图像对应转化为一对灰度图像。
S120：将所述一对灰度图像对应转化为所述一对二值图像。
将散斑图像转化为灰度图像，首先确定图像在RGB三个通道上数值，然后对每个通道设定特定的权重，进而形成灰度值与三个通道数值的对应关系。
在一些实施例中，一对应关系为：Gray＝(R*30+G*59+B*11+50)/100
其中，R、G、B分别表示RGB图片三个通道上的数值；Gray表示转成灰度图以后的数值。
参见图6所示，结合上述系统中关于匹配处理的描述可以知晓步骤S102具体包括：
S121：将每个灰度图像划分为若干尺寸相同的像素窗口。
S122：对每个像素窗口内的像素点按照灰度值从大到小的顺序排序。
S123：对排序中位于设定位置之前的第一赋值点和排列在设定位置之后的第二赋值点分别赋值为第一赋值及第二赋值，并将每个像素窗口转化为二值像素窗口。
S124：基于若干所述像素窗口在每个灰度图中的位置，将若干二值像素窗口拼接为对应的两个二值图像。
详细示例可参加上述系统的描述，通过上述步骤S121至S124，可以获得两个二值图像(第一二值图像和第二二值图像)，设定所述第一二值图像中的像素点为第一像素点，第二二值图像中的像素点为第二像素点。则步骤S200具体如图7所示，包括：
S210：基于所有第一像素点和第二像素点的赋值，确定第一像素点与第二像素点之间一一对应的匹配关系。
S220：根据每个第一像素点和第二像素点在二值图像中的位置，计算每个第一像素点与其具有匹配关系的第二像素点之间的位置偏差值。
S230：将所述位置偏差值映射为灰度值或者色彩值，对所有第一像素点进行赋值操作，生成所述视差图。
在一实施例中，在步骤S210之前，如图8所示，S200还包括：
S201：确定与每个第一像素点一一对应的第一匹配窗口，和与每个第二像素点一一对应的第二匹配窗口；其中匹配窗口为二值图像中以选取的像素点为中心的部分图像。
该步骤中，第一匹配窗口即为上述系统中的作为示例的mv，第二匹配窗口即为上述系统中作为示例的nv1至nv9中的任意一个。
则如图9所示，步骤S210具体包括：
S211：针对每个第一匹配窗口，选取出若干第二匹配窗口；
S212：针对每个第一匹配窗口，计算其与对应的若干第二匹配窗口中的每一个之间的匹配度；其中所述匹配度根据两个匹配窗口中每个像素点的赋值确定；
S213：针对每个第一匹配窗口，查找出与其匹配度最大的第二匹配窗口，以此确定每个第一匹配窗口与第二匹配窗口的一一对应关系，进而确定第一像素点与第二像素点之间一一对应的匹配关系。
进一步的，如图10所示，S211包括：
S211-1：针对每个第一匹配窗口，根据对应第一匹配窗口的第一像素点所处第一二值图像中的位置，在第二二值图像中选取出所处位置与该第一像素点相同的第二像素点。
S211-2：以选取出的第二像素点为中心，预设像素长度为搜索半径，获取处于搜索范围内的所有第二像素点。
S211-3：选取与搜索范围内所有第二像素点一一对应的若干第二匹配窗口。
如图11所示，S212具体包括：
S212-1：根据其中一个第一匹配窗口中每个第一像素点的赋值，以及与其对应的其中一个第二匹配窗口中第二像素点的赋值，计算该其中一个第一匹配窗口与该对应的其中一个第二匹配窗口的匹配度；
S212-2：遍历所有第一匹配窗口和与其各自对应的所有第二匹配窗口，计算每个第一匹配窗口和与其各自对应的若干第二匹配窗口中的每一个之间的匹配度。
如图12所示，步骤S212-1具体包括：
S212-1a：按照像素点在匹配窗口中的位置，将该第一匹配窗口中的每个第一像素点与该第二匹配窗口中的每个第二像素点建立一一对应的关联关系；
S212-1b：根据具有关联关系的第一像素点和第二像素点之间的赋值，计算两个像素点之间的匹配值；
S212-1c：遍历该第一匹配窗口中的所有第一像素点，计算出每个第一像素点与其关联的第二像素点之间的匹配值；
S212-1d：对计算出的匹配值进行求和处理，获得该其中一个第一匹配窗口与该对应的第二匹配窗口的匹配度。
进一步的，如图13所示，S212-1a具体包括：
S1a-1：若具有关联关系的第一像素点和第二像素点均具有第一赋值，根据预设第一正向激励确定匹配值。
S1a-2：若具有关联关系的第一像素点和第二像素点均具有第二赋值，根据预设第二正向激励确定匹配值。
S1a-3：若具有关联关系的第一像素点和第二像素点具有不同赋值，根据预设负向激励确定匹配值。
此外，如图14所示，在转化为二值图像之前，所述方法还包括：
S105：对所述一对灰度图像进行预处理。
如图15所示，预处理步骤可以包括如下的至少一个：
S105-a：对所述一对灰度图进行图像补边处理；
S105-b：对所述一对灰度图像进行提高对比度处理；以及
S105-c：对所述一对灰度图像进行图像归一化处理。
就虚拟装置而言，本申请第二方面还提供一种基于双目立体匹配的视差图像生成系统，该系统可以是服务器、客户端或者上位机中的一种或多种，如图16所示，该系统具体包括：
二值图像生成模块100，基于获取的一对散斑图像，对应生成一对二值图像；所述一对散斑图像是物体在设定光束照射下经一对双目标定后的摄像头捕获的散斑的图像；
视差图像生成模块200，基于所述一对二值图像生成视差图像。
从上述描述可以知晓，本方面通过一对散斑图像生成二值图像，并根据二值图像生成视差图像，一方面散斑图像包含的信息相对实物图简单，影响因素小，但却可以很好地反映出物体的表面属性，因此利用散斑图像大大减小了视差图生成的计算量，此外，本申请并未直接对散斑图求取视差，而是先将散斑图转化为两个二值图像，二值图像的每个像素点仅包括两种取值，大大减小了像素匹配的计算量，对硬件负担较小，易于实现，计算迅速，能够用于人脸识别等深度传感器设备中。
为了降低散斑图向二值图像转化的处理量，在一优选实施例中，如图17所示，所述二值图像生成模块100，包括：
灰度图像转化单元110，将获取的一对散斑图像对应转化为一对灰度图像；
二值图像转化单元120，将所述一对灰度图像对应转化为所述一对二值图像。
将散斑图像转化为灰度图像，首先确定图像在RGB三个通道上数值，然后对每个通道设定特定的权重，进而形成灰度值与三个通道数值的对应关系。
在一些实施例中，一对应关系为：Gray＝(R*30+G*59+B*11+50)/100
其中，R、G、B分别表示RGB图片三个通道上的数值；Gray表示转成灰度图以后的数值。
结合上述系统中关于匹配处理的描述可以知晓，所述二值图像转化单元120，如图18所示，包括：
划分单元121，将每个灰度图像划分为若干尺寸相同的像素窗口；
排序单元122，对每个像素窗口内的像素点按照灰度值从大到小的顺序排序；
赋值单元123，对排序中位于设定位置之前的第一赋值点和排列在设定位置之后的第二赋值点分别赋值为第一赋值及第二赋值，并将每个像素窗口转化为二值像素窗口；
拼接单元124，基于若干所述像素窗口在每个灰度图中的位置，将若干二值像素窗口拼接为对应的两个二值图像。
详细示例可参加上述系统的描述，可以知晓，所述一对二值图像为第一二值图像和第二二值图像，所述第一二值图像中的像素点为第一像素点，第二二值图像中的像素点为第二像素点；
该实施例中，如图19所示，所述视差图像生成模块200，包括：
匹配关系确定单元210，基于所有第一像素点和第二像素点的赋值，确定第一像素点与第二像素点之间一一对应的匹配关系；
位置偏差计算单元220，根据每个第一像素点和第二像素点在二值图像中的位置，计算每个第一像素点与其具有匹配关系的第二像素点之间的位置偏差值；
视差图像生成单元230，将所述位置偏差值映射为灰度值或者色彩值，对所有第一像素点进行赋值操作，生成所述视差图。
基于与上述实施例相同的理由，在一实施例中，如图20所示，所述视差图像生成模块200还包括：
匹配窗口确定单元201，确定与每个第一像素点一一对应的第一匹配窗口，和与每个第二像素点一一对应的第二匹配窗口；其中匹配窗口为二值图像中以选取的像素点为中心的部分图像。
第一匹配窗口即为上述系统中的作为示例的mv，第二匹配窗口即为上述系统中作为示例的nv1至nv9中的任意一个。
该实施例中，如图21所示，所述匹配关系确定单元210包括：
第二匹配窗口选取单元211，针对每个第一匹配窗口，选取出若干第二匹配窗口；
匹配度计算单元212，针对每个第一匹配窗口，计算其与对应的若干第二匹配窗口中的每一个之间的匹配度；其中所述匹配度根据两个匹配窗口中每个像素点的赋值确定；
最大匹配度查找单元213，针对每个第一匹配窗口，查找出与其匹配度最大的第二匹配窗口，以此确定每个第一匹配窗口与第二匹配窗口的一一对应关系，进而确定第一像素点与第二像素点之间一一对应的匹配关系。
进一步的，如图22所示，所述第二匹配窗口选取单元211，包括：
第二像素点选取单元211-1，针对每个第一匹配窗口，根据对应第一匹配窗口的第一像素点所处第一二值图像中的位置，在第二二值图像中选取出所处位置与该第一像素点相同的第二像素点；
搜索单元211-2，以选取出的第二像素点为中心，预设像素长度为搜索半径，获取处于搜索范围内的所有第二像素点；
对应选取单元211-3，选取与搜索范围内所有第二像素点一一对应的若干第二匹配窗口。
此外，如图23所示，所述匹配度计算单元212，包括：
单个匹配度计算单元212-1，根据其中一个第一匹配窗口中每个第一像素点的赋值，以及与其对应的其中一个第二匹配窗口中第二像素点的赋值，计算该其中一个第一匹配窗口与该对应的其中一个第二匹配窗口的匹配度；
遍历计算单元212-2，遍历所有第一匹配窗口和与其各自对应的所有第二匹配窗口，计算每个第一匹配窗口和与其各自对应的若干第二匹配窗口中的每一个之间的匹配度。
在一实施例中，如图24所示，所述单个匹配度计算单元212-1，包括：
关联关系建立单元212-1a，按照像素点在匹配窗口中的位置，将该第一匹配窗口中的每个第一像素点与该第二匹配窗口中的每个第二像素点建立一一对应的关联关系；
匹配值计算单元212-1b，根据具有关联关系的第一像素点和第二像素点之间的赋值，计算两个像素点之间的匹配值；
匹配值遍历计算单元212-1c，遍历该第一匹配窗口中的所有第一像素点，计算出每个第一像素点与其关联的第二像素点之间的匹配值；
求和处理单元212-1d，对计算出的匹配值进行求和处理，获得该其中一个第一匹配窗口与该对应的第二匹配窗口的匹配度。
所述匹配值计算单元212-1a，如图25所示，包括：
第一匹配值确定单元1a-1，若具有关联关系的第一像素点和第二像素点均具有第一赋值，根据预设第一正向激励确定匹配值；
第二匹配值确定单元1a-2，若具有关联关系的第一像素点和第二像素点均具有第二赋值，根据预设第二正向激励确定匹配值；
第三匹配值确定单元1a-3，若具有关联关系的第一像素点和第二像素点具有不同赋值，根据预设负向激励确定匹配值。
所述二值图像生成模块，如图26所示，还包括：
预处理单元115，对所述一对灰度图像进行预处理。
如图27所示，所述预处理单元115，包括如下单元的至少一个：
图像补边单元，对所述一对灰度图进行图像补边处理；
对比度提高单元，对所述一对灰度图像进行提高对比度处理；以及
图像归一化单元，对所述一对灰度图像进行图像归一化处理。
此外，本申请第三方面提供一种基于双目立体视觉匹配的深度图像生成方法，具体包括：
S110：将获取的一对散斑图像对应转化为一对灰度图像。
S120：将所述一对灰度图像对应转化为所述一对二值图像。
S300：将所述视差图像输入深度计算模型，生成对应的深度图。
深度计算模型即为现有的深度计算公式，输入视差图，通过深度计算公式可以计算生成深度图。
与本发明第一方面提供的视差图生成方法相不同的，本方面还包括S300，即转化为深度图的步骤，基于与本申请第一方面的描述，本方面通过一对散斑图像生成二值图像，并根据二值图像生成视差图像，一方面散斑图像包含的信息相对实物图简单，影响因素小，但却可以很好地反映出物体的表面属性，因此通过提取散斑信息计算视差图相比于传统的双目立体视觉方法(BM、SGBM等)可以有效降低匹配的计算量。基于此，本申请并未直接对散斑图求取视差，而是先将散斑图转化为两个二值图像，二值图像的每个像素点仅包括两种取值，基于二值图像实现双目立体匹配大大减小了像素匹配的计算量，对硬件负担较小，易于实现，计算迅速，能够用于人脸识别等深度传感器设备中。
本发明第四方面提供一种基于双目立体视觉匹配的深度图像生成系统，包括如下：
二值图像生成模块，基于获取的一对散斑图像，对应生成一对二值图像；所述一对散斑图像是物体在设定光束照射下经一对双目标定后的摄像头捕获的散斑的图像。
视差图像生成模块，基于所述一对二值图像生成视差图像。
深度图生成模块，将所述视差图像输入深度计算模型，生成对应的深度图。
与本发明第二方面提供的视差图生成系统相不同的，本方面还包括深度图生成模块，即转化为深度图的步骤，基于与本申请第二方面的描述，本方面通过一对散斑图像生成二值图像，并根据二值图像生成视差图像，一方面散斑图像包含的信息相对实物图简单，影响因素小，但却可以很好地反映出物体的表面属性，因此通过提取散斑信息计算视差图相比于传统的双目立体视觉方法(BM、SGBM等)可以有效降低匹配的计算量。基于此，本申请并未直接对散斑图求取视差，而是先将散斑图转化为两个二值图像，二值图像的每个像素点仅包括两种取值，基于二值图像实现双目立体匹配大大减小了像素匹配的计算量，对硬件负担较小，易于实现，计算迅速，能够用于人脸识别等深度传感器设备中。
本申请的实施例还提供能够实现上述实施例中的方法中全部步骤的一种电子设备的具体实施方式，参见图28，所述电子设备具体包括如下内容：
处理器(processor)601、存储器(memory)602、通信接口(CommunicationsInterface)603和总线604；
其中，所述处理器601、存储器602、通信接口603通过所述总线604完成相互间的通信；
所述处理器601用于调用所述存储器602中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的方法中的全部步骤。
从上述描述可知，本申请提供的电子设备，通过一对散斑图像生成二值图像，并根据二值图像生成视差图像，一方面散斑图像包含的信息相对实物图简单，影响因素小，但却可以很好地反映出物体的表面属性，基于二值图像实现双目立体匹配大大减小了像素匹配的计算量，对硬件负担较小，易于实现，计算迅速，能够用于人脸识别等深度传感器设备中。
本申请的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤。
从上述描述可知，本申请提供的计算机可读存储介质，并未直接对散斑图求取视差，而是先将散斑图转化为两个二值图像，二值图像的每个像素点仅包括两种取值，大大减小了像素匹配的计算量，对硬件负担较小，易于实现，计算迅速，能够用于人脸识别等深度传感器设备中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。
Claims (5)
1.一种基于双目立体视觉匹配的视差图像生成方法，其特征在于，包括：
基于获取的一对散斑图像，对应生成一对二值图像；所述一对散斑图像是物体在设定光束照射下经一对双目标定后的摄像头捕获的散斑的图像；
基于所述一对二值图像生成视差图像；
所述一对二值图像为第一二值图像和第二二值图像，所述第一二值图像中的像素点为第一像素点，第二二值图像中的像素点为第二像素点；
所述基于所述一对二值图像生成视差图像，包括：
基于所有第一像素点和第二像素点的赋值，确定第一像素点与第二像素点之间一一对应的匹配关系；
根据每个第一像素点和第二像素点在二值图像中的位置，计算每个第一像素点与其具有匹配关系的第二像素点之间的位置偏差值；
将所述位置偏差值映射为灰度值或者色彩值，对所有第一像素点进行赋值操作，生成所述视差图；
在确定匹配关系之前，所述基于所述一对二值图像生成视差图像还包括：
确定与每个第一像素点一一对应的第一匹配窗口，和与每个第二像素点一一对应的第二匹配窗口；其中匹配窗口为二值图像中以选取的像素点为中心的部分图像；
所述确定第一像素点与第二像素点之间一一对应的匹配关系，包括：
针对每个第一匹配窗口，选取出若干第二匹配窗口；
针对每个第一匹配窗口，计算其与对应的若干第二匹配窗口中的每一个之间的匹配度；其中所述匹配度根据两个匹配窗口中每个像素点的赋值确定；
针对每个第一匹配窗口，查找出与其匹配度最大的第二匹配窗口，以此确定每个第一匹配窗口与第二匹配窗口的一一对应关系，进而确定第一像素点与第二像素点之间一一对应的匹配关系；
所述针对每个第一匹配窗口，计算其与对应的若干第二匹配窗口中的每一个之间的匹配度，包括：
根据其中一个第一匹配窗口中每个第一像素点的赋值，以及与其对应的其中一个第二匹配窗口中第二像素点的赋值，计算该其中一个第一匹配窗口与该对应的其中一个第二匹配窗口的匹配度；
遍历所有第一匹配窗口和与其各自对应的所有第二匹配窗口，计算每个第一匹配窗口和与其各自对应的若干第二匹配窗口中的每一个之间的匹配度；
计算其中一个第一匹配窗口与对应的其中一个第二匹配窗口的匹配度，包括：
按照像素点在匹配窗口中的位置，将该第一匹配窗口中的每个第一像素点与该第二匹配窗口中的每个第二像素点建立一一对应的关联关系；
根据具有关联关系的第一像素点和第二像素点之间的赋值，计算两个像素点之间的匹配值；
遍历该第一匹配窗口中的所有第一像素点，计算出每个第一像素点与其关联的第二像素点之间的匹配值；
对计算出的匹配值进行求和处理，获得该其中一个第一匹配窗口与该对应的第二匹配窗口的匹配度；
根据具有关联关系的第一像素点和第二像素点之间的赋值，计算两个像素点之间的匹配值，包括：
若具有关联关系的第一像素点和第二像素点均具有第一赋值，根据预设第一正向激励确定匹配值；
若具有关联关系的第一像素点和第二像素点均具有第二赋值，根据预设第二正向激励确定匹配值；
若具有关联关系的第一像素点和第二像素点具有不同赋值，根据预设负向激励确定匹配值。
2.根据权利要求1所述的视差图像生成方法，其特征在于，所述基于获取的一对散斑图像，对应生成一对二值图像，包括：
将获取的一对散斑图像对应转化为一对灰度图像；
将所述一对灰度图像对应转化为所述一对二值图像；
所述将所述一对灰度图像对应转化为所述一对二值图像，包括：
将每个灰度图像划分为若干尺寸相同的像素窗口；
对每个像素窗口内的像素点按照灰度值从大到小的顺序排序；
对排序中位于设定位置之前的第一赋值点和排列在设定位置之后的第二赋值点分别赋值为第一赋值及第二赋值，并将每个像素窗口转化为二值像素窗口；
基于若干所述像素窗口在每个灰度图中的位置，将若干二值像素窗口拼接为对应的两个二值图像。
3.根据权利要求1所述的视差图像生成方法，其特征在于，所述针对每个第一匹配窗口，选取出若干第二匹配窗口，包括：
针对每个第一匹配窗口，根据对应第一匹配窗口的第一像素点所处第一二值图像中的位置，在第二二值图像中选取出所处位置与该第一像素点相同的第二像素点；
以选取出的第二像素点为中心，预设像素长度为搜索半径，获取处于搜索范围内的所有第二像素点；
选取与搜索范围内所有第二像素点一一对应的若干第二匹配窗口。
4.一种基于双目立体视觉匹配的视差图像生成系统，其特征在于，包括：
二值图像生成模块，基于获取的一对散斑图像，对应生成一对二值图像；所述一对散斑图像是物体在设定光束照射下经一对双目标定后的摄像头捕获的散斑的图像；
视差图像生成模块，基于所述一对二值图像生成视差图像；其中，
所述一对二值图像为第一二值图像和第二二值图像，所述第一二值图像中的像素点为第一像素点，第二二值图像中的像素点为第二像素点；
所述视差图像生成模块具体用于：
基于所有第一像素点和第二像素点的赋值，确定第一像素点与第二像素点之间一一对应的匹配关系；
根据每个第一像素点和第二像素点在二值图像中的位置，计算每个第一像素点与其具有匹配关系的第二像素点之间的位置偏差值；
将所述位置偏差值映射为灰度值或者色彩值，对所有第一像素点进行赋值操作，生成所述视差图；
在确定匹配关系之前，确定与每个第一像素点一一对应的第一匹配窗口，和与每个第二像素点一一对应的第二匹配窗口；其中匹配窗口为二值图像中以选取的像素点为中心的部分图像；
所述确定第一像素点与第二像素点之间一一对应的匹配关系，包括：
针对每个第一匹配窗口，选取出若干第二匹配窗口；
针对每个第一匹配窗口，计算其与对应的若干第二匹配窗口中的每一个之间的匹配度；其中所述匹配度根据两个匹配窗口中每个像素点的赋值确定；
针对每个第一匹配窗口，查找出与其匹配度最大的第二匹配窗口，以此确定每个第一匹配窗口与第二匹配窗口的一一对应关系，进而确定第一像素点与第二像素点之间一一对应的匹配关系；
所述针对每个第一匹配窗口，计算其与对应的若干第二匹配窗口中的每一个之间的匹配度，包括：
根据其中一个第一匹配窗口中每个第一像素点的赋值，以及与其对应的其中一个第二匹配窗口中第二像素点的赋值，计算该其中一个第一匹配窗口与该对应的其中一个第二匹配窗口的匹配度；
遍历所有第一匹配窗口和与其各自对应的所有第二匹配窗口，计算每个第一匹配窗口和与其各自对应的若干第二匹配窗口中的每一个之间的匹配度；
计算其中一个第一匹配窗口与对应的其中一个第二匹配窗口的匹配度，包括：
按照像素点在匹配窗口中的位置，将该第一匹配窗口中的每个第一像素点与该第二匹配窗口中的每个第二像素点建立一一对应的关联关系；
根据具有关联关系的第一像素点和第二像素点之间的赋值，计算两个像素点之间的匹配值；
遍历该第一匹配窗口中的所有第一像素点，计算出每个第一像素点与其关联的第二像素点之间的匹配值；
对计算出的匹配值进行求和处理，获得该其中一个第一匹配窗口与该对应的第二匹配窗口的匹配度；
根据具有关联关系的第一像素点和第二像素点之间的赋值，计算两个像素点之间的匹配值，包括：
若具有关联关系的第一像素点和第二像素点均具有第一赋值，根据预设第一正向激励确定匹配值；
若具有关联关系的第一像素点和第二像素点均具有第二赋值，根据预设第二正向激励确定匹配值；
若具有关联关系的第一像素点和第二像素点具有不同赋值，根据预设负向激励确定匹配值。
5.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至2任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910241340.6A CN109993781B (zh) | 2019-03-28 | 2019-03-28 | 基于双目立体视觉匹配的视差图像生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910241340.6A CN109993781B (zh) | 2019-03-28 | 2019-03-28 | 基于双目立体视觉匹配的视差图像生成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109993781A CN109993781A (zh) | 2019-07-09 |
| CN109993781B true CN109993781B (zh) | 2021-09-03 |
Family
ID=67131819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910241340.6A Active CN109993781B (zh) | 2019-03-28 | 2019-03-28 | 基于双目立体视觉匹配的视差图像生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109993781B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110853086A (zh) * | 2019-10-21 | 2020-02-28 | 北京清微智能科技有限公司 | 基于散斑投影的深度图像生成方法及系统 |
| CN111314686B (zh) * | 2020-03-20 | 2021-06-25 | 深圳市博盛医疗科技有限公司 | 一种自动优化3d立体感的方法、系统及介质 |
| CN113592592B (zh) * | 2021-07-28 | 2023-11-07 | 严沛熙 | 生成眼镜框试戴效果图的方法及眼镜框虚拟试戴系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101877796A (zh) * | 2009-04-28 | 2010-11-03 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 一种视差获取方法、装置和系统 |
| CN102314615A (zh) * | 2011-07-30 | 2012-01-11 | 山东电力研究院 | 基于变电站巡检机器人的断路器状态模板匹配识别方法 |
| CN103260043A (zh) * | 2013-04-28 | 2013-08-21 | 清华大学 | 基于学习的双目立体图像匹配方法及系统 |
| CN103985128A (zh) * | 2014-05-23 | 2014-08-13 | 南京理工大学 | 一种基于颜色内相关和自适应支撑权重的立体匹配方法 |
| CN108470356A (zh) * | 2018-03-15 | 2018-08-31 | 浙江工业大学 | 一种基于双目视觉的目标对象快速测距方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101694292B1 (ko) * | 2010-12-17 | 2017-01-09 | 한국전자통신연구원 | 스테레오 영상 정합 장치 및 그 방법 |
| CN103914677B (zh) * | 2013-01-04 | 2019-03-08 | 天津米游科技有限公司 | 一种动作识别方法及装置 |
| CN103868460B (zh) * | 2014-03-13 | 2016-10-05 | 桂林电子科技大学 | 基于视差优化算法的双目立体视觉自动测量方法 |
| CN107680083B (zh) * | 2017-09-13 | 2020-05-29 | 海信集团有限公司 | 视差确定方法和视差确定装置 |
| CN108109148A (zh) * | 2017-12-12 | 2018-06-01 | 上海兴芯微电子科技有限公司 | 图像立体分配方法、移动终端 |
| CN108335350A (zh) * | 2018-02-06 | 2018-07-27 | 聊城大学 | 双目立体视觉的三维重建方法 |
| CN109087382A (zh) * | 2018-08-01 | 2018-12-25 | 宁波发睿泰科智能科技有限公司 | 一种三维重构方法及三维成像系统 |
-
2019
- 2019-03-28 CN CN201910241340.6A patent/CN109993781B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101877796A (zh) * | 2009-04-28 | 2010-11-03 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 一种视差获取方法、装置和系统 |
| CN102314615A (zh) * | 2011-07-30 | 2012-01-11 | 山东电力研究院 | 基于变电站巡检机器人的断路器状态模板匹配识别方法 |
| CN103260043A (zh) * | 2013-04-28 | 2013-08-21 | 清华大学 | 基于学习的双目立体图像匹配方法及系统 |
| CN103985128A (zh) * | 2014-05-23 | 2014-08-13 | 南京理工大学 | 一种基于颜色内相关和自适应支撑权重的立体匹配方法 |
| CN108470356A (zh) * | 2018-03-15 | 2018-08-31 | 浙江工业大学 | 一种基于双目视觉的目标对象快速测距方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109993781A (zh) | 2019-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109360235B (zh) | 一种基于光场数据的混合深度估计方法 | |
| CN109993781B (zh) | 基于双目立体视觉匹配的视差图像生成方法及系统 | |
| Nalpantidis et al. | Stereo vision for robotic applications in the presence of non-ideal lighting conditions | |
| JP4052331B2 (ja) | 仮想視点画像生成方法及び３次元画像表示方法並びに装置 | |
| US10762649B2 (en) | Methods and systems for providing selective disparity refinement | |
| JP2004505393A (ja) | イメージ変換および符号化技術 | |
| CN109640066B (zh) | 高精度稠密深度图像的生成方法和装置 | |
| CN105335955A (zh) | 对象检测方法和对象检测装置 | |
| AU2020203790B2 (en) | Transformed multi-source content aware fill | |
| KR101364860B1 (ko) | 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체 | |
| CN107004256A (zh) | 用于噪声深度或视差图像的实时自适应滤波的方法和装置 | |
| CN102447917A (zh) | 立体图像匹配方法及其设备 | |
| JP2020042503A (ja) | 三次元表象生成システム | |
| CN113763231A (zh) | 模型生成方法、图像透视图确定方法、装置、设备及介质 | |
| JP2016157188A (ja) | 姿勢推定モデル生成装置及び姿勢推定装置 | |
| CN111310567B (zh) | 一种多人场景下的人脸识别方法及装置 | |
| CN107403448A (zh) | 代价函数生成方法和代价函数生成装置 | |
| JP2020144686A (ja) | モデル作成システム、モデル作成方法 | |
| CN116342519A (zh) | 一种基于机器学习的图像处理方法 | |
| CN114693546A (zh) | 图像去噪方法、装置、电子设备和计算机可读存储介质 | |
| CN115170637A (zh) | 虚拟视角图像构建方法及装置、控制设备和可读存储介质 | |
| CN116416290A (zh) | 一种计算散斑结构光深度的方法、装置及电子设备 | |
| Chang et al. | Pixel-based adaptive normalized cross correlation for illumination invariant stereo matching | |
| CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
| CN112364693A (zh) | 基于双目视觉的障碍识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Tang Shibin Inventor after: Zhao Xinchao Inventor after: Feng Jinli Inventor after: OuYang Peng Inventor after: Li Xiudong Inventor after: Wang Bo Inventor before: Tang Shibin Inventor before: Yin Shouyi Inventor before: Zhao Xinchao Inventor before: Feng Jinli Inventor before: OuYang Peng Inventor before: Li Xiudong Inventor before: Wang Bo |
|
| CB03 | Change of inventor or designer information |