CN111601097A - 基于双投射器的双目立体匹配方法、装置、介质和设备 - Google Patents

基于双投射器的双目立体匹配方法、装置、介质和设备 Download PDF

Info

Publication number
CN111601097A
CN111601097A CN202010278211.7A CN202010278211A CN111601097A CN 111601097 A CN111601097 A CN 111601097A CN 202010278211 A CN202010278211 A CN 202010278211A CN 111601097 A CN111601097 A CN 111601097A
Authority
CN
China
Prior art keywords
value
parallax
fused
disparity map
disparity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010278211.7A
Other languages
English (en)
Other versions
CN111601097B (zh
Inventor
何苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Robot Vision Technology Co Ltd
Original Assignee
Seizet Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seizet Technology Shenzhen Co Ltd filed Critical Seizet Technology Shenzhen Co Ltd
Priority to CN202010278211.7A priority Critical patent/CN111601097B/zh
Publication of CN111601097A publication Critical patent/CN111601097A/zh
Application granted granted Critical
Publication of CN111601097B publication Critical patent/CN111601097B/zh
Priority to PCT/CN2021/000071 priority patent/WO2021203770A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双投射器的双目立体匹配方法、装置、介质和设备，属于三维成像与三维重建领域，其中，方法的实现包括：基于第一投射器，获取第一组双目图像对，并基于第一组双目图像对进行立体匹配，生成第一视差图；基于第二投射器，获取第二组双目图像对，并基于第二组双目图像对进行立体匹配，生成第二视差图；对第一视差图及第二视差图进行融合，生成融合后的视差图，根据融合后的视差图得到3D点云。本发明可有效克服传统主动双目立体相机因被测物表面反光引起的点云缺失问题，提高了点云的完整性，双投射器多次匹配可进一步提高点云精度。

Description

基于双投射器的双目立体匹配方法、装置、介质和设备
技术领域
本发明属于三维成像与三维重建领域，更具体地，涉及一种基于双投射器的双目立体匹配方法、装置、介质和设备。
背景技术
基于双目立体匹配原理的主动双目立体相机已广泛应用于机器人引导与定位抓取，通过主动投射纹理图案，可解决因被测场景纹理单一造成的点云缺失问题。在传统主动双目立体相机结构形式中，2D相机分别安装在基线两侧，主动纹理投射器安装在基线中心位置，然而在特定场景下，如图1所示，如场景中包括类似镜面反射表面的物体时，会产生眩光，造成2D图像过曝，或同一物体在两个2D相机中一个过曝而另一个曝光不足图像过暗，以上问题均可定义为因被测物反光造成匹配失败，进而点云缺失。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种基于双投射器的双目立体匹配方法、装置、介质和设备，由此解决传统主动双目立体相机因被测物反光引起的点云缺失的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于双投射器的双目立体匹配方法，应用于双投射器，所述双投射器包括第一投射器和第二投射器，所述方法包括：
基于所述第一投射器，获取第一组双目图像对，并基于所述第一组双目图像对进行立体匹配，生成第一视差图；
基于所述第二投射器，获取第二组双目图像对，并基于所述第二组双目图像对进行立体匹配，生成第二视差图；
对所述第一视差图及所述第二视差图进行融合，生成融合后的视差图，根据所述融合后的视差图得到3D点云。
优选地，所述基于所述第一投射器，获取第一组双目图像对，包括：
基于所述第一投射器，通过两个相机获取第一组双目图像对；
所述基于所述第二投射器，获取第二组双目图像对，包括：
基于所述第二投射器，通过所述两个相机获取第二组双目图像对。
优选地，所述基于所述第一组双目图像对进行立体匹配，生成第一视差图，包括：
选取所述第一组双目图像对中两幅图像的对应子区域，对选取的子区域进行相关度匹配生成第一视差图，其中，若匹配成功，则所述第一视差图中对应像素点的视差有效，若匹配失败，则所述第一视差图中对应像素点的视差为无效值；
所述基于所述第二组双目图像对进行立体匹配，生成第二视差图，包括：
选取所述第二组双目图像对中两幅图像的对应子区域，对选取的子区域进行相关度匹配生成第二视差图，其中，若匹配成功，则所述第二视差图中对应像素点的视差有效，若匹配失败，则所述第二视差图中对应像素点的视差为无效值。
优选地，所述对所述第一视差图及所述第二视差图进行融合，生成融合后的视差图，包括：
基于所述第一视差图中待融合的像素点的视差值与所述第二视差图中待融合的像素点的视差值，得到融合后的视差值，进而得到融合后的视差图，其中，所述第二视差图中待融合的像素点与所述第一视差图中待融合的像素点对应。
优选地，所述基于所述第一视差图中待融合的像素点的视差值与所述第二视差图中待融合的像素点的视差值，得到融合后的视差值，包括：
判断所述第一视差图中待融合的第一像素点对应的第一视差值是否为有效值；
判断所述第二视差图中待融合的第二像素点对应的第二视差值是否为有效值，所述第二像素点与所述第一像素点对应；
若所述第一视差值及所述第二视差值均为有效值，则将所述第一视差值与所述第二视差值和的平均值作为融合后的视差值；若所述第一视差值为有效值且所述第二视差值为无效值，则将所述第一视差值作为融合后的视差值；若所述第一视差值为无效值且所述第二视差值为有效值，则将所述第二视差值作为融合后的视差值；若所述第一视差值及所述第二视差值均为无效值，则融合后的视差值为无效值。
按照本发明的另一个方面，提供了一种基于双投射器的双目立体匹配装置，应用于双投射器，所述双投射器包括第一投射器和第二投射器，所述装置包括：
第一图像获取模块，用于基于所述第一投射器，获取第一组双目图像对；
第一视差图生成模块，用于基于所述第一组双目图像对进行立体匹配，生成第一视差图；
第二图像获取模块，用于基于所述第二投射器，获取第二组双目图像对；
第二视差图生成模块，用于基于所述第二组双目图像对进行立体匹配，生成第二视差图；
融合模块，用于对所述第一视差图及所述第二视差图进行融合，生成融合后的视差图，根据所述融合后的视差图得到3D点云。
优选地，所述第一图像获取模块，具体用于触发所述第一投射器，在所述第一投射器开启时，触发两个相机获取第一组双目图像对，然后关闭所述第一投射器；
所述第二图像获取模块，具体用于触发所述第二投射器，在所述第二投射器开启时，触发两个相机获取第二组双目图像对，然后关闭所述第二投射器。
优选地，所述第一视差图生成模块，具体用于选取所述第一组双目图像对中两幅图像的对应子区域，对选取的子区域进行相关度匹配生成第一视差图，其中，若匹配成功，则所述第一视差图中对应像素点的视差有效，若匹配失败，则所述第一视差图中对应像素点的视差为无效值；
所述第二视差图生成模块，具体用于选取所述第二组双目图像对中两幅图像的对应子区域，对选取的子区域进行相关度匹配生成第二视差图，其中，若匹配成功，则所述第二视差图中对应像素点的视差有效，若匹配失败，则所述第二视差图中对应像素点的视差为无效值。
优选地，所述融合模块，具体用于基于所述第一视差图中待融合的像素点的视差值与所述第二视差图中待融合的像素点的视差值，得到融合后的视差值，进而得到融合后的视差图，其中，所述第二视差图中待融合的像素点与所述第一视差图中待融合的像素点对应。
优选地，所述融合模块，包括：
第一判断模块，用于判断所述第一视差图中待融合的第一像素点对应的第一视差值是否为有效值；
第二判断模块，用于判断所述第二视差图中待融合的第二像素点对应的第二视差值是否为有效值，所述第二像素点与所述第一像素点对应；
判断处理模块，用于在所述第一视差值及所述第二视差值均为有效值时，将所述第一视差值与所述第二视差值和的平均值作为融合后的视差值；在所述第一视差值为有效值且所述第二视差值为无效值时，将所述第一视差值作为融合后的视差值；在所述第一视差值为无效值且所述第二视差值为有效值时，将所述第二视差值作为融合后的视差值；在所述第一视差值及所述第二视差值均为无效值时，融合后的视差值为无效值。
按照本发明的另一个方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
按照本发明的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本发明可有效克服传统主动双目立体相机因被测物表面反光引起的点云缺失问题，提高了点云的完整性，双投射器多次匹配可进一步提高点云精度。
附图说明
图1是本发明实施例提供的一种主动双目立体相机获取的被测物反光图片；
图2是本发明实施例提供的一种基于传统单投射双目立体匹配和本发明中涉及的双投射双目立体匹配生成的点云对比图，其中，(a)为基于传统单投射双目立体匹配生成的点云，(b)为双投射双目立体匹配生成的点云；
图3是本发明实施例提供的一种双投射器结构图，其中，(a)为总体结构图，(b)为主视图；
图4是本发明实施例提供的一种基于双投射器的双目立体匹配方法的流程图；
图5是本发明实施例提供的一种视差图融合流程图；
图6是本发明实施例提供的一种基于双投射器的双目立体匹配装置的结构示意图；
图7是本发明实施例提供的一种计算机设备结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明可较好的解决因被测物反光引起的点云缺失问题，极大提高点云完整性，同时可提高点云精度。
如图4所示是本发明实施例提供的一种基于双投射器的双目立体匹配方法的流程图，该方法可以基于图3的双投射器结构实现，其中，在图3中，(a)为总体结构图，(b)为主视图；
在图3中，301、302为2D相机，用于获取左右匹配图像对，如图1所示的图像对，2D相机的感光芯片可选用CCD图像传感器或CMOS图像传感器，快门形式可选用全局快门或卷帘快门或其它合适的快门形式，数据接口可采用GigE接口或USB接口或其它合适的接口形式，2D相机可选用C口镜头或S口镜头或其它合适的镜头接口；
303为第一投射器，304为第二投射器，主动向被测场景投射纹理图案，可投射如图1所示的随机散斑纹理，也可投射其它合适的纹理图案，投射器光源可选用LED光源或激光光源或其它合适的光源，投射器光源波段可选用白光或可见光单色光或红外波段；
在本发明实施例中，303和304均可采用纹理投射器。
处理器，其主要功能包括：系统供电、投射器触发、2D相机图像采集触发、视差图匹配、视差图融合及点云输出，其数据接口可采用以太网接口或USB接口或其它合适的接口形式。
在本发明实施例中，图3是本发明实施例提供的一种投射器和2D相机的结构布置形式，还可以包括其它形式，在不脱离本发明技术原理的前提下，还可以做出若干种变形，具体采用何种布置形式，本发明实施例不做唯一性限定。
如图4所示的基于双投射器的双目立体匹配方法，具体包括以下步骤：
S1：基于第一投射器303，获取第一组双目图像对；
在本发明实施例中，步骤S1可以通过以下方式实现：
由处理器首先触发第一投射器303开，随后触发2D相机301、302进行图像采集，获取第一组双目图像对，最后关闭第一投射器303。
S2：基于第一组双目图像对进行立体匹配，生成第一视差图DA；
在本发明实施例中，步骤S2可以通过以下方式实现：
选取第一组双目图像对中两幅图像的对应子区域，对选取的子区域进行相关度匹配生成第一视差图DA，相关度匹配可基于SAD、BM、SGBM或其它合适的方法进行，若匹配成功，则第一视差图DA中对应像素点的视差有效，其值为实际视差值，若匹配失败，则对应像素点的视差为无效值INVALID。
作为一种可选的实施方式，可以采用以下方式：
对第一组双目图像对中的两幅图像均按照预设规则划分成若干子区域，然后分别对第一组双目图像对中两幅图像的对应子区域进行相关度匹配，生成与各子区域对应的视差图，最后将各视差图按照其对应子区域在图像中所处的位置进行组合得到第一视差图DA。
其中，预设规则可以根据实际需要确定，本发明实施例不做唯一性限定。
S3：基于第二投射器304，获取第二组双目图像对；
在本发明实施例中，步骤S3可以通过以下方式实现：
由处理器首先触发第二投射器304开，随后触发2D相机301、302进行图像采集，获取第二组双目图像对，最后关闭第二投射器304。
S4：基于第二组双目图像对进行立体匹配，生成第二视差图DB；
在本发明实施例中，步骤S4可以通过以下方式实现：
选取第二组双目图像对中两幅图像的对应子区域，对选取的子区域进行相关度匹配生成第二视差图DB，相关度匹配可基于SAD、BM、SGBM或其它合适的方法进行，若匹配成功，则第二视差图DB中对应像素点的视差有效，其值为实际视差值，若匹配失败，则对应像素点的视差为无效值INVALID。
作为一种可选的实施方式，可以采用以下方式：
对第二组双目图像对中的两幅图像均按照上述预设规则划分成若干子区域，然后分别对第二组双目图像对中两幅图像的对应子区域进行相关度匹配，生成与各子区域对应的视差图，最后将各视差图按照其对应子区域在图像中所处的位置进行组合得到第二视差图DB。
S5：对第一视差图及第二视差图进行融合，生成融合后的视差图；
在本发明实施例中，如图5所示，步骤S5的视差图融合可以通过以下方式实现：
S51：在第一视差图DA中选取一个待融合的像素点PointA；
S52：判断该像素点PointA对应的视差值da是否为有效值；
S53：在第二视差图DB中选取一个与像素点PointA对应的待融合的像素点PointB；
其中，像素点PointA在第一视差图DA中的位置与像素点PointB在第二视差图DB中的位置相同。
S54：判断该像素点PointB对应的视差值db是否为有效值；
S55：视差图融合，若da中视差值有效且db中视差值有效，则融合后新的视差值dn＝(da+db)/2；若da中视差值有效且db中视差值无效，则融合后新的视差值dn＝da；若da中视差值无效且db中视差值有效，则融合后新的视差值dn＝db；若da中视差值无效且db中视差值无效，则融合后新的视差值dn＝INVALID。
S6：根据融合后的视差图，计算3D点云。
基于图1场景进行三维重建，结果如图2所示，图2中(a)为基于传统单投射双目立体匹配生成的点云图，图2中(b)为基于双投射器的双目立体匹配生成的点云图，经过双投射视差图融合后，基本解决了由于投射器反光引起的点云缺失问题，点云完整性大大提高。此外，基于两次测量后的视差图融合，点云精度也较双投射器有所提高。
如图6所示是本发明实施例提供的一种基于双投射器的双目立体匹配装置的结构示意图，可以基于图3所示的双投射器结构实现，该双投射器包括第一投射器和第二投射器，该装置包括：
第一图像获取模块201，用于基于第一投射器，获取第一组双目图像对；
在本发明实施例中，第一图像获取模块201，具体用于触发第一投射器303，在第一投射器303开启时，触发相机对301和302获取第一组双目图像对，然后关闭第一投射器303。
第一视差图生成模块202，用于基于第一组双目图像对进行立体匹配，生成第一视差图；
第二图像获取模块203，用于基于第二投射器，获取第二组双目图像对；
在本发明实施例中，第二图像获取模块203，具体用于触发第二投射器304，在第二投射器304开启时，触发相机对301和302获取第二组双目图像对，然后关闭第二投射器304。
第二视差图生成模块204，用于基于第二组双目图像对进行立体匹配，生成第二视差图；
融合模块205，用于对第一视差图及第二视差图进行融合，生成融合后的视差图，根据融合后的视差图得到3D点云。
在本发明实施例中，上述第一视差图生成模块202，具体用于选取第一组双目图像对中两幅图像的对应子区域，对选取的子区域进行相关度匹配生成第一视差图，其中，若匹配成功，则第一视差图中对应像素点的视差有效，若匹配失败，则第一视差图中对应像素点的视差为无效值；
上述第二视差图生成模块204，具体用于选取第二组双目图像对中两幅图像的对应子区域，对选取的子区域进行相关度匹配生成第二视差图，其中，若匹配成功，则第二视差图中对应像素点的视差有效，若匹配失败，则第二视差图中对应像素点的视差为无效值。
在本发明实施例中，上述融合模块205，具体用于基于第一视差图中待融合的像素点的视差值与第二视差图中待融合的像素点的视差值，得到融合后的视差值，进而得到融合后的视差图，其中，第二视差图中待融合的像素点与第一视差图中待融合的像素点对应。
在本发明实施例中，上述融合模块205，包括：
第一判断模块，用于判断第一视差图中待融合的第一像素点对应的第一视差值是否为有效值；
第二判断模块，用于判断第二视差图中待融合的第二像素点对应的第二视差值是否为有效值，第二像素点与第一像素点对应；
判断处理模块，用于在第一视差值及第二视差值均为有效值时，将第一视差值与第二视差值和的平均值作为融合后的视差值；在第一视差值为有效值且第二视差值为无效值时，将第一视差值作为融合后的视差值；在第一视差值为无效值且第二视差值为有效值时，将第二视差值作为融合后的视差值；在第一视差值及第二视差值均为无效值时，融合后的视差值为无效值。
在本发明实施例中，图3是本发明实施例提供的一种投射器和2D相机的结构布置形式，还可以包括其它形式，在不脱离本发明技术原理的前提下，还可以做出若干种变形，具体采用何种布置形式，本发明实施例不做唯一性限定。
如图7所示是本发明实施例提供的一种计算机设备的结构示意图，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备20至少包括但不限于：可通过系统总线相互通信连接的存储器21、处理器22，如图7所示。需要指出的是，图7仅示出了具有组件21-22的计算机设备20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器21(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)，存储器21也可以是计算机设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备20的操作系统和各类应用软件，例如方法实施例中的基于双投射器的双目立体匹配装置的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行基于双投射器的双目立体匹配装置，以实现方法实施例中的基于双投射器的双目立体匹配方法。
本申请还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储基于双投射器的双目立体匹配装置的程序代码，被处理器执行时实现方法实施例中的基于双投射器的双目立体匹配方法。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于双投射器的双目立体匹配方法，其特征在于，应用于双投射器，所述双投射器包括第一投射器和第二投射器，所述方法包括：
基于所述第一投射器，获取第一组双目图像对，并基于所述第一组双目图像对进行立体匹配，生成第一视差图；
基于所述第二投射器，获取第二组双目图像对，并基于所述第二组双目图像对进行立体匹配，生成第二视差图；
对所述第一视差图及所述第二视差图进行融合，生成融合后的视差图，根据所述融合后的视差图得到3D点云。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一组双目图像对进行立体匹配，生成第一视差图，包括：
选取所述第一组双目图像对中两幅图像的对应子区域，对选取的子区域进行相关度匹配生成第一视差图，其中，若匹配成功，则所述第一视差图中对应像素点的视差有效，若匹配失败，则所述第一视差图中对应像素点的视差为无效值；
所述基于所述第二组双目图像对进行立体匹配，生成第二视差图，包括：
选取所述第二组双目图像对中两幅图像的对应子区域，对选取的子区域进行相关度匹配生成第二视差图，其中，若匹配成功，则所述第二视差图中对应像素点的视差有效，若匹配失败，则所述第二视差图中对应像素点的视差为无效值。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一视差图及所述第二视差图进行融合，生成融合后的视差图，包括：
基于所述第一视差图中待融合的像素点的视差值与所述第二视差图中待融合的像素点的视差值，得到融合后的视差值，进而得到融合后的视差图，其中，所述第二视差图中待融合的像素点与所述第一视差图中待融合的像素点对应。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一视差图中待融合的像素点的视差值与所述第二视差图中待融合的像素点的视差值，得到融合后的视差值，包括：
判断所述第一视差图中待融合的第一像素点对应的第一视差值是否为有效值；
判断所述第二视差图中待融合的第二像素点对应的第二视差值是否为有效值，所述第二像素点与所述第一像素点对应；
若所述第一视差值及所述第二视差值均为有效值，则将所述第一视差值与所述第二视差值和的平均值作为融合后的视差值；若所述第一视差值为有效值且所述第二视差值为无效值，则将所述第一视差值作为融合后的视差值；若所述第一视差值为无效值且所述第二视差值为有效值，则将所述第二视差值作为融合后的视差值；若所述第一视差值及所述第二视差值均为无效值，则融合后的视差值为无效值。
5.一种基于双投射器的双目立体匹配装置，其特征在于，应用于双投射器，所述双投射器包括第一投射器和第二投射器，所述装置包括：
第一图像获取模块，用于基于所述第一投射器，获取第一组双目图像对；
第一视差图生成模块，用于基于所述第一组双目图像对进行立体匹配，生成第一视差图；
第二图像获取模块，用于基于所述第二投射器，获取第二组双目图像对；
第二视差图生成模块，用于基于所述第二组双目图像对进行立体匹配，生成第二视差图；
融合模块，用于对所述第一视差图及所述第二视差图进行融合，生成融合后的视差图，根据所述融合后的视差图得到3D点云。
6.根据权利要求5所述的装置，其特征在于，所述第一视差图生成模块，具体用于选取所述第一组双目图像对中两幅图像的对应子区域，对选取的子区域进行相关度匹配生成第一视差图，其中，若匹配成功，则所述第一视差图中对应像素点的视差有效，若匹配失败，则所述第一视差图中对应像素点的视差为无效值；
所述第二视差图生成模块，具体用于选取所述第二组双目图像对中两幅图像的对应子区域，对选取的子区域进行相关度匹配生成第二视差图，其中，若匹配成功，则所述第二视差图中对应像素点的视差有效，若匹配失败，则所述第二视差图中对应像素点的视差为无效值。
7.根据权利要求5或6所述的装置，其特征在于，所述融合模块，具体用于基于所述第一视差图中待融合的像素点的视差值与所述第二视差图中待融合的像素点的视差值，得到融合后的视差值，进而得到融合后的视差图，其中，所述第二视差图中待融合的像素点与所述第一视差图中待融合的像素点对应。
8.根据权利要求7所述的装置，其特征在于，所述融合模块，包括：
第一判断模块，用于判断所述第一视差图中待融合的第一像素点对应的第一视差值是否为有效值；
第二判断模块，用于判断所述第二视差图中待融合的第二像素点对应的第二视差值是否为有效值，所述第二像素点与所述第一像素点对应；
判断处理模块，用于在所述第一视差值及所述第二视差值均为有效值时，将所述第一视差值与所述第二视差值和的平均值作为融合后的视差值；在所述第一视差值为有效值且所述第二视差值为无效值时，将所述第一视差值作为融合后的视差值；在所述第一视差值为无效值且所述第二视差值为有效值时，将所述第二视差值作为融合后的视差值；在所述第一视差值及所述第二视差值均为无效值时，融合后的视差值为无效值。
9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。
CN202010278211.7A 2020-04-10 2020-04-10 基于双投射器的双目立体匹配方法、装置、介质和设备 Active CN111601097B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010278211.7A CN111601097B (zh) 2020-04-10 2020-04-10 基于双投射器的双目立体匹配方法、装置、介质和设备
PCT/CN2021/000071 WO2021203770A1 (zh) 2020-04-10 2021-04-09 基于双投射器的双目立体匹配方法、装置、介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010278211.7A CN111601097B (zh) 2020-04-10 2020-04-10 基于双投射器的双目立体匹配方法、装置、介质和设备

Publications (2)

Publication Number Publication Date
CN111601097A true CN111601097A (zh) 2020-08-28
CN111601097B CN111601097B (zh) 2020-12-18

Family

ID=72190650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010278211.7A Active CN111601097B (zh) 2020-04-10 2020-04-10 基于双投射器的双目立体匹配方法、装置、介质和设备

Country Status (1)

Country Link
CN (1) CN111601097B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021203770A1 (zh) * 2020-04-10 2021-10-14 熵智科技(深圳)有限公司 基于双投射器的双目立体匹配方法、装置、介质和设备
CN114612369A (zh) * 2020-12-04 2022-06-10 深圳超多维科技有限公司 图像融合方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130033583A1 (en) * 2011-06-28 2013-02-07 Lg Electronics Inc. Image display device and controlling method thereof
CN104267573A (zh) * 2014-09-27 2015-01-07 杨灵芝 基于视差的新型裸眼悬浮立体显示方法
CN104380338A (zh) * 2012-05-22 2015-02-25 索尼电脑娱乐公司 信息处理器以及信息处理方法
CN106500628A (zh) * 2016-10-19 2017-03-15 杭州思看科技有限公司 一种含有多个不同波长激光器的三维扫描方法及扫描仪
CN106683045A (zh) * 2016-09-28 2017-05-17 深圳市优象计算技术有限公司 一种基于双目像机的全景图像拼接方法
CN108020175A (zh) * 2017-12-06 2018-05-11 天津中医药大学 一种多光栅投影双目视觉舌体表面三维整体成像方法
CN110009675A (zh) * 2019-04-03 2019-07-12 北京市商汤科技开发有限公司 生成视差图的方法、装置、介质及设备
CN110623763A (zh) * 2018-06-22 2019-12-31 阿莱恩技术有限公司 用多个微型摄像头和微型图案投射器的口内3d扫描仪

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130033583A1 (en) * 2011-06-28 2013-02-07 Lg Electronics Inc. Image display device and controlling method thereof
CN104380338A (zh) * 2012-05-22 2015-02-25 索尼电脑娱乐公司 信息处理器以及信息处理方法
CN104267573A (zh) * 2014-09-27 2015-01-07 杨灵芝 基于视差的新型裸眼悬浮立体显示方法
CN106683045A (zh) * 2016-09-28 2017-05-17 深圳市优象计算技术有限公司 一种基于双目像机的全景图像拼接方法
CN106500628A (zh) * 2016-10-19 2017-03-15 杭州思看科技有限公司 一种含有多个不同波长激光器的三维扫描方法及扫描仪
CN108020175A (zh) * 2017-12-06 2018-05-11 天津中医药大学 一种多光栅投影双目视觉舌体表面三维整体成像方法
CN110623763A (zh) * 2018-06-22 2019-12-31 阿莱恩技术有限公司 用多个微型摄像头和微型图案投射器的口内3d扫描仪
CN110009675A (zh) * 2019-04-03 2019-07-12 北京市商汤科技开发有限公司 生成视差图的方法、装置、介质及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王平,韩燮,韩焱,齐和平: "《基于双目视觉技术的物体深度信息的提取》", 《科学技术与工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021203770A1 (zh) * 2020-04-10 2021-10-14 熵智科技(深圳)有限公司 基于双投射器的双目立体匹配方法、装置、介质和设备
CN114612369A (zh) * 2020-12-04 2022-06-10 深圳超多维科技有限公司 图像融合方法、装置及电子设备

Also Published As

Publication number Publication date
CN111601097B (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
CN108028887B (zh) 一种终端的拍照对焦方法、装置及设备
JP5160643B2 (ja) ２次元画像からの３次元オブジェクト認識システム及び方法
US20090296984A1 (en) System and Method for Three-Dimensional Object Reconstruction from Two-Dimensional Images
CN112150528A (zh) 一种深度图像获取方法及终端、计算机可读存储介质
CN111601097B (zh) 基于双投射器的双目立体匹配方法、装置、介质和设备
CN110336942B (zh) 一种虚化图像获取方法及终端、计算机可读存储介质
KR20100134403A (ko) 깊이 정보를 생성하기 위한 장치 및 방법
CA2650557A1 (en) System and method for three-dimensional object reconstruction from two-dimensional images
CN207766424U (zh) 一种拍摄装置及成像设备
CN110213491B (zh) 一种对焦方法、装置及存储介质
CN113129241A (zh) 图像处理方法及装置、计算机可读介质、电子设备
CN116029996A (zh) 立体匹配的方法、装置和电子设备
CN112595262B (zh) 一种基于双目结构光的高反光表面工件深度图像获取方法
CN114399610A (zh) 基于引导先验的纹理映射系统和方法
CN114004935A (zh) 通过三维建模系统进行三维建模的方法和装置
CN113678168A (zh) 空间中的元素定位
Zhou et al. Robust stereo with flash and no-flash image pairs
CN112164099A (zh) 基于单目结构光的自检自校准方法及装置
CN111160233A (zh) 基于三维成像辅助的人脸活体检测方法、介质及系统
CN116017129A (zh) 一种补光灯角度调整方法、装置、系统、设备和介质
KR102288237B1 (ko) 이미지 연관 방법, 시스템 및 장치
US11283970B2 (en) Image processing method, image processing apparatus, electronic device, and computer readable storage medium
CN111833441A (zh) 一种基于多相机系统的人脸三维重建方法和装置
US10360719B2 (en) Method and apparatus for obtaining high-quality textures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231201

Address after: 518000, Building 5, Building C, Building C, Huaqiang Creative Park, Biyan Community, Guangming Street, Guangming District, Shenzhen, Guangdong Province, China 1301

Patentee after: SHENZHEN ROBOT VISION TECHNOLOGY Co.,Ltd.

Address before: 518031 703, 7th floor, Zhongdian Difu building, Zhenhua Road, Fuqiang community, Huaqiang North Street, Futian District, Shenzhen City, Guangdong Province

Patentee before: SHANGZHI TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right