CN107907995A - 一种基于双成像设备的三维景深的计算方法及系统 - Google Patents

一种基于双成像设备的三维景深的计算方法及系统 Download PDF

Info

Publication number
CN107907995A
CN107907995A CN201711401951.XA CN201711401951A CN107907995A CN 107907995 A CN107907995 A CN 107907995A CN 201711401951 A CN201711401951 A CN 201711401951A CN 107907995 A CN107907995 A CN 107907995A
Authority
CN
China
Prior art keywords
pixel
target pixel
reference value
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711401951.XA
Other languages
English (en)
Other versions
CN107907995B (zh
Inventor
艾韬
张基隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Visonertech Co Ltd
Original Assignee
Shenzhen Visonertech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Visonertech Co Ltd filed Critical Shenzhen Visonertech Co Ltd
Priority to CN201711401951.XA priority Critical patent/CN107907995B/zh
Publication of CN107907995A publication Critical patent/CN107907995A/zh
Application granted granted Critical
Publication of CN107907995B publication Critical patent/CN107907995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012Optical design, e.g. procedures, algorithms, optimisation routines
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)

Abstract

一种基于双成像设备的三维景深的计算方法,方法包括:获取第一成像设备和第二成像设备采集该目标对象的第一图像和第二图像;确定第一图像中的第一像素点,获取该第一像素点的第一行序列值和第一列序列值;获取该第二图像中的第二像素点集合;在该第二像素点集合中确定相似度参考值最高的像素点作为目标像素点;计算该第一像素点和该目标像素点之间的像素位置差;根据该像素位置差计算该目标对象中对应于该第一像素点和该目标像素点的点的三维景深值。本申请的有益效果在于,通过上述基于双成像设备的三维景深的计算方法,可以快速地确定目标对象中某一点的三维景深值。

Description

一种基于双成像设备的三维景深的计算方法及系统
技术领域
本发明属于三维成像技术领域,具体地,涉及一种基于双成像设备的三维景深的计算方法及系统。
背景技术
当人们通过双眼观察事物时,可以感知到事物是具有视觉深度的。随着视觉领域方面的技术的不断发展,三维立体视觉已经应用到影视、娱乐等各个领域。然而,现有技术在实现双目景深计算的过程中,会涉及到较大的工作量,因此导致难以实现实时性,很难满足快速响应的视频分析的要求。
发明内容
为了解决上述问题,本发明公开了一种基于双成像设备的三维景深的计算方法,该方法包括:
获取第一成像设备和第二成像设备在目标对象的同一水平的左右两侧采集该目标对象的第一图像和第二图像;
确定第一图像中的第一像素点,获取该第一像素点在第一图像中的第一行序列值和第一列序列值;
获取该第二图像中行序等于该第一行序列值的所有像素点作为的第二像素点集合;
遍历该第二像素点集合中的像素点,对于遍历到的像素点,确定该像素点与该第一像素点之间的相似度参考值;
在该第二像素点集合中确定相似度参考值最高的像素点作为目标像素点;
确定目标像素点在该第二图像中的第二列序列值,根据该第一列序列值和该第二列序列值计算该第一像素点和该目标像素点之间的像素位置差;
根据该像素位置差计算该目标对象中对应于该第一像素点和该目标像素点的点的三维景深值。
在其中一个实施例中,该遍历该第二像素点集合中的像素点,对于遍历到的像素点,确定该像素点与该第一像素点之间的相似度参考值包括:
在该第一图像中获取以该第一像素点为中心的第一M阶像素矩阵,其中M为大于1的奇数;
针对该M阶像素矩阵中每个像素点,获取以该像素点为中心的第一N阶像素矩阵,其中N为大于1的奇数;
计算与该第一N阶像素矩阵对应的位向量,生成与该M阶像素矩阵对应的第一M阶位向量矩阵;
获取以该第二像素点集合中的每个像素点为中心的第二M阶像素矩阵集合;
针对该第二M阶像素矩阵集合中的每个第二M阶像素矩阵中的每个像素点,获取以该像素点为中心的第二N阶像素矩阵;
计算每个N阶像素矩阵的位向量,生成第二M阶位向量矩阵集合;
通过计算该第一M阶位向量矩阵与该第二M阶位向量矩阵集合中的每一个第二M阶位向量矩阵的汉明距离和,将该汉明距离和的倒数确定为该相似度参考值。
在其中一个实施例中,该M为15,该N为11。
在其中一个实施例中,该在该第二像素点集合中确定相似度参考值最高的像素点作为目标像素点包括:
从该第二像素点中筛选出相似度参考值最高的候选目标像素点,和除该候选目标像素点以外具有最高相似度参考值的次高目标像素点,该次高目标像素点的相似度参考值小于或等于该候选目标像素点的相似度参考值;
当该候选目标像素点的相似度参考值与该次高目标像素点的相似度参考值的比例高于预设阈值的情况下,确定该候选目标像素点为该目标像素点;
当该候选目标像素点的相似度参考值与该次高目标像素点的相似度参考值的比例低于或等于预设阈值的情况下,判定景深计算失败。
在其中一个实施例中,该预设阈值为1.33。
根据本申请另一方面,公开了一种利用FPGA实现上文所描述的基于双成像设备的三维景深的计算方法的应用。
根据本申请另一方面,公开了一种基于双成像设备的三维景深的计算系统,该系统包括:
第一成像设备和第二成像设备,分别用于在目标对象的同一水平的左右两侧采集该目标对象的第一图像和第二图像;
第一获取设备,用于确定第一图像中的第一像素点,获取该第一像素点在第一图像中的第一行序列值和第一列序列值;
第二获取设备,用于获取该第二图像中行序等于该第一行序列值的所有像素点作为的第二像素点集合;
遍历设备,用于遍历该第二像素点集合中的像素点,对于遍历到的像素点,确定该像素点与该第一像素点之间的相似度参考值;
目标像素点确定装置,用于在该第二像素点集合中确定相似度参考值最高的像素点作为目标像素点;
第一计算设备,确定目标像素点在该第二图像中的第二列序列值,根据该第一列序列值和该第二列序列值计算该第一像素点和该目标像素点之间的像素位置差;
第二计算设备,根据该像素位置差计算该目标对象中对应于该第一像素点和该目标像素点的点的三维景深值。
在其中一个实施例中,该遍历设备包括:
第一获取模块,用于在该第一图像中获取以该第一像素点为中心的第一M阶像素矩阵,其中M为大于1的奇数;
第二获取模块,用于针对该M阶像素矩阵中每个像素点,获取以该像素点为中心的第一N阶像素矩阵,其中N为大于1的奇数;
第一计算模块,用于计算与该第一N阶像素矩阵对应的位向量,生成与该M阶像素矩阵对应的第一M阶位向量矩阵;
第三获取模块,用于获取以该第二像素点集合中的每个像素点为中心的第二M阶像素矩阵集合;
第四获取模块,用于针对该第二M阶像素矩阵集合中的每个第二M阶像素矩阵中的每个像素点,获取以该像素点为中心的第二N阶像素矩阵;
第二计算模块,用于计算每个N阶像素矩阵的位向量,生成第二M阶位向量矩阵集合;
第三计算模块,用于通过计算该第一M阶位向量矩阵与该第二M阶位向量矩阵集合中的每一个第二M阶位向量矩阵的汉明距离和,将该汉明距离和的倒数确定为该相似度参考值。
在其中一个实施例中,该目标像素点确定装置包括:
候选目标像素点确定模块,用于从该第二像素点中筛选出相似度参考值最高的候选目标像素点,和除该候选目标像素点以外具有最高相似度参考值的次高目标像素点,该次高目标像素点的相似度参考值小于或等于该候选目标像素点的相似度参考值;
确定模块,用于当该候选目标像素点的相似度参考值与该次高目标像素点的相似度参考值的比例高于预设阈值的情况下,确定该候选目标像素点为该目标像素点;
失败判定模块,用于当该候选目标像素点的相似度参考值与该次高目标像素点的相似度参考值的比例低于或等于预设阈值的情况下,判定景深计算失败。
在其中一个实施例中,该预设阈值为1.33,该M为15,该N为11。
本发明的有益效果在于,通过上述基于双成像设备的三维景深的计算方法,可以快速地确定目标对象中某一点的三维景深值。
附图说明
下面结合附图和具体实施方式,对本发明进行详细说明,其中:
图1所示为根据本申请一实施例的基于双成像设备的三维景深的计算方法的流程图;
图2所示为根据本申请一实施例的基于双成像设备的三维景深的计算方法的步骤S18的流程图;
图3所示为根据本申请一实施例的基于双成像设备的三维景深的计算方法的步骤S20的流程图;
图4所示为根据本申请一实施例的基于双成像设备的三维景深的计算系统的结构框图;
图5所示为根据本申请一实施例的基于双成像设备的三维景深的计算系统中的遍历设备的结构框图;
图6所示为根据本申请一实施例的基于双成像设备的三维景深的计算系统中的目标像素点确定装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及其技术效果更加清晰,以下结合附图和具体实施方式,对本发明进一步详细说明。应当理解的是,本说明书中描述的具体实施方式仅仅是为了解释本发明,并非为了限定本发明。
本发明公开了一种基于双成像设备的三维景深的计算方法10。如图1所示,该方法10包括:
S12,获取第一成像设备和第二成像设备在目标对象的同一水平的左右两侧采集该目标对象的第一图像和第二图像。
具体地,该第一成像设备和该第二成像设备包括但不限于照相机、摄像头等设备。该第一成像设备和该第二成像设备相对于目标对象在同一水平面上,换言之,该第一成像设备和该第二成像设备采集的该目标对象的第一图像和第二图像亦位于同一水平面上,即针对该目标对象的某一特定点,该特定点在第一图像中的行序列值和在第二图像中的行序列值相同。然而,由于该第一成像设备和该第二成像设备在该目标对象的左右两侧,因此,针对该目标对象的某一特定点,该特定点在第一图像中的列序列值和在第二图像中的列序列值不同。
S14,确定第一图像中的第一像素点,获取该第一像素点在第一图像中的第一行序列值和第一列序列值。
具体地,为了确定目标对象中某一点的景深信息,需要预先确定第一图像中与该点对应的第一像素点。这里的“第一行序列值”表示该第一像素点在该第一图像中的行数值;这里的“第一列序列值”表示该第一像素点在该第一图像中的列数值。
S16,获取该第二图像中行序等于该第一行序列值的所有像素点作为的第二像素点集合。
如上文所述,针对该目标对象的某一点,该点在第一图像中的行序列值和该点在第二图像中的行序列值相同。因此,该第二图像中与该第一像素点对应的点的目标像素点在该第二图像中的行序即为该第一行序列值。
S18,遍历该第二像素点集合中的像素点,对于遍历到的像素点,确定该像素点与该第一像素点之间的相似度参考值。
其中,可以采用现有的任何用于评价相似度的技术来确定第二像素点集合中的任一像素点与第一像素点的相似度参考值。
S20,在该第二像素点集合中确定相似度参考值最高的像素点作为目标像素点。
具体地,该第一像素点和该目标像素点均对应于目标对象的某一点。即该第一像素点和该目标像素点分别为第一成像设备和第二成像设备对该目标图像拍摄获得的该某一点映射到该第一图像和该第二图像的点。
此外,在一非限制性实施例中,如果该第二像素点集合中同时具有两个或多于两个相似度参考值最高的像素点,则判定景深计算失败,并结束执行上述方法。
S22,确定目标像素点在该第二图像中的第二列序列值,根据该第一列序列值和该第二列序列值计算该第一像素点和该目标像素点之间的像素位置差。
具体地,该像素位置差可以为该第一列序列值与该第二列序列值的差的绝对值,也可以通过其他计算方式获得。
S24,根据该像素位置差计算该目标对象中对应于该第一像素点和该目标像素点的点的三维景深值。
通过上述基于双成像设备的三维景深的计算方法10,可以快速地确定目标对象中某一点的三维景深值。
如图2所示,在其中一个实施例中,S18包括:
S180,在该第一图像中获取以该第一像素点为中心的第一M阶像素矩阵,其中M为大于1的奇数,具体地,该第一M阶像素矩阵表示该第一像素点的窗口像素集合。
具体地,该第一像素点的窗口像素集合中除该第一像素点以外的所有像素点的参数信息都反映了该第一像素点的环境信息。
S182,针对该M阶像素矩阵中每个像素点,获取以该像素点为中心的第一N阶像素矩阵,其中N为大于1的奇数,具体地,为了获得该窗口像素集合中的每一个像素点的周围环境,如亮度环境等,需要获取该M阶像素矩阵中每个像素点对应的周围像素点集合。
S184,计算与该第一N阶像素矩阵对应的位向量,生成与该M阶像素矩阵对应的第一M阶位向量矩阵。在一非限制性实施例中,该第一N阶像素矩阵对应的位向量如下:
假定该M阶像素矩阵中的某一像素点为P,则以P为中心的N阶像素矩阵如表1所示。从表中可以看出,在本实施例中,N=3。
如表1所示,该像素点P对应的N阶像素矩阵中除P以外的元素的亮度分别为P1、P2、P3、P4、P5、P6、P8、P8。
表1
P1 P2 P3
P4 P P5
P6 P7 P8
其中
P1、P5、P7>P;
P3=P;
P2、P4、P6、P8<P
在本非限制性实施例中,对于像素亮度小于P的像素点,则该像素点被置为1,反则置为0,因此,该点P的位向量为:01010101。
S186,获取以该第二像素点集合中的每个像素点为中心的第二M阶像素矩阵集合。
S188,针对该第二M阶像素矩阵集合中的每个第二M阶像素矩阵中的每个像素点,获取以该像素点为中心的第二N阶像素矩阵;
S190,计算每个N阶像素矩阵的位向量,生成第二M阶位向量矩阵集合;具体地,第二M阶像素矩阵集合的获取方式与结合表1描述的方式相同。
S192,通过计算该第一M阶位向量矩阵与该第二M阶位向量矩阵集合中的每一个第二M阶位向量矩阵的汉明距离和,将该汉明距离和的倒数确定为该相似度参考值。
在本实施例中,通过获取以像素点为中心的M阶像素矩阵,并对该M阶像素矩阵中的每个像素点为中心获取N阶像素矩阵,可以有限地获取某一特定像素点的周围环境的亮度等参数信息,进而可以综合有效地判断对应像素点,有效地降低了误判断的可能性。
在其中一个实施例中,该M为15,该N为11。
如图3所示,在其中一个实施例中,该S20包括:
S202,从该第二像素点中筛选出相似度参考值最高的候选目标像素点,和除该候选目标像素点以外具有最高相似度参考值的次高目标像素点,该次高目标像素点的相似度参考值小于或等于该候选目标像素点的相似度参考值;
S204,判断该候选目标像素点的相似度参考值与该次高目标像素点的相似度参考值的比例是否高于预设阈值;
S206,当该候选目标像素点的相似度参考值与该次高目标像素点的相似度参考值的比例高于预设阈值的情况下,确定该候选目标像素点为该目标像素点;
S208,当该候选目标像素点的相似度参考值与该次高目标像素点的相似度参考值的比例低于或等于预设阈值的情况下,判定景深计算失败。
在本实施例中,通过进一点确定该候选目标像素点的相似度参考值与该次高目标像素点的相似度参考值的比例是否高于预设阈值,可以对该候选目标像素点的相似的显著性进行判断,如果低于预设阈值,由表示该候选目标像素点与该第一像素点的相似显著性不够显著,与该第一像素点匹配的也有可能是次高目标像素点(在存在某些计算误判的情况下)。通过本实施例,可以对目标像素点作进一步确定,进一步降低误匹配的可能性。
在其中一个实施例中,该预设阈值为1.33。
下面以一具体的实施例对上述方法作进一步描述。
其中,用pxy表示第一图像的像素点,例如p35表示第3行第5列的像素点,而p′xy表示第二图像的像素点。如上文所描述的,该第一图像和该第二图像分别为第一成像设备和第二成像设备在目标对象的同一水平的左右两侧获取的该目标对象的图像。
下面是两幅9x9的视图,假定表2为第一图像的各像素点,像素点用pxy表示,表3为第二图像的各像素点,像素点用p′xy表示。
表2
p11 p12 p13 p14 p15 p16 p17 p18 p19
p21 p22 p23 p24 p25 p26 p27 p28 p29
p31 p32 p33 p34 p35 p36 p37 p38 p39
p41 p42 p43 p44 p45 p46 p47 p48 p49
p51 p52 p53 p54 p55 p56 p57 p58 p59
p61 p62 p63 p64 p65 p66 p67 p68 p69
p71 p72 p73 p74 p75 p76 p77 p78 p79
p81 p82 p83 p84 p85 p86 p87 p88 p89
p91 p92 p93 p94 p95 p96 p97 p98 p99
表3
p′11 p′12 p′13 p′14 p′15 p′16 p′17 p′18 p′19
p′21 p′22 p′23 p′24 p′25 p′26 p′27 p′28 p′29
p′31 p′32 p′33 p′34 p′35 p′36 p′37 p′38 p′39
p′41 p′42 p′43 p′44 p′45 p′46 p′47 p′48 p′49
p′51 p′52 p′53 p′54 p′55 p′56 p′57 p′58 p′59
p′61 p′62 p′63 p′64 p′65 p′66 p′67 p′68 p′69
p′71 p′72 p′73 p′74 p′75 p′76 p′77 p′78 p′79
p′81 p′82 p′83 p′84 p′85 p′86 p′87 p′88 p′89
p′91 p′92 p′93 p′94 p′95 p′96 p′97 p′98 p′99
在本实施例中,第一图像中的p35为第一像素点,则在第二图像中的第二像素点集合即p′3y,其中y为2-8中的一个。
首先,在该第一图像中获取以p35为中心的第一3阶像素矩阵,具体地,该第一3阶像素矩阵表示该第一像素点的窗口像素集合。
需要说明,为描述方便,这里的实例使用3×3的矩阵。以p35为中心点的3×3大小的矩阵如表4所示:
表4
p24 p25 p26
p34 p35 p36
p44 p45 p46
上面像素矩阵中的9个点的位向量都要确定,用pvxy表示位向量,则上面矩阵的位向量表示如表5:
表5
pv24 pv25 pv26
pv34 pv35 pv36
pv44 pv45 pv46
接下来,如表6-表12所示,在第二图像中找到与第一像素点,即p35同一行的所有像素点分别对应的第二3阶矩阵的集合。
表6
p′21 p′22 p′23
p′31 p′32 p′33
p′41 p′42 p′43
表7
p′22 p′23 p′24
p′32 p′33 p′34
p′42 p′43 p′44
表8
p′23 p′24 p′25
p′33 p′34 p′35
p′43 p′44 p′45
表9
p′24 p′25 p′26
p′34 p′35 p′36
p′44 p′45 p′46
表10
p′25 p′26 p′27
p′35 p′36 p′37
p′45 p′46 p′47
表11
p26 p27 p28
p36 p37 p38
p46 p47 p48
表12
p27 p28 p29
p37 p38 p39
p47 p48 p49
然后,把第二图像中的第二像素点集合中的像素点的位向量记为p′vxy,则对应的位向量矩阵分别如表13-表19所示:
表13
p′v21 p′v22 p′v23
p′v31 p′v32 p′v33
p′v41 p′v42 p′v43
表14
p′v22 p′v23 p′v24
p′v32 p′v33 p′v34
p′v42 p′v43 p′v44
表15
p′v23 p′v24 p′v25
p′v33 p′v34 p′v35
p′v43 p′v44 p′v45
表16
p′v24 p′v25 p′v26
p′v34 p′v35 p′v36
p′v44 p′v45 p′v46
表17
p′v25 p′v26 p′v27
p′v35 p′v36 p′v37
p′v45 p′v46 p′v47
表18
p′v26 p′v27 p′v28
p′v36 p′v37 p′v38
p′v46 p′v47 p′v48
表19
p′v27 p′v28 p′v29
p′v37 p′v38 p′v39
p′v47 p′v48 p′v49
接下来,计算第一3阶位向量矩阵与该第二3阶位向量矩阵集合中的每一个第二3阶位向量矩阵的汉明距离和。
具体地,汉明距离和的计算方式如下:
d1=L-R1=(pv24-p′v21)+(pv25-p′v22)+(pv26-p′v23)+(pv34-p′v31)+(pv35-p′v32)+(pv36-p′v33)+(pv44-p′v41)+(pv45-p′v42)+(pv46-p′v43);
其中d1表示第二像素点集合中的点p`32为中心的N(在本实施例中,N=3)阶矩阵与第一3阶矩阵的汉明距离和。
同理地,
d2=L-R2;
d3=L-R3;
d4=L-R4;
d5=L-R5;
d6=L-R6;
d7=L-R7;
所以在本实施例中有7个汉明距离和,分别是d1-d7,在这7个汉明距离和中找出最小的两个,也就是dmin1和dmin2,dmin1为候选目标像素点对应的汉明距离和,dmin2为次高目标像素点对应的汉明距离和。
最后,如果dmin2/dmin1<=N,则第一像素点在第二图像中有对应的点,即该候选目标像素点;否则,则失配,并把该候选目标像素点看作无效点。
根据本申请另一方面,公开了一种利用FPGA实现上文所描述的基于双成像设备的三维景深的计算方法的应用。
具体地,FPGA包括两个视频数据输入接口,分别用于接收左右两路视频信号,这里的两路视频信号分别由位于目标对象左右两侧的成像设备拍摄并输入至该FPGA的视频信号,其中该两个视频数据输入接口具有帧同步功能块、像素有效功能块以及像素数据块等。
此外,FPGA还包括存储模块,所述存储模块优选为滚动缓冲存储模块,用于存储视频数据的当前帧的图像,并实现如上文所述的基于双成像设备的三维景深的计算方法。
此外FPGA还包括遍历器,用于在实现上文所述的基于双成像设备的三维景深的计算方法的过程中,依次访问第一像素点以及该第二像素点集合中的每个像素点。
需要说明的是,本实施例中实现上文所描述的基于双成像设备的三维景深的计算方法的FPGA除具有上述部件(或可实现相同功能的等同部件)外,还具有可以实现方法10中所有步骤的其他部件,在这里不再赘述。
根据本申请另一方面,公开了一种基于双成像设备的三维景深的计算系统40。如图4所示,该系统40包括:
第一成像设备42和第二成像设备44,分别用于在目标对象的同一水平的左右两侧采集该目标对象的第一图像和第二图像;
第一获取设备46,用于确定第一图像中的第一像素点,获取该第一像素点在第一图像中的第一行序列值和第一列序列值;
第二获取设备48,用于获取该第二图像中行序等于该第一行序列值的所有像素点作为的第二像素点集合;
遍历设备50,用于遍历该第二像素点集合中的像素点,对于遍历到的像素点,确定该像素点与该第一像素点之间的相似度参考值;
目标像素点确定装置52,用于在该第二像素点集合中确定相似度参考值最高的像素点作为目标像素点;
第一计算设备54,确定目标像素点在该第二图像中的第二列序列值,根据该第一列序列值和该第二列序列值计算该第一像素点和该目标像素点之间的像素位置差;
第二计算设备56,根据该像素位置差计算该目标对象中对应于该第一像素点和该目标像素点的点的三维景深值。
如图5所示,在其中一个实施例中,该遍历设备50包括:
第一获取模块500,用于在该第一图像中获取以该第一像素点为中心的第一M阶像素矩阵,其中M为大于1的奇数;
第二获取模块502,用于针对该M阶像素矩阵中每个像素点,获取以该像素点为中心的第一N阶像素矩阵,其中N为大于1的奇数;
第一计算模块504,用于计算与该第一N阶像素矩阵对应的位向量,生成与该M阶像素矩阵对应的第一M阶位向量矩阵;
第三获取模块506,用于获取以该第二像素点集合中的每个像素点为中心的第二M阶像素矩阵集合;
第四获取模块508,用于针对该第二M阶像素矩阵集合中的每个第二M阶像素矩阵中的每个像素点,获取以该像素点为中心的第二N阶像素矩阵;
第二计算模块510,用于计算每个N阶像素矩阵的位向量,生成第二M阶位向量矩阵集合;
第三计算模块512,用于通过计算该第一M阶位向量矩阵与该第二M阶位向量矩阵集合中的每一个第二M阶位向量矩阵的汉明距离和,将该汉明距离和的倒数确定为该相似度参考值。
如图6所示,在其中一个实施例中,该目标像素点确定装置52包括:
候选目标像素点确定模块520,用于从该第二像素点中筛选出相似度参考值最高的候选目标像素点,和除该候选目标像素点以外具有最高相似度参考值的次高目标像素点,该次高目标像素点的相似度参考值小于或等于该候选目标像素点的相似度参考值;
确定模块522,用于当该候选目标像素点的相似度参考值与该次高目标像素点的相似度参考值的比例高于预设阈值的情况下,确定该候选目标像素点为该目标像素点;
失败判定模块524,用于当该候选目标像素点的相似度参考值与该次高目标像素点的相似度参考值的比例低于或等于预设阈值的情况下,判定景深计算失败。
在其中一个实施例中,该预设阈值为1.33,该M为15,该N为11。
需要说明的是,上述各个模块并不一定是独立的模块,其中多个模块可以集成为一个模块;或者上述各个模块又可以根据功能细分为多个模块,这些都落入本申请的保护范围之内。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,该的存储介质可为磁碟、光盘、只读存储记忆体(Read Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。此外,尽管本说明书中使用了一些特定的术语,但这些术语只是为了方便说明,并不对本发明构成任何限制。

Claims (10)

1.一种基于双成像设备的三维景深的计算方法,其特征在于,所述方法包括:
获取第一成像设备和第二成像设备在目标对象的同一水平的左右两侧采集所述目标对象的第一图像和第二图像;
确定第一图像中的第一像素点,获取所述第一像素点在第一图像中的第一行序列值和第一列序列值;
荻取所述第二图像中行序等于所述第一行序列值的所有像素点作为的第二像素点集合;
遍历所述第二像素点集合中的像素点,对于遍历到的像素点,确定该像素点与所述第一像素点之间的相似度参考值;
在所述第二像素点集合中确定相似度参考值最高的像素点作为目标像素点;
确定目标像素点在所述第二图像中的第二列序列值,根据所述第一列序列值和所述第二列序列值计算所述第一像素点和所述目标像素点之间的像素位置差;
根据所述像素位置差计算所述目标对象中对应于所述第一像素点和所述目标像素点的点的三维景深值。
2.根据权利要求1所述的方法,其特征在于,所述遍历所述第二像素点集合中的像素点,对于遍历到的像素点,确定该像素点与所述第一像素点之间的相似度参考值包括:
在所述第一图像中获取以所述第一像素点为中心的第一M阶像素矩阵,其中M为大于1的奇数;
针对所述M阶像素矩阵中每个像素点,获取以该像素点为中心的第一N阶像素矩阵,其中N为大于1的奇数;
计算与该第一N阶像素矩阵对应的位向量,生成与所述M阶像素矩阵对应的第一M阶位向量矩阵;
获取以所述第二像素点集合中的每个像素点为中心的第二M阶像素矩阵集合;
针对所述第二M阶像素矩阵集合中的每个第二M阶像素矩阵中的每个像素点,获取以该像素点为中心的第二N阶像素矩阵;
计算每个N阶像素矩阵的位向量,生成第二M阶位向量矩阵集合;
通过计算所述第一M阶位向量矩阵与所述第二M阶位向量矩阵集合中的每一个第二M阶位向量矩阵的汉明距离和,将所述汉明距离和的倒数确定为所述相似度参考值。
3.根据权利要求2所述的方法,其特征在于,所述M为15,所述N为11。
4.根据权利要求1所述的方法,其特征在于,所述在所述第二像素点集合中确定相似度参考值最高的像素点作为目标像素点包括:
从所述第二像素点中筛选出相似度参考值最高的候选目标像素点,和除所述候选目标像素点以外具有最高相似度参考值的次高目标像素点,所述次高目标像素点的相似度参考值小于或等于所述候选目标像素点的相似度参考值;
当所述候选目标像素点的相似度参考值与所述次高目标像素点的相似度参考值的比例高于预设阈值的情况下,确定所述候选目标像素点为所述目标像素点;
当所述候选目标像素点的相似度参考值与所述次高目标像素点的相似度参考值的比例低于或等于预设阈值的情况下,判定景深计算失败。
5.根据权利要求4所述的方法,其特征在于,所述预设阈值为1.33。
6.一种利用FPGA实现如权利要求1-5中任一项所述的基于双成像设备的三维景深的计算方法的应用。
7.一种基于双成像设备的三维景深的计算系统,其特征在于,所述系统包括:
第一成像设备和第二成像设备,分别用于在目标对象的同一水平的左右两侧采集所述目标对象的第一图像和第二图像;
第一获取设备,用于确定第一图像中的第一像素点,获取所述第一像素点在第一图像中的第一行序列值和第一列序列值;
第二获取设备,用于获取所述第二图像中行序等于所述第一行序列值的所有像素点作为的第二像素点集合;
遍历设备,用于遍历所述第二像素点集合中的像素点,对于遍历到的像素点,确定该像素点与所述第一像素点之间的相似度参考值;
目标像素点确定装置,用于在所述第二像素点集合中确定相似度参考值最高的像素点作为目标像素点;
第一计算设备,确定目标像素点在所述第二图像中的第二列序列值,根据所述第一列序列值和所述第二列序列值计算所述第一像素点和所述目标像素点之间的像素位置差;
第二计算设备,根据所述像素位置差计算所述目标对象中对应于所述第一像素点和所述目标像素点的点的三维景深值。
8.根据权利要求7所述的系统,其特征在于,所述遍历设备包括:
第一获取模块,用于在所述第一图像中获取以所述第一像素点为中心的第一M阶像素矩阵,其中M为大于1的奇数;
第二获取模块,用于针对所述M阶像素矩阵中每个像素点,获取以该像素点为中心的第一N阶像素矩阵,其中N为大于1的奇数;
第一计算模块,用于计算与该第一N阶像素矩阵对应的位向量,生成与所述M阶像素矩阵对应的第一M阶位向量矩阵;
第三获取模块,用于荻取以所述第二像素点集合中的每个像素点为中心的第二M阶像素矩阵集合;
第四获取模块,用于针对所述第二M阶像素矩阵集合中的每个第二M阶像素矩阵中的每个像素点,获取以该像素点为中心的第二N阶像素矩阵;
第二计算模块,用于计算每个N阶像素矩阵的位向量,生成第二M阶位向量矩阵集合;
第三计算模块,用于通过计算所述第一M阶位向量矩阵与所述第二M阶位向量矩阵集合中的每一个第二M阶位向量矩阵的汉明距离和,将所述汉明距离和的倒数确定为所述相似度参考值。
9.根据权利要求7所述的系统,其特征在于,所述目标像素点确定装置包括:
候选目标像素点确定模块,用于从所述第二像素点中筛选出相似度参考值最高的候选目标像素点,和除所述候选目标像素点以外具有最高相似度参考值的次高目标像素点,所述次高目标像素点的相似度参考值小于或等于所述候选目标像素点的相似度参考值;
确定模块,用于当所述候选目标像素点的相似度参考值与所述次高目标像素点的相似度参考值的比例高于预设阈值的情况下,确定所述候选目标像素点为所述目标像素点;
失败判定模块,用于当所述候选目标像素点的相似度参考值与所述次高目标像素点的相似度参考值的比例低于或等于预设阈值的情况下,判定景深计算失败。
10.根据权利要求9所述的系统,其特征在于,所述预设阈值为1.33,所述M为15,所述N为11。
CN201711401951.XA 2017-12-22 2017-12-22 一种基于双成像设备的三维景深的计算方法及系统 Active CN107907995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711401951.XA CN107907995B (zh) 2017-12-22 2017-12-22 一种基于双成像设备的三维景深的计算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711401951.XA CN107907995B (zh) 2017-12-22 2017-12-22 一种基于双成像设备的三维景深的计算方法及系统

Publications (2)

Publication Number Publication Date
CN107907995A true CN107907995A (zh) 2018-04-13
CN107907995B CN107907995B (zh) 2020-05-01

Family

ID=61869690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711401951.XA Active CN107907995B (zh) 2017-12-22 2017-12-22 一种基于双成像设备的三维景深的计算方法及系统

Country Status (1)

Country Link
CN (1) CN107907995B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7601938B2 (en) * 2001-07-06 2009-10-13 Palantyr Research, Llc Imaging system, methodology, and applications employing reciprocal space optical design
CN204904359U (zh) * 2015-08-25 2015-12-23 上海集成电路研发中心有限公司 一种基于双摄像头的三维景深识别装置
CN106650829A (zh) * 2017-01-04 2017-05-10 华南理工大学 一种图片相似度计算方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7601938B2 (en) * 2001-07-06 2009-10-13 Palantyr Research, Llc Imaging system, methodology, and applications employing reciprocal space optical design
CN204904359U (zh) * 2015-08-25 2015-12-23 上海集成电路研发中心有限公司 一种基于双摄像头的三维景深识别装置
CN106650829A (zh) * 2017-01-04 2017-05-10 华南理工大学 一种图片相似度计算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
翟振刚: "立体匹配算法研究", 《中国博士学位论文全文数据库 基础科学辑》 *

Also Published As

Publication number Publication date
CN107907995B (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
WO2018174623A1 (ko) 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법
DE102019130889A1 (de) Schätzung der tiefe eines mit einer monokularen rgb-kamera aufgenommenen videodatenstroms
CN106650630A (zh) 一种目标跟踪方法及电子设备
DE102019106123A1 (de) Dreidimensionale (3D) Posenschätzung von Seiten einer monokularen Kamera
CN109815955A (zh) 题目辅助方法及系统
Haber et al. Perceptual components of computer displays
DE102019128750A1 (de) Reduzierung des detailgrades eines polygonnetzes, um eine komplexität einer bildlich wiedergegebenen geometrie innerhalb einer szene zu verringern
Kunz et al. Information science: on the structure of its problems
CN109801325A (zh) 一种双目立体视觉系统获取视差图的方法及装置
CN115223179A (zh) 基于答题码的课堂教学数据处理方法和系统
Holmberg Geoinformatics for urban and regional planning
Czakóová et al. The application of modern technologies for image processing and creating real model in teaching computer science at secondary school
US5257345A (en) Computer system and method for displaying functional information with parallax shift
CN107907995A (zh) 一种基于双成像设备的三维景深的计算方法及系统
CN108053464A (zh) 粒子特效处理方法及装置
CN111626212A (zh) 图片中对象的识别方法和装置、存储介质及电子装置
CN107734211A (zh) 影像滤波方法及其影像滤波装置
Wang et al. Augmented reality circuit learning
Guo Application of video feedback system in analysis and diagnosis of Wushu routine movement
CN209250794U (zh) 一种大数据网络安全监控系统的网络架构
Kaszanitzky et al. Lifting symmetric pictures to polyhedral scenes.
CN101369417B (zh) 一种异步显示图像的叠加装置
CN113610676B (zh) 一种基于云平台的计算机教学授课系统
Welch et al. Immersive electronic books for surgical training
CN116978110A (zh) 一种舞姿动作评价方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant