CN109743562B - 基于Census算法的匹配代价计算电路结构及其工作方法 - Google Patents

基于Census算法的匹配代价计算电路结构及其工作方法 Download PDF

Info

Publication number
CN109743562B
CN109743562B CN201910025182.0A CN201910025182A CN109743562B CN 109743562 B CN109743562 B CN 109743562B CN 201910025182 A CN201910025182 A CN 201910025182A CN 109743562 B CN109743562 B CN 109743562B
Authority
CN
China
Prior art keywords
module
window
image
processing module
right image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910025182.0A
Other languages
English (en)
Other versions
CN109743562A (zh
Inventor
陈松
卫钦智
李智伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201910025182.0A priority Critical patent/CN109743562B/zh
Publication of CN109743562A publication Critical patent/CN109743562A/zh
Application granted granted Critical
Publication of CN109743562B publication Critical patent/CN109743562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于Census算法的匹配代价计算电路结构及其工作方法,包括:第一阶段,双目相机的左右相机拍摄得到的原始的左右图像像素值,间隔指定周期进入缓存模块进行缓存;第二阶段,对左右图像进行窗口内部处理,来自缓存模块的数据信息进入窗口模块,在指定周期内处理并输出;第三阶段,初始代价求取及优化,经窗口处理模块得到的数据进入计算模块在指定周期内完成初始代价求取和初始代价的比特串位数优化,最后由输出模块拼接输出。本发明提供的基于Census算法的匹配代价计算电路结构及其工作方法,计算过程涉及了加减法和异或等运算,电路中也主要使用了加法器、减法器、异或等电路结构,实现图像及视频数据变换过程简单,可以降低片上资源消耗。

Description

基于Census算法的匹配代价计算电路结构及其工作方法
技术领域
本发明属于图像、视频处理技术领域,具体涉及一种对图像、视频进行预处理的基于Census算法的匹配代价计算电路结构及其工作方法。本发明可用于对高清图像、视频进行实时处理的立体匹配系统。
背景技术
随着计算机视觉的快速发展,人们对视频分辨率的要求越来越高,视频分辨率朝着4K(3840×2160)和8K(7680×4320)超高清方向发展。立体匹配是立体视觉中关键的一部分,立体匹配是一种从平面图像中恢复拍摄的目标物体的深度信息的技术。
双目立体视觉在充分理解并分析人类视觉系统工作原理的基础之上,结合现有的技术手段,利用摄像机和计算机来模拟人类视觉系统。其基本原理是:首先采用在不同位置上的两个或多个摄像机对同一目标进行拍摄,从不同的视角获得二维图像;空间点在所得到的图像中的位置偏差根据像素匹配来计算;最后根据所得到的位置偏差利用三角测量原理来进行三维重建。立体匹配主要包括求初始匹配代价计算、代价聚合、视差计算和视差优化。
立体匹配技术的发展日新月异,随着匹配算法精度与速度的提高,其应用场景进一步扩大。Census算法是计算初始代价的一种方法,是立体匹配系统中的重要一部分,针对高清图像、视频的立体匹配系统,如何在实际的使用中做到更低的成本,关键在于如何降低片上资源消耗;只有有效地控制片上资源消耗,才能保证更好的应用于工程实践中。
Census区域匹配算法是属于非参数区域算法的一种,Census变换是基于邻域灰度比较而并非灰度本身,因此基于Census变换的区域匹配算法对增益和亮度偏差等现象比较鲁棒,而且Census变换保留了邻域像素的位置信息,具有很好的匹配效果。基于Census算法的匹配代价计算硬件电路结构主要包括原始的左右图像的缓存;对左右图像进行窗口内部处理;初始代价求取及优化三个阶段。上一阶段的输出作为下一个阶段的输入,缓存的像素值数据输出给窗口模块,左右图像窗口计算出比特串输出给下一阶段计算并优化初始代价。Census变换是一种用于局部立体匹配的非参数变换,变换过程简单,只用到了加减法和异或等运算,控制Census变换部分的资源消耗对立体匹配系统整体资源管控有着重要意义。
发明内容
本发明的目的是设计一种低资源消耗的基于Census算法的匹配代价计算电路结构及其工作方法,用于求取初始代价,以支持高清图像、视频的双目立体匹配工作及三维重建工作。
有鉴于此,本发明提供了一种基于Census算法的匹配代价计算电路结构,包括:
缓存模块,包括由随机存取存储器构成的左图像缓存模块和右图像缓存模块,实现对双目相机的左右相机拍摄得到的左右图像的像素值的缓存;
进一步的,左图像缓存模块和右图像缓存模块结构相同,包括并列连接的指定数量的随机存取存储器,该指定数量值为不小于2的偶数。
进一步的,左图像缓存模块中的随机存取存储器深度小于右图像缓存模块中的随机存取存储器的深度。
窗口处理模块,包括由窗口阵列组成的左图像处理模块,以及右图像处理模块和对应的移位缓存模块,对应处理左图像缓存模块和右图像缓存模块中的像素值得到新的比特串输出;
进一步的,左图像处理模块和右图像处理模块具有相同的窗口阵列,该窗口阵列由移位寄存器搭建而成。
进一步的,该窗口阵列为窗口宽度×窗口高度排列,其中,窗口宽度和窗口高度为相同或不同的奇数。
进一步的,窗口阵列最中央的点为窗口中心,存放的值为中心像素值,与窗口阵列存放的其余各像素值比较得到新的比特串输出。
进一步的,右图像处理模块在窗口处理模块的基础上增加一移位缓存器,该缓存器对右图像处理模块中窗口阵列的输出比特串进行缓存后输出。
计算模块,包括异或处理模块和计数处理模块,该异或处理模块实现对左图像处理模块和右图像处理模块的输出比特串在指定周期内的按位异或,并输出异或结果至计数处理模块,该计数处理模块在指定周期内求取对应的汉明距离并输出,即初始代价;
优化模块,包括比较器和执行模块,实现在指定周期内对初始代价的比特串位数优化;
输出模块,包括寄存器模块和拼接模块,将优化后的比特串按周期存入不同寄存器中,然后利用拼接模块对不同寄存器中的比特串进行组合,得到最终的优化初始代价数据信息。
基于上述电路,本发明还提供了该基于Census算法的匹配代价计算电路结构的工作方法,处理过程分为3个阶段:
首先获取原始图像,由双目相机的左相机和右相机拍摄得到左图像和右图像,然后进行分阶段处理;
第一阶段为图像缓存,左图像和右图像的像素值间隔指定周期分别进入左图像缓存模块和右图像缓存模块进行缓存;
第二阶段为窗口计算,来自左图像缓存模块和右图像缓存模块的数据信息分别进入左图像窗口处理模块和右图像窗口处理模块在指定周期内处理并输出;
第三阶段为初始代价求取及优化,经窗口处理模块得到的数据进入计算模块在指定周期内完成按位异或,接着在规定周期内求取初始代价,然后进入优化模块实现初始代价的比特串位数优化,最后由输出模块组合输出。
进一步的,窗口计算包括:
将窗口阵列中除去中心像素值以外的其余各窗口存放的像素值分别与该中心像素值进行大小比较,比较次数用i表示,i=窗口宽度×窗口高度-1,结果得到位宽为i的2进制比特串;
以左图像作为目标图,右图像作为参考图,自左向右搜索;
左图像通过窗口计算得到一个位宽为i的2进制比特串,右图像先做n次窗口计算,将每次得到的比特串进行缓存,得到n个位宽为i的2进制比特串;
将右图像经处理得到的n个位宽为i的2进制比特串与左图像经处理得到的1个位宽为i的2进制比特串输出到初始代价求取及优化阶段进行计算及优化。
更进一步的,初始代价求取及优化包括:
窗口计算阶段的输出作为本阶段的输入,将左图像经处理得到的一个位宽为i的2进制比特串和右图像经处理得到的n个位宽为i的2进制比特串在计算模块中分别进行按位异或操作,求出n个新的位宽为i的2进制比特串;
根据新的位宽为i的2进制比特串计算汉明距离;
在优化模块对汉明距离进行压缩截断优化,得到初始代价。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图做简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例所述的基于Census算法的匹配代价计算硬件电路结构示意图;
图2为本发明实施例所述的左图像的灰度值缓存的电路结构示意图;
图3为本发明实施例所述的右图像的灰度值缓存的电路结构示意图;
图4为本发明实施例所述的左图窗口内部计算的电路结构示意图;
图5为本发明实施例所述的右图窗口内部计算的电路结构示意图;
图6为本发明实施例所述的左、右图输出比特串按位异或电路结构示意图;
图7为本发明实施例所述的计算汉明距离的电路结构示意图;
图8为本发明实施例所述的初始代价优化电路结构示意图;
图9为本发明实施例所述的所有视差下的初始代价组合输出电路示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合附图,对本发明提出的基于Census算法的匹配代价计算电路结构图做进一步说明。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域的普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
本发明一实施例提供了一种基于Census算法的匹配代价计算电路结构,该电路结构实现了Census变换,在利用该电路之前,首先由双目相机的左相机和右相机拍摄得到左图像和右图像,在本实施例中,左图像和右图像均为灰度图像,其灰度值作为原始值输入该电路进行计算处理,进一步请参照图1,该电路结构包括:
缓存模块,包括由随机存取存储器构成的左图像缓存模块和右图像缓存模块,实现对双目相机的左右相机拍摄得到的左右图像的像素值的缓存;
一些实施例中,左图像缓存模块和右图像缓存模块结构相同,包括并列连接的指定数量的随机存取存储器,该指定数量值为不小于2的偶数。
本实施例中,左图像缓存模块和右图像缓存模块实现对左图像灰度值和右图像灰度值的缓存,具体地,图2和图3给出了左右灰度图像像素写入ram的结构图,其中包括左右图像缓存模块,可以看出,左右图像缓存模块具有相同的结构,写入和读出的方式也相同,本实施例提供的左右图像缓存模块包含4个并列连接的ram,即随机存储存取器,由上到下依次标号ram0、ram1、ram2、ram3。
一些实施例中,左图像缓存模块中的随机存取存储器深度小于右图像缓存模块中的随机存取存储器的深度。
本实施例中,右图像缓存模块的ram深度和图像宽度相同,左图像缓存模块的ram深度和右图像缓存模块的ram深度不同,左图像缓存模块的ram深度小于右图像缓存模块,即左图有一定数量的像素数据不需要缓存,左图像缓存模块的ram读数据也会滞后右图像缓存模块的ram四倍相同数量的时钟周期。
进一步的,在像素值缓存阶段,左右图像的缓存都是采用双端口ram,该电路结构在指定周期内完成对左右图像像素值的缓存,假定本实施例的指定周期为4,则每4个时钟周期向ram中写入一个像素,不同行的像素值写进不同的ram中,写入哪一个ram由当前写入ram的图像行的计数器的后2位决定,先向ram0写,再向ram1、ram2、ram3中写,接着向ram0中写,覆盖之前的数据。ram采用写优先,每4个时钟周期读一组数据,读数据开始于第三行写数据开始,此时最新一行数据就是第三行,与此同时第三行数据将写入ram2,ram中缓存前2行数据,将前2行数据和最新的第三行数据读出来;写第四行时,此时最新一行数据就是第四行,与此同时第四行数据将写入ram3,ram中缓存前3行数据,将前3行数据和最新的第四行数据读出来,以此类推,一行结束处理下一行,读出来送入下个阶段的窗口中计算。
该基于Census算法的匹配代价计算电路结构进一步包括:窗口处理模块,包括由窗口阵列组成的左图像处理模块,以及右图像处理模块和对应的移位缓存模块,对应处理左图像缓存模块和右图像缓存模块中的像素值得到新的比特串输出;
一些实施例中,左图像处理模块和右图像处理模块具有相同的窗口阵列,该窗口阵列由移位寄存器搭建而成,其中,需要移位寄存器数量为窗口宽度个,移位器存器深度为窗口高度。
一些实施例中,该窗口阵列为窗口宽度×窗口高度排列,窗口宽度和窗口高度为相同或不同的奇数。并且,在实施例中,窗口高度值等于左右图像缓存模块中的随机存取存储器即ram的数量值加1。
一些实施例中,窗口阵列最中央的点为窗口中心,存放的值为中心像素值,与窗口陈列存放的其余各像素值比较得到新的比特串输出。
基于以上实施例,图4给出了左图像窗口处理模块的电路结构图,本设计的窗口大小为5x5,指定每4个时钟周期完成一次窗口比较,窗口最中央的点是中心像素的位置,用于和其他非中心像素点的值做大小比较,本设计的是大于等于中心像素的点值即为1,否则,即为0,由左到右,由上到下可以组成一个24-bit的比特串,处理第一行像素只需要前3行像素数据,处理第二行需要前4行数据,处理第三行到倒数第三行像素需要5行数据,倒数第二行需要最后4行数据,最后一行需要最后三行数据。
一些实施例中,右图像处理模块在窗口处理模块的基础上增加一移位缓存器,该缓存器对右图像处理模块中窗口阵列的输出比特串进行缓存后输出。
图5是本实施例提供的右图像窗口处理模块的电路结构图,与图4具有相同的结构的窗口,不同的是图5的窗口计算的结果会先处理并缓存一定数量的比特串至移位缓存器中,缓存的数量就是我们实际匹配过程中的搜索视差,本设计的视差设定为79,计算最后一个比特串时左图像窗口处理模块开始计算第一个比特串,最后将左、右图像计算结果输出到下一个模块。实际使用中去掉了视差0到视差3的部分,并且,在视差55到79区间,去掉所有偶数视差,留下奇数视差点比特串,结果视差匹配共计有64,移位缓存器的数量等于视差匹配数64。
本发明实施例提供的该基于Census算法的匹配代价计算电路结构更进一步包括:计算模块,包括异或处理模块和计数处理模块,其中,异或处理模块实现对左图像处理模块和右图像处理模块的输出比特串在指定周期内的按位异或,并输出异或结果至计数处理模块,该计数处理模块在指定周期内求取对应的汉明距离,即初始代价并输出;
本实施例中,图6作为异或处理模块和图7作为计数处理模块共同结合构成本发明中的计数模块,其中,图6给出了计算汉明距离第一步的按位异或电路结构图。来自上个阶段的左、右图像经计算后的输出,左图像经计算输出的一个24-bit比特串依次和右图像经计算输出的64个24-bit比特串进行按位异或操作,并且要在指定的4个周期内完成。如图,在4个时钟周期中的第一个时钟周期完成rgt_str0_o到rgt_str15_o和1ft_str_o的异或操作,第二个周期完成rgt_str16_o到rgt_str31_o和lft_str_o的异或操作,第三个周期完成rgt_str32_o到rgt_str47_o和lft_str_o的异或操作,第四个周期完成rgt_str48_o到rgt_str63_o和lft_str_o的异或操作,选择器会在每完成一次异或操作就将结果赋予给str0_o到str15_0输出,每个周期完成16个数据的处理,这样就在4个时钟周期内完成了左、右图像经窗口处理模块计算后输出的24-bit 2进制比特串的按位异或操作。4个周期内共得到的64个新的24-bit2进制比特串,每个周期将16个输出结果输入至下一模块。
图7给出了求取汉明距离的电路结构图。采用4级流水线,每个周期完成一级流水线操作,进行加法计算,每4个周期内将来自按位异或模块的16个24-bit的2进制比特串中1的个数计算出来得到16个大位宽为5,大小在0到24之间的2进制比特串,连续执行4次这样的操作,就得到了来自按位异或模块的共计64个24-bit 2进制数的64个汉明距离。
本发明实施例提供的该基于Census算法的匹配代价计算电路结构还包括:优化模块,由比较器和执行模块构成,实现在指定周期内对初始代价的比特串位数优化;
本实施例中,图8是初始代价优化电路结构示意图。对来自上个模块的汉明距离就是我们需要的初始代价,在指定的4个时钟周期内完成16个初始代价的优化,通过判断它的大小输入到对应的执行模块中,从而将代价由原来的5-bit压缩截断成为现在的3-bit然后输出,进行这样的操作4次,得到64个优化后新的初始代价,进一步降低资源消耗。
本发明实施例提供的该基于Census算法的匹配代价计算电路结构最终包括:输出模块,由寄存器模块和拼接模块构成,将优化后的比特串按周期存入不同寄存器中,然后利用拼接模块对不同寄存器中的比特串进行组合,得到最终的优化数据信息。
图9是所有视差下的初始代价拼接输出电路结构示意图。4个周期的第一个周期将输入的第一组16个初始代价数据存入第一组16×3bit的寄存器;第二个周期将第一组寄存器的数据值赋值给第二组16×3bit的寄存器,同时将最新的数据存入第一组寄存器;接着第三个周期将第二组寄存器中的数据赋给第三组,同时将第一组寄存器的值赋给第二组,再将最新一组的值赋值给第一组寄存器;最后一个周期将新的一组数据和前面3组寄存器中的数据按序拼接输出,到此即完成了整个设计。
基于上述电路设计,本发明另一实施例提供了该基于Census算法的匹配代价计算电路结构的工作方法,在由双目相机的左相机和右相机拍摄得到左图像和右图像作为原始图像的前提下,进一步包括3个阶段:
首先是图像缓存阶段,左图像和右图像的像素值,间隔指定周期分别进入左图像缓存模块和右图像缓存模块进行缓存;
本实施例中,在图像缓存阶段,实现对原始左右灰度图像的像素值缓存,使用ram对来自DDR的图像数据进行存储,指定采用每4个时钟周期输入一个像素到指定ram的指定地址,在读数据时,每4个周期完成一次对一组数据的读取。
然后是窗口计算阶段,来自左图像缓存模块和右图像缓存模块的数据信息分别进入左图像窗口处理模块和右图像窗口处理模块在指定周期内处理并输出;
一些实施例中,该阶段包括:
将窗口阵列中除去中心像素值以外的其余各窗口存放的像素值分别与该中心像素值进行大小比较,比较次数用i表示,i=窗口宽度×窗口高度-1,结果得到位宽为i的2进制比特串;
再以左图像作为目标图,右图像作为参考图,自左向右搜索;
之后左图像通过窗口计算得到一个位宽为i的2进制比特串,右图像先做n次窗口计算,将每次得到的比特串进行缓存,得到n个位宽为i的2进制比特串;
最后将右图像经处理得到的n个位宽为i的2进制比特串与左图像经处理得到的1个位宽为i的2进制比特串输出到初始代价求取及优化阶段进行计算及优化。
本实施例中,在窗口计算阶段,对左右图像进行窗口处理,窗口宽度及窗口高度大小为奇数,在本实施例中,为5×5的窗口阵列,并指定每4个时钟周期接收一组来自ram的数据,满足要求后即当窗口第一次被填满时开始处理窗口内数据,主要是窗口内的数据比较,窗口最中央的点成为窗口中心,也是像素中心点,4个周期内完成一次窗口的处理,每个周期输出一组数据,4个周期输出一组完整的数据进入下一阶段,具体的计算过程在上述实施例中已有体现,在此不做赘述。
最后是初始代价求取及优化阶段,经窗口处理模块得到的数据进入计算模块在指定周期内完成按位异或,接着在规定周期内求取初始代价,然后进入优化模块实现初始代价的比特串位数优化,最后由输出模块组合输出。
一些实施例中,该阶段包括:
首先将窗口计算阶段的输出作为本阶段的输入,将左图像经处理得到的一个位宽为i的2进制比特串和右图像经处理得到的n个位宽为i的2进制比特串在计算模块中分别进行按位异或操作,求出n个新的位宽为i的2进制比特串;
然后根据新的位宽为i的2进制比特串计算汉明距离;
最后在优化模块对汉明距离进行压缩截断优化,得到初始代价。
本实施例中,第三阶段进行代价计算和优化,首先,在4个周期内求出汉明距离即初始代价,然后进行初始代价优化,最后初始代价拼接输出,具体计算及优化方法已在上述实施例中体现,在此不做赘述。
本发明实施例提供的基于Census算法的匹配代价计算电路结构及其工作方法,整个设计全部采用每4个时钟周期输入、处理和输出一次数据。整个Census硬件电路设计过程主要包括3阶段:原始的左右图像的缓存;对左右图像进行窗口内部处理;初始代价求取及优化。每个阶段依次进行,上阶段的输出作为下阶段的输入。本发明提供的实施例中,基于Census算法的匹配代价计算电路的输入是灰度图像的像素值,位宽是8-bit,每4个时钟周期输入一个像素值同时对一个像素值做一次处理,包括第一阶段的对图像像素进行缓存即写入ram;第二阶段的从ram中读出像素到指定大小的窗口,在窗口处理来自ram的像素;第三阶段的求取汉明距离和初始代价优化,最后输出。本发明用到了加减法和异或等运算,实现图像及视频数据变换过程简单,可以较好控制资源消耗。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种基于Census算法的匹配代价计算电路结构,其特征在于,所述电路结构实现了基于Census算法的匹配代价计算,包括:
缓存模块,包括由并列连接的指定数量的随机存取存储器构成的左图像缓存模块和右图像缓存模块,所述左图像缓存模块和右图像缓存模块结构相同,所述的指定数量值为不小于2的偶数,实现对双目相机的左右相机拍摄得到的左右图像的像素值的缓存;
窗口处理模块,包括由窗口阵列组成的左图像处理模块,以及右图像处理模块和对应的移位缓存模块,对应处理所述左图像缓存模块和右图像缓存模块中的像素值得到新的比特串输出;
计算模块,包括异或处理模块和计数处理模块,所述异或处理模块实现对左图像处理模块和右图像处理模块的输出比特串在指定周期内的按位异或,并输出异或结果至计数处理模块,所述计数处理模块在指定周期内求取对应的汉明距离并输出,即初始代价;
优化模块,包括比较器和执行模块,实现在所述指定周期内对所述初始代价的比特串位数优化;
输出模块,包括寄存器模块和拼接模块,将所述优化后的比特串按周期存入不同寄存器中,然后利用拼接模块对所述不同寄存器中的比特串进行组合,得到最终的优化后的初始代价数据信息。
2.根据权利要求1所述的基于Census算法的匹配代价计算电路结构,其特征在于,所述左图像缓存模块中的随机存取存储器深度小于右图像缓存模块中的随机存取存储器的深度。
3.根据权利要求1所述的基于Census算法的匹配代价计算电路结构,其特征在于,所述左图像处理模块和右图像处理模块具有相同的窗口阵列,所述窗口阵列由移位寄存器搭建而成。
4.根据权利要求3所述的基于Census算法的匹配代价计算电路结构,其特征在于,所述窗口阵列为窗口宽度窗口高度排列,所述窗口宽度和窗口高度为相同或不同的奇数。
5.根据权利要求1或3或4任一所述的基于Census算法的匹配代价计算电路结构,其特征在于,所述窗口阵列最中央的点为窗口中心,存放的值为中心像素值,与窗口阵列存放的其余各像素值比较得到新的比特串输出。
6.根据权利要求1或3所述的基于Census算法的匹配代价计算电路结构,其特征在于,所述右图像处理模块在窗口处理模块的基础上增加一移位缓存器,所述缓存器对右图像处理模块中窗口阵列的输出比特串进行缓存后输出。
7.一种基于Census算法的匹配代价计算电路结构的工作方法,其特征在于,包括:
获取原始图像,双目相机的左相机和右相机拍摄得到左图像和右图像;
图像缓存,所述左图像和右图像的像素值间隔指定周期分别进入左图像缓存模块和右图像缓存模块进行缓存,其中,所述左图像缓存模块和所述右图像缓存模块结构相同,且所述左图像缓存模块和所述右图像缓存模块分别由并列连接的指定数量的随机存取存储器构成,所述指定数量为不小于2的偶数;
窗口计算,来自左图像缓存模块和右图像缓存模块的数据信息分别进入左图像窗口处理模块和右图像窗口处理模块在指定周期内处理并输出;
初始代价求取及优化,经窗口处理模块得到的数据进入计算模块在指定周期内完成按位异或,接着在规定周期内求取初始代价,然后进入优化模块实现初始代价的比特串位数优化,最后由输出模块组合输出。
8.根据权利要求7所述的基于Census算法的匹配代价计算电路结构的工作方法,其特征在于,所述窗口计算包括:
将窗口阵列中除去中心像素值以外的其余各窗口存放的像素值分别与所述中心像素值进行大小比较,比较次数用i表示,i=窗口宽度窗口高度-1,结果得到位宽为i的2进制比特串;
以左图像作为目标图,右图像作为参考图,自左向右搜索;
左图像通过窗口计算得到一个位宽为i的2进制比特串,右图像先做n次窗口计算,将每次得到的比特串进行缓存,得到n个位宽为i的2进制比特串;
将右图像经处理得到的n个位宽为i的2进制比特串与左图像经处理得到的1个位宽为i的2进制比特串输出到初始代价求取及优化阶段进行计算及优化。
9.根据权利要求8所述的基于Census算法的匹配代价计算电路结构的工作方法,其特征在于,所述初始代价求取及优化包括:
窗口计算阶段的输出作为本阶段的输入,将左图像经处理得到的一个位宽为i的2进制比特串和右图像经处理得到的n个位宽为i的2进制比特串在计算模块中分别进行按位异或操作,求出n个新的位宽为i的2进制比特串;
根据新的位宽为i的2进制比特串计算汉明距离;
在优化模块对汉明距离进行压缩截断优化,得到初始代价。
CN201910025182.0A 2019-01-10 2019-01-10 基于Census算法的匹配代价计算电路结构及其工作方法 Active CN109743562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910025182.0A CN109743562B (zh) 2019-01-10 2019-01-10 基于Census算法的匹配代价计算电路结构及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910025182.0A CN109743562B (zh) 2019-01-10 2019-01-10 基于Census算法的匹配代价计算电路结构及其工作方法

Publications (2)

Publication Number Publication Date
CN109743562A CN109743562A (zh) 2019-05-10
CN109743562B true CN109743562B (zh) 2020-12-25

Family

ID=66364405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910025182.0A Active CN109743562B (zh) 2019-01-10 2019-01-10 基于Census算法的匹配代价计算电路结构及其工作方法

Country Status (1)

Country Link
CN (1) CN109743562B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210346A (zh) * 2019-05-21 2019-09-06 西安电子科技大学 一种视频模板匹配实时处理的优化方法
CN112889030A (zh) * 2020-07-03 2021-06-01 深圳市大疆创新科技有限公司 图像处理方法、集成电路、装置及设备
CN111833393A (zh) * 2020-07-05 2020-10-27 桂林电子科技大学 一种基于边缘信息的双目立体匹配方法
CN112070821B (zh) * 2020-07-31 2023-07-25 南方科技大学 一种低功耗立体匹配系统及获取深度信息的方法
CN114219699B (zh) * 2022-02-22 2022-07-29 绍兴埃瓦科技有限公司 匹配代价处理方法及电路和代价聚合处理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110114250A (ko) * 2010-04-13 2011-10-19 (주) 에투시스템 상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템
CN101841730A (zh) * 2010-05-28 2010-09-22 浙江大学 一种基于fpga的实时立体视觉实现方法
CN103167306A (zh) * 2013-03-22 2013-06-19 上海大学 一种基于图像匹配的高分辨率深度图实时提取装置及方法
CN103220545B (zh) * 2013-04-28 2015-05-06 上海大学 一种立体视频实时深度估计系统硬件实现方法
CN108322725A (zh) * 2018-02-28 2018-07-24 哈尔滨理工大学 一种基于fpga的视觉融合方法

Also Published As

Publication number Publication date
CN109743562A (zh) 2019-05-10

Similar Documents

Publication Publication Date Title
CN109743562B (zh) 基于Census算法的匹配代价计算电路结构及其工作方法
CN109271933B (zh) 基于视频流进行三维人体姿态估计的方法
US10621446B2 (en) Handling perspective magnification in optical flow processing
CN110637461B (zh) 计算机视觉系统中的致密光学流处理
CN101841730A (zh) 一种基于fpga的实时立体视觉实现方法
Li et al. High throughput hardware architecture for accurate semi-global matching
Ttofis et al. High-quality real-time hardware stereo matching based on guided image filtering
CN112017228A (zh) 一种对物体三维重建的方法及相关设备
TW202103106A (zh) 一種圖像深度估計方法、電子設備、儲存介質
CN106952304A (zh) 一种利用视频序列帧间相关性的深度图像计算方法
CN114255313A (zh) 镜面物体三维重建方法、装置、计算机设备和存储介质
Dehnavi et al. FPGA based real-time on-road stereo vision system
CN114219699B (zh) 匹配代价处理方法及电路和代价聚合处理方法
WO2019041264A1 (zh) 图像处理装置、方法及相关电路
CN111583093A (zh) 一种实时性好的orb特征点提取的硬件实现方法
CN214587004U (zh) 一种立体匹配加速电路、图像处理器及三维成像电子设备
CN113436057B (zh) 数据处理方法及双目立体匹配方法
CN114881841A (zh) 图像生成方法及其装置
CN113610912B (zh) 三维场景重建中低分辨率图像单目深度估计系统及方法
CN117115200A (zh) 用于致密光学流的阶层式数据组织
Ding et al. Improved real-time correlation-based FPGA stereo vision system
CN105427235A (zh) 一种图像浏览方法及系统
Seo et al. A new parallel hardware architecture for high-performance stereo matching calculation
Lin et al. High-resolution multi-view stereo with dynamic depth edge flow
US11360744B2 (en) Two-dimensional data matching method, device and logic circuit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant