CN105654526A - 一种基于双向扫描的视差图生成方法及电路设计 - Google Patents

一种基于双向扫描的视差图生成方法及电路设计 Download PDF

Info

Publication number
CN105654526A
CN105654526A CN201511028911.6A CN201511028911A CN105654526A CN 105654526 A CN105654526 A CN 105654526A CN 201511028911 A CN201511028911 A CN 201511028911A CN 105654526 A CN105654526 A CN 105654526A
Authority
CN
China
Prior art keywords
circuit
pixel
parallax value
parallax
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511028911.6A
Other languages
English (en)
Other versions
CN105654526B (zh
Inventor
李朔
杨高峰
盛赞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huajie Imi Software Technology Co Ltd
Original Assignee
Nanjing Huajie Imi Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huajie Imi Software Technology Co Ltd filed Critical Nanjing Huajie Imi Software Technology Co Ltd
Priority to CN201511028911.6A priority Critical patent/CN105654526B/zh
Publication of CN105654526A publication Critical patent/CN105654526A/zh
Application granted granted Critical
Publication of CN105654526B publication Critical patent/CN105654526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/30Circuit design

Abstract

本发明涉及一种基于双向扫描的视差图生成方法及电路设计,它包括:步骤1,图像分块:把图像分成若干小块,对每个小块分别进行处理;步骤2,双向扫描计算视差值:在每个小块内,分别从正向和反向进行双向扫描,计算每个像素点的视差值,并存储下来;双向扫描过程中,遇到视差值大于阈值的点,则记为视差值可靠点;找到视差值可靠点后,后续的扫描按照视差修正规则,对像素的视差值进行修正;对视差被修正的像素点做标记;步骤3,合并视差值:双向扫描结束后,把正向与反向扫描得到的视差值进行合并,并输出合并的结果。本发明能够在计算过程中对视差值进行修正,得到比直接计算更准确的视差值;同时适用于芯片设计并使其达到很快的处理速度。

Description

一种基于双向扫描的视差图生成方法及电路设计
技术领域
本发明属于图像处理技术领域,特别是涉及一种基于双向扫描的视差图生成方法及电路设计。
技术背景
为了计算物体的深度信息,需要计算物体的视差图,通常的计算方法是计算目标图像1的像素点与目标图像2中视差移动范围内各个像素点的相关值,得到多个相关值,从中选取最大的相关值,得到该像素的视差值。但该方法直接计算的视差值,在某些情况下会引入较大的误差,为后续的处理带来很大困难。
为获得更精确的视差图,陆续提出了一些算法,但都限于软件的方法,很难在硬件上实现。通常视差图有如下特性:其一,对于图像中一个连续的物体,其视差值的变化也体现出连续性。设有三个依次相邻的像素点A,B,C处于同一物体内,若A的视差值为60,则B的视差值往往在59到61之间;若B的视差值为59,则与B相邻的C的取值往往在58到60之间。其二,对于一副图像,若当扫描到一个相关值较大的像素点,可以认为此像素点的视差值可靠,即误差较小。其三,对于图像中一个连续的物体,每个像素的相关值具有非跳变性。即每个像素视差范围内的最大相关值,不会有非常大的跳变。因此对于两个非阴影像素,若它们相关值的差小于一个设定的阈值,则可认为这两个像素在一个物体内。
利用视差图的特性,当在扫描计算视差图的过程中,遇到一个相关值大于阈值的点,可以认为此点的视差值可靠,记为视差值可靠点。以视差值可靠点为起始点,利用视差值在物体内的连续性,在接下来的搜索中,对于与视差值可靠点在同一物体内的像素点,只计算小范围的几个相关值,并在这几个相关值中选取最大值,从而获得视差值。当扫描超出该物体的范围时,无法继续使用在小范围内选取相关值的计算方式,必须恢复计算多个相关值的方式,直至找到下一个视差值可靠点。
相关值较大的像素点,往往处于物体的内部,一次扫描往往会使一部分像素点错过被修正计算,因此同时做一次反向扫描,最后合并两次扫描的结果。双向扫描可以保证物体内绝大多数的点被修正,但对于形状比较奇特的一些物体,会有少部分像素点无法修正,深度图的后续处理算法可以对此做很好的处理。
发明内容
本发明的目的是为克服现有技术所存在的不足而提供一种基于双向扫描的视差图生成方法及电路设计,本发明在提高视差图精度的同时能够在芯片或可编程逻辑器件(FPGA)中实现并获得较高的处理速度,以较高精度的视差图来降低后续深度信息处理的难度,以利于获得更好效果的深度图。
根据本发明一种基于双向扫描的视差图生成方法,包括如下基本步骤:
步骤1,图像分块:把图像分成若干小块,对每个小块分别进行处理;
步骤2,双向扫描计算视差值:在每个小块内,分别从正向和反向进行双向扫描,计算每个像素点的视差值,并存储下来;双向扫描过程中,遇到视差值大于阈值的点,则记为视差值可靠点;找到视差值可靠点后,后续的扫描按照视差修正规则,对像素的视差值进行修正;对视差被修正的像素点做修正标记;
步骤3,合并视差值:双向扫描结束后,把正向与反向扫描得到的视差值进行合并,并输出合并的结果。
本发明提出的一种基于双向扫描的视差图生成方法的进一步优选方案是:
步骤1所述把图像分成若干小块是指,把图像分成若干个大小相同、互相连接又互不重叠的小块,每次处理一个小块。
步骤2所述分别从正向和反向进行扫描,是指:
正向扫描从该小块第一行的第一个像素点开始,扫描至第一行的最后一个像素点;再从第二行的最后一个像素点开始,扫描至第二行的第一个像素点,以此类推,每扫描完一行,扫描方向切换;第三行再从第一个像素扫描至最后一个像素,第四行从最后一个像素扫描至第一个像素,直至扫描完最后一行;
反向扫描从该小块最后一行开始,仍然是每扫描完一行切换一次扫描方向,每一行的扫描方向都与正向扫描相反;若小块共奇数行,则从最后一行的最后一个像素开始扫描,扫描至最后一行的第一个像素;若小块为偶数行,则从最后一行的第一个像素开始扫描,扫描至最后一行的最后一个像素,再从倒数第二行的最后一个像素扫描至该行第一个像素;以此类推,直至扫描完第一行。
步骤2所述计算每个像素点的视差值是指计算目标图像1的像素点与目标图像2中视差移动范围内各个像素点的相关值,得到多个相关值,从中选取最大的相关值,该最大相关值对应的位移即为该像素的视差值。步骤2所述视差修正规则是指利用物体内视差值的连续性,从视差值可靠点出发,对后续扫描中发现的与视差值可靠点属于同一物体内的点进行视差值修正。步骤2所述对后续像素的视差值计算进行修正是指,在计算像素视差值的过程中,只从小范围的几个相关值中选取最大值作为最终的视差值;所述小范围的几个相关值是指在计算视差值过程中,需要计算多个相关值,从这些相关值中选取的几个相关值为小范围相关值。
步骤3所述把正向与反向扫描得到的视差值进行合并,包括对于相同位置的像素点,选取有修正标记的视差值;如果正向与反向扫描的结果都没有修正标记或者都有修正标记,则选取正向扫描的结果。
根据本发明提出的一种基于双向扫描的视差图生成的电路设计,其特征在于,包括:
电路1,数据组织模块:目标图像1与目标图像2切出小块数据后送入数据组织模块;数据组织模块分别按照双向扫描电路的需求,把目标图像1与目标图像2的数据分别送入正向扫描电路与反向扫描电路;
电路2,正向扫描电路:从该小块第一行的第一个像素点开始,扫描至第一行的最后一个像素点;再从第二行的最后一个像素点开始,扫描至第二行的第一个像素点,以此类推,每扫描完一行,扫描方向切换,直至扫描完最后一行;每扫描一个像素,就计算该像素的视差值;若视差值计算过程中,受到了修正,则给出修正标记;视差值的计算结果与修正标记输出至视差值存储模块;
电路3,反向扫描电路:从该小块最后一行开始扫描,每一行的扫描方向都与正向扫描相反;反向扫描电路的功能和结构与正向扫描电路完全相同,只是输入数据的顺序不同;
电路4,结果合并电路:扫描结束后,对视差值的结果进行合并,最后输出;合并过程中,对于相同位置的像素点,选取有修正标记的视差值,如果正向与反向扫描的结果都没有修正标记或者都有修正标记,选取正向扫描的结果。
本发明一种基于双向扫描的视差图生成的电路设计的进一步优选方案是:所述电路2与电路3的扫描电路的电路结构包括:
电路A,相关值计算电路:包括N个同样结构的计算电路,每个计算电路计算出一个相关值,共计算出N个相关值;
电路B,相关值选择电路:从相关值计算电路输出的N个相关值中,选出最大的相关值,并得到相应的视差值;
电路C,阴影点判决电路:通过电路B中的视差值判断该像素点是否为阴影点;若视差值小于一定阈值,则为阴影点;
电路D,修正判决电路:判断当前像素是否需要被修正,若需修正,给出相邻像素的视差值用于修正;首先判断该像素点是否与周围的像素点在同一物体内;若在同一物体内,该像素点需要被修正,需要算出修正视差值,因此给出相邻像素的视差值,输出至给选择信号生成电路;若不在同一物体内,该像素点不需要被修正,输出控制信号给输出选择与控制电路,让其直接输出未被修正的视差值;
电路E,相关值、视差值及修正标记存储电路:从输出选择与控制电路获得相关值,视差值及修正标记,存储上一行扫描的结果,包括每个像素的相关值,视差值及修正标记,并输出给修正判决电路;
电路F,相关值延迟电路:对所述电路A相关值计算电路输出的相关值做一定的流水延迟;延迟后的相关值结果可用于后续修正视差值的生成;
电路G,选择信号生成电路:根据相邻像素的视差值,生成相关值选择信号,来控制相关值选择电路;以相邻像素为中心坐标,生成相关值选择信号选取所述中心坐标相邻的几个相关值,作为修正相关值的备选;
电路H,相关值选择电路:被相关值选择信号控制,从相关值延迟电路选择少数的几个相关值输出至修正相关值比较电路;
电路I,修正相关值比较电路:比较被选择出来的几个相关值,选出最大的作为修正的相关值,并得到对应的修正视差值,并输出至输出选择与控制电路;
电路J,输出选择与控制电路:若该像素点需要被修正,则输出修正后的视差值与修正标记;若该像素点不需要被修正,则输出未被修正的视差值;
所述电路D修正判决电路的电路结构包括:
电路a,相关值阈值判决电路:判断相关值是否大于阈值,大于阈值则为视差值可靠点;
电路b,本行连续判决电路:判断当前像素是否与本行前一个计算的像素在同一物体内;若只有当遇到视差值可靠点后,才开始进行本行连续性判决;若已经超过一个物体的边界,则需要寻找下一个视差值可靠点;
电路c,上一行连续判决电路:判断当前像素点是否与上一行的相邻像素点在同一物体内;若在同一物体内,可以采用上一行像素的视差值对当前像素点进行修正;上一行最多有三个像素可与当前像素相邻;
电路d,修正视差选择电路:若当前像素与本行像素或者上一行的像素连续,即处于同一物体内,则输出修正标记和相邻像素视差值;若有两个及以上像素与当前像素连续,选择所有连续的点中相关值最大的点,使用其视差值做为输出,对当前像素进行修正。
本发明的实现原理及有益效果在于:本发明提出了一种基于双向扫描的视差图生成方法及电路设计,包括把图像分成若干小块;在每个小块内,分别从两个方向扫描计算每个像素点的视差值,正向扫描从第一行第一个像素开始,反向扫描从最后一行开始;在扫描过程中,如果遇到视差值大于一定阈值的点,则记为视差值可靠点;在找到视差值可靠点后,按照一定的规则,对后续扫描过程进行修正,所有被修正过的像素,都被打上修正标记;双向扫描结束后,把两个扫描的结果进行合并,对于相同位置的像素点,选取有修正标记的视差值,如果正向与反向扫描的结果都没有修正标记或者都有修正标记,选取正向扫描的结果。本发明提出的一种基于双向扫描的视差图生成方法及电路设计能够在计算过程中对视差值进行修正,从而得到比直接计算更准确的视差值;同时本发明能够在芯片设计中很方便的实现,且在实际工程应用中能够达到很快的处理速度。
附图说明
图1为本发明提出的一种基于双向扫描的视差图生成方法的流程示意图。
图2为图1的电路实现结构示意图。
图3为图2中扫描电路的结构示意图。
图4为图3中修正判决的结构示意图。
图5为电路扫描过程中,修正传播的示意图。
具体实施方式
下面结合附图和实施例对本发明的具体实施方式作进一步的详细说明。
结合图1,本发明提出的一种基于双向扫描的视差图生成方法,其具体步骤包括:
步骤1,图像分块:把图像分成若干小块,对每个小块分别进行处理;
步骤2,双向扫描计算视差值:在每个小块内,分别从正向和反向进行双向扫描,计算每个像素点的视差值,并存储下来;双向扫描过程中,遇到视差值大于阈值的点,则记为视差值可靠点;找到视差值可靠点后,后续的扫描按照视差修正规则,对像素的视差值进行修正;对视差被修正的像素点做标记;
步骤3,合并视差值:双向扫描结束后,把正向与反向扫描得到的视差值进行合并,并输出合并的结果。
图2为本发明提出的一种电路实现结构示意图。由目标图像1与目标图像2切出小块数据后送入数据组织模块;数据组织模块分别按照双向扫描电路的需求,把目标图像1与目标图像2的数据分别送入正向扫描电路与反向扫描电路。
正向扫描电路,从该小块第一行的第一个像素点开始,扫描至第一行的最后一个像素点;再从第二行的最后一个像素点开始,扫描至第二行的第一个像素点,以此类推,每扫描完一行,扫描方向切换,直至扫描完最后一行。每扫描一个像素,就计算该像素的视差值。若视差值计算过程中,受到了修正,则给出修正标记;视差值的计算结果与修正标记输出至视差值存储模块。
反向扫描电路,从该小块最后一行开始扫描,每一行的扫描方向都与正向扫描相反;反向扫描电路的功能和结构与正向扫描电路完全相同,只是输入数据的顺序不同。
扫描结束后,对视差值的结果进行合并,最后输出。合并过程中,对于相同位置的像素点,选取有修正标记的视差值,如果正向与反向扫描的结果都没有修正标记或者都有修正标记,选取正向扫描的结果。
图3为图2中扫描电路的电路实现结构示意图。
在扫描电路中,输入数据首先进行视差计算,算出目标图像像素点的最大相关值与此相关值对应的视差值,计算过程如下:
设目标图像1有像素点为P,目标图像2中与P坐标相同的像素点为P′,目标图像2中P1′、P2′…Pn′是目标图像2中视差移动范围内的像素点,P′、P1′、P2′…Pn′有相同的Y方向坐标,X方向上间隔一个或多个坐标;
若要计算像素点P与P1′的相关值,首先在目标图像1中获取子图像,获取方式为:以像素点P为坐标原点,X方向上取m列像素,Y方向上取n列像素,得到m*n的目标子图像1。然后在目标图像2中获取子图像,以像素点P1′为坐标原点,X方向上取m列像素,Y方向上取n列像素,得到m*n的目标子图像2。
然后采用下面的公式计算P与P1′的相关值
w ( x , y ) ⊗ f ( x , y ) = Σ s = - a a Σ t = - b b w ( s , t ) f ( x + s , y + t )
其中,m=2a+1,n=2b+1,w(x,y)为目标子图像1的像素点矩阵,f(x,y)为目标子图像2的像素点矩阵
用同样的方式,可以分别计算出P与P′、P1′、P2′…Pn′的相关值。
算出所有相关值后,从中选取最大的相关值,最大相关值对应的位移即为视差值。例如,若P与P2′的相关值最大,则对应的视差值为2。
图3中,要计算的视差范围为N,则由N个相关值计算电路,分别计算出N个相关值,然后对这N个相关值做比较,得到最大相关值,进而得到对应的视差值。
同时,把N个相关值送入相关值延迟电路,做一定周期的硬件流水延迟。若此像素点需要做修正,则只需从这N个相关值中选出几个相关值即可,无需再计算相关值。
算出最大相关值后,就可以判断此像素点是否为阴影点。若此像素点的最大相关值为零,或者小于一个很小的阈值,则可以认为此点为阴影点,对此点打上阴影标记,后续计算电路无须对此点再做处理。
图3中,阴影判决模块来判决像素点是否为阴影点。
阴影点判决后,则需要判断此像素点是否需要做修正。如果需要做修正,则计算出修正的视差值,此像素的修正标记置为1;若不需要修正,则修正标记置为0;判断修正与否,需要用到上一行相邻像素的相关值来判断是否与上一行处于同一物体内,若在同一物体内且上一行像素已被修正,则此像素也要被修正。
图3中,修正判决模块用来判决该像素点是否需要修正,给出修正标记与修正视差值。
图3中,修正视差值用来生成选择信号,选择信号从相关值延迟电路中存储的相关值中选出少数几个相关值,然后对这几个相关值做比较,从中选出最大的相关值,并得到对应的视差值。该修正的视差值与相关值,如图3所示,修正的视差值与相关值输入给输出选择与控制电路。
图3中,输出选择与控制电路,选择输出修正结果或者常规计算的结果,收到修正标记,就输出修正结果。
如前所述,像素需要做出修正的条件是,之前已经扫描到一个视差值可靠点,且该像素与此视差值可靠点处于同一物体内。考虑扫描过程中,扫描到一个视差值可靠点,则可利用物体内像素相关值的非跳变性,判断后续扫描的点是否处于同一物体内,同时对处于同一物体内的像素点进行修正。这种修正过程随着扫描的不断进行,在物体内不断传播。
如图5所示,考虑一个正向扫描的过程,当扫描到视差值可靠点,则同一行内在物体内的剩余的未被扫描的像素点都会被修正,它们的修正标记被置为1。当下一行反向扫描时,当扫描到物体的边界时,虽然在这一行内还没有扫描到视差值可靠点,但可以判断出与上一行像素在同一物体内,同时上一行像素已修正标记为1,则采用上一行的视差值进行修正。所以在扫描过程中,若正在扫描的点的相邻点中有修正标记为1的点,则可以采用其视差值对被扫描点进行修正。若被扫描点有另个以上的相邻点修正标记为1,则取相关值较大点的视差值进行修正。
图5中,物体内虚线部分,在正向扫描过程中,将不被修正,但是反向扫描过程中将获得修正。
图4是修正判决的电路结构图。在扫描过程中,若在当前行还没有遇到视差值可靠点,则要判断当前点是否为视差值可靠点;若已经遇到视差值可靠点,则需要当前像素是否处于同一物体内,即判断本行相关值是否连续,没有跳变的情况出现。图4中本行连续判决模块,必须存储前一个被扫描像素的视差值和相关值,若当前像素与前一个像素连续且需要被修正,则连续标记置为1,把前一像素的视差值与相关值输入给修正视差选择模块。
同时上一行像素也需要与当前像素进行连续性判决,由图4中上一行连续判决模块完成。需要注意的是,上一行数据有2个或者3个像素要与当前像素进行连续性判断。
当连结性判断都完成后,在图4中修正视差选择电路中,选择出合适的修正视差值,并把修正标记置为1。分析可知,最多会有4个像素点与当前扫描像素连续,且修正标记为1(上一行3个,本行1个),选择所有符合条件的点中相关值最大的点,使用其视差值做为输出,对当前像素进行修正。
本发明的具体实施方式中凡未涉到的说明属于本领域的公知技术,可参考公知技术加以实施。
本发明经反复试验验证,取得了满意的试用效果。
以上具体实施方式及实施例是对本发明提出的一种基于双向扫描的视差图生成方法及电路设计技术思想的具体支持,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在本技术方案基础上所做的任何等同变化或等效的改动,均仍属于本发明技术方案保护的范围。

Claims (10)

1.一种基于双向扫描的视差图生成方法,包括如下基本步骤:
步骤1,图像分块:把图像分成若干小块,对每个小块分别进行处理;
步骤2,双向扫描计算视差值:在每个小块内,分别从正向和反向进行双向扫描,计算每个像素点的视差值,并存储下来;双向扫描过程中,遇到视差值大于阈值的点,则记为视差值可靠点;找到视差值可靠点后,后续的扫描按照视差修正规则,对像素的视差值进行修正;对视差被修正的像素点做修正标记;
步骤3,合并视差值:双向扫描结束后,把正向与反向扫描得到的视差值进行合并,并输出合并的结果。
2.根据权利要求1所述的一种基于双向扫描的视差图生成方法,其特征在于,步骤1所述把图像分成若干小块是指,把图像分成若干个大小相同、互相连接又互不重叠的小块,每次处理一个小块。
3.根据权利要求1所述的一种基于双向扫描的视差图生成方法,其特征在于,步骤2所述分别从正向和反向进行扫描,是指:
正向扫描从该小块第一行的第一个像素点开始,扫描至第一行的最后一个像素点;再从第二行的最后一个像素点开始,扫描至第二行的第一个像素点,以此类推,每扫描完一行,扫描方向切换;第三行再从第一个像素扫描至最后一个像素,第四行从最后一个像素扫描至第一个像素,直至扫描完最后一行;
反向扫描从该小块最后一行开始,仍然是每扫描完一行切换一次扫描方向,每一行的扫描方向都与正向扫描相反;若小块共奇数行,则从最后一行的最后一个像素开始扫描,扫描至最后一行的第一个像素;若小块为偶数行,则从最后一行的第一个像素开始扫描,扫描至最后一行的最后一个像素,再从倒数第二行的最后一个像素扫描至该行第一个像素;以此类推,直至扫描完第一行。
4.据权利要求1所述的一种基于双向扫描的视差图生成方法,其特征在于,步骤2所述计算每个像素点的视差值是指计算目标图像1的像素点与目标图像2中视差移动范围内各个像素点的相关值,得到多个相关值,从中选取最大的相关值,该最大相关值对应的位移即为该像素的视差值。
5.根据权利要求1所述的一种基于双向扫描的视差图生成方法,其特征在于,步骤2所述视差修正规则是指利用物体内视差值的连续性,从视差值可靠点出发,对后续扫描中发现的与视差值可靠点属于同一物体内的点进行视差值修正。
6.根据权利要求1所述的一种基于双向扫描的视差图生成方法,其特征在于,步骤2所述对后续像素的视差值计算进行修正是指,在计算像素视差值的过程中,只从小范围的几个相关值中选取最大值作为最终的视差值;所述小范围的几个相关值是指在计算视差值过程中,需要计算多个相关值,从这些相关值中选取的几个相关值为小范围相关值。
7.根据权利要求1所述的一种基于双向扫描的视差图生成方法,其特征在于,步骤3所述把正向与反向扫描得到的视差值进行合并,包括对于相同位置的像素点,选取有修正标记的视差值;如果正向与反向扫描的结果都没有修正标记或者都有修正标记,则选取正向扫描的结果。
8.一种基于双向扫描的视差图生成的电路设计,其特征在于,包括:
电路1,数据组织模块:目标图像1与目标图像2切出小块数据后送入数据组织模块;数据组织模块分别按照双向扫描电路的需求,把目标图像1与目标图像2的数据分别送入正向扫描电路与反向扫描电路,进行扫描;
电路2,正向扫描电路:从该小块第一行的第一个像素点开始,扫描至第一行的最后一个像素点;再从第二行的最后一个像素点开始,扫描至第二行的第一个像素点,以此类推,每扫描完一行,扫描方向切换,直至扫描完最后一行;每扫描一个像素,就计算该像素的视差值;若视差值计算过程中,受到了修正,则给出修正标记;视差值的计算结果与修正标记输出至视差值存储模块;
电路3,反向扫描电路:从该小块最后一行开始扫描,每一行的扫描方向都与正向扫描相反;反向扫描电路的功能和结构与正向扫描电路完全相同,只是输入数据的顺序不同;
电路4,结果合并电路:扫描结束后,对视差值的结果进行合并,最后输出;合并过程中,对于相同位置的像素点,选取有修正标记的视差值,如果正向与反向扫描的结果都没有修正标记或者都有修正标记,选取正向扫描的结果。
9.根据权利要求8所述的一种基于双向扫描的视差图生成的电路设计,其特征在于,所述电路2与电路3的扫描电路的电路结构包括:
电路A,相关值计算电路:包括N个同样结构的计算电路,每个计算电路计算出一个相关值,共计算出N个相关值;
电路B,相关值选择电路:从相关值计算电路输出的N个相关值中,选出最大的相关值,并得到相应的视差值;
电路C,阴影点判决电路:通过电路B中的视差值判断该像素点是否为阴影点;若视差值小于一定阈值,则为阴影点;
电路D,修正判决电路:判断当前像素是否需要被修正,若需修正,给出相邻像素的视差值用于修正;首先判断该像素点是否与周围的像素点在同一物体内;若在同一物体内,该像素点需要被修正,需要算出修正视差值,因此给出相邻像素的视差值,输出至给选择信号生成电路;若不在同一物体内,该像素点不需要被修正,输出控制信号给输出选择与控制电路,让其直接输出未被修正的视差值;
电路E,相关值、视差值及修正标记存储电路:从输出选择与控制电路获得相关值,视差值及修正标记,存储上一行扫描的结果,包括每个像素的相关值,视差值及修正标记,并输出给修正判决电路;
电路F,相关值延迟电路:对所述电路A相关值计算电路输出的相关值做一定的流水延迟;延迟后的相关值结果可用于后续修正视差值的生成;
电路G,选择信号生成电路:根据相邻像素的视差值,生成相关值选择信号,来控制相关值选择电路;以相邻像素为中心坐标,生成相关值选择信号选取所述中心坐标相邻的几个相关值,作为修正相关值的备选;
电路H,相关值选择电路:被相关值选择信号控制,从相关值延迟电路选择少数的几个相关值输出至修正相关值比较电路;
电路I,修正相关值比较电路:比较被选择出来的几个相关值,选出最大的作为修正的相关值,并得到对应的修正视差值,并输出至输出选择与控制电路;
电路J,输出选择与控制电路:若该像素点需要被修正,则输出修正视差值与修正标记;若该像素点不需要被修正,则输出未被修正的视差值。
10.根据权利要求9所述的一种基于双向扫描的视差图生成的电路设计,其特征在于,所述电路D修正判决电路的电路结构包括:
电路a,相关值阈值判决电路:判断相关值是否大于阈值,大于阈值则为视差值可靠点;
电路b,本行连续判决电路:判断当前像素是否与本行前一个计算的像素在同一物体内;若只有当遇到视差值可靠点后,才开始进行本行连续性判决;若已经超过一个物体的边界,则需要寻找下一个视差值可靠点;
电路c,上一行连续判决电路:判断当前像素点是否与上一行的相邻像素点在同一物体内;若在同一物体内,可以采用上一行像素的视差值对当前像素点进行修正;上一行最多有三个像素可与当前像素相邻;
电路d,修正视差选择电路:若当前像素与本行像素或者上一行的像素连续,即处于同一物体内,则输出修正标记和相邻像素视差值;若有两个及以上像素与当前像素连续,选择所有连续的点中相关值最大的点,使用其视差值做为输出,对当前像素进行修正。
CN201511028911.6A 2015-12-31 2015-12-31 一种基于双向扫描的视差图生成方法及电路设计 Active CN105654526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511028911.6A CN105654526B (zh) 2015-12-31 2015-12-31 一种基于双向扫描的视差图生成方法及电路设计

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511028911.6A CN105654526B (zh) 2015-12-31 2015-12-31 一种基于双向扫描的视差图生成方法及电路设计

Publications (2)

Publication Number Publication Date
CN105654526A true CN105654526A (zh) 2016-06-08
CN105654526B CN105654526B (zh) 2018-07-20

Family

ID=56490943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511028911.6A Active CN105654526B (zh) 2015-12-31 2015-12-31 一种基于双向扫描的视差图生成方法及电路设计

Country Status (1)

Country Link
CN (1) CN105654526B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652952A (zh) * 2016-12-30 2017-05-10 武汉华星光电技术有限公司 驱动方法、显示面板及对其进行点反转驱动的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101589328A (zh) * 2007-11-20 2009-11-25 松下电器产业株式会社 图像显示装置及其显示方法、程序、集成电路、眼镜式头戴式显示器、汽车、双筒望远镜和台式显示器
JP2011216937A (ja) * 2010-03-31 2011-10-27 Hitachi Consumer Electronics Co Ltd 立体画像表示装置
CN102510506B (zh) * 2011-09-30 2014-04-16 北京航空航天大学 一种基于双目图像和距离信息的虚实遮挡处理方法
JP2013114143A (ja) * 2011-11-30 2013-06-10 Seiko Epson Corp 電気光学装置および電子機器
KR20130074383A (ko) * 2011-12-26 2013-07-04 삼성전자주식회사 다중-레이어 표현을 사용하는 영상 처리 방법 및 장치
US8971568B1 (en) * 2012-10-08 2015-03-03 Gerard Dirk Smits Method, apparatus, and manufacture for document writing and annotation with virtual ink
CN104537668B (zh) * 2014-12-29 2017-08-15 浙江宇视科技有限公司 一种快速视差图像计算方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652952A (zh) * 2016-12-30 2017-05-10 武汉华星光电技术有限公司 驱动方法、显示面板及对其进行点反转驱动的方法

Also Published As

Publication number Publication date
CN105654526B (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
US7876954B2 (en) Method and device for generating a disparity map from stereo images and stereo matching method and device therefor
Wu Adaptive split-and-merge segmentation based on piecewise least-square approximation
KR101694292B1 (ko) 스테레오 영상 정합 장치 및 그 방법
CN101887589B (zh) 一种基于立体视觉的实拍低纹理图像重建方法
CN104021368A (zh) 估计路面高度形状的方法和系统
CN106408596B (zh) 基于边缘的局部立体匹配方法
CN105761308A (zh) 一种地面LiDAR和影像数据融合的遮挡区域建筑物立面重建方法
JP2016029564A (ja) 対象検出方法及び対象検出装置
CN106815594A (zh) 立体匹配方法及装置
WO2007052191A2 (en) Filling in depth results
Rishav et al. DeepLiDARFlow: A deep learning architecture for scene flow estimation using monocular camera and sparse LiDAR
TWI502544B (zh) 立體影像的視差估算方法
CN106952304A (zh) 一种利用视频序列帧间相关性的深度图像计算方法
CN105701787B (zh) 基于置信度的深度图融合方法
CN104270624A (zh) 一种分区域的3d视频映射方法
CN102750694B (zh) 基于局部最优置信传播算法的双目视频深度图求取方法
CN113936138A (zh) 基于多源图像融合的目标检测方法、系统、设备、介质
CN105654526A (zh) 一种基于双向扫描的视差图生成方法及电路设计
Hung et al. Multipass hierarchical stereo matching for generation of digital terrain models from aerial images
Wang et al. Cu-net: Lidar depth-only completion with coupled u-net
KR101888969B1 (ko) 영상특성을 이용한 스테레오 매칭장치
CN101739553A (zh) 一种视差图像中目标识别方法
Wang et al. Robust obstacle detection based on a novel disparity calculation method and G-disparity
KR101507992B1 (ko) 시차맵 생성 방법 및 장치
RU2470368C2 (ru) Способ обработки изображений

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant