CN113965697B - 基于连续帧信息的视差成像方法、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及图像处理领域，公开了一种基于连续帧信息的视差成像方法、电子设备及存储介质，其中方法包括：获取连续帧图像中第i‑2帧图像对应的第i‑2帧视差图，以及第i‑1帧图像对应的第i‑1帧视差图；确定所述第i‑1帧视差图中对所述第i‑2帧视差图中的区域存在继承的至少一个第一继承区域；对第i帧图像中对应所述第一继承区域的像素点优先执行视差搜索，获取所述第i帧图像对应的第i帧视差图；所述第i帧图像中优先执行视差搜索的像素点对应的视差搜索范围是基于该像素点在所述第i‑1帧视差图中相同坐标像素点的视差值确定。本方案能够利用连续帧的视差信息，快速提取相关信息来减少冗余的视差搜索计算，提高视差搜索效率。

Description

基于连续帧信息的视差成像方法、电子设备及存储介质

技术领域

本发明涉及图像处理领域，特别涉及一种基于连续帧信息的视差成像方法、电子设备及存储介质。

背景技术

目前，在深度恢复技术领域，主流技术有主动式结构光单目、被动式双目等。其中，基于空间编码结构光的单目，广泛应用于消费电子、安防中。

深度相机的使用场景，常见有安装在屏幕前、安装在过道处等非手持场景，以每秒数十帧的速度捕捉场景内物体图像并恢复深度。场景内通常不存在高速运动的物体，且捕捉的连续帧信息中有很多相近甚至重复的内容。针对此类场景做深度恢复时，如果对每一帧都进行整体视差范围内的搜索计算往往是冗余的，耗时较长。这种方式无法在算力较低的平台上运行深度恢复算法，或者无法节省更多的时间用于提升深度恢复的效果。

发明内容

本发明实施方式的目的在于提供一种基于连续帧信息的视差成像方法、电子设备及存储介质，能够利用连续帧的视差信息，快速提取相关信息来减少冗余的视差搜索计算，提高视差搜索效率，从而在缩短耗时的同时更有利于后续实现相同效果甚至更好效果的深度图。

为解决上述技术问题，本发明的实施方式提供了一种基于连续帧信息的视差成像方法，包括：

获取连续帧图像中第i-2帧图像对应的第i-2帧视差图，以及第i-1帧图像对应的第i-1帧视差图；所述i为不小于3的整数；

确定所述第i-1帧视差图中对所述第i-2帧视差图中的区域存在继承的至少一个第一继承区域；其中，具有继承关系的两个区域的区域位置相近、区域内相同坐标像素点的视差值相似；

对第i帧图像中对应所述第一继承区域的像素点优先执行视差搜索，获取所述第i帧图像对应的第i帧视差图；所述第i帧图像中优先执行视差搜索的像素点对应的视差搜索范围是基于该像素点在所述第i-1帧视差图中相同坐标像素点的视差值确定。

本发明的实施方式还提供了一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的基于连续帧信息的视差成像方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于连续帧信息的视差成像方法。

本发明实施方式相对于现有技术而言，在利用单目结构光相机捕捉连续帧图像，并针对当前第i帧图像生成第i帧视差图时，先获取当前帧图像的前两帧图像对应的视差图，即第i-2帧视差图，以及第i-1帧视差图；确定第i-1帧视差图中对第i-2帧视差图中的区域存在继承的至少一个第一继承区域；其中，具有继承关系的两个区域的区域位置相近、区域内相同坐标像素点的视差值相似；该第一继承区域可以视为前两帧图像中包含内容较为稳定的图像区域，且这种稳定状态很大可能可以持续到第i帧视差图中；然后对第i帧图像中对应第一继承区域的像素点优先执行视差搜索，获取第i帧图像对应的第i帧视差图；其中，第i帧图像中优先执行视差搜索的像素点对应的视差搜索范围是基于该像素点在第i-1帧视差图中相同坐标像素点的视差值确定，由于优先执行视差搜索的像素点的视差搜索范围被缩小，从而提高计算第i帧视差图的效率。本方案利用连续帧的视差信息，快速提取相关信息来减少冗余的视差搜索计算，提高视差搜索效率，从而在缩短耗时的同时更有利于实现相同效果甚至更好效果的深度图。

附图说明

图1是根据本发明实施方式的基于连续帧信息的视差成像方法的具体流程图一；

图2是根据本发明实施方式的基于连续帧信息的视差成像方法的具体流程图二；

图3是根据本发明实施方式的基于连续帧信息的视差成像方法的具体流程图三；

图4是根据本发明实施方式的基于连续帧信息的视差成像方法的具体流程图四；

图5是根据本发明实施方式的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的一实施方式涉及一种基于连续帧信息的视差成像方法，该方法可应用于单目结构光相机。如图1所示，本实施例提供的基于连续帧信息的视差成像方法，包括如下步骤。

步骤101：获取连续帧图像中第i-2帧图像对应的第i-2帧视差图，以及第i-1帧图像对应的第i-1帧视差图。

具体地，单目结构光相机以一定帧率捕捉目标场景内物体的图像形成连续帧图像(测试图)，将这些帧图像与相机拍摄的参考图进行比较，计算同名像素点的坐标差值即可得到每帧图像对应的视差图。由于计算图像视差需要一定时间，因此很可能出现当前帧图像还没有完成视差计算形成视差图时，后面的连续帧图像已经完成了图像采集，即连续帧图像中，在后图像的采集过程和在前帧图像的视差计算过程发生时间重叠。

本实施例中，以操作连续4帧图像的流程阐述在前连续帧的视差信息对计算在后帧图像的视差的作用。以连续帧图像中第i帧图像作为当前待计算视差形成视差图的帧图像。在计算第i帧图像时，对于其前两帧图像，即第i-2帧图像和第i-1帧图像早已分别完成视差计算，并得到相应的第i-2帧视差图，以及第i-1帧视差图。其中i为不小于3的整数。

步骤102：确定第i-1帧视差图中对第i-2帧视差图中的区域存在继承的至少一个第一继承区域；其中，具有继承关系的两个区域的区域位置相近、区域内相同坐标像素点的视差值相似。

通常，当捕捉的连续帧图像所针对的目标场景内不存在高速运动的物体，且连续帧图像存在很多相近甚至重复的内容时，针对此类场景的连续帧图像进行视差成像时，如果对每一帧图像都进行整体视差范围内的搜索计算往往是冗余的。为了减少耗时，以便能在算力更低的平台上运行视差成像算法，或者节省更多的时间用于提升后续深度恢复的效果，可以提取相邻两帧图像对应的两帧视差图中，区域位置相近，且区域内相同坐标像素点的视差值相似的区域，通常这些区域反映在连续帧图像中的图像内容也较为稳定(比如固定的背景物、墙体、建筑物等)，在多帧连续图像中不会有太大的位置变化，即在多帧连续图像存在一定的连续性。

本实施例中，当连续两帧图像中存在稳定、连续的物体图像的区域，即这两个区域对应在相应视差图中的区域位置相近、区域内相同坐标像素点的视差值相似时，则称在后帧图像的视差图中的相应区域对在前帧图像的视差图中的相应区域进行了继承，两个区域之间具有继承关系。实际上，两个连续帧图像中可能存在至少一组这样具有继承关系的区域。本实施例中将每组这样具有继承关系的两个区域中，位于在后帧图像的视差图中的区域称为一个第一继承区域。

具体地，在计算当前第i帧图像对应的第i帧视差图时，可以根据以上方法确定出第i-1帧视差图中对第i-2帧视差图中的区域存在继承的至少一个第一继承区域。基于第一继承区域中视差值的稳定性和连续性，可以将该第一继承区域对应的视差值作为先验，指导对第i帧图像中，对应该第一继承区域的像素点进行快速视差值计算。

步骤103：对第i帧图像中对应第一继承区域的像素点优先执行视差搜索，获取第i帧图像对应的第i帧视差图；第i帧图像中优先执行视差搜索的像素点对应的视差搜索范围是基于该像素点在第i-1帧视差图中相同坐标像素点的视差值确定。

具体地，基于第i-1帧视差图中的第一继承区域中视差值的稳定性和连续性，可以粗略推断该第一继承区域中的视差值在即将形成的第i帧视差图中也会被继承。基于此，可以对第i帧图像中对应第一继承区域的区域中的像素点优先执行视差搜索。第i帧图像中优先被执行视差搜索的像素点对应的视差搜索范围是基于该像素点在第i-1帧视差图中相同坐标像素点的视差值确定。如此，将第i-1帧视差图中第一继承区域中的视差值作为先验，优化锁定(缩小)第i帧图像中，对应第一继承区域的区域像素点的视差搜索范围，从而对这些区域的像素点实现快速视差值计算，形成最终的视差图。

与相关技术相比，本实施例在利用单目结构光相机捕捉连续帧图像，并针对当前第i帧图像生成第i帧视差图时，先获取当前帧图像的前两帧图像对应的视差图，即第i-2帧视差图，以及第i-1帧视差图；确定第i-1帧视差图中对第i-2帧视差图中的区域存在继承的至少一个第一继承区域；其中，具有继承关系的两个区域的区域位置相近、区域内相同坐标像素点的视差值相似；该第一继承区域可以视为前两帧图像中包含内容较为稳定的图像区域，且这种稳定状态很大可能可以持续到第i帧视差图中；然后对第i帧图像中对应第一继承区域的像素点优先执行视差搜索，获取第i帧图像对应的第i帧视差图；其中，第i帧图像中优先执行视差搜索的像素点对应的视差搜索范围是基于该像素点在第i-1帧视差图中相同坐标像素点的视差值确定，由于优先执行视差搜索的像素点的视差搜索范围被缩小，从而提高计算第i帧视差图的效率。本方案利用连续帧的视差信息，快速提取相关信息来减少冗余的视差搜索计算，提高视差搜索效率，从而在缩短耗时的同时更有利于实现相同效果甚至更好效果的深度图。

本发明的另一实施方式涉及一种基于连续帧信息的视差成像方法，如图2所示，该基于连续帧信息的视差成像方法是对图1所示方法步骤的改进，改进之处在于，对第一继承区域的确定过程进行细化。如图2所示，步骤102包括如下子步骤。

子步骤1021：基于相邻像素点的视差值的连续性，将第i-2帧视差图划分为多个第一分区，将第i-1帧视差图划分为多个第二分区。

具体地，基于视差图中相邻像素点的视差值的连续性，可将每帧视差图划分为多个分区，使所属同一分区的相邻像素点的视差值相差较小，所属不同分区的相邻像素点的视差值相差较大。按该方法划分的分区在i-2帧视差图中称为第一分区，在第i-1帧视差图中称为第二分区。

在一个例子中，可通过如下步骤确定第一分区和第二分区。

步骤1：将第i-2帧视差图中，视差值之差小于第二预设差值的相邻像素点划分到同一第一分区，视差值之差不小于第二预设差值的相邻像素点划分到不同第一分区。

例如，在第i-2帧视差图中，如果视差图内两相邻像素点的视差值相减后得到的差值的绝对值＜2，则认为这两相邻像素点位于同一第一分区，否则这两相邻像素点位于不同第一分区。本实施例中涉及的视差值之差指不小于0的正向差值(差值绝对值)。

步骤2：将所述第i-1帧视差图中，视差值之差小于所述第二预设差值的相邻像素点划分到同一所述第二分区，视差值之差不小于所述第二预设差值的相邻像素点划分到不同所述第二分区。

例如，在第i-1帧视差图中，如果视差图内两相邻像素点的视差值相减后得到的差值的绝对值＜2，则认为这两相邻像素点位于同一第二分区，否则这两相邻像素点位于不同第二分区。

子步骤1022：针对每个第一分区，选择与该第一分区存在重叠区域，且重叠区域内相同坐标像素点的视差值之差小于第一预设差值的第二分区。

具体地，在第i-2帧视差图中，针对每个第一分区，遍历第i-1帧视差图的所有第二分区，以从中选择出与该第一分区存在重叠区域，即存在至少一个相同像素点坐标的第二分区；然后，针对这些具有重叠区域的第二分区，分别比较每个第二分区与该第一分区之间重叠区域中相同坐标像素点的视差值，并从中提取出视差值之差小于第一预设差值的第二分区。例如，将第二分区与该第一分区中重叠区域内相同坐标像素点的视差值相减，并从中提取出相减后的差值的绝对值均＜1的第二分区。

子步骤1023：当该第一分区与选择的第二分区的交并比大于第一预设比值时，确定被选择的第二分区为继承该第一分区的第一继承区域。

具体地，将子步骤1022中最后提取出的第二分区分别与该第一分区的区域面积做交并比计算，从中提取出交并比大于第一预设比值的第二分区作为继承该第一分区的第一继承区域。例如，将交并比大于0.6的第二分区作为继承该第一分区的第一继承区域。

与相关技术相比，本实施例中基于相邻像素点的视差值的连续性，将第i-2帧视差图划分为多个第一分区，将第i-1帧视差图划分为多个第二分区；针对每个第一分区，选择与该第一分区存在重叠区域，且重叠区域内相同坐标像素点的视差值之差小于第一预设差值的第二分区；当该第一分区与选择的第二分区的交并比大于第一预设比值时，确定被选择的第二分区为继承该第一分区的第一继承区域，从而提供一种在第i-1帧视差图中确定第一继承区域的实现方式。

本发明的另一实施方式涉及一种基于连续帧信息的视差成像方法，如图3所示，该基于连续帧信息的视差成像方法是对图1所示方法步骤的改进，改进之处在于，对获取第i帧图像对应的第i帧视差图的过程进行细化。如图3所示，步骤103包括如下子步骤。

子步骤1031：以第i帧图像中对应第一继承区域的像素点的坐标与该像素点在第i-1帧视差图中相同坐标像素点的视差值的差值坐标为视差搜索中心，确定该像素点在第i帧图像中的优先视差搜索范围。

具体地，在确定出第i-1帧视差图中的第一继承区域后，可以对当前待确定视差图的第i帧图像，先锁定对应该第一继承区域的区域；然后针对该区域中的每个像素点，在第i-1帧视差图中搜索到相同坐标像素点的视差值，然后将第i帧图像中该像素点的坐标与该相同坐标像素点的视差值相减得到差值坐标，将得到的差值坐标作为第i帧视差图中该像素点的视差搜索中心。最后围绕该视差搜索中心确定一个小范围的视差搜索范围作为该像素点在第i帧图像中的优先视差搜索范围。

例如，针对第i帧图像，先锁定对应该第一继承区域的区域；然后针对该区域中的任一像素点(x,y)，在第i-1帧视差图中搜索到相同坐标像素点的视差值，然后将该像素点的坐标(x,y)与该相同坐标像素点的视差值相减得到差值坐标(x’,y’)，将得到的差值坐标(x’,y’)作为第i帧视差图中坐标为(x,y)的像素点的视差搜索中心；最后，围绕该视差搜索中心(x’,y’)确定一个小范围的视差搜索范围(x’±dx，y’±dy)作为该像素点在第i帧图像中的优先视差搜索范围。

子步骤1032：对第i帧图像中对应第一继承区域的像素点，在确定的该像素点在第i帧图像中的优先视差搜索范围中优先执行视差搜索，确定该像素点的视差值。

具体地，在针对第i帧图像中对应第一继承区域的每个像素点确定初该像素点在第i帧图像中的优先视差搜索范围(x’±dx，y’±dy)后，可以对这些像素点在相应的优先视差搜索范围中，优先执行视差搜索，以降低搜索计算量。

在一个例子中，本步骤可通过如下步骤实现。

当对第i帧图像中对应第一继承区域的像素点，在确定的该像素点在第i帧图像中的优先视差搜索范围中优先执行视差搜索成功时，则基于优先执行视差搜索的结果，确定该像素点的视差值，否则，在第i帧图像的整个区域内执行视差搜索，确定该像素点的视差值。

具体地，由于优先视差搜索范围为小范围视差搜索，对于第i帧图像中对应第一继承区域的所有像素点可能不完全适用。因此，在对一些像素点优先执行视差搜索时，如果视差搜索成功，即找到匹配的像素点，则可基于匹配的像素点确定视差值；如果视差搜索失败，即未找到匹配的像素点，则还需要在第i帧图像的整个区域内执行视差搜索，确定该像素点的视差值，从而保证能够得到视差值。

子步骤1033：对第i帧图像中不对应第一继承区域的其他像素点，在第i帧图像的整个区域内执行视差搜索，确定所述其他像素点的视差值。

具体地，在针对第i帧图像中不对应第一继承区域的其他像素点，可以在第i帧图像的整个区域内执行视差搜索，确定这些其他像素点的视差值。在实际进行视差搜索时，也可以对第i帧图像中不对应但接近对应第一继承区域的区域中的像素点，先采取与对应第一继承区域的像素点相同的视差搜索方法(在该像素点对应的优先视差搜索范围中进行视差搜索)，如果视差搜索成功，则使用相应的搜索结果确定视差值，如果视差搜索失败，则再使用在第i帧图像的整个区域内执行视差搜索，确定视差值的方法，从而可以尽可能减少视差搜索的计算量，提高视差搜索效率。

与相关技术相比，本实施例中以第i帧图像中对应第一继承区域的像素点的坐标与该像素点在第i-1帧视差图中相同坐标像素点的视差值的差值坐标为视差搜索中心，确定该像素点在第i帧图像中的优先视差搜索范围；对第i帧图像中对应第一继承区域的像素点，在确定的该像素点在第i帧图像中的优先视差搜索范围中优先执行视差搜索，确定该像素点的视差值；对第i帧图像中不对应第一继承区域的其他像素点，在第i帧图像的整个区域内执行视差搜索，确定其他像素点的视差值，从而提供一种获取第i帧图像对应的第i帧视差图的实现方式。

本发明的另一实施方式涉及一种基于连续帧信息的视差成像方法，如图4所示，该基于连续帧信息的视差成像方法是对图1所示方法步骤的改进，改进之处在于，基于快速对在后的第i+1帧图像进行处理得到第i+1帧验证视差图，对第i帧视差图进行优化处理。如图3所示，在步骤103之后包括如下步骤。

步骤104：获取连续帧图像中第i+1帧图像，并生成第i+1帧图像对应的第i+1帧验证视差图。

具体地，由于计算图像视差需要一定时间，因此很可能出现当前帧图像还没有完成视差计算形成视差图时，后面的连续帧图像已经完成了图像采集，即连续帧图像中，在后图像的采集过程和在前帧图像的视差计算过程发生时间重叠。本实施例中，在针对当前第i帧图像采用以上实施例中的方法生成对应的第i帧视差图的同时，已经完成对第i+1帧图像的采集。为了对第i帧视差图进行完善，可以采用轻量级的视差搜索算法快速对第i+1帧图像进行视差搜索形成对应的第i+1帧验证视差图。

需要说明的是，本实施例中生成的第i+1帧验证视差图仅用于对第i帧视差图进行优化，不作为采用以上方法实施例得到的第i+1帧图像对应的第i+1帧视差图。为了和上述方法形成的视差图加以区分，本实施例对于这类视差图称为验证视差图。

步骤105：确定第i帧视差图中对第i-1帧视差图中的区域存在继承的至少一个第二继承区域；其中，具有继承关系的两个区域的区域位置相近、区域内相同坐标像素点的视差值相似；

具体地，本步骤105的实现过程可参考前述步骤102的实现过程，在此不做赘述。

在一个例子中，可通过如下步骤确定第二继承区域。

步骤1：基于相邻像素点的视差值的连续性，将第i帧视差图划分为多个第三分区。

具体地，基于视差图中相邻像素点的视差值的连续性，可将每帧视差图划分为多个分区，使所属同一分区的相邻像素点的视差值相差较小，所属不同分区的相邻像素点的视差值相差较大。按该方法划分的分区在i帧视差图中称为第三分区。

在一个例子中，可将第i帧视差图中，视差值之差小于第四预设差值的相邻像素点划分到同一第三分区，视差值之差不小于第四预设差值的相邻像素点划分到不同第三分区。

例如，在第i帧视差图中，如果视差图内两相邻像素点的视差值相减后得到的差值的绝对值＜2，则认为这两相邻像素点位于同一第三分区，否则这两相邻像素点位于不同第三分区。本实施例中涉及的视差值之差指不小于0的正向差值(差值绝对值)。

步骤2：针对每个第二分区，选择与该第二分区存在重叠区域，且重叠区域内相同坐标像素点的视差值之差小于第三预设差值的第三分区。

具体地，在第i-1帧视差图中，针对每个第二分区，遍历第i帧视差图的所有第三分区，以从中选择出与该第二分区存在重叠区域，即存在至少一个相同像素点坐标的第三分区；然后，针对这些具有重叠区域的第三分区，分别比较每个第三分区与该第二分区之间重叠区域中相同坐标像素点的视差值，并从中提取出视差值之差小于第三预设差值的第三分区。例如，将第三分区与该第二分区中重叠区域内相同坐标像素点的视差值相减，并从中提取出相减后的差值的绝对值均＜1的第三分区。

步骤3：当该第二分区与选择的第三分区的交并比大于第二预设比值时，确定被选择的第三分区为继承该第二分区的第二继承区域。

具体地，将步骤2中最后提取出的第三分区分别与该第二分区的区域面积做交并比计算，从中提取出交并比大于第二预设比值的第三分区作为继承该第二分区的第二继承区域。例如，将交并比大于0.9的第三分区作为继承该第二分区的第二继承区域。

步骤106：对第二继承区域和第i+1帧验证视差图中对应第二继承区域的区域中，相同坐标像素点的视差值进行匹配。

具体地，对第二继承区域中的像素点和第i+1帧验证视差图中对应第二继承区域的区域中，相同坐标像素点的视差值进行比较，若所有相同坐标像素点上的两个视差值均相似，例如二者差值均小于某一预设差值时，则确定两个区域上的视差值匹配，否则确定为不匹配。

在一个例子中，可对第二继承区域和第i+1帧验证视差图中对应第二继承区域的区域分别进行同等的降低分辨率处理，并对降低分辨率后区域中相同坐标像素点的视差值进行匹配。

具体地，通过对待匹配的两个区域先进行同等程度的降低分辨率处理，以减少匹配的像素点数目，然后对降低分辨率后区域中相同坐标像素点的视差值进行匹配，从而提高匹配速度。

步骤107：当匹配成功时，对第二继承区域中像素点的视差值进行优化操作；该优化操作包括：对第二继承区域中像素点的视差值进行平滑处理；和/或，对第i-1帧图像和第i帧图像中，对应第二继承区域的相同坐标的像素点进行相似匹配，当相似匹配成功时，将该像素点在第i-1帧视差图中相同坐标像素点的视差值作为该像素点在第i帧视差图中相同坐标像素点的视差值。

具体地，对第二继承区域和第i+1帧验证视差图中对应第二继承区域的区域中，相同坐标像素点的视差值进行匹配成功时，表征第二继承区域上的视差值在后续的第i+1帧验证视差图中被很好的继承，该第二继承区域上的视差值在第i-1帧视差图、第i帧视差图以及第i+1帧验证视差图上对应的区域具有很好的稳定性和连续性。基于此，可以较大概率的判定第二继承区域中对应的物体在这三帧连续图像中基本未发生位置变化，继而可以通过这一特点对该区域中的像素点的视差值进行优化。优化内容可包括如下至少一种。

优化一，对第二继承区域中像素点的视差值进行平滑处理。

具体地，由于所属同一第三分区(第二继承区域为一个第三分区)的相邻两个像素点的视差值小于第四预设差值，因此可以利用相邻像素点的连续性，对第二继承区域中的像素点，特别是匹配较低或者未匹配的点补以邻域的中值实现平滑处理，并更新第二继承区域。

优化二，对第i-1帧图像和第i帧图像中，对应第二继承区域的相同坐标的像素点进行相似匹配，当相似匹配成功时，将该像素点在第i-1帧视差图中相同坐标像素点的视差值作为该像素点在第i帧视差图中相同坐标像素点的视差值。

具体地，在采集的连续帧图像中，将第i-1帧图像和第i帧图像中，对应第二继承区域的相同坐标的像素点进行相似匹配，以判断两像素点是否为同名像素点，如果是则表征该像素点的图像内容在第i-1帧图像和第i帧图像中无明显变化。对于此类像素点，可以将前一帧的像素点的视差值，延用作为后一帧的像素点的视差值，从而使得同一坐标处的像素点视差值在连续帧中稳定连续，从而提高视差图在连续帧中的平滑性。

在采用以上实施例得到第i帧视差图后，可基于视差图得到对应第i帧图像的深度图。

与相关技术相比，本实施例中通过对第i+1帧的进行快速视差搜索处理，得到第i+1帧验证视差图用于向第i帧视差图反馈第i帧视差图与第i+1帧验证视差图的连续性信息，得到第二继承区域；通过第二继承区域验证第i帧视差图局部区域的视差成像结果；同时结合第i-1帧图像与第i帧图像中对应第二继承区域的像素点的相似性，对第i帧图像中第二继承区域的像素点的视差结果进行改进，从而提高视差图在局部区域内以及连续帧中的平滑性。

本发明的另一实施方式涉及一种电子设备，如图5所示，包括至少一个处理器202；以及，与至少一个处理器202通信连接的存储器201；其中，存储器201存储有可被至少一个处理器202执行的指令，指令被至少一个处理器202执行，以使至少一个处理器202能够执行上述任一方法实施例。

其中，存储器201和处理器202采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器202和存储器201的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器202处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器202。

处理器202负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器201可以被用于存储处理器202在执行操作时所使用的数据。

本发明的另一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (11)

1.一种基于连续帧信息的视差成像方法，所述方法应用于单目结构光相机，所述单目结构光相机捕捉连续帧图像，并将所述帧图像与所述单目结构光相机拍摄的参考图进行比较得到每帧图像对应的视差图，其特征在于，包括：

该方法获取连续帧图像中第i-2帧图像对应的第i-2帧视差图，以及第i-1帧图像对应的第i-1帧视差图；所述i为不小于3的整数；

确定所述第i-1帧视差图中对所述第i-2帧视差图中的区域存在继承的至少一个第一继承区域；其中，具有继承关系的两个区域的区域位置相近、区域内相同坐标像素点的视差值相似；

对第i帧图像中对应所述第一继承区域的像素点优先执行视差搜索，获取所述第i帧图像对应的第i帧视差图；所述第i帧图像中优先执行视差搜索的像素点对应的视差搜索范围是基于该像素点在所述第i-1帧视差图中相同坐标像素点的视差值确定。

2.根据权利要求1所述的方法，其特征在于，所述确定所述第i-1帧视差图中对所述第i-2帧视差图中的区域存在继承的至少一个第一继承区域，包括：

基于相邻像素点的视差值的连续性，将所述第i-2帧视差图划分为多个第一分区，将所述第i-1帧视差图划分为多个第二分区；

针对每个所述第一分区，选择与该第一分区存在重叠区域，且所述重叠区域内相同坐标像素点的视差值之差小于第一预设差值的第二分区；

当所述该第一分区与选择的所述第二分区的交并比大于第一预设比值时，确定被选择的所述第二分区为继承所述该第一分区的所述第一继承区域。

3.根据权利要求2所述的方法，其特征在于，所述基于相邻像素点的视差值的连续性，将所述第i-2帧视差图划分为多个第一分区，将所述第i-1帧视差图划分为多个第二分区，包括：

将所述第i-2帧视差图中，视差值之差小于第二预设差值的相邻像素点划分到同一所述第一分区，视差值之差不小于所述第二预设差值的相邻像素点划分到不同所述第一分区；

将所述第i-1帧视差图中，视差值之差小于所述第二预设差值的相邻像素点划分到同一所述第二分区，视差值之差不小于所述第二预设差值的相邻像素点划分到不同所述第二分区。

4.根据权利要求1所述的方法，其特征在于，所述对第i帧图像中对应所述第一继承区域的像素点优先执行视差搜索，获取所述第i帧图像对应的第i帧视差图，包括：

以所述第i帧图像中对应所述第一继承区域的像素点的坐标与该像素点在所述第i-1帧视差图中相同坐标像素点的视差值的差值坐标为视差搜索中心，确定所述该像素点在所述第i帧图像中的优先视差搜索范围；

对所述第i帧图像中对应所述第一继承区域的像素点，在确定的该像素点在所述第i帧图像中的所述优先视差搜索范围中优先执行视差搜索，确定所述该像素点的视差值；

对所述第i帧图像中不对应所述第一继承区域的其他像素点，在所述第i帧图像的整个区域内执行视差搜索，确定所述其他像素点的视差值。

5.根据权利要求4所述的方法，其特征在于，所述对所述第i帧图像中对应所述第一继承区域的像素点，在确定的该像素点在所述第i帧图像中的所述优先视差搜索范围中优先执行视差搜索，确定所述该像素点的视差值，包括：

当所述对所述第i帧图像中对应所述第一继承区域的像素点，在确定的该像素点在所述第i帧图像中的所述优先视差搜索范围中优先执行视差搜索成功时，则基于所述优先执行视差搜索的结果，确定所述该像素点的视差值，否则，在所述第i帧图像的整个区域内执行视差搜索，确定所述该像素点的视差值。

6.根据权利要求2-5任一项所述的方法，其特征在于，所述对第i帧图像中对应所述第一继承区域的像素点优先执行视差搜索，获取所述第i帧图像对应的第i帧视差图之后，还包括：

获取所述连续帧图像中第i+1帧图像，并生成所述第i+1帧图像对应的第i+1帧验证视差图；

确定所述第i帧视差图中对所述第i-1帧视差图中的区域存在继承的至少一个第二继承区域；其中，具有继承关系的两个区域的区域位置相近、区域内相同坐标像素点的视差值相似；

对所述第二继承区域和所述第i+1帧验证视差图中对应所述第二继承区域的区域中，相同坐标像素点的视差值进行匹配；

当匹配成功时，对所述第二继承区域中像素点的视差值进行平滑处理；和/或，对所述第i-1帧图像和所述第i帧图像中，对应所述第二继承区域的相同坐标的像素点进行相似匹配，当相似匹配成功时，将该像素点在所述第i-1帧视差图中相同坐标像素点的视差值作为所述该像素点在所述第i帧视差图中相同坐标像素点的视差值。

7.根据权利要求6所述的方法，其特征在于，所述确定所述第i帧视差图中对所述第i-1帧视差图中的区域存在继承的至少一个第二继承区域，包括：

基于相邻像素点的视差值的连续性，将所述第i帧视差图划分为多个第三分区；

针对每个所述第二分区，选择与该第二分区存在重叠区域，且所述重叠区域内相同坐标像素点的视差值之差小于第三预设差值的第三分区；

当所述该第二分区与选择的所述第三分区的交并比大于第二预设比值时，确定被选择的所述第三分区为继承所述该第二分区的所述第二继承区域。

8.根据权利要求7所述的方法，其特征在于，所述基于相邻像素点的视差值的连续性，将所述第i帧视差图划分为多个第三分区包括：

将所述第i帧视差图中，视差值之差小于第四预设差值的相邻像素点划分到同一所述第三分区，视差值之差不小于所述第四预设差值的相邻像素点划分到不同所述第三分区。

9.根据权利要求6所述的方法，其特征在于，所述对所述第二继承区域和所述第i+1帧验证视差图中对应所述第二继承区域的区域中，相同坐标像素点的视差值进行匹配，包括：

对所述第二继承区域和所述第i+1帧验证视差图中对应所述第二继承区域的区域分别进行同等的降低分辨率处理，并对降低分辨率后区域中相同坐标像素点的视差值进行匹配。

10.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至9中任一项所述的基于连续帧信息的视差成像方法。

11.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的基于连续帧信息的视差成像方法。

Images