CN109862334A - 一种结构光图像获取系统及获取方法 - Google Patents

一种结构光图像获取系统及获取方法 Download PDF

Info

Publication number
CN109862334A
CN109862334A CN201910023960.2A CN201910023960A CN109862334A CN 109862334 A CN109862334 A CN 109862334A CN 201910023960 A CN201910023960 A CN 201910023960A CN 109862334 A CN109862334 A CN 109862334A
Authority
CN
China
Prior art keywords
image
structure light
imaging modules
acquisition
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910023960.2A
Other languages
English (en)
Other versions
CN109862334B (zh
Inventor
王兆民
许星
郭胜男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN201910023960.2A priority Critical patent/CN109862334B/zh
Publication of CN109862334A publication Critical patent/CN109862334A/zh
Application granted granted Critical
Publication of CN109862334B publication Critical patent/CN109862334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明适用于图像采集技术领域,提供一种结构光图像获取系统及获取方法,系统包括投影模组、成像模组以及处理器,处理器与投影模组和成像模组均连接;成像模组包括寄存器和时钟发生器,寄存器与时钟发生器连接;寄存器用于存储预设采集帧数,以使成像模组根据所述采集帧数采集图像;时钟发生器用于接收根据采集帧数产生的投影时钟信号、并输出相应投影频率的脉冲信号,以便控制投影模组按照投影频率投射结构光;处理器至少用于输出结构光图像;通过在成像模组中设置寄存器和时钟发生器,成像模组可直接根据寄存器中的采集帧数采集图像。

Description

一种结构光图像获取系统及获取方法
技术领域
本发明属于图像采集技术领域,尤其涉及一种结构光图像获取系统及获取方法。
背景技术
结构光深度相机通过向目标空间投影经过编码的结构光图案,并采集由目标空间反射的结构光图像,并经过进一步计算后得到图像深度信息。基于该深度图像可以实现3D建模、人脸识别、手势交互等诸多功能,同时由于结构光深度相机具备分辨率高、精度高、功耗低等优点,已被广泛应用在手机、电脑、机器人、虚拟现实以及增强现实等智能设备上。
然而,目前结构光深度相机中成像模组和投影模组在工作时,只能通过处理器同步控制采集帧数以及投影频率,才能使成像模组和投影模组根据预设的采集帧数和投影频率来投射结构光以及采集图像,增加了处理器的工作负荷,不利于对成像模组采集图像的控制。
发明内容
有鉴于此,本发明实施例提供了一种结构光图像获取系统,以解决现有技术在控制采集帧数和投影频率技术方面存在的问题,从而获取精确的结构光图像。
本发明实施例的第一方面提供了一种结构光图像获取系统,包括投影模组、成像模组以及处理器;
所述处理器与所述投影模组、成像模组连接;
所述成像模组包括寄存器和时钟发生器,所述时钟发生器与所述寄存器连接;
所述寄存器用于存储预设采集帧数,以使所述成像模组根据所述采集帧数采集图像;
所述时钟发生器用于接收根据所述采集帧数产生的投影时钟信号并输出相应投影频率的脉冲信号,以便控制与所述成像模组连接的所述投影模组按照所述投影频率投射结构光;
所述处理器至少用于输出结构光图像。
本发明实施例的第二方面提供了一种结构光图像获取方法,包括:
根据寄存器中存储的预设采集帧数采集图像;
接收根据所述采集帧数产生的投影时钟信号,并输出相应投影频率的脉冲信号,按照所述投影频率投射结构光;
根据所述采集图像的信息,输出结构光图像。
本发明实施例中,通过在成像模组中设置寄存器和时钟发生器,并将预设采集帧数写入寄存器中,当需要采集图像时,成像模组可直接根据寄存器中的采集帧数采集图像,而无须通过处理器来实时发送采集帧数信号,减轻了处理器的工作负荷。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的结构光图像获取系统的结构示意图一;
图2是本发明实施例提供的结构光图像获取系统的结构示意图二;
图3是本发明实施例提供的结构光图像获取系统中处理器的结构示意图一;
图4是本发明实施例提供的结构光图像获取系统中处理器的结构示意图二;
图5是本发明实施例提供的结构光图像获取方法的实现流程示意图一;
图6是本发明实施例提供的结构光图像获取方法中步骤S30的实现流程示意图;
图7是本发明实施例提供的结构光图像获取方法中步骤S31的实现流程示意图;
图8是本发明实施例提供的结构光图像获取方法的实现流程示意图二;
图9是本发明实施例提供的结构光图像获取方法的实现流程示意图三。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
需要说明的是,当部件被称为“固定于”或“设置于”另一个部件,它可以直接或者间接位于该另一个部件上。当一个部件被称为“连接于”另一个部件,它可以是直接或者间接连接至该另一个部件上。术语“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置为基于附图所示的方位或位置,仅是为了便于描述,不能理解为对本技术方案的限制。术语“第一”、“第二”仅用于便于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明技术特征的数量。“多个”的含义是两个或两个以上,除非另有明确具体的限定。
图1和图2为本实施例提供的一种结构光图像获取系统10的结构示意图,结构光图像获取系统10用于获取结构光图像,包括投影模组11、成像模组12以及处理器13,投影模组11与成像模组12电性连接,处理器13与投影模组11和成像模组12均连接。成像模组12包括寄存器和时钟发生器,寄存器与时钟发生器连接。其中,处理器13将预设采集帧数写入寄存器中,寄存器用于存储预设采集帧数,以使成像模组12根据采集帧数采集图像;时钟发生器用于接收根据采集帧数产生的投影时钟信号、并输出相应投影频率的脉冲信号,以便控制投影模组11按照所述投影频率投射结构光;处理器13至少用于根据成像模组12采集的图像信息输出结构光图像。投影模组11用于根据投影频率向待测空间20投射结构光,例如光源周期性地被点亮或熄灭。成像模组12用于根据采集帧数采集图像。
在工作时,处理器13根据寄存器中规定的采集帧数产生投影时钟信号,时钟发生器接收该投影时钟信号后输出相应投影频率的脉冲信号,并将该脉冲信号发送至投影模组11中,投影模组11按照投影频率向待测空间20投射结构光。成像模组12根据寄存器内预设的采集帧数采集图像,并将采集的图像传输至处理器13中,处理器13根据采集的图像信息输出结构光图像。因此,本实施例通过在成像模组12中设置寄存器和时钟发生器,并将预设采集帧数写入寄存器中,当需要采集图像时,成像模组12可直接根据寄存器中的采集帧数采集图像,而无须通过处理器13来实时发送采集帧数信号,减轻了处理器13的工作负荷。
在一个实施例中,处理器13还用于实时发送预设采集帧数信号至成像模组12中,从而成像模组12可以根据该采集帧数采集图像;同时处理器13可以根据该采集帧数信号控制投影模组11的投影频率。
在一个实施例中,成像模组12可根据采集帧数采集多帧图像,多帧图像至少包括第一图像和第二图像,第一图像包括环境光信息,第二图像包括环境光信息和结构光信息,例如当成像模组12在红外光源的熄灭时段采集图像时,其采集的图像仅包含环境光信息;当成像模组12在红外光源的点亮时段采集图像时,其采集的图像则包含环境光信息以及结构光信息。
投影模组11包括光源和光学组件(光学组件可以包括衍射光学元件等)等,其中,光源用于向待测空间20投射结构光,结构光可以是具有随机散斑纹理结构的结构光,也可以是线形光,在此不做限定。结构光可以是可见光、红外光、紫外光或其他波段的光等。投影模组11投射的结构光图案也可以包括不同图案组成的编码投射方案,如散斑状、块状、十字状、条纹状、特定符号等图案。例如,在一个实施例中,投影模组11投影出的结构光图案为红外散斑图案,红外散斑图案具备高度不相关性以及分布均匀的特点。光源所投射的结构光可以在待测空间20内形成随机或者有规律分布的投影图案,成像模组12则用于采集这些投影图案。
在实际使用时,考虑到环境光的存在,成像模组12实际采集的图像包括由待测空间20表面反射的环境光和结构光形成的图像。处理器13可以接收成像模组12获取的图像并存储,同时识别该图像中的结构光图像,并可以根据该结构光图像计算图像深度信息。可选地,光源为红外光源,其可向待测空间20投射红外光线,成像模组12相应为红外相机,红外光源所投射的结构光可以在待测空间20内形成随机或者有规律分布的投影图案,成像模组12便可以采集到这些投影图案。当然,在其他实施例中,光源也可以为其他类型,并不仅限于上述的情形。
控制模组14可以同步控制投影模组11的投影频率和成像模组12的采集帧数,采集帧数和投影频率不同,使得每次经过成像模组12采集图像后均可以交错生成至少包括第一图像和第二图像的多帧图像(第一图像和第二图像为不同帧图像),其中第一图像包括环境光信息,第二图像包括环境光信息和结构光信息。应当理解的是,此处的第一图像和第二图像只是为了描述方便,也可以是第一图像包括环境光信息和结构光信息,第二图像包括环境光信息,此处不做限制。
例如,投影频率f1对应的一个投影周期为1/f1,在一个投影周期中,红外光源具有预定的点亮时段和熄灭时段,红外光源在熄灭时段内不会投射结构光,在点亮时段内可以向待测空间20投射结构光。红外光源可以被交替点亮和熄灭,其点亮时段和熄灭时段的时长可以相同,也可以不同,可以根据需要进行设置。此处光源的投影周期可以根据实际需要进行设置,例如可以是先熄灭后点亮为一个周期,也可以是先熄灭然后连续点亮两次作为一个周期,还可以是其他形式,此处不做限制。
在一个实施例中,投影模组11的投影频率f1与成像模组12的采集帧数f2的比值范围可以为1/2≤f1/f2<1。例如,投影模组11的投影频率为成像模组12的采集帧数的一半(f1/f2=1/2),考虑投影频率为30fps(Frame per Second,每秒显示帧数),采集帧数为60fps。在成像模组12采集到的图像中,第一图像I1对应包含环境光信息,第二图像I2对应包含环境光信息和结构光信息,此时则有结构光图像I20=I2-I1。再如,投影频率也可以大于采集帧数的一半,考虑投影频率为40fps,采集帧数为60fps。在成像模组12采集到的图像中,I1对应环境光图像,I2和I3对应包含环境光的结构光图像,此时第二图像I2和第三图像I3中的结构光图像分别为I20=I2-I1,I30=I3-I1。这里将第一帧的环境光信息作为连续两帧图像中的环境光信息来考虑,可以有效提升深度图像的帧率。当然,投影频率和采集帧数也可以为其他值,并不仅限于上述的情形。
应当理解的是,上述对第一图像I1和第二图像I2的处理方式仅适用于静态场景,或者说动态场景移动相对于采集帧数而言较为缓慢的情形;而对于动态场景,上述处理方式的精度将会降低,需要采用3D降噪处理的方式。因此,在选择相应的处理方式前,需要对待测空间20是否处于动态进行判断。
请参阅图3,在一个实施例中,处理器13包括接收单元131、识别单元132、判断单元133、对比分析单元134、3D降噪单元135以及输出单元136。其中接收单元131与成像模组12连接,用于接收成像模组12采集的多帧图像;多帧图像是指成像模组12所采集到的多帧图像,该多帧图像至少包括第一图像和第二图像。识别单元132与接收单元131连接,用于根据多帧图像,识别结构光形成的图案信息;由于成像模组12采集的图像包括多帧图像,其中有的图像中仅包含环境光,有的图像中包含环境光和结构光,因此需要确定第一图像和第二图像,以便进一步进行图像处理。判断单元133与识别单元132连接,用于根据第一图像和第二图像,判断待测空间20是否处于动态。对比分析单元134与判断单元133连接,当待测空间20处于静态时,对比分析单元134对第一图像和第二图像进行对比分析处理。3D降噪单元135与判断单元133连接,当待测空间20处于动态时,3D降噪单元135对多帧图像进行3D降噪处理。输出单元136与对比分析单元134和3D降噪单元135连接,用于输出精确的结构光图像。
判断单元133可以根据获取的第一图像和第二图像来获得待测空间20的运动强度,并设置运动强度阈值(即判断阈值);在判断待测空间20的动静态情况时,可以将运动强度与预设的运动强度阈值进行比较,判断待测空间的运动强度是否超过该运动强度阈值。若待测空间20的运动强度不超过运动强度阈值,则确定待测空间20处于静态场景之中,继续由对比分析单元134对图像进行处理;若待测空间20的运动强度超过运动强度阈值,则确定待测空间20处于动态场景之中,继续由3D降噪单元对图像进行处理。
当待测空间20处于静态场景之中时,可以认为静态场景中的环境光并未发生明显变化,第一图像I1和第二图像I2中相区别的部分就是是否包含结构光,因此处理器13在进行图像处理时,对比分析单元134仅需要将第一图像I1和第二图像I2进行对比分析即可,得到结构光图像I20=I2-I1。然后可通过输出单元136获得精确的结构光图像。
当待测空间20处于动态场景之中时,由于动态场景的背景在不断发生变化,从而环境光线也会不断发生变化,造成成像模组12所采集的多帧图像中,第一图像I1和第二图像I2的环境光均不相同,若只是将第一图像I1和第二图像I2进行简单对比分析,所获得的结构光图像I20误差很大,因此需要对多帧图像进行3D降噪处理,从而获得更加精确的结构光图像。
3D降噪单元135在进行3D降噪处理时,通过对比相邻几帧图像,将其中不重叠的信息(该部分信息为环境光等因素所造成的噪波)滤除,从而获得纯净的结构光图像。例如:
首先,3D降噪单元135将当前帧图像划分为具有一定像素大小的当前块,当前块中可包含多个像素,并以该当前块为基本处理单元。
然后,3D降噪单元135在当前帧图像的相邻帧图像中搜索当前块的匹配块。在进行搜索时,首先根据当前帧内的当前块确定搜索窗,可选地,搜索窗的大小与当前块的大小相同。选定当前帧的相邻帧图像作为搜索对象,例如,考虑当前帧的前一帧图像作为搜索对象,根据预定的搜索窗在前一帧图像中进行搜索,寻找与当前块最相似的参考块,并将该参考块设置为前一帧图像中对应于当前块最佳的匹配块。
在一个实施例中,匹配块的搜索可采用平均绝对差算法(Mean AbsoluteDifferences,简称MAD算法)来实现,其基本方式可以为:在前一帧图像中取与当前块大小相同的搜索窗,计算其与当前块的相似度;遍历整个前一帧图像,在所有能够取到的参考块中,找到与当前块最相似的参考块(平均绝对差越小,则表面两者越相似),并将该参考块作为与当前块最佳的匹配块(与当前块平均绝对差最小的参考块)。当然,在其他实施例中,匹配块的搜索也可以采用其他方式,并不仅限于上述的方式,此处不做限制。
在一个实施例中,采用上述平均绝对差算法进行匹配块搜索时,参与计算的像素数量可以根据需要进行设置。例如,当前块中包含的所有像素均参与到计算中,此时在搜索时需要将搜索窗内的所有像素与当前块中的所有像素进行计算,从而获得每一个搜索窗的平均绝对差值,这样计算的结果准确度更高,但是由于参与计算的像素数量巨大,因此增加了整体的计算量。
再如,为了减小计算量,可以仅将当前块中的部分像素加入到计算中,参与计算的部分像素可以根据需要再当前块中进行确定;在搜索时需要选择搜索窗内与当前块相对应的像素进行计算,从而获得每一个搜索窗的平均绝对差值。将当前块中所有像素组成一个集合,此时参与计算的这部分像素集合就是当前块的子集。因此上述的搜索方法也可以成为子集匹配法。由于子集匹配法中参与计算的像素数量少,计算量大大减小,从而可以有效缩短平均搜索时间。
然后,3D降噪单元135根据当前块和匹配块的相似度,判断是否搜索成功。为了保证帧间滤波边界的可靠性,需要判断匹配块与当前块的匹配程度(即相似度)。这是由于在上述进行搜索过程中,只能找到前一帧图像中与当前块之间平均绝对差最小的参考块,但无法保证该参考块与当前块之间的相似性是否满足要求。例如,任意取一帧不包含当前块的图像,采用上述平均绝对差算法,也可以获得一个与当前块最接近的匹配块,但是匹配块只是相对于其他参考块与当前块更加相似而已,但是其平均绝对差有可能非常大,导致该匹配块可能并不包含当前块的信息。
因此为了提高搜索效果和搜索准确性,在获得匹配块以后,需要判断匹配块与当前块的匹配程度。在一个实施例中,在判断匹配块与当前块的匹配程度时,可以将匹配块与当前块的平均绝对差值(MAD值)与预设阈值进行比较,如果该平均绝对差值大于预设阈值,则表明匹配块与当前块的匹配程度低,匹配程度不满足预设要求,此时认为搜索失败,并通知处理器13继续控制成像模组12和投影模组11按照预设的采集帧数和投影频率,向待测空间20投射结构光并采集图像,而不再对该前一帧图像的相邻图像进行匹配块的搜索,避免了无效搜索;如果平均绝对差值不大于预设阈值,则表明匹配块与当前块的匹配程度高,匹配程度满足预设要求,此时认为搜索成功,进而对该前一帧图像的相邻图像进行匹配块的搜索。
经过上述搜索过程、在当前帧图像的相邻帧图像中获得与当前块相匹配的匹配块之后,可以确定当前块在连续帧图像中的运动轨迹,从而可以根据该运动轨迹进行帧间滤波。由于在连续几帧图像中,重复出现的信息包括结构光图案,而由于待测空间20处于动态场景之中,因此环境光在不断变化中,这部分信息则不是重复出现的,因此在进行帧间滤波时,可以保留重复出现的信息,而将不重叠的信息滤除,从而可以获得纯净的结构光图像。然后可通过输出单元136获得精确的结构光图像。
请参阅图4,进一步地,处理器13还包括计算单元137,计算单元137与输出单元136连接,用于根据结构光图像计算图像深度信息,从而可以获得图像的深度信息。由于接收的结构光图像更加纯净,精度更高,因此计算所获得的图像深度信息也更加精确。
目前,为了符合激光安全标准的要求和功耗等方面的考虑,投影模组11所投射的结构光亮度通常较低,因此不容易与强烈的环境光加以区别,当在环境光强烈的环境下使用时,由于室外环境光较强,当环境光强度与投影的结构光图像强度相当甚至超过结构光图像强度时,会严重影响采集到的结构光图像的准确度,使得成像模组12采集的结构光图像准确度大大降低,进而影响深度图像的计算。虽然可以考虑使用较高精度的滤波器来降低环境光反射的干扰,或是使用较高精度的放大器来放大目标波段的反射激光,但是会增加电路结构的复杂性和生产成本,不利于结构光图像获取系统10的小型化和低成本控制。
本实施例通过对采集帧数和投影频率进行控制,二者不再一一对应,使得成像模组12采集的多帧图像中至少包括第一图像和第二图像,其中第一图像仅包含环境光信息,第二图像则包含环境光信息和结构光信息,通过对第一图像和第二图像进行对比分析,可以有效去除环境光的影响,极大提高采集的结构光图像的精度,从而可以获得更加精确的结构光图像。
本实施例的目的还在于提供一种结构光图像获取方法。图5示出了本发明实施例提供的结构光图像获取方法的实现流程图,该方法可由结构光图像获取系统执行,结构光图像获取系统可配置于移动终端中,可由软件实现,也可以由硬件实现,还可以由软件和硬件共同实现。如图5所示,结构光图像获取方法可包括如下步骤:
步骤S10:根据寄存器中存储的预设采集帧数采集图像。
在成像模组12采集图像前,需要先在寄存器中写入采集帧数,以便成像模组12能够根据该采集帧数进行图像的采集。在本实施例中,成像模组12包括寄存器和时钟发生器,寄存器与时钟发生器连接,处理器13将预设采集帧数写入寄存器中,以使成像模组12根据采集帧数采集图像。
步骤S20:接收根据采集帧数产生的投影时钟信号并输出相应投影频率的脉冲信号,按照投影频率投射结构光。
为了能够获得结构光图像,需要控制投影模组11按照投影频率向待测空间投射结构光图案。在本实施例中,处理器13根据寄存器中存储的采集帧数产生投影时钟信号,使得时钟发生器接收投影时钟信号并输出相应投影频率的脉冲信号至投影模组,投影模组则根据投影频率投射结构光。
步骤S30:根据采集图像的信息,输出结构光图像。
在本实施例中,成像模组12将采集的图像传输至处理器13中,处理器13根据采集的图像信息输出结构光图像。
进一步地,在步骤S10中,成像模组12采集多帧图像,多帧图像至少包括第一图像和第二图像,第一图像包括环境光信息,第二图像包括环境光信息和结构光信息。
请参阅图6,进一步地,为了获得更精确的结构光图案,步骤S30可包括如下步骤:
步骤S31:根据多帧图像,判断待测空间是否处于动态。
其中,多帧图像是指成像模组12所采集到的多帧图像,该多帧图像至少包括第一图像和第二图像。处理器13中接收并存储成像模组12采集的多帧图像后,需要对待测空间20是否处于动态进行判断,以便进一步确认对图像应采取的处理方式,从而有利于获得更精确的结构光图案。
请参阅图7,在一个实施例中,判断待测空间20是否处于动态的方法可如下:
步骤S311:识别结构光形成的图案信息。
步骤S312:根据图案信息,确定第一图像和第二图像。
红外光源所投射的结构光可以在待测空间20内形成随机或者有规律分布的投影图案,成像模组12采集待测空间20的图像后,将图像传送至处理器13的接收单元131,处理器13中识别单元132用于识别结构光形成的图案信息。由于成像模组12采集的图像包括多帧图像,其中有的图像中仅包含环境光,有的图像中包含环境光和结构光,因此需要确定第一图像和第二图像,以便进一步进行图像处理。
步骤S313:根据第一图像和第二图像,判断待测空间的运动强度是否超过判断阈值。
在判断待测空间20的动静态情况时,可以设置运动强度阈值(即判断阈值),处理器13中判断单元133可以根据获取的第一图像和第二图像来获得待测空间20的运动强度,并将该运动强度与预设的运动强度阈值进行比较,判断待测空间的运动强度是否超过该运动强度阈值。
请参阅图7,若待测空间20的运动强度不超过运动强度阈值,则:
步骤S314:确定待测空间处于静态场景之中,继续进行以下步骤S32。
步骤S32:将第一图像和第二图像进行对比分析。
当待测空间20处于静态场景之中时,可以认为静态场景中的环境光并未发生明显变化,第一图像I1和第二图像I2中相区别的部分就是是否包含结构光,因此处理器13在进行图像处理时,仅需要将第一图像I1和第二图像I2进行对比分析即可。在一个实施例中,处理器13中对比分析单元134可以对第一图像I1和第二图像I2进行对比分析,得到结构光图像I20=I2-I1
若待测空间20的运动强度超过运动强度阈值,则:
步骤S315:确定待测空间处于动态场景之中。
当待测空间20处于动态场景之中时,由于动态场景的背景在不断发生变化,从而环境光线也会不断发生变化,造成成像模组12所采集的多帧图像中,第一图像I1和第二图像I2的环境光均不相同,若只是将第一图像I1和第二图像I2进行简单对比分析,所获得的结构光图像I20误差很大,因此需要对多帧图像进行3D降噪处理,从而获得更加精确的结构光图像。
若待测空间处于动态,则:
步骤S33:对多帧图像进行3D降噪处理。
请参阅图8,在进行3D降噪处理时,通过对比相邻几帧图像,将其中不重叠的信息(该部分信息为环境光等因素所造成的噪波)滤除,从而获得纯净的结构光图像,一种可能的操作步骤可如下:
步骤S331:确定当前帧图像中的当前块。
请参阅图3,处理器13中3D降噪单元135首先将当前帧图像划分为具有一定像素大小的当前块,当前块中可包含多个像素,并以该当前块为基本处理单元。
步骤S332:在当前帧图像的相邻帧图像中搜索当前块的匹配块。
在进行搜索时,首先根据当前帧内的当前块确定搜索窗,可选地,搜索窗的大小与当前块的大小相同。选定当前帧的相邻帧图像作为搜索对象,例如,考虑当前帧的前一帧图像作为搜索对象,根据预定的搜索窗在前一帧图像中进行搜索,寻找与当前块最相似的参考块,并将该参考块设置为前一帧图像中对应于当前块最佳的匹配块。
在一个实施例中,匹配块的搜索可采用平均绝对差算法来实现,其具体过程已在前文中详细描述,此处不赘述。采用平均绝对差算法进行匹配块搜索时,参与计算的像素数量可以根据需要进行设置。
例如,当前块中包含的所有像素均参与到计算中,此时在搜索时需要将搜索窗内的所有像素与当前块中的所有像素进行计算,从而获得每一个搜索窗的平均绝对差值,这样计算的结果准确度更高,但是由于参与计算的像素数量巨大,因此增加了整体的计算量。
再如,为了减小计算量,可以仅将当前块中的部分像素加入到计算中,参与计算的部分像素可以根据需要再当前块中进行确定;在搜索时需要选择搜索窗内与当前块相对应的像素进行计算,从而获得每一个搜索窗的平均绝对差值。将当前块中所有像素组成一个集合,此时参与计算的这部分像素集合就是当前块的子集。因此上述的搜索方法也可以成为子集匹配法。由于子集匹配法中参与计算的像素数量少,计算量大大减小,从而可以有效缩短平均搜索时间。
步骤S333:根据当前块和匹配块的相似度,判断是否搜索成功。
为了保证帧间滤波边界的可靠性,提高搜索效果和搜索准确性,在获得匹配块以后,需要判断匹配块与当前块的匹配程度。在一个实施例中,在判断匹配块与当前块的匹配程度时,可以将匹配块与当前块的平均绝对差值与预设阈值进行比较,如果平均绝对差值不大于预设阈值,则表明匹配块与当前块的匹配程度高,匹配程度满足预设要求,此时认为搜索成功,进而对该前一帧图像的相邻图像进行匹配块的搜索。如果该平均绝对差值大于预设阈值,则表明匹配块与当前块的匹配程度低,匹配程度不满足预设要求,此时认为搜索失败,此时不再对该前一帧图像的相邻图像进行匹配块的搜索,避免了无效搜索;返回步骤S10,处理器13控制投影模组11和成像模组12分别按照预设投影频率和采集帧数进行结构光投射和图像采集。
进一步地,若搜索成功,则:
步骤S334:进行帧间滤波处理。
经过上述搜索过程、在当前帧图像的相邻帧图像中获得与当前块相匹配的匹配块之后,可以确定当前块在连续帧图像中的运动轨迹,从而可以根据该运动轨迹进行帧间滤波。由于在连续几帧图像中,重复出现的信息包括结构光图案,而由于待测空间20处于动态场景之中,因此环境光在不断变化中,这部分信息则不是重复出现的,因此在进行帧间滤波时,可以保留重复出现的信息,而将不重叠的信息滤除,从而可以获得纯净的结构光图像。
当待测空间处于静态场景之中,完成步骤S31之后,以及当待测空间处于动态场景之中,完成步骤S334之后,则进行以下步骤:
步骤S34:输出结构光图像。
在一个实施例中,待测空间20处于静态场景之中,结构光图像为处理器13将第一图像I1和第二图像I2进行对比分析(例如I20=I2-I1)后得到的,此时输出的结构光图像即为静态场景对应的结构光图像。
在一个实施例中,待测空间20处于动态场景之中,结构光图像为处理器13采用3D降噪处理后得到的,此时输出的结构光图像即为动态场景对应的结构光图像。
请参阅图9,在一个实施例中,在步骤S34后还包括:
步骤S35:根据结构光图像,计算图像深度信息。
处理器13中深度信息计算单元137在接收到结构光图像信息后,进行图像深度信息计算,从而可以获得图像的深度信息。由于接收的结构光图像更加纯净,精度更高,因此计算所获得的图像深度信息也更加精确。
应当理解的是,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
本实施例提供的结构光图像获取方法的有益效果在于:
一方面,通过将将预设采集帧数写入寄存器中,当需要采集图像时,成像模组12可直接根据寄存器中的采集帧数采集图像即可,而无须通过处理器13来实时发送采集帧数信号,减轻了处理器13的工作负荷。
另一方面,通过对投影频率和采集帧数进行控制,二者不再一一对应,使得采集的多帧图像中至少包括第一图像和第二图像,其中第一图像仅包含环境光信息,第二图像则包含环境光信息和结构光信息,通过对第一图像和第二图像进行对比分析,从而可以有效去除环境光的影响,提高了采集的结构光图像的精度。在进行图像处理前,对待测空间是否处于动态场景进行判断,并根据判断结果选择相应的处理方式,进一步提高了采集的结构光图像的精度,因此所获得的图像深度信息也更加精确。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种结构光图像获取系统,其特征在于,包括投影模组、成像模组以及处理器;
所述处理器与所述投影模组和所述成像模组均连接;
所述成像模组包括寄存器和时钟发生器,所述时钟发生器与所述寄存器连接;
所述寄存器用于存储预设采集帧数,以使所述成像模组根据所述采集帧数采集图像;
所述时钟发生器用于接收根据所述采集帧数产生的投影时钟信号并输出相应投影频率的脉冲信号,以便控制与所述成像模组连接的所述投影模组按照所述投影频率投射结构光;
所述处理器至少用于输出结构光图像。
2.如权利要求1所述的结构光图像获取系统,其特征在于,所述处理器还用于实时发送预设采集帧数信号至所述成像模组,并根据所述采集帧数信号控制所述投影频率。
3.如权利要求1所述的结构光图像获取系统,其特征在于,所述成像模组采集的图像至少包括第一图像和第二图像,所述第一图像包括环境光信息,所述第二图像包括环境光信息和结构光信息。
4.如权利要求1~3任一项所述的结构光图像获取系统,其特征在于,所述处理器包括接收单元、判断单元、3D降噪单元和输出单元;
所述接收单元用于接收所述成像模组采集的多帧图像;
所述判断单元用于根据所述图像信息,判断待测空间是否处于动态;
所述3D降噪单元用于当判断所述待测空间处于动态时,对所述图像进行3D降噪处理;
所述输出单元用于输出经过所述处理后的结构光图像。
5.如权利要求4所述的结构光图像获取系统,其特征在于,所述处理器还包括对比分析单元;
所述对比分析单元与所述判断单元连接,且与所述输出单元连接,用于当判断所述待测空间处于静态时,对所述第一图像和第二图像进行对比分析处理,以获得结构光图像。
6.如权利要求4所述的结构光图像获取系统,其特征在于,所述接收单元和所述判断单元之间还包括识别单元;
所述识别单元用于根据所述多帧图像,识别结构光形成的图案信息,并根据所述图案信息,确定所述第一图像和所述第二图像。
7.如权利要求4所述的结构光图像获取系统,其特征在于,所述3D降噪单元具体用于:
确定当前帧图像中的当前块;
在所述当前帧图像的相邻帧图像中搜索所述当前块的匹配块;
根据所述当前块和所述匹配块的相似度,判断是否搜索成功;
若搜索成功,则进行帧间滤波处理。
8.如权利要求7所述的结构光图像获取系统,其特征在于,所述3D降噪单元还用于:
若搜索不成功,则通知所述处理器继续控制所述成像模组和投影模组按照预设的采集帧数和投影频率,向所述待测空间投射结构光并采集图像。
9.如权利要求1所述的结构光图像获取系统,其特征在于,所述处理器还包括计算单元,所述计算单元用于根据所述结构光图像计算图像深度信息。
10.一种结构光图像获取方法,其特征在于,包括:
根据寄存器中存储的预设采集帧数采集图像;
接收根据所述采集帧数产生的投影时钟信号,并输出相应投影频率的脉冲信号,按照所述投影频率投射结构光;
根据所述采集图像的信息,输出结构光图像。
CN201910023960.2A 2019-01-10 2019-01-10 一种结构光图像获取系统及获取方法 Active CN109862334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910023960.2A CN109862334B (zh) 2019-01-10 2019-01-10 一种结构光图像获取系统及获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910023960.2A CN109862334B (zh) 2019-01-10 2019-01-10 一种结构光图像获取系统及获取方法

Publications (2)

Publication Number Publication Date
CN109862334A true CN109862334A (zh) 2019-06-07
CN109862334B CN109862334B (zh) 2021-04-30

Family

ID=66894415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910023960.2A Active CN109862334B (zh) 2019-01-10 2019-01-10 一种结构光图像获取系统及获取方法

Country Status (1)

Country Link
CN (1) CN109862334B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247474A (zh) * 2007-05-18 2008-08-20 北京思比科微电子技术有限公司 一种图像处理的装置及方法
CN102572223A (zh) * 2011-12-06 2012-07-11 上海富瀚微电子有限公司 一种用于视频降噪的相似块搜索方法
CN102611830A (zh) * 2012-01-13 2012-07-25 深圳市黄河数字技术有限公司 图像降噪方法及系统
US20130278787A1 (en) * 2010-11-19 2013-10-24 Primesense Ltd. Imaging and processing using dual clocks
CN105141939A (zh) * 2015-08-18 2015-12-09 宁波盈芯信息科技有限公司 一种工作范围可调的三维深度感知方法及装置
CN108881717A (zh) * 2018-06-15 2018-11-23 深圳奥比中光科技有限公司 一种深度成像方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247474A (zh) * 2007-05-18 2008-08-20 北京思比科微电子技术有限公司 一种图像处理的装置及方法
US20130278787A1 (en) * 2010-11-19 2013-10-24 Primesense Ltd. Imaging and processing using dual clocks
CN102572223A (zh) * 2011-12-06 2012-07-11 上海富瀚微电子有限公司 一种用于视频降噪的相似块搜索方法
CN102611830A (zh) * 2012-01-13 2012-07-25 深圳市黄河数字技术有限公司 图像降噪方法及系统
CN105141939A (zh) * 2015-08-18 2015-12-09 宁波盈芯信息科技有限公司 一种工作范围可调的三维深度感知方法及装置
CN108881717A (zh) * 2018-06-15 2018-11-23 深圳奥比中光科技有限公司 一种深度成像方法及系统

Also Published As

Publication number Publication date
CN109862334B (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN104380729B (zh) 摄像机参数的上下文驱动调整
US9892501B2 (en) Estimation of food volume and carbs
CN101271517B (zh) 面部区域检测装置和方法
CN103677270B (zh) 一种基于眼动跟踪的人机交互方法
EP2064676B1 (en) A method and system for three-dimensional model acquisition
JP3938257B2 (ja) 顔のような領域を検出する方法および装置、ならびに観察者トラッキングディスプレイ
US7606392B2 (en) Capturing and processing facial motion data
CN108370438A (zh) 范围选通的深度相机组件
CN101516040B (zh) 视频匹配方法、装置及系统
CN104335005B (zh) 3d扫描以及定位系统
CN107087150B (zh) 一种基于双目立体和光度立体的三维摄像方法、系统及装置
CN106572340A (zh) 摄像系统、移动终端及图像处理方法
US20140362188A1 (en) Image processing device, image processing system, and image processing method
CN109889803A (zh) 一种结构光图像获取方法及装置
US20100303294A1 (en) Method and Device for Finding and Tracking Pairs of Eyes
CN106705837A (zh) 一种基于手势的物体测量方法及装置
CN112204961B (zh) 从动态视觉传感器立体对和脉冲散斑图案投射器进行半密集深度估计
CN109086724A (zh) 一种加速的人脸检测方法及存储介质
CN106534633A (zh) 一种组合摄像系统、移动终端及图像处理方法
CN107592449A (zh) 三维模型建立方法、装置和移动终端
CN104184952B (zh) 光学侦测装置及其同步调整方法
Kubo et al. Programmable non-epipolar indirect light transport: Capture and analysis
US20090051651A1 (en) Apparatus for remote pointing using image sensor and method of the same
CN104282013B (zh) 一种用于前景目标检测的图像处理方法及装置
CN113610962A (zh) 一种三维重建方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Obi Zhongguang Technology Group Co., Ltd

Address before: 12 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: SHENZHEN ORBBEC Co.,Ltd.

GR01 Patent grant
GR01 Patent grant