CN112615979B - 图像获取方法、图像获取装置、电子装置和存储介质 - Google Patents
图像获取方法、图像获取装置、电子装置和存储介质 Download PDFInfo
- Publication number
- CN112615979B CN112615979B CN202011437518.3A CN202011437518A CN112615979B CN 112615979 B CN112615979 B CN 112615979B CN 202011437518 A CN202011437518 A CN 202011437518A CN 112615979 B CN112615979 B CN 112615979B
- Authority
- CN
- China
- Prior art keywords
- image
- information
- light source
- background light
- preprocessed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像获取方法。所述图像获取方法包括:控制投射器的至少一光源组发出投射光并保持其他光源组关闭;获取根据被目标物体反射的投射光和背景光得到的预处理图像,所述预处理图像包括与开启的所述光源组对应的第一区域和与关闭的所述光源组对应的第二区域;根据所述第二区域中的图像信息获取所述第二区域对应的背景光信息;基于所述第二区域对应的背景光信息得到预处理图像中的背景光信息,去除所述预处理图像中的所述背景光信息得到目标图像。如此,通过去除所述预处理图像中的所述背景光信息得到目标图像,可以避免关闭投射器而单独地获取背景光信息,保证了图像获取的过程中不会出现失帧的现象。
Description
技术领域
本申请涉及图像处理,尤其涉及一种图像获取方法、图像获取装置、电子装置和存储介质。
背景技术
在采用光学投射器获取物体的深度信息时,通常控制光学投射器发出预定波长的光线,该光线经过物体反射后被图像传感器捕获,根据图像传感器采集的图像可以计算获得物体的深度信息。然而,图像传感器采集的图像包括太阳光等背景光线信息,形成噪声。
在相关技术中,一般采用消除背景光信息的方法为,先获取投射器开启时的第一图像,然后获取投射器关闭时的第二图像,由于第二图像仅包括背景光信息,因此,可以根据第二图像的背景光信息去除第一图像的背景光信息,从而实现去除噪声的效果。然而,这种方案用于连续拍摄时,由于第二图像没有深度信息而丢弃,从而容易出现失帧的现象。
发明内容
有鉴于此,本申请提供一种图像获取方法、图像获取装置、电子装置和存储介质。
本申请提供了一种图像获取方法,包括:
控制投射器的至少一光源组发出投射光并保持其他光源组关闭;
获取根据被目标物体反射的投射光和背景光得到的预处理图像,所述预处理图像包括与开启的所述光源组对应的第一区域和与关闭的所述光源组对应的第二区域;
根据所述第二区域中的图像信息获取所述第二区域对应的背景光信息;
基于所述第二区域对应的背景光信息得到预处理图像中的背景光信息,去除所述预处理图像中的所述背景光信息得到目标图像。
本申请实施方式的图像获取方法中,预处理图像既包括目标物体的信息,也包括背景光信息,通过去除所述预处理图像中的所述背景光信息得到目标图像,可以避免关闭投射器而单独地获取背景光信息,保证了图像获取的过程中不会出现失帧的现象。
在某些实施方式中,获取被所述目标物体反射的投射光和背景光得到的预处理图像,包括:
控制多个光源组中的依次光源组交替开启和关闭,获取多个对应的预处理图像;
所述基于所述第二区域对应的背景光信息得到预处理图像中的背景光信息,去除所述预处理图像中的所述背景光信息得到目标图像,包括:
基于每个所述预处理图像的第二区域对应的背景光信息,得到每个所述预处理图像中的背景光信息;
去除多个所述预处理图像中的所述背景光信息以得到多个中间图像;
合成所述多个中间图像得到所述目标图像。
本申请实施方式的图像获取方法中,去除多个所述预处理图像中的所述背景光信息后所得到的图像为中间图像,通过合成所述中间图像得到目标图像。
在某些实施方式中,在连续拍摄过程中,所述合成所述多个中间图像得到所述目标图像,包括:
将所述多个中间图像按对应的所述预处理图像的生成时间依次排布;
选取一个交替数量且相邻的多个所述中间图像;
在相邻的多个所述中间图像中,将最后一个之前的所述中间图像中的目标物体图像信息插入最后一个所述中间图像对应的位置而得到所述目标图像。
本申请实施方式的图像获取方法中,可在连续拍摄时,保证所述目标物体的深度信息的完整性。
在某些实施方式中,所述基于每个所述预处理图像的第二区域对应的背景光信息,得到每个所述预处理图像中的背景光信息包括:
将一个交替数量中的每个所述预处理图像的第二区域对应的背景光信息合成以得到完整的背景光信息;
所述去除多个所述预处理图像中的所述背景光信息以得到多个中间图像,包括:
基于所述完整的背景光信息,去除多个所述预处理图像中的所述背景光信息以得到多个中间图像。
本申请实施方式的图像获取方法中,通过将每个所述预处理图像的所述第二区域对应的背景光信息合成以得到完整的背景光信息,基于所得到完整的背景光信息,去除每个所述预处理图像的背景光信息,以得到所述中间图像。
在某些实施方式中,所述基于每个所述预处理图像的第二区域对应的背景光信息,得到每个所述预处理图像中的背景光信息,包括:
针对每个所述预处理图像的第二区域对应的背景光信息进行拟合计算得到所述预处理图像完整的背景光信息,其中,所述第一区域的背景光信息与所述第二区域的背景光信息相同;
所述去除多个所述预处理图像中的所述背景光信息以得到多个中间图像,包括:
基于所述完整的背景光信息,去除多个所述预处理图像中的背景光信息以得到多个中间图像。
本申请实施方式中,如此,通过将每个所述预处理图像的所述第二区域对应的背景光信息作为完整的背景光信息,基于所得到所述完整的背景光信息,去除每个所述预处理图像的背景光信息,以得到所述中间图像。
在某些实施方式中,所述控制投射器的至少一光源组发出投射光并保持其他光源组关闭,包括:
控制所述光源组开启的数量与所述光源组关闭的数量的比值大于或等于2。
在本申请实施方式中,取样讯号所占的区域会比背景光区域所占区域要来得大,增加测距的精准度。
在某些实施方式中,每个所述光源组中的光源为多个,且沿第一方向排布,多个所述光源组之间沿第二方向排布,沿所述第二方向,开启的所述光源组和关闭的所述光源组交替分布;其中所述第一方向与所述第二方向相垂直。
本申请提供了一种图像获取装置,所述图像获取装置包括:
控制模块,用于控制投射器的至少一光源组发出投射光并保持其他光源组关闭;
第一获取模块,用于获取根据被目标物体反射的投射光和背景光得到的预处理图像,所述预处理图像包括与开启的所述光源组对应的第一区域和与关闭的所述光源组对应的第二区域;
第二获取模块,用于根据所述第二区域中的图像信息获取所述第二区域对应的背景光信息;
第三获取模块,用于去除所述预处理图像中的所述背景光信息得到目标图像。
本申请实施方式提供的图像获取装置通过去除所述预处理图像中的所述背景光信息得到目标图像,可以避免关闭投射器而单独地获取背景光信息,保证了图像获取的过程中不会出现失帧的现象。
本申请实施方式提供的电子装置包括投射器、接收器、存储器和处理器,存储器中存储有计算机程序,计算机程序被处理器执行时,实现以上任一实施方式的所述的图像获取方法。
本申请实施方式提供的电子装置通过去除预处理图像中的背景光信息得到目标图像,可以避免关闭投射器而单独地获取背景光信息,保证了图像获取的过程中不会出现失帧的现象。
在某些实施方式中,在所述电子装置中,投射光包括散斑结构光。如此,散斑结构光使得所述投射器发出的光在空间中有固定的位置。
在某些实施方式中,本申请实施方式提供了一种包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行以上任一实施方式所述的图像获取方法。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本申请实施方式的图像获取方法的流程示意图。
图2是本申请实施方式的图像获取装置的模块示意图。
图3是本申请实施方式的图像获取方法的场景示意图。
图4是本申请实施方式的图像获取方法的电子装置的平面示意图。
图5是本申请实施方式的图像获取方法的投射器的剖面示意图。
图6是本申请实施方式的图像获取方法的流程示意图。
图7是本申请实施方式的图像获取方法的又一场景示意图。
图8是本申请实施方式的图像获取方法的流程示意图。
图9是本申请实施方式的图像获取方法的再一场景示意图。
图10是本申请实施方式的图像获取方法的流程示意图。
图11是本申请实施方式的图像获取方法的又一场景示意图。
图12是本申请实施方式的图像获取方法的流程示意图。
图13是本申请实施方式的图像获取方法的再一场景示意图。
图14是本申请实施方式的图像获取方法的再一场景示意图。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接或可以相互通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
在本申请中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本申请。此外,本申请可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。此外,本申请提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
请参阅图1-图3,本申请实施方式提供了一种图像获取方法,图像获取方法包括:
S10:控制投射器11的至少一光源组16发出投射光并保持其他光源组16关闭;
S20:获取根据被目标物体15反射的投射光和背景光得到的预处理图像A,预处理图像A包括与开启的光源组16对应的第一区域P11和与关闭的光源组16对应的第二区域P12。
S30:根据第二区域P12中的图像信息获取第二区域对应的背景光信息;
S40:基于第二区域P12对应的背景光信息得到预处理图像A中的背景光信息,去除预处理图像A中的背景光信息得到目标图像C。
请参阅图4,本申请实施方式提供了一种图像获取装置18,图像获取装置18包括控制模块19、第一获取模块20、第二获取模块21和第三获取模块22。控制模块19用于控制投射器11的至少一光源组16发出投射光并保持其他光源组16关闭;第一获取模块20获取根据被目标物体15反射的投射光和背景光得到的预处理图像A,预处理图像A包括与开启的光源组16对应的第一区域P11和与关闭的光源组对应的第二区域P12;第二获取模块21用于根据第二区域P12中的图像信息获取第二区域P12对应的背景光信息;第三获取模块22用于基于第二区域P12对应的背景光信息得到预处理图像A中的背景光信息,去除预处理图像A中的背景光信息得到目标图像C。
请再次参阅图2,本申请实施方式还提供了一种电子装置10,电子装置10包括投射器11、接收器12、存储器13和处理器14,存储器13中存储有计算机程序,计算机程序被处理器13执行时,实现以上实施方式的图像获取方法。
或者说,处理器14用于控制投射器11的至少一光源组16发出投射光并保持其他光源组16关闭;及用于获取根据被目标物体15反射的投射光和背景光得到的预处理图像A,预处理图像A包括与开启的光源组16对应的第一区域P11和与关闭的光源组16对应的第二区域P12;以及用于根据第二区域P12中的图像信息获取第二区域P12对应的背景光信息;基于第二区域P12对应的背景光信息得到预处理图像A中的背景光信息,去除预处理图像A中的背景光信息得到目标图像C。
本申请实施方式的图像获取方法、图像获取装置18和电子装置10中,每个预处理图像A既包括目标物体15的信息,也包括背景光信息,通过去除预处理图像A中的背景光信息得到目标图像C,可以避免关闭投射器11而单独地获取背景光信息,保证了图像获取的过程中不会出现失帧的现象。
具体的,在步骤S10中,投射器11内有至少一组光源组16,请参阅图5,投射器11还有衍射器件111、透镜112等等其他零部件。投射器11内的光源组16可以为两组、三组、四组及其以上等组数。每个光源组可以包括多个点光源,每个光源组的点光源的数量可以为两个、三个、四个等数量。每个光源组的点光源可以呈矩形阵列分布。
光源组16发出的投射光可以是红外光等不可见光,也可以是可见光。在投射器11工作的过程中,多个光源组16的部分光源组可以保持开启,其他光源组保持关闭,或者,多个光源组16的光源组中的一部分光源组和另一部分光源组交替开启或关闭。
在步骤S20中,当投射器11的至少一光源组16发出投射光并保持其他光源组16关闭,发出的投射光打在目标物15上后,接收器12接收到被目标物体反射的投射光和背景光可得到预处理图像A,在预处理图像A中包含第一区域P11和第二区域P12,被开启的光源组16所照亮的区域为第一区域P11;由于部分光源组16呈关闭状态,未照亮的区域为第二区域P12。
在S30步骤中,根据S20步骤中得到包含第一区域P11与第二区域P12的预处理图像A后,可以根据第二区域P12中的图像信息获取第二区域P12对应的背景光信息。
在S40步骤中,由于太阳光的光谱是由多波长所组成的连续性光谱,太阳光谱在红外光波段有一定的强度,所以滤波片无法区别由目标物体15反射回来的光是来自于太阳还是来自于光学投射器的投射光导致所获取到的目标物体的图像信息不够准确。获取到预处理图像A中的背景光信息后,经过比较与运算,去除由太阳光所造成的背景光信息之后,预处理图像A中只留下与投射器11发射的光线关联的信息,获得真正所需的目标物体15的信息。
传统的图像获取方法会连续拍摄两张照片,其中一张图片拍摄时,投射器处于启动状态,此时的图片包含了投射器发射的讯号以及太阳光造成的背景讯号。另一张照片拍摄时,投射器处于完全关闭状态,此时得到的图片只有太阳光造成的背景讯号。接着将此两张照片进行比较与运算,过滤掉太阳光造成的背景光讯号之后,图像中只留下由投射器发射的讯号,获得真正系统所需的测距信息。
传统的方案需浪费一半的照片去进行背景光信息的搜集,拍摄了两张图像,最终只能得到一张图像的信息,如果在进行第二次拍摄时,目标物体15同时在移动,就无法侦测到其变化,在最终的结果上,可看到待测物的移动过程变为不连续的跳动,此种做法有着较低的画面扫描更新速度。而本申请实施方式的图像获取方法优势在于,每张图像皆能追踪到两种信息,第一种是外界实时的背景光变化,第二种是目标物体15的物体信息及实时位移变化。这是由于至少一光源组16发出投射光并保持其他光源组16关闭,投射的整个过程是持续不会中断的,所以最终可获取到目标物体15的物体信息及实时位移变化这一讯息。
请参阅图6,在某些实施方式中,根据被获取被目标物体15反射的投射光和背景光得到的预处理图像A(步骤S20),包括:
S21:控制多个光源组16依次交替开启和关闭,获取多个对应的预处理图像A;
基于第二区域P12对应的背景光信息得到预处理图像A中的背景光信息,去除预处理图像A中的背景光信息得到目标图像C(步骤S40),包括:
S41:基于每个预处理图像A的第二区域P12对应的背景光信息,得到每个预处理图像P12中的背景光信息;
S42:去除多个预处理图像A中的背景光信息以得到多个中间图像B;
S43:合成多个中间图像B得到目标图像C。
在某些实施方式中,控制模块19用于控制多个光源组16依次交替开启和关闭,第一模块20用于获取多个对应的预处理图像A。基于第二区域对应的背景光信息得到预处理图像中的背景光信息,第三获取模块22用于去除多个预处理图像A中的背景光信息以得到多个中间图像B,以及用于合成多个中间图像B得到目标图像C。
在某些实施方式中,处理器14用于控制多个光源组16依次交替开启和关闭,获取多个对应的预处理图像A,基于第二区域对应的背景光信息得到预处理图像中的背景光信息,及用于去除多个预处理图像A中的背景光信息以得到多个中间图像B,以及用于合成多个中间图像B得到目标图像C。
如此,通过多个光源组16中依次交替开启和关闭时,可以得到目标物的实时位置变化。
在步骤S21中,多个光源组16的光源组依次交替开启或关闭,所发出的投射光打在目标物15上后,接收器12接收到被目标物体反射的投射光和背景光可得到预处理图像A。
在步骤S40中,为过滤掉由太阳光所造成的背景光信息,移除掉去除预处理图像A中的背景光信息,使得预处理图像A中只留下投射器发射的信息,获得真正所需的目标物体15的信息。
在步骤S41中,根据第二区域P12中的图像信息获取第二区域P12对应的背景光信息,基于每个预处理图像A的第二区域P12对应的背景光信息,得到每个预处理图像A中的背景光信息。
在步骤S42中,通过控制多个光源组16依次交替开启与关闭,可得到多个预处理图像A,每个预处理图像A中均包含第一区域P11第二区域P12,将各个预处理图像A中的背景光信息也即是将第一区域P11和第二区域P12中的背景光信息均移除后,可得到多个没有背景光信息的中间图像B。
在步骤S43中,通过步骤S41得到多个只包含有第一区域P11的中间图像B后,为获得完整的目标物体15的信息,将所有的只包含有第一区域P11的中间图像B进行合成。
例如,请参阅图7,通过控制多个光源组16的交替开启与关闭,图2中图像A(1)的“1”表示的是开启的第一光源组所照亮的区域,此时第二光源组16为关闭状态。再进行第二次操作,此时控制第一光源组16为关闭状态,第二光源组16为开启状态,图2中的图像A(2)的“2”表示的即时当前呈开启状态的第二光源组16所照亮的区域。
当投射光打在目标物体15上,获取根据被目标物体15反射的投射光和背景光得到的预处理图像A,最后可得到两个预处理图像A。在预处理图像A中,被开启的光源组16所照亮的区域为第一区域P11,光源组16未照亮的区域为第二区域P12。对每个预处理图像A都进行去除背景光信息后,可以得到两组只包含目标物体15的物体信息的中间图像B。通过将两个中间图像B进行合成,最终可获得所需的只包含目标物体15物体信息的目标图像C。
本申请实施方式的图像获取方法相较于传统方案而言,不再浪费一半时间进行背景光信息的收集。除此以外,本申请实施方式的图像获取方法可同时获取到外界实时的背景光变化,还能获取目标物体15的实时位置变化。
当然,在其他实施方式中,也可以控制部分光源组16一直保持开启,而其他光源组16保持关闭。
请参阅图8,在某些实施方式中,在连续拍摄过程中,合成多个中间图像B得到目标图像C(步骤S43),包括:
S431:将多个中间图像B按对应的预处理图像A的生成时间依次排布;
S432:选取相邻的一个交替数量中的中间图像B;
S433:在相邻的多个中间图像B中,将最后一个之前中间图像B中的目标物体15图像信息插入最后一个中间图像B对应的位置而得到目标图像C。
在某些实施方式中,第三模块22用于将多个中间图像B按对应的预处理图像A的生成时间依次排布,还用于选取相邻的一个交替数量中的多个中间图像B,及用于在相邻的多个中间图像B中,将最后一个之前的中间图像B中的目标物体15图像信息插入最后一个中间图像B对应的位置而得到目标图像C。
在某些实施方式中,处理器14用于将多个中间图像B按对应的预处理图像A的生成时间依次排布,还用于选取相邻的一个交替数量中的多个中间图像B,及用于在相邻的多个中间图像B中,将最后一个之前的中间图像B中的目标物体15图像信息插入最后一个中间图像B对应的位置而得到目标图像C。
在连续拍摄过程中,通过多个光源组16中的一部分光源组和另一部分光源组交替开启和关闭,获取根据被目标物体15反射的投射光和背景光得到的预处理图像A,根据第二区域P12中的图像信息获取第二区域对应的背景光信息,去除预处理图像A中的背景光信息可得到多个中间图像B。
具体的,在步骤S431中,在步骤S30去除多个预处理图像A中的背景光信息后以得到多个只包含目标物体15的图像的中间图像B,中间图像B将多个中间图像B按对应的预处理图像A的生成时间依次排布。
在步骤S432中,在多个中间图像B中,选取相邻的一个交替数量中的多个中间图像B。在投射器11内可以有多组光源组16,具体的,交替数量取决于投射器11内光源组16的数量。其中,光源组16可以为3个、4个、5个等等,没有明确的数量限制。具体地,选择与光源组16数量相同的数值作为交替数量,选取连续的交替数量中的中间图像B。
在步骤S433中,将最后一个之前的中间图像B中的目标物体15图像信息插入最后一个中间图像B对应的位置而得到目标图像C。
例如,请参阅图9,以投射器11内的由2组光源组16为例。选取中间图像B如图B(3)、B(4)、B(5)、B(6)所示,图B中的数字“1”表示的是开启的第一光源组所照亮的区域、图B中的数字“2”表示的是开启的第二光源组所照亮的区域。将多个中间图像B按对应的预处理图像A的生成时间依次排布。将相邻的B(3)与B(4)、相邻的B(4)与B(5)和相邻的B(5)与B(6)选出,将前一个中间图像B中的目标物体15图像信息插入另外一个中间图像B对应的位置而得到目标图像C。如此,可在连续拍摄时,保证目标物体的深度信息的完整性。
需要指出的是,在步骤S432中,相邻的多个中间图像的数量等于交替开启和关闭的光源组的数量。例如,有三个光源组交替开启和关闭,那么,为了得到目标物体完整的深度图像,选取用于合成的且相邻的中间图像的数量为三个。
请参阅图10,在某些实施方式中,基于第二区域P12对应的背景光信息得到预处理图像A中的背景光信息,去除预处理图像A中的背景光信息得到目标图像C(步骤S40),包括:
S44:将一个交替数量中的每个预处理图像A的第二区域P12对应的背景光信息合成以得到完整的背景光信息;
去除多个所述预处理图像中的所述背景光信息以得到多个中间图像(步骤S42),包括:
S421:基于完整的背景光信息,去除多个预处理图像A中的景光信息以得到多个中间图像B。
在某些实施方式中,第三模块22用于将一个交替数量中的每个预处理图像A的第二区域P12对应的背景光信息合成以得到完整的背景光信息,及用于基于完整的背景光信息,去除多个预处理图像A中的景光信息以得到多个中间图像B。
在某些实施方式中,处理器14用于将一个交替数量中的每个预处理图像A的第二区域P12对应的背景光信息合成以得到完整的背景光信息,及用于基于完整的背景光信息,去除多个预处理图像A中的景光信息以得到多个中间图像B。
具体的,在步骤S44中,根据第二区域P12中的图像信息获取每个预处理图像A中的第二区域P12对应的背景光信息,将一个交替数量中的每个预处理图像A的第二区域P12对应的背景光信息合成,最后可得到完整的背景光信息。其中,交替数量可以是投射器11内所包含的光源组16的数量。
在步骤S421中,基于步骤S44得到完整的背景光信息后,根据完整的背景光信息将中间图像B中的背景光信息去除,最终得到只包含目标物体15的部分物体图像信息的中间图像B。
例如,请参阅图11,获取根据被目标物体15反射的投射光和背景光得到的两个预处理图像A,如图A(1)和图A(2)所示。根据每个预处理图像A中的第二区域P12中的图像信息获取第二区域P12所对应的背景光信息,将每一个预处理图像A的第二区域P12所对应的背景光信息进行合成,可以得到完整的背景光信息。基于完整的背景光信息,去除预处理图像A(1)与A(2)中的背景光信息,以得到只包含目标物体15有关的部分物体信息的中间图像B,结果如图B(1)与B(2)所示。为获得完整的目标物体15的信息,将两个中间图像B(1)与B(2)进行合成得到目标图像C。
如此,通过将每个预处理图像A的第二区域P12对应的背景光信息合成以得到完整的背景光信息,基于所得到完整的背景光信息,去除每个预处理图像A的背景光信息,以得到只包含目标物体15有关的物体信息的多个中间图像B。再将多个中间图像B进行合成,最终可得到去除了背景光信息且只包含有目标物体15物体信息的目标图像C。
请参阅图12,在某些实施方式中,基于每个预处理图像A的第二区域P12对应的背景光信息,得到每个预处理图像A中的背景光信息(步骤S41),包括:
S411:针对每个预处理图像A的第二区域P12对应的背景光信息进行拟合计算得到预处理图像A完整的背景光信息,其中,第一区域P11的背景光信息与第二区域P12的背景光信息相同;
去除多个预处理图像A中的背景光信息以得到多个中间图像B,包括:
S422:基于完整的背景光信息,去除多个预处理图像A中的背景光信息以得到多个中间图像B。
在某些实施方式中,第三模块22用于针对每个预处理图像A的第二区域P12对应的背景光信息进行拟合计算得到预处理图像A完整的背景光信息,其中,第一区域P11的背景光信息与第二区域P12的背景光信息相同,及用于基于完整的背景光信息,去除多个预处理图像A中的背景光信息以得到多个中间图像B。
在某些实施方式中,处理器14用于针对每个预处理图像A的第二区域P12对应的背景光信息进行拟合计算得到预处理图像A完整的背景光信息,其中,第一区域P11的背景光信息与第二区域P12的背景光信息相同。
具体的,在步骤S411中,由于目标物体处在某环境下进行拍摄,所以第一区域P11的背景光信息与第二区域P12的背景光信息相同。针对每个预处理图像A中的第二区域P12对应的背景光信息进行拟合计算得到预处理图像A完整的背景光信息。其中拟合可以包括认作相同或是取中间值。示例性地,可认为每个预处理图像A中的第二区域P12对应的背景光信息是相同的,任选其中一个预处理图像A中的第二区域P12对应的背景光信息作为预处理图像A完整的背景光信息;可以将每个预处理图像A中的第二区域P12对应的背景光信息进行线性拟合,例如取平均值,将预处理图像A中的第二区域P12对应的背景光信息的平均值作为预处理图像A完整的背景光信息。
在步骤S422中,基于步骤S411中得到预处理图像A的完整的背景光信息后,根据完整的背景光信息,将中间图像B中的背景光信息去除,最终得到只包含目标物体15的物体图像信息的目标图像C。
例如,请参阅图13,获取根据被目标物体15反射的投射光和背景光得到的两个预处理图像A,如图A(1)和图A(2)所示。根据每个预处理图像A中的第二区域P12中的图像信息获取第二区域P12所对应的背景光信息,将每一个预处理图像A的第二区域P12所对应的背景光信息作为预处理图像A的完整背景光信息。基于所得的完整背景光信息,去除掉预处理图像A(1)与A(2)中的完整背景光信息,得到只包含目标物体15的部分物体信息的中间图像B,结果如图B(1)与B(2)所示。为获得完整的目标物体15的信息,将两个中间图像B(1)与B(2)进行合成,最后可得到目标图像C。
如此,通过将每个预处理图像A的第二区域P12对应的背景光信息作为完整的背景光信息,基于所得到完整的背景光信息,去除每个预处理图像A的背景光信息,以得到只包含目标物体15有关的物体信息的多个中间图像B。再将多个中间图像B进行合成,最终可得到去除了背景光信息且只包含有目标物体15物体信息的目标图像C。
在某些实施方式中,控制投射器11的至少一光源组16发出投射光并保持其他光源组16关闭,包括:
控制光源组16开启的数量与光源组16关闭的数量的比值大于或等于2。
在某些实施方式中,控制模块19用于控制投射器11的至少一光源组16发出投射光并保持其他光源组16关闭,投射器11包括多个光源组16。
在某些实施方式中,处理器14用于控制投射器11的至少一光源组16发出投射光并保持其他光源组16关闭,投射器11包括多个光源组16。
如此,由于控制光源组16开启的数量与光源组16关闭的数量的比值大于或等于2,也即是光源组16开启的数量多于光源组16关闭的数量,使得预处理图像A的第一区域P11比第二区域P12所占区域更大,从而可增加关于目标物体15的物体信息的精准度精准度。
例如,请参阅图14,投射器11的光源组16可以包括4种光源组,分别为第一光源组16、第二光源组16、第三光源组16和第四光源组。第一光源组16、第二光源组16与第三光源组16为开启状态,第四组光源组为关闭状态。在图10中,图像A中的“1”、“2”、“3”分别表示当前的第一光源组16开启时所照亮的区域、第二光源组16开启时所照亮的区域、第三光源组16开启时所照亮的区域。三个光源组16分别发出投射光,投射光打在目标物体15后,获取被目标物体15反射的投射光和背景光得到的预处理图像A。
在预处理图像A中,三个开启的光源组16所照亮的区域为第一区域P11,由于第四光源组16是关闭状态,导致原本第四光源组16可照到的区域被认定为背景光区域也即是第二区域P12。根据第二区域P12中图像信息获取第二区域P12对应的背景光信息,基于第二区域P12中对应的背景光信息得到预处理图像A中的背景光信息。从预处理图像A中,移除背景光的信息之后,最终可得到只包含所需的目标物体15的物体信息的目标图像C。
光源组16越多,虽然光源会较为复杂,但是由于控制开启的光源组16的数量大于关闭的光源组16的数量,所以在预处理图像A中,第一区域P11会比第二区域P12的范围更大,这样会增加测得的目标物体15的物体信息的精准度。
在某些实施方式中,每个光源组16中的光源为多个,且沿第一方向X排布,多个光源组16呈之间沿第二方向Y排布,沿第二方向Y开启的光源组和关闭的光源组交替分布;其中第一方向X与第二方向Y相垂直。
具体的,在投射器11中,投射器11包含有多个光源组16。其中,多个光源组16沿第二方向Y排布,而光源组16中的光源为多个,且沿第一方向X排布。具体可再次参阅图7,第一光源组16中的多个光源沿第一方向X排布,在目标图像C中,第一光源组16与第二光源组1沿第二方向Y排布。在某些实施方式中,沿第二方向Y开启的光源组和关闭的光源组交替分布,可以为阵列交替也可以是零散分布的交替。如此,光源的交替分布,且多个光源组中的一部分光源组和另一部分光源组交替开启和关闭,可使得开启的光源组和关闭的光源组交替分布。
在某些实施方式中,投射光包括散斑结构光。
如此,散斑结构光使得投射器11发出的光在空间中有固定的位置。结构光是一组由投影仪和摄像头组成的系统结构。用投影仪投射特定的光信息到物体表面后及背景后,由摄像头采集。再根据物体造成的光信号的变化来计算物体的位置和深度等信息,进而复原整个三维空间。结构光的成像稳定性高,精度高,适用于图像获取。散斑结构光使得投射器11发出的光在空间中有固定的位置,便于稳定地处理预处理图像中A的背景信息,所获得真正所需的目标物体15的物体信息也更准确。
在某些实施方式中,本申请实施方式提供了一种包含计算机可执行指令的非易失性计算机可读存储介质,当计算机可执行指令被一个或多个处理器14执行时,使得处理器14执行以上任一实施方式的图像获取方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,程序可存储于一非易失性计算机可读存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
在本说明书的描述中,参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式,本领域的普通技术人员可以理解:在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。
Claims (10)
1.一种图像获取方法,其特征在于,包括:
控制投射器的至少一光源组发出投射光并保持其他光源组关闭;
获取根据被目标物体反射的投射光和背景光得到的预处理图像,所述预处理图像包括与开启的所述光源组对应的第一区域和与关闭的所述光源组对应的第二区域;
根据所述第二区域中的图像信息获取所述第二区域对应的背景光信息;
基于所述第二区域对应的背景光信息得到预处理图像中的背景光信息,去除所述预处理图像中的背景光信息得到目标图像。
2.根据权利要求1所述的图像获取方法,其特征在于,获取根据被所述目标物体反射的投射光和背景光得到的预处理图像,包括:
控制多个光源组依次交替开启和关闭,获取多个对应的预处理图像;
所述基于所述第二区域对应的背景光信息得到预处理图像中的背景光信息,去除所述预处理图像中的所述背景光信息得到目标图像,包括:
基于每个所述预处理图像的第二区域对应的背景光信息,得到每个所述预处理图像中的背景光信息;
去除多个所述预处理图像中的所述背景光信息以得到多个中间图像;
合成所述多个中间图像得到所述目标图像。
3.根据权利要求2所述的图像获取方法,其特征在于,在连续拍摄过程中,所述合成所述多个中间图像得到所述目标图像,包括:
将所述多个中间图像按对应的所述预处理图像的生成时间依次排布;
选取相邻的一个交替数量中的所述中间图像;
在相邻的多个所述中间图像中,将最后一个之前的所述中间图像中的目标物体图像信息插入最后一个所述中间图像对应的位置而得到所述目标图像。
4.根据权利要求2所述的图像获取方法,其特征在于,所述基于每个所述预处理图像的第二区域对应的背景光信息,得到每个所述预处理图像中的背景光信息,包括:
将一个交替数量中的每个所述预处理图像的第二区域对应的背景光信息合成以得到完整的背景光信息;
所述去除多个所述预处理图像中的所述背景光信息以得到多个中间图像,包括:
基于所述完整的背景光信息,去除多个所述预处理图像中的所述背景光信息以得到多个中间图像。
5.根据权利要求2所述的图像获取方法,其特征在于,所述基于每个所述预处理图像的第二区域对应的背景光信息,得到每个所述预处理图像中的背景光信息,包括:
针对每个所述预处理图像的第二区域对应的背景光信息进行拟合计算得到所述预处理图像完整的背景光信息,其中,所述第一区域的背景光信息与所述第二区域的背景光信息相同;
所述去除多个所述预处理图像中的所述背景光信息以得到多个中间图像,包括:
基于所述完整的背景光信息,去除多个所述预处理图像中的背景光信息以得到多个中间图像。
6.根据权利要求1所述的图像获取方法,其特征在于,所述控制投射器的至少一光源组发出投射光并保持其他光源组关闭,包括:
控制所述光源组开启的数量与所述光源组关闭的数量的比值大于或等于2。
7.根据权利要求1所述的图像获取方法,其特征在于,每个所述光源组中的光源为多个,且沿第一方向排布,多个所述光源组之间沿第二方向排布,沿所述第二方向,开启的所述光源组和关闭的所述光源组交替分布;其中所述第一方向与所述第二方向相垂直。
8.一种图像获取装置,其特征在于,包括:
控制模块,用于控制投射器的至少一光源组发出投射光并保持其他光源组关闭;
第一获取模块,用于获取根据被目标物体反射的投射光和背景光得到的预处理图像,所述预处理图像包括与开启的所述光源组对应的第一区域和与关闭的所述光源组对应的第二区域;
第二获取模块,用于根据所述第二区域中的图像信息获取所述第二区域对应的背景光信息;
第三获取模块,用于去除所述预处理图像中的所述背景光信息得到目标图像。
9.一种电子装置,其特征在于,包括投射器、接收器、存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,实现权利要求1-7任一项所述的图像获取方法。
10.一种计算机可执行指令的非易失性计算机可读存储介质,其特征在于,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行权利要求1-7中任一项所述的图像获取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011437518.3A CN112615979B (zh) | 2020-12-07 | 2020-12-07 | 图像获取方法、图像获取装置、电子装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011437518.3A CN112615979B (zh) | 2020-12-07 | 2020-12-07 | 图像获取方法、图像获取装置、电子装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112615979A CN112615979A (zh) | 2021-04-06 |
CN112615979B true CN112615979B (zh) | 2022-03-15 |
Family
ID=75233869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011437518.3A Active CN112615979B (zh) | 2020-12-07 | 2020-12-07 | 图像获取方法、图像获取装置、电子装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112615979B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105654436A (zh) * | 2015-12-24 | 2016-06-08 | 广东迅通科技股份有限公司 | 一种基于前景背景分离的背光图像增强去噪方法 |
CN107623832A (zh) * | 2017-09-11 | 2018-01-23 | 广东欧珀移动通信有限公司 | 视频背景替换方法、装置和移动终端 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102074045B (zh) * | 2011-01-27 | 2013-01-23 | 深圳泰山在线科技有限公司 | 一种投影重建的系统和方法 |
US9863767B2 (en) * | 2013-06-27 | 2018-01-09 | Panasonic Intellectual Property Corporation Of America | Motion sensor device having plurality of light sources |
KR102117561B1 (ko) * | 2014-01-29 | 2020-06-01 | 엘지이노텍 주식회사 | 센서 모듈 및 이를 포함하는 3차원 영상 |
KR102372088B1 (ko) * | 2015-10-29 | 2022-03-08 | 삼성전자주식회사 | 영상 획득 장치 및 영상 획득 방법 |
CN108401098A (zh) * | 2018-05-15 | 2018-08-14 | 绍兴知威光电科技有限公司 | 一种tof深度相机系统及其降低外部误差的方法 |
CN110868506A (zh) * | 2018-08-10 | 2020-03-06 | 南昌欧菲生物识别技术有限公司 | 图像处理方法和电子装置 |
CN110333501A (zh) * | 2019-07-12 | 2019-10-15 | 深圳奥比中光科技有限公司 | 深度测量装置及距离测量方法 |
-
2020
- 2020-12-07 CN CN202011437518.3A patent/CN112615979B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105654436A (zh) * | 2015-12-24 | 2016-06-08 | 广东迅通科技股份有限公司 | 一种基于前景背景分离的背光图像增强去噪方法 |
CN107623832A (zh) * | 2017-09-11 | 2018-01-23 | 广东欧珀移动通信有限公司 | 视频背景替换方法、装置和移动终端 |
Also Published As
Publication number | Publication date |
---|---|
CN112615979A (zh) | 2021-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6080417B2 (ja) | 画像処理装置、及び画像処理方法 | |
JP5108093B2 (ja) | 撮像装置及び撮像方法 | |
JP3884321B2 (ja) | 3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法 | |
US9451150B2 (en) | Image capturing apparatus comprising focus detection, and method for controlling the same | |
US20160309110A1 (en) | Methods and apparatus for synchronizing readout of multiple image sensors | |
US9648223B2 (en) | Laser beam scanning assisted autofocus | |
JP2008141666A (ja) | 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法 | |
WO2013012335A1 (en) | Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene | |
JP2001116526A (ja) | 3次元形状計測装置 | |
CN107133982B (zh) | 深度图构建方法、装置及拍摄设备、终端设备 | |
KR930007296A (ko) | 물체의 3차원 입체정보취득장치 | |
US11885613B2 (en) | Depth data measuring head, measurement device and measuring method | |
CN110231018B (zh) | 一种结构光测距方法、装置及计算机可读存储介质 | |
JP2006279546A (ja) | 電子カメラ、画像処理プログラム、および画像処理方法 | |
US20160360093A1 (en) | Imaging apparatus, imaging method, and storage medium | |
JP2012015642A (ja) | 撮像装置 | |
JP2016001853A (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
JP2020153865A (ja) | 3次元情報取得装置、情報処理装置、およびシステム | |
US20160044295A1 (en) | Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program | |
CN112615979B (zh) | 图像获取方法、图像获取装置、电子装置和存储介质 | |
CN109729244A (zh) | 摄像设备、焦点检测方法和存储介质 | |
CN108616698B (zh) | 成像装置 | |
CN112019773B (zh) | 深度数据测量头、测量装置和方法 | |
JP2000292131A (ja) | 3次元情報入力カメラ | |
JP6566800B2 (ja) | 撮像装置及び撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |