CN114694137B - 图像检测方法,三维成像方法及设备 - Google Patents
图像检测方法,三维成像方法及设备 Download PDFInfo
- Publication number
- CN114694137B CN114694137B CN202210403794.0A CN202210403794A CN114694137B CN 114694137 B CN114694137 B CN 114694137B CN 202210403794 A CN202210403794 A CN 202210403794A CN 114694137 B CN114694137 B CN 114694137B
- Authority
- CN
- China
- Prior art keywords
- processed
- image
- map
- diagram
- modulation degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 238000003384 imaging method Methods 0.000 title claims abstract description 24
- 238000010586 diagram Methods 0.000 claims abstract description 84
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000010587 phase diagram Methods 0.000 claims abstract description 34
- 238000010606 normalization Methods 0.000 claims abstract description 33
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 30
- 239000002131 composite material Substances 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 230000010363 phase shift Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种图像检测方法,三维成像方法及设备,电子设备及存储介质。图像检测方法包括:获取待处理条纹图像;基于待处理条纹图像,确定与待处理条纹图像对应的待处理截断相位图、待处理调制度图、待处理平均强度图;对待处理调制度图和待处理平均强度图分别进行归一化处理,以获得调制度图、平均强度图;对待处理截断相位图进行数据增强处理,以获得截断相位图;将调制度图、平均强度图、截断相位图进行合成,以得到合成图像;基于预先训练好的图像检测模型对合成图像进行检测,以获得真值模板。通过归一化处理和数据增强处理,使得不同使用场景下所采集的图像无需再分别使用与采集图像时环境对应的模型进行检测。
Description
技术领域
本申请涉及三维成像技术领域,具体地,涉及一种图像检测方法,一种三维成像方法,一种三维成像设备,一种电子设备及一种计算机可读存储介质。
背景技术
在通过三维成像计算物体三维面型信息时,需对物体表面投影有条纹图案的物体图像进行处理。在处理过程中,因物体表面反射率、物体表面起伏产生的阴影、较大的面型变化、图像噪声等原因,导致提取图像相位时,会出现一些相位值错误的像素点,即错误点/不可靠点,这些相位值错误的像素点会影响物体三维面型信息的计算。
现有技术中,通常会使用深度学习模型对不可靠点进行检测。然而,由于对模型进行训练的训练数据集通常是在特定场景下采集的,如训练数据集可能是特定光照条件、特定的设备下所采集的数据集,这就导致所训练好的模型的应用场景范围较小,无法对不同应用场景下采集的图像进行准确地检测,需再次进行训练,导致时间、资源的浪费。
发明内容
有鉴于此,本申请旨在提供一种图像检测方法,一种图像检测方法,一种三维成像方法,一种三维成像设备,一种电子设备及一种计算机可读存储介质,以使不同场景下采集的图像均能通过统一的预先训练好的模型进行检测。
第一方面,本申请实施例中提供了一种图像检测方法,包括:获取待处理条纹图像,所述待处理条纹图像为物体表面投影有条纹图案的图像;基于所述待处理条纹图像,确定与所述待处理条纹图像对应的待处理截断相位图、待处理调制度图、待处理平均强度图;对所述待处理调制度图和所述待处理平均强度图分别进行归一化处理,以获得调制度图、平均强度图;对所述待处理截断相位图进行数据增强处理,以获得截断相位图;将所述调制度图、所述平均强度图、所述截断相位图进行合成,以得到合成图像;基于预先训练好的图像检测模型对所述合成图像进行检测,以获得真值模板,所述真值模板为对所述待处理截断相位图中像素点的分类结果。
本申请实施例中,通过确定出与待处理条纹图像对应的待处理截断相位图、待处理调制度图、待处理平均强度图,并对待处理调制度图和待处理平均强度图分别进行归一化处理,可以使得待处理调制度图和待处理平均强度图的图像参数调整至一定的范围内,由此可以避免因待处理图像为不同配置的设备所采集而导致图像无法准确检测的问题。而对所述待处理截断相位图进行数据增强处理,可以将截断相位图模拟为与模型适配的光照条件下的图像,由此避免因不同光照条件下采集的图像导致图像无法准确检测检测的问题。再将通过归一化处理和数据增强处理的图像进行合成,并对合成后的图像的各像素点进行检测,有效地确定出截断相位图中各像素点的类型。由此,可以使得不同使用场景下所采集的图像也能通过预先训练好的图像检测模型进行检测,避免再对图像检测模型进行训练,或无需分别使用与采集图像时环境对应的模型进行检测。
一实施例中,所述归一化处理,包括:对待归一化处理图像内所有像素的灰度值进行降序排序,所述待归一化处理图像为所述待处理调制度图或所述待处理平均强度图;基于预设阈值,在所有所述像素的灰度值的降序排序中选取一所述像素的灰度值设为预设灰度值;根据所述预设灰度值与预设归一化公式对所有所述像素的灰度值进行归一化处理,归一化处理后的所述待处理调制度图为所述调制度图,归一化处理后的所述待处理平均强度图为所述平均强度图。
本申请实施例中,通过对待处理调制度图和待处理平均强度图进行归一化处理,可以将待处理调制度图和待处理平均强度图的各像素点灰度值调整至一定的范围内,由此,使得不同设备采集的图像的参数均能调整至图像检测模型能够准确处理的范围内,从而实现预先训练好的图像检测模型能够对不同设备所采集图像的检测。
一实施例中,所述预设归一化公式为:
其中,I(x,y)为像素坐标(x,y)处所述像素的灰度值,MAX为预设灰度值。
本申请实施例中,通过预设归一化公式,可以将图像各像素点的灰度值调整至0-255内,由此,可以使得不同设备所采集的图像在进行归一化处理后,能够通过预先训练好的图像检测模型进行不可靠点的检测。
一实施例中,所述对所述待处理截断相位图进行数据增强处理,包括:基于预设数据增强公式、所述调制度图及预设噪声,对所述待处理截断相位图进行数据增强处理;其中,所述预设数据增强公式为:
N为所述待处理截断相位图中的像素总数,(x,y)为像素坐标,为所述截断相位图,I”(x,y)为所述调制度图,Δa′n为预设噪声。
本申请实施例中,通过对待处理截断相位图进行数据增强处理,可以对待处理截断相位图的图像参数进行调整。其中,通过预设噪声模拟与预设数据增强公式,可以模拟不同光照条件的截断相位图,由此,通过预设数据增强公式与预设噪声对不同光照条件下所采集的待处理截断相位图进行数据增强处理,从而使得预先训练好的图像检测模型能够对数据增强处理后的图像进行处理。
一实施例中,所述基于所述待处理条纹图像,确定与所述待处理条纹图像对应的待处理截断相位图、待处理调制度图、待处理平均强度图,包括:基于所述待处理条纹图像与预设截断相位图公式确定所述待处理截断相位图;基于所述待处理条纹图像与预设调制度图公式确定所述待处理调制度图;基于所述待处理条纹图像与预设平均强度图公式确定所述待处理平均强度图。
本实施例中,通过预设截断相位图公式、预设调制度图公式及预设平均强度图公式分别对待处理条纹图像进行计算,可以获得对应的截断相位图、调制度图及平均强度图。通过计算待处理条纹图像的不同的图像,以便于对待处理条纹图像的不同方面进行处理,从而使得预先训练好的图像检测模型能进行对处理后的图像进行检测。
一实施例中,所述基于预先训练好的图像检测模型对所述合成图像进行检测,以获得真值模板,包括:将所述合成图像输入所述预先训练好的图像检测模型进行时间相位展开,以获得连续相位图;基于所述预先训练好的图像检测模型与所述待处理条纹图像的条纹图案参数对所述连续相位图进行计算得到深度图;基于所述预先训练好的图像检测模型与预设分类公式确定所述深度图的真值模板。
本实施例中,通过将合成图像输入预先训练好的图像检测模型,图像检测模型可以通过对图像进行相位展开,并计算获得深度图,由此,通过深度图与预设分类公式,可以对深度图各像素点进行区分,从而可以确定出图像中各点的类型。
一实施例中,所述真值模板包括所述可靠点、不可靠点及背景点,所述预设分类公式为:所述真值模板包括可靠点、不可靠点及背景点,所述预设分类公式为:
其中,mask=2表示像素为可靠点,mask=1表示像素为不可靠点,mask=0表示像素为背景点,depth为所述深度图的深度值,modu为所述调制度图的调制度值,mask为真值模板。
本实施例中,通过预设分类公式,可以对深度图中各像素点进行区分,由此可以将深度图中各像素点确定为可靠点、不可靠点或背景点。由于深度图与截断相位图各像素点位置对应,因此,真值模板也为截断相位图各像素点的分类结果。
第二方面,本申请实施例中提供了一种三维成像方法,包括:获取待处理条纹图像,所述待处理条纹图像为物体表面投影有条纹图案的图像;基于所述待处理条纹图像,确定与所述待处理条纹图像对应的待处理截断相位图、待处理调制度图、待处理平均强度图;对所述待处理调制度图和所述待处理平均强度图分别进行归一化处理,以获得调制度图、平均强度图;对所述待处理截断相位图进行数据增强处理,以获得截断相位图;将所述调制度图、所述平均强度图、所述截断相位图进行合成,以得到合成图像;基于预先训练好的图像检测模型对所述合成图像进行检测,以获得真值模板,所述真值模板为对所述截断相位图中像素点的分类结果;基于所述待处理截断相位图与所述真值模板,确定连续相位图;基于所述待处理条纹图像的条纹图案参数,采集所述待处理条纹图像的采集参数,及所述连续相位图,确定所述物体的三维面型信息。
第三方面,本申请实施例中提供了一种三维成像设备,包括:投影装置,用于投影条纹图案;采集装置,用于采集表面投影有所述条纹图案的物体的图像;处理装置,用于执行第二方面所述的三维成像方法。
第四方面,本申请实施例提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如第一方面所述的图像检测方法或第二方面所述的三维成像方法。
第五方面,本申请实施例提供了一种计算机可读存储介质,所述可读存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如第一方面所述的图像检测方法或第二方面所述的三维成像方法。
本公开的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举本发明较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例提供的图像检测的流程图;
图2为本申请一实施例提供的三维成像方法的流程图;
图3为本申请一实施例提供的电子设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
为便于理解本方案的目的,在对本申请所提供的方案进行介绍前,先对本方案所针对的场景进行说明。
结构光三维成像技术通常是向物体投影条纹图案,然后采集物体表面投影有条纹图案的图像,通过对图像中条纹图案的变形进行分析,进而可以确定出物体的三维面型信息。具体地,在获取物体表面投影有条纹图案的图像之后,计算三维面型信息通常需提取图像中的相位信息,以得到截断相位图,然后对截断相位图进行相位展开,获得连续相位图,进而通过连续相位图和采集条纹图案的场景参数,以及获取条纹图案图像时设备的参数,共同计算出三维面型信息(或称“点云”)。
然而,由于各种因素的影响,如物体表面反射率、图像噪声、物体表面起伏导致的投影阴影与成像阴影、物体表面局部较大的面型变化等,会导致所得到的截断相位图存在一些位置点相位值错误,即不可靠点(或称“错误点”),不可靠点所形成的区域为相位的不连续区域,对不可靠点/不连续区域进行相位展开所得到的连续相位图会影响三维面型信息的计算,需将截断相位图中所存在的不可靠点确定出来。现有的检测不可靠点的深度学习模型中,通常是由特定场景、特定配置下采集的图像数据集训练而成,在使用深度学习的模型检测不可靠点时,采集物体图像的场景通常与模型训练集的采集场景存在不同,如光照条件不同、采集设备所使用的参数不同等,导致预先训练好的深度学习模型无法对不同场景下的图像进行检测。
本申请实施例提供了一种三维成像设备,包括投影装置,采集装置和处理装置。
投影装置,用于投影条纹图案。示例性地,投影装置可以是DLP投影仪、液晶投影仪、LCOS投影仪、或其它通过光学透镜将条纹图案成像在物体表面的装置。
采集装置,用于采集表面投影有所述条纹图案的物体的图像。采集装置可以为相机,摄像机等采集图像的装置。
处理装置,用于执行本申请实施例提供的图像检测方法或三维成像方法。
请参阅图1,图1为本申请一实施例提供的一种图像检测方法的流程图,该图像检测方法包括以下步骤:
S110,获取待处理条纹图像,待处理条纹图像为物体表面投影有条纹图案的图像。
本实施例中,获取待处理条纹图像,可以通过采集装置对表面投影有预设条纹图案的物体进行拍摄,还可以从预先存储有处理条纹图像的数据库中获取,在此,不对获取待处理条纹图像的具体方式作限定。
本实施例中,物体具有三维立体结构,通过投影装置在物体表面投影条纹图案,由于物体的三维立体结构具有一定的形状,一定的高度,由此,通过对投影有条纹图案的物体进行拍照所获取的图像中,所投影的条纹图案会在所获取的待处理条纹图像中呈现一定程度的扭曲变化。其中,条纹图案在二维平面上所显示出的可以是正弦、矩形条状、离焦的矩形条状图案,条纹图案的颜色可以是彩色或黑白,对于条纹图案,可以根据需求进行选择。
S120,基于待处理条纹图像,确定与待处理条纹图像对应的待处理截断相位图、待处理调制度图、待处理平均强度图。
本实施例中,通过三通道PMI图确定截断相位图中的不可靠点,因此,需先获取三通道PMI图,其中,三通道PMI图为截断相位图、调制度图、平均强度图的合成图,即需先获取截断相位图、调制度图、平均强度图。
一实施例中,基于待处理条纹图像与预设截断相位图公式确定待处理截断相位图;基于待处理条纹图像与预设调制度图公式确定待处理调制度图;基于待处理条纹图像与预设平均强度图公式确定待处理平均强度图。
示例性地,预设截断相位图公式可以为:
其中,为待处理截断相位图,Ik(x,y)为待处理条纹图像。由此,可以根据待处理条纹图像与该预设截断相位图公式,确定出待处理截断相位图。
进一步地,预设调制图公式可以为:
其中,(x,y)为像素点在待处理图像中的坐标,Ik(x,y)为待处理条纹图像,I″(x,y)为待处理调制度图。因此,根据条纹图像的计算公式、预设截断相位图公式,可以确定预设调制图公式。进而可以根据待处理条纹图像与该预设调制图公式,可以确定出待处理调制度图。
进一步地,平均强度图公式可以为:
其中,Ik(x,y)为待处理条纹图像。因此,根据条纹图像的计算公式、预设截断相位图公式及预设调制图公式,可以确定预设平均强度图公式。进而可以根据待处理条纹图像与该预设平均强度图公式,可以确定出待处理平均强度图。
S130,对待处理调制度图和待处理平均强度图分别进行归一化处理,以获得调制度图、平均强度图。
本实施例中,可以对待处理调制度图和待处理平均强度图的灰度值分别进行归一化处理,从而使得调制度图和平均强度图的灰度值在预设范围内。可以理解,调制度图和平均强度图进行帧内归一化处理的方式相同,在此将两者进行归一化处理的方式统一进行说明。
一实施例中,归一化处理包括:首先,对待归一化处理图像内所有像素的灰度值进行降序排序,待归一化处理图像为一帧待处理调制度图或一帧待处理平均强度图。
其次,基于预设阈值,在待归一化处理图像所有像素的灰度值的降序排序中,选取一像素的灰度值设为预设灰度值。其中,预设阈值为T,可以设预设阈值为0.01,进一步地,将从灰度值的降序排序中,取一灰度值作为预设灰度值MAX。其中,
MAX=TN+1
T为预设阈值,N为一帧待归一化处理图像内的像素总数。即将降序序列中第(T×像素总数+1)个像素的值作为预设灰度值。
最后,根据预设灰度值与预设归一化公式对所有像素的灰度值进行归一化处理,归一化处理后的待处理调制度图为调制度图,归一化处理后的待处理平均强度图为平均强度图。
示例性地,预设归一化公式可以为:
I(x,y)为像素坐标(x,y)处所述像素的灰度值,MAX为预设灰度值。因此,对于待归一化处理图像中灰度值大于255的像素点,可以将灰度值调整为255,对于灰度值小于255的像素点,均按预设灰度值进行调整。由此,可以使得归一化处理后的图像内各像素点的灰度值均在0-255的范围内。
S140,对待处理截断相位图进行数据增强处理,以获得截断相位图。
本实施例中,由于条纹图像的计算公式为:
In(x,y)=I′(x,y)+Δan(x,y)+I″(x,y)cos[Φ(x,y)-δn]
其中,n=1,2,3,…,N,In为条纹图像,I′(x,y)为平均强度图,I″(x,y)为调制度图,Δan为随机噪声,δn为相移,δn=2π(n-1)/N。
因此,根据上述条纹图像的计算公式,及对不同光照条件下截断相位图的差异进行分析之后,确定出可以按一定方式调整截断相位图的噪声,从而模拟不同光照条件。根据条纹图像的计算公式、不同光照下截断相位图的差异及成像原理,可以确定截断相位图的噪声为:
其中,I″(x,y)为调制度图,δn为相移,N为截断相位图中的像素总数,为截断相位图噪声,Δan为随机噪声,/>为移动的相位,(x,y)为像素点在图像中的坐标。
因此,可以基于预设数据增强公式、调制度图及预设噪声,对待处理截断相位图进行数据增强处理;其中,所述预设数据增强公式为:
(x,y)为像素点在图像中的坐标,为截断相位图,N为所述待处理截断相位图中的像素总数,I”(x,y)为调制度图,Δa′n为预设噪声。预设噪声可以模拟不同的光照条件,通过对截断相位图的预设噪声进行调整,从而可以模拟出不同光照条件下的截断相位图。其中,预设噪声可以为高斯白噪声。
本实施例中,通过数据增强处理,可以使得不同光照条件下获取的图像在经数据增强后,图像的整体亮度保持一致或保持在一定范围内。
可以理解的是,S130和S140不分先后顺序,可以是S130在先S140在后执行,或者S140在先S130在后执行,还可以是同时执行。
S150,将调制度图、平均强度图、截断相位图进行合成,以得到合成图像。
本实施例中,将调制度图、平均强度图、截断相位图进行合成,从而可以得到三通道PMI图,即合成图像。示例性地,每个图像原本为1024x1024x1的图像,合成图像为1024x1024x3的图像,合成图像相当于一个RGB图像。可以理解,对图像进行合成的方式可以参考现有技术,在此不进行赘述。
S150,基于预先训练好的图像检测模型对合成图像进行检测,以获得真值模板,真值模板为对待处理截断相位图中像素点的分类结果。
本实施例中,通过预先训练好的图像检测模型对合成图像进行检测,从而可以获取对合成图像的检测结果,检测结果中包括了待处理截断相位图中各像素点类型的分类结果,所有像素点的分类结果构成真值模板。
一实施例中,预先训练好的图像检测模型对合成图像进行检测的过程包括:将合成图像输入预先训练好的图像检测模型进行时间相位展开,以获得连续相位图;基于预先训练好的图像检测模型与待处理条纹图像的条纹图案参数对连续相位图进行计算得到深度图;基于预先训练好的图像检测模型与预设分类公式确定深度图的真值模板。
本实施例中,可以采用时间相位展开方法对所输入的合成图像进行相位展开,以获得连续相位图。通过待处理条纹图像采集时设备、场景等参数对连续相位图的各像素点进行计算,从而可以确定出各像素点的深度值,所有像素点构成图像,即深度图。其中,时间相位展开法与深度值计算方法均可以参考现有技术。
本实施例中,预先训练好的图像检测模型会根据预设分类公式和深度图中各像素点的深度值对各像素点进行分类,由此,将各像素点分别可靠点、不可靠点及背景点。
示例性地,预设分类公式可以为:
其中,mask=2表示像素为可靠点,mask=1表示像素为不可靠点,mask=0表示像素为背景点,depth为所述深度图的深度值,modu为所述调制度图的调制度值,mask为真值模板。需要说明的是,截断相位图、调制度图、平均强度图、合成图像、深度图等均是对由条纹图像计算而来,因此,各图像中的像素点相互对应,像素点的位置坐标也对应。
由此,在获取真值模板之后,可以确定出截断相位图中各像素点是否为不可靠点,从而不对不可靠点进行处理,由此,使得根据真值模板所确定的三维面型信息更准确。
本实施例中,还可以对深度图进行滤波、深度值异常检测与剔除、局部区域深度值变化异常检测等处理,由此,可以将深度图中的不可靠点进行有效剔除,保留可靠点。对深度图进行滤波、深度值异常检测与剔除、局部区域深度值变化异常检测等处理可以参考现有技术,在此不进行赘述。
本申请实施例中,通过对待处理调制度图和待处理平均强度图分别进行归一化处理,可以使得待处理调制度图和待处理平均强度图的图像参数调整至一定的范围内,由此可以避免因待处理图像为不同配置的设备所采集而导致图像无法准确检测的问题。对所述待处理截断相位图进行数据增强处理,可以将截断相位图模拟为不同光照条件下的图像,由此避免因不同光照条件下采集的图像导致图像无法准确检测检测的问题。再将通过归一化处理和数据增强处理的图像进行合成,并对合成后的图像的各像素点进行检测,有效地确定出截断相位图中各像素点的类型。由此,可以使得不同使用场景下所采集的图像也能通过预先训练好的图像检测模型进行检测,避免再对图像检测模型进行训练,或无需分别使用与采集图像时环境对应的模型进行检测。
一实施例中,基于预处理后的图像作为训练数据集对预先构建的图像检测模型进行训练,以获得所述预先训练好的图像检测模型。
本实施例中,预先构建的图像检测模型为深度神经网络模型中,可以进行图像语义分割的模型,具体的图像检测模型及构建方法可以参考现有技术,在此不进行赘述。
本实施例中,在构建好的图像检测模型之后,可以使用预处理后的图像数据集中的图像对图像检测模型进行训练,获得模型输出的真值模板。其中,预处理后的图像数据集为经归一化处理后的平均强度图、调制度图以及经数据增强后的截断相位图的合成图像。
本实施例中,可以通过对训练数据集中各图像对应的条纹图像进行时间相位展开,从而获得连续相位图,再根据连续相位图与采集图像数据时的设备、场景等参数,计算连续相位图中各像素点的深度值,通过预设分类公式比对各像素点的深度值,由此,可以获得训练集各图像的真值模板。
本实施例中,通过比对模型输出的真值模板与通过计算获得的训练集各图像的真值模板,在相似度达到预设值时,确定图像检测模型训练完成。
请参阅图2,图2为本申请一实施例提供的一种三维成像方法的流程图,该三维成像方法包括以下步骤:
S210,获取待处理条纹图像,待处理条纹图像为物体表面投影有条纹图案的图像。
S220,基于待处理条纹图像,确定与待处理条纹图像对应的待处理截断相位图、待处理调制度图、待处理平均强度图。
S230,对待处理调制度图和待处理平均强度图分别进行归一化处理,以获得调制度图、平均强度图。
S240,对待处理截断相位图进行数据增强处理,以获得截断相位图。
S250,将调制度图、平均强度图、截断相位图进行合成,以得到合成图像。
S260,基于预先训练好的图像检测模型对合成图像进行检测,以获得真值模板,真值模板为对待处理截断相位图中像素点的分类结果。
本实施例中,真值模板可以是通过上述图像检测方法获取。
S270,基于待处理截断相位图与真值模板,确定连续相位图。
本实施例中,基于真值模板,可以确定出待处理截断相位图中的不可靠点,由此,在进行时间相位展开时,可以避免对不可靠点的展开,进而可以提高三维成像计算物体面型信息的准确性。
S280,基于待处理条纹图像的条纹图案参数,采集待处理条纹图像的采集参数,及连续相位图,确定物体的三维面型信息。
本实施例中,通过待处理条纹图像的条纹图案参数,采集待处理条纹图像的采集参数,如采集装置的分辨率等,以及连续相位图,计算出物体的三维面型信息。具体的计算方法可以参考现有技术,在此不进行赘述。
上述实施例提供的方法可以实现为一种计算机可读指令的形式,计算机可读指令可以在如图3所示的电子设备上运行。
本申请实施例还提供的一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令,该处理器执行该程序时实现上述实施例提供的方法。
图3为根据本申请的一个实施例的电子设备的内部结构示意图,电子设备可以为服务器。请参阅图3,该电子设备包括通过系统总线连接的处理器、非易失性存储介质、内存储器、输入装置、显示屏和网络接口。其中,该电子设备的非易失性存储介质可存储操作系统和计算机可读指令,该计算机可读指令被执行时,可使得处理器执行本申请上述实施例提供的方法,该方法的具体实现过程可参考图1的具体内容,在此不再赘述。该电子设备的处理器用于提供计算和控制能力,支撑整个电子设备的运行。该内存储器中可储存有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行上述实施例提供的方法。电子设备的输入装置用于各个参数的输入,电子设备的显示屏用于进行显示,电子设备的网络接口用于进行网络通信。本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
基于同一发明构思,本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序在被运行时执行上述实施例中提供的方法。
该存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种图像检测方法,其特征在于,包括:
获取待处理条纹图像,所述待处理条纹图像为物体表面投影有条纹图案的图像;
基于所述待处理条纹图像,确定与所述待处理条纹图像对应的待处理截断相位图、待处理调制度图、待处理平均强度图;
对所述待处理调制度图和所述待处理平均强度图分别进行归一化处理,以获得调制度图、平均强度图;
对所述待处理截断相位图进行数据增强处理,以获得截断相位图;
将所述调制度图、所述平均强度图、所述截断相位图进行合成,以得到合成图像;
基于预先训练好的图像检测模型对所述合成图像进行检测,以获得真值模板,所述真值模板为对所述待处理截断相位图中像素点的分类结果;
所述对所述待处理截断相位图进行数据增强处理,包括:
基于预设数据增强公式、所述调制度图及预设噪声,对所述待处理截断相位图进行数据增强处理;其中,所述预设数据增强公式为:
N为所述待处理截断相位图中的像素总数,(x,y)为像素坐标,为所述截断相位图,I”(x,y)为所述调制度图,Δa′ n为预设噪声;/>为待处理截断相位图,δn为相移,δn=2π(n-1)/N,n为1至N的正整数,/>为移动的相位。
2.根据权利要求1所述的方法,其特征在于,所述归一化处理,包括:
对待归一化处理图像内所有像素的灰度值进行降序排序,所述待归一化处理图像为所述待处理调制度图或所述待处理平均强度图;
基于预设阈值,在所有所述像素的灰度值的降序排序中选取一所述像素的灰度值设为预设灰度值;
根据所述预设灰度值与预设归一化公式对所有所述像素的灰度值进行归一化处理,归一化处理后的所述待处理调制度图为所述调制度图,归一化处理后的所述待处理平均强度图为所述平均强度图。
3.根据权利要求2所述的方法,其特征在于,所述预设归一化公式为:
其中,I(x,y)为像素坐标(x,y)处所述像素的灰度值,MAX为预设灰度值。
4.根据权利要求1所述的方法,其特征在于,所述基于所述待处理条纹图像,确定与所述待处理条纹图像对应的待处理截断相位图、待处理调制度图、待处理平均强度图,包括:
基于所述待处理条纹图像与预设截断相位图公式确定所述待处理截断相位图;
基于所述待处理条纹图像与预设调制度图公式确定所述待处理调制度图;
基于所述待处理条纹图像与预设平均强度图公式确定所述待处理平均强度图。
5.根据权利要求1所述的方法,其特征在于,所述基于预先训练好的图像检测模型对所述合成图像进行检测,以获得真值模板,包括:
将所述合成图像输入所述预先训练好的图像检测模型进行时间相位展开,以获得连续相位图;
基于所述预先训练好的图像检测模型与所述待处理条纹图像的条纹图案参数对所述连续相位图进行计算得到深度图;
基于所述预先训练好的图像检测模型与预设分类公式确定所述深度图的真值模板。
6.根据权利要求5所述的方法,其特征在于,所述真值模板包括可靠点、不可靠点及背景点,所述预设分类公式为:
其中,mask=2表示像素为可靠点,mask=1表示像素为不可靠点,mask=0表示像素为背景点,depth为所述深度图的深度值,modu为所述调制度图的调制度值,mask为真值模板。
7.一种三维成像方法,其特征在于,包括:
获取待处理条纹图像,所述待处理条纹图像为物体表面投影有条纹图案的图像;
基于所述待处理条纹图像,确定与所述待处理条纹图像对应的待处理截断相位图、待处理调制度图、待处理平均强度图;
对所述待处理调制度图和所述待处理平均强度图分别进行归一化处理,以获得调制度图、平均强度图;
对所述待处理截断相位图进行数据增强处理,以获得截断相位图;
将所述调制度图、所述平均强度图、所述截断相位图进行合成,以得到合成图像;
基于预先训练好的图像检测模型对所述合成图像进行检测,以获得真值模板,所述真值模板为对所述截断相位图中像素点的分类结果;
基于所述待处理截断相位图与所述真值模板,确定连续相位图;
基于所述待处理条纹图像的条纹图案参数,采集所述待处理条纹图像的采集参数,及所述连续相位图,确定所述物体的三维面型信息;
所述对所述待处理截断相位图进行数据增强处理,包括:
基于预设数据增强公式、所述调制度图及预设噪声,对所述待处理截断相位图进行数据增强处理;其中,所述预设数据增强公式为:
N为所述待处理截断相位图中的像素总数,(x,y)为像素坐标,为所述截断相位图,I”(x,y)为所述调制度图,Δa′ n为预设噪声;/>为待处理截断相位图,δn为相移,δn=2π(n-1)/N,n为1至N的正整数,/>为移动的相位。
8.一种三维成像设备,其特征在于,包括:
投影装置,用于投影条纹图案;
采集装置,用于采集表面投影有所述条纹图案的物体的图像;
处理装置,用于执行如权利要求7所述的三维成像方法。
9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210403794.0A CN114694137B (zh) | 2022-04-18 | 2022-04-18 | 图像检测方法,三维成像方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210403794.0A CN114694137B (zh) | 2022-04-18 | 2022-04-18 | 图像检测方法,三维成像方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114694137A CN114694137A (zh) | 2022-07-01 |
CN114694137B true CN114694137B (zh) | 2023-10-03 |
Family
ID=82143604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210403794.0A Active CN114694137B (zh) | 2022-04-18 | 2022-04-18 | 图像检测方法,三维成像方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114694137B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117333415A (zh) * | 2023-10-25 | 2024-01-02 | 四川大学 | 一种基于学习可靠度的截断相位图展开方法及设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4247815A (en) * | 1979-05-22 | 1981-01-27 | The United States Of America As Represented By The Secretary Of The Army | Method and apparatus for physiologic facsimile imaging of biologic targets based on complex permittivity measurements using remote microwave interrogation |
US6930704B1 (en) * | 1999-04-07 | 2005-08-16 | Minolta Co., Ltd. | Camera for getting information upon three-dimensional shape |
CN109187583A (zh) * | 2018-07-28 | 2019-01-11 | 西安交通大学 | 一种汽车车身缺陷增强方法及装置 |
CN110500957A (zh) * | 2019-09-10 | 2019-11-26 | 中国科学院苏州纳米技术与纳米仿生研究所 | 一种主动三维成像方法、装置、设备以及存储介质 |
CN111006612A (zh) * | 2019-12-20 | 2020-04-14 | 四川大学 | 三维成像方法、装置、计算机设备和可读存储介质 |
CN111693549A (zh) * | 2020-05-14 | 2020-09-22 | 西安电子科技大学 | 一种手机盖板玻璃缺陷检测与分类方法 |
CN111998800A (zh) * | 2020-08-20 | 2020-11-27 | 四川大学 | 一种基于散斑嵌入条纹的三维面形测量方法及系统 |
CN113237438A (zh) * | 2021-06-02 | 2021-08-10 | 苏州大学 | 一种共光轴结构的类/镜面形貌超分辨测量方法及其装置 |
-
2022
- 2022-04-18 CN CN202210403794.0A patent/CN114694137B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4247815A (en) * | 1979-05-22 | 1981-01-27 | The United States Of America As Represented By The Secretary Of The Army | Method and apparatus for physiologic facsimile imaging of biologic targets based on complex permittivity measurements using remote microwave interrogation |
US6930704B1 (en) * | 1999-04-07 | 2005-08-16 | Minolta Co., Ltd. | Camera for getting information upon three-dimensional shape |
CN109187583A (zh) * | 2018-07-28 | 2019-01-11 | 西安交通大学 | 一种汽车车身缺陷增强方法及装置 |
CN110500957A (zh) * | 2019-09-10 | 2019-11-26 | 中国科学院苏州纳米技术与纳米仿生研究所 | 一种主动三维成像方法、装置、设备以及存储介质 |
CN111006612A (zh) * | 2019-12-20 | 2020-04-14 | 四川大学 | 三维成像方法、装置、计算机设备和可读存储介质 |
CN111693549A (zh) * | 2020-05-14 | 2020-09-22 | 西安电子科技大学 | 一种手机盖板玻璃缺陷检测与分类方法 |
CN111998800A (zh) * | 2020-08-20 | 2020-11-27 | 四川大学 | 一种基于散斑嵌入条纹的三维面形测量方法及系统 |
CN113237438A (zh) * | 2021-06-02 | 2021-08-10 | 苏州大学 | 一种共光轴结构的类/镜面形貌超分辨测量方法及其装置 |
Non-Patent Citations (7)
Title |
---|
Haixia Wang 等.Valid point detection in fringe projection profilometry.《OPTICS EXPRESS》.2015,第23卷(第6期),7535-7549. * |
Songlin Bai 等.Deep absolute phase recovery from single-frequency phase map for handheld 3D measurement.《Optics Communications》.2022,1-13. * |
Xiaolong Luo 等.Learning-based invalid points detection for fringe projection profilometry.《Eighth Symposium on Novel Photoelectronic Detection Technology and Applications》.2022,12169CG-1-12169CG-6,正文第2节,摘要,图1. * |
Yi Ding 等.Simplified fringe order correction for absolute phase maps recovered with multiple-spatial-frequency fringe projections.《Measurement Science and Technology》.2016,1-9. * |
张建民 等.快速数字条纹投影三维测量系统的开发.《现代电子技术》.2018,第41卷(第15期),119-13,128. * |
肖昆.基于深度学习的单频条纹结构光相位图处理方法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2022,(第04期),I138-1227. * |
边心田 等.基于条纹投影的三维坐标测量方法.《光学学报》.2010,第30卷(第2期),416-420. * |
Also Published As
Publication number | Publication date |
---|---|
CN114694137A (zh) | 2022-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11720798B2 (en) | Foreground-background-aware atrous multiscale network for disparity estimation | |
US11373332B2 (en) | Point-based object localization from images | |
US10373380B2 (en) | 3-dimensional scene analysis for augmented reality operations | |
US9008439B2 (en) | Image processing method and system | |
JP4353246B2 (ja) | 法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法 | |
US9665803B2 (en) | Image processing apparatus and image processing method | |
US11651581B2 (en) | System and method for correspondence map determination | |
US11720745B2 (en) | Detecting occlusion of digital ink | |
CN108010059B (zh) | 电子防抖算法的性能分析方法及装置 | |
US20160245641A1 (en) | Projection transformations for depth estimation | |
CN114694137B (zh) | 图像检测方法,三维成像方法及设备 | |
KR102665603B1 (ko) | 스테레오 매칭을 위한 하드웨어 디스패러티 평가 | |
US11216961B2 (en) | Aligning digital images by selectively applying pixel-adjusted-gyroscope alignment and feature-based alignment models | |
CN105574844B (zh) | 辐射响应函数估计方法和装置 | |
CN113902932A (zh) | 特征提取方法、视觉定位方法及装置、介质和电子设备 | |
CN111899239A (zh) | 图像处理方法和装置 | |
CN114463685B (zh) | 行为识别方法、装置、电子设备及存储介质 | |
CN116017129A (zh) | 一种补光灯角度调整方法、装置、系统、设备和介质 | |
CN114445458B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
Yan et al. | Automated failure detection in computer vision systems | |
Nadar et al. | Sensor simulation for monocular depth estimation using deep neural networks | |
US20240046434A1 (en) | Image processing method and image processing apparatus performing the same | |
JP7086761B2 (ja) | 画像処理装置、情報処理方法及びプログラム | |
Mehltretter et al. | Illumination invariant dense image matching based on sparse features | |
Fan | Digital color reconstruction of a historical film format |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |