CN113340235A - 基于动态投影的投影系统及相位移动图案生成方法 - Google Patents

基于动态投影的投影系统及相位移动图案生成方法 Download PDF

Info

Publication number
CN113340235A
CN113340235A CN202110460297.XA CN202110460297A CN113340235A CN 113340235 A CN113340235 A CN 113340235A CN 202110460297 A CN202110460297 A CN 202110460297A CN 113340235 A CN113340235 A CN 113340235A
Authority
CN
China
Prior art keywords
projection
overexposure
underexposure
pattern
projection pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110460297.XA
Other languages
English (en)
Other versions
CN113340235B (zh
Inventor
徐静
刘大鹏
姜哲
王宏宇
卢大伟
蒋超
许博
梁志鹏
吴琦
谯成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Chengdu Aircraft Industrial Group Co Ltd
Original Assignee
Tsinghua University
Chengdu Aircraft Industrial Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Chengdu Aircraft Industrial Group Co Ltd filed Critical Tsinghua University
Priority to CN202110460297.XA priority Critical patent/CN113340235B/zh
Publication of CN113340235A publication Critical patent/CN113340235A/zh
Application granted granted Critical
Publication of CN113340235B publication Critical patent/CN113340235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor

Abstract

一种基于动态投影的投影系统,包括多光强投影图案与采集单元、区域引导动态投影图案生成单元、局部过曝欠曝强度修正单元和动态投影图案综合校验单元,并基于该系统提出一种基于动态投影的相位移动图案生成方法,包括以下步骤:多光强投影图案的投影与采集‑区域引导动态投影图案的生成‑动态投影采集图像局部过曝欠曝强度修正‑动态投影图案综合校验,基于多级差光强图像,分析坐标邻域的过曝欠曝状态,生成逐像素的过曝欠曝灰度级,由此提高或降低生成图案所有相位移动的光强属性,并对动态投影采集图案中仍存在的过曝欠曝点进行局部强度修正,能较好地解决被测对象在相机视野下的过曝欠曝现象带来的光强信息失真问题。

Description

基于动态投影的投影系统及相位移动图案生成方法
技术领域
本发明涉及动态投影领域,特别涉及一种基于动态投影的投影系统及相位移动图案生成方法。
背景技术
结构光三维感知是一种主动视觉三维感知方法。该技术广泛应用于逆向工程、生物医学、航空检测等领域。在实际工业测量环境中,对于铆钉或螺钉等紧固件或连接件的测量中,可能存在钢、铝、钛、复合材料等多种不同材质。金属材质和复合材质的反射率分布特性较为复杂,其中较高反射率物体容易造成采集设备的成像结果光强信息过高而失真,即过曝现象。过曝现象产生的过曝信息无法获取其编码信息,因此造成结构光解码失准而感知结果产生误差。当被测对象反射率较低时,容易造成拒不光强信息较弱,导致相位信息无法有效解码。
对于不同材质测量对象,其表面反射率分布特性各异,单一特征的结构光投影图案无法满足多样化的测量对象。降低采集图案的强度可以有效降低过曝现象,由于采集图像整体强度下降,相应的三维测量精度随之下降。当被测对象在相机视野下同时存在过曝和欠曝现象,光强信息失真问题无法通过设备光圈单向调节光强特征解决。因此需要针对被测目标反射特性设计投影强度动态自适应的投影图案。
发明内容
本发明的目的在于:提供了一种基于动态投影的投影系统,并基于该系统设计出了一种基于动态投影的相位移动图案生成方法,基于多级差光强图像,分析坐标邻域的过曝欠曝状态,生成逐像素的过曝欠曝灰度级,解决了上述问题。
本发明采用的技术方案如下:
一种基于动态投影的投影系统,包括多光强投影图案与采集单元、区域引导动态投影图案生成单元、局部过曝欠曝强度修正单元和动态投影图案综合校验单元,所述多光强投影图案投影与采集单元包括多光强投影图案设计模块、结构光系统设计与标定模块和结构光设备硬触发投影采集模块,所述多光强投影图案设计模块生成多级差光强特性的单值灰度图像,所述结构光系统设计与标定模块构建结构光三维感知系统,所述结构光设备硬触发投影采集模块用于快速投影和采集预设投影图案;
所述区域引导动态投影图案生成单元包括多级差光强图像邻域特性分析模块和区域光强修正模块,所述多级差光强图像邻域特性分析模块用于分析采集多级光强图像坐标邻域的过曝欠曝状态,并基于采集图案生成逐像素的过曝欠曝灰度级,所述区域光强修正模块用于修正投影图案在过曝欠曝区域的强度特性;
所述局部过曝欠曝强度修正单元包括过曝欠曝点邻域序列提取模块和区域样条插值计算模块,所述过曝欠曝点邻域序列提取模块用于在相机图像上提取过曝欠曝点在同一行及同一列的未过曝点,并将相机图像坐标生成相应的自变量序列,未过曝欠曝点解码的投影图案坐标生成相应的因变量序列;所述区域样条插值计算模块用于估计动态投影采集图案中的过曝欠曝点的投影仪坐标信息,构建过曝欠曝点的相机与投影仪像素间响应函数,获得未过曝点的投影仪坐标系中的坐标值;
所述动态投影图案综合校验单元包括相位移动线性校验模块、反射率光度一致性校验模块和切向畸变校验模块,所述相位移动线性校验模块用于校验动态投影系统相位移动解码的线性特征,所述反射率光度一致性校验模块用于校验非均匀反射率被测目标的光度一致性特征,分析非均匀反射率被测目标在相机坐标系的光度一致性特性,所述切向畸变校验模块用于校验动态投影图案的切向畸变特性,基于标准块和标准板校验相机坐标系和投影仪坐标系的切向畸变特性。
为了更好地实现本方案,进一步地,所述结构光系统设计与标定模块基于由投影仪和相机构成的结构光系统,采用圆点特征伪相机标定法获取系统内部参数和外部参数。
为了更好地实现本方案,进一步地,所述区域光强修正模块修正投影图案在过曝欠曝区域的强度特性的方法,基于逐像素的过曝欠曝信息,提高或降低生成图案所有相位移动的光强属性。
为了更好地实现本方案,进一步地,所述区域样条插值计算模块构建过曝欠曝点的相机与投影仪像素间响应函数后,采用样条插值对自变量与因变量序列进行插值拟合,获得未过曝点的投影仪坐标系中的坐标值。
为了更好地实现本方案,进一步地,所述相位移动线性校验模块是基于白平衡板的相位解码计算投影仪坐标与相位的线性特性,校验动态投影系统相位移动解码的线性特征。
一种基于动态投影的相位移动图案生成方法,基于上述任一项投影系统,包括以下步骤:
步骤S1,多光强投影图案的投影与采集:所述多光强投影图案为多级差光强特性的单值灰度图像,在纯黑图像和纯白图像间定义N级光强,生成N级光强投影图案P(N),采用圆点特征伪相机法获取投影仪与相机关于世界坐标系点的对应关系,依据张正友标定法计算系统内部参数和外部参数;
步骤S2,区域引导动态投影图案的生成:分析采集的多级差光强特性的图案坐标中像素的过曝欠曝状态,生成逐像素的过曝欠曝信息,设定全局过曝阈值θover和欠曝阈值θunder,计算多光强投影图案的多级光强中的过曝欠曝区域,计算逐像素的非过曝最大灰度级Gray(x,y)max和非欠曝最小灰度级Gray(x,y)min:
Figure BDA0003042002230000031
Figure BDA0003042002230000032
并计算非修正的投影图案在过曝欠曝区域的强度特性:
Figure BDA0003042002230000033
其中I表示修正的投影图案光强信息,m为相位移动步长,n表示当前步长,生成m步相位移动动态投影图案;
步骤S3,动态投影采集图像局部过曝欠曝强度修正:通过相位解码算法和未过曝欠曝点,计算过曝欠曝点在投影仪坐标系中的坐标值,当采集的多光强投影图案中存在过曝欠曝现象时,在相位解码算法中加入图像强度得到解码相位校正;
步骤S4,动态投影图案综合校验:校验相位信息在相机坐标系下的线性特征,设定强度不均匀的动态投影相位移动图案,将投影图案投射到白平衡板并由相机采集,基于相位移动解码方法计算动态投影图案的相位信息;基于线性拟合计算方差,当方差小于预设阈值σL时,表示投影仪动态投影图案的相位移动线性特性较好,可以用于结构光三维感知编码图案;
校验全局光度一致性特性,基于金属局部磨砂设置局部反射率不均匀平板,将投影图案投射到金属板并由相机采集,基于相位移动解码方法计算动态投影图案的相位信息,计算区域光度信息,当全局光度方差小于预设阈值σθ时,表示投影仪动态投影图案的反射率光度一致性特性较好,可以用于结构光三维感知编码图案;
校验动态投影图案的切向畸变特性,将标准块随机放置在投影设备与采集设备的交叠区域,投影图案投射到标准块并由相机采集,基于相位移动解码方法计算动态投影图案的相位信息,计算标准块的尺寸特征,当横向精度和纵向精度小于预设阈值μθ时,表示投影仪动态投影图案的切向畸变特性较好,可以用于结构光三维感知编码图案。
为了更好地实现本方案,进一步地,所述步骤S3中计算过曝欠曝点在投影仪坐标系中的坐标值的方法具体为:基于过曝欠曝点邻域里的未过曝欠曝点(u,v)的强度信息,通过相移法解码获得未过曝欠曝点的相机与投影仪像素坐标响应函数F(u,v),并确定出对应的投影仪像素坐标(i,j)。
为了更好地实现本方案,进一步地,步骤S3中计算过曝欠曝点在投影仪坐标系中的坐标值的方法具体为:针对每个过曝欠曝点的横纵坐标,分别提取相机图像上与其在同一行及同一列的未过曝欠曝点,并将相机图像坐标生成相应的自变量序列,由未过曝欠曝点解码的投影图案坐标生成相应的因变量序列;对已有的未过曝欠曝点的像素坐标进行内插值,并通过误差补偿估计出过曝欠曝点的对应的投影区域,得到采集图像中每一个过曝欠曝点对应的投影仪坐标系坐标值;根据过曝区域大小,估计过插值误差ae个像素,将估计的投影像素坐标扩展为以其为中心的,边长为2ae+1的正方形估计域并将估计的过曝欠曝点坐标扩展为正方形的过曝区域。
本发明所述的一种基于动态投影的投影系统,并基于该系统设计出了一种基于动态投影的相位移动图案生成方法,基于多级差光强的图像,分析坐标邻域的过曝欠曝状态,生成逐像素的过曝欠曝灰度级,由此提高或降低生成图案所有相位移动的光强属性,生成用于动态投影的相位移动图案。
另外,还会针对动态投影采集图案中仍存在的过曝欠曝点进行局部强度修正,通过提取过曝欠曝点邻域序列,在采集到的图像上提取过曝欠曝点在同一行及同一列的未过曝点,并将相机图像坐标生成相应的自变量序列,未过曝欠曝点解码出的投影图案坐标生成相应的因变量序列,构建过曝欠曝点的相机与投影仪像素间的响应函数,采用样条插值对自变量与因变量序列进行插值拟合方法,获得未过曝点的投影仪坐标系中的坐标值。最后校验动态投影图案在结构光深度感知中的相位移动线性特性、反射率光度一致性特性和切向畸变特性。本方案可行性高,能适用于各种不同材质测量对象在相机视野下的过曝欠曝区域的修复。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1.本发明所述的一种基于动态投影的投影系统,并基于该系统设计出了一种基于动态投影的相位移动图案生成方法,基于多级差光强图像,分析坐标邻域的过曝欠曝状态,生成逐像素的过曝欠曝灰度级,由此提高或降低生成图案所有相位移动的光强属性,并对动态投影采集图案中仍存在的过曝欠曝点进行局部强度修正,能较好地解决被测对象在相机视野下的过曝欠曝现象带来的光强信息失真问题;
2.本发明所述的一种基于动态投影的投影系统,并基于该系统设计出了一种基于动态投影的相位移动图案生成方法,基于多级差光强图像,分析坐标邻域的过曝欠曝状态,生成逐像素的过曝欠曝灰度级,由此提高或降低生成图案所有相位移动的光强属性,并对动态投影采集图案中仍存在的过曝欠曝点进行局部强度修正,本系统及方法适用于各种不同材质的测量对象。
附图说明
为了更清楚地说明本技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图,其中:
图1是本发明的系统框架图。
具体实施方式
为了更清楚地说明本发明实施例的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,应当理解,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例,因此不应被看作是对保护范围的限定。基于本发明中的实施例,本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“设置”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;也可以是直接相连,也可以是通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
下面结合图1对本发明作详细说明。
实施例1
一种基于动态投影的投影系统,包括多光强投影图案与采集单元、区域引导动态投影图案生成单元、局部过曝欠曝强度修正单元和动态投影图案综合校验单元,所述多光强投影图案投影与采集单元包括多光强投影图案设计模块、结构光系统设计与标定模块和结构光设备硬触发投影采集模块,所述多光强投影图案设计模块生成多级差光强特性的单值灰度图像,所述结构光系统设计与标定模块构建结构光三维感知系统,所述结构光设备硬触发投影采集模块用于快速投影和采集预设投影图案;
所述区域引导动态投影图案生成单元包括多级差光强图像邻域特性分析模块和区域光强修正模块,所述多级差光强图像邻域特性分析模块用于分析采集多级光强图像坐标邻域的过曝欠曝状态,并基于采集图案生成逐像素的过曝欠曝灰度级,所述区域光强修正模块用于修正投影图案在过曝欠曝区域的强度特性;
所述局部过曝欠曝强度修正单元包括过曝欠曝点邻域序列提取模块和区域样条插值计算模块,所述过曝欠曝点邻域序列提取模块用于在相机图像上提取过曝欠曝点在同一行及同一列的未过曝点,并将相机图像坐标生成相应的自变量序列,未过曝欠曝点解码的投影图案坐标生成相应的因变量序列;所述区域样条插值计算模块用于估计动态投影采集图案中的过曝欠曝点的投影仪坐标信息,构建过曝欠曝点的相机与投影仪像素间响应函数,获得未过曝点的投影仪坐标系中的坐标值;
所述动态投影图案综合校验单元包括相位移动线性校验模块、反射率光度一致性校验模块和切向畸变校验模块,所述相位移动线性校验模块用于校验动态投影系统相位移动解码的线性特征,所述反射率光度一致性校验模块用于校验非均匀反射率被测目标的光度一致性特征,分析非均匀反射率被测目标在相机坐标系的光度一致性特性,所述切向畸变校验模块用于校验动态投影图案的切向畸变特性,基于标准块和标准板校验相机坐标系和投影仪坐标系的切向畸变特性。
实施例2
本发明在上述实施例1的基础上,所述结构光系统设计与标定模块基于由投影仪和相机构成的结构光系统,采用圆点特征伪相机标定法获取系统内部参数和外部参数。
所述区域光强修正模块修正投影图案在过曝欠曝区域的强度特性的方法,基于逐像素的过曝欠曝信息,提高或降低生成图案所有相位移动的光强属性。
所述区域样条插值计算模块构建过曝欠曝点的相机与投影仪像素间响应函数后,采用样条插值对自变量与因变量序列进行插值拟合,获得未过曝点的投影仪坐标系中的坐标值。
所述相位移动线性校验模块是基于白平衡板的相位解码计算投影仪坐标与相位的线性特性,校验动态投影系统相位移动解码的线性特征。
实施例3
一种基于动态投影的相位移动图案生成方法,基于上述实施例1或2任一项所述的投影系统,包括以下步骤:
步骤S1,多光强投影图案的投影与采集:所述多光强投影图案为多级差光强特性的单值灰度图像,在纯黑图像和纯白图像间定义N级光强,生成N级光强投影图案P(N),采用圆点特征伪相机法获取投影仪与相机关于世界坐标系点的对应关系,依据张正友标定法计算系统内部参数和外部参数;
步骤S2,区域引导动态投影图案的生成:分析采集的多级差光强特性的图案坐标中像素的过曝欠曝状态,生成逐像素的过曝欠曝信息,设定全局过曝阈值θover和欠曝阈值θunder,计算多光强投影图案的多级光强中的过曝欠曝区域,计算逐像素的非过曝最大灰度级Gray(x,y)max和非欠曝最小灰度级Gray(x,y)min:
Figure BDA0003042002230000061
Figure BDA0003042002230000062
并计算非修正的投影图案在过曝欠曝区域的强度特性:
Figure BDA0003042002230000071
其中I表示修正的投影图案光强信息,m为相位移动步长,n表示当前步长,生成m步相位移动动态投影图案;
步骤S3,动态投影采集图像局部过曝欠曝强度修正:通过相位解码算法和未过曝欠曝点,计算过曝欠曝点在投影仪坐标系中的坐标值,当采集的多光强投影图案中存在过曝欠曝现象时,在相位解码算法中加入图像强度得到解码相位校正;
步骤S4,动态投影图案综合校验:校验相位信息在相机坐标系下的线性特征,设定强度不均匀的动态投影相位移动图案,将投影图案投射到白平衡板并由相机采集,基于相位移动解码方法计算动态投影图案的相位信息;基于线性拟合计算方差,当方差小于预设阈值σL时,表示投影仪动态投影图案的相位移动线性特性较好,可以用于结构光三维感知编码图案;
校验全局光度一致性特性,基于金属局部磨砂设置局部反射率不均匀平板,将投影图案投射到金属板并由相机采集,基于相位移动解码方法计算动态投影图案的相位信息,计算区域光度信息,当全局光度方差小于预设阈值σθ时,表示投影仪动态投影图案的反射率光度一致性特性较好,可以用于结构光三维感知编码图案;
校验动态投影图案的切向畸变特性,将标准块随机放置在投影设备与采集设备的交叠区域,投影图案投射到标准块并由相机采集,基于相位移动解码方法计算动态投影图案的相位信息,计算标准块的尺寸特征,当横向精度和纵向精度小于预设阈值μθ时,表示投影仪动态投影图案的切向畸变特性较好,可以用于结构光三维感知编码图案。
工作原理:本实施例所述的一种基于动态投影的投影系统,并基于该系统设计出了一种基于动态投影的相位移动图案生成方法,基于多级差光强的图像,分析坐标邻域的过曝欠曝状态,生成逐像素的过曝欠曝灰度级,由此提高或降低生成图案所有相位移动的光强属性,生成用于动态投影的相位移动图案。
另外,还会针对动态投影采集图案中仍存在的过曝欠曝点进行局部强度修正,通过提取过曝欠曝点邻域序列,在采集到的图像上提取过曝欠曝点在同一行及同一列的未过曝点,并将相机图像坐标生成相应的自变量序列,未过曝欠曝点解码出的投影图案坐标生成相应的因变量序列,构建过曝欠曝点的相机与投影仪像素间的响应函数,采用样条插值对自变量与因变量序列进行插值拟合方法,获得未过曝点的投影仪坐标系中的坐标值。最后校验动态投影图案在结构光深度感知中的相位移动线性特性、反射率光度一致性特性和切向畸变特性。本方案可行性高,能适用于各种不同材质测量对象在相机视野下的过曝欠曝区域的修复。
实施例4
本实施例在实施例3的基础上,所述步骤S3中计算过曝欠曝点在投影仪坐标系中的坐标值的方法具体为:基于过曝欠曝点邻域里的未过曝欠曝点(u,v)的强度信息,通过相移法解码获得未过曝欠曝点的相机与投影仪像素坐标响应函数F(u,v),并确定出对应的投影仪像素坐标(i,j)。
步骤S3中计算过曝欠曝点在投影仪坐标系中的坐标值的方法具体为:针对每个过曝欠曝点的横纵坐标,分别提取相机图像上与其在同一行及同一列的未过曝欠曝点,并将相机图像坐标生成相应的自变量序列,由未过曝欠曝点解码的投影图案坐标生成相应的因变量序列;对已有的未过曝欠曝点的像素坐标进行内插值,并通过误差补偿估计出过曝欠曝点的对应的投影区域,得到采集图像中每一个过曝欠曝点对应的投影仪坐标系坐标值;根据过曝区域大小,估计过插值误差ae个像素,将估计的投影像素坐标扩展为以其为中心的,边长为2ae+1的正方形估计域并将估计的过曝欠曝点坐标扩展为正方形的过曝区域。
工作原理:本实施例所述的一种基于动态投影的投影系统,并基于该系统设计出了一种基于动态投影的相位移动图案生成方法,基于多级差光强的图像,分析坐标邻域的过曝欠曝状态,生成逐像素的过曝欠曝灰度级,由此提高或降低生成图案所有相位移动的光强属性,生成用于动态投影的相位移动图案。
另外,还会针对动态投影采集图案中仍存在的过曝欠曝点进行局部强度修正,通过提取过曝欠曝点邻域序列,在采集到的图像上提取过曝欠曝点在同一行及同一列的未过曝点,并将相机图像坐标生成相应的自变量序列,未过曝欠曝点解码出的投影图案坐标生成相应的因变量序列,构建过曝欠曝点的相机与投影仪像素间的响应函数,采用样条插值对自变量与因变量序列进行插值拟合方法,获得未过曝点的投影仪坐标系中的坐标值。最后校验动态投影图案在结构光深度感知中的相位移动线性特性、反射率光度一致性特性和切向畸变特性。本方案可行性高,能适用于各种不同材质测量对象在相机视野下的过曝欠曝区域的修复。
本实施例的其他部分与上述实施例1相同,故不再赘述。
实施例5
一种基于动态投影的相位移动图案生成方法,包括以下步骤:
步骤S1,多光强投影图案投影与采集:多光强投影图案为多级差光强特性的单值灰度图像,在纯黑图像和纯白图像间定义N级光强,其中纯白图像色值为(255,255,255),纯黑图像色值为(0,0,0),生成N级光强投影图案P(N)。构建结构光三维感知系统,结构光系统由一个投影仪和一个相机构成,结构光系统中投影仪与相机水平放置,距离设定为10cm,竖直方向设备保持高度相等。待测圆形紧固件孔位目标距离结构光系统距离为40cm-50cm。采用圆点特征伪相机法获取投影仪与相机关于世界坐标系点的对应关系,依据张正友标定法计算系统内部参数和外部参数。结构光设备硬触发投影与采集模块,用于快速投影与采集预设投影图案。投影设备与采集设备间采用影硬触发之间连接;
步骤S2,区域引导动态投影图案的生成:分析采集多级差光强图像坐标邻域的过曝欠曝状态,基于采集图案生成逐像素的过曝欠曝信息。设定全局过曝阈值θover设定为240,欠曝阈值θunder设定为15,计算多光强投影图案的多级光强中的过曝欠曝区域,计算逐像素的非过曝最大灰度级Gray(x,y)max和非欠曝最小灰度级Gray(x,y)min:
Figure BDA0003042002230000091
Figure BDA0003042002230000092
并计算非修正的投影图案在过曝欠曝区域的强度特性:
Figure BDA0003042002230000093
其中I表示修正的投影图案光强信息,m为相位移动步长,n表示当前步长,生成m步相位移动动态投影图案;
步骤S3,动态投影采集图像局部过曝欠曝强度修正:当采集的动态投影相位移动图案中存在过曝欠曝现象时,在解码算法中加入图像强度即解码相位校正。通过相位解码算法和未过曝欠曝点,计算过曝欠曝点在投影仪坐标系中的坐标值,对于每个过曝欠曝点的横纵坐标,分别提取相机图像上与其在同一行及同一列的未过曝点,并将相机图像坐标生成相应的自变量序列,未过曝点解码的投影图案坐标生成相应的因变量序列。对已有的未过曝点的像素坐标进行内插值,并通过误差补偿估计出过曝欠曝点的大致对应的投影区域,得到采集图像中每一个过曝欠曝点对应的投影仪坐标系坐标值。根据过曝区域大小,估计过插值误差ae个像素,将估计的投影像素坐标扩展为以其为中心的,边长为2ae+1的正方形估计域并将估计的过曝欠曝点坐标扩展为正方形的过曝区域。
其中最大估计误差设为等同于过曝欠曝区域宽度的十分之一,并不超过7个像素值。当不同的过曝欠曝点的投影估计域发生重叠,选择最大的修正系数对进行修改。过曝区域存在较大、突变、阴影等情况,导致估算的投影像素坐标误差较大,无法通过一次校正实现整个过曝区域的测量,通过后续的动态投影迭代逐步减小过曝区域,降低误差。
步骤S4,动态投影图案综合校验:校验相位信息在相机坐标系下的线性特征,设定强度不均匀的动态投影相位移动图案,计算动态投影图案的相位信息,基于线性拟合计算方差,设定方差预设阈值σL为0.03,当线性曲率方差小于σL时,表示投影仪动态投影图案的相位移动线性特性较好。
校验全局光度一致性特性,基于金属局部磨砂设置局部反射率不均匀平板,计算相位移动投影图案的区域光度信息,设定全局光度方差预设阈值σθ为0.07,当全局光度方差小于σθ时,表示投影仪动态投影图案的反射率光度一致性特性较好。
校验动态投影图案的切向畸变特性,基于标准块计算动态投影三维感知的标准块尺寸特征,设定精度预设阈值μθ为0.15,当横向精度和纵向精度小于μθ时,表示投影仪动态投影图案的切向畸变特性较好。
以上所述,仅是本发明的较佳实施例,并非对本发明做任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化,均落入本发明的保护范围之内。

Claims (8)

1.一种基于动态投影的投影系统,包括多光强投影图案与采集单元、区域引导动态投影图案生成单元、局部过曝欠曝强度修正单元和动态投影图案综合校验单元,其特征在于:所述多光强投影图案投影与采集单元包括多光强投影图案设计模块、结构光系统设计与标定模块和结构光设备硬触发投影采集模块,所述多光强投影图案设计模块生成多级差光强特性的单值灰度图像,所述结构光系统设计与标定模块构建结构光三维感知系统,所述结构光设备硬触发投影采集模块用于快速投影和采集预设投影图案;
所述区域引导动态投影图案生成单元包括多级差光强图像邻域特性分析模块和区域光强修正模块,所述多级差光强图像邻域特性分析模块用于分析采集多级光强图像坐标邻域的过曝欠曝状态,并基于采集图案生成逐像素的过曝欠曝灰度级,所述区域光强修正模块用于修正投影图案在过曝欠曝区域的强度特性;
所述局部过曝欠曝强度修正单元包括过曝欠曝点邻域序列提取模块和区域样条插值计算模块,所述过曝欠曝点邻域序列提取模块用于在相机图像上提取过曝欠曝点在同一行及同一列的未过曝点,并将相机图像坐标生成相应的自变量序列,未过曝欠曝点解码的投影图案坐标生成相应的因变量序列;所述区域样条插值计算模块用于估计动态投影采集图案中的过曝欠曝点的投影仪坐标信息,构建过曝欠曝点的相机与投影仪像素间响应函数,获得未过曝点的投影仪坐标系中的坐标值;
所述动态投影图案综合校验单元包括相位移动线性校验模块、反射率光度一致性校验模块和切向畸变校验模块,所述相位移动线性校验模块用于校验动态投影系统相位移动解码的线性特征,所述反射率光度一致性校验模块用于校验非均匀反射率被测目标的光度一致性特征,分析非均匀反射率被测目标在相机坐标系的光度一致性特性,所述切向畸变校验模块用于校验动态投影图案的切向畸变特性,基于标准块和标准板校验相机坐标系和投影仪坐标系的切向畸变特性。
2.根据权利要求1所述的一种基于动态投影的投影系统,其特征在于:所述结构光系统设计与标定模块基于由投影仪和相机构成的结构光系统,采用圆点特征伪相机标定法获取系统内部参数和外部参数。
3.根据权利要求1所述的一种基于动态投影的投影系统,其特征在于:所述区域光强修正模块修正投影图案在过曝欠曝区域的强度特性的方法,基于逐像素的过曝欠曝信息,提高或降低生成图案所有相位移动的光强属性。
4.根据权利要求1所述的一种基于动态投影的投影系统,其特征在于:所述区域样条插值计算模块构建过曝欠曝点的相机与投影仪像素间响应函数后,采用样条插值对自变量与因变量序列进行插值拟合,获得未过曝点的投影仪坐标系中的坐标值。
5.根据权利要求1所述的一种基于动态投影的投影系统,其特征在于:所述相位移动线性校验模块是基于白平衡板的相位解码计算投影仪坐标与相位的线性特性,校验动态投影系统相位移动解码的线性特征。
6.一种基于动态投影的相位移动图案生成方法,基于权利要求1-5中任一项所述的投影系统,其特征在于,包括以下步骤:
步骤S1,多光强投影图案的投影与采集:所述多光强投影图案为多级差光强特性的单值灰度图像,在纯黑图像和纯白图像间定义N级光强,生成N级光强投影图案P(N),采用圆点特征伪相机法获取投影仪与相机关于世界坐标系点的对应关系,依据张正友标定法计算系统内部参数和外部参数;
步骤S2,区域引导动态投影图案的生成:分析采集的多级差光强特性的图案坐标中像素的过曝欠曝状态,生成逐像素的过曝欠曝信息,设定全局过曝阈值θover和欠曝阈值θunder,计算多光强投影图案的多级光强中的过曝欠曝区域,计算逐像素的非过曝最大灰度级Gray(x,y)max和非欠曝最小灰度级Gray(x,y)min:
Figure FDA0003042002220000021
Figure FDA0003042002220000022
并计算非修正的投影图案在过曝欠曝区域的强度特性:
Figure FDA0003042002220000023
其中I表示修正的投影图案光强信息,m为相位移动步长,n表示当前步长,生成m步相位移动动态投影图案;
步骤S3,动态投影采集图像局部过曝欠曝强度修正:通过相位解码算法和未过曝欠曝点,计算过曝欠曝点在投影仪坐标系中的坐标值,当采集的多光强投影图案中存在过曝欠曝现象时,在相位解码算法中加入图像强度得到解码相位校正;
步骤S4,动态投影图案综合校验:校验相位信息在相机坐标系下的线性特征,设定强度不均匀的动态投影相位移动图案,将投影图案投射到白平衡板并由相机采集,基于相位移动解码方法计算动态投影图案的相位信息;基于线性拟合计算方差,当方差小于预设阈值σL时,表示投影仪动态投影图案的相位移动线性特性较好,可以用于结构光三维感知编码图案;
校验全局光度一致性特性,基于金属局部磨砂设置局部反射率不均匀平板,将投影图案投射到金属板并由相机采集,基于相位移动解码方法计算动态投影图案的相位信息,计算区域光度信息,当全局光度方差小于预设阈值σθ时,表示投影仪动态投影图案的反射率光度一致性特性较好,可以用于结构光三维感知编码图案;
校验动态投影图案的切向畸变特性,将标准块随机放置在投影设备与采集设备的交叠区域,投影图案投射到标准块并由相机采集,基于相位移动解码方法计算动态投影图案的相位信息,计算标准块的尺寸特征,当横向精度和纵向精度小于预设阈值μθ时,表示投影仪动态投影图案的切向畸变特性较好,可以用于结构光三维感知编码图案。
7.根据权利要求6所述的一种基于动态投影的相位移动图案生成方法,其特征在于:所述步骤S3中计算过曝欠曝点在投影仪坐标系中的坐标值的方法具体为:基于过曝欠曝点邻域里的未过曝欠曝点(u,v)的强度信息,通过相移法解码获得未过曝欠曝点的相机与投影仪像素坐标响应函数F(u,v),并确定出对应的投影仪像素坐标(i,j)。
8.根据权利要求6或7所述的一种基于动态投影的相位移动图案生成方法,其特征在于:步骤S3中计算过曝欠曝点在投影仪坐标系中的坐标值的方法具体为:针对每个过曝欠曝点的横纵坐标,分别提取相机图像上与其在同一行及同一列的未过曝欠曝点,并将相机图像坐标生成相应的自变量序列,由未过曝欠曝点解码的投影图案坐标生成相应的因变量序列;对已有的未过曝欠曝点的像素坐标进行内插值,并通过误差补偿估计出过曝欠曝点的对应的投影区域,得到采集图像中每一个过曝欠曝点对应的投影仪坐标系坐标值;根据过曝区域大小,估计过插值误差ae个像素,将估计的投影像素坐标扩展为以其为中心的,边长为2ae+1的正方形估计域并将估计的过曝欠曝点坐标扩展为正方形的过曝区域。
CN202110460297.XA 2021-04-27 2021-04-27 基于动态投影的投影系统及相位移动图案生成方法 Active CN113340235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110460297.XA CN113340235B (zh) 2021-04-27 2021-04-27 基于动态投影的投影系统及相位移动图案生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110460297.XA CN113340235B (zh) 2021-04-27 2021-04-27 基于动态投影的投影系统及相位移动图案生成方法

Publications (2)

Publication Number Publication Date
CN113340235A true CN113340235A (zh) 2021-09-03
CN113340235B CN113340235B (zh) 2022-08-12

Family

ID=77468763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110460297.XA Active CN113340235B (zh) 2021-04-27 2021-04-27 基于动态投影的投影系统及相位移动图案生成方法

Country Status (1)

Country Link
CN (1) CN113340235B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH113857A (ja) * 1997-04-14 1999-01-06 Nikon Corp 投影光学系のディストーション測定方法及びディストーションを補正して行う半導体デバイスの製造方法
CN102779334A (zh) * 2012-07-20 2012-11-14 华为技术有限公司 一种多曝光运动图像的校正方法及装置
CN103197500A (zh) * 2012-01-05 2013-07-10 上海微电子装备有限公司 一种测量镜面形补偿效果的方法
CN104769388A (zh) * 2012-11-14 2015-07-08 高通股份有限公司 结构光主动深度感测系统中对光源功率的动态调整
CN105651203A (zh) * 2016-03-16 2016-06-08 广东工业大学 一种自适应条纹亮度的高动态范围三维形貌测量方法
CN106705855A (zh) * 2017-03-10 2017-05-24 东南大学 一种基于自适应光栅投影的高动态性能三维测量方法
CN106767407A (zh) * 2016-12-21 2017-05-31 清华大学 对过曝物体表面三维信息测量的方法
CN106996754A (zh) * 2017-03-02 2017-08-01 天津大学 一种基于正弦光栅投影的自适应照明优化方法
US20170370708A1 (en) * 2016-06-27 2017-12-28 Keyence Corporation Measuring Device
TWI622755B (zh) * 2016-12-23 2018-05-01 致茂電子股份有限公司 表面形貌的量測方法
CN108827184A (zh) * 2018-04-28 2018-11-16 南京航空航天大学 一种基于相机响应曲线的结构光自适应三维测量方法
CN109510948A (zh) * 2018-09-30 2019-03-22 先临三维科技股份有限公司 曝光调整方法、装置、计算机设备和存储介质
CN110398289A (zh) * 2019-07-30 2019-11-01 清华大学 一种图像采集方法和图像采集装置
CN110702034A (zh) * 2019-10-25 2020-01-17 湖北工业大学 高反光表面三维面形测量方法、服务器及系统
CN110891170A (zh) * 2018-09-11 2020-03-17 康耐视公司 对经受光照图案的对象的图像获取进行优化的方法和设备
CN112118435A (zh) * 2020-08-04 2020-12-22 山东大学 面向异形金属屏幕的多投影融合方法及系统
CN112469361A (zh) * 2018-06-08 2021-03-09 登士柏希罗纳有限公司 用于在共焦相机中生成动态投影图案的设备、方法和系统

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH113857A (ja) * 1997-04-14 1999-01-06 Nikon Corp 投影光学系のディストーション測定方法及びディストーションを補正して行う半導体デバイスの製造方法
CN103197500A (zh) * 2012-01-05 2013-07-10 上海微电子装备有限公司 一种测量镜面形补偿效果的方法
CN102779334A (zh) * 2012-07-20 2012-11-14 华为技术有限公司 一种多曝光运动图像的校正方法及装置
CN104769388A (zh) * 2012-11-14 2015-07-08 高通股份有限公司 结构光主动深度感测系统中对光源功率的动态调整
CN104769387A (zh) * 2012-11-14 2015-07-08 高通股份有限公司 组合多个图像以补偿反射率和/或吸收的差别的结构光主动深度感测系统
CN105651203A (zh) * 2016-03-16 2016-06-08 广东工业大学 一种自适应条纹亮度的高动态范围三维形貌测量方法
US20170370708A1 (en) * 2016-06-27 2017-12-28 Keyence Corporation Measuring Device
CN106767407A (zh) * 2016-12-21 2017-05-31 清华大学 对过曝物体表面三维信息测量的方法
TWI622755B (zh) * 2016-12-23 2018-05-01 致茂電子股份有限公司 表面形貌的量測方法
CN106996754A (zh) * 2017-03-02 2017-08-01 天津大学 一种基于正弦光栅投影的自适应照明优化方法
CN106705855A (zh) * 2017-03-10 2017-05-24 东南大学 一种基于自适应光栅投影的高动态性能三维测量方法
CN108827184A (zh) * 2018-04-28 2018-11-16 南京航空航天大学 一种基于相机响应曲线的结构光自适应三维测量方法
CN112469361A (zh) * 2018-06-08 2021-03-09 登士柏希罗纳有限公司 用于在共焦相机中生成动态投影图案的设备、方法和系统
CN110891170A (zh) * 2018-09-11 2020-03-17 康耐视公司 对经受光照图案的对象的图像获取进行优化的方法和设备
CN109510948A (zh) * 2018-09-30 2019-03-22 先临三维科技股份有限公司 曝光调整方法、装置、计算机设备和存储介质
CN110398289A (zh) * 2019-07-30 2019-11-01 清华大学 一种图像采集方法和图像采集装置
CN110702034A (zh) * 2019-10-25 2020-01-17 湖北工业大学 高反光表面三维面形测量方法、服务器及系统
CN112118435A (zh) * 2020-08-04 2020-12-22 山东大学 面向异形金属屏幕的多投影融合方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAIBO LIN 等: "《3D reconstruction of specular surface via a novel structured light approach》", 《2015 IEEE INTERNATIONAL CONFERENCE ON INFORMATION AND AUTOMATION》 *
王柳 等: "《基于自适应条纹投影的高反光物体三维面形测量》", 《应用光学》 *

Also Published As

Publication number Publication date
CN113340235B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
KR101498532B1 (ko) 광학 흐름의 결정을 위한 디지털 처리 방법 및 시스템
US7499600B2 (en) Method for characterizing a digital imaging system
EP2889575A1 (en) Three-dimensional measurement apparatus, three-dimensional measurement method, and storage medium
CN107917679B (zh) 一种高亮、过暗区域动态检测、补偿的方法
CN101326549B (zh) 检测数字图像中的条纹的方法
KR20050012751A (ko) 로컬 에지 통계적 분포를 기초로 선명도 메트릭스들을추정하는 방법 및 시스템
CN108074237B (zh) 图像清晰度检测方法、装置、存储介质及电子设备
CN112313541A (zh) 设备和方法
KR101550070B1 (ko) 입력영상에서 용이하게 에지를 검출할 수 있는 영상처리방법 및 장치
US20180374220A1 (en) Apparatus and method for dividing of static scene based on statistics of images
CN111220235B (zh) 水位监测方法及装置
CN112200848B (zh) 低光照弱对比复杂环境下的深度相机视觉增强方法及系统
CN108871197B (zh) 用于材料表面的位移场测量方法、装置、设备及存储介质
CN110866882A (zh) 基于深度置信度的分层联合双边滤波深度图修复算法
CN113344906B (zh) 车路协同中相机评估方法、装置、路侧设备和云控平台
CN113340235B (zh) 基于动态投影的投影系统及相位移动图案生成方法
CN111540042B (zh) 用于三维重构的方法、装置以及相关设备
JP6232933B2 (ja) 放射歪み補正装置、道路環境認識装置、放射歪み補正方法およびプログラム
CN113749646A (zh) 基于单目视觉的人体身高测量方法、装置及电子设备
WO2013088199A1 (en) System and method for estimating target size
US10970592B2 (en) Adhering substance detection apparatus and adhering substance detection method
JP2002330344A (ja) 放射線画像処理装置、画像処理システム、放射線画像処理方法、記憶媒体、及びプログラム
CN108596981B (zh) 一种图像的鸟瞰视角重投影方法、装置及便携式终端
JP2011112630A (ja) レーダ画像処理装置
JP2002330343A (ja) 放射線画像処理装置、画像処理システム、放射線画像処理方法、記憶媒体、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant