CN108830907B - 基于单目系统的投影标定方法及系统 - Google Patents

基于单目系统的投影标定方法及系统 Download PDF

Info

Publication number
CN108830907B
CN108830907B CN201810619229.1A CN201810619229A CN108830907B CN 108830907 B CN108830907 B CN 108830907B CN 201810619229 A CN201810619229 A CN 201810619229A CN 108830907 B CN108830907 B CN 108830907B
Authority
CN
China
Prior art keywords
projection
image
points
calibration
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810619229.1A
Other languages
English (en)
Other versions
CN108830907A (zh
Inventor
关颖健
刘梦龙
陈海龙
张青松
罗立友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Esun Display Co ltd
Original Assignee
Shenzhen Esun Display Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Esun Display Co ltd filed Critical Shenzhen Esun Display Co ltd
Priority to CN201810619229.1A priority Critical patent/CN108830907B/zh
Publication of CN108830907A publication Critical patent/CN108830907A/zh
Application granted granted Critical
Publication of CN108830907B publication Critical patent/CN108830907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明实施例公开了一种基于单目系统的投影标定方法,基于包含有一摄像设备和一投影设备的单目系统;单目系统还包括一立体标靶,立体标靶表面上设置有多个编码标志点和空白区域;该方法包括:通过摄像设备采集第一图像并进行特征识别,获取与编码标志点对应的像素坐标;根据编码标志点的像素坐标及世界坐标进行标定,获取第一标定模型;通过投影设备将投影图像投影,投影图像中包含多个投影标志点;通过摄像设备采集第二图像并进行特征识别,获取投影标志点的像素坐标;根据第一标定模型确定与投影标志点对应的世界坐标,根据投影标志点的世界坐标和投影标志点的投影坐标进行标定,获取第二标定模型。采用本发明,可实现单目系统的投影标定。

Description

基于单目系统的投影标定方法及系统
技术领域
本发明涉及机器视觉技术领域,尤其涉及一种基于单目系统的投影标定方法及系统。
背景技术
相机标定是图像处理技术中非常重要的技术,在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为相机标定。
单目系统是指一个相机一个投影设备组成的系统,其对应的标定是将投影设备视为一个相机,按照相机模型进行标定,及获取投影设备成像对应的集合模型。需要说明的是,相机标定是已知立体标靶上的点的世界坐标,获取像素坐标来计算投影矩阵,从而得到相机内参数和外参数;而投影的标定是已知立体标靶上的世界坐标,通过投影多幅正交变频光栅条纹图像至立体标靶上,然后计算立体标靶上标志点的香味来获取投影图像的像素坐标,从而得到投影设备的内参数和外参数。也就是说,投影标定中需要投影多幅正交变频光栅条纹图像才能获取相应的标定结果和几何模型。但是,在单目系统中,只有一个投影设备,在投影部分只能投影单幅图像,因此,在单目系统中无法使用上述的投影标定的方法进行标定。
综上所述,鉴于相关技术方案中没有基于单目系统的投影标定方案,亟需提供一种基于单目系统的投影标定方案来解决上述问题。
发明内容
基于此,在本实施例中,特提出了一种基于单目系统的投影标定方法。
一种基于单目系统的投影标定方法,其特征在于,所述方法基于包含有一摄像设备和一投影设备的单目系统;所述单目系统还包括一立体标靶,所述立体标靶表面上设置有多个编码标志点和空白区域;
所述方法包括:
通过所述摄像设备采集所述立体标靶的第一图像,对所述第一图像进行特征识别,获取所述第一图像中与所述编码标志点对应的像素坐标;
根据所述编码标志点的像素坐标以及所述编码标志点的世界坐标进行标定,获取与所述摄像设备对应的第一标定模型;
通过所述投影设备将预设的投影图像投影至所述立体标靶的表面的空白区域,所述投影图像中包含多个与所述编码标志点匹配的投影标志点;
通过所述摄像设备采集第二图像,对所述第二图像进行特征识别,获取所述第二图像中所述投影标志点的像素坐标;
根据所述第一标定模型和所述投影标志点的像素坐标确定与所述投影标志点对应的世界坐标,根据所述投影标志点的世界坐标和投影标志点的投影坐标进行标定,获取与所述投影设备对应的第二标定模型。
可选的,在一个实施例中,所述获取与所述投影设备对应的第二标定模型,还包括:
获取与所述投影设备对应的设备内参数、和/或设备外参数。
可选的,在一个实施例中,所述对所述第一图像进行特征识别,获取所述第一图像中与所述编码标志点对应的像素坐标,还包括:
对所述第一图像进行边缘检测,获取所述第一图像中的边缘封闭区域;
针对每一个边缘封闭区域,计算该边缘封闭区域的中心和重心,在所述中心与重心匹配的情况下,将该边缘封闭区域作为编码标志点对应的区域,获取所述编码标志点对应的区域在所述第一图像中的像素坐标作为所述编码标志点的像素坐标。
可选的,在一个实施例中,所述对所述第二图像进行特征识别,获取所述第二图像中所述投影标志点的像素坐标,还包括:
对所述第二图像进行检测,获取所述第一图像中的高亮区域;
以高亮区域为中心,对所述第二图像进行边缘检测,在所述高亮区域具有4条边缘直线的情况下,将该点作为投影标志点对应的区域;
获取所述投影标志点对应的区域在所述第二图像中的像素坐标作为所述投影标志点的像素坐标。
可选的,在一个实施例中,所述将该点作为投影标志点对应的区域之后,还包括:
获取所述4条边缘直线的交点,根据所述相对的交点生成对应的2条连线,获取所述2条连线的相交点的像素坐标为所述投影标志点的像素坐标。
可选的,在一个实施例中,所述对所述第一图像进行特征识别之前,还包括:
对所述第一图像进行二值化处理。
可选的,在一个实施例中,所述对所述第一图像进行二值化处理还包括:
对所述二值化后的第一图像进行逆仿射变换,获取与所述第一图像对应的单位圆;
根据所述单元圆上0和1的个数生成与素数单位圆对应的特征码值,所述特征码值为15位二进制数值;
对所述特征码值进行移位操作,获取不同移位位数对应的移位后的移位码值,获取所述移位码值中的最小值对应的编码码值,所述编码码值为十进制数值。
可选的,在一个实施例中,所述根据所述相对的交点生成对应的2条连线之后,还包括:
获取所述2条连线上的像素点的灰度值,根据所述编码码值对所述2条连线上的像素点的灰度值进行解码,获取与所述投影标志点对应的编码值。
可选的,在一个实施例中,所述对所述第一图像进行特征识别之前,还包括:
对所述第一图像进行滤波处理。
另外,在本实施例中,还提出了一种基于单目系统的投影标定系统。
一种基于单目系统的投影标定系统,所述系统包括摄像设备、投影设备以及与所述摄像设备和投影设备连接处理器和存储器;
所述摄像设备用于采集包含有立体标靶的图像,所述立体标靶表面上设置有多个编码标志点和空白区域;
所述投影设备用于将投影图像投影至立体标靶上;
所述处理器用于控制所述摄像设备采集所述立体标靶的第一图像,并对所述第一图像进行特征识别,获取所述第一图像中与所述编码标志点对应的像素坐标;根据所述编码标志点的像素坐标以及所述编码标志点的世界坐标进行标定,获取与所述摄像设备对应的第一标定模型;
所述处理器还用于控制所述投影设备将预设的投影图像投影至所述立体标靶的表面的空白区域,所述投影图像中包含多个与所述编码标志点匹配的投影标志点;
所述处理器还用于控制所述摄像设备采集第二图像,并对所述第二图像进行特征识别,获取所述第二图像中所述投影标志点的像素坐标;
所述处理器还用于根据所述第一标定模型和所述投影标志点的像素坐标确定与所述投影标志点对应的世界坐标,根据所述投影标志点的世界坐标和投影标志点的投影坐标进行标定,获取与所述投影设备对应的第二标定模型;
所述存储器用于存储所述摄像设备采集的图像、和/或存储所述处理器计算得到的结果数据,所述结果数据至少包括第一标定模型和第二标定模型;
所述存储器还用于存储计算机程序,所述处理器执行所述存储器上存储的计算机程序。
可选的,在一个实施例中,所述处理器还用于获取与所述投影设备对应的设备内参数、和/或设备外参数。
可选的,在一个实施例中,所述处理器还用于对所述第一图像进行边缘检测,获取所述第一图像中的边缘封闭区域;针对每一个边缘封闭区域,计算该边缘封闭区域的中心和重心,在所述中心与重心匹配的情况下,将该边缘封闭区域作为编码标志点对应的区域,获取所述编码标志点对应的区域在所述第一图像中的像素坐标作为所述编码标志点的像素坐标。
可选的,在一个实施例中,所述处理器还用于对所述第二图像进行检测,获取所述第一图像中的高亮区域;以高亮区域为中心,对所述第二图像进行边缘检测,在所述高亮区域具有4条边缘直线的情况下,将该点作为投影标志点对应的区域;获取所述投影标志点对应的区域在所述第二图像中的像素坐标作为所述投影标志点的像素坐标。
可选的,在一个实施例中,所述处理器还用于获取所述4条边缘直线的交点,根据所述相对的交点生成对应的2条连线,获取所述2条连线的相交点的像素坐标为所述投影标志点的像素坐标。
可选的,在一个实施例中,所述处理器还用于对所述第一图像进行二值化处理。
可选的,在一个实施例中,所述处理器还用于对所述二值化后的第一图像进行逆仿射变换,获取与所述第一图像对应的单位圆;根据所述单元圆上0和1的个数生成与素数单位圆对应的特征码值,所述特征码值为15位二进制数值;对所述特征码值进行移位操作,获取不同移位位数对应的移位后的移位码值,获取所述移位码值中的最小值对应的编码码值,所述编码码值为十进制数值。
可选的,在一个实施例中,所述处理器还用于获取所述2条连线上的像素点的灰度值,根据所述编码码值对所述2条连线上的像素点的灰度值进行解码,获取与所述投影标志点对应的编码值。
可选的,在一个实施例中,所述处理器还用于对所述第一图像进行滤波处理。
实施本发明实施例,将具有如下有益效果:
采用了上述基于单目系统的投影标定方法和系统之后,针对仅包含了一个摄像设备和一个投影设备的单目系统,在对其投影进行标定的标定的过程中,通过摄像设备采集设置有编码标志点的立体标靶的图像,完成摄像设备的相机标定,然后通过投影设备将包含有与编码标志点的投影标志点一直的投影图像(散斑图像)投影至立体标靶上,并通过摄像设备采集图像从而获取对应的世界坐标,从而根据该世界坐标与投影图像中的投影坐标完成投影设备的投影标定。也就是说,采用本发明给出的基于单目系统的投影标定方法和系统,不需要投影多幅图像即可完成相机和投影的标定,解决了投影单幅图像的标定问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为一个实施例中一种单目系统的组成示意图;
图2为一个实施例中立体标靶的示意图;
图3为一个实施例中一种基于单目系统的投影标定方法的流程示意图;
图4为一个实施例中相机标定的世界坐标与像素坐标对应的关系示意图;
图5为一个实施例中编码码值计算的流程示意图;
图6为一个实施例中投影标志点的示意图;
图7为一个实施例中投影之后的图像采集示意图;
图8为一个实施例中投影标志点的像素坐标获取的流程示意图;
图9为一个实施例中对图像进行边缘检测的示意图像;
图10为一个实施例中对图像进行形态学检测的示意图像;
图11为一个实施例中第二图像的投影标志点边缘求解结果示意图;
图12为一个实施例中对连线上灰度值进行解码的示意图;
图13为一个实施例中对连线上灰度值进行解码的示意图;
图14为一个实施例中一种基于单目系统的投影标定系统的组成示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如前所述,在本发明中,提供了一种基于单目系统的投影标定方法来实现单目系统中的投影标定。
在本实施例中,基于单目系统的投影标定方法是基于包含有一摄像设备和一投影设备的单目系统;具体的,上述单目系统100包括如图1所示的摄像设备200以及投影设备300,其中,摄像设备200可以为一相机,可以采集相应目标的图像;投影设备300可以将制定的图像投影至预设的屏幕或者物体上。在本实施例中,在该系统中还包括有一立体标靶400,摄像设备200可以采集立体标靶400的图像进行分析,投影设备300可以将指定的图像投影至该立体标靶400上。
在本实施例中,立体标靶400上设置有多个编码标志点,除去编码标志点之外的区域为空白区域。例如,如图2所示,图2所示的立体标靶为一立方体,其中编号S1所示为编码标志点,并且编码标志点的数量为多个。为了提高后续投影过程中投影的可计算区域,立体标靶400表面上的空白区域尽量大且集中在一个区域内,例如,在图2所示的立体标靶中,编码标志点设置在立方体的棱边处,并且中间区域未设置有编码标志点,以最大化空白区域的区域大小,以提高后续投影标定过程中的投影区域的面积。
需要说明的是,在本实施例中,编码标志点为一个区域,例如,为一指定大小的方形区域,或者为一指定大小的设置有指定图像的图像区域。
具体的,如图3所示,上述基于单目系统的投影标定方法包括如下步骤S101-S106:
步骤S101:通过所述摄像设备采集所述立体标靶的第一图像,对所述第一图像进行特征识别,获取所述第一图像中与所述编码标志点对应的像素坐标。
在本实施例中,可以通过摄像设备采集立体标靶的图像,也就是说,采集的第一图像中包含了立体标靶。在本实施例中,采用立方体的标靶并且将立方体如图2所示的进行放置,可以将编号S2所示的点作为坐标原点,建立与立体标靶所对应的方程,基于立体标靶表面对应的平面方程以及对应的约束条件,也就是说,可以知道立体标靶上的所有的点所对应的世界坐标。
通过摄像设备采集立体标靶的图像作为第一图像,旨在建立该摄像设备的标定,即完成对应的相机标定。并且,采集第一图像还需要对对应的编码标志点区域进行编码,获取与之对应的编码码值。
具体的,对第一图像进行特征识别,获取与第一图像中与所有的编码标志点对应的图像区域,并获取编码标志点所对应的图像区域在第一图像中对应的坐标作为对应的编码标志点的像素坐标。例如,可以采用编码标志点所对应的图像区域的中心点的像素坐标作为所述编码标志点的像素坐标。
进一步的,在另一个具体的实施例中,上述对所述第一图像进行特征识别,获取所述第一图像中与所述编码标志点对应的像素坐标,还包括如下步骤:
步骤S1011:对所述第一图像进行边缘检测,获取所述第一图像中的边缘封闭区域;
步骤S1012:针对每一个边缘封闭区域,计算该边缘封闭区域的中心和重心,在所述中心与重心匹配的情况下,将该边缘封闭区域作为编码标志点对应的区域,获取所述编码标志点对应的区域在所述第一图像中的像素坐标作为所述编码标志点的像素坐标。
在对第一图像进行边缘检测的过程中,可以是采用任何已知的边缘检测算法,或者,采用canny算子进行边缘检测,以获取第一图像中所有的边缘区域以及对应的边缘封闭区域,其中边缘封闭区域为通过边缘检测确定的边缘线形成的边缘封闭区域。
对于任一的图像区域,均可以计算其中心和重点,并且,对于不同的图像区域,中心和重心不一定是重叠。而对于规则区域(如矩形区域、圆形区域等)而言,中心和重点为同一个点。而根据上述描述,上述编码标志点为方形区域,也就是说,其中心和重心是同一个点,因此,通过计算边缘封闭区域的中心和重心是否是匹配的来确定其是否为编码标志点对应的区域。需要说明的是,为了避免计算误差,中心和重心是否是匹配的可以允许中心和重心之间存在一定的误差。
在确定了编码标志点对应的区域之后,通过该区域在第一图像中的像素坐标即可确定编码标志点在第一图像中的像素坐标。
需要说明的是,在本实施例中,为了提高对第一图像进行图像处理以及识别的准确性,在进行边缘检测之前还需要对图像进行预处理。具体的,上述对第一图像进行特征识别之前,还包括对第一图像进行滤波处理。该滤波处理可以为对第一图像进行中值滤波处理,然后针对中值滤波处理之后的第一图像进行进一步的处理。
另外,因为在本实施例中只需要确定编码标志点对应的区域以及空白区域等区域,在编码标志点采用的图像为黑白图像等情况下,可以通过黑白图像的处理即可进行后面的图像处理和检测。也就是说,可以对第一图像进行二值化处理,在后期的边缘检测的过程中,只需要通过对二值化处理之后的图像进行处理即可,减少计算量。也就是说,上述对第一图像进行特征识别的步骤之前,还包括对第一图像进行二值化处理。在对第一图像进行边缘检测的过程中,采用二值化后的图像进行边缘检测。
步骤S102:根据所述编码标志点的像素坐标以及所述编码标志点的世界坐标进行标定,获取与所述摄像设备对应的第一标定模型。
相机标定指的是建立立体标靶上的点的世界坐标与其在相机所拍摄的图像中的像素坐标之间的对应关系,例如,在如图4所示的场景中,图4给出了像素坐标与世界坐标之间的对应示意图。
在确定了编码标志点与摄像设备对应的像素坐标之后,而立体标靶上的点的世界坐标可以根据立体标靶的平面坐标系的建立来确定,也就是说,根据所述编码标志点的像素坐标以及所述编码标志点的世界坐标,即可确定像素坐标与世界坐标之间的对应关系,并且确定摄像设备的相机内参数和外参数,确定摄像设备对应的转换矩阵,即确定了与摄像设备对应的第一标定模型。
进一步的,在本实施例中,在确定了编码标志点之后,还包括如图5所示的步骤S1021-S1023:
步骤S1021:对所述二值化后的第一图像进行逆仿射变换,获取与所述第一图像对应的单位圆;
步骤S1022:根据所述单元圆上0和1的个数生成与素数单位圆对应的特征码值,所述特征码值为15位二进制数值;
步骤S1023:对所述特征码值进行移位操作,获取不同移位位数对应的移位后的移位码值,获取所述移位码值中的最小值对应的编码码值,所述编码码值为十进制数值。
具体的,对图像进行逆仿射变换,使其成为单位圆,并且根据弧度和圆心角计算单位圆的编码环带上的各个点为1或0来确定1或0的个数,并且,将对应的0和1记录成15位的二进制,即为特征码值。对上述15位的二进制特征码值进行移位操作,例如,进行右移位操作。右移位操作的位数为1-14位,对于所有的移位操作得到的结果,每一个移位操作的结果均对应了一个二进制值,在所有的二进制值中最小的一个值即为编码的唯一码值,即为编码码值。
步骤S103:通过所述投影设备将预设的投影图像投影至所述立体标靶的表面的空白区域,所述投影图像中包含多个与所述编码标志点匹配的投影标志点。
投影设备可以将图像投影到立体标靶上,在本实施例中,投影到立体标靶投影图像需要实现后续的标定,因此,在本实施例中,投影图像中包含了多个投影标志点。
在本实施例中,投影图像为散斑图像,并且,散斑图像中的点可以为指定的投影标志点。例如,在一个可选的实施例中,投影标志点可以与编码标志点可以为相同的特征点或特征图像。如图6所示,投影标志点可以为如图5所示的菱形图像,并且将菱形图案分割成8个区域,每个区域均为三角形,对于每一个三角形的区域进行二值化编码,0为黑色,255为白色,横向4块从左至右为高4块,纵向4块自上而下为低4位,边缘灰度为255。图6还给出了投影标志点示例的菱形图案。
在一个具体的实施例中,编码标志点与投影标志点为相同的图案,并且,还可以采用其他图样,在采用其他图样的过程中,对于相机标定以及投影标定的过程不会有影响,但是需要改变编码码值的计算流程和/或根据编码码值进行解码的相关流程。也就是说,不同的编码标志点/投影标志点对应了不同的编码和解码流程。
在本实施例中,在投影图像中,既包含了与编码标志点相同的投影标志点,还带有散斑图样,也就是说,通过同一个投影图像实现标定和对应点的匹配,从而解决了单目系统中投影单幅图像的标定问题。
步骤S104:通过所述摄像设备采集第二图像,对所述第二图像进行特征识别,获取所述第二图像中所述投影标志点的像素坐标;
为了对投影设备进行标定,需要通过投影设备将投影图像投影到立体标靶上,并且主要是投影到立体标靶的表面的空白区域,然后通过摄像设备采集投影到立体标靶后的图像,即为第二图像。第二图像可如图7所示。
为了知道投影之后的世界坐标的情况,需要确定第二图像中的所有的特征点对应的坐标情况。具体的,对第二图像进行特征识别,获取第二图像中与投影图像中的投影标志点对应的特征信息,即获取投影标志点的像素坐标。
步骤S105:根据所述第一标定模型和所述投影标志点的像素坐标确定与所述投影标志点对应的世界坐标。
第一标定模型指的是摄像设备的标定模型,因此,根据第一标定模型可确定由摄像设备拍摄的图像中的像素坐标与世界坐标之间的对应关系,因此,根据第一标定模型可以确定投影标志点对应的世界坐标。
步骤S106:根据所述投影标志点的世界坐标和投影标志点的投影坐标进行标定,获取与所述投影设备对应的第二标定模型。
投影图像中包含的投影标志点在投影设备中的位置信息是可以预先获取的,也就是说,投影标志点的投影坐标是可以获知的。投影标志点的世界坐标和投影坐标均是已知的,从而确定二者之间的对应关系,因此,通过投影标志点的世界坐标和投影标志点的投影坐标的具体值,可以确定投影设备的标定模型,即第二标定模型。
具体的,获取与所述投影设备对应的第二标定模型即为获取与所述投影设备对应的设备内参数、和/或设备外参数,完成对投影设备的投影标定。
需要说明的是,在本实施例中,不管是步骤S102中的相机标定,还是步骤S106中的投影标定,在进行标定的过程中,可以采用任何的相机标定的算法,也就是说,在本实施例中不对相机标定或投影标定使用的具体算法或程序进行限定,只要可以实现相机或投影标定的目的即可。
上述对所述第二图像进行特征识别,获取所述第二图像中所述投影标志点的像素坐标,还包括如图8所示的步骤:
步骤S1041:对所述第二图像进行检测,获取所述第一图像中的高亮区域;
步骤S1042:以高亮区域为中心,对所述第二图像进行边缘检测,在所述高亮区域具有4条边缘直线的情况下,将该点作为投影标志点对应的区域;
步骤S1043:获取所述投影标志点对应的区域在所述第二图像中的像素坐标作为所述投影标志点的像素坐标。
具体的,如图9-11所示,对第二图像,通过形态学分析和检测图像中的高亮部分,检测模板为灰度值为255的5*5像素矩阵。以高亮区域为中心,在边缘图像上检测直线,拥有4条倾斜直线边缘(边缘直线)的即为有效的投影标志点。然后获取确定的投影标志点在第二图像中的像素坐标来作为投影标志点的像素坐标。
进一步的,在另一个可选的实施例中,在确定投影标志点的像素坐标时,还可以是:
获取4条边缘直线的交点,根据所述相对的交点生成对应的2条连线,获取所述2条连线的相交点的像素坐标为所述投影标志点的像素坐标。
例如,拟合4条边缘直线,并求解边缘直线的交点所对应的坐标。将4个交点中相对的交点进行连线,连线的交点在第二图像中的像素坐标即为投影标志点的像素坐标。
进一步的,上述根据所述相对的交点生成对应的2条连线之后,还包括:获取所述2条连线上的像素点的灰度值,根据所述编码码值对所述2条连线上的像素点的灰度值进行解码,获取与所述投影标志点对应的编码值。
对于上述2条连线上的所有点,以及其对应的灰度值,采用上述进行相机标定的过程中确定的编码码值进行解码,从而确定与之对应的编码值。例如,如图12-13所示,给出了对连线上的灰度值的示意图,对该灰度值进行解码,即可获取与投影标志点对应的编码。
综上所述,通过步骤S101-S106对投影图像中的投影标志点的像素坐标、投影坐标、世界坐标之间的对应关系,完成了对单目系统的投影标定。对于投影设备进行的投影,通过确定的第二标定模型可以知道每一个点在投影之后的世界坐标。
在另一个具体的实施例中,如图14所示,还提出了一种基于单目系统的投影标定系统,该系统包括摄像设备、投影设备以及与所述摄像设备和投影设备连接处理器和存储器;
所述摄像设备用于采集包含有立体标靶的图像,所述立体标靶表面上设置有多个编码标志点和空白区域;
所述投影设备用于将投影图像投影至立体标靶上;
所述处理器用于控制所述摄像设备采集所述立体标靶的第一图像,并对所述第一图像进行特征识别,获取所述第一图像中与所述编码标志点对应的像素坐标;根据所述编码标志点的像素坐标以及所述编码标志点的世界坐标进行标定,获取与所述摄像设备对应的第一标定模型;
所述处理器还用于控制所述投影设备将预设的投影图像投影至所述立体标靶的表面的空白区域,所述投影图像中包含多个与所述编码标志点匹配的投影标志点;
所述处理器还用于控制所述摄像设备采集第二图像,并对所述第二图像进行特征识别,获取所述第二图像中所述投影标志点的像素坐标;
所述处理器还用于根据所述第一标定模型和所述投影标志点的像素坐标确定与所述投影标志点对应的世界坐标,根据所述投影标志点的世界坐标和投影标志点的投影坐标进行标定,获取与所述投影设备对应的第二标定模型;
所述存储器用于存储所述摄像设备采集的图像、和/或存储所述处理器计算得到的结果数据,所述结果数据至少包括第一标定模型和第二标定模型;
所述存储器还用于存储计算机程序,所述处理器执行所述存储器上存储的计算机程序。
可选的,所述处理器还用于获取与所述投影设备对应的设备内参数、和/或设备外参数。
可选的,所述处理器还用于对所述第一图像进行边缘检测,获取所述第一图像中的边缘封闭区域;针对每一个边缘封闭区域,计算该边缘封闭区域的中心和重心,在所述中心与重心匹配的情况下,将该边缘封闭区域作为编码标志点对应的区域,获取所述编码标志点对应的区域在所述第一图像中的像素坐标作为所述编码标志点的像素坐标。
可选的,所述处理器还用于对所述第二图像进行检测,获取所述第一图像中的高亮区域;以高亮区域为中心,对所述第二图像进行边缘检测,在所述高亮区域具有4条边缘直线的情况下,将该点作为投影标志点对应的区域;获取所述投影标志点对应的区域在所述第二图像中的像素坐标作为所述投影标志点的像素坐标。
可选的,所述处理器还用于获取所述4条边缘直线的交点,根据所述相对的交点生成对应的2条连线,获取所述2条连线的相交点的像素坐标为所述投影标志点的像素坐标。
可选的,所述处理器还用于对所述第一图像进行二值化处理。
可选的,所述处理器还用于对所述二值化后的第一图像进行逆仿射变换,获取与所述第一图像对应的单位圆;根据所述单元圆上0和1的个数生成与素数单位圆对应的特征码值,所述特征码值为15位二进制数值;对所述特征码值进行移位操作,获取不同移位位数对应的移位后的移位码值,获取所述移位码值中的最小值对应的编码码值,所述编码码值为十进制数值。
可选的,所述处理器还用于获取所述2条连线上的像素点的灰度值,根据所述编码码值对所述2条连线上的像素点的灰度值进行解码,获取与所述投影标志点对应的编码值。
可选的,所述处理器还用于对所述第一图像进行滤波处理。
实施本发明实施例,将具有如下有益效果:
采用了上述基于单目系统的投影标定方法和系统之后,针对仅包含了一个摄像设备和一个投影设备的单目系统,在对其投影进行标定的标定的过程中,通过摄像设备采集设置有编码标志点的立体标靶的图像,完成摄像设备的相机标定,然后通过投影设备将包含有与编码标志点的投影标志点一直的投影图像(散斑图像)投影至立体标靶上,并通过摄像设备采集图像从而获取对应的世界坐标,从而根据该世界坐标与投影图像中的投影坐标完成投影设备的投影标定。也就是说,采用本发明给出的基于单目系统的投影标定方法和系统,不需要投影多幅图像即可完成相机和投影的标定,解决了投影单幅图像的标定问题。
在上述实施例中,可以全部或部分的通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或者数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (7)

1.一种基于单目系统的投影标定方法,其特征在于,所述方法基于包含有一摄像设备和一投影设备的单目系统;所述单目系统还包括一立体标靶,所述立体标靶为立方体,所述立方体表面上设置有多个编码标志点和空白区域,并且所述多个编码标志点设置在立方体的棱边处,且中间区域未设置编码标志点;
所述方法包括:
通过所述摄像设备采集所述立体标靶的图像,对所述图像进行滤波处理和二值化处理,得到第一图像;
对所述第一图像进行边缘检测,获取所述第一图像中与所述编码标志点对应的像素坐标;
根据所述编码标志点的像素坐标以及所述编码标志点的世界坐标进行标定,获取与所述摄像设备对应的第一标定模型;
通过所述投影设备将预设的投影图像投影至所述立体标靶的表面的空白区域,所述预设投影图像为散斑图像,所述投影图像中包含多个与所述编码标志点匹配的投影标志点;
通过所述摄像设备采集第二图像,对所述第二图像进行特征识别,获取所述第二图像中4条边缘直线的交点,根据相对的交点生成对应的2条连线,获取所述2条连线的相交点的像素坐标为所述投影标志点的像素坐标;
根据所述第一标定模型和所述投影标志点的像素坐标确定与所述投影标志点对应的世界坐标,根据所述投影标志点的世界坐标和投影标志点的投影坐标进行标定,获取与所述投影设备对应的第二标定模型。
2.根据权利要求1所述的基于单目系统的投影标定方法,其特征在于,所述获取与所述投影设备对应的第二标定模型,还包括:
获取与所述投影设备对应的设备内参数、和/或设备外参数。
3.根据权利要求1所述的基于单目系统的投影标定方法,其特征在于,所述对所述第一图像进行边缘检测,获取所述第一图像中与所述编码标志点对应的像素坐标,还包括:
针对每一个边缘封闭区域,计算该边缘封闭区域的中心和重心,在所述中心与重心匹配的情况下,将该边缘封闭区域作为编码标志点对应的区域,获取所述编码标志点对应的区域在所述第一图像中的像素坐标作为所述编码标志点的像素坐标。
4.根据权利要求3所述的基于单目系统的投影标定方法,其特征在于,所述对所述第二图像进行特征识别,获取所述第二图像中4条边缘直线的交点,根据所述相对的交点生成对应的2条连线,获取所述2条连线的相交点的像素坐标为所述投影标志点的像素坐标,还包括:
对所述第二图像进行检测,获取所述第一图像中的高亮区域;
以高亮区域为中心,对所述第二图像进行边缘检测,在所述高亮区域具有4条边缘直线的情况下,将具有4条边缘直线的所述高亮区域作为投影标志点对应的区域;
获取所述投影标志点对应的区域在所述第二图像中的像素坐标作为所述投影标志点的像素坐标。
5.根据权利要求1所述的基于单目系统的投影标定方法,其特征在于,所述对所述图像进行滤波处理和二值化处理还包括:
对所述二值化后的第一图像进行逆仿射变换,获取与所述第一图像对应的单位圆;
根据所述单位圆上0和1的个数生成与所述单位圆对应的特征码值,所述特征码值为15位二进制数值;
对所述特征码值进行移位操作,获取不同移位位数对应的移位后的移位码值,获取所述移位码值中的最小值对应的编码码值,所述编码码值为十进制数值。
6.根据权利要求5所述的基于单目系统的投影标定方法,其特征在于,所述根据所述相对的交点生成对应的2条连线之后,还包括:
获取所述2条连线上的像素点的灰度值,根据所述编码码值对所述2条连线上的像素点的灰度值进行解码,获取与所述投影标志点对应的编码值。
7.一种基于单目系统的投影标定系统,所述系统包括摄像设备、投影设备以及与所述摄像设备和投影设备连接的处理器和存储器;
所述摄像设备用于采集包含有立体标靶的图像,所述立体标靶为立方体,所述立方体表面上设置有多个编码标志点和空白区域,并且所述多个编码标志点设置在立方体的棱边处,且中间区域未设置编码标志点;
所述投影设备用于将投影图像投影至立体标靶上;
所述处理器用于通过所述摄像设备采集所述立体标靶的图像,对所述图像进行滤波处理和二值化处理,得到第一图像,并对所述第一图像进行边缘检测,获取所述第一图像中与所述编码标志点对应的像素坐标;根据所述编码标志点的像素坐标以及所述编码标志点的世界坐标进行标定,获取与所述摄像设备对应的第一标定模型;
所述处理器还用于控制所述投影设备将预设的投影图像投影至所述立体标靶的表面的空白区域,所述预设投影图像为散斑图像,所述投影图像中包含多个与所述编码标志点匹配的投影标志点;
所述处理器还用于控制所述摄像设备采集第二图像,并对所述第二图像进行特征识别,获取所述第二图像中4条边缘直线的交点,根据相对的交点生成对应的2条连线,获取所述2条连线的相交点的像素坐标为所述投影标志点的像素坐标;
所述处理器还用于根据所述第一标定模型和所述投影标志点的像素坐标确定与所述投影标志点对应的世界坐标,根据所述投影标志点的世界坐标和投影标志点的投影坐标进行标定,获取与所述投影设备对应的第二标定模型;
所述存储器用于存储所述摄像设备采集的图像、和/或存储所述处理器计算得到的结果数据,所述结果数据至少包括第一标定模型和第二标定模型;
所述存储器还用于存储计算机程序,所述处理器执行所述存储器上存储的计算机程序。
CN201810619229.1A 2018-06-15 2018-06-15 基于单目系统的投影标定方法及系统 Active CN108830907B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810619229.1A CN108830907B (zh) 2018-06-15 2018-06-15 基于单目系统的投影标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810619229.1A CN108830907B (zh) 2018-06-15 2018-06-15 基于单目系统的投影标定方法及系统

Publications (2)

Publication Number Publication Date
CN108830907A CN108830907A (zh) 2018-11-16
CN108830907B true CN108830907B (zh) 2021-02-19

Family

ID=64142382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810619229.1A Active CN108830907B (zh) 2018-06-15 2018-06-15 基于单目系统的投影标定方法及系统

Country Status (1)

Country Link
CN (1) CN108830907B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110174093B (zh) * 2019-05-05 2022-10-28 腾讯科技(深圳)有限公司 定位方法、装置、设备和计算机可读存储介质
CN110207622B (zh) * 2019-06-30 2021-04-20 武汉尺子科技有限公司 一种三维扫描仪标定方法及系统
CN112562005A (zh) * 2019-09-26 2021-03-26 华为技术有限公司 一种空间标定方法和系统
CN111487043B (zh) * 2020-05-07 2021-11-09 北京的卢深视科技有限公司 单目散斑结构光系统的散斑投射器标定参数确定方法
CN112037316B (zh) * 2020-09-22 2024-04-16 阿波罗智联(北京)科技有限公司 映射的生成方法、装置和路侧设备
CN114143519B (zh) * 2021-11-11 2024-04-12 深圳市橙子软件有限公司 投影图像自动匹配幕布区域的方法及装置,投影仪

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102170182B1 (ko) * 2014-04-17 2020-10-26 한국전자통신연구원 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
CN104240233A (zh) * 2014-08-19 2014-12-24 长春理工大学 一种摄像机单应性矩阵和投影机单应性矩阵的求解方法
CN104657982A (zh) * 2015-01-15 2015-05-27 华中科技大学 一种投影仪标定方法
CN106558080B (zh) * 2016-11-14 2020-04-24 天津津航技术物理研究所 一种单目相机外参在线标定方法

Also Published As

Publication number Publication date
CN108830907A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN108830907B (zh) 基于单目系统的投影标定方法及系统
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
KR102111181B1 (ko) 어레이 카메라를 사용하여 포착된 영상에서의 시차 검출 및 보정을 위한 시스템 및 방법
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
JP3793100B2 (ja) 情報処理方法、装置および記録媒体
KR101706216B1 (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
JP6570296B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6566768B2 (ja) 情報処理装置、情報処理方法、プログラム
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
JP7184050B2 (ja) 符号化装置、符号化方法、復号装置、および復号方法
WO2021136386A1 (zh) 数据处理方法、终端和服务器
CN106919883B (zh) 一种qr码的定位方法及装置
CN111220235B (zh) 水位监测方法及装置
KR20150105190A (ko) 컬러-코드화된 구조를 사용하는 카메라 캘리브레이션 방법 및 장치
CN110660072A (zh) 一种直线边缘的识别方法、装置、存储介质及电子设备
CN109405735B (zh) 三维扫描系统和三维扫描方法
CN106780613B (zh) 多摄像头标定结果的可视化方法及其系统
CN104200456A (zh) 一种用于线结构光三维测量的解码方法
JP6429483B2 (ja) 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム
CN116152119A (zh) 用于条纹结构光的相位去噪方法、装置、设备及介质
CN107239776B (zh) 倾斜图像校正的方法和装置
CN116030240A (zh) 标志点识别方法、标志点识别装置、电子设备及存储介质
CN115147588A (zh) 数据处理方法及装置、追踪标记、电子设备及存储介质
CN113436215A (zh) 前景目标的检测方法和装置、存储介质、电子装置
CN107589834B (zh) 终端设备操作方法及装置、终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant