CN114782551A - 基于颜色棋盘的摄像机-投影仪标定方法、系统及介质 - Google Patents

基于颜色棋盘的摄像机-投影仪标定方法、系统及介质 Download PDF

Info

Publication number
CN114782551A
CN114782551A CN202210443971.8A CN202210443971A CN114782551A CN 114782551 A CN114782551 A CN 114782551A CN 202210443971 A CN202210443971 A CN 202210443971A CN 114782551 A CN114782551 A CN 114782551A
Authority
CN
China
Prior art keywords
color
chessboard
camera
image
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210443971.8A
Other languages
English (en)
Inventor
杨继武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Chuangyi Network Media Co ltd
Original Assignee
Guangzhou Chuangyi Network Media Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Chuangyi Network Media Co ltd filed Critical Guangzhou Chuangyi Network Media Co ltd
Priority to CN202210443971.8A priority Critical patent/CN114782551A/zh
Publication of CN114782551A publication Critical patent/CN114782551A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于颜色棋盘的摄像机‑投影仪标定方法、系统及介质，方法包括：将投影棋盘投影到预先设置有物理棋盘的参考平面，得到叠加颜色棋盘；获取叠加颜色棋盘的第一图像信息；确定第一颜色分量和第二颜色分量，使得第一颜色具有第一颜色分量但不具有第二颜色分量，第二颜色具有第二颜色分量但不具有第一颜色分量；根据第一颜色分量从第一图像信息中提取对应颜色通道的第一灰度图像，根据第二颜色分量从第一图像信息中提取对应颜色通道的第二灰度图像；根据第一灰度图像和第二灰度图像确定投影仪的第一参数和摄像机的第二参数。本发明提高了摄像机‑投影仪标定的效率，降低了人力成本和时间成本，可广泛应用于图像处理技术领域。

Description

基于颜色棋盘的摄像机-投影仪标定方法、系统及介质
技术领域
本发明涉及图像处理技术领域，尤其是一种基于颜色棋盘的摄像机-投影仪标定方法、系统及介质。
背景技术
在三维成像的结构光系统中，摄像机-投影仪校准是必不可少的，而校准的一个普遍难题是必须捕获两个不同的棋盘。首先，需要在基准面上安装一个物理棋盘，以获取相机参数；其次，必须移除物理棋盘再投射投影棋盘以获取投影仪参数，因为物理棋盘会干扰获得投影仪参数所需的投影图案。因此，现有的摄像机-投影仪标定方法流程复杂，需要进行多次拍照才能完成标定，需要耗费一定的人力和时间来进行物理棋盘的安装与移除，影响了摄像机-投影仪标定的效率。
发明内容
本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
为此，本发明实施例的一个目的在于提供一种基于颜色棋盘的摄像机-投影仪标定方法，该方法提高了基于颜色棋盘的摄像机-投影仪标定的效率，降低了人力成本和时间成本。
本发明实施例的另一个目的在于提供一种基于颜色棋盘的摄像机-投影仪标定系统。
为了达到上述技术目的，本发明实施例所采取的技术方案包括：
第一方面，本发明实施例提供了一种基于颜色棋盘的摄像机-投影仪标定方法，包括以下步骤：
通过投影仪将投影棋盘投影到预先设置有物理棋盘的参考平面，得到叠加颜色棋盘，其中，所述投影棋盘的第一颜色与所述物理棋盘的第二颜色不同，所述参考平面的颜色为白色；
通过摄像机获取所述叠加颜色棋盘的第一图像信息；
确定第一颜色分量和第二颜色分量，使得所述第一颜色具有所述第一颜色分量但不具有所述第二颜色分量，所述第二颜色具有所述第二颜色分量但不具有所述第一颜色分量；
根据所述第一颜色分量从所述第一图像信息中提取对应颜色通道的第一灰度图像，根据所述第二颜色分量从所述第一图像信息中提取对应颜色通道的第二灰度图像；
根据所述第一灰度图像和所述第二灰度图像确定所述投影仪的第一参数和所述摄像机的第二参数。
进一步地，在本发明的一个实施例中，所述第一颜色为青色，所述第二颜色为黄色，所述第一颜色分量为蓝色分量，所述第二颜色分量为红色分量。
进一步地，在本发明的一个实施例中，所述投影棋盘的棋盘格图案和所述物理棋盘的棋盘格图案均通过下式生成：
Figure BDA0003615807030000021
gx(x，y)＝sin(πx)，
gy(x，y)＝sin(πy)，
gr(x，y)＝sin[2θ(x，y)]sin[2(n+1)θ(x，y)]，
θ(x，y)＝arctan(y，x)，
其中，所述投影棋盘的棋盘格图案的y轴与所述物理棋盘的棋盘格图像的y轴反向设置，sign[·]表示符号函数，x∈[-n，n+2]，y∈[-n，n+1]，n表示参考线的数量。
进一步地，在本发明的一个实施例中，所述根据所述第一灰度图像和所述第二灰度图像确定所述投影仪的第一参数和所述摄像机的第二参数这一步骤，其具体包括：
根据所述第一灰度图像和所述第二灰度图像确定结构光系统；
根据所述结构光系统确定第一单应矩阵和第二单应矩阵，所述第一单应矩阵表示图像平面中的点与参考平面中的点的对应关系矩阵，所述第二单应矩阵表示滑动平面中的点与参考平面中的点的对应关系矩阵；
根据所述第一单应矩阵确定所述摄像机的第二参数，根据所述第二单应矩阵确定所述投影仪的第一参数。
进一步地，在本发明的一个实施例中，所述第一单应矩阵通过下式确定：
Figure BDA0003615807030000022
其中，μ表示图像平面中的点，ρ表示参考平面中的点，
Figure BDA0003615807030000023
表示齐次算子，Gi表示第一单应矩阵；
所述第二单应矩阵通过下式确定：
Figure BDA0003615807030000024
Gs＝G-1Gi，
其中，ν表示滑动平面中的点，G表示第三单应矩阵，所述第三单应矩阵表示图像平面中的点与滑动平面中的点的对应关系矩阵，Gs表示第二单应矩阵。
进一步地，在本发明的一个实施例中，所述第一参数包括第一内在参数和第一外在参数，所述第二参数包括第二内在参数和第二外在参数，所述第一参数和所述第二参数通过奇异值分解法计算得到。
进一步地，在本发明的一个实施例中，所述第一参数和所述第二参数通过下式确定：
Figure BDA0003615807030000031
Figure BDA0003615807030000032
Figure BDA0003615807030000033
Figure BDA0003615807030000034
其中，Ks表示第一内在参数，(Rs,k，ts,k)表示第一外在参数，Ki表示第二内在参数，(Ri,k，ti,k)表示第二外在参数，x(μ)、y(μ)以及z(μ)表示图像平面中的点μ在参考平面中对应的点的x坐标、y坐标以及z坐标，
Figure BDA0003615807030000035
表示齐次算子，ν(μ)表示图像平面中的点μ在滑动平面中对应的点。
第二方面，本发明实施例提供了一种基于颜色棋盘的摄像机-投影仪标定系统，包括：
叠加颜色棋盘投影模块，用于通过投影仪将投影棋盘投影到预先设置有物理棋盘的参考平面，得到叠加颜色棋盘，其中，所述投影棋盘的第一颜色与所述物理棋盘的第二颜色不同，所述参考平面的颜色为白色；
图像获取模块，用于通过摄像机获取所述叠加颜色棋盘的第一图像信息；
颜色分量确定模块，用于确定第一颜色分量和第二颜色分量，使得所述第一颜色具有所述第一颜色分量但不具有所述第二颜色分量，所述第二颜色具有所述第二颜色分量但不具有所述第一颜色分量；
灰度图像提取模块，用于根据所述第一颜色分量从所述第一图像信息中提取对应颜色通道的第一灰度图像，根据所述第二颜色分量从所述第一图像信息中提取对应颜色通道的第二灰度图像；
参数确定模块，用于根据所述第一灰度图像和所述第二灰度图像确定所述投影仪的第一参数和所述摄像机的第二参数。
第三方面，本发明实施例提供了一种基于颜色棋盘的摄像机-投影仪标定装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的一种基于颜色棋盘的摄像机-投影仪标定方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述的一种基于颜色棋盘的摄像机-投影仪标定方法。
本发明的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到：
本发明实施例在投影仪投影第一颜色的投影棋盘的同时，在参考平面上设置一个第二颜色的物理棋盘，从而可以得到叠加颜色棋盘，然后通过摄像机获取叠加颜色棋盘的图像信息，根据第一颜色和第二颜色选取两个合适的颜色分量，再分别提取两个颜色分量对应的颜色通道上的灰度图像，从而可以恢复单个投影棋盘和单个物理棋盘的棋盘格图像，便于获取摄像机和投影仪标定定所需的单应矩阵，从而可以确定投影仪的第一参数和摄像机的第二参数。本发明实施例的摄像机-投影仪标定方法不受摄像机、投影仪以及参照平面的位置和方向约束，且在标定过程中无需进行物理棋盘的移除，提高了摄像机-投影仪标定的效率，降低了人力成本和时间成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面对本发明实施例中所需要使用的附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1为本发明实施例提供的一种基于颜色棋盘的摄像机-投影仪标定方法的步骤流程图；
图2(a)为本发明实施例提供的物理棋盘的棋盘格图案的示意图；
图2(b)为本发明实施例提供的投影棋盘的棋盘格图案的示意图；
图3(a)为本发明实施例提供的叠加颜色棋盘的第一图像信息的示意图；
图3(b)为本发明实施例提供的第一图像信息的红色通道的灰度图像示意图；
图3(c)为本发明实施例提供的第一图像信息的绿色通道的灰度图像示意图；
图3(d)为本发明实施例提供的第一图像信息的蓝色通道的灰度图像示意图；
图4为本发明实施例提供的结构光系统的示意图；
图5为本发明实施例提供的一种基于颜色棋盘的摄像机-投影仪标定系统的结构框图；
图6为本发明实施例提供的一种基于颜色棋盘的摄像机-投影仪标定装置的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，多个的含义是两个或两个以上，如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。
参照图1，本发明实施例提供了一种基于颜色棋盘的摄像机-投影仪标定方法，具体包括以下步骤：
S101、通过投影仪将投影棋盘投影到预先设置有物理棋盘的参考平面，得到叠加颜色棋盘，其中，投影棋盘的第一颜色与物理棋盘的第二颜色不同，参考平面的颜色为白色。
具体地，本发明实施例中中，物理棋盘和投影棋盘的图案使用不同的颜色，两个棋盘可以叠加，并由摄像机同时进行拍摄。通过这种方式，可以利用不同颜色通道的颜色信息在不受干扰的情况下检测物理棋盘和投影棋盘，从而可以一次拍照同时捕获物理棋盘和投影棋盘的棋盘格图像，便于后续利用结构光系统进行摄像机-投影仪标定。
本发明实施例中，基于加性红-绿-蓝(RGB)颜色模型进行颜色的选用。参考平面采用白色RGB(1,1,1)，因为它可以反射所有颜色的入射光线；如果参考平面的某个区域具有特定的颜色，例如红色RGB(1,0,0)，则除红色光线被反射外，所有入射光线都将被吸收；当照明光不包含所有颜色成分时，可获得互补效果，例如，如果照明灯为绿色RGB(0,1,0)，则除红色区域被检测为黑色RGB(0,0,0)外，整个白色参考平面将被检测为绿色，这是因为入射的绿光没有可以被红色区域反射的颜色成分。
本发明实施例利用上述现象同时检测重叠的物理棋盘和投影棋盘，其中，物理棋盘采用黄色，投影棋盘采用青色。黄色物理棋盘预先打印好并放置在基准面即参考平面上，青色投影棋盘由投影仪投影到基准面上，由此产生的叠加颜色棋盘即可被摄像机捕捉到。
进一步作为可选的实施方式，投影棋盘的棋盘格图案和物理棋盘的棋盘格图案均通过下式生成：
Figure BDA0003615807030000051
gx(x，y)＝sin(πx)，
gy(x，y)＝sin(πy)，
gr(x，y)＝sin[2θ(x，y)]sin[2(n+1)θ(x，y)]，
θ(x，y)＝arctan(y，x)，
其中，投影棋盘的棋盘格图案的y轴与物理棋盘的棋盘格图像的y轴反向设置，sign[·]表示符号函数，x∈[-n，n+2]，y∈[-n，n+1]，n表示参考线的数量。
如图2(a)和图2(b)所示分别为本发明实施例提供的物理棋盘和投影棋盘的棋盘格图案的示意图，本发明实施例中，参考线的数量为n＝8，物理棋盘和投影棋盘的棋盘格的y轴是反向的，z轴即为观察的方向(未示出)。
S102、通过摄像机获取叠加颜色棋盘的第一图像信息。
如图3(a)所示即为本发明实施例提供的叠加颜色棋盘的第一图像信息的示意图，可以看到，物理棋盘和投影棋盘产生了叠加，因此后续本发明实施例将要利用颜色通道来对物理棋盘和投影棋盘进行分别提取。
S103、确定第一颜色分量和第二颜色分量，使得第一颜色具有第一颜色分量但不具有第二颜色分量，第二颜色具有第二颜色分量但不具有第一颜色分量。
进一步作为可选的实施方式，第一颜色为青色，第二颜色为黄色，第一颜色分量为蓝色分量，第二颜色分量为红色分量。
S104、根据第一颜色分量从第一图像信息中提取对应颜色通道的第一灰度图像，根据第二颜色分量从第一图像信息中提取对应颜色通道的第二灰度图像。
具体地，如图3(b)、图3(c)以及图3(d)所示分别为本发明实施例提供的第一图像信息的红色通道、绿色通道以及蓝色通道的灰度图像示意图。红色通道仅捕获投影棋盘，之所以会出现这种情况，是因为参考平面的白色区域和物理棋盘的黄色区域都具有红色分量，但投影棋盘的青色区域没有红色分量，因此投影棋盘上的青色区域将会红色吸收，而其他区域则会将红色反射，从而得到如图3(b)所示出的投影棋盘的棋盘格图像。类似地，蓝色通道仅捕获物理棋盘，是因为参考平面的白色区域和投影棋盘的青色区域都具有蓝色分量，但物理棋盘的黄色区域没有蓝色分量，从而得到如图3(d)所示出的物理棋盘的棋盘格图像。
理想情况下，绿色通道应该是明亮的，因为黄色和青色都包括绿色分量，因此不应该检测到物理棋盘和投影棋盘。然而，环境照明因素以及摄像机和投影仪上不平衡的颜色亮度会导致棋盘出现无效的低对比度检测，得到如图3(c)所示的绿色通道的灰度图像。
S105、根据第一灰度图像和第二灰度图像确定投影仪的第一参数和摄像机的第二参数。
具体地，本发明实施例中，摄像机、投影仪和参考平面位于不同的未知位置和方向，在标定过程中，会有多次不同的设备布置，对于每一次设备布置，都由摄像机获取重叠颜色棋盘的图像信息；提取拍摄的图像信息的红色通道的灰度图像和蓝色通道的灰度图像，从而可以建立摄像机、投影仪与参考平面之间的结构光系统，进而完成摄像机和投影仪的参数标定。步骤S105具体包括以下步骤：
S1051、根据第一灰度图像和第二灰度图像确定结构光系统；
S1052、根据结构光系统确定第一单应矩阵和第二单应矩阵，第一单应矩阵表示图像平面中的点与参考平面中的点的对应关系矩阵，第二单应矩阵表示滑动平面中的点与参考平面中的点的对应关系矩阵；
S1053、根据第一单应矩阵确定摄像机的第二参数，根据第二单应矩阵确定投影仪的第一参数。
进一步作为可选的实施方式，第一单应矩阵通过下式确定：
Figure BDA0003615807030000071
其中，μ表示图像平面中的点，p表示参考平面中的点，
Figure BDA0003615807030000072
表示齐次算子，Gi表示第一单应矩阵；
第二单应矩阵通过下式确定：
Figure BDA0003615807030000073
Gs＝G-1Gi，
其中，ν表示滑动平面中的点，G表示第三单应矩阵，第三单应矩阵表示图像平面中的点与滑动平面中的点的对应关系矩阵，Gs表示第二单应矩阵。
具体地，结构光系统是三维表面成像的强大工具，其应用也越来越广泛。这种现代技术的优点是其具有非接触性评估、鲁棒性、高精度及可实时操作的性能。结构光系统的基本工作原理如下：首先投影仪和摄像头用于生成和检测点的对应关系，然后通过三角测量确定被测物体的三维表面；并且在三角测量过程中，必须校准摄像机和投影仪。此外，在进行高精度的测量时需要精确校准。摄像机-投影仪匹配的校准可以通过使用不同的参考对象来执行；例如，平板、球体和量块等。除此之外，还建议使用辅助装置。特征点通常由条纹图案、交叉光栅和散斑进行检测，使用带有棋盘格图案的参考平面是建立所需点对应关系的最有效、最稳健的方法之一。
如图4所示为本发明实施例提供的结构光系统的示意图，定义如下向量：
Figure BDA0003615807030000081
其中，向量ρ、μ、ν分别表示参考平面、图像平面(即摄像机拍摄的图像平面)和滑动平面(即投影仪的投影平面)上的点，这些点之间的对应关系对于摄像机和投影仪的校准至关重要。
本发明实施例利用物理棋盘中的棋盘格图像，可以高精度校准摄像机。该方法利用了如下关系式：
Figure BDA0003615807030000082
其中，μ表示图像平面中的点，ρ表示参考平面中的点，
Figure BDA0003615807030000083
表示齐次算子，Gi表示第一单应矩阵，即图像平面中的点与参考平面中的点的对应关系矩阵。第一单应矩阵Gi可以使用μ和ρ的对应关系来估计确定，具体地对应关系可根据捕获的棋盘格图案和所用棋盘的度量信息来确定，此非本发明实施例的重点，在此不做赘述。
对于投影仪的标定，因为投影仪可被视为“反向摄像机”，因此同样的校准方法也可用于校准投影仪设备。可利用如下关系式进行校准：
Figure BDA0003615807030000084
其中，ν表示滑动平面中的点，Gs表示第二单应矩阵，滑动平面中的点与参考平面中的点的对应关系矩阵。
然而与摄像机校准不同，仅使用投影仪无法获取参考平面上的图像。这个问题可以通过使用摄像头作为辅助设备来捕捉具有吸引力的点来解决，即通过摄像机来捕捉参考平面的图像，然后再求解出滑动平面中的点与参考平面中的点的对应关系矩阵。
关联Gi和Gs的第三单应矩阵被定义为图像平面中的点与滑动平面中的点的对应关系矩阵，根据前述的内容可以得到如下关系式：
Figure BDA0003615807030000085
Figure BDA0003615807030000086
其中，G表第三单应矩阵。
本发明实施例中，通过物理棋盘的棋盘格图像已经可以完成第一单应矩阵Gi的估计确定，因此可利用下式进行第二单应矩阵Gs的估计：Gs＝G-1Gi。
可以认识到，灵活的摄像机-投影仪校准方法需要同时估计Gi和Gs，而无需固定摄像机、投影仪或基准面。困难在于Gi和Gs的估计涉及两个实验，在第一个实验中，一个物理棋盘模式被放置在参考平面上，用于估算Gi；在第二个实验中，必须移除物理棋盘，因为它干扰了估计Gs所需的投影模式。在实际应用中，这两步程序往往不切实际，并且容易受到失调误差的影响而出错。本发明实施例通过对叠加颜色棋盘的不同通道的灰度图像进行提取，则正好克服了这一缺陷。
进一步作为可选的实施方式，第一参数包括第一内在参数和第一外在参数，第二参数包括第二内在参数和第二外在参数，第一参数和第二参数通过奇异值分解法计算得到。
进一步作为可选的实施方式，第一参数和第二参数通过下式确定：
Figure BDA0003615807030000091
Figure BDA0003615807030000092
Figure BDA0003615807030000093
Figure BDA0003615807030000094
其中，Ks表示第一内在参数，(Rs,k，ts,k)表示第一外在参数，Ki表示第二内在参数，(Ri,k，ti,k)表示第二外在参数，x(μ)、y(μ)以及z(μ)表示图像平面中的点μ在参考平面中对应的点的x坐标、y坐标以及z坐标，
Figure BDA0003615807030000099
表示齐次算子，ν(μ)表示图像平面中的点μ在滑动平面中对应的点。
具体地，摄像机-投影仪的参数可以使用三角测量方法直接重建三维表面来确定。考虑φx(μ)和φy(μ)的绝对相位是由垂直和水平条纹光栅投影产生的图案解调而来，滑动平面中与图像平面中的点μ相对应的点ν的坐标如下所示：
Figure BDA0003615807030000095
其中fx和fy是投影光栅的空间频率。对于每一点μ在图像平面上，被测物体表面上对应点的坐标(x、y、z)可计算为：
Figure BDA0003615807030000096
Figure BDA0003615807030000097
Figure BDA0003615807030000098
比例因子λi(μ)和λs(μ)计算如下：
Figure BDA0003615807030000101
其中，[·]T表示转置操作。
联立上式进行计算，即可得到投影仪的第一内在参数Ks、第一外在参数(Rs，k，ts，k)，以及摄像机的第二内在参数Ki、第二外在参数(Ri，k，ti，k)。可以理解的是，下标中的k用于标识第k次设备布置，通过多次不同的设备布置重复前述的标定过程，即可完成摄像机-投影仪系统的标定。
应该认识到，本发明实施例在投影仪投影第一颜色的投影棋盘的同时，在参考平面上设置一个第二颜色的物理棋盘，从而可以得到叠加颜色棋盘，然后通过摄像机获取叠加颜色棋盘的图像信息，根据第一颜色和第二颜色选取两个合适的颜色分量，再分别提取两个颜色分量对应的颜色通道上的灰度图像，从而可以恢复单个投影棋盘和单个物理棋盘的棋盘格图像，便于获取摄像机和投影仪标定定所需的单应矩阵，从而可以确定投影仪的第一参数和摄像机的第二参数。本发明实施例的摄像机-投影仪标定方法不受摄像机、投影仪以及参照平面的位置和方向约束，且在标定过程中无需进行物理棋盘的移除，提高了摄像机-投影仪标定的效率，降低了人力成本和时间成本。
参照图5，本发明实施例提供了一种基于颜色棋盘的摄像机-投影仪标定系统，包括：
叠加颜色棋盘投影模块，用于通过投影仪将投影棋盘投影到预先设置有物理棋盘的参考平面，得到叠加颜色棋盘，其中，投影棋盘的第一颜色与物理棋盘的第二颜色不同，参考平面的颜色为白色；
图像获取模块，用于通过摄像机获取叠加颜色棋盘的第一图像信息；
颜色分量确定模块，用于确定第一颜色分量和第二颜色分量，使得第一颜色具有第一颜色分量但不具有第二颜色分量，第二颜色具有第二颜色分量但不具有第一颜色分量；
灰度图像提取模块，用于根据第一颜色分量从第一图像信息中提取对应颜色通道的第一灰度图像，根据第二颜色分量从第一图像信息中提取对应颜色通道的第二灰度图像；
参数确定模块，用于根据第一灰度图像和第二灰度图像确定投影仪的第一参数和摄像机的第二参数。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
参照图6，本发明实施例提供了一种基于颜色棋盘的摄像机-投影仪标定装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当上述至少一个程序被上述至少一个处理器执行时，使得上述至少一个处理器实现上述的一种基于颜色棋盘的摄像机-投影仪标定方法。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，该处理器可执行的程序在由处理器执行时用于执行上述一种基于颜色棋盘的摄像机-投影仪标定方法。
本发明实施例的一种计算机可读存储介质，可执行本发明方法实施例所提供的一种基于颜色棋盘的摄像机-投影仪标定方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或上述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，上述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印上述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得上述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于颜色棋盘的摄像机-投影仪标定方法，其特征在于，包括以下步骤：
通过投影仪将投影棋盘投影到预先设置有物理棋盘的参考平面，得到叠加颜色棋盘，其中，所述投影棋盘的第一颜色与所述物理棋盘的第二颜色不同，所述参考平面的颜色为白色；
通过摄像机获取所述叠加颜色棋盘的第一图像信息；
确定第一颜色分量和第二颜色分量，使得所述第一颜色具有所述第一颜色分量但不具有所述第二颜色分量，所述第二颜色具有所述第二颜色分量但不具有所述第一颜色分量；
根据所述第一颜色分量从所述第一图像信息中提取对应颜色通道的第一灰度图像，根据所述第二颜色分量从所述第一图像信息中提取对应颜色通道的第二灰度图像；
根据所述第一灰度图像和所述第二灰度图像确定所述投影仪的第一参数和所述摄像机的第二参数。
2.根据权利要求1所述的一种基于颜色棋盘的摄像机-投影仪标定方法，其特征在于：所述第一颜色为青色，所述第二颜色为黄色，所述第一颜色分量为蓝色分量，所述第二颜色分量为红色分量。
3.根据权利要求1所述的一种基于颜色棋盘的摄像机-投影仪标定方法，其特征在于，所述投影棋盘的棋盘格图案和所述物理棋盘的棋盘格图案均通过下式生成：
Figure FDA0003615807020000011
gx(x，y)＝sin(πx)，
gy(x，y)＝sin(πy)，
gr(x，y)＝sin[2θ(x，y)]sin[2(n+1)θ(x，y)]，
θ(x，y)＝arctan(y，x)，
其中，所述投影棋盘的棋盘格图案的y轴与所述物理棋盘的棋盘格图像的y轴反向设置，sign[·]表示符号函数，x∈[-n，n+2]，y∈[-n，n+1]，n表示参考线的数量。
4.根据权利要求1所述的一种基于颜色棋盘的摄像机-投影仪标定方法，其特征在于，所述根据所述第一灰度图像和所述第二灰度图像确定所述投影仪的第一参数和所述摄像机的第二参数这一步骤，其具体包括：
根据所述第一灰度图像和所述第二灰度图像确定结构光系统；
根据所述结构光系统确定第一单应矩阵和第二单应矩阵，所述第一单应矩阵表示图像平面中的点与参考平面中的点的对应关系矩阵，所述第二单应矩阵表示滑动平面中的点与参考平面中的点的对应关系矩阵；
根据所述第一单应矩阵确定所述摄像机的第二参数，根据所述第二单应矩阵确定所述投影仪的第一参数。
5.根据权利要求4所述的一种基于颜色棋盘的摄像机-投影仪标定方法，其特征在于，所述第一单应矩阵通过下式确定：
Figure FDA0003615807020000021
其中，μ表示图像平面中的点，ρ表示参考平面中的点，
Figure FDA0003615807020000022
表示齐次算子，Gi表示第一单应矩阵；
所述第二单应矩阵通过下式确定：
Figure FDA0003615807020000023
Gs＝G-1Gi，
其中，ν表示滑动平面中的点，G表示第三单应矩阵，所述第三单应矩阵表示图像平面中的点与滑动平面中的点的对应关系矩阵，Gs表示第二单应矩阵。
6.根据权利要求4所述的一种基于颜色棋盘的摄像机-投影仪标定方法，其特征在于：所述第一参数包括第一内在参数和第一外在参数，所述第二参数包括第二内在参数和第二外在参数，所述第一参数和所述第二参数通过奇异值分解法计算得到。
7.根据权利要求6所述的一种基于颜色棋盘的摄像机-投影仪标定方法，其特征在于，所述第一参数和所述第二参数通过下式确定：
Figure FDA0003615807020000024
Figure FDA0003615807020000025
Figure FDA0003615807020000026
Figure FDA0003615807020000027
其中，Ks表示第一内在参数，(Rs,k，ts,k)表示第一外在参数，Ki表示第二内在参数，(Ri,k，ti,k)表示第二外在参数，x(μ)、y(μ)以及z(μ)表示图像平面中的点μ在参考平面中对应的点的x坐标、y坐标以及z坐标，
Figure FDA0003615807020000028
表示齐次算子，ν(μ)表示图像平面中的点μ在滑动平面中对应的点。
8.一种基于颜色棋盘的摄像机-投影仪标定系统，其特征在于，包括：
叠加颜色棋盘投影模块，用于通过投影仪将投影棋盘投影到预先设置有物理棋盘的参考平面，得到叠加颜色棋盘，其中，所述投影棋盘的第一颜色与所述物理棋盘的第二颜色不同，所述参考平面的颜色为白色；
图像获取模块，用于通过摄像机获取所述叠加颜色棋盘的第一图像信息；
颜色分量确定模块，用于确定第一颜色分量和第二颜色分量，使得所述第一颜色具有所述第一颜色分量但不具有所述第二颜色分量，所述第二颜色具有所述第二颜色分量但不具有所述第一颜色分量；
灰度图像提取模块，用于根据所述第一颜色分量从所述第一图像信息中提取对应颜色通道的第一灰度图像，根据所述第二颜色分量从所述第一图像信息中提取对应颜色通道的第二灰度图像；
参数确定模块，用于根据所述第一灰度图像和所述第二灰度图像确定所述投影仪的第一参数和所述摄像机的第二参数。
9.一种基于颜色棋盘的摄像机-投影仪标定装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1至7中任一项所述的一种基于颜色棋盘的摄像机-投影仪标定方法。
10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1至7中任一项所述的一种基于颜色棋盘的摄像机-投影仪标定方法。
CN202210443971.8A 2022-04-26 2022-04-26 基于颜色棋盘的摄像机-投影仪标定方法、系统及介质 Pending CN114782551A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210443971.8A CN114782551A (zh) 2022-04-26 2022-04-26 基于颜色棋盘的摄像机-投影仪标定方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210443971.8A CN114782551A (zh) 2022-04-26 2022-04-26 基于颜色棋盘的摄像机-投影仪标定方法、系统及介质

Publications (1)

Publication Number Publication Date
CN114782551A true CN114782551A (zh) 2022-07-22

Family

ID=82433435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210443971.8A Pending CN114782551A (zh) 2022-04-26 2022-04-26 基于颜色棋盘的摄像机-投影仪标定方法、系统及介质

Country Status (1)

Country Link
CN (1) CN114782551A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576379A (zh) * 2009-05-12 2009-11-11 四川大学 基于二维彩色标靶的主动投影三维测量系统快速标定方法
CN103646394A (zh) * 2013-11-26 2014-03-19 福州大学 一种基于Kinect摄像机的混合视觉系统标定方法
JP2016144123A (ja) * 2015-02-04 2016-08-08 公益財団法人鉄道総合技術研究所 障害物検知装置
CN113989392A (zh) * 2021-11-26 2022-01-28 深圳市同为数码科技股份有限公司 拼接摄像机的彩色棋盘格标定方法、装置及摄像机

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576379A (zh) * 2009-05-12 2009-11-11 四川大学 基于二维彩色标靶的主动投影三维测量系统快速标定方法
CN103646394A (zh) * 2013-11-26 2014-03-19 福州大学 一种基于Kinect摄像机的混合视觉系统标定方法
JP2016144123A (ja) * 2015-02-04 2016-08-08 公益財団法人鉄道総合技術研究所 障害物検知装置
CN113989392A (zh) * 2021-11-26 2022-01-28 深圳市同为数码科技股份有限公司 拼接摄像机的彩色棋盘格标定方法、装置及摄像机

Similar Documents

Publication Publication Date Title
Falcao et al. Plane-based calibration of a projector-camera system
US10008007B2 (en) Method for generating an array of 3-D points
KR101461068B1 (ko) 삼차원 계측장치, 삼차원 계측방법 및 기억매체
US8269836B2 (en) Image capture, alignment, and registration
CN103697815B (zh) 基于相位编码的混频结构光三维信息获取方法
Xu et al. A simple calibration method for structured light-based 3D profile measurement
CN105976354B (zh) 基于颜色和梯度的元件定位方法和系统
JP2010071782A (ja) ３次元計測装置およびその方法
WO2014045508A1 (ja) 検査装置、検査方法、および検査プログラム
CN107271445B (zh) 一种缺陷检测方法及装置
JP2015021862A (ja) ３次元計測装置及び３次元計測方法
JP5222430B1 (ja) 寸法計測装置、寸法計測方法及び寸法計測装置用のプログラム
JP4516949B2 (ja) 三次元形状計測装置及び三次元形状計測方法
JP5611022B2 (ja) 三次元計測装置及び三次元計測方法
CN115082538A (zh) 基于线结构光投影的多目视觉平衡环零件表面三维重建系统及方法
CN112292577B (zh) 三维测量装置以及方法
JP2008281481A (ja) 解像測定装置及び方法
CN110044266B (zh) 基于散斑投影的摄影测量系统
CN111652943A (zh) 离焦数字条纹投影标定装置及方法
Liao et al. A calibration method for uncoupling projector and camera of a structured light system
CN114187363A (zh) 一种获取径向畸变参数值的方法、装置以及移动终端
CN115375608A (zh) 检测方法及装置、检测设备和存储介质
CN114782551A (zh) 基于颜色棋盘的摄像机-投影仪标定方法、系统及介质
CN116008177A (zh) Smt元器件高度缺陷识别方法、系统及其可读介质
CN114549653A (zh) 一种相机标定方法、系统、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination