CN113284190B - 标定方法、装置、设备、存储介质及产品 - Google Patents
标定方法、装置、设备、存储介质及产品 Download PDFInfo
- Publication number
- CN113284190B CN113284190B CN202110644986.6A CN202110644986A CN113284190B CN 113284190 B CN113284190 B CN 113284190B CN 202110644986 A CN202110644986 A CN 202110644986A CN 113284190 B CN113284190 B CN 113284190B
- Authority
- CN
- China
- Prior art keywords
- point
- homography matrix
- calibration
- image
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请提供一种标定方法、装置、设备、存储介质及产品，方法包括：获取图像采集装置拍摄的标定板的第一图像；根据第一图像，确定标定板的第一单应性矩阵；根据第一单应性矩阵，确定图像采集装置的消失点以及地面的第二单应性矩阵。本申请中，使用包含标定图案的标定板来代替需要放置的多个锥桶，通过拍摄包含标定板的第一图像来进行标定，由于标定板的空间更小，因此可以有效减少标定过程中所需要的场地空间，从而提高适用性；另外，本申请是通过第一图像自动确定标定板的第一单应性矩阵，进而根据第一单应性矩阵确定图像采集装置的消失点以及地面的第二单应性矩阵，相比于人工标定的方式，可以有效提高标定效率以及标定结果的准确性。
Description
技术领域
本申请涉及标定技术领域，尤其涉及一种标定方法、装置、设备、存储介质及产品。
背景技术
ADAS，即智能驾驶辅助系统(Advanced Driver Assistance System)，其利用安装于车上的各式各样的传感器，在第一时间收集车内外的环境数据，进行静、动态物体的辨识、侦测与追踪等技术上的处理，从而能够让驾驶者在最快的时间察觉可能发生的危险，以引起注意和提高安全性的主动安全技术。其中，主要功能包括盲区监测、自动紧急刹车、行人碰撞预警、车道偏离预警等。
在ADAS功能投入使用之前，需要进行ADAS的图像采集装置(例如相机)标定处理，该处理过程可以是在汽车生产线上进行(产线标定)，也可以是在汽车售后的处理过程中进行(售后标定)。
然而，现有的标定处理需要的场地空间较大，且通常采用人工方式进行标定，导致现有的标定方法的适用性和准确性较低。
发明内容
本申请提供一种标定方法、装置、设备、存储介质及产品，可以解决标定方法需要场地空间大以及需要人工标定的问题，以提高标定方法的适用性以及准确性。
第一方面，本申请提供一种标定方法，包括：
获取图像采集装置拍摄的标定板的第一图像，所述标定板的中心点的水平高度与所述图像采集装置的镜头中心的水平高度相同；
根据所述第一图像，确定所述标定板的第一单应性矩阵；
根据所述第一单应性矩阵，确定所述图像采集装置的消失点以及地面的第二单应性矩阵。
在一些实施例中，所述根据所述第一图像，确定所述标定板的第一单应性矩阵，包括：
根据所述第一图像进行角点检测，得到所述第一图像中的角点的像素坐标；
获取所述角点的物理坐标；
根据所述角点的像素坐标以及所述物理坐标，确定所述标定板的第一单应性矩阵。
在一些实施例中，所述根据所述第一图像进行角点检测，得到所述第一图像中的角点的像素坐标，包括：
对所述第一图像进行二值化处理，得到第二图像；
从所述第二图像中提取标定图案；
根据提取的标定图案进行角点检测，得到所述标定图案的角点的像素坐标。
在一些实施例中，所述方法还包括：
确定所述图像采集装置的镜头中心与所述标定板的中心点的横向偏移量；
根据所述第二单应性矩阵，确定所述图像采集装置的消失点，包括：根据所述横向偏移量以及所述第一单应性矩阵，确定所述图像采集装置的消失点。
在一些实施例中，根据所述第一单应性矩阵，确定地面的第二单应性矩阵，包括：
根据所述标定板的第一单应性矩阵，以及所述地面的第二单应性矩阵与所述标定板的第一单应性矩阵的预设关系，确定所述地面的第二单应性矩阵。
在一些实施例中，根据所述第一单应性矩阵，确定地面的第二单应性矩阵，包括：
获取第一投影点的物理坐标以及第二投影点的物理坐标，所述第一投影点为标定板上的第一目标点在地面的投影点，所述第二投影点为标定板上的第二目标点在地面的投影点，所述第一目标点以及所述第二目标点为所述标定板的标定图案上的点，所述第一目标点与所述第二目标点不同；
根据所述图像采集装置的消失点、所述标定板的第一单应性矩阵，以及所述第一投影点的物理坐标以及第二投影点的物理坐标，确定所述地面的第二单应性矩阵。
在一些实施例中，所述根据所述图像采集装置的消失点、所述标定板的第一单应性矩阵，以及所述第一投影点的物理坐标以及第二投影点的物理坐标，确定所述地面的第二单应性矩阵，包括：
在所述图像采集装置的消失点与所述第一投影点的连线上确定至少一个第三目标点，在所述图像采集装置的消失点与所述第二投影点的连线上确定至少一个第四目标点；
根据所述第一投影点的物理坐标、所述第二投影点的物理坐标、以及所述图像采集装置的消失点的物理坐标，确定所述第三目标点的物理坐标以及所述第四目标点的物理坐标；
根据所述第一投影点的物理坐标、所述第二投影点的物理坐标、所述第三目标点的物理坐标、所述第四目标点的物理坐标、以及所述标定板的第一单应性矩阵，得到所述第一投影点的像素坐标、所述第二投影点的像素坐标、所述第三目标点的像素坐标以及所述第四目标点的像素坐标；
根据所述第一投影点的物理坐标及像素坐标、所述第二投影点的物理坐标及像素坐标、所述第三目标点的物理坐标及像素坐标、以及所述第四目标点的物理坐标以及像素坐标，确定所述地面的第二单应性矩阵。
第二方面，本申请提供一种标定装置，包括：
图像获取模块，用于获取图像采集装置拍摄的标定板的第一图像，所述标定板的中心点的水平高度与所述图像采集装置的镜头中心的水平高度相同；
第一确定模块，用于根据所述第一图像，确定所述标定板的第一单应性矩阵；
第二确定模块，用于根据所述第一单应性矩阵，确定所述图像采集装置的消失点以及地面的第二单应性矩阵。
第三方面，本申请提供一种标定设备，包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的标定方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述的标定方法。
第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的标定方法。
本申请提供的标定方法、装置、设备、存储介质及产品，方法包括：获取图像采集装置拍摄的标定板的第一图像，标定板的中心点的水平高度与图像采集装置的镜头中心的水平高度相同；根据第一图像，确定标定板的第一单应性矩阵；根据第一单应性矩阵，确定图像采集装置的消失点以及地面的第二单应性矩阵。本申请中，使用包含标定图案的标定板来代替需要放置的多个锥桶，通过拍摄包含标定板的第一图像来进行标定，由于标定板的空间更小，因此可以有效减少标定过程中所需要的场地空间，从而提高适用性；另外，本申请是通过第一图像自动确定标定板的第一单应性矩阵，进而根据第一单应性矩阵确定图像采集装置的消失点以及地面的第二单应性矩阵，相比于人工标定的方式，可以有效提高标定效率以及标定结果的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为图像采集装置的消失点的示意图；
图2为现有技术中确定图像采集装置的消失点的示意图；
图3为本申请实施例提供的标定方法的示意图；
图4为本申请实施例中根据第一图像确定标定板的第一单应性矩阵的示意图；
图5a为本申请实施例提供的第二图像的示例图；
图5b为本申请实施例提供的从第二图像中提取标定图案的示例图；
图6a为本申请实施例中确定第三目标点以及第四目标点的示例图；
图6b为本申请实施例中确定第三目标点以及第四目标点的另一示例图；
图7为本申请实施例提供的标定装置的示意图；
图8为本申请实施例提供的标定设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本申请实施例中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的商品或者系统中还存在另外的相同要素。
在进行标定的过程中，图像采集装置的消失点的确定具有重要意义。图像采集装置的消失点是指地面上两条平行线的视觉相交点。图1为图像采集装置的消失点的示意图，如图1所示，L1和L2为两条平行的车道线，L1和L2的视觉相交点VP即表示图像采集装置的消失点。
图2为现有技术中确定图像采集装置的消失点的示意图，如图2所示，以设置于车辆的图像采集装置为例进行解释说明，在确定图像采集装置的消失点时，工作人员首先将车辆驾驶至空旷的场地，然后在图像采集装置前方沿图像采集装置镜头中心方向摆放两列锥桶(图中位于图像采集装置镜头中心方向两侧的白色圆点)，其中，需要保证每列锥桶呈直线摆放，每一列中相邻锥桶的距离相等(例如3米)，且两列锥桶平行。然后，工作人员使用图像采集装置拍摄锥桶的图像，并通过标定工具点击图像中每个锥桶上的参考点，获取各个锥桶在图像上的像素坐标，最后通过最小二乘法等方式进行直线拟合，求解出代表两列锥桶的两条直线的交点，即为图像采集装置的消失点VP。
然而，上述确定图像采集装置的消失点的过程中，由于需要放置多个锥桶，导致确定图像采集装置的消失点所需要的场地空间较大，例如在相邻锥桶之间的间距为3米时，可能需要宽为4米左右、长为30米左右的矩形区域，导致方法的适用性较差。另外，由于需要进行人工标定，会导致上述处理所花费的时间较长，且准确性低。
另外，在进行标定的过程中，确定地面的单应性矩阵也非常重要。
现有技术在确定地面的单应性矩阵时，工作人员首先将车辆驾驶至空旷的场地，然后在图像采集装置前方沿图像采集装置镜头中心方向摆放两列锥桶，其中，需要保证每列锥桶呈直线摆放，每一列中相邻锥桶的距离相等(例如5米)，且两列锥桶平行。然后，工作人员使用图像采集装置拍摄锥桶的图像，并通过标定工具点击图像中每个锥桶上的参考点，获取每个参考点在图像上的像素坐标以及对应的世界坐标，最后，根据参考点的坐标(最少需要带入4组点对)即可求解出地面的单应性矩阵Hg。
同样，上述确定地面的单应性矩阵的过程中，由于需要放置多个锥桶，导致确定图像采集装置的消失点所需要的场地空间较大，导致方法的适用性较差。另外，由于需要进行人工标定，会导致上述处理所花费的时间较长，且准确性低。
本申请提供一种标定方法、装置、设备、存储介质及产品，可以解决标定方法需要场地空间大以及需要人工标定的问题，以提高标定方法的适用性以及准确性。
在本申请的技术方案中，使用包含标定图案的标定板来代替需要放置的多个锥桶，通过拍摄包含标定板的第一图像来进行标定，由于标定板的空间更小，因此可以有效减少标定过程中所需要的场地空间，从而提高适用性；另外，本申请是通过第一图像自动确定标定板的第一单应性矩阵，进而根据第一单应性矩阵确定图像采集装置的消失点以及地面的第二单应性矩阵，相比于人工标定的方式，可以有效提高标定效率以及标定结果的准确性。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
可以理解，本申请中标定方法的处理步骤可以由终端设备或者服务器实现，其中，终端设备例如可以是设置于车辆上的车载终端设备等。
图3为本申请实施例提供的标定方法的示意图，以标定方法应用于终端设备为例进行解释说明，如图3所示，该方法主要包括以下步骤：
S100、获取图像采集装置拍摄的标定板的第一图像，标定板的中心点的水平高度与图像采集装置的镜头中心的水平高度相同。
具体的，在进行标定时，首先由工作人员将装有待标定的图像采集装置的车辆驾驶至预设的指定位置，并保证车辆正向朝前，车头无偏向，以使得标定板位于该图像采集装置的前方。另外，标定板的中心点的水平高度可以根据车辆的尺寸以及图像采集装置在车辆的安装高度进行调整，以使得标定板的中心点的水平高度与图像采集装置的镜头中心的水平高度相同。
在标定板与图像采集装置的位置关系满足要求后，通过图像采集装置拍摄标定板的第一图像，终端设备获取该第一图像，以进行标定处理。可以理解，只有在标定板与图像采集装置的位置关系满足上述要求时，通过图像采集装置拍摄的标定板的第一图像才具有足够的参考意义，以保证标定结果的准确性。
S200、根据第一图像，确定标定板的第一单应性矩阵。
在得到第一图像后，终端设备根据该第一图像确定标定板的第一单应性矩阵，标定板的第一单应性矩阵表征标定板上的点的图像坐标(像素坐标)与世界坐标(物理坐标)之间的转换关系。
S300、根据第一单应性矩阵，确定图像采集装置的消失点以及地面的第二单应性矩阵；
终端设备在确定标定板的第一单应性矩阵后，根据第一单应性矩阵来确定图像采集装置的消失点以及地面的第二单应性矩阵。其中，地面的第二单应性矩阵表征地面上的点的图像坐标(像素坐标)与世界坐标(物理坐标)之间的转换关系。
从而，通过本实施例的处理过程，终端设备根据第一图像即可自动确定标定板的第一单应性矩阵、图像采集装置的消失点以及地面的第二单应性矩阵，从而完成图像采集装置的标定处理，相比于现有技术，本申请在进行标定的过程中，无需进行人工标点，因此标定的的效率和准确性更高。
本实施例提供一种标定方法，使用包含标定图案的标定板来代替需要放置的多个锥桶，通过拍摄包含标定板的第一图像来进行标定，由于标定板的空间更小，因此可以有效减少标定过程中所需要的场地空间，从而提高适用性；另外，本申请是通过第一图像自动确定标定板的第一单应性矩阵，进而根据第一单应性矩阵确定图像采集装置的消失点以及地面的第二单应性矩阵，相比于人工标定的方式，可以有效提高标定效率以及标定结果的准确性。
在一些实施例中，对根据第一图像确定标定板的第一单应性矩阵的处理过程进行解释说明。
图4为本申请实施例中根据第一图像确定标定板的第一单应性矩阵的示意图，如图4所示，根据第一图像，确定标定板的第一单应性矩阵，包括：
S210、根据第一图像进行角点检测，得到第一图像中的角点的像素坐标；
S220、获取角点的物理坐标；
S230、根据角点的像素坐标以及物理坐标，确定标定板的第一单应性矩阵。
其中，角点是指标定板中标定图案的顶点，例如，当标定图案为矩形时，每个正方形图案包括四个角点。
由于标定板的第一单应性矩阵表征标定板上的点的图像坐标(像素坐标)与世界坐标(物理坐标)之间的转换关系，因此，通过角点的像素坐标以及对应的物理坐标，即可确定得到标定板的第一单应性矩阵。
在一些实施例中，根据第一图像进行角点检测，得到第一图像中的角点的像素坐标，包括：
S211、对第一图像进行二值化处理，得到第二图像；
S212、从第二图像中提取标定图案；
S213、根据提取的标定图案进行角点检测，得到标定图案的角点的像素坐标。
其中，角点的物理坐标是指角点在世界坐标系的坐标。具体的，终端设备通过对第一图像进行二值化处理，可以得到仅包括黑白两种颜色的第二图像，即第二图像中各像素点的像素值为0或者255；然后，通过对第二图像进行图像检测以提取出标定图案；在提取得到标定图案后，通过对标定图案进行角点检测可以得到标定板的角点的像素坐标。通过进行二值化处理，可以提高标定图案提取结果的准确度，从而使得标定板角点的像素坐标更加准确。
另外，终端设备可以根据标定板的设置位置以及规格等信息获取角点的物理坐标，从而，根据角点的像素坐标以及物理坐标即可确定标定板的第一单应性矩阵。
终端设备在得到角点的像素坐标以及物理坐标，具体可以通过以下公式来计算得到标定板的第一单应性矩阵：
Ab＝Hb×Cb
AbAb T＝HbCb*Ab T
Hb＝(AbAb T)*(CbAb T)-1
其中，Ab为由m个角点的物理坐标组成的矩阵，Cb为由m个角点的像素坐标组成的矩阵，Hb为标定板的第一单应性矩阵，其中，h33为1；Ab T表示对矩阵Ab进行矩阵转置运算。
通过上述处理过程，可以自动确定标定板的第一单应性矩阵，从而提高确定标定板的第一单应性矩阵的处理效率，同时提高标定板的第一单应性矩阵确定结果的准确性。
图5a为本申请实施例提供的第二图像的示例图，图5b为本申请实施例提供的从第二图像中提取标定图案的示例图，如图5a及图5b所示，标定板上的标定图案包括设置于标定板左半部分的第一子图案以及设置于标定板右半部分的第二子图案，其中，第一子图案包括呈倒三角排列方式的三个矩形图案，第二子图案包括呈正三角排列方式的三个矩形图案。通过将第一图案进行二值化处理，得到黑白化的第二图像，可以更好地提取标定图案。在提取得到标定图案后，标定图案中每个矩形框的顶点即为标定图案的角点，从而，通过角点的像素坐标以及物理坐标即可确定标定板的第一单应性矩阵。
在一些实施例中，对根据第一图像确定图像采集装置的消失点的处理过程进行解释说明。
本实施例中，方法还包括：确定图像采集装置的镜头中心与标定板的中心点的横向偏移量；
对应的，根据第二单应性矩阵，确定图像采集装置的消失点，包括：S310、根据横向偏移量以及第一单应性矩阵，确定图像采集装置的消失点。
具体的，在标定板位于图像采集装置前方且标定板的中心点的水平高度与图像采集装置的镜头中心的水平高度相同的情况下，终端设备可以根据车辆相对于标定板的位置以及图像采集装置在车辆上的安装位置来确定图像采集装置的镜头中心与标定板的中心点的横向偏移量。
可选的，终端设备可以是直接获取车辆相对于标定板的位置以及图像采集装置在车辆上的安装位置，然后根据上述位置信息来确定图像采集装置的镜头中心与标定板的中心点的横向偏移量。该横向偏移量也可以是由其他装置/单元/模块确定，然后终端设备直接从其他装置/单元/模块获取该横向偏移量。
在得到图像采集装置的镜头中心与标定板的中心点的横向偏移量以及标定板的第一单应性矩阵，终端设备根据该横向偏移量以及该第一单应性矩阵自动确定图像采集装置的消失点，以便于进行标定处理。
通过上述处理过程，可以自动确定图像采集装置的消失点，从而提高确定图像采集装置的消失点的处理效率，同时提高图像采集装置的消失点确定结果的准确性。
在一些实施例中，根据横向偏移量以及第一单应性矩阵，通过以下公式确定图像采集装置的消失点：
VP＝Hb*t
其中，VP表示图像采集装置的消失点，Hb表示标定板的第一单应性矩阵，t表示横向偏移量。
在一些实施例中，根据第一单应性矩阵，确定地面的第二单应性矩阵，包括：S320、根据标定板的第一单应性矩阵，以及地面的第二单应性矩阵与标定板的第一单应性矩阵的预设关系，确定地面的第二单应性矩阵。
在产线标定等实际场景，标定板相对于地面的位置可以认为是固定不变的，因此，标定板的第一单应性矩阵与地面的第二单应性矩阵的关系也保持不变，因此，在进行标定之前，可以通过图像采集装置进行预标定的方式求得地面的第二单应性矩阵Hg0与标定板的第一单应性矩阵Hb0，并求解得到标定板的第一单应性矩阵与地面的第二单应性矩阵的关系。在对待标定的图像采集装置进行标定时，由于待标定的图像采集装置相比于进行预标定的图像采集装置而言，其位置发生了变化，因此，待标定的图像采集装置对应的标定板的第一单应性矩阵与地面的第二单应性矩阵也会发生变化，但是，标定板的第一单应性矩阵与地面的第二单应性矩阵的关系保持不变。
基于此，定义R表示标定板的第一单应性矩阵与地面的第二单应性矩阵的预设关系，则第二单应性矩阵Hg0与第一单应性矩阵Hb0的函数关系为：
Hg0＝R*Hb0
从而，通过预标定得到的第二单应性矩阵Hg0以及第一单应性矩阵Hb0即可求得标定板的第一单应性矩阵与地面的第二单应性矩阵的预设关系R。
终端设备在根据第一图像进行标定时，可以预先获取地面的第二单应性矩阵与标定板的第一单应性矩阵的预设关系，然后在根据第一图像确定标定板的第一单应性矩阵后，根据标定板的第一单应性矩阵以及地面的第二单应性矩阵与标定板的第一单应性矩阵的预设关系即可确定地面的第二单应性矩阵。
本实施例中，通过预先确定并保存标定板的第一单应性矩阵与地面的第二单应性矩阵的预设关系，在获取新的第一单应性矩阵后，根据该新的第一单应性矩阵以及该预设关系即可确定得到对应的第二单应性矩阵，从而提高标定效率以及准确性。
在一些实施例中，根据标定板的第一单应性矩阵，以及地面的第二单应性矩阵与标定板的第一单应性矩阵的预设关系，通过以下公式确定地面的第二单应性矩阵：
Hg＝R*Hb
其中，Hg表示地面的第二单应性矩阵，R表示地面的第二单应性矩阵与标定板的第一单应性矩阵的预设关系，Hb表示第一单应性矩阵。
在一些实施例中，根据第一单应性矩阵，确定地面的第二单应性矩阵，包括：
S331、获取第一投影点的物理坐标以及第二投影点的物理坐标，第一投影点为标定板上的第一目标点在地面的投影点，第二投影点为标定板上的第二目标点在地面的投影点，第一目标点以及第二目标点为标定板的标定图案上的点，第一目标点与第二目标点不同；
S332、根据图像采集装置的消失点、标定板的第一单应性矩阵，以及第一投影点的物理坐标以及第二投影点的物理坐标，确定地面的第二单应性矩阵。
具体的，第一目标点以及第二目标点可以分别是标定板上左右两部分的标定图案的中心点，第一投影点即为第一目标点在地面上的正投影位置的点，第二投影点即为第二目标点在地面上的正投影位置的点。
终端设备在得到图像采集装置的消失点、标定板的第一单应性矩阵、第一投影点的物理坐标以及第二投影点的物理坐标后，即可确定地面的第二单应性矩阵。
在一些实施例中，根据图像采集装置的消失点、标定板的第一单应性矩阵，以及第一投影点的物理坐标以及第二投影点的物理坐标，确定地面的第二单应性矩阵，包括：
S332a、在图像采集装置的消失点与第一投影点的连线上确定至少一个第三目标点，在图像采集装置的消失点与第二投影点的连线上确定至少一个第四目标点；
S332b、根据第一投影点的物理坐标、第二投影点的物理坐标、以及图像采集装置的消失点的物理坐标，确定第三目标点的物理坐标以及第四目标点的物理坐标；
S332c、根据第一投影点的物理坐标、第二投影点的物理坐标、第三目标点的物理坐标、第四目标点的物理坐标、以及标定板的第一单应性矩阵，得到第一投影点的像素坐标、第二投影点的像素坐标、第三目标点的像素坐标以及第四目标点的像素坐标；
S332d、根据第一投影点的物理坐标及像素坐标、第二投影点的物理坐标及像素坐标、第三目标点的物理坐标及像素坐标、以及第四目标点的物理坐标以及像素坐标，确定地面的第二单应性矩阵。
具体的，在确定第三目标点以及第四目标点时，需要保证第一比值与第二比值相等，其中，第一比值为第三目标点到第一投影点的距离与第三目标点到图像采集装置的消失点的距离的比值，第二比值为第四目标点到第二投影点的距离与第三目标点到图像采集装置的消失点的距离的比值，即等比例确定第三目标点以及第四目标点。
例如，图6a为本申请实施例中确定第三目标点以及第四目标点的示例图，如图6a所示，第三目标点C例如可以是图像采集装置的消失点VP与第一投影点A的连线的中点，第四目标点D具体可以是图像采集装置的消失点VP与第二投影点B的连线的中点。
可选的，第三目标点的数量也可以是至少两个，第四目标点的数量也可以是至少两个。
例如，图6b为本申请实施例中确定第三目标点以及第四目标点的示例图，如图6b所示，第三目标点例如可以是图像采集装置的消失点VP与第一投影点A的连线的1/3点及2/3点，即第三目标点包括E点和G点，第四目标点具体可以是图像采集装置的消失点VP与第二投影点B的连线的1/3点及2/3点，即第四目标点包括F点和H点。
在确定第三目标点以及第四目标点后，根据第一投影点的物理坐标、第二投影点的物理坐标、以及图像采集装置的消失点的物理坐标，确定第三目标点的物理坐标以及第四目标点的物理坐标。其中，第三目标点的横坐标与第一投影点的横坐标相同，第四目标点的横坐标与第二投影点的横坐标相同，然后结合图像采集装置模型可以求得第三目标点的纵坐标以及第四目标点的纵坐标：
其中，fx，fy为待标定的图像采集装置的焦距，cameraH为该图像采集装置的安装位置距离地面的高度。
然后，结合标定板的第一单应性矩阵可以得到上述各点的像素坐标。继而，根据上述各点的物理坐标以及像素坐标，通过以下公式即可求得地面的第二单应性矩阵：
Ag＝Hg×Cg
AgAg T＝HgCg*Ag T
Hg＝(AgAg T)*(CgAg T)-1
其中，Ag为由上述n个点(包括第一投影点、第二投影点、第三目标点以及第四目标点)的物理坐标组成的矩阵，Cg为由上述n个点的像素坐标组成的矩阵，Hg为地面的第二单应性矩阵，其中，h33为1；Ag T表示对矩阵Ag进行矩阵转置运算。
应该理解的是，虽然上述实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一些实施例中，提供一种标定装置。
图7为本申请实施例提供的标定装置的示意图，如图7所示，该装置包括：
图像获取模块100，用于获取图像采集装置拍摄的标定板的第一图像，标定板的中心点的水平高度与图像采集装置的镜头中心的水平高度相同；
第一确定模块200，用于根据第一图像，确定标定板的第一单应性矩阵；
第二确定模块300，用于根据第一单应性矩阵，确定图像采集装置的消失点以及地面的第二单应性矩阵。
关于标定装置的具体限定可以参见上文中对于标定方法的限定，在此不再赘述。上述标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本申请提供一种标定装置，使用包含标定图案的标定板来代替需要放置的多个锥桶，通过拍摄包含标定板的第一图像来进行标定，由于标定板的空间更小，因此可以有效减少标定过程中所需要的场地空间，从而提高适用性；另外，本申请是通过第一图像自动确定标定板的第一单应性矩阵，进而根据第一单应性矩阵确定图像采集装置的消失点以及地面的第二单应性矩阵，相比于人工标定的方式，可以有效提高标定效率以及标定结果的准确性。
在一些实施例中，第一确定模块200还用于：根据第一图像进行角点检测，得到第一图像中的角点的像素坐标；获取角点的物理坐标；根据角点的像素坐标以及物理坐标，确定标定板的第一单应性矩阵。
在一些实施例中，第一确定模块200还用于：对第一图像进行二值化处理，得到第二图像；从第二图像中提取标定图案；根据提取的标定图案进行角点检测，得到标定图案的角点的像素坐标。
在一些实施例中，第二确定模块300还用于：确定图像采集装置的镜头中心与标定板的中心点的横向偏移量；根据横向偏移量以及第一单应性矩阵，确定图像采集装置的消失点。
在一些实施例中，第二确定模块300还用于：根据标定板的第一单应性矩阵，以及地面的第二单应性矩阵与标定板的第一单应性矩阵的预设关系，确定地面的第二单应性矩阵。
在一些实施例中，第二确定模块300还用于：获取第一投影点的物理坐标以及第二投影点的物理坐标，第一投影点为标定板上的第一目标点在地面的投影点，第二投影点为标定板上的第二目标点在地面的投影点，第一目标点以及第二目标点为标定板的标定图案上的点，第一目标点与第二目标点不同；根据图像采集装置的消失点、标定板的第一单应性矩阵，以及第一投影点的物理坐标以及第二投影点的物理坐标，确定地面的第二单应性矩阵。
在一些实施例中，第二确定模块300还用于：在图像采集装置的消失点与第一投影点的连线上确定至少一个第三目标点，在图像采集装置的消失点与第二投影点的连线上确定至少一个第四目标点；根据第一投影点的物理坐标、第二投影点的物理坐标、以及图像采集装置的消失点的物理坐标，确定第三目标点的物理坐标以及第四目标点的物理坐标；根据第一投影点的物理坐标、第二投影点的物理坐标、第三目标点的物理坐标、第四目标点的物理坐标、以及标定板的第一单应性矩阵，得到第一投影点的像素坐标、第二投影点的像素坐标、第三目标点的像素坐标以及第四目标点的像素坐标；根据第一投影点的物理坐标及像素坐标、第二投影点的物理坐标及像素坐标、第三目标点的物理坐标及像素坐标、以及第四目标点的物理坐标以及像素坐标，确定地面的第二单应性矩阵。
在一些实施例中，提供一种标定设备。图8为本申请实施例提供的标定设备的结构示意图，如图8所示，该标定设备10包括：处理器11以及存储器12。
存储器12用于存储程序和数据，处理器11调用存储器存储的程序，以执行前述任一方法实施例的技术方案。
在上述标定设备中，存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线连接。存储器中存储有实现数据访问控制方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储器中的软件功能模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理。
存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。进一步地，上述存储器内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在一些实施例中，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现本申请各方法实施例的步骤。
在一些实施例中，提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请各方法实施例的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (9)
1.一种标定方法，其特征在于，包括：
获取图像采集装置拍摄的标定板的第一图像，所述标定板的中心点的水平高度与所述图像采集装置的镜头中心的水平高度相同；
根据所述第一图像，确定所述标定板的第一单应性矩阵；
根据所述第一单应性矩阵，确定所述图像采集装置的消失点以及地面的第二单应性矩阵；
根据所述第一单应性矩阵，确定地面的第二单应性矩阵，包括：
根据第一投影点的物理坐标及像素坐标、第二投影点的物理坐标及像素坐标、第三目标点的物理坐标及像素坐标、以及第四目标点的物理坐标以及像素坐标，确定所述地面的第二单应性矩阵；
其中，所述第一投影点为标定板上的第一目标点在地面的投影点，所述第二投影点为标定板上的第二目标点在地面的投影点，所述第一目标点以及所述第二目标点为所述标定板的标定图案上的点，所述第一目标点与所述第二目标点不同；所述第三目标点为位于所述图像采集装置的消失点与所述第一投影点的连线上的至少一个点，所述第四目标点为位于所述图像采集装置的消失点与所述第二投影点的连线上的至少一个点。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像，确定所述标定板的第一单应性矩阵，包括：
根据所述第一图像进行角点检测，得到所述第一图像中的角点的像素坐标；
获取所述角点的物理坐标；
根据所述角点的像素坐标以及所述物理坐标，确定所述标定板的第一单应性矩阵。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像进行角点检测，得到所述第一图像中的角点的像素坐标，包括：
对所述第一图像进行二值化处理，得到第二图像；
从所述第二图像中提取标定图案；
根据提取的标定图案进行角点检测，得到所述标定图案的角点的像素坐标。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述图像采集装置的镜头中心与所述标定板的中心点的横向偏移量；
根据所述第二单应性矩阵，确定所述图像采集装置的消失点，包括：根据所述横向偏移量以及所述第一单应性矩阵，确定所述图像采集装置的消失点。
5.根据权利要求1-4任一项所述的方法，其特征在于，根据所述第一单应性矩阵，确定地面的第二单应性矩阵，包括：
根据所述标定板的第一单应性矩阵，以及所述地面的第二单应性矩阵与所述标定板的第一单应性矩阵的预设关系，确定所述地面的第二单应性矩阵。
6.根据权利要求4所述的方法，其特征在于，根据第一投影点的物理坐标及像素坐标、第二投影点的物理坐标及像素坐标、第三目标点的物理坐标及像素坐标、以及第四目标点的物理坐标以及像素坐标，确定所述地面的第二单应性矩阵，包括：
获取所述第一投影点的物理坐标以及所述第二投影点的物理坐标；
在所述图像采集装置的消失点与所述第一投影点的连线上确定至少一个第三目标点，在所述图像采集装置的消失点与所述第二投影点的连线上确定至少一个第四目标点；
根据所述第一投影点的物理坐标、所述第二投影点的物理坐标、以及所述图像采集装置的消失点的物理坐标，确定所述第三目标点的物理坐标以及所述第四目标点的物理坐标；
根据所述第一投影点的物理坐标、所述第二投影点的物理坐标、所述第三目标点的物理坐标、所述第四目标点的物理坐标、以及所述标定板的第一单应性矩阵，得到所述第一投影点的像素坐标、所述第二投影点的像素坐标、所述第三目标点的像素坐标以及所述第四目标点的像素坐标；
根据所述第一投影点的物理坐标及像素坐标、所述第二投影点的物理坐标及像素坐标、所述第三目标点的物理坐标及像素坐标、以及所述第四目标点的物理坐标以及像素坐标，确定所述地面的第二单应性矩阵。
7.一种标定装置，其特征在于，包括：
图像获取模块，用于获取图像采集装置拍摄的标定板的第一图像，所述标定板的中心点的水平高度与所述图像采集装置的镜头中心的水平高度相同；
第一确定模块，用于根据所述第一图像，确定所述标定板的第一单应性矩阵；
第二确定模块，用于根据所述第一单应性矩阵，确定所述图像采集装置的消失点以及地面的第二单应性矩阵；
所述第二确定模块，具体用于根据第一投影点的物理坐标及像素坐标、第二投影点的物理坐标及像素坐标、第三目标点的物理坐标及像素坐标、以及第四目标点的物理坐标以及像素坐标，确定所述地面的第二单应性矩阵；其中，所述第一投影点为标定板上的第一目标点在地面的投影点，所述第二投影点为标定板上的第二目标点在地面的投影点，所述第一目标点以及所述第二目标点为所述标定板的标定图案上的点，所述第一目标点与所述第二目标点不同；所述第三目标点为位于所述图像采集装置的消失点与所述第一投影点的连线上的至少一个点，所述第四目标点为位于所述图像采集装置的消失点与所述第二投影点的连线上的至少一个点。
8.一种标定设备，其特征在于，包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-6任一项所述的标定方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-6任一项所述的标定方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110644986.6A CN113284190B (zh) | 2021-06-09 | 2021-06-09 | 标定方法、装置、设备、存储介质及产品 |
| PCT/CN2022/084101 WO2022257569A1 (zh) | 2021-06-09 | 2022-03-30 | 图像采集装置的标定 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110644986.6A CN113284190B (zh) | 2021-06-09 | 2021-06-09 | 标定方法、装置、设备、存储介质及产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113284190A CN113284190A (zh) | 2021-08-20 |
| CN113284190B true CN113284190B (zh) | 2023-04-25 |
Family
ID=77284046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110644986.6A Active CN113284190B (zh) | 2021-06-09 | 2021-06-09 | 标定方法、装置、设备、存储介质及产品 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113284190B (zh) |
| WO (1) | WO2022257569A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113284190B (zh) * | 2021-06-09 | 2023-04-25 | 上海临港绝影智能科技有限公司 | 标定方法、装置、设备、存储介质及产品 |
| CN115797468B (zh) * | 2023-02-03 | 2023-05-16 | 厦门农芯数字科技有限公司 | 一种鱼眼摄像头安装高度的自动校正方法、装置以及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107633536A (zh) * | 2017-08-09 | 2018-01-26 | 武汉科技大学 | 一种基于二维平面模板的相机标定方法及系统 |
| CN112085798A (zh) * | 2020-08-10 | 2020-12-15 | 深圳市优必选科技股份有限公司 | 摄像机标定方法、装置、电子设备及存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7356425B2 (en) * | 2005-03-14 | 2008-04-08 | Ge Security, Inc. | Method and system for camera autocalibration |
| CN107492123B (zh) * | 2017-07-07 | 2020-01-14 | 长安大学 | 一种利用路面信息的道路监控摄像机自标定方法 |
| CN109342008B (zh) * | 2018-11-09 | 2020-04-21 | 中国空气动力研究与发展中心高速空气动力研究所 | 基于单应性矩阵的风洞试验模型迎角单相机视频测量方法 |
| CN110599548A (zh) * | 2019-09-02 | 2019-12-20 | Oppo广东移动通信有限公司 | 摄像头的标定方法、装置、相机及计算机可读存储介质 |
| CN112562005A (zh) * | 2019-09-26 | 2021-03-26 | 华为技术有限公司 | 一种空间标定方法和系统 |
| CN111681285B (zh) * | 2020-06-09 | 2024-04-16 | 商汤集团有限公司 | 一种标定方法、装置、电子设备及存储介质 |
| CN111681286B (zh) * | 2020-06-09 | 2023-11-28 | 商汤集团有限公司 | 一种标定方法、装置、系统、电子设备及存储介质 |
| CN112489136B (zh) * | 2020-11-30 | 2024-04-16 | 商汤集团有限公司 | 标定方法、位置确定方法、装置、电子设备及存储介质 |
| CN113284190B (zh) * | 2021-06-09 | 2023-04-25 | 上海临港绝影智能科技有限公司 | 标定方法、装置、设备、存储介质及产品 |
-
2021
- 2021-06-09 CN CN202110644986.6A patent/CN113284190B/zh active Active
-
2022
- 2022-03-30 WO PCT/CN2022/084101 patent/WO2022257569A1/zh unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107633536A (zh) * | 2017-08-09 | 2018-01-26 | 武汉科技大学 | 一种基于二维平面模板的相机标定方法及系统 |
| CN112085798A (zh) * | 2020-08-10 | 2020-12-15 | 深圳市优必选科技股份有限公司 | 摄像机标定方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022257569A1 (zh) | 2022-12-15 |
| CN113284190A (zh) | 2021-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3751519B1 (en) | Method, apparatus, device and medium for calibrating pose relationship between vehicle sensor and vehicle | |
| CN113284190B (zh) | 标定方法、装置、设备、存储介质及产品 | |
| US9319667B2 (en) | Image conversion method and device using calibration reference pattern | |
| LU502288B1 (en) | Method and system for detecting position relation between vehicle and lane line, and storage medium | |
| CN111178215B (zh) | 一种传感器数据融合处理的方法和装置 | |
| CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| CN104167109B (zh) | 车辆位置的检测方法和检测装置 | |
| DE102013226476B4 (de) | Bildverarbeitungsverfahren und -system eines rundumsicht-überwachungssystems | |
| CN111508027A (zh) | 摄像机外参标定的方法和装置 | |
| CN112802092B (zh) | 一种障碍物感知方法、装置以及电子设备 | |
| CN110341621B (zh) | 一种障碍物检测方法及装置 | |
| CN113256739A (zh) | 车载bsd摄像头的自标定方法、设备和存储介质 | |
| CN113850867A (zh) | 相机参数标定及设备的控制方法、装置、设备及存储介质 | |
| CN108292469B (zh) | 位置信息确定方法、装置以及计算机存储介质 | |
| CN113609148A (zh) | 一种地图更新的方法和装置 | |
| CN110555801A (zh) | 一种航迹推演的校正方法、终端和存储介质 | |
| CN113658262B (zh) | 相机外参标定方法、装置、系统及存储介质 | |
| CN110515376B (zh) | 一种航迹推演校正的评价方法、终端和存储介质 | |
| CN117152265A (zh) | 一种基于区域提取的交通图像标定方法及装置 | |
| US11403770B2 (en) | Road surface area detection device | |
| CN114755663A (zh) | 车辆传感器的外参校准方法、装置及计算机可读存储介质 | |
| CN112837365B (zh) | 一种基于图像的车辆定位方法及装置 | |
| CN116358486A (zh) | 基于单目相机的目标测距方法、装置及介质 | |
| CN111383268A (zh) | 车辆间距状态获取方法、装置、计算机设备和存储介质 | |
| CN110874549A (zh) | 目标视野确定方法、系统、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40049967 Country of ref document: HK |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 200232 Room 01, 2nd Floor, No. 29 and 30, Lane 1775, Qiushan Road, Lingang New Area, China (Shanghai) Free Trade Pilot Zone, Pudong New Area, Shanghai Applicant after: Shanghai Lingang Jueying Intelligent Technology Co.,Ltd. Address before: Room 01, 2 / F, No. 29 and 30, Lane 1775, Qiushan Road, Nicheng Town, Lingang New District, China (Shanghai) pilot Free Trade Zone, Shanghai, 200232 Applicant before: Shanghai Shangtang Lingang Intelligent Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |