CN112753047B - 摄像头的硬件在环标定、靶点设置方法、系统及相关设备 - Google Patents

Abstract

本申请实施例提供一种摄像头的硬件在环标定、靶点设置方法、系统及相关设备，其中，方法包括：确定多个靶点中的每个靶点对应的权重，其中，多个靶点为显示设备上的靶点，显示设备上位于目标区域内的靶点对应的权重大于位于目标区域外的靶点对应的权重，显示设备的目标区域用于显示标定图像的一部分；标定图像为在进行摄像头的硬件在环标定时显示设备显示的图像；根据权重对多个靶点进行P次有放回的抽样，以得到P个靶点组，其中，针对每次抽样，靶点对应的权重越大，该靶点被抽取的概率越大，P为正整数；根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定。采用本申请实施例，有利于提升对准精度和标定效率。

Description

摄像头的硬件在环标定、靶点设置方法、系统及相关设备

技术领域

本申请涉及硬件在环(Hardware in the Loop，HIL)技术领域，尤其涉及一种摄像头的硬件在环标定、靶点设置方法、系统及相关设备。

背景技术

硬件在环是验证高级驾驶辅助系统(Advanced Driving Assistance System，ADAS)的重要方法，视频注入是构建硬件在环的重要步骤。而传统的视频灌注设备价格昂贵，且适用性较差，例如不同的相机需要使用不同的视频注入设备，因此极大地提高了视频注入的成本。相机在环是一种在暗箱中直接通过相机拍摄屏幕的方式达到视频注入功能的技术。相机在环无需特定的视频注入设备，价格便宜且适用性强，可完成不同型号相机的视频灌注。相机在环通过在暗箱中模拟各种环境，例如雨天、雾天等，可达到视频再处理功能，极大地丰富了用户的需求。因此，相机在环已成为实现视频注入功能的重要技术。

相机在环的本质是使得相机拍摄图像和实际图像完全相同，其最终目标是实现像素级的对准，也即实现实际的像素坐标和拍摄所得的像素坐标完全相同。目前，相机的对准精度大多是基于机加工或者简单手工调节保证，故精度较低且极大依赖调节者的经验，调节时间长，效率低下。因此，如何提升相机的对准精度和标定效率已成为亟需解决的技术问题。

在高级驾驶辅助系统功能集成中，不同的相机通常承担不同的功能，也即不同的相机有不同重点关注区域；从而相机对不同区域的精度要求也不尽相同，而由于相机模组加工误差及相机建模与实际相机的差异，例如畸变校正模型无法完全拟合实际模型，使得相机对准通常无法做到绝对的准确，通常只能保证局部的高精度；故相机对重点关注区域的精度应尽可能的高，相机对非重点关注区域的精度相对于重点关注区域可以低些。因此，如何提升相机对重点关注区域的对准精度也成为亟需解决的技术问题。

发明内容

本申请实施例公开了一种摄像头的硬件在环标定、靶点设置方法、系统及相关设备，有利于提升对准精度和标定效率。

本申请实施例第一方面公开了一种摄像头的硬件在环标定方法，该方法包括：确定多个靶点中的每个靶点对应的权重，其中，多个靶点为显示设备上的靶点，显示设备上位于目标区域内的靶点对应的权重大于位于目标区域外的靶点对应的权重，显示设备的目标区域用于显示标定图像的一部分；标定图像为在进行摄像头的硬件在环标定时显示设备显示的图像；根据权重对多个靶点进行P次有放回的抽样，以得到P个靶点组，其中，针对每次抽样，靶点对应的权重越大，该靶点被抽取的概率越大，P为正整数；根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定。在本申请实施例中，给不同区域的靶点设置不同的权重，基于权重对靶点进行有放回的重采样既保证了各组靶点数据之间的独立性，又侧重提升了摄像头的重点关注区域对应的靶点被抽取的概率，根据采样得到的各组靶点和摄像头的当前位姿进行摄像头的硬件在环标定，可有效提升摄像头对重点关注区域的对准精度。具体地，用于摄像头的硬件在环标定的显示设备上有多个靶点，在该显示设备上显示标定图像，该标定图像有该摄像头的重点关注区域，该标定图像被显示在该显示设备上时，该显示设备上用于显示该重点关注区域的显示区域为目标区域，先设置该目标区域内的靶点对应的权重大于位于该目标区域外的靶点对应的权重；然后基于权重概率对多个靶点进行P次有放回的抽样以得到P个靶点组，也即靶点对应的权重越大，该靶点被抽取的概率越大；由于目标区域内的靶点的权重大于位于该目标区域外的靶点对应的权重，故每次抽样时，目标区域内的靶点被抽取的概率更大，目标区域内的靶点被抽取的数量相对就越多，在根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定时，目标区域内的靶点所起的决定作用占比就越大，摄像头对重点关注区域的对准精度就越高。综上，本申请实施例，可有效提升摄像头对重点关注区域的对准精度，保证用户的个性化对准需求。

在一种可能的实现方式中，根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定，包括：根据P个靶点组确定P个第一目标位姿，其中，P个靶点组与P个第一目标位姿一一对应；通过摄像头对当前显示标定图像的显示设备进行图像采集以得到目标图像，并根据多个靶点和目标图像确定摄像头的当前位姿；根据P个第一目标位姿的平均值和当前位姿进行摄像头的硬件在环标定。在本申请实施例中，先根据又放回的重采样得到的P个靶点组确定P个第一目标位姿；然后通过摄像头对当前显示标定图像的显示设备进行图像采集以得到目标图像，并根据显示设备上的多个靶点和该目标图像确定摄像头的当前位姿；再将P个第一目标位姿的平均值作为需要调整到的位姿，进行该摄像头的硬件在环标定，也即将该摄像头的当前位姿调整至该P个第一目标位姿的平均值；由于利用重采样的方法多次计算摄像头的目标姿态，通过求平均的方法得到需要调整到的位姿，该需要调整到的位姿不仅为摄像头的位姿调整方向提供参考标杆，同时着重保证了摄像头的重点关注区域的对准精度，有利于提升摄像头对准的标定效率、对准精度。

在一种可能的实现方式中，在根据P个靶点组确定P个第一目标位姿之前，该方法还包括：通过摄像头对标定板进行图像采集以得到Q张标定图像，其中，Q为正整数；对Q张标定图像中的每张标定图像进行角点检测以得到每张标定图像中的各个角点的像素坐标；根据Q张标定图像中的每张标定图像中的各个角点的像素坐标、每张标定图像中的各个角点的第三三维坐标得到摄像头的内参矩阵和摄像头的畸变系数，其中，第三三维坐标为标定板坐标系下的坐标。在本申请实施例中，通过摄像头对标定板进行图像采集以得到多张标定图像，同该多张标定图像得到摄像头的内参矩阵和摄像头的畸变系数，而标定过程中的位姿计算需要用到摄像头的内参矩阵和摄像头的畸变系数，从而可以为计算摄像头的需要调整到的位姿以及摄像头的当前位姿提供基础，有利于提升摄像头的硬件在环对准精度。

在一种可能的实现方式中，根据P个靶点组确定P个第一目标位姿，包括：针对P个靶点组中的每个靶点组，执行以下步骤，得到P个第一目标位姿：获取目标靶点组中的每个靶点的二维坐标，其中，目标靶点组为P个靶点组中的任意一个，二维坐标为第二坐标系下的坐标，第二坐标系为以显示设备的屏幕边框的一个外边界点为原点、以屏幕边框的竖向为第一坐标轴、以屏幕边框的横向为第二坐标轴的坐标系；根据目标靶点组中的每个靶点的二维坐标、第一三维坐标、摄像头的内参矩阵和摄像头的畸变系数，计算得到目标靶点组对应的第一目标位姿，其中，第一三维坐标为第一坐标系下的坐标，第一坐标系为以显示设备的屏幕的一个边界点为原点、以屏幕的竖向为第一坐标轴、以屏幕的横向为第二坐标轴、以屏幕的垂直方向为第三坐标轴的坐标系。在本申请实施例中，根据目标靶点组中的每个靶点的二维坐标、第一三维坐标、摄像头的内参矩阵和摄像头的畸变系数，计算得到目标靶点组对应的第一目标位姿，其中，该二维坐标为第二坐标系下的坐标，该第一三维坐标为第一坐标系下的坐标；由于显示设备的屏幕和屏幕边框的尺寸是固定的，当屏幕上显示有标定图像时，可以根据标定图像的像素坐标推算得到每个靶点在第二坐标系上的二维坐标；并且可以通过全站仪获取每个靶点在全站仪坐标系下的三维坐标，再将每个靶点在全站仪坐标系下的三维坐标转换成在第一坐标系下的三维坐标；从而有利于得到每个靶点组的第一目标位姿，进而得到摄像头需要调整到的位姿。

在一种可能的实现方式中，根据多个靶点和目标图像确定摄像头的当前位姿，包括：对目标图像进行圆心检测以得到多个靶点中的每个靶点在目标图像中的像素坐标；根据多个靶点中的每个靶点在目标图像中的像素坐标、多个靶点中的每个靶点的第一三维坐标、摄像头的内参矩阵、摄像头的畸变系数，计算得到当前位姿，其中，第一三维坐标为第一坐标系下的坐标，第一坐标系为以显示设备的屏幕的一个边界点为原点、以屏幕的竖向为第一坐标轴、以屏幕的横向为第二坐标轴、以屏幕的垂直方向为第三坐标轴的坐标系。在本申请实施例中，通过摄像头对当前显示标定图像的显示设备进行图像采集，得到目标图像后，可以通过对目标图像进行圆心检测，获得显示设备上的多个靶点中的每个靶点在目标图像中的像素坐标，从而有利于根据每个靶点在目标图像中的像素坐标、每个靶点的第一三维坐标、摄像头的内参矩阵、摄像头的畸变系数，计算得到当前位姿。

在一种可能的实现方式中，多个靶点包括显示设备的屏幕内的M个第一靶点和屏幕边框上的N个第二靶点，其中，M个第一靶点与N个第二靶点不共面，M和N为大于或等于3的整数，在根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定之前，该方法还包括：获取M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标，其中，第二三维坐标为全站仪坐标系下的坐标；对M个第一靶点的第二三维坐标进行坐标转换以得到M个第一靶点的第一三维坐标，以及对N个第二靶点的第二三维坐标进行坐标转换以得到N个第二靶点的第一三维坐标。在本申请实施例中，在显示设备的屏幕内设置M个第一靶点，以及在显示设备的屏幕边框上设置N个第二靶点，且该M个第一靶点与该N个第二靶点是不共面的，因此在标定时无需使用多块不共面的标定板，解决了摄像头的硬件在环系统中靶点设置空间受限的问题；并且通过坐标转换，将靶点在全站仪坐标系下的坐标转换到第一坐标系下，为后续的标定反馈提示奠定基础，是提升摄像头对准效果的关键步骤。

在一种可能的实现方式中，根据P个第一目标位姿的平均值和当前位姿进行摄像头的硬件在环标定，包括：将第二目标位姿与当前位姿作差以得到当前位姿残差，其中，第二目标位姿为P个第一目标位姿的平均值，当前位姿残差包括3个当前位置自由度残差和3个当前姿态自由度残差；先按照当前位置自由度残差从大到小的顺序依次调节摄像头的各个位置自由度，以使摄像头的第一位置自由度与第二目标位姿的第一位置自由度的差值小于预设的第一位置自由度残差阈值、摄像头的第二位置自由度与第二目标位姿的第二位置自由度的差值小于预设的第二位置自由度残差阈值、摄像头的第三位置自由度与第二目标位姿的第三位置自由度的差值小于预设的第三位置自由度残差阈值；再按照当前姿态自由度残差从大到小的顺序依次调节摄像头的各个姿态自由度，以使摄像头的第一姿态自由度与第二目标位姿的第一姿态自由度的差值小于预设的第一姿态自由度残差阈值、摄像头的第二姿态自由度与第二目标位姿的第二姿态自由度的差值小于预设的第二姿态自由度残差阈值、摄像头的第三姿态自由度与第二目标位姿的第三姿态自由度的差值小于预设的第三姿态自由度残差阈值。在本申请实施例中，在将摄像头的姿态从当前位姿调节到需要调整到的位姿时，先反馈位置中残差较大的分量，对该残差较大的分量向对应方向调节某一数值；后反馈位置中残差较小的分量，对该残差较小的分量向对应方向调节某一数值；待调节好3个位置自由度后，再调节姿态分量中较大的分量，且按照残差从大到小依次调节各姿态分量；实践表明，先调节位置，再调节姿态，可提高调节效率。

本申请实施例第二方面公开了一种摄像头的硬件在环标定靶点设置方法，包括：在显示设备的屏幕内设置M个第一靶点，以及在显示设备的屏幕边框上设置N个第二靶点，其中，显示设备用于在进行摄像头的硬件在环标定时显示标定图像，M个第一靶点与N个第二靶点不共面，M和N为大于或等于3的整数。在本申请实施例中，在显示设备的屏幕内设置M个第一靶点，以及在显示设备的屏幕边框上设置N个第二靶点，且该M个第一靶点与该N个第二靶点是不共面的，因此在标定时无需使用多块不共面的标定板，解决了摄像头的硬件在环系统中靶点设置空间受限的问题。

在一种可能的实现方式中，该方法还包括：获取M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标，其中，第二三维坐标为全站仪坐标系下的坐标；对M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标进行坐标转换，得到M个第一靶点的第一三维坐标和N个第二靶点的第一三维坐标，其中，第一三维坐标为第一坐标系下的坐标，第一坐标系为以屏幕的一个边界点为原点、以屏幕的竖向为第一坐标轴、以屏幕的横向为第二坐标轴、以屏幕的垂直方向为第三坐标轴的坐标系；M个第一靶点的第一三维坐标和N个第二靶点的第一三维坐标用于摄像头的硬件在环标定。在本申请实施例中，通过坐标转换，将靶点在全站仪坐标系下的坐标转换到第一坐标系下，靶点在第一坐标系下的第一三维坐标可以供摄像头的硬件在环标定使用，从而为后续的摄像头的硬件在环标定提供基础，有利于提升摄像头对准效果。

在一种可能的实现方式中，对M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标进行坐标转换，得到M个第一靶点的第一三维坐标和N个第二靶点的第一三维坐标，包括：根据M个第一靶点的第二三维坐标和M个第一靶点的第二三维坐标，得到M个第一特征向量和M个第二特征向量；根据M个第一特征向量和M个第二特征向量采用最小二乘法计算得到中间向量；根据中间向量得到控制矩阵，以及根据控制矩阵得到旋转向量和平移向量；根据旋转向量和平移向量对M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标进行坐标转换，得到M个第一靶点的第一三维坐标和N个第二靶点的第一三维坐标。在本申请实施例中，以屏幕内的第一靶点作为参考点，求解全站仪坐标系到第一坐标系的旋转矩阵和平移向量；再依据该旋转矩阵和平移向量将靶点在全站仪坐标系下的坐标转换到第一坐标系下，并将靶点在第一坐标系下的第一三维坐标供摄像头的硬件在环标定使用，从而为后续的摄像头的硬件在环标定提供基础，有利于提升摄像头对准效果。

在一种可能的实现方式中，标定图像的高宽比、屏幕的高宽比与显示设备的高宽比相同，该方法还包括：对显示标定图像的显示设备进行圆心检测，以得到M个第一靶点中的每个第一靶点的像素坐标；将M个第一靶点中的每个第一靶点的像素坐标转换到第二坐标系下，以得到M个第一靶点中的每个第一靶点的二维坐标，其中，第二坐标系为以显示设备的屏幕边框的一个外边界点为原点、以屏幕边框的竖向为第一坐标轴、以屏幕边框的横向为第二坐标轴的坐标系；根据M个第一靶点中的至少一个第一靶点的二维坐标、屏幕的高宽比与显示设备的高宽比确定N个第二靶点在第二坐标系下的二维坐标。在本申请实施例中，先通过圆心检测获取第一靶点的像素坐标；然后通过将第一靶点的像素坐标转换到第二坐标系下，得到第一靶点的二维坐标；再依据第一靶点的二维坐标推算出第二靶点的二维坐标，从而可以得到用于摄像头的硬件在环标定的所有靶点的二维坐标。

在一种可能的实现方式中，标定图像的尺寸与屏幕边框的外边界尺寸存在比例关系，该方法还包括：根据标定图像的尺寸与屏幕边框的外边界尺寸存在的比例关系，对标定图像进行放大处理，以得到放大后的标定图像，其中，放大后的标定图像的尺寸与屏幕边框的外边界尺寸相等；将放大后的标定图像投影到第二坐标系上，其中，第二坐标系为以显示设备的屏幕边框的一个外边界点为原点、以屏幕边框的竖向为第一坐标轴、以屏幕边框的横向为第二坐标轴的坐标系；将放大后的标定图像中与靶点中心位置重合的像素坐标作为该靶点的二维坐标，以得到M个第一靶点的二维坐标和N个第二靶点的二维坐标。在本申请实施例中，通过将标定图像放大后投影到第二坐标系上，并将放大后的标定图像中与靶点中心位置重合的像素坐标作为该靶点的二维坐标，从而可以得到用于摄像头的硬件在环标定的所有靶点的二维坐标。

本申请实施例第三方面公开了一种摄像头的硬件在环标定装置，该装置包括：确定单元，用于确定多个靶点中的每个靶点对应的权重，其中，多个靶点为显示设备上的靶点，显示设备上位于目标区域内的靶点对应的权重大于位于目标区域外的靶点对应的权重，显示设备的目标区域用于显示标定图像的一部分；标定图像为在进行摄像头的硬件在环标定时显示设备显示的图像；抽样单元，用于根据权重对多个靶点进行P次有放回的抽样，以得到P个靶点组，其中，针对每次抽样，靶点对应的权重越大，该靶点被抽取的概率越大，P为正整数；标定单元，用于根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定。

在一种可能的实现方式中，标定单元，具体用于：根据P个靶点组确定P个第一目标位姿，其中，P个靶点组与P个第一目标位姿一一对应；通过摄像头对当前显示标定图像的显示设备进行图像采集以得到目标图像，并根据多个靶点和目标图像确定摄像头的当前位姿；根据P个第一目标位姿的平均值和当前位姿进行摄像头的硬件在环标定。

在一种可能的实现方式中，标定单元，还用于：在根据P个靶点组确定P个第一目标位姿之前；通过摄像头对标定板进行图像采集以得到Q张标定图像，其中，Q为正整数；对Q张标定图像中的每张标定图像进行角点检测以得到每张标定图像中的各个角点的像素坐标；根据Q张标定图像中的每张标定图像中的各个角点的像素坐标、每张标定图像中的各个角点的第三三维坐标得到摄像头的内参矩阵和摄像头的畸变系数，其中，第三三维坐标为标定板坐标系下的坐标。

在一种可能的实现方式中，标定单元，具体用于：针对P个靶点组中的每个靶点组，执行以下步骤，得到P个第一目标位姿：获取目标靶点组中的每个靶点的二维坐标，其中，目标靶点组为P个靶点组中的任意一个，二维坐标为第二坐标系下的坐标，第二坐标系为以显示设备的屏幕边框的一个外边界点为原点、以屏幕边框的竖向为第一坐标轴、以屏幕边框的横向为第二坐标轴的坐标系；根据目标靶点组中的每个靶点的二维坐标、第一三维坐标、摄像头的内参矩阵和摄像头的畸变系数，计算得到目标靶点组对应的第一目标位姿，其中，第一三维坐标为第一坐标系下的坐标，第一坐标系为以显示设备的屏幕的一个边界点为原点、以屏幕的竖向为第一坐标轴、以屏幕的横向为第二坐标轴、以屏幕的垂直方向为第三坐标轴的坐标系。

在一种可能的实现方式中，标定单元，具体用于：对目标图像进行圆心检测以得到多个靶点中的每个靶点在目标图像中的像素坐标；根据多个靶点中的每个靶点在目标图像中的像素坐标、多个靶点中的每个靶点的第一三维坐标、摄像头的内参矩阵、摄像头的畸变系数，计算得到当前位姿，其中，第一三维坐标为第一坐标系下的坐标，第一坐标系为以显示设备的屏幕的一个边界点为原点、以屏幕的竖向为第一坐标轴、以屏幕的横向为第二坐标轴、以屏幕的垂直方向为第三坐标轴的坐标系。

在一种可能的实现方式中，多个靶点包括显示设备的屏幕内的M个第一靶点和屏幕边框上的N个第二靶点，其中，M个第一靶点与N个第二靶点不共面，M和N为大于或等于3的整数，标定单元，还用于：在根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定之前，获取M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标，其中，第二三维坐标为全站仪坐标系下的坐标；对M个第一靶点的第二三维坐标进行坐标转换以得到M个第一靶点的第一三维坐标，以及对N个第二靶点的第二三维坐标进行坐标转换以得到N个第二靶点的第一三维坐标。

在一种可能的实现方式中，标定单元，具体用于：将第二目标位姿与当前位姿作差以得到当前位姿残差，其中，第二目标位姿为P个第一目标位姿的平均值，当前位姿残差包括3个当前位置自由度残差和3个当前姿态自由度残差；先按照当前位置自由度残差从大到小的顺序依次调节摄像头的各个位置自由度，以使摄像头的第一位置自由度与第二目标位姿的第一位置自由度的差值小于预设的第一位置自由度残差阈值、摄像头的第二位置自由度与第二目标位姿的第二位置自由度的差值小于预设的第二位置自由度残差阈值、摄像头的第三位置自由度与第二目标位姿的第三位置自由度的差值小于预设的第三位置自由度残差阈值；再按照当前姿态自由度残差从大到小的顺序依次调节摄像头的各个姿态自由度，以使摄像头的第一姿态自由度与第二目标位姿的第一姿态自由度的差值小于预设的第一姿态自由度残差阈值、摄像头的第二姿态自由度与第二目标位姿的第二姿态自由度的差值小于预设的第二姿态自由度残差阈值、摄像头的第三姿态自由度与第二目标位姿的第三姿态自由度的差值小于预设的第三姿态自由度残差阈值。

本申请实施例第四方面公开了一种摄像头的硬件在环标定靶点设置装置，包括：设置单元，用于在显示设备的屏幕内设置M个第一靶点，以及在显示设备的屏幕边框上设置N个第二靶点，其中，显示设备用于在进行摄像头的硬件在环标定时显示标定图像，M个第一靶点与N个第二靶点不共面，M和N为大于或等于3的整数。

在一种可能的实现方式中，设置单元，还用于：获取M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标，其中，第二三维坐标为全站仪坐标系下的坐标；对M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标进行坐标转换，得到M个第一靶点的第一三维坐标和N个第二靶点的第一三维坐标，其中，第一三维坐标为第一坐标系下的坐标，第一坐标系为以屏幕的一个边界点为原点、以屏幕的竖向为第一坐标轴、以屏幕的横向为第二坐标轴、以屏幕的垂直方向为第三坐标轴的坐标系；M个第一靶点的第一三维坐标和N个第二靶点的第一三维坐标用于摄像头的硬件在环标定。

在一种可能的实现方式中，在对M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标进行坐标转换，得到M个第一靶点的第一三维坐标和N个第二靶点的第一三维坐标方面，设置单元，具体用于：根据M个第一靶点的第二三维坐标和M个第一靶点的第二三维坐标，得到M个第一特征向量和M个第二特征向量；根据M个第一特征向量和M个第二特征向量采用最小二乘法计算得到中间向量；根据中间向量得到控制矩阵，以及根据控制矩阵得到旋转向量和平移向量；根据旋转向量和平移向量对M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标进行坐标转换，得到M个第一靶点的第一三维坐标和N个第二靶点的第一三维坐标。

在一种可能的实现方式中，标定图像的高宽比、屏幕的高宽比与显示设备的高宽比相同，设置单元，还用于：对显示标定图像的显示设备进行圆心检测，以得到M个第一靶点中的每个第一靶点的像素坐标；将M个第一靶点中的每个第一靶点的像素坐标转换到第二坐标系下，以得到M个第一靶点中的每个第一靶点的二维坐标，其中，第二坐标系为以显示设备的屏幕边框的一个外边界点为原点、以屏幕边框的竖向为第一坐标轴、以屏幕边框的横向为第二坐标轴的坐标系；根据M个第一靶点中的至少一个第一靶点的二维坐标、屏幕的高宽比与显示设备的高宽比确定N个第二靶点在第二坐标系下的二维坐标。

在一种可能的实现方式中，标定图像的尺寸与屏幕边框的外边界尺寸存在比例关系，设置单元，还用于：根据标定图像的尺寸与屏幕边框的外边界尺寸存在的比例关系，对标定图像进行放大处理，以得到放大后的标定图像，其中，放大后的标定图像的尺寸与屏幕边框的外边界尺寸相等；将放大后的标定图像投影到第二坐标系上，其中，第二坐标系为以显示设备的屏幕边框的一个外边界点为原点、以屏幕边框的竖向为第一坐标轴、以屏幕边框的横向为第二坐标轴的坐标系；将放大后的标定图像中与靶点中心位置重合的像素坐标作为该靶点的二维坐标，以得到M个第一靶点的二维坐标和N个第二靶点的二维坐标。

本申请实施例第五方面公开了一种摄像头的硬件在环标定系统，该系统包括电子设备和显示设备，该电子设备包括该摄像头，或所该电子设备与该摄像头通信连接，该显示设备包括屏幕和屏幕边框，屏幕内设置有M个第一靶点，或屏幕显示有M个第一靶点；屏幕边框上设置有N个第二靶点；其中，M个第一靶点与N个第二靶点不共面，M和N为大于或等于3的整数。在本申请实施例中，在显示设备的屏幕内设置M个第一靶点，以及在显示设备的屏幕边框上设置N个第二靶点，且该M个第一靶点与该N个第二靶点是不共面的，因此在标定时无需使用多块不共面的标定板，解决了摄像头的硬件在环系统中靶点设置空间受限的问题。

本申请实施例第六方面公开了一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行如上述第一方面或第二方面中任一项所述的方法中的步骤的指令。

本申请实施例第七方面公开了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如上述第一方面或第二方面中任一项所述的方法。

本申请实施例第八方面公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如上述第一方面或第二方面中任一项所述的方法。

本申请实施例第九方面公开了一种计算机程序，所述计算机程序使得计算机执行如上述第一方面或第二方面中任一项所述的方法。

附图说明

图1是本申请实施例提供的一种相机的重点关注区域的示意图。

图2是本申请实施例提供的一种摄像头的硬件在环标定系统的架构示意图。

图3是本申请实施例提供的一种屏幕靶点的示意图。

图4是本申请实施例提供的一种屏幕边框靶点的示意图。

图5是本申请实施例提供的一种摄像头的硬件在环标定靶点设置方法的流程示意图。

图6是本申请实施例提供的一种第一坐标系的示意图。

图7是本申请实施例提供的一种第一坐标系和第二坐标系的示意图。

图8是本申请实施例提供的一种摄像头的硬件在环标定方法的流程示意图。

图9是本申请实施例提供的一种角点检测的示意图。

图10是本申请实施例提供的一种基于重点关注区域的最优位姿求解的流程示意图。

图11是本申请实施例提供的另一种摄像头的硬件在环标定方法的流程示意图。

图12是本申请实施例提供的又一种摄像头的硬件在环标定方法的流程示意图。

图13是本申请实施例提供的一种误差地图的生成原理的示意图。

图14是本申请实施例提供的一种摄像头的硬件在环标定靶点设置装置的结构示意图。

图15是本申请实施例提供的一种摄像头的硬件在环标定装置的结构示意图。

图16是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本说明书中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本说明书所描述的实施例可以与其它实施例相结合。

为了便于理解本申请实施例，进一步分析并提出本申请所具体要解决的技术问题。目前的相机在环标定方法，通过使得相机的中心对准LED显示屏的中心线达到相机对准的作用；或者通过调节相机的位置，使得相机可以完整拍摄整个屏幕，以此为依据完成相机对准。例如，通过金属支架固定和调节相机，使相机刚好拍摄到全部屏幕，可通过移动金属支架匹配不同视场角(field of view，FOV)的相机，保证相机拍摄图像刚好是完整的屏幕图像，其本质上是将相机的中心垂直对准屏幕中心，通过调节相机中心到屏幕中心的距离实现不同FOV的相机的硬件在环。

可以看出，上述方法的基本思想均是通过调节相机，使得相机对准屏幕中心，然后以是否完整拍摄到整个屏幕进行相机调节，达到对准的效果。由于相机中心是和相机的内参相关的，对准屏幕中心的评价标准很难把握，而且垂直对准屏幕也只能大概估计，精度较低。除此之外，在调节相机过程中，由于相机存在图像畸变，消除畸变的校正模型与实际模型不可能完全一致，因此完全精确的拍摄到整个屏幕几乎不可能做到。如何调节到最优的位置没有一个量化的评价标准，导致在实际调节的时候会极大影响调节效率和精度。另外，不同相机的功能各异，对于关键区域的像素匹配应该更加精确，上述对准方案没有考虑到与具体相机的功能匹配，匹配精度通常相对较低。

因此，本申请所要解决的技术问题可以包括如下：

1)相机标定反馈方法可以实时反馈相机的当前位置和姿态，本申请实施例将其用于相机硬件在环的对准中，主要目的是求取相机的当前位姿与需要调整到的目标位姿的误差，从而可以定量调节相机位姿，提升调节效率和精度；而相机的位姿求解算法需要设置不共面的靶点，现有技术是使用两块不共面的标定板实现靶点不共面，这在相机在环对准中不允许的，如何设置相机在环对准的靶点成为本申请的需要的解决的技术问题。

2)相机的功能决定了相机可能的感兴趣区域。如图1所示，识别红绿灯的相机重点关注图像的中上区域，识别车道线的相机重点关注图像的中下区域。如何调整相机的位姿，使得相机在感兴趣区域中的对准精度更高，成为本申请又一重点需要的解决的问题。

本申请实施例提供的技术方案可以应用于但不仅限于如下场景：当HIL系统出厂时，需要进行相机的对准调教；当HIL系统在搬运、使用过程中发生相机位姿改变之后，需要进行相机的位姿对准，以实现相机拍摄图像和实际图像的一致性，保证HIL的功能正常使用；除此之外，当相机的功能发生改变，用户的重点关注区域发生改变后，需要进行相机的位姿调整，以期满足对应感知算法的精度要求。

下面结合具体实施方式对本申请提供的技术方案进行详细的介绍。

请参阅图2，图2是本申请实施例提供的一种摄像头的硬件在环标定系统的架构示意图。如图2所示，该系统包括电子设备10和显示设备20，该电子设备10包括摄像头101，或该电子设备10与摄像头101通信连接，该显示设备20包括屏幕201和屏幕边框202，屏幕201内设置有M个第一靶点，或屏幕201显示有M个第一靶点；屏幕边框202上设置有N个第二靶点；其中，M个第一靶点与N个第二靶点不共面，M和N为大于或等于3的整数。

其中，屏幕201用于在进行摄像头101的硬件在环标定时显示标定图像，屏幕201内设置的第一靶点或屏幕201显示的第一靶点如图3所示，靶点的含义为用于标定的关键空间点。应理解，为使所有的第一靶点与所有的第二靶点不共面，可以使屏幕201和屏幕边框202不共面，例如屏幕边框202相对于屏幕201是往外突出的；或者屏幕201和屏幕边框202是共面的，屏幕边框202上设置的第二靶点是凸台靶点，凸台靶点如图4所示。

应理解，电子设备10可以为智能摄像头、相机、手机、带有摄像功能的电子设备或带摄像头的电子设备等；或者，电子设备10与摄像头101通信连接，电子设备10可以通过摄像头101采集图像，例如电子设备10通过摄像头101对显示设备20进行图像采集；本申请对此不作具体限定。电子设备10可以与显示设备20通信连接，电子设备10可以控制显示设备20显示标定图像，例如电子设备10向显示设备20发送标定图像，指示显示设备20显示该标定图像。

其中，通过该摄像头的硬件在环标定系统进行摄像头的硬件在环标定过程如下：首先，获取所有靶点中的每个靶点的二维坐标和三维坐标；然后，在显示设备20的屏幕201上显示标定图像，电子设备10通过摄像头101对显示设备20进行图像采集，并且需要将显示设备20完全拍摄进摄像头101采集到的图像中，也即摄像头101采集到的图像中需要完整的包括该显示设备20，故摄像头101采集到的图像中包括了所有的靶点；再获取所有靶点中的每个靶点在摄像头101采集到的图像中的像素坐标；最后，依据每个靶点的二维坐标和三维坐标计算得到摄像头101需要调整到的位姿，依据每个靶点在摄像头101采集到的图像中的像素坐标、每个靶点的三维坐标计算得到摄像头101的当前位姿，从而将摄像头101从当前位姿向需要调整到的位姿进行调节，如此实现摄像头的硬件在环标定。

在本申请实施例中，在显示设备20的屏幕内设置M个第一靶点，以及在显示设备20的屏幕边框上设置N个第二靶点，且该M个第一靶点与该N个第二靶点是不共面的，因此在标定时无需使用多块不共面的标定板，解决了摄像头101的硬件在环系统中靶点设置空间受限的问题。

请参阅图5，图5是本申请实施例提供的一种摄像头的硬件在环标定靶点设置方法的流程示意图，该方法可以应用于图2所示的摄像头的硬件在环标定系统，该方法由电子设备执行，该电子设备包括该摄像头，或该电子设备与该摄像头通信连接，该方法包括但不限于如下步骤：

步骤501、在显示设备的屏幕内设置M个第一靶点，以及在显示设备的屏幕边框上设置N个第二靶点，其中，显示设备用于在进行摄像头的硬件在环标定时显示标定图像，M个第一靶点与N个第二靶点不共面，M和N为大于或等于3的整数。

其中，该摄像头可以应用于图2所示的摄像头，该显示设备可以是图2所示的显示设备；屏幕内的M个第一靶点可以是由屏幕显示的虚拟靶点。

应理解，相机的标定算法需要用到不共面的靶点，为此在用于摄像头的硬件在环标定的显示设备的屏幕内设置M个第一靶点，以及在显示设备的屏幕边框上设置N个第二靶点，且这M个第一靶点和N个第二靶点是不共面的，具体如图3和图4所示。

在本申请实施例中，在显示设备的屏幕内设置M个第一靶点，以及在显示设备的屏幕边框上设置N个第二靶点，且该M个第一靶点与该N个第二靶点是不共面的，因此在标定时无需使用多块不共面的标定板，解决了摄像头的硬件在环系统中靶点设置空间受限的问题。

需要说明的是，在进行摄像头的硬件在环标定过程中，需要用到靶点的三维坐标进行位姿计算，故在设置完靶点后，需要获取每个靶点的三维坐标，并且将每个靶点的三维坐标保存，供摄像头的硬件在环标定使用。其中，每个靶点的三维坐标可以通过全站仪测量得到。但由于全站仪摆放的随机性，会导致靶点在全站仪坐标系下的第二三维坐标的实际方向是随机的，而相机标定算法给定的调节自由度是全站仪坐标系下的自由度，这往往需要通过尝试才能明确应该调节的方向，不利于用户使用。因此，可以将所有靶点在全站仪坐标系下的第二三维坐标转换到第一坐标系(也即屏幕坐标系)下，得到所有靶点在第一坐标系下的第一三维坐标，并且保存所有靶点的第一三维坐标，供摄像头的硬件在环标定使用。

为此，本申请实施例定义了第一坐标系，该第一坐标系为以屏幕的一个边界点为原点、以屏幕的竖向为第一坐标轴、以屏幕的横向为第二坐标轴、以屏幕的垂直方向为第三坐标轴的坐标系。

请参阅图6，图6是本申请实施例提供的一种第一坐标系的示意图。如图6所示，该第一坐标系以屏幕的左上角o点为原点，以屏幕的横向为y轴，以屏幕的竖向为x轴，以屏幕的垂直向外为z轴。

在一种可能的实现方式中，该方法还包括：获取M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标，其中，第二三维坐标为全站仪坐标系下的坐标；对M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标进行坐标转换，得到M个第一靶点的第一三维坐标和N个第二靶点的第一三维坐标，其中，第一三维坐标为第一坐标系下的坐标，第一坐标系为以屏幕的一个边界点为原点、以屏幕的竖向为第一坐标轴、以屏幕的横向为第二坐标轴、以屏幕的垂直方向为第三坐标轴的坐标系；M个第一靶点的第一三维坐标和N个第二靶点的第一三维坐标用于摄像头的硬件在环标定。

具体地，所有靶点的第一三维坐标可以通过以下步骤获取：先通过全站仪对靶点进行测量，以获得靶点在全站仪坐标系下的第二三维坐标，再将靶点在全站仪坐标系下的第二三维坐标转换到第一坐标系，得到靶点的第一三维坐标。

举例来说，结合图3和图4来说明如何获取所有靶点的第一三维坐标，首先只需通过全站仪打出屏幕上的4个边界靶点(也即图3中4个角上的靶点)、屏幕边框上的4个靶点(也即图4中屏幕边缘设置的4个凸台靶点)的第二三维坐标即可，然后其他靶点的第二三维坐标可以通过像素关系差值得到；获取到所有靶点的第二三维坐标后，将其转换到第一坐标系下，得到所有靶点的第一三维坐标。

在本申请实施例中，通过坐标转换，将靶点在全站仪坐标系下的坐标转换到第一坐标系下，靶点在第一坐标系下的第一三维坐标可以供摄像头的硬件在环标定使用，从而为后续的摄像头的硬件在环标定提供基础，有利于提升摄像头对准效果。

在一种可能的实现方式中，对M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标进行坐标转换，得到M个第一靶点的第一三维坐标和N个第二靶点的第一三维坐标，包括：根据M个第一靶点的第二三维坐标和M个第一靶点的第二三维坐标，得到M个第一特征向量和M个第二特征向量；根据M个第一特征向量和M个第二特征向量采用最小二乘法计算得到中间向量；根据中间向量得到控制矩阵，以及根据控制矩阵得到旋转向量和平移向量；根据旋转向量和平移向量对M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标进行坐标转换，得到M个第一靶点的第一三维坐标和N个第二靶点的第一三维坐标。

其中，以屏幕内的第一靶点作为参考点，求解全站仪坐标系到第一坐标系的旋转矩阵R和平移向量T，根据旋转矩阵R和平移向量T将靶点在全站仪坐标系下的第二三维坐标转换成在第一坐标系下的第一三维坐标。具体包括如下步骤：

1)将屏幕内的所有的第一靶点在全站仪坐标系下的第二三维坐标进行两两相减，以及将屏幕内的所有的第一靶点在第一坐标系下的第一三维坐标进行两两相减，可得到系列对应的特征向量X_i、Y_i，其中，X_i表示第一坐标系下的第i个向量，Y_i表示全站仪坐标系下与X_i对应的向量。具体地，根据公式(1)求解特征向量。

2)根据特征向量X_i、Y_i，采用最小二乘法计算得到中间向量p，其中，根据公式(2)和(3)计算中间向量p。

其中，公式(2)所示的方程组为超定方程，因此p可以采用最小二乘法通过公式(3)进行求解。

p＝(V^TV)^-1V^TH (3)

其中，公式(3)可以表示为VP＝H，公式(3)中的V、H与公式(2)对应。

3)中间向量p得到控制矩阵S：

4)根据控制矩阵S可得到全站仪坐标系向第一坐标系转换的旋转向量R和平移向量T，其中，旋转向量R和平移向量T的计算公式如公式(5)所示。

5)得到旋转向量R和平移向量T后，可将全站仪坐标系下的所有坐标均转换到第一坐标系下，其计算公式如公式(6)所示。

X＝RY+T (6)

在公式(6)中，Y表示靶点在全站仪坐标系下的第二三维坐标，X表示靶点在第一坐标系下的第一三维坐标。

需要指出的是，该过程只需在出厂时完成一次即可，靶点在第一坐标系下的第一三维坐标X应保存成文件供摄像头的硬件在环标定使用。

在本申请实施例中，以屏幕内的第一靶点作为参考点，求解全站仪坐标系到第一坐标系的旋转矩阵和平移向量；再依据该旋转矩阵和平移向量将靶点在全站仪坐标系下的坐标转换到第一坐标系下，并将靶点在第一坐标系下的第一三维坐标供摄像头的硬件在环标定使用，从而为后续的摄像头的硬件在环标定提供基础，有利于提升摄像头对准效果。

需要说明的是，在进行摄像头的硬件在环标定过程中，还需要用到靶点的二维坐标进行位姿计算，故在设置完靶点后，还需要获取到每个靶点的二维坐标。具体地，屏幕内的靶点的二维坐标可以通过以下步骤获取：先通过对显示标定图像的屏幕进行圆心检测以获取到靶点的像素坐标，再将靶点的像素坐标转换到第二坐标系(也即屏幕边框坐标系)下，得到屏幕内的靶点的二维坐标；其中，圆心检测是图像检测中一种检测圆心的算法。而屏幕边框上的靶点的二维坐标可以根据屏幕内的靶点的二维坐标推算出。

为此，本申请实施例定义了第二坐标系，第二坐标系为以显示设备的屏幕边框的一个外边界点为原点、以屏幕边框的竖向为第一坐标轴、以屏幕边框的横向为第二坐标轴的坐标系。

请参阅图7，图7是本申请实施例提供的一种第一坐标系和第二坐标系的示意图。如图7所示，该第二坐标系以屏幕边框的左上角o’点为原点，以屏幕边框的横向为y’轴，以屏幕边框的竖向为x’轴。

在一种可能的实现方式中，标定图像的高宽比、屏幕的高宽比与显示设备的高宽比相同，该方法还包括：对显示标定图像的显示设备进行圆心检测，以得到M个第一靶点中的每个第一靶点的像素坐标；将M个第一靶点中的每个第一靶点的像素坐标转换到第二坐标系下，以得到M个第一靶点中的每个第一靶点的二维坐标，其中，第二坐标系为以显示设备的屏幕边框的一个外边界点为原点、以屏幕边框的竖向为第一坐标轴、以屏幕边框的横向为第二坐标轴的坐标系；根据M个第一靶点中的至少一个第一靶点的二维坐标、屏幕的高宽比与显示设备的高宽比确定N个第二靶点在第二坐标系下的二维坐标。

应理解，标定图像的高宽比、屏幕的高宽比相同，也即标定图像像素大小和屏幕的像素大小是一致的，当标定图像显示在屏幕上时，标定图像的像素可以铺满整个屏幕的像素。其中，标定图像的高宽比、屏幕的高宽比与显示设备的高宽比相同，也即标定图像的尺寸、屏幕的尺寸与显示设备的尺寸存在比例关系。

举例来说，标定图像的像素是1920×1080，屏幕的分辨率为1080P(也即1920×1080)，将标定图像显示在屏幕上时，屏幕上的像素全部被铺满，对当前显示该标定图像的屏幕进行圆心检测，从而可以得到所有第一靶点的像素坐标；而显示设备的屏幕宽高比与显示设备(或者说屏幕边框的外边界)的宽高比相同，例如显示设备的屏幕尺寸与显示设备(或者说屏幕边框的外边界)的尺寸的比例为1:1.2，且第二靶点在屏幕边框上的位置是固定的，可以通过数学模型将第一靶点的像素坐标转换成第二坐标系下的二维坐标，并且根据第一靶点的二维坐标推算出第二靶点的二维坐标。下面结合图7来举例说明，如何根据第一靶点的二维坐标推算出第二靶点的二维坐标，根据屏幕内左上角的第一靶点的二维坐标、屏幕的高宽比与显示设备的高宽比推算出屏幕边框左上角的第二靶点的二维坐标；由于屏幕边框左下角、右上角、右下角的第二靶点与屏幕边框左上角的第二靶点在屏幕边框上的相对位置是确定的，从而可以根据屏幕边框左上角的第二靶点的二维坐标推算出屏幕边框左下角、右上角、右下角的第二靶点的二维坐标。

在本申请实施例中，先通过圆心检测获取第一靶点的像素坐标；然后通过将第一靶点的像素坐标转换到第二坐标系下，得到第一靶点的二维坐标；再依据第一靶点的二维坐标推算出第二靶点的二维坐标，从而可以得到用于摄像头的硬件在环标定的所有靶点的二维坐标。

在一种可能的实现方式中，标定图像的尺寸与屏幕边框的外边界尺寸存在比例关系，该方法还包括：根据标定图像的尺寸与屏幕边框的外边界尺寸存在的比例关系，对标定图像进行放大处理，以得到放大后的标定图像，其中，放大后的标定图像的尺寸与屏幕边框的外边界尺寸相等；将放大后的标定图像投影到第二坐标系上，其中，第二坐标系为以显示设备的屏幕边框的一个外边界点为原点、以屏幕边框的竖向为第一坐标轴、以屏幕边框的横向为第二坐标轴的坐标系；将放大后的标定图像中与靶点中心位置重合的像素坐标作为该靶点的二维坐标，以得到M个第一靶点的二维坐标和N个第二靶点的二维坐标。

应理解，标定图像的尺寸与屏幕边框的外边界尺寸存在比例关系，也即标定图像的高宽比与屏幕边框的外边界的高宽比相同。

在本申请实施例中，通过将标定图像放大后投影到第二坐标系上，并将放大后的标定图像中与靶点中心位置重合的像素坐标作为该靶点的二维坐标，从而可以得到用于摄像头的硬件在环标定的所有靶点的二维坐标。

请参阅图8，图8是本申请实施例提供的一种摄像头的硬件在环标定方法的流程示意图，该方法可以应用于图2所示的摄像头的硬件在环标定系统，该方法由电子设备执行，该电子设备包括该摄像头，或该电子设备与该摄像头通信连接，该方法包括但不限于如下步骤：

步骤801、确定多个靶点中的每个靶点对应的权重，其中，多个靶点为显示设备上的靶点，显示设备上位于目标区域内的靶点对应的权重大于位于目标区域外的靶点对应的权重，显示设备的目标区域用于显示标定图像的一部分；标定图像为在进行摄像头的硬件在环标定时显示设备显示的图像。

其中，靶点对应的权重的数学含义表示摄像头的重点关注区域相对于其他区域的重要程度；显示设备的目标区域显示的标定图像的一部分，该标定图像的一部分为该摄像头的重点关注区域；摄像头的重点关注区域可以由电子设备自动识别并框选确定，然后电子设备为摄像头的重点关注区域对应的靶点赋予较高的权重；摄像头的重点关注区域也可以由用户手动框选确定，例如提供用户框选接口，当用户选择重点区域后，电子设备自动将框选区域对应的靶点赋予较高的权重。此外，权重可根据用户需要进行定义。

步骤802、根据权重对多个靶点进行P次有放回的抽样，以得到P个靶点组，其中，针对每次抽样，靶点对应的权重越大，该靶点被抽取的概率越大，P为正整数。

具体地，所有靶点的权重确定之后，利用重采样的思想，对不同权重的靶点进行有放回的抽样以得到P个靶点组。其中，在进行有放回的抽样时，可以采用自展法(bootstrap)。

步骤803、根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定。

具体地，可以确定P个靶点组中的任意一个靶点组中的每个靶点的二维坐标和三维坐标，从而得到所有靶点的二维坐标和三维坐标，并根据这些靶点的二维坐标和三维坐标计算得到摄像头需要调整到的位姿，然后以该需要调整到的位姿为方向，从摄像头的当前位姿调节至该需要调整到的位姿，如此实现该摄像头的硬件在环标定。

在本申请实施例中，给不同区域的靶点设置不同的权重，基于权重对靶点进行有放回的重采样既保证了各组靶点数据之间的独立性，又侧重提升了摄像头的重点关注区域对应的靶点被抽取的概率，根据采样得到的各组靶点和摄像头的当前位姿进行摄像头的硬件在环标定，可有效提升摄像头对重点关注区域的对准精度。具体地，用于摄像头的硬件在环标定的显示设备上有多个靶点，在该显示设备上显示标定图像，该标定图像有该摄像头的重点关注区域，该标定图像被显示在该显示设备上时，该显示设备上用于显示该重点关注区域的显示区域为目标区域，先设置该目标区域内的靶点对应的权重大于位于该目标区域外的靶点对应的权重；然后基于权重概率对多个靶点进行P次有放回的抽样以得到P个靶点组，也即靶点对应的权重越大，该靶点被抽取的概率越大；由于目标区域内的靶点的权重大于位于该目标区域外的靶点对应的权重，故每次抽样时，目标区域内的靶点被抽取的概率更大，目标区域内的靶点被抽取的数量相对就越多，在根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定时，目标区域内的靶点所起的决定作用占比就越大，摄像头对重点关注区域的对准精度就越高。综上，本申请实施例，可有效提升摄像头对重点关注区域的对准精度，保证用户的个性化对准需求。

在一种可能的实现方式中，根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定，包括：根据P个靶点组确定P个第一目标位姿，其中，P个靶点组与P个第一目标位姿一一对应；通过摄像头对当前显示标定图像的显示设备进行图像采集以得到目标图像，并根据多个靶点和目标图像确定摄像头的当前位姿；根据P个第一目标位姿的平均值和当前位姿进行摄像头的硬件在环标定。

应理解，摄像头的硬件在环标定的目的是：摄像头采集的图像与实际的显示设备显示标定图像的画面完全一致。因此，目标图像的高宽比与显示设备的高宽比可以相同，如此通过摄像头对显示设备进行图像采集，可以实现摄像头刚好将整个显示设备拍摄进目标图像中，也即在目标图像中，显示设备的边界也即目标图像的边界；进一步地，目标图像的高宽比、标定图像的高宽比、屏幕的高宽比与显示设备的高宽比均可以相同。

其中，可以将P个第一目标位姿的平均值作为摄像头需要调整到的位姿，也即将P个第一目标位姿的平均值作为标定成功后摄像头应处的位姿。

在本申请实施例中，先根据又放回的重采样得到的P个靶点组确定P个第一目标位姿；然后通过摄像头对当前显示标定图像的显示设备进行图像采集以得到目标图像，并根据显示设备上的多个靶点和该目标图像确定摄像头的当前位姿；再将P个第一目标位姿的平均值作为需要调整到的位姿，进行该摄像头的硬件在环标定，也即将该摄像头的当前位姿调整至该P个第一目标位姿的平均值；由于利用重采样的方法多次计算摄像头的目标姿态，通过求平均的方法得到需要调整到的位姿，该需要调整到的位姿不仅为摄像头的位姿调整方向提供参考标杆，同时着重保证了摄像头的重点关注区域的对准精度，有利于提升摄像头对准的标定效率、对准精度。

在一种可能的实现方式中，在根据P个靶点组确定P个第一目标位姿之前，该方法还包括：通过摄像头对标定板进行图像采集以得到Q张标定图像，其中，Q为正整数；对Q张标定图像中的每张标定图像进行角点检测以得到每张标定图像中的各个角点的像素坐标；根据Q张标定图像中的每张标定图像中的各个角点的像素坐标、每张标定图像中的各个角点的第三三维坐标得到摄像头的内参矩阵和摄像头的畸变系数，其中，第三三维坐标为标定板坐标系下的坐标。

应理解，位姿计算需要用到摄像头的内参矩阵和摄像头的畸变系数，因此在确定第一目标位姿之前，需要获取到摄像头的内参矩阵和摄像头的畸变系数；而摄像头的内参矩阵和摄像头的畸变系数可以通过摄像头采集图像，依据摄像头采集的图像来确定。

其中，角点检测是一种图像检测算法，主要是指检测标定板中的棋盘格黑白相间的角上的顶点，角点检测过程如图9所示。

其中，可以利用张氏标定法得到相机的畸变系数(包括K1、K2、D1、D2和K3，其中，K1、K2和K3为径向畸变系数，D1和D2为切向畸变系数)和内参矩阵(包括Fx、Fy、Cx和Cy，其中，Fx和Fy为焦距，Cx和Cy为光心)。张氏标定法的输入是很多张图像，例如50张，也即Q等于50；然后通过自身算法的迭代、计算，得到最终适用于所有图像的最优的畸变系数和内参矩阵，作为最终结果。

在本申请实施例中，通过摄像头对标定板进行图像采集以得到多张标定图像，同该多张标定图像得到摄像头的内参矩阵和摄像头的畸变系数，而标定过程中的位姿计算需要用到摄像头的内参矩阵和摄像头的畸变系数，从而可以为计算摄像头的需要调整到的位姿以及摄像头的当前位姿提供基础，有利于提升摄像头的硬件在环对准精度。

在一种可能的实现方式中，根据P个靶点组确定P个第一目标位姿，包括：针对P个靶点组中的每个靶点组，执行以下步骤，得到P个第一目标位姿：获取目标靶点组中的每个靶点的二维坐标，其中，目标靶点组为P个靶点组中的任意一个，二维坐标为第二坐标系下的坐标，第二坐标系为以显示设备的屏幕边框的一个外边界点为原点、以屏幕边框的竖向为第一坐标轴、以屏幕边框的横向为第二坐标轴的坐标系；根据目标靶点组中的每个靶点的二维坐标、第一三维坐标、摄像头的内参矩阵和摄像头的畸变系数，计算得到目标靶点组对应的第一目标位姿，其中，第一三维坐标为第一坐标系下的坐标，第一坐标系为以显示设备的屏幕的一个边界点为原点、以屏幕的竖向为第一坐标轴、以屏幕的横向为第二坐标轴、以屏幕的垂直方向为第三坐标轴的坐标系。

请参阅图10，图10是本申请实施例提供的一种基于重点关注区域的最优位姿求解的流程示意图。如图10所示，先选择摄像头的重点关注区域；在选择摄像头的重点关注区域之后，算法自动给靶点对应的权重赋值，其中，重点关注区域内的靶点赋予较高的权重；所有靶点的权重确定之后，利用重采样的思想，基于权重概率对不同权重的靶点进行有放回的bootstrap抽样，得到n组抽样结果；以各组抽样结果为输入，也即以各组抽样结果中的靶点的二维坐标和第一三维坐标以及摄像头的内参矩阵和摄像头的畸变系数作为输入，利用UPNP算法，进行位姿求解，得到一系列的第一目标位姿，也即n个第一目标位姿；对该n个第一目标位姿进行求平均，可以得到第二目标位姿，也即得到摄像头需要调整到的位姿。

需要指出的，基于权重概率的有放回重采样既保证了各组靶点数据之间的独立性，又侧重提升了重点关注区域的靶点出现的概率，可有效提升摄像头对重点关注区域的对准精度。UPNP(unified Perspective-n-Point)算法是N点透视(Perspective-n-Point，PNP)算法的改进，其是一种现有的相机标定算法；在进行位姿求解时，除采用UPNP算法外，也可以采用PNP算法及其所有改进算法都可以使用，例如EPNP算法等，其中，EPNP(efficient Perspective-n-Point)算法也是PNP算法的改进。

在本申请实施例中，根据目标靶点组中的每个靶点的二维坐标、第一三维坐标、摄像头的内参矩阵和摄像头的畸变系数，计算得到目标靶点组对应的第一目标位姿，其中，该二维坐标为第二坐标系下的坐标，该第一三维坐标为第一坐标系下的坐标；由于显示设备的屏幕和屏幕边框的尺寸是固定的，当屏幕上显示有标定图像时，可以根据标定图像的像素坐标推算得到每个靶点在第二坐标系上的二维坐标；并且可以通过全站仪获取每个靶点在全站仪坐标系下的三维坐标，再将每个靶点在全站仪坐标系下的三维坐标转换成在第一坐标系下的三维坐标；从而有利于得到每个靶点组的第一目标位姿，进而得到摄像头需要调整到的位姿。

在一种可能的实现方式中，根据多个靶点和目标图像确定摄像头的当前位姿，包括：对目标图像进行圆心检测以得到多个靶点中的每个靶点在目标图像中的像素坐标；根据多个靶点中的每个靶点在目标图像中的像素坐标、多个靶点中的每个靶点的第一三维坐标、摄像头的内参矩阵、摄像头的畸变系数，计算得到当前位姿，其中，第一三维坐标为第一坐标系下的坐标，第一坐标系为以显示设备的屏幕的一个边界点为原点、以屏幕的竖向为第一坐标轴、以屏幕的横向为第二坐标轴、以屏幕的垂直方向为第三坐标轴的坐标系。

应理解，计算摄像头的当前位姿和计算第一目标位姿的过程相同，两者的区别在于输入不同，计算第一目标位姿的输入为每个靶点的二维坐标、第一三维坐标、摄像头的内参矩阵和摄像头的畸变系数，计算当前位姿的输入为靶点在目标图像中的像素坐标、靶点的第一三维坐标、摄像头的内参矩阵、摄像头的畸变系数。

在本申请实施例中，通过摄像头对当前显示标定图像的显示设备进行图像采集，得到目标图像后，可以通过对目标图像进行圆心检测，获得显示设备上的多个靶点中的每个靶点在目标图像中的像素坐标，从而有利于根据每个靶点在目标图像中的像素坐标、每个靶点的第一三维坐标、摄像头的内参矩阵、摄像头的畸变系数，计算得到当前位姿。

在一种可能的实现方式中，多个靶点包括显示设备的屏幕内的M个第一靶点和屏幕边框上的N个第二靶点，其中，M个第一靶点与N个第二靶点不共面，M和N为大于或等于3的整数，在根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定之前，该方法还包括：获取M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标，其中，第二三维坐标为全站仪坐标系下的坐标；对M个第一靶点的第二三维坐标进行坐标转换以得到M个第一靶点的第一三维坐标，以及对N个第二靶点的第二三维坐标进行坐标转换以得到N个第二靶点的第一三维坐标。

在本申请实施例中，在显示设备的屏幕内设置M个第一靶点，以及在显示设备的屏幕边框上设置N个第二靶点，且该M个第一靶点与该N个第二靶点是不共面的，因此在标定时无需使用多块不共面的标定板，解决了摄像头的硬件在环系统中靶点设置空间受限的问题；并且通过坐标转换，将靶点在全站仪坐标系下的坐标转换到第一坐标系下，为后续的标定反馈提示奠定基础，是提升摄像头对准效果的关键步骤。

在一种可能的实现方式中，根据P个第一目标位姿的平均值和当前位姿进行摄像头的硬件在环标定，包括：将第二目标位姿与当前位姿作差以得到当前位姿残差，其中，第二目标位姿为P个第一目标位姿的平均值，当前位姿残差包括3个当前位置自由度残差和3个当前姿态自由度残差；先按照当前位置自由度残差从大到小的顺序依次调节摄像头的各个位置自由度，以使摄像头的第一位置自由度与第二目标位姿的第一位置自由度的差值小于预设的第一位置自由度残差阈值、摄像头的第二位置自由度与第二目标位姿的第二位置自由度的差值小于预设的第二位置自由度残差阈值、摄像头的第三位置自由度与第二目标位姿的第三位置自由度的差值小于预设的第三位置自由度残差阈值；再按照当前姿态自由度残差从大到小的顺序依次调节摄像头的各个姿态自由度，以使摄像头的第一姿态自由度与第二目标位姿的第一姿态自由度的差值小于预设的第一姿态自由度残差阈值、摄像头的第二姿态自由度与第二目标位姿的第二姿态自由度的差值小于预设的第二姿态自由度残差阈值、摄像头的第三姿态自由度与第二目标位姿的第三姿态自由度的差值小于预设的第三姿态自由度残差阈值。

应理解，位姿包括3个位置自由度和3个姿态自由度，那么位姿残差包括3个位置自由度残差和3个姿态自由度残差。而对于标定来说，有的自由度对对准精度影响较大，该自由度对应的自由度残差阈值应尽可能小；有的自由度对对准精度影响较小，该自由度对应的自由度残差阈值相对可以大些。因此，每个自由度对应的自由度残差阈值可能不同，从而有3个位置自由度一一对应3个位置自由度残差阈值，以及3个姿态自由度一一对应3个姿态自由度残差阈值。标定过程也即依次调节摄像头的各个自由度，使其各个自由度对应的自由度残差小于该自由度对应的自由度残差阈值。

实践表明，在进行位姿调整时，先调节摄像头的位置，再调节摄像头的姿态，可提高调节效率，因此，在计算得到第二目标位姿和当前位姿后，先反馈位置中残差较大的分量，提示向对应方向调节某一数值，待调节好3个位置自由度后，提示调节姿态分量中较大的分量，直至6个自由度全部调节完毕。

在本申请实施例中，在将摄像头的姿态从当前位姿调节到需要调整到的位姿时，先反馈位置中残差较大的分量，对该残差较大的分量向对应方向调节某一数值；后反馈位置中残差较小的分量，对该残差较小的分量向对应方向调节某一数值；待调节好3个位置自由度后，再调节姿态分量中较大的分量，且按照残差从大到小依次调节各姿态分量；实践表明，先调节位置，再调节姿态，可提高调节效率。

请参阅图11，图11是本申请实施例提供的另一种摄像头的硬件在环标定方法的流程示意图，该方法可以应用于图2所示的摄像头的硬件在环标定系统，该方法由电子设备执行，该电子设备包括该摄像头，或该电子设备与该摄像头通信连接，该方法包括但不限于如下步骤：

步骤1101、标定靶点设置。

其中，设置的靶点是不共面的，可以为摄像头的硬件在环标定算法提供所需的不共面靶点坐标信息。

步骤1102、靶点三维坐标计算。

具体地，通过全站仪打点及三维坐标转换，可得到所有靶点在第一坐标系下的三维坐标(也即第一三维坐标)，也即通过全站仪打点先得到靶点在全站仪坐标系下的三维坐标，再将靶点在全站仪坐标系下的三维坐标转换到第一坐标系下，得到所有靶点在第一坐标系下的三维坐标；所有靶点在第一坐标系下的三维坐标可作为摄像头的硬件在环标定算法(包括目标位姿的计算、当前位姿的计算)的输入。

步骤1103、摄像头内参计算。

步骤1104、靶点的二维坐标生成。

其中，由于摄像头的硬件在环标定的目的是使摄像头拍摄的图像与实际的屏幕显示图像完全一致，设置屏幕靶点后，可以通过圆心检测得到靶点的二维坐标，靶点的二维坐标可作为摄像头的目标位姿计算的二维坐标输入。

步骤1105、重点关注区域选择。

具体地，显示设备显示有标定图像，电子设备可以自动框选标定图像中该摄像头的重点关注区域，或者提供用户框选接口，用户手动框选标定图像中该摄像头的重点关注区域。

步骤1106、摄像头的目标位姿计算。

其中，框选得到摄像头的重点关注区域后，执行摄像头的目标位姿计算。

具体地，对重点关注区域中的靶点赋予更高的权重，基于权重完成靶点bootstrap抽样分组，将每一组靶点的在第一坐标系下的三维坐标、二维坐标以及基于张氏标定法得到的摄像头的内参信息(包括摄像头的内参矩阵和摄像头的畸变系数)带入UPNP算法，计算得到每一组靶点所对应的目标位姿(也即第一目标位姿)，将每一组靶点对应的目标位姿进行求平均，得到最终的摄像头的目标位姿(也即第二目标位姿)。

其中，所得的摄像头的目标位姿不仅为摄像头的位姿调整方向提供参考标杆，同时着重保证了重点关注区域的对准精度，对提升相机对准的标定效率、标定精度至关重要；也即可以提高重点关注区域的对准精度，满足用户需求，显著提升对准效率及对准精度。

步骤1107、摄像头的当前位姿计算。

具体地，得到摄像头的目标位姿后，调整摄像头的位置，调整过程中完成摄像头拍摄图像的圆心检测，得到靶点圆心在拍摄图像中的像素坐标，将靶点圆心在拍摄图像中的像素坐标、靶点的在第一坐标系下的三维坐标以及摄像头的内参信息带入UPNP算法，可以得到摄像头的当前位姿。

步骤1108、位姿残差是否大于阈值。

具体地，通过计算摄像头当前位姿与目标位姿的位姿残差，根据位姿残差可以明确应该调整的自由度方向及其大小。

其中，若位姿残差大于阈值，执行步骤1109；若位姿残差不大于阈值，执行步骤1111。

步骤1109、摄像头位姿调整。

步骤1110、靶点在摄像头拍摄图像中的像素坐标检测。

具体地，摄像头位姿调整后，再次通过摄像头拍摄显示设备，以得到新的拍摄图像，并完成新的拍摄图像的圆心检测，得到靶点圆心在新的拍摄图像中的像素坐标；并根据该靶点圆心在新的拍摄图像中的像素坐标重复执行步骤1107。

步骤1111、摄像头的误差地图生成。

具体地，当摄像头的当前位姿和目标位姿的残差在阈值之内后，进行摄像头误差地图的生成，摄像头误差地图生成后，电子设备评估该误差地图对ADAS算法的精度影响；或者将误差地图将反馈给用户，为用户提供全量精度信息，也即由用户评估该误差地图对ADAS算法的精度影响。

在图11所描述的摄像头的硬件在环标定方法中，提供了不共面的靶点，用于摄像头的硬件在环标定；在考虑了摄像头的重点关注区域的前提下，基于重采样思想及摄像头标定算法得到摄像头的目标位姿；在摄像头的硬件在环标定时，该目标位姿为摄像头的位姿调节提供参考标杆，可有效提升对准效率和对准精度。

请参阅图12，图12是本申请实施例提供的又一种摄像头的硬件在环标定方法的流程示意图，该方法可以应用于图2所示的摄像头的硬件在环标定系统，该方法由电子设备执行，该电子设备包括该摄像头，或该电子设备与该摄像头通信连接，该方法包括但不限于如下步骤：

步骤1201、不共面靶点设置。

步骤1202、全站仪打点。

步骤1203、靶点三维坐标计算。

其中，步骤1201-1203为靶点设置及坐标转换(①)：首先设置不共面的靶点，包括显示设备的屏幕内的靶点、屏幕边框上的靶点；然后利用全站仪打点，获得靶点在全站仪坐标系下的三维坐标(也即第二三维坐标)；再通过坐标转换公式将靶点在全站仪坐标系下的三维坐标转换到第一坐标系下，得到靶点在第一坐标系下的三维坐标。

步骤1204、重点关注区域选择。

步骤1205、设置靶点对应的权重。

步骤1206、靶点bootstrap重采样。

步骤1207、目标位姿计算。

其中，步骤1204-1207为目标姿态计算(②)：首先在标定图像中框选摄像头的感兴趣区域，也即摄像头的重点关注区域；然后给靶点设置权重，其中，摄像头的重点关注区域对应的靶点的权重大于摄像头的非重点关注区域对应的靶点的权重；再通过bootstrap采样方法对靶点进行随机的有放回的采样，得到一系列的靶点组合；最后利用靶点在第一坐标系下的三维坐标及靶点的二维坐标，结合摄像头的内参得到每一组靶点对应的目标位姿，对所有组靶点对应的目标位姿求平均，得到摄像头的目标位姿。目标位姿的具体计算过程如下：

1)通过摄像头对棋盘格标定板进行不同角度的标定图像采集，得到一定数量的标定图像；其中，在进行标定图像采集时，标定板应该出现并尽量充满摄像头视野，也即标定板在标定图像中所占的比例应尽可能的大，且标定板的角度覆盖范围应该尽量大。从采集到的标定图像中选择一些标定图像，例如选用的标定图像数量大于50张，对这些选用的标定图像进行角点检测，得到选用的标定图像中的每张图像中的各个角点的像素坐标，结合各个角点在标定板坐标系下的三维坐标(也即第三三维坐标)，其中，标定板坐标系下的坐标值为定值)，利用张氏标定法可得到摄像头的内参，也即得到摄像头的畸变系数和内参矩阵。

2)得到摄像头的内参后，将摄像头的内参矩阵、摄像头的畸变系数、靶点在第一坐标系下的三维坐标、靶点的二维坐标带入UPNP算法即可得到摄像头的外参(即摄像头在第一坐标系下的位置和姿态)，也即摄像头的目标位姿。

步骤1208、圆心检测。

具体地，得到摄像头的目标位姿后，对摄像头当前拍摄所得的图像进行圆心检测，得到靶点在拍摄图像中的像素坐标。

步骤1209、当前位姿计算。

具体地，将靶点在拍摄图像中的像素坐标、靶点的在第一坐标系下的三维坐标、摄像头的内参矩阵、畸变系数带入UPNP算法，即可得到摄像头当前的位姿情况。

步骤1210、位姿残差计算。

具体地，将当前位姿(位置包括：x，y，z；姿态包括：yaw，pitch，roll)和目标位姿作差，得到各个分量的残差，各个分量的残差组成位姿残差。

步骤1211、位姿残差是否大于阈值。

其中，若位姿残差大于阈值，执行步骤1212；当位姿残差不大于阈值，执行步骤1214。

步骤1212、位姿调整方向提示。

具体地，依据位姿残差提示当前位姿的各个自由度需要调整的方向及调整的大小。

步骤1213、位姿调整。

其中，实践表明，先调节位置，再调节姿态可提高调节效率。因此，先反馈位置中残差较大的分量，提示向对应方向调节某一数值，然后调节位置中残差次大的分量，再调节位置中残差最小的分量；待调节好3个位置自由度后，提示调节姿态分量中较大的分量，然后调节姿态中残差次大的分量，再调节姿态中残差最小的分量。

步骤1214、误差地图生成。

其中，系统会预先设定好各个自由度对应的自由度残差阈值，当所有自由度的残差小于对应的自由度残差阈值后，计算当前位姿下的误差地图。

请参阅图13，图13是本申请实施例提供的一种误差地图的生成原理的示意图。如图13所示，电子设备通过控制模块控制显示设备在屏幕上播放一帧标定图像，并通过控制模块记录当前显示该标定图像的显示设备的靶点的二维坐标，以及通过检测模块通过圆心检测得到靶点在摄像头拍摄图像中的像素坐标，针对每个靶点，求取该靶点的二维坐标与该靶点在摄像头拍摄图像中的像素坐标的欧氏距离，即可得到该靶点的误差信息，从而得到当前播放的标定图像对应的所有靶点的误差信息；得到当前播放的标定图像对应的所有靶点的误差信息后，通过控制模块控制继续播放下一帧标定图像，重复上述操作，得到所有标定图像的像素误差信息，构成最终的误差地图。

步骤1215、误差地图是否满足要求。

其中，得到误差地图后，会判断该误差地图是否满足要求，如果该误差地图满足要求，则执行步骤1216，对准结束；如果该误差地图不满足要求，则执行步骤1217。

步骤1216、对准结束。

步骤1217、是否调整重点关注区域。

其中，如果该误差地图不满足要求，会提示是否调整摄像头的重点关注区域。如果调整了摄像头的重点关注区域，则返回②进行摄像头的重点关注区域选择，以及目标位姿计算；如果不调整摄像头的重点关注区域，则执行步骤1218。

步骤1218、阈值调整。

其中，如果不用调整摄像头的重点关注区域，则调整阈值，例如系统提供阈值调整窗口，让用户重新选择阈值；然后返回计算摄像头的目标位姿与当前位姿的残差是否满足阈值要求；如果不满足，则需要继续调节摄像头的位姿，直到摄像头的位姿与目标位姿的位姿残差的所有自由度符合设定的阈值。

需要指出的是，本申请提出的标定方法可以应用于电子设备，由电子设备自动标定，例如可设置6自由度电机，利用适当的控制算法即可控制调整摄像头的位姿，实现自动化对准；也可以通过人工手动调节摄像头的位姿。

在图12所描述的摄像头的硬件在环标定方法中，在显示设备的屏幕内和屏幕边框上设置靶点，可规避标定算法需要不共面靶点的问题；除此之外，由于靶点对准不可能兼顾所有像素，为解决不同摄像头对不同区域的对准精度的要求，给不同区域的靶点设置不同的权重，基于权重对靶点进行有放回的重采样既保证了各组靶点数据之间的独立性，又侧重提升了摄像头的重点关注区域对应的靶点被抽取的概率，根据采样得到的各组靶点计算摄像头的目标位姿，根据摄像头的目标位姿和摄像头的当前位姿进行摄像头的硬件在环标定，可有效提升摄像头对重点关注区域的对准精度。

请参阅图14，图14是本申请实施例提供的一种摄像头的硬件在环标定靶点设置装置的结构示意图，该摄像头的硬件在环标定靶点设置装置1400可以应用于电子设备，该电子设备包括该摄像头，或该电子设备与该摄像头通信连接，该摄像头的硬件在环标定靶点设置装置1400可以包括设置单元1401，其中，各个单元的详细描述如下：

设置单元1401，用于在显示设备的屏幕内设置M个第一靶点，以及在显示设备的屏幕边框上设置N个第二靶点，其中，显示设备用于在进行摄像头的硬件在环标定时显示标定图像，M个第一靶点与N个第二靶点不共面，M和N为大于或等于3的整数。

在一种可能的实现方式中，设置单元1401，还用于：获取M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标，其中，第二三维坐标为全站仪坐标系下的坐标；对M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标进行坐标转换，得到M个第一靶点的第一三维坐标和N个第二靶点的第一三维坐标，其中，第一三维坐标为第一坐标系下的坐标，第一坐标系为以屏幕的一个边界点为原点、以屏幕的竖向为第一坐标轴、以屏幕的横向为第二坐标轴、以屏幕的垂直方向为第三坐标轴的坐标系；M个第一靶点的第一三维坐标和N个第二靶点的第一三维坐标用于摄像头的硬件在环标定。

在一种可能的实现方式中，在对M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标进行坐标转换，得到M个第一靶点的第一三维坐标和N个第二靶点的第一三维坐标方面，设置单元1401，具体用于：根据M个第一靶点的第二三维坐标和M个第一靶点的第二三维坐标，得到M个第一特征向量和M个第二特征向量；根据M个第一特征向量和M个第二特征向量采用最小二乘法计算得到中间向量；根据中间向量得到控制矩阵，以及根据控制矩阵得到旋转向量和平移向量；根据旋转向量和平移向量对M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标进行坐标转换，得到M个第一靶点的第一三维坐标和N个第二靶点的第一三维坐标。

在一种可能的实现方式中，标定图像的高宽比、屏幕的高宽比与显示设备的高宽比相同，设置单元1401，还用于：对显示标定图像的显示设备进行圆心检测，以得到M个第一靶点中的每个第一靶点的像素坐标；将M个第一靶点中的每个第一靶点的像素坐标转换到第二坐标系下，以得到M个第一靶点中的每个第一靶点的二维坐标，其中，第二坐标系为以显示设备的屏幕边框的一个外边界点为原点、以屏幕边框的竖向为第一坐标轴、以屏幕边框的横向为第二坐标轴的坐标系；根据M个第一靶点中的至少一个第一靶点的二维坐标、屏幕的高宽比与显示设备的高宽比确定N个第二靶点在第二坐标系下的二维坐标。

在一种可能的实现方式中，标定图像的尺寸与屏幕边框的外边界尺寸存在比例关系，设置单元1401，还用于：根据标定图像的尺寸与屏幕边框的外边界尺寸存在的比例关系，对标定图像进行放大处理，以得到放大后的标定图像，其中，放大后的标定图像的尺寸与屏幕边框的外边界尺寸相等；将放大后的标定图像投影到第二坐标系上，其中，第二坐标系为以显示设备的屏幕边框的一个外边界点为原点、以屏幕边框的竖向为第一坐标轴、以屏幕边框的横向为第二坐标轴的坐标系；将放大后的标定图像中与靶点中心位置重合的像素坐标作为该靶点的二维坐标，以得到M个第一靶点的二维坐标和N个第二靶点的二维坐标。

需要说明的是，各个单元的实现还可以对应参照图2-图13所示的实施例的相应描述。当然，本申请实施例提供的摄像头的硬件在环标定靶点设置装置1400包括但不限于上述单元模块，例如：该摄像头的硬件在环标定靶点设置装置1400还可以包括存储单元1402。存储单元1402可以用于存储该摄像头的硬件在环标定靶点设置装置1400的程序代码和数据。

在图14所描述的摄像头的硬件在环标定靶点设置装置1400中，在显示设备的屏幕内设置M个第一靶点，以及在显示设备的屏幕边框上设置N个第二靶点，且该M个第一靶点与该N个第二靶点是不共面的，因此在标定时无需使用多块不共面的标定板，解决了摄像头的硬件在环系统中靶点设置空间受限的问题。

请参阅图15，图15是本申请实施例提供的一种摄像头的硬件在环标定装置的结构示意图，该摄像头的硬件在环标定装置1500可以包括确定单元1501、抽样单元1502和标定单元1503，该摄像头的硬件在环标定装置1500应用于电子设备，该电子设备包括该摄像头，或该电子设备与该摄像头通信连接，其中，各个单元的详细描述如下：

确定单元1501，用于确定多个靶点中的每个靶点对应的权重，其中，多个靶点为显示设备上的靶点，显示设备上位于目标区域内的靶点对应的权重大于位于目标区域外的靶点对应的权重，显示设备的目标区域用于显示标定图像的一部分；标定图像为在进行摄像头的硬件在环标定时显示设备显示的图像；

抽样单元1502，用于根据权重对多个靶点进行P次有放回的抽样，以得到P个靶点组，其中，针对每次抽样，靶点对应的权重越大，该靶点被抽取的概率越大，P为正整数；

标定单元1503，用于根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定。

在一种可能的实现方式中，标定单元1503，具体用于：根据P个靶点组确定P个第一目标位姿，其中，P个靶点组与P个第一目标位姿一一对应；通过摄像头对当前显示标定图像的显示设备进行图像采集以得到目标图像，并根据多个靶点和目标图像确定摄像头的当前位姿；根据P个第一目标位姿的平均值和当前位姿进行摄像头的硬件在环标定。

在一种可能的实现方式中，标定单元1503，还用于：在根据P个靶点组确定P个第一目标位姿之前；通过摄像头对标定板进行图像采集以得到Q张标定图像，其中，Q为正整数；对Q张标定图像中的每张标定图像进行角点检测以得到每张标定图像中的各个角点的像素坐标；根据Q张标定图像中的每张标定图像中的各个角点的像素坐标、每张标定图像中的各个角点的第三三维坐标得到摄像头的内参矩阵和摄像头的畸变系数，其中，第三三维坐标为标定板坐标系下的坐标。

在一种可能的实现方式中，标定单元1503，具体用于：针对P个靶点组中的每个靶点组，执行以下步骤，得到P个第一目标位姿：获取目标靶点组中的每个靶点的二维坐标，其中，目标靶点组为P个靶点组中的任意一个，二维坐标为第二坐标系下的坐标，第二坐标系为以显示设备的屏幕边框的一个外边界点为原点、以屏幕边框的竖向为第一坐标轴、以屏幕边框的横向为第二坐标轴的坐标系；根据目标靶点组中的每个靶点的二维坐标、第一三维坐标、摄像头的内参矩阵和摄像头的畸变系数，计算得到目标靶点组对应的第一目标位姿，其中，第一三维坐标为第一坐标系下的坐标，第一坐标系为以显示设备的屏幕的一个边界点为原点、以屏幕的竖向为第一坐标轴、以屏幕的横向为第二坐标轴、以屏幕的垂直方向为第三坐标轴的坐标系。

在一种可能的实现方式中，标定单元1503，具体用于：对目标图像进行圆心检测以得到多个靶点中的每个靶点在目标图像中的像素坐标；根据多个靶点中的每个靶点在目标图像中的像素坐标、多个靶点中的每个靶点的第一三维坐标、摄像头的内参矩阵、摄像头的畸变系数，计算得到当前位姿，其中，第一三维坐标为第一坐标系下的坐标，第一坐标系为以显示设备的屏幕的一个边界点为原点、以屏幕的竖向为第一坐标轴、以屏幕的横向为第二坐标轴、以屏幕的垂直方向为第三坐标轴的坐标系。

在一种可能的实现方式中，多个靶点包括显示设备的屏幕内的M个第一靶点和屏幕边框上的N个第二靶点，其中，M个第一靶点与N个第二靶点不共面，M和N为大于或等于3的整数，标定单元1503，还用于：在根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定之前，获取M个第一靶点的第二三维坐标和N个第二靶点的第二三维坐标，其中，第二三维坐标为全站仪坐标系下的坐标；对M个第一靶点的第二三维坐标进行坐标转换以得到M个第一靶点的第一三维坐标，以及对N个第二靶点的第二三维坐标进行坐标转换以得到N个第二靶点的第一三维坐标。

在一种可能的实现方式中，标定单元1503，具体用于：将第二目标位姿与当前位姿作差以得到当前位姿残差，其中，第二目标位姿为P个第一目标位姿的平均值，当前位姿残差包括3个当前位置自由度残差和3个当前姿态自由度残差；先按照当前位置自由度残差从大到小的顺序依次调节摄像头的各个位置自由度，以使摄像头的第一位置自由度与第二目标位姿的第一位置自由度的差值小于预设的第一位置自由度残差阈值、摄像头的第二位置自由度与第二目标位姿的第二位置自由度的差值小于预设的第二位置自由度残差阈值、摄像头的第三位置自由度与第二目标位姿的第三位置自由度的差值小于预设的第三位置自由度残差阈值；再按照当前姿态自由度残差从大到小的顺序依次调节摄像头的各个姿态自由度，以使摄像头的第一姿态自由度与第二目标位姿的第一姿态自由度的差值小于预设的第一姿态自由度残差阈值、摄像头的第二姿态自由度与第二目标位姿的第二姿态自由度的差值小于预设的第二姿态自由度残差阈值、摄像头的第三姿态自由度与第二目标位姿的第三姿态自由度的差值小于预设的第三姿态自由度残差阈值。

需要说明的是，各个单元的实现还可以对应参照图2-图13所示的实施例的相应描述。当然，本申请实施例提供的摄像头的硬件在环标定装置1500包括但不限于上述单元模块，例如：该摄像头的硬件在环标定装置1500还可以包括存储单元1504。存储单元1504可以用于存储该摄像头的硬件在环标定装置1500的程序代码和数据。

在图15所描述的摄像头的硬件在环标定装置1500中，给不同区域的靶点设置不同的权重，基于权重对靶点进行有放回的重采样既保证了各组靶点数据之间的独立性，又侧重提升了摄像头的重点关注区域对应的靶点被抽取的概率，根据采样得到的各组靶点和摄像头的当前位姿进行摄像头的硬件在环标定，可有效提升摄像头对重点关注区域的对准精度。具体地，用于摄像头的硬件在环标定的显示设备上有多个靶点，在该显示设备上显示标定图像，该标定图像有该摄像头的重点关注区域，该标定图像被显示在该显示设备上时，该显示设备上用于显示该重点关注区域的显示区域为目标区域，先设置该目标区域内的靶点对应的权重大于位于该目标区域外的靶点对应的权重；然后基于权重概率对多个靶点进行P次有放回的抽样以得到P个靶点组，也即靶点对应的权重越大，该靶点被抽取的概率越大；由于目标区域内的靶点的权重大于位于该目标区域外的靶点对应的权重，故每次抽样时，目标区域内的靶点被抽取的概率更大，目标区域内的靶点被抽取的数量相对就越多，在根据P个靶点组和摄像头的当前位姿进行摄像头的硬件在环标定时，目标区域内的靶点所起的决定作用占比就越大，摄像头对重点关注区域的对准精度就越高。综上，本申请实施例，可有效提升摄像头对重点关注区域的对准精度，保证用户的个性化对准需求。

请参阅图16，图16是本申请实施例提供的一种电子设备的结构示意图，该电子设备1610包括收发器1611、处理器1612和存储器1613，收发器1611、处理器1612和存储器1613通过总线1614相互连接。

存储器1613包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmableread only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器1613用于相关指令及数据。

收发器1611用于接收和发送数据。

处理器1612可以是一个或多个中央处理器(central processing unit，CPU)，在处理器1612是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。

该电子设备1610中的处理器1612用于读取存储器1613中存储的程序代码，执行本申请实施例所描述的方法。

需要说明的是，各个操作的实现还可以对应参照图2-图13所示的实施例的相应描述。

在图16所描述的电子设备1610中，在显示设备的屏幕内和屏幕边框上设置不共面的靶点，因此在标定时无需使用多块不共面的标定板，解决了摄像头的硬件在环系统中靶点设置空间受限的问题；以及给不同区域的靶点设置不同的权重，基于权重对靶点进行有放回的重采样既保证了各组靶点数据之间的独立性，又侧重提升了摄像头的重点关注区域对应的靶点被抽取的概率，根据采样得到的各组靶点和摄像头的当前位姿进行摄像头的硬件在环标定，可有效提升摄像头对重点关注区域的对准精度。

本申请实施例还提供一种芯片，该芯片包括至少一个处理器，存储器和接口电路，上述存储器、上述收发器和上述至少一个处理器通过线路互联，上述至少一个存储器中存储有计算机程序；上述计算机程序被上述处理器执行时，上述方法实施例中所示的方法流程得以实现。

本申请实施例还提供一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机程序，当其在电子设备上运行时，上述方法实施例中所示的方法流程得以实现。

本申请实施例还提供一种计算机程序，当上述计算机程序在电子设备上运行时，上述方法实施例中所示的方法流程得以实现。

综上可知，现有的摄像头标定方法，基本没有量化指标，只有定性的给出摄像头应处的初始位置(如屏幕中心轴线上)，然后通过手工调节的方法，将摄像头调整到可以完整拍摄到屏幕；由于摄像头的位姿调节极大取决于用户的经验，因此这种定性地位姿调节方法通常效率低下(精细调节需要1小时左右)；此外，这种传统标定方法的精度很难保证，且无法做到根据摄像头的功能进行有侧重的位姿调节，适用性较差。本申请实施例可以进行摄像头位姿的精确调节，首先针对摄像头标定的需要，提出了一种摄像头的硬件在环标定靶点设置方法，该方法利用屏幕内的靶点和屏幕边框上的靶点不共面的特点，规避了使用多个标定板的弊端；并提出了一种摄像头的硬件在环标定方法，通过基于权重赋值的bootstrap重采样方法生成靶点组合，利用张氏标定法、UPNP算法和已知的靶点坐标信息计算得到摄像头的目标位姿，为摄像头的对准方向提供标杆，可大大提升对准效率和对准精度。除此之外，本申请实施例还给出了最终对准结果的评价指标及其计算方法(误差地图)，向用户提供了全量的最终误差信息，为用户评价ADAS算法提供原始误差输入。

本申请实施例提供的关键技术点包括：

关键技术点一：本申请实施例提供一种摄像头的硬件在环标定靶点设置方法。将摄像头标定的方法用于摄像头的硬件在环标定可有效提升摄像头的对准效率和对准精度。摄像头的标定算法需要使用不共面的靶点信息，通常采用2块不共面标定板完成摄像头的标定。摄像头的硬件在环系统无法使用标定板，为此设计一种在屏幕内设置靶点，以及在屏幕边框上设置靶点，实现不共面靶点的设置，并给出靶点三维坐标的计算和转换方法。

关键技术点二：本申请实施例提供一种基于重点关注区域选择的目标位姿求解方法。不同功能的摄像头关注的区域不尽相同，设计选择重点区域的功能可有效提升重点区域的对准精度，降低摄像头原始数据层的误差。为此，本申请提出一种基于权重的bootstrap重采样靶点组合生成方法，对每一组靶点数据使用摄像头标定技术进行摄像头的目标位姿求解，通过求平均得到摄像头的目标位姿数值。该抽样方法可保证每一组靶点数据的独立性，同时侧重对准框重点关注区域内的靶点，保证了用户的个性化对准需求。结合标定算法的重点关注区域对准方法量化给定了摄像头位姿调整标杆，可有效提升摄像头的标定效率和标定精度。

本申请实施例的有益效果包括：

有益效果一：本申请实施例提供的一种摄像头的硬件在环标定靶点设置方法，无需使用多块不共面的标定板，解决了摄像头的硬件在环标定系统中靶点设置空间受限问题；通过坐标转换，可将靶点坐标转换到屏幕坐标系下，为后续的调节反馈提示奠定基础，有利于提升摄像头对准效果。

有益效果二：本申请实施例提供的一种摄像头的硬件在环标定方法，结合权重重采样方法、摄像头标定算法，在保证摄像头的重点关注区域的对准精度下，求解出摄像头的目标位姿，该目标位姿为摄像头的对准提供了量化标杆，是保证对准精度、提升对准效率。

应理解，本申请实施例中提及的处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

需要说明的是，当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。

应注意，本说明书描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本说明书中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。此外，本申请各实施例中的术语、解释说明，可以参照其他实施例中相应的描述。

本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。

以上描述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (16)

1.一种摄像头的硬件在环标定方法，其特征在于，所述方法包括：

确定多个靶点中的每个靶点对应的权重，其中，所述多个靶点为显示设备上的靶点，所述显示设备上位于目标区域内的靶点对应的权重大于位于所述目标区域外的靶点对应的权重，所述显示设备的目标区域用于显示标定图像的一部分；所述标定图像为在进行所述摄像头的硬件在环标定时所述显示设备显示的图像；

根据所述权重对所述多个靶点进行P次有放回的抽样，以得到P个靶点组，其中，针对每次抽样，靶点对应的权重越大，该靶点被抽取的概率越大，所述P为正整数；

根据所述P个靶点组和所述摄像头的当前位姿进行所述摄像头的硬件在环标定。

2.根据权利要求1所述的方法，其特征在于，所述根据所述P个靶点组和所述摄像头的当前位姿进行所述摄像头的硬件在环标定，包括：

根据所述P个靶点组确定P个第一目标位姿，其中，所述P个靶点组与所述P个第一目标位姿一一对应；

通过所述摄像头对当前显示所述标定图像的所述显示设备进行图像采集以得到目标图像，并根据所述多个靶点和所述目标图像确定所述摄像头的当前位姿；

根据所述P个第一目标位姿的平均值和所述当前位姿进行所述摄像头的硬件在环标定。

3.根据权利要求2所述的方法，其特征在于，所述根据所述P个靶点组确定P个第一目标位姿，包括：

针对所述P个靶点组中的每个靶点组，执行以下步骤，得到P个第一目标位姿：

获取目标靶点组中的每个靶点的二维坐标，其中，所述目标靶点组为所述P个靶点组中的任意一个，

所述二维坐标为第二坐标系下的坐标，所述第二坐标系为以所述显示设备的屏幕边框的一个外边界点为原点、以所述屏幕边框的竖向为第一坐标轴、以所述屏幕边框的横向为第二坐标轴的坐标系；

根据所述目标靶点组中的每个靶点的二维坐标、第一三维坐标、所述摄像头的内参矩阵和所述摄像头的畸变系数，计算得到所述目标靶点组对应的第一目标位姿，

其中，所述第一三维坐标为第一坐标系下的坐标，所述第一坐标系为以所述显示设备的屏幕的一个边界点为原点、以所述屏幕的竖向为第一坐标轴、以所述屏幕的横向为第二坐标轴、以所述屏幕的垂直方向为第三坐标轴的坐标系。

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述多个靶点和所述目标图像确定所述摄像头的当前位姿，包括：

对所述目标图像进行圆心检测以得到所述多个靶点中的每个靶点在所述目标图像中的像素坐标；

根据所述多个靶点中的每个靶点在所述目标图像中的像素坐标、所述多个靶点中的每个靶点的第一三维坐标、所述摄像头的内参矩阵、所述摄像头的畸变系数，计算得到所述当前位姿，

其中，所述第一三维坐标为第一坐标系下的坐标，所述第一坐标系为以所述显示设备的屏幕的一个边界点为原点、以所述屏幕的竖向为第一坐标轴、以所述屏幕的横向为第二坐标轴、以所述屏幕的垂直方向为第三坐标轴的坐标系。

5.根据权利要求2或3所述的方法，其特征在于，所述多个靶点包括所述显示设备的屏幕内的M个第一靶点和屏幕边框上的N个第二靶点，其中，所述M个第一靶点与所述N个第二靶点不共面，所述M和所述N为大于或等于3的整数，在所述根据所述P个靶点组和所述摄像头的当前位姿进行所述摄像头的硬件在环标定之前，所述方法还包括：

获取所述M个第一靶点的第二三维坐标和所述N个第二靶点的第二三维坐标，其中，所述第二三维坐标为全站仪坐标系下的坐标；

对所述M个第一靶点的第二三维坐标进行坐标转换以得到所述M个第一靶点的第一三维坐标，以及对所述N个第二靶点的第二三维坐标进行坐标转换以得到所述N个第二靶点的第一三维坐标。

6.根据权利要求2或3所述的方法，其特征在于，所述根据所述P个第一目标位姿的平均值和所述当前位姿进行所述摄像头的硬件在环标定，包括：

将第二目标位姿与所述当前位姿作差以得到当前位姿残差，其中，所述第二目标位姿为所述P个第一目标位姿的平均值，所述当前位姿残差包括3个当前位置自由度残差和3个当前姿态自由度残差；

先按照当前位置自由度残差从大到小的顺序依次调节所述摄像头的各个位置自由度，以使所述摄像头的第一位置自由度与所述第二目标位姿的第一位置自由度的差值小于预设的第一位置自由度残差阈值、所述摄像头的第二位置自由度与所述第二目标位姿的第二位置自由度的差值小于预设的第二位置自由度残差阈值、所述摄像头的第三位置自由度与所述第二目标位姿的第三位置自由度的差值小于预设的第三位置自由度残差阈值；

再按照当前姿态自由度残差从大到小的顺序依次调节所述摄像头的各个姿态自由度，以使所述摄像头的第一姿态自由度与所述第二目标位姿的第一姿态自由度的差值小于预设的第一姿态自由度残差阈值、所述摄像头的第二姿态自由度与所述第二目标位姿的第二姿态自由度的差值小于预设的第二姿态自由度残差阈值、所述摄像头的第三姿态自由度与所述第二目标位姿的第三姿态自由度的差值小于预设的第三姿态自由度残差阈值。

7.一种摄像头的硬件在环标定装置，其特征在于，所述装置包括：

确定单元，用于确定多个靶点中的每个靶点对应的权重，其中，所述多个靶点为显示设备上的靶点，所述显示设备上位于目标区域内的靶点对应的权重大于位于所述目标区域外的靶点对应的权重，所述显示设备的目标区域用于显示标定图像的一部分；所述标定图像为在进行所述摄像头的硬件在环标定时所述显示设备显示的图像；

抽样单元，用于根据所述权重对所述多个靶点进行P次有放回的抽样，以得到P个靶点组，其中，针对每次抽样，靶点对应的权重越大，该靶点被抽取的概率越大，所述P为正整数；

标定单元，用于根据所述P个靶点组和所述摄像头的当前位姿进行所述摄像头的硬件在环标定。

8.根据权利要求7所述的装置，其特征在于，所述标定单元，具体用于：

根据所述P个靶点组确定P个第一目标位姿，其中，所述P个靶点组与所述P个第一目标位姿一一对应；

通过所述摄像头对当前显示所述标定图像的所述显示设备进行图像采集以得到目标图像，并根据所述多个靶点和所述目标图像确定所述摄像头的当前位姿；

根据所述P个第一目标位姿的平均值和所述当前位姿进行所述摄像头的硬件在环标定。

9.根据权利要求8所述的装置，其特征在于，所述标定单元，具体用于：

针对所述P个靶点组中的每个靶点组，执行以下步骤，得到P个第一目标位姿：

获取目标靶点组中的每个靶点的二维坐标，其中，所述目标靶点组为所述P个靶点组中的任意一个，

所述二维坐标为第二坐标系下的坐标，所述第二坐标系为以所述显示设备的屏幕边框的一个外边界点为原点、以所述屏幕边框的竖向为第一坐标轴、以所述屏幕边框的横向为第二坐标轴的坐标系；

根据所述目标靶点组中的每个靶点的二维坐标、第一三维坐标、所述摄像头的内参矩阵和所述摄像头的畸变系数，计算得到所述目标靶点组对应的第一目标位姿，

其中，所述第一三维坐标为第一坐标系下的坐标，所述第一坐标系为以所述显示设备的屏幕的一个边界点为原点、以所述屏幕的竖向为第一坐标轴、以所述屏幕的横向为第二坐标轴、以所述屏幕的垂直方向为第三坐标轴的坐标系。

10.根据权利要求8或9所述的装置，其特征在于，所述标定单元，具体用于：

对所述目标图像进行圆心检测以得到所述多个靶点中的每个靶点在所述目标图像中的像素坐标；

根据所述多个靶点中的每个靶点在所述目标图像中的像素坐标、所述多个靶点中的每个靶点的第一三维坐标、所述摄像头的内参矩阵、所述摄像头的畸变系数，计算得到所述当前位姿，

其中，所述第一三维坐标为第一坐标系下的坐标，所述第一坐标系为以所述显示设备的屏幕的一个边界点为原点、以所述屏幕的竖向为第一坐标轴、以所述屏幕的横向为第二坐标轴、以所述屏幕的垂直方向为第三坐标轴的坐标系。

11.根据权利要求8或9所述的装置，其特征在于，所述多个靶点包括所述显示设备的屏幕内的M个第一靶点和屏幕边框上的N个第二靶点，其中，所述M个第一靶点与所述N个第二靶点不共面，所述M和所述N为大于或等于3的整数，所述标定单元，还用于：

在所述根据所述P个靶点组和所述摄像头的当前位姿进行所述摄像头的硬件在环标定之前，

获取所述M个第一靶点的第二三维坐标和所述N个第二靶点的第二三维坐标，其中，所述第二三维坐标为全站仪坐标系下的坐标；

对所述M个第一靶点的第二三维坐标进行坐标转换以得到所述M个第一靶点的第一三维坐标，以及对所述N个第二靶点的第二三维坐标进行坐标转换以得到所述N个第二靶点的第一三维坐标。

12.根据权利要求8或9所述的装置，其特征在于，所述标定单元，具体用于：

将第二目标位姿与所述当前位姿作差以得到当前位姿残差，其中，所述第二目标位姿为所述P个第一目标位姿的平均值，所述当前位姿残差包括3个当前位置自由度残差和3个当前姿态自由度残差；

先按照当前位置自由度残差从大到小的顺序依次调节所述摄像头的各个位置自由度，以使所述摄像头的第一位置自由度与所述第二目标位姿的第一位置自由度的差值小于预设的第一位置自由度残差阈值、所述摄像头的第二位置自由度与所述第二目标位姿的第二位置自由度的差值小于预设的第二位置自由度残差阈值、所述摄像头的第三位置自由度与所述第二目标位姿的第三位置自由度的差值小于预设的第三位置自由度残差阈值；

再按照当前姿态自由度残差从大到小的顺序依次调节所述摄像头的各个姿态自由度，以使所述摄像头的第一姿态自由度与所述第二目标位姿的第一姿态自由度的差值小于预设的第一姿态自由度残差阈值、所述摄像头的第二姿态自由度与所述第二目标位姿的第二姿态自由度的差值小于预设的第二姿态自由度残差阈值、所述摄像头的第三姿态自由度与所述第二目标位姿的第三姿态自由度的差值小于预设的第三姿态自由度残差阈值。

13.一种摄像头的硬件在环标定系统，所述系统包括电子设备和显示设备，所述电子设备包括所述摄像头，或所述电子设备与所述摄像头通信连接，所述显示设备包括屏幕和屏幕边框，其特征在于：

所述屏幕内设置有M个第一靶点，或

所述屏幕显示有M个第一靶点；

所述屏幕边框上设置有N个第二靶点；

其中，所述M个第一靶点与所述N个第二靶点不共面，所述M和所述N为大于或等于3的整数；

所述电子设备用于执行权利要求1-6任一项所述的方法。

14.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-6中任一项所述的方法中的步骤的指令。

15.一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1-6中任一项所述的方法。

16.一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-6中任一项所述的方法。

Images