CN112396662A

CN112396662A - 一种转换矩阵修正的方法及装置

Info

Publication number: CN112396662A
Application number: CN201910746151.4A
Authority: CN
Inventors: 汤琦
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2019-08-13
Filing date: 2019-08-13
Publication date: 2021-02-23
Anticipated expiration: 2039-08-13
Also published as: CN112396662B

Abstract

本申请提供一种转换矩阵修正的方法及装置，应用于摄像机中，其中所述方法包括：获取已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵，所述初始转换矩阵基于三维的雷达坐标系与三维的摄像机坐标系进行坐标转换确定；检测本摄像机的姿态参数的当前值与标定值是否不同；若是，依据所述姿态参数的当前值和标定值修正所述初始转换矩阵，得到修正后的目标转换矩阵。本实施例可以自动实现两个坐标系之间的较准，省去重新标定的过程，自动化程度较高。

Description

一种转换矩阵修正的方法及装置

技术领域

本申请涉及数据处理领域，尤其涉及一种转换矩阵修正的方法及装置。

背景技术

目前，由于可见光摄像机的探测范围宽、信号丰富，在环境感知的过程中得到了广泛的应用，但它易受外界因素影响，存在目标缺失、模糊等问题。近些年来，随着雷达技术的逐步发展，使用雷达进行目标探测已得到广泛应用，雷达具有目标探测原理简单，精度高、速度快，不受外界光照条件的影响等优点，其提供的目标探测结果和摄像机的色彩信息具有很强的互补性，因此融合两者的信息成为当今的研究热点。这种融合方式可以应用到很多场合，例如环境感知、障碍检测、机器人导航、三维重建和纹理映射等。

通常摄像机采用相机坐标系来采集目标的位置信息，而雷达采用雷达坐标系来采集目标的位置信息，为了将相机坐标系与雷达坐标系统一到同一个坐标系中，通常采用转换矩阵来进行两者的转换。

然而在某些应用场景(比如交通监控)中，摄像机的角度会发生变化，这样原有的转换矩阵就无法使用了，需要重新对摄像机及雷达进行标定以得到新的转换矩阵。

发明内容

有鉴于此，本申请提供一种转换矩阵修正的方法及装置。

具体地，本申请是通过如下技术方案实现的：

第一方面，本申请实施例提供了一种转换矩阵修正的方法，所述方法应用于摄像机中，包括：

获取已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵，所述初始转换矩阵基于三维的雷达坐标系与三维的摄像机坐标系进行坐标转换确定；

检测本摄像机的姿态参数的当前值与标定值是否不同；

若是，依据所述姿态参数的当前值和标定值修正所述初始转换矩阵，得到修正后的目标转换矩阵。

可选地，所述依据所述姿态参数的当前值和标定值修正所述初始转换矩阵，得到修正后的目标转换矩阵包括：

依据所述姿态参数的当前值和标定值确定旋转矩阵；

依据所述旋转矩阵修正所述初始转换矩阵得到修正后的目标转换矩阵。

可选地，所述姿态参数包括偏航角、俯仰角；所述旋转矩阵包括第一旋转矩阵以及第二旋转矩阵，所述第一旋转矩阵及所述第二旋转矩阵均为3*3的矩阵；

所述依据所述姿态参数的当前值和标定值确定旋转矩阵包括：

依据所述偏航角的当前值和标定值的差△p计算第一旋转矩阵，所述第一旋转矩阵包括所述△p的余弦值、所述△p的正弦值以及所述△p的反正弦值；

依据所述俯仰角的当前值和标定值的差△t计算第二旋转矩阵，所述第二旋转矩阵包括所述△t的余弦值、所述△t的正弦值以及所述△t的反正弦值。

可选地，所述依据所述旋转矩阵修正所述初始转换矩阵得到修正后的目标转换矩阵包括：

确定所述摄像机进行平移的平移向量，其中，若所述摄像机没有进行平移，则所述平移向量为1*3的0向量；

计算所述平移向量与所述第一旋转矩阵的齐次矩阵，获得第一转换矩阵；

计算所述平移向量与所述第二旋转矩阵的齐次矩阵，获得第二转换矩阵；

将所述第一转换矩阵以及所述第二转换矩阵与所述初始转换矩阵进行设定运算，得到目标转换矩阵；

或者，

将所述第一转换矩阵与所述初始转换矩阵进行设定运算，得到目标转换矩阵；

或者，

将所述第二转换矩阵与所述初始转换矩阵进行设定运算，得到目标转换矩阵。

可选地，所述方法还包括：

获取雷达采集的目标物体在所述雷达坐标系下的雷达坐标信息；

根据所述目标转换矩阵，将所述雷达坐标信息转换为所述摄像机坐标系下的摄像机坐标信息；

按照摄像机坐标系与图像坐标系之间的转换关系将所述摄像机坐标信息转换为图像坐标系下的图像坐标信息。

第二方面，本申请实施例提供了一种转换矩阵修正的装置，所述装置应用于摄像机中，包括：

初始转换矩阵获取模块，用于获取已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵，所述初始转换矩阵基于三维的雷达坐标系与三维的摄像机坐标系进行坐标转换确定；

姿态参数检测模块，用于检测本摄像机的姿态参数的当前值与标定值是否不同，若是，则调用修正模块；

修正模块，用于依据所述姿态参数的当前值和标定值修正所述初始转换矩阵，得到修正后的目标转换矩阵。

可选地，所述修正模块包括：

旋转矩阵确定子模块，用于依据所述姿态参数的当前值和标定值确定旋转矩阵；

目标转换矩阵确定子模块，用于依据所述旋转矩阵修正所述初始转换矩阵得到修正后的目标转换矩阵。

所述旋转矩阵确定子模块具体用于：

可选地，所述目标转换矩阵确定子模块具体用于：

或者，

可选地，所述装置还包括：

雷达坐标信息获取模块，用于获取雷达采集的目标物体在所述雷达坐标系下的雷达坐标信息；

雷达坐标信息转换模块，用于根据所述目标转换矩阵，将所述雷达坐标信息转换为所述摄像机坐标系下的摄像机坐标信息；

图像坐标信息转换模块，用于按照摄像机坐标系与图像坐标系之间的转换关系将所述摄像机坐标信息转换为图像坐标系下的图像坐标信息。

本申请实施例具有如下有益效果：

在本实施例中，当检测到摄像机的姿态参数的当前值与预先标定的标定值不同时，可以对已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵进行修正，来实现两个坐标系之间的较准，省去重新标定的过程，自动化程度较高。

附图说明

图1是本申请一示例性实施例示出的一种转换矩阵修正的方法实施例的步骤流程图；

图2是本申请一示例性实施例示出的另一种转换矩阵修正的方法实施例的步骤流程图；

图3是本申请一示例性实施例示出的又一种转换矩阵修正的方法实施例的步骤流程图；

图4是本申请的装置所在设备的一种硬件结构图；

图5是本申请一示例性实施例示出的一种转换矩阵修正的装置实施例的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

参考图1，示出了本申请一示例性实施例示出的一种转换矩阵修正的方法实施例的步骤流程图，本实施例可以应用于摄像机中，示例性地，该摄像机可以包括但不限于枪型摄像机等。

本实施例具体可以包括如下步骤：

步骤101，获取已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵。

在一种例子中，摄像机坐标系可以为本摄像机应用的三维坐标系，雷达坐标系可以为雷达(如毫米波雷达、激光雷达等)应用的三维坐标系。

在一种实施方式中，可以预先对摄像机坐标系以及雷达坐标系进行标定，并将标定后得到的摄像机坐标系与雷达坐标系进行坐标转换确定的初始转换矩阵等信息存储在指定存储介质中，例如，将该初始转换矩阵存储在本摄像机的内存中，以便于在需要时直接从该指定存储介质中读取该初始转换矩阵，提高初始转换矩阵的获取效率。

本实施例对摄像机坐标系以及雷达坐标系进行标定的标定方式不作限定，例如可以包括内参标定、外参标定等，本领域技术人员可以根据实际需求选取相关的标定方式。

示例性地，转换矩阵可以包括旋转矩阵R以及平移向量t，例如，转换矩阵可以表示为：

假设摄像机坐标系为(x_c,y_c,z_c)、雷达坐标系为(x_r,y_r,z_r)，根据转换矩阵，摄像机坐标系与雷达坐标系可以进行如下转换：

步骤102，检测本摄像机的姿态参数的当前值与标定值是否不同，若是，则执行步骤103。

在一种例子中，在对摄像机坐标系以及雷达坐标系进行标定后，还可以获得本摄像机的各姿态参数的标定值以及参与标定的雷达的姿态参数的标定值。上述标定值可以连同初始转换矩阵一起存储在指定存储介质中，待需要时可以直接从该存储介质中读取相应的标定值。

在一种实施方式中，在摄像机工作的过程中，可能会因为安装角度或视角等问题需要进行角度等姿态调整，本实施例可以通过检测摄像机的姿态参数的当前值与标定值是否不同，来检测摄像机的姿态是否发生变化，即在判定摄像机的姿态参数的当前值与标定值不同时，则判定摄像机的姿态发生变化。

示例性地，姿态参数可以包括但不限于偏航角、俯仰角、横滚角等姿态角参数。俯仰角就是绕Pitch Axis(X轴)旋转的角度，一般在0-90度；偏航角就是绕Yaw Axis(Y轴)旋转的角度，一般在0-180度；滚转角就是绕Roll Axis(Z轴)旋转的角度。

在实现时，可以通过读取摄像机的电机转动程度来获取姿态参数的当前值。

步骤103，依据所述姿态参数的当前值和标定值修正所述初始转换矩阵，得到修正后的目标转换矩阵。

在该步骤中，当检测到摄像机的姿态参数的当前值与标定值不同时，即判定摄像机的姿态发生变化时，根据运动的相对性，若摄像机转动某个角度而目标对象不动，等价于目标对象按反方向转动相同角度而摄像机不动。因此，为了确保摄像机坐标系与雷达坐标系的对准，可以对初始转换矩阵进行修正，通过对初始转换矩阵的自适应调整，能够避免重新对摄像机坐标系及雷达坐标系进行标定。

在本实施例的一种可能的实施方式中，步骤103可以包括如下子步骤：

子步骤S11，依据所述姿态参数的当前值和标定值确定旋转矩阵。

在一种实施方式中，得到姿态参数的当前值以及标定值以后，可以根据该当前值以及标定值，确定姿态变化值，然后可以根据该姿态变化值对对应的旋转矩阵进行更新。

在一种例子中，若姿态参数为偏航角，则对应的旋转矩阵可以称为第一旋转矩阵，可以依据偏航角的当前值和标定值的差△p计算第一旋转矩阵。

在该实施例中，第一旋转矩阵又可以称为偏航角旋转矩阵，例如，按照设定的算法设置的3*3的初始偏航角旋转矩阵为：

在上式中，θ为偏航角。

在摄像机的偏航角发生变化时，可以计算偏航角的当前值和标定值的差△p，例如，根据设定的运算方法△p＝标定值-当前值，然后根据该△p对初始偏航角旋转矩阵进行修正。

一种示例性的修正方式可以为：将△p替换初始偏航角旋转矩阵中的偏航角θ，即修正后的偏航角旋转矩阵包括△p的余弦值、△p的正弦值以及△p的反正弦值，修正后的偏航角旋转矩阵为：

在另一种例子中，若姿态参数为俯仰角，则对应的旋转矩阵可以称为第二旋转矩阵，可以依据俯仰角的当前值和标定值的差△t计算第二旋转矩阵。

在该实施例中，第二旋转矩阵又可以称为俯仰角旋转矩阵，例如，按照设定的算法设置的3*3的初始俯仰角旋转矩阵为：

在上式中，ψ为俯仰角。

在摄像机的俯仰角发生变化时，可以计算俯仰角的当前值和标定值的差△t，例如，根据设定的运算方法△t＝标定值-当前值，然后根据该△t对初始俯仰角旋转矩阵进行修正。

一种示例性的修正方式可以为：将△t替换初始俯仰角旋转矩阵中的俯仰角ψ，即修正后的俯仰角旋转矩阵包括△t的余弦值、△t的正弦值以及△t的反正弦值，修正后的俯仰角旋转矩阵为：

在实际中，由于摄像机的姿态发生变化时，一般不会进行滚转角的转动，因此本实施例可以将滚转角忽略。当然，若摄像机的滚转角发生变化时，也可以参照上述偏航角以及俯仰角的旋转矩阵的更新方式，采用滚转角的标定值与当前值的差值更新滚转角旋转矩阵。

需要说明的是，上述旋转矩阵是在右手坐标系下确定的，摄像机的偏航角或俯仰角旋转的正方向由右手法则确认。如果摄像机的偏航角或俯仰角旋转的正方向和右手法则不一致，则可以取旋转的反方向，即在△p或△t前面加上一个负号“-”。

子步骤S12，依据所述旋转矩阵修正所述初始转换矩阵得到修正后的目标转换矩阵。

在该实施例中，在更新旋转矩阵以后，可以依据更新的旋转矩阵修正初始转换矩阵，以得到目标转换矩阵。

在本实施例的一种可能的实施方式中，子步骤S12进一步可以包括如下子步骤：

子步骤S121，确定所述摄像机进行平移的平移向量，其中，若所述摄像机没有进行平移，则所述平移向量为1*3的0向量。

平移向量描述了在摄像机坐标系下空间原点的位置。在实际中，由于摄像机通常只进行旋转，不进行平移，即平移向量是1*3的0向量。

子步骤S122，计算所述平移向量与所述第一旋转矩阵的齐次矩阵，获得第一转换矩阵。

在一种例子中，若摄像机的偏航角发生变化，则计算平移向量t与第一旋转矩阵R_p的齐次矩阵得到的第一转换矩阵可以为：

子步骤S123，计算所述平移向量与所述第二旋转矩阵的齐次矩阵，获得第二转换矩阵。

若摄像机的俯仰角发生变化，则计算平移向量t与第二旋转矩阵R_t的齐次矩阵得到的第二转换矩阵可以为：

子步骤S124，将所述第一转换矩阵以及所述第二转换矩阵与所述初始转换矩阵进行设定运算，得到目标转换矩阵；或者，将所述第一转换矩阵与所述初始转换矩阵进行设定运算，得到目标转换矩阵；或者，将所述第二转换矩阵与所述初始转换矩阵进行设定运算，得到目标转换矩阵。

需要说明的是，设定运算可以根据实际业务需求设定，本实施例对此不作限制，例如，设定运算可以包括相乘运算、相加运算、相除运算等。

在一个例子中，当设定运算为相乘运算时，则目标转换矩阵的可以为：

需要说明的是，在上式中，是在设备的偏航角以及俯仰角均发生变化的情况下得到的目标转换矩阵，若只有偏航角或俯仰角其中之一发生变化，则只需要将发生变化的姿态角对应的转换矩阵与原始转换矩阵相乘即可。

在其他例子中，目标转换矩阵还可以为上式中三者的乘积再乘以设定值，本实施例对此不作显示。

在本实施例中，当检测到摄像机的姿态参数的当前值与预先标定的标定值不同时，可以对已标定的摄像机的摄像机坐标系与雷达的雷达坐标系之间的初始转换矩阵进行修正，来实现两个坐标系之间的较准，省去重新标定的过程，自动化程度较高。

参考图2，示出了本申请一示例性实施例示出的另一种转换矩阵修正的方法实施例的步骤流程图，本实施例基于图1的实施例，描述了根据目标转换矩阵将雷达坐标系转换为图像坐标系的过程，如图2所示，在步骤103之后，本实施例还可以包括如下步骤：

步骤104，获取雷达采集的目标物体在雷达坐标系下的雷达坐标信息。

步骤105，根据所述目标转换矩阵，将所述雷达坐标信息转换为摄像机坐标系下的摄像机坐标信息。

步骤106，按照摄像机坐标系与图像坐标系之间的转换关系将所述摄像机坐标信息转换为图像坐标系下的图像坐标信息。

在本实施例中，在确定目标转换矩阵以后，在一种可能的应用场景中，当雷达采集目标物体在雷达坐标系下的雷达坐标信息以后，可以根据该目标转换矩阵，将雷达坐标信息转换为摄像机坐标系下的摄像机坐标信息。得到摄像机坐标信息以后，可以按照摄像机坐标系与图像坐标系之间的转换关系将摄像机坐标信息转换为图像坐标系下的图像坐标信息，根据修正后的目标转换坐标进行摄像机坐标系与雷达坐标系的转换，可以确保摄像机坐标系与雷达坐标系能够准确的较准在同一坐标系中，从而确保获得的图像坐标信息的准确性。

参考图3，示出了本申请一示例性实施例示出的又一种转换矩阵修正的方法实施例的步骤流程图，在本实施例中，示例性地说明了摄像机坐标系与雷达坐标系之间的转换矩阵的修正过程。

例如，在图3适用的一些示例性场景中，如智能交通、安防等场景，可以同时使用雷达及摄像机进行目标探测，利用投影变换，将雷达探测到的目标点投射到摄像机图像上，从而为目标识别提供更多的信息，提升目标检出的置信度。

在本示例中，假设摄像机的偏航角和俯仰角发生变化而雷达不变，根据运动的相对性，摄像机转动某个角度而目标物体不动，可以等价于目标物体按反方向转动相同角度而摄像机不动，在这种情况下在先标定的初始转换矩阵就无法使用了，因此当将雷达坐标采用初始转换矩阵转换之后，还需要根据偏航角和俯仰角的变化进行二次修正。

如图3所示，本示例可以包括如下步骤：

步骤301，获取已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵。

由于摄像机和雷达的位置以及朝向不一致，摄像机的摄像机坐标系和雷达的雷达坐标系之间需要通过转换矩阵进行转换。

在一种实施方式中，在对摄像机坐标系以及雷达坐标系标定后，可以将标定得到的摄像机坐标系与雷达坐标系之间的初始转换矩阵，以及摄像机的姿态参数的标定值存储于摄像机的内存中。在需要时，可以直接从本摄像机的内存中读取已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵。

示例性地，初始转换矩阵即为初始的外参矩阵，可以包括：旋转矩阵R以及平移向量t。即初始转换矩阵可以表示为：

即，R代表3×3的旋转矩阵,而t则代表1×3的平移向量，这两个向量就构成了初始转换矩阵。

步骤302，分别检测本摄像机的偏航角及俯仰角的当前值与标定值是否不同，若是，则执行步骤303。

在摄像机工作的过程中可能会进行姿态调整，例如由于安装角度或者视角问题需要进行偏航角及俯仰角的调整。当进行角度调整时，摄像机可以检测自身的角度变化，并获取偏航角及俯仰角的当前值，然后分别判断偏航角及俯仰角的当前值与标定值是否不同。

在一种实现方式中，摄像机可以通过读取电机转动程度来获取偏航角及俯仰角的当前值。

需要说明的是，旋转矩阵R可以包括三个坐标轴的旋转矩阵，即偏航角旋转矩阵、俯仰角旋转矩阵以及滚转角旋转矩阵。但由于摄像机一般不会进行滚转角的转动，因此可以将滚转角旋转矩阵忽略。

步骤303，依据所述偏航角的当前值和标定值的差△p计算第一旋转矩阵。

在一种实现中，偏航角的标定值可以从摄像机内存中读取。

假设摄像机标定后偏航角的标定值为p，偏航角的当前值为p′，则在一种例子中，Δp＝p-p′。

在本实施例中，第一旋转矩阵可以为根据△p修正后的偏航角旋转矩阵。例如，假设偏航角旋转矩阵如下：

可以将偏航角旋转矩阵中的偏航角θ采用△p替代，则得到修正后的偏航角旋转矩阵如下：

步骤304，依据所述俯仰角的当前值和标定值的差△t计算第二旋转矩阵。

在一种实现中，俯仰角的标定值可以从摄像机内存中读取。

假设摄像机标定后俯仰角的标定值为t，俯仰角的当前值为t′，则Δt＝t-t′。

在本实施例中，第二旋转矩阵可以为根据△t修正后的俯仰角旋转矩阵。例如，假设俯仰角旋转矩阵如下：

可以将俯仰角旋转矩阵中的俯仰角ψ采用△t替代，则得到修正后的俯仰角旋转矩阵如下：

需要说明的是，上述旋转矩阵是在右手坐标系下计算的，偏航角和俯仰角旋转的正方向由右手法则确认。如果摄像机旋转的正方向和右手法则不一致，则可以在△p和△t前加一个负号。

步骤305，确定所述摄像机进行平移的平移向量，其中，若所述摄像机没有进行平移，则所述平移向量为1*3的0向量。

步骤306，计算所述平移向量与所述第一旋转矩阵的齐次矩阵，得到第一转换矩阵。

步骤307，计算所述平移向量与所述第二旋转矩阵的齐次矩阵，获得第二转换矩阵。

在一种例子中，根据旋转矩阵与转换矩阵的关系，由第一旋转矩阵Rp生成的第一转换矩阵可以为：

由第二旋转矩阵Rt生成的第二转换矩阵可以为：

在一些可能的场景中，由于摄像机通常只进行旋转，不进行平移，即平移向量是零向量，则第一转换矩阵为

第二转换矩阵为

步骤308，将所述第一转换矩阵以及所述第二转换矩阵与所述初始转换矩阵进行设定运算，得到目标转换矩阵。

在本实施例中，设定运算可以根据实际业务需求设定，例如，当设定运算为相乘运算，摄像机只进行旋转，不进行平移时，则目标转换矩阵为：

即，

步骤309，获取雷达采集的目标物体在雷达坐标系下的雷达坐标信息。

在一种实施方式中，雷达在采集到目标物体在雷达坐标系下的雷达坐标信息以后，可以将该雷达坐标信息发送至摄像机中。

需要说明的是，假设雷达坐标信息为(x_r,y_r,z_r)，由于某些雷达(如毫米波雷达)能探测的只是一个平面，而不是三维空间，因此这些雷达只能发送x和y两个方向的坐标，无法探测到z方向。这种情况下，摄像机可以将二维坐标补成三维坐标，其中一种将二维坐标补成三维坐标的示例性方式可以为：将z_r补成一个常数，例如，如果目标物体在地面上，则将z_r补成数值0。又如，假设目标物体是人，人的中心可以认为离地面0.85米，则常数可以是0.85。

步骤3010，根据所述目标转换矩阵，将所述雷达坐标信息转换为摄像机坐标系下的摄像机坐标信息。

例如，根据已修正的目标转换矩阵，将雷达坐标信息(x_r,y_r,z_r)转换为摄像机坐标系下的摄像机坐标信息(x_c,y_c,z_c)的方式可以为：

步骤311，按照摄像机坐标系与图像坐标系之间的转换关系将所述摄像机坐标信息转换为图像坐标系下的图像坐标信息。

在一种实施方式中，根据摄像机的成像原理，可以采用如下公式将摄像机坐标信息转换为图像坐标系下的图像坐标信息：

其中，(dx,dy)表示每个像素在图像平面x和y方向上的物理尺寸,(u₀,v₀)是图像坐标系原点在像素坐标系中的坐标,f则是摄像机的焦距。这些值是摄像机硬件的固有内参，不会随转动而变化，且可以通过标准化的标定流程确定。

在本实施例中，在摄像机的使用过程中(如交通流量监测等)，需要调整偏航角或俯仰角的需求下，能够自适应调整初始转换矩阵，实现在摄像机的角度调整时自动调整相应的转换矩阵，也就是随着摄像机的偏航角或俯仰角度的变化，摄像机与雷达直接的相对位置随着变化，摄像机与雷达之间的转换矩阵也跟着变化，而无需额外的标定过程。

需要说明的是，本申请实施例中的转换矩阵修正的原理还可以适用于其他应用不同坐标系的设备之间进行坐标系较准，例如，本实施例的原理还可以适用于如下场景：雷达的角度发生变化但摄像机的角度不变的场景(根据运动的相对性,雷达顺时针转a度,相当于相机逆时针转a度)，或者，使用不同坐标系的摄像机之间的较准；或者，使用不同坐标系的雷达之间的较准，等等。

与前述方法的实施例相对应，本申请还提供了一种转换矩阵修正的装置的实施例。

本申请的装置实施例可以应用在摄像机中。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本申请的装置所在设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常根据该装置的实际功能，还可以包括其他硬件，对此不再赘述。

请参考图5，示出了本申请一示例性实施例示出的一种转换矩阵修正的装置实施例的结构框图，所述装置应用于摄像机，具体可以包括如下模块：

初始转换矩阵获取模块501，用于获取已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵，所述初始转换矩阵基于三维的雷达坐标系与三维的摄像机坐标系进行坐标转换确定；

姿态参数检测模块502，用于检测本摄像机的姿态参数的当前值与标定值是否不同，若是，则调用修正模块；

修正模块503，用于依据所述姿态参数的当前值和标定值修正所述初始转换矩阵，得到修正后的目标转换矩阵。

在本实施例的一种可能的实施方式中，所述修正模块503包括：

在本实施例的一种可能的实施方式中，所述姿态参数包括偏航角、俯仰角；所述旋转矩阵包括第一旋转矩阵以及第二旋转矩阵，所述第一旋转矩阵及所述第二旋转矩阵均为3*3的矩阵；

所述旋转矩阵确定子模块具体用于：

在本实施例的一种可能的实施方式中，所述目标转换矩阵确定子模块具体用于：

计算所述平移向量与所述第一旋转矩阵的齐次矩阵，得到第一转换矩阵；

或者，

在本实施例的一种可能的实施方式中，所述装置还包括：

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述方法实施例的步骤。

本申请实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法实施例的步骤。

本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如车载终端、移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种转换矩阵修正的方法，其特征在于，所述方法应用于摄像机中，包括：

检测本摄像机的姿态参数的当前值与标定值是否不同；

2.根据权利要求1所述的方法，其特征在于，所述依据所述姿态参数的当前值和标定值修正所述初始转换矩阵，得到修正后的目标转换矩阵包括：

依据所述姿态参数的当前值和标定值确定旋转矩阵；

3.根据权利要求2所述的方法，其特征在于，所述姿态参数包括偏航角、俯仰角；所述旋转矩阵包括第一旋转矩阵以及第二旋转矩阵，所述第一旋转矩阵及所述第二旋转矩阵均为3*3的矩阵；

4.根据权利要求3所述的方法，其特征在于，所述依据所述旋转矩阵修正所述初始转换矩阵得到修正后的目标转换矩阵包括：

或者，

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

6.一种转换矩阵修正的装置，其特征在于，所述装置应用于摄像机中，包括：

7.根据权利要求6所述的装置，其特征在于，所述修正模块包括：

8.根据权利要求7所述的装置，其特征在于，所述姿态参数包括偏航角、俯仰角；所述旋转矩阵包括第一旋转矩阵以及第二旋转矩阵，所述第一旋转矩阵及所述第二旋转矩阵均为3*3的矩阵；

所述旋转矩阵确定子模块具体用于：

9.根据权利要求8所述的装置，其特征在于，所述目标转换矩阵确定子模块具体用于：

或者，

10.根据权利要求6-9任一项所述的装置，其特征在于，所述装置还包括：