CN110738170B - 一种用于电表终端故障识别的图像识别方法 - Google Patents

Abstract

本发明公开了一种用于电表终端故障识别的图像识别方法，该方法包括步骤：搭建基于深度学习分类网络、电表终端检测网络、组态匹配和故障识别网络；深度学习分类网络输入为图像，输出为电表终端设备的型号；电表终端检测网络的输出为每个电表终端型号对应的一个特征；使用组态匹配检测方法获取每个电表终端面板信息特征；识别使用深度学习网络，将典型的“无故障”图片和“有故障”图片送进深度学习网络进行训练，识别时，将待识别的图片送入网络，网络会输出是否有故障的结果。本发明的识别方法最大程度的利用电表终端的先验知识，极大的提高了算法的识别成功率。并准确提供必要的故障信息，帮助现场运维工程师快速定位故障，提高效率。

Description

一种用于电表终端故障识别的图像识别方法

技术领域

本发明属于电表终端故障识别技术领域，具体涉及一种用于电表终端故障识别的图像识别方法。

背景技术

随着电力行业的发展，电表终端设备越来越多，在实际运营过程中，电表可能会出现各种故障，故障种类较多，常规的运维模式，不能高效智能的保障其可持续性的运营，迫切需要通过技术手段来提升电表故障识别的智能化水平，提高运营经济效益。随着计算机科学在各行业中的不断普及和应用，使用计算机视觉技术辅助快速识别电表故障类型，可以简化系统管理，快速提供当前故障的指导性维修方法，提高整个系统的运行效率。

但是当前，电表终端的智能识别面临如下两方面的问题：

一、电表终端设备产自不同厂家，设备型号也多种多样。每种电表终端的故障报警显示方式，报警灯显示位置，液晶屏显示信息等都不一样，给视觉识别带来较大的挑战。

二、实际采集的电表图像可能来自于不同的摄像设备，电表箱的安装高度不同等导致获取到的图像，光照、视角、背景(其它电力设备)和分辨率可能都不一样，给电表故障的识别带来了进一步的挑战。

当前深度学习取得快速发展，已经在很多行业取得重要的应用。但是由于前面提到的两方面的问题，电表终端中标记故障灯的区域较小，相对于电表终端整体来说，特征相对较弱，但是故障识别的准确性要求却非常高。

发明内容

本发明要解决的技术问题是：提供一种用于电表终端故障识别的图像识别方法，以解决现有技术中存在的问题。

本发明采取的技术方案为：一种用于电表终端故障识别的图像识别方法，该方法包括以下步骤：

(1)搭建深度学习分类网络、电表终端检测网络，组态匹配和故障识别网络；

(2)深度学习分类网络输入为图像，输出为电表终端设备的型号；

(3)电表终端检测网络用于识别电表终端和表盘四个角点所在区域；

(4)使用组态匹配检测方法获取每个电表终端面板信息特征；

(5)根据面板信息特征进行故障识别：识别使用深度学习网络，将典型的“无故障”图片和“有故障”图片送进深度学习网络进行训练，识别时，将待识别的图片送入深度学习网络，深度学习网络会输出是否有故障的结果。

步骤(4)中组态匹配检测方法为：在步骤(2)的深度学习分类网络中，根据其分类识别结果，获取厂家和型号信息，厂家和型号信息设置为目标1的位置，设目标1的位置信息为(x，y,w,h)，其中x，y表述目标1的中心位置，w，h分别表示，对于每一个具体型号的电表终端，建立一个组态匹配信息，对于目标2，建立一个VariationX1，VariationY1，VariationW1，VariationH1的相对位置信息，建立一个VarationDetection的算法信息(VarationDetection表示使用目标检测算法；VarationClassify表述目标分类算法)，建立一个VariationLink＝1的组态信息，获得目标2的信息检测，在在得到目标2的基础上继续检测目标3和目标4的信息，依次获得面板上其余信息。

若检测的目标i为小目标，则建立一个VariationXi，VariationYi，VariationWi，VariationHi的相对位置信息，建立一个VarationClassify的算法信息，建立一个VariationLink＝i-1的组态信息；VariationLink＝i-1表述位置信息是相对于目标位置i的偏移，VarationClassify表述直接使用分类算法。

步骤(5)中深度学习网络的训练方法包括以下步骤：

(1)搭建基于深度学习的网络架构，检测目标类别为电表面板上的故障状态灯；

(2)使用透视变换技术丰富样本，在相机只有旋转变化的情况下，所有的图片都由特定的透视变换矩阵得到，透视变换矩阵是3X3的矩阵，除去缩放因子，其有八个自由度，确定了变换前的坐标和变换后的坐标关系：

q＝H*p

式中，q表示变换后的坐标(x’,y’,z’)，H表示透视矩阵，p表示原坐标(x,y,z)，该公式为标准的透视变换齐次矩阵公式；

(3)使用ISP技术调整图像的亮度、对比度和颜色，丰富样本；

(4)训练电表终端检测识别网络，用于识别电表终端和表盘四个角点所在区域；

(5)使用图像测量的算法，精确定位表盘区域的四个角点坐标；

(6)使用透视变换技术获取电表终端表盘区域的“正面”图像，生成样本时，采用透视变换算法，生成仿真样本，绕3个空间自由度的旋转角度分别为a，范围为-5～15度，b范围为-5～5度，v的范围为-10～10度；

(7)将正面图像和对应的缺陷类别作为标记样本，根据电表终端特性，电表终端的标记区域算法自动调整标记框的长宽比，R＝W/H，R的范围为1.2-1.5；送入深度学习网络进行训练时，根据标记的区域，如果标记区域长宽比不符合这个规则时，自动修改目标的长度，以便符合这个比例，再送入深度学习网络进行训练。

在对图像进行透视变换时，若已知相机的旋转角度，由如下计算方法得出透视矩阵H，利用H矩阵对图像进行变换：

在相机坐标系中设点的三维坐标为(xc,yc,zc)，对应的像点的像素坐标为(u,v,1)。

则由小孔成像模型知：

fx表示x方向缩放系数，fy表示y方向缩放系数，u0，v0表示平移；

在三维坐标系中，旋转用旋转矩阵表示，推导如下：

考虑二维坐标系xOy，点p(x,y)绕原点O逆时针旋转角度θ后得到点q(x1,y1)，用矩阵表示如下：

标准公式，θ为绕z轴旋转角度；

则在三维坐标系中，绕z轴的变换用如下旋转矩阵Rz(θ)表示：

式中为公式扩展到标准齐次的写法；

同理得，绕x轴变换的Rx(α)：

式中为公式扩展到标准齐次的写法；

绕y轴变换的Ry(β):

式中为公式扩展到标准齐次的写法；

所有三维空间的旋转由三个基本旋转矩阵组合得到：

R＝Rx(α)*Ry(β)*Rz(θ)*p

式中为公式扩展到标准齐次的写法；

其中R为旋转矩阵，是单位正交矩阵，表示三维空间中的任一旋转；

在相机成像模型中，当相机旋转后，投影矩阵为：

式中是将绕三个轴旋转，小孔成像合并到一起的变换关系；

得到像点坐标为(u1,v1)，则对相机旋转前后的像点进行逆变换得到：

式中为对矩阵求逆；

即得到了相机旋转前后的像素点对应关系：

A是小孔成像矩阵，R是旋转矩阵；其中H为透视变换矩阵，又称单应性矩阵；

由于透视矩阵具有八个有效参数，而每一对对应点提供了两组约束，则最少需四组对应点，任意三点不共线，即唯一确定一个透视变换；在对图像进行恢复透视变换时，需要被测物体的表面正对相机，与光轴垂直，若不知道相机的旋转矩阵，则最少需要某位置上的四组对应点，利用直接法求出对应的矩阵参数。

本发明的有益效果：与现有技术相比，本发明的效果如下：

(1)本发明的识别方法有效弥补了传统深度学习算法在电表终端行业使用的弊端，最大程度的利用电表终端的先验知识，极大的提高了算法的识别成功率。并准确提供必要的故障信息，帮助现场运维工程师快速定位故障，提高效率，有效解决了传统深度学习检测分类算法、将所有电表终端类型的故障揉在一起训练、无法使用电表终端的有效信息、导致识别准确率不够理想的技术问题；

(2)使用的组态匹配检测方法利用了深度学习，目标检测能力强、抗光照干扰等有点，同时又最大程度的利用了具体型号电表终端的位面板信息特征，每一个目标都利用了临近目标的位置信息，极大的提高识别算法的准确率，降低漏报率；

(3)图像训练方法对缺陷样本经过透视变换到正面视角时，具有统一的尺寸。这样每种缺陷的大小和位置都是相对固定的。人工标记采用鼠标绘制的方式，对于同一类型的缺陷，标记框的大小和长宽多少都会有一些差异，标记区域限制长宽比后，可以提高缺陷标记的一致性，可以提高训练的效率和检测的准确率，可以极大提高电表终端故障的识别准确率；

(4)根据实际采集的一张图片(视角A时拍摄的电表终端图像)，并进行了人工标注，但是获取和标注图片的代价比较大，需要人工手工拍摄并标注，本发明使用图像训练方法步骤(2)中透视变换技术，模拟多个不同视角下(视角B，视角C…)拍摄的效果，然后自动生成标注信息，可以极大的丰富样本。同时，对于不同图片进行透视变换时，模拟变换的幅度(视角B，视角C等)采用“随机数”的形式，变换后形成的样本库中就有各种角度的图片，同时解决了样本不平衡的问题；

(5)图像训练方法步骤(3)中使用ISP技术模拟图片在不同的光照条件，不同的对焦状态和色温下的样本，进一步丰富样本数据，是训练出来的深度网络具备广泛的适应能力；

(6)通过图像训练方法步骤(4)-(6)的电表终端的所有缺陷被限制到“正面”视角下的缺陷，在“正面”视图下，每种缺陷的位置，状态都不会相差很大。通过此方法，彻底解决了样本不平衡问题。

附图说明

图1为图像识别方法流程图；

图2为图像训练方法流程图；

图3为透视变换示意图；

图4为表盘区域的四个角点图；

图5为沿测量方向的图像灰度分布图(图a)和灰度直方图的梯度图(一阶导数，图b)，梯度图的局部极值点为边缘位置；

图6为边缘点测量的边界直线(得到一个边缘点的方法，使用多个边缘点测量，可以得到边界直线)；

图7为电表终端表盘区域的“正面”图像图(通过透视矫正的方法，可以将倾斜的字符校正成正方向的，便与后续识别和分类)。

具体实施方式

下面结合附图及具体的实施例对本发明进行进一步介绍。

实施例1：如图1-7所示，一种用于电表终端故障识别的图像识别方法，该方法包括以下步骤：

(1)搭建深度学习分类网络、电表终端检测网络，组态匹配和故障识别网络；搭建深度学习网络为行业通用技术，一般通过配置文件或者python脚本，主要用于设置网络多少层，每层多少个节点，卷积核大小等参数。例如：

(2)深度学习分类网络输入为图像，输出为电表终端设备的型号；

(3)电表终端检测网络用于识别电表终端和表盘四个角点所在区域；

(4)使用组态匹配检测方法获取每个电表终端面板信息特征(如液晶屏、信号强度、故障代码、厂家信息、设备编号、资产编号、电源灯等)；

(5)根据面板信息特征进行故障识别：识别使用深度学习网络，将典型的“无故障”图片和“有故障”图片送进深度学习网络进行训练，识别时，将待识别的图片送入深度学习网络，深度学习网络会输出是否有故障的结果。

步骤(4)中组态匹配检测方法为：对于同一型号的电表终端，各个故障显示点的位置是固定，尤其是一些小的难于检测的目标，在步骤(2)的深度学习分类网络中，根据其分类识别结果，获取厂家和和型号信息，厂家信息设置为目标1的位置，设目标1的位置信息为(x，y,w,h)，其中x，y表述目标1的中心位置，w，h分别表示，对于每一个具体型号的电表终端，建立一个组态匹配信息，对于目标2，建立一个VariationX1，VariationY1，VariationW1，VariationH1的相对位置信息，建立一个VarationDetection的算法信息(VarationDetection表示使用目标检测算法；VarationClassify表述目标分类算法)，建立一个VariationLink＝1的组态信息，获得目标2的信息检测，在在得到目标2的基础上继续检测3和4的信息，依次获得面板上其余信息。

若检测的目标i为小目标，则建立一个VariationXi，VariationYi，VariationWi，VariationHi的相对位置信息，建立一个VarationClassify的算法信息，建立一个VariationLink＝i-1的组态信息；VariationLink＝i-1表述位置信息是相对于目标位置i的偏移，VarationClassify表述直接使用分类算法。

深度学习概念由Hinton于2006年提出，但本质就是人工神经网络，而人工神经网络就是一种对人脑的模仿，通过模拟人脑的生物神经网络，来模仿人的学习能力。而这种模拟，除了设置大量的神经网络节点(即模仿神经元)，还要通过算法来设计这个神经网络的模型，大量样本数据训练，来使得机器具备某种能力。但是对于电表终端的故障识别，当前的深度学习的识别方法存在下面的一些缺点：

1、深度学习需要大量标注的训练数据，为了获得好的训练结果，需要各种故障的大量样本。传统方法将不同厂家的所有故障图案训练到一起，忽略了非常重要的电表终端的厂家和型号信息，容易将不同型号终端的故障混在一起导致故障识别错误。

2、同一型号的电表，面板布局相对固定，虽然存在拍摄角度，光照等差异，但是各种信息的位置分布固定，传统的故障识别方法无法有效利用这些信息。

3、深度学习检测目标的能力较强，但是对“小目标”的检测效果较差，电表终端中，有些故障信息显示的非常“小”，比如信号强度等，传统的深度学习目标检测算法对于“小目标“经常漏识别、误识别。

4、当准确率的问题，传统的深度学习方法只能使用增加样本的方式，少量样本的加入不会明显提高结果的准确率，而电表终端的故障识别准确率要求比较高，限制识别准确率的进一步提高。

针对上述问题，提出图像训练方法，步骤(5)中深度学习网络的训练方法包括以下步骤：

(1)搭建基于深度学习的网络架构，检测目标类别为电表面板上的故障状态灯(如电源灯、告警灯、通信信号灯等)；

(2)使用透视变换技术丰富样本：

空间中的透视变换本质上是由于相机与待测物体之间的视角不同而产生的，若相机在多次拍摄中没有平移变化而只有旋转变化，则所拍摄的多幅图像在透视变换域内等价。即任意一张图片在经过一定的透视变换后可以得出其它所有图片，由此可利用透视变换公式从一张图片中生成无数的变换后图片；

在相机只有旋转变化的情况下，所有的图片都由特定的透视变换矩阵得到，透视变换矩阵是3X3的矩阵，除去缩放因子，其有八个自由度，确定了变换前的坐标和变换后的坐标关系：

q＝H*p

式中，q表示变换后的坐标(x’,y’,z’)，H表示透视矩阵，p表示原坐标(x,y,z)，该公式为标准的透视变换齐次矩阵公式；

(3)使用ISP技术调整图像的亮度、对比度和颜色，丰富样本；

(4)训练电表终端检测网络，用于识别电表终端和表盘四个角点所在区域；

(5)使用图像测量的算法，精确定位表盘区域的四个角点坐标；

(6)使用透视变换技术获取电表终端表盘区域的“正面”图像(输入图像每个像素坐标都使用透视变换的计算方法，输出结果为“正面”图像)，生成样本时，采用透视变换算法，生成仿真样本，绕3个空间自由度的旋转角度分别为a，范围为-5～15度，b范围为-5～5度，v的范围为-10～10度；

(7)将正面图像和对应的缺陷(就是要是别的缺陷(故障)，比如电源灯不亮，液晶屏显示故障码等)类别作为标记样本，根据电表终端特性，电表终端的标记区域算法自动调整标记框的长宽比，R＝W/H，R的范围为1.2-1.5；送入深度学习网络进行训练时，根据标记的区域，如果标记区域长宽比不符合这个规则时，自动修改目标的长度，以便符合这个比例，再送入深度学习网络进行训练。

在对图像进行透视变换时，若已知相机的旋转角度，由如下计算方法得出透视矩阵H，利用H矩阵对图像进行变换：

在相机坐标系中设点的三维坐标为(xc,yc,zc)，对应的像点的像素坐标为(u,v,1)。

则由小孔成像模型知：

fx表示x方向缩放系数，fy表示y方向缩放系数，u0，v0表示平移；

在三维坐标系中，旋转用旋转矩阵表示，推导如下：

考虑二维坐标系xOy，点p(x,y)绕原点O逆时针旋转角度θ后得到点q(x1,y1)，用矩阵表示如下：

标准公式，θ为绕z轴旋转角度；

则在三维坐标系中，绕z轴的变换用如下旋转矩阵Rz(θ)表示：

式中为公式扩展到标准齐次的写法；

同理得，绕x轴变换的Rx(α)：

式中为公式扩展到标准齐次的写法；

绕y轴变换的Ry(β):

式中为公式扩展到标准齐次的写法；

所有三维空间的旋转由三个基本旋转矩阵组合得到：

R＝Rx(α)*Ry(β)*Rz(θ)*p

式中为公式扩展到标准齐次的写法；

其中R为旋转矩阵，是单位正交矩阵，表示三维空间中的任一旋转；

在相机成像模型中，当相机旋转后，投影矩阵为：

式中是将绕三个轴旋转，小孔成像合并到一起的变换关系；

得到像点坐标为(u1,v1)，则对相机旋转前后的像点进行逆变换得到：

式中为对矩阵求逆；

即得到了相机旋转前后的像素点对应关系：

A是小孔成像矩阵，R是旋转矩阵；其中H为透视变换矩阵，又称单应性矩阵；

由于透视矩阵具有八个有效参数，而每一对对应点提供了两组约束，则最少需四组对应点，任意三点不共线，即唯一确定一个透视变换；在对图像进行恢复透视变换时，需要被测物体的表面正对相机，与光轴垂直，若不知道相机的旋转矩阵，则最少需要某位置上的四组对应点，利用直接法求出对应的矩阵参数。

本发明的图像识别方法具有如下优点：

(1)本发明的识别方法有效弥补了传统深度学习算法在电表终端行业使用的弊端，最大程度的利用电表终端的先验知识，极大的提高了算法的识别成功率。并准确提供必要的故障信息，帮助现场运维工程师通过辅助检修人员快速定位故障，提高效率，有效解决了传统深度学习检测分类算法、将所有电表终端类型的故障揉在一起训练、无法使用电表终端的有效信息、导致识别准确率不够理想的技术问题；

(2)使用的组态匹配检测方法利用了深度学习，目标检测能力强、抗光照干扰等有点，同时又最大程度的利用了具体型号电表终端的位面板信息特征，每一个目标都利用了临近目标的位置信息，极大的提高识别算法的准确率，降低漏报率；

(3)图像训练方法对缺陷样本经过透视变换到正面视角时，具有统一的尺寸。这样每种缺陷的大小和位置都是相对固定的。人工标记采用鼠标绘制的方式，对于同一类型的缺陷，标记框的大小和长宽多少都会有一些差异，标记区域限制长宽比后，可以提高缺陷标记的一致性，可以提高训练的效率和检测的准确率，可以极大提高电表终端故障的识别准确率；

(4)根据实际采集的一张图片(视角A时拍摄的电表终端图像)，并进行了人工标注，但是获取和标注图片的代价比较大，需要人工手工拍摄并标注，本发明使用图像训练方法步骤(2)中透视变换技术，模拟多个不同视角下(视角B，视角C…)拍摄的效果，然后自动生成标注信息，可以极大的丰富样本。同时，对于不同图片进行透视变换时，模拟变换的幅度(视角B，视角C等)采用“随机数”的形式，变换后形成的样本库中就有各种角度的图片，同时解决了样本不平衡的问题；

(5)图像训练方法步骤(3)中使用ISP技术模拟图片在不同的光照条件，不同的对焦状态和色温下的样本，进一步丰富样本数据，是训练出来的深度网络具备广泛的适应能力；

(6)通过图像训练方法步骤(4)-(6)的电表终端的所有缺陷被限制到“正面”视角下的缺陷，在“正面”视图下，每种缺陷的位置，状态都不会相差很大。通过此方法，彻底解决了样本不平衡问题；比如，100张标记缺陷样本库中，有60张A视角下的标记数据，35张B视角的标记数据，5张C视角下的标记数据。如果训练后发现C视角下的效果不好，那么添加5张C角度的数据，但是添加后的C视角也只有10张，训练结果还是更倾向于A，B视角(数量多，全重大)，导致C角度的效果不好。

采用本专利的方法是60张A视角的转为正面视角参与训练；

35张B视角的转为正面视角参与训练；

5张C视角的转为正面视角参与训练；

实际送入训练网络的缺陷样本都是正面视角，从根源上解决样本不平衡问题。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内，因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (4)

1.一种用于电表终端故障识别的图像识别方法，其特征在于：该方法包括以下步骤：

(1)搭建深度学习分类网络、电表终端检测网络、组态匹配和故障识别网络；

(2)深度学习分类网络输入为图像，输出为电表终端设备的型号；

(3)电表终端检测网络用于识别电表终端和表盘四个角点所在区域；

(4)使用组态匹配检测方法获取每个电表终端面板信息特征；

组态匹配检测方法为：在步骤(2)的深度学习分类网络中，根据其分类结果，获取厂家和型号信息，厂家和型号信息设置为目标1的位置，设目标1的位置信息为(x，y，w，h)，其中x，y表述目标1的中心位置，w，h分别表示框选的宽和高，对于每一个具体型号的电表终端，建立一个组态匹配信息，对于目标2，建立一个VariationX1，VariationY1，VariationW1，VariationH1的相对位置信息，建立一个VarationDetection的目标检测算法信息，建立一个VariationLink＝1的组态信息，获得目标2的检测信息，在得到目标2的基础上继续检测目标3和目标4的信息，依次获得面板上其余检测信息；

(5)根据面板信息特征进行故障识别：识别使用深度学习网络；对于典型的“无故障”图片和“有故障”图片，利用步骤(3)的电表终端检测网络识别得到电表终端和表盘四个角点所在区域，使用透视变换技术获取电表终端表盘区域的正面图像，将正面图像和对应的缺陷类别作为标记样本，送入深度学习网络进行训练；识别时，将待识别的图片送入深度学习网络，深度学习网络会输出是否有故障的结果。

2.根据权利要求1所述的一种用于电表终端故障识别的图像识别方法，其特征在于：若检测的目标i为小目标，则建立一个VariationXi，VariationYi，VariationWi，VariationHi的相对位置信息，建立一个VarationClassify的算法信息，建立一个VariationLink＝i-1的组态信息；VariationLink＝i-1表述位置信息是相对于目标位置i的偏移，VarationClassify表述直接使用分类算法。

3.根据权利要求1所述的一种用于电表终端故障识别的图像识别方法，其特征在于：深度学习网络的训练过程包括以下步骤：

(1)搭建深度学习网络；

(2)使用透视变换技术丰富样本，在相机只有旋转变化的情况下，所有的图片都由特定的透视变换矩阵得到，透视变换矩阵是3X3的矩阵，除去缩放因子，其有八个自由度，确定了变换前的坐标和变换后的坐标关系：

q＝H*p

式中，q表示变换后的坐标(x’,y’,z’)，H表示透视矩阵，p表示原坐标(x,y,z)，该式为标准的透视变换齐次矩阵公式；

(3)使用ISP技术调整图像的亮度、对比度和颜色，丰富样本；

(4)训练电表终端检测网络，用于识别电表终端和表盘四个角点所在区域；

(5)使用图像测量的算法，精确定位表盘区域的四个角点坐标；

(6)使用透视变换技术获取电表终端表盘区域的正面图像，生成样本时，采用透视变换算法，生成仿真样本，绕3个空间自由度的旋转角度分别为a范围为-5～15度，b范围为-5～5度，v的范围为-10～10度；

(7)将正面图像和对应的缺陷类别作为标记样本，根据电表终端特性，电表终端的标记区域算法自动调整标记框的长宽比，R＝W/H，R的范围为1.2-1.5；送入深度学习网络进行训练时，根据标记的区域，如果标记区域长宽比不符合这个规则时，自动修改目标的长度，以便符合这个比例，再送入深度学习网络进行训练。

4.根据权利要求3所述的一种用于电表终端故障识别的图像识别方法，其特征在于：在对图像进行透视变换时，若已知相机的旋转角度，由如下计算方法得出透视矩阵H，利用H矩阵对图像进行变换：

在相机坐标系中设点的三维坐标为(xc,yc,zc)，对应的像点的像素坐标为(u,v,1)，

则由小孔成像模型知：

fx表示x方向缩放系数，fy表示y方向缩放系数，u0，v0表示平移；

在三维坐标系中，旋转用旋转矩阵表示，推导如下：

考虑二维坐标系xOy，点p(x,y)绕原点O逆时针旋转角度θ后得到点q(x1,y1)，用矩阵表示如下：

标准公式，θ为绕z轴旋转角度；

则在三维坐标系中，绕z轴的变换用如下旋转矩阵Rz(θ)表示：

式中为公式扩展到标准齐次的写法；

同理得，绕x轴变换的Rx(α)：

式中为公式扩展到标准齐次的写法；

绕y轴变换的Ry(β):

式中为公式扩展到标准齐次的写法；

所有三维空间的旋转由三个基本旋转矩阵组合得到：

R＝Rx(α)*Ry(β)*Rz(θ)

式中为公式扩展到标准齐次的写法；

其中R为旋转矩阵，是单位正交矩阵，表示三维空间中的任一旋转；

在相机成像模型中，当相机旋转后，投影矩阵为：

式中是将绕三个轴旋转，小孔成像合并到一起的变换关系；

得到像点坐标为(u1,v1)，则对相机旋转前后的像点进行逆变换得到：

式中为对矩阵求逆；

即得到了相机旋转前后的像素点对应关系：

A是小孔成像矩阵，R是旋转矩阵；其中H为透视变换矩阵，又称单应性矩阵；

由于透视矩阵具有八个有效参数，而每一对对应点提供了两组约束，则最少需四组对应点，任意三点不共线，即唯一确定一个透视变换；在对图像进行恢复透视变换时，需要被测物体的表面正对相机，与光轴垂直，若不知道相机的旋转矩阵，则最少需要某位置上的四组对应点，利用直接法求出对应的矩阵参数。

Images