CN116109915A - 一种集装箱箱门状态智能识别方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种集装箱箱门状态智能识别方法，该方法包括：获取集装箱场景灰度图像中的块区域，计算块区域的校正必要性，筛选出待分析块区域；利用SIFT算法对待分析块区域进行处理，计算任意两个待分析块区域的空间一致性以及极值一致性；将空间一致性和极值一致性构成二元组，对待分析块区域进行分类，得到未知状态类别和箱门关闭类别，计算箱门关闭类别中待分析块区域的参考程度；根据参考程度筛选目标块区域；获取透视变换矩阵对未知状态类别的待分析块区域进行校正，进而获得校正后的待分析块区域；根据校正后的待分析块区域判断集装箱箱门状态。本发明能够提高对集装箱箱门状态的识别准确性。

Description

一种集装箱箱门状态智能识别方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种集装箱箱门状态智能识别方法。

背景技术

在集装箱被大量堆放的场景下，集装箱箱门是否关闭涉及到物资财产以及当前场景下的人身安全，一旦集装箱箱门未关闭好，可能会导致其中的货物丢失进而引起财产损失，如集装箱箱内的货物掉落砸到下方经过的生产人员或者车辆，可能会导致人员伤亡，因此，对大量放置集装箱的场景下每个集装箱箱门的状态进行识别就显得尤为重要。

在利用采集的集装箱场景图像对集装箱箱门的状态进行识别时，由于图像中可能存在透视畸变而影响识别效果，故需要对图像中集装箱所在区域进行透视变换。现有的方法仅通过角点检测获取集装箱角点坐标信息，进而利用集装箱角点坐标信息进行透视变换，使得图像中存在的透视畸变现象被消除。但是，该方法由于集装箱中对应的角点坐标信息存在偏差，使透视畸变校正效果不理想，进而影响集装箱箱门状态的识别效果。

发明内容

为了解决由于集装箱中对应的角点坐标信息存在偏差，使透视畸变校正效果不理想，进而导致集装箱箱门状态的识别效果差的技术问题，本发明的目的在于提供一种集装箱箱门状态智能识别方法，所采用的技术方案具体如下：

获取集装箱的场景灰度图像，对场景灰度图像进行分割处理得到集装箱箱门区域，对集装箱箱门区域进行边缘检测得到块区域；根据块区域的边缘对应的直线角度得到校正必要性，将校正必要性大于或等于预设的必要性阈值对应的块区域记为待分析块区域；

利用SIFT算法对待分析块区域进行处理，获取待分析块区域内关键点的位置信息和关键点数量，根据任意两个待分析块区域内关键点的位置信息和关键点数量得到空间一致性；获取SIFT算法进行特征匹配时待分析块区域每个关键点在不同尺度下的极值，根据任意两个待分析块区域内关键点的极值得到极值一致性；

将空间一致性和极值一致性构成二元组，根据二元组对待分析块区域进行分类，得到未知状态类别和箱门关闭类别；根据未知状态类别和箱门关闭类别中待分析块区域之间的距离计算箱门关闭类别中待分析块区域的参考程度；

根据参考程度筛选箱门关闭类别中的待分析块区域得到目标块区域，根据目标块区域关键点的位置信息获得透视变换矩阵，利用透视变换矩阵对未知状态类别的待分析块区域内关键点的位置信息进行校正，进而获得校正后的未知状态类别的待分析块区域；根据校正后的待分析块区域判断集装箱箱门状态。

优选地，所述空间一致性的获取方法具体为：

所述待分析块区域内关键点的位置信息为关键点的像素坐标，对于任意两个待分析块区域，将其中任意一个待分析块区域记为第一块区域，将另一个待分析块区域记为第二块区域；将第一块区域和第二块区域中互相匹配的两个关键点记为匹配对；

计算匹配对中两个关键点像素坐标中横坐标差值的平方，计算匹配对中两个关键点像素坐标中纵坐标差值的平方；将第一块区域和第二块区域对应的所有匹配对对应横坐标差值的平方和记为第一系数，将第一块区域和第二块区域对应的所有匹配对对应纵坐标差值的平方和记为第二系数；计算第一块区域中关键点数量和第二块区域中关键数量之间的差值的平方得到第三系数；对第一系数、第二系数和第三系数的和值进行开平方，对开平方得到的数值进行负相关映射得到第一块区域和第二块区域之间的空间一致性。

优选地，所述极值一致性的获取方法具体为：

对于任意一个待分析块区域，计算每个关键点在不同尺度下的极值的均值记为关键点的极值特征值；对于任意两个待分析块区域，获取两个待分析块区域中互相匹配的两个关键点构成的匹配对，计算匹配对中两个关键点的极值特征值之间的差值的绝对值，计算所有匹配对对应的差值的绝对值的和值，对所述和值进行负相关映射得到两个待分析块区域之间的极值一致性。

优选地，所述参考程度的获取方法具体为：

获取待分析块区域的质心，将箱门关闭类别中任意一个待分析块区域记为选定块区域，计算选定块区域与未知状态类别中任意一个待分析块区域的质心之间的距离，计算选定块区域与未知状态类别中所有待分析块区域的对应的距离的标准差和均值，获取所述均值和标准差的比值，对该比值进行归一化得到选定块区域的参考程度。

优选地，所述根据参考程度筛选箱门关闭类别中的待分析块区域得到目标块区域具体为：

获取参考程度最大值对应的箱门关闭类别中的待分析块区域，记为目标块区域。

优选地，所述根据二元组对待分析块区域进行分类，得到未知状态类别和箱门关闭类别，包括：

根据二元组对待分析块区域进行分类得到两个类别，将两个类别中元素数量较多的一个类别记为箱门关闭类别，则将另一个类别记为未知状态类别。

优选地，所述根据块区域的边缘对应的直线角度得到校正必要性具体为：

对块区域的边缘进行霍夫直线检测，对于任意一个块区域，分别获取块区域的上边缘对应的直线倾斜角度和下边缘对应的直线倾斜角度，计算上边缘和下边缘对应的直线倾斜角度之间的差值的绝对值，进而计算所述绝对值的正切函数，对正切函数值进行正相关映射得到块区域的校正必要性。

优选地，所述对场景灰度图像进行分割处理得到集装箱箱门区域，对集装箱箱门区域进行边缘检测得到块区域，具体包括：

利用语义分割算法对场景灰度图像进行分割处理得到集装箱箱门区域，将边缘检测得到的闭合的连通域记为块区域。

优选地，所述根据校正后的待分析块区域判断集装箱箱门状态具体为：

获取未知状态类别内校正后的待分析块区域构成的校正图像，获取集装箱箱门区域在校正图像中待分析块区域对应的上边缘和上门框，对校正图像进行边缘检测和霍夫直线检测，计算待分析块区域的上边缘所在直线的倾斜角度和上门框所在直线的倾斜角度之间的差值的绝对值，以绝对值的正切函数值作为校正图像中待分析块区域的角度差异程度；当角度差异程度大于预设的差异阈值时，对应的待分析块区域所在的集装箱箱门状态为开门状态。

本发明实施例至少具有如下有益效果：

本发明首先获取集装箱所在的场景灰度图像中集装箱箱门区域，并对集装箱箱门区域边缘对应的直线角度进行初步分析，得到校正必要性，利用校正必要性筛选出边缘对应的直线角度之间存在差异较大的区域进行后续的校正分析，通过将不需要进行校正的区域进行筛除，减少了计算量；然后利用SIFT算法对待分析块区域进行处理，获取待分析块区域内的关键点的位置信息和关键点数量，进而计算两个待分析块之间的空间一致性，考虑了两个待分析块区域在空间上的一致程度；根据SIFT算法进行特征匹配时待分析块区域每个关键点在不同尺度下的极值计算两个待分析块区域在空间上和灰度变化差异方面的极值一致性，反映了两个待分析块区域对应的集装箱箱门中，关键点的邻域内像素点的灰度变化情况的差异性；将空间一致性和极值一致性构成二元组，根据二元组对待分析块区域进行分类，得到未知状态类别和箱门关闭类别，进而通过结合待分析块区域之间在两个不同方面的一致性程度，对所有的待分析块区域对应的集装箱箱门状态进行分类处理；进一步的，通过计算箱门关闭类别中待分析块区域的参考程度，考虑到了两个类别中待分析块区域之间的距离的影响，进而筛选出适合为透视变换矩阵提供坐标信息的目标块区域，使得获取的关键点的坐标信息较为准确，利用目标块区域关键点对应的位置信息获取透视变换矩阵，进而对未知状态的待分析块区域进行透视变换和箱门状态分析时，不会出现偏差，能够尽可能的有效校正图像中集装箱箱门的透视畸变缺陷，提高对集装箱箱门状态进行识别的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明的一种集装箱箱门状态智能识别方法的方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种集装箱箱门状态智能识别方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种集装箱箱门状态智能识别方法的具体方案。

实施例：

请参阅图1，其示出了本发明一个实施例提供的一种集装箱箱门状态智能识别方法的方法流程图，该方法包括以下步骤：

步骤一，获取集装箱的场景灰度图像，对场景灰度图像进行分割处理得到集装箱箱门区域，对集装箱箱门区域进行边缘检测得到块区域；根据块区域的边缘对应的直线角度得到校正必要性，将校正必要性大于或等于预设的必要性阈值对应的块区域记为待分析块区域。

首先，获取集装箱的场景图像，在本实施例中利用广角监控设备采集尽可能完整的集装箱场景的场景图像，并对采集到的场景图像进行图像预处理操作，以获得较高质量的场景图像。其中，在本实施例中，对场景图像进行图像预处理操作包括，对场景图像进行去噪处理、增强处理以及灰度化处理，同时，对图像进行预处理的方法为公知技术，在此不再过多介绍。

将经过预处理操作后的场景图像记为集装箱的场景灰度图像，对场景灰度图像进行分割处理得到集装箱箱门区域，在本实施例中，利用语义分割网络对场景灰度图像进行分割处理。具体地，语义分割网络的结构为Encoder-Decoder的端至端结构，通过编码器进行卷积操作提取特征，编码器的输出结果为特征图，特征图经过解码器后输出标注的语义分割图像。

其中，语义分割网络的相关内容包括：使用集装箱场景下的场景灰度图像作为数据集，均匀随机选择数据集中的图像分别作为训练集和验证集；对数据集中场景灰度图像进行标注，将集装箱除箱门所在面其他部分标注为1，将集装箱的箱门标注为2，将箱门的边缘部分标注为3，将箱门的门框部分标注为4，其他类标注为0；损失函数采用交叉熵损失函数。最终得到的语义分割图像中包含集装箱和集装箱箱门所在区域的像素级标注，即可获取语义分割图像中的集装箱箱门区域。

需要说明的是，集装箱箱门区域包含了集装箱的边缘部分和箱门的门框部分。集装箱箱门的门框是指集装箱箱体上表现为矩形的门框，门框不会随着集装箱箱门的开关状态而发生变化，集装箱箱门的上边缘或者下边缘指的是箱门的边缘线，会随着集装箱箱门的开关状态而发生变化。

然后，对集装箱箱门区域进行边缘检测，即对语义分割图像进行边缘检测，将边缘检测得到的闭合的连通域记为块区域，即每个块区域表征了一个集装箱的箱门。其中，在本实施例中，采用canny边缘检测算法进行处理，实施者可根据具体实施场景进行设置。

在集装箱放置的场景中大量的集装箱会被整齐地堆放在一起，大量堆放的集装箱会和监控设备之间存在空间距离上的差异，使得利用监控设备采集到的场景图像中出现近大远小的透视畸变效果，这种透视畸变效果表现在场景图像中使得集装箱的结构出现不同程度的畸变。即在实际中，集装箱箱门相对的边缘应当是接近平行的，而在场景灰度图像经过分割处理后的图像中，即在语义分割图像中集装箱箱门相对的边缘斜率可能会发生变化，出现并不平行的现象。基于此，通过分析集装箱箱门区域相对的边缘之间的斜率变化情况，能够获得集装箱箱门部分发生畸变的情况，进而仅对发生畸变的集装箱箱门做透视变换处理。

进一步的，在对集装箱的场景灰度图像中集装箱箱门所在的区域进行透视变换操作前，首先需要确定图像中集装箱的放置是否由于拍摄角度等客观因素出现较为严重的透视畸变，对于未出现严重的透视畸变的集装箱就不需要进行后续的透视变换操作。

集装箱箱门出现透视畸变的程度决定了需要利用透视变换对其进行处理的必要性程度，同时，可以通过分析集装箱箱门区域相对的边缘之间的斜率变化情况，获得集装箱箱门部分发生畸变的情况，进而仅对发生畸变的集装箱箱门做透视变换处理。

对块区域的边缘进行霍夫直线检测，对于任意一个块区域，分别获取块区域的上边缘对应的直线倾斜角度和下边缘对应的直线倾斜角度，计算上边缘和下边缘对应的直线倾斜角度之间的差值的绝对值，进而计算所述绝对值的正切函数，对正切函数值进行正相关映射得到块区域的校正必要性，用公式表示为：

其中，表示第i个块区域的校正必要性，表示第i个块区域的上边缘对应的直线的倾斜角度，表示第i个块区域的下边缘对应的直线的倾斜角度，tan()表示正切函数，e为自然常数。

表示上边缘和下边缘对应的直线倾斜角度之间的差值的绝对值，反映了第i个块区域的上边缘和下边缘之间倾斜角度的差异，该差异越大，说明块区域的上边缘和下边缘所在直线之间可能越不平行，由于视角发生透视畸变的程度较大，进而对应的校正必要性的取值越大，说明该块区域对透视畸变进行校正的必要性程度越大。

利用正切函数将上边缘和下边缘对应的直线之间的倾斜角度的差异进行数值化，倾斜角度之间的差值的绝对值的取值在(0,90°)的范围内，的取值越大，对应的正切函数的取值就越大。同时，需要说明的是，块区域表征了集装箱箱门所在区域，在一般情况下，块区域的形状是四边形的，故块区域的上边缘和下边缘对应的直线之间的倾斜角度的差异不会大于或者等于90°。

校正必要性反映了块区域需要进行校正的必要程度，校正必要性越大，说明块区域存在透视畸变的程度越大，进而说明块区域需要进行校正的必要程度就越大；校正必要性越小，说明块区域存在透视畸变的程度越小，进而说明块区域需要进行校正的必要程度就越小。

设置必要性阈值，在本实施例中，必要性阈值的取值为，e为自然常数，实施者可根据具体实施场景进行设置。当块区域的校正必要性大于或等于必要性阈值时，说明块区域存在透视畸变的程度较大，块区域需要进行校正的必要程度较大，故需对其进行后续的透视变换操作，即将校正必要性大于或等于预设的必要性阈值对应的块区域记为待分析块区域。当块区域的校正必要性小于必要性阈值时，说明块区域可能不存在透视畸变现象，故不需要对这类块区域进行校正。

步骤二，利用SIFT算法对待分析块区域进行处理，获取待分析块区域内关键点的位置信息和关键点数量，根据任意两个待分析块区域内关键点的位置信息和关键点数量得到空间一致性；获取SIFT算法进行特征匹配时待分析块区域每个关键点在不同尺度下的极值，根据任意两个待分析块区域内关键点的极值得到极值一致性。

首先，需要说明的是，尺度不变特征转换即SIFT(Scale-invariant featuretransform)是一种计算机视觉的算法。该算法用来描述图像中的局部性特征，并在空间尺度中寻找极值点，提取出其位置、尺度、旋转不变量。

利用SIFT算法对图像进行处理时需要采用两张图像进行关键点的特征匹配，在本实施例中仅是为了分析集装箱场景中集装箱箱门的开合状态之间的匹配程度，故在利用SIFT算法进行特征检测时，采用的图像是两张完全相同的包含待分析块区域的集装箱场景灰度图像，即利用SIFT算法对待分析块区域进行处理时，需将待分析块区域部分提取出来，即将其他区域部分进行掩膜遮盖处理，得到只包含待分析块区域的场景灰度图像。其中，对图像进行掩膜遮盖处理为公知技术，在此不再过多介绍。

其中，利用SIFT算法对图像进行特征匹配主要包括SIFT特征的生成和SIFT特征向量的匹配两个阶段。SIFT特征的生成即从两张图像中提取对尺度缩放、旋转、亮度变化无关的特征向量，主要包括：构建尺度空间，检测极值点，获得尺度不变性；特征点过滤并进行精确定位；为特征点分配方向值；生成特征描述子。即利用SIFT算法对图像进行处理后能够获得待分析块区域内的关键点。

在只包含待分析块区域的场景灰度图像中，由于待分析块区域表征了集装箱箱门所在区域，故进行关键点匹配时，任意两个待分析块区域之间都能够近似获取互相匹配的关键点。在一般情况下，集装箱箱门处于关闭状态时，采集到的场景灰度图像中集装箱箱门所在区域包含的关键点数量接近四个，即集装箱箱门门框部分不会出现阴影等情况。集装箱箱门处于开门状态时，表现在场景灰度图像中集装箱箱门可能出现阴影部分使得关键点检测出现偏差，同时，集装箱箱门所在区域的关键点数量也可能会增加。基于此，通过分析任意两个待分析块区域之间关键点的位置信息以及关键点数量的变化，进而能够得知两个待分析块区域之间在空间上的一致性特征。

获取待分析块区域内关键点的位置信息和关键点数量，根据任意两个待分析块区域内关键的位置信息和关键点数量得到空间一致性，具体地，所述待分析块区域内关键点的位置信息为关键点的像素坐标，对于任意两个待分析块区域，将其中任意一个待分析块区域记为第一块区域，将另一个待分析块区域记为第二块区域；将第一块区域和第二块区域中互相匹配的两个关键点记为匹配对。

其中，第一块区域和第二块区域中互相匹配的两个关键点也可通过SIFT算法获得。关键点的像素坐标即为图像中像素点的像素坐标，获取方法具体为，以图像左上角为原点建立以像素为单位的直角坐标系，像素点的横坐标为像素点在图像中所在的列数，像素点的纵坐标为像素点在图像中所在的行数。

计算匹配对中两个关键点像素坐标中横坐标差值的平方，计算匹配对中两个关键点像素坐标中纵坐标差值的平方；将第一块区域和第二块区域对应的所有匹配对对应横坐标差值的平方和记为第一系数，将第一块区域和第二块区域对应的所有匹配对对应纵坐标差值的平方和记为第二系数；计算第一块区域中关键点数量和第二块区域中关键数量之间的差值的平方得到第三系数，对第一系数、第二系数和第三系数的和值进行开平方，对开平方得到的数值进行负相关映射得到第一块区域和第二块区域之间的空间一致性，用公式表示为：

，

其中，表示第一块区域u和第二块区域v之间的空间一致性，和分别表示第一块区域u和第二块区域v中的关键点数量；和分别表示第p个匹配对中第一块区域u内的关键点的横坐标和纵坐标，为其像素坐标；和分别表示p个匹配对中第二块区域v内的关键点的横坐标和纵坐标，为其像素坐标；表示第一块区域u和第二块区域v对应的匹配对的总数量，exp()表示以自然常数e为底的指数函数，利用指数函数进行负相关映射操作。

为第一系数，为第二系数，反映了匹配对中两个关键点之间的横坐标差异，反映了匹配对中两个关键点之间的纵坐标差异，横坐标差异和纵坐标差异越大，说明匹配对中两个关键点之间的位置信息差异越大，在空间分布上，两个关键点所在的待分析块区域之间的位置信息差异越大，对应的空间一致性的取值越小，说明在空间上两个待分析区域的一致程度越小。

为第三系数，反映了两个待分析块区域中关键点数量之间的差异，该差异越大，说明两个待分析块区域对应的集装箱箱门状态可能有所不同，即一个处于开门状态，一个处于关门状态，对应的空间一致性的取值越小，说明在空间上两个待分析区域的一致程度越小。该差异越小，说明两个待分析块区域对应的集装箱箱门状态越有可能是同一种，对应的空间一致性的取值越大，说明在空间上两个待分析区域的一致程度越大。

空间一致性表征了两个待分析块区域在空间上的一致程度，反映了两个待分析块区域对应的集装箱箱门中，关键点数量和对应关键点空间分布上的差异性。空间一致性取值越小，说明两个待分析块区域在空间上的一致程度越小，表示两个待分析块区域的关键点数量和位置信息之间越不相似，两个待分析块区域对应的集装箱箱门状态越不可能是同一种。空间一致性取值越大，说明两个待分析块区域在空间上的一致程度越大，表示两个待分析块区域的关键点数量和位置信息之间越相似，两个待分析块区域对应的集装箱箱门状态越可能是同一种。

利用SIFT算法对待分析块区域进行处理的过程中，需要构建尺度空间，进而可以获取每个关键点在不同尺度下的图像中对应的极值。在SIFT算法的尺度空间中，不同尺度下或者不同层下的关键点的极值是基于关键点所在尺度下的图像中邻域像素点的灰度值进行计算的，关键点在不同尺度下的图像中对应的极值反映了关键点在不同尺度的图像中邻域内像素点的灰度变化情况，同时，关键点对应的极值也是对关键点的稳定程度的一种量化，即SIFT算法最终是在图像中保留能进行匹配的稳定的关键点。

对于任意一个待分析块区域，计算每个关键点在不同尺度下的极值的均值记为关键点的极值特征值；极值特征值反映了一个关键点在场景灰度图像中邻域范围内灰度值变化的综合情况，当两个待分析块区域中对应关键点的极值特征值之间的差异较小时，说明对应关键点在邻域范围内的灰度分布较为相似，则待分析块区域对应的集装箱箱门的状态越有可能是同一种。

当集装箱箱门出现未关闭状态时，在场景灰度图像中处于开门状态的集装箱箱门所在区域内的像素点，与处于关门状态的集装箱箱门所在区域内的像素点，存在位置或者灰度分布上的相对变化，进而表现在利用SIFT算法进行处理的过程中，相匹配的关键点之间的极值存在一定的差异性。

对于任意两个待分析块区域，获取两个待分析块区域中互相匹配的两个关键点构成的匹配对，计算匹配对中两个关键点的极值特征值之间的差值的绝对值，计算所有匹配对对应的差值的绝对值的和值，对所述和值进行负相关映射得到两个待分析块区域之间的极值一致性，用公式表示为：

其中，表示第r个待分析块区域和第t个待分析块区域之间的极值一致性，表示第p个匹配对中第r个待分析块区域内的关键点在第a个尺度下的极值，表示第p个匹配对中第t个待分析块区域内的关键点在第a个尺度下的极值，表示第r个待分析块区域和第t个待分析块区域对应关键点构成的匹配对的总数量，表示共有个不同尺度，在本实施例中，的取值为4，实施者可根据具体实施场景进行获取；exp()表示以自然常数e为底的指数函数。

和表示在第p个匹配对中两个关键点的极值特征值，反映了第p个匹配对中两个关键点的极值特征值之间的差异，该差异越大，说明匹配对中两个关键点在场景灰度图像上邻域内像素点的灰度变化情况的差异越大，对应的极值一致性的取值越小，反映了两个待分析区域内的关键点在极值上的一致程度越小，说明对应的两个待分析区域的集装箱箱门的状态越不可能是同一种。

极值一致性表征了两个待分析块区域的关键点在极值上的一致程度，反映了两个待分析块区域对应的集装箱箱门中，关键点的邻域内像素点的灰度变化情况的差异性。极值一致性的取值越大，说明两个待分析块区域对应的集装箱箱门中，关键点的邻域内像素点的灰度变化情况的差异越小，说明对应的两个待分析区域的集装箱箱门的状态越可能是同一种。极值一致性的取值越小，说明两个待分析块区域对应的集装箱箱门中，关键点的邻域内像素点的灰度变化情况的差异越大，说明对应的两个待分析区域的集装箱箱门的状态越不可能是同一种。

步骤三，将空间一致性和极值一致性构成二元组，根据二元组对待分析块区域进行分类，得到未知状态类别和箱门关闭类别；根据未知状态类别和箱门关闭类别中待分析块区域之间的距离计算箱门关闭类别中待分析块区域的参考程度。

空间一致性表征了两个待分析块区域在空间上的一致程度，反映了两个待分析块区域对应的集装箱箱门中，关键点数量和对应关键点空间分布上的差异性。极值一致性表征了两个待分析块区域的关键点在极值上的一致程度，反映了两个待分析块区域对应的集装箱箱门中，关键点的邻域内像素点的灰度变化情况的差异性。将空间一致性和极值一致性构成二元组，从两个方面对待分析区域之间的特征信息进行分析。

具体地，根据二元组对待分析块区域进行分类得到两个类别，由于在集装箱场景下，大部分的集装箱箱门应当是处于关闭状态，仅有小部分存在异常情况，可能会出现集装箱箱门是开门的状态。故将两个类别中元素数量较多的一个类别记为箱门关闭类别，则将另一个类别记为未知状态类别。即未知状态类别中包含了处于开门状态的集装箱箱门，同时，可能存在透视畸变等情况的影响使得集装箱箱门状态被认为并不属于关门状态，故将元素数量较少的一个类别记为未知状态类别。

在本实施例中利用训练随机森林的方法将二元组对应的待分析块区域划分为两个类别，训练随机森林的方法为公知技术，在此不再过多介绍，实施者可根据具体实施场景选择其他分类算法对待分析块区域进行分类处理。

在集装箱箱门所在区域中，当实际关门的集装箱箱门的待分析块区域与实际开门的集装箱箱门的待分析块区域相邻时，开门状态的集装箱箱门会存在阴影部分，对邻近的关门状态的集装箱箱门对应的关键点信息造成影响，因此，需获取一个不受开门状态集装箱箱门影响的关门状态的集装箱箱门作为参考，使得能够利用该不受影响的关门状态的集装箱箱门的关键点实际的位置信息和经过透视变换后的位置信息，获取对应透视变换矩阵，利用透视变换矩阵对未知状态的集装箱箱门所在区域进行处理，使得未知状态类别中待分析块区域对应的集装箱箱门进行透视变换的结果更加准确。

考虑到开门状态的集装箱箱门可能会影响关门状态的集装箱箱门的关键点信息，故需要一个与所有开门状态的集装箱箱门距离均较远，同时距离较为均匀的关门状态的集装箱箱门作为参照，以获取准确的透视变换信息。

具体地，获取待分析块区域的质心，将任意一个箱门关闭类别中待分析块区域记为选定块区域，计算选定块区域与未知状态类别中任意一个待分析块区域的质心之间的距离，计算选定块区域与未知状态类别中所有待分析块区域的对应的距离的标准差和均值，获取所述均值和标准差的比值，对该比值进行归一化得到选定块区域的参考程度，用公式表示为：

其中，表示选定块区域d的参考程度，即表示箱门关闭类别中待分析块区域d的参考程度；表示选定块区域d与未知状态类别中第c个待分析块区域的质心之间的距离，表示选定块区域d与未知状态类别中所有待分析块区域的对应的距离的均值，表示未知状态类别中包含的待分析块区域的总数量，norm()为归一化函数。

在本实施例中，通过获取待分析块区域的质心的像素坐标，根据选定块区域d和未知状态类别中第c个待分析块区域的质心的像素坐标计算质心之间的距离，表示为，为选定块区域d的质心的像素坐标，和分别为选定块区域d的质心的横坐标和纵坐标，为未知状态类别中第c个待分析块区域的质心的像素坐标，和分别为未知状态类别中第c个待分析块区域的质心的横坐标和纵坐标。

为选定块区域d与未知状态类别中所有待分析块区域的对应的距离的标准差，反映了选定块区域与未知状态类别中待分析块区域之间的距离的离散程度，标准差的取值越大，说明选定块区域与未知状态类别中待分析块区域之间的距离的离散程度越大，该选定块区域与未知状态类别中待分析块区域之间的距离较不均匀，对应的参考程度越小，说明利用选定块区域进行透视变换的参考价值越小。

的取值越大，说明选定块区域与未知状态类别中待分析块区域之间的距离均较远，对应的参考程度越大。的取值越大，同时标准差的取值越小，说明选定块区域与未知状态类别中待分析块区域之间的距离均较远，且距离较为均匀，则选定块区域对应的参考程度越大，说明利用选定块区域进行透视变换的参考价值越大。

参考程度表征了利用选定块区域进行透视变换的参考价值，选定块区域的参考程度的取值越大，说明利用选定块区域进行透视变换的参考价值越大，该选定块区域越适合为透视变换矩阵提供坐标信息。选定块区域的参考程度的取值越小，说明利用选定块区域进行透视变换的参考价值越小，该选定块区域越不适合为透视变换矩阵提供坐标信息。

步骤四，根据参考程度筛选箱门关闭类别中待分析块区域得到目标块区域，根据目标块区域关键点的位置信息获得透视变换矩阵，利用透视变换矩阵对未知状态类别的待分析块区域内关键点的位置信息进行校正，进而获得校正后的未知状态类别的待分析块区域；根据校正后的待分析块区域判断集装箱箱门状态。

首先，对箱门关闭类别中的待分析块区域进行筛选，参考程度越大，说明利用箱门关闭类别中的待分析块区域进行透视变换的参考价值较大，越适合为透视变换矩阵提供坐标信息。故获取参考程度最大值对应的箱门关闭类别中的待分析块区域，记为目标块区域。

获取的目标块区域对应的集装箱箱门状态为关门状态，且目标块区域与未知状态类别中待分析块区域之间的距离均较远，且较为均匀，故目标块区域不会受到未知状态类别内待分析块区域的影响，为后续进行透视变换提供坐标信息，不会出现透视变换矩阵的选取不合理的问题，进而使得对未知状态类别内待分析块区域进行透视变换以及状态分析时出现偏差。同时，集装箱箱门处于同一个平面内时，某一个集装箱箱门所在区域的透视变换矩阵可以用于其他同平面的集装箱箱门所在区域进行透视变换。

然后，根据目标块区域关键点的位置信息获得透视变换矩阵，具体地，关键点的位置信息为关键点的像素坐标，即可获取目标块区域内所有关键点的像素坐标，设定所有关键点经过透视变换校正后的像素坐标，利用透视变换矩阵获取函数，将关键点的像素坐标和经过透视变换校正后的像素坐标输入函数中，得到透视变换矩阵。

举例说明，目标块区域内包含四个关键点，四个关键点的像素坐标分别为，，和，设定这四个关键点经过透视变换校正后的像素坐标分别为(0,a)，(a,a)，(0,0)和(a,0)，在本实施例中，a的取值为50，实施者可根据具体实施场景进行设置。为第一个关键点的像素坐标，(0,a)为第一个关键点经过透视变换校正后对应的像素坐标。为第二个关键点的像素坐标，(a,a)为第二个关键点经过透视变换校正后对应的像素坐标。为第三个关键点的像素坐标，(0,0)为第三个关键点经过透视变换校正后对应的像素坐标。为第四个关键点的像素坐标，(a,0)为第四个关键点经过透视变换校正后对应的像素坐标。

利用透视变换获取函数，获取目标块区域对应的透视变换矩阵，用公式表示为：

其中，Tz表示透视变换矩阵，为透视变换矩阵获取函数，src表示关键点在透视变换前的像素坐标，dst表示设定的关键点经过透视变换校正后的像素坐标。

同时，需要说明的是，通过分析点在透视变换前后坐标信息的变化情况获取对应的透视变换矩阵为公知技术，在此只做简单的介绍。

进一步的，利用获取到的透视变换矩阵对未知状态类别中每个待分析块区域进行透视变换操作。具体地，对于未知状态类别内任意一个待分析块区域，计算透视变换矩阵与关键点的像素坐标的乘积，得到经过透视变换校正后的关键点的像素坐标。同时，需要说明的是，已知关键点在透视变换前的像素坐标和透视变换矩阵，对关键点进行透视变换操作为公知技术，即如何获取关键点经透视变换校正后的像素坐标的详细步骤在此不再过多赘述。

利用透视变换矩阵对未知状态类别内所有的待分析块区域关键点的位置信息进行校正，进而获得校正后的未知状态类别的待分析块区域，构成校正图像，根据校正图像对未知状态类别中的待分析块区域进行集装箱箱门状态分析时不会出现较大的偏差，即准确度较高。

最后，根据校正后的待分析块区域判断集装箱箱门状态。获取未知状态类别内校正后的待分析块区域构成的校正图像，获取集装箱箱门区域在校正图像中待分析块区域对应的上边缘和上门框，即结合步骤一中语义分割图像中集装箱箱门上边缘和上门框部分，若集装箱箱门处于开门状态，则集装箱箱门的上边缘与门框之间存在一定的角度差异。

基于此，对校正图像进行边缘检测和霍夫直线检测，计算待分析块区域的上边缘所在直线的倾斜角度和上门框所在直线的倾斜角度之间的差值的绝对值，以绝对值的正切函数值作为校正图像中待分析块区域的角度差异程度，表示为∆k=tan|θ1－θ2|，其中∆k表示角度差异程度，θ1和θ2分别表示待分析块区域对应的集装箱箱门的上边缘和上门框所在直线的倾斜角度，tan()表示正切函数。

当角度差异程度大于预设的差异阈值时，说明集装箱箱门的上边缘与边框之间的角度差异较大，则对应的待分析块区域所在的集装箱箱门状态为开门状态。其中，在本实施例中，差异阈值的取值为0.5，实施者可根据具体实施场景进行设置。

综上，本发明首先获取集装箱所在的场景灰度图像中集装箱箱门区域，并对集装箱箱门区域边缘对应的直线角度进行初步分析，得到校正必要性，利用校正必要性筛选出边缘对应的直线角度之间存在差异较大的区域进行后续的校正分析，通过将不需要进行校正的区域进行筛除，减少了计算量；然后利用SIFT算法对待分析块区域进行处理，获取待分析块区域内的关键点的位置信息和关键点数量，进而计算两个待分析块之间的空间一致性，考虑了两个待分析块区域在空间上的一致程度；获取SIFT算法进行特征匹配时待分析块区域每个关键点在不同尺度下的极值，关键点在不同尺度下的图像中对应的极值反映了关键点在不同尺度的图像中邻域内像素点的灰度变化情况；进而计算两个待分析块区域之间的极值一致性，反映了两个待分析块区域对应的集装箱箱门中，关键点的邻域内像素点的灰度变化情况的差异性；将空间一致性和极值一致性构成二元组，根据二元组对待分析块区域进行分类，得到未知状态类别和箱门关闭类别，进而通过结合待分析块区域在空间上和灰度变化差异方面的一致性程度，对所有的待分析块区域对应的集装箱箱门状态进行分类处理；进一步的，通过计算箱门关闭类别中待分析块区域的参考程度，考虑到了两个类别中待分析块区域之间的距离的影响，进而筛选出适合为透视变换矩阵提供坐标信息的目标块区域，使得获取的关键点的坐标信息较为准确，利用目标块区域关键点对应的位置信息获取透视变换矩阵，进而对未知状态的待分析块区域进行透视变换和箱门状态分析时，不会出现偏差，能够尽可能的有效校正图像中集装箱箱门的透视畸变缺陷，提高对集装箱箱门状态的识别准确性。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，均应包含在本发明的保护范围之内。

Claims (9)

1.一种集装箱箱门状态智能识别方法，其特征在于，该方法包括以下步骤：

获取集装箱的场景灰度图像，对场景灰度图像进行分割处理得到集装箱箱门区域，对集装箱箱门区域进行边缘检测得到块区域；根据块区域的边缘对应的直线角度得到校正必要性，将校正必要性大于或等于预设的必要性阈值对应的块区域记为待分析块区域；

利用SIFT算法对待分析块区域进行处理，获取待分析块区域内关键点的位置信息和关键点数量，根据任意两个待分析块区域内关键点的位置信息和关键点数量得到空间一致性；获取SIFT算法进行特征匹配时待分析块区域每个关键点在不同尺度下的极值，根据任意两个待分析块区域内关键点的极值得到极值一致性；

将空间一致性和极值一致性构成二元组，根据二元组对待分析块区域进行分类，得到未知状态类别和箱门关闭类别；根据未知状态类别和箱门关闭类别中待分析块区域之间的距离计算箱门关闭类别中待分析块区域的参考程度；

根据参考程度筛选箱门关闭类别中的待分析块区域得到目标块区域，根据目标块区域关键点的位置信息获得透视变换矩阵，利用透视变换矩阵对未知状态类别的待分析块区域内关键点的位置信息进行校正，进而获得校正后的未知状态类别的待分析块区域；根据校正后的待分析块区域判断集装箱箱门状态。

2.根据权利要求1所述的一种集装箱箱门状态智能识别方法，其特征在于，所述空间一致性的获取方法具体为：

所述待分析块区域内关键点的位置信息为关键点的像素坐标，对于任意两个待分析块区域，将其中任意一个待分析块区域记为第一块区域，将另一个待分析块区域记为第二块区域；将第一块区域和第二块区域中互相匹配的两个关键点记为匹配对；

计算匹配对中两个关键点像素坐标中横坐标差值的平方，计算匹配对中两个关键点像素坐标中纵坐标差值的平方；将第一块区域和第二块区域对应的所有匹配对对应横坐标差值的平方和记为第一系数，将第一块区域和第二块区域对应的所有匹配对对应纵坐标差值的平方和记为第二系数；计算第一块区域中关键点数量和第二块区域中关键数量之间的差值的平方得到第三系数；对第一系数、第二系数和第三系数的和值进行开平方，对开平方得到的数值进行负相关映射得到第一块区域和第二块区域之间的空间一致性。

3.根据权利要求1所述的一种集装箱箱门状态智能识别方法，其特征在于，所述极值一致性的获取方法具体为：

对于任意一个待分析块区域，计算每个关键点在不同尺度下的极值的均值记为关键点的极值特征值；对于任意两个待分析块区域，获取两个待分析块区域中互相匹配的两个关键点构成的匹配对，计算匹配对中两个关键点的极值特征值之间的差值的绝对值，计算所有匹配对对应的差值的绝对值的和值，对所述和值进行负相关映射得到两个待分析块区域之间的极值一致性。

4.根据权利要求1所述的一种集装箱箱门状态智能识别方法，其特征在于，所述参考程度的获取方法具体为：

获取待分析块区域的质心，将箱门关闭类别中任意一个待分析块区域记为选定块区域，计算选定块区域与未知状态类别中任意一个待分析块区域的质心之间的距离，计算选定块区域与未知状态类别中所有待分析块区域的对应的距离的标准差和均值，获取所述均值和标准差的比值，对该比值进行归一化得到选定块区域的参考程度。

5.根据权利要求1所述的一种集装箱箱门状态智能识别方法，其特征在于，所述根据参考程度筛选箱门关闭类别中的待分析块区域得到目标块区域具体为：

获取参考程度最大值对应的箱门关闭类别中的待分析块区域，记为目标块区域。

6.根据权利要求1所述的一种集装箱箱门状态智能识别方法，其特征在于，所述根据二元组对待分析块区域进行分类，得到未知状态类别和箱门关闭类别，包括：

根据二元组对待分析块区域进行分类得到两个类别，将两个类别中元素数量较多的一个类别记为箱门关闭类别，则将另一个类别记为未知状态类别。

7.根据权利要求1所述的一种集装箱箱门状态智能识别方法，其特征在于，所述根据块区域的边缘对应的直线角度得到校正必要性具体为：

对块区域的边缘进行霍夫直线检测，对于任意一个块区域，分别获取块区域的上边缘对应的直线倾斜角度和下边缘对应的直线倾斜角度，计算上边缘和下边缘对应的直线倾斜角度之间的差值的绝对值，进而计算所述绝对值的正切函数，对正切函数值进行正相关映射得到块区域的校正必要性。

8.根据权利要求1所述的一种集装箱箱门状态智能识别方法，其特征在于，所述对场景灰度图像进行分割处理得到集装箱箱门区域，对集装箱箱门区域进行边缘检测得到块区域，具体包括：

利用语义分割算法对场景灰度图像进行分割处理得到集装箱箱门区域，将边缘检测得到的闭合的连通域记为块区域。

9.根据权利要求1所述的一种集装箱箱门状态智能识别方法，其特征在于，所述根据校正后的待分析块区域判断集装箱箱门状态具体为：

获取未知状态类别内校正后的待分析块区域构成的校正图像，获取集装箱箱门区域在校正图像中待分析块区域对应的上边缘和上门框，对校正图像进行边缘检测和霍夫直线检测，计算待分析块区域的上边缘所在直线的倾斜角度和上门框所在直线的倾斜角度之间的差值的绝对值，以绝对值的正切函数值作为校正图像中待分析块区域的角度差异程度；当角度差异程度大于预设的差异阈值时，对应的待分析块区域所在的集装箱箱门状态为开门状态。

Images