CN117935125A - 基于人工智能的智慧电梯行为识别方法 - Google Patents

Abstract

本发明涉及升降机检测技术领域，具体涉及一种基于人工智能的智慧电梯行为识别方法。本发明首先获取预设长度的视频帧图序列，并进行特征点检测及帧间匹配；根据特征点间局部颜色特征的相似情况，获取相邻帧间每对匹配特征点间的邻域变化程度；然后结合所有特征点的分布信息，获取每个视频帧图每个特征点相对相邻下一视频帧图中对应匹配特征点间的变化一致系数，进而获取每个特征点在每个视频帧图中的置信度；根据置信度标注每个视频帧图中的目标乘客区域；最终对目标乘客区域进行行为识别。本发明结合相邻帧匹配特征点间的局部颜色特征及位置分布变动等信息，分析特征点间匹配结果的可靠性，进而准确获取目标乘客区域以提高行为识别准确性。

Description

基于人工智能的智慧电梯行为识别方法

技术领域

本发明涉及升降机检测技术领域，具体涉及一种基于人工智能的智慧电梯行为识别方法。

背景技术

电梯是人们日常工作和生活中常见到的一种运输工具，人工智能算法可以有效监测及识别电梯内乘客的异常或危险行为，如长时间阻拦电梯门关闭、恶意破坏设备等行为，进而及时采取相应措施以提升电梯运行的安全性。现有技术中通常采用尺度不变特征转换(Scale-invariant feature transform，SIFT)算法对电梯监控视频帧图像中的目标乘客进行特征点提取，通过特征点确定目标乘客区域，进而评估目标乘客的行为。

但利用SIFT算法提取特征点的过程中，由于乘客的随机移动行为，导致其位置区域在视频帧图像内表现为一定的区域形变或与多乘客间位置区域的相互重叠遮挡，即部分特征点在当前视频帧图中出现，在下一视频帧图中可能被重叠遮挡，而SIFT算法会根据局部图像图特征选择出一个最佳匹配误差的特征点作为其对应匹配特征点，导致相邻帧间的一对由算法获取的匹配特征点可能并不是真正意义上的匹配关系，从而影响目标乘客位置区域的评估准确性，进而导致电梯内乘客行为识别结果的准确度低。

发明内容

为了解决现有算法目标乘客位置区域的评估准确性低进而导致人员行为识别结果准确度的技术问题，本发明的目的在于提供一种基于人工智能的智慧电梯行为识别方法，所采用的技术方案具体如下：

获取电梯监控视频中预设长度的视频帧图序列；获取所述视频帧图序列中每个视频帧图中的所有特征点并进行特征点的帧间匹配；

根据每个视频帧图中每个特征点与相邻下一视频帧图中对应匹配特征点间，局部颜色特征的相似情况，获取每个视频帧图中每个特征点相对相邻下一视频帧图中对应匹配特征点间的邻域变化程度；

根据每个视频帧图中每个特征点及邻近特征点的所述邻域变化程度，结合所有特征点的分布信息，获取每个视频帧图每个特征点相对相邻下一视频帧图中对应匹配特征点间的变化一致系数；根据所述视频帧图序列中所有具有帧间匹配关系的匹配特征点的变化一致系数，获取每个特征点在每个视频帧图中的置信度；根据所述置信度标注每个视频帧图中的目标乘客区域；

基于行为识别模型对所述目标乘客区域进行行为识别。

进一步地，所述邻域变化程度的获取方法包括：

在每个视频帧图中，以每个特征点为目标特征点，获取预设第一数量个与所述目标特征点的欧氏距离最近的特征点作为参考特征点；分别以目标特征点及所有参考特征点为中心构建对应预设邻域，获取每个预设邻域内每个像素点的颜色特征向量；

在所述目标特征点与相邻下一视频帧图中对应匹配特征点的预设邻域间，获取预设邻域内所有相同位置的像素点间的颜色特征向量的余弦相似度，并进行顺序排序获取所述目标特征点的余弦相似度序列；

在所述目标特征点的每个参考特征点与相邻下一视频帧图中对应匹配特征点的预设邻域间，获取预设邻域内所有相同位置的像素点间的颜色特征向量的余弦相似度，并进行顺序排序获取每个所述参考特征点的余弦相似度序列；

将所述目标特征点的余弦相似度序列与每个所述参考特征点的余弦相似度序列间的DTW距离均值正相关归一化后作为所述目标特征点的邻域变化程度。

进一步地，所述颜色特征向量的获取方法包括：

获取每个像素点的R通道、G通道、B通道三个颜色通道值及灰度值，将颜色通道值及灰度值分别进行归一化后，将每个归一化值作为颜色特征向量的向量元素值，按顺序排序得到颜色特征向量。

进一步地，所述变化一致系数的获取方法包括：

根据每个特征点及邻近特征点的所述邻域变化程度，结合每个视频帧图中所有特征点的凸包检测面积，获取每个视频帧图中每个特征点的特征参数；将每个视频帧图中每个特征点与相邻下一视频帧图中的对应匹配特征点间所述特征参数的差值绝对值作为分子，根据所述视频帧图序列中所有视频帧图中每个特征点与相邻下一视频帧图中的对应匹配特征点间所述特征参数的差值绝对值构建分母，并将分子与分母的比值减去预设对比正参数后进行正相关映射，得到每个视频帧图中每个特征点与相邻下一视频帧图中的对应匹配特征点的变化一致系数。

进一步地，所述特征参数的获取方法包括：

在每个视频帧图中，将每个特征点及预设第二数量个与对应特征点的欧氏距离最近的特征点的所述邻域变化程度之和作为分子，将所述凸包检测面积作为分母，分子与分母的比值作为每个特征点在对应视频帧图中的特征参数。

进一步地，所述置信度的获取方法包括：

在所述视频帧图序列中，将每个视频帧图中每个特征点与相邻下一视频帧图中的对应匹配特征点的变化一致系数作为序列元素，将序列元素进行顺序排序构建系数序列，将所述系数序列中的极值作为分段点进行分段；

在每个所述系数序列的每个分段中，将每个视频帧图中每个特征点与相邻下一视频帧图中的对应匹配特征点的变化一致系数与对应分段内所述变化一致系数的均值的差值绝对值，除以对应分段内所述变化一致系数的均值，得到系数偏离特征值；将所述系数偏离特征值负相关映射并归一化，得到每个特征点在每个视频帧图中的置信度。

进一步地，所述目标乘客区域的获取方法包括：

在每个视频帧图中，将所述置信度大于预设阈值的所有特征点中作为置信特征点，将所有置信特征点所围成区域作为目标乘客区域。

进一步地，所述行为识别模型的获取方法包括：

通过将标注目标乘客区域后的视频帧图赋予相应的行为标签，根据带有行为标签的视频帧图构建训练数据，并利用训练数据对行为识别模型进行训练，得到训练好的行为识别模型。

进一步地，所述行为识别模型为卷积神经网络模型。

进一步地，所述特征点的获取方法及帧间特征点匹配的匹配方法包括：

通过SIFT算法获取每个视频帧图中的特征点，并通过SIFT算法对相邻帧间的特征点进行特征匹配。

本发明具有如下有益效果：

本发明首先获取预设长度的视频帧图序列，然后进行特征点检测及匹配；进一步根据每个视频帧图中每个特征点与相邻下一视频帧图中对应匹配特征点间，局部颜色特征的相似情况，获取相邻视频帧图间每对匹配特征点间的邻域变化程度，邻域变化程度通过从特征点的局部颜色特征信息分析相邻帧间匹配特征点的匹配关系的可靠性，从而便于后续准确确定目标乘客区域以准确识别其行为；然后根据每个视频帧图中每个特征点及邻近特征点的邻域变化程度，结合所有特征点的分布信息，获取每个视频帧图每个特征点相对相邻下一视频帧图中对应匹配特征点间的变化一致系数，通过结合特征点的局部颜色特征和分布信息综合评估相邻帧间对应匹配特征点间的变化一致系数，以便准确评估匹配特征点间的匹配关系可靠性；然后获取每个特征点在每个视频帧图中的置信度，置信度反映了相邻帧间特征点间匹配关系可靠性；根据置信度准确标注每个视频帧图中的目标乘客区域；最终基于行为识别模型对目标乘客区域进行行为识别。本发明结合相邻视频帧图间匹配特征点间的局部颜色特征、位置分布及变动等信息，分析特征点间匹配结果的可靠性，进而准确获取目标乘客区域以提高电梯内乘客行为的识别准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于人工智能的智慧电梯行为识别方法的流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的智慧电梯行为识别方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于人工智能的智慧电梯行为识别方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于人工智能的智慧电梯行为识别方法的流程图，该方法包括：

本发明实施例首先获取电梯监控视频的视频帧图序列并获取帧间匹配特征点，进一步结合特征点在视频帧图中的分布变化情况，分析相邻帧间匹配特征点的变化一致性，进而筛选出匹配结果更可靠即对于识别目标乘客行为准确性高的特征点，提高行为识别模型的准确性。

步骤S1，获取电梯监控视频中预设长度的视频帧图序列；获取视频帧图序列中每个视频帧图中的所有特征点并进行特征点的帧间匹配。

本发明实施例针对的是封闭式垂直升降电梯，在本发明的一个实施例中，通过在电梯轿厢内安装高清彩色摄像头对电梯内的情景进行实时监控，然后将监控视频进行相应预处理，以便后续的特征分析；其中，将监控视频的帧率设置为30fps，得到所有视频帧图，同时将视频帧图进行灰度处理，并做常规去噪。然后以实时时刻为起点，沿视频帧图采集时序的反方向获取预设长度的视频帧图序列，其中预设长度为100帧，即视频帧图序列中包括100帧时序连续的视频帧图，其中视频帧图序列中视频帧图的排序顺序与采集时序顺序相同。灰度处理及去噪已是本领域技术人员熟知的现有技术，在此不再赘述；实施者可采用其他视频预处理方法，也可设置其他预设长度。

由于特征点是确定目标乘客区域的重要像素点，故本发明实施例进一步获取视频帧图序列中每个视频帧图中的所有特征点并进行特征点的帧间匹配，进而便于后续对于帧间特征点的匹配关系评估。在本发明的一个实施例中，通过SIFT算法获取每个视频帧图中的特征点，并通过SIFT算法对相邻帧间的特征点进行特征匹配。

需要说明的是，通过SIFT算法对相邻帧间的特征点进行特征匹配过程中，首先通过SIFT算法获取视频帧图序列中所有视频帧图的特征点，然后通过SIFT算法将第1帧与第2帧视频帧图中的特征点进行特征匹配，然后将第2帧与第3帧视频帧图中的特征点进行特征匹配，依此类推，对所有相邻帧间的特征点进行特征匹配；例如第1帧视频帧图中存在一个特征点A1，其在第2帧视频帧图中的匹配特征点为A2，然后获取特征点A2在第3帧视频帧图中的匹配特征点为A3，直至获取到第100帧中的匹配特征点A100，则对于特征点A1，其在视频帧图序列中所有视频帧图都存在的对应的匹配特征点即A1-A2-A3-…-A100，即将视频帧图序列中第一帧视频帧图中的所有特征点进行链式匹配，从而分析所属同一匹配链上特征点间的变化情况以评估置信度；由于乘客的移动导致相邻帧间的匹配特征点，可能仅为帧间的最小匹配误差特征点，即当乘客移动导致下一相邻视频帧图中乘客区域中特征点可能存在遮挡或消失，而SIFT算法将通过对比描述子为该特征点在下一相邻视频帧图中筛选出一个最小匹配误差的特征点作为其匹配特征点，但这种情况下的匹配关系对于准确识别乘客区域并不可靠，故需进一步分析帧间特征点匹配关系的可信度以筛选出置信特征点。SIFT算法已是本领域技术人员熟知的现有技术，在此不再赘述，实施者也可采用其他方法获取特征点以及进行特征点匹配。

需要说明的是，第一帧至第一百帧的帧间时间间隔较短，在此期间，默认乘客不会出现消失瞬移等突变现象，即第一帧中的匹配特征点作为链式匹配的起点对邻近实时时刻的乘客行为识别准确性影响不大，实施者也可根据具体实施情况将第100帧的特征点作为链式匹配的起点，进行特征点的置信度分析以确定乘客区域。

步骤S2，根据每个视频帧图中每个特征点与相邻下一视频帧图中对应匹配特征点间，局部颜色特征的相似情况，获取每个视频帧图中每个特征点相对相邻下一视频帧图中对应匹配特征点间的邻域变化程度。

特征点间的匹配是基于描述子的，特征点的描述子反映了特征点周围包括局部纹理结构、颜色及尺度等信息的图像特征；当目标乘客在电梯轿厢内行为发生变化，乘客对应特征点的特征描述子将发生变化，则特征点对应的目标乘客区域也将改变；又由于相邻视频帧图间的匹配特征点可能为非真正意义上的匹配特征点，即人员移动后，该下一相邻帧中的某一特征点可能仅为当前帧中特征点的最佳匹配特征点，而非随人员移动后对应位置的特征点，该类特征点对于出目标乘客区域的判断存在一定误差影响；故本发明实施例首先根据每个视频帧图中每个特征点与相邻下一视频帧图中对应匹配特征点间，局部颜色特征的相似情况，获取每个视频帧图中每个特征点相对相邻下一视频帧图中对应匹配特征点间的邻域变化程度；邻域变化程度从特征点的局部颜色特征信息反映了相邻帧间匹配特征点的匹配关系的可靠性，从而便于后续准确确定目标乘客区域以准确识别其行为。

优选地，在本发明的一个实施例中，考虑到乘客动作，特征点邻域内像素点的颜色特征可能发生巨大变化，又由于仅分析相邻帧间单个特征点的变化情况存在较大的随机性，对行为识别准确性存在一定影响，故邻域变化程度的获取方法包括：在每个视频帧图中，以每个特征点为目标特征点，获取预设第一数量个与目标特征点的欧氏距离最近的特征点作为参考特征点；分别以目标特征点及所有参考特征点为中心构建对应预设邻域，获取每个预设邻域内每个像素点的颜色特征向量；在目标特征点与相邻下一视频帧图中对应匹配特征点的预设邻域间，获取预设邻域内所有相同位置的像素点间的颜色特征向量的余弦相似度，并进行顺序排序获取目标特征点的余弦相似度序列；在目标特征点的每个参考特征点与相邻下一视频帧图中对应匹配特征点的预设邻域间，获取预设邻域内所有相同位置的像素点间的颜色特征向量的余弦相似度，并进行顺序排序获取每个参考特征点的余弦相似度序列；将目标特征点的余弦相似度序列与每个参考特征点的余弦相似度序列间的DTW距离均值正相关归一化后作为目标特征点的邻域变化程度。需要说明的是，余弦相似度及DTW算法已是本领域技术人员熟知的现有技术，在此不再赘述。

在本发明实施例中，预设第一数量取9，以每个特征点为目标特征点，通过计算视频帧图中所有特征点与邻近特征点间的欧式距离，将欧氏距离升序排序，从中选取与目标特征点欧式距离较小的前9个邻近特征点综合分析，提高目标特征点变化分析的准确性，需要说明的是，可能存在视频帧图中无法获取与目标特征点欧氏距离最近的9个特征点，实施者可根据具体实施情况选择其他数量的邻近特征点作为参考特征点；然后以目标特征点及所有参考特征点为中心分别构建每个特征点对应预设邻域，便于在局部范围内分析像素点的局部颜色特征，其中预设邻域的尺寸为，在本发明的其他实施例中可根据具体情况自行设置参考特征点的数量及预设邻域的尺寸。

在本发明实施例中，在获取目标特征点或参考特征点的余弦相似度序列时，将预设邻域内的像素点从邻域左上角的第一个像素点从左到右的逐行进行顺序排序，例如的邻域内，将邻域第一行第一列的像素点的位置序号为1，第二行第一列的像素点的位置序号为8，以此规律将邻域内所有像素点进行从左至右逐行排序，然后将帧间的匹配特征点的预设邻域间相同位置序号的像素点间的颜色特征向量的余弦相似度作为余弦相似度序列的序列元素，并按照位置序号的升序顺序进行排序，从而得到余弦相似度序列。需要说明的是，目标特征点或参考特征点的余弦相似度序列获取方法相同，在本发明的其他实施例中，实施者也可将帧间匹配特征点对应邻域内相同位置的像素点间颜色特征向量的余弦相似度以任意顺序进行排序构建序列，但需保证目标特征点与参考特征点的余弦相似度序列间的序列元素排序方法一致，以保证分析效果。

邻域变化程度的计算公式为：

；

其中，为第/>个视频帧图中第/>个目标特征点相对第/>个视频帧图中对应匹配特征点间的邻域变化程度；/>为第/>个目标特征点的参考特征点的序号；/>为预设第一数量；/>为求DTW距离函数；/>为任一预设邻域内像素点的位置序号；/>为预设邻域内像素点的总数量；/>为第/>个视频帧图中第/>个目标特征点的预设邻域内第/>个位置像素点的颜色特征向量，与第/>个视频帧图中第/>个目标特征点对应的匹配像素点的预设邻域内第/>个位置像素点的颜色特征向量间的余弦相似度；/>为第/>个视频帧图中第/>个目标特征点的第/>个参考特征点的预设邻域内第/>个位置像素点的颜色特征向量，与第/>个视频帧图中第/>个目标特征点的第/>个参考特征点对应的匹配像素点的预设邻域内第/>个位置像素点的颜色特征向量间的余弦相似度；/>为第/>个视频帧图中第/>个目标特征点，与第/>个视频帧图中第/>个目标特征点对应的匹配像素点的预设邻域间所有相同位置序号的像素点的颜色特征向量间的余弦相似度序列；为第/>个视频帧图中第/>个目标特征点的第/>个参考特征点，与第/>个视频帧图中第/>个目标特征点的第/>个参考特征点对应的匹配像素点的预设邻域间所有相同位置序号的像素点的颜色特征向量间的余弦相似度序列; />为标准归一化函数。在本发明实施例中，预设第一数量/>；预设邻域的尺寸为/>，即/>，实施者可自行设置。

邻域变化程度的计算公式中，反映了目标特征点与下一相邻视频帧图内匹配特征点间的局部颜色特征的相似情况，相对参考像素点与下一相邻视频帧图内对应匹配特征点间局部颜色特征的相似情况的差异，通过对比目标特征点的局部颜色特征分布与下一相邻视频帧图中对应匹配特征点的局部颜色特征的差异情况，评估目标特征点的邻域变化程度，DTW距离均值越大，说明目标特征点发生变动的可能性越大，对于帧间特征点匹配的影响越大，该特征点相对其在下一相邻视频帧图内的匹配特征点间匹配关系的可靠性越应被重点分析。

在本发明的一个优选实施例中，颜色特征向量的获取方法包括：获取每个像素点的R通道、G通道、B通道三个颜色通道值及灰度值，将颜色通道值及灰度值分别进行归一化后，将每个归一化值作为颜色特征向量的向量元素值，按顺序排序得到颜色特征向量。在本发明的一个实施例中，将归一化后的R、G、B及灰度值按此排序顺序构建颜色特征向量，其中，采用最大值最小值归一化方法，实施者可自行设置归一化方式或采用其他数值标准处理方式以便后续运算，其均为现有技术，在此不赘述。在本发明的其他实施例中，也可将彩色的视频帧图像转换为HSV等其他颜色模式，通过其他颜色通道的信息以其他组合方式构建颜色特征向量，实施者可自行设置，在此不赘述。

步骤S3，根据每个视频帧图中每个特征点及邻近特征点的邻域变化程度，结合所有特征点的分布信息，获取每个视频帧图每个特征点相对相邻下一视频帧图中对应匹配特征点间的变化一致系数；根据视频帧图序列中所有具有帧间匹配关系的匹配特征点的变化一致系数，获取每个特征点在每个视频帧图中的置信度；根据置信度标注每个视频帧图中的目标乘客区域。

电梯轿厢内乘客的行为变化不仅会导致特征点的颜色特征变化，还会导致特征点的分布位置发生变化，但特征点的颜色变化相对分布位置的变化更为显著，例如当乘客发生小幅位置移动，特征点的局部颜色特征可能发生巨大改变，但特征点的整体分布特征却几乎不变，故仅根据颜色特征评估特征点间匹配关系的可靠性不够全面，故本发明实施例根据每个视频帧图中每个特征点及邻近特征点的邻域变化程度，结合所有特征点的分布信息，获取每个视频帧图每个特征点相对相邻下一视频帧图中对应匹配特征点间的变化一致系数。

优选地，在本发明的一个实施例中，考虑到当乘客产生行为变动时，虽然乘客的区域总面积几乎不变，但特征点的位置分布结构将发生变化，而凸包检测可以用于评估特征点的分布情况，其检测出的面积的变化侧面反映了乘客的行为变动情况，通过结合特征点的邻域变化程度及最小凸多边形面积，即综合颜色变化及位置分布变化信息，对比评估相邻帧间特征点的变化一致性可进一步判断特征点的匹配关系可靠性。基于此，变化一致系数的获取方法包括：根据每个特征点及邻近特征点的邻域变化程度，结合每个视频帧图中所有特征点的凸包检测面积，获取每个视频帧图中每个特征点的特征参数；将每个视频帧图中每个特征点与相邻下一视频帧图中的对应匹配特征点间特征参数的差值绝对值作为分子，根据视频帧图序列中所有视频帧图中每个特征点与相邻下一视频帧图中的对应匹配特征点间特征参数的差值绝对值构建分母，并将分子与分母的比值减去预设对比正参数后进行正相关映射，得到每个视频帧图中每个特征点与相邻下一视频帧图中的对应匹配特征点的变化一致系数。

其中，特征参数的获取方法包括：在每个视频帧图中，将每个特征点及预设第二数量个与对应特征点的欧氏距离最近的特征点的邻域变化程度之和作为分子，将凸包检测面积作为分母，分子与分母的比值作为每个特征点在对应视频帧图中的特征参数；结合特征点的邻近特征点避免单一随机结果对最终准确性的影响，同时通过除法将邻域变化程度之和及凸包检测面积合并构建特征参数，以便后续综合分析变化一致性，当相邻帧间的凸包检测面积变大或变小都将使得帧间的特征参数差异增大，从而可以判断帧间的变化一致性较小，即该对匹配特征点的匹配关系可靠性低的可能性越大，越应进一步确定其置信度；其中凸包检测的面积为检测到的最小凸多边形所包含像素点的数量，凸包检测及凸包检测面积的获取已是本领域技术人员熟知的现有技术，在此不赘述。

特征参数用计算公式表示为：，/>为第/>个视频帧图中第/>个目标特征点的特征参数，/>为第/>个视频帧图中第/>个目标特征点的邻域变化程度，/>为第/>个视频帧图中所有特征点的凸包检测面积，/>为预设第二数量；在本发明实施例中预设第二数量取9，需要说明的是，筛选邻近特征点的方法与获取参考特征点的方法一致，在此不赘述，可能存在视频帧图中无法获取与特征点欧氏距离最近的9个其他特征点，实施者可根据具体实施情况选择其他数量。

在本发明实施例中，获取视频帧图序列中所有视频帧图中每个特征点与相邻下一视频帧图中的对应匹配特征点间特征参数的差值绝对值，然后将具有帧间匹配关系的特征点间的差值绝对值的平均值作为分母，例如从第1帧至第100帧视频帧图中，第一帧的每个特征点在视频帧图序列中都存在相应的链式匹配关系，在步骤S1中相邻帧间的特征点进行特征匹配过程中已做表述，在此不赘述；其中，将所有具有帧间链式匹配关系的特征点间的特征参数的差值绝对值的平均值作为分母的方法如下，例如分别计算第1帧中的A1特征点与第2帧视频帧图中对应的A2匹配特征点的特征参数间的差值绝对值，第2帧中的A2特征点在第3帧视频帧图中对应的A3匹配特征点的特征参数间的差值绝对值，直至获取所有存在相应的链式匹配关系的相邻帧间匹配特征点对应的特征参数间的差值绝对值均值，将差值绝对值均值作为分母，从而构建变化一致系数的计算公式。获取每个视频帧图每个特征点相对相邻下一视频帧图中对应匹配特征点间的变化一致系数的计算公式为：

；

其中，为第/>个视频帧图中第/>个目标特征点相对第/>个视频帧图中对应匹配特征点间的变化一致性系数；/>为以自然常数/>为底数的指数函数；/>为第/>个视频帧图中第/>个目标特征点的特征参数；/>为第/>个视频帧图中第/>个特征点的特征参数，第/>个目标特征点与第/>个特征点为相邻视频帧图间的匹配特征点；/>为预设对比正参数；/>为视频帧图序列中视频帧图的总帧数；在本发明实施例中，预设对比正参数/>取1，总帧数/>取100，实施者可根据具体情况自行设置。

变化一致系数的计算公式中，反映了相邻帧间匹配特征点间的变化一致情况，差异越小，则说明特征点在时序上的变化趋势越相似，其为乘客在相邻帧间的匹配结果的可信度越高，对于目标乘客区域的判断结果也越准确；则反映了视频帧图序列中同一特征点匹配链中的所有相邻帧间特征点的平均变化趋势，通过与平均水平对比，比值越趋近1，说明相邻帧间的匹配特征点的变化趋势越相似，侧面反映了匹配关系越可靠，进一步通过映射到指数函数中放大取值，便于后续评估对比。

获取相邻帧间匹配特征点的变化一致系数后，可以根据每个特征点及视频帧图序列中所有匹配特征点的变化一致系数，获取每个特征点在每个视频帧图中的置信度。

优选地，在本发明的一个实施例中，考虑到乘客的进出走动行为在相邻视频帧中存在一定的时序连续性，存在因摄像头视角影响或乘客进出电梯导致相邻帧间部分特征点的变化一致系数表现较为突出离群的可能性，故相邻帧间置信度的获取方法包括：在视频帧图序列中，将每个视频帧图中每个特征点与相邻下一视频帧图中的对应匹配特征点的变化一致系数作为序列元素构建系数序列，将系数序列中的极值作为分段点进行分段；在每个系数序列的每个分段中，将每个视频帧图中每个特征点与相邻下一视频帧图中的对应匹配特征点的变化一致系数与对应分段内变化一致系数的均值的差值绝对值，除以对应分段内变化一致系数的均值，得到系数偏离特征值；将系数偏离特征值负相关映射并归一化，得到每个特征点在每个视频帧图中的置信度；通过将视频帧图序列中特征点在相邻帧间的变化一致系数的系数序列分段，避免因部分特殊情况影响特征点间匹配关系可靠性的评估；同时将每个变化一致性系数与分段内的平均水平进行比较，得到特征点匹配关系的置信度。在本发明实施例中，系数序列中的序列元素为具有链式匹配关系的相邻帧间匹配特征点间的变化一致系数，由于变化一致系数是视频帧图序列中相邻视频帧图的匹配特征点间的变化信息获取的，则变化一致系数的系数序列的序列顺序与视频帧图序列的序列顺序一致；置信度的计算公式为：

；

其中，为第/>个视频帧图中第/>个特征点的置信度；/>为第/>个视频帧图中第/>个目标特征点相对第/>个视频帧图中对应匹配特征点间的变化一致性系数；/>为第/>个视频帧图中第/>个目标特征点所属的第/>个分段内变化一致系数的均值；/>为以自然常数/>为底数的指数函数。

置信度的计算公式中，特征点的变化一致系数相对平均水平的差异越大，反映了对应变化一致系数对应的相邻帧间匹配特征点间的匹配关系越不可靠，通过将负相关映射到指数函数中归一化，并调整逻辑，得到特征点的置信度。在本发明的其他实施例中，实施者可以自行设定归一化方式。

需要说明的是，视频帧图序列中的最后一帧视频帧图无法对比获取该帧图内特征点在下一相邻帧的匹配特征点，也无法分析其与下一相邻帧对应匹配特征点的匹配关系的置信度，故对当前时刻的视频帧图序列中的尾帧视频帧图不做处理，在下一采集时刻，随着时序的变化，视频帧图序列也将变化，故可进一步分析该视频帧图的匹配置信度，且尾帧视频帧图与倒数第二帧视频帧图的帧间时间间隔较短，并不会因此影响后续对当前时刻的乘客行为识别及预警效果。

获取每个视频帧图中特征点的置信度后，可以根据置信度标注每个视频帧图中的目标乘客区域。

优选地，在本发明的一个实施例中，目标乘客区域的获取方法包括：

在每个视频帧图中，将置信度大于预设阈值的所有特征点中作为置信特征点，将所有置信特征点所围成区域作为目标乘客区域。其中预设阈值设置为0.71，实施者可以自行设定。

步骤S4，基于行为识别模型对目标乘客区域进行行为识别。

根据步骤S3可以准确确定目标乘客区域，然后可以通过基于人工智能神经网络模型的行为识别模型对目标乘客区域的乘客行为进行识别。

优选地，在本发明的一个实施例中，行为识别模型的获取方法包括：通过将标注目标乘客区域后的视频帧图赋予相应的行为标签，根据带有行为标签的视频帧图构建训练数据，并利用训练数据对行为识别模型进行训练，得到训练好的行为识别模型。在本发明实施例中，通过人工标注方法为每个视频帧图赋予相应的行为标签，实施者可以将所有历史监控视频帧图进行标签标注，也可选择部分具有明显行为特征的视频帧图进行标签标注，然后将带有行为标签的视频帧图作为训练数据，进行行为识别模型的训练，其中行为识别模型为卷积神经网络模型；卷积神经网络模型的训练过程及使用过程为本领域技术人员公知的技术手段，在此不再赘述。在本发明的其他实施例中，实施者还可根据具体实施情况利用其他人工智能网络模型或人工智能算法进行行为识别模型的训练及使用。

通过将实时时刻下的视频帧图输入至训练好的行为识别模型，可以对目标乘客的行为进行识别，其中实时时刻下的视频帧图是指在视频帧图序列中选取最接近实时时刻的非视频帧图序列的尾帧视频帧图，在本发明的一个实施例中，视频帧图序列为100帧，则选取第90-99帧视频帧图，将这10帧视频帧图输入至行为识别模型中进行用户行为识别，当任一视频帧图识别出乘客做出危险或不文明行为时，及时预警与反馈以保证电梯运行的安全性。在本发明的其他实施例中，实施者也可任选一帧或多帧邻近尾帧的视频帧图输入至模型中进行行为识别，也可选择多帧将特征点取并集或交集以识别组合识别，实施者可根据实际需求适当调整，但需保证所选视频帧图为邻近当前时刻的视频帧图以保证识别的时效有效性。

综上所述，本发明实施例首先获取预设长度的视频帧图序列，然后进行特征点检测及匹配；进一步根据每个视频帧图中每个特征点与相邻下一视频帧图中对应匹配特征点间，局部颜色特征的相似情况，获取相邻视频帧图间每对匹配特征点间的邻域变化程度；然后根据每个视频帧图中每个特征点及邻近特征点的邻域变化程度，结合所有特征点的分布信息，获取每个视频帧图每个特征点相对相邻下一视频帧图中对应匹配特征点间的变化一致系数；进一步获取每个特征点在每个视频帧图中的置信度；根据置信度标注每个视频帧图中的目标乘客区域；最终基于行为识别模型对目标乘客区域进行行为识别。本发明结合相邻视频帧图间匹配特征点间的局部颜色特征及位置分布变动等信息，分析特征点间匹配结果的可靠性，进而准确获取目标乘客区域以提高乘客行为的识别准确性。

一种用于电梯乘客行为识别的目标乘客区域确定方法实施例：

人工智能算法可以有效监测及识别电梯内乘客的异常或危险行为，如长时间阻拦电梯门关闭、恶意破坏设备等行为，进而及时采取相应措施以提升电梯运行的安全性。现有技术中通常采用SIFT算法对电梯监控视频帧图像中的目标乘客进行特征点提取，通过特征点确定目标乘客区域，进而评估目标乘客的行为。但利用SIFT算法提取特征点的过程中，由于乘客的随机移动行为，导致其位置区域在视频帧图像内表现为一定的区域形变或与多乘客间位置区域的相互重叠遮挡，即部分特征点在当前视频帧图中出现，在下一视频帧图中可能被重叠遮挡，而SIFT算法会根据局部图像图特征选择出一个最佳匹配误差的特征点作为其对应匹配特征点，导致相邻帧间的一对由算法获取的匹配特征点可能并不是真正意义上的匹配关系，从而目标乘客区域的评估准确性。本发明提供一种用于电梯乘客行为识别的目标乘客区域确定方法，该方法包括以下步骤：

步骤S1，获取电梯监控视频中预设长度的视频帧图序列；获取视频帧图序列中所有视频帧图中的特征点并进行特征点的帧间匹配。

步骤S2，根据每个视频帧图中每个特征点与相邻下一视频帧图中对应匹配特征点间，局部颜色特征的相似情况，获取每个视频帧图中每个特征点相对相邻下一视频帧图中对应匹配特征点间的邻域变化程度。

步骤S3，根据每个视频帧图中每个特征点及邻近特征点的邻域变化程度，结合所有特征点的分布信息，获取每个视频帧图每个特征点相对相邻下一视频帧图中对应匹配特征点间的变化一致系数；根据视频帧图序列中所有具有帧间匹配关系的匹配特征点的变化一致系数，获取每个特征点在每个视频帧图中的置信度；根据置信度标注每个视频帧图中的目标乘客区域。

其中，步骤S1-S3在上述一种基于人工智能的智慧电梯行为识别方法实施例中已给出了详细说明，不再赘述。

本发明首先获取预设长度的视频帧图序列，然后进行特征点检测及匹配；进一步根据每个视频帧图中每个特征点与相邻下一视频帧图中对应匹配特征点间，局部颜色特征的相似情况，获取相邻视频帧图间每对匹配特征点间的邻域变化程度，邻域变化程度通过从特征点的局部颜色特征信息分析相邻帧间匹配特征点的匹配关系的可靠性，从而便于后续准确确定目标乘客区域以准确识别其行为；然后根据每个视频帧图中每个特征点及邻近特征点的邻域变化程度，结合所有特征点的分布信息，获取每个视频帧图每个特征点相对相邻下一视频帧图中对应匹配特征点间的变化一致系数，通过结合特征点的局部颜色特征和分布信息综合评估相邻帧间对应匹配特征点间的变化一致系数，以便准确评估匹配特征点间的匹配关系可靠性；然后根据变化一致系数，获取每个特征点在每个视频帧图中的置信度，置信度反映了相邻帧间特征点间匹配关系可靠性；最终根据置信度准确标注每个视频帧图中的目标乘客区域。本发明结合相邻视频帧图间匹配特征点间的局部颜色特征及位置分布变动等信息，分析特征点间匹配结果的可靠性，进而准确获取目标乘客区域。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (10)

1.一种基于人工智能的智慧电梯行为识别方法，其特征在于，所述方法包括：

获取电梯监控视频中预设长度的视频帧图序列；获取所述视频帧图序列中每个视频帧图中的所有特征点并进行特征点的帧间匹配；

根据每个视频帧图中每个特征点与相邻下一视频帧图中对应匹配特征点间，局部颜色特征的相似情况，获取每个视频帧图中每个特征点相对相邻下一视频帧图中对应匹配特征点间的邻域变化程度；

根据每个视频帧图中每个特征点及邻近特征点的所述邻域变化程度，结合所有特征点的分布信息，获取每个视频帧图每个特征点相对相邻下一视频帧图中对应匹配特征点间的变化一致系数；根据所述视频帧图序列中所有具有帧间匹配关系的匹配特征点的变化一致系数，获取每个特征点在每个视频帧图中的置信度；根据所述置信度标注每个视频帧图中的目标乘客区域；

基于行为识别模型对所述目标乘客区域进行行为识别。

2.根据权利要求1所述的一种基于人工智能的智慧电梯行为识别方法，其特征在于，所述邻域变化程度的获取方法包括：

在每个视频帧图中，以每个特征点为目标特征点，获取预设第一数量个与所述目标特征点的欧氏距离最近的特征点作为参考特征点；分别以目标特征点及所有参考特征点为中心构建对应预设邻域，获取每个预设邻域内每个像素点的颜色特征向量；

在所述目标特征点与相邻下一视频帧图中对应匹配特征点的预设邻域间，获取预设邻域内所有相同位置的像素点间的颜色特征向量的余弦相似度，并进行顺序排序获取所述目标特征点的余弦相似度序列；

在所述目标特征点的每个参考特征点与相邻下一视频帧图中对应匹配特征点的预设邻域间，获取预设邻域内所有相同位置的像素点间的颜色特征向量的余弦相似度，并进行顺序排序获取每个所述参考特征点的余弦相似度序列；

将所述目标特征点的余弦相似度序列与每个所述参考特征点的余弦相似度序列间的DTW距离均值正相关归一化后作为所述目标特征点的邻域变化程度。

3.根据权利要求2所述的一种基于人工智能的智慧电梯行为识别方法，其特征在于，所述颜色特征向量的获取方法包括：

获取每个像素点的R通道、G通道、B通道三个颜色通道值及灰度值，将颜色通道值及灰度值分别进行归一化后，将每个归一化值作为颜色特征向量的向量元素值，按顺序排序得到颜色特征向量。

4.根据权利要求1所述的一种基于人工智能的智慧电梯行为识别方法，其特征在于，所述变化一致系数的获取方法包括：

根据每个特征点及邻近特征点的所述邻域变化程度，结合每个视频帧图中所有特征点的凸包检测面积，获取每个视频帧图中每个特征点的特征参数；将每个视频帧图中每个特征点与相邻下一视频帧图中的对应匹配特征点间所述特征参数的差值绝对值作为分子，根据所述视频帧图序列中所有视频帧图中每个特征点与相邻下一视频帧图中的对应匹配特征点间所述特征参数的差值绝对值构建分母，并将分子与分母的比值减去预设对比正参数后进行正相关映射，得到每个视频帧图中每个特征点与相邻下一视频帧图中的对应匹配特征点的变化一致系数。

5.根据权利要求4所述的一种基于人工智能的智慧电梯行为识别方法，其特征在于，所述特征参数的获取方法包括：

在每个视频帧图中，将每个特征点及预设第二数量个与对应特征点的欧氏距离最近的特征点的所述邻域变化程度之和作为分子，将所述凸包检测面积作为分母，分子与分母的比值作为每个特征点在对应视频帧图中的特征参数。

6.根据权利要求1所述的一种基于人工智能的智慧电梯行为识别方法，其特征在于，所述置信度的获取方法包括：

在所述视频帧图序列中，将每个视频帧图中每个特征点与相邻下一视频帧图中的对应匹配特征点的变化一致系数作为序列元素，将序列元素进行顺序排序构建系数序列，将所述系数序列中的极值作为分段点进行分段；

在每个所述系数序列的每个分段中，将每个视频帧图中每个特征点与相邻下一视频帧图中的对应匹配特征点的变化一致系数与对应分段内所述变化一致系数的均值的差值绝对值，除以对应分段内所述变化一致系数的均值，得到系数偏离特征值；将所述系数偏离特征值负相关映射并归一化，得到每个特征点在每个视频帧图中的置信度。

7.根据权利要求1所述的一种基于人工智能的智慧电梯行为识别方法，其特征在于，所述目标乘客区域的获取方法包括：

在每个视频帧图中，将所述置信度大于预设阈值的所有特征点中作为置信特征点，将所有置信特征点所围成区域作为目标乘客区域。

8.根据权利要求1所述的一种基于人工智能的智慧电梯行为识别方法，其特征在于，所述行为识别模型的获取方法包括：

通过将标注目标乘客区域后的视频帧图赋予相应的行为标签，根据带有行为标签的视频帧图构建训练数据，并利用训练数据对行为识别模型进行训练，得到训练好的行为识别模型。

9.根据权利要求8所述的一种基于人工智能的智慧电梯行为识别方法，其特征在于，所述行为识别模型为卷积神经网络模型。

10.根据权利要求1所述的一种基于人工智能的智慧电梯行为识别方法，其特征在于，所述特征点的获取方法及帧间特征点匹配的匹配方法包括：

通过SIFT算法获取每个视频帧图中的特征点，并通过SIFT算法对相邻帧间的特征点进行特征匹配。