CN110309801A - 一种视频分析方法、装置、系统、存储介质及计算机设备 - Google Patents

Abstract

本发明公开了一种视频分析方法、装置、系统、存储介质及计算机设备，可以通过获得由摄像装置采集的视频，读取所述视频，以获得所述视频中的图像，识别所述图像中的收银相关人员的行为，当收银相关人员的行为不符合预设的收银行为要求时，判断出现违规收银行为，使得监控工作人员的工作量得到减少，监控力度得到增大，避免人为漏监情况的发生。

Description

一种视频分析方法、装置、系统、存储介质及计算机设备

技术领域

本发明涉及智能分析领域，尤其涉及一种视频分析方法、装置、系统、存储介质及计算机设备。

背景技术

在超市、酒店或商场等消费场所的收银台处，收银员可以使用收银机对客户的消费行为进行结算。同时，商家可以根据监控系统所监控或记录的视频和相关收银行为规范，来检查收银员的收银行为是否违规。

但是，检查收银员收银行为是否违规的工作现通常由人工完成。由于一个工作人员往往需要同时负责多个店面的检查工作，担负的工作量大，因此难免的会漏掉某些违规的收银行为。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种视频分析方法、装置、系统、存储介质及计算机设备，技术方案如下：

一种视频分析方法，所述方法包括：

获得由摄像装置采集的视频；

读取所述视频，以获得所述视频中的图像；

识别所述图像中的收银相关人员的行为；

当收银相关人员的行为不符合预设的收银行为要求时，判断出现违规收银行为。

可选的，所述识别所述图像中的收银相关人员的行为，包括：

识别所述图像中的收银相关人员的人员类型；

识别至少部分人员类型的所述收银相关人员的行为。

可选的，所述识别所述图像中的收银相关人员的人员类型，包括：

检测所述图像中的收银相关人员的头部和骨骼关键点；

为检测到的所述头部添加头部标识，为检测到的所述骨骼关键点添加骨骼关键点标识；

将归属于同一收银相关人员的头部标识和骨骼关键点标识进行绑定，将绑定在一起的头部标识和骨骼关键点标识确定为收银相关人员的人体标识；

根据所述人体标识识别所述图像中的收银相关人员的人员类型。

可选的，所述根据所述人体标识识别所述图像中的收银相关人员的人员类型，包括：

确定所述视频中各图像的收银区域和非收银区域；

将在收银区域的人体标识确定为收银员的人体标识，将在非收银区域的人体标识确定为顾客的人体标识。

可选的，所述识别至少部分人员类型的所述收银相关人员的行为，包括：

按照人体骨骼连接特征，将归属于同一收银相关人员的骨骼关键点标识进行连接，获得动作图像；

根据所述动作图像识别至少部分人员类型的所述收银相关人员的行为。

可选的，所述当收银相关人员的行为不符合预设的收银行为要求时，判断出现违规收银行为，包括：

在小票打印后的预设时长内，若收银员未做出呈递的动作，则判断出现违规收银行为。

一种视频分析装置，所述装置包括：视频采集单元、图像获得单元、行为识别单元和违规判断单元，其中：

所述视频采集单元，用于获得由摄像装置采集的视频；

所述图像获得单元，用于读取所述视频，以获得所述视频中的图像；

所述行为识别单元，用于识别所述图像中的收银相关人员的行为；

所述违规判断单元，用于当收银相关人员的行为不符合预设的收银行为要求时，判断出现违规收银行为。

可选的，所述行为识别单元，具体包括人员类型识别子单元和第一行为识别子单元，其中：

所述人员类型识别子单元，用于识别所述图像中的收银相关人员的人员类型；

所述第一行为识别子单元，用于识别至少部分人员类型的所述收银相关人员的行为。

可选的，所述人员类型识别子单元，具体包括图像检测子单元、标识添加子单元、第一标识确定子单元和人员类型判断子单元，其中：

所述图像检测子单元，用于检测所述图像中的收银相关人员的头部和骨骼关键点；

所述标识添加子单元，用于为检测到的所述头部添加头部标识，为检测到的所述骨骼关键点添加骨骼关键点标识；

所述第一标识确定子单元，用于将归属于同一收银相关人员的头部标识和骨骼关键点标识进行绑定，将绑定在一起的头部标识和骨骼关键点标识确定为收银相关人员的人体标识；

所述人员类型判断子单元，用于根据所述人体标识识别所述图像中的收银相关人员的人员类型。

可选的，所述人员类型判断子单元，具体包括：区域确定子单元和第二标识确定子单元，其中：

所述区域确定子单元，用于确定所述视频中各图像的收银区域和非收银区域；

所述第二标识确定子单元，用于将在收银区域的人体标识确定为收银员的人体标识，将在非收银区域的人体标识确定为顾客的人体标识。

可选的，所述第一行为识别子单元，具体包括：动作图像获得子单元和第二行为识别子单元，其中：

所述动作图像获得子单元，用于按照人体骨骼连接特征，将归属于同一收银相关人员的骨骼关键点标识进行连接，获得动作图像；

所述第二行为识别子单元，用于根据所述动作图像识别至少部分人员类型的所述收银相关人员的行为。

可选的，所述违规判断单元，具体用于：

在小票打印后的预设时长内，若收银员未做出呈递的动作，则判断出现违规收银行为。

一种视频分析系统，包括摄像装置和以上任一种视频分析装置。

一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上任一种视频分析方法。

一种计算机设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述处理器执行程序时至少实现如上任一种视频分析方法。

本发明公开的视频分析方法、装置、系统、存储介质及计算机设备，可以通过在人体行为识别模型中，根据预设的收银行为要求判断收银相关人员是否发生违规收银行为，使得监控工作人员的工作量得到减少，监控力度得到增大，避免人为漏监情况的发生。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种视频分析方法的流程图；

图2示出了本发明实施例提供的另一种视频分析方法的流程图；

图3示出了本发明实施例提供的一种视频分析方法的流程图；

图4示出了本发明实施例提供的另一种视频分析方法的流程图；

图5示出了本发明实施例提供的一种视频分析方法的流程图；

图6示出了本发明实施例提供的一种视频分析装置的结构示意图；

图7示出了本发明实施例提供的另一种视频分析装置的结构示意图；

图8示出了本发明实施例提供的一种视频分析装置的结构示意图；

图9示出了本发明实施例提供的另一种视频分析装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，本实施例提供了一种视频分析方法，该方法可以包括以下步骤：

S100、获得由摄像装置采集的视频；

可选的，摄像装置可以是摄像机，也可以是摄像头。当然，也可以是由摄像机和摄像头组成的视频采集系统，该视频采集系统中包含的摄像头和摄像机的种类、数量及功能，可以根据安装环境和具体需求进行选择，例如，为监控商店、超市和酒店收银台处收银行为，可以选择监控摄像头和监控摄像机。当然，摄像装置提供的视频信号可以是清晰稳定的，以使得步骤S200中获得的图像的清晰程度是良好的。需要说明的是，本发明对摄像装置的具体组成不做限定。

可选的，本发明可以直接通过摄像装置采集视频，也可以经路由器或交换机等设备获得由摄像装置采集的视频。可选的，当摄像装置不具备数据储存功能时，摄像装置可以将采集的视频直接发送至网络录像机进行储存，本发明再通过网络录像机下载需要的视频。当摄像装置具备数据储存功能时，摄像装置可以暂时储存摄像数据，视频采集单元100直接从摄像装置处获取摄像数据。

其中，视频可以是模拟视频，也可以是数字视频，本发明对此不做限定。

其中，视频可以是摄像装置在应用地点拍摄的连续图像，例如摄像装置在商店、超市和酒店收银台处拍摄的收银图像。该收银图像中可以包含收银相关人员和收银行为(例如顾客向收银员递钱)，也可以不包含收银行为。

可选的，摄像装置的安装位置可以使得摄像装置能够采集到收银相关人员的身体的头部和骨骼关键点。例如，摄像装置可以安装于收银员在收银时所处位置的正前方或侧前方，也可以是正后方或侧后方等位置。

可选的，摄像装置的安装位置可以避免视频采集方向垂直于水平面，例如摄像装置若安装于收银员正常收银时所处位置的正上方，在人体竖直站立时，摄像装置会难以采集到收银员胸部、腰部和/或腿部的骨骼关键点。其中，摄像装置的安装位置可以使得摄像装置仅采集得到部分人体骨骼关键点和/或人体头部。技术人员可以根据摄像装置使用场所的场地情况和检测模型的具体特征等实际情况确定摄像装置的安装位置，本发明对此不做限定。

S200、读取所述视频，以获得所述视频中的图像；

其中，本发明所要读取的视频可以具有多种视频文件格式，当然，本发明可以根据不同视频文件格式，采用相应的读取方式对视频进行读取，以从该视频中提取出一帧或多帧的图像。

其中，图像的清晰程度可以是良好的，以使得本发明可以在步骤S300中更好的识别人体行为。

本发明在获得视频后，可以先将视频数据还原，还原之后可以进行播放。具体的，本发明可以视频的视频流数据格式，相应的进行解协议、解封装、解码及音视频同步，以播放视频。例如，采用实时消息传输协议传输的视频数据，经解协议可以去掉多余的非视频数据，只保留如mp4、mkv或flv等封装格式的视频数据；之后，经解封装可以将音频压缩编码数据和图像压缩数据分离，如flv封装格式的视频数据，经解封装后可以获得H.264编码的图像码流和AAC编码的音频码流；之后，经解码后可以分别将音频压缩数据和图像压缩数据进行解码，获得压缩前的音频原始数据和图像原始数据；最后，将同步解码出来的音频数据和图像数据进行播放。

具体的，本发明在获得还原后的视频数据后，可以将视频数据输入到用于提取图像的模型中以提取一帧或多帧图像，本发明对用于提取图像所使用的模型不做限定。

S300、识别所述图像中的收银相关人员的行为；

可选的，在获得图像后，本发明可以首先对图像进行预处理，例如滤波去噪和图像增强等。

其中，收银相关人员可以是收银员和/或顾客。

具体的，对于图像中的收银相关人员的行为，本发明可以使用人体行为识别模型进行识别。需要说明的是，本发明对所使用的人体识别模型的类型不做限定。

需要说明的是，此处可以仅识别收银员的行为，也可以是仅识别顾客的行为，当然，还可以同时识别收银员及顾客的行为，具体可以根据步骤S400中预设的收银行为要求所涉及的收银相关人员，识别相应人员类型的收银相关人员的行为，本发明对此不做限定。

可选的，如图2所示，在其它实施例提出的视频分析方法中，步骤S300可以包括步骤S310和S320，其中：

S310、识别所述图像中的收银相关人员的人员类型；

S320、识别至少部分人员类型的所述收银相关人员的行为。

其中，收银相关人员的人员类型可以为收银员或顾客。

具体的，在执行步骤S300的过程中，本发明可以先使用人体行为识别模型识别出收银相关人员的人员类型。其中，本发明可以通过对多个标注好动作类别(例如伸手、迈步等)的样本图片进行机器学习来获得人体行为识别模型。

在实际应用中，图像中的收银员可以是站立不动的，也可以是移动范围较小的；图像中的顾客可以是处于移动中的，可以是移动范围较大的，也可以是经运动后静止且前方有人员的(处于排队中)，由此，人体行为识别模型可以根据收银员与顾客的不同行为特征，在图像中对人员的进行分辨。之后，本发明可以使用人体行为识别模型对收银员和顾客进行人体行为识别。

S400、当收银相关人员的行为不符合预设的收银行为要求时，判断出现违规收银行为。

其中，收银行为要求可以由技术人员根据收银工作规范和具体需求等方面的考虑进行制定，例如，收银员在工作时间离开岗位时间过长、收银员未将小票返给顾客以及无顾客时收银员进行退货操作等，本发明对此不做限定。

在实际应用中，在判断出现违规收银行为后，本发明可以向包括监控人员在内的工作人员发出警报，使工作人员获知。本发明也可以对违规行为信息进行存储，该违规行为信息中可以包括发生违规行为的时间、相应小票的信息和违规收银员的信息等。当然，本发明还可以根据记录的违规行为信息统计相应收银员的违规次数。

本发明公开的视频分析方法，可以通过在人体行为识别模型中，根据预设的收银行为要求判断收银相关人员是否发生违规收银行为，使得监控工作人员的工作量得到减少，监控力度得到增大，避免人为漏监情况的发生。

基于图2所示步骤，本发明公开了另一种视频分析方法，如图3所示，步骤S310可以包括以下步骤：

S311、检测所述图像中的收银相关人员的头部和骨骼关键点；

其中，骨骼关键点可以为人体的关节(例如肩关节、肘关节和膝关节)和五官等。

可选的，本发明可以使用基于深度神经网络算法的人体头部检测模型，检测出每张图像中各收银相关人员的头部；本发明可以基于深度神经网络算法的人体骨骼关键点检测模型，检测出每张图像中各收银相关人员的人体骨骼关键点，进而可以在每张图像中获得各收银相关人员的人体骨架模型。

其中，需要检测的人体骨骼关键点的部位和个数由技术人员根据实际情况确定，本发明对此不做限定，例如，可以检测的部位包括有肩关节、肘关节、膝关节、腕关节和髋关节等，数量可以是25个，也可以是30个。

在实际应用中，本发明可以通过对标注好头部的多个样本图片进行机器学习来获得人体头部检测模型，相应的，本发明也可以通过对标注好人体骨骼关键点的多个样本图片进行机器学习来获得人体骨骼关键点检测模型。

S312、为检测到的所述头部添加头部标识，为检测到的所述骨骼关键点添加骨骼关键点标识；

其中，本发明可以在检测到的头部的位置处增加一个头部框，以作为头部标识，该头部框可以是矩形、圆形等形状；可以在检测到的各骨骼关键点的位置增加一个圆圈(也可以是其它形状)作为骨骼关键点标识。

其中，可以在添加标识的同时，根据颜色、形状和/或大小等的不同，对头部标识及所有的骨骼关键点标识进行区分，例如，头部标识为白色矩形，肩关节为绿色圆圈，肘关节为绿色椭圆。需要说明的是，上述添加的标识可以是技术人员或监控人员能够清晰辨别出来的。

需要说明的是，技术人员可以根据实际情况选择具体的头部标识及各骨骼关键点标识，本发明对此不做限定。

S313、将归属于同一收银相关人员的头部标识和的骨骼关键点标识进行绑定，将绑定在一起的头部标识和骨骼关键点标识确定为收银相关人员的人体标识；

可以理解的是，人的头部位于躯干上部，因此本发明可以根据图像中头部标识和骨骼关键点标识的位置关系确定归属于同一个人的头部标识和骨骼关键点标识，并将归属于同一个人的头部标识和骨骼关键点标识进行绑定。

其中，本发明可以使用基于深度神经网络算法的头部标识及骨骼关键点标识绑定模型，识别并绑定归属于同一收银相关人员的头部标识和骨骼关键点标识，获得包括头部标识和骨骼关键点标识的人体标识。由此，本发明可以得到视频中的收银相关人员的人体标识。

需要说明的是，由绑定头部标识和骨骼关键点标识获得的人体标识，可以随着相应的收银相关人员的动作而移动，其中，该种类型的移动即为人体标识中的头部标识和/或骨骼关键点标识的移动。

可选的，本发明可以获得视频中所有收银相关人员的人体标识，也可以根据步骤S400中预设的收银行为要求所涉及的收银相关人员确定需要获得哪些收银相关人员的人体标识，本发明对此不做限定。

在实际应用中，本发明可以通过对多张标注好人体标识的样本图片(经绑定头部标识和骨骼关键点标识获得)进行机器学习，来获得头部标识及骨骼关键点标识绑定模型。

S314、根据所述人体标识识别所述图像中的收银相关人员的人员类型。

本发明在获得各收银相关人员的人体标识后，可以根据实际中收银员与顾客所处区域的不同对收银员和顾客进行区分，具体的，收银员长时间处于收银区域(即收银员进行收银工作时所站立或活动的区域)，顾客处于非收银区域。

可选的，在本发明其它实施例中，所述根据所述人体标识识别所述图像中的收银相关人员的人员类型，可以包括：

确定所述视频中各图像的收银区域和非收银区域；

将在收银区域的人体标识确定为收银员的人体标识，将在非收银区域的人体标识确定为顾客的人体标识。

具体的，本发明可以通过对多张标注好收银区域的样本图片进行机器学习，来获得可以检测出收银区域的检测模型；同样的，本发明可以通过多张标注好非收银区域的样本图片进行机器学习，来获得可以检测出非收银区域的检测模型。

具体的，本发明也可以通过对多张标注好收银区域和非收银区域的样本图片进行机器学习，来获得可以检测出收银区域和非收银区域的检测模型。

需要说明的是，本发明可以在使用可以检测出收银区域的检测模型来确定视频中各图像的收银区域后，直接将各图像中的其余区域确定为非收银区域；当然，本发明也可以在使用可以检测出非收银区域的检测模型来确定视频中各图像的非收银区域后，直接将各图像中的其余区域确定为收银区域。

本实施例公开的视频分析方法，通过从视频中检测到的头部和骨骼关键点建立人体标识，根据各人体标识是否在收银区域来区分收银员和顾客，使得监控视频中的收银相关人员的人员类型可以得到准确的识别，利于后续收银员是否产生违规收银行为的判断。

基于图3所示步骤，本实施例提出了另一种视频分析方法，如图4所示，步骤S320可以包括：

S321、按照人体骨骼连接特征，将归属于同一收银相关人员的骨骼关键点标识进行连接，获得动作图像；

S322、根据所述动作图像识别至少部分人员类型的所述收银相关人员的行为。

需要说明的是，本发明在根据步骤S312获得收银相关人员的骨骼关键点标识后，可以根据人体骨骼连接特征，得到归属于同一收银相关人员的各骨骼关键点标识之间的连接特征。之后，可以根据该骨骼关键点标识之间的连接特征，在同一收银相关人员的各骨骼关键点标识之间进行连接，例如，将膝关节标识点与踝关节进行连接，将肩关节、肘关节及手腕关节依次进行连接。由此，可以获得多条由两个关键骨骼标识点连接的关键骨骼线段(关键骨骼线段同样可以根据颜色、形状和/或大小进行区分)。

可选的，在连接各骨骼关键点标识的过程中，各骨骼关键点标识可以是已区分的，也可以是未区分的。在实际应用中，本发明可以使用基于深度神经网络的骨骼关键点标识连接模型在各骨骼关键点标识之间进行连接。其中，本发明可以通过对多个标注好的已连接好骨骼关键点标识的样本图片进行机器学习，来获得骨骼关键点标识连接模型。其中，样本图片中的全部各骨骼关键点标识可以均是已区分好的，也可以均是未经区分的。

其中，动作图像可以是各收银相关人员的人体标识连接好骨骼关键点标识之后的图像，也可以部分收银相关人员的人体标识连接好骨骼关键点标识之后的图像。并且，步骤S321获得的动作图像的数量可以由技术人员根据实际情况确定，例如可以根据步骤S400中具体的预设的收银行为要求进行确定，也可以根据步骤S320中具体涉及到的人员类型进行确定，本发明对此不做限定。

可选的，结合动作图像，本发明可以使用基于深度神经网络算法的人体标识跟踪模型，对连续或不连续时间的动作图像中的各人体标识进行连续跟踪，例如，在连续或不连续时间的动作图像中的收银台位置均站立着一个人体标识，该模型可以判定该人体标识为一个收银员；例如，在连续或不连续时间的图像中的某个人体标识在进行某个连贯的行走动作，该模型可以判定该人体标识为一个顾客。当然，该模型也可以综合考虑收银相关人员在连续图像中的所处位置和运动特征等因素，在收银相关人员中区分出收银员和顾客。

其中，本发明可以通过对多个已标注好具体动作类型的样本图片进行机器学习，来获得人体标识跟踪模型。例如，动作图像中的某个人体标识，在连续几张图像中所表现的行为，即包括头部标识的移动和/或某条关键骨骼线段的移动，与该模型在已学习过的样本图片中所标注手臂伸直、腰部弯曲或向前迈步等动作中手臂伸直的相似度最高，该检测模型可以由此判定该人体标识所表现的行为为手臂伸直，进而判定该人体标识对应的收银相关人员的行为为手臂伸直。

可选的，本发明在识别出收银相关人员的行为后，可以将行为识别结果的信息输出以供技术人员查看，或者作为历史数据的一部分进行储存。其中，该信息可以是以文字描述、语音播报或动态图片模拟等方式呈现。

本实施例公开的视频分析方法，通过行为识别的相关模型对人体标识行为的识别，进而对收银相关人员的行为进行识别，可以使得监控视频中的收银相关人员的行为可以得到准确的识别，利于后续收银员是否产生违规收银行为的判断。

基于图1所示步骤，如图5所示，本发明实施例提出了另一种视频分析方法，所述当收银相关人员的行为不符合预设的收银行为要求时，判断出现违规收银行为，可以包括：

步骤S410、在小票打印后的预设时长内，若收银员未做出呈递的动作，则判断出现违规收银行为。

可选的，预设时长可以由技术人员根据收银工作规范和具体需求等方面的考虑进行制定，例如，可以将预设时长设置为20秒，也可以为18秒。

可选的，本发明可以在将图像中收银员区分出来后，对收银员作为行为识别对象，以分析该收银员是否在小票打印的预设时长内做出呈递的动作。

可选的，本发明可以先对收银员的呈递动作做出定义，再将该定义包含的行为特征作为判定依据输入至所使用的人体行为识别模型中。例如，本发明对呈递动作的定义可以为：至少一只手向前伸直叠加鞠躬动作，那么，相应的需要输入识别模型的行为特征可以是：至少一只手臂的关键骨骼向身体正前方伸直，叠加腰部的关键骨骼向身体正前方弯曲。

在实际应用中，技术人员可以先收集收银员在做出呈递动作的过程中手臂关键骨骼向身体正前方伸直，以及腰部的关键骨骼向身体正前方弯曲的动作图像，之后，通过对多张标注好动作类型的该种图像样本图片进行机器学习，来获得人体行为检测模型。

需要说明的是，本发明对呈递动作的定义及定义所包括的行为特征不做限定，例如，呈递动作的定义也可以是：至少一只手向前伸直。当然，本发明对呈递动作具体包含的行为特征也不做限定，技术人员可以根据收银工作规范和具体需求等方面的考虑，对呈递动作具体包括的行为特征进行制定，例如，收银员在呈递时，相应的人体模型的手臂和腰部中的哪几个关键骨骼会做出动作、关键骨骼在伸直或弯曲时的角度要求等。

可选的，本发明也可以在识别收银员收银行为的同时，将顾客的行为特征纳入收银员是否违规收银的判定依据中。例如，在小票打印完毕后的预设时间内，本发明需检测收银员的对面是否存在顾客，若不存在，则判定收银员出现收银违规。

需要说明的是，本发明中预设的收银行为要求不止于步骤S410中所述内容，技术人员可以根据收银工作规范和具体需求进行制定。

本实施例公开的视频分析方法，通过设置具体的收银行为要求，即当收银员在小票打印后的预设时间内未将小票呈递给顾客时，自动判定收银员收银违规，可以避免因监控工作人员需人工监控多家店面而导致的巨大工作量，因此，使得监控工作人员的工作量减少，监控力度增加。

与图1所示方法相对应，本发明实施例提供了一种视频分析装置，如图6所示，所述视频分析装置可以包括：视频采集单元100、图像获得单元200、行为识别单元300和违规判断单元400，其中：

所述视频采集单元100，用于获得由摄像装置采集的视频；

可选的，摄像装置可以是摄像机，也可以是摄像头。当然，也可以是由摄像机和摄像头组成的视频采集系统。

可选的，视频采集单元100可以直接通过摄像装置采集视频，也可以经路由器或交换机等设备获得由摄像装置采集的视频。可选的，当摄像装置不具备数据储存功能时，摄像装置可以将采集的视频直接发送至网络录像机进行储存，视频采集单元100再通过网络录像机下载需要的视频。当摄像装置具备数据储存功能时，摄像装置可以暂时储存摄像数据，视频采集单元100可以直接从摄像装置处获取摄像数据。

其中，视频可以是模拟视频，也可以是数字视频，本发明对此不做限定。

其中，视频可以是摄像装置在应用地点拍摄的连续图像。

可选的，摄像装置的安装位置可以使得摄像装置能够采集到收银相关人员的身体的头部和骨骼关键点。

可选的，摄像装置的安装位置可以避免视频采集方向垂直于水平面。

所述图像获得单元200，用于读取所述视频，以获得所述视频中的图像；

其中，图像获得单元200所要读取的视频可以具有多种视频文件格式，当然，图像获得单元200可以根据不同视频文件格式，采用相应的读取方式对视频进行读取，以从该视频中提取出一帧或多帧的图像。

其中，图像的清晰程度可以是良好的，以使得行为识别单元300可以更好的识别人体行为。

图像获得单元200在获得视频后，可以先将视频数据还原，还原之后可以进行播放。

具体的，本发明在获得还原后的视频数据后，可以将视频数据输入到用于提取图像的模型中以提取一帧或多帧图像。

所述行为识别单元300，用于识别所述图像中的收银相关人员的行为；

可选的，在获得图像后，本发明可以首先对图像进行预处理，例如滤波去噪和图像增强等。

其中，收银相关人员可以是收银员和/或顾客。

具体的，对于图像中的收银相关人员的行为，行为识别单元300可以使用人体行为识别模型进行识别。

需要说明的是，此处可以仅识别收银员的行为，也可以是仅识别顾客的行为，当然，还可以同时识别收银员及顾客的行为。

可选的，如图7所示，在其它实施例提出的视频分析装置中，所述行为识别单元300，可以具体包括人员类型识别子单元310和第一行为识别子单元320，其中：

所述人员类型识别子单元310，用于识别所述图像中的收银相关人员的人员类型；

所述第一行为识别子单元320，用于识别至少部分人员类型的所述收银相关人员的行为。

其中，收银相关人员的人员类型可以为收银员或顾客。

具体的，人员类型识别子单元310可以先使用人体行为识别模型识别出收银相关人员的人员类型。

在实际应用中，图像中的收银员可以是站立不动的，也可以是移动范围较小的；图像中的顾客可以是处于移动中的，可以是移动范围较大的，也可以是经运动后静止且前方有人员的(处于排队中)，由此，人员类型识别子单元310可以根据收银员与顾客的不同行为特征，在图像中对人员的进行分辨。之后，第一行为识别子单元320可以使用人体行为识别模型对收银员和顾客进行人体行为识别。

所述违规判断单元400，用于当收银相关人员的行为不符合预设的收银行为要求时，判断出现违规收银行为。

其中，收银行为要求可以由技术人员根据收银工作规范和具体需求等方面的考虑进行制定。

在实际应用中，在判断出现违规收银行为后，本发明可以向包括监控人员在内的工作人员发出警报，使工作人员获知。本发明也可以对违规行为信息进行存储，该违规行为信息中可以包括发生违规行为的时间、相应小票的信息和违规收银员的信息等。当然，本发明还可以根据记录的违规行为信息统计相应收银员的违规次数。

本发明公开的视频分析装置，可以通过在人体行为识别模型中，根据预设的收银行为要求判断收银相关人员是否发生违规收银行为，使得监控工作人员的工作量得到减少，监控力度得到增大，避免人为漏监情况的发生。

基于图7所示装置，本发明公开了另一种视频分析装置，如图8所示，所述人员类型识别子单元310，可以具体包括图像检测子单元311、标识添加子单元312、第一标识确定子单元313和人员类型判断子单元314，其中：

所述图像检测子单元311，用于检测所述图像中的收银相关人员的头部和骨骼关键点；

其中，骨骼关键点可以为人体的关节和五官等。

可选的，图像检测子单元311可以使用基于深度神经网络算法的人体头部检测模型，检测出每张图像中各收银相关人员的头部；可以基于深度神经网络算法的人体骨骼关键点检测模型，检测出每张图像中各收银相关人员的人体骨骼关键点，进而可以在每张图像中获得各收银相关人员的人体骨架模型。

其中，需要检测的人体骨骼关键点的部位和个数由技术人员根据实际情况确定，本发明对此不做限定。

在实际应用中，本发明可以通过对标注好头部的多个样本图片进行机器学习来获得人体头部检测模型，相应的，本发明也可以通过对标注好人体骨骼关键点的多个样本图片进行机器学习来获得人体骨骼关键点检测模型。

所述标识添加子单元312，用于为检测到的所述头部添加头部标识，用于为检测到的所述骨骼关键点添加骨骼关键点标识；

其中，本发明可以在检测到的头部的位置处增加一个头部框，以作为头部标识；可以在检测到的各骨骼关键点的位置增加一个圆圈作为骨骼关键点标识。

其中，可以在添加标识的同时，根据颜色、形状和/或大小等的不同，对头部标识及所有的骨骼关键点标识进行区分。需要说明的是，上述添加的标识可以是技术人员或监控人员能够清晰辨别出来的。

需要说明的是，技术人员可以根据实际情况选择具体的头部标识及各骨骼关键点标识，本发明对此不做限定。

所述第一标识确定子单元313，用于将归属于同一收银相关人员的头部的头部标识和骨骼关键点的骨骼关键点标识进行绑定，用于将绑定在一起的头部标识和骨骼关键点标识确定为收银相关人员的人体标识；

可以理解的是，人的头部位于躯干上部，因此，本发明可以根据图像中头部标识和骨骼关键点标识的位置关系，确定归属于同一个人的头部标识和骨骼关键点标识，并将归属于同一个人的头部标识和骨骼关键点标识进行绑定。

具体的，本发明可以使用基于深度神经网络算法的头部标识及骨骼关键点标识绑定模型，识别并绑定归属于同一收银相关人员的头部标识和骨骼关键点标识，获得包括头部标识和骨骼关键点标识的人体标识。由此，本发明可以得到视频中的收银相关人员的人体标识。

需要说明的是，由绑定头部标识和骨骼关键点标识获得的人体标识，可以随着相应的收银相关人员的动作而移动，其中，该种类型的移动即为人体标识中的头部标识和/或骨骼关键点标识的移动。

可选的，本发明可以获得视频中所有收银相关人员的人体标识，也可以根据违规判断单元400中预设的收银行为要求所涉及的收银相关人员确定需要获得哪些收银相关人员的人体标识，本发明对此不做限定。

在实际应用中，本发明可以通过对多张标注好人体标识样本图片(经绑定头部标识和骨骼关键点标识获得)进行机器学习，来获得头部标识及骨骼关键点标识绑定模型。

所述人员类型判断子单元314，用于根据所述人体标识识别所述图像中的收银相关人员的人员类型。

本发明在获得各收银相关人员的人体标识后，可以根据实际中收银员与顾客所处区域的不同对收银员和顾客进行区分，具体的，收银员长时间处于收银区域，顾客处于非收银区域。

可选的，在本发明其它实施例中，所述人员类型判断子单元314，可以具体包括：区域确定子单元和第二标识确定子单元，其中：

所述区域确定子单元，用于确定所述视频中各图像的收银区域和非收银区域；

所述第二标识确定子单元，用于将在收银区域的人体标识确定为收银员的人体标识，将在非收银区域的人体标识确定为顾客的人体标识。

具体的，本发明可以通过对多张标注好收银区域的样本图片进行机器学习，来获得可以检测出收银区域的检测模型；同样的，本发明可以通过多张标注好非收银区域的样本图片进行机器学习，来获得可以检测出非收银区域的检测模型。

本实施例公开的视频分析装置，通过从视频中检测到的头部和骨骼关键点建立人体标识，根据各人体标识是否在收银区域来区分收银员和顾客，使得监控视频中的收银相关人员的人员类型可以得到准确的识别，利于后续收银员是否产生违规收银行为的判断。

基于图8所示装置，本实施例提出了另一种视频分析装置，如图9所示，所述第一行为识别子单元320，可以具体包括：动作图像获得子单元321和第二行为识别子单元322，其中：

所述动作图像获得子单元321，用于按照人体骨骼连接特征，将归属于同一收银相关人员的骨骼关键点标识进行连接，获得动作图像；

所述第二行为识别子单元322，用于根据所述动作图像识别至少部分人员类型的所述收银相关人员的行为。

需要说明的是，本发明在收银相关人员的骨骼关键点标识后，可以根据人体骨骼连接特征，得到归属于同一收银相关人员的各骨骼关键点标识之间的连接特征。之后，可以根据该骨骼关键点标识之间的连接特征，在同一收银相关人员的各骨骼关键点标识之间进行连接。

可选的，在连接各骨骼关键点标识的过程中，各骨骼关键点标识可以是已区分的，也可以是未区分的。在实际应用中，本发明可以使用基于深度神经网络的骨骼关键点标识连接模型在各骨骼关键点标识之间进行连接。

其中，动作图像可以是各收银相关人员的人体标识连接好骨骼关键点标识之后的图像，也可以部分收银相关人员的人体标识连接好骨骼关键点标识之后的图像。

可选的，结合动作图像，本发明可以使用基于深度神经网络算法的人体标识跟踪模型，对连续或不连续时间的动作图像中的各人体标识进行连续跟踪。其中，本发明可以通过对多个已标注好具体动作类型的样本图片进行机器学习，来获得人体标识跟踪模型。

可选的，本发明在识别出收银相关人员的行为后，可以将行为识别结果的信息输出以供技术人员查看，或者作为历史数据的一部分进行储存。

本实施例公开的视频分析装置，通过行为识别的相关模型对人体标识行为的识别，进而对收银相关人员的行为进行识别，可以使得监控视频中的收银相关人员的行为可以得到准确的识别，利于后续收银员是否产生违规收银行为的判断。

可选的，在本发明实施例提出的另一种视频分析装置中，所述违规判断单元400，可以具体用于：

在小票打印后的预设时长内，若收银员未做出呈递的动作，则判断出现违规收银行为。

可选的，预设时长可以由技术人员根据收银工作规范和具体需求等方面的考虑进行制定。

可选的，本发明可以在将图像中收银员区分出来后，对收银员作为行为识别对象，以分析该收银员是否在小票打印的预设时长内做出呈递的动作。

可选的，本发明可以先对收银员的呈递动作做出定义，再将该定义包含的行为特征作为判定依据输入至所使用的人体行为识别模型中。

在实际应用中，技术人员可以通过对多张标注好动作类型的该种图像作为样本图片进行机器学习，来获得人体行为检测模型。

需要说明的是，本发明对呈递动作的定义及定义所包括的行为特征不做限定，技术人员可以根据收银工作规范和具体需求等方面的考虑，对呈递动作具体包括的行为特征进行制定。

可选的，本发明也可以在识别收银员收银行为的同时，将顾客的行为特征纳入收银员是否违规收银的判定依据中。例如，在小票打印完毕后的预设时间内，本发明需检测收银员的对面是否存在顾客，若不存在，则判定收银员出现收银违规。

需要说明的是，本发明对预设的收银行为要求不做限定，技术人员可以根据收银工作规范和具体需求进行制定。

本实施例公开的视频分析装置，通过设置具体的收银行为要求，即当收银员在小票打印后的预设时间内未将小票呈递给顾客时，自动判定收银员收银违规，可以避免因监控工作人员需人工监控多家店面而导致的巨大工作量，因此，使得监控工作人员的工作量减少，监控力度增加。

本发明实施例提出了一种视频分析系统，可以包括摄像装置和以上任一个实施例中的视频分析装置。

所述视频分析装置包括处理器和存储器，上述视频采集单元100、图像获得单元200、行为识别单元300和违规判断单元400等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来进行视频分析。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现本发明实施例提供的视频分析方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述视频分析方法。

本发明实施例提供了一种计算机设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述处理器执行程序时至少实现以下步骤：

获得由摄像装置采集的视频；

读取所述视频，以获得所述视频中的图像；

识别所述图像中的收银相关人员的行为；

当收银相关人员的行为不符合预设的收银行为要求时，判断出现违规收银行为。

本文中的计算机设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于至少执行初始化有如下方法步骤的程序：

获得由摄像装置采集的视频；

读取所述视频，以获得所述视频中的图像；

识别所述图像中的收银相关人员的行为；

当收银相关人员的行为不符合预设的收银行为要求时，判断出现违规收银行为。

本领域内的技术人员应明白，本申请的实施例可提供为方法、设备(系统)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、设备(系统)或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (15)

1.一种视频分析方法，其特征在于，所述方法包括：

获得由摄像装置采集的视频；

读取所述视频，以获得所述视频中的图像；

识别所述图像中的收银相关人员的行为；

当收银相关人员的行为不符合预设的收银行为要求时，判断出现违规收银行为。

2.根据权利要求1所述的方法，其特征在于，所述识别所述图像中的收银相关人员的行为，包括：

识别所述图像中的收银相关人员的人员类型；

识别至少部分人员类型的所述收银相关人员的行为。

3.根据权利要求2所述的方法，其特征在于，所述识别所述图像中的收银相关人员的人员类型，包括：

检测所述图像中的收银相关人员的头部和骨骼关键点；

为检测到的所述头部添加头部标识，为检测到的所述骨骼关键点添加骨骼关键点标识；

将归属于同一收银相关人员的头部标识和骨骼关键点标识进行绑定，将绑定在一起的头部标识和骨骼关键点标识确定为收银相关人员的人体标识；

根据所述人体标识识别所述图像中的收银相关人员的人员类型。

4.根据权利要求3所述的方法，其特征在于，所述根据所述人体标识识别所述图像中的收银相关人员的人员类型，包括：

确定所述视频中各图像的收银区域和非收银区域；

将在收银区域的人体标识确定为收银员的人体标识，将在非收银区域的人体标识确定为顾客的人体标识。

5.根据权利要求2所述的方法，其特征在于，所述识别至少部分人员类型的所述收银相关人员的行为，包括：

按照人体骨骼连接特征，将归属于同一收银相关人员的骨骼关键点标识进行连接，获得动作图像；

根据所述动作图像识别至少部分人员类型的所述收银相关人员的行为。

6.根据权利要求1所述的方法，其特征在于，所述当收银相关人员的行为不符合预设的收银行为要求时，判断出现违规收银行为，包括：

在小票打印后的预设时长内，若收银员未做出呈递的动作，则判断出现违规收银行为。

7.一种视频分析装置，其特征在于，所述装置包括：视频采集单元、图像获得单元、行为识别单元和违规判断单元，其中：

所述视频采集单元，用于获得由摄像装置采集的视频；

所述图像获得单元，用于读取所述视频，以获得所述视频中的图像；

所述行为识别单元，用于识别所述图像中的收银相关人员的行为；

所述违规判断单元，用于当收银相关人员的行为不符合预设的收银行为要求时，判断出现违规收银行为。

8.根据权利要求7所述的视频分析装置，其特征在于，所述行为识别单元，具体包括人员类型识别子单元和第一行为识别子单元，其中：

所述人员类型识别子单元，用于识别所述图像中的收银相关人员的人员类型；

所述第一行为识别子单元，用于识别至少部分人员类型的所述收银相关人员的行为。

9.根据权利要求8所述的视频分析装置，其特征在于，所述人员类型识别子单元，具体包括：图像检测子单元、标识添加子单元、第一标识确定子单元和人员类型判断子单元，其中：

所述图像检测子单元，用于检测所述图像中的收银相关人员的头部和骨骼关键点；

所述标识添加子单元，用于为检测到的所述头部添加头部标识，为检测到的所述骨骼关键点添加骨骼关键点标识；

所述第一标识确定子单元，用于将归属于同一收银相关人员的头部标识和骨骼关键点标识进行绑定，将绑定在一起的头部标识和骨骼关键点标识确定为收银相关人员的人体标识；

所述人员类型判断子单元，用于根据所述人体标识识别所述图像中的收银相关人员的人员类型。

10.根据权利要求9所述的视频分析装置，其特征在于，所述人员类型判断子单元，具体包括：区域确定子单元和第二标识确定子单元，其中：

所述区域确定子单元，用于确定所述视频中各图像的收银区域和非收银区域；

所述第二标识确定子单元，用于将在收银区域的人体标识确定为收银员的人体标识，将在非收银区域的人体标识确定为顾客的人体标识。

11.根据权利要求8所述的视频分析装置，其特征在于，所述第一行为识别子单元，具体包括：动作图像获得子单元和第二行为识别子单元，其中：

所述动作图像获得子单元，用于按照人体骨骼连接特征，将归属于同一收银相关人员的骨骼关键点标识进行连接，获得动作图像；

所述第二行为识别子单元，用于根据所述动作图像识别至少部分人员类型的所述收银相关人员的行为。

12.根据权利要求7所述的视频分析装置，所述违规判断单元，具体用于：

在小票打印后的预设时长内，若收银员未做出呈递的动作，则判断出现违规收银行为。

13.一种视频分析系统，其特征在于，包括摄像装置和权利要求7至12中任一项所述的视频分析装置。

14.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上权利要求1至6中任一项所述的视频分析方法。

15.一种计算机设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述处理器执行程序时至少实现以下步骤：

获得由摄像装置采集的视频；

读取所述视频，以获得所述视频中的图像；

识别所述图像中的收银相关人员的行为；

当收银相关人员的行为不符合预设的收银行为要求时，判断出现违规收银行为。