CN111310605B - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents
一种图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111310605B CN111310605B CN202010072550.XA CN202010072550A CN111310605B CN 111310605 B CN111310605 B CN 111310605B CN 202010072550 A CN202010072550 A CN 202010072550A CN 111310605 B CN111310605 B CN 111310605B
- Authority
- CN
- China
- Prior art keywords
- target
- video
- video stream
- network model
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 239000013598 vector Substances 0.000 claims abstract description 103
- 238000003384 imaging method Methods 0.000 claims abstract description 52
- 238000012544 monitoring process Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 38
- 230000006399 behavior Effects 0.000 claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 238000000926 separation method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 125000004122 cyclic group Chemical group 0.000 claims description 8
- 230000000306 recurrent effect Effects 0.000 claims description 7
- 238000001931 thermography Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003211 malignant effect Effects 0.000 description 3
- 230000000474 nursing effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000005338 frosted glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开一种图像处理方法、装置、电子设备及存储介质，该方法包括：在接收到目标视频流后，将目标视频流划分为R个待处理视频片段{P1,…,PR}，目标视频流的图像成像模糊不清晰，Pi为第i个待处理视频片段；提取每个Pi的各视频帧中人体骨骼关节点的坐标，并基于Pi的各视频帧中人体骨骼关节点的坐标，构造Pi的特征向量Ti；将Ti输入至目标网络模型进行处理，得到Pi的图像分类结果；基于至少一个Pi的图像分类结果，确定目标视频流中的人物行为。实施上述方法，可以基于目标网络模型对成像模糊不清晰的监控视频流进行处理，实现从不完全信息视频流中分析用户行为，从而避免监控场景中用户隐私泄露，实现对用户隐私的保护。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着科学技术的不断发展和人们安全意识的不断提高，监控摄像机在不同领域和不同场合得到了广泛的应用，例如，基于场景分类的消防报警监控摄像机和基于人群行为(如大规模游行、斗殴等)的自动报警监控摄像机可以在安防领域起到快速判断危险信号并进行报警的作用。
现有技术中，监控摄像机处于工作状态时，会对监控范围内的场景进行持续地高清图像采集，虽然采集到的高清图像能够提高监控效果，但同时也会造成用户隐私的泄露。
发明内容
本发明实施例提供了一种图像处理方法、装置、电子设备及存储介质，以解决现有技术中存在的监控场景中用户隐私泄露的技术问题。
根据本发明的第一方面，公开了一种图像处理方法，应用于电子设备，所述方法包括：
在接收到目标视频流后，将所述目标视频流划分为R个待处理视频片段{P1,…,PR}，其中，所述目标视频流的图像成像模糊不清晰，Pi为第i个待处理视频片段，1≤i≤R，R为正整数；
针对每个Pi，提取所述Pi的各视频帧中人体骨骼关节点的坐标，并基于所述Pi的各视频帧中人体骨骼关节点的坐标，构造所述Pi的特征向量Ti；
将所述Ti输入至目标网络模型进行处理，得到所述Pi的图像分类结果；
基于至少一个Pi的图像分类结果，确定所述目标视频流中的人物行为。
可选地，作为一个实施例，所述将所述目标视频流划分为N个待处理视频片段{P1,…,PN}，包括：
检测所述目标视频流中各视频帧的人体矩形框，并提取；
按照各视频帧在所述目标视频流中的时间先后顺序，将所述目标视频流中各视频帧的人体矩形框存储至所述电子设备的缓存中；
当所述缓存中人体矩形框的个数达到预设数量时，将所述缓存中的人体矩形框对应的视频帧所构成的视频片段，确定为一个待处理视频片段Pi。
可选地，作为一个实施例，所述目标网络模型为基于卷积神经网络算法训练得到的模型；
所述针对每个Pi，提取所述Pi的各视频帧中人体骨骼关节点的坐标，并基于所述Pi的各视频帧中人体骨骼关节点的坐标，构造所述Pi的特征向量Ti，包括：
针对每个Pi，提取所述Pi中的N*M个人体骨骼关节点的二维坐标(x11,y11),(x12,y12),…,(xNM,yNM)，其中，N为所述Pi中视频帧的个数，M为每个视频帧中人体骨骼关节点的个数，(xjk,yjk)为第j个视频帧中第k个人体骨骼关节点的坐标，1≤j≤N，1≤k≤M，N和M均为大于1的整数；
针对所述Pi中的每个视频帧，将所述视频帧中人体骨骼关节点的二维坐标(xj1,yj1),(xj2,yj2),…,(xjM,yjM)进行x和y分离，得到向量Xj＝(xj1,xj2,…,xjM)和向量Yj＝(yj1,yj2,…,yjM)；
基于所有Xj构造第一矩阵A，以及基于所有Yj构造第二矩阵B；
其中，
将所述A和B进行Z轴方向排列得到三维向量C，将所述三维向量C确定为所述Pi的特征向量Ti。
可选地，作为一个实施例，所述目标网络模型为基于循环神经网络算法构造的模型；
所述针对每个Pi，提取所述Pi的各视频帧中人体骨骼关节点的坐标，并基于所述Pi的各视频帧中人体骨骼关节点的坐标，构造所述Pi的特征向量Ti，包括：
针对每个Pi，提取所述Pi中的N*M个人体骨骼关节点的二维坐标(x11,y11),(x12,y12),…,(xNM,yNM)，其中，N为所述Pi中视频帧的个数，M为每个视频帧中人体骨骼关节点的个数，(xjk,yjk)为第j个视频帧中第k个人体骨骼关节点的坐标，1≤j≤N，1≤k≤M，N和M均为大于1的整数；
针对所述Pi中的每个视频帧，基于所述视频帧中人体骨骼关节点的二维坐标(xj1,yj1),(xj2,yj2),…,(xjM,yjM)，生成向量Zj＝(xj1,xj2,…,xjM,yj1,yj2,…,yjM)；
基于所有Zj构造一维向量D，并将所述一维向量D确定为所述Pi的特征向量Ti，其中，D＝(Z1,Z2,…,ZN)。
可选地，作为一个实施例，所述目标视频流来自目标监控摄像机，其中，所述目标监控摄像机包括镜头组件和成像传感器；
当所述成像传感器为可见光成像传感器时，所述镜头组件中包括目标镜片，所述目标镜片为用于使所述监控摄像机采集到的图像成像模糊不清晰的镜片；或者，
当所述镜头组件中不包括所述目标镜片时，所述成像传感器为目标传感器，所述目标传感器为用于使所述监控摄像机采集到的图像成像模糊不清晰的传感器。
可选地，作为一个实施例，所述目标传感器包括：红外热成像传感器、或者深度传感器。
根据本发明的第二方面，还公开了一种图像处理装置，应用于电子设备，所述装置包括：
划分模块，用于在接收到目标视频流后，将所述目标视频流划分为R个待处理视频片段{P1,…,PR}，其中，所述目标视频流的图像成像模糊不清晰，Pi为第i个待处理视频片段，1≤i≤R，R为正整数；
提取模块，用于针对每个Pi，提取所述Pi的各视频帧中人体骨骼关节点的坐标，并基于所述Pi的各视频帧中人体骨骼关节点的坐标，构造所述Pi的特征向量Ti；
处理模块，用于将所述Ti输入至目标网络模型进行处理，得到所述Pi的图像分类结果；
确定模块，用于基于至少一个Pi的图像分类结果，确定所述目标视频流中的人物行为。
可选地，作为一个实施例，所述划分模块包括：
检测子模块，用于在接收到目标视频流后，检测所述目标视频流中各视频帧的人体矩形框，并提取；
存储子模块，用于按照各视频帧在所述目标视频流中的时间先后顺序，将所述目标视频流中各视频帧的人体矩形框存储至所述电子设备的缓存中；
划分子模块，用于当所述缓存中人体矩形框的个数达到预设数量时，将所述缓存中的人体矩形框对应的视频帧所构成的视频片段，确定为一个待处理视频片段Pi。
可选地，作为一个实施例，所述目标网络模型为基于卷积神经网络算法训练得到的模型；
所述提取模块包括：
第一提取子模块，用于针对每个Pi，提取所述Pi中的N*M个人体骨骼关节点的二维坐标(x11,y11),(x12,y12),…,(xNM,yNM)，其中，N为所述Pi中视频帧的个数，M为每个视频帧中人体骨骼关节点的个数，(xjk,yjk)为第j个视频帧中第k个人体骨骼关节点的坐标，1≤j≤N，1≤k≤M，N和M均为大于1的整数；
坐标分离子模块，用于针对所述Pi中的每个视频帧，将所述视频帧中人体骨骼关节点的二维坐标(xj1,yj1),(xj2,yj2),…,(xjM,yjM)进行x和y分离，得到向量Xj＝(xj1,xj2,…,xjM)和向量Yj＝(yj1,yj2,…,yjM)；
第一生成子模块，用于基于所有Xj构造第一矩阵A，以及基于所有Yj构造第二矩阵B；
其中，
第一确定子模块，用于将所述A和B进行Z轴方向排列得到三维向量C，将所述三维向量C确定为所述Pi的特征向量Ti。
可选地，作为一个实施例，所述目标网络模型为基于循环神经网络算法构造的模型；
所述提取模块包括：
第二提取子模块，用于针对每个Pi，提取所述Pi中的N*M个人体骨骼关节点的二维坐标(x11,y11),(x12,y12),…,(xNM,yNM)，其中，N为所述Pi中视频帧的个数，M为每个视频帧中人体骨骼关节点的个数，(xjk,yjk)为第j个视频帧中第k个人体骨骼关节点的坐标，1≤j≤N，1≤k≤M，N和M均为大于1的整数；
第二生成子模块，用于针对所述Pi中的每个视频帧，基于所述视频帧中人体骨骼关节点的二维坐标(xj1,yj1),(xj2,yj2),…,(xjM,yjM)，生成向量Zj＝(xj1,xj2,…,xjM,yj1,yj2,…,yjM)；
第二确定子模块，用于基于所有Zj构造一维向量D，并将所述一维向量D确定为所述Pi的特征向量Ti，其中，D＝(Z1,Z2,…,ZN)。
可选地，作为一个实施例，所述目标视频流来自目标监控摄像机，其中，所述目标监控摄像机包括镜头组件和成像传感器；
当所述成像传感器为可见光成像传感器时，所述镜头组件中包括目标镜片，所述目标镜片为用于使所述监控摄像机采集到的图像成像模糊不清晰的镜片；或者，
当所述镜头组件中不包括所述目标镜片时，所述成像传感器为目标传感器，所述目标传感器为用于使所述监控摄像机采集到的图像成像模糊不清晰的传感器。
可选地，作为一个实施例，所述目标传感器包括：红外热成像传感器、或者深度传感器。
根据本发明的第三方面，还公开了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现第一方面中图像处理方法中的步骤。
根据本发明的第四方面，还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中图像处理方法中的步骤。
本发明实施例中，可以基于目标网络模型对成像模糊不清晰的监控视频流进行处理，实现从不完全信息视频流中分析用户行为，从而避免监控场景中用户隐私泄露，实现对用户隐私的保护。
附图说明
图1是本发明的一个实施例的图像处理方法的流程图；
图2是本发明的一个实施例的人体骨骼关节点的示例图；
图3是本发明的一个实施例的步骤102的一种实施方式的流程图；
图4是本发明的一个实施例的步骤102的另一种实施方式的流程图；
图5是本发明的一个实施例的模型训练方法的流程图；
图6是本发明的另一个实施例的图像处理方法的流程图；
图7是本发明的一个实施例的图像处理装置的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
本发明实施例提供了一种图像处理方法、装置、电子设备及存储介质。
下面首先对本发明实施例提供的图像处理方法进行介绍。
需要说明的是，本发明实施例提供的图像处理方法适用于电子设备，在实际应用中，该电子设备可以包括：智能手机、平板电脑、个人数字助理等移动终端，也可以包括：笔记本/台式电脑、桌面机、服务器等计算机设备，本发明实施例对此不作限定。
图1是本发明的一个实施例的图像处理方法的流程图，如图1所示，该方法可以包括以下步骤：步骤101、步骤102、步骤103和步骤104，其中，
在步骤101中，在接收到目标视频流后，将目标视频流划分为R个待处理视频片段{P1,…,PR}；其中，目标视频流的图像成像模糊不清晰，Pi为第i个待处理视频片段，1≤i≤R，R为正整数。
本发明实施例中，目标视频流可以为基于普通监控摄像机采集到的普通清晰度/高清晰度视频流进行模糊处理得到的视频流，或者目标视频流可以为目标监控摄像机采集到的成像模糊不清晰的视频流。
本发明实施例中，目标监控摄像机包括镜头组件和成像传感器；其中，当目标监控摄像机的成像传感器为可见光成像传感器时，目标监控摄像机的镜头组件中包括目标镜片，该目标镜片为用于使监控摄像机采集到的图像成像模糊不清晰的镜片；或者，当目标监控摄像机的镜头组件中不包括目标镜片时，目标监控摄像机的成像传感器为目标传感器，该目标传感器为用于使监控摄像机采集到的图像成像模糊不清晰的传感器。
本发明实施例中，目标镜片可以为各种类似毛玻璃材质的镜片。
本发明实施例中，目标传感器可以包括红外热成像传感器、或者深度传感器等。
本发明实施例中，可以在现有技术中普通监控摄像机的基础上，对普通监控摄像机的镜头组件进行改进得到目标监控摄像机，具体的，通过在镜头组件中加置特殊材料的镜片，使得成像模糊不清晰。或者，可以在普通监控摄像机的基础上，使用特殊成像传感器(例如，红外热成像传感器、或者深度传感器)替换普通监控摄像机的普通成像传感器，使得成像模糊不清晰，在相机成像的层面上杜绝用户隐私的泄露，有效地改善用户对隐私内容被软件后门获取的担忧。
在实际应用中，可以将本发明实施例中的目标监控摄像机扩展到人群行为识别、校园霸凌行为识别等场景中，例如，将目标监控摄像机布置在一些隐密地段(类似校园霸凌经常发生在卫生间处)。
可见，本发明实施例中，可以通过在监控摄像机的镜头组件中加置可以造成成像模糊不清晰的特殊镜片，或者使用可以造成成像模糊不清晰的特殊成像传感器替换普通成像传感器，使得监控摄像机的成像效果在人眼看来已经失去辨别具体细节的能力(成像效果大概是知道其是个人，但无法辨别人物具体信息：性别、年龄，只有模糊的形态信息)，在相机成像层面上杜绝用户隐私的泄露，使得监控摄像机的应用区域和场景不再受限，扩展了监控摄像机的应用区域和场景。
本发明实施例中，考虑到目标视频流的视频帧数量较多，为了保证图像处理结果的准确度，可以将目标视频流划分为多个视频片段，将划分得到的每个视频片段作为一个待处理视频片段，以单个待处理视频片段为处理单位，进行后续图像处理。
本发明实施例中，在对目标视频流进行划分时，可以每间隔固定数量的视频帧进行一次划分，也就是，每个待处理视频片段中包括相同数量的视频帧。
在步骤102中，针对每个Pi，提取Pi的各视频帧中人体骨骼关节点的坐标，并基于Pi的各视频帧中人体骨骼关节点的坐标，构造Pi的特征向量Ti。
考虑到用户行为主要通过用户的肢体动作反映，而肢体动作对应到图像处理领域，可以用一系列人体骨骼关节点的坐标进行表征，因此，本发明实施例中，可以提取每个待处理视频片段的各视频帧中人体骨骼关节点的坐标，基于每个待处理视频片段的各视频帧中人体骨骼关节点的坐标，构造每个待处理视频片段的特征向量，基于待处理视频片段的特征向量和目标网络模型对待处理视频片段中用户行为进行分析，其中，目标网络模型用于表征待处理视频片段的特征向量与该待处理视频片段的图像分类结果之间的映射关系。
本发明实施例中，在提取每个待处理视频片段的各视频帧中人体骨骼关节点的坐标时，以一个视频帧为例，可以首先检测出该视频帧中的人体矩形框(也称为“humanbbox”)，之后将检测出的人体矩形框裁剪出来，得到人体图像，再之后从人体图像中提取人体骨骼关节点的坐标。
在实际应用中，可以采用微软的软件开发工具包，对每个待处理视频片段的每个视频帧中的人体图像进行骨骼分割，如图2所示，最高可识别20个人体模型的关键骨骼关节点，将各骨骼关节点的位置用(x,y)坐标表示。
考虑到基于不同训练算法训练得到目标网络模型，在进行图像处理时其对输入数据的格式要求也不相同，例如，基于卷积神经网络算法(Convolutional Neural Networks，CNN)训练得到的目标网络网络和基于循环神经网络算法(Recurrent Neural Network，RNN)训练得到的目标网络模型对输入数据的格式要求是不相同的。
针对这种情况，在本发明提供的一个实施方式中，当目标网络模型为基于卷积神经网络算法训练得到的模型时，如图3所示，上述步骤102具体可以包括以下步骤：步骤1021、步骤1022、步骤1023和步骤1024，其中，
在步骤1021中，针对每个Pi，提取Pi中的N*M个人体骨骼关节点的二维坐标(x11,y11),(x12,y12),…,(xNM,yNM)；其中，N为Pi中视频帧的个数，M为每个视频帧中人体骨骼关节点的个数，(xjk,yjk)为第j个视频帧中第k个人体骨骼关节点的坐标，1≤j≤N，1≤k≤M，N和M均为大于1的整数。
在一个例子中，一个待处理视频片段中包括4个视频帧，分别为：视频帧1、视频帧2、视频帧3和视频帧4，每个视频帧中包括5个人体骨骼关节点，也就是，N＝4，M＝5。
通过步骤1021，可以提取到视频帧1中的5个人体骨骼关节点的坐标(x11,y11),(x12,y12),(x13,y13),(x14,y14),(x15,y15)，视频帧2中的5个人体骨骼关节点的坐标(x21,y21),(x22,y22),(x23,y23),(x24,y24),(x25,y25)，视频帧3中的5个人体骨骼关节点的坐标(x31,y31),(x32,y32),(x33,y33),(x34,y34),(x35,y35)，视频帧4中的5个人体骨骼关节点的坐标(x41,y41),(x42,y42),(x43,y43),(x44,y44),(x45,y45)，也就是，最终提取该待处理视频片段的共计4*5＝20个人体骨骼关节点坐标。
在步骤1022中，针对Pi中的每个视频帧，将视频帧中人体骨骼关节点的二维坐标(xj1,yj1),(xj2,yj2),…,(xjM,yjM)进行x和y分离，得到向量Xj＝(xj1,xj2,…,xjM)和向量Yj＝(yj1,yj2,…,yjM)。
在一个例子中，接步骤1021中的例子，将视频帧1中人体骨骼关节点的坐标(x11,y11),(x12,y12),(x13,y13),(x14,y14),(x15,y15)进行x和y分离，得到向量X1＝(x11,x12,x13,x14,x15)和向量Y1＝(y11,y12,y13,y14,y15)；将视频帧2中人体骨骼关节点的坐标(x21,y21),(x22,y22),(x23,y23),(x24,y24),(x25,y25)进行x和y分离，得到向量X2＝(x21,x22,x23,x24,x25)和向量Y2＝(y21,y22,y23,y24,y25)；将视频帧3中人体骨骼关节点的坐标(x31,y31),(x32,y32),(x33,y33),(x34,y34),(x35,y35)进行x和y分离，得到向量X3＝(x31,x32,x33,x34,x35)和向量Y3＝(y31,y32,y33,y34,y35)；将视频帧4中人体骨骼关节点的坐标(x41,y41),(x42,y42),(x43,y43),(x44,y44),(x45,y45)进行x和y分离，得到向量X4＝(x41,x42,x43,x44,x45)和向量Y4＝(y41,y42,y43,y44,y45)。
在步骤1023中，基于所有Xj构造第一矩阵A，以及基于所有Yj构造第二矩阵B；
其中，
在一个例子中，接步骤1022中的例子，基于X1＝(x11,x12,x13,x14,x15)、X2＝(x21,x22,x23,x24,x25)、X3＝(x31,x32,x33,x34,x35)和X4＝(x41,x42,x43,x44,x45)，构造第一矩阵A；基于Y1＝(y11,y12,y13,y14,y15)、Y2＝(y21,y22,y23,y24,y25)、Y3＝(y31,y32,y33,y34,y35)和Y4＝(y41,y42,y43,y44,y45)，构造第二矩阵B；
其中，
在步骤1024中，将第一矩阵A和第二矩阵B进行Z轴方向排列得到三维向量C，将三维向量C确定为Pi的特征向量Ti。
本发明实施例中，三维向量C为一个三维张量。
可见，本发明实施例中，当目标网络模型为基于卷积神经网络算法训练得到的模型时，可以将图像处理的输入数据转换为与该目标网络模型匹配的数据格式。
在本发明提供的另一个实施方式中，当目标网络模型为基于循环神经网络算法训练得到的模型时，如图4所示，上述步骤102具体可以包括以下步骤：步骤1025、步骤1026和步骤1027，其中，
在步骤1025中，针对每个Pi，提取Pi中的N*M个人体骨骼关节点的二维坐标(x11,y11),(x12,y12),…,(xNM,yNM)；其中，N为Pi中视频帧的个数，M为每个视频帧中人体骨骼关节点的个数，(xjk,yjk)为第j个视频帧中第k个人体骨骼关节点的坐标，1≤j≤N，1≤k≤M，N和M均为大于1的整数。
在一个例子中，一个待处理视频片段中包括4个视频帧，分别为：视频帧1、视频帧2、视频帧3和视频帧4，每个视频帧中包括5个人体骨骼关节点，也就是，N＝4，M＝5。
通过步骤1025，可以提取到视频帧1中的5个人体骨骼关节点的坐标(x11,y11),(x12,y12),(x13,y13),(x14,y14),(x15,y15)，视频帧2中的5个人体骨骼关节点的坐标(x21,y21),(x22,y22),(x23,y23),(x24,y24),(x25,y25)，视频帧3中的5个人体骨骼关节点的坐标(x31,y31),(x32,y32),(x33,y33),(x34,y34),(x35,y35)，视频帧4中的5个人体骨骼关节点的坐标(x41,y41),(x42,y42),(x43,y43),(x44,y44),(x45,y45)，也就是，最终提取该待处理视频片段的共计4*5＝20个人体骨骼关节点坐标。
在步骤1026中，针对Pi中的每个视频帧，基于视频帧中人体骨骼关节点的坐标(xj1,yj1),(xj2,yj2),…,(xjM,yjM)，生成向量Zj＝(xj1,xj2,…,xjM,yj1,yj2,…,yjM)。
在一个例子中，接步骤1025中的例子，基于视频帧1中人体骨骼关节点的坐标(x11,y11),(x12,y12),(x13,y13),(x14,y14),(x15,y15)，生成向量Z1＝(x11,x12,x13,x14,x15,y11,y12,y13,y14,y15)；基于视频帧2中人体骨骼关节点的坐标(x21,y21),(x22,y22),(x23,y23),(x24,y24),(x25,y25)，生成向量Z2＝(x21,x22,x23,x24,x25,y21,y22,y23,y24,y25)；基于视频帧3中人体骨骼关节点的坐标(x31,y31),(x32,y32),(x33,y33),(x34,y34),(x35,y35)，生成向量Z3＝(x31,x32,x33,x34,x35,y31,y32,y33,y34,y35)；基于视频帧4中人体骨骼关节点的坐标(x41,y41),(x42,y42),(x43,y43),(x44,y44),(x45,y45)，生成向量Z4＝(x41,x42,x43,x44,x45,y41,y42,y43,y44,y45)。
在步骤1027中，基于所有Zj构造一维向量D，并将一维向量D确定为Pi的特征向量Ti，其中，D＝(Z1,Z2,…,ZN)。
在一个例子中，接步骤1026中的例子，基于Z1、Z2、Z3和Z4，构造一维向量D，其中，
D＝(x11,x12,x13,x14,x15,y11,y12,y13,y14,y15,x21,x22,x23,x24,x25,y21,y22,y23,y24,y25,x31,x32,x33,x34,x35,y31,y32,y33,y34,y35,x41,x42,x43,x44,x45,y41,y42,y43,y44,y45)。
可见，本发明实施例中，当目标网络模型为基于循环神经网络算法训练得到的模型时，可以将图像处理的输入数据转换为与该目标网络模型匹配的数据格式。
为了便于理解，对本发明实施例中的目标网络模型进行介绍。
图5是本发明的一个实施例的模型训练方法的流程图，如图5所示，该方法可以包括以下步骤：步骤501、步骤502、步骤503和步骤504，其中，
在步骤501中，获取训练集，其中，该训练集中包括多个样本视频片段，样本视频片段为成像模糊不清晰的视频片段。
考虑到不同用途的网络模型，其所需要的样本视频片段的类型也是不相同的，例如，用于安全看护独居老人的网络模型，其所需的样本视频片段中通常包括与老人相关的画面内容；又例如，用于预警恶性事件的网络模型，其所需的样本视频片段中通常包括与恶性事件相关的画面内容。针对这种情况，本发明实施例中，可以依据网络模型的用途类型，获取对应的训练集。
本发明实施例中，考虑到样本数量越多，训练出的模型的检测结果越准确，优选地，训练集中可以包括海量样本视频片段。此外，考虑到训练效果，每个样本视频片段可以包含相同数量的视频帧。
在步骤502中，对每个样本视频片段的类别进行标注，得到每个样本视频片段的类别标注数据。
本发明实施例中，在对样本视频片段的类别进行标注时，可以采用二分类的标注方式，也就是，样本视频片段只有两个类别：正常和异常。或者为了使得所训练得到的网络模型的处理结果更为精细化，可以将样本视频片段标注为多个类别，本发明实施例对此不作限定。
在步骤503中，提取每个样本视频片段的各视频帧中人体骨骼关节点的坐标，并针对每个样本视频片段，基于样本视频片段的各视频帧中人体骨骼关节点的坐标，构造样本视频片段对应的特征向量。
本发明实施例中，当目标网络模型为基于卷积神经网络算法训练得到的模型时，可以采用图3所示实施例中的特征向量构造方式，来构造每个样本视频片段对应的特征向量；当目标网络模型为基于循环神经网络算法训练得到的模型时，可以采用图4所示实施例中的特征向量构造方式，来构造每个样本视频片段对应的特征向量，在此不再赘述。
在步骤504中，将各样本视频片段对应的特征向量作为输入，将各样本视频片段的类别标注数据作为输出目标，对预设初始网络模型进行训练直至模型收敛，将训练得到的模型确定为目标网络模型。
本发明实施例中，当目标网络模型为基于卷积神经网络算法训练得到的模型时，预设初始网络模型为基于卷积神经网络算法构造的初始网络模型；当目标网络模型为基于循环神经网络算法训练得到的模型时，预设初始网络模型为基于循环神经网络算法构造的初始网络模型。
本发明实施例中，在进行模型训练时，将样本视频片段对应的特征向量输入到预设初始网络模型中，输出预测结果，将预测结果与样本视频片段的类别标注数据进行比较，得到比较结果，通过比较结果和损失函数对预设初始网络模型中的各参数进行调整，在完成参数调整后，再次将样本视频片段对应的特征向量输入到参数调整后的模型中，重复上述过程，直至模型收敛(即预测结果与类别标注数据的差异不再随着训练而降低)，此时，将该训练得到的模型确定为目标网络模型。
本发明实施例中，在使用目标网络模型进行图像处理时，该目标网络模型的输入为待处理视频片段的特征向量，该目标网络模型的输出为待处理视频片段的类别。
可见，本发明实施例中，可以基于成像模糊不清的样本视频片段进行模型训练，利用训练得到的模型对成像模糊不清晰的视频流进行处理，可以实现从不完全信息视频流中分析用户行为，从而保证用户隐私不被泄露。
在步骤103中，将Ti输入至目标网络模型进行处理，得到Pi的图像分类结果。
本发明实施例中，待处理视频片段的图像分类结果为待处理视频片段的类别，例如，当目标网络模型为用于安全看护独居老人的模型时，待处理视频片段的图像分类结果为：监控区域内老人是否安全；例如，当目标网络模型为用于监控恶性事件的模型时，待处理视频片段的图像分类结果为：监控区域内是否存在恶性事件。
在步骤104中，基于至少一个Pi的图像分类结果，确定目标视频流中的人物行为。
本发明实施例中，考虑到待处理视频片段为目标视频流的一个局部缩影，通常不能完全反应完整的信息，因此可以结合多个待处理视频片段的图像分类结果，来确定目标视频流中的人物行为，从而提高监控效果。
由上述实施例可见，该实施例中，可以基于目标网络模型对成像模糊不清晰的监控视频流进行处理，实现从不完全信息视频流中分析用户行为，从而避免监控场景中用户隐私泄露，实现对用户隐私的保护。
图6是本发明的另一个实施例的图像处理方法的流程图，本发明实施例中，可以借助于电子设备的缓存，对目标视频流进行待处理视频片段的划分，如图6所示，该方法可以包括以下步骤：步骤601、步骤602、步骤603、步骤604、步骤605和步骤606，其中，
在步骤601中，在接收到目标视频流后，检测目标视频流中各视频帧的人体矩形框，并提取。
本发明实施例中，可以采用相关技术中的任一种人体矩形框检测技术，来检测目标视频流中各视频帧的人体矩形框，之后，将各视频帧的人体矩形框裁剪出来，存储至电子设备的缓存中。
在步骤602中，按照各视频帧在目标视频流中的时间先后顺序，将目标视频流中各视频帧的人体矩形框存储至电子设备的缓存中。
在步骤603中，当缓存中人体矩形框的个数达到预设数量时，将缓存中的人体矩形框对应的视频帧所构成的视频片段，确定为一个待处理视频片段Pi。
在步骤604中，针对每个Pi，提取Pi的各视频帧中人体骨骼关节点的坐标，并基于Pi的各视频帧中人体骨骼关节点的坐标，构造Pi的特征向量Ti。
在步骤605中，将Ti输入至目标网络模型进行处理，得到Pi的图像分类结果。
本发明实施例中，当目标网络模型为基于循环神经网络算法训练得到的模型时，若循环神经网络的长度为S，则待处理视频片段的长度也为S，将目标视频流的帧1～帧S的向量Z1～ZS输入到目标网络模型，得到最终该视频片段(1帧～S帧)的分类结果，下一次识别动作从S+1帧开始，将帧S+1～帧2S的向量ZS+1～Z2S输入到目标网络模型，依次类推。
在步骤606中，基于至少一个Pi的图像分类结果，确定目标视频流中的人物行为。
本发明实施例中，在确定目标视频流中的人物行为为风险行为时，还可以触发报警，以便及时对风险行为采取对应的应对措施，降低风险行为带来的影响。
由上述实施例可见，该实施例中，可以借助于电子设备的缓存，对目标视频流进行待处理视频片段的划分，基于目标网络模型对成像模糊不清晰的待处理视频片段进行处理，实现从不完全信息视频流中分析用户行为，从而避免监控场景中用户隐私泄露，实现对用户隐私的保护。
图7是本发明的一个实施例的图像处理装置的结构框图，该装置应用于电子设备，如图7所示，图像处理装置700，可以包括：划分模块701、提取模块702、处理模块703和确定模块704，其中，
划分模块701，用于在接收到目标视频流后，将所述目标视频流划分为R个待处理视频片段{P1,…,PR}，其中，所述目标视频流的图像成像模糊不清晰，Pi为第i个待处理视频片段，1≤i≤R，R为正整数；
提取模块702，用于针对每个Pi，提取所述Pi的各视频帧中人体骨骼关节点的坐标，并基于所述Pi的各视频帧中人体骨骼关节点的坐标，构造所述Pi的特征向量Ti；
处理模块703，用于将所述Ti输入至目标网络模型进行处理，得到所述Pi的图像分类结果；
确定模块704，用于基于至少一个Pi的图像分类结果，确定所述目标视频流中的人物行为。
由上述实施例可见，该实施例中，可以基于目标网络模型对成像模糊不清晰的监控视频流进行处理，实现从不完全信息视频流中分析用户行为，从而避免监控场景中用户隐私泄露，实现对用户隐私的保护。
可选地，作为一个实施例，所述划分模块701，可以包括：
检测子模块，用于在接收到目标视频流后，检测所述目标视频流中各视频帧的人体矩形框，并提取；
存储子模块，用于按照各视频帧在所述目标视频流中的时间先后顺序，将所述目标视频流中各视频帧的人体矩形框存储至所述电子设备的缓存中；
划分子模块，用于当所述缓存中人体矩形框的个数达到预设数量时，将所述缓存中的人体矩形框对应的视频帧所构成的视频片段，确定为一个待处理视频片段Pi。
可选地，作为一个实施例，所述目标网络模型为基于卷积神经网络算法训练得到的模型；
所述提取模块702，可以包括：
第一提取子模块，用于针对每个Pi，提取所述Pi中的N*M个人体骨骼关节点的二维坐标(x11,y11),(x12,y12),…,(xNM,yNM)，其中，N为所述Pi中视频帧的个数，M为每个视频帧中人体骨骼关节点的个数，(xjk,yjk)为第j个视频帧中第k个人体骨骼关节点的坐标，1≤j≤N，1≤k≤M，N和M均为大于1的整数；
坐标分离子模块，用于针对所述Pi中的每个视频帧，将所述视频帧中人体骨骼关节点的二维坐标(xj1,yj1),(xj2,yj2),…,(xjM,yjM)进行x和y分离，得到向量Xj＝(xj1,xj2,…,xjM)和向量Yj＝(yj1,yj2,…,yjM)；
第一生成子模块，用于基于所有Xj构造第一矩阵A，以及基于所有Yj构造第二矩阵B；
其中，
第一确定子模块，用于将所述A和B进行Z轴方向排列得到三维向量C，将所述三维向量C确定为所述Pi的特征向量Ti。
可选地，作为一个实施例，所述目标网络模型为基于循环神经网络算法构造的模型；
所述提取模块702，可以包括：
第二提取子模块，用于针对每个Pi，提取所述Pi中的N*M个人体骨骼关节点的二维坐标(x11,y11),(x12,y12),…,(xNM,yNM)，其中，N为所述Pi中视频帧的个数，M为每个视频帧中人体骨骼关节点的个数，(xjk,yjk)为第j个视频帧中第k个人体骨骼关节点的坐标，1≤j≤N，1≤k≤M，N和M均为大于1的整数；
第二生成子模块，用于针对所述Pi中的每个视频帧，基于所述视频帧中人体骨骼关节点的二维坐标(xj1,yj1),(xj2,yj2),…,(xjM,yjM)，生成向量Zj＝(xj1,xj2,…,xjM,yj1,yj2,…,yjM)；
第二确定子模块，用于基于所有Zj构造一维向量D，并将所述一维向量D确定为所述Pi的特征向量Ti，其中，D＝(Z1,Z2,…,ZN)。
可选地，作为一个实施例，所述目标视频流来自目标监控摄像机，其中，所述目标监控摄像机包括镜头组件和成像传感器；
当所述成像传感器为可见光成像传感器时，所述镜头组件中包括目标镜片，所述目标镜片为用于使所述监控摄像机采集到的图像成像模糊不清晰的镜片；或者，
当所述镜头组件中不包括所述目标镜片时，所述成像传感器为目标传感器，所述目标传感器为用于使所述监控摄像机采集到的图像成像模糊不清晰的传感器。
可选地，作为一个实施例，所述目标传感器包括：红外热成像传感器、或者深度传感器。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
根据本发明的又一个实施例，本发明还提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述任意一个实施例所述的图像处理方法中的步骤。
根据本发明的再一个实施例，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一个实施例所述的图像处理方法中的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种图像处理方法、装置、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种图像处理方法，应用于电子设备，其特征在于，所述方法包括：
在接收到目标视频流后，将所述目标视频流划分为R个待处理视频片段{P1,…,PR}，其中，所述目标视频流的图像成像模糊不清晰，Pi为第i个待处理视频片段，每个Pi中人体矩形框的个数达到预设数量，1≤i≤R，R为正整数；
针对每个Pi，提取所述Pi的各视频帧中人体骨骼关节点的坐标，并基于所述Pi的各视频帧中人体骨骼关节点的坐标，构造所述Pi的特征向量Ti；
将所述Ti输入至目标网络模型进行处理，得到所述Pi的图像分类结果；
基于至少一个Pi的图像分类结果，确定所述目标视频流中的人物行为；
其中，基于所述Pi的各视频帧中人体骨骼关节点的坐标，构造所述Pi的特征向量Ti，包括：
当所述目标网络模型为基于卷积神经网络算法训练得到的模型时，基于所述Pi的各视频帧中人体骨骼关节点的坐标，构造数据格式与所述目标网络模型的输入数据的数据格式匹配的三维向量C，将所述三维向量C确定为所述Pi的的特征向量Ti；
当所述目标网络模型为基于循环神经网络算法训练得到的模型时，基于所述Pi的各视频帧中人体骨骼关节点的坐标，构造数据格式与所述目标网络模型的输入数据的数据格式匹配的一维向量D，将所述一维向量D确定为所述Pi的的特征向量Ti。
2.根据权利要求1所述的方法，其特征在于，所述将所述目标视频流划分为N个待处理视频片段{P1,…,PN}，包括：
检测所述目标视频流中各视频帧的人体矩形框，并提取；
按照各视频帧在所述目标视频流中的时间先后顺序，将所述目标视频流中各视频帧的人体矩形框存储至所述电子设备的缓存中；
当所述缓存中人体矩形框的个数达到预设数量时，将所述缓存中的人体矩形框对应的视频帧所构成的视频片段，确定为一个待处理视频片段Pi。
3.根据权利要求1所述的方法，其特征在于，所述当所述目标网络模型为基于卷积神经网络算法训练得到的模型时，基于所述Pi的各视频帧中人体骨骼关节点的坐标，构造数据格式与所述目标网络模型的输入数据的数据格式匹配的三维向量C，将所述三维向量C确定为所述Pi的的特征向量Ti，包括：
针对每个Pi，提取所述Pi中的N*M个人体骨骼关节点的二维坐标(x11,y11),(x12,y12),…,(xNM,yNM)，其中，N为所述Pi中视频帧的个数，M为每个视频帧中人体骨骼关节点的个数，(xjk,yjk)为第j个视频帧中第k个人体骨骼关节点的坐标，1≤j≤N，1≤k≤M，N和M均为大于1的整数；
针对所述Pi中的每个视频帧，将所述视频帧中人体骨骼关节点的二维坐标(xj1,yj1),(xj2,yj2),…,(xjM,yjM)进行x和y分离，得到向量Xj＝(xj1,xj2,…,xjM)和向量Yj＝(yj1,yj2,…,yjM)；
基于所有Xj构造第一矩阵A，以及基于所有Yj构造第二矩阵B；
其中，
将所述A和B进行Z轴方向排列得到所述三维向量C，将所述三维向量C确定为所述Pi的特征向量Ti。
4.根据权利要求1所述的方法，其特征在于，所述当所述目标网络模型为基于循环神经网络算法训练得到的模型时，基于所述Pi的各视频帧中人体骨骼关节点的坐标，构造数据格式与所述目标网络模型的输入数据的数据格式匹配的一维向量D，将所述一维向量D确定为所述Pi的的特征向量Ti，包括：
针对每个Pi，提取所述Pi中的N*M个人体骨骼关节点的二维坐标(x11,y11),(x12,y12),…,(xNM,yNM)，其中，N为所述Pi中视频帧的个数，M为每个视频帧中人体骨骼关节点的个数，(xjk,yjk)为第j个视频帧中第k个人体骨骼关节点的坐标，1≤j≤N，1≤k≤M，N和M均为大于1的整数；
针对所述Pi中的每个视频帧，基于所述视频帧中人体骨骼关节点的二维坐标(xj1,yj1),(xj2,yj2),…,(xjM,yjM)，生成向量Zj＝(xj1,xj2,…,xjM,yj1,yj2,…,yjM)；
基于所有Zj构造所述一维向量D，并将所述一维向量D确定为所述Pi的特征向量Ti，其中，D＝(Z1,Z2,…,ZN)。
5.根据权利要求1所述的方法，其特征在于，所述目标视频流来自目标监控摄像机，其中，所述目标监控摄像机包括镜头组件和成像传感器；
当所述成像传感器为可见光成像传感器时，所述镜头组件中包括目标镜片，所述目标镜片为用于使所述监控摄像机采集到的图像成像模糊不清晰的镜片；或者，
当所述镜头组件中不包括所述目标镜片时，所述成像传感器为目标传感器，所述目标传感器为用于使所述监控摄像机采集到的图像成像模糊不清晰的传感器。
6.根据权利要求5所述的方法，其特征在于，所述目标传感器包括：红外热成像传感器、或者深度传感器。
7.一种图像处理装置，应用于电子设备，其特征在于，所述装置包括：
划分模块，用于在接收到目标视频流后，将所述目标视频流划分为R个待处理视频片段{P1,…,PR}，其中，所述目标视频流的图像成像模糊不清晰，Pi为第i个待处理视频片段，每个Pi中人体矩形框的个数达到预设数量，1≤i≤R，R为正整数；
提取模块，用于针对每个Pi，提取所述Pi的各视频帧中人体骨骼关节点的坐标，并基于所述Pi的各视频帧中人体骨骼关节点的坐标，构造所述Pi的特征向量T；
处理模块，用于将所述Ti输入至目标网络模型进行处理，得到所述Pi的图像分类结果；
确定模块，用于基于至少一个Pi的图像分类结果，确定所述目标视频流中的人物行为；
其中，所述提取模块还用于：基于所述Pi的各视频帧中人体骨骼关节点的坐标，构造所述Pi的特征向量Ti，包括：
当所述目标网络模型为基于卷积神经网络算法训练得到的模型时，基于所述Pi的各视频帧中人体骨骼关节点的坐标，构造数据格式与所述目标网络模型的输入数据的数据格式匹配的三维向量C，将所述三维向量C确定为所述Pi的的特征向量Ti；
当所述目标网络模型为基于循环神经网络算法训练得到的模型时，基于所述Pi的各视频帧中人体骨骼关节点的坐标，构造数据格式与所述目标网络模型的输入数据的数据格式匹配的一维向量D，将所述一维向量D确定为所述Pi的的特征向量Ti。
8.根据权利要求7所述的装置，其特征在于，所述划分模块包括：
检测子模块，用于在接收到目标视频流后，检测所述目标视频流中各视频帧的人体矩形框，并提取；
存储子模块，用于按照各视频帧在所述目标视频流中的时间先后顺序，将所述目标视频流中各视频帧的人体矩形框存储至所述电子设备的缓存中；
划分子模块，用于当所述缓存中人体矩形框的个数达到预设数量时，将所述缓存中的人体矩形框对应的视频帧所构成的视频片段，确定为一个待处理视频片段Pi。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6任一项所述的图像处理方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的图像处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010072550.XA CN111310605B (zh) | 2020-01-21 | 2020-01-21 | 一种图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010072550.XA CN111310605B (zh) | 2020-01-21 | 2020-01-21 | 一种图像处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111310605A CN111310605A (zh) | 2020-06-19 |
| CN111310605B true CN111310605B (zh) | 2023-09-01 |
Family
ID=71159819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010072550.XA Active CN111310605B (zh) | 2020-01-21 | 2020-01-21 | 一种图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111310605B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102020212207B4 (de) | 2020-09-28 | 2023-04-27 | Siemens Healthcare Gmbh | Flächenbestimmung zur Ermittlung der Brustkompression bei einer Brustbildaufnahme |
| CN112347879B (zh) * | 2020-10-27 | 2021-06-29 | 中国搜索信息科技股份有限公司 | 一种针对视频运动目标的主题挖掘及行为分析方法 |
| CN112883933A (zh) * | 2021-03-30 | 2021-06-01 | 广东曜城科技园管理有限公司 | 一种异常人体行为的警报方法和装置 |
| CN113496536B (zh) * | 2021-07-06 | 2024-04-05 | 安徽启视数字文化传媒有限公司 | 一种基于影像采集的动漫人物建模系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101311947A (zh) * | 2008-06-12 | 2008-11-26 | 浙江大学 | 基于自然视频的实时智能监控方法 |
| CN103729614A (zh) * | 2012-10-16 | 2014-04-16 | 上海唐里信息技术有限公司 | 基于视频图像的人物识别方法及人物识别装置 |
| CN103810496A (zh) * | 2014-01-09 | 2014-05-21 | 江南大学 | 基于图像深度信息的3d高斯空间人体行为识别方法 |
| CN105160310A (zh) * | 2015-08-25 | 2015-12-16 | 西安电子科技大学 | 基于3d卷积神经网络的人体行为识别方法 |
| CN108021889A (zh) * | 2017-12-05 | 2018-05-11 | 重庆邮电大学 | 一种基于姿态外形和运动信息的双通道红外行为识别方法 |
| CN108764143A (zh) * | 2018-05-29 | 2018-11-06 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN110222752A (zh) * | 2019-05-28 | 2019-09-10 | 北京金山数字娱乐科技有限公司 | 图像处理方法、系统、计算机设备、存储介质和芯片 |
| CN110443748A (zh) * | 2019-07-31 | 2019-11-12 | 思百达物联网科技(北京)有限公司 | 人体屏蔽方法、装置以及存储介质 |
-
2020
- 2020-01-21 CN CN202010072550.XA patent/CN111310605B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101311947A (zh) * | 2008-06-12 | 2008-11-26 | 浙江大学 | 基于自然视频的实时智能监控方法 |
| CN103729614A (zh) * | 2012-10-16 | 2014-04-16 | 上海唐里信息技术有限公司 | 基于视频图像的人物识别方法及人物识别装置 |
| CN103810496A (zh) * | 2014-01-09 | 2014-05-21 | 江南大学 | 基于图像深度信息的3d高斯空间人体行为识别方法 |
| CN105160310A (zh) * | 2015-08-25 | 2015-12-16 | 西安电子科技大学 | 基于3d卷积神经网络的人体行为识别方法 |
| CN108021889A (zh) * | 2017-12-05 | 2018-05-11 | 重庆邮电大学 | 一种基于姿态外形和运动信息的双通道红外行为识别方法 |
| CN108764143A (zh) * | 2018-05-29 | 2018-11-06 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN110222752A (zh) * | 2019-05-28 | 2019-09-10 | 北京金山数字娱乐科技有限公司 | 图像处理方法、系统、计算机设备、存储介质和芯片 |
| CN110443748A (zh) * | 2019-07-31 | 2019-11-12 | 思百达物联网科技(北京)有限公司 | 人体屏蔽方法、装置以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111310605A (zh) | 2020-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111310605B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| Ullah et al. | A novel DeepMaskNet model for face mask detection and masked facial recognition | |
| CN111178183B (zh) | 人脸检测方法及相关装置 | |
| Işık et al. | SWCD: a sliding window and self-regulated learning-based background updating method for change detection in videos | |
| Pang et al. | Classifying discriminative features for blur detection | |
| CN109657533A (zh) | 行人重识别方法及相关产品 | |
| Ha et al. | Foreground objects detection using multiple difference images | |
| Cheng et al. | Smoke detection and trend prediction method based on Deeplabv3+ and generative adversarial network | |
| JP7419080B2 (ja) | コンピュータシステムおよびプログラム | |
| Mohammed Ali et al. | Face mask detection methods and techniques: A review | |
| Goudelis et al. | Fall detection using history triple features | |
| KR20190088087A (ko) | 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법 | |
| Al-Dhabi et al. | Deepfake video detection by combining convolutional neural network (cnn) and recurrent neural network (rnn) | |
| Zhou et al. | A study on attention-based LSTM for abnormal behavior recognition with variable pooling | |
| Madane et al. | Social distancing detection and analysis through computer vision | |
| Hermina et al. | A Novel Approach to Detect Social Distancing Among People in College Campus | |
| Semerikov et al. | Mask and emotion: Computer vision in the age of COVID-19 | |
| Mucha et al. | Depth and thermal images in face detection-a detailed comparison between image modalities | |
| Zhang et al. | Face occlusion detection using cascaded convolutional neural network | |
| Rostami et al. | Skeleton-based action recognition using spatio-temporal features with convolutional neural networks | |
| Zhang et al. | Combine object detection with skeleton-based action recognition to detect smoking behavior | |
| CN115116136A (zh) | 一种异常行为检测方法、装置、介质 | |
| Gnouma et al. | Human fall detection based on block matching and silhouette area | |
| Bonomi et al. | Digital human face detection in video sequences via a physiological signal analysis | |
| Nautiyal et al. | An automated technique for criminal face identification using biometric approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |