CN110378170B - 视频处理方法及相关装置，图像处理方法及相关装置 - Google Patents

视频处理方法及相关装置，图像处理方法及相关装置 Download PDF

Info

Publication number
CN110378170B
CN110378170B CN201810327638.4A CN201810327638A CN110378170B CN 110378170 B CN110378170 B CN 110378170B CN 201810327638 A CN201810327638 A CN 201810327638A CN 110378170 B CN110378170 B CN 110378170B
Authority
CN
China
Prior art keywords
energy
gait
map
posture
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810327638.4A
Other languages
English (en)
Other versions
CN110378170A (zh
Inventor
张凯皓
罗文寒
马林
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201910848288.0A priority Critical patent/CN110443232B/zh
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810327638.4A priority patent/CN110378170B/zh
Priority to CN201910848859.0A priority patent/CN110472622B/zh
Priority to PCT/CN2019/079156 priority patent/WO2019196626A1/zh
Priority to JP2020545244A priority patent/JP7089045B2/ja
Priority to EP19784939.1A priority patent/EP3779775B1/en
Publication of CN110378170A publication Critical patent/CN110378170A/zh
Priority to US16/903,929 priority patent/US11335127B2/en
Application granted granted Critical
Publication of CN110378170B publication Critical patent/CN110378170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Abstract

本发明实施例提供视频处理方法及相关装置，图像处理方法及相关装置。视频处理方法包括：获取待处理视频并生成第一步态能量图，待处理视频中的视频帧包括身份待识别的对象；获取身份已知的对象的视频的第二步态能量图；将第一、第二步态能量图输入深度神经网络，进行第一步态识别；第一步态识别包括：提取第一、第二步态能量图各自的身份信息，以及，第一和第二步态能量图的融合步态特征向量；至少根据提取的融合步态特征向量计算相似度；第一步态能量图的身份信息包括第一步态能量图的标识和步态特征向量，第二步态能量图的身份信息包括第二步态能量图的标识和步态特征向量；融合步态特征向量由第一、第二步态能量图的步态特征向量决定。

Description

视频处理方法及相关装置，图像处理方法及相关装置
技术领域
本发明涉及步态识别技术领域，具体涉及视频处理方法、视频处理装置、视频处理设备及存储介质，图像处理方法、图像处理装置、图像处理设备及存储介质。
背景技术
步态识别在很多场景下有应用需求。例如，公共场所的户外摄像头很多，但摄像头一般与人距离较远，所拍摄的图像或视频无法通过人脸来进行行人识别。而步态识别技术可根据人的步态特征向量进行行人识别，并不必须基于人脸进行识别，也不需要高清的画质，因此，步态识别技术己成为一个重要的研究方向。
发明内容
本发明实施例提供视频处理方法、视频处理装置、视频处理设备及存储介质，以实现步态识别；进一步的，本发明实施例提供图像处理方法、图像处理装置、图像处理设备及存储介质，以实现姿态识别。
为实现上述目的，本发明实施例提供如下技术方案：
一种视频处理方法，包括：
获取待处理视频，所述待处理视频中的视频帧包括身份待识别的对象；
根据所述待处理视频生成第一步态能量图；
获取身份已知的对象的视频的第二步态能量图；所述第一步态能量图和第二步态能量图分别对应唯一的标识；
将所述第一步态能量图和第二步态能量图输入深度神经网络，进行第一步态识别；
其中，所述第一步态识别包括：
提取所述第一、第二步态能量图对应的身份信息，以及，所述第一步态能量图和第二步态能量图的融合步态特征向量；
至少根据提取的融合步态特征向量计算所述第一、第二步态能量图的相似度；
所述第一步态能量图的身份信息包括所述第一步态能量图的标识和所述第一步态能量图的步态特征向量，所述第二步态能量图的身份信息包括所述第二步态能量图的标识和所述第二步态能量图的步态特征向量；所述融合步态特征向量由所述第一步态能量图和第二步态能量图的步态特征向量决定。
一种视频处理装置，包括第一获取单元和步态识别单元；
所述步态识别单元包括深度神经网络；
所述第一获取单元，用于获取待处理视频，所述待处理视频中的视频帧包括身份待识别的对象；根据所述待处理视频生成第一步态能量图，以及，获取身份已知的对象的视频对应的第二步态能量图；所述第一步态能量图和第二步态能量图分别对应唯一的标识；
所述深度神经网络，用于对所述获取单元获取的所述第一步态能量图和第二步态能量图进行第一步态识别；
其中，所述第一步态识别包括：
提取所述第一、第二步态能量图对应的身份信息，以及，所述第一步态能量图和第二步态能量图的融合步态特征向量；
至少根据提取的融合步态特征向量计算所述第一、第二步态能量图的相似度；
所述第一步态能量图的身份信息包括所述第一步态能量图的标识和所述第一步态能量图的步态特征向量，所述第二步态能量图的身份信息包括所述第二步态能量图的标识和所述第二步态能量图的步态特征向量；所述融合步态特征向量由所述第一步态能量图和第二步态能量图的步态特征向量决定。
一种视频处理设备，至少包括处理器和存储器；所述处理器通过执行所述存储器中存放的程序以及调用其他设备，执行上述的视频处理方法。
本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种视频处理方法中的步骤。
本实施例中使用的深度神经网络不仅提取了身份待识别的对象和身份已知对象的融合步态特征向量，同时还提取了身份待识别的对象和身份已知对象的身份信息(包含标识和步态特征向量)，并且，融合步态特征向量由步态特征向量决定，之后，至少根据融合步态特征向量计算两步态能量图的相似度(也即，身份待识别的对象和身份已知对象的相似度)，从而实现了对身份待识别的对象的步态识别。
一种图像处理方法，包括：
获取身份待识别的对象的第一姿态能量图，以及；
获取身份已知的对象的第二姿态能量图；所述第一姿态能量图和第二姿态能量图分别对应唯一的标识；
将所述第一姿态能量图和第二姿态能量图输入深度神经网络，进行第一姿态识别；
其中，所述第一姿态识别包括：
提取所述第一、第二姿态能量图对应的身份信息，以及，所述第一姿态能量图和第二姿态能量图的融合姿态特征向量；
至少根据提取的融合姿态特征向量计算所述第一、第二姿态能量图的相似度；
所述第一姿态能量图的身份信息包括所述第一姿态能量图的标识和所述第一姿态能量图的姿态特征，所述第二姿态能量图的身份信息包括所述第二姿态能量图的标识和所述第二姿态能量图的姿态特征；所述融合步态特征向量由所述第一姿态能量图和第二姿态能量图的姿态特征决定。
一种图像处理装置，包括第二获取单元和姿态识别单元；
所述姿态识别单元包括深度神经网络；
所述第二获取单元，用于获取身份待识别的对象的第一姿态能量图，以及；
获取身份已知的对象的第二姿态能量图；所述第一姿态能量图和第二姿态能量图分别对应唯一的标识；
所述深度神经网络，用于对所述第一姿态能量图和第二姿态能量图进行第一姿态识别；
其中，所述第一姿态识别包括：
提取所述第一、第二姿态能量图对应的身份信息，以及，所述第一姿态能量图和第二姿态能量图的融合姿态特征向量；
至少根据提取的融合姿态特征向量计算第一、第二姿态能量图的相似度；
所述第一姿态能量图的身份信息包括所述第一姿态能量图的标识和所述第一姿态能量图的姿态特征，所述第二姿态能量图的身份信息包括所述第二姿态能量图的标识和所述第二姿态能量图的姿态特征；所述融合步态特征向量由所述第一姿态能量图和第二姿态能量图的姿态特征决定。
一种图像处理设备，至少包括处理器和存储器；所述处理器通过执行所述存储器中存放的程序以及调用其他设备，执行上述的图像处理方法。
本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。
本实施例中使用的深度神经网络不仅提取了身份待识别的对象和身份已知对象的融合姿态特征向量，同时还提取了身份待识别的对象和身份已知对象的身份信息(包含标识和姿态特征向量)，并且，融合姿态特征向量由姿态特征向量决定，之后，至少根据融合姿态特征向量计算两姿态能量图的相似度(也即，身份待识别的对象和身份已知对象的相似度)，从而实现了对身份待识别的对象的姿态识别。
附图说明
图1a-1d为本发明实施例提供的视频处理应用场景的示例性结构图；
图2a-图2b为本发明实施例提供的视频处理装置的示例性结构图；
图2c为本发明实施例提供的视频处理设备的示例性结构图；
图3、6、9为本发明实施例提供的视频处理方法的示例性流程图；
图4为本发明实施例提供的步态能量图示意图；
图5a-5c为本发明实施例提供的提取步态特征向量的示意图；
图7、8为本发明实施例提供的训练过程示意图；
图10为本发明实施例提供的图像处理应用场景的示例性结构图；
图11a-图11b为本发明实施例提供的图像处理装置的示例性结构图。
具体实施方式
步态识别是一种新兴的生物特征识别技术，旨在通过人们走路的姿态进行身份识别。步态识别具有非接触远距离和不容易伪装的优点，也并不需要高清的画质，因此，可被广泛应用于安防、公安、公共交通等场景中，应用潜力巨大。
本发明实施例提供视频处理方法及相关装置(视频处理装置、视频处理设备及存储介质等)，其适用于各种需要提供实时或离线步态识别技术服务的场景(例如智能视频监控)。
先介绍核心思想：
可把步态识别理解成一个检索问题，给出待查询的人(身份待识别的对象)的视频(可称为第一视频或待处理视频，第一视频中的视频帧包括身份待识别的对象)，查询数据库里面哪一已知身份信息的人(身份已知的对象)的视频(可称为第二视频)与其相似或最相似。
本发明实施例提供的视频处理方法及相关装置基于深度神经网络实现步态识别。
上述深度神经网络是基于步态能量图进行步态识别的，因此，在经由深度神经网络进行步态识别之前，会预先从第一视频提取出第一步态能量图、从第二视频提取出第二步态能量图，然后将第一步态能量图和第二步态能量图输入该深度神经网络，由深度神经网络输出两步态能量图的相似度，作为上述待处理视频和第二视频的相似度。
更具体的，上述深度神经网络会提取所输入的两步态能量图各自的身份信息以及两步态能量图的融合步态特征向量，其中，任一步态能量图的身份信息可包括：该步态能量图的标识，以及基于该步态能量图提取的步态特征向量。而两步态能量图的融合步态特征向量由两步态能量图各自的步态特征向量决定。
之后，上述深度神经网络会至少根据提取的融合步态特征向量计算两步态能量图的相似度。
可见，上述深度神经网络不仅提取了身份待识别的对象和身份已知对象的融合步态特征向量，同时还提取了身份待识别的对象和身份已知对象的身份信息(包含标识和步态特征向量)，并且，融合步态特征向量由步态特征向量决定。之后，至少根据融合步态特征向量计算两步态能量图的相似度(也即，身份待识别的对象和身份已知对象的相似度)，从而实现了对身份待识别的对象的步态识别。
深度神经网络是由神经元按层级结构组成，每一神经元层包含多个滤波器，其间的权重和偏移量(滤波器参数)可经训练得到。
因此，在一个示例中，上述深度神经网络事先还可经过训练，对其参数进行调整。本文后续将进行介绍。
在介绍完核心思想后，下面介绍本发明实现步态识别的实施例中所涉及的视频处理装置和视频处理设备。
上述视频处理装置可以软件或硬件的形式应用于视频处理设备中。具体的，视频处理设备可为提供步态识别服务的服务器或个人电脑(PC)，也可以是诸如数码相机、移动终端(例如智能手机)、ipad等的终端。
当以软件形式应用于视频处理设备中时，上述视频处理装置可为独立的软件。当然，也可作为大型系统(例如操作系统)的子系统(子组件)，提供步态识别服务。
当以硬件形式应用于视频处理设备中时，上述视频处理装置示例性的可为终端或服务器的控制器/处理器。
上述视频处理方法的应用场景示例性得可参见图1a所示：摄像头101拍摄到移动的行人(身份待识别的对象)的视频，将视频提供给视频处理设备102，视频处理设备102基于数据库103中身份已知的对象的视频进行步态识别。在此场景下，视频处理设备102需具备可提取步态能量图的模块或装置。
上述视频处理方法的另一应用场景示例性得可参见图1b所示：视频处理设备102拍摄到移动的行人(身份待识别的对象)的视频，并基于数据库103中身份已知的对象的视频进行步态识别。在此场景下，视频处理设备102需具备拍摄装置和可提取步态能量图的模块或装置。
上述视频处理方法的又一应用场景示例性得还可参见图1c：外部设备104向视频处理设备102提供身份待识别的对象的步态能量图或视频，视频处理设备102基于数据库103中存储的各身份已知的对象的步态能量图进行步态识别。在此场景下，若外部设备提供的是视频，视频处理设备102需具备提取步态能量图的模块或装置。
此外，若上述深度神经网络需要进行训练，则上述各场景中还可包括训练设备105。当然，训练设备105的功能也可由视频处理设备102实现。训练设备105可用于训练深度神经网络，或者，提供训练用的样本。
在一个更具体的场景下(客户端-服务器场景)，请参见图1d，可包括web服务器106、视频处理服务器107(即视频处理设备)、数据库103，此外，还可包括训练服务器108(训练设备)。
其中，web服务器106为前端(前台)，负责与客户端浏览器(前述的外部设备)通信，视频处理服务器107、数据库103、训练服务器108等为后端，视频处理服务器107可为客户端浏览器提供视频处理(步态识别)服务。训练服务器108可用于训练视频处理服务器107使用的视频处理算法(即对深度神经网络进行训练)，或者，提供训练用的样本。
下面介绍视频处理装置的内部结构，视频处理装置的一种示例性结构如图2a所示，包括：第一获取单元11和步态识别单元12。
其中，第一获取单元11用于：
获取待处理视频，根据该待处理视频生成第一步态能量图，以及；
获取身份已知对象的视频的第二步态能量图；
步态识别单元12包括深度神经网络，该深度神经网络可用于对获取单元12提供的第一步态能量图和第二步态能量图进行第一步态识别。
在本发明其他实施例中，请参见图2b，上述视频处理装置还可进一步包括：训练单元13，用于执行训练过程。
本文后续将结合视频处理方法介绍上述各单元的功能。
图2c示出了上述实施例中视频处理设备的一种可能的结构示意图，包括：
总线、处理器1、存储器2、通信接口3、输入设备4和输出设备5。处理器1、存储器2、通信接口3、输入设备4和输出设备5通过总线相互连接。其中：
总线可包括一通路，在计算机系统各个部件之间传送信息。
处理器1可以是通用处理器，例如通用中央处理器(CPU)、网络处理器(NetworkProcessor，简称NP)、微处理器等，也可以是特定应用集成电路(appl i cat ion-specific i ntegrated ci rcu it，AS IC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器2中保存有执行本发明技术方案的程序或脚本，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。脚本则通常以文本(如ASCI I)保存，只在被调用时进行解释或编译。
更具体的，存储器2可以包括只读存储器(read-on ly memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、fl ash等等。
输入设备4可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、语音输入装置、触摸屏等。
输出设备5可包括允许输出信息给用户的装置，例如显示屏、扬声器等。
通信接口3可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。
可以理解的是，图2c仅仅示出了视频处理设备的简化设计。在实际应用中，上述视频处理设备可以包含任意数量的发射器，接收器，处理器，控制器，存储器，通信接口等，而所有可以实现本发明的服务器/智能终端都在本发明的保护范围之内。
处理器1通过执行存储器2中所存放的程序以及调用其他设备，可实现下述实施例提供的视频处理方法。
此外，图1a-1d所示的视频处理装置各单元的功能，可由前述的处理器1执行存储器2中所存放的程序以及调用其他设备实现。
下面将基于上面所述的本发明涉及的共性方面，对本发明实现步态识别的实施例进行进一步详细说明。
图3示出了由上述视频处理装置/设备执行的视频处理方法的一种示例性流程，至少可包括如下步骤：
300部分：获取待处理视频，根据该待处理视频生成第一步态能量图，以及获取第二步态能量图。
其中，待处理视频(第一视频)中的视频帧包括身份待识别的对象，而第二步态能量图是根据身份已知的对象的视频(第二视频)生成的。
第一步态能量图和第二步态能量图分别对应唯一的标识(ID)。
步态能量图的示意图可参见图4，可根据视频帧得到多帧步态剪影，再对多帧步态剪影叠加并进行归一化处理得到步态能量图。
获取第一步态能量图和第二步态能量图的方式有多种：
以图1a所示应用场景为例，摄像头101拍摄到待处理视频后，可将待处理视频提供给视频处理设备102，由视频处理设备102从待处理视频中提取第一步态能量图，并从数据库103处获取第二视频，从中提取得到第二步态能量图(或者从数据库103处获取第二步态能量图)。
以图1b所示应用场景为例，则可由视频处理设备102的摄像头拍摄到待处理视频后，由视频处理设备102从待处理视频中提取第一步态能量图，并从数据库103处获取第二视频，从中提取得到第二步态能量图(或者从数据库103处获取第二步态能量图)。
以图1c所示应用场景为例，可由外部设备104向视频处理设备102提供待处理视频后，由视频处理设备102从待处理视频中提取第一步态能量图，并从数据库103处获取第二视频，从中提取得到第二步态能量图；或者，由外部设备104向视频处理设备102提供第一步态能量图，由视频处理设备102从数据库103处获取第二视频，从中提取得到第二步态能量图；或者，由外部设备104向视频处理设备102提供第一步态能量图，由视频处理设备102从数据库103处第二步态能量图。
以图1d所示应用场景为例，可由客户端向视频处理服务器107提供待处理视频后，由视频处理服务器107从待处理视频中提取第一步态能量图，并从数据库103处获取第二视频，从中提取得到第二步态能量图；或者，由客户端向视频处理服务器107提供第一步态能量图，由视频处理服务器107从数据库103处获取第二视频，从中提取得到第二步态能量图；或者，由客户端向视频处理服务器107提供第一步态能量图，由视频处理服务器107从数据库103处第二步态能量图。
在一个示例中，可由前述视频处理装置的第一获取单元11执行300部分，或由前述视频处理设备的通信接口3接收外部设备或客户端提供的待处理视频，或输入设备4(例如摄像头)拍摄待处理视频，或由处理器1从存储器2的图库中获取待处理视频等。
上述标识可由前述的第一获取单元11或处理器1分配。
301部分：将第一和第二步态能量图输入深度神经网络，由该深度神经网络进行第一步态识别。
在一个示例中，可由前述视频处理装置的第一获取单元11执行301部分的输入，或由处理器1执行。
302A部分：提取第一、第二步态能量图各自的身份信息，以及第一步态能量图和第二步态能量图的融合步态特征向量。
其中，任一步态能量图的身份信息可包括：该步态能量图的标识，以及该步态能量图的步态特征向量。
举例来讲，第一步态能量图的身份信息可包括：第一步态能量图的标识和第一步态能量图对应的步态特征向量；第二步态能量图的身份信息可包括：第二步态能量图的标识和第二步态能量图对应的步态特征向量。
而融合步态特征向量则由第一和第二步态能量图各自的步态特征向量共同决定。本文后续还将介绍如何得到融合步态特征向量。
更具体的，上述深度神经网络可包括身份信息提取层和融合步态特征向量提取层。
其中，上述身份信息提取层可至少包括第一提取层和第二提取层。
在一个示例中，请参见图5a，可由第一提取层提取输入的各步态能量图的第一级步态特征向量，并将第一级步态特征向量输入第二提取层，由第二提取层提取两步态能量图(例如第一步态能量图和第二步态能量图)各自的第二级步态特征向量。
而上述融合步态特征向量提取层则可将两步态能量图的第二级步态特征向量进行融合，得到第二级融合步态特征向量。
在另一个示例中，请参见图5b，可由融合步态特征向量提取层将输入的深度神经网络的两步态能量图(例如第一步态能量图和第二步态能量图)的第一级步态特征向量进行融合，得到第一级融合步态特征向量，并根据第一级融合步态特征向量提取得到第二级融合步态特征向量。
在此示例中，融合步态特征向量提取层可进一步包括融合层(用于将第一级步态特征向量融合得到第一级融合步态特征向量)和提取层(用于根据第一级融合步态特征向量提取得到第二级融合步态特征向量)。
在一个示例中，上述第一提取层和第二提取层可为逻辑分层，其进一步可包括多个特征向量提取层以提取图像特征向量，其中，越靠近输入的特征向量提取层，提取出的特征向量级别越低，越靠近输出的特征向量提取层提取出的特征向量级别越高。
例如，请参见图5c，身份提取层可分别包含两个通道(每一通道均包含第一提取层和第二提取层)，用于分别提取两步态能量图的步态特征向量，在任一通道中，可先提取低级步态特征向量，再通过对低级步态特征向量的组合，提取出更高层次的步态特征向量。因为需要对两步态能量图做相同的操作，所以第一提取层中的两个通道可共享权重。
举例来讲，通道中的第一个特征向量提取层提取出的步态特征向量级别最低，一般为边、角、曲线等(对应cov-16，其中“cov”表示卷积，16表示滤波器的个数，滤波器的个数决定提取出的步态特征向量的维度)，第二个特征向量提取层用来提取第一提取层输出的步态特征向量的组合特征向量(对应cov-64)，以此类推。则提取出的步态特征向量的级别可从低级到中级再到高级/抽象(语义级别)，其中，图5c中的“FC”表示连接层，“FC-2048”表示一个有2048个神经元的连接层，其提取出的特征向量为2048维。当然，也可将低级和中级统称为低级。
至于，融合步态特征向量提取层(也可认为是独立于身份提取层两个通道之外的另一个通道)，其可将低级步态特征向量串在一起得到低级融合步态特征向量，再进一步的提取出更高层次的融合步态特征向量(中级融合步态特征向量)，直至得到高级融合步态特征向量。
或者，融合步态特征向量提取层也可将中级步态特征向量串在一起得到中级融合步态特征向量，再进一步的提取出更高层次的融合步态特征向量。
或者，融合步态特征向量提取层也可直接将高级步态特征向量串在一起得到高级融合步态特征向量。
在图5c所示中，可将低级步态特征向量和中级步态特征向量统称为第一级步态特征向量。当然，也可认为第一级步态特征向量包含最终的中级步态特征向量。
当然，若在融合步态特征向量提取层将低级步态特征向量串在一起得到低级融合步态特征向量的场景下，第一级步态特征向量可仅包含低级步态特征向量。
本领域技术人员可根据需要进行灵活设计，在此不作赘述。
此外，需要说明的是，图5c所示的示例也可理解为：前6层网络结构分别提取了一对步态能量图各自的步态特征向量，之后分成两部分独立的操作，第一部分的操作包括：在第7层网络结构中，将各自的步态特征向量进行融合，得到融合步态特征向量，并进一步的可对融合步态特征向量进行更高层次的提取；第二部分的操作包括：继续提取一对步态能量图各自的步态特征向量，得到最终的高级步态特征向量。
在本实施例中，上述深度神经网络事先可经过训练，对其参数进行调整。
并且，本实施例的深度神经网络在训练过程中进行参数调整时，不仅考虑了不同步态能量图的融合步态特征向量，同时考虑了步态能量图隐含的身份信息，这样训练出的深度神经网络可以更加有效得提取出更具区分性的步态特征向量，同时，由于融合步态特征向量由两步态能量图的步态特征向量共同决定，则融合步态特征向量相应也更具区分性，进而可得到更为准确的相似度。
302B部分：至少根据提取的融合步态特征向量计算相似度。
相似度具体可为百分比，表征二者有百分之多少的机率对应同一对象。例如，若相似度为60％，表征二者有百分之六十的机率是同一人。
在一个示例中，可只根据融合步态特征向量计算相似度。
在另一个示例中，也可以根据上述融合步态特征向量计算得到第一相似度，根据两步态能量图的身份信息计算得到第二相似度，然后求二者的加权和(最简单的是相加再除以2，取平均值)，得到最终的相似度。
例如，假定根据融合步态特征向量计算得到第一相似度为80％，根据身份信息计算得到第二相似度为60％，则最终的相似度则为(80％+60％)/2＝70％。
如何计算相似度有多种方式，在此不作赘述。
上述302A和302B部分即为由深度神经网络执行的第一步态识别，在一个示例中，可由前述视频处理装置的步态识别单元12执行302A和302B部分，或由处理器1执行。
在另一个示例中，请参见图5a和图5b，上述深度神经网络可包括相似度计算层，可由相似度计算层执行302B部分。
303部分：深度神经网络输出识别结果。
在一个示例中，识别结果可包括上述相似度。
此外，识别结果也可包括标识输入的两幅步态能量图是否属于同一对象的信息。举例来讲，可以数值“1”表示二者属于同一对象，以“0”表示二者属于不同的对象。
更具体的，深度神经网络可每对一组(两幅)步态能量图进行第一步态识别后，即输出一次识别结果。
或者，深度神经网络可在完成一批第一步态识别后，输出一次识别结果。
举例来讲，假定对象A的身份待识别，数据库中有10个身份已知对象的视频，从而可得到10个第二步态能量图。则按照某一顺序，深度神经网络可逐个计算对象A的第一步态能量图与10个第二步态能量图的相似度，在计算完成后，深度神经网络才输出识别结果。则上述识别结果可包括10个相似度。当然，上述识别结果还可包括标识两步态能量图是否属于同一对象的信息。
在另一个示例中，上述识别结果还可包括第一、第二步态能量图属于不同对象的概率。该概率可通过“1-相似度”来计算得到。举例来讲，第一和第二步态能量图的相似度为80％，则第一和第二步态能量图属于不同对象的概率为20％。
至于如何确定第一和第二步态能量图是否属于同一对象，可进行如下操作：
若相似度满足识别条件，确定第一步态能量图和第二步态能量图对应同一对象，否则，确定对应不同的对象。
上述识别条件包括：相似度不小于相似度阈值或者相似度大于所述相似度阈值。
举例来讲，假定相似度阈值为80％，若两步态能量图的相似度为70％，则认为二者并非同一人，而如果两步态能量图的相似度大于(或等于)80％，则认为二者是同一人。
前已述及，数据库存储有身份已知的对象的视频或步态能量图，则在本发明另一实施例中，可逐个计算数据库中身份已知对象的第二步态能量图与第一步态能量图的相似度，直至某身份已知对象的第二步态能量图与第一步态能量图的相似度满足识别条件或计算完所有身份已知对象的第二步态能量图与第一步态能量图的相似度。
举例来讲，对象A的身份待识别，数据库中有10个身份已知对象的视频。则按照某一顺序，逐个计算对象A的第一步态能量图与10个身份已知的对象的第二步态能量图的相似度，直到有相似度满足上述识别条件或计算出10个相似度。
当然，在本发明其他实施例中，也可计算完所有身份已知对象的第二步态能量图与第一步态能量图的相似度，再根据识别条件去判定两步态能量图是否属于同一对象。
此外，根据需要，深度神经网络还可输出两步态能量图各自的步态特征向量。例如，在训练过程中，深度神经网络可输出步态能量图各自的步态特征向量，以便进行损失值的计算。
综上，本实施例中的深度神经网络在训练过程中是根据身份信息和相似度进行了滤波器参数调整，也即，在参数调整时，不仅考虑了不同步态能量图的融合步态特征向量，同时考虑了步态能量图隐含的身份信息，这样可以更加有效得提取出更具区分性的步态特征向量。而由于融合步态特征向量由两步态能量图的步态特征向量决定，则融合步态特征向量相应也更具区分性，进而可得到更为准确的相似度。
下面，将介绍如何训练深度神经网络。
需要说明的是，深度神经网络中有多个滤波器，训练的主要目的是对滤波器参数进行调整。因此，神经网络训练或者优化的过程也可理解为调整滤波器参数以最小化损失函数的损失值的过程(损失值小了，对应预测/输出结果和真实结果就越接近)。
在现有训练过程中，采用的损失函数多体现的是分类损失，即判断两步态能量图的类别(此处类别指的是区别不同的人)，无法确保提取的对应同一个人的步态特征向量尽可能相似，而提取的来自不同人的步态特征向量尽可能远离，因此无法保证提取的步态特征向量有很好的区分性。
为解决上述问题，本申请实施例提供的训练过程的训练目标包括:令从同一对象的不同步态能量图中提取的步态特征向量相似，从不同对象的步态能量图中提取的步态特征向量相远离。
同时，本申请实施例还提供了新的损失函数，以通过训练达到上述训练目标。
上述新的损失函数包括身份信息损失函数和融合步态特征向量损失函数。
图6和图7示出了基于上述新的损失函数的一种示例性训练过程，其至少可包括如下步骤：
S600：获取训练样本。
其中，每一训练样本可包括n个训练子样本，任一训练子样本可包括两幅(一对)身份已知的对象的步态能量图。上述n可为正整数。
具体的，可由前述的获取单元11或训练单元13或处理器1执行600部分。
S601：由深度神经网络对训练样本中的每一训练子样本执行第二步态识别。
第二步态识别可包括：提取训练子样本中两幅步态能量图各自的身份信息以及上述两幅步态能量图的融合步态特征向量，并至少根据提取的融合步态特征向量计算上述两幅步态能量图的相似度。
第二步态识别与前述的第一步态识别相类似，具体细节可参见前述302A和302B部分的介绍，在此不作赘述。
可由前述的步态识别单元12或训练单元13或处理器1执行601部分。
S602：根据在步态识别中提取的身份信息，使用身份信息损失函数计算训练样本的身份损失值。
其中，身份损失值越小，表征从同一对象不同步态能量图中提取的步态特征向量越相似，而从不同对象的步态能量图中提取的步态特征向量越远离。
S603：计算训练样本的融合损失值。
602部分和603部分的执行顺序可调换，也可并列执行。
S604：对融合损失值和身份损失值求加权和，得到训练样本的最终损失值；
举例来讲，假定以a表示融合损失值，以b表示身份损失值，以c表示最终损失值，则三者之间的关系可为：
c＝a+ηub,或c＝ηca+b,或c＝ηca+ηub。
本领域技术人员可根据需要灵活设计ηu、ηc的取值，在此不作赘述。
S605：根据至少一个训练样本的最终损失值调整深度神经网络的滤波器参数。
在实际上，为节约时间提高效率，一般是训练多个训练样本(例如64个样本)后，统一调整一次滤波器参数。则可分别计算各训练样本的最终损失值后，根据各最终损失值调整滤波器参数。
可由前述的训练单元13或处理器1执行602-605部分。
在本实施例中，以从同一对象的不同步态能量图中提取的步态特征向量相似，从不同对象的步态能量图中提取的步态特征向量相远离的训练目标去训练深度神经网络，可以使提取的同一个人的步态特征向量尽可能相似，而提取的来自不同人的步态特征向量尽可能远离，从而可令提取出的步态特征向量有很好的区分性，进而可得到更为准确的相似度。
前述提及了，训练样本可包括n个训练子样本，下面以一个训练样本包括3个子样本(即包含3对步态能量图)为例，对训练过程进行更为详细的记载。
针对一个训练样本包含3个子样本的情况，图8示出了训练构架。图9则示出了基于上述新的损失函数的一种示例性训练过程，其至少可包括如下步骤：
S900：获取训练样本。
在本实施例中，每一训练样本包括第一至第三训练子样本(第一、第二、第三只用于区分，并不表征输入深度神经网络的顺序)，第一至第三训练子样本的组合方式可包括：
第一组合方式：第一训练子样本中的两幅步态能量图对应同一对象；第二训练子样本中的两幅步态能量图对应不同的对象；第三训练子样本中的两幅步态能量图对应不同的对象；
第二组合方式：第一训练子样本中的两幅步态能量图对应同一对象；第二训练子样本的两幅步态能量图对应同一对象；第三训练子样本中的两幅步态能量图对应不同对象。
具体的，可由前述的第一获取单元11或训练单元13或处理器1执行900部分。
S901：由深度神经网络对训练样本中的每一训练子样本执行第二步态识别。
如何进行第二步态识别，可参见前述302A和302B部分的介绍，在此不作赘述。
可由前述的步态识别单元12或训练单元13或处理器1执行901部分。
S902部分：当训练样本中第一至第三训练子样本的组合方式为上述第一种组合方式时，采用第一身份损失函数计算该训练样本的身份损失值。
第一身份损失函数为：
Figure BDA0001627079160000171
其中，Lu表示身份损失值，η表示系数(取值范围为0-1)，
Figure BDA0001627079160000172
表示欧氏距离；
p、g、p′、g′、p″和g″表示步态能量图的标识，Xp和Xg表示第一训练子样本中的一对步态能量图(也可将Xp称为第一步态能量图，将Xg称为第二步态能量图)，Xp′和Xg′表示第二训练子样本中的一对步态能量图(也可将Xp′称为第三步态能量图，将Xg′称为第四步态能量图)，Xp″和Xg″表示第三训练子样本的一对步态能量图(也可将Xp″称为第五步态能量图，将Xg″称为第六步态能量图)，并且，Xp与Xp′对应同一对象，Xp与Xp″对应不同对象；
U(Xp)至U(Xg″)表示各步态能量图的步态特征向量。
需要说明的是：
第一身份损失函数中的
Figure BDA0001627079160000181
表示第一训练子样本中两步态特征向量的欧氏距离。由于Xp和Xg对应同一对象，为了令从同一对象的不同步态能量图中提取的步态特征向量相似，则通过调整滤波器参数，应使
Figure BDA0001627079160000182
尽可能小(趋近于0)。
而Xp′和Xg′对应不同的对象，为了令从不同对象的步态能量图中提取的步态特征向量相远离，则通过调整滤波器参数，应使
Figure BDA0001627079160000183
尽可能大(趋近于1)。
进一步的，在
Figure BDA0001627079160000184
尽可能小，
Figure BDA0001627079160000185
尽可能大时，第一身份损失函数中的
Figure BDA0001627079160000186
也会尽可能小
同理，在
Figure BDA0001627079160000187
尽可能小，
Figure BDA0001627079160000188
尽可能大时，第一身份损失函数中的
Figure BDA0001627079160000189
也会尽可能小。
可见，上述第一身份损失函数体现了训练目标：从同一对象的不同步态能量图中提取的步态特征向量相似，从不同对象的步态能量图中提取的步态特征向量相远离。
S903部分：当训练样本中第一至第三训练子样本的组合方式为上述第二种组合方式时，采用第二身份损失函数计算该训练样本的身份损失值。
第二身份损失函数可为：
Figure BDA00016270791600001810
其中，Xp与Xp′对应同一对象，Xp与Xp″对应不同对象。
在第二种组合中，Xp和Xg对应同一对象，Xp′和Xg′对应同一对象，Xp与Xp″对应不同对象，所以
Figure BDA00016270791600001811
希望其尽可能大，应作为被减数。
第二身份损失函数同样也体现了训练目标：从同一对象的不同步态能量图中提取的步态特征向量相似，从不同对象的步态能量图中提取的步态特征向量相远离。
S904部分：使用融合步态特征向量损失函数计算训练样本的融合损失值。
在一个示例中，可计算每一训练子样本对应的融合损失子值，然后累加各训练子样本的融合损失子值，得到融合损失值。
融合步态特征向量损失函数可有多种表现形式。
若计算交叉熵作为融合损失值，则在一个示例中，计算某训练子样本的融合损失子值(交叉熵)的融合步态特征向量损失函数可为：
Lc＝-P(xab)logQ(xab)。
其中，a,b表示任一训练子样本中的一对步态能量图的标识，xab表示该训练子样本中的一对步态能量图对，P(xab)表示该对步态能量图所对应的标签的分布情况(真实结果/真实标签分布)，Q(xab)表示待训练的深度神经网络的预测结果(预测的识别结果)。
举例来讲，若两步态能量图a和b对应同一对象，则其真实的标签分布为“1，0”，其中的“1”表示两步态能量图来自同一对象的概率为100％，“0”表示两步态能量图来自不同对象的概率为0％。
假定预测的识别结果为“0.7,0.3”，则可求“1，0”与“0.7,0.3”的交叉熵。
而若两步态能量图a和b对应不同的对象，则其标签的真实分布为“0，1”，其中的“0”表示两步态能量图来自同一对象的概率为0％，“1”表示两步态能量图来自不同对象的概率为100％。
假定预测的识别结果为“0.7,0.3”，则可求“0，1”与“0.7,0.3”的交叉熵。
而在另一个示例中，融合步态特征向量损失函数可依据前述不同的组合包含第一融合步态特征向量损失函数和第二融合步态特征向量损失函数。
对应前述第一种组合，第一融合步态特征向量损失函数为：
Lc＝-[(P(xpg)logQ(xpg)+P(xp′g′)logQ(xp′g′))
+μg(P(xpg)logQ(xpg)+P(xp″g″)logQ(xp″g″))
+ηcg{||δ-D[C(xpg,xpp′),C(xpg,xpg″)]+D[C(xpg,xpp′),C(xpg,xgp′)]||+
+μg||δ-D[C(xpg,xpp′),C(xpg,xpg′)]+D[C(xpg,xpp′),C(xpg,xgp′)]||+}
其中，Lc表示融合损失值，μ和ηc表示加权系数，其取值可为0-1之间，δ表示松弛因子，其取值范围是0-1，||*||+表示将值与0比较，取二者中的较大值，也即，max(*，0)；
xpg表示步态能量图p、g组成的步态能量图对，以此类推，xpg至xgp′表示步态能量图对，C(*)为概率计算函数，用于计算两步态能量图对之间标签分布相同的概率；
以C(xpg,xp″g″)为例，其计算的是步态能量图对xpg与步态能量图对xp″g″标签分布相同的概率；而以C(xpg,xpg″)为例，其计算的是步态能量图对xpg与步态能量图对xpg″标签分布相同的概率。
前述提及了若两幅步态能量图对应同一对象，则其标签分布为“1，0”，否则，其标签分布为“0，1”。
以步态能量图对xpg为例，若步态能量图p、g对应同一对象，则xpg的标签真实分布为“1,0”，而若步态能量图p、g对应不同对象，则xpg标签分布为“0,1”，同理可推知其他步态能量图对的标签真实分布。
D[*]表示欧氏距离，以D[C(xpg,xp″g″),C(xpg,xpg″)]为例，其计算的是概率a与概率b的距离，其中，概率a为xpg与xp″g″标签分布相同的概率，概率b为xpg与xpg″标签分布相同的概率。
理论上，如果xpg与xp″g″的标签分布相同(例如均为“1,0”或“0,1”)，并且，xpg与xpg″的标签分布相同，则D[C(xpg,xp″g″),C(xpg,xpg″)]应为0。
或者，如果xpg与xp″g″的标签分布不相同，并且xpg与xp″g″的标签分布也不相同，则D[C(xpg,xp″g″),C(xpg,xpg″)]应为0。
而如果xpg与xp″g″的标签分布相同(例如均为“1,0”或“0,1”)，但xpg与xpg″的标签分布不同，或者，xpg与xp″g″的标签分布不相同，但xpg与xpg″的标签分布相同，则D[C(xpg,xp″g″),C(xpg,xpg″)]越大越好。
实际上，在上述第一组合中，p、g、p′对应同一对象；而“p、g′、p″、g″”、“g、g′、p″、g″”或“g′、p″、g″”对应不同的对象。则可在p、g、p′中任选两个步态能量图进行组合，得到标签为“1,0”的步态能量图对，同理，可从“p、g′、p″、g″”、“g、g′、p″、g″”或“g′、p″、g″”中任选两个步态能量图进行组合，得到标签为“0,1”的步态能量图对。根据步态能量对之间标签相同或不同的关系，填入C函数中的不同位置，可获得另外的第一融合步态特征向量损失函数。
综上，如果将C函数中的两步态能量图对视为一个计算样本，则D[*]计算的是两个计算样本之间标签分布相同的概率的距离。
则在训练中，通过调整滤波器参数应使其达到如下训练目标：
对于两计算样本，若第一计算样本中的两步态能量图对的标签真实分布相同，而第二计算样本中的两步态能量图的标签真实分布不相同，则第一计算样本对应的第一概率与第二计算样本对应的第二概率相远离，否则，第一概率与第二概率相近。其中，第一概率为：第一计算样本中两步态能量图对之间标签分布相同的概率，第二概率为第二计算样本中两步态能量图对之间标签分布相同的概率。
对应第二种组合，满足上训练目标的第二融合步态特征向量损失函数为：
Lc＝-[(P(xpg)logQ(xpg)+P(xp′g′)logQ(xp′g′))
+μg(P(xpg)logQ(xpg)+P(xp″g″)logQ(xp″g″))
+ηcg{||δ-D[C(xpg,xpp′),C(xpg,xpg″)]+D[C(xpg,xpp′),C(xpg,xgp′)]||+
+μg||δ-D[C(xpg,xpp′),C(xpg,xpg′)]+D[C(xpg,xpp′),C(xpg,xgp′)]||+}
在第二种组合中，p、g、p′、g′来自同一对象，而“p、p″、g″”或“g、p″、g″”对应不同的对象。则可在p、g、p′、g′中任选两个步态能量图进行组合，得到标签为“1,0”的步态能量图对，同理，可从“p、p″、g″”或“g、p″、g″”中任选两个步态能量图进行组合，得到标签为“0,1”的步态能量图对。根据步态能量对之间标签相同或不同的关系，填入C函数的不同位置，可获得另外的第二融合步态特征向量损失函数。
上述融合步态特征向量损失函数一方面可对每组步态能量图进行分类，另一方面根据每两组步态能量图的特点，如果来自同一类，则尽可能拉近，如果来自不同的类，则尽可能推远。
S905：对融合损失值和身份损失值求加权和，得到训练样本的最终损失值。
905与前述604部分相类似，在此不作赘述。
S906：根据至少一个训练样本的最终损失值调整深度神经网络中的滤波器参数。
906与前述605部分相类似，在此不作赘述。
可由前述的训练单元13或处理器1执行902-905部分。
需要说明的是，在图8中，F1-F3表示步态能量图对，D(C(F1),C(F2))中的D(*)表示距离，C表示概率计算函数，ID(＝)表示来自同一对象的概率，I D(≠)来自不同对象的概率。
在本实施例中，各训练子样本送入之后，可利用深度神经网络提取各步态能量图的步态特征向量，然后融合起来，之后使用损失函数进行调节待训练的深度神经网络：一方面对每组步态能量图进行分类，另一方面根据每两组的特点，如果来自同一类，则将特征向量尽可能拉近，如果来自不同的类，则将特征向量尽可能推远。等到网络训练完毕之后，我们即可以使用训练好的深度神经网络，对步态进行识别。
本发明实施例还要求保护视频处理设备，其至少包括处理器和存储器，该处理器通过执行存储器中存放的程序以及调用其他设备，执行上述的视频处理方法。
本发明实施例还要求保护一种存储介质，该存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明任一实施例所提供的视频处理方法中的步骤。
步态属于姿态的一种，因此，本发明实施例还要求保护图像处理方法、图像处理装置、图像处理设备及存储介质，以实现姿态识别。
上述图像处理方法包括：
获取身份待识别的对象的第一姿态能量图(或第一姿态图)，以及；
获取身份已知的对象的第二姿态能量图(或第二姿态图)；
将第一姿态能量图和第二姿态能量图输入深度神经网络，进行第一姿态识别；
其中，第一姿态识别包括：
提取第一、第二姿态能量图对应的身份信息，以及，融合姿态特征向量；
至少根据提取的融合姿态特征向量，计算第一和第二姿态能量图的相似度。
本实施例中的身份信息、融合姿态特征向量与前述的身份信息和融合步态特征向量相类似，在此不作赘述。
需要说明的是，身份待识别的对象可为人类，也可为动物甚至不具有生命的移动或静止的事物。
上述图像处理装置可以软件或硬件的形式应用于图像处理设备中。具体的，图像处理设备可为提供步态识别服务的服务器或个人电脑(PC)，也可以是诸如数码相机、移动终端(例如智能手机)、ipad等的终端。
当以软件形式应用于图像处理设备中时，上述图像处理装置可为独立的软件。当然，也可作为大型系统(例如操作系统)的子系统(子组件)，提供步态识别服务。
当以硬件形式应用于图像处理设备中时，上述图像处理装置示例性的可为终端或服务器的控制器/处理器。
上述视频处理方法的另一应用场景示例性得可参见图10所示：图像处理设备1001获取身份待识别的第一姿态能量图，并基于数据库1002中身份已知的对象的第二姿态能量图进行第一姿态识别。
此外，若深度神经网络需要进行训练，则上述场景中还可包括训练设备1003。当然，训练设备1003的功能也可由图像处理设备1001实现。训练设备1003可用于训练深度神经网络，或者，提供训练用的样本。
图像处理装置的一种示例性结构如图11所示，包括：第二获取单元111和姿态识别单元112。
其中，第二获取单元111用于：
获取身份待识别的对象的第一姿态能量图，以及；
获取身份已知的对象的第二姿态能量图；
姿态识别单元112包括深度神经网络，该深度神经网络可用于对第二获取单元111提供的第一姿态能量图和第二姿态能量图进行第一姿态识别。
第一姿态识别请参见前述介绍，在此不作赘述。
在本发明其他实施例中，请参见图11b，上述图像处理装置还可进一步包括：训练单元113，用于执行训练过程。
训练过程会涉及到第二姿态识别，第二姿态识别与第一姿态识别类似，在此不作赘述。
另外，本实施例中的训练过程与前述实施例的训练过程相类似、训练目标与前述实施例的训练目标相类似，公式也相类似，在此不作赘述。
图像处理设备的另一种可能的结构示意图可参见图2c，在此不作赘述。
本发明实施例还要求保护视频处理设备，其至少包括处理器和存储器，该处理器通过执行存储器中存放的程序以及调用其他设备，执行上述的图像处理方法。
本发明实施例还要求保护一种存储介质，该存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的图像处理方法中的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种视频处理方法，其特征在于，包括：
获取待处理视频，所述待处理视频中的视频帧包括身份待识别的对象；
根据所述待处理视频生成第一步态能量图；
获取身份已知的对象的视频的第二步态能量图；所述第一步态能量图和第二步态能量图分别对应唯一的标识；
将所述第一步态能量图和第二步态能量图输入深度神经网络，进行第一步态识别；
其中，所述第一步态识别包括：
提取所述第一、第二步态能量图对应的身份信息，以及，所述第一步态能量图和第二步态能量图的融合步态特征向量；
根据提取的融合步态特征向量计算所述第一、第二步态能量图的第一相似度；
根据所述第一、第二步态能量图对应的身份信息，计算所述第一、第二步态能量图的第二相似度；
根据所述第一相似度和所述第二相似度确定所述第一、第二步态能量图的最终相似度；
所述第一步态能量图的身份信息包括所述第一步态能量图的标识和所述第一步态能量图的步态特征向量，所述第二步态能量图的身份信息包括所述第二步态能量图的标识和所述第二步态能量图的步态特征向量；所述融合步态特征向量由所述第一步态能量图和第二步态能量图的步态特征向量决定。
2.如权利要求1所述的方法，其特征在于，
所述深度神经网络在训练过程中根据身份信息和融合步态特征向量进行了滤波器参数调整；
所述训练过程的训练目标包括：
从同一对象的不同步态能量图中提取的步态特征向量相似，从不同对象的步态能量图中提取的步态特征向量相远离。
3.如权利要求2所述的方法，其特征在于，所述训练过程中使用的每一训练样本包括n个训练子样本，任一所述训练子样本包括两幅身份已知的对象的步态能量图，所述n为正整数；
所述训练过程包括：
使用所述深度神经网络对所述训练样本中的每一训练子样本执行第二步态识别；其中，所述第二步态识别包括：提取所述训练子样本中两幅步态能量图各自的身份信息以及所述两幅步态能量图的融合步态特征向量，并至少根据提取的融合步态特征向量计算所述两幅步态能量图的相似度；
根据在所述第二步态识别中提取的身份信息，使用身份信息损失函数计算所述训练样本的身份损失值；所述身份损失值越小，表征从同一对象不同步态能量图中提取的步态特征向量越相似，而从不同对象的步态能量图中提取的步态特征向量越远离；
使用融合步态特征向量损失函数计算所述训练样本的融合损失值；
对所述融合损失值和身份损失值求加权和，得到所述训练样本的最终损失值；
根据至少一个训练样本的最终损失值调整所述深度神经网络的滤波器参数。
4.如权利要求3所述的方法，其特征在于，
所述n＝3，所述训练样本包括第一至第三训练子样本，所述第一至第三训练子样本的组合方式包括：
第一组合方式：所述第一训练子样本中的两幅步态能量图对应同一对象；所述第二训练子样本中的两幅步态能量图对应不同的对象；所述第三训练子样本中的两幅步态能量图对应不同的对象；
或者，
第二组合方式：所述第一训练子样本中的两幅步态能量图对应同一对象；所述第二训练子样本的两幅步态能量图对应所述同一对象；所述第三训练子样本中的两幅步态能量图对应不同的对象。
5.如权利要求4所述的方法，其特征在于，当所述第一至第三训练子样本为所述第一种组合方式时，采用第一身份损失函数计算所述训练样本的身份损失值；所述第一身份损失函数包括：
Figure FDA0003849766040000031
其中，Lu表示身份损失值，η表示系数，
Figure FDA0003849766040000032
表示欧氏距离；
p、g、p′、g′、p″和g″表示步态能量图的标识，Xp和Xg表示第一训练子样本中的一对步态能量图，Xp′和Xg′表示第二训练子样本中的一对步态能量图，Xp″和Xg″表示第三训练子样本的一对步态能量图，并且，Xp与Xp′对应同一对象，Xp与Xp″对应不同对象；
U(Xp)至U(Xg″)表示各步态能量图的步态特征向量。
6.如权利要求4所述的方法，其特征在于，当所述第一至第三训练子样本为所述第二种组合方式时，采用第二身份损失函数计算所述训练样本的身份损失值；所述第二身份损失函数包括：
Figure FDA0003849766040000033
其中，Lu表示身份损失值，η表示系数，
Figure FDA0003849766040000034
表示欧氏距离；
p、g、p′、g′、p″和g″表示步态能量图的标识，Xp和Xg表示第一训练子样本中的一对步态能量图，Xp′和Xg′表示第二训练子样本中的一对步态能量图，Xp″和Xg″表示第三训练子样本的一对步态能量图，并且，Xp与Xp′对应同一对象，Xp与Xp″对应不同对象；
U(Xp)至U(Xg″)表示各步态能量图的步态特征向量。
7.如权利要求5或6所述的方法，其特征在于，所述训练目标还包括：
若第一计算样本中两对步态能量图对的真实标签分布相同，而第二计算样本中两对步态能量图对的真实标签分布不相同，令所述第一计算样本对应的第一概率与第二计算样本对应的第二概率相远离，否则，令所述第一概率与所述第二概率相接近；
其中，所述第一计算样本和第二计算样本分别包括两对步态能量图对；
所述第一概率为所述第一计算样本中两对步态能量图对之间标签分布相同的预测概率，所述第二概率为所述第二计算样本中两对步态能量图对之间标签分布相同的预测概率。
8.如权利要求7所述的方法，其特征在于，当所述第一至第三训练子样本为所述第一种组合方式时，所述融合步态特征向量损失函数包括第一融合步态特征向量损失函数；所述第一融合步态特征向量损失函数包括：
Lc＝-[(P(xpg)logQ(xpg)+P(xp′g′)logQ(xp′g′))+μg(P(xpg)logQ(xpg)+P(xp″g″)logQ(xp″g″))+ηcg{||δ-D[C(xpg,xpp′),C(xpg,xpg″)]+D[C(xpg,xpp′),C(xpg,xgp′)]||++μg||δ-D[C(xpg,xpp′),C(xpg,xpg′)]+D[C(xpg,xpp′),C(xpg,xgp′)]||+}
其中，Lc表示融合损失值；μ和ηc表示加权系数，δ表示松弛因子；xpg至xgp′表示各步态能量图对；P(*)表示一步态能量图对所对应的真实标签分布；Q(*)表示所述深度神经网络对所述步态能量图对的预测结果；P(*)logQ(*)表示对真实标签分布和预测结果求交叉熵；||*||+表示将值与0比较，取二者中的较大值；C(*)为概率计算函数，用于计算第一计算样本或第二计算样本中两步态能量图对之间标签分布相同的预测概率；D[*]函数用于计算第一计算样本和第二计算样本的欧氏距离。
9.如权利要求7所述的方法，其特征在于，当所述第一至第三训练子样本为所述第二种组合方式时，所述融合步态特征向量损失函数包括第二融合步态特征向量损失函数；所述第二融合步态特征向量损失函数包括：
Lc＝-[(P(xpg)logQ(xpg)+P(xp′g′)logQ(xp′g′))+μg(P(xpg)logQ(xpg)+P(xp″g″)logQ(xp″g″))+ηcg{||δ-D[C(xpg,xpp′),C(xpg,xpg″)]+D[C(xpg,xpp′),C(xpg,xgp′)]||++μg||δ-D[C(xpg,xpp′),C(xpg,xpg′)]+D[C(xpg,xpp′),C(xpg,xgp′)]||+}
其中，Lc表示融合损失值；μ和ηc表示加权系数，δ表示松弛因子；xpg至xgp′表示各步态能量图对；P(*)表示一步态能量图对所对应的真实标签分布；Q(*)表示所述深度神经网络对所述步态能量图对的预测结果；P(*)logQ(*)表示对真实标签分布和预测结果求交叉熵；||*||+表示将值与0比较，取二者中的较大值；C(*)为概率计算函数，用于计算第一计算样本或第二计算样本中两步态能量图对之间标签分布相同的预测概率；D[*]函数用于计算第一计算样本和第二计算样本的欧氏距离。
10.一种视频处理装置，其特征在于，包括第一获取单元和步态识别单元；
所述步态识别单元包括深度神经网络；
所述第一获取单元，用于获取待处理视频，所述待处理视频中的视频帧包括身份待识别的对象；根据所述待处理视频生成第一步态能量图，以及，获取身份已知的对象的视频的第二步态能量图；所述第一步态能量图和第二步态能量图分别对应唯一的标识；
所述深度神经网络，用于对所述第一获取单元获取的所述第一步态能量图和第二步态能量图进行第一步态识别；
其中，所述第一步态识别包括：
提取所述第一、第二步态能量图对应的身份信息，以及，所述第一步态能量图和第二步态能量图的融合步态特征向量；
根据提取的融合步态特征向量计算所述第一、第二步态能量图的第一相似度；
根据所述第一、第二步态能量图对应的身份信息，计算所述第一、第二步态能量图的第二相似度；
根据所述第一相似度和所述第二相似度确定所述第一、第二步态能量图的最终相似度；
所述第一步态能量图的身份信息包括所述第一步态能量图的标识和所述第一步态能量图的步态特征向量，所述第二步态能量图的身份信息包括所述第二步态能量图的标识和所述第二步态能量图的步态特征向量；所述融合步态特征向量由所述第一步态能量图和第二步态能量图的步态特征向量决定。
11.一种视频处理设备，其特征在于，至少包括处理器和存储器；所述处理器通过执行所述存储器中存放的程序以及调用其他设备，执行如权利要求1-9任一项所述的视频处理方法。
12.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1-9任一项所述的视频处理方法中的步骤。
13.一种图像处理方法，其特征在于，包括：
获取身份待识别的对象的第一姿态能量图，以及；
获取身份已知的对象的第二姿态能量图；所述第一姿态能量图和第二姿态能量图分别对应唯一的标识；
将所述第一姿态能量图和第二姿态能量图输入深度神经网络，进行第一姿态识别；
其中，所述第一姿态识别包括：
提取所述第一、第二姿态能量图对应的身份信息，以及，所述第一姿态能量图和第二姿态能量图的融合姿态特征向量；
根据提取的融合姿态特征向量计算所述第一、第二姿态能量图的第一相似度；
根据所述第一、第二姿态能量图对应的身份信息，计算所述第一、第二姿态能量图的第二相似度；
根据所述第一相似度和所述第二相似度确定所述第一、第二姿态能量图的最终相似度；
所述第一姿态能量图的身份信息包括所述第一姿态能量图的标识和所述第一姿态能量图的姿态特征，所述第二姿态能量图的身份信息包括所述第二姿态能量图的标识和所述第二姿态能量图的姿态特征；所述融合姿态特征向量由所述第一姿态能量图和第二姿态能量图的姿态特征决定。
14.一种图像处理装置，其特征在于，包括第二获取单元和姿态识别单元；
所述姿态识别单元包括深度神经网络；
所述第二获取单元，用于获取身份待识别的对象的第一姿态能量图，以及；
获取身份已知的对象的第二姿态能量图；所述第一姿态能量图和第二姿态能量图分别对应唯一的标识；
所述深度神经网络，用于对所述第一姿态能量图和第二姿态能量图进行第一姿态识别；
其中，所述第一姿态识别包括：
提取所述第一、第二姿态能量图对应的身份信息，以及，所述第一姿态能量图和第二姿态能量图的融合姿态特征向量；
根据提取的融合姿态特征向量计算所述第一、第二姿态能量图的第一相似度；
根据所述第一、第二姿态能量图对应的身份信息，计算所述第一、第二姿态能量图的第二相似度；
根据所述第一相似度和所述第二相似度确定所述第一、第二姿态能量图的最终相似度；
所述第一姿态能量图的身份信息包括所述第一姿态能量图的标识和所述第一姿态能量图的姿态特征，所述第二姿态能量图的身份信息包括所述第二姿态能量图的标识和所述第二姿态能量图的姿态特征；所述融合姿态特征向量由所述第一姿态能量图和第二姿态能量图的姿态特征决定。
15.一种图像处理设备，其特征在于，至少包括处理器和存储器；所述处理器通过执行所述存储器中存放的程序以及调用其他设备，执行如权利要求13所述的图像处理方法。
CN201810327638.4A 2018-04-12 2018-04-12 视频处理方法及相关装置，图像处理方法及相关装置 Active CN110378170B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201810327638.4A CN110378170B (zh) 2018-04-12 2018-04-12 视频处理方法及相关装置，图像处理方法及相关装置
CN201910848859.0A CN110472622B (zh) 2018-04-12 2018-04-12 视频处理方法及相关装置，图像处理方法及相关装置
CN201910848288.0A CN110443232B (zh) 2018-04-12 2018-04-12 视频处理方法及相关装置，图像处理方法及相关装置
JP2020545244A JP7089045B2 (ja) 2018-04-12 2019-03-22 メディア処理方法、その関連装置及びコンピュータプログラム
PCT/CN2019/079156 WO2019196626A1 (zh) 2018-04-12 2019-03-22 媒体处理方法及相关装置
EP19784939.1A EP3779775B1 (en) 2018-04-12 2019-03-22 Media processing method and related apparatus
US16/903,929 US11335127B2 (en) 2018-04-12 2020-06-17 Media processing method, related apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810327638.4A CN110378170B (zh) 2018-04-12 2018-04-12 视频处理方法及相关装置，图像处理方法及相关装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201910848859.0A Division CN110472622B (zh) 2018-04-12 2018-04-12 视频处理方法及相关装置，图像处理方法及相关装置
CN201910848288.0A Division CN110443232B (zh) 2018-04-12 2018-04-12 视频处理方法及相关装置，图像处理方法及相关装置

Publications (2)

Publication Number Publication Date
CN110378170A CN110378170A (zh) 2019-10-25
CN110378170B true CN110378170B (zh) 2022-11-08

Family

ID=68163919

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910848288.0A Active CN110443232B (zh) 2018-04-12 2018-04-12 视频处理方法及相关装置，图像处理方法及相关装置
CN201910848859.0A Active CN110472622B (zh) 2018-04-12 2018-04-12 视频处理方法及相关装置，图像处理方法及相关装置
CN201810327638.4A Active CN110378170B (zh) 2018-04-12 2018-04-12 视频处理方法及相关装置，图像处理方法及相关装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201910848288.0A Active CN110443232B (zh) 2018-04-12 2018-04-12 视频处理方法及相关装置，图像处理方法及相关装置
CN201910848859.0A Active CN110472622B (zh) 2018-04-12 2018-04-12 视频处理方法及相关装置，图像处理方法及相关装置

Country Status (5)

Country Link
US (1) US11335127B2 (zh)
EP (1) EP3779775B1 (zh)
JP (1) JP7089045B2 (zh)
CN (3) CN110443232B (zh)
WO (1) WO2019196626A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443232B (zh) * 2018-04-12 2022-03-25 腾讯科技（深圳）有限公司 视频处理方法及相关装置，图像处理方法及相关装置
CN111310587B (zh) * 2020-01-19 2023-04-28 中国计量大学 一种基于渐弱运动轨迹图的步态特征表示和特征提取方法
CN111340090B (zh) * 2020-02-21 2023-08-01 每日互动股份有限公司 图像特征比对方法及装置、设备、计算机可读存储介质
CN113657169B (zh) * 2021-07-19 2023-06-20 浙江大华技术股份有限公司 一种步态识别方法、装置、系统和计算机可读存储介质
CN114140873A (zh) * 2021-11-09 2022-03-04 武汉众智数字技术有限公司 一种基于卷积神经网络多层次特征的步态识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942577A (zh) * 2014-04-29 2014-07-23 上海复控华龙微系统技术有限公司 视频监控中基于自建立样本库及混合特征的身份识别方法
CN104299012A (zh) * 2014-10-28 2015-01-21 中国科学院自动化研究所 一种基于深度学习的步态识别方法
WO2016065534A1 (zh) * 2014-10-28 2016-05-06 中国科学院自动化研究所 一种基于深度学习的歩态识别方法
CN105574510A (zh) * 2015-12-18 2016-05-11 北京邮电大学 一种步态识别方法及装置
CN106529499A (zh) * 2016-11-24 2017-03-22 武汉理工大学 基于傅里叶描述子和步态能量图融合特征的步态识别方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571924B (zh) 2009-05-31 2011-04-06 北京航空航天大学 一种多区域特征融合的步态识别方法及系统
CN101630364A (zh) 2009-08-20 2010-01-20 天津大学 基于融合特征的步态信息处理与身份识别方法
CN101807245B (zh) 2010-03-02 2013-01-02 天津大学 基于人工神经网络的多源步态特征提取与身份识别方法
GB201113143D0 (en) * 2011-07-29 2011-09-14 Univ Ulster Gait recognition methods and systems
US9677138B2 (en) * 2012-05-20 2017-06-13 Trustees Of Boston University Methods and systems for monitoring, diagnosing, and treating chronic obstructive pulmonary disease
CN103514432B (zh) * 2012-06-25 2017-09-01 诺基亚技术有限公司 人脸特征提取方法、设备和计算机程序产品
CN104794449B (zh) * 2015-04-27 2017-11-28 青岛科技大学 基于人体hog特征的步态能量图获取及身份识别方法
US10014967B2 (en) * 2015-11-23 2018-07-03 Huami Inc. System and method for authenticating a broadcast device using facial recognition
CN106951753B (zh) * 2016-01-06 2020-08-21 北京三星通信技术研究有限公司 一种心电信号的认证方法和认证装置
CN106503687B (zh) * 2016-11-09 2019-04-05 合肥工业大学 融合人脸多角度特征的监控视频人物身份识别系统及其方法
CN106919921B (zh) * 2017-03-06 2020-11-06 重庆邮电大学 结合子空间学习与张量神经网络的步态识别方法及系统
CN107122711A (zh) * 2017-03-20 2017-09-01 东华大学 一种基于角度径向变换和质心的夜视视频步态识别方法
CN107085716B (zh) * 2017-05-24 2021-06-04 复旦大学 基于多任务生成对抗网络的跨视角步态识别方法
CN107590452A (zh) * 2017-09-04 2018-01-16 武汉神目信息技术有限公司 一种基于步态与人脸融合的身份识别方法及装置
CN107423730B (zh) * 2017-09-20 2024-02-13 湖南师范大学 一种基于语义折叠的人体步态行为主动检测识别系统和方法
CN110443232B (zh) * 2018-04-12 2022-03-25 腾讯科技（深圳）有限公司 视频处理方法及相关装置，图像处理方法及相关装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942577A (zh) * 2014-04-29 2014-07-23 上海复控华龙微系统技术有限公司 视频监控中基于自建立样本库及混合特征的身份识别方法
CN104299012A (zh) * 2014-10-28 2015-01-21 中国科学院自动化研究所 一种基于深度学习的步态识别方法
WO2016065534A1 (zh) * 2014-10-28 2016-05-06 中国科学院自动化研究所 一种基于深度学习的歩态识别方法
CN105574510A (zh) * 2015-12-18 2016-05-11 北京邮电大学 一种步态识别方法及装置
CN106529499A (zh) * 2016-11-24 2017-03-22 武汉理工大学 基于傅里叶描述子和步态能量图融合特征的步态识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Gait based recognition via fusing information from Euclidean and Riemannian manifolds;Dimitris Kastaniotis 等;《Pattern Recognition Letters》;20161020;第245-251页 *
On Reducing the Effect of Silhouette Quality on Individual Gait Recognition：A Feature Fusion Approach;Ning Jia 等;《2015 International Conference of the Biometrics Special Interest Group》;20151102;第1-5页 *
基于图像轮廓多特征融合的步态识别研究;孙小英;《中国优秀硕士学位论文全文数据库信息科技辑》;20170315;第I138-4366页 *
融合理论在步态识别中的应用研究;柴艳妹等;《计算机科学》;20121215;第39卷(第12期);第272-277页 *

Also Published As

Publication number Publication date
US11335127B2 (en) 2022-05-17
JP7089045B2 (ja) 2022-06-21
WO2019196626A1 (zh) 2019-10-17
EP3779775A1 (en) 2021-02-17
US20200320284A1 (en) 2020-10-08
CN110443232A (zh) 2019-11-12
CN110443232B (zh) 2022-03-25
CN110472622A (zh) 2019-11-19
JP2021515321A (ja) 2021-06-17
EP3779775A4 (en) 2021-12-29
CN110378170A (zh) 2019-10-25
EP3779775B1 (en) 2024-02-28
CN110472622B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN110378170B (zh) 视频处理方法及相关装置，图像处理方法及相关装置
WO2020221278A1 (zh) 视频分类方法及其模型的训练方法、装置和电子设备
EP3336774B1 (en) Method, computer program product and device for training a neural network
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN110996123B (zh) 一种视频处理方法、装置、设备及介质
Moon et al. A face recognition system based on convolution neural network using multiple distance face
CN110166826B (zh) 视频的场景识别方法、装置、存储介质及计算机设备
Wang et al. Abnormal behavior detection in videos using deep learning
CN112801054B (zh) 人脸识别模型的处理方法、人脸识别方法及装置
CN110533119B (zh) 标识识别方法及其模型的训练方法、装置及电子系统
Haque et al. Two-handed bangla sign language recognition using principal component analysis (PCA) and KNN algorithm
Liu et al. Effective background modelling and subtraction approach for moving object detection
WO2023123923A1 (zh) 人体重识别方法、人体重识别装置、计算机设备及介质
Yang et al. Distributed multi-camera multi-target association for real-time tracking
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
CN111310516A (zh) 一种行为识别方法和装置
Lin et al. Object-based on-line video summarization for internet of video things
Sokolova et al. Methods of gait recognition in video
WO2022252519A1 (zh) 图像处理方法、装置、终端、介质和程序
Mandal et al. Deep residual network with subclass discriminant analysis for crowd behavior recognition
KR20210011707A (ko) Cnn을 기반으로 한 동영상의 씬 단위 장소 분류 방법 및 이를 이용한 장소 분류 장치
CN114549502A (zh) 一种人脸质量评估的方法、装置、电子设备及存储介质
KR102060110B1 (ko) 컨텐츠에 포함되는 객체를 분류하는 방법, 장치 및 컴퓨터 프로그램
CN115082873A (zh) 基于通路融合的图像识别方法、装置及存储介质
CN113269176B (zh) 图像处理模型训练、图像处理方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant