CN117831125A - 识别结果的确定方法及装置、存储介质及电子装置 - Google Patents
识别结果的确定方法及装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN117831125A CN117831125A CN202311869203.XA CN202311869203A CN117831125A CN 117831125 A CN117831125 A CN 117831125A CN 202311869203 A CN202311869203 A CN 202311869203A CN 117831125 A CN117831125 A CN 117831125A
- Authority
- CN
- China
- Prior art keywords
- feature
- gait
- features
- walking
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000005021 gait Effects 0.000 claims abstract description 126
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 238000012216 screening Methods 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 16
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种识别结果的确定方法及装置、存储介质及电子装置,其中,上述方法包括:在获取到目标对象的行走图集的情况下,将所述行走图集输入到卷积神经网络中,得到所述目标对象对应的步态特征;根据预设的识别任务从所述步态特征中筛选出第一特征,其中,所述第一特征用于指示与所述识别任务关联性小于阈值的特征;通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果。
Description
技术领域
本发明涉及图像识别领域,具体而言,涉及一种识别结果的确定方法及装置、存储介质及电子装置。
背景技术
步态识别技术是计算机视觉中的一个重要课题,其是指利用行人步态运动的模式来辨别身份。因为难以伪装,其具有广泛的应用,例如应用在视频监视系统、身份认证和视频检索。尽管行走模式可以反映独特的生物特征信息,但它受到许多协变量的影响,包括穿着、视角、步行速度等。由于数据收集成本昂贵,此前工作集中在实验室理想场景中,行人行走序列由精心布置的相机捕捉,需要在严格限制的室内环境中。例如,行人步态研究的室内场景(Camera-based Human Gait Analysis Laboratory,简称:CASIA-B)和欧明思维与动作实验室教学(OU-MVLP)。然后,为了在野外场景中探索真实行人步态识别,研究人员通过游戏引擎的渲染模拟了场景。然后,研究人员将注意力转向大型野外数据集,如行人步态分析大规模野外数据集Gait3D和GREW。
然而,从实验室到野外场景,复杂性和不可扩展性变得尤为突出,与实验室场景中的简单和可分离的协变量相比,其复杂性和不可扩展性更高。因此,如何保留与身份相关的特征并进行检索,以及从行走模式表示中消除相关特征,是实现实用行人步态识别的关键。
针对相关技术中,由于无法筛选出与所述识别任务关联性小于阈值的不相关特征,进而导致识别结果与识别任务差异较大的问题,目前尚未提出有效的解决方案。
因此,有必要对相关技术予以改良以克服相关技术中的所述缺陷。
发明内容
本发明实施例提供了一种识别结果的确定方法及装置、存储介质及电子装置,以至少解决由于无法筛选出与所述识别任务关联性小于阈值的不相关特征,进而导致识别结果与识别任务差异较大的问题。
根据本发明实施例的一方面,提供一种识别结果的确定方法,包括:在获取到目标对象的行走图集的情况下,将所述行走图集输入到卷积神经网络中,得到所述目标对象对应的步态特征;根据预设的识别任务从所述步态特征中筛选出第一特征,其中,所述第一特征用于指示与所述识别任务关联性小于阈值的特征;通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果。
在一个示例性的实施例中,将所述行走图集输入到卷积神经网络中,得到所述目标对象对应的步态特征,包括:获取所述目标对象对应的行走视频,根据所述行走视频确定目标对象的行走图集,其中,所述行走图集包括所述行走视频对应的连续多帧的行走图像;将所述行走图集中的每帧图像输入到所述卷积神经网络中,得到所述图像集合对应的特征集合,其中,所述特征集合包括:多组图像特征,以及所述多组图像特征分别对应的第一特征类别;根据所述第一特征类别从所述特征集合中确定出步态特征。
在一个示例性的实施例中,根据预设的识别任务从所述步态特征中筛选出第一特征,包括:根据所述步态特征中每个子特征分别对应的第二特征类别对每个子特征进行编码,得到步态特征对应的编码集合;将所述编码集合中的每个编码的编码值转化为对应的特征向量,得到向量集合;将所述向量集合中的每个特征向量与所述识别任务对应的目标向量进行对比,将于相似度大于阈值的特征向量对应的子特征确定为第一特征。
在一个示例性的实施例中,在通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果之前,所述方法还包括:通过第一预设算法确定在所述步态特征与所述第一特征之间的互信息取最小值的情况下,所述步态特征对应第一特征值;根据所述第一特征值对所述步态特征进行调节。
在一个示例性的实施例中,在通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果之前,包括:通过第二预设算法确定在所述步态特征与第二特征之间的互信息取最大值的情况下,所述步态特征对应第二特征值;根据所述第二特征值对所述步态特征进行调节。
在一个示例性的实施例中,在通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果之后,所述方法还包括:将所述识别结果发送到目标对象,接收所述目标对象基于所述识别结果发出的第一反馈信息;根据所述第一反馈信息确定是否对所述识别任务进行调节。
在一个示例性的实施例中,根据所述第一反馈信息确定是否对所述识别任务进行调节之后,所述方法还包括:在所述第一反馈信息指示对所述识别任务进行调节的情况下,获取所述第一反馈信息携带调节参数;按照所述调节参数对所述识别任务进行调节;在所述第一反馈信息指示不对所述识别任务进行调节的情况下,保存所述识别结果。
根据本发明实施例的另一方面,还提供了一种识别结果的确定装置,包括:输入模块,用于在获取到目标对象的行走图集的情况下,将所述行走图集输入到卷积神经网络中,得到所述目标对象对应的步态特征;筛选模块,用于根据预设的识别任务从所述步态特征中筛选出第一特征,其中,所述第一特征用于指示与所述识别任务关联性小于阈值的特征;确定模块,用于通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述识别结果的确定方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述识别结果的确定方法。
通过本发明在获取到目标对象的行走图集的情况下,将所述行走图集输入到卷积神经网络中,得到所述目标对象对应的步态特征;根据预设的识别任务从所述步态特征中筛选出第一特征,其中,所述第一特征用于指示与所述识别任务关联性小于阈值的特征;通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果。解决了由于无法筛选出与所述识别任务关联性小于阈值的不相关特征,进而导致识别结果与识别任务差异较大的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示例性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的识别结果的确定方法的计算机终端的硬件结构框图;
图2是根据本发明实施例的识别结果的确定方法的流程图;
图3是根据本发明实施例的一种识别结果的确定的原理图;
图4是根据本发明实施例的识别结果的确定装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例中所提供的方法实施例可以在计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例,图1是本发明实施例的识别结果的确定方法的计算机终端的硬件结构框图。如图1所示,计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器(Microprocessor Unit,简称是MPU)或可编程逻辑器件(Programmable logic device,简称是PLD))和用于存储数据的存储器104,在一个示例性实施例中,上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述计算机终端的结构造成限定。例如,计算机终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的识别结果的确定方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
为了解决上述问题,在本实施例中提供了一种识别结果的确定方法,应用于上述计算机终端,图2是根据本发明实施例的识别结果的确定方法的流程图,该流程包括如下步骤:
步骤S202,在获取到目标对象的行走图集的情况下,将所述行走图集输入到卷积神经网络中,得到所述目标对象对应的步态特征;
步骤S204,根据预设的识别任务从所述步态特征中筛选出第一特征,其中,所述第一特征用于指示与所述识别任务关联性小于阈值的特征;
步骤S206,通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果。
通过上述步骤,在获取到目标对象的行走图集的情况下,将所述行走图集输入到卷积神经网络中,得到所述目标对象对应的步态特征;根据预设的识别任务从所述步态特征中筛选出第一特征,其中,所述第一特征用于指示与所述识别任务关联性小于阈值的特征;通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果。解决了由于无法筛选出与所述识别任务关联性小于阈值的不相关特征,进而导致识别结果与识别任务差异较大的问题。
在一个示例性的实施例中,将所述行走图集输入到卷积神经网络中,得到所述目标对象对应的步态特征,包括:获取所述目标对象对应的行走视频,根据所述行走视频确定目标对象的行走图集,其中,所述行走图集包括所述行走视频对应的连续多帧的行走图像;将所述行走图集中的每帧图像输入到所述卷积神经网络中,得到所述图像集合对应的特征集合,其中,所述特征集合包括:多组图像特征,以及所述多组图像特征分别对应的第一特征类别;根据所述第一特征类别从所述特征集合中确定出步态特征。
也就是说,首先需要收集目标对象在行走过程中的视频数据,这些视频数据将作为后续分析的原始素材。将视频拆成多帧图像,得到行走图集。将行走图集中的每一帧图像输入到预先训练好的卷积神经网络中,让网络对这些图像进行特征提取。卷积神经网络会对每一帧图像进行处理,提取出一组图像特征,并将这些特征与对应的第一特征类别关联起来。这样,就得到了一个特征集合,其中包含了多组图像特征以及它们对应的第一特征类别。通过对特征集合进行分析,可以发现那些与行走相关的特征类别,这些特征类别就是目标对象的步态特征。这些步态特征可以用于进一步的目标识别、行为分析等任务。
在一个示例性的实施例中,根据预设的识别任务从所述步态特征中筛选出第一特征,包括:根据所述步态特征中每个子特征分别对应的第二特征类别对每个子特征进行编码,得到步态特征对应的编码集合;将所述编码集合中的每个编码的编码值转化为对应的特征向量,得到向量集合;将所述向量集合中的每个特征向量与所述识别任务对应的目标向量进行对比,将于相似度大于阈值的特征向量对应的子特征确定为第一特征。
也就是说,对步态特征进行进一步的编码和对比,以识别出与识别任务对应的目标向量相似的特征。根据每个子特征对应的第二特征类别对子特征进行编码:这一步是对步态特征进行深度编码。例如,可以使用具有新损失函数的深度编码器-解码器网络(DAE+RNNs)来分解步态特征,其中包含身份信息和用于步态识别的主要特征。或者,也可以使用具有多个全连接层和输入输出层的自动编码器来提取稳健的步态特征。经过编码后,每个子特征都会被转化为一个特定的编码值,这些编码值组成了编码集合,将每个编码值转化为一个特征向量,这样就得到了一个向量集合。将向量集合中的每个特征向量与识别任务对应的目标向量进行对比:这是为了找出与目标向量相似度较高的特征向量。将于相似度大于阈值的特征向量对应的子特征确定为第一特征:最后一步是根据对比结果,确定出那些与目标对象相似度较高的子特征,这些子特征就是第一特征。
在一个示例性的实施例中,在通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果之前,所述方法还包括:通过第一预设算法确定在所述步态特征与所述第一特征之间的互信息取最小值的情况下,所述步态特征对应第一特征值;根据所述第一特征值对所述步态特征进行调节。
可选地,所述第一预设算法为:Ldisent=L(Fidentity;Fc);
需要说明的是,互信息指的是衡量随机变量之间互相依赖程度的度量。互信息越小,两个变量越不相关。由于第一特征是和识别任务相关性小于阈值的特征,也就是相关性较低的特征,可能是一些干扰特征。通过确定所述步态特征与所述第一特征互信息最小值时步态特征对应第一特征值,进而按照第一特征值调节步态特征,意味着使步态特征远离干扰特征(使得步态特征和干扰特征的关联程度最低),从而得到更符合识别任务需求的步态特征。
具体来说,如果步态特征与第一特征的关联度较高,那么就需要提高步态特征中对应特征值的重要性;反之,如果关联度较低,那么就需要进行相应的降低或抑制处理。通过这种方式,可以有效地提升识别任务的准确性和可靠性。
在一个示例性的实施例中,在通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果之前,包括:通过第二预设算法确定在所述步态特征与第二特征之间的互信息取最大值的情况下,所述步态特征对应第二特征值,其中,所述第二特征是基于步态特征和所述第一特征的差值确定的;根据所述第二特征值对所述步态特征进行调节。
可选地,第二预设算法为Ldisent=L(Fidentity;Fc);
由于第一特征是和识别任务相关性小于阈值的特征,也就是相关性较低的特征,可能是一些干扰特征。而第二特征是基于步态特征和所述第一特征的差值确定的,也就是说,第二特征是步态特征剔除了干扰特征之后得到的。进而,若步态特征和第二特征关联度越高,则步态特征越符合识别任务。
在一个示例性的实施例中,在通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果之后,所述方法还包括:将所述识别结果发送到目标对象,接收所述目标对象基于所述识别结果发出的第一反馈信息;根据所述第一反馈信息确定是否对所述识别任务进行调节。
目标对象在收到识别结果后,会根据其自身的知识、经验和需求,给出第一反馈信息。这种反馈可能是确认识别结果的准确性、提出疑问或建议、或者要求进一步的细化或调整。系统或算法会分析从目标对象那里收到的第一反馈信息。如果反馈表明识别结果存在问题或需要改进,那么系统或算法会相应地调整其识别策略或参数。这可能涉及到重新训练模型、调整算法参数、或者引入新的数据源等。
在一个示例性的实施例中,根据所述第一反馈信息确定是否对所述识别任务进行调节之后,所述方法还包括,所述方法还包括:在所述第一反馈信息指示对所述识别任务进行调节的情况下,获取所述第一反馈信息携带调节参数;按照所述调节参数对所述识别任务进行调节;在所述第一反馈信息指示不对所述识别任务进行调节的情况下,保存所述识别结果。
如果目标对象认为识别结果存在问题或需要改进,它会通过第一反馈信息通知系统或算法。这种反馈可能包括具体的调节参数、建议的调整方向或其他相关信息。一旦收到第一反馈信息,系统或算法会提取其中的调节参数。这些参数可能是用于优化模型的权重、用于调整算法的阈值、或者用于引入新的数据源等。如果目标对象认为识别结果已经足够准确或满足需求,它可能会通过第一反馈信息告诉系统或算法不需要进行任何调整。在这种情况下,系统或算法会直接保存当前的识别结果。
在一个可选的实施例中,图3是根据本发明实施例的一种识别结果的确定的原理图,如图3所示:
1、行人图像帧数据,获取行人图像帧数据,即利用相机录制目标人员的行走状态视频,得到所述目标人员的行走序列。将录制好的目标人员的行走状态视频逐帧拆解成连续的图像序列;
2、特征提取模块,用于从所述目标人员的行走序列使用卷积神经网络提取传统步态特征F;
3、码书编码,为了建模不相关的协变量,步态特征被可学习地映射到离散的向量表征集合,即码书中C={c1,c2,…,cK}。注意,码书中的每个编码c具有相同的特征维度dc.如此设计主要是期望码书将复杂的协变量进行量化,能在下一级更复杂的模型下得到正确拟合。
4、解耦学习,然后,对所述3的“码书编码”中映射的离散特征集合进行解耦学习。具体来说,计算传统特征F与协变量相关特征Fc的差异可以得到步态识别相关特征Fidentity:Fidentity=F-Fc。
然后,对所述4“解耦学习”中计算的步态识别相关特征与协变量相关特征进行互信息最小化约束。约束函数为Ldisent=L(Fidentity;Fc).(相当于第一预设算法)这样设计的目的是将协变量相关特征与步态识别相关特征的概率分布显式分离。
5、步态识别结果输出,然后,对所述4“解耦学习”中计算的步态识别相关特征与传统特征进行互信息最大化约束。约束函数为Lsd=-L(Fidentity;F).(相当于第二预设算法)这样设计的目的是将步态识别相关特征的知识蒸馏给传统特征,使得本基于解耦学习的行人步态识别方法在推理时,可以丢弃步态识别相关特征,独立使用传统步态特征进行推理,从而减少计算量并加速算法0。
图4是根据本发明实施例的识别结果的确定装置的结构框图,该装置包括:
输入模块42,用于在获取到目标对象的行走图集的情况下,将所述行走图集输入到卷积神经网络中,得到所述目标对象对应的步态特征;
筛选模块44,用于根据预设的识别任务从所述步态特征中筛选出第一特征,其中,所述第一特征用于指示与所述识别任务关联性小于阈值的特征;
确定模块46,用于通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果。
通过上述装置,在获取到目标对象的行走图集的情况下,将所述行走图集输入到卷积神经网络中,得到所述目标对象对应的步态特征;根据预设的识别任务从所述步态特征中筛选出第一特征,其中,所述第一特征用于指示与所述识别任务关联性小于阈值的特征;通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果。解决了由于无法筛选出与所述识别任务关联性小于阈值的不相关特征,进而导致识别结果与识别任务差异较大的问题。
在一个示例性的实施例中,输入模块42,还用于获取所述目标对象对应的行走视频,根据所述行走视频确定目标对象的行走图集,其中,所述行走图集包括所述行走视频对应的连续多帧的行走图像;将所述行走图集中的每帧图像输入到所述卷积神经网络中,得到所述图像集合对应的特征集合,其中,所述特征集合包括:多组图像特征,以及所述多组图像特征分别对应的第一特征类别;根据所述第一特征类别从所述特征集合中确定出步态特征。
在一个示例性的实施例中,筛选模块44,还用于根据所述步态特征中每个子特征分别对应的第二特征类别对每个子特征进行编码,得到步态特征对应的编码集合;将所述编码集合中的每个编码的编码值转化为对应的特征向量,得到向量集合;将所述向量集合中的每个特征向量与所述识别任务对应的目标向量进行对比,将于相似度大于阈值的特征向量对应的子特征确定为第一特征。
在一个示例性的实施例中,确定模块46,还用于通过第一预设算法确定在所述步态特征与所述第一特征之间的互信息取最小值的情况下,所述步态特征对应第一特征值;根据所述第一特征值对所述步态特征进行调节。
在一个示例性的实施例中,确定模块46,还用于通过第二预设算法确定在所述步态特征与第二特征之间的互信息取最大值的情况下,所述步态特征对应第二特征值,其中,所述第二特征是基于步态特征和所述第一特征的差值确定的;根据所述第二特征值对所述步态特征进行调节。
在一个示例性的实施例中,确定模块46,还用于将所述识别结果发送到目标对象,接收所述目标对象基于所述识别结果发出的第一反馈信息;根据所述第一反馈信息确定是否对所述识别任务进行调节。
在一个示例性的实施例中,确定模块46,还用于在所述第一反馈信息指示对所述识别任务进行调节的情况下,获取所述第一反馈信息携带调节参数;按照所述调节参数对所述识别任务进行调节;在所述第一反馈信息指示不对所述识别任务进行调节的情况下,保存所述识别结果。
本发明的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,在获取到目标对象的行走图集的情况下,将所述行走图集输入到卷积神经网络中,得到所述目标对象对应的步态特征;
S2,根据预设的识别任务从所述步态特征中筛选出第一特征,其中,所述第一特征用于指示与所述识别任务关联性小于阈值的特征;
S3,通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果。
在一个示例性实施例中,上述计算机可读存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,在获取到目标对象的行走图像的情况下,将所述行走图像输入到卷积神经网络中,得到所述目标对象对应的步态特征;
S2,根据预设的识别任务从所述步态特征中筛选出第一特征,其中,所述第一特征用于指示与所述识别任务关联性小于阈值的特征;
S3,通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果。
在一个示例性实施例中,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种识别结果的确定方法,其特征在于,包括:
在获取到目标对象的行走图集的情况下,将所述行走图集输入到卷积神经网络中,得到所述目标对象对应的步态特征;
根据预设的识别任务从所述步态特征中筛选出第一特征,其中,所述第一特征用于指示与所述识别任务关联性小于阈值的特征;
通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果。
2.根据权利要求1所述的方法,其特征在于,将所述行走图集输入到卷积神经网络中,得到所述目标对象对应的步态特征,包括:
获取所述目标对象对应的行走视频,根据所述行走视频确定目标对象的行走图集,其中,所述行走图集包括所述行走视频对应的连续多帧的行走图像;
将所述行走图集中的每帧图像输入到所述卷积神经网络中,得到所述行走图集对应的特征集合,其中,所述特征集合包括:多组图像特征,以及所述多组图像特征分别对应的第一特征类别;
根据所述第一特征类别从所述特征集合中确定出步态特征。
3.根据权利要求1所述的方法,其特征在于,根据预设的识别任务从所述步态特征中筛选出第一特征,包括:
根据所述步态特征中每个子特征分别对应的第二特征类别对每个子特征进行编码,得到步态特征对应的编码集合;
将所述编码集合中的每个编码的编码值转化为对应的特征向量,得到向量集合;
将所述向量集合中的每个特征向量与所述识别任务对应的目标向量进行对比,将于相似度大于阈值的特征向量对应的子特征确定为第一特征。
4.根据权利要求1所述的方法,其特征在于,在通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果之前,所述方法还包括:
通过第一预设算法确定在所述步态特征与所述第一特征之间的互信息取最小值的情况下,所述步态特征对应第一特征值;
根据所述第一特征值对所述步态特征进行调节。
5.根据权利要求1所述的方法,其特征在于,在通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果之前,包括:
通过第二预设算法确定在所述步态特征与第二特征之间的互信息取最大值的情况下,所述步态特征对应第二特征值;
根据所述第二特征值对所述步态特征进行调节。
6.根据权利要求1所述的方法,其特征在于,在通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果之后,所述方法还包括:
将所述识别结果发送到目标对象,接收所述目标对象基于所述识别结果发出的第一反馈信息;
根据所述第一反馈信息确定是否对所述识别任务进行调节。
7.根据权利要求6所述的方法,其特征在于,根据所述第一反馈信息确定是否对所述识别任务进行调节之后,所述方法还包括:
在所述第一反馈信息指示对所述识别任务进行调节的情况下,获取所述第一反馈信息携带调节参数;
按照所述调节参数对所述识别任务进行调节;
在所述第一反馈信息指示不对所述识别任务进行调节的情况下,保存所述识别结果。
8.一种识别结果的确定装置,其特征在于,包括:
输入模块,用于在获取到目标对象的行走图集的情况下,将所述行走图集输入到卷积神经网络中,得到所述目标对象对应的步态特征;
筛选模块,用于根据预设的识别任务从所述步态特征中筛选出第一特征,其中,所述第一特征用于指示与所述识别任务关联性小于阈值的特征;
确定模块,用于通过所述步态特征和所述第一特征的差值确定所述识别任务对应的识别结果。
9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至7任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311869203.XA CN117831125A (zh) | 2023-12-30 | 2023-12-30 | 识别结果的确定方法及装置、存储介质及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311869203.XA CN117831125A (zh) | 2023-12-30 | 2023-12-30 | 识别结果的确定方法及装置、存储介质及电子装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117831125A true CN117831125A (zh) | 2024-04-05 |
Family
ID=90518704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311869203.XA Pending CN117831125A (zh) | 2023-12-30 | 2023-12-30 | 识别结果的确定方法及装置、存储介质及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117831125A (zh) |
-
2023
- 2023-12-30 CN CN202311869203.XA patent/CN117831125A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10496903B2 (en) | Using image analysis algorithms for providing training data to neural networks | |
Zhang et al. | Blind image quality assessment using a deep bilinear convolutional neural network | |
US20210104021A1 (en) | Method and apparatus for processing image noise | |
KR20200145827A (ko) | 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체 | |
CN111475797A (zh) | 一种对抗图像生成方法、装置、设备以及可读存储介质 | |
KR20180004898A (ko) | 딥러닝 기반의 이미지 처리 기술 및 그 방법 | |
US20120275690A1 (en) | Distributed artificial intelligence services on a cell phone | |
US11615166B2 (en) | System and method for classifying image data | |
CN107153817A (zh) | 行人重识别数据标注方法和装置 | |
CN110084130B (zh) | 基于多目标跟踪的人脸筛选方法、装置、设备及存储介质 | |
CN109195011B (zh) | 一种视频处理方法、装置、设备及存储介质 | |
KR20210054907A (ko) | 이미지 보정방법 및 보정장치 | |
TW201537517A (zh) | 移動物體偵測方法及移動物體偵測裝置 | |
CN113095370A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN110210344B (zh) | 视频动作识别方法及装置、电子设备、存储介质 | |
CN112163468A (zh) | 基于多线程的图像处理方法及装置 | |
CN117579101B (zh) | 载波通讯模块的控制方法及其系统 | |
KR20180123810A (ko) | X-Ray 의료 영상 판독을 위한 데이터 심화학습 처리 기술 및 그 방법 | |
CN110290318B (zh) | 星载图像处理与自主决策方法和系统 | |
CN116563293A (zh) | 一种基于机器视觉的光伏载具生产质量检测方法及系统 | |
KR20200119042A (ko) | 댄스 평가 서비스를 제공하기 위한 방법 및 시스템 | |
CN109190505A (zh) | 基于视觉理解的图像识别方法 | |
CN116959113A (zh) | 步态识别方法及装置 | |
CN117831125A (zh) | 识别结果的确定方法及装置、存储介质及电子装置 | |
Sopov et al. | Design efficient technologies for context image analysis in dialog HCI using self-configuring novelty search genetic algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |