CN110473232B - 图像识别方法、装置、存储介质及电子设备 - Google Patents
图像识别方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN110473232B CN110473232B CN201910849463.8A CN201910849463A CN110473232B CN 110473232 B CN110473232 B CN 110473232B CN 201910849463 A CN201910849463 A CN 201910849463A CN 110473232 B CN110473232 B CN 110473232B
- Authority
- CN
- China
- Prior art keywords
- target
- track segment
- track
- tracking
- instance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000013598 vector Substances 0.000 claims abstract description 122
- 230000000007 visual effect Effects 0.000 claims abstract description 42
- 239000012634 fragment Substances 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims description 35
- 238000009826 distribution Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 20
- 238000002372 labelling Methods 0.000 claims description 19
- 238000009827 uniform distribution Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 21
- 238000010276 construction Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及了一种基于人工智能的图像识别方法,所述方法应用于计算机视觉技术领域,尤其适用于计算机视觉技术领域中的目标跟踪,所述方法包括:根据包含若干目标实例的轨迹片段,确定各目标实例对应的目标特征信息;计算结构特征向量的平均值,并根据结构特征向量进行协方差运算,得到协方差矩阵;由轨迹片段中提取至少一目标实例,以该至少一目标实例对应目标特征信息中的视觉特征向量作为轨迹片段对应的局部特征信息,并以平均值和协方差矩阵作为轨迹片段对应的全局特征信息;根据局部特征信息和全局特征信息生成轨迹片段特征信息;基于轨迹片段特征信息进行指定轨迹片段中跟踪目标的图像识别。采用本申请能够有效地提高跟踪目标识别的准确性。
Description
本申请是2017年07月14日提交的、申请号为201710573025.4、发明名称为“目标跟踪方法、装置及电子设备”的分案申请。
技术领域
本申请涉及计算机视觉技术领域,尤其涉及一种图像识别方法、装置、存储介质及电子设备。
背景技术
随着摄像设备的丰富,无论是室内还是室外,均可布设大量的摄像设备,例如摄像头,以便于随时通过摄像设备所采集到的图像数据对其中的跟踪目标进行目标检测(tracking by detection),进而实现目标跟踪。
然而,在此目标跟踪过程中,由于跟踪目标的识别准确性不高,可能因为无法准确地识别出跟踪目标(例如人物)发生了姿态变化,而导致目标检测得到两个不同的跟踪目标,还可能由于跟踪目标在非连续性采集的图像中无法被准确地识别,而使得跟踪目标在非连续性采集的图像中消失或者重新出现,同样造成了目标检测得到两个不同的跟踪目标。
由上可知,如何准确地识别跟踪目标仍有待解决。
发明内容
本申请的一个目的在于提供一种图像识别方法、装置、存储介质及电子设备,以解决现有技术中跟踪目标的识别准确性不高的问题。
其中,本申请所采用的技术方案为:
在本申请的一个方面,一种图像识别方法,包括:根据包含若干目标实例的轨迹片段,确定各目标实例对应的目标特征信息,各目标实例包含相同的跟踪目标;计算各目标实例对应目标特征信息中结构特征向量的平均值,并根据各目标实例对应目标特征信息中的结构特征向量进行协方差运算,得到协方差矩阵;由轨迹片段中提取至少一目标实例,以该至少一目标实例对应目标特征信息中的视觉特征向量作为所述轨迹片段对应的局部特征信息,并以所述平均值和协方差矩阵作为所述轨迹片段对应的全局特征信息;根据所述局部特征信息和所述全局特征信息生成所述轨迹片段特征信息;基于所述轨迹片段特征信息进行指定轨迹片段中跟踪目标的图像识别。
在本申请的一个方面,一种图像识别装置,包括:目标特征确定模块,用于根据包含若干目标实例的轨迹片段,确定各目标实例对应的目标特征信息,各目标实例包含相同的跟踪目标;目标特征运算模块,用于计算各目标实例对应目标特征信息中结构特征向量的平均值,并根据各目标实例对应目标特征信息中的结构特征向量进行协方差运算,得到协方差矩阵;特征定义模块,用于由轨迹片段中提取至少一目标实例,以该至少一目标实例对应目标特征信息中的视觉特征向量作为所述轨迹片段对应的局部特征信息,并以所述平均值和协方差矩阵作为所述轨迹片段对应的全局特征信息;片段特征生成模块,用于根据所述局部特征信息和所述全局特征信息生成所述轨迹片段特征信息;图像识别模块,用于基于所述轨迹片段特征信息进行指定轨迹片段中跟踪目标的图像识别。
在本申请的一个方面,一种电子设备,包括:处理器及存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如上所述的图像识别方法。
在本申请的一个方面,一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的图像识别方法。
与现有技术相比,本申请具有以下有益效果:
通过确定轨迹片段中各目标实例对应的目标特征信息,计算各目标实例对应目标特征信息中结构特征向量的平均值,并根据各目标实例对应目标特征信息中的结构特征向量进行协方差运算,得到协方差矩阵,进而以轨迹片段中至少一目标实例对应目标特征信息中的视觉特征向量作为轨迹片段对应的局部特征信息,并以平均值和协方差矩阵作为轨迹片段对应的全局特征信息,再根据局部特征信息和全局特征信息生成轨迹片段特征信息,以此进行指定轨迹片段中跟踪目标的图像识别,由此,结合目标特征信息中的结构特征向量和视觉特征向量,使得轨迹片段中的跟踪目标能够被准确地描述,进而有利于指定轨迹片段中跟踪目标被准确地识别,以此解决现有技术中跟踪目标的识别准确性不高的问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并于说明书一起用于解释本申请的原理。
图1是根据本申请所涉及的实施环境的示意图。
图2是根据一示例性实施例示出的一种服务器的硬件结构框图。
图3是根据一示例性实施例示出的一种目标跟踪方法的流程图。
图4是图3对应实施例中步骤350在一个实施例的流程图。
图5是本申请所涉及的跟踪目标为人物时的目标实例示意图。
图6是图4对应实施例中步骤351在一个实施例的流程图。
图7是图4对应实施例中步骤353在一个实施例的流程图。
图8是图3对应实施例中步骤370在一个实施例的流程图。
图9是图8对应实施例中步骤371在一个实施例的流程图。
图10是根据一示例性实施例示出的一种目标跟踪装置的框图。
图11是图10对应实施例中特征信息获取模块750在一个实施例的框图。
图12是图11对应实施例中目标特征构建单元751在一个实施例的框图。
图13是图11对应实施例中轨迹片段特征构建单元753在一个实施例的框图。
图14是图10对应实施例中类别分布获取模块770在一个实施例的框图。
图15是图10对应实施例中类别分布获取模块770在另一个实施例的框图。
图16是图15对应实施例中第一似然度计算单元771在一个实施例的框图。
图17是图10对应实施例中类别分布获取模块770在另一个实施例的框图。
图18是根据一示例性实施例示出的一种图像识别方法的流程图。
图19是根据一示例性实施例示出的一种图像识别装置的框图。
图20是根据一示例性实施例示出的一种电子设备的框图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述,这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中,计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请各实施例提供的方案基于人工智能的图像识别方法,具体通过如下实施例进行说明:
图1为一种基于人工智能的图像识别方法所涉及的实施环境的示意图。该实施环境包括服务器100以及布设于各处的若干摄像设备200。
其中,摄像设备200可以是摄像头、录像机、摄像机等可用于采集图像数据的电子设备。相应地,图像数据包括但不限于视频、照片等等。
在该实施环境中,服务器100通过与摄像设备200之间进行的交互来获得摄像设备200采集到的图像数据,进而通过图像数据对其中的跟踪目标进行目标检测来实现目标跟踪。
图2是根据一示例性实施例示出的一种服务器100的硬件结构框图。需要说明的是,该服务器100只是一个适配于本申请的示例,不能认为是提供了对本申请的使用范围的任何限制。该服务器100也不能解释为需要依赖于或者必须具有图2中示出的示例性的服务器100中的一个或者多个组件。
该服务器100的硬件结构可因配置或者性能的不同而产生较大的差异,如图2所示,服务器100包括:电源110、接口130、至少一存储介质150、以及至少一中央处理器(CPU,Central Processing Units)170。
其中,电源110用于为服务器100上的各硬件设备提供工作电压。
接口130包括至少一有线或无线网络接口131、至少一串并转换接口133、至少一输入输出接口135以及至少一USB接口137等,用于与外部设备通信。
存储介质150作为资源存储的载体,可以是随机存储介质、磁盘或者光盘等,其上所存储的资源包括操作系统151、应用程序153及数据155等,存储方式可以是短暂存储或者永久存储。其中,操作系统151用于管理与控制服务器100上的各硬件设备以及应用程序153,以实现中央处理器170对海量数据155的计算与处理,其可以是Windows ServerTM、MacOS XTM、UnixTM、LinuxTM、FreeBSDTM等。应用程序153是基于操作系统151之上完成至少一项特定工作的计算机程序,其可以包括至少一模块(图2中未示出),每个模块都可以分别包含有对服务器100的一系列操作指令。数据155可以是存储于磁盘中的照片、图片等等。
中央处理器170可以包括一个或多个以上的处理器,并设置为通过总线与存储介质150通信,用于运算与处理存储介质150中的海量数据155。
如上面所详细描述的,适用本申请的服务器100将通过中央处理器170读取存储介质150中存储的一系列操作指令的形式来进行目标跟踪。
此外,通过硬件电路或者硬件电路结合软件指令也能同样实现本申请,因此,实现本申请并不限于任何特定硬件电路、软件以及两者的组合。
请参阅图3,在一示例性实施例中,一种基于人工智能的图像识别方法适用于图1所示实施环境中的服务器100,该服务器100在该示例性实施例中可以是图2所示的硬件结构。
如图3所示,该种基于人工智能的图像识别方法可以由服务器100执行,可以包括以下步骤:
步骤310,获取图像数据,并对图像数据进行目标检测,得到至少一目标实例。
其中,图像数据包括动态图像数据和静态图像数据。动态图像数据是指视频等包括多帧图像的动态图像,相对于动态图像数据,静态图像数据则可以是图片等包含一帧图像的静态图像。基于此,本实施例中进行的目标跟踪可以基于多帧图像的视频进行,也可以基于单帧图像的图片进行。
图像数据可以来源于摄像设备实时采集的图像数据,也可以是服务器中预先存储的图像数据。也就是说,摄像设备采集到图像数据之后,服务器可以对该图像数据进行实时处理,也可以预先存储了再处理。例如,在服务器处理任务较少的时候进行处理,或者,在操作人员的指定时间进行处理。由此,在图像数据的获取中,可以是摄像设备当下采集到的图像数据,也可以是服务器中预先存储的图像数据,即通过调取一历史时间的摄像设备采集到的图像数据,在此不进行限定。
摄像设备可以布设在各处,例如建筑物内部的天花板一角、建筑物外部的灯柱、甚至可以是智能机器人等客户端设备上,相应地,图像数据可以是布设了摄像设备的任意场景中的任意图像,可以是建筑物内部的任意图像,也可以是建筑物外部的任意图像,在此不进行限定。
跟踪目标则是指任意场景中图像上的任意对象,例如,图像中的某个人物、某辆车或者某部手机等等,在此并未加以限定。
图像数据的目标检测是通过目标检测模型实现的。例如,目标检测模型可以是可变形部件模型,还可以是单高斯模型、混合高斯模型等等,在此不进行限定。其中,该目标检测模型是服务器在图像数据进行目标检测之前预先创建的。
可以理解,由于图像数据是布设了摄像设备的任意场景中的任意图像,往往会出现有的图像中存在一个跟踪目标,有的图像中存在多个跟踪目标,而有的图像中不存在任何跟踪目标,为此,目标实例是指包含了一跟踪目标的图像数据。
应当说明的是,由同一图像数据既可能无法得到目标实例,即该图像数据所指示图像中不存在任何跟踪目标,也可能得到多个目标实例,即该图像数据所指示图像中包含了多个跟踪目标,每一跟踪目标对应一个目标实例。
进一步说明的是,无论图像数据可以得到多少目标实例,在时间上该些目标实例是相互重叠的,即是由摄像设备在同一采集时间采集到的图像数据得到。
由此,通过预先创建的目标检测模型对图像数据进行的目标检测,便可得到至少一目标实例,该至少一目标实例中包含一跟踪目标。
进一步地,由于图像数据可以是多帧图像的视频,还可以是单帧图像的图片,为此,图像数据是以帧为单位进行目标检测的,即以一帧图像作为目标检测模型的输入,以此实施图像数据的目标检测过程。
步骤330,在至少一目标实例中,查找包含有相同跟踪目标的目标实例,将包含有相同跟踪目标的目标实例连接形成轨迹片段。
首先需要说明的是,预置跟踪算法,例如KLT算法,可用于在众多目标实例中针对其所包含的所有跟踪目标进行全局搜索,以此实现对跟踪目标的跟踪,即在众多目标实例中查找到相同的跟踪目标。
由此,通过预置跟踪算法便可得到包含有相同跟踪目标的目标实例,进而由包含有相同跟踪目标的所有目标实例连接形成轨迹片段。
举例来说,目标实例A1中包含跟踪目标A,目标实例A2中包含跟踪目标B,目标实例A3中包含跟踪目标A,相应地,轨迹片段1由包含跟踪目标A的目标实例A1、A3连接形成,轨迹片段2由包含跟踪目标B的目标实例A2连接形成。
应当理解,图像数据的采集是有时间顺序的,也就是说,目标实例之间也是具有时间顺序的。
因此,在进行轨迹片段的获取中,将按照时间顺序连接包含有相同跟踪目标的所有目标实例。
仍以上述例子进行说明,轨迹片段1的第一个目标实例是A1,第二个目标实例是A3。应当说明的是,随着时间增长,轨迹片段中包含的目标实例数量也将随之增加,例如,会有第三个目标实例、第四个目标实例、……、最后一个目标实例按照时间顺序不断地添加至轨迹片段1中。
步骤350,通过轨迹片段中的目标实例对轨迹片段进行特征构建,得到轨迹片段特征信息。
轨迹片段特征信息,用于实现对整个和/或部分轨迹片段的准确描述,进而以信息的形式唯一地标识轨迹片段。可以理解,如果轨迹片段中目标实例所包含的跟踪目标不同,则轨迹片段也将有所区别,进而使得轨迹片段特征信息也各不相同。
由此,在由包含相同跟踪目标的目标实例连接形成轨迹片段之后,便可通过轨迹片段中的目标实例获得该轨迹片段对应的轨迹片段特征信息。
具体而言,轨迹片段特征信息将通过轨迹片段中的目标实例对轨迹片段进行特征构建得到。
进一步地,特征构建包括但不限于对目标实例进行的目标特征构建、对轨迹片段进行的局部特征构建和全局特征构建。相应地,轨迹片段特征信息包括但不限于目标特征信息、局部特征信息和全局特征信息。
更进一步地,目标特征信息与其对应的目标实例所包含的跟踪目标相关。局部特征信息与其对应的轨迹片段中的至少一目标实例相关,例如,局部特征信息与轨迹片段中的第一个目标实例和最后一个目标实例相关。全局特征信息则与其对应的轨迹片段中的所有目标实例相关。
步骤370,根据轨迹片段特征信息对指定轨迹片段进行聚类获得轨迹片段类别分布。
本实施例中,聚类是指将指定轨迹片段按照跟踪目标的不同相应地分成多个不同类别的过程,即通过聚类使得每一个类别对应一个跟踪目标。
应当说明的是,指定轨迹片段是指需要进行聚类的轨迹片段,可以是通过前述步骤330所获得的所有轨迹片段,也可以仅是该所有轨迹片段中任意几个需要进行聚类的轨迹片段。
如前所述,轨迹片段中目标实例所包含的跟踪目标不同,则轨迹片段也将有所区别,进而使得轨迹片段特征信息也各不相同。换而言之,轨迹片段特征信息可用于表示跟踪目标,进而使得无论跟踪目标出现在哪一场景,即被采集到的哪一图像数据,亦即被包含在哪一目标实例,其所对应的轨迹片段特征信息都将具备极高的相似性,甚至是一致性。
由此,通过轨迹片段特征信息便可进行轨迹片段的聚类,即,极为相似甚至一致的轨迹片段特征信息,其所对应的轨迹片段中目标实例所包含的跟踪目标可视为相同,即其所对应的轨迹片段将属于同一类别,反之,不相似、不一致的轨迹片段特征信息,其所对应的轨迹片段中目标实例所包含的跟踪目标可视为不同,即其所对应的轨迹片段将属于不同类别。
在此基础上,轨迹片段类别分布是指在不同类别中所包含的轨迹片段及轨迹片段数量。其中,不同类别是针对不同跟踪目标而言的,例如,属于类别A的所有轨迹片段,其中目标实例所包含的跟踪目标为B,而属于类别C的所有轨迹片段,其中目标实例所包含的跟踪目标则为D。
举例来说,通过狄利克雷混合模型实现指定轨迹片段的聚类。具体而言,以指定轨迹片段对应的轨迹片段特征信息作为狄利克雷混合模型的输入,通过狄利克雷混合模型对指定轨迹片段进行聚类,输出得到该指定轨迹片段所属类别。进一步地,针对多个指定轨迹片段进行轨迹片段特征信息输入,便可输出得到轨迹片段类别分布。
当然,根据实际应用场景的需要,进行轨迹片段聚类所采用的聚类算法可以灵活地调整,以利于提高目标跟踪的准确性。
在上述过程中,通过聚类实现了目标跟踪的排他性约束,即同一跟踪目标不可能属于不同类别,简单有效地为目标跟踪的准确性提供了可靠的保障。
步骤390,在轨迹片段类别分布中将同一类别的轨迹片段连接形成目标跟踪结果。
一个轨迹片段是由包含相同跟踪目标的至少一目标实例连接形成的,进一步地,通过前述步骤,则使得被分类至同一类别中的轨迹片段,其中目标实例所包含的跟踪目标仍是相同的,因此,通过将同一类别的轨迹片段连接形成的目标跟踪结果也必然是基于相同的跟踪目标,亦即目标跟踪结果对应于独一无二的跟踪目标,由此实现准确的目标跟踪。
更进一步地,针对不同类别中轨迹片段所连接形成的多个目标跟踪结果则能够实现多目标跟踪。
其中,目标跟踪结果的连接是按照轨迹片段的时间顺序进行的。例如,轨迹片段1的最后一个目标实例在时间上要先于轨迹片段2的第一个目标实例,则轨迹片段1的时间早于轨迹片段2,相应地,目标跟踪结果中,轨迹片段1连接在轨迹片段2之前。
通过如上所述的过程,在轨迹片段特征信息的作用下,能够基于相同跟踪目标对多个轨迹片段进行分类,进而得到同一跟踪目标的目标跟踪结果,由此,在目标跟踪过程中,无论跟踪目标是否消失或者重新出现,均可以根据需要实现对任意多个跟踪目标的多目标跟踪。
请参阅图4,在一示例性实施例中,步骤350可以包括以下步骤:
步骤351,对轨迹片段中的目标实例进行目标特征构建,得到目标特征信息。
目标特征信息,用于通过对目标实例进行的特征构建实现对目标实例的准确描述。进一步地,该目标特征信息与对应目标实例所包含的跟踪目标相关,进而以信息的形式唯一地标识跟踪目标。
应当理解,跟踪目标不同,则目标特征信息有所区别。例如,如果跟踪目标为图像中的某个人物,则目标特征信息可以包括人物的视觉特征向量和结构特征向量;如果跟踪目标为图像中的某辆车,则目标特征信息可以包括车牌号码;如果跟踪目标为图像中的某部手机,则目标特征信息可以包括设备识别码或者设备信号。
在此,对于目标特征信息,不再进行一一列举,不同的跟踪目标,均有其对应的目标特征信息,以便于准确描述和标识此类跟踪目标。
步骤353,按照目标特征信息对轨迹片段分别进行局部特征构建和全局特征构建,得到局部特征信息和全局特征信息。
首先进行说明的是,局部特征信息,用于通过对轨迹片段进行的局部特征构建实现对部分轨迹片段的准确描述。
进一步地,该局部特征信息与对应轨迹片段中的至少一目标实例相关。例如,该局部特征信息与对应轨迹片段中的第一个目标实例和最后一个目标实例相关。
为此,局部特征信息可以由该至少一目标实例所对应的目标特征信息进行定义。例如,目标特征信息包括跟踪目标的视觉特征向量,则由该至少一目标实例所对应的目标特征信息中提取视觉特征向量,并以该视觉特征向量作为局部特征信息。
其次,全局特征信息,用于通过对轨迹片段进行的全局特征构建实现对整个轨迹片段的准确描述。
进一步地,该全局特征信息与对应轨迹片段中的所有目标实例相关。
为此,全局特征信息可以由所有目标实例分别对应的目标特征信息进行定义。仍以上述例子加以说明,目标特征信息包括跟踪目标的结构特征向量,则由所有目标实例分别对应的目标特征信息中提取结构特征向量,并通过该些结构特征向量得到全局特征信息。
步骤355,根据局部特征信息和全局特征信息生成轨迹片段特征信息。
如前所述,轨迹片段特征信息用于实现对整个和/或部分轨迹片段的准确描述,因此,在得到局部特征信息和全局特征信息之后,便可相应地得到包含局部特征信息和全局特征信息的轨迹片段特征信息。
通过如上所述的过程,为指定轨迹片段按照跟踪目标的不同相应地分成多个不同类别的聚类过程提供了充分的依据,即具备极高的相似性,甚至一致性的轨迹片段特征信息被用于表示相同的跟踪目标。
进一步地,在一示例性实施例中,步骤310中对图像数据进行目标检测,得到至少一目标实例,可以包括以下步骤:
通过预先创建的可变形部件模型对图像数据中跟踪目标的多个可变形部件进行标注信息标识,得到至少一所述目标实例。
其中,目标实例对应跟踪目标的可变形部件以标注信息标识。
针对图像数据,通过可变形部件模型所进行的目标检测,所得到跟踪目标为非刚性目标。该非刚性目标是指在目标跟踪过程中会产生形态变化的跟踪目标,例如人物、动物或者其他可变形物体。
具体地,可变形部件模型将跟踪目标表示为一个全局矩形框和多个部件矩形框,所述的全局是指跟踪目标的整体,所述的部件是指跟踪目标的可变形部件。
其中,全局矩形框和部件矩形框所标注的图像在目标实例中被定义为标注信息,进而使得跟踪目标的多个可变形部件在目标实例中是通过多个标注信息标识的。
以跟踪目标为人物举例说明,如图5所示,人物被表示为一个全局矩形框和六个部件矩形框,所述的全局指的是人物的整体,所述的部件指的是人物的头部、左手、右手、左腿、右腿、左右脚等可变形部件。相应地,人物的可变形部件在目标实例中由七个标准信息进行标识。
当然,根据实际应用场景的需要,部件矩形框的个数可以灵活地调整,以此满足不同应用场景中对目标跟踪准确性的不同要求。
相应地,请参阅图6,步骤351可以包括以下步骤:
步骤3511,获取跟踪目标的视觉特征向量和结构特征向量。
具体地,对多个标注信息进行直方图特征向量提取,将提取得到的直方图特征向量作为跟踪目标的视觉特征向量。
其中,直方图特征向量包括方向梯度直方图特征向量和颜色直方图特征向量。该方向梯度直方图特征向量用于描述跟踪目标的纹理特征,颜色直方图特征向量用于描述跟踪目标的颜色特征。
在直方图特征向量提取过程中,实质上是针对多个标注信息所标识的可变形部件进行的。例如,以标注信息标识人物头部来说,则是针对该人物头部所在部件矩形框标注的图像进行直方图特征向量的提取。
在此基础上,以上述提取得到的直方图特征向量定义跟踪目标的视觉特征向量,以此反映出跟踪目标的外在表观信息。
例如,针对其中一个标注信息,方向梯度直方图特征向量为a1,颜色直方图特征向量为b1,则由该标注信息即得到视觉特征向量{a1,b1}。
以此类推,随着标注信息数量的增加,由其所产生的视觉特征向量的长度也将相应地随之增长,从而有利于提高对跟踪目标描述的准确性。
例如,由八个标注信息得到的视觉特征向量为{a1,b1,a2,b2,a3,b3,a4,b4,a5,b5,a6,b6,a7,b7,a8,b8}。
以其中一个标注信息标识的可变形部件为锚点,计算其余标注信息标识的可变形部件与锚点之间的位置偏差,并以计算得到的偏差值作为跟踪目标的结构特征向量。
仍以上述例子加以说明,标注信息被用于在目标实例中标识人物的可变形部件。较优地,人物的可变形部件在目标实例中由八个标注信息进行标识,即一个全局矩形框所标注的图像表示人物的头部,七个部件矩形框所标注的图像分别表示人物的左手、右手、躯干、左腿、右腿、左脚、右脚等部件。
在此,以人物头部作为锚点,由人物头部与其余人物部件计算得到的偏差值有七个,以此得到跟踪目标为人物时的结构特征向量,以此反映出跟踪目标为人物时的内在结构信息。
例如,偏差值分别为c1、c2、c3、c4、c5、c6、c7,则结构特征向量为{c1,c2,c3,c4,c5,c6,c7}。
步骤3513,根据跟踪目标的视觉特征向量和结构特征向量生成目标实例对应的目标特征信息。
在得到跟踪目标的视觉特征向量和结构特征向量,便可实现对目标实例的准确描述,即目标实例所对应的目标特征信息包括跟踪目标的视觉特征向量和结构特征向量,进而以信息的形式唯一地标识人物跟踪目标。
在上述过程中,以目标特征信息来反映跟踪目标的外在表观信息和内在结构信息,从而准确地对跟踪目标进行描述,有利于后续准确地实现目标跟踪。
请参阅图7,在一示例性实施例中,步骤353可以包括以下步骤:
步骤3531,由轨迹片段中提取至少一目标实例,以该至少一目标实例对应目标特征信息中的视觉特征向量作为轨迹片段对应的局部特征信息。
如前所述,局部特征信息与对应轨迹片段中的至少一目标实例相关。局部特征信息可以由该至少一目标实例所对应的目标特征信息进行定义。
优选地,局部特征信息与对应轨迹片段中的第一个目标实例和最后一个目标实例相关。
具体而言,按照时间顺序,由轨迹片段中提取第一个目标实例和最后一个目标实例,并获取该第一个目标实例对应目标特征信息中的视觉特征向量,以及获取该最后一个目标实例对应目标特征信息中的视觉特征向量,进而使得轨迹片段对应的局部特征信息包括上述两个视觉特征向量。
在此过程中,局部特征信息即可视为是对轨迹片段中至少一目标实例所包含跟踪目标的准确描述,亦即实现了对部分轨迹片段的准确描述,进而有利于后续准确地实现目标跟踪。
步骤3533,针对轨迹片段中的目标实例,计算对应目标特征信息中结构特征向量的平均值,并根据该结构特征向量进行协方差运算得到协方差矩阵。
步骤3535,以平均值和协方差矩阵作为轨迹片段对应的全局特征信息。
如前所述,全局特征信息与对应轨迹片段中的所有目标实例相关。全局特征信息可以由所有目标实例分别对应的目标特征信息进行定义。
具体而言,通过所有目标实例对应目标特征信息中的各结构特征向量进行平均值和协方差矩阵的运算,并将平均值和协方差矩阵定义为轨迹片段对应的全局特征信息。
其中,以目标实例对应目标结构特征信息中的结构特征向量作为元素,协方差矩阵中的元素则是指上述各元素之间的协方差。
在此过程中,通过全局特征信息对轨迹片段中所有目标实例进行了平均和去相关性,以此实现对整个轨迹片段的准确描述,有利于后续准确地实现目标跟踪。
请参阅图8,在一示例性实施例中,步骤370可以包括以下步骤:
步骤371,针对预定义的至少一类别,根据轨迹片段特征信息分别计算指定轨迹片段与至少一类别的似然度。
类别是指包含至少一轨迹片段的集合,在该集合中,所有轨迹片段中各目标实例所包含的跟踪目标相同。
如前所述,极为相似甚至一致的轨迹片段特征信息,其所对应的轨迹片段中目标实例所包含的跟踪目标可视为相同,即其所对应的轨迹片段将属于同一类别。
换而言之,若某个类别中的轨迹片段与指定轨迹片段具有极为相似甚至一致的轨迹片段特征信息,则该指定轨迹片段很有可能属于该某个类别。
由此,在进行轨迹片段的聚类之前,首先需要根据轨迹片段特征信息获取指定轨迹片段与各类别的似然度,以此获知指定轨迹片段与类别中的各轨迹片段之间是否存在极为相似甚至一致的轨迹片段特征信息。
步骤373,根据似然度计算指定轨迹片段在至少一类别中服从均匀分布的概率。
在此说明,计算得到指定轨迹片段与各类别的似然度之后,将首先对计算得到的似然度进行归一化处理,以此保障进行概率计算的每个似然度处于同一数量级,从而有利于提高概率计算的准确性,进而有利于提高目标跟踪的准确性。
步骤375,将指定轨迹片段归类至最大概率所对应的类别。
步骤377,待完成指定轨迹片段聚类形成轨迹片段类别分布。
待需要进行聚类的指定轨迹片段均归类至相同或者不同的类别时,则完成一次聚类,此时,聚类结果即为轨迹片段类别分布。
进一步地,为了提高目标跟踪的准确性,还可以进行多次聚类,并以最后一次聚类结果作为轨迹片段类别分布。其中,聚类的迭代次数可以根据实际应用场景的需要灵活地调整。
在一示例性实施例中,步骤371之前,如上所述的方法还可以包括以下步骤:
针对其中一类别中轨迹片段所包含的目标实例,判断其中是否存在一轨迹片段与指定轨迹片段包含了时间上相互重叠的目标实例。
如果存在,则将指定轨迹片段与其中一类别的似然度置为零。
如前所述,时间上相互重叠的目标实例是由摄像设备在同一采集时间采集到的图像数据得到。也就是说,该些目标实例是源于同一图像数据的。
可以理解,同一图像数据中可能包含不止一个跟踪目标,相应地,经过目标检测,可能得到包含不同跟踪目标的多个目标实例,而该多个目标实例将被连接形成多个轨迹片段,进而使得该多个轨迹片段不可能归属于同一类别。
为此,如果指定轨迹片段与其中一类别中某个轨迹片段具有时间上相互重叠的目标实例,则表示该指定轨迹片段不可能归属于该其中一类别。也就是说,该指定轨迹片段与该其中一类别的似然度必然为零。
由上可知,如果其中一类别中的某个轨迹片段包含与指定轨迹片段在时间上相互重叠的目标实例,则没有必要进行该指定轨迹片段与该其中一类别的似然度计算,而能够直接将该指定轨迹片段与该其中一类别的似然度置为零。
通过上述实施例的配合,实现了跟踪目标的排他性约束,即同一图像数据中的不同跟踪目标所对应的轨迹片段不可能属于同一类别,进一步简单有效地保障了目标跟踪的准确性。
请参阅图9,在一示例性实施例中,步骤371可以包括以下步骤:
步骤3711,针对指定轨迹片段中的至少一目标实例,由其中一类别中获取与该至少一目标实例时间距离最近的目标实例所在轨迹片段。
优选地,将以指定轨迹片段中的第一个目标实例和最后一个目标实例来进行似然度计算。
应当理解,由于目标跟踪结果的连接是以轨迹片段的时间顺序进行的,因此,同一类别中的各轨迹片段势必具有时间顺序,并且各轨迹片段中的目标实例也是具有时间顺序的,即,连接在前的轨迹片段中最后一个目标实例在时间轴上要先于连接在后的轨迹片段中第一个目标实例。
相应地,在其中一类别中,与指定轨迹片段中第一个目标实例时间距离最近的是该类别中某个轨迹片段中的最后一个目标实例。
与指定轨迹片段中最后一个目标实例时间距离最近的是该类别中某个轨迹片段中的第一个目标实例。
步骤3713,根据该些轨迹片段分别对应的局部特征信息计算指定轨迹片段与获取到的轨迹片段的局部相似度。
此处需要说明的是,该些轨迹片段是指指定轨迹片段和获取到的轨迹片段,相应地,该些轨迹片段分别对应的局部特征信息则是指指定轨迹片段的局部特征信息和获取到的轨迹片段的局部特征信息。
步骤3715,根据指定轨迹片段对应的全局特征信息以及其中一类别的类别参数计算指定轨迹片段与其中一类别的全局相似度。
步骤3717,通过局部相似度和全局相似度计算得到指定轨迹片段与其中一类别的似然度。
具体而言,对于指定轨迹片段与其中一类别,二者之间的似然度计算公式如下:
其中,f表示指定轨迹片段与其中一类别的似然度。
xi表示第i个指定轨迹片段。(φk,xk,[])表示其中一类别,该其中一类别是轨迹片段类别分布中的第k个类别,在该第k个类别中包含了若干轨迹片段,以[]表示。
第一项s中,Ai head表示第i个指定轨迹片段中第一个目标实例对应的目标特征信息中的视觉特征向量,Ak,m tail表示第k个类别的第m个轨迹片段中最后一个目标实例对应的目标特征信息中的视觉特征向量。
第二项s中,Ai tail表示第i个指定轨迹片段中最后一个目标实例对应的目标特征信息中的视觉特征向量,Ak,n head表示第k个类别的第n个轨迹片段中第一个目标实例对应的目标特征信息中的视觉特征向量。
第三项p中,Di和Vi分别代表第i个指定轨迹片段对应全局特征信息中的平均值和协方差矩阵。φk为第k个类别的类别参数,该类别参数是针对第k个类别内的所有轨迹片段[],由其所对应全局特征信息中的平均值和协方差矩阵进行高斯模型建模过程中得到的。
进一步,函数s表示针对上述两个目标实例,分别计算二者对应视觉特征向量中各直方图特征向量之间的相似度,然后将计算得到的所有直方图特征向量进行累加,进而得到第i个指定轨迹片段与第k个类别第m个轨迹片段、第n个轨迹片段之间的局部相似度。其中,直方图特征向量包括方向梯度直方图特征向量和颜色直方图特征向量。
函数p则表示针对第k个类别内的所有轨迹片段[]以及第i个指定轨迹片段,分别通过二者所对应全局特征信息中的平均值和协方差矩阵进行高斯模型建模,然后比较建模得到的两个高斯模型之间的距离,再将比较结果转化为指定轨迹片段与其中一类别的全局相似度。
更进一步地,在分别计算得到第i个指定轨迹片段与第k个类别第m个轨迹片段的局部相似度s1、第i个指定轨迹片段与第k个类别第n个轨迹片段的局部相似度s2、以及第i个指定轨迹片段与第k个类别的全局相似度p之后,便可由上述公式计算得到第i个指定轨迹片段与第k个类别的似然度f。
在一示例性实施例中,步骤377之前,如上所述的方法还可以包括以下步骤:
判断聚类的迭代次数是否满足预设迭代阈值。
例如,预设迭代阈值设置为500次,当然,该预设迭代阈值可以根据实际需要灵活地设置。例如,为了增加目标跟踪的准确性,则提高预设迭代阈值;为了降低服务器的处理压力,则降低预设迭代阈值。
如果聚类的迭代次数满足预设迭代阈值,则停止聚类的迭代过程,以最后一次聚类得到的结果作为轨迹片段类别分布,即跳转至步骤377。
反之,如果聚类的迭代次数不满足预设迭代阈值,则触发进行类别参数更新,并针对更新了类别参数的至少一类别,根据轨迹片段特征信息计算指定轨迹片段与至少一类别的似然度,即返回至步骤371,直至聚类的迭代次数达到预设迭代阈值。
此外,根据不同的应用场景可以灵活地设置循环迭代的停止条件,还可以是计算时间达到预设计算时间则停止循环迭代,或者,聚类结果始终保持不变则停止循环迭代等等。
在上述实施例的作用下,以循环迭代的方式提高了聚类的准确性,使得目标跟踪结果所基于的跟踪目标更为一致,从而有利于进一步地提高目标跟踪的准确性。
请参阅图18,在一示例性实施例中,一种基于人工智能的图像识别方法,适用于图1所示实施环境中的服务器100,该服务器100在该示例性实施例中可以是图2所示的硬件结构。
如图18所示,该种基于人工智能的图像识别方法可以由服务器100执行,可以包括以下步骤:
步骤510,根据包含若干目标实例的轨迹片段,确定各目标实例对应的目标特征信息,各目标实例包含相同的跟踪目标。
步骤530,计算各目标实例对应目标特征信息中结构特征向量的平均值,并根据各目标实例对应目标特征信息中的结构特征向量进行协方差运算,得到协方差矩阵。
步骤550,由轨迹片段中提取至少一目标实例,以该至少一目标实例对应目标特征信息中的视觉特征向量作为所述轨迹片段对应的局部特征信息,并以所述平均值和协方差矩阵作为所述轨迹片段对应的全局特征信息。
步骤570,根据所述局部特征信息和所述全局特征信息生成所述轨迹片段特征信息。
步骤590,基于所述轨迹片段特征信息进行指定轨迹片段中跟踪目标的图像识别。
下述为本申请装置实施例,可以用于执行本申请所涉及的基于人工智能的图像识别方法。对于本申请装置实施例中未披露的细节,请参照本申请所涉及的基于人工智能的图像识别方法实施例。
请参阅图10,在一示例性实施例中,一种目标跟踪装置700包括但不限于:目标实例获取模块710、轨迹片段获取模块730、特征信息获取模块750、类别分布获取模块770和跟踪结果获取模块790。
其中,目标实例获取模块710用于获取图像数据,并对图像数据进行目标检测,得到至少一目标实例。每一目标实例对应一跟踪目标。
轨迹片段获取模块730用于在至少一目标实例中,查找包含有相同跟踪目标的目标实例,将包含有相同跟踪目标的目标实例连接形成轨迹片段。
特征信息获取模块750用于通过轨迹片段中的目标实例对轨迹片段进行特征构建,得到轨迹片段特征信息。
类别分布获取模块770用于根据轨迹片段特征信息对指定轨迹片段进行聚类获得轨迹片段类别分布。
跟踪结果获取模块790用于在轨迹片段类别分布中将同一类别的轨迹片段连接形成目标跟踪结果。
请参阅图11,在一示例性实施例中,特征信息获取模块750包括但不限于:目标特征构建单元751、轨迹片段特征构建单元753和特征信息定义单元755。
其中,目标特征构建单元751用于对轨迹片段中的目标实例进行目标特征构建,得到目标特征信息。
轨迹片段特征构建单元753用于按照目标特征信息对轨迹片段分别进行局部特征构建和全局特征构建,得到局部特征信息和全局特征信息。
特征信息定义单元755用于根据局部特征信息和全局特征信息生成轨迹片段特征信息。
在一示例性实施例中,目标实例获取模块包括:标注信息标识单元。
其中,标注信息标识单元用于通过预先创建的可变形部件模型对图像数据中跟踪目标的多个可变形部件进行标注信息标识,得到至少一目标实例。目标实例对应跟踪目标的可变形部件以标注信息标识。
相应地,请参阅图12,目标特征构建单元751包括但不限于:特征向量获取子单元7511和特征信息组成子单元7513。
其中,特征向量获取子单元7511用于获取跟踪目标的视觉特征向量和结构特征向量。
具体地,对多个标注信息进行直方图特征向量提取,将提取得到的直方图特征向量作为跟踪目标的视觉特征向量。以及,以其中一个标注信息标识的可变形部件为锚点,分别计算其余标注信息标识的可变形部件与锚点之间的位置偏差,并以计算得到的偏差值作为跟踪目标的结构特征向量。
特征信息组成子单元7513用于根据跟踪目标的视觉特征向量和结构特征向量生成目标实例对应的目标特征信息。
请参阅图13,在一示例性实施例中,轨迹片段特征构建单元753包括但不限于:局部特征信息定义子单元7531、结构特征向量计算子单元7533和全局特征信息定义子单元7535。
其中,局部特征信息定义子单元7531用于由轨迹片段中提取至少一目标实例,以该至少一目标实例对应目标特征信息中的视觉特征向量作为轨迹片段对应的局部特征信息。
结构特征向量计算子单元7533用于针对轨迹片段中的目标实例,计算对应目标特征信息中结构特征向量的平均值,并根据该结构特征向量进行协方差运算得到协方差矩阵。
全局特征信息定义子单元7535用于以平均值和协方差矩阵作为轨迹片段对应的全局特征信息。
请参阅图14,在一示例性实施例中,类别分布获取模块770包括但不限于:第一似然度计算单元771、概率计算单元773、聚类单元775和类别分布形成单元777。
其中,第一似然度计算单元771用于针对预定义的至少一类别,根据轨迹片段特征信息计算指定轨迹片段与至少一类别的似然度。
概率计算单元773用于根据似然度计算指定轨迹片段在至少一类别中服从均匀分布的概率。
聚类单元775用于将指定轨迹片段归类至最大概率所对应的类别。
类别分布形成单元777用于待完成指定轨迹片段聚类形成轨迹片段类别分布。
请参阅图15,在一示例性实施例中,类别分布获取模块770还包括但不限于:重叠判断单元810和似然度设置单元830。
其中,重叠判断单元810用于针对其中一类别中轨迹片段所包含的目标实例,判断其中是否存在一轨迹片段与指定轨迹片段包含了时间上相互重叠的目标实例。如果存在,则通知似然度设置单元。
似然度设置单元830用于将指定轨迹片段与其中一类别的似然度置为零。
请参阅图16,在一示例性实施例中,第一似然度计算单元771包括但不限于:轨迹片段获取子单元7711、局部相似度计算子单元7713、全局相似度计算子单元7715和似然度计算子单元7717。
其中,轨迹片段获取子单元7711用于针对指定轨迹片段中的至少一目标实例,由其中一类别中获取与该至少一目标实例时间距离最近的目标实例所在轨迹片段。
局部相似度计算子单元7713用于根据该些轨迹片段分别对应的局部特征信息计算指定轨迹片段与获取到的轨迹片段的局部相似度。
全局相似度计算子单元7715用于根据指定轨迹片段对应的全局特征信息以及其中一类别的类别参数计算指定轨迹片段与其中一类别的全局相似度。
似然度计算子单元7717用于通过局部相似度和全局相似度计算得到指定轨迹片段与其中一类别的似然度。
请参阅图17,在一示例性实施例中,类别分布获取模块770还包括但不限于:迭代判断单元910和第二似然度计算单元930。
其中,迭代判断单元910用于判断聚类的迭代次数是否满足预设迭代阈值。如果不满足,则通知第二似然度计算单元。
第二似然度计算单元930用于触发进行类别参数更新,并针对更新了类别参数的至少一类别,根据轨迹片段特征信息计算指定轨迹片段与至少一类别的似然度。
需要说明的是,上述实施例所提供的目标跟踪装置在进行目标跟踪处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即目标跟踪装置的内部结构将划分为不同的功能模块,以完成以上描述的全部或者部分功能。
另外,上述实施例所提供的目标跟踪装置与基于人工智能的图像识别方法的实施例属于同一构思,其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述,此处不再赘述。
请参阅图19,在一示例性实施例中,一种基于人工智能的图像识别装置600,包括但不限于:目标特征确定模块610、目标特征运算模块630、特征定义模块650、片段特征生成模块670和图像识别模块690。
其中,目标特征确定模块610,用于根据包含若干目标实例的轨迹片段,确定各目标实例对应的目标特征信息,各目标实例包含相同的跟踪目标。
目标特征运算模块630,用于计算各目标实例对应目标特征信息中结构特征向量的平均值,并根据各目标实例对应目标特征信息中的结构特征向量进行协方差运算,得到协方差矩阵。
特征定义模块650,用于由轨迹片段中提取至少一目标实例,以该至少一目标实例对应目标特征信息中的视觉特征向量作为所述轨迹片段对应的局部特征信息,并以所述平均值和协方差矩阵作为所述轨迹片段对应的全局特征信息。
片段特征生成模块670,用于根据所述局部特征信息和所述全局特征信息生成所述轨迹片段特征信息。
图像识别模块690,用于基于所述轨迹片段特征信息进行指定轨迹片段中跟踪目标的图像识别。
在一示例性实施例中,所述目标特征确定模块,包括但不限于:特征向量获取单元和目标特征生成单元。
其中,特征向量获取单元,用于获取所述目标实例所包含跟踪目标的视觉特征向量和结构特征向量;
目标特征生成单元,用于根据所述目标实例所包含跟踪目标的视觉特征向量和结构特征向量生成所述目标实例对应的目标特征信息。
在一示例性实施例中,所述特征向量获取单元,包括但不限于:向量提取子单元和偏差计算子单元。
其中,向量提取子单元,用于对多个标注信息进行直方图特征向量提取,将提取得到的直方图特征向量作为所述目标实例所包含跟踪目标的视觉特征向量,所述标注信息用于标识所述目标实例所包含跟踪目标的可变形部件;
偏差计算子单元,用于以其中一个标注信息标识的可变形部件为锚点,计算其余标注信息标识的可变形部件与所述锚点之间的位置偏差,并以计算得到的偏差值作为所述目标实例所包含跟踪目标的结构特征向量。
在一示例性实施例中,所述图像识别模块,包括但不限于:类别分布获取单元和跟踪结果获取单元。
其中,类别分布获取单元,用于根据所述轨迹片段特征信息对所述指定轨迹片段进行聚类获得轨迹片段类别分布;
跟踪结果获取单元,用于在所述轨迹片段类别分布中将同一类别的轨迹片段连接形成目标跟踪结果。
在一示例性实施例中,所述类别分布获取单元,包括但不限于:似然度计算子单元、概率计算子单元、聚类子单元和类别分布形成子单元。
其中,似然度计算子单元,用于针对预定义的至少一类别,根据所述轨迹片段特征信息计算所述指定轨迹片段与至少一类别的似然度;
概率计算子单元,用于根据所述似然度计算所述指定轨迹片段在至少一类别中服从均匀分布的概率;
聚类子单元,用于将所述指定轨迹片段归类至最大概率所对应的类别;
类别分布形成子单元,用于待完成指定轨迹片段聚类形成所述轨迹片段类别分布。
在一示例性实施例中,所述似然度计算子单元,包括但不限于:片段获取子单元、局部相似度计算子单元、全局相似度计算子单元和计算子单元。
其中,片段获取子单元,用于针对所述指定轨迹片段中的至少一目标实例,由所述其中一类别中获取与该至少一目标实例时间距离最近的目标实例所在轨迹片段;
局部相似度计算子单元,用于根据该些轨迹片段分别对应的局部特征信息计算所述指定轨迹片段与获取到的轨迹片段的局部相似度;
全局相似度计算子单元,用于根据所述指定轨迹片段对应的全局特征信息以及所述其中一类别的类别参数计算所述指定轨迹片段与所述其中一类别的全局相似度;
计算子单元,用于通过所述局部相似度和全局相似度计算得到所述指定轨迹片段与所述其中一类别的似然度。
请参阅图20,在一示例性实施例中,一种电子设备1000,包括至少一处理器1001、至少一存储器1002、以及至少一通信总线1003。
其中,存储器1002上存储有计算机可读指令,处理器1001通过通信总线1003读取存储器1002中存储的计算机可读指令。
该计算机可读指令被处理器1001执行时实现如上所述的各实施例中的基于人工智能的图像识别方法。
在一示例性实施例中,一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上所述的各实施例中的基于人工智能的图像识别方法。
上述内容,仅为本申请的较佳示例性实施例,并非用于限制本申请的实施方案,本领域普通技术人员根据本申请的主要构思和精神,可以十分方便地进行相应的变通或修改,故本申请的保护范围应以权利要求书所要求的保护范围为准。
Claims (7)
1.一种图像识别方法,其特征在于,包括:
在将新的目标实例加入轨迹片段之后,根据包含若干目标实例的轨迹片段,确定各目标实例对应的目标特征信息,各目标实例包含相同的跟踪目标,所述目标实例为包含了一跟踪目标的视频,所述轨迹片段是根据目标摄像设备实时采集的图像数据形成的,所述目标摄像设备是布设于各处的若干摄像设备中处于任意场景的摄像设备;
计算各目标实例对应目标特征信息中结构特征向量的平均值,并根据各目标实例对应目标特征信息中的结构特征向量进行协方差运算,得到协方差矩阵;
由轨迹片段中提取至少一目标实例,以该至少一目标实例对应目标特征信息中的视觉特征向量作为所述轨迹片段对应的局部特征信息,并以所述平均值和协方差矩阵作为所述轨迹片段对应的全局特征信息;
根据所述局部特征信息和所述全局特征信息生成轨迹片段特征信息,所述轨迹片段特征信息包括目标特征信息、局部特征信息和全局特征信息;
针对预定义的至少一类别的其中一类别中轨迹片段所包含的目标实例,如果其中存在一轨迹片段与指定轨迹片段包含了时间上相互重叠的目标实例,则将所述指定轨迹片段与所述其中一类别的似然度置为零;
针对所述指定轨迹片段中的至少一目标实例,由其他类别的其中一类别中获取与该至少一目标实例时间距离最近的目标实例所在轨迹片段;
根据该些轨迹片段分别对应的局部特征信息计算所述指定轨迹片段与获取到的轨迹片段的局部相似度;
分别通过所述指定轨迹片段和所述其中一类别所对应全局特征信息中的平均值和协方差矩阵进行高斯建模,并比较建模得到的两个高斯模型之间的距离,将比较结果转化为所述指定轨迹片段与所述其中一类别的全局相似度;
通过所述局部相似度和全局相似度计算得到所述指定轨迹片段与所述其中一类别的似然度,并对计算得到的似然度进行归一化处理,以使各归一化处理后的似然度处于同一数量级;
根据归一化处理后的似然度计算所述指定轨迹片段在至少一类别中服从均匀分布的概率;
将所述指定轨迹片段归类至最大概率所对应的类别;
若计算时间达到预设计算时间,或者,聚类结果始终保持不变则停止聚类的循环迭代;
待完成指定轨迹片段聚类形成所述轨迹片段类别分布;
在所述轨迹片段类别分布中将同一类别的轨迹片段连接形成目标跟踪结果。
2.如权利要求1所述的方法,其特征在于,所述根据包含若干目标实例的轨迹片段,确定各目标实例对应的目标特征信息,包括:
获取所述目标实例所包含跟踪目标的视觉特征向量和结构特征向量;
根据所述目标实例所包含跟踪目标的视觉特征向量和结构特征向量生成所述目标实例对应的目标特征信息。
3.如权利要求2所述的方法,其特征在于,所述获取所述目标实例所包含跟踪目标的视觉特征向量和结构特征向量,包括:
对多个标注信息进行直方图特征向量提取,将提取得到的直方图特征向量作为所述目标实例所包含跟踪目标的视觉特征向量,所述标注信息用于标识所述目标实例所包含跟踪目标的可变形部件;
以其中一个标注信息标识的可变形部件为锚点,计算其余标注信息标识的可变形部件与所述锚点之间的位置偏差,并以计算得到的偏差值作为所述目标实例所包含跟踪目标的结构特征向量。
4.一种图像识别装置,其特征在于,包括:
目标特征确定模块,用于在将新的目标实例加入轨迹片段之后,根据包含若干目标实例的轨迹片段,确定各目标实例对应的目标特征信息,各目标实例包含相同的跟踪目标,所述目标实例为包含了一跟踪目标的视频,所述轨迹片段是根据目标摄像设备实时采集的图像数据形成的,所述目标摄像设备是布设于各处的若干摄像设备中处于任意场景的摄像设备;
目标特征运算模块,用于计算各目标实例对应目标特征信息中结构特征向量的平均值,并根据各目标实例对应目标特征信息中的结构特征向量进行协方差运算,得到协方差矩阵;
特征定义模块,用于由轨迹片段中提取至少一目标实例,以该至少一目标实例对应目标特征信息中的视觉特征向量作为所述轨迹片段对应的局部特征信息,并以所述平均值和协方差矩阵作为所述轨迹片段对应的全局特征信息;
片段特征生成模块,用于根据所述局部特征信息和所述全局特征信息生成轨迹片段特征信息,所述轨迹片段特征信息包括目标特征信息、局部特征信息和全局特征信息;
所述装置还用于:针对预定义的至少一类别的其中一类别中轨迹片段所包含的目标实例,如果其中存在一轨迹片段与指定轨迹片段包含了时间上相互重叠的目标实例,则将所述指定轨迹片段与所述其中一类别的似然度置为零;
片段获取子单元,用于针对所述指定轨迹片段中的至少一目标实例,由其他类别的其中一类别中获取与该至少一目标实例时间距离最近的目标实例所在轨迹片段;
局部相似度计算子单元,用于根据该些轨迹片段分别对应的局部特征信息计算所述指定轨迹片段与获取到的轨迹片段的局部相似度;
全局相似度计算子单元,用于分别通过所述指定轨迹片段和所述其中一类别所对应全局特征信息中的平均值和协方差矩阵进行高斯建模,并比较建模得到的两个高斯模型之间的距离,将比较结果转化为所述指定轨迹片段与所述其中一类别的全局相似度;
计算子单元,用于通过所述局部相似度和全局相似度计算得到所述指定轨迹片段与所述其中一类别的似然度;
概率计算子单元,用于根据所述似然度计算所述指定轨迹片段在至少一类别中服从均匀分布的概率;
聚类子单元,用于将所述指定轨迹片段归类至最大概率所对应的类别;
所述装置还用于若计算时间达到预设计算时间,或者,聚类结果始终保持不变则停止聚类的循环迭代;
类别分布形成子单元,用于待完成指定轨迹片段聚类形成所述轨迹片段类别分布;
跟踪结果获取单元,用于在所述轨迹片段类别分布中将同一类别的轨迹片段连接形成目标跟踪结果;
其中,所述装置还用于对计算得到的似然度进行归一化处理,以使各归一化处理后的似然度处于同一数量级,所述概率计算子单元进一步用于:根据归一化处理后的似然度计算所述指定轨迹片段在至少一类别中服从均匀分布的概率。
5.如权利要求4所述的装置,其特征在于,所述目标特征确定模块,包括:
特征向量获取单元,用于获取所述目标实例所包含跟踪目标的视觉特征向量和结构特征向量;
目标特征生成单元,用于根据所述目标实例所包含跟踪目标的视觉特征向量和结构特征向量生成所述目标实例对应的目标特征信息。
6.一种电子设备,其特征在于,包括:
处理器;及
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如权利要求1至3中任一项所述的图像识别方法。
7.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的图像识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910849463.8A CN110473232B (zh) | 2017-07-14 | 2017-07-14 | 图像识别方法、装置、存储介质及电子设备 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710573025.4A CN107392937B (zh) | 2017-07-14 | 2017-07-14 | 目标跟踪方法、装置及电子设备 |
CN201910849463.8A CN110473232B (zh) | 2017-07-14 | 2017-07-14 | 图像识别方法、装置、存储介质及电子设备 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710573025.4A Division CN107392937B (zh) | 2017-07-14 | 2017-07-14 | 目标跟踪方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110473232A CN110473232A (zh) | 2019-11-19 |
CN110473232B true CN110473232B (zh) | 2024-02-09 |
Family
ID=60339766
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910849463.8A Active CN110473232B (zh) | 2017-07-14 | 2017-07-14 | 图像识别方法、装置、存储介质及电子设备 |
CN201710573025.4A Active CN107392937B (zh) | 2017-07-14 | 2017-07-14 | 目标跟踪方法、装置及电子设备 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710573025.4A Active CN107392937B (zh) | 2017-07-14 | 2017-07-14 | 目标跟踪方法、装置及电子设备 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11145069B2 (zh) |
EP (1) | EP3654284A4 (zh) |
JP (1) | JP6893249B2 (zh) |
KR (1) | KR102340626B1 (zh) |
CN (2) | CN110473232B (zh) |
WO (1) | WO2019011298A1 (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110473232B (zh) * | 2017-07-14 | 2024-02-09 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、存储介质及电子设备 |
CN108009498A (zh) * | 2017-11-30 | 2018-05-08 | 天津天地基业科技有限公司 | 一种基于视频的人员状态检测方法 |
CN108596944B (zh) * | 2018-04-25 | 2021-05-07 | 普联技术有限公司 | 一种提取运动目标的方法、装置及终端设备 |
CN108596945A (zh) * | 2018-04-26 | 2018-09-28 | 深圳市唯特视科技有限公司 | 一种基于微分算子的视频重复次数估计方法 |
CN109447121B (zh) * | 2018-09-27 | 2020-11-06 | 清华大学 | 一种视觉传感器网络多目标跟踪方法、装置及系统 |
CN110210304B (zh) * | 2019-04-29 | 2021-06-11 | 北京百度网讯科技有限公司 | 用于目标检测和跟踪的方法及系统 |
CN110443190B (zh) * | 2019-07-31 | 2024-02-02 | 腾讯科技(成都)有限公司 | 一种对象识别方法和装置 |
CN110781796B (zh) * | 2019-10-22 | 2022-03-25 | 杭州宇泛智能科技有限公司 | 一种标注方法、装置及电子设备 |
CN111246090A (zh) * | 2020-01-14 | 2020-06-05 | 上海摩象网络科技有限公司 | 跟踪拍摄方法、装置、电子设备及计算机存储介质 |
CN111524164B (zh) * | 2020-04-21 | 2023-10-13 | 北京爱笔科技有限公司 | 一种目标跟踪方法、装置及电子设备 |
CN113536862A (zh) * | 2020-04-21 | 2021-10-22 | 北京爱笔科技有限公司 | 一种聚类方法、装置、设备及存储介质 |
CN111524165B (zh) * | 2020-04-22 | 2023-08-25 | 北京百度网讯科技有限公司 | 目标跟踪方法和装置 |
CN113515982B (zh) * | 2020-05-22 | 2022-06-14 | 阿里巴巴集团控股有限公司 | 轨迹还原方法及设备、设备管理方法及管理设备 |
CN111694913B (zh) * | 2020-06-05 | 2023-07-11 | 海南大学 | 一种基于卷积自编码器的船舶ais轨迹聚类方法和装置 |
CN113808409B (zh) * | 2020-06-17 | 2023-02-10 | 华为技术有限公司 | 一种道路安全监控的方法、系统和计算机设备 |
CN112037245B (zh) * | 2020-07-22 | 2023-09-01 | 杭州海康威视数字技术股份有限公司 | 一种确定追踪目标相似度的方法和系统 |
CN112529939A (zh) * | 2020-12-15 | 2021-03-19 | 广州云从鼎望科技有限公司 | 一种目标轨迹匹配方法、装置、机器可读介质及设备 |
CN112819859B (zh) * | 2021-02-02 | 2023-06-02 | 重庆特斯联智慧科技股份有限公司 | 一种应用于智慧安防的多目标跟踪方法及装置 |
CN113256686B (zh) * | 2021-06-28 | 2021-10-08 | 上海齐感电子信息科技有限公司 | 视觉准确目标跟踪系统及方法 |
CN117395085B (zh) * | 2023-12-12 | 2024-03-22 | 天津医康互联科技有限公司 | 全局协方差矩阵计算方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103268480A (zh) * | 2013-05-30 | 2013-08-28 | 重庆大学 | 一种视觉跟踪系统及方法 |
WO2015165092A1 (zh) * | 2014-04-30 | 2015-11-05 | 中国科学院自动化研究所 | 大范围优先的跨摄像机视觉目标再识别方法 |
CN105224912A (zh) * | 2015-08-31 | 2016-01-06 | 电子科技大学 | 基于运动信息和轨迹关联的视频行人检测和跟踪方法 |
CN106023262A (zh) * | 2016-06-06 | 2016-10-12 | 深圳市深网视界科技有限公司 | 一种人群流动主方向估计方法和装置 |
KR101731461B1 (ko) * | 2015-12-09 | 2017-05-11 | 고려대학교 산학협력단 | 객체에 대한 행동 탐지 장치 및 이를 이용한 행동 탐지 방법 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0877356A (ja) * | 1994-09-09 | 1996-03-22 | Fujitsu Ltd | 三次元多眼画像の処理方法及び処理装置 |
US6754389B1 (en) * | 1999-12-01 | 2004-06-22 | Koninklijke Philips Electronics N.V. | Program classification using object tracking |
US20040130546A1 (en) * | 2003-01-06 | 2004-07-08 | Porikli Fatih M. | Region growing with adaptive thresholds and distance function parameters |
US7236121B2 (en) * | 2005-06-13 | 2007-06-26 | Raytheon Company | Pattern classifier and method for associating tracks from different sensors |
US7620204B2 (en) * | 2006-02-09 | 2009-11-17 | Mitsubishi Electric Research Laboratories, Inc. | Method for tracking objects in videos using covariance matrices |
KR101001559B1 (ko) * | 2008-10-09 | 2010-12-17 | 아주대학교산학협력단 | 무선 센서 네트워크에서 다중 표적 추적을 위한 하이브리드클러스터링 기반 데이터 통합 방법 |
US8705793B2 (en) | 2009-10-08 | 2014-04-22 | University Of Southern California | Object tracking by hierarchical association of detection responses |
GB2515926B (en) | 2010-07-19 | 2015-02-11 | Ipsotek Ltd | Apparatus, system and method |
CN102741884B (zh) * | 2010-07-27 | 2016-06-08 | 松下知识产权经营株式会社 | 移动体检测装置及移动体检测方法 |
US9147260B2 (en) * | 2010-12-20 | 2015-09-29 | International Business Machines Corporation | Detection and tracking of moving objects |
CA2834916C (en) * | 2011-05-04 | 2017-10-17 | Jacques Georgy | Two-stage filtering based method for multiple target tracking |
US10018703B2 (en) * | 2012-09-13 | 2018-07-10 | Conduent Business Services, Llc | Method for stop sign law enforcement using motion vectors in video streams |
US9462160B2 (en) * | 2012-11-22 | 2016-10-04 | Nec Corporation | Color correction device, method, and program |
US9342759B1 (en) * | 2013-03-14 | 2016-05-17 | Hrl Laboratories, Llc | Object recognition consistency improvement using a pseudo-tracklet approach |
US9158971B2 (en) * | 2014-03-03 | 2015-10-13 | Xerox Corporation | Self-learning object detectors for unlabeled videos using multi-task learning |
CN104376576B (zh) * | 2014-09-04 | 2018-06-05 | 华为技术有限公司 | 一种目标跟踪方法及装置 |
JP6520218B2 (ja) * | 2015-03-03 | 2019-05-29 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
JP6664163B2 (ja) * | 2015-08-05 | 2020-03-13 | キヤノン株式会社 | 画像識別方法、画像識別装置及びプログラム |
JP6515039B2 (ja) * | 2016-01-08 | 2019-05-15 | Kddi株式会社 | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 |
CN106875421A (zh) * | 2017-01-19 | 2017-06-20 | 博康智能信息技术有限公司北京海淀分公司 | 一种多目标跟踪方法及装置 |
CN106934339B (zh) * | 2017-01-19 | 2021-06-11 | 上海博康智能信息技术有限公司 | 一种目标跟踪、跟踪目标识别特征的提取方法和装置 |
CN110473232B (zh) * | 2017-07-14 | 2024-02-09 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、存储介质及电子设备 |
-
2017
- 2017-07-14 CN CN201910849463.8A patent/CN110473232B/zh active Active
- 2017-07-14 CN CN201710573025.4A patent/CN107392937B/zh active Active
-
2018
- 2018-07-12 WO PCT/CN2018/095473 patent/WO2019011298A1/zh unknown
- 2018-07-12 EP EP18832895.9A patent/EP3654284A4/en active Pending
- 2018-07-12 KR KR1020197028566A patent/KR102340626B1/ko active IP Right Grant
- 2018-07-12 JP JP2019547413A patent/JP6893249B2/ja active Active
-
2019
- 2019-08-12 US US16/538,310 patent/US11145069B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103268480A (zh) * | 2013-05-30 | 2013-08-28 | 重庆大学 | 一种视觉跟踪系统及方法 |
WO2015165092A1 (zh) * | 2014-04-30 | 2015-11-05 | 中国科学院自动化研究所 | 大范围优先的跨摄像机视觉目标再识别方法 |
CN105224912A (zh) * | 2015-08-31 | 2016-01-06 | 电子科技大学 | 基于运动信息和轨迹关联的视频行人检测和跟踪方法 |
KR101731461B1 (ko) * | 2015-12-09 | 2017-05-11 | 고려대학교 산학협력단 | 객체에 대한 행동 탐지 장치 및 이를 이용한 행동 탐지 방법 |
CN106023262A (zh) * | 2016-06-06 | 2016-10-12 | 深圳市深网视界科技有限公司 | 一种人群流动主方向估计方法和装置 |
Non-Patent Citations (6)
Title |
---|
Adaptive multiple video sensors fusion based on decentralized Kalman filter and sensor confidence;Qingping LI 等;《SCIENCE CHINA Information Sciences》;20170630;第1-12页 * |
Generic Multiple Object Tracking;WENHAN LUO;《https://spiral.imperial.ac.uk/handle/10044/1/39044》;20160531;第96页5.3节第1段、100页5.3.2.1节第2段、101页5.3.2.2节第1段、第105页 * |
Robust object tracking with boosted discriminative model via graph embedding;Wei Li 等;《2011 IEEE International Conference on Computer Vision Workshops》;20120116;第1-7页 * |
基于全局结构相似度度量方法的显著性检测;卢凯 等;《计算机工程与科学》;第35卷(第06期);117-121 * |
基于轨迹多特征的运动模式学习及异常检测;汤春明 等;《计算机应用与软件》;第32卷(第03期);206-210+271 * |
目标匹配与跟踪算法研究;杨海燕;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150115;摘要 * |
Also Published As
Publication number | Publication date |
---|---|
EP3654284A4 (en) | 2021-04-14 |
WO2019011298A1 (zh) | 2019-01-17 |
KR102340626B1 (ko) | 2021-12-16 |
US20190362503A1 (en) | 2019-11-28 |
CN107392937B (zh) | 2023-03-14 |
CN107392937A (zh) | 2017-11-24 |
JP2020509499A (ja) | 2020-03-26 |
JP6893249B2 (ja) | 2021-06-23 |
KR20190120335A (ko) | 2019-10-23 |
US11145069B2 (en) | 2021-10-12 |
CN110473232A (zh) | 2019-11-19 |
EP3654284A1 (en) | 2020-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110473232B (zh) | 图像识别方法、装置、存储介质及电子设备 | |
Xie et al. | Multilevel cloud detection in remote sensing images based on deep learning | |
CN111797893B (zh) | 一种神经网络的训练方法、图像分类系统及相关设备 | |
CN111241989B (zh) | 图像识别方法及装置、电子设备 | |
EP2907082B1 (en) | Using a probabilistic model for detecting an object in visual data | |
US11663502B2 (en) | Information processing apparatus and rule generation method | |
CN110503076B (zh) | 基于人工智能的视频分类方法、装置、设备和介质 | |
CN113450579B (zh) | 速度信息的获取方法、装置、设备及介质 | |
Tu et al. | Detection of damaged rooftop areas from high-resolution aerial images based on visual bag-of-words model | |
CN111666976A (zh) | 基于属性信息的特征融合方法、装置和存储介质 | |
CN111104911A (zh) | 一种基于大数据训练的行人重识别方法及装置 | |
CN111444373B (zh) | 图像检索方法及其装置、介质和系统 | |
Gao et al. | 3d face reconstruction from volumes of videos using a mapreduce framework | |
Bagchi et al. | Reg3DFacePtCd: registration of 3D point clouds using a common set of landmarks for alignment of human face images | |
CN115115699A (zh) | 姿态估计方法、装置、相关设备和计算机产品 | |
CN113761263A (zh) | 相似度确定方法、装置及计算机可读存储介质 | |
CN113947781A (zh) | 一种走失儿童识别方法、系统、终端设备及存储介质 | |
CN110674342B (zh) | 查询目标图像的方法和装置 | |
CN113887384A (zh) | 基于多轨迹融合的行人轨迹分析方法、装置、设备及介质 | |
CN113850750A (zh) | 一种目标轨迹校验的方法、装置、设备及存储介质 | |
CN112819859A (zh) | 一种应用于智慧安防的多目标跟踪方法及装置 | |
Liang et al. | The Design of an Intelligent Monitoring System for Human Action | |
Cheng et al. | Class attendance checking system based on deep learning and global optimization | |
Jain et al. | An artificial approach of video object action detection by using gaussian mixture model | |
KR20230029258A (ko) | 다중 카메라에서 대상 객체를 추적하기 위한 질의 정보를 업데이트하는 방법 및 이를 수행하는 다중 카메라 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |