CN113240718A - 多目标识别及跟踪方法、系统、介质和计算设备 - Google Patents
多目标识别及跟踪方法、系统、介质和计算设备 Download PDFInfo
- Publication number
- CN113240718A CN113240718A CN202110791057.8A CN202110791057A CN113240718A CN 113240718 A CN113240718 A CN 113240718A CN 202110791057 A CN202110791057 A CN 202110791057A CN 113240718 A CN113240718 A CN 113240718A
- Authority
- CN
- China
- Prior art keywords
- feature map
- tracking
- sub
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明的实施方式提供了一种多目标识别及跟踪方法、系统、介质和计算设备。该方法包括：基于采集到的原始图像进行特征提取，得到所述原始图像对应的特征图；对所述特征图进行特征分离，得到所述特征图对应的检测特征图和跟踪特征图；对所述检测特征图和所述跟踪特征图进行识别，得到所述原始图像中的至少一个目标的位置对应的预设形式标识，以及所述预设形式标识对应的重识别特征；基于所述重识别特征分别将各个目标对应的所述预设形式标识进行时序联结，得到各个目标分别对应的跟踪结果。本发明能够根据得到的多个跟踪结果对输入的原始图像中病灶的识别进行有效的辅助，以识别出更加全面的病灶，从而提升疾病诊断结果的准确性。
Description
技术领域
本发明的实施方式涉及图像处理技术领域，更具体地，本发明的实施方式涉及一种多目标识别及跟踪方法、系统、介质和计算设备。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
近年来，随着神经网络技术的快速发展，医学检查和诊断方式也随之改变，目前，主要利用神经网络对内窥镜等医疗设备采集到的图像进行识别，确定出图像中病灶所在区域并对病灶进行跟踪，从而辅助医生进行疾病诊断。然而，在实践中发现，现有的目标识别网络通常只能识别出单一的病灶，但在实际中，病灶通常并不是单独存在的，因此，通过上述方式识别出的病灶并不全面，从而导致疾病诊断的结果准确性较低。
发明内容
在本上下文中，本发明的实施方式期望提供一种多目标识别及跟踪方法、系统、介质和计算设备。
在本发明实施方式的第一方面中，提供了一种多目标识别及跟踪方法，包括：
基于采集到的原始图像进行特征提取，得到所述原始图像对应的特征图；
对所述特征图进行特征分离，得到所述特征图对应的检测特征图和跟踪特征图；
对所述检测特征图和所述跟踪特征图进行识别，得到所述原始图像中的至少一个目标的位置对应的预设形式标识，以及所述预设形式标识对应的重识别特征；
基于所述重识别特征分别将各个目标对应的所述预设形式标识进行时序联结，得到各个目标分别对应的跟踪结果。
在本实施方式的一个实施例中，基于采集到的原始图像进行特征提取，得到所述原始图像对应的特征图包括：
利用跨阶段局部网络对采集到的原始图像进行计算，得到所述原始图像对应的特征图。
在本实施方式的一个实施例中，利用跨阶段局部网络对采集到的原始图像进行计算，得到所述原始图像对应的特征图包括：
对所述原始图像进行卷积计算，得到所述原始图像对应的第一子图像；
对所述第一子图像进行池化计算，得到所述第一子图像对应的第二子图像；
利用跨阶段局部网络对所述第二子图像进行计算，得到所述第二子图像对应的第三子图像；
对所述第三子图像进行降采样计算，得到所述第三子图像对应的第四子图像；
利用所述跨阶段局部网络对所述第四子图像进行计算，得到所述第四子图像对应的特征图。
在本实施方式的一个实施例中，对所述特征图进行特征分离，得到所述特征图对应的检测特征图和跟踪特征图包括：
对所述特征图进行卷积操作和Softmax操作，得到注意力权重；
将所述特征图与所述注意力权重进行点乘，得到空间注意力图；
基于空间注意力图对所述特征图进行特征分离操作，得到与所述特征图对应的检测特征图和跟踪特征图。
在本实施方式的一个实施例中，对所述检测特征图和所述跟踪特征图进行识别，得到所述原始图像中的至少一个目标的位置对应的预设形式标识，以及所述预设形式标识对应的重识别特征包括：
对所述检测特征图进行识别，得到所述原始图像中的至少一个目标，并确定各个目标所在位置对应的预设形式标识；
对所述跟踪特征图和所述预设形式标识进行计算，得到所述预设形式标识对应的重识别特征。
在本实施方式的一个实施例中，对所述检测特征图进行识别，得到所述原始图像中的至少一个目标，并确定各个目标所在位置对应的预设形式标识之后，所述方法还包括：
根据得到的目标确定所述原始图像中包含的至少一个目标类别；
以及，对所述跟踪特征图和所述预设形式标识进行计算，得到所述预设形式标识对应的重识别特征包括：
对各个目标类型分别对应的预设形式标识和所述跟踪特征图进行计算，得到各个预设形式标识分别对应的重识别特征。
在本发明实施方式的第二方面中，提供了一种多目标识别及跟踪系统，所述系统包括特征提取模块、特征分离模块以及目标跟踪模块，其中：
所述特征提取模块，被配置为基于采集到的原始图像进行特征提取，得到所述原始图像对应的特征图；
所述特征分离模块，被配置为对所述特征图进行特征分离，得到所述特征图对应的检测特征图和跟踪特征图；
所述目标跟踪模块，被配置为对所述检测特征图和所述跟踪特征图进行识别，得到所述原始图像中的至少一个目标的位置对应的预设形式标识，以及所述预设形式标识对应的重识别特征；以及基于所述重识别特征分别将各个目标对应的所述预设形式标识进行时序联结，得到各个目标分别对应的跟踪结果。
在本实施方式的一个实施例中，所述特征提取模块包括卷积子模块、池化子模块、跨阶段局部网络以及降采样子模块，其中：
所述卷积子模块，被配置为对采集到的原始图像进行卷积计算，得到所述原始图像对应的第一子图像；
所述池化子模块，被配置为对所述第一子图像进行池化计算，得到所述第一子图像对应的第二子图像；
所述跨阶段局部网络，被配置为对所述第二子图像进行计算，得到所述第二子图像对应的第三子图像；
所述降采样子模块，被配置为对所述第三子图像进行降采样计算，得到所述第三子图像对应的第四子图像；
所述跨阶段局部网络，还被配置为对所述第四子图像进行计算，得到所述第四子图像对应的特征图。
在本实施方式的一个实施例中，所述对所述特征图进行特征分离，得到所述特征图对应的检测特征图和跟踪特征图的特征分离模块被配置为，对所述特征图进行卷积操作和Softmax操作，得到注意力权重；以及将所述特征图与所述注意力权重进行点乘，得到空间注意力图；以及基于空间注意力图对所述特征图进行特征分离操作，得到与所述特征图对应的检测特征图和跟踪特征图。
在本实施方式的一个实施例中，所述目标跟踪模块包括检测子模块和跟踪子模块，其中：
所述检测子模块，被配置为对所述检测特征图进行识别，得到所述原始图像中的至少一个目标，并确定各个目标所在位置对应的预设形式标识；
所述跟踪子模块，被配置为对所述跟踪特征图和所述预设形式标识进行计算，得到所述预设形式标识对应的重识别特征。
在本实施方式的一个实施例中，还包括：
所述目标跟踪模块，还被配置为在得到所述原始图像中的至少一个目标之后，根据得到的目标确定所述原始图像中包含的至少一个目标类别；
以及，所述对所述跟踪特征图和所述预设形式标识进行计算，得到所述预设形式标识对应的重识别特征的跟踪子模块还被配置为，对各个目标类型分别对应的预设形式标识和所述跟踪特征图进行计算，得到各个预设形式标识分别对应的重识别特征。
在本发明实施方式的第三方面中，提供了一种存储有程序的存储介质，其中，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现第一方面中任一项所述的方法。
在本发明实施方式的第四方面中，提供了一种计算设备，包括第三方面所述的存储介质。
根据本发明实施方式的多目标识别及跟踪方法、系统、介质和计算设备，能够对原始图像进行特征提取，从原始图像中可以提取出检测特征图和跟踪特征图两种特征图，通过对检测特征图进行识别，可以确定原始图像中包含的不同类别的多个目标以及各个目标的重识别特征，进而可以通过对跟踪特征图和重识别特征进行处理，可以得到不同类别的各个目标分别对应的跟踪结果，可见，可以根据得到的多个跟踪结果对输入的原始图像中病灶的识别进行有效的辅助，以识别出更加全面的病灶，从而提升疾病诊断结果的准确性。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1为本发明一实施例提供的多目标识别及跟踪方法的流程示意图；
图2为本发明另一实施例提供的多目标识别及跟踪方法的流程示意图；
图3a、图3b以及图3c为根据本发明的实施方式对原始图像执行多目标识别及跟踪任务得到的连续三帧结果示意图；
图4为本发明一实施例提供的多目标识别及跟踪系统的结构示意图；
图5为本发明一实施例提供的多目标识别及跟踪系统中特征提取模块的结构示意图；
图6为本发明一实施例提供的多目标识别及跟踪系统中特征分离模块的结构示意图；
图7示意性地示出了本发明实施例的一种介质的结构示意图；
图8示意性地示出了本发明实施例的一种计算设备的结构示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件（包括固件、驻留软件、微代码等），或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种多目标识别及跟踪方法、系统、介质和计算设备。
在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
示例性方法
下面参考图1，图1为本发明一实施例提供的多目标识别及跟踪方法的流程示意图。需要注意的是，本发明的实施方式可以应用于适用的任何场景。
图1所示的本发明一实施例提供的多目标识别及跟踪方法的流程，包括：
步骤S101，基于采集到的原始图像进行特征提取，得到所述原始图像对应的特征图；
步骤S102，对所述特征图进行特征分离，得到所述特征图对应的检测特征图和跟踪特征图；
步骤S103，对所述检测特征图和所述跟踪特征图进行识别，得到所述原始图像中的至少一个目标的位置对应的预设形式标识，以及所述预设形式标识对应的重识别特征；
步骤S104，基于所述重识别特征分别将各个目标对应的所述预设形式标识进行时序联结，得到各个目标分别对应的跟踪结果。
本申请中提出的多目标识别及跟踪方法所针对的是基于深度学习对图像中包含的多个类别的多个目标同时进行识别并跟踪，得到多个类别的多个目标的识别跟踪结果的模型，应用场景包括但不限于手术室、检查间、建筑孔洞、机械检查场景等。
本发明中能够对原始图像进行特征提取，从原始图像中可以提取出检测特征图和跟踪特征图两种特征图，通过对检测特征图进行识别，可以确定原始图像中包含的不同类别的多个目标以及各个目标的重识别特征，进而可以通过对跟踪特征图和重识别特征进行处理，可以得到不同类别的各个目标分别对应的跟踪结果，可见，本发明可以根据得到的多个跟踪结果对输入的原始图像中病灶的识别进行有效的辅助，以识别出更加全面的病灶，从而提升疾病诊断结果的准确性。
下面结合附图说明如何得到不同类别的多个目标分别对应的跟踪结果，从而从原始图像中识别出更加全面的病灶，提升疾病诊断结果的准确性：
本发明实施例中，原始图像可以从图像采集设备（如摄像机、内窥镜等）采集到的图片或者视频等影像数据中得到，采集到的原始图像中可以包含多个需要识别的目标，且可以存在任意两个目标的目标类别相同，对原始图像中的多个目标可以进行识别和跟踪。可以在Resnet18网络结构中加入跨阶段局部网络（Cross Stage Partial Network，CSPNet），以实现对Resnet18网络结构的改进，并基于改进的Resnet18网络结构中跨阶段局部网络对原始图像中的特征进行提取，以得到原始图像对应的特征图，可以防止网络中不同层学习重复的梯度信息，大大提高了网络的学习能力，同时计算量并没有显著的增加。
本发明实施例中，传统的针对目标的检测和跟踪任务存在严重的优化矛盾；对检测任务而言，需要同类别的目标之间的相似度尽量高，也即是网络能够最大化不同类别的目标之间的距离；但是，对跟踪任务而言，需要最大化不同实例之间的距离，因此，本发明可以通过对特征图进行特征分离，得到两个不同的特征图（即检测特征图和跟踪特征图），以解决上述存在的问题。可以对特征图进行卷积操作和Softmax操作得到特征图对应的空间注意力，进而可以将空间注意力和特征图进行结合，得到空间注意力图，以及可以对空间注意力图执行卷积操作、层归一化操作以及Relu激活函数操作，得到特征图对应的检测特征图和跟踪特征图。
以及，原始图像中可以包含一个或多个待识别的目标，可以通过对检测特征图进行识别，确定出原始图像中包含的每一个目标，并确定出每一个目标在原始图像中的位置，通过在每个目标所在位置处输出预设形式标识，可以对各个目标在原始图像中所处的位置进行标识，更进一步可以通过跟踪特征图结合预设形式标识再次进行特征提取，得到各个预设形式标识对应的重识别特征（Re-identification，Re-ID）；其中，预设形式标识可以为多种形状的包围框（例如矩形包围框、圆形包围框等），识别出的目标所在位置可以处于包围框的中点。
本发明实施例中，可以利用卡尔曼滤波和匈牙利算法对重识别特征进行计算，将各个目标对应的重识别特征分别进行时序联结，即可以将各个目标对应的预设形式标识进行时序联结，以得到各个目标对应的预设形式标识的运动轨迹，由于预设形式标识可以表示目标的位置，因此，该预设形式标识的运动轨迹可认为是预设形式标识所指示的目标对应的移动轨迹，即该目标对应的跟踪结果。其中，卡尔曼滤波可以用于实现对多帧连续的原始图像中识别出的目标的预设形式标识运动的预测，得到原始图像中各个目标对应的预设形式标识的运动轨迹；匈牙利算法可以用于实现原始图像中各个目标与目标位置处的预设形式标识成功进行匹配。
请参阅图2，图2为本发明另一实施例提供的多目标识别及跟踪方法的流程示意图，图2所示的本发明另一实施例提供的多目标识别及跟踪方法的流程包括：
步骤S201，利用跨阶段局部网络对采集到的原始图像进行计算，得到所述原始图像对应的特征图；
实施上述的步骤S201，可以通过跨阶段局部网络对原始图像进行计算，可以提高原始图像对应的特征图的获取速度，同时可以保证得到的特征图的精确度。
作为一种可选的实施方式，步骤S201利用跨阶段局部网络对采集到的原始图像进行计算，得到所述原始图像对应的特征图的方式具体可以包含以下步骤：
对所述原始图像进行卷积计算，得到所述原始图像对应的第一子图像；
对所述第一子图像进行池化计算，得到所述第一子图像对应的第二子图像；
利用跨阶段局部网络对所述第二子图像进行计算，得到所述第二子图像对应的第三子图像；
对所述第三子图像进行降采样计算，得到所述第三子图像对应的第四子图像；
利用所述跨阶段局部网络对所述第四子图像进行计算，得到所述第四子图像对应的特征图。
其中，实施这种实施方式，可以对原始图像进行卷积计算、池化计算、降采样计算，以及通过跨阶段局部网络对原始图像进行处理，可以防止对原始图像进行处理的过程中学习重复的梯度信息，降低了计算量，从而提升了计算得到特征图的效率。
举例来说，原始图像的尺寸可以为224*224，原始图像经过卷积计算可以得到尺寸为112*112的64通道的第一子图像，并且可以对第一子图像进行池化计算，得到尺寸为56*56的64通道的第二子图像，以及可以通过跨阶段局部网络对第二子图像进行计算，得到尺寸不变的第三子图像，之后，可以对第三子图像进行降采样计算，得到尺寸为28*28的128通道的第四子图像，最后，可以通过跨阶段局部网络对第四子图像进行计算，得到最终的尺寸为28*28的128通道的特征图，其中，跨阶段局部网络通常采用截断梯度流的策略来防止网络中不同层学习重复的梯度信息，从而使网络的学习能力大大提高，而计算量并没有显著的增加。
步骤S202，对所述特征图进行卷积操作和Softmax操作，得到注意力权重；
步骤S203，将所述特征图与所述注意力权重进行点乘，得到空间注意力图；
步骤S204，基于空间注意力图对所述特征图进行特征分离操作，得到与所述特征图对应的检测特征图和跟踪特征图；
实施上述的步骤S202~步骤S204，可以对得到的特征图进行卷积操作和Softmax操作，得到注意力权重，进而可以将注意力权重与特征图进行结合，得到空间注意力图，基于空间注意力图可以计算得到特征图对应的检测特征图和跟踪特征图，从而保证了基于不同的特征图进行目标检测和目标跟踪的准确性。
本发明实施例中，特征图可以为上述计算得到的尺寸为28*28的128通道的特征图，卷积操作可以为对特征图执行的一个1×1的128个卷积核的卷积计算，进而可以对得到卷积操作得到的结果执行Softmax操作，从而得到特征图对应的注意力权重，进而可以将得到的注意力权重与输入的特征图进行点乘操作，得到空间注意力图，以及，可以对空间注意力图分别进行1x1卷积、LayerNorm和Relu激活函数操作，得到空间注意力图对应的不同的张量，并且将不同的张量分别与特征图进行相加，可以得到检测特征图和跟踪特征图；由于，对空间注意力图进行1x1卷积的卷积核权重不同，因此可以得到不同的张量，从而得到不同的检测特征图和跟踪特征图，生成检测特征图的1x1卷积的卷积核权重可以根据检测子模块的预测误差进行训练和优化的，而生成跟踪特征图的1x1卷积的卷积核权重可以根据跟踪子模块的预测误差进行训练和优化的，从可以得到与不同的1x1卷积的卷积核分别对应的不同的检测特征图和跟踪特征图。
步骤S205，对所述检测特征图进行识别，得到所述原始图像中的至少一个目标，并确定各个目标所在位置对应的预设形式标识；
步骤S206，对所述跟踪特征图和所述预设形式标识进行计算，得到所述预设形式标识对应的重识别特征；
实施上述的步骤S205~步骤S206，可以从检测特征图中识别出至少一个目标，并且可以在各个目标所在位置处标注有预设形式标识，进而可以结合跟踪特征图和预设形式标识进行计算，得到重识别特征，保证了重识别特征的准确性。
本发明实施例中，在对检测特征图进行识别的过程中，可以通过Focal Loss计算损失函数，以提高对检测特征图识别的准确性，并且可以通过特征图来计算识别出的将目标作为中心点的预设形式标识（例如矩形包围框），当预设形式标识为矩形包围框时，可以计算得到矩形包围框的多个观测量（例如矩形包围框中点的横坐标及其运动速度、矩形包围框中点的纵坐标及其运动速度、矩形包围框的大小及其变化速率和长宽比等），还可以对特征图中经过下采样产生的轻微偏差矩形弥补，从而得到更加准确的矩形包围框的信息。
以及，在确定预设形式标识之后，可以对个跟踪特征图中预设形式标识指示的位位置处的特征进行重识别，得到预设形式标识对应的重识别特征，并且通过重识别特征指示的目标物体可以用一个128维的向量进行表示。
可选的，执行步骤S205之后，还可以执行以下步骤：
根据得到的目标确定所述原始图像中包含的至少一个目标类别；
以及，步骤S206对所述跟踪特征图和所述预设形式标识进行计算，得到所述预设形式标识对应的重识别特征的方式具体可以为：
对各个目标类型分别对应的预设形式标识和所述跟踪特征图进行计算，得到各个预设形式标识分别对应的重识别特征。
其中，实施这种实施方式，可以识别出原始图像中包含的至少一个目标类别，并且可以基于不同的目标类别对重识别图像进行计算，从而保证得到的不同目标类型的目标对应的重识别特征更加准确。
本发明实施例中，由于原始图像中可以存在一个或多个待识别的目标，因此，当存在多个待识别的目标时，多个目标的目标类型可以为相同的，也可以为多个不同的目标类别。当原始图像中存在多个不同目标类别的多个不同的目标时，可以基于跟踪特征图对不同目标类别的目标对应的预设形式标识分别进行计算，即相同目标类别的目标对应的预设形式标识在跟踪特征图中指示的多个位置可以同时进行特征的重识别，从而得到各个预设形式标识分别对应的重识别特征。
步骤S207，基于所述重识别特征分别将各个目标对应的所述预设形式标识进行时序联结，得到各个目标分别对应的跟踪结果。
请参阅图3a、图3b以及图3c，图3a、图3b以及图3c为根据本发明的实施方式对原始图像执行多目标识别及跟踪任务得到的连续三帧结果示意图，其中，黑色包围框框出的可以为医疗器械，白色包围框框出的可以为病灶区域，可见，本发明的实施方式可以识别出原始图像中不同类别的多个不同的目标，并且可以对各个目标的运动进行跟踪，以使在每一帧图像中都可以跟踪识别出不同类别的多个目标。
本发明能够根据得到的多个跟踪结果对输入的原始图像中病灶的识别进行有效的辅助，以识别出更加全面的病灶，从而提升疾病诊断结果的准确性。此外，本发明还可以提高原始图像对应的特征图的获取速度，同时可以保证得到的特征图的精确度。此外，本发明还可以提升了计算得到特征图的效率。此外，本发明还可以保证了基于不同的特征图进行目标检测和目标跟踪的准确性。此外，本发明还可以保证了重识别特征的准确性。此外，本发明还可以保证得到的不同目标类型的目标对应的重识别特征更加准确。
示例性系统
在介绍了本发明示例性实施方式的方法之后，接下来，参考图4对本发明示例性实施方式的一种多目标识别及跟踪系统进行说明，该系统包括特征提取模块40、特征分离模块50以及目标跟踪模块60，所述目标跟踪模块60包括检测子模块601和跟踪子模块602，其中：
所述特征提取模块，被配置为基于采集到的原始图像进行特征提取，得到所述原始图像对应的特征图；
所述特征分离模块，被配置为对所述特征图进行特征分离，得到所述特征图对应的检测特征图和跟踪特征图；
所述目标跟踪模块，被配置为对所述检测特征图和所述跟踪特征图进行识别，得到所述原始图像中的至少一个目标的位置对应的预设形式标识，以及所述预设形式标识对应的重识别特征；以及基于所述重识别特征分别将各个目标对应的所述预设形式标识进行时序联结，得到各个目标分别对应的跟踪结果。
请一并参阅图5，图5为特征提取模块40的结构图；其中，所述特征提取模块40包括卷积子模块401、池化子模块402、跨阶段局部网络403以及降采样子模块404，其中：
所述卷积子模块，被配置为对采集到的原始图像进行卷积计算，得到所述原始图像对应的第一子图像；
所述池化子模块，被配置为对所述第一子图像进行池化计算，得到所述第一子图像对应的第二子图像；
所述跨阶段局部网络，被配置为对所述第二子图像进行计算，得到所述第二子图像对应的第三子图像；
所述降采样子模块，被配置为对所述第三子图像进行降采样计算，得到所述第三子图像对应的第四子图像；
所述跨阶段局部网络，还被配置为对所述第四子图像进行计算，得到所述第四子图像对应的特征图。
其中，实施这种实施方式，可以对原始图像进行卷积计算、池化计算、降采样计算，以及通过跨阶段局部网络对原始图像进行处理，可以防止对原始图像进行处理的过程中学习重复的梯度信息，降低了计算量，从而提升了计算得到特征图的效率。
具体的，图5中首先输入一个3通道尺寸为224*224的特征图，通过卷积子模块401中的64通道、步幅为2、填充为3以及7*7的卷积核对输入的特征图进行卷积，并对得到的结果输入至归一化层以及Relu函数层进行计算，得到64通道的尺寸为112*112的第一子图像；以及将第一子图像输入至池化子模块402，该池化子模块402中通过步幅为2、填充为3以及3*3卷积核对第一子图像进行最大池化计算，得到64通道的尺寸为56*56的第二子图像，以及通过跨阶段局部网络403对第二子图像进行两次计算，得到64通道的尺寸为56*56的第三子图像；之后可以通过降采样子模块404对第三子图像进行计算，降采样子模块404中可以分为两路对第三子图像进行计算，第一路可以通过64通道、步幅为1、填充为1以及3*3的卷积核对输入的第三子图像进行两次计算，得到第一输出；第二路可以通过128通道、步幅为2、填充为1以及1*1的卷积核对输入的第三子图像进行计算，得到128通道的尺寸为28*28的第二输出，将第一输出和第二输出进行相加得到128通道的尺寸为28*28的第四子图像；最后可以通过跨阶段局部网络403对第四子图像进行计算，得到128通道的尺寸为28*28的特征图。其中，降采样子模块404可以用来降低特征图的维度并保留有效信息，一定程度上避免过拟合，同时减少模型的计算量，提升模型的计算效率。
请一并参阅图6，图6为特征分离模块50的结构图；其中，特征图可以为上述计算得到的尺寸为28*28的128通道的特征图，卷积操作可以为对特征图执行的一个1×1的128个卷积核的卷积计算，进而可以对得到卷积操作得到的结果执行Softmax操作，从而得到特征图对应的注意力权重，进而可以将得到的注意力权重与输入的特征图进行点乘操作，得到空间注意力图，以及，利用此空间注意力图实现特征分离，对空间注意力图分别进行1x1卷积、LayerNorm以及Relu激活函数操作，最终得到检测特征图和跟踪特征图。
作为一种可选的实施方式，所述对所述特征图进行特征分离，得到所述特征图对应的检测特征图和跟踪特征图的特征分离模块被配置为，对所述特征图进行卷积操作和Softmax操作，得到注意力权重；以及将所述特征图与所述注意力权重进行点乘，得到空间注意力图；以及基于空间注意力图对所述特征图进行特征分离操作，得到与所述特征图对应的检测特征图和跟踪特征图。
其中，实施这种实施方式，可以对得到的特征图进行卷积操作和Softmax操作，得到注意力权重，进而可以将注意力权重与特征图进行结合，得到空间注意力图，基于空间注意力图可以计算得到特征图对应的检测特征图和跟踪特征图，从而保证了基于不同的特征图进行目标检测和目标跟踪的准确性。
作为一种可选的实施方式，包括：
所述检测子模块，被配置为对所述检测特征图进行识别，得到所述原始图像中的至少一个目标，并确定各个目标所在位置对应的预设形式标识；
所述跟踪子模块，被配置为对所述跟踪特征图和所述预设形式标识进行计算，得到所述预设形式标识对应的重识别特征。
其中，实施这种实施方式，可以从检测特征图中识别出至少一个目标，并且可以在各个目标所在位置处标注有预设形式标识，进而可以结合跟踪特征图和预设形式标识进行计算，得到重识别特征，保证了重识别特征的准确性。
作为一种可选的实施方式，还包括：
所述目标跟踪模块，还被配置为在得到所述原始图像中的至少一个目标之后，根据得到的目标确定所述原始图像中包含的至少一个目标类别；
以及，所述对所述跟踪特征图和所述预设形式标识进行计算，得到所述预设形式标识对应的重识别特征的跟踪子模块还被配置为，对各个目标类型分别对应的预设形式标识和所述跟踪特征图进行计算，得到各个预设形式标识分别对应的重识别特征。
其中，实施这种实施方式，可以识别出原始图像中包含的至少一个目标类别，并且可以基于不同的目标类别对重识别图像进行计算，从而保证得到的不同目标类型的目标对应的重识别特征更加准确。
本发明实施例中，可以在识别出多个目标类型时，为每一个目标类型分别构建跟踪子模块，通过当前目标类型对应的跟踪子模块，基于跟踪特征图对当前目标类型对应的多个目标的多个预设形式标识进行计算，得到当前目标类型对应的多个预设形式标识的重识别特征，从而保证了不同目标类型的重识别特征识别的准确度。
示例性介质
在介绍了本发明示例性实施方式的方法和系统之后，接下来，参考图7对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图7，其示出的计算机可读存储介质为光盘70，其上存储有计算机程序（即程序产品），所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，基于采集到的原始图像进行特征提取，得到所述原始图像对应的特征图；对所述特征图进行特征分离，得到所述特征图对应的检测特征图和跟踪特征图；对所述检测特征图和所述跟踪特征图进行识别，得到所述原始图像中的至少一个目标的位置对应的预设形式标识，以及所述预设形式标识对应的重识别特征；基于所述重识别特征分别将各个目标对应的所述预设形式标识进行时序联结，得到各个目标分别对应的跟踪结果；各步骤的具体实现方式在此不再重复说明。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
示例性计算设备
在介绍了本发明示例性实施方式的方法、介质和系统之后，接下来，参考图8对本发明示例性实施方式的用于多目标识别及跟踪的计算设备。
图8示出了适于用来实现本发明实施方式的示例性计算设备80的框图，该计算设备80可以是计算机系统或服务器。图8显示的计算设备80仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算设备80的组件可以包括但不限于：一个或者多个处理器或者处理单元801，系统存储器802，连接不同系统组件（包括系统存储器802和处理单元801）的总线803。
计算设备80典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备80访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器802可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）8021和/或高速缓存存储器8022。计算设备80可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM8023可以用于读写不可移动的、非易失性磁介质（图8中未显示，通常称为“硬盘驱动器”）。尽管未在图8中示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM，DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线803相连。系统存储器802中可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组（至少一个）程序模块8024的程序/实用工具8025，可以存储在例如系统存储器802中，且这样的程序模块8024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块8024通常执行本发明所描述的实施例中的功能和/或方法。
计算设备80也可以与一个或多个外部设备804（如键盘、指向设备、显示器等）通信。这种通信可以通过输入/输出（I/O）接口605进行。并且，计算设备80还可以通过网络适配器806与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图8所示，网络适配器806通过总线803与计算设备80的其它模块（如处理单元801等）通信。应当明白，尽管图8中未示出，可以结合计算设备80使用其它硬件和/或软件模块。
处理单元801通过运行存储在系统存储器802中的程序，从而执行各种功能应用以及数据处理，例如，基于采集到的原始图像进行特征提取，得到所述原始图像对应的特征图；对所述特征图进行特征分离，得到所述特征图对应的检测特征图和跟踪特征图；对所述检测特征图和所述跟踪特征图进行识别，得到所述原始图像中的至少一个目标的位置对应的预设形式标识，以及所述预设形式标识对应的重识别特征；基于所述重识别特征分别将各个目标对应的所述预设形式标识进行时序联结，得到各个目标分别对应的跟踪结果。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了多目标识别及跟踪系统的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
Claims (13)
1.一种多目标识别及跟踪方法，包括：
基于采集到的原始图像进行特征提取，得到所述原始图像对应的特征图；
对所述特征图进行特征分离，得到所述特征图对应的检测特征图和跟踪特征图；
对所述检测特征图和所述跟踪特征图进行识别，得到所述原始图像中的至少一个目标的位置对应的预设形式标识，以及所述预设形式标识对应的重识别特征；
基于所述重识别特征分别将各个目标对应的所述预设形式标识进行时序联结，得到各个目标分别对应的跟踪结果。
2.根据权利要求1所述的多目标识别及跟踪方法，基于采集到的原始图像进行特征提取，得到所述原始图像对应的特征图包括：
利用跨阶段局部网络对采集到的原始图像进行计算，得到所述原始图像对应的特征图。
3.根据权利要求2所述的多目标识别及跟踪方法，利用跨阶段局部网络对采集到的原始图像进行计算，得到所述原始图像对应的特征图包括：
对所述原始图像进行卷积计算，得到所述原始图像对应的第一子图像；
对所述第一子图像进行池化计算，得到所述第一子图像对应的第二子图像；
利用跨阶段局部网络对所述第二子图像进行计算，得到所述第二子图像对应的第三子图像；
对所述第三子图像进行降采样计算，得到所述第三子图像对应的第四子图像；
利用所述跨阶段局部网络对所述第四子图像进行计算，得到所述第四子图像对应的特征图。
4.根据权利要求1~3任一项所述的多目标识别及跟踪方法，对所述特征图进行特征分离，得到所述特征图对应的检测特征图和跟踪特征图包括：
对所述特征图进行卷积操作和Softmax操作，得到注意力权重；
将所述特征图与所述注意力权重进行点乘，得到空间注意力图；
基于空间注意力图对所述特征图进行特征分离操作，得到与所述特征图对应的检测特征图和跟踪特征图。
5.根据权利要求1~3任一项所述的多目标识别及跟踪方法，对所述检测特征图和所述跟踪特征图进行识别，得到所述原始图像中的至少一个目标的位置对应的预设形式标识，以及所述预设形式标识对应的重识别特征包括：
对所述检测特征图进行识别，得到所述原始图像中的至少一个目标，并确定各个目标所在位置对应的预设形式标识；
对所述跟踪特征图和所述预设形式标识进行计算，得到所述预设形式标识对应的重识别特征。
6.根据权利要求5所述的多目标识别及跟踪方法，对所述检测特征图进行识别，得到所述原始图像中的至少一个目标，并确定各个目标所在位置对应的预设形式标识之后，所述方法还包括：
根据得到的目标确定所述原始图像中包含的至少一个目标类别；
以及，对所述跟踪特征图和所述预设形式标识进行计算，得到所述预设形式标识对应的重识别特征包括：
对各个目标类型分别对应的预设形式标识和所述跟踪特征图进行计算，得到各个预设形式标识分别对应的重识别特征。
7.一种多目标识别及跟踪系统，所述系统包括特征提取模块、特征分离模块以及目标跟踪模块，其中：
所述特征提取模块，被配置为基于采集到的原始图像进行特征提取，得到所述原始图像对应的特征图；
所述特征分离模块，被配置为对所述特征图进行特征分离，得到所述特征图对应的检测特征图和跟踪特征图；
所述目标跟踪模块，被配置为对所述检测特征图和所述跟踪特征图进行识别，得到所述原始图像中的至少一个目标的位置对应的预设形式标识，以及所述预设形式标识对应的重识别特征；以及基于所述重识别特征分别将各个目标对应的所述预设形式标识进行时序联结，得到各个目标分别对应的跟踪结果。
8.根据权利要求7所述的多目标识别及跟踪系统，所述特征提取模块包括卷积子模块、池化子模块、跨阶段局部网络以及降采样子模块，其中：
所述卷积子模块，被配置为对采集到的原始图像进行卷积计算，得到所述原始图像对应的第一子图像；
所述池化子模块，被配置为对所述第一子图像进行池化计算，得到所述第一子图像对应的第二子图像；
所述跨阶段局部网络，被配置为对所述第二子图像进行计算，得到所述第二子图像对应的第三子图像；
所述降采样子模块，被配置为对所述第三子图像进行降采样计算，得到所述第三子图像对应的第四子图像；
所述跨阶段局部网络，还被配置为对所述第四子图像进行计算，得到所述第四子图像对应的特征图。
9.根据权利要求7或8所述的多目标识别及跟踪系统，所述对所述特征图进行特征分离，得到所述特征图对应的检测特征图和跟踪特征图的特征分离模块被配置为，对所述特征图进行卷积操作和Softmax操作，得到注意力权重；以及将所述特征图与所述注意力权重进行点乘，得到空间注意力图；以及基于空间注意力图对所述特征图进行特征分离操作，得到与所述特征图对应的检测特征图和跟踪特征图。
10.根据权利要求7或8所述的多目标识别及跟踪系统，所述目标跟踪模块包括检测子模块和跟踪子模块，其中：
所述检测子模块，被配置为对所述检测特征图进行识别，得到所述原始图像中的至少一个目标，并确定各个目标所在位置对应的预设形式标识；
所述跟踪子模块，被配置为对所述跟踪特征图和所述预设形式标识进行计算，得到所述预设形式标识对应的重识别特征。
11.根据权利要求10所述的多目标识别及跟踪系统，还包括：
所述目标跟踪模块，还被配置为在得到所述原始图像中的至少一个目标之后，根据得到的目标确定所述原始图像中包含的至少一个目标类别；
以及，所述对所述跟踪特征图和所述预设形式标识进行计算，得到所述预设形式标识对应的重识别特征的跟踪子模块还被配置为，对各个目标类型分别对应的预设形式标识和所述跟踪特征图进行计算，得到各个预设形式标识分别对应的重识别特征。
12.一种存储有程序的存储介质，其中，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1~6中的任一项所述的方法。
13.一种计算设备，包括如权利要求12所述的存储介质。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110791057.8A CN113240718A (zh) | 2021-07-13 | 2021-07-13 | 多目标识别及跟踪方法、系统、介质和计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110791057.8A CN113240718A (zh) | 2021-07-13 | 2021-07-13 | 多目标识别及跟踪方法、系统、介质和计算设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113240718A true CN113240718A (zh) | 2021-08-10 |
Family
ID=77135460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110791057.8A Pending CN113240718A (zh) | 2021-07-13 | 2021-07-13 | 多目标识别及跟踪方法、系统、介质和计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113240718A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487608A (zh) * | 2021-09-06 | 2021-10-08 | 北京字节跳动网络技术有限公司 | 内窥镜图像检测方法、装置、存储介质及电子设备 |
| CN113689939A (zh) * | 2021-10-26 | 2021-11-23 | 萱闱(北京)生物科技有限公司 | 用于图像特征匹配的图像存储方法、系统和计算设备 |
| CN113808105A (zh) * | 2021-09-17 | 2021-12-17 | 合肥合滨智能机器人有限公司 | 一种基于超声扫查的病灶检测方法 |
| CN113989643A (zh) * | 2021-10-26 | 2022-01-28 | 萱闱(北京)生物科技有限公司 | 管道状态检测方法、装置、介质及计算设备 |
| CN114596337A (zh) * | 2022-03-03 | 2022-06-07 | 捻果科技(深圳)有限公司 | 一种基于多摄像机位联动性的自识别目标追踪方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140172831A1 (en) * | 2012-12-14 | 2014-06-19 | Samsung Electronics Co., Ltd. | Information search method and device and computer readable recording medium thereof |
| CN111860504A (zh) * | 2020-07-20 | 2020-10-30 | 青岛科技大学 | 基于深度学习的视觉多目标跟踪方法及装置 |
| CN112417988A (zh) * | 2020-10-30 | 2021-02-26 | 深圳点猫科技有限公司 | 一种基于深度学习的视频多目标跟踪方法、装置及设备 |
| CN112487934A (zh) * | 2020-11-26 | 2021-03-12 | 电子科技大学 | 基于ReID特征的强数据关联一体化实时多目标跟踪方法 |
| CN112801018A (zh) * | 2021-02-07 | 2021-05-14 | 广州大学 | 一种跨场景目标自动识别与追踪方法及应用 |
-
2021
- 2021-07-13 CN CN202110791057.8A patent/CN113240718A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140172831A1 (en) * | 2012-12-14 | 2014-06-19 | Samsung Electronics Co., Ltd. | Information search method and device and computer readable recording medium thereof |
| CN111860504A (zh) * | 2020-07-20 | 2020-10-30 | 青岛科技大学 | 基于深度学习的视觉多目标跟踪方法及装置 |
| CN112417988A (zh) * | 2020-10-30 | 2021-02-26 | 深圳点猫科技有限公司 | 一种基于深度学习的视频多目标跟踪方法、装置及设备 |
| CN112487934A (zh) * | 2020-11-26 | 2021-03-12 | 电子科技大学 | 基于ReID特征的强数据关联一体化实时多目标跟踪方法 |
| CN112801018A (zh) * | 2021-02-07 | 2021-05-14 | 广州大学 | 一种跨场景目标自动识别与追踪方法及应用 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487608A (zh) * | 2021-09-06 | 2021-10-08 | 北京字节跳动网络技术有限公司 | 内窥镜图像检测方法、装置、存储介质及电子设备 |
| CN113808105A (zh) * | 2021-09-17 | 2021-12-17 | 合肥合滨智能机器人有限公司 | 一种基于超声扫查的病灶检测方法 |
| CN113808105B (zh) * | 2021-09-17 | 2024-03-19 | 合肥合滨智能机器人有限公司 | 一种基于超声扫查的病灶检测方法 |
| CN113689939A (zh) * | 2021-10-26 | 2021-11-23 | 萱闱(北京)生物科技有限公司 | 用于图像特征匹配的图像存储方法、系统和计算设备 |
| CN113989643A (zh) * | 2021-10-26 | 2022-01-28 | 萱闱(北京)生物科技有限公司 | 管道状态检测方法、装置、介质及计算设备 |
| CN113989643B (zh) * | 2021-10-26 | 2023-09-01 | 萱闱(北京)生物科技有限公司 | 管道状态检测方法、装置、介质及计算设备 |
| CN114596337A (zh) * | 2022-03-03 | 2022-06-07 | 捻果科技(深圳)有限公司 | 一种基于多摄像机位联动性的自识别目标追踪方法及系统 |
| CN114596337B (zh) * | 2022-03-03 | 2022-11-25 | 捻果科技(深圳)有限公司 | 一种基于多摄像机位联动性的自识别目标追踪方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113240718A (zh) | 多目标识别及跟踪方法、系统、介质和计算设备 | |
| Recasens et al. | Learning to zoom: a saliency-based sampling layer for neural networks | |
| JP5940453B2 (ja) | 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置 | |
| Bousetouane et al. | Improved mean shift integrating texture and color features for robust real time object tracking | |
| CN104756155A (zh) | 合并多个地图以用于基于计算机视觉的跟踪的系统及方法 | |
| CN111723865B (zh) | 评估图像识别模型、攻击方法性能的方法、装置和介质 | |
| CN111612822B (zh) | 对象跟踪方法、装置、计算机设备和存储介质 | |
| JP6756406B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| Jeon et al. | Guided semantic flow | |
| CN112784750B (zh) | 基于像素和区域特征匹配的快速视频物体分割方法和装置 | |
| CN111209774A (zh) | 目标行为识别及显示方法、装置、设备、可读介质 | |
| JP2019512821A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN110956131B (zh) | 单目标追踪方法、装置及系统 | |
| CN115345905A (zh) | 目标对象跟踪方法、装置、终端及存储介质 | |
| Yang et al. | Robust and real-time pose tracking for augmented reality on mobile devices | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN109948515B (zh) | 物体的类别识别方法和装置 | |
| Haggui et al. | Centroid human tracking via oriented detection in overhead fisheye sequences | |
| CN113887545A (zh) | 一种基于目标检测模型的腹腔镜手术器械识别方法及装置 | |
| CN113689939B (zh) | 用于图像特征匹配的图像存储方法、系统和计算设备 | |
| CN115527083B (zh) | 图像标注方法、装置和电子设备 | |
| CN113902983B (zh) | 基于目标检测模型的腹腔镜手术组织器官识别方法及装置 | |
| CN116523957A (zh) | 一种多目标跟踪方法、系统、电子设备及存储介质 | |
| CN110633647A (zh) | 活体检测方法及装置 | |
| Truong et al. | Single object tracking using particle filter framework and saliency-based weighted color histogram |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210810 |