CN115018886B - 运动轨迹识别方法、装置、设备及介质 - Google Patents

运动轨迹识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN115018886B
CN115018886B CN202210951188.2A CN202210951188A CN115018886B CN 115018886 B CN115018886 B CN 115018886B CN 202210951188 A CN202210951188 A CN 202210951188A CN 115018886 B CN115018886 B CN 115018886B
Authority
CN
China
Prior art keywords
target detection
frame
microscopic image
target
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210951188.2A
Other languages
English (en)
Other versions
CN115018886A (zh
Inventor
蔡德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210951188.2A priority Critical patent/CN115018886B/zh
Publication of CN115018886A publication Critical patent/CN115018886A/zh
Application granted granted Critical
Publication of CN115018886B publication Critical patent/CN115018886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本申请公开了一种运动轨迹识别方法、装置、设备及介质，涉及人工智能领域，该方法包括：对多个显微图像帧进行目标对象检测，得到多个显微图像帧分别对应的目标检测结果；针对第i个显微图像帧中目标对象对应的第一目标检测框和第i+1个显微图像帧中目标对象对应的第二目标检测框，基于第一目标检测框中目标对象和第二目标检测框中目标对象之间的表现特征差异，对第一目标检测框和第二目标检测框进行跳变识别，得到跳变识别结果；基于跳变识别结果，得到目标对象在第i个显微图像帧和第i+1个显微图像帧之间的运动轨迹段，生成目标对象在多个显微图像帧中的运动轨迹识别结果。提高了对目标存在跳变现象时产生的运动轨迹的识别准确度。

Description

运动轨迹识别方法、装置、设备及介质
技术领域
本申请实施例涉及人工智能领域，特别涉及一种运动轨迹识别方法、装置、设备及介质。
背景技术
在太空生命科学研究中，果蝇等经典的模式生物被广泛地研究。在太空失重条件下，果蝇等小动物的运动轨迹相比地面有很大的不同，例如：因失重产生的大量跳变现象。
相关技术中，获取得到待检测目标的多个视频帧图像后，首先会通过关键点检测方法，标注出每个视频帧图像上的待检测目标的位置；其次，会根据多个视频帧图像中标注出的待检测目标之间的位置关系进行匹配，从而得到待检测目标的运动轨迹识别结果。
然而，在失重条件下待检测目标存在跳变现象，也即在连续采集到的两帧图像中，某个待检测目标的移动距离异常增加，从而导致运动轨迹识别结果的误差较大。
发明内容
本申请实施例提供了一种运动轨迹识别方法、装置、设备及介质，能够提高运动轨迹识别结果的准确度，所述技术方案包括如下方案。
一方面，提供了一种运动轨迹识别方法，所述方法包括：
获取多个显微图像帧，所述多个显微图像帧是通过图像采集设备连续采集得到的显微图像帧，所述显微图像帧中包括多个待进行轨迹识别的目标对象；
对所述多个显微图像帧进行目标对象检测，得到所述多个显微图像帧分别对应的目标检测结果，所述目标检测结果中包括在所述显微图像帧中的目标检测框，所述目标检测框用于对所述显微图像帧中的所述目标对象进行独立框选；
针对第i个显微图像帧中目标对象对应的第一目标检测框和第i+1个显微图像帧中目标对象对应的第二目标检测框，基于所述第一目标检测框中目标对象和所述第二目标检测框中目标对象之间的表现特征差异，对所述第一目标检测框和所述第二目标检测框进行跳变识别，得到跳变识别结果，所述跳变识别结果用于指示所述第一目标检测框中目标对象跳变为所述第二目标检测框中目标对象的概率，i为正整数；
基于所述跳变识别结果，得到所述目标对象在第i个显微图像帧和第i+1个显微图像帧之间的运动轨迹段，生成所述目标对象在所述多个显微图像帧中的运动轨迹识别结果。
另一方面，提供了一种运动轨迹识别装置，所述装置包括：
获取模块，用于获取多个显微图像帧，所述多个显微图像帧是通过图像采集设备连续采集得到的显微图像帧，所述显微图像帧中包括多个待进行轨迹识别的目标对象；
检测模块，用于对所述多个显微图像帧进行目标对象检测，得到所述多个显微图像帧分别对应的目标检测结果，所述目标检测结果中包括在所述显微图像帧中的目标检测框，所述目标检测框用于对所述显微图像帧中的所述目标对象进行独立框选；
跳变识别模块，用于针对第i个显微图像帧中目标对象对应的第一目标检测框和第i+1个显微图像帧中目标对象对应的第二目标检测框，基于所述第一目标检测框中目标对象和所述第二目标检测框中目标对象之间的表现特征差异，对所述第一目标检测框和所述第二目标检测框进行跳变识别，得到跳变识别结果，所述跳变识别结果用于指示所述第一目标检测框中目标对象跳变为所述第二目标检测框中目标对象的概率，i为正整数；
轨迹生成模块，用于基于所述跳变识别结果，得到所述目标对象在第i个显微图像帧和第i+1个显微图像帧之间的运动轨迹段，生成所述目标对象在所述多个显微图像帧中的运动轨迹识别结果。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现本申请实施例中任一所述的运动轨迹识别方法。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现本申请实施例任一所述的运动轨迹识别方法。
另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例中任一所述的运动轨迹识别方法。
本申请实施例提供的技术方案至少包括以下有益效果。
通过对多个显微图像帧进行目标对象检测，从而对显微图像帧中包括的多个目标对象进行独立框选得到多个目标检测框，在对相邻两个显微图像帧之间的目标检测框进行匹配时，首先对待匹配的目标检测框进行跳变识别，基于跳变识别结果对待匹配的目标检测框进行匹配，提高了对目标存在跳变现象时产生的运动轨迹的识别准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的跳变现象的示意图；
图2是本申请一个示例性实施例提供的运动轨迹识别方法的过程示意图；
图3是本申请一个示例性实施例提供的实施环境的示意图；
图4是本申请一个示例性实施例提供的运动轨迹识别方法的流程图；
图5是本申请另一个示例性实施例提供的运动轨迹识别方法的流程图；
图6是本申请又一个示例性实施例提供的运动轨迹识别方法的流程图；
图7是本申请一个示例性实施例提供的运动轨迹识别方法中特征提取的示意图；
图8是本申请一个示例性实施例提供的运动轨迹识别方法中距离的示意图；
图9是本申请另一个示例性实施例提供的运动轨迹识别方法中距离的示意图；
图10是本申请一个示例性实施例提供的运动轨迹识别方法的目标检测框的匹配的示意图；
图11是本申请一个示例性实施例提供的运动轨迹识别结果的示意图；
图12是本申请另一个示例性实施例提供的运动轨迹识别结果的示意图；
图13是本申请一个示例性实施例提供的运动轨迹识别方法中目标检测框标记情况的示意图；
图14是本申请一个示例性实施例提供的运动轨迹识别方法中预测的轨迹示意图；
图15是本申请一个示例性实施例提供的运动轨迹识别装置的结构框图；
图16是本申请另一个示例性实施例提供的运动轨迹识别装置的结构框图；
图17是本申请一个示例性实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中术语“第一”、“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。
首先，针对本申请实施例中涉及的名词进行简单介绍。
计算机视觉技术（Computer Vision，CV）：是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别（Optical Character Recognition，OCR）、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别、目标检测等生物特征识别技术。
跳变：在本申请实施例中，跳变是指在较短的时间（例如：1s）内，目标对象进行了较大距离的移动，示意性的，请参考图1，其示出了在显微镜下的连续两个显微图像帧，该显微图像帧表现的是果蝇在失重条件下，处于培养皿中的移动过程，如图1所示，从显微图像帧101到显微图像帧102，果蝇110移动了较大距离，则显微图像帧101到显微图像帧102中果蝇110的移动即为跳变。
相关技术中，获取得到待检测目标的多个视频帧图像后，首先会通过关键点检测方法，标注出每个视频帧图像上的待检测目标的位置；其次，会根据多个视频帧图像中标注出的待检测目标之间的位置关系进行匹配，从而得到待检测目标的运动轨迹识别结果。然而，在失重条件下待检测目标存在跳变现象，也即在连续采集到的两帧图像中，某个待检测目标的移动距离异常增加，从而导致运动轨迹识别结果的误差较大。
本申请实施例提出一种运动轨迹识别方法，针对相关技术中的问题，以多目标检测为基础，得到多个显微图像帧分别对应的目标检测结果，并结合在太空失重条件下产生的跳变现象对运动轨迹识别的影响，对多个显微图像帧分别对应的目标检测结果进行匹配，从而形成多个显微图像帧对应的运动轨迹识别结果。示意性的，请参考图2，其示出了本申请实施例提供的一种运动轨迹识别方法的过程示意图，运动轨迹识别过程包括如下过程。
（1）目标检测过程。
将通过空间站显微镜采集得到的一系列显微图像帧201输入到目标检测器202中，并通过目标检测器202获取一系列显微图像帧201分别对应的多个目标检测框。
（2）预处理过程。
对多个目标检测框进行预处理，预处理包括确定一系列显微图像帧201对应的目标对象的个数。
可选地，预处理之后还包括对一系列显微图像帧201分别对应的多个目标检测框的校正过程，示意性的，在单个显微图像帧中可能存在有两个重叠的检测框，则可通过卡尔曼滤波器对一系列显微图像帧201分别对应的多个目标检测框进行校正处理：将一系列显微图像帧201分别对应的多个目标检测框输入到卡尔曼滤波器中，基于卡尔曼滤波器预测一系列显微图像帧201分别对应的多个校正检测框。
（3）跳变识别过程。
针对第i个显微图像帧中目标对象对应的第一目标检测框和第i+1个显微图像帧中目标对象对应的第二目标检测框，基于第一目标检测框中目标对象和第二目标检测框中目标对象之间的表现特征差异，对第一目标检测框和第二目标检测框进行跳变识别，确定在第一目标检测框中的目标对象跳变成为第二目标检测框中的目标对象的概率。
（4）轨迹生成过程。
最后，基于第一目标检测框中的目标对象跳变成为第二目标检测框中的目标对象的概率，确定第一目标检测框中的目标对象与第二目标检测框中的目标对象是否匹配，从而生成目标对象在一系列显微图像帧201中的轨迹识别结果。
图3是本申请一个示例性实施例提供的实施环境示意图，如图3所示，该实施环境中包括空间站显微镜310，计算机设备320和天地链路设备330，空间站显微镜310和计算机设备320通过天地链路设备330进行通信。
可选地，空间站显微镜310中设置有显微镜摄像头和显微镜成像软件，其中，显微镜摄像头用于采集在空间站中的连续的显微图像帧数据，例如：在显微镜摄像头下放置果蝇培养皿，通过显微镜摄像头拍摄果蝇培养皿在一段时间内的活动图像，其中显微镜成像系统用于将采集得到的光学图像转化为计算机可以处理的数字图像。在一些可选的实施例中，在上述实施环境中还包括图像采集设备，示意性的，图像采集设备可通过空间站显微镜310中设置的显微镜摄像头采集在空间站中的连续的显微图像帧数据，在图像采集设备中将采集得到的光学图像转化为计算机可以处理的数字图像。
可选地，计算机设备320是智能手机、平板电脑、笔记本电脑、台式计算机、智能家电、智能车载终端、智能音箱、数码相机等终端设备；或者，计算机设备320是性能较好的服务器设备，但并不局限于此。可选地，计算机设备320中安装和运行有目标应用程序，示意性地，该目标应用程序可以是传统应用程序，可以是云应用程序，可以实现为宿主应用程序中的小程序或应用模块，也可以是某个网页平台，本实施例对此不加以限定。可选地，该目标应用程序提供有运动轨迹识别功能。示意性的，空间站显微镜310通过天地链路设备330将采集得到的多个显微图像帧发送到计算机设备320中，计算机设备320接收到多个显微图像帧后，首先对多个显微图像帧进行目标对象检测，得到多个显微图像帧分别对应的目标检测结果；其次，对相邻两个显微图像帧之间的目标检测框进行跳变识别，得到跳变识别结果；最后，基于跳变识别结果得到目标对象在相邻两个显微图像帧之间的运动轨迹段，并生成目标对象在多个显微图像帧中的运动轨迹识别结果。
可选地，空间站显微镜310和图像采集设备均设置在空间站内；上述计算机设备320和天地链路设备330设置在地面。
需要说明的是，上述实施环境仅为示意性的举例，本申请实施例提供的运动轨迹识别方法还可以应用于普通显微镜的观察场景下（也即，显微镜为地面上设置的显微镜），示意性的，通过普通显微镜采集一系列显微图像帧，将采集得到一系列显微图像帧保存在终端；终端将这一系列显微图像帧通过通信网络上传至服务器，服务器处理得到运动轨迹识别结果后，将运动轨迹识别结果反馈给终端，或者，在终端中直接处理得到运动轨迹识别结果，本申请实施例对此不加以限定。
值得注意的是，计算机设备320能够是独立的物理服务器，也能够是多个物理服务器构成的服务器集群或者分布式系统，还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content DeliveryNetwork，内容分发网络）以及大数据和人工智能平台等基础云计算服务的云服务器。
需要说明的是，本申请所涉及的信息（包括但不限于用户设备信息、用户个人信息等）、数据（包括但不限于用于分析的数据、存储的数据、展示的数据等）以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的显微图像帧是在充分授权的情况下获取的。
结合上述介绍和实施环境，对本申请实施例提供的运动轨迹识别方法进行说明，图4是本申请实施例提供的一种运动轨迹识别方法的流程图，以该方法应用于如图3所示的计算机设备中为例进行说明，如图4所示，该方法包括如下步骤。
步骤401，获取多个显微图像帧。
其中，多个显微图像帧是通过图像采集设备连续采集得到的显微图像帧。
可选地，多个显微帧图像是在失重条件下（例如：太空失重条件下）通过空间站显微镜连续采集得到的图像帧。
在一些可选的实施例中，多个显微图像帧是通过对空间站显微镜采集得到的视频数据进行切分得到的多个视频帧图像。示意性的，在空间站中设置显微镜，通过显微镜摄像头采集得到视频数据，将采集得到的视频数据发送到计算机设备中，在计算机设备中可对该视频数据进行切分得到多个视频帧图像。
在一些可选的实施例中，多个显微图像帧是通过空间站显微镜连续拍摄得到的图像。示意性的，通过在空间站中设置的显微镜摄像头对同一目标连续拍摄一系列照片，将这一系列照片发送到计算机设备中，可选地，对这一系列照片按照拍摄的时间顺序进行标号。
可选地，目标对象是指在显微图像帧中的小目标，其中，小目标是指像素值在20像素至30像素之间的目标对象，例如：在培养皿中的果蝇；小目标还可以指在图像帧中占比较小的目标对象，例如：在拍摄的城市图像中，汽车在城市图像中的面积为0.08%至0.58%，则汽车对于这张城市图像来说即为小目标。
步骤402，对多个显微图像帧进行目标对象检测，得到多个显微图像帧分别对应的目标检测结果。
目标检测结果中包括在显微图像帧中的目标检测框，目标检测框用于对显微图像帧中的目标对象进行独立框选。
可选地，目标检测框的尺寸是统一的，示意性的，若需要检测的目标对象为不超过30像素的小目标，则检测框的尺寸可统一设置为40像素，也即，对同一个显微图像帧上的多个小目标，即使小目标的大小有差异，对小目标进行框选的检测框的大小也不改变；或者，目标检测框的尺寸是可调节的，可选地，根据识别得到的目标对象的大小和位置适应性的调整目标检测框的大小，示意性的，在显微图像帧中，较小的目标对象对应的目标检测框的尺寸较小，较大的目标对象对应的目标检测框的尺寸较大，若目标对象的边缘与显微图像帧的边界有接触，该目标对象对应的目标检测框的尺寸较小。
示意性的，通过目标检测器对多个显微图像帧中的目标对象进行识别，并将识别得到的目标对象通过目标检测框进行框选。
可选地，对于一个显微图像帧来说，可以将一个显微图像帧划分成多个区域进行目标对象的识别，识别完成之后将这些区域重新组合在一起。
可选地，对多个显微图像帧进行目标对象检测的过程还包括对目标对象的类别识别过程，示意性的，若一个显微图像帧中包括多种类别的目标对象，例如，培养皿中同时包括真菌和细菌，则首先对培养皿中的目标对象进行类别识别，将培养皿中的目标对象分为真菌类和细菌类，可选地，通过不同颜色的检测框标注真菌类目标对象和细菌类目标对象。
步骤403，针对第i个显微图像帧中目标对象对应的第一目标检测框和第i+1个显微图像帧中目标对象对应的第二目标检测框，基于第一目标检测框中目标对象和第二目标检测框中目标对象之间的表现特征差异，对第一目标检测框和第二目标检测框进行跳变识别，得到跳变识别结果。
其中，跳变识别结果用于指示第一目标检测框中目标对象跳变为第二目标检测框中目标对象的概率，i为正整数。
可选地，表现特征差异包括目标对象之间的静态表现差异和动态表现差异，其中，静态表现是指目标对象的轮廓、纹理、颜色、大小、关键点特征（例如：果蝇的雌性和雄性的腹部有明显差异，那么果蝇的关键点特征可以是腹部特征）等，例如：以目标对象实现为果蝇为例进行说明，果蝇的眼睛、翅膀的花纹、大小等都属于果蝇的静态特征；动态特征是指目标对象的运动速度、运动方向等。
示意性的，在第i个显微图像帧中，识别出果蝇A的位置，并用检测框对果蝇A的位置进行标记，对果蝇A的位置的标记即为第一目标检测框；用多个检测框分别标记出在第i+1个显微图像帧中的果蝇所在的位置，该多个检测框即为第二目标检测框；依次对比果蝇A和多个检测框中的果蝇之间的表现特征差异，即可得到果蝇A跳变成为多个检测框中的果蝇的概率，也即跳变识别结果。
步骤404，基于跳变识别结果，得到目标对象在第i个显微图像帧和第i+1个显微图像帧之间的运动轨迹段，生成目标对象在多个显微图像帧中的运动轨迹识别结果。
可选地，将跳变识别结果中概率最高的第二目标检测框中的目标对象和第一目标检测框中的目标对象进行匹配，即得到了目标对象在第i个显微图像帧和第i+1个显微图像帧之间的运动轨迹段。
在一些可选的实施例中，若多个显微图像帧仅包括两个显微图像帧，将第i个显微图像帧和第i+1个显微图像帧配准后，将目标对象的在第i个显微图像帧和第i+1个显微图像帧的位置点连接后，即可得到目标对象的轨迹段，即为在多个显微图像帧中的运动轨迹识别结果。
示意性的，将果蝇A跳变成为多个检测框中果蝇的概率中概率最高的检测框中的果蝇A'作为果蝇A的跳变对象，也就是说，在第i+1个显微图像帧中概率最高的检测框中的果蝇A'和第i个显微图像帧中的果蝇A是同一个果蝇；将第i个显微图像帧和第i+1个显微图像帧配准后，连接果蝇A和果蝇A'的位置点坐标，即得到了果蝇A在多个显微图像帧中的运动轨迹识别结果。
在一些可选的实施例中，若多个显微图像帧中包括两个以上显微图像帧，则依次确定目标对象在两个以上显微图像帧中的位置；将两个以上显微图像帧进行配准后，将这些位置点进行连接，即生成目标对象在多个显微图像帧中的运动轨迹识别结果。
综上所述，本申请实施例提供的运动轨迹识别方法通过对多个显微图像帧进行目标对象检测，从而对显微图像帧中包括的多个目标对象进行独立框选得到多个目标检测框，在对相邻两个显微图像帧之间的目标检测框进行匹配时，首先对待匹配的目标检测框进行跳变识别，基于跳变识别结果对待匹配的目标检测框进行匹配，提高了对目标存在跳变现象时产生的运动轨迹的识别准确度。
图5是本申请实施例提供的一种运动轨迹识别方法的流程图，以该方法应用于如图3所示的计算机设备中为例进行说明，如图5所示，该方法包括如下步骤。
步骤501，获取多个显微图像帧。
其中，多个显微图像帧是通过图像采集设备连续采集得到的显微图像帧。
可选地，多个显微帧图像是在失重条件下（例如：太空失重条件下）通过空间站显微镜连续采集得到的显微图像帧。
步骤502，对多个显微图像帧进行目标对象检测，得到多个显微图像帧分别对应的目标检测结果。
目标检测结果中包括在显微图像帧中的目标检测框，目标检测框用于对显微图像帧中的目标对象进行独立框选。
步骤503，提取第i个显微图像帧中第一目标检测框对应的第一图像特征表示；提取第i+1个显微图像帧中第二目标检测框对应的第二图像特征表示。
可选地，图像特征包括形态特征和位置特征等，本申请实施例对此不加以限定。
其中，形态特征包括颜色特征、纹理特征、形状特征等；颜色特征用于指示显微图像帧整体的颜色或者在显微图像帧中的目标对象所在区域的颜色；纹理特征用于指示显微图像帧整体的纹理或者在显微图像帧中的目标对象所在区域的纹理；形状特征用于指示显微图像帧中目标对象的边缘轮廓。
其中，位置特征用于指示显微图像帧中目标对象在显微图像帧中的位置和各个目标对象之间的相对位置。在一些可选的实施例中，若多个显微图像帧中包括两个以上的显微图像帧，则在确定目标对象在第i个显微图像帧和第i+1个显微图像帧中的位置之后，在判断目标对象在第i+2个显微图像帧中的位置时，目标对象在第i个显微图像帧和第i+1个显微图像帧之间的位置变化也可作为目标对象的位置特征。
示意性的，提取第i个显微图像帧中第一目标检测框中的果蝇A的第一图像特征向量；提取第i+1个显微图像帧中所有检测框（也即第二目标检测框）对应的果蝇的图像特征向量，作为第二图像特征向量。
步骤504，对第一图像特征表示和第二图像特征表示进行表现特征差异分析，得到跳变识别结果。
在一些可选的实施例中，上述得到跳变识别结果的方法包括以下方法中的至少一种。
1、第一图像特征表示用于指示第一目标检测框中的目标对象的形态特征，第二图像特征表示用于指示第二目标检测框中的目标对象的形态特征。则得到跳变识别结果的过程包括：对第一图像特征表示和第二图像特征表示进行相似度分析，得到第一图像特征表示和第二图像特征表示之间的相似度分析结果，相似度分析结果用于表示第一目标检测框中的目标对象与第二目标检测框中的目标对象的形态相似度；基于第一图像特征表示和第二图像特征表示之间的相似度分析结果确定跳变识别结果。
示意性的，基于第一图像特征和第二图像特征，计算第i个显微图像帧中的果蝇A与第i+1个显微图像帧中的各个检测框中的果蝇的之间的形态相似度，也即跳变识别结果。
2、跳变识别结果中包括跳变类型，第一图像特征表示用于指示第一目标检测框在第i个显微图像帧中的位置特征，第二图像特征表示用于指示第二目标检测框在第i+1个显微图像帧中的位置特征；则得到跳变识别结果的过程还包括：获取第一图像特征表示和第二图像特征表示之间的位置差异特征表示；将位置差异特征表示与预设的跳变类型库进行匹配，得到与位置差异特征表示对应的跳变类型作为跳变识别结果。
可选地，第i个显微图像帧中的第一目标检测框可以对应一个跳变类型，也可以对应多个跳变类型。
可选地，其中位置差异特征表示对应的跳变类型的确定过程包括：将位置差异特征表示与跳变类型库进行匹配；响应于跳变类型库中存在目标跳变类型与位置差异特征表示的匹配程度符合匹配度要求，将目标跳变类型作为与位置差异特征表示对应的跳变类型，得到与位置差异特征表示对应的跳变类型作为跳变识别结果。
其中，跳变类型库中包括跳变分数，跳变分数用于指示在指定跳变类型下相邻两个显微图像帧之间的目标检测框的匹配分数，也即，在指定跳变类型的情况下，相邻两个显微图像帧之间目标检测框的匹配度。示意性的，第i个显微图像帧中第一目标检测框为检测框B，第i+1个显微图像帧中第二目标检测框为检测框C和检测框D。提取检测框B、检测框C和检测框D的分别对应的位置特征，将这些位置特征输入到跳变分类模型中；根据检测框B与检测框C的位置特征差异确定检测框B到检测框C的跳变类型以及其对应的跳变分数0.9，以及根据检测框B与检测框D的位置特征差异确定检测框B到检测框D的跳变类型以及其对应的跳变分数0.2。
可选地，响应于跳变类型库中存在目标跳变类型与位置差异特征表示的匹配程度符合匹配度要求，将目标跳变类型作为与位置差异特征表示对应的跳变类型，包括以下情况中的至少一种。
（1）响应于存在跳变分数大于分数阈值，将大于分数阈值的跳变分数对应的第二目标检测框的跳变类型作为跳变识别结果。
示意性的，分数阈值为0.8，检测框B到检测框C的跳变类型对应的跳变分数为0.9，则将检测框B到检测框C的跳变类型作为检测框B中的目标对象的跳变识别结果。
可选地，若不存在跳变分数大于分数阈值，则判断此次匹配过程第一目标检测框匹配失败，则可以继续在第i个显微图像帧中其他目标检测框的匹配过程，当其他目标检测框的匹配过程结束后，再进行第一目标检测框的匹配。
（2）将第i个显微图像帧中第一目标检测框和第i+1个显微图像帧中的所有第二目标检测框的跳变分数中最高跳变分数对应的第二目标检测框的跳变类型作为跳变识别结果。
示意性的，检测框B到检测框C的跳变类型对应的跳变分数为0.9，检测框B到检测框D的跳变类型对应的跳变分数为0.2，则将检测框B到检测框C的跳变类型作为检测框B中的目标对象的跳变识别结果。
步骤505，基于跳变识别结果，得到目标对象在第i个显微图像帧和第i+1个显微图像帧之间的运动轨迹段，生成目标对象在多个显微图像帧中的运动轨迹识别结果。
在一些可选的实施例中，若基于第一图像特征表示和第二图像特征表示之间的相似度分析结果确定跳变识别结果，则将在第i+1个显微图像帧中与第一图像特征相似度最高的第二图像特征表示对应的目标对象，作为第i个显微图像帧中第一图像特征表示对应的目标对象的跳变对象，从而得到目标对象在第i个显微图像帧和第i+1个显微图像帧之间的运动轨迹段。
在一些可选的实施例中，若将目标跳变类型作为跳变识别结果，则将目标跳变类型对应的第二目标检测框中的目标对象，作为第i个显微图像帧中第一目标检测框中的目标对象的跳变对象，从而得到目标对象在第i个显微图像帧和第i+1个显微图像帧之间的运动轨迹段。
在一些可选的实施例中，还可以通过相似度分析结果和目标跳变类型共同确定目标对象在第i个显微图像帧和第i+1个显微图像帧之间的运动轨迹段；可选地，计算第一目标检测框和第二目标检测框中的目标对象的相似度，若存在第二目标检测框中的目标对象与第一目标检测框中的目标对象的相似度低于预设阈值，则判断该第二目标检测框与第一目标检测框不匹配，那么，可以不需要获取第一目标检测框到该第二目标检测框的跳变类型以及其对应的跳变分数。
综上所述，本申请实施例提供的运动轨迹识别方法通过对多个显微图像帧进行目标对象检测，从而对显微图像帧中包括的多个目标对象进行独立框选得到多个目标检测框，在对相邻两个显微图像帧之间的目标检测框进行匹配时，首先对待匹配的目标检测框进行跳变识别，基于跳变识别结果对待匹配的目标检测框进行匹配，提高了对目标存在跳变现象时产生的运动轨迹的识别准确度。
本申请实施例提供的方法，通过分析目标检测框对应的图像特征之间的差异性，得到目标对象的表现特征差异，细化了得到的表现特征差异结果，提高了获取得到的跳变识别结果的准确度。
本申请实施例提供的方法，通过分析目标对象之间的形态相似度，得到跳变识别结果，一方面，从较为直观的角度对相邻两个图像帧之间的目标对象进行匹配，另一方面，在判断相邻两个图像帧之间的目标对象的形态相似度时，可以只分析相邻两个图像帧的图像特征，节省了计算机的计算资源。
本申请实施例提供的方法，通过分析相邻两个显微图像帧之间的检测框的位置差异，得到跳变识别结果，从动态的角度分析，提高了获取得到的跳变识别结果的准确度。
本申请实施例提供的方法，通过将位置差异特征表示与跳变类型库进行匹配得到跳变识别结果，且在类型匹配时，基于跳变分数确定目标对象的目标跳变类型，提高了得到的跳变匹配结果的准确度，从而进一步提高了对目标存在跳变现象时产生的运动轨迹的识别准确率。
图6是本申请实施例提供的一种运动轨迹识别方法的流程图，以该方法应用于如图3所示的计算机设备中为例进行说明，如图6所示，该方法包括如下步骤。
步骤601，获取多个显微图像帧。
其中，多个显微图像帧是通过图像采集设备连续采集得到的显微图像帧。
可选地，多个显微帧图像是在失重条件下（例如：太空失重条件下）通过空间站显微镜连续采集得到的显微图像帧。
可选地，在计算机设备中还需要对获取得到的多个显微图像帧进行预处理。
其中，预处理包括对显微图像帧背景的归一化处理，也即，将多个显微图像帧的背景进行统一；预处理还包括对多个显微图像帧中的模糊图像进行复原，示意性的，将模糊图像输入到图像复原系统中，对模糊图像进行去模糊处理，得到与其对应的清晰图像。
步骤602，对多个显微图像帧进行目标对象检测，得到多个显微图像帧分别对应的目标检测结果。
目标检测结果中包括在显微图像帧中的目标检测框，目标检测框用于对显微图像帧中的目标对象进行独立框选。
在一些可选的实施例中，获取多个显微图像帧分别对应的目标检测结果的方法包括：将多个显微图像帧输入目标检测模型，输出得到多个显微图像帧分别对应的目标检测结果。
上述目标检测模型为通过样本图像对训练得到的模型，其中，样本图像对中包括构成图像对的样本图像和参考图像，参考图像标注有样本图像中的目标对象的参考框选区域。
可选地，目标检测模型为对样本目标检测模型训练得到的模型，则目标检测模型的训练过程还包括以下步骤。
S1：将样本图像输入到样本目标检测模型，对样本图像进行特征分析，提取样本图像的图像特征。
可选地，若样本图像中需要识别的目标对象为小目标对象，则可以提取与样本图像较为相似的浅层特征，示意性的，请参考图7，以样本目标检测网络实现为基于区域的快速卷积神经网络（Faster-Regions Convolutional Neural Network，Faster-RCNN）为例进行说明，将样本图像701输入到网络702中，P3至P7为通过网络702提取得到的特征金字塔703，将P3和P4对应的特征作为提取得到的样本图像的图像特征。
在一些可选的实施例中，在对样本图像进行特征分析之前，还包括对样本图像的图像增强，示意性的，其中样本图像的增强方法包括以下方法中的至少一种。
（1）图像随机旋转方法，在一定角度范围内随机旋转样本图像。
（2）图像随机水平翻转方法，根据随机角度水平翻转样本图像。
（3）图像随机垂直翻转方法，根据随机角度垂直翻转样本图像。
（4）图像遮挡方法，将样本图像中的部分区域进行遮挡。
需要说明的是，上述对样本图像的增强方法仅为示意性的举例，本申请实施例对此不加以限定。
S2：对样本图像的图像特征进行特征分析，得到样本图像的预测样本目标检测框，其中，预测样本目标检测框用于对样本图像中的目标对象进行框选。
S3：基于预测样本目标检测框和参考图像中的参考目标检测框的差异性对样本目标检测模型进行训练，得到目标检测模型。
可选地，参考图像包括：对样本图像中倒立的目标对象进行框选后的图像；对样本图像中的边界目标对象进行框选后的图像，边界目标对象是指与样本图像的指定边界接触的目标对象；对样本图像中的邻近目标对象分别进行框选后的图像。
可选地，上述训练过程还包括样本目标检测模型的预训练过程。示意性的，通过目标数据集对样本目标检测模型进行预训练，得到预训练过的样本目标检测模型，则对预训练过的样本目标检测模型通过样本图像对继续训练，最终得到目标检测模型；或者，通过目标数据集对另一个样本目标检测模型进行预训练，得到预训练模型，将预训练模型中的学习到的特征迁移到样本目标检测模型上，然后对已进行迁移学习的样本目标检测模型通过样本图像对继续训练，最终得到目标检测模型。可选地，目标数据集为小目标对象集，且上述预训练的过程可参考对样本目标检测模型的训练过程，此处不再赘述。
在一些可选的实施例中，在多个显微图像帧中，存在有单个显微图像帧中的标注的两个目标检测框重叠的情况，则需要对重叠的目标检测框进行识别，并对重叠的目标检测框对应的显微图像帧重新框选。则获取多个显微图像帧分别对应的目标检测结果的方法还包括如下步骤。
1、对多个显微图像帧进行目标对象检测，得到多个显微图像帧分别对应的预测目标检测结果。
预测目标检测结果中包括在显微图像帧中的预测目标检测框。
示意性的，通过训练好的Faster-RCNN对多个显微图像帧进行目标对象检测，得到多个显微图像帧的分别对应的预测目标检测框。
2、对多个显微图像帧分别对应的预测目标检测结果进行重叠检测，得到多个显微图像帧分别对应的重叠目标检测结果。
其中，重叠目标检测结果中包括对显微图像帧中重叠的预测目标检测框进行重新框选后的检测框。可选地，重叠目标检测结果包括对显微图像帧中部分重叠的预测目标检测框进行重新框选后的检测框；或者，重叠目标检测结果包括对显微图像帧中完全重叠的预测目标检测框进行重新框选后的检测框。
可选地，得到多个显微图像帧分别对应的重叠目标检测结果的方法包括以下方法中的至少一种。
（1）将多个显微图像帧分别对应的预测目标检测结果直接输入到卡尔曼滤波器中，输出得到多个显微图像帧分别对应的重叠目标检测结果。
示意性的，通过卡尔曼滤波器对检测框进行模型，其对应的公式如下：
Figure 966407DEST_PATH_IMAGE001
其中，u和v代表检测框的中心点坐标位置，s和r分别代表检测框面积大小和长宽比，
Figure 257711DEST_PATH_IMAGE002
代表该变量随时间的导数，可计算下一帧的检测框的中心点坐标位置和检测框面积大小。
示意性的，通过卡尔曼滤波器获取第k-1个预测目标检测结果对应的预测目标检测框的检测框坐标和检测框尺寸，检测框坐标用于指示预测目标检测框在显微图像帧中的位置，检测框尺寸用于指示预测目标检测框的大小；基于第k-1个预测目标检测结果对应的预测目标检测框的检测框坐标和检测框尺寸，得到第k个显微图像帧对应的框选结果，该框选结果指示的是对第k个显微图像帧中的目标对象重新进行框选从而得到的检测框，该检测框对应有检测框坐标和检测框尺寸。
（2）对多个显微图像帧分别对应的预测目标检测结果进行筛选，对于多个显微图像帧中的单个显微图像帧对应的预测目标检测结果，若其中存在重叠的检测框，则将其标记为待校正目标检测结果；将待校正目标检测结果和部分预测目标检测结果输入到卡尔曼滤波器中，输出得到待校正目标检测结果对应的校正结果；将该校正结果和除待校正目标检测结果之外的预测目标检测结果作为多个显微图像帧分别对应的重叠目标检测结果。
上述部分预测目标检测结果是指不存在重叠的预测目标检测框的显微图像帧对应的预测目标检测结果，且该显微图像帧需要在时序上位于待校正目标检测结果对应的显微图像帧之前。例如：第3个显微图像帧中存在重合的检测框，第2个显微图像帧中不存在重合的检测框，则第2个显微图像帧对应的预测目标检测结果为部分预测目标检测结果。
3、基于多个显微图像帧分别对应的重叠目标检测结果，得到多个显微图像帧分别对应的目标检测结果。
可选地，将多个显微图像帧分别对应的重叠目标检测结果作为多个显微图像帧分别对应的目标检测结果。
示意性的，对于存在重叠检测框的单个显微图像帧，将其中的预测目标检测框重新进行框选，使其不再重叠；对于其他不存在重叠检测框的显微图像帧，其中的预测目标检测框不进行重新框选。将重新框选的预测目标检测框对应的结果和未进行重新框选的预测目标检测框对应的结果作为多个显微图像帧分别对应的目标检测结果。
步骤603，基于第i个显微图像帧和第i+1个显微图像帧之间的目标检测框的位置关系，对第i个显微图像帧和第i+1个显微图像帧之间符合邻近匹配关系的目标检测框进行匹配，得到位置匹配结果。
在一些可选的实施例中，得到第一匹配结果的过程还包括：对第i个显微图像帧和第i+1个显微图像帧进行配准；响应于存在第一目标检测框和第二目标检测框在配准后的距离小于距离阈值，将小于距离阈值的第一目标检测框和第二目标检测框进行匹配，得到位置匹配结果。
在一些可选的实施例中，仅存在一个第二目标检测框在配准后与第一目标检测框的距离小于距离阈值，则直接将该第二目标检测框与第一目标检测框进行匹配，得到位置匹配结果。
在一些可选的实施例中，响应于存在多个第二目标检测框在配准后与第一目标检测框的距离小于距离阈值，将距离最小的第二目标检测框与第一目标检测框匹配。
可选地，对第i个显微图像帧和第i+1个显微图像帧进行配准是指将第i个显微图像帧和第i+1个显微图像帧重叠组成重叠图像，则得到位置匹配结果的过程包括：示意性的，将第i个显微图像帧和第i+1个显微图像帧重叠得到重叠后的显微图像帧，在重叠后的显微图像帧中，将第i个显微图像帧的目标检测框设置为红色，将第i+1个显微图像帧的目标检测框设置为蓝色。可选地，依次遍历第i个显微图像帧中的每一个目标对象，以第i个显微图像帧中第1个目标对象为例进行说明，第1个目标对象对应的目标检测框即为第一目标检测框。在重叠后的显微图像帧中，计算第一目标检测框与第i+1个显微图像帧中所有的目标检测框的距离，判断计算得到的所有距离是否小于距离阈值，将小于距离阈值的距离对应的目标检测框作为第二目标检测框；或者，在重叠后的显微图像帧中，以第一目标检测框为中心，距离阈值为半径划分圆形范围，在该圆形范围内的第i+1个显微图像帧中的目标检测框即为第二目标检测框。最后，将第1个目标对象的第一目标检测框和第二目标检测框进行匹配，得到的匹配结果即为位置匹配结果。
可选地，上述得到位置匹配结果的情况包括以下情况中的至少一种。
1、响应于存在第一目标检测框的第一中心点与第二目标检测框的第二中心点在配准后的距离小于距离阈值，将小于距离阈值的第一目标检测框和第二目标检测框进行匹配，得到位置匹配结果。
示意性的，将第i个显微图像帧和第i+1个显微图像帧重叠组成重叠图像，并在该重叠图像上建立平面直角坐标系，基于建立的平面直角坐标系确定第i个显微图像帧中第一目标检测框的第一中心点与各个第二目标检测框的第二中心点的坐标，计算第一中心点与各个第二中心点之间的距离，判断该距离是否小于距离阈值，将小于该距离阈值的第二中心点对应的目标检测框与第一目标检测框进行匹配，得到位置匹配结果。
2、响应于存在第一目标检测框的第一指定边缘与第二目标检测框的第二指定边缘在配准后的距离小于距离阈值，将小于距离阈值的第一目标检测框和第二目标检测框进行匹配，得到位置匹配结果。
示意性的，计算第一目标检测框的第一指定边缘的中心点坐标与各个第二目标检测框的第二指定边缘的中心点坐标之间的距离。其中，第一指定边缘可以指某一个确定的边缘，第二指定边缘为各个第二目标检测框中最靠近第一指定边缘的边缘，请参考图8，第一目标检测框801的第一指定边缘为a，在第一目标检测框801周围存在有多个第二目标检测框，其中各个第二目标检测框的最靠近第一指定边缘的边缘分别为b、c、d，则分别计算边a的中心点与边b、c、d的中心点坐标距离；第一指定边缘还可以指第一目标检测框的各个边缘，第二指定边缘为各个第二目标检测框中最靠近第一目标检测框的边缘，请参考图9，第一目标检测框901的第一指定边缘为e、f、g、h，在第一目标检测框901周围存在有多个第二目标检测框，各个第二目标检测框最靠近第一目标检测框的边缘分别为i、j、k，计算线段ei、fj、kg的中心点坐标距离。将小于该距离阈值的第二指定边缘对应的目标检测框与第一目标检测框进行匹配，得到位置匹配结果。
可选地，将第i个显微图像帧和第i+1个显微图像帧进行重叠时，若第i个显微图像帧的所有目标检测框和第i+1个显微图像帧中的所有目标检测框完全重合，则可以删除第i+1个显微图像帧或者第i个显微图像帧，不进行匹配。示意性的，当第i个显微图像帧的所有目标检测框和第i+1个显微图像帧中的所有目标检测框完全重合可认为在第i个显微图像帧到第i+1个显微图像帧之间，其中的所有目标对象都没有进行移动。
其中，相邻两个显微图像帧中还包括未匹配的候选目标检测框。
可选地，对第i个显微图像帧和第i+1个显微图像帧进行配准，确定第i个显微图像帧中的第三目标检测框与第i+1个显微图像帧中的目标检测框之间的位置关系，响应于在第i+1个显微图像帧中不存在目标检测框与第三目标检测框在配准后的距离小于距离阈值，则该第三目标检测框即匹配失败，在对第i个显微图像帧中的所有目标检测框都匹配结束后，第i个显微图像帧中匹配失败的目标检测框和第i+1个显微图像帧中未进行匹配的目标检测框即为未匹配的候选目标检测框。
示意性的，请参考图10，将第i个显微图像帧和第i+1个显微图像帧重叠得到重叠后的显微图像帧1000，在显微图像帧1000中，检测框1001、检测框1002、检测框1003为第i个显微图像帧中的目标检测框，检测框1011、检测框1012、检测框1013为第i+1个显微图像帧中的目标检测框，其中，存在检测框1001与检测框1011的距离、检测框1002与检测框1012的距离小于距离阈值，则将检测框1001与检测框1011进行匹配、检测框1002与检测框1012进行匹配；且检测框1003和检测框1013为未匹配的候选目标检测框。
在一些可选的实施例中，若在得到目标预测结果之前，通过卡尔曼滤波器对预测目标检测结果进行了校正，则还可以获取目标对象的速度信息，从而结合速度信息辅助相邻两个显微图像帧之间目标检测框的匹配过程。示意性的，通过卡尔曼滤波器可得到相邻两个显微图像帧中的目标检测框的中心点坐标，则可通过该中心点坐标的差值与相邻两个显微图像帧之间的时间差值，计算目标检测框对应的目标对象的速度，从而预测目标对象在相邻两个图像帧之间移动的距离。
在一些可选的实施例中，通过步骤602可得到多个候选显微图像帧，候选显微图像帧是指已通过目标检测框对显微图像帧中的目标对象进行框选的显微图像帧；则在得到多个候选显微图像帧之后还包括对多个候选显微图像帧的预处理过程。
可选地，预处理包括估算多个候选显微图像帧中的目标对象的个数，可选地，将预先知道的目标对象个数作为目标对象的个数；或者，根据多个候选显微图像帧分别对应的目标检测框数量估算目标对象的个数，示意性的，计算多个候选显微图像帧对应的目标检测框数量，将其中的众数作为目标对象的个数。
可选地，预处理还包括对多个候选显微图像帧的剪裁，示意性的，通过多个候选显微图像帧分别对应的目标检测框的分布范围，确定剪裁尺寸，按照该尺寸对多个候选显微图像帧进行剪裁。示意性的，计算多个候选显微图像帧分别对应的目标检测框的分布范围大小，其中，分布范围是指以候选显微图像帧的中心为圆心，距离中心最远的目标对象与中心的距离为半径的圆划分的范围，确定其中最大的分布范围为剪裁尺寸，按照该剪裁尺寸对多个候选显微图像帧进行剪裁。值得注意的是，在对多个候选显微图像帧进行剪裁时，其剪裁中心都是候选显微图像帧的中心。
步骤604，针对第i个显微图像帧中目标对象对应的第一候选目标检测框和第i+1个显微图像帧中目标对象对应的第二候选目标检测框，基于第一候选目标检测框中目标对象和第二候选目标检测框中目标对象之间的表现特征差异，对第一候选目标检测框和第二候选目标检测框进行跳变识别，得到跳变识别结果。
其中，跳变识别结果用于指示第一目标检测框中目标对象跳变为第二目标检测框中目标对象的概率，i为正整数。
上述第一候选目标检测框是经过步骤603后在第i个显微图像帧中匹配失败的第一目标检测框；第二候选目标检测框是经过步骤603后在第i+1个显微图像帧中匹配失败的第二目标检测框。其中，得到跳变识别结果的过程可参考步骤503和步骤504，此处不再赘述。
在一些可选的实施例中，若第一候选目标检测框和第二候选目标检测框的总数为两个，示意性的，在第i个显微图像帧中仅有一个匹配失败的目标检测框，在第i+1个图像中仅有一个未匹配的目标检测框，则将第i个显微图像帧中匹配失败的目标检测框与第i+1个图像中未匹配的目标检测框进行匹配，得到的匹配结果即为跳变识别结果。请参考图10，在显微图像帧1000中，检测框1003和检测框1013为未匹配的候选目标检测框，则直接将检测框1003和检测框1013进行匹配。
步骤605，基于位置匹配结果和跳变识别结果得到目标对象在第i个显微图像帧和第i+1个显微图像帧之间的运动轨迹段，生成目标对象在多个显微图像帧中的运动轨迹识别结果。
在一些可选的实施例中，若多个显微图像帧仅包括两个显微图像帧，则得到位置匹配结果和跳变识别结果后，直接生成在这两个显微图像帧中的运动轨迹识别结果。示意性的，请参考图11，画面1100为两个显微图像帧的重叠画面，其中A点、B点、C点代表的是在前一个显微图像帧中的目标检测框，a点、b点、c点代表的是在后一个显微图像帧中的目标检测框，在匹配结束后，根据位置匹配结果可知A点和a点匹配、B点和b点匹配，根据跳变识别结果可知C点和c点匹配，则分别将A点和a点、B点和b点、C点和c点进行连接，连接到的三个线段即为其各自对应的目标对象的轨迹。可选地，在轨迹线段中可添加指向性元素（例如：箭头），代表目标对象的运动方向。
在一些可选的实施例中，若多个显微图像帧的数量超过两个，则基于位置匹配结果和跳变识别结果得到目标对象在相邻两个显微图像帧之间的运动轨迹段；基于多个相邻两个显微图像帧对应的多个运动轨迹段生成在多个显微图像帧中的运动轨迹识别结果。
示意性的，请参考图12，画面1200为三个显微图像帧的重叠画面，其中E点、F点、G点代表的是在第1个显微图像帧中的目标检测框，E'点、F'点、G'点代表的是在第2个显微图像帧中的目标检测框，e点、f点、g点代表的是在第3个显微图像帧中的目标检测框，在匹配结束后，根据位置匹配结果可知E点和E'点匹配、F点和F'点匹配、E'点和e点匹配、F'点和f点匹配、G'点和g点匹配，根据跳变识别结果可知G点和G'点匹配，则分别将E点和E'点、F点和F'点、E'点和e点、F'点和f点、G点和G'点、G'点和g点进行连接，然后将EE'与E'e连接、FF'与F'f连接、GG'与G'g连接即得到了其各自对应的目标对象的轨迹。
综上所述，本申请实施例提供的运动轨迹识别方法通过对多个显微图像帧进行目标对象检测，从而对显微图像帧中包括的多个目标对象进行独立框选得到多个目标检测框，在对相邻两个显微图像帧之间的目标检测框进行匹配时，首先对待匹配的目标检测框进行跳变识别，基于跳变识别结果对待匹配的目标检测框进行匹配，提高了对目标存在跳变现象时产生的运动轨迹的识别准确度。
本申请实施例提供的方法，在对相邻两个显微图像帧进行跳变识别之前，首先通过位置关系，将相邻两个图像帧之间符合邻近匹配关系的目标检测框进行匹配，再对剩下未匹配的目标检测框进行匹配，提高了目标检测框在匹配过程中的匹配效率。
本申请实施例提供的方法，通过对预测目标检测结果的重叠检测过程，提高了相邻两个显微图像帧之间的目标检测框的匹配结果的准确度。
示意性的，请参考图13，其示出了一系列显微图像帧的检测框标注结果，在这一系列显微图像帧中包含目标对象1301和目标对象1302，其中，一系列显微图像帧的检测框存在有重叠的检测框。请参考图14，在结果页1400中，结合卡尔曼滤波器对图13中的一系列显微图像帧的检测框进行匹配从而得到目标对象1301和目标对象1302的运动轨迹识别结果，其中实线部分为目标对象1301的运动轨迹，虚线部分为目标对象1302的运动轨迹；在结果页1410中，未结合卡尔曼滤波器对图13中的一系列显微图像帧的检测框进行匹配从而得到目标对象1301和目标对象1302的运动轨迹识别结果，其中实线部分为目标对象1301的运动轨迹，虚线部分为目标对象1302的运动轨迹。通过目标对象1301和目标对象1302的实际运动轨迹可知，结果页1400展示的运动轨迹为目标对象1301和目标对象1302的正确的运动轨迹。则可得：结合卡尔曼滤波器辅助目标检测框的匹配，可提高多个显微图像帧的运动轨迹识别结果的准确度。
请参考图15，其示出了本申请一个示例性的实施例提供的运动轨迹识别装置结构框图，该装置包括如下模块：
获取模块1510，用于获取多个显微图像帧，所述多个显微图像帧是通过图像采集设备连续采集得到的显微图像帧，所述显微图像帧中包括多个待进行轨迹识别的目标对象；
检测模块1520，用于对所述多个显微图像帧进行目标对象检测，得到所述多个显微图像帧分别对应的目标检测结果，所述目标检测结果中包括在所述显微图像帧中的目标检测框，所述目标检测框用于对所述显微图像帧中的所述目标对象进行独立框选；
跳变识别模块1530，用于针对第i个显微图像帧中目标对象对应的第一目标检测框和第i+1个显微图像帧中目标对象对应的第二目标检测框，基于所述第一目标检测框中目标对象和所述第二目标检测框中目标对象之间的表现特征差异，对所述第一目标检测框和所述第二目标检测框进行跳变识别，得到跳变识别结果，所述跳变识别结果用于指示所述第一目标检测框中目标对象跳变为所述第二目标检测框中目标对象的概率，i为正整数；
轨迹生成模块1540，用于基于所述跳变识别结果，得到所述目标对象在第i个显微图像帧和第i+1个显微图像帧之间的运动轨迹段，生成所述目标对象在所述多个显微图像帧中的运动轨迹识别结果。
请参考图16，在一些可选的实施例中，所述跳变识别模块1530，包括如下单元：
提取单元1531，用于提取第i个显微图像帧中所述第一目标检测框对应的第一图像特征表示；提取第i+1个显微图像帧中所述第二目标检测框对应的第二图像特征表示；
特征分析单元1532，用于对所述第一图像特征表示和所述第二图像特征表示进行表现特征差异分析，得到所述跳变识别结果。
在一些可选的实施例中，所述第一图像特征表示用于指示所述第一目标检测框中的目标对象的形态特征，所述第二图像特征表示用于指示所述第二目标检测框中的目标对象的形态特征；所述特征分析单元1532，用于对所述第一图像特征表示和所述第二图像特征表示进行相似度分析，得到所述第一图像特征表示和所述第二图像特征表示之间的相似度分析结果，所述相似度分析结果用于表示所述第一目标检测框中的目标对象与所述第二目标检测框中的目标对象的形态相似度；所述特征分析单元1532，用于基于所述第一图像特征表示和所述第二图像特征表示之间的相似度分析结果确定所述跳变识别结果。
在一些可选的实施例中，所述跳变识别结果中包括跳变类型，所述第一图像特征表示用于指示所述第一目标检测框在第i个显微图像帧中的位置特征，所述第二图像特征表示用于指示所述第二目标检测框在第i+1个显微图像帧中的位置特征；所述跳变识别模块1530，包括如下单元。
获取单元1533，用于获取所述第一图像特征表示和所述第二图像特征表示之间的位置差异特征表示；
匹配单元1534，用于将所述位置差异特征表示与预设的跳变类型库进行匹配，得到与所述位置差异特征表示对应的跳变类型作为所述跳变识别结果。
在一些可选的实施例中，所述匹配单元1534，用于将所述位置差异特征表示与所述跳变类型库进行匹配；所述匹配单元1534，用于响应于所述跳变类型库中存在目标跳变类型与所述位置差异特征表示的匹配程度符合匹配度要求，将所述目标跳变类型作为与所述位置差异特征表示对应的跳变类型，得到与所述位置差异特征表示对应的跳变类型作为所述跳变识别结果。
在一些可选的实施例中，所述装置还包括如下模块。
位置匹配模块1550，用于基于第i个显微图像帧和第i+1个显微图像帧之间的目标检测框的位置关系，对第i个显微图像帧和第i+1个显微图像帧之间符合邻近匹配关系的目标检测框进行匹配，得到位置匹配结果；
所述轨迹生成模块1540，用于基于所述位置匹配结果和所述跳变识别结果得到所述目标对象在第i个显微图像帧和第i+1个显微图像帧之间的运动轨迹段。
在一些可选的实施例中，所述位置匹配模块1550，包括如下单元。
配准单元1551，用于对第i个显微图像帧和第i+1个显微图像帧进行配准；
所述位置匹配模块1550，用于响应于存在第一目标检测框和第二目标检测框在配准后的距离小于距离阈值，将小于所述距离阈值的第一目标检测框和第二目标检测框进行匹配，得到所述位置匹配结果。
在一些可选的实施例中，所述位置匹配模块1550，用于响应于存在第一目标检测框的第一中心点与第二目标检测框的第二中心点在配准后的距离小于所述距离阈值，将小于所述距离阈值的第一目标检测框和第二目标检测框进行匹配，得到所述位置匹配结果；或者，用于响应于存在第一目标检测框的第一指定边缘与第二目标检测框的第二指定边缘在配准后的距离小于所述距离阈值，将小于所述距离阈值的第一目标检测框和第二目标检测框进行匹配，得到所述位置匹配结果。
在一些可选的实施例中，所述位置匹配模块1550，用于响应于存在多个第二目标检测框在配准后与第一目标检测框的距离小于所述距离阈值，将距离最小的第二目标检测框与第一目标检测框匹配。
在一些可选的实施例中，所述检测模块1520，用于对所述多个显微图像帧进行目标对象检测，得到所述多个显微图像帧分别对应的预测目标检测结果，所述预测目标检测结果中包括在所述显微图像帧中的预测目标检测框；所述检测模块1520，用于对所述多个显微图像帧分别对应的预测目标检测结果进行重叠检测，得到所述多个显微图像帧分别对应的重叠目标检测结果，所述重叠目标检测结果中包括对所述显微图像帧中重叠的预测目标检测框进行重新框选后的检测框；所述检测模块1520，用于基于所述多个显微图像帧分别对应的重叠目标检测结果，得到所述多个显微图像帧分别对应的目标检测结果。
综上所述，本申请实施例提供的运动轨迹识别装置通过对多个显微图像帧进行目标对象检测，从而对显微图像帧中包括的多个目标对象进行独立框选得到多个目标检测框，在对相邻两个显微图像帧之间的目标检测框进行匹配时，首先对待匹配的目标检测框进行跳变识别，基于跳变识别结果对待匹配的目标检测框进行匹配，提高了对目标存在跳变现象时产生的运动轨迹的识别准确度。
需要说明的是：上述实施例提供的运动轨迹识别装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的运动轨迹识别装置和运动轨迹识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图17示出了本申请一个示例性实施例提供的计算机设备的结构示意图。该计算机设备可以是如图3所示的计算机设备。具体来讲包括以下结构：
计算机设备1700包括中央处理单元（Central Processing Unit，CPU）1701、包括随机存取存储器（Random Access Memory，RAM）1702和只读存储器（Read Only Memory，ROM）1703的系统存储器1704，以及连接系统存储器1704和中央处理单元1701的系统总线1705。计算机设备1700还包括用于存储操作系统1713、应用程序1714和其他程序模块1715的大容量存储设备1706。
大容量存储设备1706通过连接到系统总线1705的大容量存储控制器（未示出）连接到中央处理单元1701。大容量存储设备1706及其相关联的计算机可读介质为计算机设备1700提供非易失性存储。也就是说，大容量存储设备1706可以包括诸如硬盘或者紧凑型光盘只读存储器（Compact Disc Read Only Memory，CD-ROM）驱动器之类的计算机可读介质（未示出）。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、带电可擦可编程只读存储器（Electrically Erasable Programmable Read Only Memory，EEPROM）、闪存或其他固态存储技术，CD-ROM、数字通用光盘（Digital Versatile Disc，DVD）或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1704和大容量存储设备1706可以统称为存储器。
根据本申请的各种实施例，计算机设备1700还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1700可以通过连接在系统总线1705上的网络接口单元1711连接到网络1712，或者说，也可以使用网络接口单元1711来连接到其他类型的网络或远程计算机系统（未示出）。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。
本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的运动轨迹识别方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例提供的运动轨迹识别方法。
可选地，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、固态硬盘（SSD，Solid State Drives）或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体（ReRAM，Resistance RandomAccess Memory）和动态随机存取存储器（DRAM，Dynamic Random Access Memory）。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种运动轨迹识别方法，其特征在于，所述方法包括：
获取多个显微图像帧，所述多个显微图像帧是通过图像采集设备连续采集得到的显微图像帧，所述显微图像帧中包括多个待进行轨迹识别的目标对象；
对所述多个显微图像帧进行目标对象检测，得到所述多个显微图像帧分别对应的目标检测结果，所述目标检测结果中包括在所述显微图像帧中的目标检测框，所述目标检测框用于对所述显微图像帧中的所述目标对象进行独立框选；
提取第i个显微图像帧中目标对象对应的第一目标检测框对应的第一图像特征表示，以及提取第i+1个显微图像帧中目标对象对应的第二目标检测框对应的第二图像特征表示，所述第一图像特征表示用于指示所述第一目标检测框在第i个显微图像帧中的位置特征，所述第二图像特征表示用于指示所述第二目标检测框在第i+1个显微图像帧中的位置特征，i为正整数；
获取所述第一图像特征表示和所述第二图像特征表示之间的位置差异特征表示；
将所述位置差异特征表示与预设的跳变类型库进行匹配，得到与所述位置差异特征表示对应的跳变类型作为跳变识别结果，所述跳变识别结果用于指示所述第一目标检测框中目标对象跳变为所述第二目标检测框中目标对象的概率；
基于所述跳变识别结果，得到所述目标对象在第i个显微图像帧和第i+1个显微图像帧之间的运动轨迹段，生成所述目标对象在所述多个显微图像帧中的运动轨迹识别结果。
2.根据权利要求1所述的方法，其特征在于，所述第一图像特征表示还用于指示所述第一目标检测框中的目标对象的形态特征，所述第二图像特征表示还用于指示所述第二目标检测框中的目标对象的形态特征；
所述方法还包括：
对所述第一图像特征表示和所述第二图像特征表示进行相似度分析，得到所述第一图像特征表示和所述第二图像特征表示之间的相似度分析结果，所述相似度分析结果用于表示所述第一目标检测框中的目标对象与所述第二目标检测框中的目标对象的形态相似度；
基于所述第一图像特征表示和所述第二图像特征表示之间的相似度分析结果确定所述跳变识别结果。
3.根据权利要求1所述的方法，其特征在于，所述将所述位置差异特征表示与预设的跳变类型库进行匹配，得到与所述位置差异特征表示对应的跳变类型作为跳变识别结果，包括：
将所述位置差异特征表示与所述跳变类型库进行匹配；
响应于所述跳变类型库中存在目标跳变类型与所述位置差异特征表示的匹配程度符合匹配度要求，将所述目标跳变类型作为与所述位置差异特征表示对应的跳变类型，得到与所述位置差异特征表示对应的跳变类型作为所述跳变识别结果。
4.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述跳变识别结果，得到所述目标对象在第i个显微图像帧和第i+1个显微图像帧之间的运动轨迹段之前，还包括：
基于第i个显微图像帧和第i+1个显微图像帧之间的目标检测框的位置关系，对第i个显微图像帧和第i+1个显微图像帧之间符合邻近匹配关系的目标检测框进行匹配，得到位置匹配结果；
所述基于所述跳变识别结果，得到所述目标对象在第i个显微图像帧和第i+1个显微图像帧之间的运动轨迹段，包括：
基于所述位置匹配结果和所述跳变识别结果得到所述目标对象在第i个显微图像帧和第i+1个显微图像帧之间的运动轨迹段。
5.根据权利要求4所述的方法，其特征在于，所述基于第i个显微图像帧和第i+1个显微图像帧之间的目标检测框的位置关系，对第i个显微图像帧和第i+1个显微图像帧之间符合邻近匹配关系的目标检测框进行匹配，得到位置匹配结果，包括：
对第i个显微图像帧和第i+1个显微图像帧进行配准；
响应于存在第一目标检测框和第二目标检测框在配准后的距离小于距离阈值，将小于所述距离阈值的第一目标检测框和第二目标检测框进行匹配，得到所述位置匹配结果。
6.根据权利要求5所述的方法，其特征在于，所述响应于存在第一目标检测框和第二目标检测框在配准后的距离小于距离阈值，将小于所述距离阈值的第一目标检测框和第二目标检测框进行匹配，得到所述位置匹配结果，包括：
响应于存在第一目标检测框的第一中心点与第二目标检测框的第二中心点在配准后的距离小于所述距离阈值，将小于所述距离阈值的第一目标检测框和第二目标检测框进行匹配，得到所述位置匹配结果；或者，
响应于存在第一目标检测框的第一指定边缘与第二目标检测框的第二指定边缘在配准后的距离小于所述距离阈值，将小于所述距离阈值的第一目标检测框和第二目标检测框进行匹配，得到所述位置匹配结果。
7.根据权利要求5所述的方法，其特征在于，所述响应于存在第一目标检测框和第二目标检测框在配准后的距离小于距离阈值，将小于所述距离阈值的第一目标检测框和第二目标检测框进行匹配，包括：
响应于存在多个第二目标检测框在配准后与第一目标检测框的距离小于所述距离阈值，将距离最小的第二目标检测框与第一目标检测框匹配。
8.根据权利要求1至3任一所述的方法，其特征在于，所述对所述多个显微图像帧进行目标对象检测，得到所述多个显微图像帧分别对应的目标检测结果，包括：
对所述多个显微图像帧进行目标对象检测，得到所述多个显微图像帧分别对应的预测目标检测结果，所述预测目标检测结果中包括在所述显微图像帧中的预测目标检测框；
对所述多个显微图像帧分别对应的预测目标检测结果进行重叠检测，得到所述多个显微图像帧分别对应的重叠目标检测结果，所述重叠目标检测结果中包括对所述显微图像帧中重叠的预测目标检测框进行重新框选后的检测框；
基于所述多个显微图像帧分别对应的重叠目标检测结果，得到所述多个显微图像帧分别对应的目标检测结果。
9.一种运动轨迹识别装置，其特征在于，所述装置包括：
获取模块，用于获取多个显微图像帧，所述多个显微图像帧是通过图像采集设备连续采集得到的显微图像帧，所述显微图像帧中包括多个待进行轨迹识别的目标对象；
检测模块，用于对所述多个显微图像帧进行目标对象检测，得到所述多个显微图像帧分别对应的目标检测结果，所述目标检测结果中包括在所述显微图像帧中的目标检测框，所述目标检测框用于对所述显微图像帧中的所述目标对象进行独立框选；
跳变识别模块，用于提取第i个显微图像帧中目标对象对应的第一目标检测框对应的第一图像特征表示，以及提取第i+1个显微图像帧中目标对象对应的第二目标检测框对应的第二图像特征表示，所述第一图像特征表示用于指示所述第一目标检测框在第i个显微图像帧中的位置特征，所述第二图像特征表示用于指示所述第二目标检测框在第i+1个显微图像帧中的位置特征，i为正整数；
所述跳变识别模块，还用于获取所述第一图像特征表示和所述第二图像特征表示之间的位置差异特征表示；
所述跳变识别模块，还用于将所述位置差异特征表示与预设的跳变类型库进行匹配，得到与所述位置差异特征表示对应的跳变类型作为跳变识别结果，所述跳变识别结果用于指示所述第一目标检测框中目标对象跳变为所述第二目标检测框中目标对象的概率；
轨迹生成模块，用于基于所述跳变识别结果，得到所述目标对象在第i个显微图像帧和第i+1个显微图像帧之间的运动轨迹段，生成所述目标对象在所述多个显微图像帧中的运动轨迹识别结果。
10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至8任一所述的运动轨迹识别方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如权利要求1至8任一所述的运动轨迹识别方法。
CN202210951188.2A 2022-08-09 2022-08-09 运动轨迹识别方法、装置、设备及介质 Active CN115018886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210951188.2A CN115018886B (zh) 2022-08-09 2022-08-09 运动轨迹识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210951188.2A CN115018886B (zh) 2022-08-09 2022-08-09 运动轨迹识别方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115018886A CN115018886A (zh) 2022-09-06
CN115018886B true CN115018886B (zh) 2022-11-08

Family

ID=83065237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210951188.2A Active CN115018886B (zh) 2022-08-09 2022-08-09 运动轨迹识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115018886B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617634A (zh) * 2013-11-26 2014-03-05 浙江工业大学 基于细胞区域特征和局部图特征的细胞跟踪方法及装置
CN106846296A (zh) * 2016-12-19 2017-06-13 深圳大学 一种细胞图像跟踪智能算法
CN109190635A (zh) * 2018-07-25 2019-01-11 北京飞搜科技有限公司 基于分类cnn的目标追踪方法、装置及电子设备
CN112785630A (zh) * 2021-02-02 2021-05-11 宁波智能装备研究院有限公司 一种显微操作中多目标轨迹异常处理方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968886B (zh) * 2010-09-09 2012-07-04 西安电子科技大学 基于质心跟踪框架的粒子滤波与均值漂移的细胞跟踪方法
US9025825B2 (en) * 2013-05-10 2015-05-05 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
CN112101207B (zh) * 2020-09-15 2023-12-22 精英数智科技股份有限公司 一种目标跟踪方法、装置、电子设备及可读存储介质
CN114359335A (zh) * 2020-09-30 2022-04-15 华为技术有限公司 一种目标跟踪方法及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617634A (zh) * 2013-11-26 2014-03-05 浙江工业大学 基于细胞区域特征和局部图特征的细胞跟踪方法及装置
CN106846296A (zh) * 2016-12-19 2017-06-13 深圳大学 一种细胞图像跟踪智能算法
CN109190635A (zh) * 2018-07-25 2019-01-11 北京飞搜科技有限公司 基于分类cnn的目标追踪方法、装置及电子设备
CN112785630A (zh) * 2021-02-02 2021-05-11 宁波智能装备研究院有限公司 一种显微操作中多目标轨迹异常处理方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fast Setpoint Tracking of an Atomic Force Microscope X-Y Stage via Optimal Trajectory Tracking;Roger A. Braker et al;《2017 American Control Conference》;20171231;第2875-2881页 *
基于特征提取量化分析的体外活细胞追踪算法研究;杨利 等;《中国医学物理学杂志》;20180930;第35卷(第9期);第1080-1086页 *

Also Published As

Publication number Publication date
CN115018886A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN110569721B (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN110222787B (zh) 多尺度目标检测方法、装置、计算机设备及存储介质
CN107153817B (zh) 行人重识别数据标注方法和装置
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
US20160012594A1 (en) Systems, Methods, And Devices For Image Matching And Object Recognition In Images Using Textures
US11205276B2 (en) Object tracking method, object tracking device, electronic device and storage medium
Coates et al. Multi-camera object detection for robotics
CN110222572B (zh) 跟踪方法、装置、电子设备及存储介质
US20190188451A1 (en) Lightweight 3D Vision Camera with Intelligent Segmentation Engine for Machine Vision and Auto Identification
CN110942473A (zh) 一种基于特征点网格化匹配的运动目标跟踪检测方法
CN108875500B (zh) 行人再识别方法、装置、系统及存储介质
US20160180545A1 (en) Method and electronic device for object tracking in a light-field capture
CN107633527B (zh) 基于全卷积神经网络的目标追踪方法及装置
CN115018886B (zh) 运动轨迹识别方法、装置、设备及介质
CN113450457B (zh) 道路重建方法、装置、计算机设备和存储介质
CN112257666B (zh) 目标图像内容的聚合方法、装置、设备及可读存储介质
Sliti et al. Efficient visual tracking via sparse representation and back-projection histogram
Goyal et al. Moving Object Detection in Video Streaming Using Improved DNN Algorithm
CN111680722B (zh) 内容识别方法、装置、设备及可读存储介质
Venkatesan et al. Supervised and unsupervised learning approaches for tracking moving vehicles
CN117218561A (zh) 一种基于多源遥感的自然资源登记方法
CN115131691A (zh) 对象匹配方法、装置、电子设备及计算机可读存储介质
Yousif et al. ROS2D: Image feature detector using rank order statistics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40073435

Country of ref document: HK