CN115457036B - 检测模型训练方法、智能点数方法和相关设备 - Google Patents

检测模型训练方法、智能点数方法和相关设备 Download PDF

Info

Publication number
CN115457036B
CN115457036B CN202211401873.4A CN202211401873A CN115457036B CN 115457036 B CN115457036 B CN 115457036B CN 202211401873 A CN202211401873 A CN 202211401873A CN 115457036 B CN115457036 B CN 115457036B
Authority
CN
China
Prior art keywords
target object
frame
prediction
preset
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211401873.4A
Other languages
English (en)
Other versions
CN115457036A (zh
Inventor
陶恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202211401873.4A priority Critical patent/CN115457036B/zh
Publication of CN115457036A publication Critical patent/CN115457036A/zh
Application granted granted Critical
Publication of CN115457036B publication Critical patent/CN115457036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能技术，提供一种检测模型训练方法。该检测模型训练方法包括：获取每个图像包括至少一个目标物体以及所述目标物体的标注框的训练样本数据；将所述训练样本数据输入至预设的检测模型，输出包括所述图像中的至少一个预测框的预测结果数据；根据预设的匹配规则将所述预测框与所述标注框进行匹配，得到包括所述预测框以及与所述预测框匹配的所述标注框的匹配结果数据；使用预设的损失函数计算所述预测框与匹配的所述标注框之间的误差，再根据所述误差对所述检测模型的参数进行训练，直至根据所述损失函数计算的所述误差小于或等于预设误差阈值，得到训练完成的目标检测模型。

Description

检测模型训练方法、智能点数方法和相关设备
技术领域
本申请涉及人工智能领域，尤其涉及检测模型训练方法、智能点数方法和相关设备。
背景技术
在各行各业中都存在需要进行点数的业务场景，例如金融科技服务平台为传统的养殖业提供农业保险，进而需要对被养殖的动物进行点数，但被养殖的动物存在行动的不确定性，所以点数过程中容易产生漏计数、重复计数等错误结果。
现有技术的解决方法是为每一被养殖的动物绑定无线电设备用于辅助定位和点数，或在被养殖的动物的活动场所安装一定数量的俯视摄像头再配合深度学习算法实时跟踪被养殖的动物的运动轨迹后用于点数。但现有技术的点数方法使得用户的投入成本和维护成本变得极高。
发明内容
本申请实施例提供一种检测模型训练方法、智能点数方法和相关设备，以解决现有辅助点数技术用户实施成本高的问题。
本申请的第一方面，提供一种检测模型训练方法，包括：
获取训练样本数据，所述训练样本数据中每个图像包括至少一个目标物体以及所述目标物体的标注框；
将所述训练样本数据输入至预设的检测模型，输出预测结果数据，所述预测结果数据包括所述图像中的至少一个预测框；
根据预设的匹配规则将所述预测框与所述标注框进行匹配，得到匹配结果，所述匹配结果包括所述预测框以及与所述预测框匹配的所述标注框；
使用预设的损失函数计算所述预测框与匹配的所述标注框之间的误差，根据所述误差对所述检测模型的参数进行训练，直至根据所述损失函数计算的所述误差小于或等于预设误差阈值，得到训练完成的所述检测模型。
本申请的第二方面，提供一种智能点数方法，应用于人工智能端，包括：
所述人工智能端接收服务端发送的目标物体的第一图像列表；
将所述第一图像列表输入至预先训练的检测模型，输出所述第一图像列表的目标物体检测结果，所述目标物体检测结果包括所述目标物体的预测框数据；
利用预设目标追踪算法，根据所述预测框数据获取所述目标物体的追踪数据；
利用预设轨迹计算算法，根据所述追踪数据获取所述目标物体的点数结果；
其中，所述检测模型是根据上述检测模型训练方法训练得到的。
本申请的第三方面，提供一种智能点数方法，应用于客户端，包括：
所述客户端对获取的目标物体的第一目标视频流进行抽帧，得到所述目标物体的实时图像；
将所述实时图像输入至预设客户端目标检测模型，输出包含所述目标物体的预测框的第二目标视频流数据和经过压缩的第三目标视频流数据；
展示所述第二目标视频流数据，并发送所述第三目标视频流数据至服务端。
本申请的第四方面，提供一种智能点数方法，应用于服务端，包括：
所述服务端接收客户端发送的包含目标物体的被压缩视频流数据;
上传所述被压缩视频流数据至预设流媒体服务器，并从所述流媒体服务器下载被处理过的所述被压缩视频流数据作为待抽帧视频数据；
对所述待抽帧视频数据进行抽帧处理，并将抽取的帧数据转换为包含所述目标物体的图像列表；
发送所述图像列表至人工智能端。
本申请的第五方面，提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述第三方面的方法。
本申请的第六方面，提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面，和/或第二方面，和/或第四方面的方法。
本申请的第七方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述第一方面，和/或第二方面，和/或第三方面，和/或第四方面的方法的步骤。
上述检测模型训练方法、智能点数方法和相关设备，在所述检测模型训练时，不仅提升了对检测模型的训练效率，而且通过匹配规则提升了对目标物体的检测准确率。在所述智能点数方法运行时，不仅提升了点数方法的运行效率，而且利用目标追踪算法和轨迹计算算法提高了对目标物体进行点数的准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请检测模型训练方法一实施例的应用环境示意图。
图2是本申请智能点数方法一实施例的应用环境示意图。
图3是本申请检测模型训练方法一实施例的流程图。
图4是本申请智能点数方法第一实施例的流程图。
图5是本申请智能点数方法第二实施例的流程图。
图6是本申请智能点数方法第三实施例的流程图。
图7是本申请计算机设备一实施例的结构示意图。
图8是本申请另一计算机设备一实施例的结构示意图。
图9是本申请中目标物体发生重叠遮挡的示意图。
图10是本申请中目标物体的运动轨迹示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的检测模型训练方法，可应用在如图1的应用环境中，其中，计算机设备可以但不限于各种个人计算机、笔记本电脑，计算机设备还可以是服务器，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。可以理解的是图1中的计算机设备的数量仅仅是示意性的，可以根据实际需求进行任意数量的扩展。
在一实施例中，如图3所示，提供一种检测模型训练方法，以该方法应用在图1中的计算机设备为例进行说明，具体包括如下步骤S101至S104：
S101、获取训练样本数据，所述训练样本数据中每个图像包括至少一个目标物体以及所述目标物体的标注框。
其中，所述训练样本数据在用于所述检测模型训练之前经过初步的数据处理。例如，去除所述训练样本数据中不包含目标物体的图像，以及将所述训练样本数据中每个图像包括的所述目标物体在所述每个图像上进行标注，得到包含所述标注框的所述训练样本数据。所述数据处理过程不仅去除了所述训练样本数据中的无价值数据，而且进一步降低了后续所述检测模型的训练过程的数据处理量，进而提高了所述检测模型的训练效率。
S102、将所述训练样本数据输入至预设的检测模型，输出预测结果数据，所述预测结果数据包括所述图像中的至少一个预测框。
进一步地，所述检测模型接收所述训练样本数据之后，根据所述训练样本数据的数据量、图1中的计算机设备在当前时间的系统资源剩余情况，以及预设的线程数量计算规则创建至少一个目标线程处理所述训练样本数据。最后，将所述目标线程的处理结果进行汇总得到所述预测结果数据。不仅合理利用了图1中的计算机设备的剩余系统资源，而且提高了对所述训练样本数据的处理效率。
S103、根据预设的匹配规则将所述预测框与所述标注框进行匹配，得到匹配结果，所述匹配结果包括所述预测框以及与所述预测框匹配的所述标注框。
其中，所述标注框表示所述目标物体的实际坐标位置，而所述预测框表示所述目标物体的预测坐标位置，则所述预测框与所述标注框必然存在坐标位置误差。需要特殊说明的是，现有技术对于物体的检测和标注都是使用矩形框，使用矩形框的四个顶点的坐标进而得到对物体的检测或标注的面积大小，在本实施例中所述预测框和所述标注框均使用矩形框对所述目标物体进行预测或标注，但是对某些特殊物品的检测或标注时，可根据所述特殊物品的形状或检测需求对所述预测框和所述标注框的形状进行更改，例如所述特殊物品为篮球，则所述预测框和所述标注框更改为圆形。进一步地，使用第一颜色渲染所述标注框的四条边框，使用第二颜色渲染所述预测框的四条边框，使得在所述标注框和所述预测框在包含所述目标物体的图像中能够被明显且直观地区分。
其中，在所述检测模型训练的初始阶段，所述预测框和所述标注框存在误差，即所述预测框的预测结果与所述标注框的实际结果存在误差，具体在包含所述目标物体的图像上是所述预测框的所有坐标构成的第一封闭图形，与所述标注框的所有坐标构成的第二封闭图形的位置和面积不相同。而对于所述预测框的预测结果，需要根据所述预设的匹配规则将所述预测框与所述标注框进行匹配，得到与所述预测框对应的所述检测框，即得到所述预测框最为接近的所述检测框。
进一步地，所述匹配规则包括如下公式：
其中，表示第个预测框，表示第个标注框，表示获取第个预测框与第个标注框的重叠度，表示预设第一重叠度阈值，表示将个标注框与第个预测框的重叠度值按照从大到小排序后选取排序位于前位且重叠度值大于的预测框作为第个预测框的匹配结果，为标注框的数量。根据所述匹配规则能够将每个所述预测框匹配0或至少一个所述检测框。进一步地，将匹配到0个所述检测框的所述预测框作为无效预测结果数据进行删除处理。
S104、使用预设的损失函数计算所述预测框与匹配的所述标注框之间的误差，根据所述误差对所述检测模型的参数进行训练，直至根据所述损失函数计算的所述误差小于或等于预设误差阈值，得到训练完成的所述检测模型。
进一步地，所述预设的损失函数包含预测框损失，所述预测框损失的计算公式如下：
其中，表示第个预测框中第个物体的坐标信息，表示目标物体的实际坐标信息。
进一步地，所述检测模型输出的预测结果数据还包括所述预测框的结构数据，所述结构数据的表达式如下：
其中，和表示预测所述目标物体的预测框的中心点坐标，和分别表示预测所述目标物体的预测框的宽和高，表示预测所述目标物体的预测框的置信度，表示所述预测所述目标物体的预测框的标识。其中，所述预测框匹配多个所述标注框时，是所述预测框包含了多个所述目标物体，而通过所述则可以进一步区分对所述目标物体预测更加准确的所述预测框。更为特殊的情况是，图像中的所述目标物体存在重叠的情况，通过前述匹配规则能够为所述预测框匹配多个所述标注框，即能够使用所述预测框检测出所述目标物体存在重叠的情况，再根据所述误差进一步调整所述预测框对存在重叠情况的所述目标物体的预测准确度。例如图9所示的所述目标物体互相重叠遮挡的示意图。
本实施例提出的检测模型训练方法，根据检测模型预设的预测方法对经过预处理且包含目标物体的标注框的训练样本数据通过多线程进行预测处理，得到对目标物体的预测框，然后通过预设匹配规则将预测框与真实的标注框进行匹配，去除误差较大的预测框，并使用预设的损失函数计算预测框与标注框之间的误差，同时根据误差对检测模型的参数进行训练，得到训练完成的监测模型。不仅进一步提升了对检测模型的训练效率，而且提升了对重叠的目标物体的检测准确率。
本申请提供的智能点数方法，可应用在如图2的应用环境中。其中，客户端可以是具有拍照功能或者摄像功能或者图形扫描功能的手机、PDA和掌上电脑等，利用拍照功能或者摄像功能或者图形扫描功能获取所述目标物体的图像或视频。其中，服务端和人工智能端可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。可以理解的是图2中的计算机设备的数量仅仅是示意性的，可以根据实际需求进行任意数量的扩展。
请参阅图4，图4是本申请智能点数方法第一实施例的流程图。本实施例中，所述智能点数方法由上述人工智能端执行，具体包括如下步骤S201至S204：
S201、所述人工智能端接收服务端发送的目标物体的第一图像列表。
其中，所述第一图像列表中的图像都已经过所述服务端预处理，进一步提高所述人工智能端对所述第一图像列表的处理效率。
S202、将所述第一图像列表输入至预先训练的检测模型，输出所述第一图像列表的目标物体检测结果，所述目标物体检测结果包括所述目标物体的预测框数据；其中，所述检测模型是根据上述检测模型训练方法训练得到的。
进一步地，所述目标物体检测结果中包括对所述目标物体的预测结果的所述预测框，但所述目标物体检测结果中存在多个所述预测框预测了同一个所述目标物体，则需要对所述预测框进行去重处理，即去除对同一个所述目标物体进行了预测的所述预测框，只保留对所述目标物体预测最准确的所述预测框。
进一步地，所述输出所述第一图像列表的目标物体检测结果之后，使用预设的预测框去重算法对所述目标物体检测结果进行优化。所述预测框去重算法还包括：首先将所述目标物体检测结果中的预测框按照所述值从大到小生成第一顺序队列，并去除所述第一顺序队列中所述值小于预设阈值的所述预测框；将所述第一顺序队列中第一个所述预测框作为基准框。然后，分别判断所述第一顺序队列中第二个至最后一个所述预测框的是否与所述基准框的相同。若不同，则判断所述预测框与所述基准框的重叠度是否大于预设第二重叠度阈值。若否，则将所述预测框从所述第一顺序队列中移除。其中，表示预测所述目标物体的预测框的置信度，表示所述预测所述目标物体的预测框的标识。所述预测框去重算法将不会对相同但是重叠度高的所述预测框进行去除，而只是去除不同但是重叠度高的所述预测框，有效保留了相互遮挡的所述目标物体的所述预测框。
S203、利用预设目标追踪算法，根据所述预测框数据获取所述目标物体的追踪数据
其中，所述目标追踪算法按照时序接收对所述目标物体进行预测的所述预测框数据，并对每一个所述目标物体进行追踪，得到所述目标物体的追踪数据。所述目标追踪算法采用现有技术中的目标追踪算法，例如ByteTrack算法。
S204、利用预设轨迹计算算法，根据所述追踪数据获取所述目标物体的点数结果。
进一步地，所述目标追踪算法中会出现同一个所述目标物体的多条追踪数据，导致根据所述追踪数据记录的所述目标物体的数量与所述目标物体的实际数量存在误差，所以需要使用所述轨迹计算算法处理所述追踪数据，解决所述目标物体被重复计数的问题，进而得到所述目标物体的准确数量作为点数结果。
进一步地，所述发送所述追踪数据至预设轨迹计算算法，得到所述目标物体的点数结果包括：首先从所述追踪数据中获取所述目标物体的跟踪轨迹列表，所述跟踪轨迹列表中的跟踪轨迹包括多个目标物体图像帧，每个所述目标物体图像帧包括所述目标物体的位置和预测框。然后，根据所述跟踪轨迹中所述目标物体图像帧的宽和高的尺寸以及预设判断辅助框生成规则，在所述目标物体图像帧上生成一自定义形状的方向判断辅助框。同时，根据所述目标物体图像帧中所述目标物体相对于所述辅助框的位置确定所述目标物体的在所述目标物体图像帧中的方向。同时，根据所述目标物体在不同所述目标物体图像帧中的方向构建所述目标物体的方向集合。其次，遍历所述跟踪轨迹，获取所述跟踪轨迹中的初始N个目标物体图像帧的位置平均值作为所述目标物体进入屏幕的入位置，获取所述跟踪轨迹的最后N个目标物体图像帧的位置平均值作为所述目标物体退出屏幕的出位置，并根据所述入位置和所述出位置以及所述方向集合，得到所述跟踪轨迹中所述目标物体的入方向和出方向。同时，确定所述跟踪轨迹中出方向中第一预设方向和第二预设方向中数量较多的方向作为第一方向，确定所述跟踪轨迹中出方向中第三预设方向和第四预设方向中数量较多的方向作为第二方向。再次，若所述跟踪轨迹中所述目标物体的出方向为所述第二方向，则判断所述跟踪轨迹中所述目标物体的入方向是否也为所述第二方向，若否，则将所述点数结果加1；若所述跟踪轨迹中所述目标物体的出方向为所述第一方向，则判断所述跟踪轨迹中所述目标物体的入方向是否也未所述第一方向，若否，则将所述点数结果加1；若所述跟踪轨迹中所述目标物体的出方向为第五预设方向，则判断所述跟踪轨迹中所述目标物体的入方向是否为所述第一方向或所述第二方向，若否，则将所述点数结果加1。最后，重复上述步骤，直至所述根据轨迹列表中的所述跟踪轨迹都被判断，得到所述目标物体的点数结果。
进一步地，在一更具体的实施例中，若所述目标物体图像帧中的所述目标物体在所述判断辅助框内，则设定所述目标物体的方向为中方向，若所述目标物体图像帧中的所述目标物体在所述判断辅助框外的上或下或左或右的位置，则根据所述目标物体图像帧中所述目标物体相对于所述辅助框的位置确定设定所述目标物体的在所述目标物体图像帧中的方向为对应的上方向或下方向或左方向或右方向。若所述目标物体图像帧中的所述目标物体在上方向和左方向的重叠区域，则添加对应的辅助线划分更加具体的上方向或下方向或左方向或右方向的区域。例如在图10的所述目标物体的运动轨迹示意图中，中间的白色区域为中方向，所述白色区域外的上下左右分别为上方向或下方向或左方向或右方向，更进一步地的添加所述白色区域的两条对角线并延伸，进而将整个所述白色区域的外部区域归类为上方向或下方向或左方向或右方向。
进一步地，所述人工智能端将所述目标物体的点数结果发送至所述客户端，所述客户端对所述点数结果进行展示。
请参阅图5，图5是本申请智能点数方法第二实施例的流程图。本实施例中，所述智能点数方法由上述客户端执行，具体包括如下步骤S301至S303：
S301、所述客户端对获取的目标物体的第一目标视频流进行抽帧，得到所述目标物体的实时图像。
其中，所述第一目标视频中所述目标物体在高帧率的视频采集中并不会发生较大的位置变化（实际情况也不会在所述目标物体位置变化时间短且位置变化幅度大的情况下对所述目标物体进行点数操作），所以利用抽帧操作从所述第一目标视频中抽取包含所述目标物体的目标帧画面，作为所述目标物体的实时图像。不仅保证所述实时图像准确记录了所述目标物体的位置及位置变化，而且进一步缩小了后续点数步骤处理数据的数据量，进而提高了所述智能点数方法的效率。
S302、将所述实时图像输入至预设客户端目标检测模型，输出包含所述目标物体的预测框的第二目标视频流数据和经过压缩的第三目标视频流数据。
进一步地，所述将所述实时图像输入至预设的客户端目标检测模型，输出包含所述目标物体的预测框的第二目标视频流数据包括：首先，发送所述实时图像至预设目标检测模型。然后，所述目标检测模型接收所述实时图像，并使用所述目标检测模型的骨干网络抽取所述实时图像的第一图像采样特征。其次，发送所述图像采样特征至所述目标检测模型的特征金字塔网络，并使用所述特征金字塔网络对所述第一图像采样特征进行特征融合，得到第二图像采样特征。最后，发送所述第二图像采样特征至所述目标检测模型的轻量头部循环卷积神经网络处理，得到包含目标物体的检测框的第二目标视频流数据。例如，在一更具体的实施例中，所述客户端目标检测模型使用NanoDet检测模型检测所述目标物体并产生与所述目标物体对应的预测框。进一步地，所述客户端端目标检测模型还对所述实时图像进行压缩处理，例如去除所述实时图像中从第一次出现所述目标物体到开始时间之间的无效所述实时图像，以及从最后一次出现所述目标物体到结束时间之间的无效实时图像。
S303、展示所述第二目标视频流数据，并发送所述第三目标视频流数据至服务端。
其中，在所述客户端展示包含了所述目标物体的预测框的所述第二目标视频流数据，进一步增强了智能点数操作人员的用户体验。
请参阅图6，图6是本申请智能点数方法三实施例的流程图。本实施例中，所述智能点数方法由上述服务端执行，具体包括如下步骤S401至404：
S401、所述服务端接收客户端发送的包含目标物体的被压缩视频流数据。
S402、上传所述被压缩视频流数据至预设流媒体服务器，并从所述流媒体服务器下载被处理过的所述被压缩视频流数据作为待抽帧视频数据。
其中，所述流媒体服务器对所述被压缩视频进行保存，实现了所述被压缩视频的持久化，同时能够从所述流媒体服务器获取被存储的所述被压缩视频用于进行智能点数结果的比对。所述流媒体服务器，以及所述流媒体服务器对所述被压缩视频处理的更具体的技术细节不是本申请的核心内容，故在此不再赘述。
S403、对所述待抽帧视频数据进行抽帧处理，并将抽取的帧数据转换为包含所述目标物体的图像列表。
其中，所述抽帧处理进一步压缩了视频大小，进而提升了后续智能点数方法的运行效率。例如，对所述待抽帧视频进行隔帧抽取操作，能够得到进一步被压缩的所述图像列表。
S404、发送所述图像列表至人工智能端。所述人工智能端根据所述图像列表得到所述目标物体的点数结果。
本实施例提出的智能点数方法，通过客户端拍摄包含目标物体的实时图像进行处理后，发送该实施图像到服务端进一步处理后转发到人工智能端，该人工智能端通过预先训练好的检测模型输出包含对目标物体的检测结果的预测框数据，并使用算法跟踪算法处理所述预测框数据，得到目标物体的追踪数据，最后利用轨迹计算算法处理所述追踪数据得到点数结果。不仅进一步提升了点数方法的运行效率，而且提高了对重叠的目标物体进行检测的准确率，还解决了对同一目标物体的追踪轨迹重复计数导致点数错误的问题。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种所述智能点数方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储所述检测模型训练方法，和/或所述智能点数方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种所述检测模型训练方法，和/或所述智能点数方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中所述检测模型训练方法，和/或所述智能点数方法的步骤，例如图3所示的步骤S101至步骤S104，和/或图4所示的步骤S201至步骤S204，和/或图5所示的步骤S301至步骤S303，和/或图6所示的步骤S401至步骤S404，以及所述检测模型训练方法，和/或所述智能点数的其它扩展和相关步骤的延伸。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、视频数据等）等。
所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中所述检测模型训练方法，和/或所述智能点数方法的步骤，例如图3所示的步骤S101至步骤S104，和/或图4所示的步骤S201至步骤S204，和/或图5所示的步骤S301至步骤S303，和/或图6所示的步骤S401至步骤S404，以及所述检测模型训练方法，和/或所述智能点数的其它扩展和相关步骤的延伸。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (3)

1.一种智能点数方法，应用于人工智能端，其特征在于，包括：
所述人工智能端接收服务端发送的目标物体的第一图像列表；
将所述第一图像列表输入至预先训练的检测模型，输出所述第一图像列表的目标物体检测结果，所述目标物体检测结果包括所述目标物体的预测框数据；
利用预设目标追踪算法，根据所述预测框数据获取所述目标物体的追踪数据；
利用预设轨迹计算算法，根据所述追踪数据获取所述目标物体的点数结果；
其中，所述检测模型的训练步骤包括：
获取训练样本数据，所述训练样本数据中每个图像包括至少一个目标物体以及所述目标物体的标注框；
将所述训练样本数据输入至预设的检测模型，输出预测结果数据，所述预测结果数据包括所述图像中的至少一个预测框；
根据预设的匹配规则将所述预测框与所述标注框进行匹配，得到匹配结果，所述匹配结果包括所述预测框以及与所述预测框匹配的所述标注框；
使用预设的损失函数计算所述预测框与匹配的所述标注框之间的误差，根据所述误差对所述检测模型的参数进行训练，直至根据所述损失函数计算的所述误差小于或等于预设误差阈值，得到训练完成的所述检测模型；
其中，所述匹配规则包括如下公式：
其中，Anchori表示第i个预测框，GTj表示第j个标注框，IoU表示获取第i个预测框与第j个标注框的重叠度，θ表示预设第一重叠度阈值，表示将k个标注框与第i个预测框的重叠度值按照从大到小排序后选取排序位于前n位且重叠度值大于θ的预测框作为第i个预测框的匹配结果，k为标注框的数量；
其中，所述预设的损失函数包含预测框损失，所述预测框损失的计算公式如下：
其中，表示第i个预测框中第j个物体的坐标信息，GTi j表示目标物体的实际坐标信息；
其中，所述检测模型输出的预测结果数据还包括所述预测框的结构数据，所述结构数据的表达式如下：
(x,y,w,h,score,aid)
其中，x和y表示预测所述目标物体的预测框的中心点坐标，w和h分别表示预测所述目标物体的预测框的宽和高，score表示预测所述目标物体的预测框的置信度，aid表示所述预测所述目标物体的预测框的id标识；
其中，所述输出所述第一图像列表的目标物体检测结果之后还包括：
将所述目标物体检测结果中的预测框按照所述score值从大到小生成第一顺序队列，并去除所述第一顺序队列中所述score值小于预设score阈值的所述预测框；将所述第一顺序队列中第一个所述预测框作为基准框；
分别判断所述第一顺序队列中第二个至最后一个所述预测框的aid是否与所述基准框的aid相同；
若不同，则判断所述预测框与所述基准框的重叠度是否大于预设第二重叠度阈值；
若否，则将所述预测框从所述第一顺序队列中移除；
其中，score表示预测所述目标物体的预测框的置信度，aid表示所述预测所述目标物体的预测框的id标识；
其中，发送所述追踪数据至预设轨迹计算算法，得到所述目标物体的点数结果包括：
从所述追踪数据中获取所述目标物体的跟踪轨迹列表，所述跟踪轨迹列表中的跟踪轨迹包括多个目标物体图像帧，每个所述目标物体图像帧包括所述目标物体的位置和预测框；
根据所述跟踪轨迹中所述目标物体图像帧的宽和高的尺寸以及预设判断辅助框生成规则，在所述目标物体图像帧上生成一自定义形状的方向判断辅助框；
根据所述目标物体图像帧中所述目标物体相对于所述辅助框的位置确定所述目标物体的在所述目标物体图像帧中的方向；
根据所述目标物体在不同所述目标物体图像帧中的方向构建所述目标物体的方向集合；
遍历所述跟踪轨迹，获取所述跟踪轨迹中的初始N个目标物体图像帧的位置平均值作为所述目标物体进入屏幕的入位置，获取所述跟踪轨迹的最后N个目标物体图像帧的位置平均值作为所述目标物体退出屏幕的出位置，并根据所述入位置和所述出位置以及所述方向集合，得到所述跟踪轨迹中所述目标物体的入方向和出方向；
确定所述跟踪轨迹中出方向中第一预设方向和第二预设方向中数量较多的方向作为第一方向，确定所述跟踪轨迹中出方向中第三预设方向和第四预设方向中数量较多的方向作为第二方向；
若所述跟踪轨迹中所述目标物体的出方向为所述第二方向，则判断所述跟踪轨迹中所述目标物体的入方向是否也为所述第二方向，若否，则将所述点数结果加1；
若所述跟踪轨迹中所述目标物体的出方向为所述第一方向，则判断所述跟踪轨迹中所述目标物体的入方向是否也未所述第一方向，若否，则将所述点数结果加1；
若所述跟踪轨迹中所述目标物体的出方向为第五预设方向，则判断所述跟踪轨迹中所述目标物体的入方向是否为所述第一方向或所述第二方向，若否，则将所述点数结果加1；
重复上述步骤，直至所述跟踪轨迹列表中的所述跟踪轨迹都被判断，得到所述目标物体的点数结果。
2.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1所述的方法的步骤。
3.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述方法的步骤。
CN202211401873.4A 2022-11-10 2022-11-10 检测模型训练方法、智能点数方法和相关设备 Active CN115457036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211401873.4A CN115457036B (zh) 2022-11-10 2022-11-10 检测模型训练方法、智能点数方法和相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211401873.4A CN115457036B (zh) 2022-11-10 2022-11-10 检测模型训练方法、智能点数方法和相关设备

Publications (2)

Publication Number Publication Date
CN115457036A CN115457036A (zh) 2022-12-09
CN115457036B true CN115457036B (zh) 2023-04-25

Family

ID=84295580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211401873.4A Active CN115457036B (zh) 2022-11-10 2022-11-10 检测模型训练方法、智能点数方法和相关设备

Country Status (1)

Country Link
CN (1) CN115457036B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155284A (zh) * 2021-12-15 2022-03-08 天翼物联科技有限公司 基于多目标行人场景的行人跟踪方法、装置、设备及介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875577A (zh) * 2018-05-11 2018-11-23 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质
CN109117794A (zh) * 2018-08-16 2019-01-01 广东工业大学 一种运动目标行为跟踪方法、装置、设备及可读存储介质
CN109903310A (zh) * 2019-01-23 2019-06-18 平安科技（深圳）有限公司 目标跟踪方法、装置、计算机装置及计算机存储介质
CN111950329A (zh) * 2019-05-16 2020-11-17 长沙智能驾驶研究院有限公司 目标检测及模型训练方法、装置、计算机设备和存储介质
CN111432169B (zh) * 2019-12-25 2021-11-30 杭州海康威视数字技术股份有限公司 视频传输方法、装置、设备和系统
CN111179247A (zh) * 2019-12-27 2020-05-19 上海商汤智能科技有限公司 三维目标检测方法及其模型的训练方法及相关装置、设备
CN112749726B (zh) * 2020-02-26 2023-09-29 腾讯科技（深圳）有限公司 目标检测模型的训练方法、装置、计算机设备和存储介质
CN111626350B (zh) * 2020-05-25 2021-05-18 腾讯科技（深圳）有限公司 目标检测模型训练方法、目标检测方法及装置
CN111753961B (zh) * 2020-06-26 2023-07-28 北京百度网讯科技有限公司 模型训练方法和装置、预测方法和装置
CN112966587B (zh) * 2021-03-02 2022-12-20 北京百度网讯科技有限公司 目标检测模型的训练方法、目标检测方法及相关设备
CN113538513A (zh) * 2021-07-13 2021-10-22 中国工商银行股份有限公司 监控对象的进出控制方法、装置、设备及存储介质
CN113378864B (zh) * 2021-08-16 2021-11-12 浙江啄云智能科技有限公司 一种锚框参数的确定方法、装置、设备及可读存储介质
CN114067235A (zh) * 2021-10-22 2022-02-18 广西中科曙光云计算有限公司 基于云边端的数据处理系统及方法
CN114120293A (zh) * 2021-11-30 2022-03-01 北京华高世纪科技股份有限公司 一种地铁列车乘客检测方法及系统
CN114565916A (zh) * 2022-02-07 2022-05-31 苏州浪潮智能科技有限公司 目标检测模型训练方法、目标检测方法以及电子设备
CN115240130A (zh) * 2022-06-15 2022-10-25 首都师范大学 一种行人多目标跟踪方法、装置和计算机可读存储介质
CN115346083A (zh) * 2022-08-12 2022-11-15 广东电网有限责任公司 一种温度异常检测模型训练方法、装置、设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114155284A (zh) * 2021-12-15 2022-03-08 天翼物联科技有限公司 基于多目标行人场景的行人跟踪方法、装置、设备及介质

Also Published As

Publication number Publication date
CN115457036A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN108520229B (zh) 图像检测方法、装置、电子设备和计算机可读介质
US11107222B2 (en) Video object tracking
WO2020228446A1 (zh) 模型训练方法、装置、终端及存储介质
CN112232293B (zh) 图像处理模型训练、图像处理方法及相关设备
CN112330685B (zh) 图像分割模型训练、图像分割方法、装置及电子设备
CN111950329A (zh) 目标检测及模型训练方法、装置、计算机设备和存储介质
US20200175062A1 (en) Image retrieval method and apparatus, and electronic device
CN111368636B (zh) 目标分类方法、装置、计算机设备和存储介质
CN110197107B (zh) 微表情识别方法、装置、计算机设备及存储介质
CN112926654A (zh) 预标注模型训练、证件预标注方法、装置、设备及介质
CN112270686A (zh) 图像分割模型训练、图像分割方法、装置及电子设备
CN109902681B (zh) 用户群体关系确定方法、装置、设备及存储介质
CN111047088A (zh) 预测图像获取方法、装置、计算机设备和存储介质
CN111832561B (zh) 基于计算机视觉的字符序列识别方法、装置、设备和介质
CN113706481A (zh) 精子质量检测方法、装置、计算机设备和存储介质
CN111080697B (zh) 检测目标对象方向的方法、装置、计算机设备和存储介质
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
JP2022185143A (ja) テキスト検出方法、テキスト認識方法及び装置
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN115457036B (zh) 检测模型训练方法、智能点数方法和相关设备
CN108596068B (zh) 一种动作识别的方法和装置
CN112668710A (zh) 模型训练、管状物提取、数据识别方法及设备
CN113283388B (zh) 活体人脸检测模型的训练方法、装置、设备及存储介质
CN112784691B (zh) 一种目标检测模型训练方法、目标检测方法和装置
CN114330542A (zh) 一种基于目标检测的样本挖掘方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant