CN115063378B - 智能点数方法、装置、设备及存储介质 - Google Patents
智能点数方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115063378B CN115063378B CN202210740575.1A CN202210740575A CN115063378B CN 115063378 B CN115063378 B CN 115063378B CN 202210740575 A CN202210740575 A CN 202210740575A CN 115063378 B CN115063378 B CN 115063378B
- Authority
- CN
- China
- Prior art keywords
- counted
- video data
- model
- matching
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000001965 increasing effect Effects 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 6
- 241000282887 Suidae Species 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000011551 log transformation method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及人工智能技术领域，揭露了一种智能点数方法、装置、设备及存储介质，所述方法包括：获取包含待统计对象的视频数据；利用对象识别模型对所述视频数据进行对象识别，确定所述待统计对象的所属类别；基于所述待统计对象的所属类别，获取预设的图像数据；根据匹配点数模型和所述图像数据，对所述视频数据中的所述待统计对象进行点数，得到所述视频数据中所述待统计对象的数量。本申请提高了点数的准确度。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种智能点数方法、装置、设备及存储介质。
背景技术
生物识别是人工智能领域重要的领域，智能点数是生物识别的一个分支，对于人类来说这是一种天生的能力，而对于人工智能来说，却代表了最高水平的进展，目前各个AI巨头都在布局生物识别。人脸识别是生物识别中主要代表也是应用最广泛的一种生物识别。生物识别根据每个生物个体有特定的轮廓、花纹等特征进行构建模型从而达到识别的目的。而在对动物进行点数时，如猪等牲畜，通过人工可以点数十几猪，但是上百头就比较难了，猪是会动的，并且很容易数错。在现有技术中，常通过对动物所处环境进行拍照，并根据得到的图像通过深度学习模型进行点数等处理，由于动物是会跑动的，所以通过上述技术方案得到的点数不太准确，因此，如何提高对待点数对象的点数准确率成为了亟待解决的问题。
发明内容
本申请提供了一种智能点数方法、装置、设备及存储介质，以解决在对待点数对象进行点数时点数准确率较低的问题。
为解决上述问题，本申请提供了一种智能点数方法，包括：
获取包含待统计对象的视频数据；
利用对象识别模型对所述视频数据进行对象识别，确定所述待统计对象的所属类别；
基于所述待统计对象的所属类别，获取预设的图像数据；
根据匹配点数模型和所述图像数据，对所述视频数据中的所述待统计对象进行点数，得到所述视频数据中所述待统计对象的数量。
进一步的，所述利用对象识别模型对所述视频数据进行对象识别，确定所述待统计对象的所属类别包括：
从所述视频数据中抽取一帧或多帧图像，对所述一帧或多帧图像进行减影以及图像增强处理，得到处理后的图像；
利用所述对象识别模型对所述处理后的图像进行特征抽取，得到外貌特征，基于所述外貌特征，确定所述待统计对象的所属类别，所述对象识别模型基于Faster-RCNN模型训练得到。
进一步的，所述对所述一帧或多帧图像进行减影以及图像增强处理包括：
通过对所述一帧或多帧的图像依次进行最小滤波和最大滤波，得到滤波后的图像，利用所述一帧或多帧的图像对应减去滤波后的图像，得到减影后的图像；
利用图像增强算法，对减影后的图像进行增强处理。
进一步的，所述根据匹配点数模型和所述图像数据，对所述视频数据中的所述待统计对象进行点数包括：
利用所述匹配点数模型中的匹配模型对所述图像数据与所述视频数据进行匹配，在匹配成功后，对所述待统计对象进行打标，所述匹配模型基于FREAK模型训练得到；
在对整个视频数据中出现的所述待统计对象打标完成后，统计所述视频数据中的标签数量。
进一步的，在所述利用所述匹配点数模型中的匹配模型对所述图像数据与所述视频数据进行匹配之后，还包括：
根据所述视频数据中的各所述待统计对象与所述图像数据匹配成功的首帧，为各所述待统计对象进行打标；
对打标后的待统计对象利用所述匹配点数模型中的追踪模型进行跟踪，所述待统计对象对应的标签跟随移动，其中，各所述待统计对象与所述标签呈一一对应关系，所述追踪模型基于GOTURN模型训练得到。
进一步的，所述对所述待统计对象进行打标包括：
根据所述待统计对象匹配成功的顺序，依次为所述待统计对象进行打标，其中，所述标签的数值同步递增；
所述统计所述视频数据中的标签数量包括：
将所述视频数据中的标签对应的最大值，作为所述标签数量。
为了解决上述问题，本申请还提供一种智能点数装置，所述装置包括：
获取模块，用于获取包含待统计对象的视频数据；
识别模块，用于利用对象识别模型对所述视频数据进行对象识别，确定所述待统计对象的所属类别；
对应获取模块，用于基于所述待统计对象的所属类别，获取预设的图像数据；
点数模块，用于根据匹配点数模型和所述图像数据，对所述视频数据中的所述待统计对象进行点数，得到所述视频数据中所述待统计对象的数量。
进一步的，所述识别模块包括：
预处理子模块，用于从所述视频数据中抽取一帧或多帧图像，对所述一帧或多帧图像进行减影以及图像增强处理，得到处理后的图像；
分类子模块，用于利用所述对象识别模型对所述处理后的图像进行特征抽取，得到外貌特征，基于所述外貌特征，确定所述待统计对象的所属类别，所述对象识别模型基于Faster-RCNN模型训练得到。
为了解决上述问题，本申请还提供一种计算机设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的智能点数方法。
为了解决上述问题，本申请还提供一种非易失性的计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的智能点数方法。
根据本申请实施例提供的一种智能点数方法、装置、设备及存储介质，与现有技术相比至少具有以下有益效果：
通过获取包含待统计对象的视频数据，利用对象识别模型对所述视频数据进行对象识别，确定所述待统计对象的所属类别；通过先确定待统计对象的所属类别，采用与类别对应的图像模板去处理，提高点数的准确率；基于所述待统计对象的所属类别，获取预设的图像数据，对不同类别的待统计对象，使用不同的图像数据参与匹配处理；根据匹配点数模型和所述图像数据，对所述视频数据中的所述待统计对象进行点数，得到所述视频数据中所述待统计对象的数量，实现了提高点数的准确率。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图做一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的智能点数方法的流程示意图；
图2为图1中步骤S2的一种具体实施方式的流程示意图；
图3为图2中步骤S21的一种具体实施方式的流程示意图；
图4为图1中步骤S4的一种具体实施方式的流程示意图；
图5为本申请一实施例提供的智能点数装置的模块示意图；
图6为本申请一实施例的计算机设备的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是是相同的实施例，也不是与其它实施例相互排斥的独立的或备选的实施例。本领域技术人员显式地或隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请提供一种智能点数方法。参照图1所示，图1为本申请一实施例提供的智能点数方法的流程示意图。
在本实施例中，智能点数方法包括：
S1、获取包含待统计对象的视频数据；
具体的，本申请主要用于保险行业的验标过程，通过业务人员去到实地进行拍摄标的，即待统计对象；业务人员通过对待统计对象进行多次视频拍摄，视频拍摄速度尽量匀速，拍摄范围以一个围栏或者某个场所为界限，以尽可能的避免待统计对象进行大范围的移动，并防止待统计对象串到多个视频中。并将拍摄得到的视频数据上传至服务器端，以进行后续的处理。
S2、利用对象识别模型对所述视频数据进行对象识别，确定所述待统计对象的所属类别；
具体的，通过识别模型抽取视频数据中的图像来进行待统计对象所属类别的确定，能提高后续匹配点数的准确度。
进一步的，如图2所示，所述利用对象识别模型对所述视频数据进行对象识别，确定所述待统计对象的所属类别包括：
S21、从所述视频数据中抽取一帧或多帧图像，对所述一帧或多帧图像进行减影以及图像增强处理，得到处理后的图像；
S22、利用所述对象识别模型对所述处理后的图像进行特征抽取，得到外貌特征，基于所述外貌特征，确定所述待统计对象的所属类别，所述对象识别模型基于Faster-RCNN模型训练得到。
具体的，由于视频数据是由很多帧图像组成的，所以通过从视频数据中抽取一帧或多帧图像来进行待统计对象所属类别的确定，并且在将一帧或多帧图像在输入对象识别模型之前，还进行了减影以及图像增强处理，得到处理后的图像，提高后续对象识别模型的识别效果；
在本申请中，所述图像增强处理主要采用基于直方图均衡化的图像增强或基于拉普拉斯算子的图像增强；在本申请的其他实施例中可采用基于对象LOG变换的图像增强或基于伽马变换的图像增强等图像增强处理方法；所述减影为去除图像中的阴影部分，得到去除阴影后的图像。
通过对象识别模型对所述处理后的图像进行特征提取，得到待统计对象的外貌特征，基于外貌特征，确定所述待统计对象的所述类别；例如识别到外貌特征包括整体轮廓、耳朵形状、有尾巴、身体颜色、脚长度以及数量等，当耳朵形状为较宽大且呈三角形、有尾巴、身体颜色为白色、脚较短且由4条，整体轮廓较圆，即根据上述外貌特征，即可对应所述待统计对象属于猪这一类别。
Faster R-CNN主要包括两个模块：一个是区域生成网络RPN(Region ProposalNetworks)，该网络用来产生候选区域；另一个是Fast R-CNN检测器，使用RPN网络产生的候选区域进行分类与边框回归计算。
通过在对视频数据中抽取出的一帧或多帧图像，进行图像处理后，将处理后的图像输入对象识别模型进行处理，得到待统计对象所属的类别；在确定所属类别后，后续进行对应处理，提高了点数的准确度。
再进一步的，如图3所示，所述对所述一帧或多帧图像进行减影以及图像增强处理包括：
S211、通过对所述一帧或多帧的图像依次进行最小滤波和最大滤波，得到滤波后的图像，利用所述一帧或多帧的图像对应减去滤波后的图像，得到减影后的图像；
S212、利用图像增强算法，对减影后的图像进行增强处理。
具体的，通过对一帧或多帧的图像依次进行最小滤波和最大滤波处理，所述最大滤波即假设有一定大小的图像image1。算法逐个遍历image1的像素，并且对于每个像素(x,y)，它必须找到该像素周围的邻域(大小为N×N的窗口)中的最大灰度值，并进行写入image2中相应像素位置(x,y)的最大灰度值。所得图像image2称为输入图像image1的最大滤波图像。最小滤波算法与最大滤波完全相同，但是我们没有找到附近的最大灰度值，而是在该像素周围的N×N邻域中找到了最小值，并将该最小灰度值写入image2中的(x,y)。所得图像image2称为图像image1的经过最小滤波的图像。执行最小滤波-最大滤波后，我们获得的值不在0-255的范围内。因此，我们必须归一化使用背景减法获得的最终阵列，该方法是将原始图像减去经最小滤波-最大滤波处理后的图像，以获得去除阴影的最终图像。
所述图像增强处理主要采用基于直方图均衡化的图像增强或基于拉普拉斯算子的图像增强进行处理。
通过对一帧或多帧图像进行减影与图像增强处理，得到更好的图像，实现提高后续对象识别准确率的效果。
S3、基于所述待统计对象的所属类别，获取预设的图像数据；
具体的，根据对象识别模型确定的待统计对象的所属类别，获取对应的图像数据，所述图像数据为所述对应类别的多种轮廓图像数据和特征图像等，例如当一类别为猪时，所述预设的图像数据为猪的多种轮廓图像数据和特征图像，其中多种轮廓图像数据可为多个角度的轮廓图像，所述特征图像表示区别于其他类别的图像特征，例如类别为猪的特征图像为猪耳、猪鼻以及猪头图像等。
S4、根据匹配点数模型和所述图像数据，对所述视频数据中的所述待统计对象进行点数，得到所述视频数据中所述待统计对象的数量。
具体的，通过匹配点数模型，利用所述图像数据与所述视频数据进行匹配，在匹配成功后进行打标，并跟踪待统计对象，实现待统计对象与标签一一对应，最后视频结束，对视频数据中的标签数量进行统计，得到所述待统计对象的数量。
进一步的，如图4所示，所述根据匹配点数模型和所述图像数据，对所述视频数据中的所述待统计对象进行点数包括：
S41、利用所述匹配点数模型中的匹配模型对所述图像数据与所述视频数据进行匹配，在匹配成功后，对所述待统计对象进行打标，所述匹配模型基于FREAK模型训练得到；
S42、在对整个视频数据中出现的所述待统计对象打标完成后，统计所述视频数据中的标签数量。
具体的，通过匹配点数模型中的匹配模型，利用所述图像数据与所述视频数据进行匹配，匹配成功则表明所述视频数据中有待统计对象，随即在视频数据中匹配成功的位置处进行打标，即匹配成功的待统计对象处进行打标；
在对完整的视频数据都处理完成后，统计视频数据中的标签数量，即可得到待统计对象的数量。
FREAK模型一种特征提取算法，也是一种二进制的特征描述算子，常用于图像特征点匹配。
通过利用匹配模型，来识别出所述视频数据中的待统计对象，并对其进行打标，根据视频数据中总的标签数量，得到待统计对象的数量，提高了处理效率以及点数的准确度。
再进一步的，在所述利用所述匹配点数模型中的匹配模型对所述图像数据与所述视频数据进行匹配之后，还包括：
根据所述视频数据中的各所述待统计对象与所述图像数据匹配成功的首帧，为各所述待统计对象进行打标；
对打标后的待统计对象利用所述匹配点数模型中的追踪模型进行跟踪，所述待统计对象对应的标签跟随移动，其中，各所述待统计对象与所述标签呈一一对应关系，所述追踪模型基于GOTURN模型训练得到。
具体的，在所述视频数据中各所述待统计对象与所述图像数据匹配成功的首帧，即对匹配成功待统计对象进行打标，对打标后的待统计对象利用所述匹配点数模型中的追踪模型进行跟踪，以确保同一待统计对象仅打标一次，根据所述追踪模型的跟踪对应的标签也将同步移动。
GOTURN(Generic Object Tracking Using Regression Networks)模型为一种基于深度学习的跟踪算法，通过获取到上一帧的结果，以中心为原点扩大一圈得到Rect，利用这个Rect裁剪当前帧，分别送入两个五层的卷积网络，再经过三个全连层回归出最终的结果。
由于在视频数据中，待统计对象会移动，所以利用追踪模型对打标后的待统计对象进行跟踪，确保待统计对象与标签呈一一对应关系，提高点数的准确度。
再进一步的，所述对所述待统计对象进行打标包括：
根据所述待统计对象匹配成功的顺序，依次为所述待统计对象进行打标，其中，所述标签的数值同步递增；
所述统计所述视频数据中的标签数量包括：
将所述视频数据中的标签对应的最大值，作为所述标签数量。
具体的，根据待统计对象匹配成功的顺序，依次为所述待统计对象进行打标，更进一步的，以1,2,3……n的顺序进行标签数值的递增，即第一个匹配成功的待统计对象对应的标签数值为1，第二个匹配成功的待统计对象对应的标签数值为2，依次类推，在对视频数据处理完毕后，直接获取所述视频数据中标签的最大数值，即可得到所述视频数据中待统计对象的数量。
在本申请的其他实施例中，在打标过程中，可直接进行打标，不标注数值，在对视频数据处理完毕后，从头到尾统计所述视频数据中的标签数量来得到待统计对象的数量。
通过将匹配成功的顺序与标签的数值增长相对应，便于最后获取待统计对象的数量，提高了处理效率。
需要强调的是，为了进一步保证数据的私密性和安全性，所述视频数据的所有数据还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本实施例的智能点数方法通过获取包含待统计对象的视频数据，利用对象识别模型对所述视频数据进行对象识别，确定所述待统计对象的所属类别；通过先确定待统计对象的所属类别，采用与类别对应的图像模板去处理，提高点数的准确率；基于所述待统计对象的所属类别，获取预设的图像数据，对不同类别的待统计对象，使用不同的图像数据参与匹配处理；根据匹配点数模型和所述图像数据，对所述视频数据中的所述待统计对象进行点数，得到所述视频数据中所述待统计对象的数量，实现了提高点数的准确率。
本实施例还提供一种智能点数装置，如图5所示，是本申请智能点数装置的功能模块图。
本申请所述智能点数装置100可以安装于电子设备中。根据实现的功能，所述智能点数装置100可以包括获取模块101、识别模块102、对应获取模块103以及点数模块104。本申请所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
获取模块101，用于获取包含待统计对象的视频数据；
识别模块102，用于利用对象识别模型对所述视频数据进行对象识别，确定所述待统计对象的所属类别；
进一步的，所述识别模块102包括图像处理子模块和类别确定子模块；
所述图像处理子模块，用于从所述视频数据中抽取一帧或多帧图像，对所述一帧或多帧图像进行减影以及图像增强处理，得到处理后的图像；
所述类别确定子模块，用于利用所述对象识别模型对所述处理后的图像进行特征抽取，得到外貌特征，基于所述外貌特征，确定所述待统计对象的所属类别，所述对象识别模型基于Faster-RCNN模型训练得到。
通过图像处理子模块和类别确定子模块的配合，在对视频数据中抽取出的一帧或多帧图像，进行图像处理后，将处理后的图像输入对象识别模型进行处理，得到待统计对象所属的类别；在确定所属类别后，后续进行对应处理，提高了点数的准确度。
再进一步的，所述图像处理子模块还包括减影单元和增强单元；
所述减影单元，用于通过对所述一帧或多帧的图像依次进行最小滤波和最大滤波，得到滤波后的图像，利用所述一帧或多帧的图像对应减去滤波后的图像，得到减影后的图像；
所述增强单元，用于利用图像增强算法，对减影后的图像进行增强处理。
通过减影单元和增强单元的配合，对一帧或多帧图像进行减影与图像增强处理，得到更好的图像，实现提高后续对象识别准确率的效果。
对应获取模块103，用于基于所述待统计对象的所属类别，获取预设的图像数据；
点数模块104，用于根据匹配点数模型和所述图像数据，对所述视频数据中的所述待统计对象进行点数，得到所述视频数据中所述待统计对象的数量。
进一步的，所述点数模块104包括匹配子模块和统计子模块；
所述匹配子模块，用于利用所述匹配点数模型中的匹配模型对所述图像数据与所述视频数据进行匹配，在匹配成功后，对所述待统计对象进行打标，所述匹配模型基于FREAK模型训练得到；
所述统计子模块，用于在对整个视频数据中出现的所述待统计对象打标完成后，统计所述视频数据中的标签数量。
通过匹配子模块和统计子模块的配合，利用匹配模型，来识别出所述视频数据中的待统计对象，并对其进行打标，根据视频数据中总的标签数量，得到待统计对象的数量，提高了处理效率以及点数的准确度。
再进一步的，所述点数模块104还包括打标子模块和跟踪子模块；
所述打标子模块，用于根据所述视频数据中的各所述待统计对象与所述图像数据匹配成功的首帧，为各所述待统计对象进行打标；
所述跟踪子模块，用于对打标后的待统计对象利用所述匹配点数模型中的追踪模型进行跟踪，所述待统计对象对应的标签跟随移动，其中，各所述待统计对象与所述标签呈一一对应关系，所述追踪模型基于GOTURN模型训练得到。
通过打标子模块和跟踪子模块的配合，由于在视频数据中，待统计对象会移动，所以利用追踪模型对打标后的待统计对象进行跟踪，确保待统计对象与标签呈一一对应关系，提高点数的准确度。
再进一步的，所述匹配子模块包括依次打标单元，所述统计子模块包括数值获取单元；
所述依次打标单元，用于根据所述待统计对象匹配成功的顺序，依次为所述待统计对象进行打标，其中，所述标签的数值同步递增；
所述数值获取单元，用于将所述视频数据中的标签对应的最大值，作为所述标签数量。
通过依次打标单元和数值获取单元的配合，将匹配成功的顺序与标签的数值增长相对应，便于最后获取待统计对象的数量，提高了处理效率。
通过采用上述装置，所述智能点数装置100通过获取模块101、识别模块102、对应获取模块103以及点数模块104的配合使用，通过获取包含待统计对象的视频数据，利用对象识别模型对所述视频数据进行对象识别，确定所述待统计对象的所属类别；通过先确定待统计对象的所属类别，采用与类别对应的图像模板去处理，提高点数的准确率；基于所述待统计对象的所属类别，获取预设的图像数据，对不同类别的待统计对象，使用不同的图像数据参与匹配处理；根据匹配点数模型和所述图像数据，对所述视频数据中的所述待统计对象进行点数，得到所述视频数据中所述待统计对象的数量，实现了提高点数的准确率。
本申请实施例还提供一种计算机设备。具体请参阅图6，图6为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如智能点数方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述智能点数方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
尽管未示出，计算机设备4还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器42会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器41中，并由处理器42来运行存储在存储器41中的应用程序，从而实现各种功能，如下：
本实施例通过处理器执行存储在存储器的计算机可读指令时实现如上述实施例智能点数方法的步骤，通过获取包含待统计对象的视频数据，利用对象识别模型对所述视频数据进行对象识别，确定所述待统计对象的所属类别；通过先确定待统计对象的所属类别，采用与类别对应的图像模板去处理，提高点数的准确率；基于所述待统计对象的所属类别，获取预设的图像数据，对不同类别的待统计对象，使用不同的图像数据参与匹配处理；根据匹配点数模型和所述图像数据，对所述视频数据中的所述待统计对象进行点数，得到所述视频数据中所述待统计对象的数量，实现了提高点数的准确率。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的智能点数方法的步骤，通过获取包含待统计对象的视频数据，利用对象识别模型对所述视频数据进行对象识别，确定所述待统计对象的所属类别；通过先确定待统计对象的所属类别，采用与类别对应的图像模板去处理，提高点数的准确率；基于所述待统计对象的所属类别，获取预设的图像数据，对不同类别的待统计对象，使用不同的图像数据参与匹配处理；根据匹配点数模型和所述图像数据，对所述视频数据中的所述待统计对象进行点数，得到所述视频数据中所述待统计对象的数量，实现了提高点数的准确率。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
本申请上述实施例的智能点数装置、计算机设备、计算机可读存储介质具有与上述实施例的智能点数方法相同的技术效果，在此不作展开。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
Claims (6)
1.一种智能点数方法，其特征在于，所述方法包括：
获取包含待统计对象的视频数据；
利用对象识别模型对所述视频数据进行对象识别，确定所述待统计对象的所属类别，其中，所述利用对象识别模型对所述视频数据进行对象识别，确定所述待统计对象的所属类别包括：从所述视频数据中抽取一帧或多帧图像，对所述一帧或多帧图像进行减影以及图像增强处理，得到处理后的图像；利用所述对象识别模型对所述处理后的图像进行特征抽取，得到外貌特征，基于所述外貌特征，确定所述待统计对象的所属类别，所述对象识别模型基于Faster-RCNN模型训练得到；
基于所述待统计对象的所属类别，获取预设的图像数据，其中，所述预设的图像数据为预设的所述待统计对象对应类别的多种轮廓图像数据和特征图像，所述多种轮廓图像数据包括多个角度的轮廓图像，所述特征图像为区别于其他对象类别的特征图像；
根据匹配点数模型和所述图像数据，对所述视频数据中的所述待统计对象进行点数，得到所述视频数据中所述待统计对象的数量，其中，所述根据匹配点数模型和所述图像数据，对所述视频数据中的所述待统计对象进行点数包括：利用所述匹配点数模型中的匹配模型对所述图像数据与所述视频数据进行匹配，在匹配成功后，对所述待统计对象进行打标，所述匹配模型基于FREAK模型训练得到；在对整个视频数据中出现的所述待统计对象打标完成后，统计所述视频数据中的标签数量；
在所述利用所述匹配点数模型中的匹配模型对所述图像数据与所述视频数据进行匹配之后，还包括：根据所述视频数据中的各所述待统计对象与所述图像数据匹配成功的首帧，为各所述待统计对象进行打标；对打标后的待统计对象利用所述匹配点数模型中的追踪模型进行跟踪，所述待统计对象对应的标签跟随移动，其中，各所述待统计对象与所述标签呈一一对应关系，所述追踪模型基于GOTURN模型训练得到。
2.根据权利要求1所述的智能点数方法，其特征在于，所述对所述一帧或多帧图像进行减影以及图像增强处理包括：
通过对所述一帧或多帧的图像依次进行最小滤波和最大滤波，得到滤波后的图像，利用所述一帧或多帧的图像对应减去滤波后的图像，得到减影后的图像；
利用图像增强算法，对减影后的图像进行增强处理。
3.根据权利要求1所述的智能点数方法，其特征在于，所述对所述待统计对象进行打标包括：
根据所述待统计对象匹配成功的顺序，依次为所述待统计对象进行打标，其中，所述标签的数值同步递增；
所述统计所述视频数据中的标签数量包括：
将所述视频数据中的标签对应的最大值，作为所述标签数量。
4.一种智能点数装置，其特征在于，所述装置包括：
获取模块，用于获取包含待统计对象的视频数据；
识别模块，用于利用对象识别模型对所述视频数据进行对象识别，确定所述待统计对象的所属类别，其中，所述识别模块包括图像处理子模块和类别确定子模块，
所述图像处理子模块，用于从所述视频数据中抽取一帧或多帧图像，对所述一帧或多帧图像进行减影以及图像增强处理，得到处理后的图像；
所述类别确定子模块，用于所述对象识别模型对所述处理后的图像进行特征抽取，得到外貌特征，基于所述外貌特征，确定所述待统计对象的所属类别，所述对象识别模型基于Faster-RCNN模型训练得到；
对应获取模块，用于基于所述待统计对象的所属类别，获取预设的图像数据，其中，所述预设的图像数据为预设的所述待统计对象对应类别的多种轮廓图像数据和特征图像，所述多种轮廓图像数据包括多个角度的轮廓图像，所述特征图像为区别于其他对象类别的特征图像；
点数模块，用于根据匹配点数模型和所述图像数据，对所述视频数据中的所述待统计对象进行点数，得到所述视频数据中所述待统计对象的数量，其中，所述点数模块包括匹配子模块、打标子模块、跟踪子模块和统计子模块，
所述匹配子模块用于利用所述匹配点数模型中的匹配模型对所述图像数据与所述视频数据进行匹配，在匹配成功后，对所述待统计对象进行打标，所述匹配模型基于FREAK模型训练得到；
所述打标子模块，用于根据所述视频数据中的各所述待统计对象与所述图像数据匹配成功的首帧，为各所述待统计对象进行打标；
所述跟踪子模块，用于对打标后的待统计对象利用所述匹配点数模型中的追踪模型进行跟踪，所述待统计对象对应的标签跟随移动，其中，各所述待统计对象与所述标签呈一一对应关系，所述追踪模型基于GOTURN模型训练得到；
所述统计子模块，用于在对整个视频数据中出现的所述待统计对象打标完成后，统计所述视频数据中的标签数量。
5.一种计算机设备，其特征在于，所述计算机设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至3中任一所述的智能点数方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至3中任一所述的智能点数方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210740575.1A CN115063378B (zh) | 2022-06-27 | 2022-06-27 | 智能点数方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210740575.1A CN115063378B (zh) | 2022-06-27 | 2022-06-27 | 智能点数方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115063378A CN115063378A (zh) | 2022-09-16 |
| CN115063378B true CN115063378B (zh) | 2023-12-05 |
Family
ID=83203290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210740575.1A Active CN115063378B (zh) | 2022-06-27 | 2022-06-27 | 智能点数方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115063378B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101980245A (zh) * | 2010-10-11 | 2011-02-23 | 北京航空航天大学 | 一种基于自适应模板匹配的客流统计方法 |
| CN110717885A (zh) * | 2019-09-02 | 2020-01-21 | 平安科技（深圳）有限公司 | 顾客数量的统计方法及装置、电子设备及可读存储介质 |
| KR102129698B1 (ko) * | 2019-12-19 | 2020-07-02 | 김맹기 | 자동 어류 계수 시스템 |
| CN111680551A (zh) * | 2020-04-28 | 2020-09-18 | 平安国际智慧城市科技股份有限公司 | 监控牲畜数量的方法、装置、计算机设备及存储介质 |
| CN112101442A (zh) * | 2020-09-09 | 2020-12-18 | 昆明理工大学 | 一种基于花蕊检测的花朵计数方法 |
| CN112598713A (zh) * | 2021-03-03 | 2021-04-02 | 浙江大学 | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 |
| CN112906452A (zh) * | 2020-12-10 | 2021-06-04 | 叶平 | 羚牛水鹿自动识别跟踪统计方法及系统 |
| CN113822137A (zh) * | 2021-07-23 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 一种数据标注方法、装置、设备及计算机可读存储介质 |
| CN114049477A (zh) * | 2021-11-16 | 2022-02-15 | 中国水利水电科学研究院 | 一种过鱼鱼道系统、鱼类数量和种类的动态识别跟踪方法 |
| CN114627047A (zh) * | 2022-01-26 | 2022-06-14 | 山东易华录信息技术有限公司 | 一种基于改进sort算法的鱼类计数统计的方法 |
| CN114640807A (zh) * | 2022-03-15 | 2022-06-17 | 京东科技信息技术有限公司 | 基于视频的对象统计方法、装置、电子设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11602132B2 (en) * | 2020-10-06 | 2023-03-14 | Sixgill, LLC | System and method of counting livestock |
-
2022
- 2022-06-27 CN CN202210740575.1A patent/CN115063378B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101980245A (zh) * | 2010-10-11 | 2011-02-23 | 北京航空航天大学 | 一种基于自适应模板匹配的客流统计方法 |
| CN110717885A (zh) * | 2019-09-02 | 2020-01-21 | 平安科技（深圳）有限公司 | 顾客数量的统计方法及装置、电子设备及可读存储介质 |
| KR102129698B1 (ko) * | 2019-12-19 | 2020-07-02 | 김맹기 | 자동 어류 계수 시스템 |
| CN111680551A (zh) * | 2020-04-28 | 2020-09-18 | 平安国际智慧城市科技股份有限公司 | 监控牲畜数量的方法、装置、计算机设备及存储介质 |
| CN112101442A (zh) * | 2020-09-09 | 2020-12-18 | 昆明理工大学 | 一种基于花蕊检测的花朵计数方法 |
| CN112906452A (zh) * | 2020-12-10 | 2021-06-04 | 叶平 | 羚牛水鹿自动识别跟踪统计方法及系统 |
| CN112598713A (zh) * | 2021-03-03 | 2021-04-02 | 浙江大学 | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 |
| CN113822137A (zh) * | 2021-07-23 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 一种数据标注方法、装置、设备及计算机可读存储介质 |
| CN114049477A (zh) * | 2021-11-16 | 2022-02-15 | 中国水利水电科学研究院 | 一种过鱼鱼道系统、鱼类数量和种类的动态识别跟踪方法 |
| CN114627047A (zh) * | 2022-01-26 | 2022-06-14 | 山东易华录信息技术有限公司 | 一种基于改进sort算法的鱼类计数统计的方法 |
| CN114640807A (zh) * | 2022-03-15 | 2022-06-17 | 京东科技信息技术有限公司 | 基于视频的对象统计方法、装置、电子设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Ali Raza Shahzad,et al..A Smart Surveillance System for Pedestrian Tracking and Counting using Template Matching.《2021 International Conference on Robotics and Automation in Industry》.2021,全文. * |
| 图像识别计数在储备生猪统计的应用;张天昊;梁炎森;何志毅;;《计算机应用与软件》(第12期);全文 * |
| 基于图像的水稻灯诱害虫智能识别与计数技术的研究;马鹏鹏;《中国优秀硕士学位论文全文数据库》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115063378A (zh) | 2022-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108509915B (zh) | 人脸识别模型的生成方法和装置 | |
| CN107679448B (zh) | 眼球动作分析方法、装置及存储介质 | |
| CN110363091B (zh) | 侧脸情况下的人脸识别方法、装置、设备及存储介质 | |
| CN109829396B (zh) | 人脸识别运动模糊处理方法、装置、设备及存储介质 | |
| CN108564579B (zh) | 一种基于时空相关的混凝土裂缝检测方法及检测装置 | |
| CN109116129B (zh) | 终端检测方法、检测设备、系统及存储介质 | |
| CN113705462B (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
| CN113011403B (zh) | 手势识别方法、系统、介质及设备 | |
| CN112712005B (zh) | 识别模型的训练方法、目标识别方法及终端设备 | |
| CN113160276B (zh) | 一种目标跟踪方法、目标跟踪装置及计算机可读存储介质 | |
| CN112507897A (zh) | 跨模态人脸识别方法、装置、设备及存储介质 | |
| CN112949437A (zh) | 一种手势识别方法、手势识别装置及智能设备 | |
| CN116612417A (zh) | 利用视频时序信息的特殊场景车道线检测方法及装置 | |
| CN111126250A (zh) | 一种基于ptgan的行人重识别方法及装置 | |
| CN111353429A (zh) | 基于眼球转向的感兴趣度方法与系统 | |
| CN111353385A (zh) | 一种基于掩膜对齐与注意力机制的行人再识别方法和装置 | |
| CN111104911A (zh) | 一种基于大数据训练的行人重识别方法及装置 | |
| CN113191189A (zh) | 人脸活体检测方法、终端设备及计算机可读存储介质 | |
| CN115063378B (zh) | 智能点数方法、装置、设备及存储介质 | |
| CN112750071A (zh) | 一种用户自定义的表情制作方法及系统 | |
| CN111967529A (zh) | 识别方法、装置、设备及系统 | |
| CN116563040A (zh) | 基于牲畜识别的农险查勘方法、装置、设备及存储介质 | |
| CN111488811A (zh) | 人脸识别方法、装置、终端设备及计算机可读介质 | |
| CN116129496A (zh) | 一种图像遮挡方法、装置、计算机设备及存储介质 | |
| CN111368602A (zh) | 人脸图像模糊程度评价方法、装置、可读存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |