CN113438417A - 视频抓拍待识别物的方法、系统、介质及装置 - Google Patents
视频抓拍待识别物的方法、系统、介质及装置 Download PDFInfo
- Publication number
- CN113438417A CN113438417A CN202110693802.5A CN202110693802A CN113438417A CN 113438417 A CN113438417 A CN 113438417A CN 202110693802 A CN202110693802 A CN 202110693802A CN 113438417 A CN113438417 A CN 113438417A
- Authority
- CN
- China
- Prior art keywords
- identified
- objects
- image frame
- image
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013441 quality evaluation Methods 0.000 claims abstract description 40
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 238000012216 screening Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000001303 quality assessment method Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
本发明属于视频抓拍技术领域，尤其涉及一种视频抓拍待识别物的方法、系统、介质及装置。本发明旨在解决现有抓拍盒子算力无法充分利用的问题。本发明的方法包括：接收视频流并解码，并将图片进行依次排列；将图片按照顺序输入到第一缓冲区；将第一预设批数量的视频图片传递到下一步操作；将图片依次识别，获得待识别物的图像框；对图像框内的待识别物进行ID分配，获得多路同一ID的待识别物质量评估队列；对每一路的图像框内的待识别物进行质量评估，依次得到每个图像框内的待识别物的质量分；将每个ID内的待识别物的质量分最高的图像框作为抓拍图片。本发明基于上述方案，对于AI算力的使用率得到极大提升。
Description
技术领域
本发明涉及视频抓拍技术领域，尤其涉及一种视频抓拍待识别物的方法、系统、介质及装置。
背景技术
现有的公共场所对于视频抓拍的要求越来越高，例如当待识别物是车辆时，针对车辆的路径抓拍，由于可能有许多视频流，每个视频流里面又有很多帧是拍到车辆的，想要截取最优的图像是一个较为庞大的工作量。当待识别物是人时，针对人脸的抓拍也是一个非常困难的事情，因此，针对人脸抓拍的智能盒子类型的产品应运而生，下面以待识别物是行人为例进行说明。
在边缘端智能人脸抓拍盒子类型设备上，能对多少路实时视频流以及每路多大的人流量进行人脸抓拍分析，这是行业以及市场非常重要的指标。传统的同步处理方法是将每帧图片连续不间断地流经各个模块，最终实现处理完毕，但是这种处理方法对于硬件的应用并不充分，会导致AI算力得不到完全利用，从而在给定的有限算力下，盒子的性能低下，满足不了市场需求，如果要通过提升硬件算力来提升性能，势必带来设备的成本上升。
相应地，本领域需要一种新的视频抓拍待识别物的方法、系统、介质及装置来解决现有抓拍盒子算力无法充分利用的问题。
发明内容
为了解决现有技术中的上述问题，即为了解决现有抓拍盒子算力无法充分利用的问题，本发明提供了一种视频抓拍待识别物的方法，包括：
S01、接收视频流并解码；
S02、将每一路的视频流所获得的一组多帧数的视频图片按照顺序输入到第一缓冲区；
S03、当其中一路的视频图片的数量达到第一预设批数量时，将第一预设批数量的视频图片传递到下一步操作，作为待识别物视频图片队列；
S04、将待识别物视频图片队列内的视频图片依次识别，获得待识别物的图像框；
S05、对图像框内的待识别物进行ID分配，并将同一ID 的待识别物所对应的图像框作为一路独立的线程，获得多路同一ID的待识别物质量评估队列；
S06、对每一路的待识别物质量评估队列内的图像框内的待识别物进行质量评估，依次得到每个图像框内的待识别物的质量分；
S07、将每个ID内的待识别物的质量分最高的图像框作为抓拍图片。
在上述方法的优选技术方案中，在步骤S01之后，所述方法还包括：
S01-1、将每一路的一组多帧数的视频图片每间隔N帧后抽取一帧组成新的一组多帧数的视频图片，然后进行下一步操作；其中，N为大于等于1的自然数。
在上述方法的优选技术方案中，步骤S05进一步包括：
S051、将图像框输入到第二缓冲区；
S052、当图像框的数量达到第二预设批数量时，将识别好的第二预设批数量的图像框依次传递到下一步操作，作为待识别物跟踪任务队列；
S053、对待识别物跟踪任务队列中的图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程传递至下一步操作，作为多路同一ID的待识别物质量评估队列。
在上述方法的优选技术方案中，步骤S053进一步包括：
S0531、对待识别物跟踪任务队列中的图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程传递至下一步操作，获得多路的待识别物ID队列；
S0532、将每一路待识别物ID队列中的后一个图像框与前一个图像框进行对比，当后一个图像框与前一个图像框的位置的交并比大于预设比值，并且后一个图像框与前一个图像框的时间间隔小于预设时间时，将后一个图像框从待识别物ID队列内剔除，作为待识别物筛选评估任务队列；
S0533、将每一个待识别物筛选评估任务队列依次输入到第三缓冲区，当第三缓冲区内的图像框的数量达到第三预设批数量时或者超过等待时长时，将图像框传递至下一步操作，作为多路同一ID 的待识别物质量评估队列。
在上述方法的优选技术方案中，步骤S07进一步包括：
S071、在质量评估过程中，当同一ID的图像框内的待识别物的质量分超过阈值时，获取该图像框作为抓拍图片，结束对同一ID 的其它图像框的处理；
S072、在质量评估过程完成后，当同一ID的图像框内的待识别物的质量分均未超过阈值时，获取质量分最高的图像框作为抓拍图片。
本发明还提供了一种视频抓拍待识别物的系统，包括：
视频解码排序模块：接收视频流并解码；
第一缓冲模块：将每一路的视频流所获得的一组多帧数的视频图片按照顺序输入到第一缓冲区；
第一批数传递模块：当其中一路的视频图片的数量达到第一预设批数量时，将第一预设批数量的视频图片传递到下一步操作，作为待识别物视频图片队列；
图片识别模块：将待识别物视频图片队列内的视频图片依次识别，获得待识别物的图像框；
质量评估队列模块：对图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程，获得多路同一ID的待识别物质量评估队列；
质量分评估模块：对每一路的待识别物质量评估队列内的图像框内的待识别物进行质量评估，依次得到每个图像框内的待识别物的质量分；
抓拍图片获取模块：将每个ID内的待识别物的质量分最高的图像框作为抓拍图片。
在上述系统的优选技术方案中，在视频解码排序模块之后，所述系统还包括：
抽帧模块：将每一路的一组多帧数的视频图片每间隔N帧后抽取一帧组成新的一组多帧数的视频图片，然后进行下一步操作；其中，N为大于等于1的自然数。
在上述系统的优选技术方案中，质量评估队列模块进一步包括：
第二缓冲模块：将图像框输入到第二缓冲区；
第二批数传递模块：当图像框的数量达到第二预设批数量时，将识别好的第二预设批数量的图像框依次传递到下一步操作，作为待识别物跟踪任务队列；
ID分配模块：对待识别物跟踪任务队列中的图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程传递至下一步操作，作为多路同一ID的待识别物质量评估队列。
在上述系统的优选技术方案中，ID分配模块进一步包括：
ID标记模块：对待识别物跟踪任务队列中的图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程传递至下一步操作，获得多路的待识别物ID队列；
重复剔除模块：将每一路待识别物ID队列中的后一个图像框与前一个图像框进行对比，当后一个图像框与前一个图像框的位置的交并比大于预设比值，并且后一个图像框与前一个图像框的时间间隔小于预设时间时，将后一个图像框从待识别物ID队列内剔除，作为待识别物筛选评估任务队列；
第三缓冲模块：将每一个待识别物筛选评估任务队列依次输入到第三缓冲区，当第三缓冲区内的图像框的数量达到第三预设批数量时或者超过等待时长时，将图像框传递至下一步操作，作为多路同一ID的待识别物质量评估队列。
本发明还提供了一种计算机可读存储介质，所述存储介质中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行上述技术方案中任一项的视频抓拍待识别物的方法。
本发明还提供了一种控制装置，该控制装置包括处理器和存储器，所述存储器适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行上述技术方案中任一项的视频抓拍待识别物的方法。
本领域人员能够理解的是，本发明提供了一种视频抓拍待识别物的方法，主要包括：
S01、接收视频流并解码；
S02、将每一路的视频流所获得的一组多帧数的视频图片按照顺序输入到第一缓冲区；
S03、当其中一路的视频图片的数量达到第一预设批数量时，将第一预设批数量的视频图片传递到下一步操作，作为待识别物视频图片队列；
S04、将待识别物视频图片队列内的视频图片依次识别，获得待识别物的图像框；
S05、对图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程，获得多路同一ID的待识别物质量评估队列；
S06、对每一路的待识别物质量评估队列内的图像框内的待识别物进行质量评估，依次得到每个图像框内的待识别物的质量分；
S07、将每个ID内的待识别物的质量分最高的图像框作为抓拍图片。
AI算力在硬件确定后，是有算力上限限制的，现有技术中的AI算力经常是没办法满负荷运转，造成算力浪费，需要提升硬件算力上限来弥补无法完全开发使用算力所带来的困扰。
申请人留意到，AI算力通常提升利用率主要有两个维度，一个是时间维度，也即让AI核心时刻处于运行状态，不让它有空闲时间，另一个是空间维度，AI核心也是需要获取一次前传就计算一次，因此可以通过让AI核心每次的任务量更充分，使得空间维度也能合理利用。基于上述考虑，本发明预留了第一缓冲区，并且进行了多路视频流的区分，把每路视频流的多帧数图片在第一缓冲区内进行缓冲，当其中一路的视频图片的数量达到第一预设批数量时，再进行一次前传，进入下一步操作，通过这种设计，由于设计有缓冲区和第一预设批数量的限制，使得每次AI算力所计算的图片数量在空间维度上都处于比较饱和的状态，多路设计也使得AI算力在计算过程中很少出现没有前传而空等的情况，在时间维度上处于比较饱和的状态，从而使视频处理识别时候的AI算力得到更好地发挥，特别是在人流量大的时候，时间维度上的使用率可以达到100％，这与现有的获取图片后直接处理的方案相比，AI算力的使用率得到了显著地提升，现有的技术方案当中还无法使得AI算力得到如此深入的使用，在AI算力使用率提升的情况下，对于处理器硬件的要求也相应地降低，减少了整体硬件的资金投入，也降低了硬件的浪费。
附图说明
下面参照附图来描述本发明的具体实施方式。附图中：
图1为本发明的视频抓拍待识别物的方法的主要流程图；
图2为图1中步骤S05的详细流程图；
图3为图1中步骤S07的详细流程图；
图4为本发明的视频抓拍待识别物的系统的主要模块组成图。
附图标记列表:
1、视频抓拍待识别物的系统；
11、视频解码排序模块；12、抽帧模块；13、第一缓冲模块；14、第一批数传递模块；15、图片识别模块；
16、质量评估队列模块；161、第二缓冲模块；162、第二批数传递模块；163、ID分配模块；1631、ID标记模块；1632、重复剔除模块；1633、缓冲模块；
17、质量分评估模块；18、抓拍图片获取模块。
具体实施方式
为了便于理解本发明，下文将结合说明书附图和实施例对本发明作更全面、细致地描述,但本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A 与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和 B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
现有技术中对于待识别物抓拍的应用场景非常多，尤其是对于监控领域，对于车或者人的抓拍是非常常见的，这就使得其应用场景很多，但受限于AI算力的使用率较低的问题，每套系统都需要载入一款算力及费用较高的处理器才能完成，这将使得整套系统的成本上升，而由于应用场景非常广泛，需要的套数很多，对于成本的提升是非常明显的。
相应地，为了解决上述问题，下面结合图1-图3对本发明的方法进行介绍，为了便于理解，下面以待识别物是行人为例进行说明，应用场景以摄像头抓拍十字路口的行人为例。
本发明提供了一种视频抓拍待识别物的方法，包括：
S01、接收视频流并解码；
S01-1、将每一路的一组多帧数的视频图片每间隔N帧后抽取一帧组成新的一组多帧数的视频图片，然后进行下一步操作；其中， N为大于等于1的自然数。
通过多个摄像头对十字路口的行人进行不同角度的拍摄，并将每一个摄像头的视频流进行解码，每一路的视频流获得一组多帧数的视频图片，依照时间顺序依次进行排列，排列好之后，由于行人的行驶速度无法跟快速行驶的车辆相比，因此，相邻两帧的视频图片的重叠程度很高，因此，对视频图片进行抽帧处理，每间隔N帧后抽取一帧组成新的一组多帧数的视频图片，这样既能够极大地降低运算量，又能够维持识别准确度在合理可控范围内，N的数量与行人速度、数量息息相关，可以根据不同需要进行调整，还可以根据实时行人数量动态调节，例如上下班高峰期N的值较小，正常工作时间N的值较大，以使算力分配更加均衡。
S02、将每一路的视频流所获得的一组多帧数的视频图片按照顺序输入到第一缓冲区；
S03、当其中一路的视频图片的数量达到第一预设批数量时，将第一预设批数量的视频图片传递到下一步操作，作为待识别物视频图片队列。
设置第一缓冲区，并且将每一路的视频图片进行存储，最终汇总至第一预设批数量时，进行一次前传，这就使得每次AI算力所处理的数量都是一定的，均为第一预设批数量的视频图片，能使得算力得到基本的平衡，不会再出现一次前传数量过少而导致AI算力使用率较低的情况发生。
S04、将待识别物视频图片队列内的视频图片依次识别，获得待识别物的图像框；
S05、对图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程，获得多路同一ID的待识别物质量评估队列；
其中，步骤S05进一步包括：
S051、将图像框输入到第二缓冲区；
S052、当图像框的数量达到第二预设批数量时，将识别好的第二预设批数量的图像框依次传递到下一步操作，作为待识别物跟踪任务队列；
S053、对待识别物跟踪任务队列中的图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程传递至下一步操作，作为多路同一ID的待识别物质量评估队列。
视频抓拍获得的图片，每个图片上都有不同数量的人脸，这就使得每个图片上所要识别的图像框并不相同，即使将相同数量的视频图片前传，最终AI算力所计算的数量仍然是有所差异的，因此，为了进一步使AI算力更进一步地充分利用，本发明先在步骤S04中把每张视频图片进行依次识别，获得多个待识别物的图像框，然后在步骤 S051中把图像框输入到第二缓冲区，当图像框数量达到第二预设批数量时，再进行步骤S052的前传，作为待识别物跟踪队列，这样的话，前传的数量便由视频图片的数量转化成了图像框的数量，AI算力在每个图像框上所分配的算力是基本相当的，这就使得在第二预设批数量合理的情况下，AI算力能够更加充分合理的利用。前传的图像框是多个ID混在一起的，进行步骤S053，对每个人脸进行ID分配，并将统一ID的人脸所对应的图像框作为一路独立的线程进行前传，作为多路同一ID的待识别物质量评估队列。其中，对于移动的ID的分配，现有技术当中具有多种方式，例如先计算两个人脸框之间的距离，再辅以匈牙利算法进行匹配，可以快速地进行人脸跟踪。
其中，步骤S053进一步包括：
S0531、对待识别物跟踪任务队列中的图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程传递至下一步操作，获得多路的待识别物ID队列；
S0532、将每一路待识别物ID队列中的后一个图像框与前一个图像框进行对比，当后一个图像框与前一个图像框的位置的交并比大于预设比值，并且后一个图像框与前一个图像框的时间间隔小于预设时间时，将后一个图像框从待识别物ID队列内剔除，作为待识别物筛选评估任务队列；
S0533、将每一个待识别物筛选评估任务队列依次输入到第三缓冲区，当第三缓冲区内的图像框的数量达到第三预设批数量时或者超过等待时长时，将图像框传递至下一步操作，作为多路同一ID 的待识别物质量评估队列。
即使在步骤S01-1中增加了抽帧的方式，但每个人的行走速度不同、行走状态不同(有的在等红灯，有的在行走中)，仍然会有针对同一ID的人脸质量变化小、存在冗余计算的问题，因此，在步骤S0531-步骤S0533中，又增加了一个相邻图像框的交并比的对比，当两个图片相隔时间较短，并且交并比较大时，说明此时两个图片所包含的信息重叠程度过大，例如此时行人是在等红灯而未进行移动，此时便可以将其中一个图像框进行剔除，最终剩余的再排列成待识别物筛选评估任务队列，然后设置第三缓冲区，并在达到第三预设批数量时进行前传，同样是为了使AI算力得到更高效地使用，最终得到多路统一ID的待识别物质量评估队列。
S06、对每一路的待识别物质量评估队列内的图像框内的待识别物进行质量评估，依次得到每个图像框内的待识别物的质量分；
S07、将每个ID内的待识别物的质量分最高的图像框作为抓拍图片。
其中，步骤S07进一步包括：
S071、在质量评估过程中，当同一ID的图像框内的待识别物的质量分超过阈值时，获取该图像框作为抓拍图片，结束对同一ID 的其它图像框的处理；
S072、在质量评估过程完成后，当同一ID的图像框内的待识别物的质量分均未超过阈值时，获取质量分最高的图像框作为抓拍图片。
其中，对于带有人脸的图像框进行质量分评估属于本领域技术人员的一种常规技术手段，其所能够使用的方法众多，也不属于本发明的提升AI算力使用率的范畴之内，因此不再进行过多的展开。对同一ID所处的图像框的队列进行逐一识别，当出现了质量分超过预设值时，说明此图像框内的抓拍质量已经达标，便可以不进行后续的处理，降低运算量，从而能够使AI算力计算更多的有用数据。当然为了获取质量最高的抓拍图像框，还可以是每个ID的队列全部识别完毕，选择质量分最高的图像框作为抓拍图像，本领域技术人员可以根据实际需要进行选择。
至此，已经针对一种具体实施方式的完整流程进行了描述，但是，本领域技术人员显然可以根据上述具体实施方式进行简单的变形来实现与本发明同样的效果，例如，步骤S01-1属于对多帧数的视频图片的一种预筛选，属于优选地实施方式，显然是可以去掉的，这些简单的变形都不偏离本发明的原理，因此都属于本发明的保护范围。
如图4所示，本发明还提供了一种视频抓拍待识别物的系统1，包括：
视频解码排序模块11：接收视频流并解码；
抽帧模块12：将每一路的视频流所获得的一组多帧数的视频图片每间隔N帧后抽取一帧组成新的一组多帧数的视频图片，然后进行下一步操作；其中，N为大于等于1的自然数；
第一缓冲模块13：将每一路的一组多帧数的视频图片按照顺序输入到第一缓冲区；
第一批数传递模块14：当其中一路的视频图片的数量达到第一预设批数量时，将第一预设批数量的视频图片传递到下一步操作，作为待识别物视频图片队列；
图片识别模块15：将待识别物视频图片队列内的视频图片依次识别，获得待识别物的图像框；
质量评估队列模块16：对图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程，获得多路同一ID的待识别物质量评估队列；
质量分评估模块17：对每一路的待识别物质量评估队列内的图像框内的待识别物进行质量评估，依次得到每个图像框内的待识别物的质量分；
抓拍图片获取模块18：将每个ID内的待识别物的质量分最高的图像框作为抓拍图片。
其中，质量评估队列模块16进一步包括：
第二缓冲模块161：将图像框输入到第二缓冲区；
第二批数传递模块162：当图像框的数量达到第二预设批数量时，将识别好的第二预设批数量的图像框依次传递到下一步操作，作为待识别物跟踪任务队列；
ID分配模块163：对待识别物跟踪任务队列中的图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程传递至下一步操作，作为多路同一ID的待识别物质量评估队列。
其中，ID分配模块163进一步包括：
ID标记模块1631：对待识别物跟踪任务队列中的图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程传递至下一步操作，获得多路的待识别物ID队列；
重复剔除模块1632：将每一路待识别物ID队列中的后一个图像框与前一个图像框进行对比，当后一个图像框与前一个图像框的位置的交并比大于预设比值，并且后一个图像框与前一个图像框的时间间隔小于预设时间时，将后一个图像框从待识别物ID队列内剔除，作为待识别物筛选评估任务队列；
第三缓冲模块1633：将每一个待识别物筛选评估任务队列依次输入到第三缓冲区，当第三缓冲区内的图像框的数量达到第三预设批数量时或者超过等待时长时，将图像框传递至下一步操作，作为多路同一ID的待识别物质量评估队列。
进一步地，在本发明的一种计算机可读存储介质的一个实施例中，该计算机存储介质存储多条程序代码，所述程序代码适用于由处理器加载并运行以执行前述的视频抓拍待识别物的方法。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
进一步地，在本发明的一种控制装置的一个实施例中，包括处理器和存储器，所述存储装置适用于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行前述的视频抓拍待识别物的方法。
进一步地，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的系统的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是，可以对系统中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (11)
1.一种视频抓拍待识别物的方法，其特征在于，包括：
S01、接收视频流并解码；
S02、将每一路的视频流所获得的一组多帧数的视频图片按照顺序输入到第一缓冲区；
S03、当其中一路的视频图片的数量达到第一预设批数量时，将第一预设批数量的视频图片传递到下一步操作，作为待识别物视频图片队列；
S04、将待识别物视频图片队列内的视频图片依次识别，获得待识别物的图像框；
S05、对图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程，获得多路同一ID的待识别物质量评估队列；
S06、对每一路的待识别物质量评估队列内的图像框内的待识别物进行质量评估，依次得到每个图像框内的待识别物的质量分；
S07、将每个ID内的待识别物的质量分最高的图像框作为抓拍图片。
2.根据权利要求1所述的方法，其特征在于，在步骤S01之后，所述方法还包括：
S01-1、将每一路的一组多帧数的视频图片每间隔N帧后抽取一帧组成新的一组多帧数的视频图片，然后进行下一步操作；其中，N为大于等于1的自然数。
3.根据权利要求1所述的方法，其特征在于，步骤S05进一步包括：
S051、将图像框输入到第二缓冲区；
S052、当图像框的数量达到第二预设批数量时，将识别好的第二预设批数量的图像框依次传递到下一步操作，作为待识别物跟踪任务队列；
S053、对待识别物跟踪任务队列中的图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程传递至下一步操作，作为多路同一ID的待识别物质量评估队列。
4.根据权利要求3所述的方法，其特征在于，步骤S053进一步包括：
S0531、对待识别物跟踪任务队列中的图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程传递至下一步操作，获得多路的待识别物ID队列；
S0532、将每一路待识别物ID队列中的后一个图像框与前一个图像框进行对比，当后一个图像框与前一个图像框的位置的交并比大于预设比值，并且后一个图像框与前一个图像框的时间间隔小于预设时间时，将后一个图像框从待识别物ID队列内剔除，作为待识别物筛选评估任务队列；
S0533、将每一个待识别物筛选评估任务队列依次输入到第三缓冲区，当第三缓冲区内的图像框的数量达到第三预设批数量时或者超过等待时长时，将图像框传递至下一步操作，作为多路同一ID的待识别物质量评估队列。
5.根据权利要求1所述的方法，其特征在于，步骤S07进一步包括：
S071、在质量评估过程中，当同一ID的图像框内的待识别物的质量分超过阈值时，获取该图像框作为抓拍图片，结束对同一ID的其它图像框的处理；
S072、在质量评估过程完成后，当同一ID的图像框内的待识别物的质量分均未超过阈值时，获取质量分最高的图像框作为抓拍图片。
6.一种视频抓拍待识别物的系统，其特征在于，包括：
视频解码排序模块：接收视频流并解码；
第一缓冲模块：将每一路的视频流所获得的一组多帧数的视频图片按照顺序输入到第一缓冲区；
第一批数传递模块：当其中一路的视频图片的数量达到第一预设批数量时，将第一预设批数量的视频图片传递到下一步操作，作为待识别物视频图片队列；
图片识别模块：将待识别物视频图片队列内的视频图片依次识别，获得待识别物的图像框；
质量评估队列模块：对图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程，获得多路同一ID的待识别物质量评估队列；
质量分评估模块：对每一路的待识别物质量评估队列内的图像框内的待识别物进行质量评估，依次得到每个图像框内的待识别物的质量分；
抓拍图片获取模块：将每个ID内的待识别物的质量分最高的图像框作为抓拍图片。
7.根据权利要求6所述的系统，其特征在于，在视频解码排序模块之后，所述系统还包括：
抽帧模块：将每一路的一组多帧数的视频图片每间隔N帧后抽取一帧组成新的一组多帧数的视频图片，然后进行下一步操作；其中，N为大于等于1的自然数。
8.根据权利要求1所述的系统，其特征在于，质量评估队列模块进一步包括：
第二缓冲模块：将图像框输入到第二缓冲区；
第二批数传递模块：当图像框的数量达到第二预设批数量时，将识别好的第二预设批数量的图像框依次传递到下一步操作，作为待识别物跟踪任务队列；
ID分配模块：对待识别物跟踪任务队列中的图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程传递至下一步操作，作为多路同一ID的待识别物质量评估队列。
9.根据权利要求8所述的系统，其特征在于，ID分配模块进一步包括：
ID标记模块：对待识别物跟踪任务队列中的图像框内的待识别物进行ID分配，并将同一ID的待识别物所对应的图像框作为一路独立的线程传递至下一步操作，获得多路的待识别物ID队列；
重复剔除模块：将每一路待识别物ID队列中的后一个图像框与前一个图像框进行对比，当后一个图像框与前一个图像框的位置的交并比大于预设比值，并且后一个图像框与前一个图像框的时间间隔小于预设时间时，将后一个图像框从待识别物ID队列内剔除，作为待识别物筛选评估任务队列；
第三缓冲模块：将每一个待识别物筛选评估任务队列依次输入到第三缓冲区，当第三缓冲区内的图像框的数量达到第三预设批数量时或者超过等待时长时，将图像框传递至下一步操作，作为多路同一ID的待识别物质量评估队列。
10.一种计算机可读存储介质，所述存储介质中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1-5中任一项的视频抓拍待识别物的方法。
11.一种控制装置，该控制装置包括处理器和存储器，所述存储器适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1-5中任一项的视频抓拍待识别物的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110693802.5A CN113438417A (zh) | 2021-06-22 | 2021-06-22 | 视频抓拍待识别物的方法、系统、介质及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110693802.5A CN113438417A (zh) | 2021-06-22 | 2021-06-22 | 视频抓拍待识别物的方法、系统、介质及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113438417A true CN113438417A (zh) | 2021-09-24 |
Family
ID=77757155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110693802.5A Pending CN113438417A (zh) | 2021-06-22 | 2021-06-22 | 视频抓拍待识别物的方法、系统、介质及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113438417A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114615520A (zh) * | 2022-03-08 | 2022-06-10 | 北京达佳互联信息技术有限公司 | 字幕定位方法、装置、计算机设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120045093A1 (en) * | 2010-08-23 | 2012-02-23 | Nokia Corporation | Method and apparatus for recognizing objects in media content |
| CN108491822A (zh) * | 2018-04-02 | 2018-09-04 | 杭州高创电子科技有限公司 | 一种基于嵌入式设备有限缓存的人脸检测去重方法 |
| CN108509827A (zh) * | 2017-02-27 | 2018-09-07 | 阿里巴巴集团控股有限公司 | 视频流中异常内容的识别方法及视频流处理系统和方法 |
| WO2020094091A1 (zh) * | 2018-11-07 | 2020-05-14 | 杭州海康威视数字技术股份有限公司 | 一种图像抓拍方法、监控相机及监控系统 |
| CN111401206A (zh) * | 2020-03-11 | 2020-07-10 | 恒睿(重庆)人工智能技术研究院有限公司 | 一种全景图共享方法、系统、设备和介质 |
| CN112767711A (zh) * | 2021-01-27 | 2021-05-07 | 湖南优美科技发展有限公司 | 一种多类别多尺度多目标抓拍方法及系统 |
-
2021
- 2021-06-22 CN CN202110693802.5A patent/CN113438417A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120045093A1 (en) * | 2010-08-23 | 2012-02-23 | Nokia Corporation | Method and apparatus for recognizing objects in media content |
| CN108509827A (zh) * | 2017-02-27 | 2018-09-07 | 阿里巴巴集团控股有限公司 | 视频流中异常内容的识别方法及视频流处理系统和方法 |
| CN108491822A (zh) * | 2018-04-02 | 2018-09-04 | 杭州高创电子科技有限公司 | 一种基于嵌入式设备有限缓存的人脸检测去重方法 |
| WO2020094091A1 (zh) * | 2018-11-07 | 2020-05-14 | 杭州海康威视数字技术股份有限公司 | 一种图像抓拍方法、监控相机及监控系统 |
| CN111401206A (zh) * | 2020-03-11 | 2020-07-10 | 恒睿(重庆)人工智能技术研究院有限公司 | 一种全景图共享方法、系统、设备和介质 |
| CN112767711A (zh) * | 2021-01-27 | 2021-05-07 | 湖南优美科技发展有限公司 | 一种多类别多尺度多目标抓拍方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114615520A (zh) * | 2022-03-08 | 2022-06-10 | 北京达佳互联信息技术有限公司 | 字幕定位方法、装置、计算机设备及介质 |
| CN114615520B (zh) * | 2022-03-08 | 2024-01-02 | 北京达佳互联信息技术有限公司 | 字幕定位方法、装置、计算机设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| MY138084A (en) | Method for image texture describing | |
| CN104506946B (zh) | 一种基于图像识别的电视节目识别方法和系统 | |
| CN112788366B (zh) | 视频处理的方法和装置 | |
| CN111091106B (zh) | 图像聚类方法及装置、存储介质、电子装置 | |
| CN111401238B (zh) | 一种视频中人物特写片段的检测方法及装置 | |
| CN113808037A (zh) | 一种图像优化方法及装置 | |
| US9256789B2 (en) | Estimating motion of an event captured using a digital video camera | |
| CN113438417A (zh) | 视频抓拍待识别物的方法、系统、介质及装置 | |
| CN112989894A (zh) | 目标检测方法、任务处理方法、装置、设备及存储介质 | |
| CN111314395A (zh) | 一种图像的传输方法及终端、存储介质 | |
| CN112232290B (zh) | 数据聚类方法、服务器、系统以及计算机可读存储介质 | |
| CN112182289B (zh) | 一种基于Flink框架的数据去重方法及装置 | |
| CN112988337A (zh) | 任务处理系统、方法、装置、电子设备、存储介质 | |
| CN111539281A (zh) | 分布式人脸识别方法及系统 | |
| CN115426363A (zh) | 智能板材加工工厂的数据采集方法及终端 | |
| WO2022057773A1 (zh) | 图像存储的方法、装置、计算机设备和存储介质 | |
| CN115086560A (zh) | 一种移动终端的影像管理优化方法和移动终端 | |
| CN112613396A (zh) | 一种任务紧急程度处理方法及系统 | |
| CN112100427A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN111797922A (zh) | 文本图像分类方法及装置 | |
| CN105227831A (zh) | 一种自适应变焦的方法及系统 | |
| CN110517252B (zh) | 一种视频检测方法及装置 | |
| CN110196919A (zh) | 基于关键帧的电影推荐方法、装置、终端设备及存储介质 | |
| CN114710474B (zh) | 一种基于物联网的数据流处理以及分类方法 | |
| CN108399411A (zh) | 一种多摄像头识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210924 |
|
| RJ01 | Rejection of invention patent application after publication |