CN112541472B - 一种目标检测方法、装置及电子设备 - Google Patents
一种目标检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112541472B CN112541472B CN202011538619.XA CN202011538619A CN112541472B CN 112541472 B CN112541472 B CN 112541472B CN 202011538619 A CN202011538619 A CN 202011538619A CN 112541472 B CN112541472 B CN 112541472B
- Authority
- CN
- China
- Prior art keywords
- video frame
- time
- video
- frame buffer
- time stamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 abstract description 10
- 239000002699 waste material Substances 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种目标检测方法、装置及电子设备，涉及计算机技术中的计算机视觉、视频云计算等技术领域。具体方案为：从视频帧缓冲区中读取第一视频帧；在第一视频帧的时间戳与第一时间之间的第一时间差大于第一预设间隔时长的情况下，对第一视频帧进行目标检测；第一时间为在读取第一视频帧之前，上一个已进行目标检测且未检测到目标的第一参考视频帧的时间戳。第一参考视频帧中未检测到目标，在时间戳与第一参考视频帧的时间戳之间的时间差小于第一预设间隔时长的视频帧中存在目标的可能性较小，从而在所述第一视频帧的时间戳与第一时间之间的第一时间差大于第一预设间隔时长的情况下，方可对所述第一视频帧进行目标检测，减少计算资源的浪费。
Description
技术领域
本申请涉及计算机技术中的计算机视觉、视频云计算以及目标检测等技术领域，尤其涉及一种目标检测方法、装置及电子设备。
背景技术
目标检测是指从图像中找出目标物体，常见的目标检测有人脸检测、人体检测、车辆检测等等。检测帧率是指每秒检测图片的数量。
目前，在对视频进行目标检测过程中，对每一帧进行目标检测或每间隔一定的固定时长对视频中的视频帧进行目标检测。
发明内容
本申请提供一种目标检测方法、装置及电子设备。
第一方面，本申请一个实施例提供一种目标检测方法，所述方法包括：
从视频帧缓冲区中读取第一视频帧；
在第一视频帧的时间戳与第一时间之间的第一时间差大于第一预设间隔时长的情况下，对第一视频帧进行目标检测；
其中，所述第一时间为在读取所述第一视频帧之前，上一个已进行目标检测且未检测到目标的第一参考视频帧的时间戳。
在本申请实施例的目标检测方法中，读取从从视频帧缓冲区中读取第一视频帧，需要将其时间戳与第一时间之间的第一时间差与第一预设间隔时长进行比较，由于第一时间为在读取所述第一视频帧之前，上一个已进行目标检测且未检测到目标的第一参考视频帧的时间戳，第一参考视频帧中未检测到目标，在时间戳与第一参考视频帧的时间戳之间的时间差小于第一预设间隔时长的视频帧中存在目标的可能性较小，从而在所述第一视频帧的时间戳与第一时间之间的第一时间差大于第一预设间隔时长的情况下，方可对所述第一视频帧进行目标检测，可减少进行目标检测的次数，减少计算资源的浪费，节省计算资源。
第二方面，本申请一个实施例提供一种目标检测装置，所述装置包括：
第一读取模块，用于从视频帧缓冲区中读取第一视频帧；
目标检测模块，用于在第一视频帧的时间戳与第一时间之间的第一时间差大于第一预设间隔时长的情况下，对第一视频帧进行目标检测；
其中，所述第一时间为在读取所述第一视频帧之前，上一个已进行目标检测且未检测到目标的第一参考视频帧的时间戳。
第三方面，本申请一个实施例还提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请各实施例提供的目标检测方法。
第四方面，本申请一个实施例还提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请各实施例提供的目标检测方法。
第五方面，本申请一个实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本申请各实施例提供的目标检测方法。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请提供的一个实施例的目标检测方法的流程示意图之一；
图2是本申请提供的一个实施例的目标检测方法的流程示意图之二；
图3是本申请提供的一个实施例的目标检测装置的结构图；
图4是用来实现本申请实施例的目标检测方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
如图1所示，根据本申请的实施例，本申请提供一种目标检测方法，可应用于电子设备，方法包括：
步骤S101：从视频帧缓冲区中读取第一视频帧。
视频帧缓冲区可以理解为内存中用于存储满足条件的视频帧的区域，在本实施例中，从视频帧缓冲区中读取第一视频帧。需要说明的是，根据时间戳从小到大的顺序，从视频帧缓冲区中读取第一视频帧，即第一视频帧为视频帧缓冲区中时间戳最小的视频帧。
步骤S102：在第一视频帧的时间戳与第一时间之间的第一时间差大于第一预设间隔时长的情况下，对第一视频帧进行目标检测；
其中，第一时间为在读取第一视频帧之前，上一个已进行目标检测且未检测到目标的第一参考视频帧的时间戳。
即第一时间可以理解为在第一视频帧的读取时间之前的最近一个已完成目标检测且未检测到目标的第一参考视频帧的时间戳，在第一视频帧的时间戳与第一时间之间的第一时间差大于第一预设间隔时长的情况下，表示第一视频帧的时间戳距离上一个已进行目标检测且未检测到目标的第一参考视频帧的时间戳的时间差较大，满足该第一视频帧满足目标检测要求，则对第一视频帧进行目标检测。
在本申请实施例的目标检测方法中，读取从从视频帧缓冲区中读取第一视频帧，需要将其时间戳与第一时间之间的第一时间差与第一预设间隔时长进行比较，由于第一时间为在读取所述第一视频帧之前，上一个已进行目标检测且未检测到目标的第一参考视频帧的时间戳，第一参考视频帧中未检测到目标，在时间戳与第一参考视频帧的时间戳之间的时间差小于第一预设间隔时长的视频帧中存在目标的可能性较小，从而在所述第一视频帧的时间戳与第一时间之间的第一时间差大于第一预设间隔时长的情况下，方可对所述第一视频帧进行目标检测，可减少进行目标检测的次数，减少计算资源的浪费，节省计算资源。
在一个实施例中，在所述第一视频帧的时间戳与第一时间之间的第一时间差小于或等于第一预设间隔时长的情况下，丢弃第一视频帧。即不对第一视频帧进行目标检测，减少目标检测次数，减少计算资源的浪费。
在一个实施例中，从视频帧缓冲区中读取第一视频帧之后，还包括：将第一视频帧从视频帧缓冲区中删除。
即每从视频帧缓冲区读取一条视频帧，将该条视频帧从视频帧缓冲区中删除，空出该条视频帧在视频帧缓冲区占用的空间，以便视频帧缓冲区存储后续的视频帧。
在一个实施例中，目标检测方法还包括：在待测视频中的视频帧的时间戳大于第一预设时间的情况下，将视频帧放入视频帧缓冲区；其中，待测视频中包括第一视频帧。
也即是需要将视频流中的视频帧的时间戳与第一预设时间进行比较，是在待测视频中的视频帧的时间戳大于第一预设时间的情况下，将视频帧放入视频帧缓冲区，即将视频流中的任一满足条件的视频帧均可放入视频帧缓冲区，后续是从视频帧缓冲区中读取第一视频帧进行目标检测。
需要说明的是，第一视频帧是从视频帧缓冲区中读取，也即是在从视频帧缓冲区中读取第一视频帧之前，已从视频流中获取第一视频帧，并对第一视频帧的时间戳与第一预设时间进行了比较，即在从视频帧缓冲区中读取第一视频帧之前，已完成在第一视频帧的时间戳大于第一预设时间的情况下，将第一视频帧放入所述视频帧缓冲区的过程。作为一个示例，第一预设时间的初始化结果可以为零，随着目标检测的持续进行，后续可更新第一预设时间。
在本实施例中，视频流中的视频帧的时间戳需要大于第一预设时间的情况下，方可将该视频帧放入所述视频帧缓冲区，可减少视频帧缓冲区的存储压力，同时可减少进行目标检测的视频帧的数量，即减少目标检测的次数，减少计算资源的浪费。
在一个实施例中，在待测视频中的视频帧的时间戳大于第一预设时间的情况下，将视频帧放入视频帧缓冲区，包括：
在视频帧的时间戳大于第一预设时间的情况下，计算视频帧的时间戳与第二时间之间的第二时间差，第二时间为在视频帧的时间戳之前，上一个放入视频帧缓冲区的第二参考视频帧的时间戳；
在第二时间差大于第二预设间隔时长的情况下，若视频帧缓冲区未满，将视频帧放入视频帧缓冲区。
在本实施例中，除了需要对比视频帧的时间戳与第一预设时间，还需要在视频帧的时间戳大于第一预设时间的情况下，比较视频帧的时间戳与第二时间之间的第一时间差与第二预设间隔时长，以及检测视频帧缓冲区是否已满，在视频帧的时间戳大于第一预设时间、第二时间差大于第二预设间隔时长以及视频帧缓冲区未满的情况下，方可将该视频帧放入视频帧缓冲区。由于第二时间为在视频帧的时间戳之前，上一个放入视频帧缓冲区的第二参考视频帧的时间戳，通过与第二时间的比较，在第二时间差大于第二预设间隔时长的情况下，若视频帧缓冲区未满，将视频帧放入视频帧缓冲区，可避免频繁向视频帧缓冲区存放视频帧，从而可减少视频帧缓冲区中视频帧的数量，以减少目标检测次数，减少计算资源的浪费。
在一个实施例中，若视频帧缓冲区未满，将视频帧放入视频帧缓冲区，包括：若视频帧缓冲区未满，将视频帧进行颜色空间变换后放入视频帧缓冲区。
在视频帧的时间戳大于第一预设时间、第二时间差大于第二预设间隔时长以及视频帧缓冲区未满的情况下，还需对视频帧进行颜色空间变换，将变换后的视频帧存放至视频帧缓冲区。
在本实施例中，也即是需要在视频帧的时间戳大于第一预设时间、第二时间差大于第二预设间隔时长以及视频帧缓冲区未满的情况下，方可对视频帧进行颜色空间变换，然后将变换后的视频帧存放至视频帧缓冲区，可减少颜色空间变换的次数，减少计算资源的浪费。
作为一个示例，从视频流中解码得到的视频帧，其颜色空间可以为YUV颜色空间，即视频帧为YUV视频帧，在视频帧的时间戳大于第一预设时间、第二时间差大于第二预设间隔时长以及视频帧缓冲区未满的情况下，可将视频帧从YUV颜色空间变换为ARGB格式或BGRA格式的颜色空间，为ARGB格式或BGRA格式的颜色空间的视频帧放入视频帧缓冲区，后续可从其中读取ARGB格式或BGRA格式的颜色空间的视频帧进行目标检测。
在一个实施例中，目标检测方法还包括以下任一项：
在第二时间差小于或等于第二预设间隔时长的情况下，释放视频帧占用的内存空间；
在第二时间差大于第二预设间隔时长的情况下，若视频帧缓冲区已满，释放视频帧占用的内存空间。
也即是在第二时间差小于或等于第二预设间隔时长的情况下，或者在第二时间差大于第二预设间隔时长且视频帧缓冲区已满的情况下，可将视频帧占用的内存空间释放，则该内存空间可用于存储其他视频帧等，如此，可空出更多的内存空间用于后续的视频帧的存储等，以便内存存储后续的视频帧。
在一个实施例中，对第一视频帧进行目标检测之后，还包括：
在第一视频帧中未检测到目标的情况下，利用第一视频帧的时间戳与第一预设间隔时长的时间和更新第一预设时间。
例如，第一视频帧的时间戳为T1，第一预设间隔时长为m，则更新后的第一预设时间为T1与m的时间和。如此，后续在比较待测视频中的视频帧的时间戳与第一预设时间的情况下，是将待测视频中的视频帧的时间戳与最新的第一预设时间进行比较，由于更新后的第一预设时间在原来时间基础上增加了m，时间增大了，在待测视频中的视频帧的时间戳大于最新的第一预设时间的情况下，将所述视频帧放入所述视频帧缓冲区，可避免频繁向视频帧缓冲区存放视频帧，提高向视频帧缓冲区存放视频帧的准确性，以及可减少放入视频帧缓冲区的视频帧数量，从而减少计算资源的浪费。
下面以一个具体实施例对上述目标检测过程加以详细说明。
本实施例的目标检测方法通过两个线程实现，一个是解码线程，一个是目标检测线程。
如图2所示，对于解码线程，其过程如下：
(1)设置视频帧之间的第二最小间隔时长即第二预设间隔时长，假设第二预设间隔时长为a。
(2)读取待测视频，例如，待测视频可以是实时视频流(如rtsp(Real TimeStreaming Protocol，实时流传输协议)、rtmp(Real Time Messaging Protocol，实时消息传输协议)、rtp(Real-time Transport Protocol，实时传输协议)等网络视频流)或离线视频文件。
(3)进行视频解码，得到YUV视频帧；
(4)判断当前读取的YUV视频帧的时间戳是否大于第一预设时间T(初始时，可以为零)；
(5)如果小于或等于第一预设时间T，则释放YUV视频帧占用的内存空间，之后进入第(2)步，如果大于第一预设时间T，则计算该YUV视频帧的时间戳与上一个放入视频帧缓冲区的第二参考视频帧的时间戳之间的第二时间差，并判断第二时间差是否大于第二预设间隔时长a；
(6)如果小于或等于a，则释放该YUV视频帧占用的内存，之后进入第(2)步，如果大于a，则判断当前时刻下视频帧缓冲区是否已满；
(7)如果已满，则释放YUV视频帧占用的内存，之后进入第(2)步；如果未满，则对YUV视频帧进行ARGB格式或BGRA格式的颜色空间变换；
(8)将变换后的ARGB格式(或BGRA格式)的颜色空间的视频帧，放入视频帧缓冲区，之后进入第(2)步，直到待测视频的视频帧处理完毕。
如图2所示，对于目标检测线程，其过程如下：
(1)设置当前视频帧内没有检测到目标时，当前帧到下一个检测帧之间的第一最小间隔时长即第一预设间隔时长，假设第一预设间隔时长为m，以及设置视频帧缓冲区为空时的预设等待时长，假设为b。
(2)加载目标检测模型，开始进行目标检测；
(3)判断视频帧缓冲区里是否有数据；
(4)如果视频帧缓冲区里没有数据，则等待一段时间b后，进入第(3)步；如果视频帧缓冲区里有数据，则读取视频帧缓冲区中时间戳最小的一个视频帧即第一视频帧；
(5)判断第一视频帧的时间戳与上一个已完成目标检测且未检测到目标的第一参考视频帧的时间戳之间的第一时间差，是否大于第一预设间隔时长m；
(6)如果小于或等于第一预设间隔时长m，则丢弃当前读取的视频帧即丢弃第一视频帧，之后返回第(3)步；如果大于第一预设间隔时长m，则将该第一视频帧送入目标检测模型，进行目标检测。
(7)对目标检测输出结果进行判断，如果在第一视频帧中有检测到目标，则将检测到的目标输入后续模块进行处理，之后进入第(3)步；如果在第一视频帧中没有检测到目标，则进入第(8)步。
(8)计算第一视频帧的时间戳与第一预设间隔时长m的时间和，将结果赋值给第一预设时间T，更新第一预设时间T，之后进入第(3)步。直到待测视频的视频帧处理完毕。
在本申请实施例中，通过当前解码的视频帧的时间戳，判断此帧是否应该被检测，从而最终决定是否需要做颜色空间变换。通过这种策略，减少了从YUV到ARGB或BGRA颜色空间变换的次数，减少计算资源的浪费。如果已检测的视频帧中没有目标，会设置第一预设时间T。如果当前解码的视频帧的时间戳，小于或等于T，则不进行颜色空间变换。通过这种策略，也可减少了从YUV到ARGB/BGRA颜色空间变换的次数。在视频解码完成后，如果视频帧缓冲区已满，则不对当前解码的视频帧做颜色空间变换的操作。通过这种策略，也可减少了从YUV到ARGB/BGRA颜色空间变换的次数。在目标检测过程中，会计算当前从缓冲区读取的第一视频帧的时间戳与上一个无目标的第一参考视频帧的时间戳的第一时间差，如果第一时间差小于或等于m，则不对当前读取的第一视频帧进行目标检测，丢弃该帧。通过这种策略，减少了调用目标检测算法进行目标检测的次数，减少计算资源的浪费。通过上述四个策略，有效节省了计算资源，同时达到了自适应控制检测帧率的目的。
在本申请实施例中，检测帧率控制从输入到输出，进行全局性考虑；在实际使用过程中，更合理和有效的进行颜色空间变换和目标检测的操作，减少无意义计算步骤，有效节约了计算资源。而且还考虑了视频的现实情况，在真实场景下，部分实时视频流或部分视频文件，存在大量的没有目标的视频帧，减少这些没有目标的视频帧的检测操作，并不会影响检测算法的实际应用效果。另外，在同样的检测效果下，本申请实施例的目标检测方法更节省计算资源。在同样的机器条件下，本申请实施例的目标检测方法所能支撑的视频路数更多，可以有效降低产品成本，提升产品竞争力。
如图3所示，根据本申请的实施例，本申请还提供一种目标检测装置300，装置包括：
第一读取模块301，用于从视频帧缓冲区中读取第一视频帧；
目标检测模块302，用于在第一视频帧的时间戳与第一时间之间的第一时间差大于第一预设间隔时长的情况下，对第一视频帧进行目标检测；
其中，第一时间为在读取第一视频帧之前，上一个已进行目标检测且未检测到目标的第一参考视频帧的时间戳。
在一个实施例中，装置300还包括：
存放模块，用于在待测视频中的视频帧的时间戳大于第一预设时间的情况下，将视频帧放入视频帧缓冲区；
其中，待测视频中包括第一视频帧。
在一个实施例中，存放模块，包括：
计算模块，用于在视频帧的时间戳大于第一预设时间的情况下，计算视频帧的时间戳与第二时间之间的第二时间差，第二时间为在视频帧的时间戳之前，上一个放入视频帧缓冲区的第二参考视频帧的时间戳；
存放子模块，用于在第二时间差大于第二预设间隔时长的情况下，若视频帧缓冲区未满，将视频帧放入视频帧缓冲区。
在一个实施例中，若视频帧缓冲区未满，将视频帧放入视频帧缓冲区，包括：
若视频帧缓冲区未满，将视频帧进行颜色空间变换后放入视频帧缓冲区。
在一个实施例中，装置还包括以下任一项：
第一释放模块，用于在第二时间差小于或等于第二预设间隔时长的情况下，释放视频帧占用的内存空间；
第二释放模块，用于在第二时间差大于第二预设间隔时长的情况下，若视频帧缓冲区已满，释放视频帧占用的内存空间。
在一个实施例中，装置还包括：
更新模块，用于在第一视频帧中未检测到目标的情况下，利用第一视频帧的时间戳与第一预设间隔时长的时间和更新第一预设时间。
上述各实施例的目标检测装置为实现上述各实施例的目标检测方法的装置，技术特征对应，技术效果对应，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
本申请实施例的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的目标检测方法。
本申请实施例的计算机程序产品，包括计算机程序，所述计算机程序用于使计算机执行本申请各实施例提供的目标检测方法。
图4示出了可以用来实施本申请的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图4所示，电子设备400包括计算单元401，其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执行各种适当的动作和处理。在RAM403中，还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线405彼此相连。输入/输出(I/O)接口406也连接至总线405。
电子设备400中的多个部件连接至I/O接口406，包括：输入单元408，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许电子设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如目标检测方法。例如，在一些实施例中，目标检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM403并由计算单元401执行时，可以执行上文描述的目标检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行目标检测方法。本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (14)
1.一种目标检测方法，该方法包括：
从视频帧缓冲区中读取第一视频帧；
在所述第一视频帧的时间戳与第一时间之间的第一时间差大于第一预设间隔时长的情况下，对所述第一视频帧进行目标检测；
其中，所述第一时间为在读取所述第一视频帧之前，上一个已进行目标检测且未检测到目标的第一参考视频帧的时间戳。
2.根据权利要求1所述的方法，其中，所述方法还包括：
在待测视频中的视频帧的时间戳大于第一预设时间的情况下，将所述视频帧放入所述视频帧缓冲区；
其中，所述待测视频中包括所述第一视频帧。
3.根据权利要求2所述的方法，其中，所述在待测视频中的视频帧的时间戳大于第一预设时间的情况下，将所述视频帧放入所述视频帧缓冲区，包括：
在所述视频帧的时间戳大于第一预设时间的情况下，计算所述视频帧的时间戳与第二时间之间的第二时间差，所述第二时间为在所述视频帧的时间戳之前，上一个放入所述视频帧缓冲区的第二参考视频帧的时间戳；
在所述第二时间差大于第二预设间隔时长的情况下，若所述视频帧缓冲区未满，将所述视频帧放入所述视频帧缓冲区。
4.根据权利要求3所述的方法，其中，所述若所述视频帧缓冲区未满，将所述视频帧放入所述视频帧缓冲区，包括：
若所述视频帧缓冲区未满，将所述视频帧进行颜色空间变换后放入所述视频帧缓冲区。
5.根据权利要求3所述的方法，其中，所述方法还包括以下任一项：
在所述第二时间差小于或等于所述第二预设间隔时长的情况下，释放所述视频帧占用的内存空间；
在所述第二时间差大于第二预设间隔时长的情况下，若所述视频帧缓冲区已满，释放所述视频帧占用的内存空间。
6.根据权利要求2所述的方法，其中，所述对所述第一视频帧进行目标检测之后，还包括：
在所述第一视频帧中未检测到目标的情况下，利用所述第一视频帧的时间戳与所述第一预设间隔时长的时间和更新所述第一预设时间。
7.一种目标检测装置，该装置包括：
第一读取模块，用于从视频帧缓冲区中读取第一视频帧；
目标检测模块，用于在所述第一视频帧的时间戳与第一时间之间的第一时间差大于第一预设间隔时长的情况下，对所述第一视频帧进行目标检测；
其中，所述第一时间为在读取所述第一视频帧之前，上一个已进行目标检测且未检测到目标的第一参考视频帧的时间戳。
8.根据权利要求7所述的装置，其中，所述装置还包括：
存放模块，用于在待测视频中的视频帧的时间戳大于第一预设时间的情况下，将所述视频帧放入所述视频帧缓冲区；
其中，所述待测视频中包括所述第一视频帧。
9.根据权利要求8所述的装置，其中，所述存放模块，包括：
计算模块，用于在所述视频帧的时间戳大于第一预设时间的情况下，计算所述视频帧的时间戳与第二时间之间的第二时间差，所述第二时间为在所述视频帧的时间戳之前，上一个放入所述视频帧缓冲区的第二参考视频帧的时间戳；
存放子模块，用于在所述第二时间差大于第二预设间隔时长的情况下，若所述视频帧缓冲区未满，将所述视频帧放入所述视频帧缓冲区。
10.根据权利要求9所述的装置，其中，所述若所述视频帧缓冲区未满，将所述视频帧放入所述视频帧缓冲区，包括：
若所述视频帧缓冲区未满，将所述视频帧进行颜色空间变换后放入所述视频帧缓冲区。
11.根据权利要求9所述的装置，其中，所述装置还包括以下任一项：
第一释放模块，用于在所述第二时间差小于或等于所述第二预设间隔时长的情况下，释放所述视频帧占用的内存空间；
第二释放模块，用于在所述第二时间差大于第二预设间隔时长的情况下，若所述视频帧缓冲区已满，释放所述视频帧占用的内存空间。
12.根据权利要求8所述的装置，其中，所述装置还包括：
更新模块，用于在所述第一视频帧中未检测到目标的情况下，利用所述第一视频帧的时间戳与所述第一预设间隔时长的时间和更新所述第一预设时间。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6任一所述的目标检测方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-6任一所述的目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011538619.XA CN112541472B (zh) | 2020-12-23 | 2020-12-23 | 一种目标检测方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011538619.XA CN112541472B (zh) | 2020-12-23 | 2020-12-23 | 一种目标检测方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112541472A CN112541472A (zh) | 2021-03-23 |
| CN112541472B true CN112541472B (zh) | 2023-11-24 |
Family
ID=75017149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011538619.XA Active CN112541472B (zh) | 2020-12-23 | 2020-12-23 | 一种目标检测方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112541472B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318578A (zh) * | 2014-11-12 | 2015-01-28 | 苏州科达科技股份有限公司 | 一种视频图像分析方法及系统 |
| CN105046719A (zh) * | 2015-07-03 | 2015-11-11 | 苏州科达科技股份有限公司 | 一种视频监控方法及系统 |
| CN108805837A (zh) * | 2018-06-06 | 2018-11-13 | 合肥康之恒机械科技有限公司 | 一种动态目标高效跟踪图像数据传输方法及系统 |
| CN109600564A (zh) * | 2018-08-01 | 2019-04-09 | 北京微播视界科技有限公司 | 用于确定时间戳的方法和装置 |
| WO2019109650A1 (zh) * | 2017-12-06 | 2019-06-13 | 香港乐蜜有限公司 | 一种视频播放方法、装置及电子设备 |
| CN111405358A (zh) * | 2020-03-24 | 2020-07-10 | 上海依图网络科技有限公司 | 基于缓存的视频帧提取方法、装置、介质及系统 |
| CN111444875A (zh) * | 2020-04-07 | 2020-07-24 | 珠海格力电器股份有限公司 | 一种人脸跟踪方法、装置、设备和计算机可读存储介质 |
| CN111836102A (zh) * | 2019-04-23 | 2020-10-27 | 杭州海康威视数字技术股份有限公司 | 视频帧的分析方法和装置 |
| CN111915639A (zh) * | 2020-08-06 | 2020-11-10 | 广州市百果园信息技术有限公司 | 目标检测跟踪方法、装置、电子设备和存储介质 |
-
2020
- 2020-12-23 CN CN202011538619.XA patent/CN112541472B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318578A (zh) * | 2014-11-12 | 2015-01-28 | 苏州科达科技股份有限公司 | 一种视频图像分析方法及系统 |
| CN105046719A (zh) * | 2015-07-03 | 2015-11-11 | 苏州科达科技股份有限公司 | 一种视频监控方法及系统 |
| WO2019109650A1 (zh) * | 2017-12-06 | 2019-06-13 | 香港乐蜜有限公司 | 一种视频播放方法、装置及电子设备 |
| CN108805837A (zh) * | 2018-06-06 | 2018-11-13 | 合肥康之恒机械科技有限公司 | 一种动态目标高效跟踪图像数据传输方法及系统 |
| CN109600564A (zh) * | 2018-08-01 | 2019-04-09 | 北京微播视界科技有限公司 | 用于确定时间戳的方法和装置 |
| CN111836102A (zh) * | 2019-04-23 | 2020-10-27 | 杭州海康威视数字技术股份有限公司 | 视频帧的分析方法和装置 |
| CN111405358A (zh) * | 2020-03-24 | 2020-07-10 | 上海依图网络科技有限公司 | 基于缓存的视频帧提取方法、装置、介质及系统 |
| CN111444875A (zh) * | 2020-04-07 | 2020-07-24 | 珠海格力电器股份有限公司 | 一种人脸跟踪方法、装置、设备和计算机可读存储介质 |
| CN111915639A (zh) * | 2020-08-06 | 2020-11-10 | 广州市百果园信息技术有限公司 | 目标检测跟踪方法、装置、电子设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 多帧背景差与双门限结合的运动目标检测方法;王凯;吴敏;姚辉;杨樊;张翔;;小型微型计算机系统(01);181-185 * |
| 运动目标检测与跟踪算法的改进与实现;杨冬冬;常丹华;韩夏;刘宇;;激光与红外(02);95-99 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112541472A (zh) | 2021-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112633384B (zh) | 基于图像识别模型的对象识别方法、装置和电子设备 | |
| CN112597754B (zh) | 文本纠错方法、装置、电子设备和可读存储介质 | |
| CN113436100B (zh) | 用于修复视频的方法、装置、设备、介质和产品 | |
| CN112540806A (zh) | 一种小程序页面渲染方法、装置、电子设备及存储介质 | |
| CN112488060B (zh) | 目标检测方法、装置、设备和介质 | |
| CN113325954B (zh) | 用于处理虚拟对象的方法、装置、设备和介质 | |
| CN112528995B (zh) | 用于训练目标检测模型的方法、目标检测方法及装置 | |
| CN113655975B (zh) | 图像显示方法、装置、电子设备和介质 | |
| CN112541472B (zh) | 一种目标检测方法、装置及电子设备 | |
| CN117573331A (zh) | 内存控制方法、装置、设备及介质 | |
| CN116594563A (zh) | 分布式存储扩容方法、装置、电子设备和存储介质 | |
| CN113905040B (zh) | 文件传输方法、装置、系统、设备以及存储介质 | |
| CN112686109B (zh) | 离线视频文件的提取方法、装置、电子设备及存储介质 | |
| CN114386577A (zh) | 用于执行深度学习模型的方法、设备和存储介质 | |
| CN114222073B (zh) | 视频输出方法、装置、电子设备和存储介质 | |
| CN115334321B (zh) | 视频流的访问热度的获取方法、装置、电子设备及介质 | |
| CN113556621B (zh) | 码流切换的方法、服务器、客户端、设备以及存储介质 | |
| CN114549697B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN114125135B (zh) | 一种视频内容呈现方法、装置、电子设备和存储介质 | |
| CN114217889B (zh) | 显示方法、装置、设备和存储介质 | |
| CN114217947A (zh) | 任务执行方法、装置、电子设备及可读存储介质 | |
| CN114051110B (zh) | 视频生成方法、装置、电子设备和存储介质 | |
| CN113713378B (zh) | 内容生成方法和装置 | |
| CN118397132A (zh) | 一种曲线绘制方法、装置、电子设备及存储介质 | |
| CN117528141A (zh) | 视频编码方法、装置、电子设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |