CN112333539B - 移动通信网络下的视频实时目标检测方法、终端及服务器 - Google Patents
移动通信网络下的视频实时目标检测方法、终端及服务器 Download PDFInfo
- Publication number
- CN112333539B CN112333539B CN202011133598.3A CN202011133598A CN112333539B CN 112333539 B CN112333539 B CN 112333539B CN 202011133598 A CN202011133598 A CN 202011133598A CN 112333539 B CN112333539 B CN 112333539B
- Authority
- CN
- China
- Prior art keywords
- roi
- image
- area
- current frame
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 136
- 238000010295 mobile communication Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000008859 change Effects 0.000 claims description 19
- 230000006835 compression Effects 0.000 claims description 18
- 238000007906 compression Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000007689 inspection Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明实施例提供一种移动通信网络下的视频实时目标检测方法、终端及服务器，所述方法包括：将采集到的待检测视频中的目标帧图像分割为背景区域和不少于一个ROI区域；所述目标帧图像是用于上传的第一帧图像；所述ROI区域是包括待检测目标的线框区域，所述背景区域是所述待检测图像中除ROI区域以外的区域；将所述ROI区域进行编码，获取编码后的ROI区域；按照预设顺序将所述编码后的ROI区域以并行的方式发送至服务器进行检测。通过将采集到的待检测视频中的目标帧图像分为背景区域和不少于一个ROI区域，并将ROI区域进行编码通过并行的方式上传服务器处理，降低了上传的图像数据量和移动网络的延迟，提高了检测的稳定性和检测精度。
Description
技术领域
本发明涉及边缘计算技术领域，尤其涉及一种移动通信网络下的视频实时目标检测方法、终端及服务器。
背景技术
随着人工智能技术的成熟和使用成本的降低，移动端移动端的人工智能技术发展越来越迅速，比如无人机，无人车，自动驾驶等场景下，这些系统通过摄像头判断周围的环境状况，并作出及时的反应或者实时的分析。这些功能都高度依赖最基础的视频目标检测技术，目标检测的准确性和可靠性是这些应用的关键驱动。
然而现在的移动端设备，比如无人车和无人机平台受限于设备计算能力的限制，电池的限制，只能实时的运行一些专门为嵌入式平台开发的功能受限的目标检测算法。检测精度非常的差，因此，研究者们提出了设备端和边缘端服务器协同检测的架构，即设备端将图片上传给计算能力强大的服务器使用强大的检测网络进行目标检测，而设备端实时地运行计算资源消耗很低的目标跟踪算法。这尽管解决了移动端算力不足的问题，但是没有考虑到移动网络状况的复杂性所带来的的延迟。
目前，现有的视频实时目标检测方法是通过移动网络将采集到的完整的图像以串行的方式上传至服务器，并进行检测。但是由于上传的图像数据量较大，且移动网络的延迟较高，导致了检测不稳定和检测精度低的缺陷。
发明内容
本发明实施例提供一种移动通信网络下的视频实时目标检测方法、终端及服务器，用以解决现有技术中由于上传的图像数据量较大，且移动网络的延迟较高，导致了检测不稳定和检测精度低的缺陷，实现降低上传的图像数据量和移动网络的延迟，提高检测的稳定性和检测精度。
本发明实施例提供一种移动通信网络下的视频实时目标检测方法，包括：
将采集到的待检测视频中的目标帧图像分割为背景区域和不少于一个ROI区域；所述目标帧图像是用于上传的第一帧图像；所述ROI区域是包括待检测目标的线框区域，所述背景区域是所述待检测图像中除ROI区域以外的区域；
将所述ROI区域进行编码，获取编码后的ROI区域；
按照预设顺序将所述编码后的ROI区域以并行的方式发送至服务器进行检测。
根据本发明一个实施例的移动通信网络下的视频实时目标检测方法，所述将采集到的待检测视频中的目标帧图像分割为背景区域和不少于一个ROI区域，之后还包括：
基于所述待检测视频的帧间变化信息，判断当前帧的图像是否符合预设上传规则；所述帧间变化信息是所述当前帧与上一帧之间的变化信息；
若所述当前帧的图像符合预设上传规则，将当前帧中符合预设上传规则的图像区域标记为ROI区域。
根据本发明一个实施例的移动通信网络下的视频实时目标检测方法，所述将所述ROI区域进行编码，获取编码后的ROI区域，具体包括：
基于预设的检验精度获取所述ROI区域的最大压缩比例；
根据所述最大压缩比例对所述ROI区域进行编码，获取编码后的ROI区域。
根据本发明一个实施例的移动通信网络下的视频实时目标检测方法，所述判断当前帧的图像是否符合预设上传规则，具体包括：
从所述当前帧的图像中分割出正在跟踪的物体区域和其他区域；
分别判断所述正在跟踪的物体区域和其他区域是否符合预设上传规则。
根据本发明一个实施例的移动通信网络下的视频实时目标检测方法，所述分别判断所述正在跟踪的物体区域和其他区域是否符合预设上传规则，具体包括：
判断所述正在跟踪的物体区域的置信度是否满足预设的置信度阈值；
判断所述其他区域是否发生结构性变化。
本发明实施例还提供一种移动通信网络下的视频实时目标检测方法，包括：
接收终端发送的ROI区域；所述ROI区域是终端将待检测视频中的目标帧图像进行分割获取的包括待检测目标的线框区域；所述目标帧图像是用于上传的第一帧图像；
按照接收终端发送的ROI区域的顺序对所述ROI区域进行检测，获取检测结果；
将所述检测结果发送至所述终端。
本发明实施例还提供一种移动通信网络下的视频实时目标检测终端，包括：
分类模块，用于将采集到的待检测视频中的目标帧图像分割为背景区域和不少于一个ROI区域；所述目标帧图像是用于上传的第一帧图像；所述ROI区域是包括待检测目标的线框区域，所述背景区域是所述待检测图像中除ROI区域以外的区域；
编码模块，用于将所述ROI区域进行编码，获取编码后的ROI区域；
发送模块，用于按照预设顺序将所述编码后的ROI区域以并行的方式发送至服务器进行检测。
本发明实施例还提供一种移动通信网络下的视频实时目标检测服务器，包括：
接收模块，用于接收终端发送的ROI区域；所述ROI区域是终端将待检测视频中的目标帧图像进行分割获取的包括待检测目标的线框区域；所述目标帧图像是用于上传的第一帧图像；
检测模块，用于按照接收终端发送的ROI区域的顺序对所述ROI区域进行检测，获取检测结果；
发送模块，用于将所述检测结果发送至所述终端。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述移动通信网络下的视频实时目标检测方法的步骤。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述移动通信网络下的视频实时目标检测方法的步骤。
本发明实施例提供的移动通信网络下的视频实时目标检测方法、终端及服务器，通过将采集到的待检测视频中的目标帧图像分为背景区域和不少于一个ROI区域，并将ROI区域进行编码通过并行的方式上传服务器处理，降低了上传的图像数据量和移动网络的延迟，提高了检测的稳定性和检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种移动通信网络下的视频实时目标检测方法的流程示意图；
图2是本发明实施例提供的一种移动通信网络下的视频实时目标检测方法的流程示意图；
图3是本发明实施例提供的一种移动通信网络下的视频实时目标检测终端的结构示意图；
图4是本发明实施例提供的一种移动通信网络下的视频实时目标检测服务器的结构示意图；
图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
整体上来说本发明由通过移动蜂窝网络连接的两部分组成：一个是移动设备(无人机或无人车)上的本地多线程目标跟踪系统，另一个是边缘服务器上的并行化的上传目标检测系统。为了隐藏因上传目标检测任务而导致的时延，本发明的检测过程将目标跟踪过程和上传目标检测过程分离到两个单独的流水线中。当设备收到服务器传回的目标检测结果后，会在附近的帧上运行目标跟踪算法，来获得目标的最新位置。
具体来说，上传目标检测流水线从精细化上传策略开始，它会分析当前帧和之前帧的结构性相似度来判定当前帧是否需要上传到服务器做目标检测。精细化上传策略能有效降低上传做目标检测的帧的频率，进而节省了大量的流量消耗，并缓解网络拥堵。
如果当前帧判定需要上传做目标检测，则利用深度RoI编码模块来深度压缩这一帧，且不影响最终目标检测的准确性。深度RoI编码通过使用一个轻量级的神经网络模型来分辨图片中含有物体的前景区域(也就是RoI)，并进行选择性的压缩，这大大降低了上传的流量消耗，并降低了每次上传的时延。这样尽管在带宽受限的网络下，也可以让目标检测系统能够实时的运行，又不影响最终的检测精度。
接下来我们使用优先级并行上传来将整个上传目标检测流水线并行化，使得一部分上传进行目标检测的结果能够优先返回。优先级并行上传将深度RoI编码产生的多个RoI块并行地进行编码，这样每一块RoI块就可以被独立的上传到边缘服务器上进行目标检测，而检测结果也可以立刻被传回设备端。这项改进可以增强检测准确性，提升他在严重波动的网络中的鲁棒性。
而在本地目标跟踪流水线中我们使用了一种高效的核相关滤波(KernelCorrelation Filter,KCF)来实时的跟踪由上传目标检测流水线返回的目标检测结果。因为每一帧往往含有多个目标，我们对每个跟踪目标创建一个KCF跟踪器，并使用多线程技术来保证他们在下一帧产生之前运行完成。
图1是本发明实施例提供的一种移动通信网络下的视频实时目标检测方法的流程示意图，如图1所示，具体包括：
步骤101、将采集到的待检测视频中的目标帧图像分割为背景区域和不少于一个ROI区域；所述目标帧图像是用于上传的第一帧图像；所述ROI区域是包括待检测目标的线框区域，所述背景区域是所述待检测图像中除ROI区域以外的区域；
具体地，整张高清图片的上传，必然会带来很高的上传时延，这就让目标检测精度大幅下降。然而上传的图片中大部分是不包含物体的背景区域，如果能识别出来并减少这部分的上传，就能大大缩短检测时延。
首先，将采集到的待检测视频中的目标帧图像使用一个轻量级的深度学习算法，将其分为背景区域和不少于一个ROI区域；所述ROI区域是包括待检测目标的线框区域，所述背景区域是所述待检测图像中除ROI区域以外的区域。我们对这些线框区域进行合并，得到几个大块的RoI区域集合，接下来我们将这些大块RoI区域进行排序，排序的具体方法根据需要自行设定。
通过将采集到的待检测视频中的目标帧图像分为背景区域和不少于一个ROI区域，通过使用一个轻量级的神经网络模型来分辨图片中含有物体的ROI区域，并进行选择性的压缩，大大降低了上传的流量消耗，并降低了每次上传的时延，且会不影响最终的检测精度。
步骤102、将所述ROI区域进行编码，获取编码后的ROI区域；
具体地，我们将这些大块RoI区域进行排序以后，并使用一种成熟的RoI图片编码技术JPEG2000对这些RoI区域进行编码。通过调整JPEG2000的压缩比例参数，我们找到在不影响最终检测精度的情况下的最大压缩比例。其中，最大压缩比例是根据最终检测精度确定的。
通过使用一个轻量级的神经网络模型来分辨图片中含有物体的ROI区域，并进行选择性的压缩，大大降低了上传的流量消耗，并降低了每次上传的时延，且会不影响最终的检测精度。
步骤103、按照预设顺序将所述编码后的ROI区域以并行的方式发送至服务器进行检测。
具体地，优先级并行上传技术将对一帧进行串行检测拆分成对一帧内的多个区域进行并行检测，可以进一步降低上传的时延，并优先返回部分高优先级的检测结果，对网络波动性有很好的的抵抗能力。深度RoI编码产生了多个含有物体的RoI区域，由于他们之间是被背景物体分隔开，因此具有内容上的独立性。通过对RoI块进行编码的时候对RoI区域进行优先级标注，并直接按照优先级进行上传。
通过并行上传策略进一步降低了上传产生的时延，在带宽波动的情况下尤其有效，可以充分利用有限的带宽，让部分高优先级的检测结果迅速返回，保证了系统的稳定运行。
可选地，在上述各实施例的基础上，所述将采集到的待检测视频中的目标帧图像分割为背景区域和不少于一个ROI区域，之后还包括：
基于所述待检测视频的帧间变化信息，判断当前帧的图像是否符合预设上传规则；所述帧间变化信息是所述当前帧与上一帧之间的变化信息；
若所述当前帧的图像符合预设上传规则，将当前帧中符合预设上传规则的图像区域标记为ROI区域。
具体地，对于不同帧之间的图像，为了节省网络流量，我们使用精细化上传策略来避免不必要的上传，通过精细地选择什么时候以及什么区域需要做目标检测，能够大幅降低产生流量费用。
我们判断做上传基于两个预设上传规则：
1.当前帧中发生了较大的变化或者出现了新的物体；
2.之前跟踪的物体的结果失效了。
在检测帧间变化的时候，传统的方法直接比较两帧之间的像素差异，这种方法十分粗糙。因为跟成功的物体也会引起像素差异，而这时并不需要上传进行目标检测。因此，精细化上传策略使用更精细的策略，首先将正在跟踪的物体所在区域扣除，并且比较两帧之间剩余区域上发生的结构性变化而不是像素变化。
而对于跟踪的结果，我们根据KCF本身的算法置信度判断，当置信度低于阈值时，我们将与跟踪有关的区域进行提取出来，然后也标记成RoI区域上传给边缘服务器进行目标检测。
通过对不同帧之间的图像作出判定，将符合预设上传规则的图像区域进行编码，获取编码后的ROI区域，并将编码后的ROI区域以并行的方式发送至服务器进行检测，降低了很多不必要的上传频率，为用户节省了大量的流量成本，增加了经济效益。
可选地，在上述各实施例的基础上，所述将所述ROI区域进行编码，获取编码后的ROI区域，具体包括：
基于预设的检验精度获取所述ROI区域的最大压缩比例；
根据所述最大压缩比例对所述ROI区域进行编码，获取编码后的ROI区域。
具体地，对ROI区域进行编码时，使用一种成熟的RoI图片编码技术JPEG2000对这些RoI区域进行编码。通过调整JPEG2000的压缩比例参数，找到在不影响最终检测精度的情况下的最大压缩比例，最终获取检测精度和最大压缩比例的一个平衡状态。
通过将采集到的待检测视频中的目标帧图像分为背景区域和不少于一个ROI区域，通过使用一个轻量级的神经网络模型来分辨图片中含有物体的ROI区域，并进行选择性的压缩，大大降低了上传的流量消耗，并降低了每次上传的时延，且会不影响最终的检测精度。
可选地，在上述各实施例的基础上，所述判断当前帧的图像是否符合预设上传规则，具体包括：
从所述当前帧的图像中分割出正在跟踪的物体区域和其他区域；
分别判断所述正在跟踪的物体区域和其他区域是否符合预设上传规则。
具体地，对于当前帧间的图像，判断当前帧的图像是否符合预设上传规则时，分为对正在跟踪的物体区域的判断和对其他区域的判断。
对于正在跟踪的物体区域，我们根据KCF本身的算法置信度判断，当置信度低于阈值时，我们将与跟踪有关的区域进行提取出来，然后也标记成RoI区域上传给边缘服务器进行目标检测。
对于其它区域，比较两帧之间跟踪有关的区域的剩余区域上发生的结构性变化而不是像素变化，若两帧之间发生了结构性变化，则将发生变化的区域提取出来，然后也标记成RoI区域上传给边缘服务器进行目标检测。
通过对当前帧之间的图像作出判定，将符合预设上传规则的图像区域进行编码，获取编码后的ROI区域，并将编码后的ROI区域以并行的方式发送至服务器进行检测，降低了很多不必要的上传频率，为用户节省了大量的流量成本，增加了经济效益。
可选地，在上述各实施例的基础上，所述分别判断所述正在跟踪的物体区域和其他区域是否符合预设上传规则，具体包括：
判断所述正在跟踪的物体区域的置信度是否满足预设的置信度阈值；
判断所述其他区域是否发生结构性变化。
具体地，对于正在跟踪的物体区域，我们根据KCF本身的算法置信度判断，当置信度低于阈值时，我们将与跟踪有关的区域进行提取出来，然后也标记成RoI区域上传给边缘服务器进行目标检测。对于其它区域，比较两帧之间跟踪有关的区域的剩余区域上发生的结构性变化而不是像素变化，若两帧之间发生了结构性变化，则将发生变化的区域提取出来，然后也标记成RoI区域上传给边缘服务器进行目标检测。
通过对当前帧之间的图像作出判定，将符合预设上传规则的图像区域进行编码，获取编码后的ROI区域，并将编码后的ROI区域以并行的方式发送至服务器进行检测，降低了很多不必要的上传频率，为用户节省了大量的流量成本，增加了经济效益。
图2是本发明实施例提供的一种移动通信网络下的视频实时目标检测方法的流程示意图，如图2所示，具体包括：
步骤201、接收终端发送的ROI区域；所述ROI区域是终端将待检测视频中的目标帧图像进行分割获取的包括待检测目标的线框区域；所述目标帧图像是用于上传的第一帧图像；
具体地，服务器首先接收终端发送的ROI区域的信息。
步骤202、按照接收终端发送的ROI区域的顺序对所述ROI区域进行检测，获取检测结果；
具体地，按照优先级对RoI区域进行解码，一旦完成一个RoI块的解码，就直接对他运行强大的目标检测算法，并将结果立刻返回给移动终端。
服务器通过根据接收ROI区域的顺序对ROI区域进行解码和检测，并获取检测结果，进一步降低了上传产生的时延，在带宽波动的情况下尤其有效，可以充分利用有限的带宽，让部分高优先级的检测结果迅速返回，保证了系统的稳定运行。
步骤203、将所述检测结果发送至所述终端。
通过将采集到的待检测视频中的目标帧图像分为背景区域和不少于一个ROI区域，并将ROI区域进行编码通过并行的方式上传服务器处理，降低了上传的图像数据量和移动网络的延迟，提高了检测的稳定性和检测精度。
图3是本发明实施例提供的一种移动通信网络下的视频实时目标检测终端的结构示意图，如图3所示，包括：分类模块301用于将采集到的待检测视频中的目标帧图像分割为背景区域和不少于一个ROI区域；所述目标帧图像是用于上传的第一帧图像；所述ROI区域是包括待检测目标的线框区域，所述背景区域是所述待检测图像中除ROI区域以外的区域；编码模块302用于将所述ROI区域进行编码，获取编码后的ROI区域；发送模块303用于按照预设顺序将所述编码后的ROI区域以并行的方式发送至服务器进行检测。
具体地，分类模块301用于将采集到的待检测视频中的目标帧图像使用一个轻量级的深度学习算法，将其分为背景区域和不少于一个ROI区域；通过编码模块302将这些大块RoI区域进行排序以后，使用一种成熟的RoI图片编码技术JPEG2000对这些RoI区域进行编码。通过调整JPEG2000的压缩比例参数，我们找到在不影响最终检测精度的情况下的最大压缩比例。最后，发送模块303通过优先级并行上传技术将对一帧进行串行检测拆分成对一帧内的多个区域进行并行发送。
本发明实施例提供的移动通信网络下的视频实时目标检测终端，通过将采集到的待检测视频中的目标帧图像分为背景区域和不少于一个ROI区域，并将ROI区域进行编码通过并行的方式上传服务器处理，降低了上传的图像数据量和移动网络的延迟，提高了检测的稳定性和检测精度。
图4是本发明实施例提供的一种移动通信网络下的视频实时目标检测服务器的结构示意图，如图4所示，包括：接收模块401用于接收终端发送的ROI区域；所述ROI区域是终端将待检测视频中的目标帧图像进行分割获取的包括待检测目标的线框区域；所述目标帧图像是用于上传的第一帧图像；检测模块402用于按照接收终端发送的ROI区域的顺序对所述ROI区域进行检测，获取检测结果；发送模块403用于将所述检测结果发送至所述终端。
具体地，服务器首先通过接收模块401接收终端发送的ROI区域的信息；进一步，服务器通过检测模块402根据接收ROI区域的顺序对ROI区域进行解码和检测，并获取检测结果；最后，通过发送模块403用于将所述检测结果发送至所述终端。
本发明实施例提供的移动通信网络下的视频实时目标检测服务器，通过将采集到的待检测视频中的目标帧图像分为背景区域和不少于一个ROI区域，并将ROI区域进行编码通过并行的方式上传服务器处理，降低了上传的图像数据量和移动网络的延迟，提高了检测的稳定性和检测精度。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行移动通信网络下的视频实时目标检测方法，该方法包括：
将采集到的待检测视频中的目标帧图像分割为背景区域和不少于一个ROI区域；所述目标帧图像是用于上传的第一帧图像；所述ROI区域是包括待检测目标的线框区域，所述背景区域是所述待检测图像中除ROI区域以外的区域；将所述ROI区域进行编码，获取编码后的ROI区域；按照预设顺序将所述编码后的ROI区域以并行的方式发送至服务器进行检测；
或者
接收终端发送的ROI区域；所述ROI区域是终端将待检测视频中的目标帧图像进行分割获取的包括待检测目标的线框区域；所述目标帧图像是用于上传的第一帧图像；按照接收终端发送的ROI区域的顺序对所述ROI区域进行检测，获取检测结果；将所述检测结果发送至所述终端。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的移动通信网络下的视频实时目标检测方法，该方法包括：
将采集到的待检测视频中的目标帧图像分割为背景区域和不少于一个ROI区域；所述目标帧图像是用于上传的第一帧图像；所述ROI区域是包括待检测目标的线框区域，所述背景区域是所述待检测图像中除ROI区域以外的区域；将所述ROI区域进行编码，获取编码后的ROI区域；按照预设顺序将所述编码后的ROI区域以并行的方式发送至服务器进行检测；
或者
接收终端发送的ROI区域；所述ROI区域是终端将待检测视频中的目标帧图像进行分割获取的包括待检测目标的线框区域；所述目标帧图像是用于上传的第一帧图像；按照接收终端发送的ROI区域的顺序对所述ROI区域进行检测，获取检测结果；将所述检测结果发送至所述终端。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的移动通信网络下的视频实时目标检测方法，该方法包括：将采集到的待检测视频中的目标帧图像分割为背景区域和不少于一个ROI区域；所述目标帧图像是用于上传的第一帧图像；所述ROI区域是包括待检测目标的线框区域，所述背景区域是所述待检测图像中除ROI区域以外的区域；将所述ROI区域进行编码，获取编码后的ROI区域；按照预设顺序将所述编码后的ROI区域以并行的方式发送至服务器进行检测；
或者
接收终端发送的ROI区域；所述ROI区域是终端将待检测视频中的目标帧图像进行分割获取的包括待检测目标的线框区域；所述目标帧图像是用于上传的第一帧图像；按照接收终端发送的ROI区域的顺序对所述ROI区域进行检测，获取检测结果；将所述检测结果发送至所述终端。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种移动通信网络下的视频实时目标检测方法，其特征在于，包括：
将采集到的待检测视频中的目标帧图像分割为背景区域和不少于一个ROI区域；基于所述待检测视频的帧间变化信息，判断当前帧的图像是否符合预设上传规则；若所述当前帧的图像符合预设上传规则，将当前帧中符合预设上传规则的图像区域标记为ROI区域；所述帧间变化信息是所述当前帧与上一帧之间的变化信息，所述目标帧图像是用于上传的第一帧图像；所述ROI区域是线框区域，所述背景区域是所述目标帧图像中除ROI区域以外的区域；
将所述ROI区域进行编码，获取编码后的ROI区域；
按照预设顺序将所述编码后的ROI区域以并行的方式发送至服务器进行检测；
其中，所述判断当前帧的图像是否符合预设上传规则，具体包括：
从所述当前帧的图像中分割出正在跟踪的物体区域和其他区域；
判断所述正在跟踪的物体区域的置信度是否满足预设的置信度阈值，当满足所述置信度阈值时，判断所述当前帧的图像符合所述预设上传规则；以及
判断所述其他区域是否发生结构性变化，当所述其他区域发生结构性变化时，判断所述当前帧的图像符合所述预设上传规则。
2.根据权利要求1所述的移动通信网络下的视频实时目标检测方法，其特征在于，所述将所述ROI区域进行编码，获取编码后的ROI区域，具体包括：
基于预设的检验精度获取所述ROI区域的最大压缩比例；
根据所述最大压缩比例对所述ROI区域进行编码，获取编码后的ROI区域。
3.一种移动通信网络下的视频实时目标检测方法，其特征在于，包括：
接收终端发送的ROI区域；
其中，所述终端用于将采集到的待检测视频中的目标帧图像分割为背景区域和不少于一个ROI区域；并基于所述待检测视频的帧间变化信息，判断当前帧的图像是否符合预设上传规则；若所述当前帧的图像符合预设上传规则，将当前帧中符合预设上传规则的图像区域标记为ROI区域；所述帧间变化信息是所述当前帧与上一帧之间的变化信息，所述目标帧图像是用于上传的第一帧图像；所述ROI区域是线框区域，所述背景区域是所述目标帧图像中除ROI区域以外的区域；
按照接收终端发送的ROI区域的顺序对所述ROI区域进行检测，获取检测结果；
将所述检测结果发送至所述终端；
其中，所述判断当前帧的图像是否符合预设上传规则，具体包括：
从所述当前帧的图像中分割出正在跟踪的物体区域和其他区域；
判断所述正在跟踪的物体区域的置信度是否满足预设的置信度阈值，当满足所述置信度阈值时，判断所述当前帧的图像符合所述预设上传规则；以及
判断所述其他区域是否发生结构性变化，当所述其他区域发生结构性变化时，判断所述当前帧的图像符合所述预设上传规则。
4.一种移动通信网络下的视频实时目标检测终端，其特征在于，包括：
分类模块，用于将采集到的待检测视频中的目标帧图像分割为背景区域和不少于一个ROI区域；基于所述待检测视频的帧间变化信息，判断当前帧的图像是否符合预设上传规则；若所述当前帧的图像符合预设上传规则，将当前帧中符合预设上传规则的图像区域标记为ROI区域；所述帧间变化信息是所述当前帧与上一帧之间的变化信息，所述目标帧图像是用于上传的第一帧图像；所述ROI区域是线框区域，所述背景区域是所述目标帧图像中除ROI区域以外的区域；
编码模块，用于将所述ROI区域进行编码，获取编码后的ROI区域；
发送模块，用于按照预设顺序将所述编码后的ROI区域以并行的方式发送至服务器进行检测；
其中，所述判断当前帧的图像是否符合预设上传规则，具体包括：
从所述当前帧的图像中分割出正在跟踪的物体区域和其他区域；
判断所述正在跟踪的物体区域的置信度是否满足预设的置信度阈值，当满足所述置信度阈值时，判断所述当前帧的图像符合所述预设上传规则；以及
判断所述其他区域是否发生结构性变化，当所述其他区域发生结构性变化时，判断所述当前帧的图像符合所述预设上传规则。
5.一种移动通信网络下的视频实时目标检测服务器，其特征在于，包括：
接收模块，用于接收终端发送的ROI区域；
其中，所述终端用于将采集到的待检测视频中的目标帧图像分割为背景区域和不少于一个ROI区域；并基于所述待检测视频的帧间变化信息，判断当前帧的图像是否符合预设上传规则；若所述当前帧的图像符合预设上传规则，将当前帧中符合预设上传规则的图像区域标记为ROI区域；所述帧间变化信息是所述当前帧与上一帧之间的变化信息，所述目标帧图像是用于上传的第一帧图像；所述ROI区域是线框区域，所述背景区域是所述目标帧图像中除ROI区域以外的区域；
检测模块，用于按照接收终端发送的ROI区域的顺序对所述ROI区域进行检测，获取检测结果；
发送模块，用于将所述检测结果发送至所述终端；
其中，所述判断当前帧的图像是否符合预设上传规则，具体包括：
从所述当前帧的图像中分割出正在跟踪的物体区域和其他区域；
判断所述正在跟踪的物体区域的置信度是否满足预设的置信度阈值，当满足所述置信度阈值时，判断所述当前帧的图像符合所述预设上传规则；以及
判断所述其他区域是否发生结构性变化，当所述其他区域发生结构性变化时，判断所述当前帧的图像符合所述预设上传规则。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述移动通信网络下的视频实时目标检测方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至3任一项所述移动通信网络下的视频实时目标检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011133598.3A CN112333539B (zh) | 2020-10-21 | 2020-10-21 | 移动通信网络下的视频实时目标检测方法、终端及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011133598.3A CN112333539B (zh) | 2020-10-21 | 2020-10-21 | 移动通信网络下的视频实时目标检测方法、终端及服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112333539A CN112333539A (zh) | 2021-02-05 |
| CN112333539B true CN112333539B (zh) | 2022-04-15 |
Family
ID=74312144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011133598.3A Active CN112333539B (zh) | 2020-10-21 | 2020-10-21 | 移动通信网络下的视频实时目标检测方法、终端及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112333539B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117376577A (zh) * | 2022-07-01 | 2024-01-09 | 中国电信股份有限公司 | 视觉图像数据处理方法、装置、电子设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108810538A (zh) * | 2018-06-08 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置、终端及存储介质 |
| CN110751678A (zh) * | 2018-12-12 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 运动目标的检测方法、装置和电子设备 |
| CN111160336A (zh) * | 2019-12-09 | 2020-05-15 | 平安科技（深圳）有限公司 | 目标检测方法、装置及计算机可读存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11341473A (ja) * | 1998-05-27 | 1999-12-10 | Chuo Electronics Co Ltd | 動き検出画像のネットワークによる配送方法 |
| CN102186064B (zh) * | 2011-05-30 | 2012-09-26 | 无锡中星微电子有限公司 | 分布式视频监控系统及监控方法 |
| US9852511B2 (en) * | 2013-01-22 | 2017-12-26 | Qualcomm Incoporated | Systems and methods for tracking and detecting a target object |
| CN107977662B (zh) * | 2017-11-06 | 2020-12-11 | 清华大学深圳研究生院 | 一种实现高速处理计算机视觉图像的分层计算方法 |
| CN108270999A (zh) * | 2018-01-26 | 2018-07-10 | 中南大学 | 一种目标检测方法、图像识别服务器及系统 |
-
2020
- 2020-10-21 CN CN202011133598.3A patent/CN112333539B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108810538A (zh) * | 2018-06-08 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置、终端及存储介质 |
| CN110751678A (zh) * | 2018-12-12 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 运动目标的检测方法、装置和电子设备 |
| CN111160336A (zh) * | 2019-12-09 | 2020-05-15 | 平安科技（深圳）有限公司 | 目标检测方法、装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112333539A (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108156519B (zh) | 图像分类方法、电视设备及计算机可读存储介质 | |
| CN110795595B (zh) | 基于边缘计算的视频结构化存储方法、装置、设备及介质 | |
| US10452925B2 (en) | Video monitoring method and video monitoring device | |
| CN112037365B (zh) | 面向行车记录仪基于边缘计算的车辆火灾事故检测报警系统 | |
| Chen et al. | An advanced moving object detection algorithm for automatic traffic monitoring in real-world limited bandwidth networks | |
| CN108564066B (zh) | 一种人物识别模型训练方法以及人物识别方法 | |
| US9159137B2 (en) | Probabilistic neural network based moving object detection method and an apparatus using the same | |
| CN110728218A (zh) | 危险驾驶行为的预警方法、装置、电子设备及存储介质 | |
| US11798254B2 (en) | Bandwidth limited context based adaptive acquisition of video frames and events for user defined tasks | |
| CN111491167B (zh) | 图像编码方法、转码方法、装置、设备以及存储介质 | |
| CN114140636A (zh) | 困难样本获取方法、装置、设备及可读存储介质 | |
| CN112333539B (zh) | 移动通信网络下的视频实时目标检测方法、终端及服务器 | |
| CN110290318B (zh) | 星载图像处理与自主决策方法和系统 | |
| CN110503049B (zh) | 基于生成对抗网络的卫星视频车辆数目估计方法 | |
| CN115588192A (zh) | 细胞图像分类方法和图像分类系统、电子设备及存储介质 | |
| CN113627332A (zh) | 一种基于梯度控制联邦学习的分心驾驶行为识别方法 | |
| CN104616323A (zh) | 一种基于慢特征分析的时空显著性检测方法 | |
| CN113538337B (zh) | 检测方法、检测装置及计算机可读存储介质 | |
| CN105872859A (zh) | 基于对象的运动目标轨迹提取的视频浓缩方法 | |
| CN115941955A (zh) | 一种面向机器视觉的视频传输方法及传输系统 | |
| CN112287803B (zh) | 基于RoI编码的边缘协同目标检测方法及装置 | |
| CN112633496B (zh) | 一种检测模型的处理方法及装置 | |
| CN114170545A (zh) | 一种数据处理方法、装置、存储介质及电子装置 | |
| JP7143263B2 (ja) | 符号化パラメータを用いて対象識別位置を決定する対象識別方法、装置及びプログラム | |
| CN118138801B (zh) | 视频数据处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |