CN113676641B - 一种基于5g执法记录仪的双摄像头三码流方法 - Google Patents
一种基于5g执法记录仪的双摄像头三码流方法 Download PDFInfo
- Publication number
- CN113676641B CN113676641B CN202110945499.3A CN202110945499A CN113676641B CN 113676641 B CN113676641 B CN 113676641B CN 202110945499 A CN202110945499 A CN 202110945499A CN 113676641 B CN113676641 B CN 113676641B
- Authority
- CN
- China
- Prior art keywords
- video
- module
- video frame
- wide
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/3827—Portable transceivers
- H04B1/385—Transceivers carried on the body, e.g. in helmets
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种基于5G执法记录仪的双摄像头三码流方法，包括以下步骤：S1、5G执法记录仪的广角视频源模块采集图像，生成的视频帧发送给视频帧拆分模块；S2、5G执法记录仪的标焦视频源模块的标焦镜头采集图像，生成的视频帧作为标焦原始视频帧，发送给视频编码模块；S3、视频帧拆分模块拆分广角视频源的视频帧；S4、残缺视频编码模块接收广角残缺视频帧进行残缺视频编码。本发明利用5G执法记录仪的广角与标焦空间上重叠，三码流实现空间分层，通过上行带宽预测得到带宽预测值来适配网络传输不确定性，通过自适应合并模块实现用户不同分辨率显示的需求。
Description
技术领域
本发明涉及视频传输技术领域，具体涉及一种基于5G执法记录仪的双摄像头三码流方法。
背景技术
在实现将5G执法记录仪录制的视频流实时上传到服务器的时候，5G执法记录仪在使用中长伴随以下两个状况：首先，执法人员执法的环境不固定且分布于各种场所；其次，视频数据的传输在很大程度上依赖于公共移动网络的带宽。因此，执法人员所处环境的公共移动网络带宽的大小决定了其可传输的视频流的码流的大小。码流(Data Rate，也叫码率)是指视频文件在单位时间内使用的数据流量，不同分辨率会匹配一个码流区间。如果用户处于一个网络带宽较低的区域时，其带宽所能支持的视频流的码流较低，而用户移动到网络带宽较高的区域时，其5G执法记录仪允许传输的视频流的码流即可相应提高。
在已有的处理方案中，为了适配高低不同的网络带宽以及分辨率不同的显示设备，设计者常常将视频的分辨率和码率设置为一个合适的值，使其在不同的环境都可以流畅的上传视频，但是这种做法牺牲了在较高带宽时使用更高分辨率和码率的能力。
因此，为方便适应不同显示设备且适应当前网络带宽，减少用户操作频率，提供一种多码流的视频传输方法即为我们所期望提供的方案。
发明内容
为了解决上述现有技术方案中的不足，本发明提供了一种基于5G执法记录仪的双摄像头三码流方法。
具体技术方案如下：
一种基于5G执法记录仪的双摄像头三码流方法，包括以下步骤：
S1、5G执法记录仪的广角视频源模块采集图像，生成的视频帧发送给视频帧拆分模块；
S2、5G执法记录仪的标焦视频源模块的标焦镜头采集图像，生成的视频帧作为标焦原始视频帧，发送给视频编码模块；
S3、视频帧拆分模块拆分广角视频源的视频帧；
S4、残缺视频编码模块接收广角残缺视频帧进行残缺视频编码；
S5、视频编码模块接收视频帧拆分模块的标焦基准视频帧，进行H264/H265编码得到标焦基准视频压缩流，把标焦基准视频压缩流发送给5G自适应网络发送；视频编码模块接收标焦视频源模块的标焦原始视频帧，进行H264/H265编码得到标焦原始视频压缩流发送给5G自适应网络发送；
S6、上行带宽预测通过标焦基准视频压缩流的ULPFEC冗余包进行带宽预测；ULPFEC使用Level与mask的组成二维零一矩阵来描述视频压缩流在冗余包中的保护分布；上行带宽预测通过增新Level的层并使用不同mask，来增加探测带宽，用于探测网络上行带宽，使用这种方式探测网络，当因探测导致丢包时，因新增ULPFEC冗余包的丢包恢复变强而基本可恢复，减少探测带宽对标焦基准视频压缩流传输影响；当通过增加探测带宽导致上行网络丢包到达2％，则认为检测出网络上行带宽，为标焦基准视频压缩流的码率加上探测ULPFEC冗余包的码率；
S7、5G自适应网络发送接收视频压缩流，并根据带宽自适应把视频压缩流发送给自适应网络接收模块；
S8、自适应网络接收模块接收5G自适应网络发送的压缩视频流；
S9、视频解码模块接收自适应网络接收模块的标焦基准视频压缩流、残缺视频压缩流、标焦原始视频压缩流进行H264/H265解码，得到标焦基准视频帧、广角残缺视频帧、标焦原始视频帧，视频解码模块把视频帧发送给自适应合并模块；
S10、自适应合并模块接收视频帧进行视频合并；
S11、视频帧显示模块接收自适应合并模块的视频帧，显示视频帧到显示窗口上。
优选地，所述S3包括以下步骤：
S31、标焦视频源与广角视频源的图像有重叠，广角视频源的图像包含标焦视频源的图像，使用图像标定法来实现广角视频源的视频帧拆分；
S32、视频帧拆分模块先实现标定，标焦视频源与广角视频源拍摄标定参考网格图像，把标焦视频源拍摄图像缩小并移动，与广角视频源的图像内容重叠，记录标焦视频源拍摄图像的四个顶角在广角视频源的图像的位置做顶角标定数据，因为5G执法记录仪的标焦视频源与广角视频源的镜头都是固定，顶角标定数据在视频拍摄中依然可用；
S33、视频帧拆分模块按照顶角标定数据对接收到广角视频源进行截取，取出部分为标焦基准视频帧，剩余部分为广角残缺视频帧；其中标焦基准视频帧与标焦原始视频帧的图像内容相同，但标焦原始视频帧的有更多分辨率；
S34、视频帧拆分模块把标焦基准视频帧发送视频编码模块，视频帧拆分模块把广角残缺视频帧发送残缺视频编码模块。
优选地，所述S4包括以下步骤：
S41、残缺视频编码采用H264/H265编码，残缺视频编码对截取的区域减少编码数据量；
S42、视频编码I帧对被截取的区域把量化参数qp设置为51，让视频量化的精度下降到最低，减少该区域在I帧数据量；
S43、视频编码P帧编码被截取的区域使用P-Skip宏块，不传送像素残差，也不传送运动矢量残差，使用无数据编码，从使该区域在I帧数据量接近为零；
S44、经过I帧与P帧编码，得到残缺视频压缩流；残缺视频编码模块把残缺视频压缩流发送给5G自适应网络发送。
优选地，所述S7包括以下步骤：
S71、5G自适应网络发送接收残缺视频编码模块的残缺视频压缩流，接收视频编码模块的标焦基准视频压缩流与标焦原始视频压缩流；
S72、5G自适应网络发送设定标焦基准视频压缩流为第一优先级，设定残缺视频压缩流为第二优先级，标焦原始视频压缩流为第三优先级；
S73、第一优先级标焦基准视频压缩流采用ULPFEC冗余包加上NACK重传包保证标焦基准视频压缩流高可靠性，ULPFEC冗余包使用10％冗余度，NACK重传包为自适应网络接收模块检测网络丢包时主动向5G自适应网络发送要求重发送的；
S74、第二优先级残缺视频压缩流采用NACK重传包，保证适量可靠性；
S75、第三优先级标焦原始视频压缩流，不采用可靠性传输机制，采用尽力而为传输；
S76、5G自适应网络发送根据上行带宽预测得到带宽预测值，按照优先级发送视频流，优先发送标焦基准视频压缩流；
S77、5G自适应网络发送把带宽预测值减去标焦基准视频压缩流的带宽与残缺视频压缩流的带宽得到差值A，差值A为正则发送残缺视频压缩流；
S78、差值A减去标焦原始视频压缩流的带宽得到差值B，如果仍然还有带宽则发送标焦原始视频压缩流；标焦基准视频压缩流的带宽为标焦基准视频压缩流的码率加上10％冗余包再加上5％重传包；残缺视频压缩流的带宽为残缺视频压缩流的码率加上5％重传包；标焦原始视频压缩流的带宽为标焦原始视频压缩流的码率；
S79、5G自适应网络发送把视频压缩流发送给自适应网络接收模块。
优选地，所述S8包括以下步骤：
S82、自适应网络接收模块接收标焦基准视频压缩流发现丢包，标焦基准视频压缩流的每个数据包使用连续的数字，当接收数据包的数字不连续，则判断发生丢包，
S82、自适应网络接收模块根据ULPFEC冗余包进行丢包恢复
S83、自适应网络接收模块向5G自适应网络发送发送NACK请求包要求重发标焦基准视频压缩流的丢失数据包.
S84、丢包恢复后自适应网络接收模块最终得到恢复后标焦基准视频压缩流；自适应网络接收模块把恢复后标焦基准视频压缩流发送给视频解码模块；
S85、自适应网络接收模块接收残缺视频压缩流发生丢包，自适应网络接收模块向5G自适应网络发送发送NACK请求包要求重发残缺视频压缩流的丢失数据包，恢复后自适应网络接收模块最终得到恢复后残缺视频压缩流，自适应网络接收模块把残缺视频压缩流发送视频解码模块；
S86、自适应网络接收模块接收标焦原始视频压缩流，发送给视频解码模块。
优选地，所述S10包括以下步骤：
S101、自适应合并模块接收视频解码模块标焦基准视频帧、广角残缺视频帧、标焦原始视频帧；
S102、自适应合并模块只接收标焦基准视频帧，则把标焦基准视频帧发送给视频显示模块；
S103、自适应合并模块只接收标焦基准视频帧与广角残缺视频帧，自适应合并模块把标焦基准视频帧放到广角残缺视频帧的残缺区域，得到广角完整视频帧，自适应合并模块把广角完整视频帧发送给视频显示模块；
S104、自适应合并模块同时接收标焦基准视频帧与广角残缺视频帧与标焦原始视频帧，自适应合并模块根据视频显示模块的显示窗口分辨率与广角残缺视频帧的分辨率进行比较，如果显示窗口分辨率小于广角残缺视频帧，则自适应合并模块把广角完整视频帧发送视频显示模块；如果显示窗口分辨率大于广角残缺视频帧的分辨率，自适应合并模块把广角残缺视频帧进行放大，广角残缺视频帧的残缺区域的分辨率达到标焦原始视频帧的分辨率，自适应合并模块把标焦原始视频帧放到放大后广角残缺视频帧的残缺区域，最终得到广角高分辨率视频帧，这样结合广角与标焦镜头得到广角高分辨率视频，自适应合并模块把广角高分辨率视频帧发送视频帧显示模块。
本发明的有益效果是：
利用5G执法记录仪的广角与标焦空间上重叠，三码流实现空间分层，通过上行带宽预测得到带宽预测值来适配网络传输不确定性，通过自适应合并模块实现用户不同分辨率显示的需求。
附图说明
图1是本发明的模块连接和流程示意图。
具体实施方式
下面详细描述本发明的实施例，下面的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
实施例1
如图1所示，一种基于5G执法记录仪的双摄像头三码流方法，包括以下步骤：
S1、5G执法记录仪的广角视频源模块1采集图像，生成的视频帧发送给视频帧拆分模块3；
S2、5G执法记录仪的标焦视频源模块2的标焦镜头采集图像，生成的视频帧作为标焦原始视频帧，发送给视频编码模块5；
S3、视频帧拆分模块3拆分广角视频源的视频帧；
3.1标焦视频源与广角视频源的图像有重叠，广角视频源的图像包含标焦视频源的图像，使用图像标定法来实现广角视频源的视频帧拆分；
3.2视频帧拆分模块3先实现标定，标焦视频源与广角视频源拍摄标定参考网格图像，把标焦视频源拍摄图像缩小并移动，与广角视频源的图像内容重叠，记录标焦视频源拍摄图像的四个顶角在广角视频源的图像的位置做顶角标定数据，因为5G执法记录仪的标焦视频源与广角视频源的镜头都是固定，顶角标定数据在视频拍摄中依然可用；
3.3视频帧拆分模块3按照顶角标定数据对接收到广角视频源进行截取，取出部分为标焦基准视频帧，剩余部分为广角残缺视频帧；其中标焦基准视频帧与标焦原始视频帧的图像内容相同，但标焦原始视频帧的有更多分辨率；
3.4视频帧拆分模块3把标焦基准视频帧发送视频编码模块5，视频帧拆分模块3把广角残缺视频帧发送残缺视频编码模块4；
S4、残缺视频编码模块4接收广角残缺视频帧进行残缺视频编码；
4.1残缺视频编码采用H264/H265编码，残缺视频编码对截取的区域减少编码数据量；
4.2视频编码I帧对被截取的区域把量化参数qp设置为51，让视频量化的精度下降到最低，减少该区域在I帧数据量；
4.3视频编码P帧编码被截取的区域使用P-Skip宏块，不传送像素残差，也不传送运动矢量残差，使用无数据编码，从使该区域在I帧数据量接近为零；
4.4经过I帧与P帧编码，得到残缺视频压缩流；残缺视频编码模块4把残缺视频压缩流发送给5G自适应网络发送7；
S5、视频编码模块5接收视频帧拆分模块3的标焦基准视频帧，进行H264/H265编码得到标焦基准视频压缩流，把标焦基准视频压缩流发送给5G自适应网络发送7；视频编码模块5接收标焦视频源模块2的标焦原始视频帧，进行H264/H265编码得到标焦原始视频压缩流发送给5G自适应网络发送7；
S6、上行带宽预测6通过标焦基准视频压缩流的ULPFEC冗余包进行带宽预测；ULPFEC使用Level与mask的组成二维零一矩阵来描述视频压缩流在冗余包中的保护分布；上行带宽预测6通过增新Level的层并使用不同mask，来增加探测带宽，用于探测网络上行带宽，使用这种方式探测网络，当因探测导致丢包时，因新增ULPFEC冗余包的丢包恢复变强而基本可恢复，减少探测带宽对标焦基准视频压缩流传输影响；当通过增加探测带宽导致上行网络丢包到达2％，则认为检测出网络上行带宽，为标焦基准视频压缩流的码率加上探测ULPFEC冗余包的码率；
S7、5G自适应网络发送7接收视频压缩流，并根据带宽自适应把视频压缩流发送给自适应网络接收模块8；
7.1 5G自适应网络发送7接收残缺视频编码模块4的残缺视频压缩流，接收视频编码模块5的标焦基准视频压缩流与标焦原始视频压缩流；
7.2 5G自适应网络发送7设定标焦基准视频压缩流为第一优先级，设定残缺视频压缩流为第二优先级，标焦原始视频压缩流为第三优先级；
7.3第一优先级标焦基准视频压缩流采用ULPFEC冗余包加上NACK重传包保证标焦基准视频压缩流高可靠性，ULPFEC冗余包使用10％冗余度，NACK重传包为自适应网络接收模块8检测网络丢包时主动向5G自适应网络发送7要求重发送的；
7.4第二优先级残缺视频压缩流采用NACK重传包，保证适量可靠性；
7.5第三优先级标焦原始视频压缩流，不采用可靠性传输机制，采用尽力而为传输；
7.6 5G自适应网络发送7根据上行带宽预测6得到带宽预测值，按照优先级发送视频流，优先发送标焦基准视频压缩流；
7.7 5G自适应网络发送7把带宽预测值减去标焦基准视频压缩流的带宽与残缺视频压缩流的带宽得到差值A，差值A为正则发送残缺视频压缩流；
7.8差值A减去标焦原始视频压缩流的带宽得到差值B，如果仍然还有带宽则发送标焦原始视频压缩流；标焦基准视频压缩流的带宽为标焦基准视频压缩流的码率加上10％冗余包再加上5％重传包；残缺视频压缩流的带宽为残缺视频压缩流的码率加上5％重传包；标焦原始视频压缩流的带宽为标焦原始视频压缩流的码率；
7.9 5G自适应网络发送7把视频压缩流发送给自适应网络接收模块8；
S8、自适应网络接收模块8接收5G自适应网络发送7的压缩视频流；
8.1自适应网络接收模块8接收标焦基准视频压缩流发现丢包，标焦基准视频压缩流的每个数据包使用连续的数字，当接收数据包的数字不连续，则判断发生丢包，
8.2自适应网络接收模块8根据ULPFEC冗余包进行丢包恢复
8.3自适应网络接收模块8向5G自适应网络发送7发送NACK请求包要求重发标焦基准视频压缩流的丢失数据包.
8.4丢包恢复后自适应网络接收模块8最终得到恢复后标焦基准视频压缩流；自适应网络接收模块8把恢复后标焦基准视频压缩流发送给视频解码模块9；
8.5自适应网络接收模块8接收残缺视频压缩流发生丢包，自适应网络接收模块8向5G自适应网络发送7发送NACK请求包要求重发残缺视频压缩流的丢失数据包，恢复后自适应网络接收模块8最终得到恢复后残缺视频压缩流，自适应网络接收模块8把残缺视频压缩流发送视频解码模块9；
8.6自适应网络接收模块8接收标焦原始视频压缩流，发送给视频解码模块9；
S9、视频解码模块9接收自适应网络接收模块8的标焦基准视频压缩流、残缺视频压缩流、标焦原始视频压缩流进行H264/H265解码，得到标焦基准视频帧、广角残缺视频帧、标焦原始视频帧，视频解码模块9把视频帧发送给自适应合并模块10；
S10、自适应合并模块10接收视频帧进行视频合并；
10.1自适应合并模块10接收视频解码模块9标焦基准视频帧、广角残缺视频帧、标焦原始视频帧；
10.2自适应合并模块10只接收标焦基准视频帧，则把标焦基准视频帧发送给视频显示模块11；
10.3自适应合并模块10只接收标焦基准视频帧与广角残缺视频帧，自适应合并模块10把标焦基准视频帧放到广角残缺视频帧的残缺区域，得到广角完整视频帧，自适应合并模块10把广角完整视频帧发送给视频显示模块11；
10.4自适应合并模块10同时接收标焦基准视频帧与广角残缺视频帧与标焦原始视频帧，自适应合并模块10根据视频显示模块11的显示窗口分辨率与广角残缺视频帧的分辨率进行比较，如果显示窗口分辨率小于广角残缺视频帧，则自适应合并模块10把广角完整视频帧发送视频显示模块11；如果显示窗口分辨率大于广角残缺视频帧的分辨率，自适应合并模块10把广角残缺视频帧进行放大，广角残缺视频帧的残缺区域的分辨率达到标焦原始视频帧的分辨率，自适应合并模块10把标焦原始视频帧放到放大后广角残缺视频帧的残缺区域，最终得到广角高分辨率视频帧，这样结合广角与标焦镜头得到广角高分辨率视频，自适应合并模块10把广角高分辨率视频帧发送视频帧显示模块10；
S11、视频帧显示模块10接收自适应合并模块10的视频帧，显示视频帧到显示窗口上。
实施例2
如图1所示，一种基于5G执法记录仪的双摄像头三码流系统包含广角视频源模块1，标焦视频源模块2，视频帧拆分模块3，残缺视频编码模块4，视频编码模块5，上行宽带预测6，5G自适应网络发送7，自适应网络接收模块8，视频解码模块9，自适应合并模块10，视频显示模块11。
广角视频源模块1：5G执法记录仪的广角镜头采集图像，生成的视频帧发送给视频帧拆分模块3。
标焦视频源模块2：5G执法记录仪的标焦镜头采集图像，生成的视频帧作为标焦原始视频帧，发送给视频编码模块5。
视频帧拆分模块3：标焦视频源与广角视频源的图像有重叠，广角视频源的图像包含标焦视频源的图像；使用图像标定法来实现广角视频源的视频帧拆分；先实现标定，标焦视频源与广角视频源拍拍摄标定参考网格图像，把标焦视频源拍摄图像缩小并移动，与广角视频源的图像内容重叠，记录标焦视频源拍摄图像的四个顶角在广角视频源的图像的位置做顶角标定数据，因为5G执法记录仪的标焦视频源与广角视频源的镜头都是固定，顶角标定数据在视频拍摄中依然可用；视频帧拆分模块3按照顶角标定数据对接收到广角视频源进行截取，取出部分为标焦基准视频帧，剩余部分为广角残缺视频帧；其中标焦基准视频帧与标焦原始视频帧的图像内容相同，但标焦原始视频帧的有更多分辨率；视频帧拆分模块3把标焦基准视频帧发送视频编码模块5，视频帧拆分模块3把广角残缺视频帧发送残缺视频编码模块4。
残缺视频编码模块4：残缺视频编码模块4接收广角残缺视频帧进行残缺视频编码，残缺视频编码采用H264/H265编码，残缺视频编码对截取的区域减少编码数据量，视频编码I帧对被截取的区域把量化参数qp设置为51，让视频量化的精度下降到最低，减少该区域在I帧数据量，视频编码P帧编码被截取的区域使用P-Skip宏块，不传送像素残差，也不传送运动矢量残差，使用无数据编码，从使该区域在I帧数据量接近为零，经过I帧与P帧编码，得到残缺视频压缩流；残缺视频编码模块4把把残缺视频压缩流发送5G自适应网络发送7。
视频编码模块5：视频编码模块5接收视频帧拆分模块3的标焦基准视频帧，进行H264/H265编码得到标焦基准视频压缩流，把标焦基准视频压缩流发送5G自适应网络发送7；视频编码模块5接收标焦视频源模块2的标焦原始视频帧，进行H264/H265编码得到标焦原始压缩流发送5G自适应网络发送7。
上行带宽预测6：上行带宽预测6通过标焦基准视频压缩流的ULPFEC冗余包进行带宽预测；ULPFEC使用Level与mask的组成二维零一矩阵来描述视频压缩流在冗余包中的保护分布；上行带宽预测6通过增新Level的层并使用不同mask，来增加探测带宽，用于探测网络上行带宽，使用这种方式探测网络，当因探测导致丢包时，因新增ULPFEC冗余包的丢包恢复变强而基本可恢复，减少探测带宽对标焦基准视频压缩流传输影响；当通过增加探测带宽导致上行网络丢包到达2％，则认为检测出网络上行带宽，为标焦基准视频压缩流的码率加上探测ULPFEC冗余包的码率。
5G自适应网络发送7：5G自适应网络发送7为5G执法记录仪的网络发送模块，5G自适应网络发送7接收残缺视频编码模块4的残缺视频压缩流，接收视频编码模块5的标焦基准视频压缩流与标焦原始压缩流；5G自适应网络发送7设定标焦基准视频压缩流为第一优先级，设定残缺视频压缩流为第二优先级，标焦原始压缩流为第三优先级；第一优先级标焦基准视频压缩流采用ULPFEC冗余包加上NACK重传包保证标焦基准视频压缩流高可靠性，ULPF EC冗余包使用10％冗余度，NACK重传包为自适应网络接收模块8检测网络丢包时主动向5G自适应网络发送7要求重发送；第二优先级残缺视频压缩流采用NACK重传包，保证适量可靠性；第三优先级标焦原始视频压缩流，不采用可靠性传输机制，采用尽力而为传输；5G自适应网络发送7根据上行带宽预测6得到带宽预测值，按照优先级发送视频流，优先发送标焦基准视频压缩流；带宽预测值减去标焦基准视频压缩流的带宽与残缺视频压缩流的带宽得到差值A，差值A为正则发送残缺视频压缩流；差值A减去标焦原始视频压缩流的带宽得到差值B，如果仍然还有带宽则发送标焦原始视频压缩流；标焦基准视频压缩流的带宽为标焦基准视频压缩流的码率加上10％冗余包再加上5％重传包；残缺视频压缩流的带宽为残缺视频压缩流的码率加上5％重传包；标焦原始视频压缩流的带宽为标焦原始视频压缩流的码率；5G自适应网络发送7发视频压缩流发送自适应网络接收模块8。
自适应网络接收模块8：自适应网络接收模块8接收5G自适应网络发送7的压缩视频流；自适应网络接收模块8接收标焦基准视频压缩流发现丢包，标焦基准视频压缩流的每个数据包使用连续的数字，当接收数据包的数字不连续，则判断发生丢包，自适应网络接收模块8根据ULPFEC冗余包进行丢包恢复，自适应网络接收模块8向5G自适应网络发送7发送NACK请求包要求重发标焦基准视频压缩流的丢失数据包，恢复后自适应网络接收模块8最终得到恢复后标焦基准视频压缩流，自适应网络接收模块8把恢复后标焦基准视频压缩流发送视频解码模块9；自适应网络接收模块8接收残缺视频压缩流发生丢包，自适应网络接收模块8向5G自适应网络发送7发送NACK请求包要求重发残缺视频压缩流的丢失数据包，恢复后自适应网络接收模块8最终得到恢复后残缺视频压缩流，自适应网络接收模块8把残缺视频压缩流发送视频解码模块9；自适应网络接收模块8接收标焦原始视频压缩流，发送给视频解码模块9。
视频解码模块9：视频解码模块9接收自适应网络接收模块8的标焦基准视频压缩流、残缺视频压缩流、标焦原始视频压缩流进行H264/H265解码，得到标焦基准视频帧、广角残缺视频帧、标焦原始视频帧，视频解码模块9把视频帧发送自适应合并模块10。
自适应合并模块10：自适应合并模块10接收视频解码模块9标焦基准视频帧、广角残缺视频帧、标焦原始视频帧；自适应合并模块10只接收标焦基准视频帧，则把标焦基准视频帧发送给视频显示模块11；自适应合并模块10只接收标焦基准视频帧与广角残缺视频帧，自适应合并模块10把标焦基准视频帧放到广角残缺视频帧的残缺区域，得到广角完整视频帧，自适应合并模块10把广角完整视频帧发送视频显示模块11；自适应合并模块10同时接收标焦基准视频帧与广角残缺视频帧与标焦原始视频帧，自适应合并模块10根据视频显示模块11的显示窗口分辨率与广角残缺视频帧的分辨率进行比较，如果显示窗口分辨率小于广角残缺视频帧，则自适应合并模块10把广角完整视频帧发送视频显示模块11；如果显示窗口分辨率大于广角残缺视频帧的分辨率，自适应合并模块10把广角残缺视频帧进行放大，广角残缺视频帧的残缺区域的分辨率达到标焦原始视频帧的分辨率，自适应合并模块10把标焦原始视频帧放到放大后广角残缺视频帧的残缺区域，最终得到广角高分辨率视频帧，这样结合广角与标焦镜头得到高视频，自适应合并模块10把广角高分辨率视频帧发送视频帧显示模块10。
视频帧显示模块10：视频帧显示模块10接收自适应合并模块10的视频帧，显示视频帧到显示窗口上。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
Claims (6)
1.一种基于5G执法记录仪的双摄像头三码流方法，其特征在于，包括以下步骤：
S1、5G执法记录仪的广角视频源模块(1)采集图像，生成的视频帧发送给视频帧拆分模块(3)；
S2、5G执法记录仪的标焦视频源模块(2)的标焦镜头采集图像，生成的视频帧作为标焦原始视频帧，发送给视频编码模块(5)；
S3、视频帧拆分模块(3)拆分广角视频源的视频帧；
S4、残缺视频编码模块(4)接收广角残缺视频帧进行残缺视频编码；
S5、视频编码模块(5)接收视频帧拆分模块(3)的标焦基准视频帧，进行H264/H265编码得到标焦基准视频压缩流，把标焦基准视频压缩流发送给5G自适应网络发送(7)；视频编码模块(5)接收标焦视频源模块(2)的标焦原始视频帧，进行H264/H265编码得到标焦原始视频压缩流发送给5G自适应网络发送(7)；
S6、上行带宽预测(6)通过标焦基准视频压缩流的ULPFEC冗余包进行带宽预测；ULPFEC使用Level与mask的组成二维零一矩阵来描述视频压缩流在冗余包中的保护分布；上行带宽预测(6)通过增新Level的层并使用不同mask，来增加探测带宽，用于探测网络上行带宽，使用这种方式探测网络，当因探测导致丢包时，因新增ULPFEC冗余包的丢包恢复变强而基本可恢复，减少探测带宽对标焦基准视频压缩流传输影响；当通过增加探测带宽导致上行网络丢包到达2％，则认为检测出网络上行带宽，为标焦基准视频压缩流的码率加上探测ULPFEC冗余包的码率；
S7、5G自适应网络发送(7)接收视频压缩流，并根据带宽自适应把视频压缩流发送给自适应网络接收模块(8)；
S8、自适应网络接收模块(8)接收5G自适应网络发送(7)的压缩视频流；
S9、视频解码模块(9)接收自适应网络接收模块(8)的标焦基准视频压缩流、残缺视频压缩流、标焦原始视频压缩流进行H264/H265解码，得到标焦基准视频帧、广角残缺视频帧、标焦原始视频帧，视频解码模块(9)把视频帧发送给自适应合并模块(10)；
S10、自适应合并模块(10)接收视频帧进行视频合并；
S11、视频帧显示模块(11 )接收自适应合并模块(10)的视频帧，显示视频帧到显示窗口上。
2.根据权利要求1所述的一种基于5G执法记录仪的双摄像头三码流方法，其特征在于，所述S3包括以下步骤：
S31、标焦视频源与广角视频源的图像有重叠，广角视频源的图像包含标焦视频源的图像，使用图像标定法来实现广角视频源的视频帧拆分；
S32、视频帧拆分模块(3)先实现标定，标焦视频源与广角视频源拍摄标定参考网格图像，把标焦视频源拍摄图像缩小并移动，与广角视频源的图像内容重叠，记录标焦视频源拍摄图像的四个顶角在广角视频源的图像的位置做顶角标定数据，因为5G执法记录仪的标焦视频源与广角视频源的镜头都是固定，顶角标定数据在视频拍摄中依然可用；
S33、视频帧拆分模块(3)按照顶角标定数据对接收到广角视频源进行截取，取出部分为标焦基准视频帧，剩余部分为广角残缺视频帧；其中标焦基准视频帧与标焦原始视频帧的图像内容相同，但标焦原始视频帧有更多分辨率；
S34、视频帧拆分模块(3)把标焦基准视频帧发送视频编码模块(5)，视频帧拆分模块(3)把广角残缺视频帧发送残缺视频编码模块(4)。
3.根据权利要求1所述的一种基于5G执法记录仪的双摄像头三码流方法，其特征在于，所述S4包括以下步骤：
S41、残缺视频编码采用H264/H265编码，残缺视频编码对截取的区域减少编码数据量；
S42、视频编码I帧对被截取的区域把量化参数qp设置为51，让视频量化的精度下降到最低，减少该区域在I帧数据量；
S43、视频编码P帧编码被截取的区域使用P-Skip宏块，不传送像素残差，也不传送运动矢量残差，使用无数据编码，从使该区域在I帧数据量接近为零；
S44、经过I帧与P帧编码，得到残缺视频压缩流；残缺视频编码模块(4)把残缺视频压缩流发送给5G自适应网络发送(7)。
4.根据权利要求1所述的一种基于5G执法记录仪的双摄像头三码流方法，其特征在于，所述S7包括以下步骤：
S71、5G自适应网络发送(7)接收残缺视频编码模块(4)的残缺视频压缩流，接收视频编码模块(5)的标焦基准视频压缩流与标焦原始视频压缩流；
S72、5G自适应网络发送(7)设定标焦基准视频压缩流为第一优先级，设定残缺视频压缩流为第二优先级，标焦原始视频压缩流为第三优先级；
S73、第一优先级标焦基准视频压缩流采用ULPFEC冗余包加上NACK重传包保证标焦基准视频压缩流高可靠性，ULPFEC冗余包使用10％冗余度，NACK重传包为自适应网络接收模块(8)检测网络丢包时主动向5G自适应网络发送(7)要求重发送的；
S74、第二优先级残缺视频压缩流采用NACK重传包，保证适量可靠性；
S75、第三优先级标焦原始视频压缩流，不采用可靠性传输机制，采用尽力而为传输；
S76、5G自适应网络发送(7)根据上行带宽预测(6)得到带宽预测值，按照优先级发送视频流，优先发送标焦基准视频压缩流；
S77、5G自适应网络发送(7)把带宽预测值减去标焦基准视频压缩流的带宽与残缺视频压缩流的带宽得到差值A，差值A为正则发送残缺视频压缩流；
S78、差值A减去标焦原始视频压缩流的带宽得到差值B，如果仍然还有带宽则发送标焦原始视频压缩流；标焦基准视频压缩流的带宽为标焦基准视频压缩流的码率加上10％冗余包再加上5％重传包；残缺视频压缩流的带宽为残缺视频压缩流的码率加上5％重传包；标焦原始视频压缩流的带宽为标焦原始视频压缩流的码率；
S79、5G自适应网络发送(7)把视频压缩流发送给自适应网络接收模块(8)。
5.根据权利要求1所述的一种基于5G执法记录仪的双摄像头三码流方法，其特征在于，所述S8包括以下步骤：
S82、自适应网络接收模块(8)接收标焦基准视频压缩流发现丢包，标焦基准视频压缩流的每个数据包使用连续的数字，当接收数据包的数字不连续，则判断发生丢包，
S82、自适应网络接收模块(8)根据ULPFEC冗余包进行丢包恢复；
S83、自适应网络接收模块(8)向5G自适应网络发送(7)发送NACK请求包要求重发标焦基准视频压缩流的丢失数据包；
S84、丢包恢复后自适应网络接收模块(8)最终得到恢复后标焦基准视频压缩流；自适应网络接收模块(8)把恢复后标焦基准视频压缩流发送给视频解码模块(9)；
S85、自适应网络接收模块(8)接收残缺视频压缩流发生丢包，自适应网络接收模块(8)向5G自适应网络发送(7)发送NACK请求包要求重发残缺视频压缩流的丢失数据包，恢复后自适应网络接收模块(8)最终得到恢复后残缺视频压缩流，自适应网络接收模块(8)把残缺视频压缩流发送视频解码模块(9)；
S86、自适应网络接收模块(8)接收标焦原始视频压缩流，发送给视频解码模块(9)。
6.根据权利要求1所述的一种基于5G执法记录仪的双摄像头三码流方法，其特征在于，所述S10包括以下步骤：
S101、自适应合并模块(10)接收视频解码模块(9)标焦基准视频帧、广角残缺视频帧、标焦原始视频帧；
S102、自适应合并模块(10)只接收标焦基准视频帧，则把标焦基准视频帧发送给视频显示模块(11)；
S103、自适应合并模块(10)只接收标焦基准视频帧与广角残缺视频帧，自适应合并模块(10)把标焦基准视频帧放到广角残缺视频帧的残缺区域，得到广角完整视频帧，自适应合并模块(10)把广角完整视频帧发送给视频显示模块(11)；
S104、自适应合并模块(10)同时接收标焦基准视频帧与广角残缺视频帧与标焦原始视频帧，自适应合并模块(10)根据视频显示模块(11)的显示窗口分辨率与广角残缺视频帧的分辨率进行比较，如果显示窗口分辨率小于广角残缺视频帧，则自适应合并模块(10)把广角完整视频帧发送视频显示模块(11)；如果显示窗口分辨率大于广角残缺视频帧的分辨率，自适应合并模块(10)把广角残缺视频帧进行放大，广角残缺视频帧的残缺区域的分辨率达到标焦原始视频帧的分辨率，自适应合并模块(10)把标焦原始视频帧放到放大后广角残缺视频帧的残缺区域，最终得到广角高分辨率视频帧，这样结合广角与标焦镜头得到广角高分辨率视频，自适应合并模块(10)把广角高分辨率视频帧发送视频帧显示模块(11 )。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110945499.3A CN113676641B (zh) | 2021-08-17 | 2021-08-17 | 一种基于5g执法记录仪的双摄像头三码流方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110945499.3A CN113676641B (zh) | 2021-08-17 | 2021-08-17 | 一种基于5g执法记录仪的双摄像头三码流方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113676641A CN113676641A (zh) | 2021-11-19 |
| CN113676641B true CN113676641B (zh) | 2023-04-07 |
Family
ID=78543375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110945499.3A Active CN113676641B (zh) | 2021-08-17 | 2021-08-17 | 一种基于5g执法记录仪的双摄像头三码流方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113676641B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101340321A (zh) * | 2008-08-28 | 2009-01-07 | 北京中星微电子有限公司 | 一种实时监控系统中自适应带宽的解决方案 |
| CN106488102A (zh) * | 2016-12-01 | 2017-03-08 | 武汉广联在线科技有限公司 | 基于智能手机的执法记录系统及执法记录数据回传方法 |
| CN106888386A (zh) * | 2011-09-23 | 2017-06-23 | 台湾积体电路制造股份有限公司 | 管理响应于网络条件的视频传输的系统和方法 |
| CN108683890A (zh) * | 2018-07-25 | 2018-10-19 | 广东九联科技股份有限公司 | 一种采用5g网络的执法记录仪数据传输系统及其方法 |
| CN110769277A (zh) * | 2019-10-25 | 2020-02-07 | 杭州叙简科技股份有限公司 | 执法记录仪基于加速度传感器的视频编码系统及编码方式 |
| CN110971854A (zh) * | 2019-12-19 | 2020-04-07 | 杭州叙简科技股份有限公司 | 一种双链路采集的执法记录仪采集系统及其采集方法 |
| CN112468764A (zh) * | 2021-01-28 | 2021-03-09 | 浙江华创视讯科技有限公司 | 一种流媒体自适应传输的方法、系统、服务器和存储介质 |
| CN113038136A (zh) * | 2019-12-25 | 2021-06-25 | 成都鼎桥通信技术有限公司 | 一种视频自适应调整方法和装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012166512A2 (en) * | 2011-05-31 | 2012-12-06 | Dolby Laboratories Licensing Corporation | Video compression implementing resolution tradeoffs and optimization |
| CN103813174B (zh) * | 2012-11-12 | 2016-04-27 | 腾讯科技（深圳）有限公司 | 一种混合分辨率编解码方法和装置 |
| US11206404B2 (en) * | 2019-07-08 | 2021-12-21 | Fastvdo Llc | Adaptive resolution change in video streams |
-
2021
- 2021-08-17 CN CN202110945499.3A patent/CN113676641B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101340321A (zh) * | 2008-08-28 | 2009-01-07 | 北京中星微电子有限公司 | 一种实时监控系统中自适应带宽的解决方案 |
| CN106888386A (zh) * | 2011-09-23 | 2017-06-23 | 台湾积体电路制造股份有限公司 | 管理响应于网络条件的视频传输的系统和方法 |
| CN106488102A (zh) * | 2016-12-01 | 2017-03-08 | 武汉广联在线科技有限公司 | 基于智能手机的执法记录系统及执法记录数据回传方法 |
| CN108683890A (zh) * | 2018-07-25 | 2018-10-19 | 广东九联科技股份有限公司 | 一种采用5g网络的执法记录仪数据传输系统及其方法 |
| CN110769277A (zh) * | 2019-10-25 | 2020-02-07 | 杭州叙简科技股份有限公司 | 执法记录仪基于加速度传感器的视频编码系统及编码方式 |
| CN110971854A (zh) * | 2019-12-19 | 2020-04-07 | 杭州叙简科技股份有限公司 | 一种双链路采集的执法记录仪采集系统及其采集方法 |
| CN113038136A (zh) * | 2019-12-25 | 2021-06-25 | 成都鼎桥通信技术有限公司 | 一种视频自适应调整方法和装置 |
| CN112468764A (zh) * | 2021-01-28 | 2021-03-09 | 浙江华创视讯科技有限公司 | 一种流媒体自适应传输的方法、系统、服务器和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113676641A (zh) | 2021-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5731672B2 (ja) | 暗黙基準フレームを用いる動画像符号化システム | |
| US10009630B2 (en) | System and method for encoding video content using virtual intra-frames | |
| US8089502B2 (en) | Adaptive video telephone system | |
| US8144764B2 (en) | Video coding | |
| US8681197B2 (en) | Communication system, terminal apparatus and computer program | |
| US8780970B2 (en) | Motion wake identification and control mechanism | |
| US20130265385A1 (en) | Method and Apparatus for Adjusting Site Bandwidth, Conferencing Terminal, and Media Control Server | |
| JP2014176034A (ja) | 映像伝送装置 | |
| CN111263192A (zh) | 视频处理方法及相关设备 | |
| TWI519131B (zh) | 影像傳輸系統及其傳輸端裝置與接收端裝置 | |
| US20120281756A1 (en) | Complexity change detection for video transmission system | |
| CN113676641B (zh) | 一种基于5g执法记录仪的双摄像头三码流方法 | |
| US11265583B2 (en) | Long-term reference for error recovery in video conferencing system | |
| JP5784823B2 (ja) | エンドツーエンドコード化ビデオ伝送システムのためのオンデマンドイントラリフレッシュ | |
| Kulupana et al. | Concealment support and error resilience for HEVC to improve consumer quality of experience | |
| CN115623154A (zh) | 校正网络数据丢包的系统和方法 | |
| KR100363550B1 (ko) | 동영상 인코딩 장치 및 무선 단말기의 동영상 디코딩 장치 | |
| Carreira et al. | Error concealment-aware encoding for robust video transmission | |
| KR100899666B1 (ko) | 분산 다중 스트리밍 전송 장치 | |
| JP2004180190A (ja) | カメラ制御装置及びその制御ステップを実行するプログラム | |
| JP2006270666A (ja) | 画像記録装置及び監視システム | |
| JP7382689B1 (ja) | ストリーミング配信システム、配信サーバおよび撮影者端末 | |
| JP2006173962A (ja) | 画像符号化装置 | |
| JPH04176291A (ja) | 画像符号化復号装置 | |
| JPH04115792A (ja) | 画像信号符号化方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230324 Address after: 6th Floor, R&D Building, Block A, No. 5 Lvtai Road, Zhongtai Street, Yuhang District, Hangzhou City, Zhejiang Province, 311100 Applicant after: Hangzhou Xujian Weilan Electronic Co.,Ltd. Address before: 311121 room 801-2, building 10, No. 1390, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province Applicant before: Hangzhou Xujian Anzhi Information Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right |