CN111510735B - 弱网环境下多路视频的编码传输方法、装置及无人车辆 - Google Patents
弱网环境下多路视频的编码传输方法、装置及无人车辆 Download PDFInfo
- Publication number
- CN111510735B CN111510735B CN202010316419.3A CN202010316419A CN111510735B CN 111510735 B CN111510735 B CN 111510735B CN 202010316419 A CN202010316419 A CN 202010316419A CN 111510735 B CN111510735 B CN 111510735B
- Authority
- CN
- China
- Prior art keywords
- video
- path
- bandwidth
- unmanned vehicle
- videos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000005540 biological transmission Effects 0.000 title claims abstract description 45
- 230000000875 corresponding effect Effects 0.000 claims description 41
- 230000002596 correlated effect Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
- H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种弱网环境下多路视频的编码传输方法、装置及无人车辆，涉及无人驾驶、自动驾驶领域。所述方法包括：实时侦测所述多路视频的视频流数据在上传至云服务器的过程中的带宽使用情况，并根据所述带宽使用情况提供对应的分流策略；根据所述分流策略，将带宽动态的分配给所述多路视频中的一路或多路视频；根据各路视频分配的带宽动态的调整每路视频的码率等级，以使得当前路视频的码率等级与所分配的带宽相匹配；根据调整后的码率等级对所述多路视频进行编码传输。本发明实现了弱网环境下车端视频流数据的定向分流传输。
Description
技术领域
本发明涉及无人车远程控制技术领域，具体涉及一种弱网环境下多路视频的编码传输方法、装置及无人车辆。
背景技术
无人车的远程驾驶，一般指基于网络通信环境下，驾驶员通过远程的驾驶设备、显示屏，即时捕获远端无人车辆视频画面的同时，对车辆进行的基本行车制动控制和业务应用控制。
随着时下视频直播技术的成熟，各大云平台陆续推出了视频直播客户端和对应视频云服务平台，直播在不同行业的广泛应用，使得直播技术在不同的场景中实现了视频的实时同步。无人车的远程驾驶依托视频流的远程直播，同步到驾驶舱中，驾驶员基于实时的视频流获取运营场景中车辆周围的变化，从而指导远程驾驶的行车操作控制。
然而现有的网络环境在不同的地点和路段，其传输流量和网络延迟不尽相同，在网络环境较差的路段受到网络波动影响，仅有的带宽无法满足无人车端多路视频流的实时传播。因此，在弱网环境下保证无人车端多路视频中的某一路或几路视频的传输网络成为必然。但是现有的视频直播服务不支持同时多实施例多房间的分配流量。
因此，有必要提供改进的技术方案以克服现有技术中存在的以上技术问题。
发明内容
为了解决上述技术问题，本发明提供了一种弱网环境下多路视频的编码传输方法、装置及无人车辆，实现了弱网环境下车端视频流数据的定向分流传输。
根据本发明提供的一种弱网环境下多路视频的编码传输方法，所述多路视频用于呈现无人车辆周围的视频影像，所述方法包括：实时侦测所述多路视频的视频流数据在上传至云服务器的过程中的带宽使用情况，并根据所述带宽使用情况提供对应的分流策略；根据所述分流策略，将带宽动态的分配给所述多路视频中的一路或多路视频；根据各路视频分配的带宽动态的调整每路视频的码率等级，以使得当前路视频的码率等级与所分配的带宽相匹配；根据调整后的码率等级对所述多路视频进行编码传输。
可选地，所述多路视频用于呈现一个无人车辆周围的视频影像，包括所述无人车辆的前路视频、后路视频、左路视频以及右路视频；或者所述多路视频用于呈现多个无人车辆周围的视频影像，包括所述多个无人车辆中每个无人车辆的前路视频、后路视频、左路视频以及右路视频，其中，所述前路视频用于呈现无人车辆行驶方向的视频影像。
可选地，实时侦测所述多路视频的视频流数据在上传至云服务器的过程中的带宽使用情况，并根据所述带宽使用情况提供对应的分流策略包括以下中的至少之一：侦测当前传输网络的网速，根据所述网速所处的阈值范围提供对应的分流策略；侦测所述无人车辆上所有摄像头在单位时间内上传的视频流数据所需的总带宽，根据所述总带宽所处的阈值范围提供对应的分流策略；侦测所述无人车辆上所有摄像头在单位时间内上传的视频流数据所需的总带宽占当前传输网络可用带宽的比例，根据所述比例所处的阈值范围提供对应的分流策略。
可选地，在所述多路视频用于呈现一个无人车辆周围的视频影像的情况下，根据所述带宽使用情况提供对应的分流策略包括以下中的至少之一：对所述多路视频中的每一路视频设置优先等级，根据所述优先等级和所述带宽使用情况提供所述多路视频中各路视频的带宽分配比例；检测所述多路视频中每一路视频的视频内容，根据所述视频内容设置各路视频的权重系数，并根据所述权重系数和所述带宽使用情况提供所述多路视频中各路视频的带宽分配比例。
可选地，所述多路视频中所述前路视频的优先等级高于所述后路视频的优先等级，所述后路视频的优先等级高于所述左路视频和所述右路视频的优先等级。
可选地，所述多路视频中各路视频的权重系数与以下中的至少之一正相关：当前路视频中的人流信息；当前路视频中的车流信息；当前路视频中无人车辆与障碍物的距离信息；当前路视频中的路面平坦度信息；所述无人车辆的行驶方向。
可选地，在所述多路视频用于呈现多个无人车辆周围的视频影像的情况下，根据所述带宽使用情况提供对应的分流策略包括以下中的至少之一：对所述多个无人车辆中的每一无人车辆设置第一优先等级，对所述每一无人车辆中的每一路视频设置第二优先等级，根据所述第一优先等级、所述第二优先等级和所述带宽使用情况提供所述多路视频中各路视频的带宽分配比例；检测所述多路视频中每一路视频的视频内容，根据所述视频内容设置每一无人车辆中各路视频的权重系数，以及根据每一无人车辆中各路视频的权重系数设置所述多个无人车辆中的每一无人车辆的权重系数，并根据每一无人车辆的权重系数、每一无人车辆中各路视频的权重系数和所述带宽使用情况提供所述多路视频中各路视频的带宽分配比例。
可选地，所述第一优先等级与以下中的至少之一正相关：所述无人车辆的行驶速度；所述无人车辆行驶路段的拥挤程度；所述无人车辆行驶路段的路面平坦程度。
根据本发明提供的一种弱网环境下多路视频的编码传输装置，所述多路视频用于呈现无人车辆周围的视频影像，所述装置包括：测速单元，用于侦测所述多路视频编码传输时所占用的总带宽，以及当前网络带宽，并根据侦测结果提供对应的分流策略；带宽分配单元，用于根据所述分流策略将带宽动态分配给所述多路视频中指定的一路或多路视频；码率调整单元，根据各路视频所分配的带宽，动态调整每路视频的码率等级，以使得当前路视频的码率等级与所分配的带宽相匹配；视频编码单元，用于根据调整后的码率等级提供视频编码参数，并根据所述编码参数对当前路视频进行编码；以及视频传输单元，用于将编码后的当前路视频上传至云服务器。
可选地，所述装置还包括：视频图像处理单元，用于获取所述多路视频中每一路视频的视频内容，并根据所述视频内容生成权重系数。
可选地，所述装置还包括：存储单元，用于存储所述多路视频中每一路视频的优先等级和/或权重系数。
根据本发明提供的一种无人车辆，所述无人车辆上设置有：视频采集装置，用于采集获取所述多路视频；如上述的弱网环境下多路视频的编码传输装置，该传输装置用于根据实时的网络环境选择性的将所述多路视频中的一路或多路上传至云服务器。
本发明的有益效果是：本发明公开了一种弱网环境下多路视频的编码传输方法、装置及无人车辆，通过实时侦测多路视频的视频流数据在上传至云服务器的过程中所占用的总带宽以及当前网络可用带宽，以制定对应的分流策略，进而分流策略实现多路视频中网络可用带宽的动态分配，实现了弱网环境下车端视频流数据的定向分流传输，进而为弱网环境下无人车辆的远程驾驶的可行性提供了保证。
应当说明的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚。
图1示出本发明第一实施例提供的弱网环境下多路视频的编码传输方法流程图。
图2示出本发明第二实施例提供的弱网环境下多路视频的编码传输方法流程图。
图3示出本发明第三实施例提供的弱网环境下多路视频的编码传输方法流程图。
图4示出本发明第四实施例提供的弱网环境下多路视频的编码传输方法流程图。
图5示出本发明第五实施例提供的弱网环境下多路视频的编码传输方法流程图。
图6示出本发明第六实施例提供的弱网环境下多路视频的编码传输方法流程图。
图7示出本发明实施例提供的弱网环境下多路视频的编码传输装置的系统框图。
图8示出本发明实施例提供的无人车辆的结构示意图。
图9(a)示出本发明实施例提供的无人车辆拍摄的前路视频和后路视频的视频影像示意图。
图9(b)示出本发明实施例提供的无人车辆拍摄的左路视频的视频影像示意图。
图9(c)示出本发明实施例提供的无人车辆拍摄的右路视频的视频影像示意图。
附图标记说明：1-无人车辆。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以通过不同的形式来实现，并不限于本文所描述的实施例。相反的，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
下面，参照附图对本发明进行详细说明。
实施例一：
本实施例提供的弱网环境下多路视频的编码传输方法如图1所示，示例性的，参见图8至图9(c)，多路视频的编码传输事件发生于车端(如无人车辆1)拍摄视频到云服务器的推流阶段。其中，多路视频用于呈现无人车辆1周围的视频影像，当传输的多路视频用于呈现一个无人车辆周围的视频影像时，该多路视频包括无人车辆拍摄的前路视频(用于呈现无人车辆行驶方向的视频影像)、后路视频、左路视频和右路视频；而当传输的多路视频用于呈现多个无人车辆周围的视频影像时，该多路视频包括多个无人车辆中每个无人车辆的前路视频、后路视频、左路视频以及右路视频。参见图9(a)至图9(c)，示出了以一个无人车辆作为示例性的多路视频的拍摄情况(无人车数量为多个的多路视频拍摄情况可依据图9(a)至图9(c)类推)，其中，图9(a)为无人车辆通过车载摄像头拍摄的前路视频和后路视频，图9(b)为无人车辆通过车载摄像头拍摄的左路视频，图9(c)为无人车辆通过车载摄像头拍摄的右路视频。但可以理解的是，本发明的应用场景并不限于该示例性的实施例，对于视频会议、视频直播、视频监控等的多路视频的编码传输，本发明的技术方案同样适用。
具体的，本实施例提供的弱网环境下多路视频的编码传输方法包括执行如下步骤：
实时侦测多路视频的视频流数据在上传至云服务器的过程中的带宽使用情况，并根据带宽使用情况提供对应的分流策略。示例性的，参见图9(a)至图9(c)，无人车辆通过车载摄像头分别拍摄获取包括前路视频、后路视频、左路视频和右路视频在内的多路视频，在将该多路视频编码上传至云服务器的同时，实时侦测该多路视频的视频流数据在上传至云服务器的过程中的带宽使用情况，并根据带宽使用情况提供对应的分流策略。可以理解的是，本方案中，上述侦测过程主要在无人车端进行，通过设置在无人车端的测速单元实现对当前视频流数据的单位时间内上传至云服务器占用的总带宽、以及网速等进行侦测，可以在“源头”完成对各所需参量的侦测，避免了由于各无人车端所处地域不同、自身硬件设备不同等造成的差异，有效的保障了对各个无人车当前视频传输的侦测及后续分配策略制定的针对性和准确性。
实时侦测多路视频的视频流数据在上传至云服务器的过程中的带宽使用情况，并根据带宽使用情况提供对应的分流策略进一步包括：侦测当前传输网络的网速，根据网速所处的阈值范围提供对应的分流策略(步骤S111)。对网速的侦测步骤简单，方便快捷，使得对无人车的远程驾驶能够适应不同的网络环境。
具体的，单位时间内需要上传的多路视频的视频流数据的总大小或所需占用的总带宽的变化情况在可预测范围内，通过处理器统计分析获得单位时间内需要上传的多路视频的视频流数据的平均大小或平均占用总带宽，依据此平均值可划分传输网络的网速的不同阈值范围。
进一步地，当多路视频用于呈现一个无人车辆周围的视频影像时，根据带宽使用情况提供对应的分流策略包括：对多路视频中的每一路视频设置优先等级，根据优先等级和带宽使用情况提供多路视频中各路视频的带宽分配比例(步骤S121)。在进行带宽分配时，优先保证优先等级高的一路或几路视频的视频清晰度，在此基础上，将剩余可用带宽依次按照优先等级的顺序进行逐级分配。
例如，对于无人车辆的远程驾驶来说，基于驾驶的安全性考虑，多路视频中前路视频的优先等级高于后路视频的优先等级，后路视频的优先等级高于左路视频和右路视频的优先等级。基于多路视频的优先等级提供分流策略，分流过程简单，无需额外的硬件支持，也不会占用过多的运行内存，保证了无人车远程驾驶的可行性。
在步骤S2中，根据分流策略，将带宽动态的分配给多路视频中的一路或多路视频。结合前述步骤，当通过无人车的处理器确定了分流策略之后，将当前的网络可用带宽按照分流策略中的带宽分配比例进行分配，也即是将当前的网络可用带宽将带宽动态的分配给多路视频中指定的一路或多路视频，以保证指定路视频的视频传输，避免影响无人车的远程驾驶。
例如，当网络环境较差时，根据分流策略，指定将当前的网络可用带宽分配给无人车辆多路视频中的前路视频和后路视频，以保证前路视频和后路视频中视频影像的清晰呈现，进而保障无人车行驶和倒退的基本远程操作。例如，当网络环境很差时，根据分流策略，指定将当前的网络可用带宽分配给无人车辆多路视频中的前路视频，以保证前路视频中视频影像的清晰呈现，进而保障无人车行驶的基本远程操作。
在步骤S3中，根据各路视频分配的带宽动态的调整每路视频的码率等级，以使得当前路视频的码率等级与所分配的带宽相匹配。在当前路视频所分配的带宽高时，调高当前路视频的码率等级，使得当前路视频可以清晰、失真小的编码传输；在当前路视频所分配的带宽低时，调低当前路视频的码率等级，保证当前路视频可以在低带宽的情况下仍完成编码传输；在当前路视频没有分配带宽或者分配的带宽很低时，将当前路视频的码率等级调为最低，或直接关闭当前路视频的数据传输通道。
可选地，当前路视频的码率等级包括清晰、普通和模糊。
基于上述描述，示例性的：当网速处于第一阈值范围内(如大于2.5MB/s)时，提供第一分流策略，确保无人车辆四路视频均正常输出；当网速处于第二阈值范围内(如2.5-1.2MB/s)时，提供第二分流策略，优先保证无人车辆前路视频和后路视频清晰输出，降低左路视频和右路视频的码率等级；当网速处于第三阈值范围内(如小于1.2MB/s)时，提供第三分流策略，停止左路视频和右路视频的编码传输通道，仅保留无人车辆前路视频和后路视频清晰输出；当网速处于第四阈值范围内(如1.2MB/s-600KB/s)时，提供第四分流策略，优先保证无人车辆前路视频清晰输出，降低后路视频的码率等级；当网速处于第五阈值范围内(如小于600KB/s)时，提供第五分流策略，停止无人车辆的左路视频、右路视频和后路视频的编码传输通道，仅保留无人车辆前路视频清晰输出。其中，每一分流策略均对不同的带宽分配比例。
在步骤S4中，根据调整后的码率等级对多路视频进行编码传输。根据已经调整好的视频码率，由无人车的视频编码单元对应提供的如分辨率、帧率等视频编码参数，提交至视频编码器后，由视频编码器完成对当前单位时间段内的指定路的视频流编码，并通过无人车视频推流服务应用调用对应的应用程序接口，以将编码后的视频上传至视频云服务器，完成对弱网环境下多路视频中指定路视频的编码传输。
基于本实施方式，通过实时侦测多路视频的视频流数据在上传至云服务器的过程中所占用的总带宽以及当前网络可用带宽，以制定对应的分流策略，进而分流策略实现多路视频中网络可用带宽的动态分配，实现了弱网环境下车端视频流数据的定向分流传输，进而为弱网环境下无人车辆的远程驾驶的可行性提供了保证。
实施例二
本实施例提供的弱网环境下多路视频的编码传输方法如图2所示。
具体地，本实施所提供的弱网环境下多路视频的编码传输方法基本采用与上述实施例一相同的步骤，因此不再赘述。
区别之处在于：本实施例中，实时侦测多路视频的视频流数据在上传至云服务器的过程中的带宽使用情况，并根据带宽使用情况提供对应的分流策略包括：侦测无人车辆上所有摄像头在单位时间内上传的视频流数据所需的总带宽，根据总带宽所处的阈值范围提供对应的分流策略(步骤S112)。
具体的，在弱网环境下，传输网络的网络可用带宽会下降到一定的阈值以下，此时通过处理器侦测无人车辆上所有摄像头拍摄的多路视频单位时间内上传到无人车系统内存的视频流数据所需占用的总带宽，并根据该总带宽所处的不同的阈值范围提供对应的分流策略。
基于本实施方式，无人车辆的处理器仅需根据单位时间内所需上传的多路视频的视频数据流大小来制定分流策略，省去了对外部网速的测量获取环节，减少了所需的运行内存，节省了处理器资源。
实施例三
本实施例提供的弱网环境下多路视频的编码传输方法如图3所示。
具体地，本实施所提供的弱网环境下多路视频的编码传输方法基本采用与上述实施例一相同的步骤，因此不再赘述。
区别之处在于：本实施例中，实时侦测多路视频的视频流数据在上传至云服务器的过程中的带宽使用情况，并根据带宽使用情况提供对应的分流策略包括：侦测无人车辆上所有摄像头在单位时间内上传的视频流数据所需的总带宽占当前传输网络可用带宽的比例，根据比例所处的阈值范围提供对应的分流策略(步骤S113)。
具体的，通过处理器侦测无人车辆上所有摄像头拍摄的多路视频单位时间内上传到无人车系统内存的视频流数据所需占用的总带宽，同时通过相应的带宽测量软件获取当前传输网络的可用带宽，由处理器计算获得视频流数据所需的总带宽占当前传输网络可用带宽的比例，根据计算所获得的比例值所处的不同阈值范围提供对应的分流策略。
基于本实施方式，通过对单位时间内所需上传的多路视频的视频数据流大小及所需占用的总带宽，以及对当前网络可用带宽两个因素的综合考量所提供的分流策略，使得无人车辆在不同拍摄场景和/或网络环境下都能够具有良好的适应性，进一步的提高了无人车远程操控的准确性。
实施例四
本实施例提供的弱网环境下多路视频的编码传输方法如图4所示。
具体地，本实施所提供的弱网环境下多路视频的编码传输方法基本采用与上述实施例一至三中任一实施例相同的步骤，因此不再赘述。
区别之处在于：本实施例中，当多路视频用于呈现一个无人车辆周围的视频影像时，根据带宽使用情况提供对应的分流策略包括：检测多路视频中每一路视频的视频内容，根据视频内容设置各路视频的权重系数，并根据权重系数和带宽使用情况提供多路视频中各路视频的带宽分配比例(步骤S122)。
具体的，通过无人车辆上的视频摄像头获取到每路视频的视频影像后，通过设置在无人车上的视频图像处理单元对所拍摄的每路视频进行解析以获取每一路视频的视频内容，同时根据视频内容设置多路视频中各路视频的权重系数，进而对权重系数高的一路或几路视频，分配更高的带宽。
进一步地，多路视频中各路视频的权重系数与以下中的至少之一正相关：当前路视频中的人流信息；当前路视频中的车流信息；当前路视频中无人车辆与障碍物的距离信息；当前路视频中的路面平坦度信息；以及无人车辆的行驶方向。例如，当某路视频中距离无人车一定距离内的人流量和/或高时，和/或某路视频中无人车与障碍物的距离更近时，和/或某路视频中路面的平坦度较低时，对该录视频设置较高的权重系数。
可选地，基于远程驾驶的基本操作和安全性，对无人车辆的行驶方向所对应的一路视频设置最高的权重系数。
基于本实施方式，增强了无人车远程驾驶在不同的场景路段的适应性，在使得远程操控具有良好可行性的前提下，提高了无人车辆的自身安全和行人安全。
实施例五
本实施例提供的弱网环境下多路视频的编码传输方法如图5所示。
具体地，本实施所提供的弱网环境下多路视频的编码传输方法基本采用与上述实施例一相同的步骤，因此不再赘述。
区别之处在于：本实施例中多路视频呈现的是多个无人车辆周围的视频影像。在多路视频用于呈现多个无人车辆周围的视频影像的情况下，根据带宽使用情况提供对应的分流策略包括：对多个无人车辆中的每一无人车辆设置第一优先等级，对每一无人车辆中的每一路视频设置第二优先等级，根据第一优先等级、第二优先等级和带宽使用情况提供多路视频中各路视频的带宽分配比例(步骤S123)。
具体的，多个无人车辆的第一优先等级与以下中的至少之一正相关：无人车辆的行驶速度；无人车辆行驶路段的拥挤程度；无人车辆行驶路段的路面平坦程度。例如，行驶中的无人车的第一优先等级比未行使的无人车的第一优先等级高；速度快的无人车的第一优先等级比速度慢的无人车的第一优先等级高；行驶在拥挤路段的无人车的第一优先等级比行驶在宽松地段的无人车的第一优先等级高；以及行驶在坑洼路段的无人车的第一优先等级比行驶在平坦地段的无人车的第一优先等级高。
每一无人车辆中的每一路视频设置第二优先等级与实施例一中每一路视频设置的优先等级相同，此处不再赘述。
进一步地，在结合第一优先等级和第二优先等级提供分流策略时，也需对第一优先等级低的无人车辆的行驶方向对应的一路视频指定带宽分配(处于未行使状态的无人车辆除外)，以保障每一无人车辆的远程驾驶安全。
基于本实施方式，通过第一优先等级和第二优先等级综合提供分流策略，实现了视频服务同时支持多实施例多房间的网络可用带宽的动态、指定分配，和弱网环境下车端视频流数据的定向分流传输，进而为弱网环境下多个无人车辆同时进行远程驾驶的可行性提供了保障。
实施例六
本实施例提供的弱网环境下多路视频的编码传输方法如图6所示。
具体地，本实施所提供的弱网环境下多路视频的编码传输方法基本采用与上述实施例四相同的步骤，因此不再赘述。
区别之处在于：本实施例中多路视频呈现的是多个无人车辆周围的视频影像。在多路视频用于呈现多个无人车辆周围的视频影像的情况下，根据带宽使用情况提供对应的分流策略包括：检测多路视频中每一路视频的视频内容，根据视频内容设置每一无人车辆中各路视频的权重系数以及根据每一无人车辆中各路视频的权重系数设置多个无人车辆中的每一无人车辆的权重系数，并根据每一无人车辆的权重系数、每一无人车辆中各路视频的权重系数和带宽使用情况提供多路视频中各路视频的带宽分配比例(步骤S124)。
具体的，设置每一无人车辆中各路视频的权重系数与实施例四的方案相同，此处不再赘述。之后根据每一无人车辆中各路视频的权重系数的综合权重，设置多个无人车辆中的每一无人车辆的权重系数。进而对权重系数高的一个或几个无人车辆，以及该一个或几个无人车辆中的一路或几路视频，分配更高的带宽。
进一步地，对于权重系数低的无人车辆，也需对其行驶方向对应的一路视频指定带宽分配(处于未行使状态的无人车辆除外)，以保障每一无人车辆的远程驾驶安全。
基于本实施方式，增强了无人车远程驾驶在不同的场景路段的适应性，在使得远程操控具有良好可行性的前提下，提高了无人车辆的自身安全和行人安全。同时也为弱网环境下多个无人车辆同时进行远程驾驶的可行性提供了保障。
需要说明的是，对于上述各实施例中多个步骤的执行或实施顺序，本发明不做具体限定。上述各实施例的不同组合所涵盖的步骤组合也可以作为本发明的新的实施例，其也属于本发明的保护范围，此处不再赘述。
基于同一发明构思，本发明还公开了一种弱网环境下多路视频的编码传输装置，其中，多路视频用于呈现无人车辆周围的视频影像，如图7所示，该装置10包括：
测速单元101，用于侦测多路视频编码传输时所占用的总带宽，以及当前网络带宽，并根据侦测结果提供对应的分流策略。
带宽分配单元102，用于根据分流策略将带宽动态分配给多路视频中的一路或多路视频。
码率调整单元103，根据各路视频所分配的带宽，动态调整每路视频的码率等级，以使得当前路视频的码率等级与所分配的带宽相匹配。
视频编码单元104，用于根据调整后的码率等级提供视频编码参数，并根据编码参数对当前路视频进行编码。
视频传输单元105，用于将编码后的当前路视频上传至云服务器。
进一步地，该装置还包括：视频图像处理单元106，用于获取多路视频中每一路视频的视频内容，并根据视频内容生成权重系数。
进一步地，该装置还包括：存储单元107，用于存储多路视频中每一路视频的优先等级和/或权重系数。带宽分配单元102从存储单元107中获取存储的优先等级和/或权重系数进行带宽的指定分配。
基于同一发明构思，本发明还公开了一种无人车辆，如图8所示，该无人车辆上1设置有：视频采集装置11，用于采集获取多路视频。其中，视频采集装置11包括设置在无人车辆1周侧的多个摄像头(如环视摄像头、广角摄像头)。
以及如上述的弱网环境下多路视频的编码传输装置10，用于根据实时的网络环境选择性的将多路视频中的一路或多路上传至云服务器。
综上，本发明通过实时侦测多路视频的视频流数据在上传至云服务器的过程中所占用的总带宽以及当前网络可用带宽，以制定对应的分流策略，进而分流策略实现多路视频中网络可用带宽的动态分配，实现了弱网环境下车端视频流数据的定向分流传输，进而为弱网环境下无人车辆的远程驾驶的可行性提供了保证。
应当说明的是，在本文中，所含术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后应说明的是：显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。
Claims (10)
1.一种弱网环境下多路视频的编码传输方法，其特征在于，所述多路视频用于呈现无人车辆周围的视频影像，所述方法包括：
实时侦测所述多路视频的视频流数据在上传至云服务器的过程中的带宽使用情况，并根据所述带宽使用情况提供对应的分流策略，其中包括：
侦测所述无人车辆上所有摄像头在单位时间内上传的视频流数据所需的总带宽占当前传输网络可用带宽的比例，根据所述比例所处的阈值范围提供对应的分流策略，
检测所述多路视频中每一路视频的视频内容，根据所述视频内容设置各路视频的权重系数，并根据所述权重系数和所述带宽使用情况提供所述多路视频中各路视频的带宽分配比例，
其中，所述多路视频中各路视频的权重系数与以下中的至少之一正相关：当前路视频中的人流信息、当前路视频中的车流信息、当前路视频中无人车辆与障碍物的距离信息、当前路视频中的路面平坦度信息、以及所述无人车辆的行驶方向，
根据所述分流策略，将带宽动态的分配给所述多路视频中的一路或多路视频；
根据各路视频分配的带宽动态的调整每路视频的码率等级，以使得当前路视频的码率等级与所分配的带宽相匹配；
根据调整后的码率等级对所述多路视频进行编码传输。
2.根据权利要求1所述的弱网环境下多路视频的编码传输方法，其特征在于，
所述多路视频用于呈现一个无人车辆周围的视频影像，包括所述无人车辆的前路视频、后路视频、左路视频以及右路视频；或者
所述多路视频用于呈现多个无人车辆周围的视频影像，包括所述多个无人车辆中每个无人车辆的前路视频、后路视频、左路视频以及右路视频，
其中，所述前路视频用于呈现无人车辆行驶方向的视频影像。
3.根据权利要求2所述的弱网环境下多路视频的编码传输方法，其特征在于，实时侦测所述多路视频的视频流数据在上传至云服务器的过程中的带宽使用情况，并根据所述带宽使用情况提供对应的分流策略还包括以下中的至少之一：
侦测当前传输网络的网速，根据所述网速所处的阈值范围提供对应的分流策略；
侦测所述无人车辆上所有摄像头在单位时间内上传的视频流数据所需的总带宽，根据所述总带宽所处的阈值范围提供对应的分流策略。
4.根据权利要求2-3中任一项所述的弱网环境下多路视频的编码传输方法，其特征在于，在所述多路视频用于呈现一个无人车辆周围的视频影像的情况下，根据所述带宽使用情况提供对应的分流策略还包括：
对所述多路视频中的每一路视频设置优先等级，根据所述优先等级和所述带宽使用情况提供所述多路视频中各路视频的带宽分配比例。
5.根据权利要求4所述的弱网环境下多路视频的编码传输方法，其特征在于，
所述多路视频中所述前路视频的优先等级高于所述后路视频的优先等级，所述后路视频的优先等级高于所述左路视频和所述右路视频的优先等级。
6.根据权利要求1-3中任一项所述的弱网环境下多路视频的编码传输方法，在所述多路视频用于呈现多个无人车辆周围的视频影像的情况下，根据所述带宽使用情况提供对应的分流策略包括以下中的至少之一：
对所述多个无人车辆中的每一无人车辆设置第一优先等级，对所述每一无人车辆中的每一路视频设置第二优先等级，根据所述第一优先等级、所述第二优先等级和所述带宽使用情况提供所述多路视频中各路视频的带宽分配比例；
检测所述多路视频中每一路视频的视频内容，根据所述视频内容设置每一无人车辆中各路视频的权重系数，以及根据每一无人车辆中各路视频的权重系数设置所述多个无人车辆中的每一无人车辆的权重系数，并根据每一无人车辆的权重系数、每一无人车辆中各路视频的权重系数和所述带宽使用情况提供所述多路视频中各路视频的带宽分配比例。
7.根据权利要求6所述的弱网环境下多路视频的编码传输方法，其特征在于，所述第一优先等级与以下中的至少之一正相关：
所述无人车辆的行驶速度；
所述无人车辆行驶路段的拥挤程度；
所述无人车辆行驶路段的路面平坦程度。
8.一种弱网环境下多路视频的编码传输装置，其特征在于，所述多路视频用于呈现无人车辆周围的视频影像，所述装置包括：
测速单元，用于侦测所述多路视频编码传输时所占用的总带宽，以及当前网络带宽，并根据侦测结果提供对应的分流策略；其中，所述根据侦测结果提供对应的分流策略包括：
侦测所述无人车辆上所有摄像头在单位时间内上传的视频流数据所需的总带宽占当前传输网络可用带宽的比例，根据所述比例所处的阈值范围提供对应的分流策略，
对所述多路视频中的每一路视频设置优先等级，根据所述优先等级和所述带宽使用情况提供所述多路视频中各路视频的带宽分配比例；
检测所述多路视频中每一路视频的视频内容，根据所述视频内容设置各路视频的权重系数，并根据所述权重系数和所述带宽使用情况提供所述多路视频中各路视频的带宽分配比例，
其中，所述多路视频中各路视频的权重系数与以下中的至少之一正相关：当前路视频中的人流信息、当前路视频中的车流信息、当前路视频中无人车辆与障碍物的距离信息、当前路视频中的路面平坦度信息、以及所述无人车辆的行驶方向；带宽分配单元，用于根据所述分流策略将带宽动态分配给所述多路视频中的一路或多路视频；
码率调整单元，根据各路视频所分配的带宽，动态调整每路视频的码率等级，以使得当前路视频的码率等级与所分配的带宽相匹配；
视频编码单元，用于根据调整后的码率等级提供视频编码参数，并根据所述编码参数对当前路视频进行编码；以及
视频传输单元，用于将编码后的当前路视频上传至云服务器。
9.根据权利要求8所述的弱网环境下多路视频的编码传输装置，其特征在于，所述装置还包括：
视频图像处理单元，用于获取所述多路视频中每一路视频的视频内容，并根据所述视频内容生成权重系数，
存储单元，用于存储所述多路视频中每一路视频的优先等级和/或权重系数。
10.一种无人车辆，其特征在于，所述无人车辆上设置有：
视频采集装置，用于采集获取所述多路视频；
如权利要求8-9中任一项所述的弱网环境下多路视频的编码传输装置，用于根据实时的网络环境选择性的将所述多路视频中的一路或多路上传至云服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010316419.3A CN111510735B (zh) | 2020-04-21 | 2020-04-21 | 弱网环境下多路视频的编码传输方法、装置及无人车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010316419.3A CN111510735B (zh) | 2020-04-21 | 2020-04-21 | 弱网环境下多路视频的编码传输方法、装置及无人车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111510735A CN111510735A (zh) | 2020-08-07 |
| CN111510735B true CN111510735B (zh) | 2022-11-01 |
Family
ID=71872981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010316419.3A Active CN111510735B (zh) | 2020-04-21 | 2020-04-21 | 弱网环境下多路视频的编码传输方法、装置及无人车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111510735B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968367B (zh) * | 2020-08-12 | 2021-12-14 | 上海宝通汎球电子有限公司 | 一种物联网通信管理系统和管理方法 |
| WO2022236758A1 (zh) * | 2021-05-13 | 2022-11-17 | 深圳市大疆创新科技有限公司 | 数据编码方法和设备 |
| CN113612969A (zh) * | 2021-07-29 | 2021-11-05 | 北京三快在线科技有限公司 | 用于无人驾驶设备远程遥控的视频数据传输的方法及装置 |
| US11991346B2 (en) | 2021-11-15 | 2024-05-21 | Ford Global Technologies, Llc | Video streaming anomaly detection |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102783170A (zh) * | 2010-03-05 | 2012-11-14 | 汤姆森特许公司 | 自适应流传输系统中的比特率调整 |
| CN107623851A (zh) * | 2017-09-01 | 2018-01-23 | 苏州科达科技股份有限公司 | 视频码流传输控制装置及控制方法 |
| CN109511174A (zh) * | 2017-09-15 | 2019-03-22 | 北京京东尚科信息技术有限公司 | 无人驾驶装置通信控制方法、终端和无人驾驶系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101834776A (zh) * | 2009-03-13 | 2010-09-15 | 华为技术有限公司 | 一种带宽控制方法和装置、系统 |
| GB2498992B (en) * | 2012-02-02 | 2015-08-26 | Canon Kk | Method and system for transmitting video frame data to reduce slice error rate |
| CN104125429B (zh) * | 2013-04-27 | 2018-07-06 | 杭州海康威视数字技术股份有限公司 | 视频数据传输的调节方法及装置 |
| CN104333767B (zh) * | 2014-10-10 | 2019-07-02 | 厦门雅迅网络股份有限公司 | 一种车载视频监控系统多通道优先级控制方法及系统 |
| CN105263019B (zh) * | 2015-11-06 | 2019-07-02 | 厦门雅迅网络股份有限公司 | 一种多路无线远程视频实时传输自适应方法 |
| CN105827633B (zh) * | 2016-05-06 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种视频传输方法及装置 |
| CN106231353B (zh) * | 2016-07-22 | 2019-09-27 | 北京小米移动软件有限公司 | VoIP通信方法及装置 |
| CN107995017B (zh) * | 2016-10-27 | 2021-08-24 | 杭州萤石网络股份有限公司 | 一种上行带宽分配方法、装置及系统 |
| CN108881972B (zh) * | 2018-08-01 | 2021-06-15 | 广州视源电子科技股份有限公司 | 一种码率分配方法、装置、设备和存储介质 |
| CN110769271B (zh) * | 2019-11-11 | 2021-09-14 | 广州酷狗计算机科技有限公司 | 调节多路码流的码率的方法和装置 |
-
2020
- 2020-04-21 CN CN202010316419.3A patent/CN111510735B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102783170A (zh) * | 2010-03-05 | 2012-11-14 | 汤姆森特许公司 | 自适应流传输系统中的比特率调整 |
| CN107623851A (zh) * | 2017-09-01 | 2018-01-23 | 苏州科达科技股份有限公司 | 视频码流传输控制装置及控制方法 |
| CN109511174A (zh) * | 2017-09-15 | 2019-03-22 | 北京京东尚科信息技术有限公司 | 无人驾驶装置通信控制方法、终端和无人驾驶系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111510735A (zh) | 2020-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111510735B (zh) | 弱网环境下多路视频的编码传输方法、装置及无人车辆 | |
| US10694249B2 (en) | Method and system for selective content processing based on a panoramic camera and a virtual-reality headset | |
| CN105472477A (zh) | 一种数据传输方法、装置及设备 | |
| US20170070554A1 (en) | Method and system for flow-rate regulation in a content-controlled streaming network | |
| CN113068001B (zh) | 基于级联摄像机的数据处理方法、装置、设备和介质 | |
| CN113905257A (zh) | 视频码率切换方法、装置、电子设备及存储介质 | |
| US20110310955A1 (en) | Method and system for repetition based adaptive video compression | |
| US20220368860A1 (en) | Transmission method, transmission system, and system control device | |
| US20140298394A1 (en) | Image processing device, image processing method, and computer program | |
| CN107750456B (zh) | 利用依赖于复杂性信息的一个信号的数据速率目标对多个信号进行编码 | |
| JPWO2006137480A1 (ja) | 画像データ通信装置 | |
| Kan et al. | A server-side optimized hybrid multicast-unicast strategy for multi-user adaptive 360-degree video streaming | |
| CN112565693B (zh) | 监控视频点播方法、系统及设备 | |
| KR20210059600A (ko) | 라이브 비디오 수집 시스템 및 방법 | |
| US20200021826A1 (en) | Method and system for panoramic multimedia streaming | |
| CN108429705B (zh) | 一种链路带宽分配方法及装置 | |
| JP7299451B2 (ja) | パノラマカメラ及びバーチャルリアリティのヘッドセットに基づく選択的なコンテンツ処理のための方法及びシステム | |
| CN112565178B (zh) | 基于流媒体技术的无人机电力设备巡检系统 | |
| US20140327781A1 (en) | Method for video surveillance, a related system, a related surveillance server, and a related surveillance camera | |
| Chen et al. | A Content Driven Resource Allocation Scheme for Video Transmission in Vehicular Networks | |
| US10237582B2 (en) | Video stream processing method and video stream device thereof | |
| CN106604041B (zh) | 一种基于视觉连续性的全景视频分发方法和系统 | |
| CN108476345A (zh) | 内容控制流媒体网络中的流量速率调节的方法和系统 | |
| KR101043755B1 (ko) | 우선순위 할당식 지능형 감시 영상 전송 방법 | |
| EP4322495A1 (en) | Method as well as system for transmitting data by means of radio signals and adapting transmission rate of one or more entities by means of data encoding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230703 Address after: 200120, 1st and 2nd floors, No. 7, Lane 999, Haike Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai Patentee after: Neolithic Zhongyan (Shanghai) Technology Co.,Ltd. Address before: 102200 Beijing science and technology city Changping District two North Street two Anshan Iron and Steel Research Institute No. 122 hospital Patentee before: NEOLIX TECHNOLOGIES Co.,Ltd. |