CN114520873A - 一种清扫车视频加速方法及系统 - Google Patents

一种清扫车视频加速方法及系统 Download PDF

Info

Publication number
CN114520873A
CN114520873A CN202111683209.9A CN202111683209A CN114520873A CN 114520873 A CN114520873 A CN 114520873A CN 202111683209 A CN202111683209 A CN 202111683209A CN 114520873 A CN114520873 A CN 114520873A
Authority
CN
China
Prior art keywords
target area
image
video
sweeper
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111683209.9A
Other languages
English (en)
Inventor
吴荣华
霍达
马蓝宇
杨庆雄
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Weride Technology Co Ltd
Original Assignee
Guangzhou Weride Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Weride Technology Co Ltd filed Critical Guangzhou Weride Technology Co Ltd
Priority to CN202111683209.9A priority Critical patent/CN114520873A/zh
Publication of CN114520873A publication Critical patent/CN114520873A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622Signal amplitude transition in the zone between image portions, e.g. soft edges
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种清扫车视频加速方法及系统,该方法包括:获取原图;根据第一预设裁剪区将原图划分为非目标区和目标区;根据第一播放帧率阈值对非目标区采用第一压缩率进行有损压缩处理,以使非目标区设置成与第一播放帧率阈值匹配的图像清晰度;拼接非目标区和目标区得到待显示图像;其中待显示图像在整个图像中通过非目标区和目标区的划分形成图像清晰度的分层。本申请根据第一播放帧率阈值对非目标区采用第一压缩率进行有损压缩处理,使得待显示图像在整个图像中通过非目标区和目标区的划分形成图像清晰度的分层,通过降低视频数据在传输过程中每秒的数据传输吞吐量,达到播放优化效果。

Description

一种清扫车视频加速方法及系统
技术领域
本申请涉及智能清扫车技术领域,尤其涉及一种清扫车视频加速方法及系统。
背景技术
在基于自动驾驶的清扫车进行清扫的过程中,清扫车与自动驾驶云控平台存在视频图像的数据传输。其中,自动驾驶云控平台作为服务端并对清扫车采集的清扫视频图像进行处理。而自动驾驶云控平台还需将处理后的视频图像转发至客户端,进而完成对清扫过程的视频实时播放。
在传统技术中,需要传输的清扫车视频包含前路面、后路面、左路面、右路面、清扫部件等等的各种不同视角的原图,因此传输文件数量巨大。
而发明人发现现有的清扫车采用的是全面使用原图传输并进行播放,这种全面使用原图的方式会因每帧视频图像过大而导致卡顿现象。而当存在网络波动的情况下,卡顿现象会更加明显,进而需要自动驾驶云控平台额外采用调帧处理来恢复清扫过程中视频播放的实时性。
发明内容
本申请的目的在于至少解决现有技术中存在的技术问题之一,本申请的第一目的在于提供一种清扫车视频加速方法,降低传输文件大小,及时响应网络波动情况,从而优化播放效果。
本申请的第二目的在于提供一种清扫车视频加速系统。
本申请的第三目的在于提供一种视频传输系统。
本申请的第四目的在于提供一种电子设备。
本申请的第五目的在于提供一种计算机可读存储介质。
本申请的第六目的在于提供一种清扫车。
为了达到上述第一目的,本申请采用以下技术方案:
一种清扫车视频加速方法,包括:
获取原图;
根据第一预设裁剪区将所述原图划分为非目标区和目标区;
根据第一播放帧率阈值对所述非目标区采用第一压缩率进行有损压缩处理,以使所述非目标区设置成与所述第一播放帧率阈值匹配的图像清晰度;
拼接所述非目标区和所述目标区得到待显示图像;
其中所述待显示图像在整个图像中通过非目标区和目标区的划分形成图像清晰度的分层,所述待显示图像用于形成清扫车视频。
作为优选的技术方案,所述原图为通过清扫车在不同视角处进行采集得到,基于不同视角的原图设置所述第一预设裁剪区。
作为优选的技术方案,在执行所述拼接所述非目标区和所述目标区得到待显示图像之前,还包括:
根据第二播放帧率阈值对所述目标区采用第二压缩率进行有损压缩处理,以使所述目标区设置成与所述第二播放帧率阈值匹配的图像清晰度;
其中所述第二压缩率低于所述第一压缩率,使得所述待显示图像在所述目标区的图像清晰度高于在所述非目标区的图像清晰度。
作为优选的技术方案,在所述根据第一预设裁剪区将所述原图划分为非目标区和目标区中,所述第一预设裁剪区将所述目标区划分至整个图像的内层,将所述非目标区划分至整个图像的外层;
并且所述清扫车视频加速方法还包括:
根据第二预设裁剪区将所述非目标区划分为至少两个非目标子区,设置多个第三播放帧率阈值和多个第三压缩率,为每个非目标子区匹配对应的第三播放帧率阈值和第三压缩率;
根据所述多个第三播放帧率阈值对所有的非目标子区采用相应的第三压缩率进行有损压缩处理,以使所有的非目标子区设置成与所述多个第三播放帧率阈值匹配的图像清晰度。
作为优选的技术方案,所述非目标子区彼此相连并由外向内依次形成层级结构;
在所述层级结构中,对任意相邻的两个非目标子区,处于外层的非目标子区所匹配的第三播放帧率阈值小于处于内层的非目标子区所匹配的第三播放帧率阈值。
作为优选的技术方案,还包括:
获取所述原图与对应的上一帧原图之间的色值差,根据色值变化阈值判断场景是否变换;
根据场景变换情况对所有非目标子区进行动态调节其匹配的第三播放帧率阈值,根据场景变换情况对所述目标区进行动态调节所述第二播放帧率阈值。
作为优选的技术方案,所述第三播放帧率阈值至少设置为1HZ。
作为优选的技术方案,还包括:对网络波动情况分级得到网络波动级数,根据网络波动级数对所有非目标子区进行动态调节其匹配的第三播放帧率阈值,根据网络波动级数对所述目标区进行动态调节所述第二播放帧率阈值。
作为优选的技术方案,在拼接所述非目标区和所述目标区得到待显示图像中,还包括:对拼接后的图像进行锯齿消除处理,进而得到所述待显示图像。
作为优选的技术方案,所述锯齿消除处理,具体包括:分别依次进行锯齿边缘检测、锯齿边缘重新矢量化、混合锯齿位置像素的操作。
作为优选的技术方案,在有损压缩处理中,还包括:图像清晰度处理,即基于灰度方差算法进行优化图像清晰度的大小。
作为优选的技术方案,在根据第一预设裁剪区将所述原图划分为非目标区和目标区前,还包括:图像预处理,具体包括:根据浅像素阈值去除浅色像素点。
为了达到上述第二目的,本申请采用以下技术方案:
一种清扫车视频加速系统,包括:
数据获取模块,用于获取原图;
裁剪模块,用于根据第一预设裁剪区将所述原图划分为非目标区和目标区;
压缩模块,用于根据第一播放帧率阈值对所述非目标区采用第一压缩率进行有损压缩处理,以使所述非目标区设置成与所述第一播放帧率阈值匹配的图像清晰度;
拼接模块,用于拼接所述非目标区和所述目标区得到待显示图像;
其中所述待显示图像在整个图像中通过非目标区和目标区的划分形成图像清晰度的分层,所述待显示图像用于形成清扫车视频。
为了达到上述第三目的,本申请采用以下技术方案:
一种视频传输系统,设有视频采集设备和终端设备,所述视频采集设备包括至少一个摄像头、第一数据传输模块,所述视频传输系统还包括服务器,所述服务器用于运行上述的清扫车视频加速系统,所述清扫车视频加速系统还包括第二数据传输模块,所述摄像头用于采集原始视频数据,所述第一数据传输模块用于上传所述原始视频数据,所述第二数据传输模块用于接收所述原始视频数据、将预设时间段内的待显示图像作为待播视频数据并将其发送至终端设备,所述原始视频数据包括多个原始图像数据,所述原图为当前处理时的原始图像数据,所述终端设备用于接收并显示所述待播视频数据。
为了达到上述第四目的,本申请采用以下技术方案:
一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的清扫车视频加速方法。
为了达到上述第五目的,本申请采用以下技术方案:
一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序适于由处理器加载并执行,以使得具有所述处理器的计算机设备执行上述的清扫车视频加速方法。
为了达到上述第六目的,本申请采用以下技术方案:
一种清扫车,设有视频采集设备,所述视频采集设备包括至少一个摄像头、第一数据传输模块,所述清扫车还包括上述的电子设备,所述视频采集设备与所述电子设备连接;
所述摄像头用于采集原始视频数据,所述第一数据传输模块用于上传所述原始视频数据,所述电子设备接收所述原始视频数据,所述原始视频数据包括多帧原始图像数据,所述原图为当前处理时的原始图像数据。
相比现有技术,本发明的有益效果主要包括以下几个方面:
1、本申请提出的清扫车视频加速方法通过对原图进行划分、有损压缩处理、拼接得到待显示图像,该待显示图像在整个图像中通过非目标区和目标区的划分形成图像清晰度的分层,形成图像尺寸与图像清晰度匹配的关系,通过有损压缩减少图像文件大小的同时保证目标区符合用户要求的清晰度,使用户在客户端能够实时播放的同时具有更好的播放体验。
2、本申请提出的清扫车视频加速方法根据第一播放帧率阈值对非目标区采用第一压缩率进行有损压缩处理并使非目标区设置成匹配的图像清晰度,该方法通过满足用户关注的目标区的播放帧率要求并降低靠近非目标区的播放帧率要求,达到减小整体合成的图片文件大小的同时减少播放帧率要求下的视频传输过程中每秒的数据传输吞吐量和客户端加载图像的耗时,从而能够满足清扫车视频图像对不同显示区域的播放帧率要求,相比现有技术中采用全面使用原图播放的方式具有播放优化的效果,
3、本申请提出的清扫车视频加速方法将非目标区划分为至少两个非目标子区,并根据多个第三播放帧率阈值对所有的非目标子区采用相应的第三压缩率进行有损压缩处理,以使所有的非目标子区设置成与多个第三播放帧率阈值匹配的图像清晰度,申请通过对非目标子区进行针对性的细节处理,使得处理后的待显示图像更清晰,更能满足监控要求。
4、本申请提出的清扫车视频加速方法通过结合场景变换情况和用户请求进行动态调节第一播放帧率阈值、第二播放帧率阈值、第三播放帧率阈值,这对提供车联网相关服务的自动驾驶云控平台而言,能够及时调整传输文件的大小,从而保证了清扫车的清扫视频传输的实时性,并使得用户在客户端有流畅的观看效果。
5、本申请提出的清扫车视频加速方法对根据网络波动级数对所有非目标子区进行动态调节其匹配的第三播放帧率阈值,根据网络波动级数对所述目标区进行动态调节所述第二播放帧率阈值;该方法能够根据实际传输时网络波动的情况来动态调整目标区和所有非目标子区,通过及时调整相应的播放帧率、图像清晰度来及时响应网络差的情况,从而改善了用户在客户端在网络波动下视频播放卡顿明显的情况。
6、清扫车在不同视角下能够获取不同类型原图,各类型原图对目标区的选择不同,其对图像清晰度的要求不一样,本申请提出的清扫车视频加速方法基于不同视角的原图,设置对应的裁剪大小,并进行对应的压缩、再拼接形成待显示图像用于视频播放,达到对不同视角下的原图进行动态处理的目的,相比现有技术中采用直接传输前路面、后路面、左路面、右路面、清扫部件等等的各种不同视角的原图用于视频播放的方案,该方法在满足图像清晰度、网速要求和用户要求帧率的前提下,大大减小了待显示图像的总量大小,最终达到在符合图像清晰度和播放帧率要求下的最优的传输效果。
附图说明
图1为一个实施例中清扫车视频加速方法的流程示意图;
图2为一个实施例中锯齿消除处理的步骤流程示意图;
图3为一个实施例中经过清扫车视频加速方法处理后的显示示意图;
图4为一个实施例中清扫车视频加速系统的结构示意框图;
图5为一个实施例中视频传输系统的结构示意框图。
其中,100-清扫车视频加速系统,101-数据获取模块,102-裁剪模块,103-压缩模块,104-拼接模块,105-第二数据传输模块,200-视频传输系统,300-视频采集设备,301-摄像头,302-第一数据传输模块,400-终端设备,500-服务器。
具体实施方式
本部分将详细描述本申请的具体实施例,本申请之较佳实施例在附图中示出,附图的作用在于用图形补充说明书文字部分的描述,使人能够直观地、形象地理解本申请的每个技术特征和整体技术方案,但其不能理解为对本申请保护范围的限制。
参见图1所示,在一个实施例中,提供了一种清扫车视频加速方法,该方法包括:
S1、获取原图;
S2、根据第一预设裁剪区将原图划分为非目标区和目标区;
需要说明的是,经过第一预设裁剪区进行裁剪处理后将原图划分为两部分区域,一部分区域作为非目标区,另一部分区域作为目标区。其中图像裁剪的定位位置可以根据具体的第一预设裁剪区而改变,此处本领域技术人员可根据实际情况的需求进行设置,在此不做限制。
此外,原图为通过清扫车在不同视角处进行采集得到,基于不同视角的原图设置第一预设裁剪区。
示例性的,设置第一预设裁剪区定位在原图的中心区域,该第一预设裁剪区可以是四边形框或圆形框等规则框,划分后非目标区和目标区可以形成由外向内形成的层级结构,即将非目标区划分在第一预设裁剪区外并形成外层,将目标区划分在第一预设裁剪区内并形成内层;
示例性的,设置第一预设裁剪区定位在原图的左侧区域,以第一预设裁剪区采用规则框中的矩形框为例,该第一预设裁剪区以矩形的一边轮廓边与原图中心线完全重合,形成对原图划分为左右块区域,则划分后非目标区和目标区可以形成为左右分布的规则分块结构,即将非目标区划分在第一预设裁剪区外形成右侧块,将目标区划分在第一预设裁剪区内形成左侧块。相应地,也可以形成为上下分布的规则分块结构。
示例性的,设置第一预设裁剪区定位在原图的任意区域,并采用无规则框,该无规则框可以通过直线、曲线或两者结合形成得到,划分后非目标区和目标区可以形成无规则分块结构,即将非目标区划分在第一预设裁剪区外并形成第一无规则块,将目标区划分在第一预设裁剪区内并形成第二无规则块。
S3、根据第一播放帧率阈值对非目标区采用第一压缩率进行有损压缩处理,以使非目标区设置成与第一播放帧率阈值匹配的图像清晰度;
需要说明的是,有损压缩处理用于减少图像的文件大小,同时对于同一处理图像,不同的压缩率会降低画面显示的图像清晰度,从而降低非目标区所在区域的图像清晰度;
此外,进行压缩处理前都会保留处理前的图像,在有损压缩处理的过程中,图像清晰度会随着压缩率的调整而不同,压缩率越高,处理后的图像清晰度越低,即图像模糊度越高。
在有损压缩处理中,还包括:图像清晰度处理。
需要说明的是,图像清晰度处理用于优化图像清晰度的大小。其中图像清晰度处理,具体包括基于灰度方差算法进行优化图像清晰度的大小。
示例性的,图像清晰度处理,具体包括:
先对每一个像素水平右侧邻域的两个灰度值相减再相乘;
再逐个像素累加,获得相邻两个像素灰度差的平方和,并调整至预设清晰度处理阈值,使得突变像素与相邻像素的差值变大、图像中的高频分量增加,从而使得图像清晰。
S4、拼接非目标区和目标区得到待显示图像;
其中待显示图像在整个图像中通过非目标区和目标区的划分形成图像清晰度的分层,待显示图像用于形成清扫车视频。
为了使拼接后的图像更平滑,在拼接非目标区和目标区得到待显示图像中,还包括:对拼接后的图像进行锯齿消除处理,进而得到待显示图像。
其中锯齿消除处理,具体包括:分别依次进行锯齿边缘检测、锯齿边缘重新矢量化、混合锯齿位置像素的操作。进而通过锯齿消除处理对图像像素粒锯齿达到去像素粒的作用,使图像边缘锯齿实现平滑效果。
参见图2所示,锯齿消除处理具体通过以下操作过程实现:
S401、边缘检测:基于Depth、亮度、颜色或者其中任意多种组合进行结合判断得到锯齿边。需要说明的是,每个像素有4个相邻像素,理论上应该做4次边缘检测,但由于像素之间公用边,所以只要针对左侧和上侧的相邻像素进行检测。
示例性的,先检测水平和竖直两条边得到用像素标记出的锯齿边。
S402、重新矢量化:对锯齿边采用自动重新矢量化或手动重新矢量化得到混合权重。
其中,自动重新矢量化为:基于预设搜索距离对锯齿边进行重新矢量化得到混合权重。需要说明的是,这一步的处理单元是锯齿边,而不是像素。
示例性的,设定一个最长搜索距离,从当前位置起分别针对水平和竖直方向的锯齿边进行重新矢量化。在重新矢量化的过程中大量利用双线性采样,并最后采样AreaTex得出混合权重。
此外,手动重新矢量化为:在锯齿边附近手动设定采样位置并配合预设的双线性采样进行重新矢量化得出混合权重,从而优化锯齿消除处理的效率。
S403、混合对应像素:根据混合权重进行混合对应像素,从而实现抗锯齿。
在执行拼接非目标区和目标区得到待显示图像之前,还包括:
根据第二播放帧率阈值对目标区采用第二压缩率进行有损压缩处理,以使目标区设置成与第二播放帧率阈值匹配的图像清晰度;
其中第二压缩率低于第一压缩率,使得待显示图像在目标区的图像清晰度高于在非目标区的图像清晰度。
在一个实施例中,在根据第一预设裁剪区将原图划分为非目标区和目标区中,第一预设裁剪区将目标区划分至整个图像的内层,将非目标区划分至整个图像的外层;
并且清扫车视频加速方法还包括:
根据第二预设裁剪区将非目标区划分为至少两个非目标子区,设置多个第三播放帧率阈值和多个第三压缩率,为每个非目标子区匹配对应的第三播放帧率阈值和第三压缩率;
根据多个第三播放帧率阈值对所有的非目标子区采用相应的第三压缩率进行有损压缩处理,以使所有的非目标子区设置成与多个第三播放帧率阈值匹配的图像清晰度。相对仅目标区和非目标区的情况,进一步划分非目标子区能够使图像清晰度具有多阶的渐变,进而使用户获得更好的观看体验。
进一步地,非目标子区彼此相连并由外向内依次形成层级结构。在该层级结构中,对任意相邻的两个非目标子区,处于外层的非目标子区所匹配的第三播放帧率阈值小于处于内层的非目标子区所匹配的第三播放帧率阈值。
在上述清扫车视频加速方法的基础上,还可以获取各非目标子区与目标区相对位置,并从中选择相对位置最接近目标区的至少一个非目标子区进行针对性地处理各种原图的细节,使得处理后的原图更清晰,从而更好地满足监控要求。
需要说明的是,上述第一播放帧率阈值、第二播放帧率阈值、第三播放帧率阈值可以通过用户请求进行调整。
在一个实施例中,上述清扫车视频加速方法还包括:
获取原图与对应的上一帧原图之间的色值差,根据色值变化阈值判断场景是否变换;
根据场景变换情况对所有非目标子区进行动态调节其匹配的第三播放帧率阈值,根据场景变换情况对目标区进行动态调节第二播放帧率阈值。
其中,根据色值变化阈值判断场景是否变换,具体包括:当色值差小于或等于色值变化阈值时,视为场景未变情况,否则视为场景变换情况。
需要说明的是,本领域技术人员可以根据实际情况选择对非目标区判断场景是否变换,或者选择对整个原图判断场景是否变换,本实施例在此不做限定。
其中,第一播放帧率阈值或第三播放帧率阈值至少设置为1HZ。应当明白,当未划分非目标子区时,根据场景变换情况对非目标区进行动态调节第一播放帧率阈值。
示例性的,可以设置色值变化阈值为30%至40%中的任一数值。
进一步地,为了使清扫车视频能够及时应对网络波动的情况,并在保证播放帧率的条件下根据获取的网络波动情况进行动态适应,使满足帧率要求的情况下让传输图像尽量清晰。对此,上述清扫车视频加速方法还包括:
对网络波动情况分级得到网络波动级数,根据网络波动级数对所有非目标子区进行动态调节其匹配的第三播放帧率阈值,根据网络波动级数对目标区进行动态调节第二播放帧率阈值。
需要说明的是,在不同清扫车视角下获取的不同类型原图,而不同类型原图对目标区的选择不同,其对图像清晰度的要求不一样,进而需要对各原图进行裁剪和压缩的动态处理,并在满足图像清晰度和网速要求的前提下,达到一个最优的传输效果。
示例性的,此处以清扫头附近获取的原图为例进行说明,根据此时的清扫车视角选择清扫头清扫区域范围作为目标区,从而能够为用户在客户端流畅地播放以获得清扫头的实时工作状态。
在该示例中,设置第一预设裁剪区定位在原图的中心区域,并设置第一预设裁剪区是矩形框,划分后非目标区和目标区可以形成由外向内形成的层级结构,此时处于内层的目标区对应为清扫头清扫区域范围。
在该示例中,进一步根据第二预设裁剪区将非目标区划分为4个非目标子区的情况为例,该4个非目标子区形成对目标区的外层,4个非目标子区彼此相连并由外向内依次形成4层级结构,为每个非目标子区匹配对应的第三播放帧率阈值和第三压缩率,根据第三播放帧率阈值对非目标子区采用相应的第三压缩率进行有损压缩处理并形成相应的图像清晰度。在该4层级结构中,对任意相邻的两个非目标子区,处于外层的非目标子区所匹配的第三播放帧率阈值小于处于内层的非目标子区所匹配的第三播放帧率阈值。
参见图3所示,基于处理的图片文件大小一样的情况下,最终得到的待显示图像由外层至内层按如下顺序进行分层:100%大小+20%图像清晰度+10HZ实际播放帧率、80%大小+40%图像清晰度+20HZ实际播放帧率、60%大小+60%图像清晰度+40HZ实际播放帧率、40%大小+80%图像清晰度+60HZ实际播放帧率、20%大小+100%图像清晰度+80HZ实际播放帧率。
该清扫车视频加速方法通过对目标区、非目标区的所对应帧率的调节,选择相应的压缩率,以减少待显示图像的大小,并使得待显示图像在目标区和非目标区形成不同的清晰度,将多张待显示图像按照预设帧序形成清扫车视频后,发送给客户端。客户端接收清扫车视频后按照相应的预设帧序播放视频,客户端接收的清扫车视频相比现有技术按照全面原图发送的方式,有效地减少了整体视频文件大小,从而解决清扫车视频播放卡帧的问题。
需要说明的是,此处100%大小、80%大小、60%大小、40%大小依次对应4个非目标子区,而20%大小对应的是目标区。并且此处的数值大小并非实际区域所占大小比,为便于描述,将非目标子区、目标区所对应原图的最大裁剪矩形大小进行对应关联。
当用户请求对目标区的第二播放帧率阈值为30HZ,由外层至内层的顺序对4个非目标区的4个第三播放帧率阈值依次为1HZ、5HZ、10HZ、200HZ时,经过调低后,最终得到100%大小+20%图像清晰度+1HZ实际播放帧率、80%大小+40%图像清晰度+5HZ实际播放帧率、60%大小+60%图像清晰度+10HZ实际播放帧率、40%大小+80%图像清晰度+20HZ实际播放帧率、20%大小+100%图像清晰度+30HZ实际播放帧率。
在另一个示例中,仍以上述目标区、4个非目标子区的划分为例,基于处理的图片文件大小一样的情况下,可以调整得到100%大小+30%图像清晰度+10HZ实际播放帧率、80%大小+50%图像清晰度+20HZ实际播放帧率、60%大小+70%图像清晰度+40HZ实际播放帧率、40%大小+90%图像清晰度+60HZ实际播放帧率、20%大小+100%图像清晰度+80HZ实际播放帧率。
在另一个示例性中,仍以上述目标区、4个非目标子区的划分为例,基于处理的图片文件大小一样的情况下,可以调整得到100%大小+20%图像清晰度+1HZ实际播放帧率、80%大小+20%图像清晰度+1HZ实际播放帧率、60%大小+20%图像清晰度+1HZ实际播放帧率、40%大小+20%图像清晰度+1HZ实际播放帧率、20%大小+100%图像清晰度+30HZ实际播放帧率。
需要说明的是,上述示例在此并不对具体的实际播放帧率、图像尺寸、图像清晰度的数值进行限制,本领域技术人员应当明白,上述涉及的参数的数值根据实际需求可对相应的参数进行适应性设置。
需要说明的是,根据不同的播放帧率设置相应的压缩率,不同的压缩率对应相应的图像清晰度,使得不同的播放帧率匹配相应的图像清晰度,从而使同一图像在目标区、非目标区上形成图像清晰度的多阶分层。应当明白,此处的播放帧率包括第一播放帧率阈值、第二播放帧率阈值、第三播放帧率阈值。
在一个实施例中,上述清扫车视频加速方法还包括:
将预设时间段内的待显示图像打包发送至客户端。
需要说明的是,该客户端为带有显示屏的装置,进而客户端对接收到的待显示图像进行显示。
示例性的,客户端播放视频时,可以利用html进行多层渲染,即通过多层叠加图像进行播放,越内层所对应的帧率值越高、图像清晰度越高,越外层所对应的帧率值越低、图像清晰度越低。
其中多层渲染,具体包括:按照从外层至内层的顺序依次逐层对非目标区、目标区域进行渲染,使得整个图像区域在显示时形成多层不同清晰度。
需要说明的是,本领域技术人员应当明白,本申请提及的播放帧率阈值、实际播放帧率等均用于对帧率的描述,均为1秒内更新的次数。
在一个实施例中,在根据第一预设裁剪区将原图划分为非目标区和目标区前,还包括:图像预处理。
该图像预处理包括:
根据浅像素阈值去除浅色像素点。
进一步地,图像预处理还包括:
根据深像素阈值去除深色像素点。
参见图4所示,在一个实施例中,提供了一种清扫车视频加速系统100,该系统包括:
数据获取模块101,用于获取原图;
裁剪模块102,用于根据第一预设裁剪区将原图划分为非目标区和目标区;
压缩模块103,用于根据第一播放帧率阈值对非目标区采用第一压缩率进行有损压缩处理,以使非目标区设置成与第一播放帧率阈值匹配的图像清晰度;
拼接模块104,用于拼接非目标区和目标区得到待显示图像;
其中待显示图像在整个图像中通过非目标区和目标区的划分形成图像清晰度的分层,待显示图像用于形成清扫车视频。
参见图5所示,在一个实施例中,提供了一种视频传输系统200,该系统包括视频采集设备300、终端设备400以及服务器500,该视频采集设备300包括至少一个摄像头301、第一数据传输模块302,该服务器500用于运行上述各实施例中的清扫车视频加速系统100,该清扫车视频加速系统100还包括第二数据传输模块105,摄像头301用于采集原始视频数据,第一数据传输模块302用于上传原始视频数据,第二数据传输模块105用于接收原始视频数据、将预设时间段内的待显示图像作为待播视频数据并将其发送至终端设备400,原始视频数据包括多个原始图像数据,原图为当前处理时的原始图像数据,终端设备400用于接收并显示待播视频数据。
需要说明的是,原始图像数据即为原始视频数据中的每一帧图像,因此在应用上述各个实施例的清扫车视频加速方法时,原图即为处理的当前帧图像。
需要说明的是,视频采集设备300与清扫车视频加速系统100进行数据交互,通过车端服务建立连接,清扫车视频加速系统100运行在服务器500上并为请求方提供数据处理的服务,该服务器500可以用独立的服务器或者是多个服务器组成的服务器群来实现,还可以是提供云服务、云信息库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大信息和人工智能平台等基础云计算服务的云服务器。
需要说明的是,终端设备400具体可以是台式终端或移动终端可以是手机、平板电脑、笔记本电脑、可穿戴设备等中的一种。
在一个实施例中,提供了一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述各个实施例的清扫车视频加速方法。需要说明的是,此处清扫车视频加速方法的步骤可以是上述各个实施例的清扫车视频加速方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序适于由处理器加载并执行,以使得具有所述处理器的计算机设备执行上述清扫车视频加速方法。需要说明的是,此处清扫车视频加速方法的步骤可以是上述各个实施例的清扫车视频加速方法中的步骤。
在一个实施例中,一种清扫车,设有视频采集设备300,该视频采集设备300包括至少一个摄像头301、第一数据传输模块302,清扫车还包括上述实施例中的电子设备,该视频采集设备300与该电子设备连接;
该摄像头301用于采集清扫车在不同视角的原始视频数据,第一数据传输模块302用于上传原始视频数据,电子设备接收原始视频数据,原始视频数据包括多帧原始图像数据,原图为当前处理时的原始图像数据。
以上所述是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本申请的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。

Claims (15)

1.一种清扫车视频加速方法,其特征在于,包括:
获取原图;
根据第一预设裁剪区将所述原图划分为非目标区和目标区;
根据第一播放帧率阈值对所述非目标区采用第一压缩率进行有损压缩处理,以使所述非目标区设置成与所述第一播放帧率阈值匹配的图像清晰度;
拼接所述非目标区和所述目标区得到待显示图像,其中所述待显示图像在整个图像中通过非目标区和目标区的划分形成图像清晰度的分层;
所述待显示图像用于形成清扫车视频。
2.根据权利要求1所述的清扫车视频加速方法,其特征在于,所述原图为通过清扫车在不同视角处进行采集得到,基于不同视角的原图设置所述第一预设裁剪区。
3.根据权利要求2所述的清扫车视频加速方法,其特征在于,在执行所述拼接所述非目标区和所述目标区得到待显示图像之前,还包括:
根据第二播放帧率阈值对所述目标区采用第二压缩率进行有损压缩处理,以使所述目标区设置成与所述第二播放帧率阈值匹配的图像清晰度;
其中所述第二压缩率低于所述第一压缩率,使得所述待显示图像在所述目标区的图像清晰度高于在所述非目标区的图像清晰度。
4.根据权利要求3所述的清扫车视频加速方法,其特征在于,在所述根据第一预设裁剪区将所述原图划分为非目标区和目标区中,所述第一预设裁剪区将所述目标区划分至整个图像的内层,将所述非目标区划分至整个图像的外层;
并且所述清扫车视频加速方法还包括:
根据第二预设裁剪区将所述非目标区划分为至少两个非目标子区,设置多个第三播放帧率阈值和多个第三压缩率,为每个非目标子区匹配对应的第三播放帧率阈值和第三压缩率;
根据所述多个第三播放帧率阈值对所有的非目标子区采用相应的第三压缩率进行有损压缩处理,以使所有的非目标子区设置成与所述多个第三播放帧率阈值匹配的图像清晰度。
5.根据权利要求4所述的清扫车视频加速方法,其特征在于,所述非目标子区彼此相连并由外向内依次形成层级结构;
在所述层级结构中,对任意相邻的两个非目标子区,处于外层的非目标子区所匹配的第三播放帧率阈值小于处于内层的非目标子区所匹配的第三播放帧率阈值。
6.根据权利要求4所述的清扫车视频加速方法,其特征在于,还包括:
获取所述原图与对应的上一帧原图之间的色值差,根据色值变化阈值判断场景是否变换;
根据场景变换情况对所有非目标子区进行动态调节其匹配的第三播放帧率阈值,根据场景变换情况对所述目标区进行动态调节所述第二播放帧率阈值。
7.根据权利要求6所述的清扫车视频加速方法,其特征在于,所述第三播放帧率阈值至少设置为1HZ。
8.根据权利要求4所述的清扫车视频加速方法,其特征在于,还包括:
对网络波动情况分级得到网络波动级数,根据网络波动级数对所有非目标子区进行动态调节其匹配的第三播放帧率阈值,根据网络波动级数对所述目标区进行动态调节所述第二播放帧率阈值。
9.根据权利要求1-8任意一项所述的清扫车视频加速方法,其特征在于,在拼接所述非目标区和所述目标区得到待显示图像中,还包括:对拼接后的图像进行锯齿消除处理,进而得到所述待显示图像。
10.根据权利要求1-9任意一项所述的清扫车视频加速方法,其特征在于,在根据第一预设裁剪区将所述原图划分为非目标区和目标区前,还包括:图像预处理,具体包括:根据浅像素阈值去除浅色像素点。
11.一种清扫车视频加速系统,其特征在于,包括:
数据获取模块,用于获取原图;
裁剪模块,用于根据第一预设裁剪区将所述原图划分为非目标区和目标区;
压缩模块,用于根据第一播放帧率阈值对所述非目标区采用第一压缩率进行有损压缩处理,以使所述非目标区设置成与所述第一播放帧率阈值匹配的图像清晰度;
拼接模块,用于拼接所述非目标区和所述目标区得到待显示图像;
其中所述待显示图像在整个图像中通过非目标区和目标区的划分形成图像清晰度的分层,所述待显示图像用于形成清扫车视频。
12.一种视频传输系统,设有视频采集设备和终端设备,所述视频采集设备包括至少一个摄像头、第一数据传输模块,其特征在于,所述视频传输系统还包括服务器,所述服务器用于运行如权利要求11所述的清扫车视频加速系统,所述清扫车视频加速系统还包括第二数据传输模块,所述摄像头用于采集原始视频数据,所述第一数据传输模块用于上传所述原始视频数据,所述第二数据传输模块用于接收所述原始视频数据、将预设时间段内的待显示图像作为待播视频数据并将其发送至终端设备,所述原始视频数据包括多个原始图像数据,所述原图为当前处理时的原始图像数据,所述终端设备用于接收并显示所述待播视频数据。
13.一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至10中任一项所述的清扫车视频加速方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序适于由处理器加载并执行,以使得具有所述处理器的计算机设备执行权利要求1-10任一项所述的清扫车视频加速方法。
15.一种清扫车,设有视频采集设备,所述视频采集设备包括至少一个摄像头、第一数据传输模块,其特征在于,所述清扫车还包括如权利要求13所述的电子设备,所述视频采集设备与所述电子设备连接;
所述摄像头用于采集原始视频数据,所述第一数据传输模块用于上传所述原始视频数据,所述电子设备接收所述原始视频数据,所述原始视频数据包括多帧原始图像数据,所述原图为当前处理时的原始图像数据。
CN202111683209.9A 2021-12-31 2021-12-31 一种清扫车视频加速方法及系统 Pending CN114520873A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111683209.9A CN114520873A (zh) 2021-12-31 2021-12-31 一种清扫车视频加速方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111683209.9A CN114520873A (zh) 2021-12-31 2021-12-31 一种清扫车视频加速方法及系统

Publications (1)

Publication Number Publication Date
CN114520873A true CN114520873A (zh) 2022-05-20

Family

ID=81596953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111683209.9A Pending CN114520873A (zh) 2021-12-31 2021-12-31 一种清扫车视频加速方法及系统

Country Status (1)

Country Link
CN (1) CN114520873A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278261A (zh) * 2022-07-25 2022-11-01 广州文远知行科技有限公司 应用于网页端的实时视频流处理方法、装置及相关设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014000238A1 (zh) * 2012-06-28 2014-01-03 宇龙计算机通信科技(深圳)有限公司 终端和视频图像压缩方法
CN104284158A (zh) * 2014-10-23 2015-01-14 南京信必达智能技术有限公司 面向事件的智能监控相机方法
CN108156459A (zh) * 2016-12-02 2018-06-12 北京中科晶上科技股份有限公司 可伸缩视频传输方法及系统
CN109194923A (zh) * 2018-10-18 2019-01-11 眸芯科技(上海)有限公司 基于局部非均匀分辨率的视频图像处理设备、系统及方法
CN110149517A (zh) * 2018-05-14 2019-08-20 腾讯科技(深圳)有限公司 视频处理的方法、装置、电子设备及计算机存储介质
CN111667411A (zh) * 2020-06-12 2020-09-15 深圳天度物联信息技术有限公司 一种图像传输方法、装置、电子设备及存储介质
CN112637551A (zh) * 2020-11-18 2021-04-09 合肥市卓迩无人机科技服务有限责任公司 多路4k准实时拼接视频的全景数据管理软件系统
CN113516666A (zh) * 2020-12-30 2021-10-19 腾讯科技(深圳)有限公司 图像裁剪方法、装置、计算机设备及存储介质
CN113660465A (zh) * 2021-08-16 2021-11-16 腾讯科技(深圳)有限公司 图像处理方法、装置、可读介质及电子设备
CN113810725A (zh) * 2021-10-12 2021-12-17 深圳市华胜软件技术有限公司 视频处理方法、装置、存储介质及视频通讯终端

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014000238A1 (zh) * 2012-06-28 2014-01-03 宇龙计算机通信科技(深圳)有限公司 终端和视频图像压缩方法
CN104284158A (zh) * 2014-10-23 2015-01-14 南京信必达智能技术有限公司 面向事件的智能监控相机方法
CN108156459A (zh) * 2016-12-02 2018-06-12 北京中科晶上科技股份有限公司 可伸缩视频传输方法及系统
CN110149517A (zh) * 2018-05-14 2019-08-20 腾讯科技(深圳)有限公司 视频处理的方法、装置、电子设备及计算机存储介质
CN109194923A (zh) * 2018-10-18 2019-01-11 眸芯科技(上海)有限公司 基于局部非均匀分辨率的视频图像处理设备、系统及方法
CN111667411A (zh) * 2020-06-12 2020-09-15 深圳天度物联信息技术有限公司 一种图像传输方法、装置、电子设备及存储介质
CN112637551A (zh) * 2020-11-18 2021-04-09 合肥市卓迩无人机科技服务有限责任公司 多路4k准实时拼接视频的全景数据管理软件系统
CN113516666A (zh) * 2020-12-30 2021-10-19 腾讯科技(深圳)有限公司 图像裁剪方法、装置、计算机设备及存储介质
CN113660465A (zh) * 2021-08-16 2021-11-16 腾讯科技(深圳)有限公司 图像处理方法、装置、可读介质及电子设备
CN113810725A (zh) * 2021-10-12 2021-12-17 深圳市华胜软件技术有限公司 视频处理方法、装置、存储介质及视频通讯终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278261A (zh) * 2022-07-25 2022-11-01 广州文远知行科技有限公司 应用于网页端的实时视频流处理方法、装置及相关设备
CN115278261B (zh) * 2022-07-25 2024-03-15 广州文远知行科技有限公司 应用于网页端的实时视频流处理方法、装置及相关设备

Similar Documents

Publication Publication Date Title
KR102145201B1 (ko) 이미지의 동적 범위 향상을 위한 방법 및 장치
US6259470B1 (en) Image capture system having virtual camera
US10003765B2 (en) System and method for brightening video image regions to compensate for backlighting
CN105745914A (zh) 用于逆色调映射的方法和系统
US20020122585A1 (en) Electronic stereoscopic media delivery system
EP2404281A1 (en) Method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device
US8565513B2 (en) Image processing method for providing depth information and image processing system using the same
CN103440117A (zh) 视频图像处理的方法及系统
CN114520873A (zh) 一种清扫车视频加速方法及系统
WO2014066364A1 (en) Low-frequency compression of high dynamic range images
WO2014042662A1 (en) Bandwidth reduction system and method
CN104954804A (zh) 一种自适应图像分辨率处理方法
JP2015095779A (ja) 画像処理装置、画像処理方法及び電子機器
US11330309B2 (en) Foviation and HDR
CN109345479A (zh) 一种视频监控数据的实时预处理方法及存储介质
GB2526478B (en) High dynamic range imaging systems
JPH07193766A (ja) 画像情報処理装置
CN111510707A (zh) 一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法
WO2015143619A1 (en) Video content classification
US11962819B2 (en) Foviation and HDR
CN110796689A (zh) 一种视频处理方法、电子设备及存储介质
EP2034443A1 (en) Method and apparatus for processing video data using cartoonization
JP5559012B2 (ja) 画像処理装置及びその制御方法
CN107369210A (zh) 一种车辆维修及保养企业vr全景规划设计方法
CN113890675A (zh) 一种三维模型的自适应显示方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination