CN117082303B - 流媒体行车监控方法及其设备 - Google Patents

流媒体行车监控方法及其设备 Download PDF

Info

Publication number
CN117082303B
CN117082303B CN202311332334.4A CN202311332334A CN117082303B CN 117082303 B CN117082303 B CN 117082303B CN 202311332334 A CN202311332334 A CN 202311332334A CN 117082303 B CN117082303 B CN 117082303B
Authority
CN
China
Prior art keywords
video
streaming media
automatic driving
convolution
media video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311332334.4A
Other languages
English (en)
Other versions
CN117082303A (zh
Inventor
任毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Skywooo Co ltd
Original Assignee
Skywooo Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Skywooo Co ltd filed Critical Skywooo Co ltd
Priority to CN202311332334.4A priority Critical patent/CN117082303B/zh
Publication of CN117082303A publication Critical patent/CN117082303A/zh
Application granted granted Critical
Publication of CN117082303B publication Critical patent/CN117082303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738Monitoring network characteristics, e.g. bandwidth, congestion level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Atmospheric Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种流媒体行车监控方法及其设备,其方法包括识别车辆的流媒体网络带宽量,并判断所述网络带宽量是否满足预设带宽量,若是,则生成可执行自动驾驶许可以及监听自动驾驶指令;获取行车过程时的流媒体视频,采用预设的视频卷积深化模型对所述流媒体视频进行因子标定,生成自动驾驶决策因子,所述自动驾驶决策因子包括但不限于是高速道路标线、其它车辆以及地面路况和天气要素;将对应的所述自动驾驶决策因子映射于流媒体视频中进行要素标定,并通过图像分类器将要素标定后的流媒体视频进行对应的视频流编码处理,以生成编码流数据;实现了车辆在高速行驶时的自动驾驶快速识别风险和网速调节的效果。

Description

流媒体行车监控方法及其设备
技术领域
本发明涉及视频图像数据处理的技术领域,特别涉及一种流媒体行车监控方法及其设备。
背景技术
流媒体(Streaming Media)是一种通过互联网或其他计算机网络以流的形式传输音频、视频和其他多媒体数据的技术。与下载相比,流媒体允许用户在接收数据的同时观看或听取它们,而不需要等待整个文件完全下载。流媒体通常使用专门的协议和编码格式来传输数据,例如RTSP(Real Time Streaming Protocol)、HTTP(Hypertext TransferProtocol)和MPEG-DASH(Dynamic Adaptive Streaming over HTTP)等协议,以及H.264、VP9和AAC等编码格式。目前流媒体技术已经广泛应用于在线音乐、视频、直播、游戏等领域,并且随着网络带宽的增加和技术的进步,流媒体技术已然运用到车载终端领域。
当将流媒体技术运用在汽车智能终端时,现有的技术有数据采集、数据编码、流媒体传输、云服务器处理和数据展示,可以实现车辆数据的实时传输、云端处理和反馈,为驾驶员提供更加个性化、实用的服务和体验,而将流媒体技术运用在汽车智能终端来进行道路监控的现有技术是(1)内置的摄像头和其他传感器收集道路上的视频、视频、声音和其他相关数据;(2)将采集到的数据进行编码压缩,以减少数据量,并确保数据能够在网络上流畅传输;(3)将编码后的数据以流的形式传输到云服务器上;(4)云服务器接收到流媒体数据后,进行相应的处理和计算;(5)将处理后的数据通过流媒体技术传回到汽车智能终端,
而针对于现有的流媒体技术运用在汽车智能终端来进行道路监控具有以下亟待克服的问题:
1),在高速路上进行自动驾驶技术的过程中,目前的采用流媒体对道路监控的方法中存在自动驾驶决策因子识别不够清晰和迅速,该自动驾驶决策因子有其他车辆、道路标线等,导致存在事故风险;
2),需要高速、稳定的网络连接才能传输视频流数据,因为在某些地区,网络连接不够好或者带宽不足,可能导致视频数据的传输受到限制,从而导致在高速的自动行驶中存在事故风险。
发明内容
本发明的主要目的为提供一种流媒体行车监控方法及其设备,以采用预设至流媒体模块的卷积神经网络对高速自动行驶的车辆进行决策因子的ns级快速识别,采用网络监测技术对带宽和网速进行识别以根据结果对自动驾驶的视频传输进行对应的视频流压缩流程,从而实现了车辆在高速行驶时的自动驾驶快速识别风险和网速调节的效果。
为实现上述目的,本发明提供了一种流媒体行车监控方法,包括以下步骤:
识别车辆的流媒体网络带宽量,并判断所述网络带宽量是否满足预设带宽量,若是,则生成可执行自动驾驶许可以及监听自动驾驶指令;
获取行车过程时的流媒体视频,采用预设的视频卷积深化模型对所述流媒体视频进行因子标定,生成自动驾驶决策因子,所述自动驾驶决策因子包括但不限于是高速道路标线、其它车辆以及地面路况和天气要素;
将对应的所述自动驾驶决策因子映射于流媒体视频中进行要素标定,并通过图像分类器将要素标定后的流媒体视频进行对应的视频流编码处理,以生成编码流数据;
通过所述编码流数据进行对应的自动驾驶行车过程。
进一步地,所述获取行车过程时的流媒体视频,采用预设的视频卷积深化模型对所述流媒体视频进行因子标定,生成自动驾驶决策因子的步骤,包括:
通过在汽车智能终端上安装相应的摄像头或连接外部摄像头,获取行车过程中的流媒体视频;
对所述流媒体视频进行视频格式转换、视频压缩和帧率调整的预处理,并将预处理后的流媒体视频导入至视频卷积深化模型中;
通过所述视频卷积深化模型对流媒体视频进行道路要素的特征提取,所述道路要素的特征提取包括提取流媒体视频的高速道路标线、其它车辆以及地面路况和天气要素;
再通过所述视频卷积深化模型对特征提取出的道路要素进行因子标定,以对所述道路要素进行权重设置,得到设置权重后的自动驾驶决策因子。
进一步地,所述视频卷积深化模型的预先训练步骤,包括:
叠合VGG结构与AlexNet结构形成混合网络结构;
采用随机初始化对所述视频卷积深化模型进行初始化,并将若干行车训练视频导入至所述混合网络结构中,采用反向传播算法对若干行车训练视频进行道路要素的特征提取训练;
对训练后的所述视频卷积深化模型进行评估,生成训练结果数据,以判断训练结果数据是否高于预设系数值,其中,所述训练结果数据包括准确率和召回率;
若是,则删除所述训练结果数据并输出训练完成的所述视频卷积深化模型,反之,则保留所述训练结果数据并重新执行本训练步骤。
进一步地,所述叠合VGG结构与AlexNet结构形成混合网络结构的步骤,包括:
利用AlexNet的浅层特征中的前若干个卷积层和VGG的深层特征中的后若干个卷积层进行组合,形成更深层次的混合网络结构;
采用Softmax函数将所述混合网络的末端添加全连接层进行分类并输出概率值,通过所述概率值作为若干所述行车训练视频特征提取的权重比。
进一步地,所述将对应的所述自动驾驶决策因子映射于流媒体视频中进行要素标定,并通过图像分类器将要素标定后的流媒体视频进行对应的视频流编码处理,以生成编码流数据的步骤,包括:
根据视频卷积深化模型确定出的自动驾驶决策因子的权重,对所述流媒体视频进行要素标定,以根据所述要素标定创建对应数量的编码通道;
通过图像分类器识别出所述流媒体视频中各个与自动驾驶决策因子匹配的待编码视频;
将各个所述待编码视频进行文本化编码,生成编码流数据。
进一步地,所述将各个所述待编码视频进行文本化编码,生成编码流数据的步骤,包括:
采用RGB构图法识别若干个所述待编码视频中的色彩信息,并根据所述色彩信息生成与待编码视频匹配对应的色彩进制代码;
将若干所述待编码视频一一对应的色彩进制代码通过编码通道作为编码流数据进行输出。
进一步地,所述通过所述编码流数据进行对应的自动驾驶行车过程的步骤,包括:
对若干所述色彩进制代码进行进度式重构,并在进行所述进度式重构的过程中判断是否能够识别到道路要素直至所述道路要素重构清晰;
最终通过编码流数据重构出道路要素进行自动驾驶行车过程。
本发明还提出一种流媒体行车监控装置,包括:
识别单元,用于识别车辆的流媒体网络带宽量,并判断所述网络带宽量是否满足预设带宽量,若是,则生成可执行自动驾驶许可以及监听自动驾驶指令;
获取单元,用于获取行车过程时的流媒体视频,采用预设的视频卷积深化模型对所述流媒体视频进行因子标定,生成自动驾驶决策因子,所述自动驾驶决策因子包括但不限于是高速道路标线、其它车辆以及地面路况和天气要素;
编码单元,用于将对应的所述自动驾驶决策因子映射于流媒体视频中进行要素标定,并通过图像分类器将要素标定后的流媒体视频进行对应的视频流编码处理,以生成编码流数据;
行车单元,用于通过所述编码流数据进行对应的自动驾驶行车过程。
本发明还提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述流媒体行车监控方法的步骤。
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的流媒体行车监控方法的步骤。
本发明提供的流媒体行车监控方法及其设备具有以下有益效果:
(1)通过实时的识别车辆的流媒体网络带宽量,提高行车过程中的准确性和实时性,从而增强自动驾驶安全。
(2)通过获取行车过程时的流媒体视频,采用预设的视频卷积深化模型对所述流媒体视频进行因子标定,生成自动驾驶决策因子的方式,增强自动驾驶决策因子的生成能力,提高自动驾驶车辆的行驶安全和效率。
(3)通过视频卷积深化模型的制作,实现对大规模视频数据的快速处理和分析,从而达到ns级的视频处理的效率和精度。
(4)通过将对应的所述自动驾驶决策因子映射于流媒体视频中进行要素标定,并通过图像分类器将要素标定后的流媒体视频进行对应的视频流编码处理,以生成编码流数据,进而通过编码化的数据进行对应的自动驾驶控制,采用网络监测技术对带宽和网速进行识别以根据结果对自动驾驶的视频传输进行对应的视频流压缩流程,从而实现了车辆在高速行驶时的自动驾驶快速识别风险和网速调节的效果。
附图说明
图1是本发明一实施例中流媒体行车监控方法步骤示意图;
图2是本发明一实施例中流媒体行车监控装置结构框图;
图3是本发明一实施例的计算机设备的结构示意框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1为本发明提出的一种流媒体行车监控方法的流程示意图,包括以下步骤:
S1,识别车辆的流媒体网络带宽量,并判断所述网络带宽量是否满足预设带宽量,若是,则生成可执行自动驾驶许可以及监听自动驾驶指令;
S2,获取行车过程时的流媒体视频,采用预设的视频卷积深化模型对所述流媒体视频进行因子标定,生成自动驾驶决策因子,所述自动驾驶决策因子包括但不限于是高速道路标线、其它车辆以及地面路况和天气要素;
S3,将对应的所述自动驾驶决策因子映射于流媒体视频中进行要素标定,并通过图像分类器将要素标定后的流媒体视频进行对应的视频流编码处理,以生成编码流数据;
S4,通过所述编码流数据进行对应的自动驾驶行车过程。
首先需要理解的是,本发明的流媒体行车监控方法执行于车载智能设备上,其核心的原理路径是视频采集、视频分析、视频要素确定、要素编码化、编码控车的原理,我们知道目前的车辆自动驾驶控制方式是直接获取图像,对图像进行识别,而后对图像进行标定后,再联网,再分析,最终执行自动驾驶过程,反应速度慢,风险性也大,而本发明采用S1~S5的方式,能够代码控车,反应速度达到ns级别,极大的增强了自动驾驶灵敏度。
在具体实施的过程中,识别车辆的流媒体网络带宽量,并判断所述网络带宽量是否满足预设带宽量,若是,则生成可执行自动驾驶许可以及监听自动驾驶指令,当监听获取到自动驾驶指令时,通过自动驾驶许可执行自动驾驶过程,而执行自动驾驶过程即执行步骤S2~S4。
在一个实施例中,所述获取行车过程时的流媒体视频,采用预设的视频卷积深化模型对所述流媒体视频进行因子标定,生成自动驾驶决策因子的步骤S2中,包括:
通过在汽车智能终端上安装相应的摄像头或连接外部摄像头,获取行车过程中的流媒体视频;
对所述流媒体视频进行视频格式转换、视频压缩和帧率调整的预处理,并将预处理后的流媒体视频导入至视频卷积深化模型中;
通过所述视频卷积深化模型对流媒体视频进行道路要素的特征提取,所述道路要素的特征提取包括提取流媒体视频的高速道路标线、其它车辆以及地面路况和天气要素;
再通过所述视频卷积深化模型对特征提取出的道路要素进行因子标定,以对所述道路要素进行权重设置,得到设置权重后的自动驾驶决策因子。
在具体实施的过程中,获取行车过程中的流媒体视频,通过在汽车智能终端上安装摄像头或连接外部摄像头,获取行车过程中的流媒体视频。这可以帮助实时监测道路情况,提高驾驶员和乘客的安全性和舒适性。
预处理流媒体视频,对获取到的流媒体视频进行预处理,包括视频格式转换、视频压缩和帧率调整等操作。这样可以使得视频数据更加紧凑,减少存储空间和传输带宽,并且可以提高视频处理效率和准确性。
视频卷积深化模型的特征提取,将预处理后的流媒体视频导入至视频卷积深化模型中,通过该模型对道路要素进行特征提取。其中,道路要素包括高速道路标线、其他车辆、地面路况和天气等因素。通过视频卷积深化模型对这些道路要素进行特征提取,可以帮助自动驾驶系统更好地理解和识别道路情况。
道路要素的因子标定,对所述道路要素进行因子标定,以对其进行权重设置,从而得到设置权重后的自动驾驶决策因子。通过这一步骤,可以根据道路情况的不同赋予不同的权重,帮助自动驾驶系统更好地做出决策,从而提高自动驾驶车辆的安全性和效率。
针对于上述的视频卷积深化模型,所述视频卷积深化模型的预先训练步骤,包括:
叠合VGG结构与AlexNet结构形成混合网络结构;
采用随机初始化对所述视频卷积深化模型进行初始化,并将若干行车训练视频导入至所述混合网络结构中,采用反向传播算法对若干行车训练视频进行道路要素的特征提取训练;
对训练后的所述视频卷积深化模型进行评估,生成训练结果数据,以判断训练结果数据是否高于预设系数值,其中,所述训练结果数据包括准确率和召回率;
若是,则删除所述训练结果数据并输出训练完成的所述视频卷积深化模型,反之,则保留所述训练结果数据并重新执行本训练步骤。
具体的,叠合VGG结构与AlexNet结构形成混合网络结构:将VGG和AlexNet的结构叠合起来,形成一个混合网络结构。这样做的目的是利用两种不同的结构优点,增强模型的特征提取能力和泛化能力。随机初始化并导入训练数据:对视频卷积深化模型进行随机初始化,并将若干行车训练视频导入到混合网络结构中。通过反向传播算法对训练数据进行特征提取训练,以提高模型的识别能力。评估训练结果数据:对训练后的视频卷积深化模型进行评估,生成训练结果数据。其中,训练结果数据包括准确率和召回率等指标。判断训练结果数据是否高于预设系数值,如果是,则删除训练结果数据并输出训练完成的视频卷积深化模型;反之,则保留训练结果数据并重新执行本训练步骤。不断迭代优化:通过不断重复上述步骤,不断迭代优化视频卷积深化模型,提高其识别能力和准确率。
而针对于上述的叠合VGG结构与AlexNet结构形成混合网络结构的步骤,包括:
利用AlexNet的浅层特征中的前若干个卷积层和VGG的深层特征中的后若干个卷积层进行组合,形成更深层次的混合网络结构;
采用Softmax函数将所述混合网络的末端添加全连接层进行分类并输出概率值,通过所述概率值作为若干所述行车训练视频特征提取的权重比。
在视频卷积深化模型中,利用AlexNet和VGG的不同层次的卷积层进行组合可以提高模型的特征提取能力和泛化能力。具体来说,我们可以利用AlexNet的浅层特征中的前若干个卷积层和VGG的深层特征中的后若干个卷积层进行组合,形成更深层次的混合网络结构。这样做的好处是,AlexNet的浅层卷积层可以提取一些基础的特征,比如边缘、颜色等,而VGG的深层卷积层可以提取更加抽象的特征,比如物体的形状、纹理等。通过将两者进行组合,可以得到一个更加全面和准确的特征表示。在混合网络的末端,我们可以添加一个全连接层,并使用Softmax函数进行分类并输出概率值。具体来说,对于每个行车训练视频,我们可以利用混合网络的输出作为权重比,对其进行特征提取,进而生成道路要素的特征表示。这样做的好处是,不同的行车训练视频可能具有不同的特征分布,通过动态调整权重比,可以更好地适应不同的场景,提高模型的泛化能力。
在一个实施例中,所述将对应的所述自动驾驶决策因子映射于流媒体视频中进行要素标定,并通过图像分类器将要素标定后的流媒体视频进行对应的视频流编码处理,以生成编码流数据的步骤,包括:
根据视频卷积深化模型确定出的自动驾驶决策因子的权重,对所述流媒体视频进行要素标定,以根据所述要素标定创建对应数量的编码通道;
通过图像分类器识别出所述流媒体视频中各个与自动驾驶决策因子匹配的待编码视频;
将各个所述待编码视频进行文本化编码,生成编码流数据。
在具体执行的过程中,通过视频卷积深化模型确定出的自动驾驶决策因子的权重在流媒体视频中形成对应的重要性标记(即要素标定),例如根据权重比值进行颜色的分类,最高为红,最低为绿,从而对流媒体视频中的各个自动驾驶决策因子进行位置标记,同时创建与位置标记对应的编码通道,编码通道用于将对应的待编码视频以代码的形式输入至车载智能设备中。
其中,图像分类器是一种机器学习算法,可以将输入的图像进行分类和标注。在流媒体视频中,我们可以使用图像分类器来识别出与自动驾驶决策因子匹配的待编码视频。具体来说,我们可以先通过视频卷积深化模型确定不同自动驾驶决策因子的权重,然后使用这些权重对流媒体视频进行要素标定。接着,我们可以使用图像分类器对每个视频帧进行分类,并将分类结果与自动驾驶决策因子进行匹配,从而识别出需要编码的视频帧。例如,如果我们想要检测道路上的车辆并做出相应的自动驾驶决策,我们可以使用视频卷积深化模型来确定车辆检测在整个自动驾驶决策中的权重,然后使用图像分类器对每个视频帧进行分类,识别出其中包含车辆的帧,进而进行编码处理。总之,图像分类器可以根据预设的规则和训练好的模型对输入的图像进行分类,识别出需要进行编码处理的视频帧,为后续的视频编码和传输提供了基础。
在一个实施例中,所述将各个所述待编码视频进行文本化编码,生成编码流数据的步骤,包括:
采用RGB构图法识别若干个所述待编码视频中的色彩信息,并根据所述色彩信息生成与待编码视频匹配对应的色彩进制代码;
将若干所述待编码视频一一对应的色彩进制代码通过编码通道作为编码流数据进行输出。
通过RGB构图法可以识别出图像中的色彩信息,并将其转化为相应的色彩进制代码。在流媒体视频中,我们可以使用RGB构图法来识别待编码视频中的色彩信息,并生成与其匹配对应的色彩进制代码,以便后续的视频编码和传输。具体来说,RGB构图法将每个像素点的颜色表示为红、绿、蓝三个分量的数值组合。通过分析每个像素点的RGB数值,我们可以确定其颜色信息,并生成相应的色彩进制代码。例如,对于一张道路监控摄像头捕捉到的图片,我们可以使用RGB构图法来识别出其中的车辆和行人等物体的颜色信息,并将其转化为相应的色彩进制代码。接着,我们可以将若干个待编码视频一一对应的色彩进制代码通过编码通道作为编码流数据进行输出。这样做可以有效地压缩视频数据,减少传输带宽和存储空间的需求,提高视频传输效率和质量。采用RGB构图法识别待编码视频中的色彩信息,并将其转化为相应的色彩进制代码,可以为后续的视频编码和传输提供基础,同时通过编码通道输出色彩进制代码,可以有效地压缩视频数据并提高传输效率。
进一步地,所述通过所述编码流数据进行对应的自动驾驶行车过程的步骤中,包括:
对若干所述色彩进制代码进行进度式重构,并在进行所述进度式重构的过程中判断是否能够识别到道路要素直至所述道路要素重构清晰;
最终通过编码流数据重构出道路要素进行自动驾驶行车过程。
在具体实施时:对视频进行编码处理,将其转化为编码流数据。对编码流数据中的色彩进制代码进行进度式重构,即逐步对编码流数据进行解码,从而逐渐还原出原始视频的信息。在这个过程中,可以同时对视频进行代码化处理,在进行进度式重构的过程中,判断是否能够识别到道路要素,例如道路边缘、车道线、交通标志等,直至道路要素被重构清晰。最终通过编码流数据重构出道路要素,并将其输入到自动驾驶系统中,用于行车决策和控制。通过对道路要素的识别和分析,可以帮助自动驾驶系统更加准确地理解车辆周围的环境,从而做出更为精准的行车决策。
参考附图2为本发明提出的一种流媒体行车监控装置,包括:
识别单元1,用于识别车辆的流媒体网络带宽量,并判断所述网络带宽量是否满足预设带宽量,若是,则生成可执行自动驾驶许可以及监听自动驾驶指令;
获取单元2,用于获取行车过程时的流媒体视频,采用预设的视频卷积深化模型对所述流媒体视频进行因子标定,生成自动驾驶决策因子,所述自动驾驶决策因子包括但不限于是高速道路标线、其它车辆以及地面路况和天气要素;
编码单元3,用于将对应的所述自动驾驶决策因子映射于流媒体视频中进行要素标定,并通过图像分类器将要素标定后的流媒体视频进行对应的视频流编码处理,以生成编码流数据;
行车单元4,用于通过所述编码流数据进行对应的自动驾驶行车过程。
在本实施例中,上述装置实施例中的各个单元的具体实现,请参照上述方法实施例中所述,在此不再进行赘述。
参照图3,本发明实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、显示屏、输入装置、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储本实施例中对应的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述方法。
本领域技术人员可以理解,图3中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的计算机设备的限定。
本发明一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法。可以理解的是,本实施例中的计算机可读存储介质可以是易失性可读存储介质,也可以为非易失性可读存储介质。
综上所述,流媒体行车监控方法包括识别车辆的流媒体网络带宽量,并判断所述网络带宽量是否满足预设带宽量,若是,则生成可执行自动驾驶许可以及监听自动驾驶指令;获取行车过程时的流媒体视频,采用预设的视频卷积深化模型对所述流媒体视频进行因子标定,生成自动驾驶决策因子,所述自动驾驶决策因子包括但不限于是高速道路标线、其它车辆以及地面路况和天气要素;将对应的所述自动驾驶决策因子映射于流媒体视频中进行要素标定,并通过图像分类器将要素标定后的流媒体视频进行对应的视频流编码处理,以生成编码流数据;实现了车辆在高速行驶时的自动驾驶快速识别风险和网速调节的效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM通过多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种流媒体行车监控方法,其特征在于,包括以下步骤:
识别车辆的流媒体网络带宽量,并判断所述网络带宽量是否满足预设带宽量,若是,则生成可执行自动驾驶许可以及监听自动驾驶指令;
获取行车过程时的流媒体视频,采用预设的视频卷积深化模型对所述流媒体视频进行因子标定,生成自动驾驶决策因子,所述自动驾驶决策因子包括但不限于是高速道路标线、其它车辆以及地面路况和天气要素;
将对应的所述自动驾驶决策因子映射于流媒体视频中进行要素标定,并通过图像分类器将要素标定后的流媒体视频进行对应的视频流编码处理,以生成编码流数据;
通过所述编码流数据进行对应的自动驾驶行车过程;
所述获取行车过程时的流媒体视频,采用预设的视频卷积深化模型对所述流媒体视频进行因子标定,生成自动驾驶决策因子的步骤,包括:
通过在汽车智能终端上安装相应的摄像头或连接外部摄像头,获取行车过程中的流媒体视频;
对所述流媒体视频进行视频格式转换、视频压缩和帧率调整的预处理,并将预处理后的流媒体视频导入至视频卷积深化模型中;
通过所述视频卷积深化模型对流媒体视频进行道路要素的特征提取,所述道路要素的特征提取包括提取流媒体视频的高速道路标线、其它车辆以及地面路况和天气要素;
再通过所述视频卷积深化模型对特征提取出的道路要素进行因子标定,以对所述道路要素进行权重设置,得到设置权重后的自动驾驶决策因子;
所述将对应的所述自动驾驶决策因子映射于流媒体视频中进行要素标定,并通过图像分类器将要素标定后的流媒体视频进行对应的视频流编码处理,以生成编码流数据的步骤,包括:
根据视频卷积深化模型确定出的自动驾驶决策因子的权重,对所述流媒体视频进行要素标定,以根据所述要素标定创建对应数量的编码通道;
通过图像分类器识别出所述流媒体视频中各个与自动驾驶决策因子匹配的待编码视频;
将各个所述待编码视频进行文本化编码,生成编码流数据。
2.根据权利要求1所述的流媒体行车监控方法,其特征在于,所述视频卷积深化模型的预先训练步骤,包括:
叠合VGG结构与AlexNet结构形成混合网络结构;
采用随机初始化对所述视频卷积深化模型进行初始化,并将若干行车训练视频导入至所述混合网络结构中,采用反向传播算法对若干行车训练视频进行道路要素的特征提取训练;
对训练后的所述视频卷积深化模型进行评估,生成训练结果数据,以判断训练结果数据是否高于预设系数值,其中,所述训练结果数据包括准确率和召回率;
若是,则删除所述训练结果数据并输出训练完成的所述视频卷积深化模型,反之,则保留所述训练结果数据并重新执行本训练步骤。
3.根据权利要求2所述的流媒体行车监控方法,其特征在于,所述叠合VGG结构与AlexNet结构形成混合网络结构的步骤,包括:
利用AlexNet的浅层特征中的前若干个卷积层和VGG的深层特征中的后若干个卷积层进行组合,形成更深层次的混合网络结构;
采用Softmax函数将所述混合网络的末端添加全连接层进行分类并输出概率值,通过所述概率值作为若干所述行车训练视频特征提取的权重比。
4.根据权利要求1所述的流媒体行车监控方法,其特征在于,所述将各个所述待编码视频进行文本化编码,生成编码流数据的步骤,包括:
采用RGB构图法识别若干个所述待编码视频中的色彩信息,并根据所述色彩信息生成与待编码视频匹配对应的色彩进制代码;
将若干所述待编码视频一一对应的色彩进制代码通过编码通道作为编码流数据进行输出。
5.根据权利要求4所述的流媒体行车监控方法,其特征在于,所述通过所述编码流数据进行对应的自动驾驶行车过程的步骤,包括:
对若干所述色彩进制代码进行进度式重构,并在进行所述进度式重构的过程中判断是否能够识别到道路要素直至所述道路要素重构清晰;
最终通过编码流数据重构出道路要素进行自动驾驶行车过程。
6.一种流媒体行车监控装置,其特征在于,包括:
识别单元,用于识别车辆的流媒体网络带宽量,并判断所述网络带宽量是否满足预设带宽量,若是,则生成可执行自动驾驶许可以及监听自动驾驶指令;
获取单元,用于获取行车过程时的流媒体视频,采用预设的视频卷积深化模型对所述流媒体视频进行因子标定,生成自动驾驶决策因子,所述自动驾驶决策因子包括但不限于是高速道路标线、其它车辆以及地面路况和天气要素;
编码单元,用于将对应的所述自动驾驶决策因子映射于流媒体视频中进行要素标定,并通过图像分类器将要素标定后的流媒体视频进行对应的视频流编码处理,以生成编码流数据;
行车单元,用于通过所述编码流数据进行对应的自动驾驶行车过程;
所述获取行车过程时的流媒体视频,采用预设的视频卷积深化模型对所述流媒体视频进行因子标定,生成自动驾驶决策因子,包括:
通过在汽车智能终端上安装相应的摄像头或连接外部摄像头,获取行车过程中的流媒体视频;
对所述流媒体视频进行视频格式转换、视频压缩和帧率调整的预处理,并将预处理后的流媒体视频导入至视频卷积深化模型中;
通过所述视频卷积深化模型对流媒体视频进行道路要素的特征提取,所述道路要素的特征提取包括提取流媒体视频的高速道路标线、其它车辆以及地面路况和天气要素;
再通过所述视频卷积深化模型对特征提取出的道路要素进行因子标定,以对所述道路要素进行权重设置,得到设置权重后的自动驾驶决策因子;
所述将对应的所述自动驾驶决策因子映射于流媒体视频中进行要素标定,并通过图像分类器将要素标定后的流媒体视频进行对应的视频流编码处理,以生成编码流数据,包括:
根据视频卷积深化模型确定出的自动驾驶决策因子的权重,对所述流媒体视频进行要素标定,以根据所述要素标定创建对应数量的编码通道;
通过图像分类器识别出所述流媒体视频中各个与自动驾驶决策因子匹配的待编码视频;
将各个所述待编码视频进行文本化编码,生成编码流数据。
7.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述流媒体行车监控方法的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的流媒体行车监控方法的步骤。
CN202311332334.4A 2023-10-16 2023-10-16 流媒体行车监控方法及其设备 Active CN117082303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311332334.4A CN117082303B (zh) 2023-10-16 2023-10-16 流媒体行车监控方法及其设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311332334.4A CN117082303B (zh) 2023-10-16 2023-10-16 流媒体行车监控方法及其设备

Publications (2)

Publication Number Publication Date
CN117082303A CN117082303A (zh) 2023-11-17
CN117082303B true CN117082303B (zh) 2024-01-30

Family

ID=88706456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311332334.4A Active CN117082303B (zh) 2023-10-16 2023-10-16 流媒体行车监控方法及其设备

Country Status (1)

Country Link
CN (1) CN117082303B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109501886A (zh) * 2017-09-14 2019-03-22 西克股份公司 自动驾驶车辆及用于自动驾驶车辆的标记装置
WO2019076960A1 (en) * 2017-10-18 2019-04-25 Veoneer Sweden Ab VISION SYSTEM AND METHOD FOR ASSISTING DRIVING AND / OR AUTONOMOUS DRIVING IN A MOTOR VEHICLE
CN112026854A (zh) * 2020-09-11 2020-12-04 广东韶钢松山股份有限公司 机车控制方法和车载控制设备
CN113246991A (zh) * 2021-06-29 2021-08-13 新石器慧通(北京)科技有限公司 用于无人车的远程驾驶端的数据传输方法和装置
KR20210106598A (ko) * 2020-02-20 2021-08-31 엘지전자 주식회사 자율주행 제어방법 및 제어장치
CN114155504A (zh) * 2021-07-21 2022-03-08 易特智行科技(张家口)有限公司 用于自动驾驶的视觉识别车辆方法、装置、出行装置及介质
CN114445791A (zh) * 2021-12-23 2022-05-06 武汉理工大学 一种基于机器视觉与激光雷达的路侧数据采集及车辆控制集成系统
CN114973188A (zh) * 2022-04-29 2022-08-30 同济大学 一种驾驶场景分类编码方法及其系统
CN116074784A (zh) * 2021-11-03 2023-05-05 中国联合网络通信集团有限公司 车载数据传输方法、装置和存储介质
CN116310970A (zh) * 2023-03-03 2023-06-23 中南大学 基于深度学习的自动驾驶场景分类算法
EP4202861A1 (en) * 2021-12-24 2023-06-28 Hyundai Mobis Co., Ltd. Method and device for classifying end-to-end weather and road conditions in real time by using lidar

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11554785B2 (en) * 2019-05-07 2023-01-17 Foresight Ai Inc. Driving scenario machine learning network and driving environment simulation

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109501886A (zh) * 2017-09-14 2019-03-22 西克股份公司 自动驾驶车辆及用于自动驾驶车辆的标记装置
WO2019076960A1 (en) * 2017-10-18 2019-04-25 Veoneer Sweden Ab VISION SYSTEM AND METHOD FOR ASSISTING DRIVING AND / OR AUTONOMOUS DRIVING IN A MOTOR VEHICLE
KR20210106598A (ko) * 2020-02-20 2021-08-31 엘지전자 주식회사 자율주행 제어방법 및 제어장치
CN112026854A (zh) * 2020-09-11 2020-12-04 广东韶钢松山股份有限公司 机车控制方法和车载控制设备
CN113246991A (zh) * 2021-06-29 2021-08-13 新石器慧通(北京)科技有限公司 用于无人车的远程驾驶端的数据传输方法和装置
CN114155504A (zh) * 2021-07-21 2022-03-08 易特智行科技(张家口)有限公司 用于自动驾驶的视觉识别车辆方法、装置、出行装置及介质
CN116074784A (zh) * 2021-11-03 2023-05-05 中国联合网络通信集团有限公司 车载数据传输方法、装置和存储介质
CN114445791A (zh) * 2021-12-23 2022-05-06 武汉理工大学 一种基于机器视觉与激光雷达的路侧数据采集及车辆控制集成系统
EP4202861A1 (en) * 2021-12-24 2023-06-28 Hyundai Mobis Co., Ltd. Method and device for classifying end-to-end weather and road conditions in real time by using lidar
CN114973188A (zh) * 2022-04-29 2022-08-30 同济大学 一种驾驶场景分类编码方法及其系统
CN116310970A (zh) * 2023-03-03 2023-06-23 中南大学 基于深度学习的自动驾驶场景分类算法

Also Published As

Publication number Publication date
CN117082303A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
US20210117705A1 (en) Traffic image recognition method and apparatus, and computer device and medium
CN113673420B (zh) 一种基于全局特征感知的目标检测方法及系统
CN108664953B (zh) 一种基于卷积自编码器模型的图像特征提取方法
CN111107395A (zh) 一种视频转码的方法、装置、服务器和存储介质
CN110956081B (zh) 车辆与交通标线位置关系的识别方法、装置及存储介质
CN111435446A (zh) 一种基于LeNet车牌识别方法及装置
CN117079299B (zh) 数据处理方法、装置、电子设备及存储介质
CN115131634A (zh) 图像识别方法、装置、设备、存储介质及计算机程序产品
CN113128522B (zh) 目标识别方法、装置、计算机设备和存储介质
CN117082303B (zh) 流媒体行车监控方法及其设备
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质
CN110796003B (zh) 车道线检测方法、装置及电子设备
CN113505640A (zh) 一种基于多尺度特征融合的小尺度行人检测方法
CN115423809B (zh) 图像质量评价方法、装置、可读存储介质及电子设备
CN115424243A (zh) 基于yolov5-shufflenetv2的车位号码识别方法、设备和介质
CN114241253A (zh) 违规内容识别的模型训练方法、系统、服务器及存储介质
CN113298102A (zh) 一种目标分类模型的训练方法及装置
CN113343817A (zh) 一种面向目标区域的无人车路径检测方法、装置及介质
Kajak Impact of video compression on the performance of object detection algorithms in automotive applications
CN116778376B (zh) 内容安全检测模型训练方法、检测方法和装置
WO2022213843A1 (zh) 一种图像处理方法、训练方法及装置
US11625925B2 (en) Remote segmentation under limited computational resources and rate constraints
CN112990070B (zh) 一种车辆颜色检测方法、系统、设备及存储介质
CN112801128B (zh) 非机动车识别方法、装置、电子设备及存储介质
CN117237988A (zh) 一种图像处理模型的训练方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant