CN115195605A - 基于流媒体后视镜系统的数据处理方法、装置和车辆 - Google Patents

基于流媒体后视镜系统的数据处理方法、装置和车辆 Download PDF

Info

Publication number
CN115195605A
CN115195605A CN202210962591.5A CN202210962591A CN115195605A CN 115195605 A CN115195605 A CN 115195605A CN 202210962591 A CN202210962591 A CN 202210962591A CN 115195605 A CN115195605 A CN 115195605A
Authority
CN
China
Prior art keywords
streaming media
rearview mirror
domain controller
video information
media rearview
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210962591.5A
Other languages
English (en)
Inventor
张宜
张启明
缪辉
赵贤奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaopeng Autopilot Technology Co Ltd
Original Assignee
Guangzhou Xiaopeng Autopilot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaopeng Autopilot Technology Co Ltd filed Critical Guangzhou Xiaopeng Autopilot Technology Co Ltd
Priority to CN202210962591.5A priority Critical patent/CN115195605A/zh
Publication of CN115195605A publication Critical patent/CN115195605A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/61Installation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请涉及一种基于流媒体后视镜系统CMS的数据处理方法、装置和车辆。该方法包括:第一域控制器接收流媒体后视镜摄像头采集的视频信息;所述第一域控制器对所述视频信息进行处理,生成所述视频信息对应的图像数据;所述第一域控制器将所述图像数据传输至流媒体显示屏进行显示。本申请提供的方案,能够减少系统复杂度和系统成本,提高对流媒体后视镜摄像头所采集的视频信息的处理效率。

Description

基于流媒体后视镜系统的数据处理方法、装置和车辆
技术领域
本申请涉及自动驾驶技术领域,尤其涉及基于流媒体后视镜系统的数据处理方法、装置和车辆。
背景技术
流媒体后视镜系统(cameramonitorsystem,CMS)是通过外置摄像头对汽车后方的车况和道路进行拍摄,然后传输到实时路况显示屏上。相较于传统的后视镜,流媒体后视镜系统避开了传统后视镜视野窄,并且可能会被车内其它杂物遮挡的情况,同时也能给车主带来更加广阔的视野。
相关技术中流媒体后视镜技术方案通常由CMS主机、CMS显示屏、CMS摄像头、自动驾驶控制器(X-Pilotunit,XPU)、中央域控制器(centerdomaincontrollerunit,CDCU)等多个零部件系统构成,架构复杂,成本较高。因此,如何减少系统复杂度和系统成本,提高系统对流媒体后视镜摄像头所采集的视频信息的处理效率成为亟待解决的技术问题。
发明内容
为解决或部分解决相关技术中存在的问题,本申请提供一种基于流媒体后视镜系统的数据处理方法、装置和车辆,能够利用域控制器处理流媒体后视镜摄像头所采集的视频信息,减少系统复杂度和系统成本,提高处理效率。
本申请第一方面提供一种基于流媒体后视镜系统的数据处理方法,包括:第一域控制器接收流媒体后视镜摄像头采集的视频信息;该第一域控制器对所述视频信息进行处理,生成所述视频信息对应的图像数据;该第一域控制器将所述图像数据通过所述LVDS传输至流媒体显示屏进行显示。
在本申请提供的方案中,流媒体后视镜摄像头在采集到视频信息之后不再利用控制器域网(controllerareanetwork,CAN)向CMS主机传输所采集到的视频信息,而是直接通过LVDS向第一域控制器传输该视频信息,由第一域控制器对该视频信息进行处理并将处理后得到的图像数据通过LVDS传输给流媒体显示屏进行显示。这样取消了CAN等多余链路和CMS主机等多余组件,减少了系统复杂度和系统成本,并且提高了对流媒体后视镜摄像头所采集到的视频信息的处理效率。
结合第一方面,在第一方面的一种可能的实现方式中,该第一域控制器根据流媒体后视镜标定算法及模型对所述视频信息进行处理,生成所述视频信息对应的图像数据。
在本申请提供的方案中,第一域控制器中预先内置了流媒体后视镜标定算法及模型,该标定算法及模型专门用于处理流媒体后视镜所采集到的视频信息,因此,第一域控制器在接收到流媒体后视镜所传输过来的视频信息后,可以直接利用内置的标定算法及模型对其进行处理,并将处理结果输出至显示屏进行显示,从而在减少了系统复杂度的同时也提高了处理效率。
结合第一方面,在第一方面的一种可能的实现方式中,该第一域控制器在通过LVDS接收流媒体后视镜摄像头采集的视频信息之前,获取左右侧后视摄像头采集的视频数据,所述左右侧后视摄像头的采集范围与所述流媒体后视镜摄像头的采集范围的重合度大于预设阈值;该第一域控制器根据所述左右侧后视摄像头采集的视频数据对所述流媒体后视镜标定算法及模型进行训练。
在本申请提供的方案中,出于行车功能的需要,该第一域控制器需要获取左右侧后视摄像头采集的视频数据,而由于左右侧后视摄像头的采集范围与流媒体后视镜摄像头的采集范围接近,即它们采集范围的重合度大于预设阈值,因此该第一域控制器可以直接利用之前获取到的左右侧后视摄像头采集的视频数据对需要内置的标定算法及模型进行训练,从而避免再次获取流媒体后视镜摄像头采集的视频数据对标定算法及模型进行训练,减少了人工成本,提高了训练效率。
结合第一方面,在第一方面的一种可能的实现方式中,该第一域控制器接收第一域控制器升级包,所述第一域控制器升级包包括所述流媒体后视镜摄像头的升级包;该第一域控制器利用所述流媒体后视镜摄像头的升级包对所述流媒体后视镜摄像头进行升级。
在本申请提供的方案中,由于第一域控制器直接通过LVDS与流媒体后视镜摄像头进行连接,且第一域控制器可以利用其中内置的标定算法及模型对流媒体后视镜摄像头采集到的视频信息进行处理,因此在需要对流媒体后视镜摄像头进行升级时,可以直接将流媒体后视镜摄像头的升级包集成在第一域控制器的升级包中,这样可以减少用于流媒体后视镜摄像头升级的以太网链路,也不再需要通过CDCU透传该升级包,进一步减少了系统复杂度和系统成本。可选的,第一域控制器可以是XPU或CDCU,也可以是其它具备高算力的域控制器。
本申请第二方面提供一种数据处理装置,包括:接收模块,用于通过LVDS接收流媒体后视镜摄像头采集的视频信息;处理模块,用于对所述视频信息进行处理,生成所述视频信息对应的图像数据;传输模块,用于将所述图像数据通过所述LVDS传输至流媒体显示屏进行显示。
结合第二方面,在第二方面的一种可能的实现方式中,所述处理模块根据流媒体后视镜标定算法及模型对所述视频信息进行处理,生成所述视频信息对应的图像数据。
结合第二方面,在第二方面的一种可能的实现方式中,所述接收模块,还用于获取左右侧后视摄像头采集的视频数据,所述左右侧后视摄像头的采集范围与所述流媒体后视镜摄像头的采集范围的重合度大于预设阈值;所述处理模块,还用于根据所述左右侧后视摄像头采集的视频数据对所述流媒体后视镜标定算法及模型进行训练。
结合第二方面,在第二方面的一种可能的实现方式中,所述接收模块,还用于接收第一域控制器升级包,所述第一域控制器升级包包括所述流媒体后视镜摄像头的升级包;所述处理模块,还用于利用所述流媒体后视镜摄像头的升级包对所述流媒体后视镜摄像头进行升级。
本申请第三方面提供一种车辆,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如上所述第一方面以及结合第一方面中的任意一种实现方式的方法。
本申请第四方面提供一种计算机可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如上所述第一方面以及结合上述第一方面中的任意一种实现方式的方法。
本申请在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述,本申请的上述以及其他目的、特征和优势将变得更加明显,其中,在本申请示例性实施方式中,相同的参考标号通常代表相同部件。
图1是本申请实施例示出的流媒体后视镜系统的结构示意图;
图2是本申请实施例示出的应用场景的示意图;
图3是本申请实施例示出的数据处理系统的结构示意图;
图4是本申请实施例示出的基于流媒体后视镜系统的数据处理方法的流程示意图;
图5是本申请实施例示出的数据处理装置的结构示意图;
图6是本申请实施例示出的车辆的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式,然而应该理解,可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本申请更加透彻和完整,并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
首先,对本申请中所涉及的部分用语和相关技术进行解释说明,以便于本领域技术人员理解。
流媒体后视镜系统(cameramonitorsystem,CMS)主要包括CMS主机、CMS显示屏、左流媒体后视镜摄像头(LCMS)和右流媒体后视镜摄像头(RCMS),其中LCMS和RCMS一般位于汽车车尾高位刹车灯旁边,用于拍摄汽车后方的车况和道路,并将拍摄到的数据传输给CMS主机。CMS主机又称为CMS电子控制单元(CMS electronic controlunit,CMS ECU),它和普通电脑一样,由微控制器(microcontrolunit,MCU)、存储器(只读存储器(read-onlymemory,ROM)、随机存取存储器(randomaccessmemory,RAM))、输入输出接口(I/O)、模数转换器(A/D)以及整形、驱动等大规模集成电路组成。CMS显示屏包括LCMS显示屏和RCMS显示屏,分别与LCMS ECU和RCMS ECU连接,用于将LCMS和RCMS拍摄的路况进行实时的显示。
自动驾驶控制器(X-Pilotunit,XPU)是一种可以集成多种功能的域控制器,具有较强的中央处理器(centralprocessingunit,CPU)算力、图形处理器(graphicsprocessingunit,GPU)算力和人工智能(artificialintelligence,AI)算力,其中运行有多种系统级芯片(systemonchip,SoC),实现不同的功能。
系统级芯片(systemonchip,SoC)也称为片上系统,是一个有专用目标的集成电路,其中包含完整系统并有嵌入软件的全部内容。
中央域控制器(centerdomaincontrollerunit,CDCU)与XPU类似,也是一种可以集成多种功能的域控制器,其区别主要是所负责的车辆功能不同,在CDCU上也运行有多种SoC。
控制器域网(controllerareanetwork,CAN)是一种应用广泛的现场总线,CAN总线协议已经成为汽车计算机控制系统和嵌入式工业控制局域网的标准总线,其具有高可靠性和良好的错误检测能力。CAN属于总线式串行通信网络,其总线结构被划分为两层:物理层和数据链路层(包括逻辑链路控制子层LLC和媒体访问控制子层MAC),其中LLC子层为数据传递和远程数据请求提供服务,MAC子层的功能主要是传送规则,即控制帧结构、执行仲裁、错误检验、出错标定和故障界定。
低电压差分信号(low-voltagedifferentialsignaling,LVDS)是一种低振幅差分信号技术,通过一对差分PCB走线或平衡电缆传输数据,能以高达数千Mbps的速度传送串行数据。由于电压信号幅度较低,而且采用恒流源模式驱动,从而只产生极低的噪声,消耗非常小的功率,此外,由于LVDS以差分方式传送数据,不易受共模噪声影响,因此,其被广泛应用于高速接收系统中。
空中下载技术(over-the-airtechnology,OTA)是一项基于短消息机制,通过移动通信的空中接口对数据及应用进行远程管理的技术。要实现OTA功能,需要服务器和客户端,服务器只有一个,客户端可以有多个,服务器通过串口与客户端连接,需要下载的镜像文件存放于客户端,命令执行器发命令及镜像文件,首先,命令执行器控制服务器广播当前可用的镜像文件信息,客户端收到信息后进行比对,若有与自身相匹配的镜像,则向服务器请求数据,服务器收到请求后向命令执行器索取固定大小的块,再点对点传送给客户端,镜像传输完毕后,客户端进行校验,完成后发送终止信号。
在车辆技术领域中,传统车辆的后视镜一般都是固定的,这导致其视野范围较窄,而且很容易被车内其它杂物遮挡,从而导致在日常的行车过程中存在着较大的安全隐患。为了克服上述问题,在最新研发的智能驾驶车辆中安装了流媒体后视镜系统,通过外置于车尾的摄像头实时拍摄汽车后方的车况和道路,并将拍摄的数据传输到车内的实时路况显示屏上,从而极大的扩展了传统后视镜的视野范围。
在相关技术中,流媒体后视镜系统一般包括CMS主机、CMS显示屏、CMS摄像头、XPU和CDCU,其工作过程通过上述各个零部件相互配合完成。请参见图1,图1是本申请实施例示出的流媒体后视镜系统的结构示意图。如图1所示,LCMS摄像头和RCMS摄像头对车后路况进行实时拍摄,并将拍摄得到的视频信息通过LVDS分别传输给相连接的LCMS ECU和RCMSECU,LCMS ECU和RCMS ECU在接收到相关视频信息后,利用预置于其中SoC上的流媒体后视镜标定算法及模型对其进行处理,生成相关的图像数据,然后再通过LVDS将生成的图像数据分别传输给LCMS显示屏和RCMS显示屏进行显示,而在行车过程中发生紧急情况时,需要XPU生成侧后预警信息,并通过CAN传输给LCMS ECU和RCMS ECU,最终由LCMS ECU和RCMSECU传输至显示屏进行显示。另外,在需要对流媒体后视镜进行升级时,需要远程信息处理器(telematics BOX,T-BOX)从云端接收相应的流媒体后视镜OTA升级包,然后T-BOX通过以太网链路将其传送给CDCU,进而CDCU将该升级包通过以太网链路转发给LCMS ECU和RCMSECU,最终完成流媒体后视镜的升级。
可以看出,在图1所示的系统架构下,流媒体后视镜系统的架构比较复杂,所涉及的器件较多,它们之间的交互所占用的链路也较多,进而导致对流媒体后视镜摄像头所采集的视频信息的处理效率也不够高,整个系统的成本较高。
针对上述问题,本申请实施例提供一种基于流媒体后视镜系统的数据处理方法,能够利用域控制器处理流媒体后视镜摄像头所采集的视频信息,减少系统复杂度和系统成本,提高处理效率。
本申请提供的基于流媒体后视镜系统的数据处理方法由基于流媒体后视镜系统的数据处理系统执行,在一个具体的实施例中,基于流媒体后视镜系统的数据处理系统可以部署在任意一个涉及流媒体后视镜数据处理的电子设备中。例如,如图2所示,可以部署在自动驾驶设备上,自动驾驶设备可以为智能车辆。
基于流媒体后视镜系统的数据处理系统用于对流媒体后视镜摄像头拍摄的视频信息进行处理,生成该视频信息对应的图像数据,然后在流媒体显示屏上显示该图像数据。参见图3,图3是本申请实施例提供的数据处理系统的结构示意图。如图3所示,数据处理系统300包括流媒体后视镜摄像头311、流媒体后视镜摄像头312、第一域控制器320和流媒体显示屏330。首先,流媒体后视镜摄像头311和流媒体后视镜摄像头312根据自身视角拍摄视频信息,并将拍摄到的视频信息通过LVDS直接传输给第一域控制器320,第一域控制器320中集成了流媒体后视镜标定算法及模型,第一域控制器320利用集成的流媒体后视镜标定算法及模型对接收到视频信息进行处理,生成对应的图像数据,然后第一域控制器320通过LVDS将生成的图像数据传输至流媒体显示屏330上进行显示。需要说明的是,第一域控制器320可以是XPU、CDCU或其它具备高算力的域控制器,本申请对此不作限定。为了便于描述,本申请以下实施例在不作特别说明的情况下,均以第一域控制器320为XPU为例进行描述。
以下结合附图详细描述本申请实施例的技术方案。
图4是本申请实施例示出的基于流媒体后视镜系统的数据处理方法的流程示意图。
参见图4,该方法包括但不限于以下步骤:
S401:第一域控制器接收流媒体后视镜摄像头采集的视频信息。
具体地,部署在智能车辆上的左右流媒体后视镜摄像头以自身视角对车后的道路情况进行拍摄,采集得到视频信息,该视频信息由不同时刻的视频帧组成,其中视频帧是按照时间顺序排列的,每个视频帧都是一个图像,用于反映当前时刻被拍摄地理区域的状况。
进一步的,左右流媒体后视镜摄像头在采集到相关视频信息后,不再通过CAN发送给左右流媒体后视镜主机,而是直接传输给第一域控制器,由第一域控制器对左右流媒体后视镜摄像头采集到的视频信息进行处理。可选的,第一域控制器可以是XPU、CDCU或其它具备高算力的域控制器。
在一种可能的实现方式中,左右流媒体后视镜摄像头在采集到相关视频信息之后,通过LVDS接口将其传输给第一域控制器。容易理解,利用LVDS传输视频信息,可以大大的提高传输效率,此外消耗的功率也较小,不容易受共模噪声等影响,也提高了系统稳定性。
S402:第一域控制器对视频信息进行处理,生成该视频信息对应的图像数据。
具体地,第一域控制器具有极强的CPU算力、GPU算力和AI算力,因此可以在第一域控制器中的SoC上直接集成左右流媒体后视镜标定算法及模型,然后,第一域控制器可以直接对左右流媒体后视镜摄像头采集到的视频信息进行处理,从而生成该视频信息对应的可以直接用于用户理解和识别的图像数据,用户通过这些图像数据可以实时掌握车辆后方的道路情况,从而帮助用户提高行车安全。
可以理解,当第一域控制器上集成了左右流媒体后视镜标定算法及模型之后,将不再需要CMS主机对左右流媒体后视镜摄像头采集的视频信息进行处理,即CMS主机的功能将由第一域控制器进行取代,从而可以去除CMS主机,这样整个系统的结构将变得更加简单,复杂度降低,也减少了系统成本。同时,由于系统中减少了CMS主机,左右流媒体后视镜不需要与CMS主机进行交互,而是与第一域控制器直接相连,那么第一域控制器与CMS之间交互的CAN也可以取消,释放了CAN资源,提高了CAN的带宽利用率,同时也提高了对左右流媒体后视镜摄像头采集的视频信息的处理效率。
在一种可能的实现方式中,该第一域控制器获取左右侧后视摄像头采集的视频数据,该左右侧后视摄像头的采集范围与流媒体后视镜摄像头的采集范围的重合度大于预设阈值,该第一域控制器根据左右侧后视摄像头采集的视频数据对流媒体后视镜标定算法及模型进行训练。
具体地,第一域控制器在开发行车功能时需要采集左右侧后视摄像头拍摄的视频数据,这些数据被保存在第一域控制器中。另外,流媒体后视镜标定算法及模型在最开始集成在第一域控制器的SoC上并不能直接对流媒体后视镜摄像头采集的视频信息进行处理,需要利用样本数据(即利用相关参数等已知的流媒体后视镜摄像头预先采集的数据)对其进行训练,使其具备相关的视频信息处理能力之后,才可以实时的对流媒体后视镜采集的视频信息进行处理。
进一步的,由于左右侧后视摄像头的视角范围与流媒体后视镜摄像头的视角范围基本相同,即左右侧后视摄像头的采集范围与流媒体后视镜摄像头的采集范围的重合度大于预设阈值,预设阈值可以根据实际需要进行设置,例如可以设置为95%,本申请对此不作限定,因此,左右侧后视摄像头采集到的视频信息与流媒体后视镜摄像头采集到的视频信息也基本吻合,所以,第一域控制器的SoC上在集成了流媒体后视镜标定算法及模型后,不需要再额外去获取相关的样本数据对其进行训练,而是可以直接利用预先已经保存的左右侧后视摄像头采集的视频数据作为样本数据对其进行训练,使其具备处理视频信息的能力。可以看出,通过这种方式,能够提高算法及模型的训练效率,减少人工成本。
在另一种可能的实现方式中,第一域控制器接收第一域控制器升级包,该第一域控制器升级包中包含流媒体后视镜摄像头的升级包,该第一域控制器利用流媒体后视镜摄像头的升级包对流媒体后视镜摄像头进行升级。
具体地,由于本申请的第一域控制器中集成了流媒体后视镜标定算法及模型取代了CMS主机,因此与相关技术相比,在需要对流媒体后视镜摄像头进行升级时,不需要借助CDCU从T-BOX接收云端发送的流媒体后视镜摄像头的升级包,进而CDCU将接收到升级包通过以太网链路传送给CMS主机从而完成对流媒体后视镜摄像头的升级,而是可以直接将流媒体后视镜摄像头的升级包集成在第一域控制器的升级包中,第一域控制器在接收到第一域控制器的升级包的同时也接收到了流媒体后视镜摄像头的升级包,从而可以直接完成对流媒体后视镜摄像头的升级过程,这样可以取消专门用于流媒体后视镜摄像机升级的以太网链路,节约了网络资源,进一步的简化了系统结构,在减少系统复杂度的同时也节约了系统成本。
S403:第一域控制器将图像数据传输至流媒体显示屏进行显示。
具体地,第一域控制器利用流媒体后视镜标定算法及模型对接收到的视频信息进行处理之后可以生成其对应的可供用户直接识别的图像数据,然后将该图像数据通过LVDS传输至车内的流媒体显示屏进行显示,用户可以根据流媒体显示屏显示的图像进行操作调整,从而保证行车安全。
与前述应用功能实现方法实施例相对应,本申请还提供了一种数据处理装置和车辆及相应的实施例。
图5是本申请实施例示出的数据处理装置的结构示意图。
参见图5,数据处理装置500包括接收模块510、处理模块520和传输模块530。其中,
接收模块510,用于接收流媒体后视镜摄像头采集的视频信息。
处理模块520,用于对采集到的视频信息进行处理,生成该视频信息对应的图像数据。
传输模块530,用于将图像数据传输至流媒体显示屏进行显示。
从该实施例可以看出,本申请实施例提供的装置,能够减少系统的复杂度和系统成本,同时也提高了对视频信息的处理效率。
在一种可能的实现方式中,处理模块520根据流媒体后视镜标定算法及模型对该视频信息进行处理,生成该视频信息对应的图像数据。
在另一种可能的实现方式中,接收模块510还用于获取左右侧后视摄像头采集的视频数据,该左右侧后视摄像头的采集范围与流媒体后视镜摄像头的采集范围的重合度大于预设阈值;处理模块520还用于根据左右侧后视摄像头采集的视频数据对该流媒体后视镜标定算法及模型进行训练。
在另一种可能的实现方式中,接收模块510还用于接收第一域控制器升级包,该第一域控制器升级包包括流媒体后视镜摄像头的升级包;处理模块520还用于利用该流媒体后视镜摄像头的升级包对流媒体后视镜摄像头进行升级。
上述各个模块之间互相可以通过通信通路进行数据传输,应理解,数据处理装置500包括的各个模块可以为软件单元、也可以为硬件单元、或部分为软件单元部分为硬件单元。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不再做详细阐述说明。
图6是本申请实施例示出的车辆的结构示意图。
参见图6,车辆600包括存储器610和处理器620。
处理器620可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器610可以包括各种类型的存储单元,例如系统内存、只读存储器(ROM)和永久存储装置。其中,ROM可以存储处理器620或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器610可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(例如DRAM,SRAM,SDRAM,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。在一些实施方式中,存储器610可以包括可读和/或写的可移除的存储设备,例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM,双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器610上存储有可执行代码,当可执行代码被处理器620处理时,可以使处理器620执行上文述及的方法中的部分或全部。
此外,根据本申请的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者,本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质),其上存储有可执行代码(或计算机程序或计算机指令代码),当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时,使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于流媒体后视镜系统CMS的数据处理方法,其特征在于,包括:
第一域控制器接收流媒体后视镜摄像头采集的视频信息;
所述第一域控制器对所述视频信息进行处理,生成所述视频信息对应的图像数据;
所述第一域控制器将所述图像数据传输至流媒体显示屏进行显示。
2.根据权利要求1所述的方法,其特征在于,所述第一域控制器对所述视频信息进行处理,生成所述视频信息对应的图像数据包括:
所述第一域控制器根据流媒体后视镜标定算法及模型对所述视频信息进行处理,生成所述视频信息对应的图像数据。
3.根据权利要求2所述的方法,其特征在于,在所述第一域控制器接收流媒体后视镜摄像头采集的视频信息之前,所述方法还包括:
所述第一域控制器获取左右侧后视摄像头采集的视频数据,所述左右侧后视摄像头的采集范围与所述流媒体后视镜摄像头的采集范围的重合度大于预设阈值;
所述第一域控制器根据所述左右侧后视摄像头采集的视频数据对所述流媒体后视镜标定算法及模型进行训练。
4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
所述第一域控制器接收第一域控制器升级包,所述第一域控制器升级包包括所述流媒体后视镜摄像头的升级包;
所述第一域控制器利用所述流媒体后视镜摄像头的升级包对所述流媒体后视镜摄像头进行升级。
5.一种数据处理装置,其特征在于,包括:
接收模块,用于接收流媒体后视镜摄像头采集的视频信息;
处理模块,用于对所述视频信息进行处理,生成所述视频信息对应的图像数据;
传输模块,用于将所述图像数据传输至流媒体显示屏进行显示。
6.根据权利要求5所述的装置,其特征在于:
所述处理模块根据流媒体后视镜标定算法及模型对所述视频信息进行处理,生成所述视频信息对应的图像数据。
7.根据权利要求6所述的装置,其特征在于,
所述接收模块,还用于获取左右侧后视摄像头采集的视频数据,所述左右侧后视摄像头的采集范围与所述流媒体后视镜摄像头的采集范围的重合度大于预设阈值;
所述处理模块,还用于根据所述左右侧后视摄像头采集的视频数据对所述流媒体后视镜标定算法及模型进行训练。
8.根据权利要求5或6所述的装置,其特征在于,
所述接收模块,还用于接收第一域控制器升级包,所述第一域控制器升级包包括所述流媒体后视镜摄像头的升级包;
所述处理模块,还用于利用所述流媒体后视镜摄像头的升级包对所述流媒体后视镜摄像头进行升级。
9.一种车辆,其特征在于,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1-4中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1-4中任一项所述的方法。
CN202210962591.5A 2022-08-11 2022-08-11 基于流媒体后视镜系统的数据处理方法、装置和车辆 Pending CN115195605A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210962591.5A CN115195605A (zh) 2022-08-11 2022-08-11 基于流媒体后视镜系统的数据处理方法、装置和车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210962591.5A CN115195605A (zh) 2022-08-11 2022-08-11 基于流媒体后视镜系统的数据处理方法、装置和车辆

Publications (1)

Publication Number Publication Date
CN115195605A true CN115195605A (zh) 2022-10-18

Family

ID=83585702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210962591.5A Pending CN115195605A (zh) 2022-08-11 2022-08-11 基于流媒体后视镜系统的数据处理方法、装置和车辆

Country Status (1)

Country Link
CN (1) CN115195605A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237393A (zh) * 2023-11-06 2023-12-15 深圳金语科技有限公司 基于流媒体后视镜的图像处理方法、装置及计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237393A (zh) * 2023-11-06 2023-12-15 深圳金语科技有限公司 基于流媒体后视镜的图像处理方法、装置及计算机设备
CN117237393B (zh) * 2023-11-06 2024-05-17 深圳金语科技有限公司 基于流媒体后视镜的图像处理方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
CN107094244B (zh) 可集中管控的智能客流监测装置与方法
CN112468261A (zh) 通过计算机总线的多个链路层编码的链路层通信
US11851075B2 (en) Electronic device and control method therefor
CN115195605A (zh) 基于流媒体后视镜系统的数据处理方法、装置和车辆
US20210009145A1 (en) Automated factory testflow of processing unit with sensor integration for driving platform
US11909557B2 (en) Secure ethernet and transmission control protocol
CN110733444A (zh) 一种基于mpsoc平台的adas驾驶辅助系统
Komorkiewicz et al. FPGA-based hardware-in-the-loop environment using video injection concept for camera-based systems in automotive applications
US11780460B2 (en) Determining control operations for an autonomous vehicle
CN115601738B (zh) 停车信息获取方法、装置、设备、存储介质及程序产品
CN116156114A (zh) 一种车载视频分路采集系统及方法
US11818234B2 (en) Methods and systems for transmitting messages using communication protocols specific to data formats of these messages
Končar et al. Development of automotive video logger HIL device for ADAS/AD algorithms development and testing
JP2007049297A (ja) 通信システム及びその制御方法
US11770518B1 (en) Detecting stereoscopic camera desynchronization
US11750920B1 (en) Stereoscopic camera resynchronization in an autonomous vehicle
WO2022213606A1 (zh) 一种摄像机数据处理方法及装置
US11758267B2 (en) Device and method for controlling image of vehicle
CN115063733A (zh) 一种对象检测方法及电子设备
CN118200477A (zh) 车辆控制方法及相关设备
TWI795752B (zh) 行車智能系統學習的開發裝置及其開發方法
US11704895B2 (en) Camera data normalization for an autonomous vehicle
US20230401911A1 (en) Lightweight in-vehicle critical scenario extraction system
WO2022193103A1 (zh) 数据传输方法、装置及系统
WO2023188807A1 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination