CN116527845A - 一种车辆视频监控方法、装置、电子设备及存储介质 - Google Patents
一种车辆视频监控方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116527845A CN116527845A CN202310468074.7A CN202310468074A CN116527845A CN 116527845 A CN116527845 A CN 116527845A CN 202310468074 A CN202310468074 A CN 202310468074A CN 116527845 A CN116527845 A CN 116527845A
- Authority
- CN
- China
- Prior art keywords
- video
- vehicle
- monitoring
- camera
- domain controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000005540 biological transmission Effects 0.000 claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012806 monitoring device Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 4
- 238000005538 encapsulation Methods 0.000 claims description 4
- 230000006855 networking Effects 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 4
- 102100021662 Baculoviral IAP repeat-containing protein 3 Human genes 0.000 claims description 3
- 101000896224 Homo sapiens Baculoviral IAP repeat-containing protein 3 Proteins 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 claims 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 claims 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 claims 2
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 239000013589 supplement Substances 0.000 description 3
- 230000001502 supplementing effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本申请涉及一种车辆视频监控方法，包括：高级辅助驾驶域控制器接收远程控制命令；座舱域控制器接收摄像头LVDS接口发送的第一视频数据，或通过高速视频传输协议栈处理高级辅助驾驶以太网发送的第二视频数据；所述座舱域控制器发送视频数据至视频分流框架进行分流处理；智能视觉算法处理模块获取视频流；V4L2HAL获取视频流后，抽象到标准api2接口。与现有技术相比，本申请提供的车辆视频监控系统包含对车辆自身及周围动态的近端和远程监控方案；对车辆动态行驶状态、熄火状态下都提供了相应的监控方案，可以对车辆自身及周围实现全天候、360度视频监控和记录。
Description
技术领域
本申请涉及智能汽车领域，且更为具体地，涉及一种车辆视频监控方法、装置、电子设备及存储介质。
背景技术
传统车辆的视频监控中通常仅包含行车记录仪，可以在行车过程中记录车辆前方发生的事情；有的车辆也会根据实际情况在车辆重要位置安装其它摄像头。
随着智能汽车、电动汽车的发展，车辆上的视频监控装置逐渐发展出了DVR(行车记录仪)、DMS(驾驶员监控系统)、OMS(乘客监控系统)、哨兵模式(AVM)等。车辆上安装的摄像装置越来越多，部署成本随之升高。不同的摄像头完成不同的功能，有个摄像头可能还存在功能重复，如何合理设计摄像头部署，更新数据采集与传输技术，充分挖掘摄像头的各种功能成为汽车智能化研究不可缺少的一部分。然而现有技术中的传输技术没有提供多路视频的传输方案，传输画面单一，在特定需求情况下，图像分辨率会受到较大限制。
随着微处理器技术、视频编解码技术、无线网络通讯技术、图像模式识别技术的迅速发展，车载监控系统也随着市场应用需求不断演化，市场对视频监控也提出了更多的需求，如高清化、智能化、集成化、实时性、全面性等各个方面都需要提高。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种车辆视频监控方法，包括：
高级辅助驾驶域控制器接收远程控制命令，并根据所述远程控制命令向座舱域控制器传输所需摄像头对应的视频或者拼接视频；
座舱域控制器接收摄像头LVDS接口发送的第一视频数据，或通过高速视频传输协议栈处理高级辅助驾驶以太网发送的第二视频数据；
所述座舱域控制器发送经过处理后的所述第一视频数据或所述第二视频数据至视频分流框架进行分流处理以满足多种功能对视频数据的需求；
智能视觉算法处理模块作为客户端从第一视频分流服务器获取视频流用于算法计算；
V4L2 HAL作为客户端从所述第一视频分流服务器获取视频流后，通过转化封装抽象到Android camera的标准api2接口；
监控app在车辆内部通过界面进行应用响应，或通过远程指令处理模块响应远程监控需求。
可选地，所述高级辅助驾驶域控制器接收远程控制命令，并根据所述远程控制命令调节对应位置灯光配合摄像头进行补光。
可选地，所述高级辅助驾驶域控制器与所述座舱域控制器之间的视频传输采用UDP进行多模式扩展，且根据座舱域的实时性要求自动调整。
可选地，分流处理方法为Hypervisor QNX/andriod双系统域控制器的分流处理方法，包括：
在QNX部署第二视频分流服务器，该第二视频分流服务器接收来自以太网或者视频解串器的数据，同时向多个client转发视频流数据，该服务同时管理多个视频源；
QNX侧其它应用通过客户端接收所述第二视频分流服务器发送的所述视频流数据；
驾驶员监控智能视觉算法处理模块作为客户端从所述第二视频分流服务器获取所述视频流数据用于算法计算；
在Android侧部署所述第一视频分流服务器，该第一视频分流服务器既是Android侧的视频分流服务端，同时也作为客户端通过HAB接收视频分流所述第二视频分流服务器转发的视频流数据。
可选地，所述座舱域控制器发送经过处理后的所述第一视频数据或所述第二视频数据至视频分流框架进行分流处理包括：
通过视频分流框架，将所有摄像头抽象出两层接口，分别为hal层接口和AndroidCamera标准接口API2，其中hal层接口可重入。
根据申请的另一个方面，还提供了一种车辆视频监控装置，包括：车载摄像头、高级辅助驾驶域控制器、座舱域控制器、底盘域控制器、手持移动设备、车联网汽车远程服务；
所述高级辅助驾驶域控制器配置为接收远程控制命令，并根据所述远程控制命令向座舱域控制器传输所需摄像头对应的视频或者拼接视频；
所述座舱域控制器配置为接收摄像头LVDS接口发送的第一视频数据，或通过高速视频传输协议栈处理高级辅助驾驶以太网发送的第二视频数据；
所述手持移动设备配置为通过所述车辆网车联网汽车远程服务发送远程命令到所述车辆底盘域控制器后再进行分发处理智能视觉算法处理模块作为客户端从第一视频分流服务器获取视频流用于算法计算。
可选地，所述车载摄像头包括：驾驶员监控摄像头、乘客监控摄像头、全景式监控摄像头及行车记录仪。
可选地，所述驾驶员监控摄像头设置于车内驾驶舱前上方或者A柱位置，且通过LVDS与座舱域控制器相连；
乘客监控摄像头的数量为1-2颗，且通过LVDS与座舱域控制器相连；
全景式监控摄像头在车辆外侧前后左右分别部署一颗，且通过LVDS接入ADAS域控制器；
行车记录仪摄像头与所述全景式监控摄像头共用前后两个摄像头，或单独部署，且通过LVDS接入ADAS域控制器。
根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的车辆视频监控方法。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的车辆视频监控方法。
与现有技术相比，本申请提供的车辆视频监控系统包含对车辆自身及周围动态的近端和远程监控方案；对车辆动态行驶状态、熄火状态下都提供了相应的监控方案，可以对车辆自身及周围实现全天候、360度视频监控和记录。该系统涉及底盘、座舱、ADAS三个域控制器，各域控制器之间监控视频与指令完全采用以太网进行通信，在硬件层面上节省了布线成本，视频传输采用可控高速传输协议，可以按需求调节或者更换具体传输协议，在满足高清化的同时可做到帧级延时，同时满足高清、智能、实时等需求。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和有益效果变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为根据本申请实施例的车辆视频监控方法的流程图；
图2为根据本申请实施例的车辆视频监控系统的系统构成图；
图3为根据本申请实施例的车辆视频监控方法的双系统域控制器构成图；
图4为根据本申请实施例的车辆视频监控方法的远程操作流程图；
图5为根据本申请实施例的车辆视频监控方法的视频处理流程图；
图6为根据本申请实施例的车辆视频监控方法的双端协议栈之间的协商过程流程图；
图7为根据本申请实施例的车辆视频监控方法的流程图；
图8为根据本申请实施例的电子设备的框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本申请的一些技术名词解释如下：
LVDS(Low-Voltage Differential Signaling)低电压差分信号，是一种低功耗、低误码率、低串扰和低辐射的差分信号技术，这种传输技术可以达到155Mbps以上，LVDS技术的核心是采用极低的电压摆幅高速差动传输数据，可以实现点对点或一点对多点的连接，其传输介质可以是铜质的PCB连线，也可以是平衡电缆。
DVR：硬盘录像机(Digital Video Recorder，简称DVR)，即数字视频录像机，相对于传统的模拟视频录像机，采用硬盘录像，故常常被称为硬盘录像机，也被称为DVR。它是一套进行图像存储处理的计算机系统，具有对图像/语音进行长时间录像、录音、远程监视和控制的功能。DVR采用的是数字记录技术，在图像处理、图像储存、检索、备份、以及网络传递、远程控制等方面也远远优于模拟监控设备，DVR代表了电视监控系统的发展方向，是市面上电视监控系统的首选产品。
DMS：(Driver Monitoring System)驾驶员监控系统。
OMS：乘客监控系统(OccupancyMonitoringSystem)是DMS系统的延伸，可以通过监测座舱内乘客的感知数据来进一步提升汽车的安全性能。安全带警示功能是最传统的OMS功能之一。OMS还可以帮助判断车内乘客是否已经安全做好，是否有儿童或宠物单独遗留，乘客是否系安全带等。
AVM：哨兵模式，又称全景式监控影像系统(Around View Monitor)，通过多个(一般四个)超大广角鱼眼镜头拍摄图像，经过特殊算法对所拍摄图像进行畸变矫正以及拼接，形成物体周围的全景影像的系统。该系统多应用于车辆，实现无盲区行驶，全景泊车等功能，对安全驾驶有所帮助。
V4L2：V4L2是Video for linux2的简称,为linux中关于视频设备的内核驱动。在Linux中，视频设备是设备文件，可以像访问普通文件一样对其进行读写，摄像头在/dev/video*下，如果只有一个视频设备，通常为/dev/video0。V4L2在设计时，是要支持很多广泛的设备的，它们之中只有一部分在本质上是真正的视频设备。
HAL：硬件抽象层，硬件抽象层是位于操作系统内核与硬件电路之间的接口层，其目的在于将硬件抽象化。它隐藏了特定平台的硬件接口细节,为操作系统提供虚拟硬件平台,使其具有硬件无关性,可在多种平台上进行移植。从软硬件测试的角度来看，软硬件的测试工作都可分别基于硬件抽象层来完成，使得软硬件测试工作的并行进行成为可能。
QNX：Quick UNIX
请参照图1，本申请一实施例，提供了一种车辆视频监控方法，包括：
S110：高级辅助驾驶域控制器接收远程控制命令，并根据所述远程控制命令向座舱域控制器传输所需摄像头对应的视频或者拼接视频；
在此系统中，ADAS(高级辅助驾驶)域控制器可响应远程控制命令向座舱域控制器传输所需摄像头对应的视频或者拼接视频，并且能够响应远程命令调节对应位置灯光配合摄像头进行补光。其远程控制命令一般来自于手持终端，如智能手机通过车辆网TSP发送远程命令到车辆底盘域控制器后再进行分发处理。ADAS域控制器将响应远端命令控制AVM、DVR摄像头输出，根据命令对AVM、DVR多个摄像头中的一个或多个视频进行拼接处理，拼接后的视频通过车载以太网发送到座舱域控制器。
ADAS域控制器与座舱域控制器之间的视频传输采用UDP进行多模式扩展，可以根据座舱域的实时性要求自动调整。实时性要求高时采用无压缩的低延时高带宽传输模式；实时性要求低时采用h264编码后传输，该模式占用带宽小，但延时会增加。
S120：座舱域控制器接收摄像头LVDS接口发送的第一视频数据，或通过高速视频传输协议栈处理高级辅助驾驶以太网发送的第二视频数据；
S130：所述座舱域控制器发送经过处理后的所述第一视频数据或所述第二视频数据至视频分流框架进行分流处理以满足多种功能对视频数据的需求；
座舱域控制器既可以通过硬件驱动模块接收摄像头LVDS传送过来的视频，也可以通过高速视频传输协议栈处理ADAS以太网传输过来的视频。处理后的视频数据会进入视频分流框架进行分流处理以满足多种功能对视频数据的需求。该视频分流方案基于Hypervisor QNX/andriod双系统域控制器设计(如图3)所示。
S140：智能视觉算法处理模块作为客户端从第一视频分流服务器获取视频流用于算法计算；
在QNX首先部署视频分流server(QNX)，该服务接收来自以太网或者视频解串器的数据，同时可以向多个client转发视频数据；该服务可以同时管理多个视频源。QNX侧其它应用可以通过客户端接收视频分流server(QNX)发送的视频流数据。DMS智能视觉算法处理模块作为客户端从视频分流server(QNX)获取视频流用于算法计算。
S150：V4L2 HAL作为客户端从所述第一视频分流服务器获取视频流后，通过转化封装抽象到Android camera的标准api2接口；
在Android侧部署视频分流server(Android)，该服务既是Android侧的视频分流服务端，同时也作为客户端通过HAB(Hypervisor ABstraction)接收视频分流server(QNX)转发过来的视频流数据。OMS智能视觉算法处理模块作为客户端从视频分流server(Android)获取视频流用于算法计算；V4L2 HAL作为客户端从server(Android)获取视频流后，通过转化封装抽象到Android camera的标准api2接口。
S160：监控app在车辆内部通过界面进行应用响应，或通过远程指令处理模块响应远程监控需求；
监控app主要接收算法模块的处理结果用于报警处理；对于视频的需求可以从Android camera api2接口获取。如此统一了处理接口和数据传输路径，对于上层应用的开发也提供了较多方便；即应用层数据的输入分为两种，一种是视频传感器分智能分析结果，一种是视频传感器的原始视频或图像数据，两种数据通过封装标准的抽象接口进行传递。
监控app既可以在车辆内部通过界面进行应用响应，也可以通过远程指令处理模块响应远程监控需求。监控报警数据可以传输到云端和智能手机端；监控视频可以通过app在本地进行录像，也可以通过推流发送到云服务器进行录像，云端录像数据可以进行点播回看；实时视频数据可通过直播方式供远程用户查询观看，用户可以用智能手机发送控制命令调整所所浏览摄像头及对应位置的灯光进行补光。
该系统涉及DMS、OMS、DVR、AVM等摄像头，系统在软件层面上设计了摄像头的视频分流方案，可在各功能模式下最大化复用视频流数据，最大限度减少软硬件成本，最大化减小视频延迟。通过视频分流框架，将所有camera抽象出两层接口，分别为hal层接口和Android Camera标准接口API2；其中hal层接口可重入。
本申请一实施例，还提供了一种车辆视频监控装置，包括：车载摄像头、高级辅助驾驶域控制器、座舱域控制器、底盘域控制器、手持移动设备、车联网汽车远程服务；
所述高级辅助驾驶域控制器配置为接收远程控制命令，并根据所述远程控制命令向座舱域控制器传输所需摄像头对应的视频或者拼接视频；
所述座舱域控制器配置为接收摄像头LVDS接口发送的第一视频数据，或通过高速视频传输协议栈处理高级辅助驾驶以太网发送的第二视频数据；
所述手持移动设备配置为通过所述车辆网车联网汽车远程服务发送远程命令到所述车辆底盘域控制器后再进行分发处理智能视觉算法处理模块作为客户端从第一视频分流服务器获取视频流用于算法计算。
本实施例中，系统包含车载摄像头、ADAS(高级辅助驾驶)域控制器、座舱域控制器、底盘域控制器、手持移动设备(智能手机)、车联网TSP(汽车远程服务)、视频云服务。其组成结构及相互关系如图2所示。
摄像头主要包括DMS(驾驶员监控)、OMS(乘客监控)、AVM(全景式监控)、DVR(行车记录仪)等。DMS摄像头一般部署于车内驾驶舱前上方或者A柱位置，通过LVDS与座舱域控制器相连；OMS摄像头可根据需要在车内适当位置部署1-2颗，通过LVDS与座舱域控制器相连；AVM在车辆外侧前后左右分别部署一颗，总共四颗，通过LVDS接入ADAS域控制器；DVR可以与AVM共用前后两个摄像头，也可以单独部署，通过LVDS接入ADAS域控制器。
在本实施例中，监控系统方案既适用于车辆本地实时监控和记录，也适用于远程实时监控和回看。远程实时监控时，用户可通过手机app远程切换所浏览的摄像头，从而可以切换浏览场景，从车内到车外，从侧视到环视，皆可以切换；同时对某一摄像头的具体场景也可以根据远程命令获取局部区域作为一个视角数据，据此方案可以在app端实现虚拟的监控视角调整；用户可以通过手机app远程控制车辆灯光用于摄像头的补光，也可以配置自动补光方案，监控app在响应手机app切换摄像头的同时，根据摄像头位置和环境光情况自动计算补光方案进行补光。其远程操作流程如图4。
本实施例中，包含了行车记录仪的本地视频录制方案、手机远程实时监控方案、手机远程录像回看方案，个方案视频处理流程如图5所示。
在本实施例中，ADAS域控制器与座舱域控制器之间的视频传输协议栈实现基于udp的无损视频流数据传输和基于h264编码的压缩传输双模式，双端协议栈之间建立协商机制，协商过程如图6所示。
座舱域控制器对camera的传输模式配置为静态模式，具体的配置策略为高实时性要求优先。如座舱域中同时有两个app需要某个camera的视频数据，当两个app对实时性要求都不高时，则将传输模式配置为压缩传输模式；当其中有一个app实时性要求高时，则配置为无损传输模式。通常1080p的视频无损传输需要100Mbps的带宽，因此该实施例中部署的网络带宽为千兆网络；而压缩模式的带宽仅需要无损模式的十分之一左右。本实施例中视频流为单向传输，即仅仅从ADAS域传向座舱域，因此协议栈在ADAS端包含封装了h264编码模块，在座舱端包含封装了h264解码模块。
在本实施例中包含了智能监控方案，主要是OMS、DMS的机器视觉处理，包括视频的获取、监控报警信息的处理、监控图像的抓取操作，相关实现流程如图7所示。
示例性电子设备
下面，参考图8来描述根据本申请实施例的电子设备。
图8图示了根据本申请实施例的电子设备的框图。
如图8所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的车辆视频监控方法中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如目标位置特征向量等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括解码值等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图8中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的车辆视频监控方法中的功能中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的车辆视频监控方法的功能中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种车辆视频监控方法，其特征在于，包括：
高级辅助驾驶域控制器接收远程控制命令，并根据所述远程控制命令向座舱域控制器传输所需摄像头对应的视频或者拼接视频；
座舱域控制器接收摄像头LVDS接口发送的第一视频数据，或通过高速视频传输协议栈处理高级辅助驾驶以太网发送的第二视频数据；
所述座舱域控制器发送经过处理后的所述第一视频数据或所述第二视频数据至视频分流框架进行分流处理以满足多种功能对视频数据的需求；
智能视觉算法处理模块作为客户端从第一视频分流服务器获取视频流用于算法计算；
V4L2 HAL作为客户端从所述第一视频分流服务器获取视频流后，通过转化封装抽象到Android camera的标准api2接口；
监控app在车辆内部通过界面进行应用响应，或通过远程指令处理模块响应远程监控需求。
2.根据权利要求1所述的车辆视频监控方法，其特征在于，所述高级辅助驾驶域控制器接收远程控制命令，并根据所述远程控制命令调节对应位置灯光配合摄像头进行补光。
3.根据权利要求1所述的车辆视频监控方法，其特征在于，所述高级辅助驾驶域控制器与所述座舱域控制器之间的视频传输采用UDP进行多模式扩展，且根据座舱域的实时性要求自动调整。
4.根据权利要求1所述的车辆视频监控方法，其特征在于，分流处理方法为HypervisorQNX/andriod双系统域控制器的分流处理方法，包括：
在QNX部署第二视频分流服务器，该第二视频分流服务器接收来自以太网或者视频解串器的数据，同时向多个client转发视频流数据，该服务同时管理多个视频源；
QNX侧其它应用通过客户端接收所述第二视频分流服务器发送的所述视频流数据；
驾驶员监控智能视觉算法处理模块作为客户端从所述第二视频分流服务器获取所述视频流数据用于算法计算；
在Android侧部署所述第一视频分流服务器，该第一视频分流服务器既是Android侧的视频分流服务端，同时也作为客户端通过HAB接收视频分流所述第二视频分流服务器转发的视频流数据。
5.根据权利要求1所述的车辆视频监控方法，其特征在于，所述座舱域控制器发送经过处理后的所述第一视频数据或所述第二视频数据至视频分流框架进行分流处理包括：
通过视频分流框架，将所有摄像头抽象出两层接口，分别为hal层接口和AndroidCamera标准接口API2，其中hal层接口可重入。
6.一种车辆视频监控装置，其特征在于，包括：车载摄像头、高级辅助驾驶域控制器、座舱域控制器、底盘域控制器、手持移动设备、车联网汽车远程服务；
所述高级辅助驾驶域控制器配置为接收远程控制命令，并根据所述远程控制命令向座舱域控制器传输所需摄像头对应的视频或者拼接视频；
所述座舱域控制器配置为接收摄像头LVDS接口发送的第一视频数据，或通过高速视频传输协议栈处理高级辅助驾驶以太网发送的第二视频数据；
所述手持移动设备配置为通过所述车辆网车联网汽车远程服务发送远程命令到所述车辆底盘域控制器后再进行分发处理智能视觉算法处理模块作为客户端从第一视频分流服务器获取视频流用于算法计算。
7.根据权利要求6所述的车辆视频监控装置，其特征在于，所述车载摄像头包括：驾驶员监控摄像头、乘客监控摄像头、全景式监控摄像头及行车记录仪。
8.根据权利要求7所述的车辆视频监控装置，其特征在于，所述驾驶员监控摄像头设置于车内驾驶舱前上方或者A柱位置，且通过LVDS与座舱域控制器相连；
乘客监控摄像头的数量为1-2颗，且通过LVDS与座舱域控制器相连；
全景式监控摄像头在车辆外侧前后左右分别部署一颗，且通过LVDS接入ADAS域控制器；
行车记录仪摄像头与所述全景式监控摄像头共用前后两个摄像头，或单独部署，且通过LVDS接入ADAS域控制器。
9.一种汽车监测电子设备，包括外部存储卡，其特征在于，所述电子设备包括如权利要求6-8中任意一项所述的车辆视频监控装置。
10.一种存储介质，其特征在于，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310468074.7A CN116527845A (zh) | 2023-04-27 | 2023-04-27 | 一种车辆视频监控方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310468074.7A CN116527845A (zh) | 2023-04-27 | 2023-04-27 | 一种车辆视频监控方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116527845A true CN116527845A (zh) | 2023-08-01 |
Family
ID=87389727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310468074.7A Pending CN116527845A (zh) | 2023-04-27 | 2023-04-27 | 一种车辆视频监控方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116527845A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112911241A (zh) * | 2021-01-29 | 2021-06-04 | 一汽解放汽车有限公司 | 一种车辆远程监控系统、方法、装置、设备及存储介质 |
| CN113163171A (zh) * | 2021-04-23 | 2021-07-23 | 前海七剑科技(深圳)有限公司 | 图像处理系统、智能座舱系统、车辆和图像处理方法 |
| CN217435657U (zh) * | 2022-06-16 | 2022-09-16 | 阿波罗智能技术(北京)有限公司 | 自动驾驶车辆的电气系统和自动驾驶车辆 |
| CN115246361A (zh) * | 2022-08-17 | 2022-10-28 | 厦门金龙联合汽车工业有限公司 | 一种域集中式汽车电子电气系统 |
| CN115277800A (zh) * | 2022-09-26 | 2022-11-01 | 联友智连科技有限公司 | 一种车载域控制装置、方法及车载系统 |
| CN115695871A (zh) * | 2022-10-31 | 2023-02-03 | 星河智联汽车科技有限公司 | 汽车智能座舱的摄像头接入方法、系统及存储介质 |
| CN115802082A (zh) * | 2022-11-28 | 2023-03-14 | 芯驿电子科技(上海)有限公司 | 车载视频分流设备、方法、装置、终端及存储介质 |
-
2023
- 2023-04-27 CN CN202310468074.7A patent/CN116527845A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112911241A (zh) * | 2021-01-29 | 2021-06-04 | 一汽解放汽车有限公司 | 一种车辆远程监控系统、方法、装置、设备及存储介质 |
| CN113163171A (zh) * | 2021-04-23 | 2021-07-23 | 前海七剑科技(深圳)有限公司 | 图像处理系统、智能座舱系统、车辆和图像处理方法 |
| CN217435657U (zh) * | 2022-06-16 | 2022-09-16 | 阿波罗智能技术(北京)有限公司 | 自动驾驶车辆的电气系统和自动驾驶车辆 |
| CN115246361A (zh) * | 2022-08-17 | 2022-10-28 | 厦门金龙联合汽车工业有限公司 | 一种域集中式汽车电子电气系统 |
| CN115277800A (zh) * | 2022-09-26 | 2022-11-01 | 联友智连科技有限公司 | 一种车载域控制装置、方法及车载系统 |
| CN115695871A (zh) * | 2022-10-31 | 2023-02-03 | 星河智联汽车科技有限公司 | 汽车智能座舱的摄像头接入方法、系统及存储介质 |
| CN115802082A (zh) * | 2022-11-28 | 2023-03-14 | 芯驿电子科技(上海)有限公司 | 车载视频分流设备、方法、装置、终端及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20160159281A1 (en) | Vehicle and control method thereof | |
| CN110233998A (zh) | 一种视频数据传输方法、装置、设备及存储介质 | |
| CN104883588A (zh) | 一种车载多屏互联系统及其实现方法 | |
| JP7095697B2 (ja) | 生成装置および生成方法、並びに、再生装置および再生方法 | |
| KR102253163B1 (ko) | 차량 | |
| CN104554057A (zh) | 基于视觉的集成车载影音娱乐功能的主动安全系统 | |
| US20140064740A1 (en) | Vehicle communication system for visible light communication and optical networking and communication method thereof | |
| CN113872838B (zh) | 车载控制系统及方法、视频数据及音频数据的处理方法 | |
| CN113852795A (zh) | 视频画面调整方法、装置、电子设备及存储介质 | |
| CN115080484A (zh) | 车机系统及其数据处理方法、存储介质 | |
| CN116527845A (zh) | 一种车辆视频监控方法、装置、电子设备及存储介质 | |
| CN114501091B (zh) | 远程驾驶画面的生成方法、装置及电子设备 | |
| CN112511812A (zh) | 一种车载影音控制系统及方法 | |
| KR20160074108A (ko) | 차량 및 그 제어 방법 | |
| CN215599528U (zh) | 一种自动驾驶汽车远程控制驾驶系统 | |
| CN115027363A (zh) | 汽车智能座舱显示系统及方法 | |
| CN216057289U (zh) | 车舱影像数据采集系统及车辆 | |
| CN108764172A (zh) | 车辆中的手语通信方法、系统及车载标签或智能后视镜 | |
| CN116101172A (zh) | 一种车辆娱乐信息域控制器与行车记录生成方法 | |
| KR20220170301A (ko) | 차량 영상 제어 장치 및 그 방법 | |
| CN110554633A (zh) | 一种控制系统及汽车 | |
| CN115297188B (zh) | 一种应用于智能汽车的通信连接方法及系统 | |
| TWI726601B (zh) | 車頂環視輔助裝置及其系統 | |
| CN110554636A (zh) | 控制系统及汽车 | |
| CN220548994U (zh) | 车机装置、域控装置以及车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |