CN117135323A - 一种车载监控方法、设备及车辆 - Google Patents

Abstract

本发明公开了一种车载监控方法、设备及车辆，包括：智能视觉芯片及与所述智能视觉芯片分别连接监控模块、算力盒、通信模块及第一微控制单元MCU，监控模块采用多路摄像获取图像数据；算力盒包括高精度定位模块和算力芯片，所述算力芯片将图像数据与所述高精度位置数据同步后进行融合；通信模块实现所述智能视觉芯片与所述远端外部设备的通信；第一微控制单元MCU，包括连接外围设备的扩展接口，用于根据所述智能视觉芯片的控制，实现与车辆主机的数据交互及外围设备的数据交互。本发明能够支持大范围监控、实现定位与图像的时间同步和融合，满足高精度地图的众包要求，通过算力盒可以满足地图采集边缘端算法需求，同时实现与整车数据的交互。

Description

一种车载监控方法、设备及车辆

本申请要求在2022年10月31日提交中国专利局、申请号为202222889516.9、申请名称为“一种车载监控设备及车辆”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本发明涉及自动驾驶高精度地图技术领域，特别涉及一种车载监控方法、设备及车辆。

背景技术

相关技术中的车载监控设备，主要分为面对C端消费者类和面对B端企业用户商家类，C端设备基本不带4G通信，同时仅有对外一路摄像头，称为行车记录仪，而B端设备拥有更多功能，普遍带4G通信，2-4路摄像头，1-2路报警开关等，但普遍存在算力不足，无法满足ADAS(Advanced Driver Assistance System，高级驾驶辅助系统)。

相关技术中的车载监控设备基本不支持高精度定位，也未实现GPS定位和图像之间的帧-定位时间同步问题，使得在端上实现业务场景有限，更多只是当作安全监控设备，而且整机算力并不足以支撑高精度地图采集算法等业务需求。

发明内容

本发明的目的是提供一种车载监控方法、设备及车辆，用于解决现有车载监控设备整机算力不足、定位精度不高，不满足高精度地图应用的问题。

第一方面，本发明实施例提供了一种车载监控设备，包括：

监控模块，与智能视觉芯片连接，包括多路摄像头，用于根据所述智能视觉芯片的控制获取图像数据，并将所述图像数据发送到所述智能视觉芯片；

算力盒，与所述智能视觉芯片连接，包括高精度定位模块和算力芯片，所述高精度定位模块用于确定高精度位置数据，所述算力芯片用于接收智能视觉芯片传输的帧-定位同步融合后的融合图像数据，对所述融合图像数据进行图像处理和矢量化计算，并将计算后的数据传输到所述智能视觉芯片；

通信模块，与所述智能视觉芯片连接，并与远端外部设备通信，用于实现所述智能视觉芯片与所述远端外部设备的通信；

第一微控制单元MCU，分别与所述智能视觉芯片及整车网关连接，所述第一微控制单元MCU包括连接外围设备的扩展接口，用于根据所述智能视觉芯片的控制，实现通过所述整车网关与车辆控制器之间的数据交互及外围设备的数据交互；

智能视觉芯片，用于从所述监控模块获取图像数据，接收所述算力盒发送的高精度定位数据，将所述图像数据与所述高精度定位数据进行帧-定位同步融合得到融合图像数据，并将所述融合图像数据返回给所述算力盒，接收所述算力盒发送的对所述融合图像数据进行图像处理和矢量化计算后的数据，通过所述通信模块与所述远端外部设备数据交互，与所述第一微控制单元MCU通信对所述第一微控制单元MCU进行控制。

作为一种可选的实施方式，所述监控模块包括如下至少一个摄像头：

第一摄像头，采用移动行业处理器接口MIPI接口与所述智能视觉芯片连接，为用于对车辆外部进行图像数据获取的硬盘录像机DVR摄像头；

第二摄像头，采用模拟高解析度AHD接口连接视频转换模块，所述视频转换模块采用MIPI接口与所述智能视觉芯片连接，所述第二摄像头为用于对车辆内部位置进行图像数据获取的座舱监控系统IMS(In-cabin monitoring System)摄像头；

第三摄像头，采用AHD接口连接视频转换模块，所述视频转换模块采用MIPI接口与所述智能视觉芯片连接，所述第三摄像头为用于对车辆内部驾驶员位置进行图像数据获取的DMS摄像头；

第四摄像头，采用AHD接口连接视频转换模块，所述视频转换模块采用MIPI接口与所述智能视觉芯片连接，所述第四摄像头为用于对车辆内后备箱位置进行图像数据获取的IVR摄像头。

作为一种可选的实施方式，所述高精度定位模块包括：

双频高精度定位天线，用于接收定位信号；

滤波器，用于对接收的定位信号进行滤波；

放大器，用于对滤波后定位信号进行放大处理；

全球导航卫星系统GNSS芯片，用于对放大后定位信号进行处理后得到定位数据，并将所述定位数据传输到第二微控制单元MCU；

第二微控制单元MCU，接收所述GNSS芯片传输的定位数据、所述智能视觉芯片提供的实时动态差分法RTK数据、以及惯性测量单元IMU产生的数据，根据所述定位数据、RTK数据和IMU数据得到高精度位置数据，并输出1PPS秒脉冲的中断信号到智能视觉芯片，将所述高精位置数据传输到智能视觉芯片；

惯性传感器IMU，用于产生IMU数据，所述IMU数据包括三个直角坐标轴方向的移动自由度数据和绕这三个坐标轴的转动自由度数据。

作为一种可选的实施方式，所述算力盒还包括：

电源管理模块，与智能视觉芯片通过第二电源接口连接，将所述第二电源接口提供的电压提供给所述高精度定位模块和算力芯片。

作为一种可选的实施方式，所述扩展接口包括如下任一或任多：

分别连接4路报警开关的数字转换器ADC接口；

与串行接口设备连接的RS232接口；

与串行接口设备连接的RS485接口；

与车载电瓶连接的第一电源接口；

与外接传感器连接的传感器接口；

与整车网关连接的CAN接口。

作为一种可选的实施方式，所述通信模块包括：

4G通信模块，采用消息队列遥测传输MQTT协议与内容服务提供者TSP服务器通信，实现与云端的交互；

无线局域网WIFI/蓝牙BT模块，用于与终端设备进行通信。

作为一种可选的实施方式，所述智能视觉芯片还包括：

以太网接口，用于连接所述智能视觉芯片与车机中控大屏，实现所述智能视觉芯片与车机中控大屏之间的数据智能交互。

作为一种可选的实施方式，所述智能视觉芯片连接有如下模块中任一或任多个：

闪存TF卡，通过SDIO接口与智能视觉芯片连接，用于存储图像数据、融合后的数据；

GPS定位模块，用于实现普通精度的GPS定位；

双倍速率同步动态随机存储器DDR，用于缓存智能视觉芯片存放的数据；

嵌入式多媒体卡EMMC，用于存储智能视觉芯片的ROM文件、运行日志数据；

电源管理集成电路PMIC模块，用于对智能视觉芯片连接的各模块进行供电管理，实现智能视觉芯片各模块的供电和RTC时间对齐，与麦克风连接实现车内音频监控，与喇叭连接实现车内语音播报。

可选地，所述算力盒采用可插拔方式与智能视觉芯片连接。

第二方面，本发明提供一种车载监控方法，包括：

从所述监控模块获取图像数据，接收算力盒发送的高精度定位数据；

将所述图像数据与所述高精度定位数据进行帧-定位同步融合得到融合图像数据，并将所述融合图像数据返回给所述算力盒；

接收所述算力盒发送的对所述融合图像数据进行图像处理和矢量化计算后的数据；

通过通信模块与所述远端外部设备数据交互，将所述进行图像处理和矢量化计算后的数据发送给云端。

可选地，将所述图像数据与所述高精度定位数据进行帧-定位同步融合得到融合图像数据，包括：

接收所述算力盒中发送的1PPS秒脉冲的中断信号，触发中断并等待算力盒在下个秒脉冲发送的时间戳；

在下个秒脉冲收到所述算力盒发送的时间戳时，利用所述时间戳校准时间，并采用秒脉冲触发所述监控模块采集图像数据；

获取所述监控模块采集的携带第一时间戳的图像数据，及从所述算力盒接收携带第二时间戳的高精度位置数据；

根据第一时间戳和第二时间戳，对所述图像数据和高精度位置数据进行帧-定位同步融合，得到融合后的高精度定位的图像数据。

第三方面，本发明提供一种车辆，所述车辆包括：

上述第一方面提供的车载监控设备；

整车车身，与所述车载监控设备连接，包括车机中控大屏、整车网关及车辆控制器，所述车机中控大屏通过与所述车载监控设备数据交互，显示视频图像并进行高精度导航，所述车载监控设备通过所述整车网关与车辆控制器通信，实现所述车辆控制器对车辆的控制。

本发明提供的车载监控方法、设备及车辆，车载监控设备包括多路摄像头，支持多路监控、图像帧-定位同步，满足高精度地图的众包要求，同时通过MCU实现与整车数据的交互获取更精准的车辆姿态数据，再通过独立的算力单元可以提高地图采集端侧计算能力，完成更高效更低成本的高精度地图采集。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的车载监控设备结构示意图；

图2为本发明实施例中采用RV1126芯片的车载监控设备结构示意图；

图3为本发明实施例提供的车载监控设备中的算力盒结构示意图；

图4为本发明实施例提供的车载监控方法流程图；

图5为本发明实施例中车载监控设备实现图像数据和定位数据同步的流程示意图；

图6为本发明实施例提供的车辆结构示意图。

具体实施方式

为进一步说明本发明实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。

本发明提供一种车载监控设备，如图1所示，包括：

监控模块101，与智能视觉芯片100连接，包括多路摄像头，用于根据所述智能视觉芯片的控制获取图像数据，并将所述图像数据发送到所述智能视觉芯片；

算力盒102，与所述智能视觉芯片100连接，包括高精度定位模块1021和算力芯片1022，所述高精度定位模块1021用于确定高精度位置数据，所述算力芯片1022用于接收智能视觉芯片100传输的帧-定位同步融合后的融合图像数据，对所述融合图像数据进行图像处理和矢量化计算，并将计算后的数据传输到所述智能视觉芯片100；

通信模块103，与所述智能视觉芯片100连接，并与远端外部设备通信，用于实现所述智能视觉芯片100与所述远端外部设备的通信；

第一微控制单元MCU(Microcontroller Unit，微控制单元)104，分别与所述智能视觉芯片100与整车网关连接，整车网关与车辆控制器连接，所述第一微控制单元MCU包括连接外围设备的扩展接口，用于根据所述智能视觉芯片的控制，实现通过所述整车网关与车辆控制器之间的数据交互及外围设备的数据交互；

智能视觉芯片100，用于从所述监控模块101获取图像数据，接收所述算力盒发送的高精度定位数据，将所述图像数据与所述高精度定位数据进行帧-定位同步融合得到融合图像数据，并将所述融合图像数据返回给所述算力盒102，接收所述算力盒102发送的对所述融合图像数据进行图像处理和矢量化计算后的数据，通过所述通信模块103与所述远端外部设备数据交互，与所述第一微控制单元MCU104通信对所述第一微控制单元MCU104进行控制。

作为一种可选的实施方式，所述算力盒采用可插拔方式与智能视觉芯片连接。智能视觉芯片拥有独立的普通精度定位能力，这样可以根据需求在需要高精度定位时，将算力盒插入智能视觉芯片，与智能视觉芯片配合实现。在不需要高精度定位时，将算力盒拔出，由智能视觉芯片进行普通精度定位。

本发明提供的车载监控设备，包括多路摄像头，支持硬件灵活扩展、多路监控、图像帧-定位同步，满足高精度地图的众包要求，同时通过MCU实现与整车数据的交互获取更精准的车辆姿态数据，再通过独立的算力单元可以提高地图采集端侧计算能力，完成更高效更低成本的高精度地图采集。

作为一种可选的实施方式，上述监控模块包括如下至少一个摄像头：

第一摄像头101a，采用MIPI(Mobile Industry Processor Interface，移动行业处理器接口)接口与所述智能视觉芯100片连接，为用于对车辆外部进行图像数据获取的DVR摄像头；第一摄像头101a支持2M像素，25FPS(Frames Per Second，每秒帧数)，DFOV(Display Field Of View，显示视野)≥100°；

第二摄像头101b，采用AHD(Analog High Definition，模拟高清)接口连接视频转换模块101e，所述视频转换模块101e采用MIPI接口与所述智能视觉芯片100连接，为用于对车辆内部位置进行图像数据获取的座舱监控系统IMS(In-cabin monitoring System)摄像头；第二摄像头101b支持1M像素，25FPS，DFOV≥120°，支持红外补光；

第三摄像头101c，采用AHD接口连接视频转换模块101e，所述视频转换模块e采用MIPI接口与所述智能视觉芯片100连接，为用于对车辆内部驾驶员位置进行图像数据获取的DMS(Driver Monitoring System，驾驶员监控系统)摄像头；第三摄像头101c支持1M像素，25FPS全局曝光globle shutter，支持红外补光；

第四摄像头101d，采用AHD接口连接视频转换模块101e，所述视频转换模块101e采用MIPI接口与所述智能视觉芯片100连接，为用于对车辆内后备箱位置进行图像数据获取的IVR摄像头。

四个摄像头可以分别属于独立的监控模块，各监控模块均有独立的镜头、sensor等器件与智能视觉芯片进行相连。由于车外摄像头要求更高的分辨率和传输速率，因此采用MIPI为数字接口，走线长度更短，而车内摄像头采用较低分辨率且传输质量要求不高，采用AHD模拟接口，走线更长，布置更灵活。

对外DVR摄像头监控车外行驶环境，不仅可以作为行车视频图像记录，同时还可通过对应的监控模块与整车交互可实现ADAS辅助驾驶功能，诸如车道偏移告警、前碰撞预警、行人告警等。驾驶员监控DMS摄像头对应的监控模块实现驾驶员人脸识别身份认证，同时实时监测驾驶员的驾驶行为，诸如抽烟、打电话、疲劳驾驶和口罩识别等，有效识别抽烟、打电话、疲劳驾驶行为，预警系统不仅能触发报警，对驾驶员进行提醒，纠正错误驾驶行为，还能将图片或视频上报车联网平台，车联网平台可根据行为进行判定，进而达到有效监管并保证驾驶员行车安全。对内IMS摄像头对应的监控模块可对车内司乘进行监控，能有效避免“有单无客”“有客无单”等行为，协助管理后台判定司机是否有跨平台接单、多平台接单、未按时接单、私自接单等违规行为，同时还能监控司乘矛盾冲突，检测物品遗漏，后备箱摄像头可用于检测乘客物品遗漏。

作为一种可选的实施方式，所述智能视觉芯片100为型号为RV1126的芯片。RV1126是主流视频监控的芯片平台，集成了四核ARM(Acorn RISC Machine)Cortex-A7，内置2TNPU(嵌入式神经网络处理器)，支持4K 30FPS H.264/H.265视频编解码。可实现多级降噪、3帧HDR(High-Dynamic Range，高动态范围)、黑光全彩技术特性；同时内置HDAEC算法、支持麦克语音阵列，有效增强声音采集及拾音距离，满足车载监控产品和AIoT应用对图像、声音采集的双重要求。

上述第一微控制单元MCU的扩展接口包括与车载电瓶连接的第一电源接口，第一微控制单元MCU通过第一电源接口与车载电瓶连接，用于完成对整机电源的管理，第一微控制单元MCU与整车网关通过两路CAN(Controller Area Network，控制局域网络)接口连接，从而实现与车辆控制器的通信，CAN接口将第一微控制单元MCU提供的数据转换成电信号，然后通过数据总线发送给车辆控制器，同时，还接收车辆控制器发出的总线数据，并将数据传输到第一微控制单元MCU，具体通过两路CAN接口获取整车数据诸如VIN(VehicleIdentification Number，车辆识别码)、车速、轮速等信息，并通过CAN接口实现远程控车功能，诸如闪灯、鸣笛、解/闭锁、禁止/允许启动等，结合车联网平台联动，保障运营商的车辆资产安全，让运营商对司机的管理更简单高效。

作为一种可选的实施方式，智能视觉芯片中各模块的供电有各种电压，例如12V、5V，3.3V，所述智能视觉芯片连接有PMIC(Power Management IC，电源管理集成电路)模块105，用于对智能视觉芯片100连接的各模块进行供电管理，实现智能视觉芯片各模块的供电和RTC(Real-time Communications，实时通信)时间对齐，实现对各模块的电源的时序、通断进行控制，PMIC与麦克风连接实现车内音频监控，与喇叭连接实现车内语音播报。

作为一种可选的实施方式，所述算力盒102还包括：

电源管理模块1023，与智能视觉芯片通过第二电源接口连接，将所述第二电源接口提供的电压提供给所述高精度定位模块和算力芯片。

第一微控制单元MCU从车载电瓶取电，内部电源通过直流转直流DC/DC、LDO(LowDropout Regulator)等电源转换芯片实现高压转低压，低压连接RV1126及各个模块实现全局供电，RV1126通过PMIC模块105对智能视觉芯片各部分的供电进行管理，同时还向算力盒中的电源管理模块1023供电，由电源管理模块1023向高精度定位模块1021和算力芯片1022供电。

示例性地，车载监控设备整机由车载12V电瓶供电，12V通过DC/DC转5V、3.8V、3.3V，5V主要给摄像头、PMIC模块、高精度定位模块供电，3.8V主要给通信模块供电，3.3V提供绝大部分模块的供电，诸如第一微控制单元MCU、视频转换、以太网、WIF/BT等。

作为一种可选的实施方式，第一微控制单元MCU104中扩展接口包括如下任一或任多：

分别连接4路报警开关的数字转换器ADC接口，通过该4路ADC接口连接4路报警开关，报警开关可以设计为按键形式，各报警开关独立工作，支持LED灯报警提示，司乘人员可以通过按压按键实现紧急情况报警，实现车内报警监控；

与串行接口设备连接的RS232接口；

与串行接口设备连接的RS485接口，通过上述RS232接口和RS485接口可以支持扩展外设应用，诸如寻车灯、顶灯、计价器等等；

与外接传感器连接的传感器接口，通过该传感器接口连接G-Sensor用作碰撞检测，同时在整车熄火休眠后，若发生碰撞事件，设备可以被唤醒，触发相应的事件音视频落盘；

与整车网关连接的CAN接口。

作为一种可选的实施方式，上述通信模块包括：

4G通信模块，采用消息队列遥测传输MQTT协议与内容服务提供者TSP服务器通信，实现与云端的交互；

无线局域网WIFI/蓝牙BT模块，用于与终端设备进行通信，实现局域网互联；

RS232扩展通讯接口，用于与外设调试设备通信，完成扩展应用及调试。

上述4G通信模块，可以采用移远的EC20，支持LTE CAT4，最大下行速率为150Mbps，最大上行速率为50Mbps，核心板集成了电源、基带、射频、DDR(Double Data Rate，双倍速率)、与非门NAND、接口等芯片电路，通过144引脚贴片式焊接。4G通信模块作为TBOX与TSP服务器之间通信的硬件载体，采用基于TCP/TLS1.2安全传输承载的MQTT协议实现，TBOX作为消息订阅者，通过TSP服务器订阅业务功能需要的Topic类型，具体功能包括设备管理、数据采集、远程控制、远程配置、远程维护、诊断高精、安防、出租车。

作为一种可选的实施方式，所述智能视觉芯片还包括：

以太网接口106，用于连接所述智能视觉芯片与车机中控大屏，实现所述智能视觉芯片与车机中控大屏之间的数据智能交互。

以太网接口连接RV1126主机和车机中控大屏系统，实现数据智能交互，RV1126主机能推送视频图像给车机中控大屏，还能实现大屏高精度导航。

作为一种可选的实施方式，所述智能视觉芯片100连接有如下模块中任一或任多个：

闪存TF(T-Flash)卡107，通过SDIO(Secure Digital Input and Output，安全数字输入输出)接口与智能视觉芯片连接，用于存储图像数据、融合后的数据，可选128G/64G存储卡，实现视频图像、融合数据存储；

GPS(Global Positioning System)定位模块108，用于实现普通精度的GPS定位；

双倍速率同步动态随机存储器DDR，用于缓存智能视觉芯片存放的数据；

嵌入式多媒体卡EMMC，用于存储智能视觉芯片存放的只读存储器rom文件，运行日志等关键数据。

所述监控模块和TF卡模块作为AIBOX的硬件载体，通过TBOX(即4G通信模块)实现AIBOX与TSP服务器之间的数据交互，AIBOX作为消息订阅者，通过TSP服务器订阅业务功能需要的Topic类型，具体功能包括设备登录、人脸控制、司机异常行为告警、车辆异常行为告警、AIBOX故障告警、远程控制、远程请求、日志上报、离线视频上传、心跳、健康检查等。

如图2所示为本申请实施例提供的车载监控设备详细结构示意图，智能视觉芯片采用RV1126芯片，连接2G LRDDR4和16GEMMC，通过SDIO接口连接TF卡，通过MIPI连接视频转换模块，车外DVR摄像头，车内IMS摄像头、驾驶员监控系统DMS摄像头和后备箱IVR摄像头，通过AHD连接视频转换模块，由视频转换模块进行视频转换后通过MIPI接口传输到RV1126芯片，RV1126芯片通过4G通信模块与TSP服务器通信，并连接有独立的算力盒，独立的算力盒内具有连接GPS天线的高精度定位模块，RV1126芯片通过I2C连接PMIC模块实现电源管理，通过以太网接口实现与车机中控大屏连接，且连接有GPS定位模块，RV1126芯片还连接有WIFI/BT模块，用于实现与终端设备的通信。

RV1126芯片与第一微控制单元MCU分别通过SPI(Serial Peripheral Interface，串行外设接口)、UART(Universal Asynchronous Receiver/Transmitter，异步收发传输器)、GPIO(General Purpose I/O Ports，通用输入/输出端口)连接，第一微控制单元MCU通过传感器接口I2C与G-Sensor连接，通过第一电源接口B+/ACC与车载电瓶连接，通过ADC接口连接4路报警开关，通过CAN接口与整机互连，并通过RS232接口和RS485接口可以支持扩展外设应用。

作为一种可选的实施方式，如图3所示，所述高精度定位模块1021包括：

双频高精度定位天线1021a，用于接收定位信号；

滤波器1021b，可以采用SAW(Surface Acoustic Wave，声表面滤波器)，用于对接收的定位信号进行滤波；

放大器1021c，可以采用LNA(Low Noise Amplifier，低噪声放大器)，用于对滤波后定位信号进行放大处理；

全球导航卫星系统GNSS芯片1021d，用于对放大后定位信号进行处理后得到定位数据，并将所述定位数据传输到第二微控制单元MCU；

第二微控制单元MCU1021e，接收所述GNSS芯片传输的定位数据、所述智能视觉芯片提供的实时动态差分法RTK(Real Time Kinematic)数据、以及惯性测量单元IMU(Inertial Measurement Unit)产生的数据，根据GNSS定位数据、RTK数据和IMU数据融合计算得到高精度位置数据，并输出中断信号到智能视觉芯片，将所述高精位置数据传输到智能视觉芯片，上述RTK数据可以通过智能视觉芯片从云端获取，RTK和IMU是用于提高定位数据精度的数据；

惯性传感器IMU1021f，用于产生IMU数据，所述IMU数据包括三个直角坐标轴方向的移动自由度数据和绕这三个坐标轴的转动自由度数据。

图2中，RV1126安全监控主机包括RV1126芯片与第一微控制单元MCU，上述算力芯片1022采用RK1808嵌入式芯片，集成了双核ARM Cortex-35，内置3T NPU，主频可达1.6GHz，支持多种算法模型，核心板集成2G LRDDR4和8G EMMC，满足高精度地图采集边缘端算力需求。算力盒102与RV1126安全监控主机相连，硬件接口上支持可拔插，通过RV1126安全监控主机进行5V供电和电源控制，定位和控制信号采用RS232，图像和视频大数据交互采用USB2.0，速率可达480Mbps，RV1126安全监控主机把对外DVR摄像头的H264/H265码流图像，通过USB2.0接口传输给算力芯片，算力芯片通过硬件解码将H264/H265码流图像解码成YUV，提供给算法使用，算法在3T NPU上运行，主要包括高精地图采集所需要的目标识别检测、语义分割、局部矢量地图构建等。

RV1126监控主机把RTK矫正数据、轮速数据经过RS232串口透传给算力盒102中的高精度定位模块1021。高精度模块包含双精高精度定位天线1021a、滤波器1021b、放大器1021c、GNSS芯片1021d、第二微控制单元MCU1021e、IMU1021f，卫星信号通过双精度高精度定位天线接收信号，天线采用多馈点设计和完全对称的天线结构，能降低天线对测量误差的影响；天线接收信号后进入滤波器SAW有效抑制带外干扰，接着进入放大器LNA后进行处理和放大，进入GNSS芯片，GNSS芯片信号处理后通过异步收发传输器UART(UniversalAsynchronous Receiver/Transmitter)把数据传输给第二微控制单元MCU；6轴IMU产生x、y、z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度数据，通过I2C把数据传输给第二微控制单元MCU，第二微控制单元MCU基于轮速、时钟、RTK数据、IMU、GNSS原始观测量数据确定高精度位置数据，最后输出≥50Hz的高精度位置数据通过RS232回传给RV1126主机。算力芯片拥有3T NPU算力，并且拥有内存和EMMC组成独立的算力系统，算力芯片通过USB总线与RV1126安全监控主机相连，实现图像视频数据互传。高精度定位模块中的第二微控制单元MCU还将高精度位置数据传输给RV1126芯片，RV1126芯片将高精度定位数据与图像数据进行帧-定位同步融合，并将融合后的数据通过USB2.0接口传输给算力芯片进行矢量化计算，计算后的数据再通过USB2.0接口回传给RV1126安全监控主机。

作为一种可选的实施方式，所述算力盒还包括：

电源管理模块1023，与智能视觉芯片通过电源接口连接，将所述电源接口提供的电压提供给所述高精度定位模块1021和算力芯片1022。

本申请实施例还提供一种车载监控方法，如图4所示，应用于上述实施例提供的车载监控设备中的智能视觉芯片，包括：

步骤401，从所述监控模块获取图像数据，接收算力盒发送的高精度定位数据；

监控模块获取图像数据的方式参见上述实施例的描述，这里不再重述，算力盒确定高精度定位数据的方式参见上述实施例描述，这里不再详述。

步骤402，将所述图像数据与所述高精度定位数据进行帧-定位同步融合得到融合图像数据，并将所述融合图像数据返回给所述算力盒；

在智能视觉芯片与算力盒在时间同步后，可以依据图像数据的时间戳及高精度定位数据的时间戳，将属于同一时间的图像数据及高精度定位数据融合，从而实现图像数据与高精度定位数据的帧-定位同步。

步骤403，接收所述算力盒发送的对所述融合图像数据进行图像处理和矢量化计算后的数据；

智能视觉芯片的算力不足，可以借助算力盒按照上述实施例方式进行图像处理和矢量化计算。

步骤404，通过通信模块与所述远端外部设备数据交互，将所述进行图像处理和矢量化计算后的数据发送给云端。

作为一种可选的实施方式，将所述图像数据与所述高精度定位数据进行帧-定位同步融合得到融合图像数据，包括：

接收所述算力盒中发送秒脉冲的中断信号，触发中断并等待算力盒在下个秒脉冲发送的时间戳；

在下个秒脉冲收到所述算力盒发送的时间戳时，利用所述时间戳校准时间，并采用秒脉冲触发所述监控模块采集图像数据，即在智能视觉芯片收到算力盒在下个秒脉冲发送的时间戳，是该时间戳为基准校准本地时间，并以秒脉冲方式触发监控模块采集图像数据，监控模块每次在采集到图像数据时打上时间戳；

获取所述监控模块采集的携带第一时间戳的图像数据，及从所述算力盒接收携带第二时间戳的高精度位置数据；

根据第一时间戳和第二时间戳，对所述图像数据和高精度位置数据进行帧-定位同步融合，得到融合图像数据。

根据上述第一时间戳和第二时间戳，可以确定属于同一时间的同步图像数据和高精度位置数据，将属于同一时间的图像数据和高精度位置数据作为融合图像数据。如果第一时间戳和第二时间戳误差最小，则可以视为同一时间。

如图5所示为本申请实施例中算力盒实现图像数据和高精度位置数据同步和融合的流程示意图。

智能视觉芯片可以采用上述RV1126安全监控主机，算力盒中的高精度定位模块GNSS生成1PPS脉冲信号触发RV1126安全监控主机GPIO中断，随后算力盒中的第二微控制单元MCU通过串口RS232将脉冲信号时刻的时间戳ts1发送给RV1126安全监控主机，RV1126安全监控主机收到第一次GPIO中断后，串口RS232等待接收中断时刻的时间戳ts1，并准备下一次中断的精准时间戳ts2，ts2＝ts1+1000ms。

当算力盒中GNSS生成第二次PPS脉冲信号触发RV1126安全监控主机的GPIO中断后，RV1126安全监控主机在GPIO中断响应中立刻同步时间ts2，由于1PPS信号是与GNSS时间网格同步间隔的秒脉冲，精度小于100ns，因此，高精定位模块与RV1126安全监控主机之间实现纳秒级同步。

接着，第二微控制单元MCU基于GNSS、RTK和IMU数据的定位融合，生成附带时间戳ts信息的高精度定位数据，并将融合后的高精度定位数据以≥50Hz的频率通过串口RS232传输给RV1126安全监控主机。

RV1126安全监控主机以1PPS脉冲信号触发对外摄像头DVR获取图像数据并打上时间戳信息，由于高精度定位数据输出频率≥50Hz，间隔≤20ms，而图像获取帧率为≤20fps，间隔为≥50ms，此时采用“高频插低频”的方法可以确定时间误差10ms以内的图像和定位数据，将此时误差最小的图像数据和高精度位置数据作为最终的融合图像数据，将此融合后的图像数据发送给算力盒中的算力芯片，算力芯片则基于此图像数据进行图形处理，矢量化计算等处理，并最后将计算后的数据发送给RV1126安全监控主机，RV1126安全监控主机再将数据传送给云端，完成整个高精度定位和图像端侧采集和处理。

本申请实施例还提供一种车辆，如图6所示，所述车辆包括：

本申请上述实施例提供的车载监控设备61；

整车车身62，与所述车载监控设备连接，包括车机中控大屏621、整车网关622及车辆控制器623，所述车机中控大屏通过621与所述车载监控设备61数据交互，显示视频图像并进行高精度导航，所述车载监控设备61通过所述整车网关622与车辆控制器623通信，实现所述车辆控制器623对车辆的控制。

整车车身内部具体包括的部件及接口可以参见相关技术，这里不再详述，本申请实施例中的整车网关与车载监控设备中的第一微控制单元MCU进行数据交互和控制，车机中控大屏与车载监控设备通过以太网接口ETH进行数据交互。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (13)

1.一种车载监控设备，其特征在于，包括：

监控模块，与智能视觉芯片连接，包括多路摄像头，用于根据所述智能视觉芯片的控制获取图像数据，并将所述图像数据发送到所述智能视觉芯片；

算力盒，与所述智能视觉芯片连接，包括高精度定位模块和算力芯片，所述高精度定位模块用于确定高精度位置数据，所述算力芯片用于接收智能视觉芯片传输的帧-定位同步融合后的融合图像数据，对所述融合图像数据进行图像处理和矢量化计算，并将计算后的数据传输到所述智能视觉芯片；

通信模块，与所述智能视觉芯片连接，并与远端外部设备通信，用于实现所述智能视觉芯片与所述远端外部设备的通信；

第一微控制单元MCU，分别与所述智能视觉芯片及整车网关连接，所述第一微控制单元MCU包括连接外围设备的扩展接口，用于根据所述智能视觉芯片的控制，实现通过所述整车网关与车辆控制器之间的数据交互及外围设备的数据交互；

智能视觉芯片，用于从所述监控模块获取图像数据，接收所述算力盒发送的高精度定位数据，将所述图像数据与所述高精度定位数据进行帧-定位同步融合得到融合图像数据，并将所述融合图像数据返回给所述算力盒，接收所述算力盒发送的对所述融合图像数据进行图像处理和矢量化计算后的数据，通过所述通信模块与所述远端外部设备数据交互，与所述第一微控制单元MCU通信对所述第一微控制单元MCU进行控制。

2.根据权利要求1所述的车载监控设备，其特征在于，所述监控模块包括如下至少一个摄像头：

第一摄像头，采用移动行业处理器接口MIPI接口与所述智能视觉芯片连接，为用于对车辆外部进行图像数据获取的硬盘录像机DVR摄像头；

第二摄像头，采用模拟高清AHD接口连接视频转换模块，所述视频转换模块采用MIPI接口与所述智能视觉芯片连接，所述第二摄像头为用于对车辆内部位置进行图像数据获取的座舱监控系统IMS摄像头；

第三摄像头，采用AHD接口连接视频转换模块，所述视频转换模块采用MIPI接口与所述智能视觉芯片连接，所述第三摄像头为用于对车辆内部驾驶员位置进行图像数据获取的驾驶员监控系统DMS摄像头；

第四摄像头，采用AHD接口连接视频转换模块，所述视频转换模块采用MIPI接口与所述智能视觉芯片连接，所述第四摄像头为用于对车辆内后备箱位置进行图像数据获取的IVR摄像头。

3.根据权利要求1所述的车载监控设备，其特征在于，所述高精度定位模块包括：

双频高精度定位天线，用于接收定位信号；

滤波器，用于对接收的定位信号进行滤波；

放大器，用于对滤波后定位信号进行放大处理；

全球导航卫星系统GNSS芯片，用于对放大后定位信号进行处理后得到定位数据，并将所述定位数据传输到第二微控制单元MCU；

第二微控制单元MCU，接收所述GNSS芯片传输的定位数据、所述智能视觉芯片提供的实时动态差分法RTK数据、以及惯性测量单元IMU(Inertial Measurement Unit)产生的数据，根据所述定位数据、RTK数据和IMU数据得到高精度位置数据，并输出1PPS秒脉冲的中断信号到智能视觉芯片，将所述高精位置数据传输到智能视觉芯片；

惯性传感器IMU，用于产生IMU数据，所述IMU数据包括三个直角坐标轴方向的移动自由度数据和绕这三个坐标轴的转动自由度数据。

4.根据权利要求3所述的车载监控设备，其特征在于，所述算力盒还包括：

电源管理模块，与智能视觉芯片通过第二电源接口连接，将所述第二电源接口提供的电压提供给所述高精度定位模块和算力芯片。

5.根据权利要求1所述的车载监控设备，其特征在于，所述扩展接口包括如下任一或任多：

分别连接4路报警开关的数字转换器ADC接口；

与串行接口设备连接的RS232接口；

与串行接口设备连接的RS485接口；

与车载电瓶连接的第一电源接口；

与外接传感器连接的传感器接口；

与整车网关连接的CAN接口。

6.根据权利要求1所述的车载监控设备，其特征在于，所述通信模块包括：

4G通信模块，采用消息队列遥测传输MQTT协议与内容服务提供者TSP服务器通信，实现与云端的交互；

无线局域网WIFI/蓝牙BT模块，用于与终端设备进行通信。

7.根据权利要求1所述的车载监控设备，其特征在于，所述智能视觉芯片还包括：

以太网接口，用于连接所述智能视觉芯片与车机中控大屏，实现所述智能视觉芯片与车机中控大屏之间的数据智能交互。

8.根据权利要求1所述的车载监控设备，其特征在于，所述智能视觉芯片连接有如下模块中任一或任多个

闪存TF卡，通过SDIO接口与智能视觉芯片连接，用于存储图像数据、融合后的数据；

GPS定位模块，用于实现普通精度的GPS定位；

双倍速率同步动态随机存储器DDR，用于缓存智能视觉芯片存放的数据；

嵌入式多媒体卡EMMC，用于存储智能视觉芯片的ROM文件、运行日志数据；

电源管理集成电路PMIC模块，用于对智能视觉芯片连接的各模块进行供电管理，实现智能视觉芯片各模块的供电和RTC时间对齐，与麦克风连接实现车内音频监控，与喇叭连接实现车内语音播报。

9.根据权利要求1所述的车载监控设备，其特征在于，所述智能视觉芯片为型号为RV1126的芯片。

10.根据权利要求1所述的车载监控设备，其特征在于，所述算力盒采用可插拔方式与智能视觉芯片连接。

11.一种车载监控方法，其特征在于，包括：

从所述监控模块获取图像数据，接收算力盒发送的高精度定位数据；

将所述图像数据与所述高精度定位数据进行帧-定位同步融合得到融合图像数据，并将所述融合图像数据返回给所述算力盒；

接收所述算力盒发送的对所述融合图像数据进行图像处理和矢量化计算后的数据；

通过通信模块与所述远端外部设备数据交互，将所述进行图像处理和矢量化计算后的数据发送给云端。

12.根据权利要求11所述的方法，其特征在于，将所述图像数据与所述高精度定位数据进行帧-定位同步融合得到融合图像数据，包括：

接收所述算力盒中发送的1PPS秒脉冲的中断信号，触发中断并等待算力盒在下个秒脉冲发送的时间戳；

在下个秒脉冲收到所述算力盒发送的时间戳时，利用所述时间戳同步时间，并采用秒脉冲触发所述监控模块采集图像数据；

获取所述监控模块采集的携带第一时间戳的图像数据，及从所述算力盒接收携带第二时间戳的高精度位置数据；

根据第一时间戳和第二时间戳，对所述图像数据和高精度位置数据进行帧-定位同步融合，得到融合后的高精度定位的图像数据。

13.一种车辆，其特征在于，所述车辆包括：

权利要求1～10任一所述车载监控设备；

整车车身，与所述车载监控设备连接，包括车机中控大屏、整车网关及车辆控制器，所述车机中控大屏通过与所述车载监控设备数据交互，显示视频图像并进行高精度导航，所述车载监控设备通过所述整车网关与车辆控制器通信，实现所述车辆控制器对车辆的控制。