CN111710059A - 一种自动驾驶数据记录仪 - Google Patents

一种自动驾驶数据记录仪 Download PDF

Info

Publication number
CN111710059A
CN111710059A CN202010573602.1A CN202010573602A CN111710059A CN 111710059 A CN111710059 A CN 111710059A CN 202010573602 A CN202010573602 A CN 202010573602A CN 111710059 A CN111710059 A CN 111710059A
Authority
CN
China
Prior art keywords
image
data
processor
data recording
machine vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010573602.1A
Other languages
English (en)
Inventor
沈飞辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010573602.1A priority Critical patent/CN111710059A/zh
Publication of CN111710059A publication Critical patent/CN111710059A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种自动驾驶数据记录仪，包括摄像头、图像传感器、数据记录处理器、图像与机器视觉处理器、内存、高速固态储存介质。所述的图像传感器连接数据记录处理器，所述的摄像头连接图像传感器，进行实时的拍摄，并将拍摄到的原始RAW图像通过图像传感器发送给数据记录处理器。数据记录处理器连接图像与机器视觉处理器、内存和高速固态储存介质；本发明通过在传统机器视觉处理器和图像传感器之间增加记录处理器，可以保证记录图像与用于机器视觉算法的推理的图像完全一致。数据记录处理器处于机器视觉处理器上游，ISP中每一步的开关与处理参数均可以在机器视觉模型与算法中进行精确调试与复现。

Description

一种自动驾驶数据记录仪
技术领域
本发明属于汽车电子仪器及应用技术领域，具体涉及一种自动驾驶数据记录仪。
背景技术
机器视觉和深度学习是自动驾驶的重要技术。由多路摄像头采集的视频数据由图像信号处理器ISP处理后送入机器学习加速器进行目标识别和定位。由于自动驾驶环境复杂多变，机器学习算法需要快速迭代更新。紧急事件所记录的图像可以在模拟环境下验证新开发的算法并增加新数据集。因此，必须保证用于训练的数据与车辆运行时的数据必须完全一致。
传统记录仪为了通过记录isp处理后压缩过的有损视频。虽然这类图像可以提供连续高帧率的视频数据，但高压缩率和处理过的图像已经无法还原原始数据。即使用于鉴图，重新解压缩的结果也与原始无损图像发生区别，无法100％复现现场推理结果。如果在处理器内进行压缩解压缩则会大量增加编码器解码器功耗，增加视觉系统的延迟，重复执行的无损压缩部分。此外，ISP参数对机器学习的影响也无法通过压缩后图像重构。
发明内容
针对现有技术中存在的不足，本发明提供了一种自动驾驶数据记录仪。
一种自动驾驶数据记录仪，包括摄像头、图像传感器、数据记录处理器、图像与机器视觉处理器、内存、高速固态储存介质。
所述的图像传感器连接数据记录处理器，所述的摄像头连接图像传感器，进行实时的拍摄，并将拍摄到的原始RAW图像通过图像传感器发送给数据记录处理器。
所述的数据记录处理器连接图像与机器视觉处理器、内存和高速固态储存介质；所述的数据记录处理器接收到图像传感器发送的原始RAW图像，通过压缩算法对原始RAW图像数据进行处理，当采用无损压缩时，数据记录处理器直接将获得的原始RAW图像数据发送给图像与机器视觉处理器，并通过无损压缩将原始RAW图像数据进行压缩并写入内存中进行缓存；当采用有损压缩时，数据记录处理器将经过有损压缩损耗过后的图像实时发送给图像与机器视觉处理器，将完成全部压缩后的图像数据写入内存中进行缓存；所述的图像与机器视觉处理器进行图像渲染和运算；数据记录处理器并行将压缩后的图像数据写入高速固态储存介质。
进一步的，所述的数据记录处理器可以采用FPGA芯片或ASIC芯片实现。
一种自动驾驶数据记录仪，工作过程如下：
1).在图像采集过程中，摄像头进行数据采集，并通过图像传感器发送原始RAW图像至数据记录处理器；
2).数据记录处理器接收原始RAW图像数据，并通过压缩算法进行压缩；
a.当采用无损压缩时，数据记录处理器直接将获得的原始RAW图像数据发送给图像与机器视觉处理器，并通过无损压缩将原始RAW图像数据进行压缩并写入内存中进行缓存；图像与机器视觉处理器进行图像渲染和运算；
b.当采用有损压缩时，数据记录处理器将经过有损压缩损耗过后的图像实时发送给图像与机器视觉处理器，与此同时数据记录处理器将继续完成损耗过后图像的无损压缩部分，完成全部压缩后的数据写入内存中进行缓存；图像与机器视觉处理器进行图像渲染和运算(以 JPEG压缩为例，有损耗部分为DCT与高频信息丢弃过程，此后的无损过程包括Huffman编码)；
3).数据记录处理器并行将压缩后的图像数据写入高速固态储存介质；
4).在调试回放过程中，数据记录处理器从高速固态储存介质中读取压缩后的图像数据至内存；
5).数据记录处理器对内存内压缩后的图像数据进行解压缩；
6).数据记录处理器将解压缩后的图像数据发送至图像与机器视觉处理器模拟图像传感器的拍摄过程；
本发明有益效果如下：
本发明通过在传统机器视觉处理器和图像传感器之间增加数据记录处理器，可以保证记录图像与用于机器视觉算法的推理的图像完全一致。此外，由于数据记录处理器处于机器视觉处理器上游，ISP 中每一步的开关与处理参数均可以在机器视觉模型与算法中进行精确调试与复现。本发明记录仪系统除了可以独立存在于驾驶系统上，还可以以加速卡形式通过PCI-E接口连接于台式机或服务器，用于模型快速调试迭代的现场计算加速。最后，其他算法可以在数据记录处理器上执行，进行额外的数据处理计算。
附图说明
图1为本发明记录仪系统连接示意图。
具体实施方式
以下结合附图与实施例对本发明进行进一步描述。
如图1所示，一种自动驾驶数据记录仪，包括摄像头、图像传感器、数据记录处理器、图像与机器视觉处理器、内存、高速固态储存介质。
所述的图像传感器连接数据记录处理器，所述的摄像头连接图像传感器，进行实时的拍摄，并将拍摄到的原始RAW图像通过图像传感器发送给数据记录处理器。
所述的数据记录处理器连接图像与机器视觉处理器、内存和高速固态储存介质；所述的数据记录处理器接收到图像传感器发送的原始 RAW图像，通过压缩算法对原始RAW图像数据进行处理，当采用无损压缩时，数据记录处理器直接将获得的原始RAW图像数据发送给图像与机器视觉处理器，并通过无损压缩将原始RAW图像数据进行压缩并写入内存中进行缓存；当采用有损压缩时，数据记录处理器将经过有损压缩损毁后的图像实时发送给图像与机器视觉处理器，将有损压缩后的图像数据写入内存中进行缓存；所述的图像与机器视觉处理器进行图像渲染和运算；数据记录处理器并行将压缩后的图像数据写入高速固态储存介质。
进一步的，所述的数据记录处理器可以采用FPGA芯片或ASIC芯片实现。
一种自动驾驶数据记录仪，工作过程如下：
1).在图像采集过程中，摄像头进行数据采集，并通过图像传感器发送原始RAW图像至数据记录处理器；
2).数据记录处理器接收原始RAW图像数据，并通过压缩算法进行压缩；
a.当采用无损压缩时，数据记录处理器直接将获得的原始RAW图像数据发送给图像与机器视觉处理器，并通过无损压缩将原始RAW图像数据进行压缩并写入内存中进行缓存；图像与机器视觉处理器进行图像渲染和运算；
b.当采用有损压缩时，数据记录处理器将经过有损压缩损耗过后的图像实时发送给图像与机器视觉处理器，与此同时数据记录处理器将继续完成损耗过后图像的无损压缩部分，完成全部压缩后的数据写入内存中进行缓存；图像与机器视觉处理器进行图像渲染和运算(以 JPEG压缩为例，有损耗部分为DCT与高频信息丢弃过程，此后的无损过程包括Huffman编码)；
3).数据记录处理器并行将压缩后的图像数据写入高速固态储存介质；
4).在调试回放过程中，数据记录处理器从高速固态储存介质中读取压缩后的图像数据至内存；
5).数据记录处理器对内存内压缩后的图像数据进行解压缩；
6).数据记录处理器将解压缩后的图像数据发送至图像与机器视觉处理器模拟图像传感器的拍摄过程。

Claims (3)

1.一种自动驾驶数据记录仪，其特征在于，包括摄像头、图像传感器、数据记录处理器、图像与机器视觉处理器、内存、高速固态储存介质；
所述的图像传感器连接数据记录处理器，所述的摄像头连接图像传感器，进行实时的拍摄，并将拍摄到的原始RAW图像通过图像传感器发送给数据记录处理器；
所述的数据记录处理器连接图像与机器视觉处理器、内存和高速固态储存介质；所述的数据记录处理器接收到图像传感器发送的原始RAW图像，通过压缩算法对原始RAW图像数据进行处理，当采用无损压缩时，数据记录处理器直接将获得的原始RAW图像数据发送给图像与机器视觉处理器，并通过无损压缩将原始RAW图像数据进行压缩并写入内存中进行缓存；当采用有损压缩时，数据记录处理器将经过有损压缩损耗过后的图像实时发送给图像与机器视觉处理器，将完成全部压缩后的图像数据写入内存中进行缓存；所述的图像与机器视觉处理器进行图像渲染和运算；数据记录处理器并行将压缩后的图像数据写入高速固态储存介质。
2.根据权利要求1所述的一种自动驾驶数据记录仪，其特征在于，进一步的，所述的数据记录处理器可以采用FPGA芯片或ASIC芯片实现。
3.根据权利要求1所述的一种自动驾驶数据记录仪，其特征在于，工作过程如下：
1).在图像采集过程中，摄像头进行数据采集，并通过图像传感器发送原始RAW图像至数据记录处理器；
2).数据记录处理器接收原始RAW图像数据，并通过压缩算法进行压缩；
a.当采用无损压缩时，数据记录处理器直接将获得的原始RAW图像数据发送给图像与机器视觉处理器，并通过无损压缩将原始RAW图像数据进行压缩并写入内存中进行缓存；图像与机器视觉处理器进行图像渲染和运算；
b.当采用有损压缩时，数据记录处理器将经过有损压缩损耗过后的图像实时发送给图像与机器视觉处理器，与此同时数据记录处理器将继续完成损耗过后图像的无损压缩部分，完成全部压缩后的数据写入内存中进行缓存；图像与机器视觉处理器进行图像渲染和运算；
3).数据记录处理器并行将压缩后的图像数据写入高速固态储存介质；
4).在调试回放过程中，数据记录处理器从高速固态储存介质中读取压缩后的图像数据至内存；
5).数据记录处理器对内存内压缩后的图像数据进行解压缩；
6).数据记录处理器将解压缩后的图像数据发送至图像与机器视觉处理器模拟图像传感器的拍摄过程。
CN202010573602.1A 2020-06-22 2020-06-22 一种自动驾驶数据记录仪 Withdrawn CN111710059A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010573602.1A CN111710059A (zh) 2020-06-22 2020-06-22 一种自动驾驶数据记录仪

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010573602.1A CN111710059A (zh) 2020-06-22 2020-06-22 一种自动驾驶数据记录仪

Publications (1)

Publication Number Publication Date
CN111710059A true CN111710059A (zh) 2020-09-25

Family

ID=72542127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010573602.1A Withdrawn CN111710059A (zh) 2020-06-22 2020-06-22 一种自动驾驶数据记录仪

Country Status (1)

Country Link
CN (1) CN111710059A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090154551A1 (en) * 2007-12-12 2009-06-18 Samsung Techwin Co., Ltd. Apparatus for recording/reproducing moving picture, and recording medium thereof
US20120262578A1 (en) * 2011-04-18 2012-10-18 Acard Technology Corp. Vehicular around-view driving monitor and recorder
CN105551114A (zh) * 2016-01-29 2016-05-04 深圳市美好幸福生活安全系统有限公司 行车记录仪及应用该行车记录仪的方法
US20170359471A1 (en) * 2016-06-14 2017-12-14 Canon Kabushiki Kaisha Imaging apparatus
US20200043260A1 (en) * 2017-04-17 2020-02-06 Jvckenwood Corporation Recording control device, recording apparatus, navigation apparatus, recording method, and non-transitory computer readable medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090154551A1 (en) * 2007-12-12 2009-06-18 Samsung Techwin Co., Ltd. Apparatus for recording/reproducing moving picture, and recording medium thereof
US20120262578A1 (en) * 2011-04-18 2012-10-18 Acard Technology Corp. Vehicular around-view driving monitor and recorder
CN105551114A (zh) * 2016-01-29 2016-05-04 深圳市美好幸福生活安全系统有限公司 行车记录仪及应用该行车记录仪的方法
US20170359471A1 (en) * 2016-06-14 2017-12-14 Canon Kabushiki Kaisha Imaging apparatus
US20200043260A1 (en) * 2017-04-17 2020-02-06 Jvckenwood Corporation Recording control device, recording apparatus, navigation apparatus, recording method, and non-transitory computer readable medium

Similar Documents

Publication Publication Date Title
CN110225341B (zh) 一种任务驱动的码流结构化图像编码方法
US11272188B2 (en) Compression for deep neural network
WO2018150083A1 (en) A method and technical equipment for video processing
US8488887B2 (en) Method of determining an image distribution for a light field data structure
CN113766249B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
CN112565777B (zh) 基于深度学习模型视频数据传输方法、系统、介质及设备
CN116233445B (zh) 视频的编解码处理方法、装置、计算机设备和存储介质
WO2013134936A1 (zh) 屏幕录制方法、屏幕录制控制方法及装置
CN112584155B (zh) 一种视频数据处理方法和装置
US20220284632A1 (en) Analysis device and computer-readable recording medium storing analysis program
EP4018410A1 (en) Watermark-based image reconstruction
CN114373023A (zh) 一种基于点的点云几何有损压缩重建装置与方法
CN111710059A (zh) 一种自动驾驶数据记录仪
CN117061760A (zh) 一种基于注意力机制的视频压缩方法和系统
Wang et al. Dynamic kernel-based adaptive spatial aggregation for learned image compression
WO2022136065A1 (en) Compression of temporal data by using geometry-based point cloud compression
CN114626994A (zh) 一种图像处理方法、视频处理方法、计算机设备、存储介质
Zhang et al. An Improved Quantization Algorithm for Electric Power Inspection
Altaf et al. Discernible Effect of Video Quality for Distorted Vehicle Detection using Deep Neural Networks
CN113691818B (zh) 视频目标检测方法、系统、存储介质、计算机视觉终端
Al-Shakarji et al. Performance evaluation of semantic video compression using multi-cue object detection
KR102573201B1 (ko) 이미지 재건 기술 기반 영상 통신 비용 절감 시스템 및 방법
CN114257817B (zh) 一种多任务数字视网膜特征流的编码方法及解码方法
CN114531604B (zh) 一种在线教学视频的智能处理方法及系统
Karakostas et al. Explaining and verifying the robustness of Visual Object Trackers to noise

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200925