CN218920548U - 一种图像传感器及控制系统 - Google Patents

Abstract

本实用新型描述了一种图像传感器，包括：像素阵列、模拟处理电路、存储器以及神经网络处理器；模拟处理电路与像素阵列连接，被配置为将像素阵列逐行曝光后的像素信号量化读取，以获取图像信息；存储器与模拟处理电路连接，被配置为存储图像信息及人工智能程序；神经网络处理器与存储器连接，被配置为执行存储器中的人工智能程序以提取图像信息中的语义信息并进行预处理，以输出第一有效信息；其中，第一有效信息的数据流小于图像信息中的语义信息的数据流。本实用新型还提供一种包含上述图像传感器的控制系统。在本实用新型中，图像传感器传输至电子控制单元的数据量减少，且开关频率降低，使图像传感器的功耗也得到降低。

Description

一种图像传感器及控制系统

技术领域

本实用新型涉及传感器领域，特别是涉及一种图像传感器、包含该图像传感器的控制系统。

背景技术

随着智能驾驶的不断发展，选择一辆拥有智能驾驶辅助系统(ADAS)的车辆成为越来越多人们的选择，但是根据国标GB/T 40429-2021《汽车驾驶自动化分级》，可知目前智能驾驶辅助系统处于L2级别，系统尚不能代替人去操控汽车，控制汽车的主体依旧是驾驶员而非系统。

传统驾驶员监测系统(Driver Monitor System，DMS)可以持续监测驾驶员是否有走神，疲倦和分心等现象，然后汽车系统发出警告提示，可以有效降低事故发生几率。但是此项方案有以下缺点：(1)图像传感器将所有图像数据都传输给中央控制单元(ElectronicControl Unit，ECU)，对于驾驶员面部信息及其他车内其他信息缺乏隐私保护，如果数据泄露，就会导致隐私信息泄露；(2)由于传统驾驶员监测系统传输所有图像数据，因此其传输数据量大，从而导致传输功耗大；(3)传统驾驶员监测系统从拍摄到电子控制单元输出结果中间包括曝光、传输、处理和执行这些步骤，其中传输延时占主要时间，其传输数据量大导致其传输延时高、传输线缆性能要求高。

实用新型内容

有鉴于此，本实用新型提供一种图像传感器以及包含该图像传感器的控制系统。

本实用新型提供了一种图像传感器，包括：像素阵列、模拟处理电路、存储器以及神经网络处理器；模拟处理电路与像素阵列连接，被配置为将像素阵列逐行曝光后的像素信号量化读取，以获取图像信息；存储器与模拟处理电路连接，被配置为存储图像信息及人工智能程序；神经网络处理器与存储器连接，被配置为执行存储器中的人工智能程序以提取图像信息中的语义信息并进行预处理，以输出第一有效信息，其中，第一有效信息的数据流小于图像信息中的语义信息的数据流。

可选的，人工智能程序包括BP神经网络算法、卷积神经网络算法、深度自动编码器中至少一种。

可选的，神经网络处理器包括数据模块，数据模块连接于存储器，用于从存储器中下载数据至神经网络处理器，或者存储神经网络处理器中数据至存储器；神经网络处理器还至少包括：矩阵模块，用于进行矩阵卷积运算；和/或，矢量模块，用于进行矢量运算或加法运算；和/或，混合模块，用于执行人工智能的通用功能；和/或，指令模块，连接于存储器，用于按顺序加载相关指令至对应的执行模块。

可选的，图像传感器还包括：系统控制模块，被配置为进行任务规划和资源加载；系统控制模块分别与像素阵列、模拟处理电路、存储器以及神经网络处理器连接。

可选的，图像传感器还包括：并串转换器，连接于神经网络处理器，并串转换器被配置为将神经网络处理器输出的第一有效信息转换成第二有效信息，并传输至电子控制单元。

可选的，神经网络处理器与并串转换器之间采用A-PHY协议建立连接。

可选的，图像传感器还包括：系统控制模块，被配置为进行任务规划和资源加载；系统控制模块通过I2C总线连接至并串转换器。

本实用新型还提供一种包含上述图像传感器的控制系统，控制系统包括：图像传感器、串行器、解串器以及电子控制单元；电子控制单元由微控制器、控制存储器、传输接口、模数转换器以及整形与驱动集成电路组成；串行器和解串器之间采用GMSL2协议建立通讯连接。

本实用新型还提供又一种包含上述图像传感器的控制系统，控制系统包括：图像传感器、解串器以及电子控制单元；电子控制单元由微控制器、控制存储器、传输接口、模数转换器以及整形与驱动集成电路组成；图像传感器和解串器之间采用A-PHY协议建立通讯连接。

本实用新型还提供又一种包含上述图像传感器的控制系统，控制系统包括图像传感器以及电子控制单元；电子控制单元由串并转换器、微控制器、控制存储器、传输接口、模数转换器以及整形与驱动集成电路组成；图像传感器和电子控制单元之间采用A-PHY协议建立通讯连接。

与现有技术相比，本实用新型至少具有如下突出的优点之一：

本实用新型的图像传感器内部将数据进行预处理，神经网络处理器仅提取图像信息的语义信息中的有效信息，并生成第一有效信息，以通过数据传输接口将第一有效信息传输到电子控制单元中，因此，传输到电子控制单元中的第一有效信息的数据流小于图像信息中的语义信息的数据流，使得其传输的数据量减少，传输延时缩短，整个控制系统的延时也得到缩短，同时，由于传输的数据量减少，致使传输速率的要求降低，则对传输线缆性能的要求也降低了。在电子控制单元的后续处理中，电子控制单元只输出一个指令信息，不包含图像数据，从而保证了数据安全，对驾驶员隐私信息及车内其他信息进行有效保护。

附图说明

图1是现有技术中一种控制系统的结构示意图；

图2是本实用新型提供的一种图像传感器的结构示意图；

图3是本实用新型提供的另一种图像传感器的结构示意图；

图4是本实用新型提供的一种包含图2所示图像传感器的控制系统的结构示意图；

图5是本实用新型提供的一种包含图3所示图像传感器的控制系统的结构示意图；

图6是本实用新型提供的另一种包含图3所示图像传感器的控制系统的结构示意图。

具体实施方式

为使本实用新型的上述目的、特征和优点能够更为明显易懂，下面将结合附图和实施例对本实用新型做进一步说明。

需要说明的是，在以下描述中阐述了具体细节以便于充分理解本实用新型。但是本实用新型能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本实用新型内涵的情况下做类似推广。因此本实用新型不受下面公开的具体实施方式的限制。

如图1所示，图1为现有技术中一种控制系统的结构示意图。控制系统包括图像传感器10、串行器/解串器芯片组11以及电子控制单元12。图像传感器10用于采集图像信息，图像传感器可以为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器、电荷藕合器件(Charge Coupled Device，CCD)图像传感器等。其中，图1中的图像传感器10包括具有以多个阵列排布像素单元的像素阵列101、模拟处理电路102、存储器103、数字处理模块104以及系统控制模块105。像素阵列101中的每一像素单元获取图像信号后，输出原始图像数据至模拟处理模块102。模拟处理模块102包括模拟处理电路以及模数转换器，模拟处理电路可包括可编程增益放大器电路等增益调节电路，可编程增益放大器电路用于反相放大像素单元输出的信号以抑制后续电路的噪声。增益调节后的图像信号经模数转换器(ADC)从模拟信号转换为数字信号后存储在存储器103中，数字处理模块104提取位于存储器103中的数字信号并进行处理以输出图像信息。

图像传感器10将采集到的图像信息以多路低速并行信号的数据格式通过数据传输接口提供给串行器111，其中，图像信息需依次经过图像传感器中的D-PHY发送模块、D-PHY传输接口，再到串行器中的D-PHY传输接口、D-PHY接收模块、并串转换模块，最后从串行器中的协议输出接口输出。串行器111中的并串转换模块将接收到的多路低速并行信号转换成高速串行差分信号，并将高速串行差分信号从协议输出接口发送给解串器112，解串器112对接收到的高速串行差分信号进行解码处理后生成图像数据发送至电子控制单元12，以供后续处理。

串行器111与解串器112可通过同轴线或者双绞线电缆并采用GMSL2协议来实现通讯连接，解串器112可以通过MIPI(Mobile Industry Processor Interface，移动产业处理器接口)或其他图像传输接口将解析得到的图像数据发送给电子控制单元12。

图1所示现有技术中，从图像传感器采集图像信号至电子控制单元输出图像数据结果，中间包括了曝光、传输、处理和执行这些步骤，其中数字处理模块通过数据传输接口向串行器传输数据的延时占主要时间，其传输数据量大导致其传输延时高、传输线缆性能要求高。

实施例一

由此，如图2所示，图2为本实用新型提供的一种图像传感器的结构示意图。图像传感器20包括像素阵列201、模拟处理电路202、存储器203以及神经网络处理器204；模拟处理电路202与像素阵列201连接，被配置为将像素阵列201逐行曝光后的像素信号量化读取，以获取图像信息；存储器203与模拟处理电路204连接，被配置为存储图像信息及人工智能程序；神经网络处理器204与存储器203连接，被配置为执行存储器203中的人工智能程序以提取图像信息中的语义信息并进行预处理，以输出第一有效信息；且第一有效信息的数据流小于图像信息中的语义信息的数据流。

可选的，继续参考图2，图像传感器还包括系统控制模块205，系统控制模块205分别与像素阵列201、模拟处理电路202、存储器203以及神经网络处理器204连接，并被配置为对图像传感器20中各模块进行任务规划和资源加载。

可选的，存储器中人工智能程序为深度学习(神经网络)算法，例如BP(BackPropagation)神经网络算法、卷积神经网络算法、深度自动编码器中至少一种。其中，神经网络处理器包括数据模块，数据模块连接于存储器，用于从存储器中下载数据至神经网络处理器，或者存储神经网络处理器中数据至存储器。以卷积神经网络算法为例，神经网络处理器还包括矩阵模块、矢量模块、混合模块和指令模块。其中，矩阵模块，用于进行矩阵卷积运算；矢量模块，用于进行矢量运算或加法运算；混合模块，用于执行人工智能的通用功能，如深度卷积、池化、元素积等；指令模块，与存储器通讯连接，用于按顺序加载相关指令至对应的执行模块。

在本实施例中，神经网络处理器替代了现有技术中数字处理模块的位置，且神经网络处理器基于存储器中的深度学习(神经网络)算法以对图像信息的语义信息进行特征提取，利用深度学习(神经网络)算法进行特征提取，提高了对驾驶员行为判断的正确性，有效减少错判和漏判。同时，神经网络处理器仅提取图像信息的语义信息中的有效信息，并生成第一有效信息，以通过数据传输接口将第一有效信息传输到电子控制单元中。因此，传输到电子控制单元中的第一有效信息的数据流小于图像信息中的语义信息的数据流，使得其传输的数据量减少，传输延时缩短，整个控制系统的延时也得到缩短，同时，由于传输的数据量减少，致使传输速率的要求降低，则对传输线缆性能的要求也降低了。在电子控制单元的后续处理中，电子控制单元只输出一个指令信息，不包含图像数据，从而保证了数据安全，对驾驶员隐私信息及车内其他信息进行有效保护。

实施例二

在一些实施例中，如图3所示，图3为本实用新型提供的另一种图像传感器的结构示意图。与图2对应实施例中的图像传感器不同之处在于：图像传感器30还包括并串转换器310，并串转换器310连接于神经网络处理器304，被配置为将神经网络处理器304输出的第一有效信息转换成第二有效信息，并传输至电子控制单元。

可以理解的，通过并串转换器之后的第二有效信息的传输速率远大于第一有效信息的传输速率。

可以理解的，系统控制模块305通过I2C总线连接至并串转换器310，以为并串转换器310提供任务规划和资源加载。

可选的，神经网络处理器304与并串转换器310之间采用A-PHY协议建立通讯连接。A-PHY能提供高达16Gbps的数据传输速率，未来最高可达48Gbps及更高的传输速度，并且其还具有超低的数据包错误率可保证设备在整个使用寿命期内少于一次误差，另外，其还具有长距离传输，低至6微秒的延迟和极强的抗电磁干扰能力，这些特点大大提升了数据传输的效率和安全性。

在本实施例中，将并串转换器集成于图像传感器内部，使得并串转换器无需与解串器配套特定的传输协议来使用，可基于图像传感器的需求进一步选择更为合适的数据传输协议；同时，简化了相较于现有技术中较为复杂的连接模式，并且缩短了图像数据的传输路径，进一步提高了传输效率。

实施例三

本实用新型还提供一种如图4所示的一种控制系统，控制系统包括电子控制单元22、串行器/解串器芯片组21以及如实施例一所示的图像传感器20；

电子控制单元22由微控制器、控制存储器、传输接口、模数转换器以及整形与驱动集成电路组成。

串行器211和解串器212之间通过同轴线或者双绞线电缆并采用GMSL2协议建立通讯连接。

实施例四

本实用新型还提供一种如图5所示的另一种控制系统，控制系统包括电子控制单元34、解串器32以及如实施例二所示的图像传感器；

电子控制单元34由微控制器、控制存储器、传输接口、模数转换器以及整形与驱动集成电路组成；

图像传感器30和解串器32之间采用A-PHY协议建立通讯连接，即图像传感器30中的并串转换器310与解串器32之间通过同轴线或者双绞线电缆并采用A-PHY协议建立通讯连接。

在本实施例中，通过将并串转换器集成在图像传感器中，使得并串转换器与解串器无需配套特定的传输协议，可进一步选择适配的传输协议用于设备。并且并串转换器与解串器之间采用A-PHY协议建立通讯连接，A-PHY协议能极大程度提升数据传输的效率和安全性，进一步提升设备的性能。

实施例五

本实用新型还提供一种如图6所示的又一种控制系统，控制系统包括电子控制单元44以及如实施例二所示的图像传感器；

电子控制单元由串并转换器、微控制器、控制存储器、传输接口、模数转换器以及整形与驱动集成电路组成；

图像传感器40和电子控制单元44之间采用A-PHY协议建立通讯连接，即图像传感器40中的并串转换器410与电子控制单元44中的串并转换器420之间通过同轴线或者双绞线电缆并采用A-PHY协议建立通讯连接。

在本实施例中，通过将并串转换器集成在图像传感器中，并将串并转换器集成在电子控制单元中，使得并串转换器与串并转换器无需配套特定的传输协议，可进一步选择适配的传输协议用于设备。并且并串转换器与串并转换器采用A-PHY协议建立通讯连接，A-PHY协议能极大程度提升数据传输的效率和安全性，从而提升设备的性能。

以上内容是结合具体的优选实施方式对本实用新型所作的进一步详细说明，不能认定本实用新型的具体实施只局限于这些说明。对于本实用新型所属技术领域的普通技术人员来说，在不脱离本实用新型构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本实用新型的保护范围。

Claims (10)

1.一种图像传感器，其特征在于，包括：像素阵列、模拟处理电路、存储器以及神经网络处理器；

所述模拟处理电路与所述像素阵列连接，被配置为将所述像素阵列逐行曝光后的像素信号量化读取，以获取图像信息；

所述存储器与所述模拟处理电路连接，被配置为存储所述图像信息及人工智能程序；

所述神经网络处理器与所述存储器连接，被配置为执行所述存储器中的人工智能程序以提取所述图像信息中的语义信息并进行预处理，以输出第一有效信息，其中，所述第一有效信息的数据流小于所述图像信息中的语义信息的数据流。

2.如权利要求1所述的图像传感器，其特征在于，所述人工智能程序包括BP神经网络算法、卷积神经网络算法、深度自动编码器中至少一种。

3.如权利要求1所述的图像传感器，其特征在于，所述神经网络处理器包括数据模块，所述数据模块连接于所述存储器，用于从所述存储器中下载数据至所述神经网络处理器，或者存储所述神经网络处理器中数据至所述存储器；

神经网络处理器还至少包括：

矩阵模块，用于进行矩阵卷积运算；

和/或，矢量模块，用于进行矢量运算或加法运算；

和/或，混合模块，用于执行人工智能的通用功能；

和/或，指令模块，连接于所述存储器，用于按顺序加载相关指令至对应的执行模块。

4.如权利要求1所述的图像传感器，其特征在于，还包括：系统控制模块，被配置为进行任务规划和资源加载；

所述系统控制模块分别与所述像素阵列、所述模拟处理电路、所述存储器以及所述神经网络处理器连接。

5.如权利要求1所述的图像传感器，其特征在于，还包括：

并串转换器，连接于所述神经网络处理器，所述并串转换器被配置为将所述神经网络处理器输出的第一有效信息转换成第二有效信息，并传输至电子控制单元。

6.如权利要求5所述的图像传感器，其特征在于，所述神经网络处理器与所述并串转换器之间采用A-PHY协议建立连接。

7.如权利要求5所述的图像传感器，其特征在于，还包括：系统控制模块，被配置为进行任务规划和资源加载；

所述系统控制模块通过I2C总线连接至所述并串转换器。

8.一种控制系统，其特征在于，所述控制系统包括：如权利要求1-4任一项所述的图像传感器、串行器、解串器以及电子控制单元；

所述电子控制单元由微控制器、控制存储器、传输接口、模数转换器以及整形与驱动集成电路组成；

所述串行器和所述解串器之间采用GMSL2协议建立通讯连接。

9.一种控制系统，其特征在于，所述控制系统包括：如权利要求5-7任一项所述的图像传感器、解串器以及电子控制单元；

所述电子控制单元由微控制器、控制存储器、传输接口、模数转换器以及整形与驱动集成电路组成；

所述图像传感器和所述解串器之间采用A-PHY协议建立通讯连接。

10.一种控制系统，其特征在于，所述控制系统包括：如权利要求5-7任一项所述的图像传感器以及电子控制单元；

所述电子控制单元由串并转换器、微控制器、控制存储器、传输接口、模数转换器以及整形与驱动集成电路组成；

所述图像传感器和所述电子控制单元之间采用A-PHY协议建立通讯连接。

Images