CN111355936A - 用于人工智能的采集和处理图像数据的方法及系统 - Google Patents

Abstract

一种智能视觉处理设备直接使用来自图像传感器的原始RAW数据进行AI处理，而不是在ISP处理之后。本发明描述了原始数据的处理流程和预处理方法的细节，并与传统方法进行了比较。可选的并行ISP路径可用于生成适合显示的数据。本发明能够以更低的成本和更好的性能获得更好的结果。

Description

用于人工智能的采集和处理图像数据的方法及系统

技术领域

本发明涉及的是一种机器视觉领域的技术，具体是一种用于人工智能的采集和处理图像数据的方法及系统，适用于使用人工智能处理视觉信息的设备。

背景技术

对于人类世界和机器世界而言，视觉都是获取信息的最重要方式之一。在当今的机器视觉世界中，大多数系统都使用图像传感器作为前端。原始传感器输出通常为RAW格式，与人眼的色彩响应不匹配。为了使人眼愉悦，使用了ISP(图像信号处理)将原始数据转换为适合于监视器显示以及人眼观看的彩色数据，例如RGB数据。不幸的是，ISP转换可能会丢失一些有用的信息，引入一些错误的信息，并将更多的冗余数据添加到数据集中。其结果是，增加了后续AI处理单元的复杂度，并且降低了其性能。

发明内容

本发明针对现有技术存在的上述不足，提出一种用于人工智能的采集和处理图像数据的方法及系统，直接使用来自传感器的原始数据进行预处理，以更低的成本和更好的性能获得更好的结果。

本发明是通过以下技术方案实现的：

本发明涉及一种用于人工智能的采集和处理图像数据的方法，将半导体器件采集到的原始数据按通道分离为数个单通道图像，分离后的单通道图像经信息量判决并以其中信息量最多的图像进行信号增强并进行AI处理。

所述的信息量判决，取决于单个信道的图像或多个信道的组合图像能够包含最优的原始信息。

本发明涉及一种用于人工智能的采集和处理图像数据的系统，包括：用于采集原始视觉数据的图像传感器、与之相连且用于优化原始视觉数据的预处理单元、用于视觉数据处理的AI单元以及设置于预处理单元和AI单元之间的并行ISP可调路径。

所述的预处理单元，将图像传感器获得的原始视觉数据调整为更适合AI处理的、维持原始数据格式的预处理信息。

所述的系统，优选以集成电路芯片或芯片组的方式实现；进一步优选为用于高效边缘计算应用的一个或多个硅芯片的方式实现。

附图说明

图1为AI视觉流程的结构图；

图2为本发明流程图；

图3为ISP将传感器原始数据转换为RGB的流程图；

图4为预处理单元示意图；

图5为通道选择组合器示意图；

图6为信号增强器和比特位压缩器示意图。

具体实施方式

如图1所示，为用于视觉应用程序的AI(人工智能)流程，原始数据由图像传感器100采集为RAW的格式，由ISP(图像信号处理)单元110处理以生成通常为RGB格式(R：红色，G：绿色，B：蓝色)的彩色图像，然后传递给显示单元120，如LED显示器，进行显示。ISP和显示的主要目的是使人眼看着愉悦。近年来，采集的图像数据不再仅是用于人眼看，而且还用于AI的分析，从而激发多种基于机器视觉的应用，例如自动驾驶，智能机器人，智能监控等。在大多数当前情况下ISP的输出也用作AI单元130的输入。AI单元130的功能可以包括但不限于对象检测，搜索，索引，识别等。不幸的是，由于ISP的主要目的是为了更好地显示，因此并未针对AI处理的流程进行优化。

如图2所示，为本实施例涉及一种针对AI进行优化的处理流程，在可选路径，即通过图像传感器200采集原始数据并通过ISP 210并经显示模块220显示的基础上，进一步包括：通过图像传感器220采集原始数据并输出至预处理单元230并经AI处理单元240后分别输出至基于机器视觉的应用程序的后续阶段以及显示单元220，作为增强显示的一些附加或增强信息，其中：预处理单元230的输入和输出，即原始数据raw1和预处理数据raw2均为原始格式。

如图3所示，为将原始成像数据传递到AI的过程。原始图像数据通常为贝尔模式(Bayer Pattern)的原始格式300。它在每个像素位置仅具有一种颜色。每个重复的Bayer图像单元中有一个红色像素，一个蓝色像素和两个绿色像素。在ISP之后，数据格式310通常被转换为RGB格式，其在每个像素位置同时具有红色，绿色和蓝色三种颜色通道分量值。在某些情况下，数据格式310也可以是诸如YUV的其他ISP处理后的数据格式，但是这些ISP处理后的数据格式的共同点是每个像素都包含所有颜色通道信息。为此，ISP内应该包括一个CIP(颜色插值过程模块)。ISP还可以包括但不限于其他颜色处理，例如伽玛调整，对比度调整，边缘增强，降低噪声，色调映射，自动黑电平等。然后将输出的RGB数据发送到AI单元320中。该算法通常针对人类视觉进行了优化，对于AI流程而言却不是首选。

如图4所示，所述的原始数据raw1可以是典型的CMOS图像传感器采集的原始数据的贝尔格式图像400或其他颜色图像，经通道分离器410分离为单通道图像420、430、440，即用于G通道的sub-raw1，用于B通道的sub-raw2和用于R通道的sub-raw3。

值得注意的是，在贝尔格式模式中，G通道的数据计数是每个其他通道的两倍。

分离后的单通道图像420、430、440被发送到通道选择组合器450以选择信息最多的数据集以传递到信号增强器460以获得更好的信号来用于随后的AI处理，在增强后优选采用位压缩器470以进一步减小数据带宽。

所述的信号增强器460输出的像素格式可以但不限于设置为8位；对应所述的位压缩器470在不丢失任何关键信息的情况下将像素格式由8位减少到4位。

如图5所示，所述的通道选择组合器450接收单通道图像，即分离后的原始子通道数据500、510和520，其对应包含的信息量满足函数f1(G)、f2(B)和f3(R)。

所述的函数使用子通道RAW数据作为输入数组，并输出其包含多少信息量的统一值。

所述的函数之间可以是相同的，即f1＝f2＝f3，只是输入值不同；或者函数各不相同，即f1，f2，f3不相等，例如熵函数

其中p(x)为x出现的概率；或其推导函数可以用作fn()函数。

所述的通道选择组合器450根据判断单元530～590对三个函数的值进行判断，并根据判断结果选择对应的单通道图像或多个通道图像的组合输出至AI单元595，例如：依次判断是否满足①f1>(f2+f3)/2，②f2>f3/2，③f3>f2/2，并对应将G、B、R或B+R通道的图像作为AI单元595的输入。

如图6所示，本实施例以流行的“Lenna”图像为例，当单通道图像600中包含5个ROI(感兴趣区域)时，由于图像传感器的曝光和增益通常针对整个观看区域进行优化，因此对于局部区域往往未能进行很好的优化。如子图像组610所示，包含了一种理想状况和四种非理想状况，其中非理想图像质量包括太亮、太暗、太嘈杂或对比度低等。通过上述局部信号增强处理，能够对子图像组进行数字调整，使其接近理想状态。

当信号增强器460输出增强后的8位图像块620时，优选可以通过位压缩器470削减LSB并减少比特数至4位并输出4位图像块630至AI单元640进行后续处理。

在上述实施例中，每个色彩通道图像数据组的8比特位是一个典型值。在实际情况下，位数可能会有所变化，具体取决于来自图像传感器的原始数据，其可以是更低或高的位数，例如1bit、2bit、8bit、10bit、12bit、14bit、16bit等，具体取决于传感器的动态范围和数据格式。

上面的描述使用Bayer模式到RGB的转换作为ISP示例。在实际情况下，原始数据可以是除Bayer图像以外的其他格式，例如RGBC图像、RGB/IR图像等。ISP输出格式可以是其他彩色图像，例如YUV、CMY等。

本发明籍由上述方法所能够得到的效果包括：

1.成本更低，功耗更低，速度更高：对于相同大小的图像输入，将图3所示的技术与图4所示的发明方法进行比较，可以将信号带宽降低到比ISP之后的传统AI处理流程低12到24倍。这在硬件实现中，例如NPU、GPU、FPGA、ASIC硅芯片，是高度需要的。由于与传统的RGB数据集相比，处理的整体数据量和规模大大减少，因此相应的深度学习网络的复杂性也可以降低。其结果，可以实现更低的芯片成本和更低的功耗。或在相同的成本和功耗预算的情况下，可以实现更高的系统处理速度。

2.本方法还有助于实现AI处理的更好性能：首先，传统的ISP流程会减少有用的信息。例如。通常，原始RAW数据对于标准传感器是10位或12位，甚至14位，对于HDR传感器比特位甚至更高。在传统的ISP中，由于监视器显示和打印的目的是使人眼看着好看，因此数据通常减少到只有8位。结果，ISP之后的AI处理只能获得8位数据作为输入。这对于许多高对比度场景不是很好，而对于某些高动态范围场景更是非常不好。来自位于图像中相对较暗区域或较亮区域的观测目标的有用信息往往会丢失。再举一个例子，为了使图像在弱光条件下看起来更好，传统的ISP通常使用强大的噪声过滤功能。此后，图像看起来可能会漂亮很多，但会丢失大量有用的详细信息。后续的AI无论如何都无法恢复原有图像中已丢失的任何细节信息。而本发明基于原始数据的AI处理流程，直接使用ISP之前的数据作为输入，可以使得AI单元处理的数据位数达到10位或更多，同时噪声过滤功能能够针对性地对图像进行预处理，这对后续AI处理单元提取有用的信息是有帮助的。

其次，传统的ISP过程可能会引入一些虚假信息。一个例子，从贝尔格式图像变为彩色图像的处理流程通常涉及颜色插值过程，即所谓的“去马赛克”过程。其中会通过估计相邻像素的缺失分量来重建三色表示。在许多情况下，估计的数据不正确，由于邻近像素数据的串扰会导致颜色混叠，并且还会引入更多的彩色噪声。另一个例子是，边缘增强通常在ISP中使用，以使图像看起来更加锐化。它将看起来更加清晰，但实际上会在目标物体成像的边缘产生不存在的突然的信号强度变化，这可能导致AI处理器进行错误的理解。相反，本方法直接使用原始数据，而无需猜测来自ISP去马赛克算法的点，也不用有意地增强显示的边缘。结果，AI的处理过程是基于具有更高置信度的更可靠的数据。

此外，上述流程中也可以根据需要进一步增加原始信号预处理单元以优化数据，使其更适合于AI处理并进一步提高AI的性能。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (8)

1.一种用于人工智能的采集和处理图像数据的方法，其特征在于，将半导体器件采集到的原始数据按通道分离为数个单通道图像，分离后的单通道图像经信息量判决并以其中信息量最多的图像进行信号增强并进行AI处理。

2.根据权利要求1所述的用于人工智能的采集和处理图像数据的方法，其特征是，所述的信息量判决，取决于单个信道的图像或多个信道的组合图像能够包含最优的原始信息。

3.根据权利要求1所述的用于人工智能的采集和处理图像数据的方法，其特征是，在增强后采用位压缩器以进一步减小数据带宽。

4.一种用于人工智能的采集和处理图像数据的系统，其特征在于，包括：用于采集原始视觉数据的图像传感器、与之相连且用于优化原始视觉数据的预处理单元、用于视觉数据处理的AI单元以及设置于预处理单元和AI单元之间的并行ISP可调路径，其中：预处理单元的输入和输出，即原始数据和预处理数据均为原始格式。

5.根据权利要求4所述的系统，其特征是，所述的图像传感器采集原始数据并输出至预处理单元并经AI处理单元后分别输出至基于机器视觉的应用程序的后续阶段以及显示单元，作为增强显示的一些附加或增强信息。

6.根据权利要求4所述的系统，其特征是，所述的通道选择组合器接收单通道图像，即分离后的原始子通道数据，根据其对应包含的信息量f1(G)、f2(B)和f3(R)进行判断，并根据判断结果选择对应的单通道图像或多个通道图像的组合输出至AI单元。

7.根据权利要求6所述的系统，其特征是，所述的通道选择组合器依次判断是否满足①f1>(f2+f3)/2，②f2>f3/2，③f3>f2/2，并对应将G、B、R或B+R通道的图像作为AI单元的输入。

8.根据权利要求4所述的系统，其特征是，所述系统以集成电路芯片或芯片组的方式实现，具体为用于高效边缘计算应用的一个或多个硅芯片的方式实现。

Images