CN112184537A - 异构计算架构摄像系统及图像处理方法 - Google Patents

Abstract

本发明提供一种异构计算架构摄像系统及图像处理方法，该系统包括图像采集装置以及图像处理主机，其中，图像采集装置包括图像传感器以及现场可编程门阵列模块，现场可编程门阵列模块接收图像传感器输出的数据进行预处理；图像处理主机包括中央处理器和图像处理器，图像处理主机接收现和处理场可编程门阵列模块输出的预处理后的数据。该方法包括图像采集装置的图像传感器采集数据并向现场可编程门阵列模块输出数据，现场可编程门阵列模块接收图像传感器输出的数据进行预处理：色彩校正、图像增强和数据压缩；图像处理主机接收现场可编程门阵列模块输出的预处理后的数据并进行再次处理。本发明能够简化系统复杂程度、提高图像质量和处理速度。

Description

异构计算架构摄像系统及图像处理方法

技术领域

本发明涉及摄像装置的技术领域，具体地，是一种异构计算架构摄像系统以及应用这种摄像系统实现的图像处理方法。

背景技术

应用电子设备拍摄图像并对图像进行处理的技术广泛应用在各个领域，随着人们对图像质量要求越来越高，对用于拍摄图像、图像处理的设备提出了更高的要求。目前，图像研究领域主要包含2个相对独立的方向，分别是研究摄像系统和图像显示处理方向。

通常，摄像系统包括主机、摄像头、适配器和电缆线，摄像系统与镜头、监视器配合使用，将镜头采集的光学信号转化为电信号，处理后传输至监视器进行成像。图像显示处理的设备通常由显示装置、存储处理系统、软件等组成，图像显示处理设备配合成像设备使用，用于显示、处理、传输和存储数字图像。随着图像的像素逐渐提高，图像从静态到动态、从平面到立体的发展，图像的数据量越来越大，目前的摄像系统、图像显示处理设备在图像传输、图像叠加、图像归档上越来越力不从心。如何获取高质量图像并实时对图像进行处理是目前图像处理领域急需解决的难题。如果图像处理应用在在人工智能领域，例如场景分析、图像分析、自动学习、网络评估等，还需要对图像进一步的分类、分析，这将增加图像处理的计算量。

因此，现有摄像系统和图像显示处理设备存在以下的缺点：

首先，摄像系统和图像显示处理设备通常是2台实现不同功能的设备，例如摄像系统包括主机、摄像头、适配器、电缆线等，而图像显示处理设备包括显示装置、存储处理系统、软件等，由于摄像系统和图像显示处理设备过于复杂，用户需要花较长的时间学习，甚至需要几个人员共同操作。

其次，当海量图像数据由摄像系统传输到图像显示处理设备进行的计算时，计算负载的显著增长，即使在使用优化代码的情况下也是不堪重负，往往导致图像处理出现延迟、卡顿、丢帧等情况，只能降低分辨率或帧率以很低的帧率处理采集的图像，导致处理后的图像质量下降，高传输带宽的优势不能发挥，整个过程失去了实际意义。如果同时在图像显示处理设备上进行高质量图像处理和其他应用，还将进一步导致运算速度降低。

最后，目前大多摄像系统通常采用ASSP、ISP或DSP等专用处理器来顺序处理图像传感器所采集的数据，再将处理后的数据传输到主机的摄像控制单元CCU进行后续处理，摄像系统的电路复杂、体积较大、延迟时间较长，且图像噪音也较多。图像显示处理设备通常采用采集卡进行图像的捕获，摄像系统与图像显示处理设备之间的数据交换使延迟更为突出，图像的色域标准差异导致颜色误差进一步加大，往往需要对图像进行复杂耗时的色彩校准。

发明内容

本发明的第一目的是提供一种图像处理速度快且色彩校准耗时短的异构计算架构摄像系统。

本发明的第二目的是提供一种应用上述异构计算架构摄像系统实现的图像处理方法。

为实现本发明的第一目的，本发明提供的异构计算架构摄像系统包括图像采集装置以及图像处理主机，其中，图像采集装置包括图像传感器以及现场可编程门阵列模块，现场可编程门阵列模块接收图像传感器输出的图像数据并对图像数据进行预处理：色彩校正、图像增强以及数据压缩；图像处理主机包括中央处理器，图像处理主机接收现场可编程门阵列模块输出的预处理后的数据。

由上述方案可见，图像传感器获取的数据发送至现场可编程门阵列模块进行图像预处理，利用现场可编程门阵列模块的并行处理方式替代传统的顺序图像处理方式，从而提升图像处理速度，实现图像处理的超低延时。并且，由于现场可编程门阵列模块能够允许用户自行编程，可以将图像的预处理计算由现场可编程门阵列模块完成，从而加快处理速度，减少传输图像所需的数据量，显著提高帧速率，更高效地使用传输路径来缓解瓶颈效应。

一个优选的方案是，图像采集装置通过数据线或者无线方式向图像处理主机传输的预处理后的数据。

由此可见，通过数据线实现图像采集装置与图像处理主机之间的数据传输、控制和供电，能够确保数据传输的质量以及数据传输的效率。采用无线的方式进行数据传输和控制，可以方便的实现图像采集装置与图像处理主机之间的通信。

进一步的方案是，图像采集装置还设置有逻辑模块以及存储器，图像传感器输出的图像数据经过逻辑模块输出至现场可编程门阵列模块。

这样，通过逻辑模块对图像传感器的数据进行逻辑处理，并将逻辑处理后的数据输出至现场可编程门阵列模块。

更进一步的方案是，图像处理主机还包括图像处理器，图像处理器接收中央处理器分配的数据。

由此可见，如果中央处理器不能够及时处理图像，或者图像处理器的运算能力不足以完成图像的处理，则由中央处理器和图像处理器同时对图像进行处理，提高图像处理主机的图像处理和推理能力。

一个优选的方案是，现场可编程门阵列模块以并行计算的方式对图像数据进行预处理：色彩校正、图像增强和数据压缩。

由此可见，通过并行计算的方式可以提高图像数据预处理的效率，进而缩短图像处理的总时间。

为实现上述的第二目的，本发明提供的图像处理方法包括图像采集装置的图像传感器采集数据并向现场可编程门阵列模块输出图像，现场可编程门阵列模块接收图像传感器输出的图像数据并对图像数据进行预处理：色彩校正、图像增强和数据压缩；图像处理主机接收现场可编程门阵列模块输出的预处理后的数据并对所接收的数据进行处理。

由上述方案可见，通过现场可编程门阵列模块对图像数据进行预处理，利用现场可编程门阵列模块的并行处理方式替代传统的顺序图像处理方式，可以数倍提升处理速度。

一个优选的方案是，现场可编程门阵列模块对图像数据进行预处理包括：以标准色卡作为参照基准加载预设参数；获取图像的实际光源参数，计算实际光源参数与预设参数中色彩数据的差异值，并对图像进行白平衡校正；获取图像的亮度参数进行伽马校正；获取图像的光谱感光度数据并进行矩阵校正；对经过矩阵校正的图像进行第二次反向精细校正。

由此可见，在加载参数后，依次执行白平衡校正、伽玛校正、矩阵校正后，还执行第二次反向精细校正，能够提高色彩校正后的图像质量。

进一步的方案是，图像的增强处理包括去拜耳化、去伪彩、锐化增强和降噪，通过对图像进行增强处理，能够提高图像的亮度、细节和锐度，同时降低了图像的噪声。

更进一步的方案是，对图像的数据进行压缩，以减少数据量，可以缩短传输和分析的时间，从而提高应用程序的吞吐量。另外，通过减少传输图像所需的数据量，还可以显著提高帧速率，突破传输瓶颈节省带宽。

进一步的方案是，色彩校正、图像增强以及数据压缩以并行计算的方式进行。

这样，以并行计算的方式进行多种校正计算、图像增强以及数据压缩，能够缩短图像预处理和色彩校正所耗费的总时间，提高图像处理的效率和色彩还原的准确性。

更进一步的方案是，所加载的预设参数至少包括以下的一个：光源参数、场景参数、镜头参数、曝光时间参数、增益参数、白平衡参数。

由此可见，通过设置多个预设参数并且在后续校正的过程中使用这些参数进行校正，能够提高对图像色彩校正的质量。

更进一步的方案是，图像处理主机对所接收的预处理后的数据进行图像处理包括：由中央处理器对所接收的数据进行二次图像处理；或者由中央处理器及图像处理器对所接收的数据进行二次图像处理。

可见，中央处理器可以根据实际计算需要将图像处理的计算交由图像处理器执行，一方面能够充分利用图像处理器的性能，另一方面避免占用中央处理器的硬件资源，中央处理器可以腾出更多的资源执行其他指令，以提高图像处理效率。

附图说明

图1是本发明异构计算架构摄像系统实施例的结构框图。

图2是本发明图像处理方法实施例的流程图。

图3是本发明图像处理方法实施例中色彩校正步骤的示意框图。

以下结合附图及实施例对本发明作进一步说明。

具体实施方式

本发明的异构计算架构摄像系统用于拍摄图像并且对拍摄的图像进行处理，例如对图像的色彩进行校正、图像增强和数据压缩等，本发明的图像处理方法是应用上述的异构计算架构摄像系统实现的图像处理方法。

异构计算架构摄像系统实施例：

参见图1，本实施例具有图像采集装置10以及图像处理主机20，其中，图像采集装置10包括图像传感器11、存储器12、逻辑模块13以及现场可编程门阵列模块(FPGA，FieldProgrammable Gate Array)14，图像处理主机20包括中央处理器21、图像处理器22、存储器23以及输出模块24。

图像传感器11可以是CMOS传感器或者CCD传感器，用于采集图像的数据，图像传感器11采集的图像数据输出至逻辑模块13，逻辑模块13对接收到的图像数据进行逻辑处理，例如控制图像数据从存储器12的读取、写入并且控制图像数据向现场可编程门阵列模块14的输出。现场可编程门阵列模块14内部包括逻辑单元、随机存储器以及乘法器等硬件电路，用户可以自行编程并实现设定的功能。此外，现场可编程门阵列模块14具有并行运算的优点，本实施例应用这一优点提升图像处理效率。

现场可编程门阵列模块14用于对图像数据进行预处理，包括色彩校正计算、图像增强以及数据压缩。其中，色彩校正计算可以包括进行白平衡校正、伽马校正、矩阵校正等多种计算，本实施例利用现场可编程门阵列模块14的并行计算能力，将上述多种校正计算并行处理，以提高色彩校正计算的效率，缩短色彩校正计算的时间。图像增强计算包括去拜耳化、去伪彩、锐化增强和降噪。此外，预处理功能还能大大提高图像的亮度、细节和锐度，同时降低了噪声。图像的数据压缩是通过减少相机中已有的数据量，可以缩短传输和分析的持续时间，从而提高应用程序的吞吐量。另外，通过减少传输单个图像所需的数据量，还可以显著提高帧速率，突破传输瓶颈节省带宽。

现场可编程门阵列模块14将图像进行预处理后，输出图像处理主机20，本实施例中，图像采集装置10通过数据线向图像处理主机20传输数据，即以有线的方式进行数据传输。当然，图像采集装置10也可以通过无线通信的方式向图像处理主机20传输数据。

现场可编程门阵列模块14输出的图像数据由中央处理器21或者存储器23接收，例如，在中央处理器21能够接收图像数据的情况下，现场可编程门阵列模块14输出的图像数据由中央处理器21接收，当中央处理器21的数据处理能力不足时，可以先将图像数据存储至存储器23，当中央处理器21需要接收图像数据时，将图像数据从存储器23输出至中央处理器21。

中央处理器21可以单独完成图像处理计算，也可以将所接收到的图像数据分配至图像处理器22，由中央处理器21和图像处理器22共同完成图像处理。通常，图像处理器22具有更加强大的图像处理能力，由图像处理器22完成图像处理的计算，可以占用较少主机资源，中央处理器21可以处理其他的计算，例如进行图像推理、安全隐私保护、边缘端AI处理、多模态图像处理、架构动态可重配置、降低网络带宽的处理等，以提升图像处理主机20的工作效率。

中央处理器21可以将接收到的图像存储在存储器23中，图像处理器22可以从存储器23读取图像数据并对图像数据进行处理。中央处理器21或者图像处理器22将处理后的图像数据发送至输出模块24，由输出模块24向云端服务器或者其他设备传输经过处理的图像数据。

图像处理方法实施例：

下面结合图2对异构计算架构摄像系统所实现的图像处理方法进行说明。首先，执行步骤S1，图像传感器采集图像数据，图像传感器将非电量信号转换成电量信号后形成图像数据，并且将所采集的图像数据传输至逻辑模块。逻辑模块根据现场可编程门阵列模块的工作状态，确定将图像数据发送至存储器或者发送至现场可编程门阵列模块。例如，如果现场可编程门阵列模块正在处理上一帧图像数据，此时不能够接收更多的图像数据，则逻辑模块将当前帧图像数据发送至存储器，如果当前现场可编程门阵列模块能够接收图像数据，则逻辑模块直接将图像数据发送至现场可编程门阵列模块。当然，如果现场可编程门阵列模块已经对当前帧图像数据处理完毕，则逻辑模块可以从存储器中读取新的一帧图像数据并且发送至现场可编程门阵列模块。

现场可编程门阵列模块接收到图像数据后，执行步骤S2，对所接收的图像数据进行预处理：色彩校正、图像增强、数据压缩。本实施例中，现场可编程门阵列模块对图像数据进行色彩校正计算包括参数加载、白平衡校正、伽玛校正、矩阵校正以及第二次反向精细校正五个步骤，由于现场可编程门阵列模块具有并行运算的能力，因此，可以通过并行运算的方式执行白平衡校正、伽玛校正、矩阵校正的计算，从而提高图像色彩校正的效率和准确性。

具体的，色彩校正计算包括五个步骤，第一步是参数加载，即将光源参数、场景参数、镜头参数、曝光时间参数、增益参数等预设参数加载到现场可编程门阵列模块。优选的，以标准色卡作为参照基准确定各参数，并且将确定的各个参数加载到现场可编程门阵列模块。

在理想的情况下，镜头将三维空间中的物体映射成一个倒立的图像并且将图像传输到图像传感器，镜头的光轴应该是穿过图像的正中间的，实际应用中，由于镜头的安装精度等因素，镜头的光轴与图像中心总是存在误差，因此，需要对镜头的参数进行设定并且调节上述误差。并且，在理想情况下，摄像系统形成的图像对X轴方向和Y轴方向的尺寸的缩小比例是一样的，实际上镜头这两个方向的缩小比例不一致，因此，需要通过加载参数来校正这两个方向的缩放比例，以确保校正后的图像在X轴方向和Y轴方向的尺度变换保持一致。

另外，加载的参数还用于调节靶面的大小，通常，靶面像素密度越大，图像传感器形成的图像数据的数据量越大，获取图像数据所需的时间越长。因此，根据具体的镜头以及实际使用需求，需要设置合适的靶面大小的参数。另外，光源参数决定了光谱范围的大小，光谱范围越小，图像的准确性越高，抖动越低。参数加载步骤所设定的参数都是根据不同型号的镜头、实际使用场景的需求确定的。在设定各参数后并将参数加载到现场可编程门阵列模块或者在应用程序中设置多个参数，这样，当摄像系统开机后，可以直接使用这些参数，从而可以减少计算时间，达到开机即用的效果。

优选的，参数设置可以包括以下步骤：首先，获取光谱反射率和光谱数据比对结果，判定当前准确参数，并根据使用场景变化和光源的半衰期限定变量。然后，根据场景中照射后的色卡的反射率计算色度值并获取白平衡参数，设置曝光时间上限阈值，并确定采集速度；通过设置增益变量来决定输出时执行的放大效率。最后，根据镜头与显示器参数选取稍大靶面的图像传感器，精确调节到图像传感器中心点与显示器中心点重叠，裁剪图像传感器靶面大小与镜头视野边界匹配，纠正图像的空白区域，以适应更多的镜头。

在设定参数后，执行第二步，即进行白平衡校正计算，具体的，获取图像的实际光源参数，计算实际光源参数与预设参数中色彩数据的差异值，并对图像进行白平衡校正。在预设的参数中包括标准色卡的色彩数据，进行白平衡校正计算时，在标准色卡中的灰度方块中获取三个色彩数据，并且从图像数据中获取光源参数，对标准色卡中的灰度方块的三个色彩数据与图像数据的实际光源参数进行对比，获得数据的差异值，应用该差异值进行白平衡校正计算。白平衡计算校正的具体算法是已知的算法，在此不再赘述。

接着，执行第三步，获取图像数据的亮度参数，并且对图像数据的亮度参数进行伽马校正。然后，执行第四步，获取图像的光谱感光度数据，并对所获取图像的光谱感光度数据并进行矩阵校正。本实施例可以采用已知的伽玛校正、矩阵校正方法进行伽玛校正、矩阵校正的计算。

最后，执行第五步，对经过矩阵校正的图像进行第二次反向精细校正。具体的，将经过矩阵校正的图像数据转换到RGB色域，再与标准色卡的已知值进行反向对比，调整误差，也就是重复执行第二步到第四步的计算，从而进一步提高色彩校正后的图像质量。优选的，可以再对图像其他参数进行图像增强的处理，目的是针对人眼优化、减少颜色误差。

参见图3，图像传感器输出的图像数据被传输至现场可编程门阵列模块后，现场可编程门阵列模块可以并行执行步骤S11，白平衡校正，步骤S12，即伽玛校正，步骤S13，矩阵校正，在矩阵校正后将执行步骤S14，进行第二次反向精细校正的计算，从而输出色彩校正后的图像。进行色彩校正后，还执行步骤S15，对图像进行增强，并且执行步骤S16，对数据进行压缩。预处理后的图像被输出至图像处理主机，即执行步骤S3。当然，同一帧图像的白平衡校正、伽马校正、矩阵校正以及第二次反向精细校正是依次继续的，现场可编程门阵列模块可以针对不同帧的图像并行的处理上述步骤，即对第一帧图像执行白平衡校正，对第二帧图像执行矩阵校正，对第三帧图像进行伽马校正等，这样可以使得多帧图像几乎是同时执行色彩校正。或者，针对同一帧图像，第一部分像素执行白平衡校正的计算，第二部分像素执行伽马校正的计算，第三部分的像素执行矩阵校正的计算，也能够提高图像色彩校正的效率。

图像处理主机接收到经过预处理后的数据，执行步骤S4，由中央处理器对图像进行后续的处理，当然，也可以将图像数据分配传输至图像处理器，由图像处理器对图像数据进行处理，例如对图像进行裁剪、旋转等标准化、推理、分类处理，甚至应用所接收到的图像进行图像识别、图像分析等后续处理并给出推理结果，图像处理主机对图像数据处理可以理解为边缘计算或边缘AI处理，例如可以包括进行图像的色彩校正和其他处理，如图像压缩、图像增强、标准化、推理、加密等，甚至可以进行图像数据的第三次反向精细校正。

此外，图像的预处理的计算并不一定都是通过现场可编程门阵列模块处理，例如，由现场可编程门阵列模块执行白平衡校正、伽马校正、矩阵校正的计算，并且由图像处理主机执行图像数据的第二次反向精细校正，或者，白平衡校正、伽马校正、矩阵校正、第二次反向精细校正均可由图像处理主机执行。

本发明的摄像系统为一套完整的系统，可以同时完成传统的摄像系统与图像显示处理两套设备的功能。由于在图像采集装置内设置了现场可编程门阵列模块，基于现场可编程门阵列模块的可编程能力以及并行计算的优点，可以加速或者简化开发摄像系统的过程。而图像处理主机使用的中央处理器、图像处理器虽然可编程能力比较弱，但处理能力较强，因此图像处理主机具有强大的图像处理能力和边缘端计算能力。

这样，图像传感器采集图像数据后在现场可编程门阵列模块上实现图像预处理并将色彩校正后的图像进行图像增强、数据压缩，再数据通过数据线或者无线的方式发送到图像处理主机，由中央处理器直接对图像进行处理，或者将图像数据发送至图像处理器进行处理。本发明的图像处理方法可以占用较少图像处理主机的硬件资源，使摄像系统可以将更多的硬件资源用于其他计算。同时，摄像系统还具有图像质量高、超低延时、色彩真实、操作简单、成本低、设备简单的优点，达到节省人力资源、提高工作效率的目的。

最后需要强调的是，本发明不限于上述实施方式，例如色彩校正具体步骤的变化，或者设置的具体参数的变化，这些改变也应该包括在本发明权利要求的保护范围内。

Claims (10)

1.一种异构计算架构摄像系统，包括：

图像采集装置以及图像处理主机；

其特征在于：

所述图像采集装置包括图像传感器以及现场可编程门阵列模块，所述现场可编程门阵列模块接收所述图像传感器输出的图像数据并对所述图像数据进行预处理：色彩校正、图像增强以及数据压缩；

所述图像处理主机包括中央处理器，所述图像处理主机接收所述现场可编程门阵列模块输出的预处理后的数据。

2.根据权利要求1所述的异构计算架构摄像系统，其特征在于：

所述图像采集装置通过数据线或者无线方式向所述图像处理主机传输的预处理后的数据。

3.根据权利要求1或2所述的异构计算架构摄像系统，其特征在于：

所述图像采集装置还设置有逻辑模块以及存储器，所述图像传感器输出的图像数据经过所述逻辑模块输出至所述现场可编程门阵列模块。

4.根据权利要求1或2所述的异构计算架构摄像系统，其特征在于：

所述图像处理主机还包括图像处理器，所述图像处理器接收并处理所述中央处理器分配的数据。

5.根据权利要求1或2所述的异构计算架构摄像系统，其特征在于：

所述现场可编程门阵列模块以并行计算的方式对所述图像数据进行预处理。

6.一种图像处理方法，其特征在于，包括：

图像采集装置的图像传感器采集数据并向现场可编程门阵列模块输出图像数据，所述现场可编程门阵列模块接收所述图像传感器输出的图像数据并对所述图像数据进行预处理：色彩校正、图像增强以及数据压缩；

所述图像处理主机接收所述现场可编程门阵列模块输出的预处理后的数据并对所接收的数据进行图像处理。

7.根据权利要求6所述的图像处理方法，其特征在于：

所述现场可编程门阵列模块对所述图像数据进行预处理包括：

以标准色卡作为参照基准加载预设参数；

获取所述图像的实际光源参数，计算所述实际光源参数与所述预设参数中色彩数据的差异值，并对所述图像进行白平衡校正；

获取所述图像的亮度参数进行伽马校正；

获取所述图像的光谱感光度数据并进行矩阵校正；

对经过所述矩阵校正的图像进行第二次反向精细校正；

对经过第二次反向精细校正的图像进行去拜耳化、去伪彩、锐化增强和降噪；

对图像的进行数据压缩。

8.根据权利要求7所述的图像处理方法，其特征在于：

所述色彩校正、图像增强以及数据压缩以并行计算的方式进行。

9.根据权利要求7或8所述的图像处理方法，其特征在于：

所加载的预设参数至少包括以下的一个：光源参数、场景参数、镜头参数、曝光时间参数、增益参数、白平衡参数。

10.根据权利要求6至8任一项所述的图像处理方法，其特征在于：

所述图像处理主机对所接收的预处理后的数据进行图像处理包括：由中央处理器对所接收的数据进行二次图像处理；或者由中央处理器及图像处理器对所接收的数据进行二次图像处理。

Images