CN110648273B - 实时图像处理装置 - Google Patents

Abstract

本发明实施例公开了一种实时图像处理装置，包括驱动链路系统级芯片和图像处理芯片。其中，驱动链路系统级芯片用于将从图像传感器读取的图像数据传输至图像处理芯片；图像处理芯片包括数字电路组件和微处理器；数字电路组件包括以并行流水线形式处理图像数据的数字电路和利用预存储算法处理图像的多核数字信号处理器；微处理器用于构建伺服的控制数字电路组件平台、并设置在数字电路内部。本申请提供的技术方案不仅可同时适应大数据量的吞吐操作以及高速并行的数学计算工作，完成伺服控制功能，还降低了芯片的设计成本和生产成本。

Description

实时图像处理装置

技术领域

本发明实施例涉及图像处理技术领域，特别是涉及一种实时图像处理装置。

背景技术

图像信息处理单元是光学成像系统的重要组件之一，其重要任务之一是准确、快速的检测到视场中的感兴趣目标，某些情况下需要配合伺服系统稳定可靠地跟踪目标，输出处理后的图像信息用于辅助对感兴趣区域或者目标的行为特性进行测量、分析和判断。实际上，对于各种光电成像设备而言，图像信息处理单元都是重要的组成部分，也是相关领域未来科研和技术开发中的竞争热点。图像处理硬件平台的性能以及相关处理算法的性能优劣都会影响到光学系统的实际应用效果。

为了提升CMOS产品的市场竞争力，通常会为其配套高性能ISP芯片，用于提升其CMOS产品的性能指标和功能智能化水平。这类芯片一般采用FPGA直接驱动的方法，设计复杂、功耗大、体积大，功能相对单一产品稳定性差；而且芯片设计和成产成本高，成产周期长。由于芯片的应用领域单一，鲜有ISP芯片应用在相机模组中，这给整机的开发和智能功能的应用带来了较多困难。

此外，目前现有各类AI、ISP芯片存在的另外一个问题就是普遍采用GPU、ARM、CPU这种过多依赖于操作系统的非实时硬件构架。这类非实时硬件构架芯片是以冯诺-依曼结构为主，尽管其开发系统简单易于实施，但是无法实现快速的并行运算或者真正意义上的实时计算。虽然能够快速完成复杂运算，但是输入输出的迟延较大，无法满足伺服系统的要求，往往通过代码优化或者多核结构来解决数据吞吐问题。

发明内容

本公开实施例提供了一种实时图像处理装置，不仅可同时适应大数据量的吞吐操作以及高速并行的数学计算工作，完成伺服控制功能，还降低了芯片的设计成本和生产成本。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例提供了一种实时图像处理装置，包括驱动链路系统级芯片和图像处理芯片；

所述驱动链路系统级芯片用于将从图像传感器读取的图像数据传输至所述图像处理芯片；

所述图像处理芯片包括数字电路组件和用于构建伺服的控制所述数字电路组件平台、且设置在所述数字电路内部的微处理器；所述数字电路组件包括以并行流水线形式处理图像数据的数字电路和利用预存储算法处理图像的多核数字信号处理器。

可选的，所述数字电路包括流水线数据流处理模块及图像显示处理模块；

其中，所述流水线数据流处理模块包括图像数据解析单元、DDR控制单元、图像深度预处理单元及AI加速单元；所述图像数据解析单元用于解析接收的图像数据的协议；所述DDR控制单元用于将解析后的图像数据存储至外部DDR缓存中；所述图像深度预处理单元用于对从所述DDR缓存读出的图像数据进行图像低对比度增强处理及图像去雾处理；所述AI加速单元用于对从所述DDR缓存读出的图像数据进行AI目标检测处理；所述图像深度预处理单元和所述AI加速单元在所述多核数字信号处理器控制下协同执行图像处理操作；

所述图像显示处理模块用于将所述多核数字信号处理器或流水线数据流处理模块输出的图像数据进行显示前预处理，并传输至外部显示缓存区。

可选的，所述图像显示处理模块包括数据叠加单元、图像压缩单元、显示预处理单元和数据输出单元；

所述数据叠加单元用于对所述多核数字信号处理器或流水线数据流处理模块输出的图像数据进行数据叠加处理；

所述图像压缩单元用于对叠加处理的图像数据进行数据压缩操作；

所述数据输出单元用于将经过显示预处理的图像数据传输至所述显示缓存区。

可选的，所述流水线数据流处理模块输出的图像数据经过sEMIF总线导入至所述多核数字信号处理器中进行目标跟踪处理，并将经目标跟踪处理的图像数据经所述sEMIF总线导入至图像显示处理模块中。

可选的，所述驱动链路系统级芯片包括参数配置模块、电源供电模块、图像传感器数据获取模块、图像预处理模块、DDR控制器、模型训练模块及数据输出模块；

其中，所述DDR控制器用于控制参数化的Global信号的读入读出以及所述DDR控制器片上的相关双采样；

所述图像预处理模块用于对所述图像传感器数据获取模块读取的图像数据进行滤波处理和/或边缘提取处理和/或二值化处理。

可选的，所述驱动链路系统级芯片采用128字节的寄存器控制信号，以实现64路LVDS信号的时序调整。

可选的，所述数据输出模块还包括信号调整单元；

所述信号调整单元用于根据用户输入信号类型选择指令将所述数据输出模块输出的图像数据信号类型调整为电压类型或电平类型，并将电平类型的图像数据信号更改为普通逻辑电平信号。

可选的，所述多核数字信号处理器还包括存储器控制模块；

所述存储器控制模块用于通过对所述多核数字信号处理器内部的寄存器参数进行更改，以调整外部存储器的数据控制模式。

可选的，所述图像处理芯片还包括图像处理模型自动生成模块；

所述图像处理模型自动生成模块用于根据用户输入的待处理图像的图像处理需求信息自动从所述图像处理芯片中调用执行相应图像处理的功能模块，并组合为图像处理模型在顶层以可视化形式对所述待处理图像进行图像处理。

可选的，所述图像处理芯片还包括图像处理功能选择模块；

所述图像处理功能选择模块包括多个图像操作按钮，各图像操作按钮分别对应执行相应图像处理的功能模块。

本申请提供的技术方案的优点在于，图像处理芯片采用以并行流水线方式工作的数字电路、多核DSP执行复杂图像处理操作、微处理器构建伺服控制平台的多核异构电路结构，不仅能够同时适应大数据量的吞吐操作以及高速并行的数学计算工作，实现图像的高速、可靠、实时地处理与数传应用，还可以完成伺服控制功能，集成伺服控制与图像传感器接口的硬件功能，实现成像、传感器驱动与伺服控制为一体；此外，将驱动电路采用基于系统级芯片可重配置驱动链路进行设计，还可以大大缩短开发者的开发周期，有利于提高高端光电成像装备的性能，有利于实现光电成像设备朝着小型化、智能化以及低功耗趋势发展。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的实时图像处理装置的一种具体实施方式结构图；

图2为本发明实施例提供的驱动链路系统级芯片的一种具体实施方式结构图；

图3为本发明实施例提供的图像处理芯片的另一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种实时图像处理装置在一种实施方式下的结构框架示意图，本发明实施例可包括以下内容：

实时图像处理装置可包括驱动链路系统级芯片1和图像处理芯片2，且驱动链路系统级芯片1和图像处理芯片2相连接，以将驱动链路系统级芯片1从图像传感器读取的图像数据传输至图像处理芯片2中。其中，图像传感器可为相关技术中任何一种相机模组中使用的图像传感器，例如CMOS图像传感器。

根据本申请发明人研究发现，不同类型的科学级CMOS芯片的信号输出格式和控制引脚功能类似，在实际应用中，一般采用的方法是用FPGA进行控制，但是受到编译或者逻辑综合等因素的影响，不同的FPGA或者开发环境甚至使用者设计水平的差异都会影响到CMOS芯片的信号质量乃至于使用效果。鉴于此，本申请采用基于SOC(System on Chip，系统级芯片)可重配置驱动链路来进行图像数据的读取，然后将读取的图像数据传输至图像处理芯片，可以大大缩短开发者的开发周期。

本实施例中，图像处理芯片2的结构可为由数字电路组件和微处理器组成的异构框架。微处理器用于构建伺服的控制数字电路组件平台且设置在数字电路内部。数字电路组件包括以并行流水线形式处理图像数据的数字电路和利用预存储算法处理图像的多核数字信号处理器，数字信号处理的核数可根据实际应用场景进行确定，例如可采用8核数字信号处理器，这均不影响本申请的实现。数字电路以流水线形式对接收到的图像数据进行简单的图像处理，例如解析图像数据的协议、图像预处理、数据压缩、数据叠加等等，多核DSP(Digital Signal Processing，数字信号处理器)中预先存储多种图像处理算法，例如目标跟踪算法，利用多核DSP对数字电路处理完的数据进行复杂图像处理。数字电路和多核DSP之间可通过但并不限制于sEMIF总线进行数据传输。

可以理解的是，对于当前输入的图像数据，图像处理芯片2的工作流程可为：数字电路对输入的图像数据进行解析，然后将输入存储到外部的缓存中，例如DDR，然后读出缓存中的数据进行简单图像处理，然后可由sEMIF总线将数字电路处理完的数据导入至多核DSP中实现复杂图像处理，然后将多核DSP处理完的图像数据经sEMIF总线导出至数字电路进行辅助人眼观测的图像处理操作，最后将处理完的数据传输至外部的显示缓存区。

本申请的实时图像处理装置是在FPGA上搭建系统级芯片，图像数据处理的实时性和处理速度均优于例如GPU、ARM等依靠操作系统的非实时硬件构架，可面向高效率计算应用领域。在应用于高效率计算领域中，为了尽可能保证计算资源的分配合理，多媒体功能和各种视频接口的功能完全由外部芯片实现，图像处理芯片内部仅负责数据传输、协议解析和计算，也就是除了图像数据传输、协议解析以及图像数据计算之外的工作诸如协议转化等均由外部芯片执行。

需要说明的是，本申请的实时图像处理装置可为一种半定制AI-ISP芯片，其为具有高级图像处理功能的机器视觉装置。对于输入信息首先需要完成的功能之一就是进行图像处理。简单的预处理包括滤波、边缘提取、二值化等功能，复杂功能包括图像低对比度增强、图像去雾、AI目标检测等功能。对于广义的图像处理技术而言，由于存在不同的图像格式，开发这样的图像处理芯片难度较大，适应性难以满足要求。但是考虑到CMOS相机技术的硬件处理结构是固定的，输入信息的格式也相对稳定，因此本申请的实时图像处理装置能够实现图像处理的半定制AI-ISP芯片。

在本发明实施例提供的技术方案中，图像处理芯片采用以并行流水线方式工作的数字电路、多核DSP执行复杂图像处理操作、微处理器构建伺服控制平台的多核异构电路结构，不仅能够同时适应大数据量的吞吐操作以及高速并行的数学计算工作，实现图像的高速、可靠、实时地处理与数传应用，还可以完成伺服控制功能，集成伺服控制与图像传感器接口的硬件功能，实现成像、传感器驱动与伺服控制为一体；此外，将驱动电路采用基于系统级芯片可重配置驱动链路进行设计，还可以大大缩短开发者的开发周期，有利于提高高端光电成像装备的性能，有利于实现光电成像设备朝着小型化、智能化以及低功耗趋势发展。

在一种实施方式中，驱动链路系统级芯片1的结构可如图2所示，在该实施例中，驱动链路系统级芯片1可包括参数配置模块、电源供电模块、图像传感器数据获取模块、图像预处理模块、DDR控制器、模型训练模块及数据输出模块。本申请的驱动链路系统级芯片1简化了原有的CMOS传感器芯片的结构，使得对于用户端可以通过控制少量的控制端口便可实现对图像传感器的控制和信号读出。

在该实施例中，内嵌的DDR控制器用于控制参数化的Global信号的读入读出以及DDR控制器片上的相关双采样，读出的信号即为有用信号。图像预处理模块用于对图像传感器数据获取模块读取的图像数据进行滤波处理和/或边缘提取处理和/或二值化处理。此外，驱动链路系统级芯片1还可采用128字节的寄存器控制信号，以实现64路LVDS信号的时序调整。可选的，数据输出模块还可包括信号调整单元；信号调整单元用于根据用户输入信号类型选择指令将数据输出模块输出的图像数据信号类型调整为电压类型或电平类型，并将电平类型的图像数据信号更改为普通逻辑电平信号。也就是说，驱动链路系统级芯片1可以选择将控制图像传感器芯片读出的信号可以更改为普通逻辑电平，并且电平电压可选。

通过以上功能，驱动链路系统级芯片1可以以SOC形式实现ASIC的所有功能，并且适应面更广，尤其有利于科学技术CMOS传感器的接口应用。

在另一种实施方式中，图像处理芯片2的结构可如图3所示，在该实施例中，数字电路可包括流水线数据流处理模块及图像显示处理模块。流水线数据流处理模块包括图像数据解析单元、DDR控制单元、图像深度预处理单元及AI加速单元。图像数据解析单元用于解析接收的图像数据的协议；DDR控制单元用于将解析后的图像数据存储至外部DDR缓存中；图像深度预处理单元用于对从DDR缓存读出的图像数据进行图像低对比度增强处理及图像去雾处理；AI加速单元用于对从DDR缓存读出的图像数据进行AI目标检测处理；图像深度预处理单元和AI加速单元在多核数字信号处理器控制下协同执行图像处理操作。图像显示处理模块用于将多核数字信号处理器或流水线数据流处理模块输出的图像数据进行显示前预处理，并传输至外部显示缓存区。可选的，图像显示处理模块可包括数据叠加单元、图像压缩单元、显示预处理单元和数据输出单元；数据叠加单元用于对多核数字信号处理器或流水线数据流处理模块输出的图像数据进行数据叠加处理；图像压缩单元用于对叠加处理的图像数据进行数据压缩操作；数据输出单元用于将经过显示预处理的图像数据传输至显示缓存区；显示预处理单元用于对输入视频图像进行图像清晰化操作，例如滤波处理、边缘提取处理、二值化处理等操作。

在该实施例中，图像处理芯片2的工作流程可为：当接收到驱动链路系统级芯片1发送的图像数据后，图像数据解析单元对输入的图像数据进行解析，DDR控制单元将解析完的图像数据输入并存储到外部的DDR缓存中。图像深度预处理单元及AI加速单元在多核DSP控制下同步从DDR缓存读取图像数据，并进行相应的图像处理，然后可由sEMIF总线将图像深度预处理单元及AI加速单元处理完的数据导入至多核DSP中进行目标跟踪处理，多核DSP将目标跟踪处理完的图像数据经sEMIF总线导出至图像显示处理模块，以进行辅助人眼观测的图像处理操作，例如依次进行数据叠加操作、显示预处理操作、数据压缩操作后将图像数据经数据输出单元传输至外部的显示缓存区。

根据本申请发明人的研究，传统的ISP芯片无法脱离GPU、DSP、CPU这样的结构，原因在于这样的结构采用成熟的核心有利于芯片设计以及缩短开发者的设计周期。但是这种基于CPU的结构存在的主要弊端就是无法实现最优的结构功能设计，在时效性上也难以满足要求，可靠性较差。本申请在数字电路部分采用了并行流水线的数据流结构，以数字电路的方法快速高效实现AI算法、图像压缩算法等，这种电路结构工作可靠，速度快，能够很好地满足航空成像系统对于芯片可靠性的要求。

在本申请的其他一些具体实施方式中，针对不同格式的图像，仅利用行场同步信息以及像素时钟等参数信息，在简易设置某些参数之后，自动识别图像分辨率，通过对DSP内部寄存器的控制自动实现图像分块导入到DSP内部RAM，从而实现高速图像导入。鉴于此，多核数字信号处理器还可包括存储器控制模块；存储器控制模块用于通过对多核数字信号处理器内部的寄存器参数进行更改以调整外部存储器的数据控制模式。也就是说，在数字电路内部，简化了对外部存储器的操作，不需要复杂的时序控制，仅需要对DSP内部的寄存器参数进行更改就可以对外部存储器的数据控制模式进行调整，无需调整数字电路参数或者更改时序约束，这样避免了对底层驱动的复杂操作带来的不稳定因素，从而为实现实时处理创造了条件，有利于复杂算法的实现，尤其是高帧频图像处理。

可选的，在其他一些实施方式中，为了提高图像处理芯片2的设计效率，图像处理芯片2还可包括图像处理模型自动生成模块；图像处理模型自动生成模块用于根据用户输入的待处理图像的图像处理需求信息自动从图像处理芯片中调用执行相应图像处理的功能模块，并组合为图像处理模型在顶层以可视化形式对待处理图像进行图像处理。举例来说，用户通过人机交互界面输入去雾处理、AI处理、目标跟踪处理，那么图像处理芯片2会将存储有去雾处理算法的功能模块、存储有AI处理算法的功能模块以及存储有目标跟踪算法的功能模块调用处理组成为图像处理模型，该模型可以对图像进行去雾处理、AI处理、目标跟踪处理。相应的，图像处理芯片2还可进一步设置图像处理功能选择模块；图像处理功能选择模块包括多个图像操作按钮，各图像操作按钮分别对应执行相应图像处理的功能模块。本发明实施例采用基于模型的设计方法进行芯片的功能设计，将算法在顶层以可视化模型的方式快速实现，快速生成代码而不是人工书写代码，这样就避免了大量的人工劳动，提高了效率。

综上，本申请为基于SOC技术的半定制芯片产品和设计工艺，可以在短时间内设计高性能的科学级AI-ISP芯片，而成本只有全定制芯片几分之一。这样的投入可以使产品快速普及，同时有利于提高我国高端光电成像装备的性能，实现小型化、智能化以及低功耗，为未来高端专用芯片设计制造奠定基础，进一步深入人工智能核心领域布局，快速将高端人工智能技术融入市场。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种实时图像处理装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种实时图像处理装置，其特征在于，包括驱动链路系统级芯片和图像处理芯片；

所述驱动链路系统级芯片用于将从图像传感器读取的图像数据传输至所述图像处理芯片；

所述图像处理芯片包括数字电路组件和用于构建伺服的控制所述数字电路组件平台、且设置在所述数字电路内部的微处理器；所述数字电路组件包括以并行流水线形式处理图像数据的数字电路和利用预存储算法处理图像的多核数字信号处理器；

其中，所述数字电路包括流水线数据流处理模块，所述流水线数据流处理模块包括图像数据解析单元、DDR控制单元、图像深度预处理单元及AI加速单元；所述图像数据解析单元用于解析接收的图像数据的协议；所述DDR控制单元用于将解析后的图像数据存储至外部DDR缓存中；所述图像深度预处理单元用于对从所述DDR缓存读出的图像数据进行图像低对比度增强处理及图像去雾处理；所述AI加速单元用于对从所述DDR缓存读出的图像数据进行AI目标检测处理；所述图像深度预处理单元和所述AI加速单元在所述多核数字信号处理器控制下协同执行图像处理操作。

2.根据权利要求1所述的实时图像处理装置，其特征在于，所述数字电路包括图像显示处理模块；

所述图像显示处理模块用于将所述多核数字信号处理器或流水线数据流处理模块输出的图像数据进行显示前预处理，并传输至外部显示缓存区。

3.根据权利要求2所述的实时图像处理装置，其特征在于，所述图像显示处理模块包括数据叠加单元、图像压缩单元、显示预处理单元和数据输出单元；

所述数据叠加单元用于对所述多核数字信号处理器或流水线数据流处理模块输出的图像数据进行数据叠加处理；

所述图像压缩单元用于对叠加处理的图像数据进行数据压缩操作；

所述数据输出单元用于将经过显示预处理的图像数据传输至所述显示缓存区。

4.根据权利要求2所述的实时图像处理装置，其特征在于，所述流水线数据流处理模块输出的图像数据经过sEMIF总线导入至所述多核数字信号处理器中进行目标跟踪处理，并将经目标跟踪处理的图像数据经所述sEMIF总线导入至图像显示处理模块中。

5.根据权利要求1所述的实时图像处理装置，其特征在于，所述驱动链路系统级芯片包括参数配置模块、电源供电模块、图像传感器数据获取模块、图像预处理模块、DDR控制器、模型训练模块及数据输出模块；

其中，所述DDR控制器用于控制参数化的Global信号的读入读出以及所述DDR控制器片上的相关双采样；

所述图像预处理模块用于对所述图像传感器数据获取模块读取的图像数据进行滤波处理和/或边缘提取处理和/或二值化处理。

6.根据权利要求5所述的实时图像处理装置，其特征在于，所述驱动链路系统级芯片采用128字节的寄存器控制信号，以实现64路LVDS信号的时序调整。

7.根据权利要求5所述的实时图像处理装置，其特征在于，所述数据输出模块还包括信号调整单元；

所述信号调整单元用于根据用户输入信号类型选择指令将所述数据输出模块输出的图像数据信号类型调整为电压类型或电平类型，并将电平类型的图像数据信号更改为普通逻辑电平信号。

8.根据权利要求1至7任意一项所述的实时图像处理装置，其特征在于，所述多核数字信号处理器还包括存储器控制模块；

所述存储器控制模块用于通过对所述多核数字信号处理器内部的寄存器参数进行更改，以调整外部存储器的数据控制模式。

9.根据权利要求8所述的实时图像处理装置，其特征在于，所述图像处理芯片还包括图像处理模型自动生成模块；

所述图像处理模型自动生成模块用于根据用户输入的待处理图像的图像处理需求信息自动从所述图像处理芯片中调用执行相应图像处理的功能模块，并组合为图像处理模型在顶层以可视化形式对所述待处理图像进行图像处理。

10.根据权利要求9所述的实时图像处理装置，其特征在于，所述图像处理芯片还包括图像处理功能选择模块；

所述图像处理功能选择模块包括多个图像操作按钮，各图像操作按钮分别对应执行相应图像处理的功能模块。

Images