CN113206927A - 图像信号处理器和图像传感处理系统 - Google Patents

Abstract

本申请公开了一种图像信号处理器和图像传感处理系统，在该处理器中，可重构接口模块可通过编译进行接口配置，从图像信号处理器外部读取原始图像数据，向可重构数字信号处理模块发送所述原始图像数据，可重构数字信号处理模块内部的硬件架构或硬件连线可通过软件编译进行结构重组，以满足图像处理算法的硬件实现需求，对原始图像数据处理，并且具有边缘计算能力。因此，本申请提供的图像信号处理器可适配不同类型或不同规格的图像传感器，具有边缘计算能力，满足基于人工智能理论模型的算法处理的需求。

Description

图像信号处理器和图像传感处理系统

技术领域

本申请涉及图像传感技术领域，尤其涉及一种图像信号处理器和图像传感处理系统。

背景技术

在相机成像的整个环节中，图像信号处理器（Image Signal Process，ISP）用于接收前端图像传感器的原始图像信号数据，对图像传感器输出的信号做后期处理，主要处理包括线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等。ISP是拍照过程中的运算处理单元，它在相机系统中占有核心主导的地位，是构成相机的重要部分。

通常，不同的图像传感器具有不用的接口标准，输出的原始图像信号格式不同，因此，需要会配套不同的ISP进行图像信号处理。随着图像传感技术不断发展，不同类型与规格的图像传感器被陆续开发出来，现有ISP与不同类型、不同规格图像传感器间的兼容性受到极大挑战，为了保证对新型图像传感器输出的信号做后期处理工作的正常进行，需要研制可与新型图像传感器适配的新型ISP，因此，面临研发投入大，技术难度高，开发周期长等不利影响，阻碍了对新型图像传感器的应用。

另一方面，人工智能已经在全世界的范围内引起一轮新的创新和变革，开始推进人类从信息化向智能化时代发展和转变。在边缘计算技术日渐成熟的趋势下，世界上的很多科技厂商和各种研究机构都开始逐步加强对边缘计算技术和人工智能方面的研发工作。在图像处理领域，应用边缘计算技术可提高计算资源的利用率，信号在边缘端直接处理，节省了数据的传输时间和成本，降低数据延迟，同时提高了鲁棒性，为下一步进行基于人工智能理论模型的算法处理创造较好的条件。然而，现有ISP数据处理能力较弱，难以满足人工智能化发展下边缘计算能力的要求。

发明内容

有鉴于此，本申请提供了一种图像信号处理器和图像传感处理系统，以实现ISP可适配不同类型或不同规格图像传感器，并且ISP具有边缘计算能力，可运行基于人工智能理论模型的标准算法。

为了解决上述技术问题，本申请采用了如下技术方案：

本申请的第一方面提供了一种图像信号处理器，所述处理器包括：

可重构接口模块，用于从图像信号处理器外部读取原始图像数据，并向可重构数字信号处理模块发送所述原始图像数据，所述可重构接口模块内部的硬件架构或硬件连线可通过软件编译进行结构重组，以实现接口配置；

可重构数字信号处理模块，用于接收所述原始图像数据，对所述原始图像数据进行处理，将处理后的图像数据发送至输出模块，所述可重构数字信号处理模块内部的硬件架构或硬件连线可通过软件编译进行结构重组，以满足原始图像数据处理算法硬件实现需求；

输出模块，用于接收所述可重构数字信号处理模块处理后的图像数据，并向图像信号处理器外部输出所述图像数据。

可选地，所述可重构数字信号处理模块包括总线、处理单元和数据存储路由单元。

可选地，所述数据存储路由单元与至少1个处理单元电连接，所述数据存储路由单元与至少1个其他数据存储路由单元电连接，所述数据存储路由单元与总线电连接。

可选地，所述数据存储路由单元包括静态随机存取存储器、寄存器、路由线路和直接存储器存取装置。

可选地，所述算法包括对图像线性纠正、噪声去除、坏点去除、内插、白平衡处理或基于人工智能理论模型的算法。

本申请的第二方面提供了一种图像传感处理系统，所述系统包括：

如本申请的第一方面提供的图像信号处理器；

图像传感器，用于采集图像信号，并向读出电路输出所述图像信号；

读出电路，用于读取所述图像信号，对所述图像信号进行放大和噪声滤除，得到模拟图像信号，并将所述模拟图像信号输出至模拟数字转换电路；

模拟数字转换电路，用于将所述模拟图像信号转换为原始图像数据，并将所述原始图像数据输出至所述图像信号处理器，所述原始图像数据为数字信号；

接口电路，用于接收所述图像信号处理器处理后的图像数据；

控制电路，用于发送指令、对图像传感处理系统智能化控制。可选地，所述图像传感器为CMOS传感器或CCD传感器。

可选地，所述系统还包括电源电路，用于向系统内电路供电和电源管理工作。

相较于现有技术，本申请具有以下有益效果：

基于以上技术方案可知，本申请提供的图像信号处理器和图像传感处理系统，采用可重构接口模块与可重构数字信号处理模块相融合的架构，创造了一个全新的图像信号架构，面对具有不同接口标准的图像传感器所输出的不同格式的原始图像信号，利用可重构接口模块具有可灵活方便地对接不同接口的优势，原始图像数据在可重构接口模块内部逻辑的调度下输出至可重构数字信号处理模块进行处理，可重构数字信号处理模块内部的硬件架构和硬件连线可通过配置进行结构重组，可通过软件编译调整内部硬件架构运行多种复杂的算法实现对图像信号的处理，因此，本申请提供的ISP实现了可适配不同类型或不同规格的图像传感器。并且，本申请提供的ISP中的可重构数字信号处理模块具有边缘计算能力，可提供近端数据处理服务，降低了后端计算系统的压力，降低延时性，提高了图像实时处理能力，为后续进行基于人工智能理论算法的处理创造较好的条件。因此，本申请提供的图像信号处理器和图像传感处理系统能够克服了现有ISP面对不同类型或不同规格的图像传感器时存在不适配的问题，克服了现有ISP数据处理能力较弱，不具备边缘计算能力，难以满足基于人工智能理论模型的算法需求的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本申请实施例提供的图像信号处理器结构示意图。

图2是本申请实施例提供的可重构数字信号处理模块结构示意图。

图3是本申请实施例提供的数据存储路由单元原理图。

图4是本申请实施例提供的图像传感处理系统结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

在介绍本申请具体实施方式之前，首先介绍ISP输入图像信号的格式。

目前很多相机、摄像机产品都会在镜头光路中插入一个红外截止滤光片，其作用是允许波长小于截止频率的光进入系统，而阻止波长大于截止频率的光。常用的截止频率有630nm和650nm两种，它们允许不同程度的红光进入成像系统，因此会对白平衡和颜色校正算法产生影响，所以ISP的参数配置必须要与实际选用的截止频率相适配。

目前主流的CMOS图像传感器几乎都是输出Bayer mosaic格式的RAW数据。Bayer格式被广泛运用与数字图像处理领域，常用的Bayer格式有RGGB,、GRBG、GBRG等多种格式，因此需要正确配置ISP以反应图像传感器的数据格式。

RAW数据的精度常见有8/10/12/14bit等规格。安防监控行业较多使用10/12bit精度的图像传感器，医疗行业则主要使用12bit以上精度图像传感器，单反和广电行业则主要使用14bit精度图像传感器。当精度高于8bit时，就会自然带来如何存储和表示数据的问题。对与一些带宽和存储资源特别紧张的场合，有些图像传感器会支持压缩表示以节约带宽，但是这就需要ISP能够支持相应的压缩格式，否则就需要增加格式适配处理环节，无论是采用硬件还是软件方式实现都会增加系统的复杂度和成本。

面对具有不同接口标准的不同图像传感器，现有的与图像传感器适配的ISP也不相同，随着图像传感技术的持续发展，现有ISP存在以下问题：1、现有ISP难以适配不同类型或不同规格的图像传感器，2、现有ISP数据处理能力较弱，难以满足人工智能化发展下边缘计算能力的要求。

基于此，为了解决上述技术问题，本申请提供了一种图像信号处理器和图像传感处理系统，该ISP可适配不同类型或不同规格的图像传感器，并且具有边缘计算能力。

下面结合附图对本申请提供的图像信号处理器和图像传感处理系统的具体实施方式进行详细描述。

在本申请实施例中，ISP包括可重构接口模块、可重构数字信号处理模块和输出模块三部分，结构示意如图1所示。

首先，面对不同类型的图像传感器，ISP需要有与图像传感器适配的接口进行对接，可重构接口模块内部的硬件架构或硬件连线可通过软件编译进行结构重组，完成对接口模块的配置，实现与图像传感器适配，可重构接口模块读取来自ISP外部的原始图像数据，该图像原始数据是ISP外部经过模拟数字转换电路处理得到的数字信号，原始图像数据在可重构接口模块内部逻辑的调度下输出至可重构数字信号处理模块进行处理；其次，可重构数字信号处理模块内部的硬件架构和硬件连线可通过配置进行结构重组，通过调整内部硬件架构运行多种复杂的算法实现对图像信号的处理，完成对图像线性纠正、噪声去除、坏点去除、内插、白平衡等处理；最后，输出模块将经过可重构数字信号处理模块处理后的图像信号输出至ISP外部。

有别于现有ISP，本申请提供了可重构接口模块与可重构数字信号处理模块相融合的架构，创造了一个全新的图像信号处理架构，面对具有不同接口标准的图像传感器所输出的不同格式的原始图像信号，可重构接口模块可灵活方便地对接不同接口，原始图像数据在可重构接口模块内部逻辑的调度下输出至可重构数字信号处理模块进行处理，可重构接口模块可以更方便的组合各种形态，满足支持现在和未来的传感器器件。

在本申请实施例中，参考图2所示，可重构数字信号处理模块包括总线、处理单元和数据存储路由单元，本申请实施例对总线、处理单元和数据存储路由单元的数量不做限定。本例中每个处理单元包含一个24位乘法器，16位逻辑单元，40位累加器，40位移位器，支持浮点、倒数、平方根加速，可实现16位定点和32位浮点运算。

在本申请实施例中，数据存储路由单元与至少1个处理单元电连接，数据存储路由单元与至少1个其他数据存储路由单元电连接，数据存储路由单元与总线电连接。典型地，参考图3所示，1个数据存储路由单元与相邻的4个处理单元电连接，用于与东北、东南、西北和西南4个方向的处理单元进行传输处理资源，还有4条与其他数据存储路由单元或总线电连接路由线路用与传输数据，因此，本架构支持形成复杂的路由网络和拓扑链路。

在本申请实施例中，可重构数字信号处理模块中的数据才路由单元包括静态随机存取存储器、寄存器、路由线路和直接存储器存取单元。数据存储路由单元提供数据存储、控制逻辑、寄存器和快速路由服务。待处理的原始图像数据从可重构接口模块输出后存储到数据存储路由单元的存储器中，根据控制逻辑的指令将原始图像数据送至适当的处理单元进行处理。

可重构数字信号处理模块使用既便捷又可靠的代数语法编码的汇编语言，该架构能够与C编译器的结合，从而实现高效率的软件编译。此结构满足智能分析管理和多拓扑片上网络，可独立和透明处理数据资源，实时可编程和适应性强的通信结构，支持任意网络路由功能或智能拓扑链路。通过PC端进行适当的软件编译，控制可重构数字信号处理模块内部形成运行图像线性纠正、噪声去除、坏点去除、内插、白平衡等算法的硬件结构，也可满足基于人工智能理论模型的算法的硬件实现，新一代热成像传感器中，采用本申请提供的ISP可满足热成像传感器几十种实时图像处理算法运行，可以运行基于人工智能理论模型的标准算法。相较于现有ISP，本发明中ISP的可重构数字信号处理模块使得数据处理能力大大提高，实现更快速的数据处理、分析、传输、存储以及应用，具有边缘计算能力，可就近提供最近段的服务，降低了数据传输通道的带宽压力和后端系统计算压力，可降低系统功耗和成本。

以上对本申请实施例的图像信号处理器进行了详细的描述，此外，本申请还提供了包含上述图像信号处理器的图像传感处理系统，参考图4所示，该图像传感处理系统包括：本申请提供的图像信号处理器；图像传感器，用于采集图像信号，并向读出电路输出所述图像信号；读出电路，用于读取所述图像信号，对所述图像信号进行放大和噪声滤除，得到模拟图像信号，并将所述模拟图像信号输出至模拟数字转换电路；模拟数字转换电路，用于将所述模拟图像信号转换为原始图像数据，并将所述原始图像数据输出至所述图像信号处理器，所述原始图像数据为数字信号；接口电路，用于接收所述图像信号处理器处理后的图像信号；控制电路，用于发送指令、对图像传感处理系统智能化控制。

在本申请实施例中，图像传感器可以为CMOS传感器，也可以为CCD传感器。

在本申请实施例中，图像传感处理系统还可以包括电源电路，用于向系统内电路供电和负责电源管理工作。

以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (8)

1.一种图像信号处理器，其特征在于，所述处理器包括：

可重构接口模块，用于从图像信号处理器外部读取原始图像数据，并向可重构数字信号处理模块发送所述原始图像数据，所述可重构接口模块内部的硬件架构或硬件连线可通过软件编译进行结构重组，以实现接口配置；

可重构数字信号处理模块，用于接收所述原始图像数据，对所述原始图像数据进行处理，将处理后的图像数据发送至输出模块，所述可重构数字信号处理模块内部的硬件架构或硬件连线可通过软件编译进行结构重组，以满足原始图像数据处理算法硬件实现的需求；

输出模块，用于接收所述可重构数字信号处理模块处理后的图像数据，并向图像信号处理器外部输出所述图像数据。

2.根据权利要求1所述的处理器，其特征在于，所述可重构数字信号处理模块包括总线、处理单元和数据存储路由单元。

3.根据权利要求2所述的处理器，其特征在于，

所述数据存储路由单元与至少1个处理单元电连接；

所述数据存储路由单元与至少1个其他数据存储路由单元电连接；

所述数据存储路由单元与总线电连接。

4.根据权利要求2所述的处理器，其特征在于，所述数据存储路由单元包括静态随机存取存储器、寄存器、路由线路和直接存储器存取装置。

5.根据权利要求1-4任意一项所述的处理器，其特征在于，所述算法包括对图像线性纠正、噪声去除、坏点去除、内插、白平衡处理或基于人工智能理论模型的算法。

6.一种图像传感处理系统，其特征在于，所述系统包括：

如权利要求1所述的图像信号处理器；

图像传感器，用于采集图像信号，并向读出电路输出所述图像信号；

读出电路，用于读取所述图像信号，对所述图像信号进行放大和噪声滤除，得到模拟图像信号，并将所述模拟图像信号输出至模拟数字转换电路；

模拟数字转换电路，用于将所述模拟图像信号转换为原始图像数据，并将所述原始图像数据输出至所述图像信号处理器，所述原始图像数据为数字信号；

接口电路，用于接收所述图像信号处理器处理后的图像数据；

控制电路，用于发送指令、对图像传感处理系统智能化控制。

7.根据权利要求6所述的系统，其特征在于，所述图像传感器为CMOS传感器或CCD传感器。

8.根据权利要求6或7所述的系统，其特征在于，所述系统还包括电源电路，用于向系统内电路供电和电源管理工作。

Images