CN113676656A - 图像采集处理系统、装置及方法 - Google Patents

Abstract

本申请涉及一种图像采集处理系统、装置及方法，所述系统包括控制模块及图像采集处理模块，所述控制模块基于RISC‑V开源指令集架构，用于接收远程操作信号，并基于所述远程操作信号生成控制信号；所述图像采集处理模块与所述控制模块连接，用于接收所述控制信号，并基于所述控制信号采集图像，将所述图像预处理并输出预定格式的图像流数据。本申请的图像采集处理系统基于RISC‑V内核的控制模块承担协调控制功能，图像采集处理模块执行图像采集和图像处理功能，各模块相互配合增强了图像采集终端的可定制性，提升特定场景下的应用加速效率，实现功耗优化，具有广阔的应用前景。

Description

图像采集处理系统、装置及方法

技术领域

本申请涉及图像采集技术领域，特别涉及一种图像采集处理系统、装置及方法。

背景技术

随着现代电子技术的飞快发展，图像采集处理技术在越来越多的领域都有了更加广泛的应用，例如图像处理、电视会议、治安监控系统、交通监控、工业控制、军事、医学、航天等方面。

然而，传统的图像采集处理系统是基于SONY Handheld Engine ARM的处理器实现图像采集处理过程，ARM是一种封闭的指令集架构，经过几十年的发展演变，CPU架构变得极为复杂和冗繁，ARM架构文档长达数千页，指令数目复杂，版本众多，彼此之间既不兼容，也不支持模块化，并且存在着高昂的专利和架构授权问题。

并且，以一般的通用嵌入式微处理器为核心的图像采集处理系统也存在可定制性不强，无法针对不同的应用场景有效提高指令速度的缺点。

发明内容

基于此，有必要针对上述背景技术中的问题，提供一种图像采集处理系统、装置及方法，基于RISC-V开源指令集架构使得用户可以自定义操作，增强图像采集终端的可定制性，提升特定场景下的应用加速效率，实现功耗优化。

本申请的一方面提供一种图像采集处理系统，包括控制模块及图像采集处理模块，所述控制模块基于RISC-V开源指令集架构，用于接收远程操作信号，基于所述远程操作信号生成控制信号；所述图像采集处理模块与所述控制模块连接，用于接收所述控制信号，并基于所述控制信号采集图像，将所述图像预处理并输出预定格式的图像流数据；其中，所述控制模块还被配置为：接收所述图像流数据，将所述图像流数据存储至数据存储模块，及/或将所述图像流数据发送至远程控制中心及云端数据库。

上述实施例中的图像采集处理系统中，通过设置基于RISC-V开源指令集架构的控制模块接收远程操作信号，并基于所述远程操作信号生成控制信号，从而控制图像采集处理模块采集图像，并将所述图像预处理输出为预定格式的图像流数据。此外，通过设置数据存储模块，可以将所述图像流数据存储至数据存储模块，及/或将所述图像流数据发送至远程控制中心及云端数据库。本申请的图像采集处理系统基于RISC-V内核的控制模块承担协调控制功能，图像采集处理模块执行图像采集和图像处理功能，各模块相互配合增强了图像采集终端的可定制性，提升特定场景下的应用加速效率，实现功耗优化，具有广阔的应用前景。

在其中一个实施例中，所述控制模块包括符合RISC-V ISA标准的CPU；所述CPU包括基础指令子模块及扩展指令子模块，所述基础指令子模块用于实现RISC-V标准定义的标准指令集；所述扩展指令子模块用于实现用户定义的自定制指令集。

在其中一个实施例中，所述控制信号包括图像采集信号，所述图像采集处理模块包括图像采集模块及图像处理模块，所述图像采集模块与所述控制模块通讯连接，用于接收所述图像采集信号，并基于所述图像采集信号动作并采集图像；所述图像处理模块与所述图像采集模块连接，用于接收所述图像，将所述图像预处理输出预定格式的图像流数据。

在其中一个实施例中，所述图像采集模块包括CMOS图像传感器芯片OV7670。

在其中一个实施例中，所述预定格式包括原始RawRGB、RGB、YUV及YCbCr中至少一种。

在其中一个实施例中，所述图像采集处理模块，还包括无线传输模块，所述无线传输模块与所述控制模块通讯连接，用于接收所述图像流数据，并将所述图像流数据发送至远程控制中心或云端数据库。

在其中一个实施例中，所述无线传输模块包括MG55模块。

在其中一个实施例中，所述数据存储模块包括SD储存卡。

本申请的另一方面提供一种图像采集处理器，包括任一本申请实施例中所述的图像采集处理系统。

上述实施例中的图像采集处理器中，通过设置基于RISC-V开源指令集架构的控制模块接收远程操作信号，并基于所述远程操作信号生成控制信号，从而控制图像采集处理模块采集图像，并将所述图像预处理输出为预定格式的图像流数据。此外，通过设置数据存储模块，可以将所述图像流数据存储至数据存储模块，及/或将所述图像流数据发送至远程控制中心及云端数据库。本申请的图像采集处理系统基于RISC-V内核的控制模块承担协调控制功能，图像采集处理模块执行图像采集和图像处理功能，各模块相互配合增强了图像采集终端的可定制性，提升特定场景下的应用加速效率，实现功耗优化，本申请将RISC-V优势引入移动图像采集终端领域，具有广阔前景。

本申请的又一方面提供一种图像采集处理方法，包括：

获取远程操作信号；

基于RISC-V开源指令集架构的控制模块基于所述远程操作信号及生成控制信号；

基于图像采集处理模块接收所述控制信号，根据所述控制信号采集图像，将所述图像预处理并输出预定格式的图像流数据；

基于所述控制模块将接收的所述图像流数据存储至数据存储模块，及/或

将接收的所述图像流数据发送至远程控制中心或云端数据库。

上述方法中，用户通过基于RISC-V开源指令集架构的控制模块下达操作指令，控制图像采集处理模块采集图像，将所述图像预处理并输出预定格式的图像流数据，同时还可以控制数据存储模块存储所述图像流数据存储，及/或将接收的所述图像流数据发送至远程控制中心或云端数据库。使用本申请的方法可以使用户自定义操作，以实现指令加速，增强图像采集终端的可定制性，提升特定场景下的应用加速效率，实现功耗优化。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他实施例的附图。

图1为本申请一实施例中提供的一种图像采集处理系统结构示意图；

图2为本申请另一实施例中提供的一种图像采集处理系统结构示意图；

图3为本申请又一实施例中提供的一种图像采集处理系统结构示意图；

图4为本申请再一实施例中提供的一种图像采集处理系统结构示意图；

图5为本申请一实施例中提供的一种图像采集处理方法流程示意图。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

在使用本文中描述的“包括”、“具有”、和“包含”的情况下，除非使用了明确的限定用语，例如“仅”、“由……组成”等，否则还可以添加另一部件。除非相反地提及，否则单数形式的术语可以包括复数形式，并不能理解为其数量为一个。

应当理解，尽管本文可以使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于将一个元件和另一个元件区分开。例如，在不脱离本申请的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。

在本申请中，除非另有明确的规定和限定，术语“相连”、“连接”等术语应做广义理解，例如，可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

在处理器领域，目前主流的架构为x86与ARM架构，经过几十年的发展，现代的x86与ARM架构的架构文档长达几百数千页，且版本众多，一个主要的原因是因为其架构的发展的过程也伴随了现代处理器架构技术的不断发展成熟，并且作为商用的架构，为了能够保持架构的向后兼容性，其不得不保留许多过时的定义，或者在定义新的架构部分时为了能够将就已经存在的技术部分，久而久之就变得极为冗长。然而，RISC-V作为一种指令集，与大多数指令集相比，RISC-V指令集可以自由地用于任何目的，允许任何人设计、制造和销售RISC-V芯片和软件。它同时兼顾数据的传输量和传输速度，是异构IoT时代绝佳的架构，由其衍化而来的一系列生态日趋完善，RISC-V优势在于：开源，CPU设计成本低，通过协作在硬件中产生的任何创新都将创造巨大的经济效益；简单，基础指令集仅40多条，满足嵌入式及物联网对代码体积的高要求；灵活，预留大量的编码空间和4条用户指令，可用于扩展指令集。虽然RISC-V不是第一个开源指令集，但它具有重要意义，因为其设计使其适用于现代计算设备。设计者考虑到了这些用途中的性能与功率效率。该指令集还具有众多支持的软件，这解决了新指令集通常的弱点。

本申请的一个实施例中，如图1所示，提供了一种图像采集处理系统100，包括控制模块10及图像采集处理模块20，所述控制模块10基于RISC-V开源指令集架构，用于接收远程操作信号，并基于所述远程操作信号生成控制信号；所述图像采集处理模块20与所述控制模块10连接，用于接收所述控制信号，并基于所述控制信号采集图像，将所述图像预处理并输出预定格式的图像流数据；其中，所述控制模块10还被配置为：接收所述图像流数据，将所述图像流数据存储至数据存储模块30，及/或将所述图像流数据发送至远程控制中心及云端数据库。

上述实施例中的图像采集处理系统100中，通过设置基于RISC-V开源指令集架构的控制模块10接收远程操作信号，并基于所述远程操作信号生成控制信号，从而控制图像采集处理模块20采集图像，并将所述图像预处理并输出预定格式的图像流数据。此外，通过设置数据存储模块30，可以将所述图像流数据存储至数据存储模块30，及/或将所述图像流数据发送至远程控制中心及云端数据库。本申请的图像采集处理系统基于RISC-V内核的控制模块承担协调控制功能，图像采集处理模块执行图像采集和图像处理功能，各模块相互配合增强了图像采集终端的可定制性，提升特定场景下的应用加速效率，实现功耗优化，具有广阔的应用前景。

具体地，该图像采集处理系统可以应用于光伏组件故障巡检场景，作为示例，本发明的一种图像采集处理系统，可搭载于自行设计的无人巡检平台上，并根据各型巡检平台特点，定制相应的接口、指令以配合优化终端与平台的通讯过程，采用先进的低功耗系统设计，大大提高终端的自持和续航，且针对野外恶劣环境下的光伏基站，RISC-V内核的低开发成本也大大减少了因设备损坏、故障带来运维支出。

本申请的一个实施例中，如图2所示，所述控制模块10包括符合RISC-V ISA标准的CPU；所述CPU包括基础指令子模块11及扩展指令子模块12，所述基础指令子模块11用于实现RISC-V标准定义的标准指令集；所述扩展指令子模块12用于实现用户定义的自定制指令集。

具体地，RISC-V架构相比其他成熟的商业架构的最大一个不同还在于它是一个模块化的架构，在本申请中符合RISC-V ISA标准的CPU包括基础指令子模块11，该模块用于实现RISC-V标准定义的标准指令集，所述标准指令集包括RV32I、RV32E、RV64I及RV128I，其中，RV32I为32位整数指令集，RV32E为RV32I的子集，用于小型的嵌入式场景，RV64I为64位整数指令集，兼容RV32I,RV128I为128位整数指令集，兼容RV64I和RV32I；符合RISC-V ISA标准的CPU还包括扩展指令子模块12，用于实现用户定义的自定制指令集。RISC-V架构不仅短小精悍，而且其不同的部分还能以模块化的方式组织在一起，从而试图通过一套统一的架构满足各种不同的应用，这种模块化是x86与ARM架构所不具备的。RISC-V ISA开源意味着针对不同图像采集应用场景，均可创造相应的芯片架构，借助相应的定制化指令工具可以使应用加速更有效率，多核异构的特点也促进功耗优化。

本申请的一个实施例中，如图3所示，所述控制信号包括图像采集信号，所述图像采集处理模块20包括图像采集模块21及图像处理模块22，所述图像采集模块21与所述控制模块10通讯连接，用于接收所述图像采集信号，并基于所述图像采集信号动作并采集图像；所述图像处理模块22与所述图像采集模块21连接，用于接收所述图像，将所述图像预处理输出预定格式的图像流数据。

具体地，上述实施例中的图像采集处理系统中，图像采集处理模块20通过设置图像采集模块21与控制模块10通讯连接，当控制模块10发出图像采集信号时，图像采集模块21接收所述图像采集信号并采集图像，通过设置图像处理模块22与图像采集模块21连接，获取所述采集图像，并将所述图像预处理输出预定格式的图像流数据。本申请通过设置控制模块、图像采集模块及图像处理模块相互配合，实现图像采集与处理工作。

在其中一个实施例中，所述图像采集模块包括CMOS图像传感器芯片OV7670。

具体地，OV7670是豪威科技(OmniVision Technologies)公司推出一款1/6英寸VGA CMOS图像传感器芯片，它采用新的光学格式,像素尺寸从4.2mμ减小至3.6μm,有利于减小模块高度。OV7670的LCD缩放器可将图像精确地缩放至LCD屏幕尺寸,无需后端DSP。OV7670采用了OmniVision专有的OmniPixel传感架构,从而提高信噪比和低光照下的性能。除此之外，低电压型OV7670图像传感器提供了全功能的单片VGA照相和图像处理器,它采用3.8×4.2mm封装,可使照相模块的尺寸减至6×6×4.5mm,通过SCCB接口可提供全帧、欠采样或8位窗口模式的图像。所需的图像处理包括曝光控制、gamma、白平衡、色饱和度、色彩控制、白像素消除和噪声消除,都可通过SCCB接口编程。

在其中一个实施例中，所述预定格式包括原始RawRGB、RGB、YUV及YCbCr中至少一种。

具体地，图像处理模块与所述图像采集模块连接，用于接收所述图像，将所述图像预处理输出预定格式的图像流数据，图像采集模块可以采用CMOS图像传感器芯片OV7670，该芯片是标准的SCCB接口，兼容I²C接口，支持RawRGB、RGB(GRB4:2:2,RGB565/555/444)、YUV(4:2:2)及YCbCr(4:2:2)输出格式，因此，本申请提供的图像采集处理系统应用范围更广，适应性更强。

本申请的一个实施例中，如图4所示，所述图像采集处理模块20，还包括无线传输模块23，所述无线传输模块23与所述控制模块10通讯连接，用于接收所述图像流数据，并将所述图像流数据发送至远程控制中心或云端数据库。

具体地，上述实施例中的图像采集处理系统中，通过设置无线传输模块23与控制模块10通讯连接，用于接收图像数据流数据，并将所述图像流数据发送至远程控制中心或云端数据库，可实现采集图像数据的远程访问。

在其中一个实施例中，所述无线传输模块包括MG55模块。

具体地，无线传输模块采用Siemens的MG55，支持EGS900和GSM1800/1900等3个频段，内嵌TCP/IP协议，实现图片数据的远程访问，同时提升数据传输速度。

在其中一个实施例中，所述数据存储模块包括SD储存卡。

具体地，SD存储卡是一种基于半导体快闪记忆器的新一代记忆设备，由于它体积小、数据传输速度快、可热插拔等优良的特性，被广泛地于便携式装置上使用，例如数码相机、平板电脑和多媒体播放器等。

本申请的另一方面提供一种图像采集处理器，包括任一本申请实施例中所述的图像采集处理系统。

上述实施例中的图像采集处理器中，通过图像采集模块与RISC-V内核模块的配合，可精准采集各种图像信息并按用户需求选择输出格式，数据存储模块发挥SD卡体积小、接口方便以及存储容量大的优点，无线传输模块支持多频段、提升数据传输速度，综合各模块，本申请可增强图像采集终端的定制性，提升特定场景下的应用加速效率，实现功耗优化。

具体地，基于光伏组件故障巡检场景，本申请的一种图像采集处理器，可搭载于自行设计的无人巡检平台上，并根据各型巡检平台特点，定制相应的接口、指令以配合优化终端与平台的通讯过程，采用先进的低功耗系统设计，大大提高终端的自持和续航，且针对野外恶劣环境下的光伏基站，RISC-V内核的低开发成本也大大减少了因设备损坏、故障带来运维支出。

作为示例，光伏组件故障巡检场景中图像采集处理过程为：巡检平台接收远程控制中心相应指令，到达指定位置后通过相应的通讯接口向图像采集终端的RISC-V控制模块下达就位指令，控制模块处理后向图像采集模块下达拍摄指令，OV7670拍摄待检对象图像并进行预处理，以特定格式输出给控制模块，控制模块确认图像流数据到达后，再将采集到的数据存储至数据存储模块，或通过无线传输模块直接传送至远程控制中心或云端数据库，远程控制中心根据采集到的图像分析现场情况。

本申请的又一方面提供一种图像采集处理方法，如图5所示，包括如下步骤：

步骤202：获取远程操作信号；

步骤204：基于RISC-V开源指令集架构的控制模块基于所述远程操作信号及生成控制信号；

步骤206：基于图像采集处理模块接收所述控制信号，根据所述控制信号采集图像，将所述图像预处理并输出预定格式的图像流数据；

步骤208：基于所述控制模块将接收的所述图像流数据存储至数据存储模块，及/或将接收的所述图像流数据发送至远程控制中心或云端数据库。

上述方法中，用户通过基于RISC-V开源指令集架构的控制模块下达操作指令，控制图像采集处理模块采集图像，将所述图像预处理并输出预定格式的图像流数据，同时还可以控制数据存储模块存储所述图像流数据存储，及/或将接收的所述图像流数据发送至远程控制中心或云端数据库。使用本申请的方法可以使用户自定义操作，以实现指令加速，增强图像采集终端的可定制性，提升特定场景下的应用加速效率，实现功耗优化。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

请注意，上述实施例仅出于说明性目的而不意味对本发明的限制。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像采集处理系统，其特征在于，包括：

控制模块，所述控制模块基于RISC-V开源指令集架构，用于接收远程操作信号，并基于所述远程操作信号生成控制信号；

图像采集处理模块，所述图像采集处理模块与所述控制模块连接，用于接收所述控制信号，基于所述控制信号采集图像，将所述图像预处理并输出预定格式的图像流数据；

其中，所述控制模块还被配置为：

接收所述图像流数据；

将所述图像流数据存储至数据存储模块，及/或

将所述图像流数据发送至远程控制中心及云端数据库。

2.根据权利要求1所述的系统，其特征在于，所述控制模块包括符合RISC-V ISA标准的CPU；

所述CPU包括：

基础指令子模块，用于实现RISC-V标准定义的标准指令集；

扩展指令子模块，用于实现用户定义的自定制指令集。

3.根据权利要求2所述的系统，其特征在于，所述控制信号包括图像采集信号，所述图像采集处理模块包括：

图像采集模块，所述图像采集模块与所述控制模块通讯连接，用于接收所述图像采集信号，基于所述图像采集信号动作并采集图像；

图像处理模块，所述图像处理模块与所述图像采集模块连接，用于接收所述图像，将所述图像预处理并输出预定格式的图像流数据。

4.根据权利要求3所述的系统，其特征在于，所述图像采集模块包括CMOS图像传感器芯片OV7670。

5.根据权利要求1-4任一项所述的系统，其特征在于，所述预定格式包括原始RawRGB、RGB、YUV及YCbCr中至少一种。

6.根据权利要求1-4任一项所述的系统，其特征在于，所述图像采集处理模块，还包括：

无线传输模块，所述无线传输模块与所述控制模块通讯连接，用于接收所述图像流数据，并将所述图像流数据发送至远程控制中心或云端数据库。

7.根据权利要求6所述的系统，其特征在于，所述无线传输模块包括MG55模块。

8.根据权利要求1-4任一项所述的系统，其特征在于，所述数据存储模块包括SD储存卡。

9.一种图像采集处理器，其特征在于，包括：

根据权利要求1-8任一项所述的系统。

10.一种图像采集处理方法，其特征在于，包括：

获取远程操作信号；

基于RISC-V开源指令集架构的控制模块基于所述远程操作信号及生成控制信号；

基于图像采集处理模块接收所述控制信号，根据所述控制信号采集图像，将所述图像预处理并输出预定格式的图像流数据；

基于所述控制模块将接收的所述图像流数据存储至数据存储模块，及/或

将接收的所述图像流数据发送至远程控制中心或云端数据库。

Images