CN114500886A - 一种按列分段的图像处理系统与方法 - Google Patents

一种按列分段的图像处理系统与方法 Download PDF

Info

Publication number
CN114500886A
CN114500886A CN202210105231.3A CN202210105231A CN114500886A CN 114500886 A CN114500886 A CN 114500886A CN 202210105231 A CN202210105231 A CN 202210105231A CN 114500886 A CN114500886 A CN 114500886A
Authority
CN
China
Prior art keywords
image
image processing
columns
vector
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210105231.3A
Other languages
English (en)
Inventor
袁潮
温建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhuohe Technology Co Ltd
Original Assignee
Beijing Zhuohe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuohe Technology Co Ltd filed Critical Beijing Zhuohe Technology Co Ltd
Priority to CN202210105231.3A priority Critical patent/CN114500886A/zh
Publication of CN114500886A publication Critical patent/CN114500886A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H04N5/937—Regeneration of the television signal or of selected parts thereof by assembling picture element blocks in an intermediate store

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提出按列分段的图像处理方法及系统，属于图像处理技术领域。方法包括：对图像矩阵数据按列进行切段处理得到多个图像向量列数据；将每个图像向量列数据输入至对应的图像处理芯片进行处理。图像处理系统包括图像传感器阵列、图像切段模块、图像处理模块以及多核处理器调度模块；图像传感器阵列模块包括至少一个Bayer格式的图像传感器，用于产生Bayer格式的图像矩阵数据。多核处理器调度模块确定多个图像向量列数据中的每两个相邻图像向量列之间存在的重叠区域包含的像素的第一数量后确定两个相邻图像向量列对应的图像处理芯片启用的处理器的核数。本发明确保了亿级像素图像的处理时降低延时并减少功耗和外部存储。

Description

一种按列分段的图像处理系统与方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种按列分段的图像处理系统与方法、实现所述方法的图像处理终端与计算机可读存储介质。
背景技术
图像由像素点组成，每个像素都有相应的亮度，每一帧图像均是由电子束顺序地一行接着一行连续扫描而成，这种扫描方式称为逐行扫描。图像传感器自诞生以来，给科学研究、工业生产、日常生活带来了极大的影响。
随着图像传感器应用的逐渐扩展和深入,对传感器的多方面参数提出了新的需求,传感器自身也在不断发展。大视场、高分辨率和高帧率的成像仪器一直是科学研究与工程技术工作者不断努力的方向。早在2012年，美国杜克大学就研制出10亿像素相机，能够拍摄10亿级像素的静态图片或视频图像，而且清晰度比完美视力的人眼所能看到的图像要清晰5倍。用它来拍摄图片并把数据存在磁盘上需要18秒。
由于图像传感器越来越强大，其产生的图像数据数量也越来越大。然而，图像处理芯片处理能力有限，无法适应亿级像素相机拍摄的视频画面或者图像数据的快速处理。目前，针对亿级高清图像，一般采取将图像网格化处理，一个网格对应一个图像处理芯片。然而，此类方案需要的图像处理芯片ISP数量多，功耗大，图像收全时的延时大，需要大容量的外部缓存。
此外，传统的彩色图像，需要采集多种最基本的光谱颜色，如rgb三种颜色，最简单的方法就是用滤镜的方法，红色的滤镜透过红色的波长，绿色的滤镜透过绿色的波长，蓝色的滤镜透过蓝色的波长。如果要采集rgb三个基本色，则需要三块滤镜，这样价格昂贵，且不好制造，因为三块滤镜都必须保证每一个像素点都对齐，也增加了图像采集和处理的硬件成本。
发明内容
为解决上述技术问题，本发明提出一种按列分段的图像处理系统与方法、实现所述方法的图像处理终端与计算机可读存储介质。
在本发明的第一个方面，提供一种按列分段的图像处理方法，所述方法包括步骤S1-S3，该方法针对原始图像数据进行处理，各个步骤具体实现如下：
S1：接收图像传感器采集的图像矩阵数据；
S2：对所述图像矩阵数据按列进行切段处理，得到多个图像向量列数据；
S3：将每个图像向量列数据输入至对应的图像处理芯片进行处理；
其中，所述步骤S1中所述图像传感器为Bayer格式的图像传感器；
所述步骤S2中所述多个图像向量列数据中的每两个相邻图像向量列之间存在重叠区域。
具体的，通过图像传感器阵列采集图像，所述图像传感器阵列模块包括至少一个Bayer格式的图像传感器，用于产生Bayer格式的图像矩阵数据；
作为本发明的改进基础，所述步骤S1中，通过所述Bayer格式的图像传感器采集得到所述图像矩阵数据，所述图像矩阵数据中每一个像素仅包括部分光谱，即每一个像素存在缺失光谱。
对此，作为进一步的改进，所述步骤S3中所述图像处理芯片包括插值算法；
通过所述插值算法计算所述图像矩阵数据中每一个像素的缺失光谱。
作为进一步的优选，所述步骤S3中，每两个相邻图像向量列对应的图像处理芯片所包含的插值算法不同。
并且，所述步骤S2中所述多个图像向量列数据中的每两个相邻图像向量列之间存在的所述重叠区域包含2个以上的像素。
作为本发明的再一个改进，所述图像处理芯片包含多核处理器；
所述步骤S3还包括：
确定所述多个图像向量列数据中的每两个相邻图像向量列之间存在的重叠区域包含的像素的第一数量；
基于所述第一数量，确定所述两个相邻图像向量列对应的图像处理芯片应当启用的处理器的核数。
在本发明的第二个方面，提供一种按列分段的图像处理系统，所述图像处理系统包括图像传感器阵列、图像切段模块、图像处理模块以及多核处理器调度模块。
具体的，各个模块或者阵列的功能实现如下：
所述图像传感器阵列模块包括至少一个Bayer格式的图像传感器，用于产生Bayer格式的图像矩阵数据；
所述图像切段模块用于对所述图像矩阵数据按列进行切段处理，得到多个图像向量列数据；
所述图像处理模块包括多个图像处理芯片，每个图像处理芯片包含多核处理器；
所述图像切段模块将所述多个图像向量列数据并行输入到所述图像处理模块的多个图像处理芯片中进行处理；
所述多核处理器调度模块确定所述多个图像向量列数据中的每两个相邻图像向量列之间存在的重叠区域包含的像素的第一数量，并基于所述第一数量确定所述两个相邻图像向量列对应的图像处理芯片应当启用的处理器的核数。
更具体的，所述图像处理芯片包括插值算法；
每两个相邻图像向量列对应的图像处理芯片所包含的插值算法不同；
所述插值算法包括线性插值补偿算法。
所述图像矩阵数据中每一个像素仅包括部分光谱；
通过所述插值算法计算所述图像矩阵数据中每一个像素的缺失光谱。
为实现上述方法步骤，在本发明的第三个方面，提供一种人机交互终端，例如图像处理终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述步骤。
在本发明第四方面，提供一种数据存储介质，例如可以是计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现上述步骤。
由于本发明针对Bayer格式的原始图像矩阵数据进行分列处理，降低了数据处理量；同时，针对Bayer格式的图像矩阵数据存在的光谱缺失问题，则通过相邻图像向量列对应的图像处理芯片所包含的不同插值算法各自进行插值完整性补全，确保了数据精度；而基于多个图像向量列数据中的每两个相邻图像向量列之间存在的重叠区域包含的像素的第一数量确定所述两个相邻图像向量列对应的图像处理芯片应当启用的处理器的核数，则可以降低处理器功耗。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种按列分段的图像处理方法的主体流程图；
图2是图1所述方法的进一步优选实施例步骤图；
图3是实现图1所述方法的按列分段的图像处理系统的模块架构图；
图4是图3所述按列分段的图像处理系统的系统工作流程示意图；
图5是实现图1或图2所述方法的电子设备的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述。
参照图1，是本发明一个实施例的一种按列分段的图像处理方法的主体流程图。
在图1中示出的图像处理方法包括如下步骤：
S1：接收图像传感器采集的图像矩阵数据；
S2：对所述图像矩阵数据按列进行切段处理，得到多个图像向量列数据；
S3：将每个图像向量列数据输入至对应的图像处理芯片进行处理。
在该实施例中，通过把图像按列分段形成多个分段画面给对应的图像处理芯片isp处理，解决了isp能力有限而不能处理高分辨率大数据量图像的问题；
作为更具体的介绍，所述步骤S1中所述图像传感器为Bayer格式的图像传感器；所述步骤S2中所述多个图像向量列数据中的每两个相邻图像向量列之间存在重叠区域。
作为本发明的改进出发点，在本实施例中，通过图像传感器阵列采集图像。
作为一个说明，在本发明的各个实施例中，图像传感器阵列可以仅包含一个图像传感器，每次采集一张图片，每次针对一张图片进行处理；
作为优选，图像传感器阵列可以包含多个图像传感器，每次可采集多张图片，每次并行的采用本发明所述的方法，对多张图片分别进行处理。
具体的，所述图像传感器阵列模块包括至少一个Bayer格式的图像传感器，用于产生Bayer格式的图像矩阵数据。
Bayer格式图片由伊士曼·柯达公司科学家Bryce Bayer发明。
具体的，如前述背景技术提出的，对于彩色图像，需要采集多种最基本的颜色，如rgb三种颜色，最简单的方法就是用滤镜的方法，红色的滤镜透过红色的波长，绿色的滤镜透过绿色的波长，蓝色的滤镜透过蓝色的波长。如果要采集rgb三个基本色，则需要三块滤镜，这样价格昂贵，且不好制造，因为三块滤镜都必须保证每一个像素点都对齐。
当用bayer格式的时候，很好的解决了这个问题。bayer格式图片在一块滤镜上设置的不同的颜色，通过分析人眼对颜色的感知发现，人眼对绿色比较敏感，所以一般bayer格式的图片绿色格式的像素是是r和g像素的和。
更重要的是，Bayer格式是相机内部的原始图片,一般后缀名为.raw。很多软件都可以查看,比如PS。我们相机拍照下来存储在存储卡上的.jpeg或其它格式的图片,都是从.raw格式转化过来的。
在一个实施例中，bayer色彩滤波阵列，由一半的G，1/4的R，1/4的B组成。
可见，通过所述Bayer格式的图像传感器采集得到所述图像矩阵数据，所述图像矩阵数据中每一个像素仅包括部分光谱。
这里的仅包括部分光谱，指的是不包括完整的RGB像素，而是存在缺失。
由于是原始.raw数据，处理起来硬件成本较低；即图1所述方法是针对Bayer格式的原始图像矩阵数据进行处理。
但是为了确保精度，即应当进行一定的完整性补全。
因此，在图1的实施例中，所述步骤S3中所述图像处理芯片包括插值算法；
通过所述插值算法计算所述图像矩阵数据中每一个像素的缺失光谱。
具体的，每一个像素仅仅包括了光谱的一部分，必须通过插值来实现每个像素的RGB值。
在一个实施例中，为了从Bayer格式得到每个像素的RGB格式，我们需要通过插值填补缺失的2个色彩。插值的方法很多(包括邻域、线性、3*3等)，为实现速度与质量权衡，可采用线性插值补偿算法。
关于针对Bayer格式图片的更多插值算法的具体算法，可参见现有技术，本发明对此不做具体展开。
不过，在本实施例中，作为进一步的改进，为了避免单一算法带来的像素冗余，所述步骤S3中，每两个相邻图像向量列对应的图像处理芯片所包含的插值算法不同。
接下来，考虑降低处理器功耗的改进。
在图1的实施例中，所述图像处理芯片包含多核处理器；确定所述多个图像向量列数据中的每两个相邻图像向量列之间存在的重叠区域包含的像素的第一数量；
基于所述第一数量，确定所述两个相邻图像向量列对应的图像处理芯片应当启用的处理器的核数。
优选的，所述应当启用的处理器的核数与所述第一数量成正比。
基于多个图像向量列数据中的每两个相邻图像向量列之间存在的重叠区域包含的像素的第一数量确定所述两个相邻图像向量列对应的图像处理芯片应当启用的处理器的核数，可以降低处理器功耗。
基于上述介绍，图2给出了本发明所述方法的进一步实施例如下：
A1；通过Bayer格式的图像传感器采集得到图像矩阵数据；
A2：通过插值算法计算图像矩阵数据中每一个像素的缺失光谱；
A3：确定多个图像向量列数据中的每两个相邻图像向量列之间存在的重叠区域包含的像素的第一数量；
A4：基于第一数量确定两个相邻图像向量列对应的图像处理芯片应当启用的处理器的核数；
A5：将多个图像向量列数据并行输入到图像处理模块的多个图像处理芯片中进行处理。
在实际使用过程中，由于图像按列分段，容易造成的分段画面之间边界过渡不平滑或边界跳跃感的问题。
在该进一步的实施例中，为了解决这个问题，相邻的按列分段画面之间必须有重叠区域，对应的isp通过重叠区数据计算出边界数据后，可以直接输出带有清晰边界数据的分段画面到拼接器或电视墙完成画面重新拼接。
在图1-图2基础上，参见图3，图3示出了实现图1所述方法的按列分段的图像处理系统的模块架构图。
在图3中，示出一种按列分段的图像处理系统，所述图像处理系统包括图像传感器阵列、图像切段模块、图像处理模块以及多核处理器调度模块。
图4则进一步展现图3所述按列分段的图像处理系统的系统工作流程示意图。
在图4中，示出所述图像传感器阵列模块包括多个Bayer格式的图像传感器，用于产生Bayer格式的图像矩阵数据后，送入所述图像切段模块；
可以理解，图4所述的图像传感器阵列模块也可以仅包含一个Bayer格式的图像传感器；
所述图像切段模块用于对所述图像矩阵数据按列进行切段处理，得到多个图像向量列数据；
所述图像处理模块包括多个图像处理芯片，每个图像处理芯片包含多核处理器；
所述多核处理器调度模块确定所述多个图像向量列数据中的每两个相邻图像向量列之间存在的重叠区域包含的像素的第一数量，并基于所述第一数量确定所述两个相邻图像向量列对应的图像处理芯片应当启用的处理器的核数。
优选的，所述多个图像向量列数据中的每两个相邻图像向量列之间存在的所述重叠区域包含2个以上的像素。
如图4中，每个图像处理芯片包含核A、核B、核C、核D，所述处理器核可以是CPU或者GPU或者二者的组合；
优选的，应当启用的处理器的核至少包括一个CPU核；应当启用的处理器的核中GPU的数目根据第一数量的变化而变化，与第一数量成正比，但是能够启用的GPU的数目存在上限值，当达到上限值时不再变化。
当应当启用的GPU处理器的核数不大于2时，降低已经启动的CPU核的工作频率；
当应当启用的处理器的GPU核数大于2时，提升已经启动的CPU核的工作频率。
如此改进，可以自适应的改变CPU的工作状态，进一步降低功耗。这是因为，在图像处理过程中，GPU通常执行实际的图像数据处理，而CPU负责任务的分配和调度，若当应当启用的处理器的GPU核数大于2时，为了提高GPU的利用效率，此时提升已经启动的CPU核的工作频率，加快任务分配；反之，当应当启用的GPU处理器的核数不大于2时，降低已经启动的CPU核的工作频率，使得不工作的GPU进入休眠状态，降低能耗。
所述图像切段模块将所述多个图像向量列数据并行输入到所述图像处理模块的多个图像处理芯片中进行处理。
所述图像处理芯片包括插值算法；每两个相邻图像向量列对应的图像处理芯片所包含的插值算法不同；所述插值算法包括线性插值补偿算法。
所述图像矩阵数据中每一个像素仅包括部分光谱；
通过所述插值算法计算所述图像矩阵数据中每一个像素的缺失光谱。
图1-图2所述方法可以通过自动化的计算机程序指令的形式，通过编程的方式由电子设备实现。
图5示出了可以用来实施图1-图2所述方法的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。
具体的，电子设备可以是图像处理终端，其包含处理器和存储器。
如图5所示，图像处理终端设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
图像处理终端设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
服务器也可以为分布式系统的服务器，或者是，结合了区块链的服务器。
本发明针对Bayer格式的原始图像矩阵数据进行分列处理，降低了数据处理量；同时，针对Bayer格式的图像矩阵数据存在的光谱缺失问题，则通过相邻图像向量列对应的图像处理芯片所包含的不同插值算法各自进行插值完整性补全，确保了数据精度；而基于多个图像向量列数据中的每两个相邻图像向量列之间存在的重叠区域包含的像素的第一数量确定所述两个相邻图像向量列对应的图像处理芯片应当启用的处理器的核数，则可以降低处理器功耗。
本发明未特别明确的部分模块结构，以现有技术记载的内容为准。本发明在前述背景技术部分提及的现有技术可作为本发明的一部分，用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。

Claims (10)

1.一种按列分段的图像处理方法，其特征在于，所述方法包括如下步骤：
S1：接收图像传感器采集的图像矩阵数据；
S2：对所述图像矩阵数据按列进行切段处理，得到多个图像向量列数据；
S3：将每个图像向量列数据输入至对应的图像处理芯片进行处理；
其中，所述步骤S1中所述图像传感器为Bayer格式的图像传感器；
所述步骤S2中所述多个图像向量列数据中的每两个相邻图像向量列之间存在重叠区域。
2.如权利要求1所述的一种按列分段的图像处理方法，其特征在于：
所述步骤S1中，通过所述Bayer格式的图像传感器采集得到所述图像矩阵数据，所述图像矩阵数据中每一个像素仅包括部分光谱。
3.如权利要求1所述的一种按列分段的图像处理方法，其特征在于：
所述步骤S3中所述图像处理芯片包括插值算法；
通过所述插值算法计算所述图像矩阵数据中每一个像素的缺失光谱。
4.如权利要求1所述的一种按列分段的图像处理方法，其特征在于：
所述步骤S3中，每两个相邻图像向量列对应的图像处理芯片所包含的插值算法不同。
5.如权利要求1-4任一项所述的一种按列分段的图像处理方法，其特征在于：
所述步骤S2中所述多个图像向量列数据中的每两个相邻图像向量列之间存在的所述重叠区域包含2个以上的像素。
6.如权利要求1-4任一项所述的一种按列分段的图像处理方法，其特征在于：
所述图像处理芯片包含多核处理器；
所述步骤S3还包括：
确定所述多个图像向量列数据中的每两个相邻图像向量列之间存在的重叠区域包含的像素的第一数量；
基于所述第一数量，确定所述两个相邻图像向量列对应的图像处理芯片应当启用的处理器的核数。
7.一种按列分段的图像处理系统，所述图像处理系统包括图像传感器阵列、图像切段模块、图像处理模块以及多核处理器调度模块；
其特征在于：
所述图像传感器阵列模块包括至少一个Bayer格式的图像传感器，用于产生Bayer格式的图像矩阵数据；
所述图像切段模块用于对所述图像矩阵数据按列进行切段处理，得到多个图像向量列数据；
所述图像处理模块包括多个图像处理芯片，每个图像处理芯片包含多核处理器；
所述图像切段模块将所述多个图像向量列数据并行输入到所述图像处理模块的多个图像处理芯片中进行处理；
所述多核处理器调度模块确定所述多个图像向量列数据中的每两个相邻图像向量列之间存在的重叠区域包含的像素的第一数量，并基于所述第一数量确定所述两个相邻图像向量列对应的图像处理芯片应当启用的处理器的核数。
8.如权利要求7所述的一种按列分段的图像处理系统，其特征在于：
所述图像处理芯片包括插值算法；
每两个相邻图像向量列对应的图像处理芯片所包含的插值算法不同；
所述插值算法包括线性插值补偿算法。
9.如权利要求8所述的一种按列分段的图像处理系统，其特征在于：
所述图像矩阵数据中每一个像素仅包括部分光谱；
通过所述插值算法计算所述图像矩阵数据中每一个像素的缺失光谱。
10.一种图像处理终端，其包含处理器和存储器，所述存储器存储有计算机可执行程序指令，通过所述处理器执行所述程序指令，以实现权利要求1-6任一项所述的一种按列分段的图像处理方法。
CN202210105231.3A 2022-01-28 2022-01-28 一种按列分段的图像处理系统与方法 Pending CN114500886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210105231.3A CN114500886A (zh) 2022-01-28 2022-01-28 一种按列分段的图像处理系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210105231.3A CN114500886A (zh) 2022-01-28 2022-01-28 一种按列分段的图像处理系统与方法

Publications (1)

Publication Number Publication Date
CN114500886A true CN114500886A (zh) 2022-05-13

Family

ID=81476080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210105231.3A Pending CN114500886A (zh) 2022-01-28 2022-01-28 一种按列分段的图像处理系统与方法

Country Status (1)

Country Link
CN (1) CN114500886A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1798236A (zh) * 2004-12-28 2006-07-05 富士通株式会社 用于处理图像的装置和方法
CN102510448A (zh) * 2011-10-13 2012-06-20 苏州百滨电子科技有限公司 多处理器嵌入式图像采集和处理方法和装置
US9219870B1 (en) * 2014-07-31 2015-12-22 Apple Inc. Sensor data rescaler for image signal processing
CN107844430A (zh) * 2016-09-20 2018-03-27 东芝存储器株式会社 存储器系统和处理器系统
US10440341B1 (en) * 2018-06-07 2019-10-08 Micron Technology, Inc. Image processor formed in an array of memory cells
CN113242413A (zh) * 2021-07-12 2021-08-10 深圳市艾为智能有限公司 抗锯齿的rccb滤镜阵列插值计算方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1798236A (zh) * 2004-12-28 2006-07-05 富士通株式会社 用于处理图像的装置和方法
CN102510448A (zh) * 2011-10-13 2012-06-20 苏州百滨电子科技有限公司 多处理器嵌入式图像采集和处理方法和装置
US9219870B1 (en) * 2014-07-31 2015-12-22 Apple Inc. Sensor data rescaler for image signal processing
CN107844430A (zh) * 2016-09-20 2018-03-27 东芝存储器株式会社 存储器系统和处理器系统
US10440341B1 (en) * 2018-06-07 2019-10-08 Micron Technology, Inc. Image processor formed in an array of memory cells
CN113242413A (zh) * 2021-07-12 2021-08-10 深圳市艾为智能有限公司 抗锯齿的rccb滤镜阵列插值计算方法及系统

Similar Documents

Publication Publication Date Title
EP3701491B1 (en) Systems and methods for super-resolusion image reconstruction
US11030715B2 (en) Image processing method and apparatus
US20160112757A1 (en) Server, client and video processing method
RU2697928C1 (ru) Способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, и мобильное устройство, его реализующее
CN113126862B (zh) 截屏方法、装置、电子设备以及可读存储介质
CN108242063B (zh) 一种基于gpu加速的光场图像深度估计方法
CN109616080B (zh) 一种异形屏轮廓补偿方法及终端
US20230011823A1 (en) Method for converting image format, device, and storage medium
CN110855957A (zh) 图像处理方法及装置、存储介质和电子设备
WO2024088132A1 (zh) 目标图像的显示方法、显示装置、电子设备和存储介质
CN113888509A (zh) 一种图像清晰度的评价方法、装置、设备及存储介质
CN113688900A (zh) 雷达和视觉数据融合处理方法、路侧设备及智能交通系统
CN111583329A (zh) 增强现实眼镜显示方法、装置、电子设备和存储介质
CN114500886A (zh) 一种按列分段的图像处理系统与方法
CN115908116A (zh) 一种图像处理方法、装置、设备及存储介质
CN116309158A (zh) 网络模型的训练方法、三维重建方法、装置、设备和介质
CN115880461A (zh) 一种增强现实图像生成方法、装置、设备及存储介质
CN113393391B (zh) 图像增强方法、图像增强装置、电子设备和存储介质
CN115049572A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
WO2022271425A1 (en) Point-of-view image warp systems and methods
CN112686109A (zh) 离线视频文件的提取方法、装置、电子设备及存储介质
US8134562B2 (en) Method for assisting in data calculation by using display card
CN113836455A (zh) 特效渲染方法、装置、设备、存储介质及计算机程序产品
CN114298889A (zh) 图像处理电路和图像处理方法
CN115115526A (zh) 图像处理方法及装置、存储介质和图形计算处理器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220513

RJ01 Rejection of invention patent application after publication