CN115115526A - 图像处理方法及装置、存储介质和图形计算处理器 - Google Patents

图像处理方法及装置、存储介质和图形计算处理器 Download PDF

Info

Publication number
CN115115526A
CN115115526A CN202110297577.3A CN202110297577A CN115115526A CN 115115526 A CN115115526 A CN 115115526A CN 202110297577 A CN202110297577 A CN 202110297577A CN 115115526 A CN115115526 A CN 115115526A
Authority
CN
China
Prior art keywords
image
region
processing
processed
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110297577.3A
Other languages
English (en)
Inventor
陆彦珩
罗竣文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Innovation Co
Original Assignee
Alibaba Singapore Holdings Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Singapore Holdings Pte Ltd filed Critical Alibaba Singapore Holdings Pte Ltd
Priority to CN202110297577.3A priority Critical patent/CN115115526A/zh
Priority to US17/698,859 priority patent/US20220301278A1/en
Publication of CN115115526A publication Critical patent/CN115115526A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Vascular Medicine (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像处理方法及装置、存储介质和图形计算处理器。其中，该方法包括：获取待处理图像以及待处理图像对应的感测数据；基于感测数据获取待处理图像的感兴趣区域信息；利用感兴趣区域信息确定待处理图像中的第一图像区域和第二图像区域，其中，第一图像区域是由感兴趣区域信息确定的图像区域，第二图像区域是待处理图像中除第一图像区域之外剩余的图像区域；采用第一处理方式处理第一图像区域，以及采用第二处理方式处理第二图像区域，其中，第一处理方式的计算复杂度高于第二处理方式的计算复杂度。本发明解决了现有技术中的图像处理方法难以在保证感兴趣区域图像质量的前提下，提升整体图像处理性能的技术问题。

Description

图像处理方法及装置、存储介质和图形计算处理器
技术领域
本发明涉及图像处理领域，具体而言，涉及一种图像处理方法及装置、存储介质和图形计算处理器。
背景技术
随着生活水平的提高，人们对高清晰度图片的需求越发强烈，数字成像技术在过去数十年间迅猛发展，当前手机上搭载的摄像头及成像芯片，通过处理算法的改进，已然能够在图片质量上不输于数十年前的高端单反摄像机。
然而，随着摄像头像素的不断增加以及人们对图像质量要求的不断提高，图像信号处理的复杂度及计算量快速增加，这对图像信号处理模块特别是实时处理模块的设计提出了极高的要求，但是现有技术中的图像处理方法难以保证感兴趣区域图像质量的前提下，提升整体运算性能。
针对上述的问题，存在对于有效解决方案的需求。
发明内容
本发明实施例提供了一种图像处理方法及装置、存储介质和图形计算处理器，以至少解决现有技术中的图像处理方法难以在保证感兴趣区域图像质量的前提下，提升整体图像处理性能的技术问题。
根据本发明实施例的一个方面，提供了一种图像处理方法，包括：获取待处理图像以及上述待处理图像对应的感测数据；基于上述感测数据获取上述待处理图像的感兴趣区域信息；利用上述感兴趣区域信息确定上述待处理图像中的第一图像区域和第二图像区域，其中，上述第一图像区域是由上述感兴趣区域信息确定的图像区域，上述第二图像区域是上述待处理图像中除上述第一图像区域之外剩余的图像区域；采用第一处理方式处理上述第一图像区域，以及采用第二处理方式处理上述第二图像区域，其中，上述第一处理方式的计算复杂度高于上述第二处理方式的计算复杂度。
根据本发明实施例的另一方面，还提供了一种图像处理装置，包括：第一获取模块，用于获取待处理图像以及上述待处理图像对应的感测数据；第二获取模块，用于基于上述感测数据获取上述待处理图像的感兴趣区域信息；确定模块，用于利用上述感兴趣区域信息确定上述待处理图像中的第一图像区域和第二图像区域，其中，上述第一图像区域是由上述感兴趣区域信息确定的图像区域，上述第二图像区域是上述待处理图像中除上述第一图像区域之外剩余的图像区域；处理模块，用于采用第一处理方式处理上述第一图像区域，以及采用第二处理方式处理上述第二图像区域，其中，上述第一处理方式的计算复杂度高于上述第二处理方式的计算复杂度。
根据本发明实施例的另一方面，还提供了一种图形计算处理器，包括：感测数据处理单元，用于获取待处理图像以及上述待处理图像对应的感测数据；并基于上述感测数据获取上述待处理图像的感兴趣区域信息；图像数据处理单元，用于利用上述感兴趣区域信息确定上述待处理图像中的第一图像区域和第二图像区域，并采用第一处理方式处理上述第一图像区域，以及采用第二处理方式处理上述第二图像区域，得到处理后图像，其中，上述第一图像区域是由上述感兴趣区域信息确定的图像区域，上述第二图像区域是上述待处理图像中除上述第一图像区域之外剩余的图像区域；上述第一处理方式的计算复杂度高于上述第二处理方式的计算复杂度；输出单元，用于输出上述处理后图像。
根据本发明实施例的另一方面，还提供了一种图像处理系统，包括：图形计算处理器；以及存储器，与上述图形计算处理器连接，用于为上述图形计算处理器提供处理以下处理步骤的指令：获取待处理图像以及上述待处理图像对应的感测数据；基于上述感测数据获取上述待处理图像的感兴趣区域信息；利用上述感兴趣区域信息确定上述待处理图像中的第一图像区域和第二图像区域，其中，上述第一图像区域是由上述感兴趣区域信息确定的图像区域，上述第二图像区域是上述待处理图像中除上述第一图像区域之外剩余的图像区域；采用第一处理方式处理上述第一图像区域，以及采用第二处理方式处理上述第二图像区域，其中，上述第一处理方式的计算复杂度高于上述第二处理方式的计算复杂度。
根据本发明实施例的另一方面，还提供了一种非易失性存储介质，上述非易失性存储介质包括存储的程序，其中，在上述程序运行时控制上述非易失性存储介质所在设备执行任意一项上述的图像处理方法。
在本发明实施例中，通过获取待处理图像以及上述待处理图像对应的感测数据；基于上述感测数据获取上述待处理图像的感兴趣区域信息；利用上述感兴趣区域信息确定上述待处理图像中的第一图像区域和第二图像区域，其中，上述第一图像区域是由上述感兴趣区域信息确定的图像区域，上述第二图像区域是上述待处理图像中除上述第一图像区域之外剩余的图像区域；采用第一处理方式处理上述第一图像区域，以及采用第二处理方式处理上述第二图像区域，其中，上述第一处理方式的计算复杂度高于上述第二处理方式的计算复杂度。
通过本申请实施例，依据待处理图像对应的感测数据获得的感兴趣区域信息，将有限的计算力合理分配，提升感兴趣区域信息中的核心敏感区域的图像处理算法的复杂度，从而对核心敏感区域呈现更高的图像处理质量，进而可以提升图像处理的整体处理性能。
由此，本申请实施例达到了在保证感兴趣区域图像质量的前提下，提升整体图像处理性能的目的，从而实现了兼顾图像处理复杂度和计算量的技术效果，进而解决了现有技术中的图像处理方法难以在保证感兴趣区域图像质量的前提下，提升整体图像处理性能的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种图像处理方法的流程图；
图2是根据本发明实施例的一种可选的图像处理方法的实现结构示意图；
图3是根据本发明实施例的一种可选的事件提取示意图；
图4是根据本发明实施例的一种用于实现图像处理方法的计算机终端(或移动设备)的硬件结构框图；
图5是根据本申请实施例的一种图像处理装置的结构示意图；
图6是根据本申请实施例的一种图形计算处理器的结构示意图；
图7是根据本申请实施例的另一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
感兴趣区域(region of interest，ROI)，在图像处理领域，感兴趣区域是从图像中选择的一个特殊图像区域，感兴趣区域是图像分析所关注的重点，圈定该感兴趣区域以便进行进一步处理，使用感兴趣区域圈定想要重点处理的目标，可以减少处理时间，增加精度。
事件传感器(event sensor)，也被称之为动态视觉传感器或者硅视网膜，是一种能够响应局部亮度变化的成像传感器，事件相机不像常规相机那样使用快门捕获图像。相反，事件像机中的每个像素都独立且异步地运行，并在发生亮度变化时输出这些变化，否则保持沉默。
图像信号处理(ISP)，是芯片中用来对前端图像传感器输出信号进行处理的模块，主要功能是将传感器输入的raw格式图像经过去噪声、去马赛克、白平衡、坏点矫正等一些列处理后，输出可以供后续使用的图像信息。
脉冲神经网络(SNN-Spiking Neuron Networks)属于第三代神经网络模型,实现了更高级的生物神经模拟水平。除了神经元和突触状态之外，SNN还将时间概念纳入了其操作之中。因此，它的神经元不是在每一次迭代传播中都被激活，而是在累加到某一个特定值才被激活；当一个神经元被激活，它会产生一个信号传递给其他神经元，提高或降低其累加值，由于这一特性，SNN特别适合处理事件传感器的输出信号。
在本申请技术领域中，虽然在一张图片中可以包含有非常多的信息，但是并不是每一个像素点提供的信息都同等重要，考虑到当前图像处理负担已经非常繁重，将有限的计算力集中在感兴趣区域，提高该感兴趣区域的计算复杂度，利用更完备的算法提升感兴趣区域的图像质量，可以显著提升整体性能。
而在视觉传感器领域中，基于事件驱动的视觉传感器同样在快速发展，特别是在近几年，事件传感器逐渐从实验室走入市场。不同于传统传感器，事件传感器只有在出现亮度变化时才有输出一个事件，通过处理这样的事件信息，可以在多个领域发挥效用。考虑到出现事件的区域大概率是感兴趣区域，利用事件传感器提供感兴趣区域信息，可以帮助提升整个图像信号处理模块的性能。
感兴趣区域在计算机视觉领域应用广泛，比如在视频图像压缩过程中，利用感兴趣区域(ROI)信息，将更多比特分配在更为重要的区域内，提升ROI区域的图像质量，可以显著提高图像视频的主观质量。
由于传统的ROI搜索算法如Viola-Jones算法或者目前流行的基于深度学习的各类算法(Faster R-CNN,YOLO,SSD等)，都存在明显的计算力问题，因此现有技术中提出了一种基于识别+检测的ROI搜索算法，在CPU上达到了1500fps的计算速度。
需要注意的是，上述现有技术中的感兴趣区域提取方案虽然经过了优化，但是依旧需要较高的计算量，如果部署在IOT设备中，存在比较大的计算量及功耗问题。同时，上述感兴趣区域提取方案往往基于经过色彩转换后的YUV色彩格式或RGB色彩格式实现，在图像信号处理ISP模块中，输入数据流为RAW格式，经过若干级处理后才转换为YUV色彩格式或RGB色彩格式。例如，一个示例ISP流水线的输入数据为非图像文件raw格式，经过坏点矫正(DPC)、去噪(denoise)、白平衡(whitebalance)、去马赛克(CFAI)等多次处理后，数据才转换为RGB格式，此时一半以上的处理过程已经结束，再应用ROI技术的意义不大。因此，不管是出于流水线位置还是计算量的考虑，一般都不会在ISP前端应用ROI技术。
实施例1
根据本发明实施例，提供了一种图像处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请提供了如图1所示的图像处理方法。图1是根据本发明实施例的一种图像处理方法的流程图，如图1所示，上述图像处理方法包括如下方法步骤：
步骤S202，获取待处理图像以及上述待处理图像对应的感测数据；
步骤S204，基于上述感测数据获取上述待处理图像的感兴趣区域信息；
步骤S206，利用上述感兴趣区域信息确定上述待处理图像中的第一图像区域和第二图像区域，其中，上述第一图像区域是由上述感兴趣区域信息确定的图像区域，上述第二图像区域是上述待处理图像中除上述第一图像区域之外剩余的图像区域；
步骤S208，采用第一处理方式处理上述第一图像区域，以及采用第二处理方式处理上述第二图像区域，其中，上述第一处理方式的计算复杂度高于上述第二处理方式的计算复杂度。
在本发明实施例中，通过获取待处理图像以及上述待处理图像对应的感测数据；基于上述感测数据获取上述待处理图像的感兴趣区域信息；利用上述感兴趣区域信息确定上述待处理图像中的第一图像区域和第二图像区域，其中，上述第一图像区域是由上述感兴趣区域信息确定的图像区域，上述第二图像区域是上述待处理图像中除上述第一图像区域之外剩余的图像区域；采用第一处理方式处理上述第一图像区域，以及采用第二处理方式处理上述第二图像区域，其中，上述第一处理方式的计算复杂度高于上述第二处理方式的计算复杂度。
通过本申请实施例，依据待处理图像对应的感测数据获得的感兴趣区域信息，将有限的计算力合理分配，提升感兴趣区域信息中的核心敏感区域的图像处理算法的复杂度，从而对核心敏感区域呈现更高的图像处理质量，进而可以提升图像处理的整体处理性能。
由此，本申请实施例达到了在保证感兴趣区域图像质量的前提下，提升整体图像处理性能的目的，从而实现了兼顾图像处理复杂度和计算量的技术效果，进而解决了现有技术中的图像处理方法难以在保证感兴趣区域图像质量的前提下，提升整体图像处理性能的技术问题。
需要说明的是，本申请实施例所提供的一种图像处理方法是一种对传统图像信号处理(ISP)的增强处理方案，通过获取待处理图像中的感兴趣区域信息(ROI区域信息)，帮助提高端侧计算性能的利用有效性，达到提高ISP性能的目标。而本申请实施例在获取感兴趣区域信息的实现上，本申请实施例采用了一种基于动态视觉传感器及神经脉冲网络的算法，可以以极小的功耗及面积在ISP流水线最前端完成获取ROI区域。
本申请实施例所提供的图像处理方法可以但不限于应用于图形计算处理器中，例如，ISP模块或者集成ISP模块的融合芯片，上述融合芯片主要用于以下终端产品：AI智能终端、考勤终端、视频会议终端、便携智能相机、直播终端。
在一种可选的实施例中，上述待处理图像包括：多个像素，上述感测数据包括：与上述多个像素中每个像素对应的空间域信息和时间域信息。
可选的，上述空间域信息为感测像素位置信息，上述时间域信息为感测时序信息。
在一种可选的实施例中，上述感测数据用于示意上述待处理图像中的事件信息，其中，上述感测数据的数据量小于上述待处理图像的数据量。
在一种可选的实施例中，上述第一处理方式用于对上述第一图像区域进行编解码处理和/或目标标识处理，上述第二处理方式用于对上述第二图像区域进行编解码处理和/或目标标识处理。
需要说明的是，在本申请实施例中，上述第一图像区域和第二图像区域均可以为多个，例如，利用上述感兴趣区域信息确定上述待处理图像中的不同感兴趣级别，可以将待处理图像区分为不同感兴趣级别对应的多个第一图像区域和多个第二图像区域。
作为一种可选的实施例，本申请方案的一个简单实现结构示意图如图2所示，可选的，可以采用ISP的实现过程，实现传感器矫正(Sensor correction)、镜头矫正、镜头阴影矫正(Lens shading)、数据统计与自动校正处理、色域转换与色彩校正处理(3Astats)等，而在本申请方案中，将添加基于事件的动态视觉传感器(Dynamic vision Sensor)及相应的脉冲神经网络处理单元(SNN)，通过对事件信息的判断，得出当前正在发生快速变化的区域(例如一张图片中的老人跌倒区域)，并将这个事件信息传输给图像信号处理ISP单元。
作为一种可选的实施例，在获取上述事件信息后，将根据获取到的事件信息对影像处理流程中的图像信号处理ISP单元的处理方式进行调整，可选的调整处理方式包括：非感兴趣区域使用较差的去噪算法，例如，中值滤波等，而感兴趣区域使用较强的去噪算法，例如BM3D等，如果所有的区域都使用较为复杂的算法，则可能出现计算量上的问题，因此，本申请实施例通过将有限的计算量用在更为重要的感兴趣区域上，可以在保证重点区域图像质量的前提下提高整体运算性能。
通过本申请实施例提出的基于事件信息的感兴趣区域提取方案，本申请方案的核心在于增加一个廉价的事件传感器及轻量级的特点提取网络，以极低的面积和极小的功耗完成感兴趣区域的识别，相比于现有感兴趣区域识别方案在计算量和复杂度上都有巨大的优势，非常适合端侧部署。
在一种可选的实施例中，上述图像处理方法还可以应用于一种基于事件识别感兴趣区域的智能图像信号处理系统，该系统可依据获取的感兴趣区域信息，将有限的计算力合理分配，以提升核心敏感区域的图像处理算法复杂度，从而呈现更高的图像质量，提升整体系统的性能。
在一种可选的实施例中，基于上述感测数据获取上述待处理图像的上述感兴趣区域信息包括：
步骤S302，基于上述空间域信息和第一法则获取具有第一事件的第一感兴趣区域信息。
可选的，上述感测数据包括：与上述多个像素中每个像素对应的空间域信息和时间域信息。
可选的，上述第一事件和第二事件可以为动态事件，该动态事件的事件类型依据空间域特征和时间域特征来确定，如图3的实施例所示，例如，第一事件和第二事件可以分别为空间域上动态事件A和时间域上动态事件B，图3中每一个白色圆圈为一个像素差值事件，每一个虚线方框为每一帧。空间域上动态事件A的特征提取图表示在每一帧内，如果4个像素点内都有事件发生的话，则会产生一个空间域上动态事件。
在本申请实施例中，依据空间域特征和时间域特征来确定当前发生的动态事件的工作原理是根据如下4个参数变量来提取事件特征：α：空间范围内的特征提取区域；α_threshold：空间范围内特征提取区域的阈值；T：时间间范围内的特征提取区域；T_threshold：时间范围内特征提取区域的阈值。
如图3所示，由于4帧里面总共产生两个事件A类型(Event type A)的动态事件，则动态事件A的特征提取图参数是：α＝4；T＝1；α的阈值α_threshold＝3；T的阈值T_threshold＝0；意味着在一个4点区域内取一帧来看，需要这4点区域全部产生动态事件，才认为产生一个动态事件A(阈值为3，大于3只可能为4点，单帧情况下T的阈值只能为0)。
由于动态事件A是空间域上的，代表当前帧这一块区域均出现了像素变化事件，而动态事件B(Event type B)是时间上的，代表连续几帧这个点或区域均出现像素变化事件，动态事件B相对于动态事件A增加了空间上的概念，第一个参数代表取的空间特征α的数目，第二个参数T代表取的时间帧的数目，第三个参数代表的是选取的空间点中大于这一参数才生成一个事件，假定第一个参数α＝16，第三个参数＝12，则代表16个点中要有超过12个点输出时间才代表整个区域存在一个事件，第四个参数代表时间帧上大于这一参数帧出现事件才生成动态事件。
需要说明的是，上述图3所描述的实施过程仅是基于图1所提供的图像处理方法的一个可选实施例。在图3中所涉及的各项参数条件可以根据实际需要进行灵活地调整，其并不构成对本发明的不当限定。
在一种可选的实施例中，基于上述感测数据获取上述待处理图像的上述感兴趣区域信息包括：
步骤S402，基于上述空间域信息、上述时间域信息和第二法则获取具有第二事件的第二感兴趣区域信息。
与上述动态事件A的生成方式同理，动态事件B的特征提取参数是：α＝2；T＝3；α_threshold＝1；T_threshold＝2；既在每一帧内有两个像素差值发生，并且该空间区域连续三帧都重复此现象则产生一个动态事件B,动态事件B中的特征提取参数意味着2点这个区域，当区域内所有点均产生事件，3帧图像之内每一帧图像均产生事件，满足所有这些条件才确定为生成动态事件B。
在一种可选的实施例中，基于上述感测数据获取上述待处理图像的上述感兴趣区域信息包括：
步骤S502，利用神经网络模型对上述感测数据进行数据处理，得到上述感兴趣区域信息。
可选的，上述神经网络模型可以为SNN，上述事件传感器可以为DVS。与传统的ROI提取技术相比，本申请实施例提出的基于事件识别感兴趣区域的方案，只需要分析DVS事件传感器输入的事件信息，经过数据处理后获得当前图像发生变化的区域，并将这一区域确定为感兴趣区域。由于DVS事件传感器及潜在的数据处理算法如SNN都是超低功耗单元，一般总功耗小于200mW，且不占用较大的面积，因此完全可以用在ISP前端，为ISP提供感兴趣区域信息。
可选的，上述DVS事件传感器输出的数据包括：只包含一个像素输出的变化，如果像素变亮的程度到一定阈值输出一个正向脉冲信号，变暗的程度到一定阈值输出一个正向脉冲信号，需要注意的是，由于传感器阵列本身是暗含位置信息的，所以它代表的是这一块区域的像素变化情况。
在一种可选的实施例中，基于上述感测数据获取上述待处理图像的上述感兴趣区域信息包括：
步骤S602，基于上述感测数据确定上述待处理图像所包含的每个像素是否位于感兴趣区域，得到上述感兴趣区域信息。
与不支持ROI的ISP相比，本申请实施例提出的基于事件识别感兴趣区域的智能图像信号处理方案，可以通过事件传感器提供的信息，经过简单的计算获得感兴趣区域，并且在ISP启动前就将获得的感兴趣区域信息导入，继而依靠ROI信息将有限的计算力更多聚焦在更重要的区域内，提高ROI区域的图像质量，从而为后续的识别提供基础，提高识别率，从而显著提高本申请实施例中的自研ISP模块的竞争力。
在一种可选的实施例中，获取上述待处理图像以及上述感测数据包括：
步骤S702，从图像采集装置获取上述待处理图像以及从图像动态感知装置获取上述感测数据。
可选的，上述图像动态感知装置为事件传感器，在本申请实施例中，可以从图像采集装置获取上述待处理图像以及从事件传感器获取上述感测数据。
基于本申请实施例所提出的一种全新的基于事件信息的感兴趣区域提取方案，通过增加一个廉价的事件传感器，以极低的面积和极小的功耗完成感兴趣区域的识别，相比于现有感兴趣区域识别方案在计算量和复杂度上都有巨大的优势，非常合适端侧部署。基于本申请实施例所提出的一种基于事件识别感兴趣区域的智能图像信号处理系统，可以依据获得的感兴趣区域信息，将有限的计算力合理分配，提升核心敏感区域的图像处理算法复杂度，从而呈现更高的图像质量，提升整体系统的性能。
本申请实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图4示出了一种用于实现图像处理方法的计算机终端(或移动设备)的硬件结构框图。如图4所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图4所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的图像处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述图像处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个非易失性存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例上述的方法。
实施例2
根据本申请实施例，还提供了一种用于实施上述图像处理方法的装置实施例，图5是根据本申请实施例的一种图像处理装置的结构示意图，如图5所示，该装置包括：第一获取模块500、第二获取模块502、确定模块504和处理模块506，其中：
第一获取模块500，用于获取待处理图像以及上述待处理图像对应的感测数据；第二获取模块502，用于基于上述感测数据获取上述待处理图像的感兴趣区域信息；确定模块504，用于利用上述感兴趣区域信息确定上述待处理图像中的第一图像区域和第二图像区域，其中，上述第一图像区域是由上述感兴趣区域信息确定的图像区域，上述第二图像区域是上述待处理图像中除上述第一图像区域之外剩余的图像区域；处理模块506，用于采用第一处理方式处理上述第一图像区域，以及采用第二处理方式处理上述第二图像区域，其中，上述第一处理方式的计算复杂度高于上述第二处理方式的计算复杂度。
此处需要说明的是，上述第一获取模块500、第二获取模块502、确定模块504和处理模块506对应于实施例1中的步骤S202至步骤S208，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
需要说明的是，本实施例的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。
实施例3
根据本申请实施例，还提供了一种图形计算处理器的实施例，图6是根据本申请实施例的一种图形计算处理器的结构示意图，如图6所示，该图形计算处理器包括：感测数据处理单元600、图像数据处理单元602、输出单元604，其中：
感测数据处理单元600，用于获取待处理图像以及上述待处理图像对应的感测数据；并基于上述感测数据获取上述待处理图像的感兴趣区域信息；图像数据处理单元602，用于利用上述感兴趣区域信息确定上述待处理图像中的第一图像区域和第二图像区域，并采用第一处理方式处理上述第一图像区域，以及采用第二处理方式处理上述第二图像区域，得到处理后图像，其中，上述第一图像区域是由上述感兴趣区域信息确定的图像区域，上述第二图像区域是上述待处理图像中除上述第一图像区域之外剩余的图像区域；上述第一处理方式的计算复杂度高于上述第二处理方式的计算复杂度；输出单元604，用于输出上述处理后图像。
在本发明实施例中，通过获取待处理图像以及上述待处理图像对应的感测数据；基于上述感测数据获取上述待处理图像的感兴趣区域信息；利用上述感兴趣区域信息确定上述待处理图像中的第一图像区域和第二图像区域，其中，上述第一图像区域是由上述感兴趣区域信息确定的图像区域，上述第二图像区域是上述待处理图像中除上述第一图像区域之外剩余的图像区域；采用第一处理方式处理上述第一图像区域，以及采用第二处理方式处理上述第二图像区域，其中，上述第一处理方式的计算复杂度高于上述第二处理方式的计算复杂度。
通过本申请实施例，依据待处理图像对应的感测数据获得的感兴趣区域信息，将有限的计算力合理分配，提升感兴趣区域信息中的核心敏感区域的图像处理算法的复杂度，从而对核心敏感区域呈现更高的图像处理质量，进而可以提升图像处理的整体处理性能。
由此，本申请实施例达到了在保证感兴趣区域图像质量的前提下，提升整体图像处理性能的目的，从而实现了兼顾图像处理复杂度和计算量的技术效果，进而解决了现有技术中的图像处理方法难以在保证感兴趣区域图像质量的前提下，提升整体图像处理性能的技术问题。
需要说明的是，本申请实施例所提供的一种图形计算处理器是一种对图像信号处理(ISP)的增强处理方案，通过获取待处理图像中的感兴趣区域信息(ROI区域信息)，帮助提高端侧计算性能的利用有效性，达到提高ISP性能的目标。而本申请实施例在获取感兴趣区域信息的实现上，本申请实施例采用了一种基于动态视觉传感器及神经脉冲网络的算法，可以以极小的功耗及面积在ISP流水线最前端完成获取ROI区域。
本申请上述实施例所提供的图像处理方法可以但不限于应用于本申请实施例中图形计算处理器中，例如，图像信号处理(ISP)硬件IP(IOT融合芯片)，上述融合芯片主要用于以下终端产品：AI智能终端、考勤终端、视频会议终端、便携智能相机、直播终端。
在一种可选的实施例中，上述待处理图像包括：多个像素，上述感测数据包括：与上述多个像素中每个像素对应的空间域信息和时间域信息。
可选的，上述空间域信息为感测像素位置信息，上述时间域信息为感测时序信息。
在一种可选的实施例中，上述感测数据用于示意上述待处理图像中的事件信息，其中，上述感测数据的数据量小于上述待处理图像的数据量。
在一种可选的实施例中，上述感测数据处理单元的数据处理能力低于上述图像数据处理单元。
在一种可选的实施例中，上述第一处理方式用于对上述第一图像区域进行编解码处理和/或目标标识处理，上述第二处理方式用于对上述第二图像区域进行编解码处理和/或目标标识处理。
作为一种可选的实施例，本申请方案的一个简单实现结构示意图如图2所示，图2中传感器矫正(Sensor correction)、镜头阴影矫正(Lens shading)、数据处理等都是ISP的实现过程。而在本申请方案中，将添加基于事件的动态视觉传感器及相应的脉冲神经网络处理单元(SNN)，通过对事件信息的判断，得出当前正在发生快速变化的区域(例如一张图片中的老人跌倒区域)，并将这个事件信息传输给ISP单元。
作为一种可选的实施例，在获取上述事件信息后，ISP单元将根据这一事件信息调整后续的ISP处理方式，可选的调整包括：非感兴趣区域使用较差的去噪算法如中值滤波，而感兴趣区域使用较强的去噪算法如BM3D等，如果所有的区域都使用较为复杂的算法，则可能出现计算量上的问题，通过将有限的计算量用在更为重要的感兴趣区域上，可以在保证重点区域图像质量的前提下提高整体运算性能。
通过本申请实施例提出的基于事件信息的感兴趣区域提取方案，本申请方案的核心在于增加一个廉价的事件传感器及轻量级的特点提取网络，以极低的面积和极小的功耗完成感兴趣区域的识别，相比于现有感兴趣区域识别方案在计算量和复杂度上都有巨大的优势，非常合适端侧部署。
在一种可选的实施例中，上述图像处理方法还可以应用于一种基于事件识别感兴趣区域的智能图像信号处理系统，该系统可依据获取的感兴趣区域信息，将有限的计算力合理分配，以提升核心敏感区域的图像处理算法复杂度，从而呈现更高的图像质量，提升整体系统的性能。
在一种可选的实施例中，上述感测数据处理单元包括：第一事件处理模组，用于基于上述空间域信息和第一法则获取具有第一事件的第一感兴趣区域信息；第二事件处理模组，用于基于上述空间域信息、上述时间域信息和第二法则获取具有第二事件的第二感兴趣区域信息。
可选的，上述感测数据包括：与上述多个像素中每个像素对应的空间域信息和时间域信息。
可选的，上述第一事件和第二事件可以为动态事件，该动态事件的事件类型依据空间域特征和时间域特征来确定，如图3所示，例如，第一事件和第二事件可以分别为空间域上动态事件A和时间域上动态事件B，图3中每一个白色圆圈为一个像素差值事件，每一个虚线方框为每一帧。空间域上动态事件A的特征提取图表示在每一帧内，如果4个像素点内都有事件发生的话，则会产生一个空间域上动态事件。
在本申请实施例中，依据空间域特征和时间域特征来确定当前发生的动态事件的工作原理是根据如下4个参数变量来提取事件特征：α：空间范围内的特征提取区域；α_threshold：空间范围内特征提取区域的阈值；T：时间间范围内的特征提取区域；T_threshold：时间范围内特征提取区域的阈值。
如图3所示，由于4帧里面总共产生两个事件A类型(Event type A)的动态事件，则动态事件A的特征提取图参数是：α＝4；T＝1；α的阈值α_threshold＝3；T的阈值T_threshold＝0；意味着在一个4点区域内取一帧来看，需要这4点区域全部产生动态事件，才认为产生一个动态事件A(阈值为3，大于3只可能为4点，单帧情况下T的阈值只能为0)。
由于动态事件A是空间域上的，代表当前帧这一块区域均出现了像素变化事件，而动态事件B(Event type B)是时间上的，代表连续几帧这个点或区域均出现像素变化事件，动态事件B相对于动态事件A增加了空间上的概念，第一个参数代表取的空间特征α的数目，第二个参数T代表取的时间帧的数目，第三个参数代表的是选取的空间点中大于这一参数才生成一个事件，假定第一个参数α＝16，第三个参数＝12，则代表16个点中要有超过12个点输出时间才代表整个区域存在一个事件，第四个参数代表时间帧上大于这一参数帧出现事件才生成动态事件。
与上述动态事件A的生成方式同理，动态事件B的特征提取参数是：α＝2；T＝3；α_threshold＝1；T_threshold＝2；既在每一帧内有两个像素差值发生，并且该空间区域连续三帧都重复此现象则产生一个动态事件B,动态事件B中的特征提取参数意味着2点这个区域，当区域内所有点均产生事件，3帧图像之内每一帧图像均产生事件，满足所有这些条件才确定为生成动态事件B。
与不支持ROI的ISP相比，本申请实施例提出的基于事件识别感兴趣区域的智能图像信号处理方案，可以通过事件传感器提供的信息，经过简单的计算获得感兴趣区域，并且在ISP启动前就将获得的感兴趣区域信息导入，继而依靠ROI信息将有限的计算力更多聚焦在更重要的区域内，提高ROI区域的图像质量，从而为后续的识别提供基础，提高识别率，从而显著提高本申请实施例中所提供的自研ISP模块的竞争力。
基于本申请实施例所提出的一种全新的基于事件信息的感兴趣区域提取方案，通过增加一个廉价的事件传感器，以极低的面积和极小的功耗完成感兴趣区域的识别，相比于现有感兴趣区域识别方案在计算量和复杂度上都有巨大的优势，非常合适端侧部署。基于本申请实施例所提出的一种基于事件识别感兴趣区域的智能图像信号处理系统，可以依据获得的感兴趣区域信息，将有限的计算力合理分配，提升核心敏感区域的图像处理算法复杂度，从而呈现更高的图像质量，提升整体系统的性能。
需要说明的是，本实施例的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。
实施例4
根据本发明实施例，还提供了一种图像处理系统的实施例，包括：图形计算处理器；以及存储器，与上述图形计算处理器连接，用于为上述图形计算处理器提供处理以下处理步骤的指令：
获取待处理图像以及上述待处理图像对应的感测数据；基于上述感测数据获取上述待处理图像的感兴趣区域信息；利用上述感兴趣区域信息确定上述待处理图像中的第一图像区域和第二图像区域，其中，上述第一图像区域是由上述感兴趣区域信息确定的图像区域，上述第二图像区域是上述待处理图像中除上述第一图像区域之外剩余的图像区域；采用第一处理方式处理上述第一图像区域，以及采用第二处理方式处理上述第二图像区域，其中，上述第一处理方式的计算复杂度高于上述第二处理方式的计算复杂度。
在本发明实施例中，通过获取待处理图像以及上述待处理图像对应的感测数据；基于上述感测数据获取上述待处理图像的感兴趣区域信息；利用上述感兴趣区域信息确定上述待处理图像中的第一图像区域和第二图像区域，其中，上述第一图像区域是由上述感兴趣区域信息确定的图像区域，上述第二图像区域是上述待处理图像中除上述第一图像区域之外剩余的图像区域；采用第一处理方式处理上述第一图像区域，以及采用第二处理方式处理上述第二图像区域，其中，上述第一处理方式的计算复杂度高于上述第二处理方式的计算复杂度。
通过本申请实施例，依据待处理图像对应的感测数据获得的感兴趣区域信息，将有限的计算力合理分配，提升感兴趣区域信息中的核心敏感区域的图像处理算法的复杂度，从而对核心敏感区域呈现更高的图像处理质量，进而可以提升图像处理的整体处理性能。
由此，本申请实施例达到了在保证感兴趣区域图像质量的前提下，提升整体图像处理性能的目的，从而实现了兼顾图像处理复杂度和计算量的技术效果，进而解决了现有技术中的图像处理方法难以在保证感兴趣区域图像质量的前提下，提升整体图像处理性能的技术问题。
需要说明的是，本实施例的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。
实施例5
根据本申请的实施例，还提供了一种计算机终端的实施例，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算机终端可以执行图像处理方法中以下步骤的程序代码：获取待处理图像以及上述待处理图像对应的感测数据；基于上述感测数据获取上述待处理图像的感兴趣区域信息；利用上述感兴趣区域信息确定上述待处理图像中的第一图像区域和第二图像区域，其中，上述第一图像区域是由上述感兴趣区域信息确定的图像区域，上述第二图像区域是上述待处理图像中除上述第一图像区域之外剩余的图像区域；采用第一处理方式处理上述第一图像区域，以及采用第二处理方式处理上述第二图像区域，其中，上述第一处理方式的计算复杂度高于上述第二处理方式的计算复杂度。
可选地，图7是根据本申请实施例的另一种计算机终端的结构框图，如图7所示，该计算机终端可以包括：一个或多个(图中仅示出一个)处理器702、存储器704、以及外设接口706。
其中，存储器可用于存储软件程序以及模块，如本发明实施例中的图像处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取待处理图像以及上述待处理图像对应的感测数据；基于上述感测数据获取上述待处理图像的感兴趣区域信息；利用上述感兴趣区域信息确定上述待处理图像中的第一图像区域和第二图像区域，其中，上述第一图像区域是由上述感兴趣区域信息确定的图像区域，上述第二图像区域是上述待处理图像中除上述第一图像区域之外剩余的图像区域；采用第一处理方式处理上述第一图像区域，以及采用第二处理方式处理上述第二图像区域，其中，上述第一处理方式的计算复杂度高于上述第二处理方式的计算复杂度。
可选的，上述处理器还可以执行如下步骤的程序代码：基于上述空间域信息和第一法则获取具有第一事件的第一感兴趣区域信息。
可选的，上述处理器还可以执行如下步骤的程序代码：基于上述空间域信息、上述时间域信息和第二法则获取具有第二事件的第二感兴趣区域信息。
可选的，上述处理器还可以执行如下步骤的程序代码：利用神经网络模型对上述感测数据进行数据处理，得到上述感兴趣区域信息。
可选的，上述处理器还可以执行如下步骤的程序代码：基于上述感测数据确定上述待处理图像所包含的每个像素是否位于感兴趣区域，得到上述感兴趣区域信息。
可选的，上述处理器还可以执行如下步骤的程序代码：从图像采集装置获取上述待处理图像以及从图像动态感知装置获取上述感测数据。
采用本发明实施例，提供了一种图像处理的方案。通过获取待处理图像以及上述待处理图像对应的感测数据；基于上述感测数据获取上述待处理图像的感兴趣区域信息；利用上述感兴趣区域信息确定上述待处理图像中的第一图像区域和第二图像区域，其中，上述第一图像区域是由上述感兴趣区域信息确定的图像区域，上述第二图像区域是上述待处理图像中除上述第一图像区域之外剩余的图像区域；采用第一处理方式处理上述第一图像区域，以及采用第二处理方式处理上述第二图像区域，其中，上述第一处理方式的计算复杂度高于上述第二处理方式的计算复杂度。
通过本申请实施例，依据待处理图像对应的感测数据获得的感兴趣区域信息，将有限的计算力合理分配，提升感兴趣区域信息中的核心敏感区域的图像处理算法的复杂度，从而对核心敏感区域呈现更高的图像处理质量，进而可以提升图像处理的整体处理性能。
由此，本申请实施例达到了在保证感兴趣区域图像质量的前提下，提升整体图像处理性能的目的，从而实现了兼顾图像处理复杂度和计算量的技术效果，进而解决了现有技术中的图像处理方法难以在保证感兴趣区域图像质量的前提下，提升整体图像处理性能的技术问题。
本领域普通技术人员可以理解，图7所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、穿戴式智能设备、笔记本电脑、桌上型电脑、智能家居设备、IoT智能设备、车联网设备，以及移动互联网设备(Mobile InternetDevices，MID)等终端设备。图7其并不对上述电子装置的结构造成限定。例如，计算机终端还可包括比图7中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图7所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读非易失性存储介质中，非易失性存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
实施例6
根据本申请的实施例，还提供了一种非易失性存储介质的实施例。可选地，在本实施例中，上述非易失性存储介质包括存储的程序，其中，在上述程序运行时控制上述非易失性存储介质所在设备执行上述的图像处理方法。
可选地，在本实施例中，上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：获取待处理图像以及上述待处理图像对应的感测数据；基于上述感测数据获取上述待处理图像的感兴趣区域信息；利用上述感兴趣区域信息确定上述待处理图像中的第一图像区域和第二图像区域，其中，上述第一图像区域是由上述感兴趣区域信息确定的图像区域，上述第二图像区域是上述待处理图像中除上述第一图像区域之外剩余的图像区域；采用第一处理方式处理上述第一图像区域，以及采用第二处理方式处理上述第二图像区域，其中，上述第一处理方式的计算复杂度高于上述第二处理方式的计算复杂度。
可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：基于上述空间域信息和第一法则获取具有第一事件的第一感兴趣区域信息。
可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：基于上述空间域信息、上述时间域信息和第二法则获取具有第二事件的第二感兴趣区域信息。
可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：利用神经网络模型对上述感测数据进行数据处理，得到上述感兴趣区域信息。
可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：基于上述感测数据确定上述待处理图像所包含的每个像素是否位于感兴趣区域，得到上述感兴趣区域信息。
可选地，在本实施例中，非易失性存储介质被设置为存储用于执行以下步骤的程序代码：从图像采集装置获取上述待处理图像以及从图像动态感知装置获取上述感测数据。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取非易失性存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个非易失性存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的非易失性存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像以及所述待处理图像对应的感测数据；
基于所述感测数据获取所述待处理图像的感兴趣区域信息；
利用所述感兴趣区域信息确定所述待处理图像中的第一图像区域和第二图像区域，其中，所述第一图像区域是由所述感兴趣区域信息确定的图像区域，所述第二图像区域是所述待处理图像中除所述第一图像区域之外剩余的图像区域；
采用第一处理方式处理所述第一图像区域，以及采用第二处理方式处理所述第二图像区域，其中，所述第一处理方式的计算复杂度高于所述第二处理方式的计算复杂度。
2.根据权利要求1所述的图像处理方法，其特征在于，所述待处理图像包括：多个像素，所述感测数据包括：与所述多个像素中每个像素对应的空间域信息和时间域信息。
3.根据权利要求2所述的图像处理方法，其特征在于，所述空间域信息为感测像素位置信息，所述时间域信息为感测时序信息。
4.根据权利要求1或2所述的图像处理方法，其特征在于，所述感测数据用于示意所述待处理图像中的事件信息，其中，所述感测数据的数据量小于所述待处理图像的数据量。
5.根据权利要求2所述的图像处理方法，其特征在于，基于所述感测数据获取所述待处理图像的所述感兴趣区域信息包括：
基于所述空间域信息和第一法则获取具有第一事件的第一感兴趣区域信息。
6.根据权利要求2所述的图像处理方法，其特征在于，基于所述感测数据获取所述待处理图像的所述感兴趣区域信息包括：
基于所述空间域信息、所述时间域信息和第二法则获取具有第二事件的第二感兴趣区域信息。
7.根据权利要求1所述的图像处理方法，其特征在于，基于所述感测数据获取所述待处理图像的所述感兴趣区域信息包括：
利用神经网络模型对所述感测数据进行数据处理，得到所述感兴趣区域信息。
8.根据权利要求1所述的图像处理方法，其特征在于，基于所述感测数据获取所述待处理图像的所述感兴趣区域信息包括：
基于所述感测数据确定所述待处理图像所包含的每个像素是否位于感兴趣区域，得到所述感兴趣区域信息。
9.根据权利要求1所述的图像处理方法，其特征在于，获取所述待处理图像以及所述感测数据包括：
从图像采集装置获取所述待处理图像；以及
从图像动态感知装置获取所述感测数据。
10.根据权利要求1所述的图像处理方法，其特征在于，所述第一处理方式用于对所述第一图像区域进行编解码处理和/或目标标识处理，所述第二处理方式用于对所述第二图像区域进行编解码处理和/或目标标识处理。
11.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取待处理图像以及所述待处理图像对应的感测数据；
第二获取模块，用于基于所述感测数据获取所述待处理图像的感兴趣区域信息；
确定模块，用于利用所述感兴趣区域信息确定所述待处理图像中的第一图像区域和第二图像区域，其中，所述第一图像区域是由所述感兴趣区域信息确定的图像区域，所述第二图像区域是所述待处理图像中除所述第一图像区域之外剩余的图像区域；
处理模块，用于采用第一处理方式处理所述第一图像区域，以及采用第二处理方式处理所述第二图像区域，其中，所述第一处理方式的计算复杂度高于所述第二处理方式的计算复杂度。
12.一种图形计算处理器，其特征在于，包括：
感测数据处理单元，用于获取待处理图像以及所述待处理图像对应的感测数据；并基于所述感测数据获取所述待处理图像的感兴趣区域信息；
图像数据处理单元，用于利用所述感兴趣区域信息确定所述待处理图像中的第一图像区域和第二图像区域，并采用第一处理方式处理所述第一图像区域，以及采用第二处理方式处理所述第二图像区域，得到处理后图像，其中，所述第一图像区域是由所述感兴趣区域信息确定的图像区域，所述第二图像区域是所述待处理图像中除所述第一图像区域之外剩余的图像区域；所述第一处理方式的计算复杂度高于所述第二处理方式的计算复杂度；
输出单元，用于输出所述处理后图像。
13.根据权利要求12所述的图形计算处理器，其特征在于，所述感测数据处理单元包括：
第一事件处理模组，用于基于空间域信息和第一法则获取具有第一事件的第一感兴趣区域信息；
第二事件处理模组，用于基于所述空间域信息、时间域信息和第二法则获取具有第二事件的第二感兴趣区域信息。
14.根据权利要求12所述的图形计算处理器，其特征在于，所述感测数据处理单元的数据处理能力低于所述图像数据处理单元。
15.一种图像处理系统，其特征在于，包括：
权利要求12至14中任意一项所述的图形计算处理器；以及
存储器，与所述图形计算处理器连接，用于为所述图形计算处理器提供处理以下处理步骤的指令：
获取待处理图像以及所述待处理图像对应的感测数据；
基于所述感测数据获取所述待处理图像的感兴趣区域信息；
利用所述感兴趣区域信息确定所述待处理图像中的第一图像区域和第二图像区域，其中，所述第一图像区域是由所述感兴趣区域信息确定的图像区域，所述第二图像区域是所述待处理图像中除所述第一图像区域之外剩余的图像区域；
采用第一处理方式处理所述第一图像区域，以及采用第二处理方式处理所述第二图像区域，其中，所述第一处理方式的计算复杂度高于所述第二处理方式的计算复杂度。
16.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至10中任意一项所述的图像处理方法。
CN202110297577.3A 2021-03-19 2021-03-19 图像处理方法及装置、存储介质和图形计算处理器 Pending CN115115526A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110297577.3A CN115115526A (zh) 2021-03-19 2021-03-19 图像处理方法及装置、存储介质和图形计算处理器
US17/698,859 US20220301278A1 (en) 2021-03-19 2022-03-18 Image processing method and apparatus, storage medium, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110297577.3A CN115115526A (zh) 2021-03-19 2021-03-19 图像处理方法及装置、存储介质和图形计算处理器

Publications (1)

Publication Number Publication Date
CN115115526A true CN115115526A (zh) 2022-09-27

Family

ID=83283864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110297577.3A Pending CN115115526A (zh) 2021-03-19 2021-03-19 图像处理方法及装置、存储介质和图形计算处理器

Country Status (2)

Country Link
US (1) US20220301278A1 (zh)
CN (1) CN115115526A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030535B (zh) * 2023-03-24 2023-06-20 深圳时识科技有限公司 手势识别方法及装置、芯片和电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170132466A1 (en) * 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US10582196B2 (en) * 2017-06-30 2020-03-03 Intel Corporation Generating heat maps using dynamic vision sensor events
EP3789909A1 (en) * 2019-09-06 2021-03-10 GrAl Matter Labs S.A.S. Image classification in a sequence of frames

Also Published As

Publication number Publication date
US20220301278A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
JP7266672B2 (ja) 画像処理方法および画像処理装置、ならびにデバイス
JP7226851B2 (ja) 画像処理の方法および装置並びにデバイス
WO2022068584A1 (zh) 图像处理方法、装置、计算机设备及存储介质
CN107690804B (zh) 一种图像处理方法及用户终端
US11948280B2 (en) System and method for multi-frame contextual attention for multi-frame image and video processing using deep neural networks
CN107908998B (zh) 二维码解码方法、装置、终端设备及计算机可读存储介质
US11200681B2 (en) Motion detection method and motion detection system with low computational complexity and high detection accuracy
CN111881862B (zh) 手势识别方法及相关装置
CN108574803B (zh) 图像的选取方法、装置、存储介质及电子设备
CN115631122A (zh) 一种用于边缘图像算法的图像优化方法及装置
CN115314617A (zh) 图像处理系统及方法、计算机可读介质和电子设备
CN115115526A (zh) 图像处理方法及装置、存储介质和图形计算处理器
CN113658065A (zh) 图像降噪方法及装置、计算机可读介质和电子设备
CN113538304A (zh) 图像增强模型的训练方法及装置、图像增强方法及装置
CN112489144A (zh) 图像处理方法、图像处理装置、终端设备及存储介质
WO2023001110A1 (zh) 神经网络训练方法、装置及电子设备
CN111489289B (zh) 一种图像处理方法、图像处理装置及终端设备
CN110930340A (zh) 一种图像处理方法及装置
CN114584831B (zh) 提高视频清晰度的视频优化处理方法、装置、设备和存储介质
CN112270639B (zh) 一种图像处理方法、图像处理装置以及存储介质
CN112261296B (zh) 一种图像增强方法、图像增强装置及移动终端
CN114998172A (zh) 图像处理方法及相关系统
CN110475044B (zh) 图像传输方法和装置、电子设备、计算机可读存储介质
CN108335278B (zh) 图像的处理方法、装置、存储介质及电子设备
CN111179158A (zh) 图像处理方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240313

Address after: # 03-06, Lai Zan Da Building 1, 51 Belarusian Road, Singapore

Applicant after: Alibaba Innovation Co.

Country or region after: Singapore

Address before: Room 01, 45th Floor, AXA Building, 8 Shanton Road, Singapore

Applicant before: Alibaba Singapore Holdings Ltd.

Country or region before: Singapore

TA01 Transfer of patent application right