CN115706768A - 一种图像处理方法、图像处理芯片及电子设备 - Google Patents

一种图像处理方法、图像处理芯片及电子设备 Download PDF

Info

Publication number
CN115706768A
CN115706768A CN202110894743.8A CN202110894743A CN115706768A CN 115706768 A CN115706768 A CN 115706768A CN 202110894743 A CN202110894743 A CN 202110894743A CN 115706768 A CN115706768 A CN 115706768A
Authority
CN
China
Prior art keywords
image
processing
processor
image processor
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110894743.8A
Other languages
English (en)
Inventor
吴义孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zeku Technology Shanghai Corp Ltd
Original Assignee
Zeku Technology Shanghai Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zeku Technology Shanghai Corp Ltd filed Critical Zeku Technology Shanghai Corp Ltd
Priority to CN202110894743.8A priority Critical patent/CN115706768A/zh
Priority to PCT/CN2022/100535 priority patent/WO2023011032A1/zh
Publication of CN115706768A publication Critical patent/CN115706768A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法、图像处理芯片及电子设备，该方法通过监测图像处理器的运行状态获取运行状态信息，根据运行状态信息为图像处理器确定与当前运行状态信息匹配的最佳工作模式，当图像处理器运行第一工作模式时，对图像数据进行隔帧处理，当图像处理器运行第二工作模式时，对图像数据进行降采样处理以及隔帧处理。实现了图像处理器工作模式的自适应调整，从而优化图像处理器的功耗，解决单一的工作模式下长时间处理高帧率图像存在的高功耗问题，达到平衡图像处理器功耗和图像处理效果的目的。

Description

一种图像处理方法、图像处理芯片及电子设备
技术领域
本申请涉及图像处理技术，尤其涉及一种图像处理方法、图像处理芯片及电子设备。
背景技术
随着图像处理技术的发展，电子设备搭载高分辨率和高帧率的显示屏已十分普遍，但随之也伴随着图像处理器进行图像处理时的高功耗问题。目前电子设备中通过设置图像处理器对信号进行预处理，但在长时间处理高分辨率和高帧率的图像时，图像处理器的高功耗问题更为严重。
发明内容
为解决上述技术问题，本申请实施例期望提供一种图像处理方法、图像处理芯片及电子设备。
本申请的技术方案是这样实现的：
第一方面，提供了一种图像处理方法，包括：
获取所述图像处理器的运行状态信息；
根据所述运行状态信息确定所述图像处理器运行在第一工作模式或第二工作模式，其中，当所述图像处理器运行在所述第一工作模式时，对图像数据进行隔帧处理；当所述图像处理器运行在所述第二工作模式时，对图像数据进行降采样处理以及隔帧处理。
第二方面，提供了一种图像处理芯片，包括：图像处理器以及与图像处理器耦合的应用处理器，所述图像处理器用于处理接收到的图像数据，所述图像处理器具有第一工作模式和第二工作模式，
其中，当所述图像处理器运行在第一工作模式时，所述图像处理器对所述图像数据进行隔帧处理以得到第一图像数据；
当所述图像处理器运行在第二工作模式时，所述图像处理器对所述图像数据进行降采样处理后进行隔帧处理以得到第一图像数据；
所述应用处理器用于对所述第一图像数据进行处理。
第三方面，提供了一种电子设备，所述电子设备包括：
图像获取装置，用于采集图像数据；
图像处理器，用于执行前述第一方面由图像处理器实现的方法步骤。
本申请实施例提供了一种图像处理方法、图像处理芯片及电子设备，该方法通过监测图像处理器的运行状态获取运行状态信息，根据运行状态信息为图像处理器确定与当前运行状态信息匹配的最佳工作模式，当图像处理器运行第一工作模式时，对图像数据进行隔帧处理，当图像处理器运行第二工作模式时，对图像数据进行降采样处理以及隔帧处理。实现了图像处理器工作模式的自适应调整，从而优化图像处理器的功耗，解决单一的工作模式下长时间处理高帧率图像存在的高功耗问题，达到平衡图像处理器功耗和图像处理效果的目的。
附图说明
图1为本申请实施例中图像处理方法的第一流程示意图；
图2为本申请实施例中图像处理方法的第二流程示意图；
图3为本申请实施例中图像处理器工作模式的分类示意图；
图4为本申请实施例中图像处理方法的第三流程示意图；
图5为本申请实施例中隔帧处理的流程示意图；
图6为本申请实施例中图像处理方法的第四流程示意图；
图7为本申请实施例中降采样和升采样处理的流程示意图；
图8为本申请实施例中图像处理方法的第五流程示意图；
图9为本申请实施例中图像处理芯片的组成结构示意图；
图10为本申请实施例中电子设备的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
本申请实施例提供了一种图像处理方法，用于自适应调整图像处理器的工作模式，该方法应用于图像处理器。电子设备包括应用处理器(Application Processor，AP)和图像处理器(Image Signal Processor，ISP)，ISP也可以称为前端图像处理器(PreviousImage Signal Processor，Pre-ISP)。图像处理器对图像获取装置采集到的原始图像数据执行前端图像处理器操作，应用处理器用于执行后端图像处理操作。
本申请中描述的电子设备具备拍摄功能，电子设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、可穿戴设备、相机、智能汽车等。
下面对本申请实施例提供了一种图像处理方法进行详细的举例说明，图1为本申请实施例中图像处理方法的第一流程示意图，如图1所示，该方法具体可以包括：
步骤101：获取图像处理器的运行状态信息；
这里，运行状态信息用于表征图像处理器的功耗，根据运行状态信息确定与图像处理器的当前功耗匹配的最佳工作模式。示例性的，运行状态信息包括以下至少之一：所述图像处理器的温度、在预设工作时长内所述图像处理器的功耗。图像处理器包括温度检测装置和功耗检测装置，温度检测装置用于检测温度，功耗检测装置用于检测功耗。
温度可与表征图像处理器的功耗相关联，温度越高则表示功耗越大。上述的预设工作时长可以为30秒、60秒、90秒、120秒、5分钟等。
步骤102：根据所述运行状态信息确定所述图像处理器运行在第一工作模式或第二工作模式，其中，当所述图像处理器运行在所述第一工作模式时，对图像数据进行隔帧处理；当所述图像处理器运行在所述第二工作模式时，对图像数据进行降采样处理以及隔帧处理。
图像处理器的工作模式至少包括第一工作模式和第二工作模式，图像传感器在不同功耗下运行不同工作模式。
第一工作模式和第二工作模式可称为低功耗模式，图像处理器运行第一工作模式的功耗大于运行第二工作模式的功耗。低功耗模式可以理解为ISP对输入的图像数据简化处理，不同低功耗模式ISP采用不同的简化处理策略执行对图像数据的处理。本申请实施例中，在低功耗模式下ISP对高帧率和高分辨率的视频进行降采样、隔帧处理等以减少处理数据量。
示例性的，在一些实施例中，该方法还包括：预先设置多个运行条件，不同运行条件对应不同工作模式；相应的，运行条件包括以下至少之一：所述图像处理器的温度位于预设的温度范围内；所述图像处理器的功耗位于预设的功耗范围内。不同运行条件对应不同温度范围以及不同功耗范围。
从预设的运行条件中，确定所述运行状态信息所满足的目标运行条件；所述目标运行条件为第一运行条件时，确定所述图像处理器运行在所述第一工作模式；所述目标运行条件为第二运行条件时，确定所述图像处理器运行在所述第二工作模式。
示例性的，在一些实施例中，工作模式还包括高性能模式，所述图像处理器运行在任一种低功耗模式的功耗小于运行在所述高性能模式的功耗。高性能模式可以理解为不对图像处理器的处理过程进行任何调整，根据所述运行状态信息确定所述图像处理器运行在高性能模式，图像处理器能够对输入的图像数据进行正常处理。实际应用中，根据运行状态信息确定图像传感器当前功耗较低时，运行高性能模式实现高质量的图像处理效果。
采用上述技术方案，实现了图像处理器工作模式的自适应调整，从而优化图像处理器的功耗，解决单一的工作模式下长时间处理高帧率图像存在的高功耗问题，达到平衡图像处理器功耗和图像处理效果的目的。
基于上述实施例，下面对图像处理方法进行进一步举例说明，图2为本申请实施例中图像处理方法的第二流程示意图，如图2所示，该处理方法具体包括：
步骤201：获取所述图像处理器的运行状态信息；
步骤202：从预设的运行条件中，确定所述运行状态信息所满足的目标运行条件；
示例性的，在一些实施例中，该方法还包括：预先设置多个运行条件，不同运行条件对应不同工作模式；
相应的，运行条件包括以下至少之一：所述图像处理器的温度位于预设的温度范围内；所述图像处理器的功耗位于预设的功耗范围内。不同运行条件对应不同温度范围以及不同功耗范围。温度范围中的温度阈值可以在产品研发阶段根据实验数据预先设置，功耗范围中的功耗阈值可以在产品研发阶段根据实验数据预先设置。温度范围和功耗范围包括上限值和/或下限值。
示例性的，运行状态信息包括以下至少之一：所述图像处理器的温度、在预设工作时长内所述图像处理器的功耗。相应的，运行状态信息包括ISP的温度和功耗，第一工作模式对应的第一运行条件包括：温度位于第一温度范围，或者功耗位于第一功耗范围。具体地，若温度位于第一温度范围之内，或者功耗位于第一功耗范围内，确定运行状态信息满足第一运行条件；若温度位于第一温度范围之外，且功耗位于第一功耗范围之外，确定运行状态信息不满足第一运行条件。也就是说，当温度或功耗任意一个位于预设范围，则确定第一运行条件满足，否则，确定第一运行条件不满足。
在另一些实施例中，第一运行条件包括：温度位于第一温度范围，且功耗位于第一功耗范围。也就是说，ISP的温度和功耗同时满足第一运行条件时，确定运行状态信息满足第一运行条件；否则，确定运行状态信息不满足第一运行条件。
在另一些实施例中，运行状态信息只包括ISP的温度，第一运行条件包括：温度位于第一温度范围；或者运行状态信息只包括ISP的功耗，第一运行条件包括：功耗位于第一功耗范围。
步骤203：所述目标运行条件为第一运行条件时，确定所述图像处理器运行在所述第一工作模式；
其中，当所述图像处理器运行在所述第一工作模式时，对图像数据进行隔帧处理。
步骤204：所述目标运行条件为第二运行条件时，确定所述图像处理器运行在所述第二工作模式；
其中，当所述图像处理器运行在所述第二工作模式时，对图像数据进行降采样处理以及隔帧处理。
参考第一运行条件，第二运行条件对应第二温度范围和第二功耗范围。
步骤205：所述目标运行条件为第三运行条件时，确定所述图像处理器运行在所述第三工作模式。
其中，当所述图像处理器运行在所述第三工作模式时，将所述图像处理器中的部分模块设置为旁路模式。
参考第一运行条件，第三运行条件对应第三温度范围和第三功耗范围。
示例性的，在一些实施例中，工作模式还包括高性能模式，高性能模式设置有对应的高性能运行条件，所述图像处理器运行在任一种低功耗模式的功耗小于运行在所述高性能模式的功耗。高性能模式可以理解为不对图像处理器的处理过程进行任何调整，根据所述运行状态信息确定所述图像处理器运行在高性能模式，图像处理器能够对输入的图像数据进行正常处理。实际应用中，根据运行状态信息确定图像传感器当前功耗较低时，运行高性能模式实现高质量的图像处理效果。
示例性的，图3为本申请实施例中图像处理器工作模式的分类示意图，如图3所示，通过设置3个阈值，即阈值1、阈值2和阈值3，将图像处理器的分为四种工作模式，即高性能模式、第一工作模式、第二工作模式和第三工作模式，图像处理器运行这四种工作模式时功耗依次从高到底。第一工作模式、第二工作模式和第三工作模式可称为低功耗模式。
控制装置根据图像处理器的运行状态信息确定图像处理器的最佳工作模式，例如，运行状态信息包括温度和功耗，每个阈值中包括温度阈值和功耗阈值，当温度和功耗小于阈值1时，控制图像处理器进入高性能模式；当温度或功耗大于等于阈值1，且均小于阈值2时，控制图像处理器进入第一工作模式；当温度或功耗大于等于阈值2，且均小于阈值3时，控制图像处理器进入第二工作模式；当温度或功耗大于等于阈值3时，控制图像处理器进入第三工作模式。
这里，通过阈值1、阈值2和阈值3来设置不同工作模式对应的运行条件，运行状态信息与运行条件进行比较，判断运行状态信息所满足的目标运行条件，从而确定目标运行条件对应的目标工作模式。
控制装置可以属于图像处理器，即有图像处理器内部的控制装置控制工作模式的切换，控制装置可以属于与图像处理器耦合的应用处理器或者其他处理器。
需要说明的是，当图像处理器还包括第四工作模式时，第四工作模式对应第四运行条件，第四运行条件对应第四温度范围和第四功耗范围。这里，第四工作模式是指为了表征图像处理器还可以包括其他工作模式，并不是为了限定工作模式的数量。
需要说明的是，本申请采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，不必用于描述特定的顺序或先后次序。
采用上述技术方案，实现了图像处理器工作模式的自适应调整，从而优化图像处理器的功耗，解决单一的工作模式下长时间处理高帧率图像存在的高功耗问题，达到平衡图像处理器功耗和图像处理效果的目的。
基于上述实施例，下面对ISP工作在第一工作模式时的图像处理方法进行举例说明，图4为本申请实施例中图像处理方法的第三流程示意图，如图4所示，ISP运行第一工作模式时，图像处理方法具体包括：
步骤401：获取图像处理器的运行状态信息；
步骤402：根据所述运行状态信息确定所述图像处理器运行在第一工作模式；
以图3为例，当检测到ISP的运行状态信息处于阈值1和阈值2之间时，确定ISP的最佳工作模式为第一工作模式。
步骤403：对图像数据进行隔帧处理，得到第一图像数据和已处理图像的3A统计数据；
这里，图像数据为图像获取装置采集到的原始图像数据。
示例性的，隔帧处理时，间隔帧数可以为一帧也可以为两帧。可以根据算法需求将未处理图像的3A统计数据换成前后已处理图像的3A统计数据，而不需要逐帧统计或计算，以减少ISP处理的压力，但为了提高视频图像质量，AP侧对未处理图像进行补偿。例如在镜头阴影校正(Lens Shading Correction，LSC)处理时，对于间隔帧只做实际的LSC处理，而不会进行基于该图像的检查表计算，而对间隔帧进行的LSC处理所依据的检查表信息则可以使用前一相邻帧的检查表信息，以此来保证图像的LSC处理效果。
步骤404：将所述第一图像数据和所述3A统计数据发送给应用处理器，以供所述应用处理器通过已处理图像的3A统计数据对所述第一图像数据中的未处理图像进行图像补偿，得到第二图像数据。
需要说明的是，ISP进行隔帧处理后，如果不进行图像补偿，会影响视频质量。因此，AP侧确定ISP运行在第一工作模式时，AP侧会进行对应的补偿处理。
示例性的，在一些实施例中，将所述第一图像数据和所述3A统计数据发送给应用处理器，以供所述应用处理器通过前一帧已处理图像的3A统计数据对当前帧未处理图像进行图像补偿处理；或者，将所述第一图像数据和所述3A统计数据发送给应用处理器，以供所述应用处理器对前一帧已处理图像和后一帧已处理图像的3A统计数据进行加权处理，得到加权3A统计数据；通过所述加权3A统计数据对当前帧未处理图像进行图像补偿处理。
也就是说，AP侧对当前帧未处理图像进行补偿时，可以利用其前一帧已处理图像的3A统计数据进行补偿，或者为了提高补偿准确性也可以先将前一帧已处理图像和后一帧已处理图像的3A统计数据进行加权处理，再利用加权3A统计数据进行补偿。
示例性的，在进行加权处理时，前一帧已处理图像的3A统计数据的权重高于后一帧的。
示例性的，图5为本申请实施例中隔帧处理的流程示意图，如图5所示，
图像数据为：D1、D2、D3、D4、D5、D6、D7……
图像数据进入ISP后，所有数据先经过前端模块(Front End，FE)进行处理，再经过后端模块(Back End，BE)对进行隔帧处理，隔帧处理的数据为图4中灰色块部分(D1、D3、D5、D7)，而未经BE模块处理的数据(D2、D4、D6)，直接送到AP侧；
ISP隔帧处理的数据(D1、D3、D5、D7)的3A统计数据通过移动行业处理器接口(Mobile Industry Processor Interface MIPI)传递给AP侧，在AP侧通过数据共享，未处理图像共享相邻帧的3A统计数据，从而使ISP进行逐帧处理，减少ISP内部存储器的读写操作，降低ISP功耗目的。
示例性的，拍摄高帧率和高分辨率的视频(例如4K视频)，视频预览时，对图像质量要求不高，AP侧可以利用前一帧已处理图像的3A统计数据进行图像补偿，减少计算量节约ISP能耗。视频保存时，对图像质量要求较高，为了在功耗和图像处理效果之间取得平衡，AP侧可以利用加权3A统计数据进行图像补偿。
基于上述实施例，下面对ISP工作在第二工作模式时的图像处理方法进行举例说明，图6为本申请实施例中图像处理方法的第四流程示意图，如图6所示，ISP运行第二工作模式时，图像处理方法具体包括：
步骤601：获取图像处理器的运行状态信息；
步骤602：根据所述运行状态信息确定所述图像处理器运行在第二工作模式；
以图3为例，当检测到ISP的运行状态信息处于阈值2和阈值3之间时，确定ISP的最佳工作模式为第二工作模式。
步骤603：对图像数据进行降采样处理，对降采样后的图像数据进行隔帧处理，得到第一图像数据和已处理图像的3A统计数据；
这里，图像数据为图像获取装置采集到的原始图像数据。图像获取装置包括摄像头和图像传感器。例如，电子设备为手机时，摄像头可以为后置主摄像头、后置广角摄像头、后置长焦摄像头或者前置摄像头。
示例性的，降采样处理时，采样系数k可以为1也可以为2。
示例性的，隔帧处理时，间隔帧数可以为一帧也可以为两帧。可以根据算法需求将未处理图像的3A统计数据换成前后已处理图像的3A统计数据，而不需要逐帧统计或计算，以减少ISP处理的压力，但为了提高视频图像质量，AP侧对未处理图像进行补偿。例如在镜头阴影校正(Lens Shading Correction，LSC)处理时，对于间隔帧只做实际的LSC处理，而不会进行基于该图像的检查表计算，而对间隔帧进行的LSC处理所依据的检查表信息则可以使用前一相邻帧的检查表信息，以此来保证图像的LSC处理效果。
步骤603：将所述第一图像数据和所述3A统计数据发送给应用处理器，以供所述应用处理器通过已处理图像的3A统计数据对所述第一图像数据中的未处理图像进行图像补偿，并对补偿后的图像数据进行升采样处理，得到第二图像数据。
需要说明的是，ISP进行降采样和隔帧处理后，如果不进行升采样和图像补偿，会影响视频质量。因此，AP侧确定ISP运行在第二工作模式时，AP侧会进行对应的补偿处理和升采样。补偿处理为了提高图像质量，升采样处理为了恢复到原始图像尺寸。
示例性的，升采样处理可以基于双线性插值法实现，也可以为超分辨率技术(Super-Resolution，SR)实现。
图7为本申请实施例中降采样和升采样处理的流程示意图，如图7所示，ISP侧对接收到的高x宽的图像进行降采样处理，且降采样系数为1，得到图像尺寸为高/2x宽/2，即在原图像中每行每列每隔1个点取一个点组成一幅图像，再对将采样后的图像进行隔帧处理，进一步减小ISP侧的计算量节约ISP能耗。同样为了保证图像显示效果，在AP侧先对图像进行上采样，以恢复图像尺寸到高x宽，再进行图像补偿处理。
示例性的，在一些实施例中，将所述第一图像数据和所述3A统计数据发送给应用处理器，以供所述应用处理器通过前一帧已处理图像的3A统计数据对当前帧未处理图像进行图像补偿处理；或者，将所述第一图像数据和所述3A统计数据发送给应用处理器，以供所述应用处理器对前一帧已处理图像和后一帧已处理图像的3A统计数据进行加权处理，得到加权3A统计数据；通过所述加权3A统计数据对当前帧未处理图像进行图像补偿处理。
也就是说，AP侧对当前帧未处理图像进行补偿时，可以利用其前一帧已处理图像的3A统计数据进行补偿，或者为了提高补偿准确性也可以先将前一帧已处理图像和后一帧已处理图像的3A统计数据进行加权处理，再利用加权3A统计数据进行补偿。隔帧处理和补偿处理可以参考图5。
示例性的，在进行加权处理时，前一帧已处理图像的3A统计数据的权重高于后一帧的。
基于上述实施例，下面对ISP工作在第三工作模式时的图像处理方法进行举例说明，图8为本申请实施例中图像处理方法的第五流程示意图。
示例性的，如图8所示，所述图像处理器包括前端模块(FE)和后端模块(BE)，所述前端模块用于对图像传感器采集的图像数据进行前端处理，将处理后的数据存储到存储器；后端模块用于从存储器中读取图像数据进行后端处理。图像处理器运行在第三工作模式，保留前端模块(FE)功能，将后端模块(BE)设置为旁路模式(也称Bypass模式)。图像数据经图8中处理路径82经过前端模块(FE)处理后，发送到AP侧。
图像处理器运行高性能模式，图像数据经图8中处理路径83先经过前端模块(FE)处理，将处理后的数据先存储到存储器，后端模块(BE)从存储器中读取图像数据进行后端处理，再将处理后的图像数据发送到AP侧。
在一些实施例中，工作模式还包括第四工作模式，当所述图像处理器运行在所述第三工作模式时，将所述图像处理器设置为旁路模式。
第四工作模式也为一种低功耗模式，且ISP运行第四工作模式的功耗小于运行在第三工作模式的功耗。运行第四工作模式，将图像处理器设置为旁路模式，以图8为例，将图像处理器设置为旁路模式包括将前端模块(FE)和后端模块(BE)都设置为旁路模式，图像数据经图8中处理路径81直接发送到AP侧。
第三工作模式与第四工作模式相比，将后端模块(BE)设置为旁路模式由于保留了ISP部分处理能力，最终得到的图像处理效果更好。
示例性的，ISP运行第一工作模式和第二工作模式时，图像数据可以为FF模块处理后的数据，在后端模块(BE)中对图像数据进行降采样处理和隔帧处理。ISP运行在第三工作模式，ISP将图像数据直接发送给AP。
需要说明的是，ISP中还可以包括其他模块，图8中未示出。
采用上述技术方案，通过共享中间处理结果的方式来减少ISP的计算量，从而减少功耗，可以根据算法需求将未处理图像的3A统计数据换成前后已处理图像的3A统计数据，而不需要逐帧统计或计算，以减少ISP处理的压力，但为了提高视频图像质量，AP侧对未处理图像进行补偿。
为实现本申请实施例的方法，基于同一发明构思本申请实施例还提供了一种图像处理器芯片，如图9所示，该图像处理芯片90包括：
图像处理器901a以及与图像处理器901a耦合的应用处理器901b，所述图像处理器901a用于处理接收到的图像数据，所述图像处理器901a具有第一工作模式和第二工作模式，
其中，当所述图像处理器901a运行在第一工作模式时，所述图像处理器901a对图像数据进行隔帧处理以得到第一图像数据；
当所述图像处理器901a运行在第二工作模式时，所述图像处理器901a对图像数据进行降采样处理后进行隔帧处理以得到第一图像数据；
所述应用处理器901b用于对所述第一图像数据进行处理。
在一些实施例中，图像处理器901a运行第一工作模式时，对图像数据进行隔帧处理，得到第一图像数据和已处理图像的3A统计数据；将所述第一图像数据和所述3A统计数据发送给应用处理器，以供所述应用处理器通过已处理图像的3A统计数据对所述第一图像数据中的未处理图像进行图像补偿，得到第二图像数据。
在一些实施例中，图像处理器901a运行第二工作模式时，对图像数据进行降采样处理，对降采样后的图像数据进行隔帧处理，得到第一图像数据和已处理图像的3A统计数据；将所述第一图像数据和所述3A统计数据发送给应用处理器，以供所述应用处理器通过已处理图像的3A统计数据对所述第一图像数据中的未处理图像进行图像补偿，并对补偿后的图像数据进行升采样处理，得到第二图像数据。
在一些实施例中，所述应用处理器901b用于将所述第一图像数据和所述3A统计数据发送给应用处理器，以供所述应用处理器通过前一帧已处理图像的3A统计数据对当前帧未处理图像进行图像补偿处理；
或者，所述应用处理器901b用于将所述第一图像数据和所述3A统计数据发送给应用处理器，以供所述应用处理器对前一帧已处理图像和后一帧已处理图像的3A统计数据进行加权处理，得到加权3A统计数据；通过所述加权3A统计数据对当前帧未处理图像进行图像补偿处理。
在一些实施例中，图像处理器901a运行在第三工作模式，将图像处理器中的部分模块设置为旁路模式。
在一些实施例中，图像处理器901a根据所述运行状态信息确定工作模式，具体的，从预设的运行条件中，确定所述运行状态信息所满足的目标运行条件；所述目标运行条件为第一运行条件时，确定所述图像处理器运行在所述第一工作模式；所述目标运行条件为第二运行条件时，确定所述图像处理器运行在所述第二工作模式；所述目标运行条件为第三运行条件时，确定所述图像处理器运行在所述第三工作模式。
在一些实施例中，所述运行状态信息包括以下至少之一：所述图像处理器的温度、预设工作时长所述图像处理器的功耗，
所述运行条件包括以下至少之一：
所述图像处理器的温度位于预设的温度范围内；
所述图像处理器的功耗位于预设的功耗范围内。
可选地，如图9所示，图像处理芯片90还可以包括存储器902。其中，图像处理器901a和应用处理器901b可以从存储器902中调用并运行计算机程序，以实现本申请实施例中的方法。
其中，存储器902可以是独立于图像处理器901a和应用处理器901b的一个单独的器件，也可以集成在图像处理器901a和应用处理器901b中。
可选地，该图像处理芯片90还可以包括输入接口903。通过输入接口903与其他设备或芯片进行通信，具体地，可以获取其他设备或芯片发送的信息或数据。
可选地，该图像处理芯片90还可以包括输出接口904。通过输出接口904与其他设备或芯片进行通信，具体地，可以向其他设备或芯片输出信息或数据。
可选地，该图像处理芯片90可应用于本申请实施例中的电子设备。
应理解，本申请实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。
在实际应用中，上述处理器可以为特定用途集成电路(ASIC，ApplicationSpecific Integrated Circuit)、数字信号处理装置(DSPD，Digital Signal ProcessingDevice)、可编程逻辑装置(PLD，Programmable Logic Device)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
上述存储器可以是易失性存储器(volatile memory)，例如随机存取存储器(RAM，Random-Access Memory)；或者非易失性存储器(non-volatile memory)，例如只读存储器(ROM，Read-Only Memory)，快闪存储器(flash memory)，硬盘(HDD，Hard Disk Drive)或固态硬盘(SSD，Solid-State Drive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
本申请实施例还提供了电子设备，本申请中描述的电子设备具备拍摄功能，电子设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(PersonalDigital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、可穿戴设备、相机、智能汽车等。
如图10所示，该电子设备100包括：
图像获取装置1001，用于采集图像数据；
图像处理器1002，用于执行上述实施例中图像处理器实现的方法步骤。
应用处理器1003，用于接收经由所述图像处理器处理过的第一图像数据并对所述第一图像处理数据进行处理。
当然，实际应用时，如10所示，该电子设备100中的各个组件通过总线系统1004耦合在一起。可理解，总线系统1004用于实现这些组件之间的连接通信。总线系统1004除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统1004。
在示例性实施例中，本申请实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，计算机程序可由图像处理器执行，以完成前述方法的步骤。
本申请实施例还提供了一种计算机程序产品，包括计算机程序指令。
可选的，该计算机程序产品可应用于本申请实施例中的图像处理器，并且该计算机程序指令使得计算机执行本申请实施例的各个方法中由图像处理器实现的相应流程，为了简洁，在此不再赘述。
本申请实施例还提供了一种计算机程序。
可选的，该计算机程序可应用于本申请实施例中的图像处理器，当该计算机程序在计算机上运行时，使得计算机执行本申请实施例的各个方法中由图像处理器实现的相应流程，为了简洁，在此不再赘述。
应当理解，在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本申请中表述“具有”、“可以具有”、“包括”和“包含”、或者“可以包括”和“可以包含”在本文中可以用于指示存在对应的特征(例如，诸如数值、功能、操作或组件等元素)，但不排除附加特征的存在。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，不必用于描述特定的顺序或先后次序。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种图像处理方法，应用于图像处理器，其特征在于，所述方法包括：
获取所述图像处理器的运行状态信息；
根据所述运行状态信息确定所述图像处理器运行在第一工作模式或第二工作模式，其中，当所述图像处理器运行在所述第一工作模式时，对图像数据进行隔帧处理；当所述图像处理器运行在所述第二工作模式时，对图像数据进行降采样处理以及隔帧处理。
2.根据权利要求1所述的方法，其特征在于，所述当所述图像处理器运行在所述第一工作模式时，对图像数据进行隔帧处理，包括：
对所述图像数据进行隔帧处理，得到第一图像数据和已处理图像的3A统计数据；
将所述第一图像数据和所述3A统计数据发送给应用处理器，以供所述应用处理器通过已处理图像的3A统计数据对所述第一图像数据中的未处理图像进行图像补偿，得到第二图像数据。
3.根据权利要求1所述的方法，其特征在于，所述当所述图像处理器运行在所述第二工作模式时，对图像数据进行降采样处理以及隔帧处理，包括：
对所述图像数据进行降采样处理，对降采样后的图像数据进行隔帧处理，得到第一图像数据和已处理图像的3A统计数据；
将所述第一图像数据和所述3A统计数据发送给应用处理器，以供所述应用处理器通过已处理图像的3A统计数据对所述第一图像数据中的未处理图像进行图像补偿，并对补偿后的图像数据进行升采样处理，得到第二图像数据。
4.根据权利要求2或3所述的方法，其特征在于，
将所述第一图像数据和所述3A统计数据发送给应用处理器，以供所述应用处理器通过前一帧已处理图像的3A统计数据对当前帧未处理图像进行图像补偿处理；
或者，将所述第一图像数据和所述3A统计数据发送给应用处理器，以供所述应用处理器对前一帧已处理图像和后一帧已处理图像的3A统计数据进行加权处理，得到加权3A统计数据；通过所述加权3A统计数据对当前帧未处理图像进行图像补偿处理。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述运行状态信息确定所述图像处理器运行在第三工作模式，其中，当所述图像处理器运行在所述第三工作模式时，将所述图像处理器中的部分模块设置为旁路模式。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
从预设的运行条件中，确定所述运行状态信息所满足的目标运行条件；
所述目标运行条件为第一运行条件时，确定所述图像处理器运行在所述第一工作模式；
所述目标运行条件为第二运行条件时，确定所述图像处理器运行在所述第二工作模式；
所述目标运行条件为第三运行条件时，确定所述图像处理器运行在所述第三工作模式。
7.根据权利要求6所述的方法，其特征在于，所述运行状态信息包括以下至少之一：所述图像处理器的温度、预设工作时长所述图像处理器的功耗，
所述运行条件包括以下至少之一：
所述图像处理器的温度位于预设的温度范围内；
所述图像处理器的功耗位于预设的功耗范围内。
8.一种图像处理芯片，其特征在于，包括：
图像处理器以及与图像处理器耦合的应用处理器，所述图像处理器用于处理接收到的图像数据，所述图像处理器具有第一工作模式和第二工作模式，
其中，当所述图像处理器运行在第一工作模式时，所述图像处理器对所述图像数据进行隔帧处理以得到第一图像数据；
当所述图像处理器运行在第二工作模式时，所述图像处理器对所述图像数据进行降采样处理后进行隔帧处理以得到第一图像数据；
所述应用处理器用于对所述第一图像数据进行处理。
9.一种电子设备，其特征在于，所述电子设备包括：
图像获取装置，用于采集图像数据；
图像处理器，用于执行权利要求1至7任一项由图像处理器实现的方法步骤。
10.如权利要求9所述的电子设备，其特征在于，还包括应用处理器，
应用处理器，用于接收经由所述图像处理器处理过的第一图像数据并对所述第一图像处理数据进行处理。
CN202110894743.8A 2021-08-05 2021-08-05 一种图像处理方法、图像处理芯片及电子设备 Pending CN115706768A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110894743.8A CN115706768A (zh) 2021-08-05 2021-08-05 一种图像处理方法、图像处理芯片及电子设备
PCT/CN2022/100535 WO2023011032A1 (zh) 2021-08-05 2022-06-22 一种图像处理方法、图像处理芯片及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110894743.8A CN115706768A (zh) 2021-08-05 2021-08-05 一种图像处理方法、图像处理芯片及电子设备

Publications (1)

Publication Number Publication Date
CN115706768A true CN115706768A (zh) 2023-02-17

Family

ID=85154242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110894743.8A Pending CN115706768A (zh) 2021-08-05 2021-08-05 一种图像处理方法、图像处理芯片及电子设备

Country Status (2)

Country Link
CN (1) CN115706768A (zh)
WO (1) WO2023011032A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201821A (zh) * 2016-06-29 2016-12-07 宇龙计算机通信科技(深圳)有限公司 终端控制方法、终端控制装置和终端
US20180007336A1 (en) * 2016-07-01 2018-01-04 Qualcomm Incorporated Correlation based approach for skipping frames
CN107803029B (zh) * 2017-10-26 2021-03-12 Oppo广东移动通信有限公司 显示处理方法及相关产品
CN107959965B (zh) * 2017-11-20 2021-03-19 Oppo广东移动通信有限公司 应用程序的降帧方法、装置、移动终端及可读存储介质
JP7270538B2 (ja) * 2019-12-27 2023-05-10 富士フイルム株式会社 放射線撮影装置、放射線撮影装置の作動方法、および放射線撮影装置の作動プログラム

Also Published As

Publication number Publication date
WO2023011032A1 (zh) 2023-02-09

Similar Documents

Publication Publication Date Title
WO2012044434A1 (en) Overflow control techniques for image signal processing
US20120081553A1 (en) Spatial filtering for image signal processing
US9049380B2 (en) Image processing apparatus for generating an image having an expanded dynamic range and method thereof, and image capture apparatus
CN112785510B (zh) 图像处理方法和相关产品
CN101262559A (zh) 一种序列图像噪声消除的方法及装置
US7589779B2 (en) Imaging module, interface, and method handling multiple simultaneous data types
KR20090100427A (ko) 이미지 전처리 방법 및 장치와 이미지 처리 아키텍처 및 이미징 장치
US8194155B2 (en) Information processing apparatus, buffer control method, and computer program
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
EP3820141A1 (en) Imaging control method and apparatus, electronic device, and readable storage medium
US10469749B1 (en) Temporal filter with criteria setting maximum amount of temporal blend
US9131158B2 (en) Moving-image capturing apparatus and electronic zoom method for moving image
EP1763238B1 (en) Image processor, imaging device, and image processing system
US11223762B2 (en) Device and method for processing high-resolution image
WO2018140141A1 (en) Adaptive buffering rate technology for zero shutter lag (zsl) camera-inclusive devices
US20220301278A1 (en) Image processing method and apparatus, storage medium, and electronic device
WO2007060498A1 (en) Method and system for filtering image data
CN110312074A (zh) 图像采集方法及电子设备
CN117768774A (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
CN115706768A (zh) 一种图像处理方法、图像处理芯片及电子设备
CN108307114B (zh) 图像的处理方法、装置、存储介质及电子设备
US20040196380A1 (en) Image processing device, camera and image processing method
CN110753229A (zh) 基于h.265编码的视频采集装置及方法
US11812165B2 (en) Method and apparatus for dynamically changing frame rate of sensor output frames according to whether motion blur condition is met
CN113873143B (zh) 多媒体处理芯片和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination