CN112822404A - 一种图像处理方法及装置、存储介质 - Google Patents

一种图像处理方法及装置、存储介质 Download PDF

Info

Publication number
CN112822404A
CN112822404A CN202110034396.1A CN202110034396A CN112822404A CN 112822404 A CN112822404 A CN 112822404A CN 202110034396 A CN202110034396 A CN 202110034396A CN 112822404 A CN112822404 A CN 112822404A
Authority
CN
China
Prior art keywords
image frame
image
exposure parameter
determining
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110034396.1A
Other languages
English (en)
Other versions
CN112822404B (zh
Inventor
朱文波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110034396.1A priority Critical patent/CN112822404B/zh
Publication of CN112822404A publication Critical patent/CN112822404A/zh
Application granted granted Critical
Publication of CN112822404B publication Critical patent/CN112822404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了一种图像处理方法及装置、存储介质，包括：采集当前图像帧；并将当前图像帧划分为第一图像区域和第二图像区域；统计第一图像区域的第一亮度信息；并根据第一亮度信息确定主要曝光参数；确定第二图像区域对应的长曝光参数；在每个采集周期内，利用长曝光参数进行第一帧图像采集，得到第一图像帧，利用主要曝光参数继续进行图像采集，得到第二图像帧；基于第一图像帧，对第二图像帧进行处理，得到处理后的第二图像帧；并输出第一图像帧和处理后的第二图像帧。

Description

一种图像处理方法及装置、存储介质
技术领域
本申请涉及电子应用领域，尤其涉及一种图像处理方法及装置、存储介质。
背景技术
在现实世界中，太阳光直射到最暗的阴暗处的范围跨度极大，一般的照相技术只能呈现其中的部分效果，会导致高光或者阴影中的细节丢失；而高动态范围成像(HighDynamic Range Imaging，HDR)技术由于可以提供更大曝光的动态范围，能够在一张照片上呈现真实世界中从太阳光直射到最暗阴影的范围亮度，进而能够使得照片中的高光和阴影部分细节都很清晰。
目前的HDR技术是基于连续的长中短或者长短规律、利用对应的曝光参数获取不同曝光参数对应的数据帧，然后进行HDR处理；会导致曝光效果差、无法满足数据流帧率的问题。
发明内容
本申请实施例提供一种图像处理方法及装置、存储介质，能够在满足数据流帧率的情况下提高曝光效果。
本申请的技术方案是这样实现的：
本申请实施例提出一种图像处理方法，所述方法包括：
采集当前图像帧；并将当前图像帧划分为第一图像区域和第二图像区域；
统计所述第一图像区域的第一亮度信息；并根据所述第一亮度信息确定主要曝光参数；
确定所述第二图像区域对应的长曝光参数；
在每个采集周期内，利用所述长曝光参数进行第一帧图像采集，得到第一图像帧，利用所述主要曝光参数继续进行图像采集，得到第二图像帧；
基于所述第一图像帧，对所述第二图像帧进行处理，得到处理后的第二图像帧；并输出所述第一图像帧和所述处理后的第二图像帧。
本申请实施例提出一种图像处理装置，所述装置包括：
采集单元，用于采集当前图像帧；在每个采集周期内，利用长曝光参数进行第一帧图像采集，得到第一图像帧，利用主要曝光参数继续进行图像采集，得到第二图像帧；
划分单元，用于将当前图像帧划分为第一图像区域和第二图像区域；
统计单元，用于统计所述第一图像区域的第一亮度信息；
确定单元，用于并根据所述第一亮度信息确定主要曝光参数；确定所述第二图像区域对应的长曝光参数；
处理单元，用于基于所述第一图像帧，对所述第二图像帧进行处理，得到处理后的第二图像帧；
输出单元，用于输出所述第一图像帧和所述处理后的第二图像帧。
本申请实施例提出一种图像处理装置，所述装置包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如上述任一项所述的方法。
本申请实施例提出一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一项所述的方法。
本申请实施例提供了一种图像处理方法及装置、存储介质，该方法包括：采集当前图像帧；并将当前图像帧划分为第一图像区域和第二图像区域；统计第一图像区域的第一亮度信息；并根据第一亮度信息确定主要曝光参数；确定第二图像区域对应的长曝光参数；在每个采集周期内，利用长曝光参数进行第一帧图像采集，得到第一图像帧，利用主要曝光参数继续进行图像采集，得到第二图像帧；基于第一图像帧，对第二图像帧进行处理，得到处理后的第二图像帧；并输出第一图像帧和处理后的第二图像帧。采用上述方法实现方案，图像处理装置可以根据不同的需求将当前图像帧进行划分，之后根据不同图像区域设置主要曝光参数和长曝光参数，则设置的主要曝光参数和长曝光参数满足对图像的实际需求，之后利用长曝光参数和主要曝光参数进行后续的图像采集时，能够提高曝光效果，且结合之后的在每一个采集周期内，利用根据长曝光参数得到的第一图像帧对之后根据主要曝光参数得到的第二图像帧进行HDR处理，可以利用较少的图像帧得到更好的HDR效果，由此在满足数据流帧率的情况下提高曝光效果。
附图说明
图1为本申请实施例提供的一种图像处理方法的流程图；
图2为本申请实施例提供的一种示例性的利用曝光参数1和曝光参数2进行隔帧曝光的示意图；
图3为本申请实施例提供的一种示例性的利用曝光参数1、曝光参数2和曝光参数3进行隔帧曝光的示意图；
图4为本申请实施例提供的一种示例性的基于图像帧的深度信息进行单镜头隔帧长曝光来实现图像的HDR处理的流程示意图；
图5为本申请实施例提供的一种图像处理装置的结构示意图一；
图6为本申请实施例提供的一种图像处理装置的结构示意图二。
具体实施方式
应当理解，此处描述的具体实施例仅仅用以解释本申请。并不用于限定本申请。
本申请实施例提供一种图像处理方法，如图1所示，该方法可以包括：
S101、采集当前图像帧；并将当前图像帧划分为第一图像区域和第二图像区。
本申请实施例提出的一种图像处理方法适用于视频录制或者图像预览时，通过单镜头实现HDR、或其他基于不同处理参数获得多帧图像的场景中。
本申请实施例中，进行图像处理的装置可以为任何具备拍摄和处理功能的设备，例如：平板电脑、手机、个人计算机(Personal Computer，PC)、笔记本电脑、相机、可穿戴设备等设备。
本申请实施例中，在启动摄像头之后，基于当前的对焦参数驱动马达进行对焦来采集当前图像帧，并将当前图像帧划分为第一图像区域和第二图像区域。
需要说明的是，本申请实施例中的摄像头数量为一个，即本申请应用于单摄像头采集图像的场景之中，
在一种可选的实施例中，基于当前图像帧的深度信息对当前图像帧划分为第一图像区域和第二图像区域，具体的，首先获取当前图像帧对应的对焦参数，并根据对焦参数确定当前图像帧的对焦区域；之后，对当前图像帧进行深度计算，得到当前图像帧的第一深度信息；根据第一深度信息和对焦区域，从当前图像帧中确定出焦平面区域；将焦平面区域确定为第一图像区域；将当前图像帧中除焦平面区域外的区域确定为第二图像区域。
需要说明的是，第一图像区域可以为一个，即焦平面区域；也可以为多个，即焦平面区域和次焦平面区域，具体的可以根据实际情况进行确定，本申请实施例不做具体的限定。其中，次焦平面区域的数量可以为一个，也可以为多个，具体的次焦平面区域的数量可以根据实际情况进行选择，本申请实施例不做具体的限定。
进一步地，在从当前图像帧中确定出焦平面区域之后，还可以获取焦平面区域对应的第二深度信息，并根据第二深度信息的值，从当前图像帧中确定次焦平面区域，此时，焦平面区域和次焦平面区域共同组成了本申请所述的第一图像区域。其中，焦平面区域对应的第二深度信息为焦平面区域的前后区域的深度信息。
需要说明的是，可以根据不同的第二深度信息的值，选择不同的次焦平面区域，也可以确定多个第二深度信息的值来选择多个次焦平面区域。
在另一种可选的实施例中，基于当前图像帧的亮度信息对当前图像帧划分为第一图像区域和第二图像区域，具体的，首先将当前图像帧划分为多个亮度区域，并确定多个亮度区域对应的多个亮度信息；从多个亮度信息中确定出满足预设亮度条件的目标亮度信息，并从多个亮度区域中查找目标亮度信息对应的目标亮度区域；将目标亮度区域确定为第一图像区域；将多个亮度区域中除目标亮度区域外的区域确定为第二图像区域。如可以对多个亮度信息进行聚类，并将其中最大类别的亮度信息对应的区域作为目标亮度区域，此时该目标亮度区域为整幅图像中较多亮度信息对应的区域。
本申请实施例中，在图像采集的过程中，还可以更新长曝光参数和主要曝光参数，具体的，可以通过不同的触发条件触发曝光参数调整流程，在触发了曝光参数调整流程之后，会采集当前图像帧，并将当前采集到的图像帧划分为第一图像区域和第二图像区域，如预先设置间隔帧数，每隔预设间隔帧数触发一次曝光参数调整流程；或者实时检测拍摄场景，在检测到拍摄场景发生变化时，触发曝光参数调整流程；具体的曝光参数的触发条件可以根据实际情况进行选择，本申请实施例不做具体的限定。
S102、统计第一图像区域的第一亮度信息；并根据第一亮度信息确定主要曝光参数。
在将当前图像帧划分为第一图像区域和第二图像区域之后，统计第一图像区域的第一亮度信息，并根据第一亮度信息确定主要曝光参数。
本申请实施例中，利用神经网络统计第一图像区域的第一亮度信息；并根据第一亮度信息确定主要曝光参数。
需要说明的是，在第一图像区域为焦平面区域的场景中，利用神经网络统计焦平面区域的亮度信息，并根据焦平面区域的亮度信息得到主要曝光参数。
进一步地，由于第一图像区域还可以包括次焦平面区域，在这种场景下，还可以统计次焦平面区域的亮度信息，并根据次焦平面区域的亮度信息确定中曝光参数。
需要说明的是，可以将次焦平面区域的亮度信息输入神经网络中，得到中曝光参数。
需要说明的是，由于次焦平面区域的数量可以为一个或者多个，对应的，中曝光参数的数量也可以为一个或者多个，一个次焦平面区域对应一个中曝光参数，具体的中曝光参数的数量可以根据实际确定的次焦平面区域的数量决定，本申请实施例不做具体的限定。
S103、确定第二图像区域对应的长曝光参数。
在将当前图像帧划分为第一图像区域和第二图像区域之后，确定第二图像区域对应的长曝光参数。
本申请实施例中，可以通过两种方法确定第二图像区域对应的长曝光参数，一种是预先设置长曝光参数，之后直接查找该预设长曝光参数，并将该预设长曝光参数确定为长曝光参数；第二种是统计第二图像区域的第二亮度信息，并根据第二亮度信息确定长曝光参数；具体的长曝光参数设置方法可以根据实际情况进行选择，本申请实施例不做具体限定。
需要说明的是，可以将第二亮度信息输入神经网络中，得到长曝光参数。
S104、在每个采集周期内，利用长曝光参数进行第一帧图像采集，得到第一图像帧，利用主要曝光参数继续进行图像采集，得到第二图像帧。
在得到主要曝光参数和长曝光参数之后，就在每个采集周期内，利用长曝光参数进行第一帧图像采集，得到第一图像帧，并将第一图像帧进行缓存；利用主要曝光参数继续进行图像采集，得到第二图像帧。
本申请实施例中，可以根据利用长曝光参数进行图像采集时的间隔帧数来设置采集周期，如设置每隔5帧利用长曝光参数进行一次图像采集，即采集周期为5帧。具体的采集周期内的间隔帧数可以根据拍摄亮度信息来确定。
需要说明的是，更新长曝光参数和/或主要曝光参数的预设间隔帧数与采集周期内的间隔帧数可以相同，也可以不相同，具体的根据实际情况进行选择，本申请实施例不做具体的限定。在更新了长曝光参数和/或主要曝光参数之后，继续之前的采集周期，利用更新后的长曝光参数和/或主要曝光参数进行图像采集。
本申请实施例中，第二图像帧的数量根据采集周期内的间隔帧数决定，如，采集周期为3帧，则第二图像帧的数量为2帧；具体的可以根据实际情况确定，本申请实施例不做具体的限定。
本申请实施例中，对于每个采集周期的第一帧，利用长曝光参数进行图像采集，得到第一图像帧，之后利用主要曝光参数继续进行图像采集，得到第二图像帧。
示例性的，设置有曝光参数1和曝光参数2这两种曝光参数，每隔3帧进行一次长曝光，即采集周期为3，如图2所示，第一帧基于曝光参数1进行一次长曝光、第二帧和第三帧基于曝光参数2进行一次曝光，此时第一个采集周期完成，第四帧与第一帧相同，基于曝光参数1进行一次长曝光，第五帧和第六帧基于曝光参数2进行一次曝光，此时第二个采集周期完成，依次类推，直至完成视频图像采集的过程。
需要说明的是，在设置了中曝光参数的场景中，每个采集周期还包括与中曝光参数对应的子采集周期，在利用主要曝光参数继续进行图像采集的过程中，在检测到子采集周期启动时，利用中曝光参数进行一帧图像采集，得到第三图像帧；之后继续利用主要曝光参数进行图像采集，得到第四图像帧。
示例性的，设置有曝光参数1、曝光参数2和曝光参数3这三种曝光参数，每隔6帧进行一次长曝光，每隔4帧进行一次中曝光，由此，在采集周期为6的情况下，其子采集周期为2，如图3所示，第一帧基于曝光参数1进行一次长曝光、第二帧和第三帧基于曝光参数2进行一次曝光，第四帧基于曝光参数3进行一次中曝光、第五帧和第六帧基于曝光参数2进行一次曝光，此时第一个采集周期完成，依次类推，直至完成视频图像的采集过程。
S105、基于第一图像帧，对第二图像帧进行处理，得到处理后的第二图像帧；并输出第一图像帧和处理后的第二图像帧。
在得到第二图像帧之后，基于第一图像帧，对第二图像帧进行处理，得到处理后的第二图像帧，并依次输出第一图像帧和处理后的第二图像帧。
本申请实施例中，分别获取第一图像帧的第一特征点信息和第二图像帧的第二特征点信息；基于第一特征点信息和第二特征点信息，对第一图像帧和第二图像帧进行图像匹配，得到匹配后的第一图像帧和匹配后的第二图像帧；基于匹配后的第一图像帧，对匹配后的第二图像帧进行处理，得到处理后的第二图像帧。
本申请实施例中，可以将第一特征点信息和第二特征点信息输入神经网络中进行图像匹配，输出匹配后的第一图像帧和匹配后的第二图像帧。
本申请实施例中，可以利用第一图像帧对第二图像帧进行HDR处理，或者利用第一图像帧对第二图像帧进行其他的图像处理，具体的可以根据实际情况进行选择，本申请实施例不做具体的限定。
需要说明的是，由于不同帧之间的时间差距，会使得第一图像帧和第二图像帧中的物体出现位移，如果直接利用第一图像这对第二图像帧进行HDR处理，可能会出现重影，因此，在利用第一图像帧对第二图像帧进行HDR处理之前，可以先利用特征点进行匹配，使得第二图像帧中偏移的图像区域能够正确匹配到对应第一图像帧中的图像区域，能够匹配因为时间差距导致的合成后的第二图像帧出现重影的问题。
具体的，可以根据特征点信息，先将第一图像帧和第二图像帧分别分割成小区域再进行小区域的图像匹配，从而实现，基于第一特征点信息和第二特征点信息，对第一图像帧和第二图像帧进行图像匹配的过程。需要说明的是，虽然图像帧中的某个小区域相对应与整幅图像而言发生了位移，但是小区域中的内部场景是稳定的，如，人脸区域、汽车区域等，虽然人脸信息或汽车区域相对于整幅图像而言出现的明显的运动，但人脸区域或是汽车区域本身却是相对稳定的，故，可以基于对应小区域的稳定性进行分割。
本申请实施例中，可以将第一图像帧和处理后的第二图像帧传输至后续的图像处理模块进行后续的图像处理，并将经后续的图像处理的图像帧显示在显示界面上。
在一种可选的实施例中，基于图像帧的深度信息进行单镜头隔帧长曝光来实现图像的HDR处理，具体的实现过程如图4所示，
1、启动相机；
2、根据对焦参数驱动马达进行对焦，获取RAW图像；
3、计算RAW图像对应的深度信息，并根据对焦参数确定对焦区域；
4、根据深度信息和对焦区域得到焦平面区域；
5、统计焦平面区域的亮度信息，并根据焦平面区域的亮度信息确定主要曝光参数；
6、根据RAW图像中焦平面区域以外的区域，确定长曝光参数；
7、根据主要曝光参数进行曝光，并每隔一定帧数利用长曝光参数进行一次长曝光操作；
8、利用最近得到的长曝光数据帧对当前获得的当前数据帧进行HDR处理；得到处理后的当前图像帧；
9、输出处理后的当前图像帧。
可以理解的是，图像处理装置可以根据不同的需求将当前图像帧进行划分，之后根据不同图像区域设置主要曝光参数和长曝光参数，则设置的主要曝光参数和长曝光参数满足对图像的实际需求，之后利用长曝光参数和主要曝光参数进行后续的图像采集时，能够提高曝光效果，且结合之后的在每一个采集周期内，利用根据长曝光参数得到的第一图像帧对之后根据主要曝光参数得到的第二图像帧进行HDR处理，可以在满足数据流帧率的情况下提高曝光效果。
基于上述实施例，本申请实施例还提供一种图像处理装置1。如图5所示，该装置1包括：
采集单元10，用于采集当前图像帧；在每个采集周期内，利用所述长曝光参数进行第一帧图像采集，得到第一图像帧，利用所述主要曝光参数继续进行图像采集，得到第二图像帧；
划分单元11，用于将当前图像帧划分为第一图像区域和第二图像区域；
统计单元12，用于统计所述第一图像区域的第一亮度信息；
确定单元13，用于并根据所述第一亮度信息确定主要曝光参数；确定所述第二图像区域对应的长曝光参数；
处理单元14，用于基于所述第一图像帧，对所述第二图像帧进行处理，得到处理后的第二图像帧；
输出单元15，用于输出所述第一图像帧和所述处理后的第二图像帧。
可选的，所述装置还包括：获取单元和深度计算单元；
所述获取单元，用于获取所述当前图像帧对应的对焦参数；
所述确定单元13，还用于根据所述对焦参数，确定所述当前图像帧的对焦区域；根据所述第一深度信息和对焦区域，从所述当前图像帧中确定出焦平面区域；将所述焦平面区域确定为所述第一图像区域；将所述当前图像帧中除所述焦平面区域外的区域确定为所述第二图像区域；
所述深度计算单元，用于对所述当前图像帧进行深度计算，得到所述当前图像帧的第一深度信息。
可选的，所述划分单元11，还用于将所述当前图像帧划分为多个亮度区域，并确定所述多个亮度区域对应的多个亮度信息；
所述确定单元13，还用于从所述多个亮度信息中确定出满足预设亮度条件的目标亮度信息，并从所述多个亮度区域中查找所述目标亮度信息对应的目标亮度区域；将所述目标亮度区域确定为所述第一图像区域；将所述多个亮度区域中除所述目标亮度区域外的区域确定为所述第二图像区域。
可选的，所述确定单元13，还用于利用神经网络统计所述第一亮度信息；并根据所述第一亮度信息确定主要曝光参数。
可选的，所述确定单元13，还用于查找预设长曝光参数，并将所述预设长曝光参数确定为所述长曝光参数。
可选的，所述统计单元12，还用于统计所述第二图像区域的第二亮度信息；
所述确定单元13，还用于根据所述第二亮度信息确定所述长曝光参数。
可选的，所述获取单元，还用于获取所述焦平面区域对应的第二深度信息；
所述确定单元13，还用于根据所述第二深度信息，从所述当前图像帧中确定次焦平面区域；将所述焦平面区域和所述次焦平面区域确定为所述第一图像区域。
可选的，所述统计单元12，还用于统计所述次焦平面区域的亮度信息；
所述确定单元13，还用于根据所述次焦平面区域的亮度信息确定中曝光参数。
可选的，所述采集周期包括与所述中曝光参数对应的子采集周期，
所述采集单元10，还用于利用所述主要曝光参数进行图像采集，得到第二图像帧；在检测到所述子采集周期启动时，利用所述中曝光参数进行一帧图像采集，得到第三图像帧；继续利用所述主要曝光参数进行图像采集，得到第四图像帧。
可选的，所述处理单元14，还用于基于所述第三图像帧，对所述第四图像帧进行HDR处理，得到处理后的第四图像帧；并输出所述第三图像帧和所述处理后的第四图像帧。
可选的，所述装置还包括：匹配单元；
所述获取单元，还用于分别获取所述第一图像帧的第一特征点信息和所述第二图像帧的第二特征点信息；
所述匹配单元，用于基于所述第一特征点信息和所述第二特征点信息，对所述第一图像帧和所述第二图像帧进行图像匹配，得到匹配后的第一图像帧和匹配后的第二图像帧；
所述处理单元14，还用于基于所述匹配后的第一图像帧，对所述匹配后的第二图像帧进行HDR处理，得到所述处理后的第二图像帧。
可选的，所述采集周期内的间隔帧数根据拍摄亮度信息确定。
可选的，所述采集单元10，还用于在预设间隔帧数到达时，采集所述当前图像帧。
可选的，所述采集单元10，还用于在检测到拍摄场景变化时，采集所述当前图像帧。
本申请实施例提供的一种图像处理装置，采集当前图像帧；并将当前图像帧划分为第一图像区域和第二图像区域；统计第一图像区域的第一亮度信息；并根据第一亮度信息确定主要曝光参数；确定第二图像区域对应的长曝光参数；在每个采集周期内，利用长曝光参数进行第一帧图像采集，得到第一图像帧，利用主要曝光参数继续进行图像采集，得到第二图像帧；基于第一图像帧，对第二图像帧进行处理，得到处理后的第二图像帧；并输出第一图像帧和处理后的第二图像帧。由此可见，本实施例提出的图像处理装置，图像处理装置可以根据不同的需求将当前图像帧进行划分，之后根据不同图像区域设置主要曝光参数和长曝光参数，则设置的主要曝光参数和长曝光参数满足对图像的实际需求，之后利用长曝光参数和主要曝光参数进行后续的图像采集时，能够提高曝光效果，且结合之后的在每一个采集周期内，利用根据长曝光参数得到的第一图像帧对之后根据主要曝光参数得到的第二图像帧进行HDR处理，可以在满足数据流帧率的情况下提高曝光效果。
图6为本申请实施例提供的一种图像处理装置1的组成结构示意图二，在实际应用中，基于上述实施例的同一公开构思下，如图6所示，本实施例的图像处理装置1包括：处理器16、存储器17及通信总线18。
在具体的实施例的过程中，上述采集单元10、划分单元11、统计单元12、确定单元13、处理单元14、输出单元15、获取单元、深度计算单元和匹配单元可由位于图像处理装置1上的处理器16实现，上述处理器16可以为特定用途集成电路(ASIC，Application SpecificIntegrated Circuit)、数字信号处理器(DSP，Digital Signal Processor)、数字信号处理图像处理装置(DSPD，Digital Signal Processing Device)、可编程逻辑图像处理装置(PLD，Programmable Logic Device)、现场可编程门阵列(FPGA，Field Programmable GateArray)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。
在本申请实施例中，上述通信总线18用于实现处理器16和存储器17之间的连接通信；上述处理器16执行存储器17中存储的运行程序时实现如下的图像处理方法：
采集当前图像帧；并将当前图像帧划分为第一图像区域和第二图像区域；统计所述第一图像区域的第一亮度信息；并根据所述第一亮度信息确定主要曝光参数；确定所述第二图像区域对应的长曝光参数；在每个采集周期内，利用所述长曝光参数进行第一帧图像采集，得到第一图像帧，利用所述主要曝光参数继续进行图像采集，得到第二图像帧；基于所述第一图像帧，对所述第二图像帧进行处理，得到处理后的第二图像帧；并输出所述第一图像帧和所述处理后的第二图像帧。
进一步地，所述处理器16，还用于获取所述当前图像帧对应的对焦参数；并根据所述对焦参数，确定所述当前图像帧的对焦区域；对所述当前图像帧进行深度计算，得到所述当前图像帧的第一深度信息；根据所述第一深度信息和对焦区域，从所述当前图像帧中确定出焦平面区域；将所述焦平面区域确定为所述第一图像区域；将所述当前图像帧中除所述焦平面区域外的区域确定为所述第二图像区域。
进一步地，所述处理器16，还用于将所述当前图像帧划分为多个亮度区域，并确定所述多个亮度区域对应的多个亮度信息；从所述多个亮度信息中确定出满足预设亮度条件的目标亮度信息，并从所述多个亮度区域中查找所述目标亮度信息对应的目标亮度区域；将所述目标亮度区域确定为所述第一图像区域；将所述多个亮度区域中除所述目标亮度区域外的区域确定为所述第二图像区域。
进一步地，所述处理器16，还用于利用神经网络统计所述第一亮度信息；并根据所述第一亮度信息确定主要曝光参数。
进一步地，所述处理器16，还用于查找预设长曝光参数，并将所述预设长曝光参数确定为所述长曝光参数。
进一步地，所述处理器16，还用于统计所述第二图像区域的第二亮度信息；根据所述第二亮度信息确定所述长曝光参数。
进一步地，所述处理器16，还用于获取所述焦平面区域对应的第二深度信息；根据所述第二深度信息，从所述当前图像帧中确定次焦平面区域；将所述焦平面区域和所述次焦平面区域确定为所述第一图像区域。
进一步地，所述处理器16，还用于统计所述次焦平面区域的亮度信息，并根据所述次焦平面区域的亮度信息确定中曝光参数。
进一步地，所述采集周期包括与所述中曝光参数对应的子采集周期，
所述处理器16，还用于利用所述主要曝光参数进行图像采集，得到第二图像帧；在检测到所述子采集周期启动时，利用所述中曝光参数进行一帧图像采集，得到第三图像帧；继续利用所述主要曝光参数进行图像采集，得到第四图像帧。
进一步地，所述处理器16，还用于基于所述第三图像帧，对所述第四图像帧进行HDR处理，得到处理后的第四图像帧；并输出所述第三图像帧和所述处理后的第四图像帧。
进一步地，所述处理器16，还用于分别获取所述第一图像帧的第一特征点信息和所述第二图像帧的第二特征点信息；基于所述第一特征点信息和所述第二特征点信息，对所述第一图像帧和所述第二图像帧进行图像匹配，得到匹配后的第一图像帧和匹配后的第二图像帧；基于所述匹配后的第一图像帧，对所述匹配后的第二图像帧进行HDR处理，得到所述处理后的第二图像帧。
进一步地，所述采集周期内的间隔帧数根据拍摄亮度信息确定。
进一步地，所述处理器16，还用于在预设间隔帧数到达时，采集所述当前图像帧。
进一步地，所述处理器16，还用于在检测到拍摄场景变化时，采集所述当前图像帧。
本申请实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于图像处理装置中，该计算机程序实现如上述的图像处理方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台图像显示设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的方法。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (17)

1.一种图像处理方法，其特征在于，所述方法包括：
采集当前图像帧；并将当前图像帧划分为第一图像区域和第二图像区域；
统计所述第一图像区域的第一亮度信息；并根据所述第一亮度信息确定主要曝光参数；
确定所述第二图像区域对应的长曝光参数；
在每个采集周期内，利用所述长曝光参数进行第一帧图像采集，得到第一图像帧，利用所述主要曝光参数继续进行图像采集，得到第二图像帧；
基于所述第一图像帧，对所述第二图像帧进行处理，得到处理后的第二图像帧；并输出所述第一图像帧和所述处理后的第二图像帧。
2.根据权利要求1所述的方法，其特征在于，所述将当前图像帧划分为第一图像区域和第二图像区域，包括：
获取所述当前图像帧对应的对焦参数；并根据所述对焦参数，确定所述当前图像帧的对焦区域；
对所述当前图像帧进行深度计算，得到所述当前图像帧的第一深度信息；
根据所述第一深度信息和对焦区域，从所述当前图像帧中确定出焦平面区域；
将所述焦平面区域确定为所述第一图像区域；
将所述当前图像帧中除所述焦平面区域外的区域确定为所述第二图像区域。
3.根据权利要求1所述的方法，其特征在于，所述将当前图像帧划分为第一图像区域和第二图像区域，包括：
将所述当前图像帧划分为多个亮度区域，并确定所述多个亮度区域对应的多个亮度信息；
从所述多个亮度信息中确定出满足预设亮度条件的目标亮度信息，并从所述多个亮度区域中查找所述目标亮度信息对应的目标亮度区域；
将所述目标亮度区域确定为所述第一图像区域；
将所述多个亮度区域中除所述目标亮度区域外的区域确定为所述第二图像区域。
4.根据权利要求1或2所述的方法，其特征在于，所述统计所述第一图像区域的第一亮度信息；并根据所述第一亮度信息确定主要曝光参数，包括：
利用神经网络统计所述第一亮度信息；并根据所述第一亮度信息确定主要曝光参数。
5.根据权利要求1所述的方法，其特征在于，所述确定所述当前图像帧中的第二图像区域对应的长曝光参数，包括：
查找预设长曝光参数，并将所述预设长曝光参数确定为所述长曝光参数。
6.根据权利要求1所述的方法，其特征在于，所述确定所述当前图像帧中的第二图像区域对应的长曝光参数，包括：
统计所述第二图像区域的第二亮度信息；
根据所述第二亮度信息确定所述长曝光参数。
7.根据权利要求2所述的方法，其特征在于，所述根据所述第一深度信息和对焦区域，从所述当前图像帧中确定出焦平面区域之后，所述将所述焦平面区域确定为所述第一图像区域之前，所述方法还包括：
获取所述焦平面区域对应的第二深度信息；
根据所述第二深度信息，从所述当前图像帧中确定次焦平面区域；
相应的，所述将所述焦平面区域确定为所述第一图像区域，包括：
将所述焦平面区域和所述次焦平面区域确定为所述第一图像区域。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
统计所述次焦平面区域的亮度信息，并根据所述次焦平面区域的亮度信息确定中曝光参数。
9.根据权利要求8所述的方法，其特征在于，所述采集周期包括与所述中曝光参数对应的子采集周期，所述利用所述主要曝光参数继续进行图像采集，得到第二图像帧，包括：
利用所述主要曝光参数进行图像采集，得到第二图像帧；
在检测到所述子采集周期启动时，利用所述中曝光参数进行一帧图像采集，得到第三图像帧；继续利用所述主要曝光参数进行图像采集，得到第四图像帧。
10.根据权利要求9所述的方法，其特征在于，所述利用所述主要曝光参数继续进行图像采集，得到第四图像帧之后，所述方法还包括：
基于所述第三图像帧，对所述第四图像帧进行处理，得到处理后的第四图像帧；并输出所述第三图像帧和所述处理后的第四图像帧。
11.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像帧，对所述第二图像帧进行处理，得到处理后的第二图像帧，包括：
分别获取所述第一图像帧的第一特征点信息和所述第二图像帧的第二特征点信息；
基于所述第一特征点信息和所述第二特征点信息，对所述第一图像帧和所述第二图像帧进行图像匹配，得到匹配后的第一图像帧和匹配后的第二图像帧；
基于所述匹配后的第一图像帧，对所述匹配后的第二图像帧进行处理，得到所述处理后的第二图像帧。
12.根据权利要求1所述的方法，其特征在于，所述采集周期内的间隔帧数根据拍摄亮度信息确定。
13.根据权利要求1所述的方法，其特征在于，所述采集当前图像帧，包括：
在预设间隔帧数到达时，采集所述当前图像帧。
14.根据权利要求1或13所述的方法，其特征在于，所述采集当前图像帧，包括：
在检测到拍摄场景变化时，采集所述当前图像帧。
15.一种图像处理装置，其特征在于，所述装置包括：
采集单元，用于采集当前图像帧；在每个采集周期内，利用长曝光参数进行第一帧图像采集，得到第一图像帧，利用主要曝光参数继续进行图像采集，得到第二图像帧；
划分单元，用于将当前图像帧划分为第一图像区域和第二图像区域；
统计单元，用于统计所述第一图像区域的第一亮度信息；
确定单元，用于并根据所述第一亮度信息确定主要曝光参数；确定所述第二图像区域对应的长曝光参数；
处理单元，用于基于所述第一图像帧，对所述第二图像帧进行处理，得到处理后的第二图像帧；
输出单元，用于输出所述第一图像帧和所述处理后的第二图像帧。
16.一种图像处理装置，其特征在于，所述装置包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如权利要求1-14任一项所述的方法。
17.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-14任一项所述的方法。
CN202110034396.1A 2021-01-12 2021-01-12 一种图像处理方法及装置、存储介质 Active CN112822404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110034396.1A CN112822404B (zh) 2021-01-12 2021-01-12 一种图像处理方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110034396.1A CN112822404B (zh) 2021-01-12 2021-01-12 一种图像处理方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN112822404A true CN112822404A (zh) 2021-05-18
CN112822404B CN112822404B (zh) 2022-08-09

Family

ID=75870217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110034396.1A Active CN112822404B (zh) 2021-01-12 2021-01-12 一种图像处理方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN112822404B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812675A (zh) * 2015-01-19 2016-07-27 汤姆逊许可公司 基于亮度分布和运动之间的折中生成场景的hdr图像的方法
CN106131449A (zh) * 2016-07-27 2016-11-16 维沃移动通信有限公司 一种拍照方法及移动终端
CN106851123A (zh) * 2017-03-09 2017-06-13 广东欧珀移动通信有限公司 曝光控制方法、曝光控制装置及电子装置
CN107197169A (zh) * 2017-06-22 2017-09-22 维沃移动通信有限公司 一种高动态范围图像拍摄方法及移动终端
CN107820022A (zh) * 2017-10-30 2018-03-20 维沃移动通信有限公司 一种拍照方法及移动终端
CN110177221A (zh) * 2019-06-25 2019-08-27 维沃移动通信有限公司 高动态范围图像的拍摄方法及装置
CN110225248A (zh) * 2019-05-29 2019-09-10 Oppo广东移动通信有限公司 图像采集方法和装置、电子设备、计算机可读存储介质
CN110493538A (zh) * 2019-08-16 2019-11-22 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110881108A (zh) * 2018-09-06 2020-03-13 华晶科技股份有限公司 图像处理方法及图像处理装置
CN111209775A (zh) * 2018-11-21 2020-05-29 杭州海康威视数字技术股份有限公司 信号灯图像处理方法、装置、设备及存储介质
CN111586308A (zh) * 2020-04-10 2020-08-25 北京迈格威科技有限公司 图像处理方法、装置及电子设备
CN112055154A (zh) * 2020-07-30 2020-12-08 奇酷互联网络科技（深圳）有限公司 一种摄像装置的控制方法、摄像装置及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812675A (zh) * 2015-01-19 2016-07-27 汤姆逊许可公司 基于亮度分布和运动之间的折中生成场景的hdr图像的方法
CN106131449A (zh) * 2016-07-27 2016-11-16 维沃移动通信有限公司 一种拍照方法及移动终端
CN106851123A (zh) * 2017-03-09 2017-06-13 广东欧珀移动通信有限公司 曝光控制方法、曝光控制装置及电子装置
CN107197169A (zh) * 2017-06-22 2017-09-22 维沃移动通信有限公司 一种高动态范围图像拍摄方法及移动终端
CN107820022A (zh) * 2017-10-30 2018-03-20 维沃移动通信有限公司 一种拍照方法及移动终端
CN110881108A (zh) * 2018-09-06 2020-03-13 华晶科技股份有限公司 图像处理方法及图像处理装置
CN111209775A (zh) * 2018-11-21 2020-05-29 杭州海康威视数字技术股份有限公司 信号灯图像处理方法、装置、设备及存储介质
CN110225248A (zh) * 2019-05-29 2019-09-10 Oppo广东移动通信有限公司 图像采集方法和装置、电子设备、计算机可读存储介质
CN110177221A (zh) * 2019-06-25 2019-08-27 维沃移动通信有限公司 高动态范围图像的拍摄方法及装置
CN110493538A (zh) * 2019-08-16 2019-11-22 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111586308A (zh) * 2020-04-10 2020-08-25 北京迈格威科技有限公司 图像处理方法、装置及电子设备
CN112055154A (zh) * 2020-07-30 2020-12-08 奇酷互联网络科技（深圳）有限公司 一种摄像装置的控制方法、摄像装置及存储介质

Also Published As

Publication number Publication date
CN112822404B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
US11563897B2 (en) Image processing method and apparatus which determines an image processing mode based on status information of the terminal device and photographing scene information
WO2020259179A1 (zh) 对焦方法、电子设备和计算机可读存储介质
CN109218628B (zh) 图像处理方法、装置、电子设备及存储介质
CN109089047B (zh) 控制对焦的方法和装置、存储介质、电子设备
CN109671106B (zh) 一种图像处理方法、装置与设备
AU2019326496A1 (en) Method for capturing images at night, apparatus, electronic device, and storage medium
CN110166705B (zh) 高动态范围hdr图像生成方法和装置、电子设备、计算机可读存储介质
WO2020168967A1 (zh) 图像采集方法、电子设备和计算机可读存储介质
CN112822412B (zh) 曝光方法、装置、电子设备和存储介质
WO2015014286A1 (zh) 一种生成高动态范围图像的方法、装置
CN110349163B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109040596B (zh) 一种调整摄像头的方法、移动终端及存储介质
CN110430370B (zh) 图像处理方法、装置、存储介质及电子设备
CN110213498B (zh) 图像生成方法和装置、电子设备、计算机可读存储介质
CN111586312B (zh) 自动曝光的控制方法及装置、终端、存储介质
CN110049240B (zh) 摄像头控制方法、装置、电子设备和计算机可读存储介质
CN110290325B (zh) 图像处理方法、装置、存储介质及电子设备
CN111405185B (zh) 一种摄像机变倍控制方法、装置、电子设备及存储介质
CN112668636A (zh) 摄像头遮挡检测方法及系统、电子设备及存储介质
CN112085686A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110392211B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN113824883A (zh) 信息处理方法及电子设备
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
US11871123B2 (en) High dynamic range image synthesis method and electronic device
CN110266965B (zh) 图像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant