CN116744134A - 图像处理方法、处理器、设备及存储介质 - Google Patents
图像处理方法、处理器、设备及存储介质 Download PDFInfo
- Publication number
- CN116744134A CN116744134A CN202210194597.2A CN202210194597A CN116744134A CN 116744134 A CN116744134 A CN 116744134A CN 202210194597 A CN202210194597 A CN 202210194597A CN 116744134 A CN116744134 A CN 116744134A
- Authority
- CN
- China
- Prior art keywords
- state
- dol
- target
- image
- signal processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims description 60
- 230000007704 transition Effects 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003705 background correction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
本申请实施例公开了一种图像处理方法、处理器、设备及存储介质，属于图像拍摄技术领域。电子设备包括：图像传感器、应用处理器以及图像信号处理器；应用处理器，用于在拍摄功能开启的情况下，基于环境亮度识别结果，向图像信号处理器发送DOL切换指令，DOL切换指令用于指示切换为目标DOL状态，其中，不同DOL状态下的多重曝光方式不同；控制图像传感器切换为目标DOL状态；图像传感器，用于基于目标DOL状态所指示的目标多重曝光方式进行曝光，并输出曝光帧；图像信号处理器，用于基于DOL切换指令切换为目标DOL状态；在目标DOL状态下，对图像传感器输出的曝光帧进行处理，得到图像帧；向应用处理器传输图像帧。
Description
技术领域
本申请实施例涉及图像拍摄技术领域，特别涉及一种图像处理方法、处理器、设备及存储介质。
背景技术
多重曝光是一种通过对同一物体进行多次曝光，再将不同曝光值的图像进行后端融合，从而生成高质量图像的拍摄技术。
相关技术中，多重曝光功能支持开启和关闭，用户可以根据所处的拍摄环境，手动开启多重曝光，或者，关闭多重曝光功能。比如，在夜间拍摄时，用户可以手动开启多重曝光功能，以增加暗部的图像细节。
发明内容
本申请实施例提供了一种图像处理方法、处理器、设备及存储介质。所述技术方案如下：
一方面，本申请实施例提供了一种电子设备，所述电子设备包括：图像传感器(imagesensor)、应用处理器(Application Processor，AP)以及图像信号处理器(ImageSignal Processor，ISP)；
所述应用处理器，用于在拍摄功能开启的情况下，基于环境亮度识别结果，向所述图像信号处理器发送数字重叠(DigitalOverLap，DOL)切换指令，所述DOL切换指令用于指示切换为目标DOL状态，其中，不同DOL状态下的多重曝光方式不同；控制所述图像传感器切换为所述目标DOL状态；
所述图像传感器，用于基于所述目标DOL状态所指示的目标多重曝光方式进行曝光，并输出曝光帧；
所述图像信号处理器，用于基于所述DOL切换指令切换为所述目标DOL状态；在所述目标DOL状态下，对所述图像传感器输出的所述曝光帧进行处理，得到图像帧；向所述应用处理器传输所述图像帧。
另一方面，本申请实施例提供了一种图像处理方法，所述方法由图像信号处理器执行，所述方法包括：
接收应用处理器发送的DOL切换指令，所述DOL切换指令用于指示切换为目标DOL状态，且所述DOL切换指令由所述应用处理器在拍摄功能开启的情况下，基于环境亮度识别结果发送，其中，不同DOL状态下的多重曝光方式不同；
基于所述DOL切换指令切换为所述目标DOL状态；
在所述目标DOL状态下，对图像传感器输出的所述曝光帧进行处理，得到图像帧；
向所述应用处理器传输所述图像帧。
另一方面，本申请实施例提供了一种图像处理方法，所述方法由应用处理器执行，所述方法包括：
在拍摄功能开启的情况下，基于环境亮度识别结果，向图像信号处理器发送DOL切换指令，所述DOL切换指令用于指示切换为目标DOL状态，其中，不同DOL状态下的多重曝光方式不同；
控制图像传感器切换为所述目标DOL状态；
接收所述图像信号处理器传输的图像帧，所述图像帧由所述图像信号处理器在所述目标DOL状态下，对所述图像传感器输出的所述曝光帧进行处理得到。
另一方面，本申请实施例提供了一种图像信号处理器，所述图像信号处理器包括可编程逻辑电路和/或程序指令，当所述图像信号处理器运行时，用于实现如上述方面所述的图像处理方法。
另一方面，本申请实施例提供了一种应用处理器，所述应用处理器包括可编程逻辑电路和/或程序指令，当所述应用处理器运行时，用于实现如上述方面所述的图像处理方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如上述方面所述的图像处理方法。
另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述方面提供的图像处理方法。
本申请实施例中，在拍摄功能开启的情况下，由应用处理器基于环境亮度识别结果，指示图像信号处理器和图像传感器切换至目标DOL状态，由图像传感器在目标DOL状态指示的目标多重曝光方式下进行曝光并输出曝光帧，进而由图像信号处理器对曝光帧进行处理，将处理得到图像帧传输至应用处理器；相较于相关技术中仅支持单一DOL状态，本申请实施例提供的方案实现了基于环境亮度的DOL状态自适应调节，有助于提高不同拍摄场景下的图像拍摄质量。
附图说明
图1是本申请一个示例性实施例示出的多重曝光过程的示意图；
图2示出了本申请一个示例性实施例提供的电子设备的结构示意图；
图3是本申请一个示例性实施例示出的图像信号处理器进行DOL状态切换过程的实施示意图；
图4是本申请一个示例性实施例示出的应用处理器对图像帧进行过渡处理的实施示意图；
图5示出了本申请一个示例性实施例提供的图像处理方法的流程图；
图6示出了本申请另一个示例性实施例提供的图像处理方法的流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
相关技术中，电子设备在拍摄过程中进行多重曝光时，通常采用固定的多重曝光值，用户仅仅能够手动设置是否开启多重曝光。以三曝光为例，支持多重曝光的图像传感器每行会以长、中、短曝光三次先后输出，从数据输出的角度来看，就是长曝光帧、中曝光帧和短曝光帧交错依次输出，如图1所示，第一行依次输出长曝光帧(L)、中曝光帧(M)和短曝光帧(S)；第二行依次输出长曝光帧(L)、中曝光帧(M)和短曝光帧(S)，以此类推。由于固定的多重曝光值无法适用于所有应用场景(在某些场景下能够达到较好的拍摄质量，但是在另一些场景下的拍摄质量可能不佳)，因此在多重曝光场景下，图像拍摄质量仍旧存在较大的上升空间。
有鉴于此，本申请实施例中，在拍摄功能开启的情况下，由应用处理器基于环境亮度识别结果，指示图像信号处理器和图像传感器切换至目标DOL状态，由图像传感器在目标DOL状态指示的目标多重曝光方式下进行曝光并输出曝光帧，进而由图像信号处理器对曝光帧进行处理，将处理得到图像帧传输至应用处理器，实现了基于环境亮度的DOL状态自适应调节，有助于提高不同拍摄场景下的图像拍摄质量。
请参考图2，其示出了本申请一个示例性实施例提供的电子设备的结构示意图，该电子设备包括：图像传感器210、应用处理器220以及图像信号处理器230。
图像传感器210是用于将光学图像转换为电子信号的传感器。按照类型划分，可以分为电荷耦合器件(Charge Coupled Device，CCD)、互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)和接触式图像传感器(ContactImage Sensor，CIS)等等，本申请实施例并不对图像传感器210的具体类型进行限定。
图像信号处理器230是用于对图像信号进行预处理，从而输出预处理得到的图像帧的处理器。其中，该图像信号处理器230可以独立于应用处理器220，或者，集成在应用处理器220中，本申请实施例对此不作限定。
可选的，图像信号处理器230用于实现图像降噪、高动态范围成像(High DynamicRangeimaging，HDR)、逆光、夜景等图像处理，因此在应用处理器220外额外增加图像信号处理器230对图像信号进行预处理，有助于提高图像拍摄质量。
应用处理器220利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行电子设备的各种功能和处理数据。本申请实施例中，应用处理器220分别与图像传感器210以及应用处理器220连接，用于通过控制图像传感器210以及应用处理器220实现图像拍摄。
可选地，应用处理器220可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器220可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network Processing Unit，NPU)和基带芯片等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制；NPU用于实现人工智能(Artificial Intelligence，AI)功能；基带芯片用于处理无线通信。可以理解的是，上述基带芯片也可以不集成到应用处理器220中，单独通过一块芯片进行实现。
为了提高不同拍摄场景下的图像拍摄质量，本申请实施例中，应用处理器220，用于在拍摄功能开启的情况下，基于环境亮度识别结果，向图像信号处理器230发送DOL切换指令，DOL切换指令用于指示切换为目标DOL状态，其中，不同DOL状态下的多重曝光方式不同。
在一种可能的实施方式中，电子设备支持至少两种候选DOL状态，不同候选DOL状态下，电子设备所采用的多重曝光方式不同。其中，不同多重曝光方式对应不同多重曝光次数，和/或，不同多重曝光方式对应不同曝光时长。
在一个示意性的例子中，至少两种候选DOL状态包括第一候选DOL状态和第二候选DOL状态。其中，第一候选DOL状态对应的多重曝光方式为三重曝光，即按照不同曝光时长对同一物体曝光三次，第二候选DOL状态对应的多重曝光方式为二重曝光，即按照不同曝光时长对同一物体曝光两次。或者，第一候选DOL状态和第二候选DOL状态均为三重曝光，且第一候选DOL状态下，三次曝光的时长分别为t1、t2和t3，第二候选DOL状态下，三次曝光的时长分别为t4、t5和t6。
在一种可能的实施方式中，在拍摄应用运行过程中，应用处理器220根据环境亮度信息，确定出需要切换DOL状态时，向图像信号处理器230发送包含目标DOL状态的DOL切换指令，指示图像信号处理器230将当前DOL状态切换为目标DOL状态。
由于不同DOL状态下图像传感器210的工作参数不同(比如曝光次数、单次曝光时长不同)，因此应用处理器220还需要控制图像传感器210切换为目标DOL状态。
相应的，图像传感器210，用于基于目标DOL状态所指示的目标多重曝光方式进行曝光，并输出曝光帧。
在一种可能的实施方式中，图像传感器210切换至目标DOL状态后，基于目标DOL状态对应的目标多重曝光参数进行曝光，并输出至少一帧曝光帧，其中，不同曝光帧对应不同曝光参数。
由于图像传感器210采用的多重曝光方式发生了变化，因此图像信号处理器230对图像传感器210输出的曝光帧的处理方式也需要进行相应调整。本申请实施例中，图像信号处理器230，用于基于DOL切换指令切换为目标DOL状态；在目标DOL状态下，对图像传感器210输出的曝光帧进行处理，得到图像帧；向应用处理器220传输图像帧。
在一种可能的实施方式中，为了保证曝光帧处理的准确性，图像信号处理器230在图像传感器210完成DOL状态切换后，基于DOL切换指令切换为目标DOL状态。
在一个示意性的例子中，第一DOL状态下，图像信号处理器对图像传感器输出的三帧曝光帧(图像传感器在第一DOL状态采用三重曝光方式)进行叠加，从而生成图像帧；当接收到应用处理器发送的DOL切换指令，且基于DOL切换指令由第一DOL状态切换为第二DOL状态后，图像信号处理器对图像传感器输出的两帧曝光帧进行叠加(图像传感器在第二DOL状态采用二重曝光方式)，从而生成图像帧。
可选的，应用处理器220可以根据接收到的图像帧生成照片或者视频(由连续的图像帧构成)。
可选的，应用处理器220接收到图像帧后，可以直接通过显示屏对图像帧进行展示，也可以对图像帧进行进一步处理后通过显示屏进行展示，比如对图像帧进行美颜处理或滤镜处理后进行展示，本实施例对此不作限定。
综上所述，本申请实施例中，在拍摄功能开启的情况下，由应用处理器基于环境亮度识别结果，指示图像信号处理器和图像传感器切换至目标DOL状态，由图像传感器在目标DOL状态指示的目标多重曝光方式下进行曝光并输出曝光帧，进而由图像信号处理器对曝光帧进行处理，将处理得到图像帧传输至应用处理器；相较于相关技术中仅支持单一DOL状态，本申请实施例提供的方案实现了基于环境亮度的DOL状态自适应调节，有助于提高不同拍摄场景下的图像拍摄质量。
在一种可能的实施方式中，在电子设备具有取景预览功能的情况下，应用处理器220，还用于基于图像信号处理器230传输的图像帧，控制显示屏显示拍摄预览画面。相较于相关技术中，用户仅能够在拍摄完成后，从拍摄得到照片或视频中查看到多重曝光效果，采用本实施例提供的方案，用户能够在拍摄过程中，通过取景框实时查看多重曝光效果。
基于DOL切换指令切换为目标DOL状态的过程中，图像信号处理器需要进行切换时序控制，需要在图像传感器完成DOL状态切换后，再进行DOL状态切换。
在一种可能的实施方式中，图像信号处理器230，用于基于DOL切换指令，对目标DOL状态进行管线配置。
在完成管线配置的情况下，回调应用处理器，以使应用处理器220控制图像传感器210切换为目标DOL状态。
在图像传感器210完成DOL状态切换的情况下，使能配置完成的管线，其中，配置完成的管线使能后图像信号处理器230切换至目标DOL状态。
管线(pipeline)并不是物理意义上供数据输入输出的管路或通道，而是为了执行指令而归纳出的“下一步需要做的事情”，在本申请实施例中，管线配置可以理解为图像信号处理器为进行DOL状态切换进行的一系列准备动作。其中，图像信号处理器在完成管线配置后，并未真正切换为目标DOL状态，而是仍旧保持当前DOL状态，并在当前DOL状态下工作。
使能(Enable)通俗来说就是一个“允许”信号，在本申请实施例中，即为允许进行DOL状态切换动作。配置完成的管线使能后，图像信号处理器才真正切换为目标DOL状态，从而在目标DOL状态下工作。
在一种可能的实施方式中，当图像传感器完成DOL状态切换后，应用处理器产生中断，图像信号处理器在捕获到该中断时，即使能配置完成的管线。当然，应用处理器还可以通过其他方式通知图像信号处理器，本实施例对此不作限定。
在一种可能的实施方式中，图像信号处理器借助状态机实现上述切换时序控制。如图3所示，图像信号处理器230中设置有DOL状态机模块231以及DOL状态切换模块232。
可选的，DOL状态机模块231包括第一状态和第二状态，其中，第一状态又被称为目标状态(targetdol)，第二状态又被称为运行状态(runningdol)，第一状态为图像信号处理器下一次切换的状态，第二状态为图像信号处理器当前切换的状态。
可选的，第一状态支持通过状态转移更新为第二状态。并且，为了保证在完成当前状态的切换后，执行后续状态切换，第二状态包括锁定和解锁两种状态。
其中，锁定状态用于表征第二状态未切换完成，此时第一状态无法更新为第二状态；解锁状态用于表征第二状态已切换完成，此时第一状态可以更新为第二状态。
在一种可能的实施方式中，管线配置过程中，DOL状态机模块231，用于在接收到DOL切换指令的情况下，将目标DOL状态写入为第一状态；在第二状态处于解锁状态的情况下，将第一状态更新至第二状态；将第二状态设置为锁定状态；基于第二状态向DOL状态切换模块232发送切换指令；
DOL状态切换模块232，用于基于切换指令进行管线配置；在完成管线配置的情况下，回调应用处理器。
可选的，DOL状态机模块将目标DOL状态写入为第一状态时，若该第一状态为空，DOL状态机模块则直接将目标DOL状态写入为第一状态；若该第一状态不为空，DOL状态机模块则使用该目标DOL状态替换已有的第一状态，原有的第一状态则不会被切换。
可选的，完成第一状态写入后，DOL状态机模块对第二状态进行状态检测。
若检测到第二状态处于解锁状态，DOL状态机模块进一步通过状态转移，将第一状态更新至第二状态。完成状态转移后，为了保证后续第二状态能够完成切换，DOL状态机模块对第二状态设置为锁定状态。
若检测到第二状态处于锁定状态，DOL状态机则不会进行状态转移，而是等待第二状态切换为解锁状态。
完成状态转移后，DOL状态机模块向DOL状态切换模块发送切换指令，该切换指令用于指示切换至目标DOL状态。
为了保证后续DOL状态的正常切换，在一种可能的实施方式中，DOL状态切换模块232，还用于：
在图像传感器完成DOL状态切换的情况下，使能配置完成的管线；
向DOL状态机模块231发送解锁响应，以使DOL状态机模块将第二状态设置为解锁状态。
DOL状态切换模块完成管线配置后，DOL状态机模块的第二状态仍旧保持锁定状态；DOL状态切换模块完成管线使能后，向DOL状态机模块发送解锁响应，指示DOL状态机模块将第二状态设置为解锁状态。后续过程中，DOL状态机模块中新的第一状态可以被更新为第二状态。
在一个示意性的例子中，如图3所示，图像信号处理器230接收DOL切换指令后，DOL状态机模块231将目标DOL状态写入targetdol。当runningdol处于解锁状态时，DOL状态机模块231将目标DOL状态更新至runningdol，锁定runningdol并向DOL状态切换模块232发送切换指令。
DOL状态切换模块232在生成第n帧图像帧(即Fn)时收到切换指令，并进行管线配置。完成管线配置后，DOL状态切换模块232仍旧按照当前DOL状态所指示的参数合成图像帧。在生成第n+3帧图像帧时，DOL状态切换模块232捕获到应用处理器产生的中断，确定图像传感器已完成DOL状态切换，从而使能管线，并按照目标DOL状态所指示的参数合成图像帧(即Fn+3及以后的图像帧)。同时，使能管线后，DOL状态切换模块232向DOL状态机模块231发送解锁响应。DOL状态机模块231基于解锁响应，将runningdol解锁。
本实施例中，图像信号处理器通过DOL状态机以及状态解锁锁定机制，对DOL状态的切换时序进行控制，确保图像信号处理器在图像传感器之后完成DOL状态切换，保证DOL状态切换前后图像信号处理器进行图像合成的准确性。
关于确定目标DOL状态以及发送DOL切换指令的实现方式，在一种可能的实施方式中，应用处理器，用于：
在拍摄功能开启的情况下，基于实时环境亮度和目标亮度信息表，确定实时环境亮度对应的目标DOL状态，目标亮度信息表用于表征环境亮度与DOL状态之间的对应关系。
在目标DOL状态发生变化的情况下，向图像信号处理器发送DOL切换指令。
在一种可能的实施方式中，电子设备中存储有指示环境亮度与DOL状态间对应关系的亮度信息表，其中，不同DOL状态对应不同的多重曝光方式，且该亮度信息表可以由研发人员预先通过实验确定并设置在电子设备中。
在一个示意性的例子中，亮度信息表如表一所示。
表一
| 环境亮度 | ＜5lux | 5-50lux | ＞50lux |
| DOL状态 | 第一DOL状态 | 第二DOL状态 | 第三DOL状态 |
比如，当实时环境亮度为30lux时，应用处理器确定当前拍摄场景下适用的目标DOL状态为第二DOL状态；当实时环境亮度为2lux时，应用处理器确定当前拍摄场景下适用的目标DOL状态为第一DOL状态。
由于相机支持在不同的相机工作模式下运行，因此为了进一步提高对不同相机工作模式的适配性，在一种可能的实施方式中，电子设备中设置有不同相机工作模式对应的不同亮度信息表。
在拍摄功能开启的情况下，应用处理器还用于基于相机工作模式确定目标亮度信息表，以便后续基于目标亮度信息表确定实时环境亮度对应的目标DOL状态，有助于提高确定出的目标DOL状态与当前拍摄场景以及相机工作模式的适配度。
可选的，该相机工作模式可以包括视频拍摄模式、拍照模式、正常模式、低功耗模式等等，本实施例对此不作限定。
在一个示意性的例子中，正常工作模式对应的亮度信息表如表一所示，低功耗模式对应的亮度信息表如表二所示。
表二
| 环境亮度 | ＜3lux | 3-30lux | ＞30lux |
| DOL状态 | 第一DOL状态 | 第二DOL状态 | 第三DOL状态 |
关于发送DOL切换指令的时机，在一种可能的实施方式中，应用处理器可以在检测到目标DOL状态发生变化时，立即向图像信号处理器发送DOL切换指令。
为了避免因环境亮度检测异常或跳变等原因造成DOL状态在短时间内频繁切换，在另一种可能的实施方式中，应用处理器在目标DOL状态发生变化，且实时环境亮度稳定的情况下，向图像信号处理器发送DOL切换指令。
可选的，当目标DOL状态发生变化时，应用处理器连续检测n帧(比如连续3帧)的实时环境亮度。若连续n帧的实时环境亮度的变化幅度(可以为亮度方差)小于幅度阈值，应用处理器则确定实时环境亮度稳定，从而发送DOL切换指令。若连续n帧的实时环境亮度的变化幅度(可以为亮度方差)大于幅度阈值，应用处理器则不会发送DOL切换指令。
本实施例中，应用处理器基于相机工作模式确定目标亮度信息表，进而基于目标亮度信息表确定实时环境亮度对应的目标DOL状态，提高了目标DOL状态与当前拍摄环境以及相机工作模式的适配度；此外，应用处理器在检测到DOL状态发生变化，且环境亮度保持稳定时，向图像信号处理器发送DOL切换指令，避免因环境亮度检测异常或跳变等原因造成DOL状态在短时间内频繁切换，由于与提高拍摄过程中画面质量的稳定性。
从上述实施例可以看出，图像信号处理器从触发DOL状态切换到实际完成DOL状态切换之间存在一定延迟(图3中，完成管线配置到使能管线之间存在2帧延迟)。为了避免DOL状态切换前后图像帧出现跳变(比如画面亮度跳变)，在一种可能的实施方式中，应用处理器，还用于在图像信号处理器切换至目标DOL状态的过程中，对图像信号处理器传输的图像帧进行过渡处理，过渡处理用于实现DOL状态切换过程中图像的平滑过渡。
在一种可能的实施方式中，应用处理器在发送DOL切换指令后，对接收到的m帧图像帧进行过渡处理，该m帧图像帧即为图像信号处理器进行管线配置到使能管线配置之间所输出的图像帧，m为正整数。比如，应用处理器对发送DOL切换指令后接收到的2帧图像帧进行过渡处理。
关于过渡处理的具体方式，在一种可能的实施方式中，应用处理器对图像帧进行镜头阴影校正(Lens Shading Correction，LSC)和自动白平衡(Auto White Balance，AWB)调节。
在另一种可能的实施方式中，应用处理器可以对图像帧进行线性插值补偿，比如，应用处理器可以实时进行低系数线性插值补偿。
当然，应用处理器还可以采用其他方式对图像帧进行过渡处理，本申请实施例并不对过渡处理的具体方式进行限定。
并且，为了确定过渡处理过程中所采用的参数，在一种可能的实施方式中，应用处理器，还用于：
基于当前DOL状态和目标DOL状态，确定目标过渡参数；
基于目标过渡参数对目标帧数的图像帧进行过渡处理。
在一种可能的实施方式中，研发人员预先对不同DOL状态变化情况进行仿真，并根据仿真结果确定出不同DOL状态变化情况下所采用的过渡参数，从而将DOL状态情况与过渡参数之间的映射关系存储在电子设备中。后续过程中，应用处理器即根据该映射关系，确定出适用于当前DOL状态切换场景的目标过渡参数，进而对图像帧进行过渡处理。
在一个示意性的例子中，DOL状态变化情况与过渡参数之间的映射关系如表三所示。
表三
| DOL状态变化情况 | 过渡参数 |
| 第一DOL状态→第二DOL状态 | 参数A、参数B |
| 第二DOL状态→第一DOL状态 | 参数C、参数D |
| 第二DOL状态→第三DOL状态 | 参数E、参数F |
| 第三DOL状态→第二DOL状态 | 参数G、参数H |
| 第一DOL状态→第三DOL状态 | 参数I、参数J |
| 第三DOL状态→第一DOL状态 | 参数K、参数L |
比如，若当前DOL状态为第一DOL状态，目标DOL状态第二DOL状态时，应用处理器基于上述映射关系，确定过渡参数为A和参数B(分别用于对不同图像帧进行过渡处理)。
示意性的，如图4所示，应用处理器220基于环境亮度以及亮度信息表221确定出目标DOL状态，并向图像信号处理器发送DOL切换指令时，通知3A(Auto exposure、Autofocus、Auto white balance，自动曝光、自动对焦、自动白平衡)处理模块222进行过渡处理。由于图像信号处理器在图像帧Fn+3时才真正完成DOL状态切换，因此3A处理模块222对图像信号处理器发送的图像帧Fn+1以及Fn+2进行过渡处理。
请参考图5，其示出了本申请一个示例性实施例提供的图像处理方法的流程图。本实施例以该方法用于图2所示的电子设备为例进行说明，该方法可以包括如下步骤：
步骤501，在拍摄功能开启的情况下，应用处理器基于环境亮度识别结果，向图像信号处理器发送DOL切换指令，DOL切换指令用于指示切换为目标DOL状态，其中，不同DOL状态下的多重曝光方式不同。
步骤502，图像信号处理器接收应用处理器发送的DOL切换指令。
步骤503，应用处理器控制图像传感器切换为目标DOL状态。
步骤504，图像信号处理器基于DOL切换指令切换为目标DOL状态。
步骤505，图像传感器基于目标DOL状态所指示的目标多重曝光方式进行曝光，并输出曝光帧。
步骤506，在目标DOL状态下，图像信号处理器对图像传感器输出的曝光帧进行处理，得到图像帧。
步骤507，图像信号处理器向应用处理器传输图像帧。
步骤508，应用处理器接收图像信号处理器传输的图像帧。
综上所述，本申请实施例中，在拍摄功能开启的情况下，由应用处理器基于环境亮度识别结果，指示图像信号处理器和图像传感器切换至目标DOL状态，由图像传感器在目标DOL状态指示的目标多重曝光方式下进行曝光并输出曝光帧，进而由图像信号处理器对曝光帧进行处理，将处理得到图像帧传输至应用处理器；相较于相关技术中仅支持单一DOL状态，本申请实施例提供的方案实现了基于环境亮度的DOL状态自适应调节，有助于提高不同拍摄场景下的图像拍摄质量。
请参考图6，其示出了本申请另一个示例性实施例提供的图像处理方法的流程图。本实施例以该方法用于图2所示的电子设备为例进行说明，该方法可以包括如下步骤：
步骤601，在拍摄功能开启的情况下，应用处理器基于相机工作模式确定目标亮度信息表，其中，不同相机工作模式对应不同的亮度信息表。
步骤602，在拍摄功能开启的情况下，应用处理器基于实时环境亮度和目标亮度信息表，确定实时环境亮度对应的目标DOL状态，目标亮度信息表用于表征环境亮度与DOL状态之间的对应关系。
步骤603，在目标DOL状态发生变化的情况下，应用处理器向图像信号处理器发送DOL切换指令。
在一种可能的实施方式中，在目标DOL状态发生变化，且实时环境亮度稳定的情况下，应用处理器向图像信号处理器发送DOL切换指令。
步骤604，在图像信号处理器切换至目标DOL状态的过程中，应用处理器对图像信号处理器传输的图像帧进行过渡处理，过渡处理用于实现DOL状态切换过程中图像的平滑过渡。
在一种可能的实施方式中，应用处理器基于当前DOL状态和目标DOL状态，确定目标过渡参数，从而基于目标过渡参数对目标帧数的图像帧进行过渡处理。
可选的，过渡处理的方式包括如下至少一种：调节对所述图像帧的进行LSC和AWB调节效果；对图像帧进行线性插值补偿。
步骤605，图像信号处理器接收应用处理器发送的DOL切换指令。
步骤606，图像信号处理器基于DOL切换指令，对目标DOL状态进行管线配置。
在一种可能的实施方式中，在接收到DOL切换指令的情况下，图像信号处理器将目标DOL状态写入为第一状态，第一状态为图像信号处理器下一次切换的状态；在第二状态处于解锁状态的情况下，图像信号处理器将第一状态更新至第二状态，第二状态为图像信号处理器当前切换的状态，且解锁状态用于表征第二状态已切换完成；图像信号处理器将第二状态设置为锁定状态，锁定状态用于表征第二状态未切换完成；图像信号处理器基于第二状态进行管线配置。
步骤607，在完成管线配置的情况下，图像信号处理器回调应用处理器。
步骤608，应用处理器控制图像传感器切换为目标DOL状态。
步骤609，图像传感器基于目标DOL状态所指示的目标多重曝光方式进行曝光，并输出曝光帧。
步骤610，在图像传感器完成DOL状态切换的情况下，图像信号处理器使能配置完成的管线，其中，配置完成的管线使能后图像信号处理器切换至目标DOL状态。
其中，完成管线使能后，图像信号处理器将第二状态设置为解锁状态。
步骤611，在目标DOL状态下，图像信号处理器对图像传感器输出的曝光帧进行处理，得到图像帧。
步骤612，图像信号处理器向应用处理器传输图像帧。
步骤613，应用处理器接收图像信号处理器传输的图像帧。
步骤614，应用处理器基于图像信号处理器传输的图像帧，控制显示屏显示拍摄预览画面。
上述方法实施例的具体实施过程，可以参考图2至图4对应的实施例，本实施例在此不作赘述。
本申请实施例还提供了一种图像信号处理器，该图像信号处理器包括可编程逻辑电路和/或程序指令，当图像信号处理器运行时，用于实现如上述实施例提供的图像信号处理器侧的图像处理方法。
本申请实施例还提供了一种应用处理器，该应用处理器包括可编程逻辑电路和/或程序指令，当应用处理器运行时，用于实现如上述实施例提供的应用处理器侧的图像处理方法。
本申请实施例还提供了一种计算机可读存储介质，该存储介质存储有至少一条指令，至少一条指令用于被处理器执行以实现如上述实施例所述的图像处理方法。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述实施例提供的图像处理方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (28)
1.一种电子设备，其特征在于，所述电子设备包括：图像传感器、应用处理器以及图像信号处理器；
所述应用处理器，用于在拍摄功能开启的情况下，基于环境亮度识别结果，向所述图像信号处理器发送DOL切换指令，所述DOL切换指令用于指示切换为目标DOL状态，其中，不同DOL状态下的多重曝光方式不同；控制所述图像传感器切换为所述目标DOL状态；
所述图像传感器，用于基于所述目标DOL状态所指示的目标多重曝光方式进行曝光，并输出曝光帧；
所述图像信号处理器，用于基于所述DOL切换指令切换为所述目标DOL状态；在所述目标DOL状态下，对所述图像传感器输出的所述曝光帧进行处理，得到图像帧；向所述应用处理器传输所述图像帧。
2.根据权利要求1所述的电子设备，其特征在于，所述图像信号处理器，用于：
基于所述DOL切换指令，对所述目标DOL状态进行管线配置；
在完成管线配置的情况下，回调所述应用处理器，以使所述应用处理器控制所述图像传感器切换为所述目标DOL状态；
在所述图像传感器完成DOL状态切换的情况下，使能配置完成的管线，其中，配置完成的管线使能后所述图像信号处理器切换至所述目标DOL状态。
3.根据权利要求2所述的电子设备，其特征在于，所述图像信号处理器包括DOL状态机模块和DOL状态切换模块；
所述DOL状态机模块，用于在接收到所述DOL切换指令的情况下，将所述目标DOL状态写入为第一状态，所述第一状态为所述图像信号处理器下一次切换的状态；在第二状态处于解锁状态的情况下，将所述第一状态更新至所述第二状态，所述第二状态为所述图像信号处理器当前切换的状态，且解锁状态用于表征所述第二状态已切换完成；将所述第二状态设置为锁定状态，锁定状态用于表征所述第二状态未切换完成；基于所述第二状态向所述DOL状态切换模块发送切换指令；
所述DOL状态切换模块，用于基于所述切换指令进行管线配置；在完成管线配置的情况下，回调所述应用处理器。
4.根据权利要求3所述的电子设备，其特征在于，所述DOL状态切换模块，还用于：
在所述图像传感器完成DOL状态切换的情况下，使能配置完成的管线；
向所述DOL状态机模块发送解锁响应，以使所述DOL状态机模块将所述第二状态设置为解锁状态。
5.根据权利要求1至4任一所述的电子设备，其特征在于，所述应用处理器，用于：
在拍摄功能开启的情况下，基于实时环境亮度和目标亮度信息表，确定所述实时环境亮度对应的所述目标DOL状态，所述目标亮度信息表用于表征环境亮度与DOL状态之间的对应关系；
在所述目标DOL状态发生变化的情况下，向所述图像信号处理器发送所述DOL切换指令。
6.根据权利要求5所述的电子设备，其特征在于，所述应用处理器，用于：
在所述目标DOL状态发生变化，且所述实时环境亮度稳定的情况下，向所述图像信号处理器发送所述DOL切换指令。
7.根据权利要求5所述的电子设备，其特征在于，所述应用处理器，还用于：
在拍摄功能开启的情况下，基于相机工作模式确定所述目标亮度信息表，其中，不同相机工作模式对应不同的亮度信息表。
8.根据权利要求1至4任一所述的电子设备，其特征在于，所述应用处理器，还用于：
在所述图像信号处理器切换至所述目标DOL状态的过程中，对所述图像信号处理器传输的所述图像帧进行过渡处理，所述过渡处理用于实现DOL状态切换过程中图像的平滑过渡。
9.根据权利要求8所述的电子设备，其特征在于，所述应用处理器，用于：
基于当前DOL状态和所述目标DOL状态，确定目标过渡参数；
基于所述目标过渡参数对目标帧数的所述图像帧进行所述过渡处理。
10.根据权利要求8所述的电子设备，其特征在于，所述过渡处理的方式包括如下至少一种：
调节对所述图像帧的进行LSC和AWB调节效果；
对所述图像帧进行线性插值补偿。
11.根据权利要求1至4任一所述的电子设备，其特征在于，所述应用处理器，还用于：
基于所述图像信号处理器传输的所述图像帧，控制显示屏显示拍摄预览画面。
12.根据权利要求1至4任一所述的电子设备，其特征在于，不同多重曝光方式对应不同多重曝光次数，和/或，不同多重曝光方式对应不同曝光时长。
13.一种图像处理方法，其特征在于，所述方法由图像信号处理器执行，所述方法包括：
接收应用处理器发送的DOL切换指令，所述DOL切换指令用于指示切换为目标DOL状态，且所述DOL切换指令由所述应用处理器在拍摄功能开启的情况下，基于环境亮度识别结果发送，其中，不同DOL状态下的多重曝光方式不同；
基于所述DOL切换指令切换为所述目标DOL状态；
在所述目标DOL状态下，对图像传感器输出的所述曝光帧进行处理，得到图像帧；
向所述应用处理器传输所述图像帧。
14.根据权利要求13所述的方法，其特征在于，所述基于所述DOL切换指令切换为所述目标DOL状态，包括：
基于所述DOL切换指令，对所述目标DOL状态进行管线配置；
在完成管线配置的情况下，回调所述应用处理器，以使所述应用处理器控制所述图像传感器切换为所述目标DOL状态；
在所述图像传感器完成DOL状态切换的情况下，使能配置完成的管线，其中，配置完成的管线使能后所述图像信号处理器切换至所述目标DOL状态。
15.根据权利要求14所述的方法，其特征在于，所述基于所述DOL切换指令，对所述目标DOL状态进行管线配置，包括：
在接收到所述DOL切换指令的情况下，将所述目标DOL状态写入为第一状态，所述第一状态为所述图像信号处理器下一次切换的状态；
在第二状态处于解锁状态的情况下，将所述第一状态更新至所述第二状态，所述第二状态为所述图像信号处理器当前切换的状态，且解锁状态用于表征所述第二状态已切换完成；
将所述第二状态设置为锁定状态，锁定状态用于表征所述第二状态未切换完成；
基于所述第二状态进行管线配置。
16.根据权利要求15所述的方法，其特征在于，所述在所述图像传感器完成DOL状态切换的情况下，使能配置完成的管线之后，所述方法还包括：
将所述第二状态设置为解锁状态。
17.一种图像处理方法，其特征在于，所述方法由应用处理器执行，所述方法包括：
在拍摄功能开启的情况下，基于环境亮度识别结果，向图像信号处理器发送DOL切换指令，所述DOL切换指令用于指示切换为目标DOL状态，其中，不同DOL状态下的多重曝光方式不同；
控制图像传感器切换为所述目标DOL状态；
接收所述图像信号处理器传输的图像帧，所述图像帧由所述图像信号处理器在所述目标DOL状态下，对所述图像传感器输出的所述曝光帧进行处理得到。
18.根据权利要求17所述的方法，其特征在于，所述在拍摄功能开启的情况下，基于环境亮度识别结果，向图像信号处理器发送DOL切换指令，包括：
在拍摄功能开启的情况下，基于实时环境亮度和目标亮度信息表，确定所述实时环境亮度对应的所述目标DOL状态，所述目标亮度信息表用于表征环境亮度与DOL状态之间的对应关系；
在所述目标DOL状态发生变化的情况下，向所述图像信号处理器发送所述DOL切换指令。
19.根据权利要求18所述的方法，其特征在于，所述在所述目标DOL状态发生变化的情况下，向所述图像信号处理器发送所述DOL切换指令，包括：
在所述目标DOL状态发生变化，且所述实时环境亮度稳定的情况下，向所述图像信号处理器发送所述DOL切换指令。
20.根据权利要求18所述的方法，其特征在于，所述方法还包括：
在拍摄功能开启的情况下，基于相机工作模式确定所述目标亮度信息表，其中，不同相机工作模式对应不同的亮度信息表。
21.根据权利要求17至20任一所述的方法，其特征在于，所述方法还包括：
在所述图像信号处理器切换至所述目标DOL状态的过程中，对所述图像信号处理器传输的所述图像帧进行过渡处理，所述过渡处理用于实现DOL状态切换过程中图像的平滑过渡。
22.根据权利要求21所述的方法，其特征在于，所述对所述图像信号处理器传输的所述图像帧进行过渡处理，包括：
基于当前DOL状态和所述目标DOL状态，确定目标过渡参数；
基于所述目标过渡参数对目标帧数的所述图像帧进行所述过渡处理。
23.根据权利要求21所述的方法，其特征在于，所述过渡处理的方式包括如下至少一种：
调节对所述图像帧的进行LSC和AWB调节效果；
对所述图像帧进行线性插值补偿。
24.根据权利要求17至20任一所述的方法，其特征在于，所述方法还包括：
基于所述图像信号处理器传输的所述图像帧，控制显示屏显示拍摄预览画面。
25.一种图像信号处理器，其特征在于，所述图像信号处理器包括可编程逻辑电路和/或程序指令，当所述图像信号处理器运行时，用于实现如权利要求13至16任一所述的图像处理方法。
26.一种应用处理器，其特征在于，所述应用处理器包括可编程逻辑电路和/或程序指令，当所述应用处理器运行时，用于实现如权利要求17至24任一所述的图像处理方法。
27.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如权利要求13至16任一所述的图像处理方法，或，实现如权利要求17至24任一所述的图像处理方法。
28.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；电子设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述电子设备实现如权利要求13至16任一所述的图像处理方法，或，实现如权利要求17至24任一所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210194597.2A CN116744134A (zh) | 2022-03-01 | 2022-03-01 | 图像处理方法、处理器、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210194597.2A CN116744134A (zh) | 2022-03-01 | 2022-03-01 | 图像处理方法、处理器、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116744134A true CN116744134A (zh) | 2023-09-12 |
Family
ID=87911976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210194597.2A Pending CN116744134A (zh) | 2022-03-01 | 2022-03-01 | 图像处理方法、处理器、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116744134A (zh) |
-
2022
- 2022-03-01 CN CN202210194597.2A patent/CN116744134A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110505411B (zh) | 图像拍摄方法、装置、存储介质及电子设备 | |
| US8019129B2 (en) | Image pickup device, face detection method, and computer-readable recording medium | |
| WO2020038072A1 (zh) | 曝光控制方法、装置和电子设备 | |
| US9373022B2 (en) | Image processing apparatus, method of processing image, and computer-readable storage medium | |
| CN111028189A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP2007096582A (ja) | 撮像装置、露出制御装置、方法およびプログラム | |
| CN108280817B (zh) | 一种图像处理方法及移动终端 | |
| US20210168273A1 (en) | Control Method and Electronic Device | |
| US20230360186A1 (en) | Image processing method, electronic device, and storage medium | |
| CN110445986A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| WO2019179242A1 (en) | Image processing method and electronic device | |
| CN113596357A (zh) | 图像信号处理器、图像信号处理装置及方法、芯片、终端设备 | |
| JP2023175858A (ja) | 撮像支援装置、撮像装置、撮像支援方法、及びプログラム | |
| JP5780885B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
| CN113744139A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110278386A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN116437222B (zh) | 图像处理方法与电子设备 | |
| CN116744134A (zh) | 图像处理方法、处理器、设备及存储介质 | |
| US9288461B2 (en) | Apparatus and method for processing image, and computer-readable storage medium | |
| CN115665562A (zh) | 图像处理方法、电路、设备及介质 | |
| CN114298889A (zh) | 图像处理电路和图像处理方法 | |
| CN109729269B (zh) | 一种图像处理方法、终端设备及计算机可读存储介质 | |
| CN113676674A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN113660425A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| JP6688086B2 (ja) | 撮像装置およびその制御方法ならびにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |