CN113965699B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113965699B
CN113965699B CN202111199534.8A CN202111199534A CN113965699B CN 113965699 B CN113965699 B CN 113965699B CN 202111199534 A CN202111199534 A CN 202111199534A CN 113965699 B CN113965699 B CN 113965699B
Authority
CN
China
Prior art keywords
frame
line
row
frames
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111199534.8A
Other languages
English (en)
Other versions
CN113965699A (zh
Inventor
从勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aixin Yuanzhi Semiconductor Co ltd
Aixin Yuanzhi Semiconductor Ningbo Co ltd
Original Assignee
Aixin Yuanzhi Semiconductor Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aixin Yuanzhi Semiconductor Shanghai Co Ltd filed Critical Aixin Yuanzhi Semiconductor Shanghai Co Ltd
Priority to CN202111199534.8A priority Critical patent/CN113965699B/zh
Publication of CN113965699A publication Critical patent/CN113965699A/zh
Application granted granted Critical
Publication of CN113965699B publication Critical patent/CN113965699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种图像处理方法、装置、电子设备和存储介质，其中，方法包括：获取行交织信号，并根据所述行交织信号的行信号逐行曝光，生成不同曝光帧各自的单行帧；将所述不同曝光帧的全部所述单行帧进行组合，生成待处理组合帧；对所述待处理组合帧进行图像处理，生成所述每个曝光帧对应的目标帧。本申请中，基于时分复用技术实现了行交织信号的生成和提取，通过对不同曝光帧的组合处理，使得图像处理器可以同时处理多个曝光帧，有效减少了图像处理器的通路占用，节约了对曝光帧进行图像处理的资源消耗。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及曝光成像领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
数码成像的传感器在进行拍摄时，会交织输出多种曝光帧。相关技术中，将交织输出的多个曝光帧分开，并将分开后的每个曝光帧分别通过不同的通路输入对应的处理器进行图像信号处理。导致通路占用过多，资源消耗较大。
发明内容
本申请的目的旨在至少在一定程度上解决上述技术中的技术问题之一。
本申请第一方面提供了一种图像处理方法，包括：获取行交织信号，并根据所述行交织信号的行信号逐行曝光，生成不同曝光帧各自的单行帧；将所述不同曝光帧的全部所述单行帧进行组合，生成待处理组合帧；对所述待处理组合帧进行图像处理，生成所述每个曝光帧对应的目标帧。
本申请第一方面提供的一种图像处理方法，还具备如下技术特征，包括：
根据本申请一实施例，所述生成不同曝光帧各自的单行帧，包括：按序逐行获取所述行交织信号中的每个单行信号，从所述每个单行信号的属性信息中，确定所述每个单行信号的所属曝光类型；根据所述曝光类型，生成所述每个单行信号对应的所述单行帧。
根据本申请一实施例，所述将所述不同曝光帧的全部所述单行帧进行组合，生成待处理组合帧，包括：对每个单行帧进行扩边；将属于同组的扩边后的所述每个单行帧进行拼接，生成单行组合帧；将全部的单行组合帧进行组合，生成待处理组合帧。
根据本申请一实施例，所述对每个单行帧进行扩边，包括：基于图像处理器中的滤波窗的处理距离，确定所述每个单行帧的纵向扩边区域和横向扩边区域；根据所述纵向扩边区域和所述横向扩边区域，生成所述每个单行帧的所述扩边区域。
根据本申请一实施例，所述基于滤波窗的处理距离，确定所述每个单行帧的纵向扩边区域和横向扩边区域，包括：基于所述处理距离与所述每个单行帧的高度，确定所述每个单行帧的纵向扩边区域，其中，所述纵向扩边区域与所属的单行帧相邻，且所述属于同组的每个单行帧的纵向扩边区域相邻且不重叠；基于所述处理距离与所述每个单行帧的宽度，确定所述每个单行帧的横向扩边区域，其中，所述横向扩边区域与所属的所述单行帧相邻；将所述纵向扩边区域和所述横向扩边区域沿所属的所述单行帧进行组合，生成所述每个单行帧的所述扩边区域。
根据本申请一实施例，确定所述单行帧为属于同组的单行帧，包括：获取所述单行帧的坐标信息；将所述坐标信息中纵坐标相同的所述单行帧，确定为所述属于同组的单行帧，其中，所述属于同组的单行帧包括至少一个单行帧。
根据本申请一实施例，所述将属于同组的扩边后的所述每个单行帧进行拼接时存在空白区域，其中，所述空白区域的识别，包括：确定所述属于同组的单行帧数量的门限值，其中，所述门限值基于所述不同曝光帧的数量确定；响应于所述同组的扩边后的所述单行帧的数量小于所述门限值，则将所述同组的单行帧的所属成像覆盖区域中，所述单行帧和对应的扩边区域未占用的区域，确定为所述空白区域。
根据本申请一实施例，所述将属于同组的扩边后的所述每个单行帧进行拼接，生成单行组合帧，包括：获取所述扩边区域的第一数据，并使用所述第一数据对所述扩边区域进行填充，其中，所述第一数据为所述扩边区域所属的所述单行帧对应的复制字符串、镜像字符串和空白字符串中的任意一种；获取所述空白区域的第二数据，并使用所述第二数据对所述空白区域进行填充，其中，所述第二数据为空白字符；将所述属于同组的每个单行帧，和所述属于同组的每个单行帧对应的填充后的所述空白区域以及所述扩边区域按序拼接，生成所述单行组合帧。
根据本申请一实施例，所述将全部的单行组合帧进行组合，生成待处理组合帧，包括：根据每个单行组合帧生成时序，将所述每个单行组合帧进行拼接，并基于拼接后的全部单行组合帧，生成所述待处理组合帧。
根据本申请一实施例，所述对所述待处理组合帧进行图像处理，生成所述每个曝光帧对应的目标帧，包括：将所述待处理组合帧中所述每个曝光帧的首行帧首位像素点的位置，确定为所述每个曝光帧的起始位置；从所述每个曝光帧的所述起始位置开始，使用所述起始位置对应的曝光帧的匹配参数进行图像处理，并在下一个曝光帧的所述起始位置，将所述匹配参数变更为所述下一个曝光帧的匹配参数，并基于变更后的匹配参数对所述下一个曝光帧进行图像处理，直至所述每个曝光帧处理完毕，生成所述每个曝光帧对应的所述目标帧。
本申请第二方面提供了一种图像处理装置，包括：提取生成模块，用于获取行交织信号，并根据所述行交织信号的行信号逐行曝光，生成不同曝光帧各自的单行帧；组合模块，用于将所述不同曝光帧的全部所述单行帧进行组合，生成待处理组合帧；成像模块，用于对所述待处理组合帧进行图像处理，生成所述每个曝光帧对应的目标帧。
本申请第二方面提供的一种图像处理装置，还具备如下技术特征，包括：
根据本申请一实施例，所述提取生成模块，还用于：按序逐行获取所述行交织信号中的每个单行信号，从所述每个单行信号的属性信息中，确定所述每个单行信号的所属曝光类型；根据所述曝光类型，生成所述每个单行信号对应的所述单行帧。
根据本申请一实施例，所述组合模块，还用于：对每个单行帧进行扩边；将属于同组的扩边后的所述每个单行帧进行拼接，生成单行组合帧；将全部的单行组合帧进行组合，生成待处理组合帧。
根据本申请一实施例，所述组合模块，还用于：基于图像处理器中的滤波窗的处理距离，确定所述每个单行帧的纵向扩边区域和横向扩边区域；根据所述纵向扩边区域和所述横向扩边区域，生成所述每个单行帧的所述扩边区域。
根据本申请一实施例，所述组合模块，还用于：基于所述处理距离与所述每个单行帧的高度，确定所述每个单行帧的纵向扩边区域，其中，所述纵向扩边区域与所属的单行帧相邻，且所述属于同组的每个单行帧的纵向扩边区域相邻且不重叠；基于所述处理距离与所述每个单行帧的宽度，确定所述每个单行帧的横向扩边区域，其中，所述横向扩边区域与所属的所述单行帧相邻；将所述纵向扩边区域和所述横向扩边区域沿所属的所述单行帧进行组合，生成所述每个单行帧的所述扩边区域。
根据本申请一实施例，确定组合模块，还用于：获取所述单行帧的坐标信息；将所述坐标信息中纵坐标相同的所述单行帧，确定为所述属于同组的单行帧，其中，所述属于同组的单行帧包括至少一个单行帧。
根据本申请一实施例，所述组合模块，还用于：确定所述属于同组的单行帧数量的门限值，其中，所述门限值基于所述不同曝光帧的数量确定；响应于所述同组的扩边后的所述单行帧的数量小于所述门限值，则将所述同组的单行帧的所属成像覆盖区域中，所述单行帧和对应的扩边区域未占用的区域，确定为所述空白区域。
根据本申请一实施例，所述组合模块，还用于：获取所述扩边区域的第一数据，并使用所述第一数据对所述扩边区域进行填充，其中，所述第一数据为所述扩边区域所属的所述单行帧对应的复制字符串、镜像字符串和空白字符串中的任意一种；获取所述空白区域的第二数据，并使用所述第二数据对所述空白区域进行填充，其中，所述第二数据为空白字符；将所述属于同组的每个单行帧，和所述属于同组的每个单行帧对应的填充后的所述空白区域以及所述扩边区域按序拼接，生成所述单行组合帧。
根据本申请一实施例，所述组合模块，还用于：根据每个单行组合帧生成时序，将所述每个单行组合帧进行拼接，并基于拼接后的全部单行组合帧，生成所述待处理组合帧。
根据本申请一实施例，所述成像模块，还用于：将所述待处理组合帧中所述每个曝光帧的首行帧首位像素点的位置，确定为所述每个曝光帧的起始位置；从所述每个曝光帧的所述起始位置开始，使用所述起始位置对应的曝光帧的匹配参数进行图像处理，并在下一个曝光帧的所述起始位置，将所述匹配参数变更为所述下一个曝光帧的匹配参数，并基于变更后的匹配参数对所述下一个曝光帧进行图像处理，直至所述每个曝光帧处理完毕，生成所述每个曝光帧对应的所述目标帧。
本申请第三方面实施例提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面提供的图像处理方法。
本申请第四方面实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请第一方面提供的图像处理方法。
本申请第五方面实施例提供了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行本申请第一方面提供的图像处理方法。
本申请提供的图像处理方法及装置，逐行根据行交织信号中的行信号，生成不同曝光帧的单行帧，并对不同曝光帧的单行帧进行组合，从而获取对应的待处理组合帧。对待处理组合帧进行图像处理，从而生成每个曝光帧对应的目标帧。本申请中，基于时分复用技术实现了行交织信号的生成和提取，通过对不同曝光帧的组合处理，使得图像处理器可以同时处理多个曝光帧，有效减少了图像处理器的通路占用，节约了对曝光帧进行图像处理的资源消耗。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请一实施例的图像处理方法的流程示意图；
图2为本申请另一实施例的图像处理方法的流程示意图；
图3为本申请另一实施例的图像处理方法的流程示意图；
图4为本申请一实施例的待处理组合帧的结构示意图；
图5为本申请另一实施例的图像处理方法的流程示意图；
图6为本申请另一实施例的图像处理方法的流程示意图；
图7为本申请一实施例的图像处理装置的结构示意图；
图8为本申请另一实施例的图像处理装置的结构示意图；
图9是本申请一实施例的电子设备的框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的图像处理方法、装置、电子设备及存储介质。
图1为本申请一实施例的图像处理方法的流程示意图，如图1所示，该方法包括：
S101，获取行交织信号，并根据行交织信号的行信号逐行曝光，生成不同曝光帧各自的单行帧。
实现中，数码成像传感器(sensor)可以通过行交织信号的方式输出多种曝光类型的曝光帧的成像信号，其中，可以根据曝光帧的曝光时间确定对应的曝光类型。比如长曝光类型、短曝光类型、超短曝光类型等等。
可选地，基于sensor对拍摄对象的不同曝光时间的拍摄，从而生成不同曝光类型的曝光帧的成像信号。并基于时分复用技术(time-division multiplexing,TDM)将不同的曝光类型的曝光帧信号相互交织在不同的时间段内，并沿同一个信道传输，从而生成对应的行交织信号。
进一步地，在行交织信号传输的信道的输出端口，再基于TDM对行交织信号中每个时间段内的信号逐行提取并还原，从而获取不同曝光帧的每一行的成像信号，进而生成每一行成像信号对应的曝光帧中的单行帧。
比如，设定行交织信号中携带有长曝光、短曝光两种曝光类型的曝光帧的成像信号，长曝光的成像信号先行输出，间隔设定时间后，短曝光的成像信号开始输出，其中，长曝光的成像信号与短曝光的成像信号通过行交织的方式输出。通过TDM对其中的长曝光的成像信号与短曝光的成像信号进行提取。
当从行交织信号中提取到长曝光帧的成像信号时，则基于行交织信号中每一行的长曝光帧的成像信号，逐行生成对应的单行帧。
当从行交织信号中提取到长曝光的成像帧信号和短曝光帧的成像信号交织输出时，则在提取到某一行长曝光帧的成像信号时，生成对应的长曝光帧的单行帧，在提取到下一行短曝光帧的成像信号时，则生成对应的短曝光帧的单行帧。
S102，将不同曝光帧的全部单行帧进行组合，生成待处理组合帧。
实现中，可以通过图像处理器对不同的曝光帧进行图像处理，比如图像信号处理(Image Signal Processing，ISP)。
基于与ISP连接的通路，将曝光帧输入对应的ISP，基于ISP的图像处理生成曝光帧对应的人眼可视的图像。
本申请实施例中，可以将基于sensor输出的行交织信号生成的不同的曝光帧进行组合，使得ISP可以对组合状态下的曝光帧进行图像处理。
其中，可以对生成的不同曝光帧的单行帧分别进行组合，生成对应的组合单行帧，并将每个组合单行帧进行进一步的组合，从而实现行交织信号中携带的成像信号对应的不同曝光帧的组合。
进一步地，可以将不同的曝光帧的组合确定为待处理组合帧。
可选地，不同的曝光帧的单行帧的成像位置存在不同，因此，可以将位置上存在关联关系的单行帧进行组合。
比如，在上述示例的基础上，逐行生成长曝光帧的单行帧和短曝光帧的单行帧后，可以针对其中某一行长曝光帧的单行帧和某一行短曝光帧的单行帧，获取二者之间的位置关系。若确定二者之间的位置存在关系关联，则可以将该长曝光帧的单行帧和该短曝光帧的单行帧进行组合，从而生成该长曝光帧的单行帧和该短曝光帧的单行帧对应的组合单行帧。
进一步地，对基于行交织信号生成的每一个曝光帧的单行帧与位置关联的单行帧之间进行组合，并对组合获取到的全部的组合单行帧进行进一步组合，从而生成对应的待处理组合帧。
S103，对待处理组合帧进行图像处理，生成每个曝光帧对应的目标帧。
本申请实施例中，可以通过图像处理器对待处理组合帧中的每个曝光帧分别进行图像处理。
可选地，ISP可以对待处理组合帧中的每一个曝光帧，分别进行自动曝光控制(AEC)、自动增益控制(AGC)、自动白平衡(AWB)、色彩校正、祛除坏点、镜头阴影(LensShading)、黑色电平自动校正(Auto Black Level)、白色电平自动校正(Auto WhiteLevel)等处理，从而生成每一个曝光帧对应的人眼可视的图像。
进一步地，基于对待处理组合帧中的每一个曝光帧的分别处理，从而生成每一个曝光帧对应的人眼可视的目标帧。
本申请提供的图像处理方法，逐行根据行交织信号中的行信号，生成不同曝光帧的单行帧，并对不同曝光帧的单行帧进行组合，从而获取对应的待处理组合帧。对待处理组合帧进行图像处理，从而生成每个曝光帧对应的目标帧。本申请中，基于时分复用技术实现了行交织信号的生成和提取，通过对不同曝光帧的组合处理，使得图像处理器可以同时处理多个曝光帧，有效减少了图像处理器的通路占用，节约了对曝光帧进行图像处理的资源消耗。
上述实施例中，关于不同曝光帧的单行帧的生成，可结合图2进一步理解，图2本申请另一实施例的图像处理方法的流程示意图，如图2所示，该方法包括：
S201，按序逐行获取行交织信号中的每个单行信号，从每个单行信号的属性信息中，确定每个单行信号的所属曝光类型。
实现中，sensor会对拍摄对象采用的不同的曝光时间进行曝光，从而获取到不同视觉效果的图像。比如通过长曝光可以捕捉拍摄对象在时间流逝中的状态变化等等。
进一步地，可以从行交织信号中的每个单行信号的属性信息中读取相关参数，并根据参数中的标识信息，从而确定所读取的属性信息所属的单行信号对应的曝光帧的曝光类型。
比如，设定长曝光、短曝光以及超短曝光等不同的曝光类型存在设定的曝光时间区间限定。
当读取到某一个单行信号的属性信息中，其曝光时间落在短曝光对应的曝光时间区间内时，则可以判断当前读取的属性信息所属的单行信号对应的曝光类型为短曝光。
或者，当读取到某一行单行信号的属性信息中，其曝光时间落在超短曝光帧对应的曝光时间区间内时，则可以判断当前读取的属性信息所属的单行信号对应的曝光类型为超短曝光。
进一步地，从行交织信号中逐行读取每个单行信号的属性信息，进而确定每个单行信号所属的曝光类型。
S202，根据曝光类型，生成每个单行信号对应的单行帧。
本申请实施例中，不同曝光帧的生成存在设定的位置，因此，提取到行交织信号中的每个单行信号后，需要对每个单行信号的曝光类型进行判断，从而确定基于每个单行信号生成的单行帧的成像位置。
进一步地，确定每个单行信号所属的曝光类型后，基于不同曝光类型的曝光帧的生成位置，生成每个单行信号对应的单行帧。
本申请提供的图像处理方法，根据行交织中的每个单行信号的属性信息，确定每个单行信号所属的曝光类型，进而生成对应的单行帧。为后续基于单行帧的组合从而实现的曝光帧的组合提供了操作基础。
进一步地，对不同曝光帧的单行帧进行组合生成待处理组合帧，可结合图3理解，图3为本申请另一实施例的图像处理方法的流程示意图，如图3所示，该方法包括：
S301，对每个单行帧进行扩边。
本申请实施例中，图像处理器可以通过其中的滤波窗对待处理组合帧进行图像处理，从而生成每个曝光帧对应的目标帧。
进一步地，基于图像处理器中的滤波窗的处理距离，确定每个单行帧的纵向扩边区域和横向扩边区域。
可选地，图像处理器中的滤波窗存在设定尺寸，根据滤波窗进行图像处理的位置，以及其设定尺寸可以确定滤波窗的处理距离。其中，滤波窗可以通过其中心位置的处理窗口对待处理组合帧进行图像处理。
比如，设定滤波窗的尺寸为3×3大小，则滤波窗的处理距离为2个像素点。再比如，设定滤波窗的尺寸为5×5大小，则滤波窗的处理距离为3个像素点。
因此，为了使得待处理组合帧的每个像素点均可以被滤波窗正常处理，需要对每个曝光帧进行扩边。进一步地，为了实现扩边和组合的效率，可以对每个单行帧进行扩边。
进一步地，可以根据滤波窗的处理距离分别确定单行帧的纵向方向和横向方向上的扩边区域。
可选地，基于处理距离与每个单行帧的高度，确定每个单行帧的纵向扩边区域，其中，纵向扩边区域与所属的单行帧相邻，且属于同组的每个单行帧的纵向扩边区域相邻且不重叠。
本申请实施例中，每个单行帧的纵向扩边区域均与所属的单行帧相邻，因此，可以基于滤波窗的处理距离和每个单行帧的高度，确定其对应的纵向扩边区域。
比如，设定滤波窗的尺寸为3×3大小，滤波窗的处理距离为2个像素点。如图4所示，曝光帧I的单行帧N1和单行帧N2的尺寸为8个像素点×高度1个像素点，其中，单行帧N1为曝光帧I的首行帧，单行帧N2为曝光帧I的非首行帧。
则可以确定单行帧N1的纵向扩边区域为单行帧N1两侧的分别为1个像素点对应的区域A1和区域A1’。单行帧N2的纵向扩边区域为单行帧N2两侧的分别为1个像素点对应的区域B1和区域B1’。
再比如，设定滤波窗的尺寸为3×3大小，滤波窗的处理距离为2个像素点。如图4所示，曝光帧II的单行帧M1和单行帧M2的尺寸为8个像素点×高度1个像素点，其中，单行帧M1为曝光帧II的首行帧，单行帧M2为曝光帧II的非首行帧。
则可以确定单行帧M1的纵向扩边区域为单行帧M1两侧的分别为1个像素点对应的区域A2和区域A2’。单行帧M2的纵向扩边区域为单行帧M2两侧的分别为1个像素点对应的区域B2和区域B2’。
可选地，基于处理距离与每个单行帧的宽度，确定每个单行帧的横向扩边区域，其中，横向扩边区域与所属的单行帧相邻。
本申请实施例中，每个单行帧的横向扩边区域均与所属的单行帧相邻，因此，可以基于滤波窗的处理距离和每个单行帧的宽度，确定其对应的横向扩边区域。
比如，设定滤波窗的尺寸为3×3大小，滤波窗的处理距离为2个像素点。如图4所示，曝光帧I的单行帧N1、单行帧N2和单行帧NN的尺寸为8个像素点×高度1个像素点，其中，单行帧N1为曝光帧I的首行帧，单行帧N2为曝光帧I的非首行帧，单行帧NN为曝光帧I的尾行帧。
则可以确定单行帧N1的横向扩边区域为单行帧N1上侧的10个像素点对应的区域T1。单行帧NN的横向扩边区域为单行帧NN下侧的10个像素点对应的区域T1’。
由于单行帧N2上侧拼接的是单行帧N1，下侧拼接的是单行帧N3，因此，单行帧N2无需进行横向方向的扩边处理。
再比如，设定滤波窗的尺寸为3×3大小，滤波窗的处理距离为2个像素点。如图4所示，曝光帧II的单行帧M1、单行帧M2和单行帧MN的尺寸为8个像素点×高度1个像素点，其中，单行帧M1为曝光帧II的首行帧，单行帧M2为曝光帧II的非首行帧，单行帧MN为曝光帧II的尾行帧。
则可以确定单行帧M1的横向扩边区域为单行帧M1上侧的8个像素点对应的区域T2。单行帧MN的横向扩边区域为单行帧MN下侧的10个像素点对应的区域T2’。
由于单行帧M2上侧拼接的是单行帧M1，下侧拼接的是单行帧M3，因此，单行帧M2无需进行横向方向的扩边处理。
需要说明的是，为了使得图像处理器可以生成待处理组合帧中每个曝光帧对应的单独的目标帧，不同曝光帧之间的扩边区域相邻但不重叠，且每个扩边区域与其所属的单行帧相邻。
如图4所示，单行帧N1的纵向扩边区域A1’与单行帧M1的纵向扩边区域A2相邻但不重叠，单行帧N2的纵向扩边区域B1’与单行帧M2的纵向扩边区域B2相邻但不重叠。
曝光帧I中，纵向扩边区域A1、A1’和横向扩边区域T1，与其所属的单行帧N1相邻。纵向扩边区域B1、B1’与其所属的单行帧N2相邻。
曝光帧II中，纵向扩边区域A2、A2’和横向扩边区域T2，与其所属的单行帧M1相邻。纵向扩边区域B2、B2’与其所属的单行帧M2相邻。
进一步地，根据纵向扩边区域和横向扩边区域，生成每个单行帧的扩边区域。
本申请实施例中，确定每个单行帧的横向扩边区域和纵向扩边区域后，可以对两个方向的扩边区域进行整合，从而生成每个单行帧的扩边区域。
进一步地，将纵向扩边区域和横向扩边区域沿所属的单行帧进行组合，生成每个单行帧的扩边区域。
其中，每个单行帧的纵向扩边区域和横向扩边区域均与其所属的单行帧相邻，因此，可以沿着每个单行帧的边界对横向扩边区域和纵向扩边区域进行组合。
比如，如图4所示，可以将曝光帧I的单行帧N1的纵向扩边区域A1和A1’，以及横向扩边区域T1沿曝光帧I的边界进行组合，进而生成单行帧的扩边区域A1+T1+A1’。
再比如，如图4所示，可以将曝光帧II的单行帧M2的纵向扩边区域B2和B2’进行组合，从而生成单行帧M2的扩边区域B2+B2’。
实现中，滤波窗的处理范围内，每个位置都需要存在有效数据，因此，为了使得滤波窗可以对曝光帧进行有效的图像处理，对于每个单行帧的扩边区域需要进行数据填充。
进一步地，获取扩边区域的第一数据，并使用第一数据对扩边区域进行填充，其中，第一数据为扩边区域所属的单行帧对应的复制字符串、镜像字符串和空白字符串中的任意一种。
本申请实施例中，为了不影响曝光帧的成像效果，可以选择与每个单行帧存在相似关联的数据，或者空白数据进行扩边区域的填充，其中，可以将对扩边区域进行填充的数据标识为扩边区域的第一数据。
可选地，可以选择复制每个单行帧对应的字符串，并将复制后的字符串填充至对应的扩边区域，填充后的扩边区域与其所属的单行帧的内容相同。
可选地，可以选择对每个单行帧对应的字符串进行镜像处理，将镜像处理后的字符串填充至对应的扩边区域，填充后的扩边区域与其所属的单行帧呈现镜像的相反内容。
可选地，可以选择空白数据对每个单行帧的扩边区域进行填充。
基于上述三种填充数据的选择，滤波窗可以有效对扩边区域进行识别，从而避免了对于曝光帧的成像效果的影响。
S302，将属于同组的扩边后的每个单行帧进行拼接，生成单行组合帧。
本申请实施例中，可以在单行帧的维度上实现拼接组合。其中，可以将属于同一组的每个扩边后的单行帧进行拼接组合，从而生成每一组的单行组合帧。
可选地，可以根据每个单行帧的坐标信息，对每个单行帧及与其属于同组的单行帧进行判断。
进一步地，获取单行帧的坐标信息。
实现中，可以从每个单行信号的属性参数中读取每个单行信号生成的单行帧对应的生成坐标，包括单行帧上每个像素点的生成坐标，其中，每个像素点的坐标包括纵坐标和横坐标。
进一步地，将坐标信息中纵坐标相同的单行帧，确定为属于同组的单行帧，其中，属于同组的单行帧包括至少一个单行帧。
实现中，可以通过纵坐标判断单行帧与单行帧之间是否属于同组关系。
可选地，如图4所示，可以将属于同组关系的若干单行帧理解为生成位置处于同一行的若干单行帧。
设定单行帧N4的首个像素点的坐标为(x2,y5)，单行帧M1的首个像素点的坐标为(x12,y5)，由二者的纵坐标可知，单行帧N4和单行帧M1为属于同组关系。
则可以将扩边后的单行帧N4和扩边后的单行帧M1进行组合，从而生成对应的单行组合帧。
进一步地，如图4所示，扩边后的单行帧N1属于同组的为扩边后的单行帧N1本身，因此，可以基于扩边后的单行帧N1生成对应的单行组合帧。同样的，扩边后的单行帧N2、N3均与扩边后的单行帧N1状况相同，因此，可以基于其自身分别生成对应的单行组合帧。
扩边后的单行帧N4属于同组的为扩边后的单行帧M1，因此，可以基于扩边后的单行帧N4和扩边后的单行帧M1生成对应的单行组合帧。同样的，扩边后的单行帧M3、M4与扩边后的单行帧M1，因此，可以分别基于与扩边后的单行帧M3、M4属于同组的每个扩边后的单行帧，生成对应的单行组合帧。
S303，将全部的单行组合帧进行组合，生成待处理组合帧。
实现中，图像处理器可以基于不同曝光帧组合生成的待处理组合帧进行图像处理。为了提高待处理组合帧的生成效率，可以针对属于同组的每个单行帧进行组合，生成对应的单行组合帧，并对单行组合帧进行组合，从而生成不同曝光帧对应的待处理组合帧。
进一步地，根据每个单行组合帧生成时序，将每个单行组合帧进行拼接，并基于拼接后的全部单行组合帧，生成待处理组合帧。
本申请实施例中，不同的曝光类型的曝光帧的曝光时间不同，因此，行交织信号中对于不同曝光类型的曝光帧的单行信号的输出存在时序。由此可知，基于行交织信号中的单行信号生成的不同曝光帧的单行帧同样存在生成时序。
因此，可以基于每个单行组合帧内的每个单行帧的生成时序，确定每个单行组合帧的生成时序。可以对每个单行组合帧内的每个单行帧的时序进行组合，从而生成每个单行组合帧的组合时序。
进一步地，针对任两组单行组合帧，当其中一个单行组合帧内的组合时序早于另一个单行组合帧时，则组合时序较晚的单行组合帧拼接于组合时序较早的单行组合帧之后。
可选地，可以在当前组的单行帧生成之后，下一组单行帧生成之前，完成当前组的单行帧的扩边以及对应的单行组合帧的组合操作，生成当前组的单行帧对应的单行组合帧。
进一步地，在当前组的单行帧对应的单行组合帧生成之后，再进行下一组的单行帧生成、扩边和对应的单行组合帧的组合操作，并顺序将下一组的单行帧对应的单行组合帧拼接至当前组的单行帧对应的单行组合帧之后。进一步地，实现全部的单行组合帧的顺序拼接，进而生成待处理组合帧。
依然如图4所示，在上述示例的基础上，可以在基于扩边后的单行帧N1生成对应的单行组合帧后，顺序拼接基于扩边后的单行帧N2生成对应的单行组合帧，后顺序拼接基于扩边后的单行帧N3生成对应的单行组合帧，然后将基于扩边后的单行帧N4和扩边后的单行帧M1生成对应的单行组合帧顺序拼接于基于扩边后的单行帧N3生成对应的单行组合帧之后。
基于顺序将全部的单行组合帧拼接完毕，从而生成如图4所示的待处理组合帧。
本申请提供的图像处理的方法，通过将每个单行帧进行扩边，并将属于同组的扩边后的单行帧进行组合，从而生成对应的单行组合帧。通过基于每个单行组合帧的生成时序对全部的单行组合帧进行拼接，从而生成对应的待处理组合帧。本申请中，为单行帧进行扩边，并选择相应的数据对扩边区域进行填充，保证了滤波窗可以对曝光帧实现正常的图像处理，避免了对曝光帧的成像效果的影响。基于属于同组的扩边后的单行帧生成的单行组合帧，实现待处理组合帧的生成，有效提高了待处理组合帧的生成效率，从而提高了图像处理的效率。
进一步地，在对属于同组的扩边后的单行帧进行拼接时，可能存在空白区域，其中，对于空白区域的识别，以及在存在空白区域的场景中如何实现单行组合帧的拼接生成，可以结合图5进一步理解，图5为本申请另一实施例的图像处理方法的流程示意图，如图5所示，该方法包括：
S501，确定属于同组的单行帧数量的门限值，其中，门限值基于不同曝光帧的数量确定。
实现中，图像处理器对于待处理组合帧中包括的曝光帧的数量存在限制，因此，在将同组的每个单行帧组合生成对应的单行组合帧时，每组的单行帧的数量同样存在限制。其中，可以将该数量限制确定为属于同组的单行帧的数量的门限值。
比如，若行交织信号中传输了3个曝光帧的成像信号，则该场景下，属于同组的单行帧的数量的门限值为3。再比如，若行交织信号中传输了5个曝光帧的成像信号，则该场景下，属于同组的单行帧的数量的门限值为5。
再比如，如图4所示，图4中存在曝光帧I、曝光帧II和曝光帧III，则图4中属于同组的单行帧的数量的门限值为3。
S502，响应于同组的扩边后的单行帧的数量小于门限值，则将同组的单行帧的所属成像覆盖区域中，单行帧和对应的扩边区域未占用的区域，确定为空白区域。
实现中，属于同组的单行帧的数量的门限值即为同组中的单行帧数量的上限值，因此，当某一组中的单行帧数量与门限值相同时，可以判断，在对该组中的单行帧进行扩边并组合生成单行组合帧的过程中，不会存在空白区域。
可以理解为，当属于同组的单行帧的数量小于门限值时，该组中存在部分区域没有覆盖到单行帧，因此，在该场景中，属于同组的单行帧在进行扩边和组合生成单行组合帧的过程中，存在空白区域。
本申请实施例中，针对某一组的单行帧，可以将该组中的每个单行帧与其对应的扩边区域没有占用的区域，确定为该组单行帧的空白区域。
可选地，可以根据单行帧的尺寸实现空白区域的计算。
实现中，sensor生成不同曝光帧的行交织信号时，每个曝光帧的宽度和高度已经设定完成，并通过每个曝光帧对应的单行信号的属性信息体现。因此，可以通过不同曝光帧的宽度和高度、和不同曝光帧的扩边区域的宽度和高度，确定生成的待处理组合帧的宽度和高度。
如图4所示，将曝光帧I与其横向扩边区域的宽度、曝光帧II与其横向扩边区域的宽度和曝光帧III与其横向扩边区域的宽度进行加和计算，计算结果即为待处理组合帧的宽度。
需要说明的是，由于本申请实施例中，是在属于同组的每个单行帧生成后，对改组内的单行帧进行扩边组合操作，因此，可以通过计算每组单行帧内的空白区域，从而实现对于待处理组合帧中的空白区域的计算。
比如，针对曝光帧I的单行帧N1，可以将待处理组合帧的宽度与单行帧N1和其横向扩边区域的宽度相减求差，该差值即为单行帧N1对应的空白区域的宽度。将单行帧N1的高度和其横向扩边区域T1的高度相加，即可获取单行帧N1对应的空白区域的高度。进一步地，基于获取到的高度和宽度，即可生成单行帧N1对应的空白区域X1。
进一步地，基于单行帧的生成时序，确定属于同组的每组单行帧对应的空白区域。
由于图像处理器需要基于完成的图像进行相关的处理操作，因此，对于空白区域需要进行数据填充。
进一步地，获取空白区域的第二数据，并使用第二数据对空白区域进行填充，其中，第二数据为空白字符。
本申请实施例中，为了避免空白区域填充的数据对曝光帧的成像产生影响，可以通过空白数据对每组单行帧的空白区域进行数据填充。填充后的空白区域内均为空白数据，图像处理器可以实现该区域的有效识别，从而避免空白区域的数据对于图像处理的效果的影响。
其中，可以将对空白区域进行填充的数据确定为空白区域的第二数据。
S503，将属于同组的每个单行帧，和属于同组的每个单行帧对应的填充后的空白区域以及扩边区域按序拼接，生成单行组合帧。
本申请实施例中，在存在空白区域的场景下，需要基于属于同组的每个单行帧、每个单行帧填充后的扩边区域以及每组单行帧填充后的空白区域，生成对应的单行组合帧。
可选地，可以基于设定的顺序，将属于同组的每个单行帧、每个单行帧的扩边区域和空白区域进行拼接。
如图4所示，单行帧N5和单行帧M2为属于同组的单行帧，且该组单行帧存在空白区域。因此，在进行空白区域的确定和数据填充后，可以基于如图4中所示的顺序，将扩边区域E1、单行帧N5、扩边区域E1’、扩边区域B2、单行帧M2、扩边区域B2’和空白区域X2进行拼接，从而生成属于同组的单行帧N5和单行帧M2对应的单行组合帧。
本申请提供的图像处理方法，确定每组单行帧的空白区域后，使用空白数据对空白区域进行填充，并基于填充后的空白区域生成每组单行帧的单行组合帧。有效提高了待处理组合帧生成的稳定性，保证了待处理组合帧的可用性。
上述实施例中，关于待处理组合帧的处理，可结合图6进一步理解，图6为本申请另一实施例的图像处理方法的流程示意图，如图6所示，该方法包括：
S601，将待处理组合帧中每个曝光帧的首行帧首位像素点的位置，确定为每个曝光帧的起始位置。
本申请实施例中，可以通过图像处理器对待处理组合帧中的每一个曝光帧进行图像处理，以生成对应的目标帧。
其中，图像处理器可以是ISP，待处理组合帧通过某一个通路输入ISP，开始进行曝光帧的成像处理。
实现中，sensor对拍摄对象的曝光、以及后续曝光成像信号的传输、曝光帧的成像、图像处理等等相关操作步骤，可以通过设定的驱动进行流程的控制。进一步地，当sensor生成行交织信号并开始输出时，图像处理器可以通过设定的驱动获取待处理组合帧中，每个曝光帧的位置信息，即每个曝光帧中的每个像素点的位置信息。
进一步地，可以将每个曝光帧的首行帧的首位像素点的位置信息，确定为每个曝光帧的起始位置，基于每个曝光帧的起始位置对其进行图像处理。
比如，如图4所示，设定曝光帧II的曝光类型为短曝光，曝光帧III的曝光类型为超短曝光。则ISP基于曝光帧II的起始位置，开始基于对应的匹配参数对曝光帧II进行图像处理，当曝光帧II处理结束后，再基于曝光帧III的起始位置开始对曝光帧III进行图像处理。
S602，从每个曝光帧的起始位置开始，使用起始位置对应的曝光帧的匹配参数进行图像处理，并在下一个曝光帧的起始位置，将匹配参数变更为下一个曝光帧的匹配参数，并基于变更后的匹配参数对下一个曝光帧进行图像处理，直至每个曝光帧处理完毕，生成每个曝光帧对应的目标帧。
为了使得待处理组合帧中的每个曝光帧可以基于图像处理器分别获取单独的人眼可视的目标帧，图像处理器在进行图像处理器时，需要以每个曝光帧为单位逐个处理。
进一步地，可以从每个曝光帧的起始位置开始，使用对应的匹配参数进行图像处理。
实现中，图像处理器对不同曝光类型的曝光帧进行图像处理时，其所需匹配参数存在不同，因此，需要图像处理器根据不同的曝光帧的曝光类型，对匹配参数进行调整，从而使得图像处理器可以适应对不同曝光类型的曝光帧的图像处理。
可选地，图像处理器可以对其进行图像处理的匹配参数实现动态的调整，可以理解为，图像处理器对待处理组合帧中的某一个曝光帧处理完毕后，下一个曝光帧开始处理之前，会对下一个待处理的曝光帧的曝光类型进行判断，并根据判断的结果调整当前图像处理器的各项匹配参数，从而使得调整后的匹配参数可以对下一个曝光帧实现图像处理。
进一步地，可以基于每个曝光帧的起始位置，使用相应的匹配参数对其进行图像处理，并基于每个曝光帧的尾行帧的末位像素点的位置，开始对图像处理器的匹配参数进行调整。
可以理解为，图像处理器中的滤波窗在进行图像处理时，可以同时获取当前正在处理的曝光帧中的像素点的位置信息，当获取到的位置信息为某个曝光帧的首行帧的首位像素点的位置信息时，则可以开始对该曝光帧进行图像处理，当获取到该曝光帧的尾行帧的末位像素点的位置信息时，则可以判断该曝光帧已经处理完毕。
比如，如图4所示，设定曝光帧II的曝光类型为短曝光，曝光帧III的曝光类型为超短曝光。则ISP基于曝光帧II的起始位置，开始基于对应的匹配参数对曝光帧II进行图像处理，当处理到曝光帧II的尾行帧的末位像素点时，则可以判断处理曝光帧II处理结束。
在曝光帧II处理结束后，开始获取曝光帧III的曝光类型，并将当前可以处理短曝光类型的曝光帧的匹配参数调整成，可以处理超短曝光类型的曝光帧的匹配参数，再基于曝光帧III的起始位置开始对曝光帧III进行图像处理。
进一步地，完成待处理组合帧中的每个曝光帧的图像处理，从而单独生成每个曝光帧对应的目标帧。
本申请提供的图像处理方法，图像处理器通过某个通路获取待处理组合帧，并对其中的每个曝光帧逐个进行图像处理，并根据不同的曝光帧所属的不同的曝光类型实现匹配参数的动态调整，从而生成待处理组合帧中每个曝光帧对应的目标帧。本申请中，通过匹配参数的动态调整，实现了不同曝光类型的曝光帧组合生成的待处理组合帧的图像处理，有效减少了图像处理器的通路的占用，节约了资源消耗。
与上述几种实施例提供的图像处理方法相对应，本申请的一个实施例还提供了一种图像处理装置，由于本申请实施例提供的图像处理装置与上述几种实施例提供的图像处理方法相对应，因此上述图像处理方法的实施方式也适用于本申请实施例提供的图像处理装置，在下述实施例中不再详细描述。
图7为本申请一实施例的图像处理装置的结构示意图，如图7所示，图像处理装置700，包括提取生成模块71、组合模块72、成像模块73，其中：
提取生成模块71，用于获取行交织信号，并根据行交织信号的行信号逐行曝光，生成不同曝光帧各自的单行帧；
组合模块72，用于将不同曝光帧的全部单行帧进行组合，生成待处理组合帧；
成像模块73，用于对待处理组合帧进行图像处理，生成每个曝光帧对应的目标帧。
图8为本申请另一实施例的图像处理装置的结构示意图，如图8所示，图像处理装置800，包括提取生成模块81、组合模块82、成像模块83，其中：
需要说明的是，提取生成模块71、组合模块72、成像模块73，与提取生成模块81、组合模块82、成像模块83，具备相同的结构和功能。
本申请实施例中，提取生成模块81，还用于：按序逐行获取行交织信号中的每个单行信号，从每个单行信号的属性信息中，确定每个单行信号的所属曝光类型；根据曝光类型，生成每个单行信号对应的单行帧。
本申请实施例中，组合模块82，还用于：对每个单行帧进行扩边；将属于同组的扩边后的每个单行帧进行拼接，生成单行组合帧；将全部的单行组合帧进行组合，生成待处理组合帧。
本申请实施例中，组合模块82，还用于：基于图像处理器中的滤波窗的处理距离，确定每个单行帧的纵向扩边区域和横向扩边区域；根据纵向扩边区域和横向扩边区域，生成每个单行帧的扩边区域。
本申请实施例中，组合模块82，还用于：基于处理距离与每个单行帧的高度，确定每个单行帧的纵向扩边区域，其中，纵向扩边区域与所属的单行帧相邻，且属于同组的每个单行帧的纵向扩边区域相邻且不重叠；基于处理距离与每个单行帧的宽度，确定每个单行帧的横向扩边区域，其中，横向扩边区域与所属的单行帧相邻；将纵向扩边区域和横向扩边区域沿所属的单行帧进行组合，生成每个单行帧的扩边区域。
本申请实施例中，确定组合模块82，还用于：获取单行帧的坐标信息；将坐标信息中纵坐标相同的单行帧，确定为属于同组的单行帧，其中，属于同组的单行帧包括至少一个单行帧。
本申请实施例中，组合模块82，还用于：确定属于同组的单行帧数量的门限值，其中，门限值基于不同曝光帧的数量确定；响应于同组的扩边后的单行帧的数量小于门限值，则将同组的单行帧的所属成像覆盖区域中，单行帧和对应的扩边区域未占用的区域，确定为空白区域。
本申请实施例中，组合模块82，还用于：获取扩边区域的第一数据，并使用第一数据对扩边区域进行填充，其中，第一数据为扩边区域所属的单行帧对应的复制字符串、镜像字符串和空白字符串中的任意一种；获取空白区域的第二数据，并使用第二数据对空白区域进行填充，其中，第二数据为空白字符；将属于同组的每个单行帧，和属于同组的每个单行帧对应的填充后的空白区域以及扩边区域按序拼接，生成单行组合帧。
本申请实施例中，组合模块82，还用于：根据每个单行组合帧生成时序，将每个单行组合帧进行拼接，并基于拼接后的全部单行组合帧，生成待处理组合帧。
本申请实施例中，成像模块83，还用于：将待处理组合帧中每个曝光帧的首行帧首位像素点的位置，确定为每个曝光帧的起始位置；从每个曝光帧的起始位置开始，使用起始位置对应的曝光帧的匹配参数进行图像处理，并在下一个曝光帧的起始位置，将匹配参数变更为下一个曝光帧的匹配参数，并基于变更后的匹配参数对下一个曝光帧进行图像处理，直至每个曝光帧处理完毕，生成每个曝光帧对应的目标帧。
本申请提供的图像处理装置，逐行根据行交织信号中的行信号，生成不同曝光帧的单行帧，并对不同曝光帧的单行帧进行组合，从而获取对应的待处理组合帧。对待处理组合帧进行图像处理，从而生成每个曝光帧对应的目标帧。本申请中，基于时分复用技术实现了行交织信号的生成和提取，通过对不同曝光帧的组合处理，使得图像处理器可以同时处理多个曝光帧，有效减少了图像处理器的通路占用，节约了对曝光帧进行图像处理的资源消耗。
为达到上述实施例，本申请还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。
图9为本申请一实施例的电子设备的框图，根据如图9所示的电子设备可以实现执行图1至图6的实施例的图像处理方法。
为了实现上述实施例，本申请还提供一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行图1至图6的实施例的图像处理方法。
为了实现上述实施例，本申请还提供一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行图1至图6的实施例的图像处理方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种图像处理方法，其特征在于，包括：
获取行交织信号，并根据所述行交织信号的行信号逐行曝光，生成不同曝光帧各自的单行帧；
将所述不同曝光帧的全部所述单行帧进行组合，生成待处理组合帧；
对所述待处理组合帧进行图像处理，生成每个曝光帧对应的目标帧；
所述将所述不同曝光帧的全部所述单行帧进行组合，生成待处理组合帧，包括：
对每个单行帧进行扩边；
将属于同组的扩边后的所述每个单行帧进行拼接，生成单行组合帧；
将全部的单行组合帧进行组合，生成待处理组合帧；
确定所述单行帧为属于同组的单行帧，包括：
获取所述单行帧的坐标信息；
将所述坐标信息中纵坐标相同的所述单行帧，确定为所述属于同组的单行帧，其中，所述属于同组的单行帧包括至少一个单行帧；
所述将全部的单行组合帧进行组合，生成待处理组合帧，包括：
根据每个单行组合帧生成时序，将所述每个单行组合帧进行拼接，并基于拼接后的全部单行组合帧，生成所述待处理组合帧；
所述对所述待处理组合帧进行图像处理，生成所述每个曝光帧对应的目标帧，包括：
将所述待处理组合帧中所述每个曝光帧的首行帧首位像素点的位置，确定为所述每个曝光帧的起始位置；
从所述每个曝光帧的所述起始位置开始，使用所述起始位置对应的曝光帧的匹配参数进行图像处理，并在下一个曝光帧的所述起始位置，将所述匹配参数变更为所述下一个曝光帧的匹配参数，并基于变更后的匹配参数对所述下一个曝光帧进行图像处理，直至所述每个曝光帧处理完毕，生成所述每个曝光帧对应的所述目标帧。
2.根据权利要求1所述的方法，其特征在于，所述生成不同曝光帧各自的单行帧，包括：
按序逐行获取所述行交织信号中的每个单行信号，从所述每个单行信号的属性信息中，确定所述每个单行信号的所属曝光类型；
根据所述曝光类型，生成所述每个单行信号对应的所述单行帧。
3.根据权利要求2所述的方法，其特征在于，所述对每个单行帧进行扩边，包括：
基于图像处理器中的滤波窗的处理距离，确定所述每个单行帧的纵向扩边区域和横向扩边区域；
根据所述纵向扩边区域和所述横向扩边区域，生成所述每个单行帧的所述扩边区域。
4.根据权利要求3所述的方法，其特征在于，所述基于滤波窗的处理距离，确定所述每个单行帧的纵向扩边区域和横向扩边区域，包括：
基于所述处理距离与所述每个单行帧的高度，确定所述每个单行帧的纵向扩边区域，其中，所述纵向扩边区域与所属的单行帧相邻，且所述属于同组的每个单行帧的纵向扩边区域相邻且不重叠；
基于所述处理距离与所述每个单行帧的宽度，确定所述每个单行帧的横向扩边区域，其中，所述横向扩边区域与所属的所述单行帧相邻；
将所述纵向扩边区域和所述横向扩边区域沿所属的所述单行帧进行组合，生成所述每个单行帧的所述扩边区域。
5.根据权利要求2-4任一项所述的方法，其特征在于，所述将属于同组的扩边后的所述每个单行帧进行拼接时存在空白区域，其中，所述空白区域的识别，包括：
确定所述属于同组的单行帧数量的门限值，其中，所述门限值基于所述不同曝光帧的数量确定；
响应于所述同组的扩边后的所述单行帧的数量小于所述门限值，则将所述同组的单行帧的所属成像覆盖区域中，所述单行帧和对应的扩边区域未占用的区域，确定为所述空白区域。
6.根据权利要求5所述的方法，其特征在于，所述将属于同组的扩边后的所述每个单行帧进行拼接，生成单行组合帧，包括：
获取所述扩边区域的第一数据，并使用所述第一数据对所述扩边区域进行填充，其中，所述第一数据为所述扩边区域所属的所述单行帧对应的复制字符串、镜像字符串和空白字符串中的任意一种；
获取所述空白区域的第二数据，并使用所述第二数据对所述空白区域进行填充，其中，所述第二数据为空白字符；
将所述属于同组的每个单行帧，和所述属于同组的每个单行帧对应的填充后的所述空白区域以及所述扩边区域按序拼接，生成所述单行组合帧。
7.一种图像处理装置，其特征在于，包括：
提取生成模块，用于获取行交织信号，并根据所述行交织信号的行信号逐行曝光，生成不同曝光帧各自的单行帧；
组合模块，用于将所述不同曝光帧的全部所述单行帧进行组合，生成待处理组合帧；
成像模块，用于对所述待处理组合帧进行图像处理，生成每个曝光帧对应的目标帧；
所述组合模块，还用于：
对每个单行帧进行扩边；
将属于同组的扩边后的所述每个单行帧进行拼接，生成单行组合帧；
将全部的单行组合帧进行组合，生成待处理组合帧；
确定组合模块，还用于：
获取所述单行帧的坐标信息；
将所述坐标信息中纵坐标相同的所述单行帧，确定为所述属于同组的单行帧，其中，所述属于同组的单行帧包括至少一个单行帧；
所述组合模块，还用于：
根据每个单行组合帧生成时序，将所述每个单行组合帧进行拼接，并基于拼接后的全部单行组合帧，生成所述待处理组合帧；
所述成像模块，还用于：
将所述待处理组合帧中所述每个曝光帧的首行帧首位像素点的位置，确定为所述每个曝光帧的起始位置；
从所述每个曝光帧的所述起始位置开始，使用所述起始位置对应的曝光帧的匹配参数进行图像处理，并在下一个曝光帧的所述起始位置，将所述匹配参数变更为所述下一个曝光帧的匹配参数，并基于变更后的匹配参数对所述下一个曝光帧进行图像处理，直至所述每个曝光帧处理完毕，生成所述每个曝光帧对应的所述目标帧。
8.根据权利要求7所述的装置，其特征在于，所述提取生成模块，还用于：
按序逐行获取所述行交织信号中的每个单行信号，从所述每个单行信号的属性信息中，确定所述每个单行信号的所属曝光类型；
根据所述曝光类型，生成所述每个单行信号对应的所述单行帧。
9.根据权利要求8所述的装置，其特征在于，所述组合模块，还用于：
基于图像处理器中的滤波窗的处理距离，确定所述每个单行帧的纵向扩边区域和横向扩边区域；
根据所述纵向扩边区域和所述横向扩边区域，生成所述每个单行帧的所述扩边区域。
10.根据权利要求9所述的装置，其特征在于，所述组合模块，还用于：
基于所述处理距离与所述每个单行帧的高度，确定所述每个单行帧的纵向扩边区域，其中，所述纵向扩边区域与所属的单行帧相邻，且所述属于同组的每个单行帧的纵向扩边区域相邻且不重叠；
基于所述处理距离与所述每个单行帧的宽度，确定所述每个单行帧的横向扩边区域，其中，所述横向扩边区域与所属的所述单行帧相邻；
将所述纵向扩边区域和所述横向扩边区域沿所属的所述单行帧进行组合，生成所述每个单行帧的所述扩边区域。
11.根据权利要求8-10任一项所述的装置，其特征在于，所述将属于同组的扩边后的所述每个单行帧进行拼接时存在空白区域，所述组合模块，还用于：
确定所述属于同组的单行帧数量的门限值，其中，所述门限值基于所述不同曝光帧的数量确定；
响应于所述同组的扩边后的所述单行帧的数量小于所述门限值，则将所述同组的单行帧的所属成像覆盖区域中，所述单行帧和对应的扩边区域未占用的区域，确定为所述空白区域。
12.根据权利要求11所述的装置，其特征在于，所述组合模块，还用于：
获取所述扩边区域的第一数据，并使用所述第一数据对所述扩边区域进行填充，其中，所述第一数据为所述扩边区域所属的所述单行帧对应的复制字符串、镜像字符串和空白字符串中的任意一种；
获取所述空白区域的第二数据，并使用所述第二数据对所述空白区域进行填充，其中，所述第二数据为空白字符；
将所述属于同组的每个单行帧，和所述属于同组的每个单行帧对应的填充后的所述空白区域以及所述扩边区域按序拼接，生成所述单行组合帧。
13.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
CN202111199534.8A 2021-10-14 2021-10-14 图像处理方法、装置、电子设备及存储介质 Active CN113965699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111199534.8A CN113965699B (zh) 2021-10-14 2021-10-14 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111199534.8A CN113965699B (zh) 2021-10-14 2021-10-14 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113965699A CN113965699A (zh) 2022-01-21
CN113965699B true CN113965699B (zh) 2023-08-29

Family

ID=79463989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111199534.8A Active CN113965699B (zh) 2021-10-14 2021-10-14 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113965699B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910755A (zh) * 2015-12-23 2017-06-30 意法半导体(R&D)有限公司 图像传感器配置
CN109089053A (zh) * 2018-10-23 2018-12-25 Oppo广东移动通信有限公司 图像传输方法、装置、电子设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008228282A (ja) * 2007-02-13 2008-09-25 Matsushita Electric Ind Co Ltd 画像処理装置
JP5889323B2 (ja) * 2011-10-12 2016-03-22 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP6887853B2 (ja) * 2017-04-03 2021-06-16 キヤノン株式会社 撮像装置、その制御方法、プログラム
US11196937B2 (en) * 2019-11-25 2021-12-07 Qualcomm Incorporated High frame rate in high dynamic range processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910755A (zh) * 2015-12-23 2017-06-30 意法半导体(R&D)有限公司 图像传感器配置
CN109089053A (zh) * 2018-10-23 2018-12-25 Oppo广东移动通信有限公司 图像传输方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113965699A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
JP6922066B2 (ja) 関心領域の自動露出制御のための調整方法、端末機器、および非一時的なコンピュータ可読記憶媒体
CN105516614B (zh) 信息处理方法及电子设备
CN111028189A (zh) 图像处理方法、装置、存储介质及电子设备
CN107393459B (zh) 图像显示方法和装置
US20190014255A1 (en) Focusing state prompting method and shooting device
US10218948B2 (en) Image displaying system, controlling method of image displaying system, and storage medium
CN109040607B (zh) 成像控制方法、装置、电子设备和计算机可读存储介质
KR20130018330A (ko) 촬상 장치, 화상 처리 방법 및 프로그램을 기록하기 위한 기록 매체
CN114222099A (zh) 投影图像的校正方法及激光投影设备
JPWO2013054402A1 (ja) 撮像装置及び撮像装置の制御方法
CN105376490A (zh) 一种模式切换方法、装置及使用模式切换方法的终端设备
CN103797782A (zh) 图像处理装置、程序
US20160360093A1 (en) Imaging apparatus, imaging method, and storage medium
US20110043674A1 (en) Photographing apparatus and method
CN111917991A (zh) 图像的质量控制方法、装置、设备及存储介质
CN113965699B (zh) 图像处理方法、装置、电子设备及存储介质
JP2007096622A (ja) 補正データ作成方法、補正データ作成装置及び画像投映システム
JP5882644B2 (ja) 画像処理装置、その制御方法、及びプログラム
US11032463B2 (en) Image capture apparatus and control method thereof
JP2002232654A (ja) 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001197356A (ja) 画像復元装置および画像復元方法
US11871119B2 (en) Method for calculating exposure evaluation value and imaging device
US11368624B2 (en) Image capturing apparatus and control method thereof
CN114663521A (zh) 一种用于辅助泊车的环视拼接处理方法
JP2003333380A (ja) 撮像装置、撮影画像確認方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Ningbo City, Zhejiang Province, 315200

Patentee after: Aixin Yuanzhi Semiconductor Co.,Ltd.

Country or region after: China

Address before: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Zhenhai District, Ningbo City, Zhejiang Province, 315200

Patentee before: Aixin Yuanzhi Semiconductor (Ningbo) Co.,Ltd.

Country or region before: China

Address after: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Zhenhai District, Ningbo City, Zhejiang Province, 315200

Patentee after: Aixin Yuanzhi Semiconductor (Ningbo) Co.,Ltd.

Country or region after: China

Address before: 201702 room 1190, zone B, floor 11, building 1, No. 158 Shuanglian Road, Yangpu District, Shanghai

Patentee before: Aisin Yuanzhi semiconductor (Shanghai) Co.,Ltd.

Country or region before: China