CN114173055A - 图像处理方法、装置和电子设备 - Google Patents

图像处理方法、装置和电子设备 Download PDF

Info

Publication number
CN114173055A
CN114173055A CN202111358182.6A CN202111358182A CN114173055A CN 114173055 A CN114173055 A CN 114173055A CN 202111358182 A CN202111358182 A CN 202111358182A CN 114173055 A CN114173055 A CN 114173055A
Authority
CN
China
Prior art keywords
frame
line
exposure
row
combined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111358182.6A
Other languages
English (en)
Other versions
CN114173055B (zh
Inventor
从勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aixin Yuanzhi Semiconductor Shanghai Co Ltd
Original Assignee
Aixin Yuanzhi Semiconductor Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aixin Yuanzhi Semiconductor Shanghai Co Ltd filed Critical Aixin Yuanzhi Semiconductor Shanghai Co Ltd
Priority to CN202111358182.6A priority Critical patent/CN114173055B/zh
Publication of CN114173055A publication Critical patent/CN114173055A/zh
Application granted granted Critical
Publication of CN114173055B publication Critical patent/CN114173055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种图像处理方法、装置和电子设备，其中，方法包括：逐次获取行交织信号中的两行帧信号，其中，行交织信号为基于每两行帧信号交织输出的不同曝光帧的曝光信号；行缓存两行帧信号和下一组两行帧信号，以输出对齐的组合行信号集，其中组合行信号集包括第一组合行信号和第二组合行信号；对组合行信号集进行逐行曝光，获取第一组合行信号对应的同属一行的两个单行帧，第二组合行信号对应的同属一行的两个单行帧，形成对齐帧组；将不同曝光帧的全部对齐帧组按序拼接，生成待处理组合帧；对待处理组合帧进行图像处理，生成不同曝光帧各自对应的目标帧。本申请中，有效减少了通路占用，降低了资源的消耗。

Description

图像处理方法、装置和电子设备
技术领域
本申请涉及曝光成像领域，尤其涉及一种图像处理方法、装置和电子设备。
背景技术
数码成像的传感器在进行拍摄时，会交织输出多种曝光帧。相关技术中，将交织输出的多个曝光帧分开，并将分开后的每个曝光帧分别通过不同的通路输入对应的处理器进行图像信号处理。导致通路占用过多，资源消耗较大。
发明内容
本申请的目的旨在至少在一定程度上解决上述技术中的技术问题之一。
本申请第一方面提供了一种图像处理方法，包括：逐次获取行交织信号中的两行帧信号，其中，所述行交织信号为基于每两行帧信号交织输出的不同曝光帧的曝光信号；行缓存所述两行帧信号和下一组两行帧信号，以输出对齐的组合行信号集，其中所述组合行信号集包括第一组合行信号和第二组合行信号；对所述组合行信号集进行逐行曝光，获取所述第一组合行信号对应的同属一行的两个单行帧，所述第二组合行信号对应的同属一行的两个单行帧，形成对齐帧组；将不同曝光帧的全部对齐帧组按序拼接，生成待处理组合帧；对所述待处理组合帧进行图像处理，生成所述不同曝光帧各自对应的目标帧。
本申请第一方面提供的一种图像处理方法，还具备如下技术特征，包括：
根据本申请一实施例，所述对所述组合行信号集进行逐行曝光，获取所述第一组合行信号对应的同属一行的两个单行帧，所述第二组合行信号对应的同属一行的两个单行帧，形成对齐帧组，包括：根据所述组合行信号集的每个单行帧信号的属性信息，确定所述每个单行帧信号的所属曝光帧；根据所述所属曝光帧，生成所述组合行信号集对应的所述对齐帧组。
根据本申请一实施例，所述根据所述所属曝光帧，生成所述组合行信号集对应的所述对齐帧组，包括：生成所述组合行信号集中的所述每个单行帧信号对应的单行帧；分别对每个单行帧进行扩边；对扩边后的每个单行帧进行组合，生成对应的所述对齐帧组。
根据本申请一实施例，所述分别对每个单行帧进行扩边，包括：基于图像处理器中的滤波窗的处理距离，分别确定所述每个单行帧的纵向扩边区域和横向扩边区域；根据所述每个单行帧的所述纵向扩边区域和所述横向扩边区域，生成所述每个单行帧的所述扩边区域。
根据本申请一实施例，所述根据所述每个单行帧的所述纵向扩边区域和所述横向扩边区域，生成所述每个单行帧的所述扩边区域，包括：基于所述处理距离与所述每个单行帧的高度，分别确定所述每个单行帧的纵向扩边区域，其中，所述每个单行帧的纵向扩边区域与所属的单行帧相邻，且与相邻的单行帧的纵向扩边区域相邻且不重叠；基于所述处理距离与所述每个单行帧的宽度，分别确定所述每个单行帧的横向扩边区域，其中，所述每个单行帧的横向扩边区域与所属的单行帧相邻；将所述纵向扩边区域和所述横向扩边区域沿所属的所述每个单行帧进行组合，生成所述每个单行帧的所述扩边区域。
根据本申请一实施例，所述对扩边后的每个单行帧进行组合，生成对应的所述对齐帧组，包括：获取所述扩边区域的填充数据，并使用所述填充数据对所述扩边区域进行填充，其中，所述填充数据为所述扩边区域所属的所述单行帧对应的复制字符串、镜像字符串和空白字符串中的任意一种；将所述填充后的扩边区域与所述每个单行帧进行拼接，生成所述扩边后的每个单行帧；将所述第一组合行信号对应的扩边后的两个单行帧，与所述第二组合行信号对应的扩边后的两个单行帧按序拼接，生成所述对齐帧组。
根据本申请一实施例，所述将不同曝光帧的全部对齐帧组按序拼接，生成待处理组合帧，包括：根据所述对齐帧组的生成时序，将每个所述对齐帧组进行拼接，并基于拼接后的全部对齐帧组，生成所述待处理组合帧。
根据本申请一实施例，所述对所述待处理组合帧进行图像处理，生成所述不同曝光帧各自对应的目标帧，包括：将所述待处理组合帧中的每个曝光帧的首行帧首位像素点的位置，确定为所述每个曝光帧的起始位置；从所述每个曝光帧的所述起始位置开始，使用所述起始位置对应的曝光帧的匹配参数进行图像处理，并在下一个曝光帧的所述起始位置，将所述匹配参数变更为所述下一个曝光帧的匹配参数，并基于变更后的匹配参数对所述下一个曝光帧进行图像处理，直至所述每个曝光帧处理完毕，生成所述不同曝光帧各自对应的所述目标帧。
本申请第二方面提供了一种图像处理装置，包括：提取模块，用于逐次获取行交织信号中的两行帧信号，其中，所述行交织信号为基于每两行帧信号交织输出的不同曝光帧的曝光信号；行缓存模块，用于行缓存所述两行帧信号和下一组两行帧信号，以输出对齐的组合行信号集，其中所述组合行信号集包括第一组合行信号和第二组合行信号；曝光模块，用于对所述组合行信号集进行逐行曝光，获取所述第一组合行信号对应的同属一行的两个单行帧，所述第二组合行信号对应的同属一行的两个单行帧，形成对齐帧组；组合模块，用于将不同曝光帧的全部对齐帧组按序拼接，生成待处理组合帧；处理模块，用于对所述待处理组合帧进行图像处理，生成所述不同曝光帧各自对应的目标帧。
本申请第二方面提供的一种图像处理装置，还具备如下技术特征，包括：
根据本申请一实施例，所述曝光模块，还用于：根据所述组合行信号集的每个单行帧信号的属性信息，确定所述每个单行帧信号的所属曝光帧；根据所述所属曝光帧，生成所述组合行信号集对应的所述对齐帧组。
根据本申请一实施例，所述曝光模块，还用于：生成所述组合行信号集中的所述每个单行帧信号对应的单行帧；分别对每个单行帧进行扩边；对扩边后的每个单行帧进行组合，生成对应的所述对齐帧组。
根据本申请一实施例，所述曝光模块，还用于：基于图像处理器中的滤波窗的处理距离，分别确定所述每个单行帧的纵向扩边区域和横向扩边区域；根据所述每个单行帧的所述纵向扩边区域和所述横向扩边区域，生成所述每个单行帧的所述扩边区域。
根据本申请一实施例，所述曝光模块，还用于：基于所述处理距离与所述每个单行帧的高度，分别确定所述每个单行帧的纵向扩边区域，其中，所述每个单行帧的纵向扩边区域与所属的单行帧相邻，且与相邻的单行帧的纵向扩边区域相邻且不重叠；基于所述处理距离与所述每个单行帧的宽度，分别确定所述每个单行帧的横向扩边区域，其中，所述每个单行帧的横向扩边区域与所属的单行帧相邻；将所述纵向扩边区域和所述横向扩边区域沿所属的所述每个单行帧进行组合，生成所述每个单行帧的所述扩边区域。
根据本申请一实施例，所述曝光模块，还用于：获取所述扩边区域的填充数据，并使用所述填充数据对所述扩边区域进行填充，其中，所述填充数据为所述扩边区域所属的所述单行帧对应的复制字符串、镜像字符串和空白字符串中的任意一种；将所述填充后的扩边区域与所述每个单行帧进行拼接，生成所述扩边后的每个单行帧；将所述第一组合行信号对应的扩边后的两个单行帧，与所述第二组合行信号对应的扩边后的两个单行帧按序拼接，生成所述对齐帧组。
根据本申请一实施例，所述组合模块，还用于：根据所述对齐帧组的生成时序，将每个所述对齐帧组进行拼接，并基于拼接后的全部对齐帧组，生成所述待处理组合帧。
根据本申请一实施例，所述处理模块，还用于：将所述待处理组合帧中的每个曝光帧的首行帧首位像素点的位置，确定为所述每个曝光帧的起始位置；从所述每个曝光帧的所述起始位置开始，使用所述起始位置对应的曝光帧的匹配参数进行图像处理，并在下一个曝光帧的所述起始位置，将所述匹配参数变更为所述下一个曝光帧的匹配参数，并基于变更后的匹配参数对所述下一个曝光帧进行图像处理，直至所述每个曝光帧处理完毕，生成所述不同曝光帧各自对应的所述目标帧。
本申请第三方面实施例提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面提供的图像处理方法。
本申请第四方面实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请第一方面提供的图像处理方法。
本申请第五方面实施例提供了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行本申请第一方面提供的图像处理方法。
本申请提供的图像处理方法及装置，行交织信号基于每两行帧信号交织输出，逐次获取行交织信号中的两行帧信号，并对获取到的两行帧信号与下一组的两行帧信号进行行缓存处理，生成对齐后的组合行信号集。逐行对组合行信号集中的第一组合行信号和第二组合行信号进行曝光，获取第一组合行信号对应的两条单行帧，和第二组合行信号对应的两条单行帧，进而生成对应的对齐帧组。将全部的对齐帧组按序拼接后，生成对应的待处理组合帧。进一步地，将待处理组合帧进行图像处理，从而生成待处理组合帧中的不同曝光帧对应的目标帧。本申请中，基于时分复用技术，实现了行交织信号的生成和提取，通过行缓存实现了行交织信号中不同曝光帧的成像信号的对齐，从而使得待处理组合帧中每个曝光帧可以实现对齐排列。基于待处理组合帧的生成，使得图像处理器可以通过一个通路获取到多个曝光帧，有效减少了图像处理器的通路占用，降低了对于曝光帧的处理资源的消耗。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请一实施例的图像处理方法的流程示意图；
图2为本申请另一实施例的图像处理方法的流程示意图；
图3为本申请另一实施例的图像处理方法的流程示意图；
图4为本申请一实施例的待处理组合帧的结构示意图；
图5为本申请另一实施例的图像处理方法的流程示意图；
图6为本申请一实施例的图像处理装置的结构示意图；
图7为本申请另一实施例的图像处理装置的结构示意图；
图8是本申请一实施例的电子设备的框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的图像处理方法、装置、电子设备及存储介质。
图1为本申请一实施例的图像处理方法的流程示意图，如图1所示，该方法包括：
S101，逐次获取行交织信号中的两行帧信号，其中，行交织信号为基于每两行帧信号交织输出的不同曝光帧的曝光信号。
实现中，数码成像传感器(sensor)可以基于行交织的方式传输拍摄对象的曝光信号，其中，可以基于每两行曝光帧的曝光信号进行交织。
可以理解为，基于曝光信号的时序，以两行曝光信号为单位，将每个曝光帧的曝光信号交织输出，进而生成对应的行交织信号。
可选地，基于sensor对拍摄对象的不同曝光时间的拍摄，从而生成不同曝光类型的曝光帧的成像信号。
进一步地，基于时分复用技术(time-division multiplexing,TDM)将不同的曝光帧的曝光信号相互交织在不同的时间段内，并沿同一个信道传输，从而生成对应的行交织信号。
可选地，可以基于每两行曝光帧信号进行交织输出。
进一步地，在行交织信号传输的信道的输出端口，再基于TDM对行交织信号中每个时间段内两行曝光信号进行提取并还原。
S102，行缓存两行帧信号和下一组两行帧信号，以输出对齐的组合行信号集，其中组合行信号集包括第一组合行信号和第二组合行信号。
实现中，可以对行交织信号中交织输出的不同曝光帧信号进行行缓存处理，通过行缓存使得行交织信号中不同时间段内的两行帧信号可以实现对齐。
本申请实施例中，可以获取到的两行帧信号后，再获取下一组的两行帧信号，通过对该两组的两行帧信号的行缓存处理，使得该两组信号可以实现横向对齐。
进一步地，基于两组的两行帧信号中不同的单行帧信号之间的对齐，可以将对齐排列的两个单行帧信号进行组合，进而生成对应的两个组合行信号，并基于每次行缓存生成的两个组合行信号，生成对应的组合行信号集。
比如，对行交织信号中第N行和第N+1行的单行帧信号组成的两行帧信号，以及下一组的第N+2行和第N+3行的单行帧信号组成的两行帧信号进行行缓存处理。基于行缓存处理，第N行的单行帧信号与第N+2行的单行帧信号实现了横向对齐，第N+1行的单行帧信号与第N+3行的单行帧信号实现了横向对齐，进而实现该两组的两行帧信号的对齐。
其中，可以将对齐的第N行的单行帧信号与第N+2行的单行帧信号确定为第一组合行信号，将对齐的第N+1行的单行帧信号与第N+3行的单行帧信号确定为第二组合行信号。
进一步地，可以将第一组合行信号和第二组合行信号进行组合，进而生成对应的组合行信号集，并基于组合行信号集的模式将该两组的两行帧信号输出。
S103，对组合行信号集进行逐行曝光，获取第一组合行信号对应的同属一行的两个单行帧，第二组合行信号对应的同属一行的两个单行帧，形成对齐帧组。
本申请实施例中，可以对组合行信号集中，每个组合行信号进行曝光处理，其中，可以基于每个组合行信号的生成时序，对组合行信号集进行逐行曝光。
进一步地，基于对组合行信号集的逐行曝光，生成其中每个组合行信号对应的两个单行帧，进而生成对应的对齐帧组。
比如，依然以上述示例为例，基于对第一组合行信号的曝光，可以生成第N行的单行帧信号与第N+2行的单行帧信号对应的两个单行帧。对于对第二组合行信号的曝光，可以生成第N+1行的单行帧信号与第N+3行的单行帧信号对应的两个单行帧。
进一步地，基于第N行的单行帧信号与第N+2行的单行帧信号对应的两个单行帧，和第N+1行的单行帧信号与第N+3行的单行帧信号对应的两个单行帧，生成对应的对齐帧组。
其中，在该对齐帧组中，第N行的单行帧信号与第N+2行的单行帧信号对应的两个单行帧横向对齐，第N+1行的单行帧信号与第N+3行的单行帧信号对应的两个单行帧横向对齐。第N行的单行帧信号与第N+1行的单行帧信号对应的两个单行帧纵向对齐，第N+2行的单行帧信号与第N+3行的单行帧信号对应的两个单行帧纵向对齐。
S104，将不同曝光帧的全部对齐帧组按序拼接，生成待处理组合帧。
本申请实施例中，可以基于全部的对齐帧组，生成行交织信号输出的不同曝光帧，并将其进行组合，生成对应的组合帧。
可选地，每个对齐帧组存在其自身对应的生成时序，根据时序可以实现不同生成时序的对齐帧组的拼接。
比如，在上述示例的基础上，当前的对齐帧组A包括，第N行的单行帧信号与第N+2行的单行帧信号对应的两个单行帧，和第N+1行的单行帧信号与第N+3行的单行帧信号对应的两个单行帧。
下一个时序的对齐帧组B可以包括，第N+4行的单行帧信号与第N+6行的单行帧信号对应的两个单行帧，和第N+5行的单行帧信号与第N+7行的单行帧信号对应的两个单行帧。
根据每个对齐帧组的生成时序，可以将对齐帧组B拼接于对齐帧组A之后，以实现上述两个对齐帧组的顺序拼接。
进一步地，将全部的对齐帧组按序拼接后，可以生成不同曝光帧对应的待处理组合帧。
S105，对待处理组合帧进行图像处理，生成不同曝光帧各自对应的目标帧。
实现中，可以通过图像处理器对待处理组合帧中的每个曝光帧进行图像处理，进而生成每个曝光帧对应的人眼可视的目标帧。
可选地，可以通过图像信号处理(Image Signal Processing，ISP)对待处理组合帧中的每个曝光帧进行图像处理。
本申请实施例中，可以通过与ISP构建数据传输的通路，将待处理组合帧输入ISP进行图像处理，进而生成待处理组合帧中每个曝光帧对应的目标帧。
本申请提供的图像处理方法，行交织信号基于每两行帧信号交织输出，逐次获取行交织信号中的两行帧信号，并对获取到的两行帧信号与下一组的两行帧信号进行行缓存处理，生成对齐后的组合行信号集。逐行对组合行信号集中的第一组合行信号和第二组合行信号进行曝光，获取第一组合行信号对应的两条单行帧，和第二组合行信号对应的两条单行帧，进而生成对应的对齐帧组。将全部的对齐帧组按序拼接后，生成对应的待处理组合帧。进一步地，将待处理组合帧进行图像处理，从而生成待处理组合帧中的不同曝光帧对应的目标帧。本申请中，基于时分复用技术，实现了行交织信号的生成和提取，通过行缓存实现了行交织信号中不同曝光帧的成像信号的对齐，从而使得待处理组合帧中每个曝光帧可以实现对齐排列。基于待处理组合帧的生成，使得图像处理器可以通过一个通路获取到多个曝光帧，有效减少了图像处理器的通路占用，降低了对于曝光帧的处理资源的消耗。
上述实施例中，关于对齐帧组的生成，可结合图2进一步理解，图2为本申请另一实施例的图像处理方法的流程示意图，如图2所示，该方法包括：
S201，根据组合行信号集的每个单行帧信号的属性信息，确定每个单行帧信号的所属曝光帧。
本申请实施例中，sensor在生成拍摄对象的曝光信号时，每行曝光信号存在其设定的属性信息，因此，可以通过对组合信号集中的每个单行帧信号的属性信息进行读取，通过属性信息中携带的各项参数，确定每个单行帧信号所属的曝光帧。
比如，设定组合行信号集中的单行帧信号为长曝光帧信号或短曝光帧信号。可以读取每个单行帧信号的属性信息中相关参数，并根据相关参数获取每个单行帧的曝光时间。
进一步地，可以分别对长曝光帧和短曝光帧的曝光时长设定对应的时长区间，当读取到的单行帧信号的曝光时间参数中显示曝光时长落在长曝光帧对应的时长区间时，则可以判断单行帧信号的所属曝光帧为组合行信号集中的长曝光帧。
相应地，当读取到的单行帧信号的曝光时间参数中显示曝光时长落在短曝光帧对应的时长区间时，则可以判断单行帧信号的所属曝光帧为组合行信号集中的短曝光帧。
S202，根据所属曝光帧，生成组合行信号集对应的对齐帧组。
本申请实施例中，确定组合行信号集中的每个单行帧的所属曝光帧后，可以基于其所属的曝光帧进行成像，从而生成对应的对齐帧组。
其中，可以生成组合行信号集中的每个单行帧信号对应的单行帧。
进一步地，基于对每个单行帧信号的单行帧，从而实现对齐帧组的生成。
可选地，可以组合行信号集中每个单行帧信号之间的位置关系，确定每个曝光帧的成像位置。
比如，在上述示例的基础上，设定第N行和第N+1行的单行帧信号的所属曝光帧为长曝光帧，第N+2行和第N+3行的单行帧信号的所属曝光帧为短曝光帧。
则根据每个单行帧信号的所属曝光帧，生成第N行和第N+1行的单行帧信号对应的两条长曝光帧，和第N+2行和第N+3行的单行帧信号对应的两条短曝光帧。
其中，第N行的单行帧信号与第N+2行的单行帧信号对应单行的长曝光帧和单行的短曝光帧，基于其对应的单行帧信号之间的位置关系对齐，生成第一组合行信号对应的对齐帧。
相应地，第N+1行的单行帧信号与第N+3行的单行帧信号对应单行的长曝光帧和单行的短曝光帧，基于其对应的单行帧信号之间的位置关系对齐，生成第二组合行信号对应的对齐帧。
进一步地，将上述两个对齐帧基于其对应的组合行信号之间的位置关系对齐，进而生成对应的对齐帧组。
本申请提供的图像处理方法，根据组合行信号集中每个单行帧信号的属性信息，确定每个单行帧信号的所属曝光帧，并逐行对组合行信号集进行曝光成像，从而生成对应的对齐帧组。基于对齐帧组的生成，为行交织信号中的不同曝光帧之间的组合提供了操作基础。
上述实施例中，在对齐帧组的生成中，还需要对每个单行帧进行扩边，其中，对于每个单行帧的扩边以及待处理组合帧的生成，可以结合图3进一步理解，图3为本申请另一实施例的图像处理方法的流程示意图，如图3所示，该方法包括：
S301，生成组合行信号集中的每个单行帧信号对应的单行帧。
步骤S301可参加上述相关详细内容，此处不再赘述。
S302，分别对每个单行帧进行扩边。
本申请实施例中，图像处理器可以基于滤波窗实现对于曝光帧的处理，其中，滤波窗存在设定的规格，进而对滤波窗的处理距离进行了限定。
因此，为了使得每个曝光帧的每个像素点均可以被滤波窗正常处理，需要基于滤波窗的尺寸对每个单行帧进行扩边处理，从而实现对于每个曝光帧的扩边。
其中，可以基于图像处理器中的滤波窗的处理距离，分别确定每个单行帧的纵向扩边区域和横向扩边区域。
进一步地，根据滤波窗进行图像处理的位置，以及其设定尺寸可以确定滤波窗的处理距离。其中，滤波窗可以通过其中心位置的处理窗口对待处理组合帧进行图像处理。
比如，设定滤波窗的尺寸为3×3大小，则滤波窗的处理距离为2个像素点。再比如，设定滤波窗的尺寸为5×5大小，则滤波窗的处理距离为3个像素点。
因此，根据滤波窗的处理距离，可以分别确定每个曝光帧的纵向扩边区域和横向扩边区域。
其中，可以基于处理距离与每个单行帧的高度，分别确定每个单行帧的纵向扩边区域，其中，每个单行帧的纵向扩边区域与所属的单行帧相邻，且与相邻的单行帧的纵向扩边区域相邻且不重叠。
本申请实施例中，每个单行帧的纵向扩边区域均与所属的单行帧相邻，因此，可以基于滤波窗的处理距离和每个单行帧的高度，确定其对应的纵向扩边区域。
比如，设定滤波窗的尺寸为3×3大小，滤波窗的处理距离为2个像素点。如图4所示，曝光帧I的单行帧n1和单行帧n2的尺寸为8个像素点×高度1个像素点，其中，单行帧n1为曝光帧I的首行帧，单行帧n2为曝光帧I的非首行帧。
则可以确定单行帧n1的纵向扩边区域为单行帧n1两侧的分别为1个像素点对应的区域a1和区域a1’。单行帧n2的纵向扩边区域为单行帧n2两侧的分别为1个像素点对应的区域b1和区域b1’。
再比如，设定滤波窗的尺寸为3×3大小，滤波窗的处理距离为2个像素点。如图4所示，曝光帧II的单行帧m1和单行帧m2的尺寸为8个像素点×高度1个像素点，其中，单行帧m1为曝光帧II的首行帧，单行帧m2为曝光帧II的非首行帧。
则可以确定单行帧m1的纵向扩边区域为单行帧m1两侧的分别为1个像素点对应的区域a2和区域a2’。单行帧m2的纵向扩边区域为单行帧m2两侧的分别为1个像素点对应的区域b2和区域b2’。
进一步地，基于处理距离与每个单行帧的宽度，分别确定每个单行帧的横向扩边区域，其中，每个单行帧的横向扩边区域与所属的单行帧相邻。
本申请实施例中，每个单行帧的横向扩边区域均与所属的单行帧相邻，因此，可以基于滤波窗的处理距离和每个单行帧的宽度，确定其对应的横向扩边区域。
比如，设定滤波窗的尺寸为3×3大小，滤波窗的处理距离为2个像素点。如图4所示，曝光帧I的单行帧n1、单行帧n2和单行帧nn的尺寸为8个像素点×高度1个像素点，其中，单行帧n1为曝光帧I的首行帧，单行帧n2为曝光帧I的非首行帧，单行帧nn为曝光帧I的尾行帧。
则可以确定单行帧n1的横向扩边区域为单行帧n1上侧的10个像素点对应的区域t1。单行帧nn的横向扩边区域为单行帧nn下侧的10个像素点对应的区域t1’。
由于单行帧n2上侧拼接的是单行帧n1，下侧拼接的是单行帧n3，因此，单行帧n2无需进行横向方向的扩边处理。
再比如，设定滤波窗的尺寸为3×3大小，滤波窗的处理距离为2个像素点。如图4所示，曝光帧II的单行帧m1、单行帧m2和单行帧mn的尺寸为8个像素点×高度1个像素点，其中，单行帧m1为曝光帧II的首行帧，单行帧m2为曝光帧II的非首行帧，单行帧mn为曝光帧II的尾行帧。
则可以确定单行帧m1的横向扩边区域为单行帧m1上侧的10个像素点对应的区域t2。单行帧mn的横向扩边区域为单行帧mn下侧的10个像素点对应的区域t2’。
由于单行帧m2上侧拼接的是单行帧m1，下侧拼接的是单行帧m3，因此，单行帧m2无需进行横向方向的扩边处理。
需要说明的是，为了使得图像处理器可以生成待处理组合帧中每个曝光帧对应的单独的目标帧，不同曝光帧之间的扩边区域相邻但不重叠，且每个扩边区域与其所属的单行帧相邻。
如图4所示，单行帧n1的纵向扩边区域a1’与单行帧m1的纵向扩边区域a2相邻但不重叠，单行帧n2的纵向扩边区域b1’与单行帧m2的纵向扩边区域b2相邻但不重叠。
曝光帧I中，纵向扩边区域a1、a1’和横向扩边区域t1，与其所属的单行帧n1相邻。纵向扩边区域b1、b1’与其所属的单行帧n2相邻。
曝光帧II中，纵向扩边区域a2、a2’和横向扩边区域t2，与其所属的单行帧m1相邻。纵向扩边区域b2、b2’与其所属的单行帧m2相邻。
进一步地，根据每个单行帧的纵向扩边区域和横向扩边区域，生成每个单行帧的扩边区域。
其中，可以将纵向扩边区域和横向扩边区域沿所属的每个单行帧进行组合，生成每个单行帧的扩边区域。
本申请实施例中，确定每个单行帧的横向扩边区域和纵向扩边区域后，可以对两个方向的扩边区域进行整合，从而生成每个单行帧的扩边区域。
进一步地，将纵向扩边区域和横向扩边区域沿所属的单行帧进行组合，生成每个单行帧的扩边区域。
其中，每个单行帧的纵向扩边区域和横向扩边区域均与其所属的单行帧相邻，因此，可以沿着每个单行帧的边界对横向扩边区域和纵向扩边区域进行组合。
比如，如图4所示，可以将曝光帧I的单行帧n1的纵向扩边区域a1和a1’，以及横向扩边区域t1沿单行帧n1的边界进行组合，进而生成单行帧n1的扩边区域a1+t1+a1’。
可以将曝光帧I的单行帧n2的纵向扩边区域b1和b1’沿单行帧n2的边界进行组合，进而生成单行帧n2的扩边区域b1+b1’。
再比如，如图4所示，可以将曝光帧II的单行帧m1的纵向扩边区域a2和a2’，以及横向扩边区域t2沿单行帧m1的边界进行组合，进而生成单行帧m1的扩边区域a2+t2+a2’。
可以将曝光帧II的单行帧m2的纵向扩边区域b2和b2’进行组合，从而生成单行帧m2的扩边区域b2+b2’。
S303，对扩边后的每个单行帧进行组合，生成对应的对齐帧组。
实现中，滤波窗的处理范围内每个位置都需要存在有效数据，因此，为了使得滤波窗可以对曝光帧进行有效的图像处理，对于每个单行帧的扩边区域需要进行数据填充。
进一步地，获取扩边区域的填充数据，并使用填充数据对扩边区域进行填充，其中，填充数据为扩边区域所属的单行帧对应的复制字符串、镜像字符串和空白字符串中的任意一种。
本申请实施例中，为了不影响曝光帧的成像效果，可以选择与每个单行帧存在相似关联的数据，或者空白数据进行扩边区域的填充。
可选地，可以选择复制每个单行帧对应的字符串，并将复制后的字符串作为填充数据，填充至对应的扩边区域，填充后的扩边区域与其所属的单行帧的内容相同。
可选地，可以选择对每个单行帧对应的字符串进行镜像处理，将镜像处理后的字符串作为填充数据，填充至对应的扩边区域，填充后的扩边区域与其所属的单行帧呈现镜像的相反内容。
可选地，可以选择空白数据作为填充数据，对每个单行帧的扩边区域进行填充。
基于上述三种填充数据的选择，滤波窗可以有效对扩边区域进行识别，从而避免了对于曝光帧的成像效果的影响。
进一步地，可以将填充后的扩边区域与每个单行帧进行拼接，生成扩边后的每个单行帧。
本申请实施例中，可以将每个单行帧对应的数据填充后的扩边区域与其进行拼接。其中，每个扩边区域与其所属的单行帧之间存在位置关系，因此，可以基于位置关系，将数据填充后的扩边区域与单行帧进行组合，进而生成每个单行帧对应的扩边后的单行帧。
比如，如图4所示，单行帧n1的扩边区域a1+t1+a1’，与单行帧n1之间的位置关系为：扩边区域a1在单行帧n1的左侧，扩边区域t1在单行帧n1的上侧，扩边区域a1’在单行帧n1右侧，则基于此位置顺序，可以将单行帧n1与该三个扩边区域进行拼接，从而生成如图4所示的a1+t1+a1’+n1的扩边后的单行帧。
再比如，如图4所示，单行帧n2的扩边区域b1+b1’，与单行帧n2之间的位置关系为：扩边区域b1在单行帧n2的左侧，扩边区域b2在单行帧n2的右侧，则基于此位置顺序，可以将单行帧n2与该两个扩边区域进行拼接，从而生成如图4所示的b1+b1’+n2的扩边后的单行帧。
进一步地，将第一组合行信号对应的扩边后的两个单行帧，与第二组合行信号对应的扩边后的两个单行帧按序拼接，生成对齐帧组。
本申请实施例中，可以将组合行信号集中的两个组合行信号生成的对齐帧进行组合，从而生成组合行信号集对应的对齐帧组。
其中，可以基于两个组合行信号的生成时序，对第一组合行信号对应的对齐帧，以及第二组合行信号对应的对齐帧按序拼接。
比如，如图4所示，设定第一组合行信号对应的对齐帧X1包括，扩边后的单行帧n1和扩边后的单行帧m1，第二组合行信号对应的对齐帧X2包括，扩边后的单行帧n2和扩边后的单行帧m2，根据对齐帧X1和对齐帧X2的生成时序，可以将对齐帧X2拼接于对齐帧X1之后，进而生成对应的对齐帧组X。
再比如，如图4所示，设定第二组合行信号对应的对齐帧Y1包括，扩边后的单行帧n3和扩边后的单行帧m3，第二组合行信号对应的对齐帧Y2包括，扩边后的单行帧n4和扩边后的单行帧m4，根据对齐帧Y1和对齐帧Y2的生成时序，可以将对齐帧Y2拼接于对齐帧Y1之后，进而生成对应的对齐帧组Y。
S304，根据对齐帧组的生成时序，将每个对齐帧组进行拼接，并基于拼接后的全部对齐帧组，生成待处理组合帧。
本申请实施例中，由于每个单行帧信号存在生成时序，因此，可以基于每个单行帧信号的生成时序确定每个组合行信号的生成时序，进而确定每个组合行信号对应的对齐帧组的生成时序。
根据该生成时序可以对全部的对齐帧组进行拼接，进而基于拼接后的全部对齐帧组生成对应的待处理组合帧。
比如，在上述示例的基础上可知，对齐帧组X生成时序早于对齐帧组Y，则在进行待处理组合帧的生成时，需要将对齐帧组Y拼接于对齐帧组X之后。
进一步地，基于该顺序将全部的对齐帧组拼接之后，可以获取行交织信号中携带的全部曝光帧组成的待处理组合帧。
如图4所示，将全部的对齐帧组按序拼接后，即可生成曝光帧I和曝光帧II组成的待处理组合帧。
本申请提供的图像处理方法，生成组合行信号集中每个单行帧信号对应的单行帧，并对每个单行帧进行扩边处理。对每个单行帧的扩边区域进行数据填充后，将数据填充后的扩边区域与其所属的单行帧进行拼接，从而生成扩边后的每个单行帧。进一步地，基于扩边后的每个单行帧生成对应的对齐帧组，并基于每个对齐帧组的生成时序，将全部的对齐帧组进行拼接，从而生成对应的待处理组合帧。本申请中，通过对每个单行帧的扩边，以及对扩边区域的数据填充，保证了滤波窗对于曝光帧的图像处理的正常实现，避免了对曝光帧成像效果的影响。基于对齐帧组生成待处理组合帧，使得多个曝光帧可以基于一条通路传输至图像处理器，有效节约了图像处理资源的消耗，提高了图像处理的效率。
进一步地，关于对待处理组合帧的图像处理，可结合图5理解，图5为本申请另一实施例的图像处理方法的流程示意图，如图5所示，该方法包括：
S501，将待处理组合帧中的每个曝光帧的首行帧首位像素点的位置，确定为每个曝光帧的起始位置。
本申请实施例中，可以通过图像处理器对待处理组合帧中的每一个曝光帧进行图像处理，以生成对应的目标帧。
其中，图像处理器可以是ISP，待处理组合帧通过某一个通路输入ISP，开始进行曝光帧的成像处理。
实现中，sensor对拍摄对象的曝光、以及后续曝光成像信号的传输、曝光帧的成像、图像处理等等相关操作步骤，可以通过设定的驱动进行流程的控制。进一步地，当sensor生成行交织信号并开始输出时，图像处理器可以通过设定的驱动获取待处理组合帧中，每个曝光帧的位置信息，即每个曝光帧中的每个像素点的位置信息。
进一步地，可以将每个曝光帧的首行帧的首位像素点的位置信息，确定为每个曝光帧的起始位置，基于每个曝光帧的起始位置对其进行图像处理。
比如，如图4所示，设定曝光帧I的曝光类型为长曝光，曝光帧II的曝光类型为短曝光。则ISP基于曝光帧I的起始位置，开始基于对应的匹配参数对曝光帧I进行图像处理，当曝光帧I处理结束后，再基于曝光帧II的起始位置开始对曝光帧II进行图像处理。
S502，从每个曝光帧的起始位置开始，使用起始位置对应的曝光帧的匹配参数进行图像处理，并在下一个曝光帧的起始位置，将匹配参数变更为下一个曝光帧的匹配参数，并基于变更后的匹配参数对下一个曝光帧进行图像处理，直至每个曝光帧处理完毕，生成不同曝光帧各自对应的目标帧。
为了获取待处理组合帧中的每个曝光帧对应的目标帧，图像处理器在进行图像处理时，需要以每个曝光帧为单位逐个处理。
进一步地，可以从每个曝光帧的起始位置开始，使用对应的匹配参数进行图像处理。
实现中，图像处理器对不同曝光类型的曝光帧进行图像处理时，其匹配的参数基于不同的曝光帧的曝光类型进行调整，从而使得图像处理器可以实现对不同曝光类型的曝光帧的图像处理。
可选地，图像处理器可以对其进行图像处理的匹配参数实现动态的调整，可以理解为，图像处理器对待处理组合帧中的某一个曝光帧处理完毕后，下一个曝光帧开始处理之前，会对下一个待处理的曝光帧的曝光类型进行判断，并根据判断的结果调整当前图像处理器的各项匹配参数，从而使得调整后的匹配参数可以对下一个曝光帧实现图像处理。
进一步地，可以基于每个曝光帧的起始位置，使用相应的匹配参数对其进行图像处理，并基于每个曝光帧的尾行帧的末位像素点的位置，开始对图像处理器的匹配参数进行调整。
可以理解为，图像处理器中的滤波窗在进行图像处理时，可以同时获取当前正在处理的曝光帧中的像素点的位置信息，当获取到的位置信息为某个曝光帧的首行帧的首位像素点的位置信息时，则可以开始对该曝光帧进行图像处理，当获取到该曝光帧的尾行帧的末位像素点的位置信息时，则可以判断该曝光帧已经处理完毕。
比如，如图4所示，设定曝光帧I的曝光类型为长曝光，曝光帧II的曝光类型为短曝光。则ISP基于曝光帧I的起始位置，开始基于长曝光类型对应的参数对曝光帧I进行图像处理，当处理到曝光帧I的尾行帧的末位像素点时，则可以判断处理曝光帧I处理结束。
在曝光帧I处理结束后，开始获取曝光帧II的曝光类型，并将当前可以处理长曝光类型的曝光帧的匹配参数调整为短曝光类型对应的参数，从曝光帧II的起始位置，基于调整后的匹配参数开始对曝光帧II进行图像处理。
进一步地，完成待处理组合帧中的每个曝光帧的图像处理，从而生成不同曝光帧各自对应的目标帧。
本申请提供的图像处理方法，图像处理器通过某个通路获取待处理组合帧，并对其中的每个曝光帧逐个进行图像处理，并根据不同的曝光帧所属的不同的曝光类型实现匹配参数的动态调整，从而生成待处理组合帧中不同曝光帧各自对应的目标帧。本申请中，通过匹配参数的动态调整，实现了不同曝光类型的曝光帧组合生成的待处理组合帧的图像处理，有效减少了图像处理器的通路的占用，节约了资源消耗。
与上述几种实施例提供的图像处理方法相对应，本申请的一个实施例还提供了一种图像处理装置，由于本申请实施例提供的图像处理装置与上述几种实施例提供的图像处理方法相对应，因此上述图像处理方法的实施方式也适用于本申请实施例提供的图像处理装置，在下述实施例中不再详细描述。
图6为本申请一实施例的图像处理装置的结构示意图，如图6所示，图像处理装置600，包括提取模块61、行缓存模块62、曝光模块63、组合模块64、处理模块65，其中：
提取模块61，用于逐次获取行交织信号中的两行帧信号，其中，行交织信号为基于每两行帧信号交织输出的不同曝光帧的曝光信号。
行缓存模块62，用于行缓存两行帧信号和下一组两行帧信号，以输出对齐的组合行信号集，其中组合行信号集包括第一组合行信号和第二组合行信号。
曝光模块63，用于对组合行信号集进行逐行曝光，获取第一组合行信号对应的同属一行的两个单行帧，第二组合行信号对应的同属一行的两个单行帧，形成对齐帧组。
组合模块64，用于将不同曝光帧的全部对齐帧组按序拼接，生成待处理组合帧。
处理模块65，用于对待处理组合帧进行图像处理，生成不同曝光帧各自对应的目标帧。
图7为本申请一实施例的图像处理装置的结构示意图，如图7所示，图像处理装置700，包括提取模块71、行缓存模块72、曝光模块73、组合模块74、处理模块75，其中：
需要说明的是，提取模块61、行缓存模块62、曝光模块63、组合模块64、处理模块65，与提取模块71、行缓存模块72、曝光模块73、组合模块74、处理模块75，具备相同的结构和功能。
本申请实施例中，曝光模块73，还用于：根据组合行信号集的每个单行帧信号的属性信息，确定每个单行帧信号的所属曝光帧。根据所属曝光帧，生成组合行信号集对应的对齐帧组。
本申请实施例中，曝光模块73，还用于：生成组合行信号集中的每个单行帧信号对应的单行帧。分别对每个单行帧进行扩边。对扩边后的每个单行帧进行组合，生成对应的对齐帧组。
本申请实施例中，曝光模块73，还用于：基于图像处理器中的滤波窗的处理距离，分别确定每个单行帧的纵向扩边区域和横向扩边区域。根据每个单行帧的纵向扩边区域和横向扩边区域，生成每个单行帧的扩边区域。
本申请实施例中，曝光模块73，还用于：基于处理距离与每个单行帧的高度，分别确定每个单行帧的纵向扩边区域，其中，每个单行帧的纵向扩边区域与所属的单行帧相邻，且与相邻的单行帧的纵向扩边区域相邻且不重叠。基于处理距离与每个单行帧的宽度，分别确定每个单行帧的横向扩边区域，其中，每个单行帧的横向扩边区域与所属的单行帧相邻。将纵向扩边区域和横向扩边区域沿所属的每个单行帧进行组合，生成每个单行帧的扩边区域。
本申请实施例中，曝光模块73，还用于：获取扩边区域的填充数据，并使用填充数据对扩边区域进行填充，其中，填充数据为扩边区域所属的单行帧对应的复制字符串、镜像字符串和空白字符串中的任意一种。将填充后的扩边区域与每个单行帧进行拼接，生成扩边后的每个单行帧。将第一组合行信号对应的扩边后的两个单行帧，与第二组合行信号对应的扩边后的两个单行帧按序拼接，生成对齐帧组。
本申请实施例中，组合模块74，还用于：根据对齐帧组的生成时序，将每个对齐帧组进行拼接，并基于拼接后的全部对齐帧组，生成待处理组合帧。
本申请实施例中，处理模块75，还用于：将待处理组合帧中的每个曝光帧的首行帧首位像素点的位置，确定为每个曝光帧的起始位置。从每个曝光帧的起始位置开始，使用起始位置对应的曝光帧的匹配参数进行图像处理，并在下一个曝光帧的起始位置，将匹配参数变更为下一个曝光帧的匹配参数，并基于变更后的匹配参数对下一个曝光帧进行图像处理，直至每个曝光帧处理完毕，生成不同曝光帧各自对应的目标帧。
本申请提供的图像处理装置，行交织信号基于每两行帧信号交织输出，逐次获取行交织信号中的两行帧信号，并对获取到的两行帧信号与下一组的两行帧信号进行行缓存处理，生成对齐后的组合行信号集。逐行对组合行信号集中的第一组合行信号和第二组合行信号进行曝光，获取第一组合行信号对应的两条单行帧，和第二组合行信号对应的两条单行帧，进而生成对应的对齐帧组。将全部的对齐帧组按序拼接后，生成对应的待处理组合帧。进一步地，将待处理组合帧进行图像处理，从而生成待处理组合帧中的不同曝光帧对应的目标帧。本申请中，基于时分复用技术，实现了行交织信号的生成和提取，通过行缓存实现了行交织信号中不同曝光帧的成像信号的对齐，从而使得待处理组合帧中每个曝光帧可以实现对齐排列。基于待处理组合帧的生成，使得图像处理器可以通过一个通路获取到多个曝光帧，有效减少了图像处理器的通路占用，降低了对于曝光帧的处理资源的消耗。
为达到上述实施例，本申请还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。
图8为本申请一实施例的电子设备的框图，根据如图8所示的电子设备可以实现执行图1至图5的实施例的图像处理方法。
为了实现上述实施例，本申请还提供一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行图1至图5的实施例的图像处理方法。
为了实现上述实施例，本申请还提供一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行图1至图5的实施例的图像处理方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (18)

1.一种图像处理方法，其特征在于，包括：
逐次获取行交织信号中的两行帧信号，其中，所述行交织信号为基于每两行帧信号交织输出的不同曝光帧的曝光信号；
行缓存所述两行帧信号和下一组两行帧信号，以输出对齐的组合行信号集，其中所述组合行信号集包括第一组合行信号和第二组合行信号；
对所述组合行信号集进行逐行曝光，获取所述第一组合行信号对应的同属一行的两个单行帧，所述第二组合行信号对应的同属一行的两个单行帧，形成对齐帧组；
将不同曝光帧的全部对齐帧组按序拼接，生成待处理组合帧；
对所述待处理组合帧进行图像处理，生成所述不同曝光帧各自对应的目标帧。
2.根据权利要求1所述的方法，其特征在于，所述对所述组合行信号集进行逐行曝光，获取所述第一组合行信号对应的同属一行的两个单行帧，所述第二组合行信号对应的同属一行的两个单行帧，形成对齐帧组，包括：
根据所述组合行信号集的每个单行帧信号的属性信息，确定所述每个单行帧信号的所属曝光帧；
根据所述所属曝光帧，生成所述组合行信号集对应的所述对齐帧组。
3.根据权利要求2所述的方法，其特征在于，所述根据所述所属曝光帧，生成所述组合行信号集对应的所述对齐帧组，包括：
生成所述组合行信号集中的所述每个单行帧信号对应的单行帧；
分别对每个单行帧进行扩边；
对扩边后的每个单行帧进行组合，生成对应的所述对齐帧组。
4.根据权利要求3所述的方法，其特征在于，所述分别对每个单行帧进行扩边，包括：
基于图像处理器中的滤波窗的处理距离，分别确定所述每个单行帧的纵向扩边区域和横向扩边区域；
根据所述每个单行帧的所述纵向扩边区域和所述横向扩边区域，生成所述每个单行帧的所述扩边区域。
5.根据权利要求4所述的方法，其特征在于，所述根据所述每个单行帧的所述纵向扩边区域和所述横向扩边区域，生成所述每个单行帧的所述扩边区域，包括：
基于所述处理距离与所述每个单行帧的高度，分别确定所述每个单行帧的纵向扩边区域，其中，所述每个单行帧的纵向扩边区域与所属的单行帧相邻，且与相邻的单行帧的纵向扩边区域相邻且不重叠；
基于所述处理距离与所述每个单行帧的宽度，分别确定所述每个单行帧的横向扩边区域，其中，所述每个单行帧的横向扩边区域与所属的单行帧相邻；
将所述纵向扩边区域和所述横向扩边区域沿所属的所述每个单行帧进行组合，生成所述每个单行帧的所述扩边区域。
6.根据权利要求5所述的方法，其特征在于，所述对扩边后的每个单行帧进行组合，生成对应的所述对齐帧组，包括：
获取所述扩边区域的填充数据，并使用所述填充数据对所述扩边区域进行填充，其中，所述填充数据为所述扩边区域所属的所述单行帧对应的复制字符串、镜像字符串和空白字符串中的任意一种；
将所述填充后的扩边区域与所述每个单行帧进行拼接，生成所述扩边后的每个单行帧；
将所述第一组合行信号对应的扩边后的两个单行帧，与所述第二组合行信号对应的扩边后的两个单行帧按序拼接，生成所述对齐帧组。
7.根据权利要求6所述的方法，其特征在于，所述将不同曝光帧的全部对齐帧组按序拼接，生成待处理组合帧，包括：
根据所述对齐帧组的生成时序，将每个所述对齐帧组进行拼接，并基于拼接后的全部对齐帧组，生成所述待处理组合帧。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述对所述待处理组合帧进行图像处理，生成所述不同曝光帧各自对应的目标帧，包括：
将所述待处理组合帧中的每个曝光帧的首行帧首位像素点的位置，确定为所述每个曝光帧的起始位置；
从所述每个曝光帧的所述起始位置开始，使用所述起始位置对应的曝光帧的匹配参数进行图像处理，并在下一个曝光帧的所述起始位置，将所述匹配参数变更为所述下一个曝光帧的匹配参数，并基于变更后的匹配参数对所述下一个曝光帧进行图像处理，直至所述每个曝光帧处理完毕，生成所述不同曝光帧各自对应的所述目标帧。
9.一种图像处理装置，其特征在于，包括：
提取模块，用于逐次获取行交织信号中的两行帧信号，其中，所述行交织信号为基于每两行帧信号交织输出的不同曝光帧的曝光信号；
行缓存模块，用于行缓存所述两行帧信号和下一组两行帧信号，以输出对齐的组合行信号集，其中所述组合行信号集包括第一组合行信号和第二组合行信号；
曝光模块，用于对所述组合行信号集进行逐行曝光，获取所述第一组合行信号对应的同属一行的两个单行帧，所述第二组合行信号对应的同属一行的两个单行帧，形成对齐帧组；
组合模块，用于将不同曝光帧的全部对齐帧组按序拼接，生成待处理组合帧；
处理模块，用于对所述待处理组合帧进行图像处理，生成所述不同曝光帧各自对应的目标帧。
10.根据权利要求9所述的装置，其特征在于，所述曝光模块，还用于：
根据所述组合行信号集的每个单行帧信号的属性信息，确定所述每个单行帧信号的所属曝光帧；
根据所述所属曝光帧，生成所述组合行信号集对应的所述对齐帧组。
11.根据权利要求10所述的装置，其特征在于，所述曝光模块，还用于：
生成所述组合行信号集中的所述每个单行帧信号对应的单行帧；
分别对每个单行帧进行扩边；
对扩边后的每个单行帧进行组合，生成对应的所述对齐帧组。
12.根据权利要求11所述的装置，其特征在于，所述曝光模块，还用于：
基于图像处理器中的滤波窗的处理距离，分别确定所述每个单行帧的纵向扩边区域和横向扩边区域；
根据所述每个单行帧的所述纵向扩边区域和所述横向扩边区域，生成所述每个单行帧的所述扩边区域。
13.根据权利要求12所述的装置，其特征在于，所述曝光模块，还用于：
基于所述处理距离与所述每个单行帧的高度，分别确定所述每个单行帧的纵向扩边区域，其中，所述每个单行帧的纵向扩边区域与所属的单行帧相邻，且与相邻的单行帧的纵向扩边区域相邻且不重叠；
基于所述处理距离与所述每个单行帧的宽度，分别确定所述每个单行帧的横向扩边区域，其中，所述每个单行帧的横向扩边区域与所属的单行帧相邻；
将所述纵向扩边区域和所述横向扩边区域沿所属的所述每个单行帧进行组合，生成所述每个单行帧的所述扩边区域。
14.根据权利要求13所述的装置，其特征在于，所述曝光模块，还用于：
获取所述扩边区域的填充数据，并使用所述填充数据对所述扩边区域进行填充，其中，所述填充数据为所述扩边区域所属的所述单行帧对应的复制字符串、镜像字符串和空白字符串中的任意一种；
将所述填充后的扩边区域与所述每个单行帧进行拼接，生成所述扩边后的每个单行帧；
将所述第一组合行信号对应的扩边后的两个单行帧，与所述第二组合行信号对应的扩边后的两个单行帧按序拼接，生成所述对齐帧组。
15.根据权利要求14所述的装置，其特征在于，所述组合模块，还用于：
根据所述对齐帧组的生成时序，将每个所述对齐帧组进行拼接，并基于拼接后的全部对齐帧组，生成所述待处理组合帧。
16.根据权利要求9-15任一项所述的装置，其特征在于，所述处理模块，还用于：
将所述待处理组合帧中的每个曝光帧的首行帧首位像素点的位置，确定为所述每个曝光帧的起始位置；
从所述每个曝光帧的所述起始位置开始，使用所述起始位置对应的曝光帧的匹配参数进行图像处理，并在下一个曝光帧的所述起始位置，将所述匹配参数变更为所述下一个曝光帧的匹配参数，并基于变更后的匹配参数对所述下一个曝光帧进行图像处理，直至所述每个曝光帧处理完毕，生成所述不同曝光帧各自对应的所述目标帧。
17.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
CN202111358182.6A 2021-11-16 2021-11-16 图像处理方法、装置和电子设备 Active CN114173055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111358182.6A CN114173055B (zh) 2021-11-16 2021-11-16 图像处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111358182.6A CN114173055B (zh) 2021-11-16 2021-11-16 图像处理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN114173055A true CN114173055A (zh) 2022-03-11
CN114173055B CN114173055B (zh) 2024-07-09

Family

ID=80479319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111358182.6A Active CN114173055B (zh) 2021-11-16 2021-11-16 图像处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN114173055B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070285526A1 (en) * 2006-05-31 2007-12-13 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
CN109089053A (zh) * 2018-10-23 2018-12-25 Oppo广东移动通信有限公司 图像传输方法、装置、电子设备和存储介质
CN111932587A (zh) * 2020-08-03 2020-11-13 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070285526A1 (en) * 2006-05-31 2007-12-13 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
CN109089053A (zh) * 2018-10-23 2018-12-25 Oppo广东移动通信有限公司 图像传输方法、装置、电子设备和存储介质
CN111932587A (zh) * 2020-08-03 2020-11-13 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
CN114173055B (zh) 2024-07-09

Similar Documents

Publication Publication Date Title
US8149229B2 (en) Image apparatus for processing 3D images and method of controlling the same
US8537407B2 (en) Image reading device, correction method, and image processing method using an image reading device
CN102956027B (zh) 基于摄像头图像处理芯片的图像增强处理系统及处理方法
US9569703B2 (en) Data transfer apparatus and method thereof
US9286078B2 (en) Data processing apparatus having a parallel processing circuit including a plurality of processing modules, and method for controlling the same
CN107393459B (zh) 图像显示方法和装置
EP2451149A2 (en) High-speed video camera
JP4136255B2 (ja) 画像処理装置及びその方法
CN106357949B (zh) 一种扫描装置、图像形成设备和扫描方法
US8885939B2 (en) Image processing apparatus configured to perform image processing for plural images and control method thereof
JP7218260B2 (ja) 画像処理装置
CN114173055A (zh) 图像处理方法、装置和电子设备
JP2002232654A (ja) 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
CN113965699B (zh) 图像处理方法、装置、电子设备及存储介质
US20070030371A1 (en) Frame shuttering scheme for increased frame rate
CN101404734B (zh) 图像信号处理装置及图像信号处理方法
JP5718029B2 (ja) 撮像装置
CN102340638B (zh) 一种视频处理装置中并行处理数据的方法和装置
CN107710178B (zh) 数据输送装置和数据输送方法
JP2015138417A (ja) 画像処理装置および画像処理方法
JP2012227598A (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及び記録媒体
US11093150B2 (en) Image processing apparatus
CN111436214B (zh) 图像信号处理装置和方法
JP7110007B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記憶媒体
JP2009193337A (ja) ページメモリコントローラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Ningbo City, Zhejiang Province, 315200

Applicant after: Aixin Yuanzhi Semiconductor Co.,Ltd.

Address before: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Zhenhai District, Ningbo City, Zhejiang Province, 315200

Applicant before: Aixin Yuanzhi Semiconductor (Ningbo) Co.,Ltd.

Country or region before: China

Country or region after: China

Address after: Room 59, 17th Floor, Science and Technology Innovation Building, No. 777 Zhongguan West Road, Zhuangshi Street, Zhenhai District, Ningbo City, Zhejiang Province, 315200

Applicant after: Aixin Yuanzhi Semiconductor (Ningbo) Co.,Ltd.

Address before: 201702 room 1190, zone B, floor 11, building 1, No. 158 Shuanglian Road, Yangpu District, Shanghai

Applicant before: Aisin Yuanzhi semiconductor (Shanghai) Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant