CN117915203A - 一种图像处理方法、装置、电子设备、芯片及介质 - Google Patents
一种图像处理方法、装置、电子设备、芯片及介质 Download PDFInfo
- Publication number
- CN117915203A CN117915203A CN202211274296.7A CN202211274296A CN117915203A CN 117915203 A CN117915203 A CN 117915203A CN 202211274296 A CN202211274296 A CN 202211274296A CN 117915203 A CN117915203 A CN 117915203A
- Authority
- CN
- China
- Prior art keywords
- image
- exposure
- images
- frames
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 140
- 238000012549 training Methods 0.000 claims abstract description 104
- 238000000034 method Methods 0.000 claims abstract description 86
- 230000003068 static effect Effects 0.000 claims abstract description 85
- 238000012937 correction Methods 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 17
- 239000002131 composite material Substances 0.000 claims description 16
- 238000012935 Averaging Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 14
- 230000008569 process Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000009469 supplementation Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本公开提供一种图像处理方法和装置，涉及计算机视觉领域。该方法包括：对拍摄场景进行静态图像拍摄，以获取多帧静态图像，其中拍摄场景包括动态对象和静态对象，多帧静态图像为动态对象在运动轨迹上的不同位置时对应的图像；按照动态对象在运动轨迹上运动，对拍摄场景进行动态视频拍摄以获取动态视频；从动态视频中选取多个图像帧，利用多个图像帧对多帧静态图像进行处理，以获取训练图像集；利用训练图像集对图像处理模型进行训练，并利用训练后的图像处理模型进行图像处理。通过本公开构建的训练图像集训练的图像处理模型，能够显著降低拍摄图像的过曝和欠曝问题，清晰展现场景的层次与细节，尤其对于夜景拍摄达到良好的效果。
Description
技术领域
本公开涉及计算机视觉领域，尤其涉及一种图像处理方法、装置、电子设备、芯片及介质。
背景技术
自然场景亮度的动态范围较大(可达109量级)，人眼可接受的动态范围也很广(106)，而由于传感器限制，传统相机仅可以在照片中保留场景亮度中的部分动态范围，这通常导致图像出现过曝和欠曝区域，无法展现场景的层次与细节。高动态范围(HDR)技术通过融合多张不同曝光程度的低动态范围(LDR)图像来获取HDR图像，提升图像视觉效果。
与重建静态场景不同，利用传统方法处理动态场景时，往往会出现运动鬼影问题，这是由于拍摄过程的镜头晃动以及前景位移导致的。而且由于不同图像间存在曝光差异，所以它们保留的细节层次不同，并且噪声水平不同，使得传统对齐方法效果欠佳，尤其是夜晚场景。相较于白天场景，夜晚场景的动态范围更高，不仅如此，为了捕捉与白天场景相似清晰度的夜景图像，通常需要更高的相机增益(模拟增益与数字增益)以及更长的曝光时间。这分别引入了更大的噪声以及不同图像间更大的位移，对于HDR技术中的融合重建十分不友好。
发明内容
本公开提供一种图像处理方法、装置、电子设备、芯片及介质，以解决相关技术中的问题，通过本公开构建的训练图像集训练的图像处理模型，能够显著降低拍摄图像的过曝和欠曝问题，清晰展现场景的层次与细节，尤其对于夜景拍摄达到良好的效果。
本公开的第一方面实施例提出了一种图像处理方法，该方法包括：对拍摄场景进行静态图像拍摄，以获取多帧静态图像，其中拍摄场景包括动态对象和静态对象，多帧静态图像为动态对象在运动轨迹上的不同位置时对应的图像；按照动态对象在运动轨迹上运动，对拍摄场景进行动态视频拍摄以获取动态视频；从动态视频中选取多个图像帧，利用多个图像帧对多帧静态图像进行处理，以获取训练图像集；利用训练图像集对图像处理模型进行训练，并利用训练后的图像处理模型进行图像处理。
在本公开的一些实施例中，对拍摄场景进行静态图像拍摄，以获取多帧静态图像包括：对动态对象在运动轨迹上的各个位置，获取长曝光图像和短曝光图像；合成长曝光图像和短曝光图像，以获取合成图像；将各个位置的长曝光图像、短曝光图像以及合成图像，作为多帧静态图像。
在本公开的一些实施例中，对动态对象在运动轨迹上的各个位置，获取长曝光图像和短曝光图像包括：对动态对象在运动轨迹上的各个位置，获取第一预设数量的初始长曝光图像和第二预设数量的初始短曝光图像；分别对第一预设数量的初始长曝光图像和第二预设数量的初始短曝光图像进行去噪处理，以获取长曝光图像和短曝光图像。
在本公开的一些实施例中，合成长曝光图像和短曝光图像，以获取合成图像包括：对长曝光图像和短曝光图像分别进行校正处理；根据校正后的长曝光图像和短曝光图像中像素点的像素值，确定加权权重；根据加权权重，对校正后的长曝光图像和短曝光图像进行加权融合，以获取合成图像。
在本公开的一些实施例中，对长曝光图像和短曝光图像分别进行校正处理包括：对长曝光图像和短曝光图像分别进行拜耳模式转换；利用长曝光白平衡参数对转换后的长曝光图像进行白平衡校正，利用短曝光白平衡参数对转换后的短曝光图像进行白平衡校正，其中，长曝光白平衡参数由第一预设数量的初始长曝光图像的相机元数据平均得到，短曝光白平衡参数由第二预设数量的初始短曝光图像的相机元数据平均得到。
在本公开的一些实施例中，从动态视频中选取多个图像帧，利用多个图像帧对多帧静态图像进行处理，以获取训练图像集包括：基于随机原则从动态视频中选取多个图像帧，替换多帧静态图像中的长曝光图像；将各个位置的经替换的长曝光图像、短曝光图像以及合成图像，作为训练图像集。
本公开的第二方面实施例提出了一种图像处理模型训练方法，该方法包括：对拍摄场景进行静态图像拍摄，以获取多帧静态图像，其中拍摄场景包括动态对象和静态对象，多帧静态图像为动态对象在运动轨迹上的不同位置时对应的图像；按照动态对象在运动轨迹上运动，对拍摄场景进行动态视频拍摄以获取动态视频；从动态视频中选取多个图像帧，利用多个图像帧对多帧静态图像进行处理，以获取训练图像集；利用训练图像集对图像处理模型进行训练。
本公开的第三方面实施例提出了一种图像处理装置，该装置包括：第一获取模块，用于对拍摄场景进行静态图像拍摄，以获取多帧静态图像，其中拍摄场景包括动态对象和静态对象，多帧静态图像为动态对象在运动轨迹上的不同位置时对应的图像；第二获取模块，用于按照动态对象在运动轨迹上运动，对拍摄场景进行动态视频拍摄以获取动态视频；第三获取模块，用于从动态视频中选取多个图像帧，利用多个图像帧对多帧静态图像进行处理，以获取训练图像集；处理模块，用于利用训练图像集对图像处理模型进行训练，并利用训练后的图像处理模型进行图像处理。
本公开的第四方面实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面实施例或第二方面实施例中描述的方法。
本公开的第五方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开第一方面实施例或第二方面实施例中描述的方法。
本公开的第六方面实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开第一方面实施例或第二方面实施例中描述的方法。
本公开的第七方面实施例提出了一种芯片，该芯片包括一个或多个接口电路和一个或多个处理器；接口电路用于从电子设备的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令，当处理器执行计算机指令时，使得电子设备执行本空开第一方面实施例或第二方面实施例中描述的方法。
综上，根据本公开提出的图像处理方法，对拍摄场景进行静态图像拍摄，以获取多帧静态图像，其中拍摄场景包括动态对象和静态对象，多帧静态图像为动态对象在运动轨迹上的不同位置时对应的图像；按照动态对象在运动轨迹上运动，对拍摄场景进行动态视频拍摄以获取动态视频；从动态视频中选取多个图像帧，利用多个图像帧对多帧静态图像进行处理，以获取训练图像集；利用训练图像集对图像处理模型进行训练，并利用训练后的图像处理模型进行图像处理。通过本公开构建的训练图像集训练的图像处理模型，能够显著降低拍摄图像的过曝和欠曝问题，清晰展现场景的层次与细节，尤其对于夜景拍摄达到良好的效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1为本公开实施例提供的一种图像处理方法的流程示意图；
图2为本公开实施例提供的一种图像处理方法的流程示意图；
图3为本公开实施例提供的一种图像处理方法的流程示意图；
图4为本公开实施例提供的一种图像处理方法的流程示意图；
图5为本公开实施例提供的一种图像处理方法的方案示意图；
图6为本公开实施例提供的一种图像处理模型测试结果对比示意图；
图7为本公开实施例提供的一种图像处理模型训练方法的流程示意图；
图8为本公开实施例提供的一种图像处理装置的结构示意图；
图9为本公开实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本公开的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号标识相同或类似的原件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
近几年，伴随深度学习的发展，大量基于神经网络的对齐和融合方法被提出，同时很多HDR数据集也被构建用于辅助模型训练和评估模型性能，但是仍存在一些不足。
相关技术中构建的用于学习HDR重建过程的数据集通常只包含了白天正常光照下的动态场景，不能提升模型的夜景HDR重建能力，或者包含了不同MEF算法生成的融合图像，虽然经过人工挑选，但是算法合成HDR图像仍与真实HDR图像存在一定差距，即使包含了不同光照条件下的室内场景，然而由于夜晚成像较差，通过对低光照室内场景的学习仍然无法在处理夜景重建问题中取得很好的效果。
综上所述，深度学习算法需要大规模数据集作为模型的训练依据，现有的真实场景数据集大多数不足以支撑模型训练，而且数据集场景丰富度较低，不包含夜晚场景；现有算法主要通过合成数据集训练，其中LDR图像通过HDR图像和选定的曝光参数计算得到，与实际拍摄场景存在一定差距，同时无法反应真实的噪声情况；另一方面，现有的HDR数据集都是RGB色彩空间中的场景信息，使得不同图像间与曝光比并非呈现线性关系，由于不同传感器的图像信号处理(ISP)存在差异，所以在调整图像到统一动态范围的过程中，往往存在误差。
为了解决相关技术中存在的问题，本公开提出一种图像处理方案，本方案构建的训练图像集实现对夜间场景以及对动态场景的补充，数据集场景丰富，能反应真实的噪声情况。使用本方法构建的训练图像集对图像处理模型进行训练，可以提升图像处理模型在夜间HDR上的重建能力，进而利用训练后的图像处理模型进行图像处理，能够显著降低拍摄图像的过曝和欠曝问题，清晰展现场景的层次与细节，尤其对于夜景拍摄达到良好的效果。
本公开提出的方法应用于HDR技术中融合LDR图像来获取HDR图像的过程，具体可用于手机拍照、工业相机成像领域的数字图像处理过程中，在本公开实施例中不予限制。
下面结合附图对本申请所提供的图像处理方法进行详细介绍。
图1为本公开实施例提供的一种图像处理方法的流程图。如图1所示，该图像处理方法包括步骤101-104：
需要说明的是，在本公开中，获取训练图像集对图像处理模型进行训练，利用训练后的图像处理模型进行图像处理，因此同时公开了构建训练图像集的方法，在具体的实施过程中，由于图像处理模型有一定差别，训练图像集的获取过程也有一定差别，但通用地可以适用步骤101-103公开的获取图像训练集方法。
步骤101，对拍摄场景进行静态图像拍摄，以获取多帧静态图像，其中拍摄场景包括动态对象和静态对象，多帧静态图像为动态对象在运动轨迹上的不同位置时对应的图像。
在本公开的实施例中，拍摄场景包括动态对象和静态对象，其中，动态对象指拍摄对象正在按照一定的轨迹运动，静态对象指拍摄对象在某一运动位置固定处于静止状态。静态图像拍摄指对拍摄对象在运动轨迹上的各个位置拍摄，拍摄时拍摄对象正固定在某一运动位置处于静止状态，由此拍摄出的多帧静态图像为动态对象在运动轨迹上的不同位置时对应的静态图像。
在本公开的实施例中，在静态拍摄中将拍摄对象在运动轨迹的某一位置固定进行拍摄，在同一位置拍摄多帧图像，优选地可以拍摄180帧图像，采集多帧的目的是通过图像处理如去噪，得到该位置的更加干净的一帧图像。在运动轨迹的不同位置固定，重复上述拍摄过程，以获取不同位置的多帧静态图像。
在本公开的优选实施例中，图像处理模型应用于对齐和融合LDR图像来获取HDR图像。为获取训练图像集，具体地，设置相机曝光程度，传感器可以输出不同曝光程度的LDR图像，在拍摄过程中，拍摄一帧图像时传感器同时输出长、短曝光的LDR图像，拍摄同一位置多帧图像经由去噪、像素值加权等处理后，合成对应的HDR图像。在运动轨迹的不同位置固定，重复上述拍摄过程，以获取不同运动位置的多帧静态图像，由此，获取的多帧静态图像包括每一个运动位置的一帧短曝光和一帧长曝光LDR图像，以及一帧合成的HDR图像。
应当理解，本公开中所指的长曝光图像为曝光时间较长的图像，短曝光图像为曝光时间较短的图像。长曝光与短曝光是一组相对的概念，本公开对区分“长”、“短”的曝光时间值不予限定，其满足对应拍摄场景的拍摄要求即可。
步骤102，按照动态对象在运动轨迹上运动，对拍摄场景进行动态视频拍摄以获取动态视频。
需要说明的是，步骤101是对静态场景的拍摄，在拍摄时拍摄对象处于静止状态，而该步骤中是对动态场景的拍摄，在拍摄时拍摄对象处于运动状态。
在本公开的实施例中，与步骤101中的运动轨迹相同，该步骤采用动态视频拍摄的形式，对按照一定运动轨迹运动中的动态对象进行视频拍摄，由此获取到动态视频。
步骤103，从动态视频中选取多个图像帧，利用多个图像帧对多帧静态图像进行处理，以获取训练图像集。
需要说明的是，在日常的拍摄场景中，无法保在拍摄时拍摄对象一直处于静止状态，在动态场景下会产生拖影模糊或鬼影等问题，因此需要对训练图像集进行动态场景的补充。
在本公开的实施例中，对如何从动态视频中选取多个图像帧的选取方式没有限制，优选地可以采用随机选取的方式。利用多个图像帧对多帧静态图像进行处理，具体处理方式可以是用多个图像帧替换多帧静态图像中的部分图像，以实现对训练图像集进行动态场景的补充。
步骤104，利用所述训练图像集对图像处理模型进行训练，并利用训练后的图像处理模型进行图像处理。
在本公开的实施例中，在将训练图像集输入图像处理模型前，对图像进行曝光校正处理，可以将LDR图像映射到同一曝光水平下，之后与未经曝光校正处理的原图像拼接作为模型输入。
在本公开的实施例中，图像处理模型可以选用基于对齐-融合的HDR视频重建模型，可以利用深度学习框架pytorch训练模型，优选地训练周期为50个epoch。其中，对齐-融合的HDR视频重建模型结构包括特征提取、特征对其以及特征融合，输出的结果为HDR图像。
在本公开的实施例中，深度学习神经网络中损失函数是在经过色调映射后的模型输出上计算，将经过色调映射后的raw域真值图像作为真实值，模型预测结果即预测值，损失函数可以用于衡量模型预测的好坏，进而可以辅助深度学习训练优化图像处理模型。
在本公开的实施例中，构建的训练图像集实现了对夜间场景以及对动态场景的补充，数据集场景丰富，能反应真实的噪声情况。使用本方法构建的训练图像集对图像处理模型进行训练，利用训练后的图像处理模型进行图像处理，能够显著降低拍摄图像的过曝和欠曝问题，清晰展现场景的层次与细节，尤其对于夜景拍摄达到良好的效果。
综上，根据本公开提出的图像处理方法，对拍摄场景进行静态图像拍摄，以获取多帧静态图像，其中拍摄场景包括动态对象和静态对象，多帧静态图像为动态对象在运动轨迹上的不同位置时对应的图像；按照动态对象在运动轨迹上运动，对拍摄场景进行动态视频拍摄以获取动态视频；从动态视频中选取多个图像帧，利用多个图像帧对多帧静态图像进行处理，以获取训练图像集；利用训练图像集对图像处理模型进行训练，并利用训练后的图像处理模型进行图像处理。通过本公开构建的训练图像集训练的图像处理模型，能够显著降低拍摄图像的过曝和欠曝问题，清晰展现场景的层次与细节，尤其对于夜景拍摄达到良好的效果。
基于图1所示的实施例，图2进一步示出本公开提出的一种图像处理方法的流程图。为了便于理解，图3示出了图像处理方法中关键内容的示意图，提供了一种基于多尺度语义信息融合的图像语义分割算法方法的示意图。图2基于图1所示的实施例，对步骤101和步骤102进行进一步定义。在图2所示的实施例中，步骤101包括步骤201、步骤202以及步骤203，步骤103包括步骤205和步骤206。如图2所示，该方法包括如下步骤201-207：
需要说明的是，在本公开中，获取训练图像集对图像处理模型进行训练，利用训练后的图像处理模型进行图像处理，因此在前几个步骤中公开了构建训练图像集的方法，其中训练图像集包括了LDR图像和融合成效果较好的高范围图像。
步骤201，对所述动态对象在运动轨迹上的各个位置，获取长曝光图像和短曝光图像。
需要说明的是，该步骤是对步骤101的进一步公开，因此描述的是对拍摄场景进行静态图像拍摄的过程，其中，拍摄场景包括动态对象和静态对象，动态对象指拍摄对象正在按照一定的轨迹运动，静态对象指拍摄对象在某一运动位置固定处于静止状态，
在本公开的一种优选实施例中，如图5所示，可以通过模拟现实场景来搭建拍摄场景，如图拍摄场景中有前景和背景物体，固定背景，在拍摄时，保持前景物体不动进行拍摄，在拍摄的过程中，模拟动态对象的运动轨迹移动前景物体，固定至动态对象在运动轨迹上的各个位置进行拍摄。
在本公开的实施例中，步骤201对所述动态对象在运动轨迹上的各个位置，获取长曝光图像和短曝光图像包括如图3所示的步骤301-302：
步骤301：对动态对象在运动轨迹上的各个位置，获取第一预设数量的初始长曝光图像和第二预设数量的初始短曝光图像。
在本公开的实施例中，对动态对象在运动轨迹上的各个位置进行拍摄，对使用的传感器不做限制，优选地可以使用staggered传感器，利用staggered传感器特性，在拍摄时可以在一帧时间内同时输出初始长曝光图像和初始短曝光图像，也可以使用普通传感器，通过设置曝光程度，分别输出初始长曝光图像和初始短曝光图像。
具体地，对动态对象在运动轨迹上的各个位置进行拍摄，在某一固定位置，利用传感器输出第一预设数量的初始长曝光图像，优选地第一预设数量可以是180帧，利用传感器输出第二预设数量的初始短曝光图像，优选地第二预设数量可以是180帧。对动态对象在运动轨迹上的各个位置固定，重复上述拍摄过程，以获取各个位置上的第一预设数量的初始长曝光图像和第二预设数量的初始短曝光图像。
步骤302：分别对第一预设数量的初始长曝光图像和第二预设数量的初始短曝光图像进行去噪处理，以获取长曝光图像和短曝光图像。
其中，在本公开中基于多帧降噪原理，在各个位置拍摄多帧初始长曝光图像和初始短曝光图像，进行去噪处理，获取各个位置更加干净的一帧长曝光图像和一帧短曝光图像。
具体地，对第一预设数量的初始长曝光图像，在不同帧的类似像素点位置找到类似的像素点，通过这些像素点的加权平均达到降噪的目的，以获取长曝光图像。同样地，对第二预设数量的初始短曝光图像，在不同帧的类似像素点位置找到类似的像素点，通过这些像素点的加权平均达到降噪的目的，以获取短曝光图像。
步骤202，合成所述长曝光图像和所述短曝光图像，以获取合成图像。
其中，传感器输出的图像动态范围较低，长曝光图像和短曝光图像均为LDR图像，通过合成长曝光图像和短曝光图像获取的合成图像，即动态范围更高的HDR图像。
在本公开的一些实施例中，步骤202合成所述长曝光图像和所述短曝光图像，以获取合成图像包括如图4所示步骤401-403：
步骤401：对长曝光图像和短曝光图像分别进行校正处理。
在本公开的一些实施例中，对长曝光图像和短曝光图像分别进行校正处理包括：
对长曝光图像和短曝光图像分别进行拜耳模式转换。
具体地，传感器采集到数据的为Raw数据，经过步骤302去噪处理获取的数据为各个位置的均值Raw帧，Raw图是单通道，不同颜色通道采集的像素在图像上的排布位置是根据传感器的设定而不同的，所以需要根据颜色采集设定，将一通道图像变为四通道图像。通过将均值Raw帧按照拜耳模式重新组合，可以获取四通道的二分之一分辨率图像，其中拜耳模式是颜色模式，被广泛应用于CCD和CMOS摄像头，是相机内部的原始图像格式。
利用长曝光白平衡参数对转换后的长曝光图像进行白平衡校正，利用短曝光白平衡参数对转换后的短曝光图像进行白平衡校正，
其中，长曝光白平衡参数由第一预设数量的初始长曝光图像的相机元数据平均得到，短曝光白平衡参数由第二预设数量的初始短曝光图像的相机元数据平均得到。
需要说明的是，不同光源发出的光的基本色调是不同的，物体的颜色会因投射光的颜色不同而改变，同一物体在不同光照条件下拍摄的照片会有不同的颜色，而人眼可以分辨各种颜色，为还原人眼看到的颜色，需要对各种光照条件下拍摄的照片进行白平衡校正，如果白色还原正确，其他颜色的还原也就差不多正确，否则会出现颜色偏差。
在本公开中，长曝光图像和短曝光图像经过拜耳模式转换获取颜色通道后，本步骤利用白平衡参数对转换后的长曝光图像和短曝光图像进行白平衡校正，以校正颜色偏差。
优选地，如图5所示，第一预设数量和第二预设数量可以是180帧，其中白平衡参数是相机本身的参数，白平衡参数由180帧的相机元数据平均得到，对均值Raw帧按照不同颜色通道进行白平衡校正。其中，白平衡校正通过增加或减弱相机内三个光敏电路的电子放大来实现。
步骤402：根据校正后的长曝光图像和短曝光图像中像素点的像素值，确定加权权重。
在本公开的实施例中，可以通过像素值加权融合的方式获取合成图像，其中，加权权重根据校正后的长曝光图像和短曝光图像中像素点的像素值确定。
具体地，根据校正后的长曝光图像和短曝光图像中像素点的像素值判断像素所述的曝光区域，包括正常曝光区域、欠曝区域以及过曝区域，各个区域具有对应的权重。
步骤403：根据加权权重，对校正后的长曝光图像和短曝光图像进行加权融合，以获取合成图像。
在本公开的实施例中，利用加权权重，对各个位置校正后的长曝光图像和短曝光图像均值Raw帧进行加权融合得到对应的HDR帧，作为合成图像。
步骤203，将各个位置的长曝光图像、短曝光图像以及所述合成图像，作为多帧静态图像。
在本公开的实施例中，将通过步骤202获取各个位置的合成图像、长曝光图像中第一预设数量帧的中间帧、短曝光图像中第二预设数量帧的中间帧组成对齐的LDR-HDR图像对，作为多帧静态图像。
其中，合成图像为HDR图像，长曝光图像中第一预设数量帧的中间帧、短曝光图像中第二预设数量帧的中间帧为LDR图像。
步骤204，按照所述动态对象在所述运动轨迹上运动，对所述拍摄场景进行动态视频拍摄以获取动态视频。
需要说明的是，步骤201是对静态场景的拍摄，在拍摄时拍摄对象处于静止状态，而该步骤中是对动态场景的拍摄，在拍摄时拍摄对象处于运动状态。
在本公开的实施例中，采用动态视频拍摄的形式，如图5所示，固定背景，保持前景物体运动，在运动中进行拍摄。其中，运动轨迹与步骤201中的运动轨迹相同。
步骤205，基于随机原则从动态视频中选取多个图像帧，替换多帧静态图像中的长曝光图像。
在本公开的实施例中，采用随机选取的方式，在多帧静态图像中选取部分长曝光图像，动态视频按循序播放比如有m到n个帧，从中选取同一场景下的动态帧替换上述部分长曝光图像。
步骤206，将各个位置的经替换的长曝光图像、短曝光图像以及所述合成图像，作为训练图像集。
需要说明的是，在日常的拍摄场景中，无法保在拍摄时拍摄对象一直处于静止状态，在动态场景下会产生拖影模糊或鬼影等问题，因此需要对训练图像集进行动态场景的补充。
可以理解的是，通过步骤204和步骤205对步骤203获取的多帧静态图像进行了替换，补充了动态场景拍摄的图像数据，替换后的图像集作为训练图像集。
步骤207，利用训练图像集对图像处理模型进行训练，并利用训练后的图像处理模型进行图像处理。
在本公开的实施例中，在将训练图像集输入图像处理模型前，对图像进行曝光校正处理，具体地，每次输入两帧连续的Raw域LDR帧和对应的曝光系数ti-1、ti，利用曝光系数对输入LDR图像进行曝光校正，校正公式为：
其中，两帧连续的Raw域LDR帧指各个位置的经替换的一阵长曝光和一帧短曝光的像素值，在输入模型前进行曝光矫正处理，曝光系数ti-1、ti是根据相机元数据里面的曝光时间和增益值的比值获得，通过上述公式可将输入LDR图像映射到同一曝光水平下，
其中，获得的结果与原图像/>拼接，得到八通道的同样大小的像素值数组作为图像校正模型的输入。
在本公开的实施例中，图像处理模型可以选用基于对齐-融合的HDR视频重建模型，其中，对齐-融合的HDR视频重建模型结构包括特征提取、特征对其以及特征融合，输出的结果为HDR图像。
具体地，通过卷积进行特征提取，公式如下：
其中，Fi表示第i帧提取特征，利用原图像定位欠曝和过曝区域、利用曝光补偿后图像/>进行后续的对齐融合。
具体地，采用注意力模块为卷积提取特征计算对齐权重，将权重与特征相乘得到当前帧的对齐特征，公式如下：
wi-1＝att(Fi-1,Fi)
其中，att为注意力模块，wi-1为第i-1帧权重，为第i-1帧向第i帧对齐后的特征。
具体地，采用加权模块计算对齐特征的融合权重，辅助网络完成帧间融合，公式如下：
fi＝weight(Fi)
其中，weight为加权模块，为模型输出的第i帧的HDR图像。
在本公开的实施例中，可以利用深度学习框架pytorch训练模型，优选地训练周期为50个epoch，其中损失函数是在经过色调映射后的模型输出上计算，计算过程如下：
其中，L表示损失函数，Ti表示经过色调映射后的raw域真值图像作为真实值，为预测结果即预测值，/>是模型输出的HDR图像，μ为训练常数，优选地μ为5000，由此计算出的损失函数可以用于衡量模型预测的好坏，进而可以辅助深度学习训练优化图像处理模型。
图6为图像处理模型测试结果对比示意图，拍摄场景为夜景。从左到右前两张为真实拍摄的图像，是未经HDR技术融合的短曝光图像和长曝光图像，也是图像处理模型的输入，可以看出图像存在过曝和欠曝问题，无法清晰展现场景的层次与细节。第三张为图像处理模型未经训练前的输出结果，第四张为经本公开方法训练的图像处理模型输出结果，第四张相较于第三张更加清晰地展现了场景的层次与细节，明显达到了更好的拍摄效果。
综上，通过本公开的提供的图像处理方法，针对现有技术中训练集场景丰富度较低，不包含夜晚场景的问题，本公开构建的训练图像集对夜间场景进行了补充；针对现有技术与实际拍摄场景存在一定差距，同时无法反应真实的噪声情况的问题，本公开在构建训练图像集的过程中，通过静态拍摄和动态拍摄结合，补充动态场景，模拟出真实拍摄场景，还原真实的噪音情况；针对现有技术HDR数据集都是RGB色彩空间中的场景信息，使得不同图像间与曝光比并非呈现线性关系，在调整图像到统一动态范围的过程中存在误差的问题，本公开的方法在Raw域构建图像训练集，在融合过程中，还原准确的白平衡，根据曝光区域计算权重，利用权重对均值Raw帧进行加权融合，进而减少了误差。使用本方法构建的训练图像集对图像处理模型进行训练，可以提升图像处理模型在夜间HDR上的重建能力，进而利用训练后的图像处理模型进行图像处理，能够显著降低拍摄图像的过曝和欠曝问题，清晰展现场景的层次与细节，尤其对于夜景拍摄达到良好的效果。
根据本公开的方案，能够达到如下有益效果：
1.本公开构建的训练图像集实现对夜间场景以及对动态场景的补充，数据集场景丰富，能反应真实的噪声情况。
2.本公开在Raw域构建图像训练集，在融合过程中，还原准确的白平衡，根据曝光区域计算权重，利用权重对均值Raw帧进行加权融合，进而减少了误差。
3.利用本公开所构建的数据集可以辅助市面上主流方法训练，可大大提升主流方法在夜间HDR上的重建能力。
4.利用训练后的图像处理模型进行图像处理，能够显著降低拍摄图像的过曝和欠曝问题，清晰展现场景的层次与细节，尤其对于夜景拍摄达到良好的效果。
图7为本公开实施例提供的一种图像处理模型训练方法的流程示意图。如图6所示，该方法包括如下步骤：
步骤701，对拍摄场景进行静态图像拍摄，以获取多帧静态图像，其中拍摄场景包括动态对象和静态对象，多帧静态图像为动态对象在运动轨迹上的不同位置时对应的图像。
在本公开的实施例中，拍摄场景包括动态对象和静态对象，其中，动态对象指拍摄对象正在按照一定的轨迹运动，静态对象指拍摄对象在某一运动位置固定处于静止状态。静态图像拍摄指对拍摄对象在运动轨迹上的各个位置拍摄，拍摄时拍摄对象正固定在某一运动位置处于静止状态，由此拍摄出的多帧静态图像为动态对象在运动轨迹上的不同位置时对应的静态图像。
在本公开的实施例中，在静态拍摄中将拍摄对象在运动轨迹的某一位置固定进行拍摄，在同一位置拍摄多帧图像，优选地可以拍摄180帧图像，采集多帧的目的是通过图像处理如去噪，得到该位置的更加干净的一帧图像。在运动轨迹的不同位置固定，重复上述拍摄过程，以获取不同位置的多帧静态图像。
在本公开的优选实施例中，图像处理模型应用于对齐和融合LDR图像来获取HDR图像。为获取训练图像集，具体地，设置相机曝光程度，传感器可以输出不同曝光程度的LDR图像，在拍摄过程中，拍摄一帧图像时传感器同时输出长、短曝光的LDR图像，拍摄同一位置多帧图像经由去噪、像素值加权等处理后，合成对应的HDR图像。在运动轨迹的不同位置固定，重复上述拍摄过程，以获取不同运动位置的多帧静态图像，由此，获取的多帧静态图像包括每一个运动位置的一帧短曝光和一帧长曝光LDR图像，以及一帧合成的HDR图像。
步骤702，按照动态对象在运动轨迹上运动，对拍摄场景进行动态视频拍摄以获取动态视频。
需要说明的是，步骤701是对静态场景的拍摄，在拍摄时拍摄对象处于静止状态，而该步骤中是对动态场景的拍摄，在拍摄时拍摄对象处于运动状态。
在本公开的实施例中，与步骤701中的运动轨迹相同，该步骤采用动态视频拍摄的形式，对按照一定运动轨迹运动中的动态对象进行视频拍摄，由此获取到动态视频。
步骤703，从动态视频中选取多个图像帧，利用多个图像帧对多帧静态图像进行处理，以获取训练图像集。
需要说明的是，在日常的拍摄场景中，无法保在拍摄时拍摄对象一直处于静止状态，在动态场景下会产生拖影模糊或鬼影等问题，因此需要对训练图像集进行动态场景的补充。
在本公开的实施例中，对如何从动态视频中选取多个图像帧的选取方式没有限制，优选地可以采用随机选取的方式。利用多个图像帧对多帧静态图像进行处理，具体处理方式可以是用多个图像帧替换多帧静态图像中的部分图像，以实现对训练图像集进行动态场景的补充的目的。
在本公开的一种优选实施例中，获取的多帧静态图像包括不同运动位置的短曝光和长曝光LDR图像，以及合成的HDR图像。在动态视频中随机选取多个图像帧替换上述多帧静态图像中的长曝光图像，将经过替换后的多帧静态图像作为训练图像集。可以理解的是，训练图像集包括可能经过替换的长曝光LDR图像、短曝光LDR图像以及合成的HDR图像。
步骤704，利用训练图像集对图像处理模型进行训练。
在本公开的实施例中，在将训练图像集输入图像处理模型前，对图像进行曝光校正处理，通过图像曝光校正处理可以将LDR图像映射到同一曝光水平下，之后与未经曝光校正处理的原图像拼接作为模型输入。
在本公开的实施例中，图像处理模型可以选用基于对齐-融合的HDR视频重建模型，可以利用深度学习框架pytorch训练模型，优选地训练周期为50个epoch。其中，对齐-融合的HDR视频重建模型结构包括特征提取、特征对其以及特征融合，输出的结果为HDR图像。
在本公开的实施例中，深度学习神经网络中损失函数是在经过色调映射后的模型输出上计算，将经过色调映射后的raw域真值图像作为真实值，模型预测结果即预测值，损失函数可以用于衡量模型预测的好坏，进而可以辅助深度学习训练优化图像处理模型。
综上所述，本公开的图像处理模型训练方法，构建的训练图像集实现对夜间场景以及对动态场景的补充，数据集场景丰富，能反应真实的噪声情况。使用本方法构建的训练图像集对图像处理模型进行训练，可以提升图像处理模型在夜间HDR上的重建能力，进而利用训练后的图像处理模型进行图像处理，能够显著降低拍摄图像的过曝和欠曝问题，清晰展现场景的层次与细节，尤其对于夜景拍摄达到良好的效果。
图8为本公开实施例提供的一种图像处理装置800的结构示意图。如图8所示，该图像处理装置包括：
第一获取模块810，用于对拍摄场景进行静态图像拍摄，以获取多帧静态图像，其中拍摄场景包括动态对象和静态对象，多帧静态图像为动态对象在运动轨迹上的不同位置时对应的图像；
第二获取模块820，用于按照动态对象在运动轨迹上运动，对拍摄场景进行动态视频拍摄以获取动态视频；
第三获取模块830，用于从动态视频中选取多个图像帧，利用多个图像帧对多帧静态图像进行处理，以获取训练图像集；
处理模块840，用于利用训练图像集对图像处理模型进行训练，并利用训练后的图像处理模型进行图像处理。
在一些实施例中，第一获取模块810具体用于：对动态对象在运动轨迹上的各个位置，获取长曝光图像和短曝光图像；合成长曝光图像和短曝光图像，以获取合成图像；将各个位置的长曝光图像、短曝光图像以及合成图像，作为多帧静态图像。
在一些实施例中，第一获取模块810具体用于：对所述动态对象在运动轨迹上的各个位置，获取第一预设数量的初始长曝光图像和第二预设数量的初始短曝光图像；分别对所述第一预设数量的初始长曝光图像和所述第二预设数量的初始短曝光图像进行去噪处理，以获取所述长曝光图像和所述短曝光图像。
在一些实施例中，第一获取模块810具体用于：对所述长曝光图像和所述短曝光图像分别进行校正处理；根据校正后的长曝光图像和短曝光图像中像素点的像素值，确定加权权重；根据所述加权权重，对校正后的长曝光图像和短曝光图像进行加权融合，以获取所述合成图像。
在一些实施例中，第一获取模块810还用于：对所述长曝光图像和所述短曝光图像分别进行拜耳模式转换；利用长曝光白平衡参数对转换后的长曝光图像进行白平衡校正，利用短曝光白平衡参数对转换后的短曝光图像进行白平衡校正，其中，所述长曝光白平衡参数由所述第一预设数量的初始长曝光图像的相机元数据平均得到，所述短曝光白平衡参数由所述第二预设数量的初始短曝光图像的相机元数据平均得到。
在一些实施例中，第三获取模块830具体用于：基于随机原则从所述动态视频中选取多个图像帧，替换所述多帧静态图像中的所述长曝光图像；将各个位置的所述经替换的长曝光图像、所述短曝光图像以及所述合成图像，作为所述训练图像集。
综上，通过图像处理装置，对拍摄场景进行静态图像拍摄，以获取多帧静态图像，其中拍摄场景包括动态对象和静态对象，多帧静态图像为动态对象在运动轨迹上的不同位置时对应的图像；按照动态对象在运动轨迹上运动，对拍摄场景进行动态视频拍摄以获取动态视频；从动态视频中选取多个图像帧，利用多个图像帧对多帧静态图像进行处理，以获取训练图像集；利用训练图像集对图像处理模型进行训练，并利用训练后的图像处理模型进行图像处理。通过本公开构建的训练图像集训练的图像处理模型，能够显著降低拍摄图像的过曝和欠曝问题，清晰展现场景的层次与细节，尤其对于夜景拍摄达到良好的效果。
与上述几种实施例提供的方法相对应，本公开还提供一种图像处理装置，由于本公开实施例提供的装置与上述几种实施例提供的方法相对应，因此方法的实施方式也适用于本实施例提供的装置，在本实施例中不再详细描述。
上述本申请提供的实施例中，对本申请实施例提供的方法及装置进行了介绍。为了实现上述本申请实施例提供的方法中的各功能，电子设备可以包括硬件结构、软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能可以以硬件结构、软件模块、或者硬件结构加软件模块的方式来执行。
图9是根据一示例性实施例示出的一种用于实现上述图像处理方法的电子设备900的框图。
例如，电子设备900可以是移动电话，计算机，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图9，电子设备900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。
处理组件902通常控制电子设备900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。
存储器904被配置为存储各种类型的数据以支持在电子设备900的操作。这些数据的示例包括用于在电子设备900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件906为电子设备900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为电子设备900生成、管理和分配电力相关联的组件。
多媒体组件908包括在电子设备900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当电子设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当电子设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。
I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件914包括一个或多个传感器，用于为电子设备900提供各个方面的状态评估。例如，传感器组件914可以检测到电子设备900的打开/关闭状态，组件的相对定位，例如组件为电子设备900的显示器和小键盘，传感器组件914还可以检测电子设备900或电子设备900一个组件的位置改变，用户与电子设备900接触的存在或不存在，电子设备900方位或加速/减速和电子设备900的温度变化。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件916被配置为便于电子设备900和其他设备之间有线或无线方式的通信。电子设备900可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G LTE、5G NR(NewRadio)或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由电子设备900的处理器920执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开的实施例还提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开上述实施例中描述的图像处理方法。
本公开的实施例还提出一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行本公开上述实施例中描述的图像处理方法。
本公开的实施例还提出了一种芯片，该芯片包括一个或多个接口电路和一个或多个处理器；接口电路用于从电子设备的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令，当处理器执行计算机指令时，使得电子设备执行本公开上述实施例中描述的图像处理方法。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(控制方法)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本公开的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。
尽管上面已经示出和描述了本公开的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施实施进行变化、修改、替换和变型。
Claims (12)
1.一种图像处理方法，其特征在于，所述方法包括：
对拍摄场景进行静态图像拍摄，以获取多帧静态图像，其中所述拍摄场景包括动态对象和静态对象，所述多帧静态图像为所述动态对象在运动轨迹上的不同位置时对应的图像；
按照所述动态对象在所述运动轨迹上运动，对所述拍摄场景进行动态视频拍摄以获取动态视频；
从所述动态视频中选取多个图像帧，利用所述多个图像帧对所述多帧静态图像进行处理，以获取训练图像集；
利用所述训练图像集对图像处理模型进行训练，并利用训练后的图像处理模型进行图像处理。
2.根据权利要求1所述的方法，其特征在于，所述对拍摄场景进行静态图像拍摄，以获取多帧静态图像包括：
对所述动态对象在运动轨迹上的各个位置，获取长曝光图像和短曝光图像；
合成所述长曝光图像和所述短曝光图像，以获取合成图像；
将各个位置的所述长曝光图像、所述短曝光图像以及所述合成图像，作为所述多帧静态图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述动态对象在运动轨迹上的各个位置，获取长曝光图像和短曝光图像包括：
对所述动态对象在运动轨迹上的各个位置，获取第一预设数量的初始长曝光图像和第二预设数量的初始短曝光图像；
分别对所述第一预设数量的初始长曝光图像和所述第二预设数量的初始短曝光图像进行去噪处理，以获取所述长曝光图像和所述短曝光图像。
4.根据权利要求2所述的方法，其特征在于，所述合成所述长曝光图像和所述短曝光图像，以获取合成图像包括：
对所述长曝光图像和所述短曝光图像分别进行校正处理；
根据校正后的长曝光图像和短曝光图像中像素点的像素值，确定加权权重；
根据所述加权权重，对校正后的长曝光图像和短曝光图像进行加权融合，以获取所述合成图像。
5.根据权利要求4所述的方法，其特征在于，所述对所述长曝光图像和所述短曝光图像分别进行校正处理包括：
对所述长曝光图像和所述短曝光图像分别进行拜耳模式转换；
利用长曝光白平衡参数对转换后的长曝光图像进行白平衡校正，利用短曝光白平衡参数对转换后的短曝光图像进行白平衡校正，
其中，所述长曝光白平衡参数由所述第一预设数量的初始长曝光图像的相机元数据平均得到，所述短曝光白平衡参数由所述第二预设数量的初始短曝光图像的相机元数据平均得到。
6.根据权利要求2至5中任一项所述的方法，其特征在于，所述从所述动态视频中选取多个图像帧，利用所述多个图像帧对所述多帧静态图像进行处理，以获取训练图像集包括：
基于随机原则从所述动态视频中选取多个图像帧，替换所述多帧静态图像中的所述长曝光图像；
将各个位置的所述经替换的长曝光图像、所述短曝光图像以及所述合成图像，作为所述训练图像集。
7.一种图像处理模型训练方法，其特征在于，所述方法包括：
对拍摄场景进行静态图像拍摄，以获取多帧静态图像，其中所述拍摄场景包括动态对象和静态对象，所述多帧静态图像为所述动态对象在运动轨迹上的不同位置时对应的图像；
按照所述动态对象在所述运动轨迹上运动，对所述拍摄场景进行动态视频拍摄以获取动态视频；
从所述动态视频中选取多个图像帧，利用所述多个图像帧对所述多帧静态图像进行处理，以获取训练图像集；
利用所述训练图像集对图像处理模型进行训练。
8.一种图像处理装置，其特征在于，所述装置包括：
第一获取模块，用于对拍摄场景进行静态图像拍摄，以获取多帧静态图像，其中所述拍摄场景包括动态对象和静态对象，所述多帧静态图像为所述动态对象在运动轨迹上的不同位置时对应的图像；
第二获取模块，用于按照所述动态对象在所述运动轨迹上运动，对所述拍摄场景进行动态视频拍摄以获取动态视频；
第三获取模块，用于从所述动态视频中选取多个图像帧，利用所述多个图像帧对所述多帧静态图像进行处理，以获取训练图像集；
处理模块，用于利用所述训练图像集对图像处理模型进行训练，并利用训练后的图像处理模型进行图像处理。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6或权利要求7中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-6或权利要求7中任一项所述的方法。
11.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6或权利要求7中任一项所述的方法。
12.一种芯片，其特征在于，包括一个或多个接口电路和一个或多个处理器；所述接口电路用于从电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括存储器中存储的计算机指令，当所述处理器执行所述计算机指令时，使得所述电子设备执行权利要求1-6或权利要求7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211274296.7A CN117915203A (zh) | 2022-10-18 | 2022-10-18 | 一种图像处理方法、装置、电子设备、芯片及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211274296.7A CN117915203A (zh) | 2022-10-18 | 2022-10-18 | 一种图像处理方法、装置、电子设备、芯片及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117915203A true CN117915203A (zh) | 2024-04-19 |
Family
ID=90693246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211274296.7A Pending CN117915203A (zh) | 2022-10-18 | 2022-10-18 | 一种图像处理方法、装置、电子设备、芯片及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117915203A (zh) |
-
2022
- 2022-10-18 CN CN202211274296.7A patent/CN117915203A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6911202B2 (ja) | 撮像制御方法および撮像装置 | |
| CN110445988B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN111418201B (zh) | 一种拍摄方法及设备 | |
| CN109040609B (zh) | 曝光控制方法、装置、电子设备和计算机可读存储介质 | |
| US9066017B2 (en) | Viewfinder display based on metering images | |
| CN106713755B (zh) | 全景图像的处理方法及装置 | |
| JP5445235B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US9100589B1 (en) | Interleaved capture for high dynamic range image acquisition and synthesis | |
| JP6395810B2 (ja) | 動きゴーストフィルタリングのための基準画像選択 | |
| CN110445989B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110572584B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN111327824B (zh) | 拍摄参数的选择方法、装置、存储介质及电子设备 | |
| CN105493493B (zh) | 摄像装置、摄像方法及图像处理装置 | |
| EP2704424A1 (en) | Photographing apparatus, method of controlling the same, and computer-readable recording medium | |
| US9684988B2 (en) | Imaging device, image processing method, and recording medium | |
| CN113630545B (zh) | 一种拍摄方法及设备 | |
| WO2016011859A1 (zh) | 拍摄光绘视频的方法、移动终端和计算机存储介质 | |
| CN110430370B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110012227B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110266954A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| WO2010118658A1 (zh) | 一种视频处理方法及装置 | |
| JP2022103020A (ja) | 写真撮影の方法及び装置、端末、記憶媒体 | |
| CN110581957A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP2014179920A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
| CN117135293B (zh) | 图像处理方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |