CN117333366A - 图像处理方法、装置和电子设备 - Google Patents
图像处理方法、装置和电子设备 Download PDFInfo
- Publication number
- CN117333366A CN117333366A CN202311289961.4A CN202311289961A CN117333366A CN 117333366 A CN117333366 A CN 117333366A CN 202311289961 A CN202311289961 A CN 202311289961A CN 117333366 A CN117333366 A CN 117333366A
- Authority
- CN
- China
- Prior art keywords
- image frame
- image
- rgb
- channel
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000001914 filtration Methods 0.000 claims abstract description 38
- 230000004044 response Effects 0.000 claims abstract description 31
- 238000010586 diagram Methods 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 10
- 230000004927 fusion Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、装置和电子设备，属于图像处理技术领域。本申请实施例的方法包括：获取第一图像帧的RGB三通道图，以及获取所述第一图像帧与参考图像帧之间的运动矢量数据；根据所述运动矢量数据以及所述参考图像帧的RGB三通道图对所述参考图像帧进行图像重定向处理，得到所述参考图像帧重定向后的RGB三通道图；对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值与无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图，且所述第一图像帧的RGB原始图为下一个图像帧的参考图像帧。
Description
技术领域
本申请属于图像处理领域，具体涉及一种图像处理方法、装置和电子设备。
背景技术
随着手机的不断发展，手机拍照功能越来越丰富；画质的表现也越来越接近专业相机，因其足够的便携性，在大众消费市场颇受欢迎。由于尺寸的限制，为了满足高像素、高动态、高解析的成像需求，图像传感器的技术也越来越丰富，输出的图像格式也在原拜耳(Bayer)格式之外，又新增了图像格式，如四元拜耳(Quad bayer)格式。当前图像信号处理器(Image Signal Processor，ISP)芯片只能针对CIS输出的特定图像格式的图像帧进行处理，难以适用于CIS输出的各种不同图像格式的图像帧。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置和电子设备，能够解决ISP芯片难以适用于CIS输出的各种不同图像格式的图像帧的问题。
第一方面，本申请实施例提供了一种图像处理方法，包括：
获取第一图像帧的RGB三通道图，以及获取所述第一图像帧与参考图像帧之间的运动矢量数据；
根据所述运动矢量数据以及所述参考图像帧的RGB三通道图对所述参考图像帧进行图像重定向处理，得到所述参考图像帧重定向后的RGB三通道图；
对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值与无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图，且所述第一图像帧的RGB原始图为下一个图像帧的参考图像帧。
第二方面，本申请实施例提供了一种图像处理装置，包括：
第一获取模块，用于获取第一图像帧的RGB三通道图，以及获取所述第一图像帧与参考图像帧之间的运动矢量数据；
第二获取模块，用于根据所述运动矢量数据以及所述参考图像帧进行图像重定向处理，得到所述参考图像帧重定向后的RGB三通道图；
第三获取模块，用于对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导差值与无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图，且所述第一图像帧的RGB原始图为下一个图像帧的参考图像帧。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中，获取第一图像帧的RGB三通道图，以及获取所述第一图像帧与参考图像帧之间的运动矢量数据；根据所述运动矢量数据以及所述参考图像帧的RGB三通道图对所述参考图像帧进行图像重定向处理，得到所述参考图像帧重定向后的RGB三通道图；对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值与无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图，且所述第一图像帧的RGB原始图为下一个图像帧的参考图像帧。由于各种格式的图像帧都可以拆分成RGB三通道图，因此，采用本申请的方案可以将各种格式的图像帧拆分成RGB三通道图，并基于拆分的RGB三通道图进行后续引导插值与无限脉冲响应数字滤波处理来得到图像帧的RGB原始图，进而通过上述方案ISP芯片能够对各种格式的图像帧进行处理，有效扩大了ISP芯片能够处理的图像帧格式的种类。
附图说明
图1表示本申请实施例的图像处理方法的流程示意图；
图2表示本申请实施例中ISP的架构示意图之一；
图3表示本申请实施例中ISP的架构示意图之二；
图4表示本申请实施例中网络模型的结构示意图；
图5表示本申请实施例的图像处理装置的模块示意图；
图6表示本申请实施例的电子设备的结构框图之一；
图7表示本申请实施例的电子设备的结构框图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
如图1所示，本申请实施例提供了一种图像处理方法，可由ISP芯片执行，该方法包括：
步骤101：获取第一图像帧的RGB三通道图，以及获取所述第一图像帧与参考图像帧之间的运动矢量数据。
可选地，图像传感器输出原始第一图像帧，ISP芯片对该原始第一图像帧进行预处理，例如，对原始第一图像帧的缺陷进行补偿，得到上述第一图像帧。
其中，上述原始第一图像帧可以是CIS输出的任意一个原始图像帧。
可选地，上述图像传感器可以为互补金属氧化物半导体图像传感器(CMOS ImageSensor，CIS)。
可选地，上述第一图像帧可以是视频应用输出的图像帧或者是拍照预览应用输出的图像帧。
作为一种实现方式，对第一图像帧进行R\G\B通道拆分，得到RGB三通道图。
步骤102：根据所述运动矢量数据以及所述参考图像帧的RGB三通道图对所述参考图像帧进行图像重定向处理，得到所述参考图像帧重定向后的RGB三通道图。
这里的图像重定向处理也可描述为Warp处理。
下面对Warp处理对上述步骤102进行如下说明。
对于第一图像帧，其在进行通道拆分后，会得到没有像素值的像素，需要对这些像素的像素值进行填零处理，这些进行填零处理的像素在后续的插值和滤波处理中补齐像素值；对于参考图像帧，其图像格式为RGB，该参考图像帧进行通道拆分后的得到RGB三通道图中的像素都有像素值，因此，可以基于该参考图像帧的RGB三通道图的像素中的像素值获取上述第一图像帧的RGB三通道图中需要补齐的像素值。
步骤103：对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值与无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图，且所述第一图像帧的RGB原始图为下一个图像帧的参考图像帧。
这里，第一图像帧的RGB原始图也可描述为第一图像帧的全分辨率RGB图。
可选地，所述第一图像帧的格式包括拜耳bayer格式或N*NBayer格式。其中，N*N表示一个像素被划分成的子像素(sub pixel)的个数，N为大于1的正整数。例如，N为2时，该第一图像帧格式为四元拜耳(Quad bayer)格式。当然，上述第一图像帧的格式也可以为3*3Bayer格式、4*4Bayer格式等。
当然，第一图像帧的格式也可以为CIS支持的其他图像格式，此处不做具体限定。
本申请实施例的上述方案能够对CIS支持的各种图像格式进行处理，有效扩大了ISP芯片能够处理的图像帧格式的种类。
本申请实施例中，获取第一图像帧的RGB三通道图，以及获取所述第一图像帧与参考图像帧之间的运动矢量数据；根据所述运动矢量数据以及所述参考图像帧的RGB三通道图对所述参考图像帧进行图像重定向处理，得到所述参考图像帧重定向后的RGB三通道图；对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值与无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图，且所述第一图像帧的RGB原始图为下一个图像帧的参考图像帧。由于各种格式的图像帧都可以拆分成RGB三通道图，因此，采用本申请的方案可以将各种格式的图像帧拆分成RGB三通道图，并基于拆分的RGB三通道图进行后续引导插值与无限脉冲响应数字滤波处理来得到图像帧的RGB原始图，进而通过上述方案ISP芯片能够对各种格式的图像帧进行处理，有效扩大了ISP芯片能够处理的图像帧格式的种类。
可选地，所述获取所述第一图像帧与参考图像帧之间的运动矢量数据，包括：
对所述第一图像帧进行降采样处理，得到所述第一图像帧的亮度通道图；
将所述第一图像帧的亮度通道图与所述参考图像帧的亮度通道图进行运动匹配处理，得到所述运动矢量数据。
本申请实施例中，运动匹配的方案分为两类，一类是全局匹配，可以通过在两张图上搜索关键特征点，然后进行特征点匹配；再利用匹配好的特征点对估算两张图的全局仿射变换矩阵，从而获得每个像素的全局运动矢量数据；另一个是局部匹配，两帧图像做完全局匹配后，局部运动的区域通过块匹配或者点匹配的方式，在相邻的区域寻找最相近的点或者块，从而得到局部的运动矢量数据。
通过将第一图像帧的亮度通道图与所述参考图像帧的亮度通道图进行运动匹配处理，得到上述运动矢量数据，便于后续基于该运行矢量数据对第一图像帧进行重定向处理。
下面结合图2所示，对本申请实施例的图像处理方法的流程进行如下说明。
该流程包括：
(1)第N-1个图像帧(拜耳原始(Bayer Raw)格式或N*N拜耳原始(Quad Bayer Raw)格式，这里以Bayer Raw格式为例进行说明)经过必要的预处理到达图2中的通道拆分(Split Channel)模块；
其中，由ISP的RAW域处理模块对输入的图像帧进行必要的预处理，如线性化、绿平衡矫正或坏点矫正处理等。
(2)通过降采样模块对第N-1个图像帧做降采样处理得到Y通道小图(即亮度通道图)，标记为Y[n-1]，尺寸为[1/4*Weight(宽),1/4*Height(高)]，存储在动态随机存取内存(DRAM)中；
(3)N-1帧的Bayer Raw拆分成R/G/B三通道图和Warp处理后的参考图像帧的R/G/B三通道图，经过插值和滤波模块转成RGB Raw，并拆成R/G/B三通道图存在DRAM中以作为第N个图像帧的参考图像帧。
该插值和滤波模块可以实现重排马赛克、去马赛克以及降噪的功能。这里，插值和滤波模块用于对N-1帧的Bayer Raw拆分成R/G/B三通道图和Warp处理后的参考图像帧的R/G/B三通道图进行引导插值和无限脉冲响应数字滤波处理。该插值和滤波模块可通过滤波器进行引导插值和无限脉冲响应数字滤波处理。
(4)第N个图像帧(Bayer Raw格式或Quad Bayer Raw格式，这里以Bayer Raw格式为例进行说明。)经过必要的预处理到达通道拆分模块；
其中，由ISP的RGW域处理模块对输入的图像帧进行必要的预处理，如线性化、绿平衡矫正或坏点矫正处理等。
(5)通过降采样模块对第N帧的Bayer Raw做降采样处理得到Y通道小图(即亮度通道图)，标记为Y[n]，尺寸为[1/4*Weight,1/4*Height]；
(6)通过运动矢量计算模块对Y[n]和Y[n-1]做运动匹配处理，得到第N个图像帧与第N-1个图像帧之间的运动矢量(Motion Vector，MV)数据；
(7)利用MV数据，将第N-1帧存的RGB RAW往第N帧上做warp处理，得到Warped_Image(即重定向后的第N-1个图像帧的RGB三通道图)；
(8)将第N个图像帧拆成R/G/B三通道图，保持分辨率不变，缺失的像素(pixel)填零；
(9)拆分后的第N个图像帧的R/G/B三通道图和Warp处理之后的第N-1个图像帧的R/G/B三通道图一起送进插值和滤波模块，做引导插值和无限响应脉冲滤波等处理，获得一张RGB Raw(即第N个图像帧的RGB原始图)，送给后面通路(RGB图像处理模块和RGB转YUV模块)处理的同时，存储到DRAM中，覆盖之前缓存的N-1帧的存储结果。
其中，图2中的RGB图像处理模块主要针对RGB图像的动态范围、亮度、噪声、颜色做调整处理；RGB转YUV模块用于将RGB格式的图像转换为YUV格式的图像。
相关方案中，为了使ISP能够对Quad Bayer格式的图像进行处理，需要先将QuadBayer格式的图像经过插值变成Bayer格式然后再进行相应处理，该处理方式会额外增加一次插值，从而会造成画质质量下降。通过本申请实施例的方案，利用图2所示的循环架构能够采用统一的处理方式对各种格式的图像帧进行处理，无需增加额外的插值处理，可以减少插值带来的画质损失，从而能够有效提高图像的质量，且由于无需增加额外的模块进行插值处理，有效降低了硬件成本。
可选地，所述第一图像帧包括长曝光图像帧和短曝光图像帧，所述长曝光图像帧的曝光度大于所述短曝光图像帧的曝光度；所述第一图像帧的RGB原始图包括所述长曝光图像帧的RGB原始图和所述短曝光图像帧的RGB原始图；
所述获取所述第一图像帧的RGB原始图之后，所述方法还包括：
对所述长曝光图像帧的RGB原始图和所述短曝光图像帧的RGB原始图进行高动态范围成像(High Dynamic Range Imaging，HDR)融合处理，得到融合处理后的RGB图。
本申请实施例中，基于上述图1所示的流程分别获取所述长曝光图像帧的RGB原始图和所述短曝光图像帧的RGB原始图，然后对长曝光图像帧的RGB原始图和所述短曝光图像帧的RGB原始图进行叠加处理，得到上述融合处理后的RGB图。
本申请实施例中，为实现对高动态范围的处理，接触式图像传感器会出长短两帧曝光，ISP需要有对长短曝光融合的能力；基于图2所示的架构，只需要在RGB域的图像处理模块(RGB Proc)之前增加长短曝图像帧的Fusion模块，即HDR融合(Fusion)模块，如图3所示，在此处增加该模块的好处在于：此时长短曝图像帧都已经经过了多帧的堆叠，画质的信噪比很高，对于HDR Fusion模块来说是非常好的输入，因此，会有更好的融合效果。另外，使用RGB RAW进行HDR Fusion免除了Bayer/Quad Bayer的插值；一般来说，RAW域的插值都需要先通过去马赛克(Demosaic)模块(用于将Bayer格式插值成RGB格式)到RGB域，融合后，又降采样回到Bayer域，这样就又增加了一次插值，损失了清晰度；使用HDR融合模块，将长短曝都处理到RGB Raw上再做融合，就避免了反复插值，能够有效提升图像清晰度。
本申请实施例的方案，通过融合模块对图像帧的RGB三通道图进行引导插值和无限脉冲响应数字滤波处理，同时实现了对图像帧进行去马赛克、重排马赛克和降噪的目的，可以无需再设置重排马赛克(Remosaic)和去马赛克(Demosaic)两个硬件模块，节省了硬件资源，同时可以有效减少插值带来的画质损失，可以带来画质清晰度上的提升，尤其是针对长焦放大场景，更显优势。
可选地，所述对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值和无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图，包括：
利用网络模型对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值和无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图。
本申请实施例中除了可以利用上述插值和滤波模块来实现引导插值和无限脉冲响应数字滤波处理，还可以利用网络模型来对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值和无限脉冲响应数字滤波处理。
可选地，如图4所示，该网络模型采用Unet结构，该结构中可以支持行流水，硬件上支持和ISP通路直连。另外，其他网络结构也可应用至该网络模型中，此处不做具体限定。
另外，对于HDR Fusion的模块，同样可以替换成Unet的网络结构，长短曝图像帧之间的增益(Gain)值，作为一张增益图(Gain Map)随着两个图像帧一起输入到网络中。
这里，利用人工智能(Artificial Intelligence，AI)网络的能力，可以突破传统算法的上限，达到更好的画质效果，还原出更多的细节和动态范围。另外，AI网络对应处理器采用神经网络处理单元(Neural Processing Unit，NPU)这种统一的硬件形式，在适配弹性上更为充分，只要网络使用的算子NPU可以支持，那么网络的结构和权重都可以根据场景需求来调整，使得在芯片回片之后，在硬件不改动的情况下，可以调整网络结构和权重，实时适配软方案的更改。
本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。
如图5所示，本申请实施例还提供了一种图像处理装置500，包括：
第一获取模块501，用于获取第一图像帧的RGB三通道图，以及获取所述第一图像帧与参考图像帧之间的运动矢量数据；
第二获取模块502，用于根据所述运动矢量数据以及所述参考图像帧进行图像重定向处理，得到所述参考图像帧重定向后的RGB三通道图；
第三获取模块503，用于对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导差值与无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图，且所述第一图像帧的RGB原始图为下一个图像帧的参考图像帧。
可选地，所述第一获取模块包括：
第一获取子模块，用于对所述第一图像帧进行降采样处理，得到所述第一图像帧的亮度通道图；
第二获取子模块，用于将所述第一图像帧的亮度通道图与所述参考图像帧的亮度通道图进行运动匹配处理，得到所述运动矢量数据。
可选地，所述第一图像帧包括长曝光图像帧和短曝光图像帧，所述长曝光图像帧的曝光度大于所述短曝光图像帧的曝光度；所述第一图像帧的RGB原始图包括所述长曝光图像帧的RGB原始图和所述短曝光图像帧的RGB原始图；
所述装置还包括：
第四获取模块，用于在第三获取模块获取所述第一图像帧的RGB原始图之后，对所述长曝光图像帧的RGB原始图和所述短曝光图像帧的RGB原始图进行高动态范围成像HDR融合处理，得到融合处理后的RGB图。
可选地，所述第三获取模块用于利用网络模型对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值和无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图。
可选地，所述第一图像帧的格式包括拜耳bayer格式或N*NBayer格式，其中，N表示一个像素被划分成的子像素的个数，N为大于1的正整数。
本申请实施例中，获取第一图像帧的RGB三通道图，以及获取所述第一图像帧与参考图像帧之间的运动矢量数据；根据所述运动矢量数据以及所述参考图像帧的RGB三通道图对所述参考图像帧进行图像重定向处理，得到所述参考图像帧重定向后的RGB三通道图；对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值与无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图，且所述第一图像帧的RGB原始图为下一个图像帧的参考图像帧。由于各种格式的图像帧都可以拆分成RGB三通道图，因此，采用本申请的方案可以将各种格式的图像帧拆分成RGB三通道图，并基于拆分的RGB三通道图进行后续引导插值与无限脉冲响应数字滤波处理来得到图像帧的RGB原始图，进而通过上述方案ISP芯片能够对各种格式的图像帧进行处理，有效扩大了ISP芯片能够处理的图像帧格式的种类。
本申请实施例中的图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1至图4的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图6所示，本申请实施例还提供一种电子设备600，包括处理器601和存储器602，存储器602上存储有可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图7为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。
本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器710，用于获取第一图像帧的RGB三通道图，以及获取所述第一图像帧与参考图像帧之间的运动矢量数据；根据所述运动矢量数据以及所述参考图像帧的RGB三通道图对所述参考图像帧进行图像重定向处理，得到所述参考图像帧重定向后的RGB三通道图；对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值与无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图，且所述第一图像帧的RGB原始图为下一个图像帧的参考图像帧。
本申请实施例中，获取第一图像帧的RGB三通道图，以及获取所述第一图像帧与参考图像帧之间的运动矢量数据；根据所述运动矢量数据以及所述参考图像帧的RGB三通道图对所述参考图像帧进行图像重定向处理，得到所述参考图像帧重定向后的RGB三通道图；对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值与无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图，且所述第一图像帧的RGB原始图为下一个图像帧的参考图像帧。由于各种格式的图像帧都可以拆分成RGB三通道图，因此，采用本申请的方案可以将各种格式的图像帧拆分成RGB三通道图，并基于拆分的RGB三通道图进行后续引导插值与无限脉冲响应数字滤波处理来得到图像帧的RGB原始图，因此，通过上述方案ISP芯片能够对各种格式的图像帧进行处理，有效扩大了ISP芯片能够处理的图像帧格式的种类。
可选地，处理器710，还用于：
对所述第一图像帧进行降采样处理，得到所述第一图像帧的亮度通道图；
将所述第一图像帧的亮度通道图与所述参考图像帧的亮度通道图进行运动匹配处理，得到所述运动矢量数据。
可选地，所述第一图像帧包括长曝光图像帧和短曝光图像帧，所述长曝光图像帧的曝光度大于所述短曝光图像帧的曝光度；所述第一图像帧的RGB原始图包括所述长曝光图像帧的RGB原始图和所述短曝光图像帧的RGB原始图；
所述处理器710，还用于：
对所述长曝光图像帧的RGB原始图和所述短曝光图像帧的RGB原始图进行高动态范围成像HDR融合处理，得到融合处理后的RGB图。
可选地，所述处理器710，还用于：
利用网络模型对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值和无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图。
可选地，所述第一图像帧的格式包括拜耳bayer格式或N*NBayer格式，其中，N*N表示一个像素被划分成的子像素的个数，N为大于1的正整数。
本申请实施例中，获取第一图像帧的RGB三通道图，以及获取所述第一图像帧与参考图像帧之间的运动矢量数据；根据所述运动矢量数据以及所述参考图像帧的RGB三通道图对所述参考图像帧进行图像重定向处理，得到所述参考图像帧重定向后的RGB三通道图；对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值与无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图，且所述第一图像帧的RGB原始图为下一个图像帧的参考图像帧。由于各种格式的图像帧都可以拆分成RGB三通道图，因此，采用本申请的方案可以将各种格式的图像帧拆分成RGB三通道图，并基于拆分的RGB三通道图进行后续引导插值与无限脉冲响应数字滤波处理来得到图像帧的RGB原始图，因此，通过上述方案ISP芯片能够对各种格式的图像帧进行处理，有效扩大了ISP芯片能够处理的图像帧格式的种类。
应理解的是，本申请实施例中，输入单元704可以包括图形处理器(GraphicsProcessing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072中的至少一种。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器709可以包括易失性存储器或非易失性存储器，或者，存储器709可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器709包括但不限于这些和任意其它适合类型的存储器。
处理器710可包括一个或多个处理单元；可选的，处理器710集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (13)
1.一种图像处理方法，其特征在于，包括：
获取第一图像帧的RGB三通道图，以及获取所述第一图像帧与参考图像帧之间的运动矢量数据；
根据所述运动矢量数据以及所述参考图像帧的RGB三通道图对所述参考图像帧进行图像重定向处理，得到所述参考图像帧重定向后的RGB三通道图；
对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值与无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图，且所述第一图像帧的RGB原始图为下一个图像帧的参考图像帧。
2.根据权利要求1所述的方法，其特征在于，所述获取所述第一图像帧与参考图像帧之间的运动矢量数据，包括：
对所述第一图像帧进行降采样处理，得到所述第一图像帧的亮度通道图；
将所述第一图像帧的亮度通道图与所述参考图像帧的亮度通道图进行运动匹配处理，得到所述运动矢量数据。
3.根据权利要求1所述的方法，其特征在于，所述第一图像帧包括长曝光图像帧和短曝光图像帧，所述长曝光图像帧的曝光度大于所述短曝光图像帧的曝光度；所述第一图像帧的RGB原始图包括所述长曝光图像帧的RGB原始图和所述短曝光图像帧的RGB原始图；
所述获取所述第一图像帧的RGB原始图之后，所述方法还包括：
对所述长曝光图像帧的RGB原始图和所述短曝光图像帧的RGB原始图进行高动态范围成像HDR融合处理，得到融合处理后的RGB图。
4.根据权利要求1所述的方法，其特征在于，所述对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值和无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图，包括：
利用网络模型对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值和无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图。
5.根据权利要求1所述的方法，其特征在于，所述第一图像帧的格式包括拜耳bayer格式或N*N Bayer格式，其中，N*N表示一个像素被划分成的子像素的个数，N为大于1的正整数。
6.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取第一图像帧的RGB三通道图，以及获取所述第一图像帧与参考图像帧之间的运动矢量数据；
第二获取模块，用于根据所述运动矢量数据以及所述参考图像帧进行图像重定向处理，得到所述参考图像帧重定向后的RGB三通道图；
第三获取模块，用于对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导差值与无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图，且所述第一图像帧的RGB原始图为下一个图像帧的参考图像帧。
7.根据权利要求6所述的装置，其特征在于，所述第一获取模块包括：
第一获取子模块，用于对所述第一图像帧进行降采样处理，得到所述第一图像帧的亮度通道图；
第二获取子模块，用于将所述第一图像帧的亮度通道图与所述参考图像帧的亮度通道图进行运动匹配处理，得到所述运动矢量数据。
8.根据权利要求6所述的装置，其特征在于，所述第一图像帧包括长曝光图像帧和短曝光图像帧，所述长曝光图像帧的曝光度大于所述短曝光图像帧的曝光度；所述第一图像帧的RGB原始图包括所述长曝光图像帧的RGB原始图和所述短曝光图像帧的RGB原始图；
所述装置还包括：
第四获取模块，用于在第三获取模块获取所述第一图像帧的RGB原始图之后，对所述长曝光图像帧的RGB原始图和所述短曝光图像帧的RGB原始图进行高动态范围成像HDR融合处理，得到融合处理后的RGB图。
9.根据权利要求6所述的装置，其特征在于，所述第三获取模块用于利用网络模型对所述第一图像帧的RGB三通道图与所述参考图像帧重定向后的RGB三通道图进行引导插值和无限脉冲响应数字滤波处理，获取所述第一图像帧的RGB原始图。
10.根据权利要求6所述的装置，其特征在于，所述第一图像帧的格式包括拜耳bayer格式或N*NBayer格式，其中，N*N表示一个像素被划分成的子像素的个数，N为大于1的正整数。
11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至5任一项所述的图像处理方法的步骤。
12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至5任一项所述的图像处理方法的步骤。
13.一种芯片，其特征在于，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如权利要求1至5任一项所述的图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311289961.4A CN117333366A (zh) | 2023-10-07 | 2023-10-07 | 图像处理方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311289961.4A CN117333366A (zh) | 2023-10-07 | 2023-10-07 | 图像处理方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117333366A true CN117333366A (zh) | 2024-01-02 |
Family
ID=89294839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311289961.4A Pending CN117333366A (zh) | 2023-10-07 | 2023-10-07 | 图像处理方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117333366A (zh) |
-
2023
- 2023-10-07 CN CN202311289961.4A patent/CN117333366A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110996170B (zh) | 视频文件播放方法及相关设备 | |
| KR102512889B1 (ko) | 이미지 융합 프로세싱 모듈 | |
| US8861846B2 (en) | Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image | |
| CN103517046A (zh) | 用于捕获视频内容的方法、装置和计算机程序产品 | |
| CN110944160A (zh) | 一种图像处理方法及电子设备 | |
| WO2020187220A1 (zh) | 一种图像超分辨重建方法、装置和终端设备 | |
| Han et al. | Hybrid high dynamic range imaging fusing neuromorphic and conventional images | |
| CN117768774A (zh) | 图像处理器、图像处理方法、拍摄装置和电子设备 | |
| CN112565603B (zh) | 图像处理方法、装置及电子设备 | |
| JP2021114180A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN113676674B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN117333366A (zh) | 图像处理方法、装置和电子设备 | |
| CN116055891A (zh) | 图像处理方法及其装置 | |
| CN114298889A (zh) | 图像处理电路和图像处理方法 | |
| Yang et al. | Efficient hdr reconstruction from real-world raw images | |
| CN114125319A (zh) | 图像传感器、摄像模组、图像处理方法、装置和电子设备 | |
| Weng et al. | Reducing Computational Requirements of Image Dehazing Using Super-Resolution Networks | |
| CN115037915B (zh) | 视频处理方法和处理装置 | |
| JP3179475B2 (ja) | 信号処理装置及び信号処理方法 | |
| CN117115593A (zh) | 模型训练方法、图像处理方法及其装置 | |
| CN112367470B (zh) | 图像处理方法、装置及电子设备 | |
| CN115456882A (zh) | 图像处理方法、装置、电子设备和介质 | |
| CN117412185A (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
| CN117271090A (zh) | 图像处理方法、装置、电子设备及介质 | |
| CN115760576A (zh) | 图像处理方法、图像处理装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |