CN113905185A - 图像处理方法和装置 - Google Patents

图像处理方法和装置 Download PDF

Info

Publication number
CN113905185A
CN113905185A CN202111257058.0A CN202111257058A CN113905185A CN 113905185 A CN113905185 A CN 113905185A CN 202111257058 A CN202111257058 A CN 202111257058A CN 113905185 A CN113905185 A CN 113905185A
Authority
CN
China
Prior art keywords
frame image
pixel
long
image
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111257058.0A
Other languages
English (en)
Other versions
CN113905185B (zh
Inventor
池国泉
陈炜
孙淑云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockchip Electronics Co Ltd
Original Assignee
Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockchip Electronics Co Ltd filed Critical Rockchip Electronics Co Ltd
Priority to CN202111257058.0A priority Critical patent/CN113905185B/zh
Publication of CN113905185A publication Critical patent/CN113905185A/zh
Application granted granted Critical
Publication of CN113905185B publication Critical patent/CN113905185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Abstract

一种图像处理方法和装置，方法包括：获取连续的长帧图像和短帧图像；根据长帧图像的像素值和短帧图像的像素值获取长短帧融合比例；根据长短帧融合比例，将长帧图像和短帧图像合成高动态范围图像。所述方法合成的高动态范围图像质量较高。

Description

图像处理方法和装置
技术领域
本发明涉及图像处理领域，尤其涉及一种图像处理方法和图像处理的装置。
背景技术
数字图像所重现出的动态范围是图像质量的重要因素。很多相机如今仍不能很好地呈现具有高动态范围(High Dynamic Range，简称HDR)的场景。例如晴朗白天的室内站在窗前的人，相机产生的图像往往具有很暗的人像和很亮的背景，想要同时呈现窗前的人像和窗外的风景，需要生成高动态范围图像数据，高动态范围图像数据中包含了亮部和暗部的细节信息。
将两张曝光时间不同的图像进行合成可以获得高动态范围图像，但是在将两张曝光时间不同的图像合成为高动态范围图像时，过渡区域容易出现不连续、噪声大、过渡不自然等问题。
因此，需要一种图像合成的方法解决上述问题。
发明内容
本发明解决的技术问题是提供一种图像处理方法和图像处理的装置，以解决高动态范围图像过渡区域容易出现不连续、噪声大、过渡不自然的问题。
为解决上述技术问题，本发明技术方案提供一种图像处理方法，包括：获取连续的长帧图像和短帧图像；根据长帧图像的像素值和短帧图像的像素值获取长短帧融合比例；根据长短帧融合比例，将长帧图像和短帧图像合成高动态范围图像。
可选的，根据长帧图像的像素值和短帧图像的像素值获取长短帧融合比例的方法包括：获取长帧图像和短帧图像的若干采样像素点；获取任一采样像素点位置长帧图像的像素值和短帧图像的像素值；获取若干采样像素点的长帧累加值、短帧累加值和计数值；当计数值大于预设的融合计数阈值，且短帧累加值大于0时，根据所述长帧累加值与短帧累加值的比值获取长短帧融合比例。
可选的，获取若干采样像素点的长帧累加值、短帧累加值和计数值的方法包括：判断长帧图像的像素值是否位于预设的融合开始阈值和预设的融合结束阈值之间，所述融合开始阈值小于融合结束阈值；若任一采样像素点位置长帧图像的像素值位于融合开始阈值和融合结束阈值之间，则将所述采样像素点位置长帧图像的像素值累加获取长帧累加值，将所述采样像素点位置短帧图像的像素值累加获取短帧累加值，且采用计数器对所述像素点的数量进行统计获取计数值。
可选的，获取若干采样像素点的方法包括：对长帧图像和短帧图像逐像素采样、隔像素采样或者隔行隔列采样。
可选的，根据长短帧融合比例，将长帧图像和短帧图像合成高动态范围图像的方法包括：若长帧图像待合成像素点的像素值小于融合开始阈值，则取长帧图像待合成像素点的像素值为合成图像对应像素点的像素值；若长帧图像待合成像素点的像素值大于或等于融合开始阈值且小于融合结束阈值，则按比例对长帧图像待合成像素点和短帧图像对应像素点进行合成获取合成图像对应像素点的像素值；若长帧图像待合成像素点的像素值大于或等于融合结束阈值，则获取短帧图像对应像素点的调整系数，根据所述调整系数和短帧图像对应像素点的像素值获取合成图像对应像素点的像素值。
可选的，按比例对长帧图像待合成像素点和短帧图像对应像素点进行合成获取合成图像对应像素点的像素值的方法包括：根据长短帧融合比例和短帧图像对应像素点的像素值获取短帧图像对应像素点的调整像素值；根据长帧图像待合成像素点的像素值、融合开始阈值和融合结束阈值获取合成长帧像素值；根据短帧图像对应像素点的调整像素值、长帧图像待合成像素点的像素值、融合开始阈值和融合结束阈值获取合成短帧像素值；获取合成图像的像素值，所述合成图像对应像素的像素值为合成长帧像素值与合成短帧像素值的和。
可选的，获取短帧图像的调整像素值x_S_adj＝ka0*x_S，其中，x_S_adj为短帧图像的调整像素值，ka0为长短帧融合比例，x_S为短帧图像的像素值。
可选的，根据长帧图像待合成像素点的像素值、融合开始阈值和融合结束阈值获取合成长帧像素值partL＝x_L*(thr_L2-x_L)/(thr_L2-thr_L1)，其中partL为合成长帧像素值，x_L为长帧图像的像素值，thr_L2为融合结束阈值，thr_L1为融合开始阈值。
可选的，根据短帧图像的调整像素值、长帧图像待合成像素点的像素值、融合开始阈值和融合结束阈值获取合成短帧像素值partS＝x_S_adj*(x_L-thr_L1)/(thr_L2-thr_L1)，其中，partS为合成短帧像素值，x_L为长帧图像的像素值，thr_L2为融合结束阈值，thr_L1为融合开始阈值。
可选的，若长帧图像待合成像素点的像素值大于或等于融合结束阈值，获取同一像素点位置短帧图像的调整系数ka(p)＝ka0+max(0,(x_S(p)*exp_r-thr_L2))*(exp_r-ka0)/(x_max-thr_L2)，其中，ka(p)为短帧图像的调整系数，x_S(p)为短帧图像同一像素点的像素值，exp_r为长帧图像曝光时间和短帧图像曝光时间的比例，x_max为合成像素的最大可能像素值，ka0为长短帧融合比例，thr_L2为融合结束阈值，max(0，(x_S(p)*exp_r—thr_L2))表示取0和(x_S(p)*exp_r—thr_L2)中较大的值。
可选的，根据所述调整系数和短帧图像的像素值获取合成像素的像素值x_hdr(p)＝ka(p)*x_S(p)，其中，x_hdr(p)为合成像素的像素值。
可选的，所述长帧图像和短帧图像为一个曝光周期内的图像，所述长帧图像的曝光时间大于短帧图像的曝光时间；所述长帧图像与短帧图像的增益相同。
可选的，获取连续的长帧图像和短帧图像之后，根据长帧图像和短帧图像获取长短帧融合比例之前，还包括：对所述长帧图像和短帧图像进行预处理，所述预处理包括降噪或者消除暗电流。
相应地，本发明技术方案还提供一种图像处理的装置，包括：图像捕捉模块，用于获取连续的长帧图像和短帧图像；长短帧融合比例计算模块，用于根据长帧图像和短帧图像获取长短帧融合比例；图像合成模块，用于根据长短帧融合比例，将长帧图像和短帧图像合成高动态范围图像。
与现有技术相比，本发明的技术方案具有以下有益效果：
本发明的技术方案，通过根据长帧图像的像素值和短帧图像的像素值获取长短帧融合比例，再根据长短帧融合比例，将长帧图像和短帧图像合成高动态范围图像。用长短帧融合比例可以实现更为精确的高动态范围图像合成，从而使融合后的高动态范围图像具有更好的连续性、更小的噪声、更加自然的过渡。从而提升高动态范围图像的品质。
进一步，根据长帧图像所有像素点的像素值大小，对长帧图像的像素点进行分类合成，能够针对明暗不同的像素点采用不同的方法进行合成，从而能够对所有的像素点的合成进行优化，使融合后的高动态范围图像的品质较好。
进一步，若长帧图像待合成像素点的像素值大于或等于融合开始阈值且小于融合结束阈值，则按比例对长帧图像待合成像素点和短帧图像对应像素点进行合成获取合成图像对应像素点的像素值。所述按比例合成的方法能够解决融合的过渡区噪声大、不连续、不自然的问题。
进一步，若长帧图像待合成像素点的像素值大于或等于融合结束阈值，则获取短帧图像对应像素点的调整系数，根据所述调整系数和短帧图像对应像素点的像素值获取合成图像对应像素点的像素值。则所述方法能够解决融合后的亮光部分过早饱和导致细节丢失、或无法饱和导致灰阶浪费的问题。
附图说明
图1至图5是本发明实施例中图像处理方法的流程图；
图6是本发明实施例中图像处理的装置的结构示意图；
图7为(thr_L2－x_L)/(thr_L2－thr_L1)随长帧图像待合成像素点的像素值x_L的变化趋势示意图；
图8为(x_L－thr_L1)/(thr_L2－thr_L1)随长帧图像待合成像素点的像素值x_L的变化趋势示意图。
具体实施方式
如背景技术所述，需要一种图像合成的方法解决过渡区域容易出现不连续、噪声大、过渡不自然的问题。
具体地，图像捕捉模块连续捕捉两帧图像，其曝光时间不同，增益相同。通常将长短帧曝光时间比作为长短帧融合比例，再根据长短帧融合比例进行高动态范围图像合成。但是由于固定图像噪声、线性度等原因，长短帧图像对应的像素值之比与其曝光时间之比相差较大，这就导致合成的高动态范围图像容易出现过渡区域不连续、噪声大、过渡不自然等问题。
为了解决上述问题，本发明技术方案提供一种图像处理方法和图像处理的装置，通过根据长帧图像的像素值和短帧图像的像素值获取长短帧融合比例，再根据长短帧融合比例，将长帧图像和短帧图像合成高动态范围图像。用长短帧融合比例可以实现更为精确的高动态范围图像合成，从而使融合后的高动态范围图像具有更好的连续性、更小的噪声、更加自然的过渡。从而提升高动态范围图像的品质。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1至图5是本发明实施例中图像处理方法的流程图。
请参考图1，所述图像处理方法包括：
步骤S1：获取连续的长帧图像和短帧图像；
步骤S2：根据长帧图像的像素值和短帧图像的像素值获取长短帧融合比例；
步骤S3：根据长短帧融合比例，将长帧图像和短帧图像合成高动态范围图像。
所述方法通过根据长帧图像的像素值和短帧图像的像素值获取长短帧融合比例，再根据长短帧融合比例，将长帧图像和短帧图像合成高动态范围图像。根据长帧图像的像素值和短帧图像的像素值获取的长短帧融合比例可以实现更为精确的高动态范围图像合成，从而使融合后的高动态范围图像具有更好的连续性、更小的噪声、更加自然的过渡。从而提升高动态范围图像的品质。
接下来，对各步骤进行分别说明。
请继续参考图1，执行步骤S1：获取连续的长帧图像和短帧图像。
在本实施例中，所述连续的长帧图像和短帧图像为一个曝光周期内的图像，所述长帧图像的曝光时间大于短帧图像的曝光时间。
在本实施例中，所述长帧图像与短帧图像的增益相同。所述增益是对信号的放大倍数，本实施例中增益为成像系统的总增益，所述成像系统的总增益包括图像传感器中的模拟电路的模拟增益和数字图像处理中的数字增益。
在获得HDR图像时，需要生成高动态范围HDR图像数据，高动态范围HDR图像数据中必须包含亮部和暗部的细节信息。长帧图像的曝光时间长，场景中较暗的部分容易被长帧记录，而短帧难以看清；短帧图像的曝光时间短，短帧可以记录场景中较亮的部分，因为场景中较亮的部分容易导致长帧过曝，而不容易导致短帧过曝。因此将两张曝光时间不同的长帧图像和短帧图像进行融合即可得到同时记录场景中亮部和暗部的细节信息的高动态范围HDR图像。
在本实施例中，所述长帧图像和短帧图像既可以是黑白图像传感器拍摄的灰度图像，也可以是彩色图像传感器拍摄的未经插值的马赛克图像。
所述未经插值的马赛克图像是指彩色图像传感器拍摄的RAW图像，可以经过有限的预处理，例如降噪、消除暗电流等。本方案用于彩色图像传感器拍摄的图像时，在马赛克图像阶段进行HDR图像合成，然后可以通过去马赛克(像素插值)获得完整的RGB颜色通道。
请继续参考图1，获取连续的长帧图像和短帧图像之后，根据长帧图像和短帧图像获取长短帧融合比例之前，还包括步骤S4：对所述长帧图像和短帧图像进行预处理，所述预处理包括降噪或者消除暗电流。
所述预处理能够使得长帧图像和短帧图像的图像质量更好，有利于后续合成高质量的高动态范围HDR图像。
请继续参考图1，执行步骤S2：根据长帧图像的像素值和短帧图像的像素值获取长短帧融合比例。
请参考图2，在本实施例中，根据长帧图像和短帧图像的像素值获取长短帧融合比例的方法包括：
步骤S21：获取长帧图像和短帧图像的若干采样像素点；
步骤S22：获取任一采样像素点位置长帧图像的像素值和短帧图像的像素值；
步骤S23：获取若干采样像素点的长帧累加值、短帧累加值和计数值；
步骤S24：当计数值大于融合计数阈值，且短帧累加值大于0时，根据所述长帧累加值与短帧累加值的比值获取长短帧融合比例。
根据长帧图像的像素值和短帧图像的像素值获取的长短帧融合比例，用所述长短帧融合比例可以实现更为精确的高动态范围图像合成，从而使融合后的高动态范围图像具有更好的连续性、更小的噪声、更加自然的过渡。
接下来，对各步骤进行分别说明。
请继续参考图2，执行步骤S21：获取长帧图像和短帧图像的若干采样像素点。
获取若干采样像素点的方法包括：对长帧图像和短帧图像逐像素采样、隔像素采样或者隔行隔列采样。
在运算能力允许时，逐像素采样的结果更精确。
请继续参考图2，执行步骤S22：获取任一采样像素点位置长帧图像的像素值和短帧图像的像素值。
在同一像素坐标，获取长帧图像的像素值x_L，获取短帧图像的像素值x_S。
请继续参考图2，执行步骤S23：获取若干采样像素点的长帧累加值、短帧累加值和计数值。
请参考图3，在本实施例中，获取若干采样像素点的长帧累加值、短帧累加值和计数值的方法包括：
步骤S231：判断长帧图像的像素值是否位于预设的融合开始阈值和预设的融合结束阈值之间，所述融合开始阈值小于融合结束阈值；
步骤S232：若任一采样像素点位置长帧图像的像素值位于融合开始阈值和融合结束阈值之间，则将所述采样像素点位置长帧图像的像素值累加获取长帧累加值，将所述采样像素点位置短帧图像的像素值累加获取短帧累加值，且对所述像素点的数量进行统计获取计数值。
所述融合开始阈值thr_L1和融合结束阈值thr_L2为人工设置的参数，且所述融合开始阈值thr_L1小于融合结束阈值thr_L2；当所述采样像素点的长帧图像的像素值x_L位于融合开始阈值thr_L1和融合结束阈值thr_L2之间时，则对计数值count_L加1，计数值count_L为满足条件的采样像素点的数量。
当长帧图像的像素值x_L位于融合开始阈值thr_L1和融合结束阈值thr_L2之间时，则对所述采样点位置的长帧图像的像素值x_L和短帧图像的像素值x_S进行处理，处理方法为：将所述采样像素点位置长帧图像的像素值x_L累加获取长帧累加值sum_L，将所述采样像素点位置短帧图像的像素值x_S累加获取短帧累加值sum_S。
请继续参考图2，执行步骤S24：当计数值大于预设的融合计数阈值，且短帧累加值大于0时，根据所述长帧累加值与短帧累加值的比值获取长短帧融合比例。
当对所有采样像素点都进行判断和统计完毕之后，在满足条件：计数值count_L大于融合计数阈值count_thr，且短帧累加值sum_S大于0时，则根据所述长帧累加值sum_L与短帧累加值sum_S的比值获取长短帧融合比例ka0＝sum_L/sum_S。
所述融合计数阈值count_thr是人工设置的参数，为正整数，作用是保证具有足够数量的满足条件的像素时，才进行长短帧融合比例ka0＝sum_L/sum_S的计算，以免参与计算的像素点过少，造成获取的长短帧融合比例具有较大误差的情况。
请继续参考图1，执行步骤S3：根据长短帧融合比例，将长帧图像和短帧图像合成高动态范围图像。
请参考图4，在本实施例中，根据长短帧融合比例，将长帧图像和短帧图像合成高动态范围图像的方法包括：
步骤S31：若长帧图像待合成像素点的像素值小于融合开始阈值，则取长帧图像待合成像素点的像素值为合成图像对应像素点的像素值；
步骤S32：若长帧图像待合成像素点的像素值大于或等于融合开始阈值且小于融合结束阈值，则按比例对长帧图像待合成像素点和短帧图像对应像素点进行合成获取合成图像对应像素点的像素值；
步骤S33：若长帧图像待合成像素点的像素值大于或等于融合结束阈值，则获取短帧图像对应像素点的调整系数，根据所述调整系数和短帧图像对应像素点的像素值获取合成图像对应像素点的像素值。
根据长帧图像所有像素点的像素值大小，对长帧图像的像素点进行分类合成，能够针明暗不同的像素点采用不同的方法进行合成，从而能够对所有的像素点的合成进行优化，使融合后的高动态范围图像的品质较好。
接下来，对各步骤进行分别说明。
请继续参考图4，执行步骤S31：若长帧图像待合成像素点的像素值小于融合开始阈值，则取长帧图像待合成像素点的像素值为合成图像对应像素点的像素值。
在本实施例中，当长帧图像待合成像素点的像素值x_L小于融合开始阈值thr_L1时，此时，这部分像素点的曝光良好，取长帧图像待合成像素点的像素值x_L为合成图像对应像素点的像素值x_hdr。
请继续参考图4，执行步骤S32：若长帧图像待合成像素点的像素值大于或等于融合开始阈值且小于融合结束阈值，则按比例对长帧图像待合成像素点和短帧图像对应像素点进行合成获取合成图像对应像素点的像素值。
在本实施例中，当长帧图像待合成像素点的像素值x_L大于或等于融合开始阈值thr_L1且小于融合结束阈值thr_L2时，此时，这部分像素点属于长帧与短帧合成的过渡区域，按比例对长帧图像待合成像素点和短帧图像对应像素点进行合成获取合成图像对应像素点的像素值x_hdr。
请参考图5，在本实施例中，按比例对长帧图像待合成像素点和短帧图像对应像素点进行合成获取合成图像对应像素点的像素值的方法包括：
步骤S321：根据长短帧融合比例和短帧图像对应像素点的像素值获取短帧图像对应像素点的调整像素值；
步骤S322：根据长帧图像待合成像素点的像素值、融合开始阈值和融合结束阈值获取合成长帧像素值；
步骤S323：根据短帧图像对应像素点的调整像素值、长帧图像待合成像素点的像素值、融合开始阈值和融合结束阈值获取合成短帧像素值；
步骤S324：获取合成图像的像素，所述合成图像对应像素的像素值为合成长帧像素值与合成短帧像素值的和。
所述按比例合成的方法能够解决融合的过渡区噪声大、不连续、不自然的问题。
接下来，对各步骤进行分别说明。
请继续参考图5，执行步骤S321：根据长短帧融合比例ka0和短帧图像对应像素点的像素值x_S获取短帧图像对应像素点的调整像素值x_S_adj＝ka0*x_S，其中x_S_adj为短帧图像的调整像素值。
请继续参考图5，执行步骤S322：根据长帧图像待合成像素点的像素值x_L、融合开始阈值thr_L1和融合结束阈值thr_L2获取合成长帧像素值partL＝x_L*(thr_L2-x_L)/(thr_L2-thr_L1)，其中partL为合成长帧像素值。
请继续参考图5，执行步骤S323：根据短帧图像对应像素点的调整像素值x_S_adj、长帧图像待合成像素点的像素值x_L、融合开始阈值thr_L1和融合结束阈值thr_L2获取合成短帧像素值partS＝x_S_adj*(x_L-thr_L1)/(thr_L2-thr_L1)，其中，partS为合成短帧像素值。
请继续参考图5，执行步骤S324：获取合成图像的像素值x_hdr＝partL+partS，所述合成图像对应像素的像素值x_hdr为合成长帧像素值partL与合成短帧像素值partS的和。
请参考图7和图8，图7为(thr_L2－x_L)/(thr_L2－thr_L1)随长帧图像待合成像素点的像素值x_L的变化趋势示意图，图8为(x_L－thr_L1)/(thr_L2－thr_L1)随长帧图像待合成像素点的像素值x_L的变化趋势示意图。
如图7所示，位于融合开始阈值thr_L1与融合结束阈值thr_L2之间的斜线反映了合成长帧像素值partL＝x_L*(thr_L2-x_L)/(thr_L2-thr_L1)中(thr_L2－x_L)/(thr_L2－thr_L1)随x_L的变化趋势；如图8所示，位于融合开始阈值thr_L1与融合结束阈值thr_L2之间的斜线反映了合成短帧像素值partS＝x_S_adj*(x_L-thr_L1)/(thr_L2-thr_L1)中(x_L－thr_L1)/(thr_L2－thr_L1)随x_L的变化趋势。可知当长帧图像待合成像素点的像素值x_L在融合开始阈值thr_L1与融合结束阈值thr_L2之间逐渐增大时，(thr_L2－x_L)/(thr_L2－thr_L1)逐渐减小，而(x_L－thr_L1)/(thr_L2－thr_L1)逐渐增大，这就保证了合成长帧像素值partL和合成短帧像素值partS可以渐进地融合在一起，从而减轻过渡区域不连续、噪声大、过渡不自然的问题。
请继续参考4，执行步骤S33：若长帧图像待合成像素点的像素值大于或等于融合结束阈值，则获取短帧图像对应像素点的调整系数，根据所述调整系数和短帧图像对应像素点的像素值获取合成图像对应像素点的像素值。
在本实施例中，当长帧图像待合成像素点的像素值x_L大于或等于融合结束阈值thr_L2，这部分像素属于长帧的过曝光区域，采用同一像素点位置短帧的像素值进行计算，在一实施例中，令合成像素的像素值x_hdr(p)＝ka0*x_S(p)，ka0为长短帧融合比例，x_S(p)为短帧图像同一像素点的像素值；但这种方法有如下问题：如果ka0>exp_r，exp_r为长帧图像曝光时间和短帧图像曝光时间的比例，则当短帧图像同一像素点的像素值x_S(p)尚未饱和时，合成像素的像素值x_hdr(p)就可能已经达到合成像素的最大可能像素值x_max，从而导致亮光细节丢失；如果ka0<exp_r，则当短帧图像同一像素点的像素值x_S(p)已经饱和时，合成像素的像素值x_hdr(p)仍无法达到合成像素的最大可能像素值x_max，从而造成合成后的图像灰阶的浪费。
在本实施例中，获取同一像素点位置短帧图像的调整系数ka(p)＝ka0+max(0,(x_S(p)*exp_r-thr_L2))*(exp_r-ka0)/(x_max-thr_L2)，其中，ka(p)为短帧图像的调整系数，x_S(p)为短帧图像同一像素点的像素值，exp_r为长帧图像曝光时间和短帧图像曝光时间的比例，x_max为合成像素的最大可能像素值，ka0为长短帧融合比例，thr_L2为融合结束阈值，max(0，(x_S(p)*exp_r—thr_L2))表示取0和(x_S(p)*exp_r—thr_L2)中较大的值。
由于当短帧图像同一像素点的像素值x_S(p)饱和时，x_S(p)*exp_r＝x_max，这时短帧图像的调整系数ka(p)＝exp_r，这样设计短帧图像的调整系数ka(p)可以使短帧图像的调整系数ka(p)随着短帧图像同一像素点的像素值x_S(p)的增大而从长短帧融合比例ka0逐渐增大到长帧图像曝光时间和短帧图像曝光时间的比例exp_r。从而所述短帧图像的调整系数ka(p)的计算可以保证当短帧图像像素点x_S(p)饱和时，合成后的x_hdr刚好达到合成像素的最大可能像素值x_max(饱和)，既不会过早饱和导致细节丢失，也不会无法饱和导致灰阶浪费。
在本实施例中，所述最大可能像素值x_max为合成图像的像素值的最大可能取值，所述最大可能像素值x_max由长短帧图像的位宽和长帧图像曝光时间和短帧图像曝光时间的比例exp_r决定，长帧图像和短帧图像的位宽是相等的。
所述方法能够解决融合后的亮光部分过早饱和导致细节丢失、或无法饱和导致灰阶浪费的问题。
例如，当长帧图像和短帧图像的位宽等于10比特(bit)、长帧图像曝光时间和短帧图像曝光时间的比例exp_r＝16时，exp_r＝16相当于4比特(bit)，长帧图像和短帧图像的位宽与长帧图像曝光时间和短帧图像曝光时间的比例exp_r的位宽的和为14比特(bit)，则最大可能像素值x_max＝2的14次方–1＝16383，式中减1是由于硬件中数据从0开始，因此14比特(bit)正好可以记录从0至16383共2的14次方种状态。
接下来，根据所述调整系数ka(p)和短帧图像的像素值x_S(p)获取合成像素的像素值x_hdr(p)＝ka(p)*x_S(p)，其中，x_hdr(p)为合成像素的像素值。
综上，所述图像处理方法，通过根据长帧图像的像素值和短帧图像的像素值获取长短帧融合比例，再根据长短帧融合比例，将长帧图像和短帧图像合成高动态范围图像。用长短帧融合比例可以实现更为精确的高动态范围图像合成，从而使融合后的高动态范围图像具有更好的连续性、更小的噪声、更加自然的过渡。从而提升高动态范围图像的品质。
进一步，根据长帧图像所有像素点的像素值大小，对长帧图像的像素点进行分类合成，能够针对明暗不同的像素点采用不同的方法进行合成，从而能够对所有的像素点的合成进行优化，使融合后的高动态范围图像的品质较好。
图6是本发明实施例中图像处理的装置的结构示意图。
请参考图6，所述图像处理的装置包括：
图像捕捉模块100，用于获取连续的长帧图像和短帧图像；
长短帧融合比例计算模块200，用于根据长帧图像和短帧图像获取长短帧融合比例；
图像合成模块300，用于根据长短帧融合比例，将长帧图像和短帧图像合成高动态范围图像。
所述图像处理的装置根据长短帧融合比例，将长帧图像和短帧图像合成高动态范围图像，可以实现更为精确的高动态范围图像合成，从而使融合后的高动态范围图像具有更好的连续性、更小的噪声、更加自然的过渡。从而提升高动态范围图像的品质。
进一步，所述图像处理的装置根据长帧图像所有像素点的像素值大小，对长帧图像的像素点进行分类合成，能够针对明暗不同的像素点采用不同的方法进行合成，从而能够对所有的像素点的合成进行优化，使融合后的高动态范围图像的品质较好。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (14)

1.一种图像处理方法，其特征在于，包括：
获取连续的长帧图像和短帧图像；
根据长帧图像的像素值和短帧图像的像素值获取长短帧融合比例；
根据长短帧融合比例，将长帧图像和短帧图像合成高动态范围图像。
2.如权利要求1所述的图像处理方法，其特征在于，根据长帧图像的像素值和短帧图像的像素值获取长短帧融合比例的方法包括：获取长帧图像和短帧图像的若干采样像素点；获取任一采样像素点位置长帧图像的像素值和短帧图像的像素值；获取若干采样像素点的长帧累加值、短帧累加值和计数值；当计数值大于预设的融合计数阈值，且短帧累加值大于0时，根据所述长帧累加值与短帧累加值的比值获取长短帧融合比例。
3.如权利要求2所述的图像处理方法，其特征在于，获取若干采样像素点的长帧累加值、短帧累加值和计数值的方法包括：判断长帧图像的像素值是否位于预设的融合开始阈值和预设的融合结束阈值之间，所述融合开始阈值小于融合结束阈值；若任一采样像素点位置长帧图像的像素值位于融合开始阈值和融合结束阈值之间，则将所述采样像素点位置长帧图像的像素值累加获取长帧累加值，将所述采样像素点位置短帧图像的像素值累加获取短帧累加值，且采用计数器对所述像素点的数量进行统计获取计数值。
4.如权利要求2所述的图像处理方法，其特征在于，获取若干采样像素点的方法包括：对长帧图像和短帧图像逐像素采样、隔像素采样或者隔行隔列采样。
5.如权利要求2所述的图像处理方法，其特征在于，根据长短帧融合比例，将长帧图像和短帧图像合成高动态范围图像的方法包括：若长帧图像待合成像素点的像素值小于融合开始阈值，则取长帧图像待合成像素点的像素值为合成图像对应像素点的像素值；若长帧图像待合成像素点的像素值大于或等于融合开始阈值且小于融合结束阈值，则按比例对长帧图像待合成像素点和短帧图像对应像素点进行合成获取合成图像对应像素点的像素值；若长帧图像待合成像素点的像素值大于或等于融合结束阈值，则获取短帧图像对应像素点的调整系数，根据所述调整系数和短帧图像对应像素点的像素值获取合成图像对应像素点的像素值。
6.如权利要求5所述的图像处理方法，其特征在于，按比例对长帧图像待合成像素点和短帧图像对应像素点进行合成获取合成图像对应像素点的像素值的方法包括：根据长短帧融合比例和短帧图像对应像素点的像素值获取短帧图像对应像素点的调整像素值；根据长帧图像待合成像素点的像素值、融合开始阈值和融合结束阈值获取合成长帧像素值；根据短帧图像对应像素点的调整像素值、长帧图像待合成像素点的像素值、融合开始阈值和融合结束阈值获取合成短帧像素值；获取合成图像的像素值，所述合成图像对应像素的像素值为合成长帧像素值与合成短帧像素值的和。
7.如权利要求6所述的图像处理方法，其特征在于，获取短帧图像的调整像素值x_S_adj＝ka0*x_S，其中，x_S_adj为短帧图像的调整像素值，ka0为长短帧融合比例，x_S为短帧图像的像素值。
8.如权利要求6所述的图像处理方法，其特征在于，根据长帧图像待合成像素点的像素值、融合开始阈值和融合结束阈值获取合成长帧像素值partL＝x_L*(thr_L2-x_L)/(thr_L2-thr_L1)，其中partL为合成长帧像素值，x_L为长帧图像的像素值，thr_L2为融合结束阈值，thr_L1为融合开始阈值。
9.如权利要求7所述的图像处理方法，其特征在于，根据短帧图像的调整像素值、长帧图像待合成像素点的像素值、融合开始阈值和融合结束阈值获取合成短帧像素值partS＝x_S_adj*(x_L-thr_L1)/(thr_L2-thr_L1)，其中，partS为合成短帧像素值，x_L为长帧图像的像素值，thr_L2为融合结束阈值，thr_L1为融合开始阈值。
10.如权利要求5所述的图像处理方法，其特征在于，若长帧图像待合成像素点的像素值大于或等于融合结束阈值，获取同一像素点位置短帧图像的调整系数ka(p)＝ka0+max(0,(x_S(p)*exp_r-thr_L2))*(exp_r-ka0)/(x_max-thr_L2)，其中，ka(p)为短帧图像的调整系数，x_S(p)为短帧图像同一像素点的像素值，exp_r为长帧图像曝光时间和短帧图像曝光时间的比例，x_max为合成像素的最大可能像素值，ka0为长短帧融合比例，thr_L2为融合结束阈值，max(0，(x_S(p)*exp_r—thr_L2))表示取0和(x_S(p)*exp_r—thr_L2)中较大的值。
11.如权利要求10所述的图像处理方法，其特征在于，根据所述调整系数和短帧图像的像素值获取合成像素的像素值x_hdr(p)＝ka(p)*x_S(p)，其中，x_hdr(p)为合成像素的像素值。
12.如权利要求1所述的图像处理方法，其特征在于，所述长帧图像和短帧图像为一个曝光周期内的图像，所述长帧图像的曝光时间大于短帧图像的曝光时间；所述长帧图像与短帧图像的增益相同。
13.如权利要求1所述的图像处理方法，其特征在于，获取连续的长帧图像和短帧图像之后，根据长帧图像和短帧图像获取长短帧融合比例之前，还包括：对所述长帧图像和短帧图像进行预处理，所述预处理包括降噪或者消除暗电流。
14.一种图像处理的装置，其特征在于，包括：
图像捕捉模块，用于获取连续的长帧图像和短帧图像；
长短帧融合比例计算模块，用于根据长帧图像和短帧图像获取长短帧融合比例；
图像合成模块，用于根据长短帧融合比例，将长帧图像和短帧图像合成高动态范围图像。
CN202111257058.0A 2021-10-27 2021-10-27 图像处理方法和装置 Active CN113905185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111257058.0A CN113905185B (zh) 2021-10-27 2021-10-27 图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111257058.0A CN113905185B (zh) 2021-10-27 2021-10-27 图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN113905185A true CN113905185A (zh) 2022-01-07
CN113905185B CN113905185B (zh) 2023-10-31

Family

ID=79026466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111257058.0A Active CN113905185B (zh) 2021-10-27 2021-10-27 图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN113905185B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452437A (zh) * 2023-03-20 2023-07-18 荣耀终端有限公司 高动态范围图像处理方法及电子设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140340553A1 (en) * 2013-05-20 2014-11-20 Omnivision Technologies, Inc. High dynamic range image sensor with full resolution recovery
US20150312464A1 (en) * 2014-04-25 2015-10-29 Himax Imaging Limited Multi-exposure imaging system and method for eliminating rolling shutter flicker
JP2016010121A (ja) * 2014-06-26 2016-01-18 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
WO2017133736A2 (de) * 2016-02-07 2017-08-10 Nikolaus Tichawa Verfahren zur zeilenweisen bildabtastung
CN107197167A (zh) * 2016-03-14 2017-09-22 杭州海康威视数字技术股份有限公司 一种获得图像的方法及装置
CN107808373A (zh) * 2017-11-15 2018-03-16 北京奇虎科技有限公司 基于姿态的样本图像合成方法、装置及计算设备
WO2019119842A1 (zh) * 2017-12-20 2019-06-27 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN110121882A (zh) * 2017-10-13 2019-08-13 华为技术有限公司 一种图像处理方法及装置
CN110189285A (zh) * 2019-05-28 2019-08-30 北京迈格威科技有限公司 一种多帧图像融合方法及装置
US20190289207A1 (en) * 2018-03-16 2019-09-19 Arcsoft Corporation Limited Fast scan-type panoramic image synthesis method and device
WO2019183813A1 (zh) * 2018-03-27 2019-10-03 华为技术有限公司 一种拍摄方法及设备
CN111028189A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112634183A (zh) * 2020-11-05 2021-04-09 北京迈格威科技有限公司 图像处理方法及装置
CN113222869A (zh) * 2021-05-06 2021-08-06 杭州海康威视数字技术股份有限公司 一种图像处理方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140340553A1 (en) * 2013-05-20 2014-11-20 Omnivision Technologies, Inc. High dynamic range image sensor with full resolution recovery
US20150312464A1 (en) * 2014-04-25 2015-10-29 Himax Imaging Limited Multi-exposure imaging system and method for eliminating rolling shutter flicker
JP2016010121A (ja) * 2014-06-26 2016-01-18 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
WO2017133736A2 (de) * 2016-02-07 2017-08-10 Nikolaus Tichawa Verfahren zur zeilenweisen bildabtastung
CN107197167A (zh) * 2016-03-14 2017-09-22 杭州海康威视数字技术股份有限公司 一种获得图像的方法及装置
CN110121882A (zh) * 2017-10-13 2019-08-13 华为技术有限公司 一种图像处理方法及装置
CN107808373A (zh) * 2017-11-15 2018-03-16 北京奇虎科技有限公司 基于姿态的样本图像合成方法、装置及计算设备
WO2019119842A1 (zh) * 2017-12-20 2019-06-27 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
US20190289207A1 (en) * 2018-03-16 2019-09-19 Arcsoft Corporation Limited Fast scan-type panoramic image synthesis method and device
WO2019183813A1 (zh) * 2018-03-27 2019-10-03 华为技术有限公司 一种拍摄方法及设备
CN110189285A (zh) * 2019-05-28 2019-08-30 北京迈格威科技有限公司 一种多帧图像融合方法及装置
CN111028189A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112634183A (zh) * 2020-11-05 2021-04-09 北京迈格威科技有限公司 图像处理方法及装置
CN113222869A (zh) * 2021-05-06 2021-08-06 杭州海康威视数字技术股份有限公司 一种图像处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452437A (zh) * 2023-03-20 2023-07-18 荣耀终端有限公司 高动态范围图像处理方法及电子设备
CN116452437B (zh) * 2023-03-20 2023-11-14 荣耀终端有限公司 高动态范围图像处理方法及电子设备

Also Published As

Publication number Publication date
CN113905185B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
US8144214B2 (en) Imaging apparatus, imaging method, integrated circuit, and storage medium
CN104980652B (zh) 图像处理设备和图像处理方法
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
JP3730419B2 (ja) 映像信号処理装置
US8384805B2 (en) Image processing device, method, and computer-readable medium for executing pixel value correction in a synthesized image
US8982232B2 (en) Image processing apparatus and image processing method
US8749699B2 (en) Method and device for video processing using a neighboring frame to calculate motion information
US20150181104A1 (en) Image processing apparatus, display apparatus and image capturing apparatus
JP2002010108A (ja) 画像信号処理装置および画像信号処理方法
CN110290325B (zh) 图像处理方法、装置、存储介质及电子设备
EP1394742A1 (en) Method for filtering the noise of a digital image sequence
JP5882702B2 (ja) 撮像装置
JP2022179514A (ja) 制御装置、撮像装置、制御方法およびプログラム
US8964055B2 (en) Combining images based on position offset detection of a series of images
CN113905185B (zh) 图像处理方法和装置
KR20090050223A (ko) 왜곡 영상 보정 기능을 갖는 영상처리 장치
JP2020071809A (ja) 画像処理装置および画像処理方法
CN110266965B (zh) 图像处理方法、装置、存储介质及电子设备
JP2023174740A (ja) 撮像装置
CN107431750B (zh) 图像处理装置、图像处理方法和图像拍摄装置
KR20160030350A (ko) 화상 처리 장치 및 화상 처리 방법
KR102199472B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP4629002B2 (ja) 撮像装置
KR101408359B1 (ko) 촬상장치 및 촬상방법
JP2000228745A (ja) 映像信号処理装置および映像信号処理方法、画像処理装置および画像処理方法、ならびに撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant