CN111726543B - 一种提高图像动态范围的方法、摄像机 - Google Patents

一种提高图像动态范围的方法、摄像机 Download PDF

Info

Publication number
CN111726543B
CN111726543B CN202010618311.XA CN202010618311A CN111726543B CN 111726543 B CN111726543 B CN 111726543B CN 202010618311 A CN202010618311 A CN 202010618311A CN 111726543 B CN111726543 B CN 111726543B
Authority
CN
China
Prior art keywords
image
lens module
area
frame
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010618311.XA
Other languages
English (en)
Other versions
CN111726543A (zh
Inventor
杜斌
马士杰
杨志翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Software Co Ltd
Original Assignee
Hangzhou Ezviz Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Software Co Ltd filed Critical Hangzhou Ezviz Software Co Ltd
Priority to CN202010618311.XA priority Critical patent/CN111726543B/zh
Publication of CN111726543A publication Critical patent/CN111726543A/zh
Application granted granted Critical
Publication of CN111726543B publication Critical patent/CN111726543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation

Abstract

本申请公开了一种提高图像动态范围的方法,该方法包括,基于当前场景视频流图像进行智能分析,根据智能分析结果确定场景中的动态区域和静态区域,通过用于采集动态区域图像的第一镜头模组以适于动态区域的第一镜头参数,和用于采集静态区域图像的第二镜头模组以适于静态区域的第二镜头参数,同时采集场景图像,分别得到来自于第一镜头模组的第一图像,来自于第二镜头模组的第二图像;其中,第一镜头模组与第二镜头模组具有相同的探测区域,将第一图像与第二图像融合为具有第一图像帧率的图像。本发明提高了图像的动态范围,达到了超宽动态范围。

Description

一种提高图像动态范围的方法、摄像机
技术领域
本发明涉及图像处理领域,特别地,涉及一种提高图像动态范围的方法。
背景技术
动态范围(Dynamic Range)是物理学中常见的概念,表示某一物理量最大值与最小值的比率,通常以对数表示,单位为dB。在图像领域中,图像动态范围是指最明亮处与最黑暗处的亮度之比。自然景观的亮度范围覆盖非常之广,最大动态范围能达到160dB,而人眼可以感知的亮度范围高达10个数量级。
数字相机输出的图像只能记录有限范围的灰阶与颜色数,其动态范围只有两个数量级,远远小于常见的自然场景的动态范围及人眼所能感知的动态范围,因此,需要进行动态范围扩展,从而让电子显示设备能够输出更宽动态范围的图像。
以用于监控的图像为例,监控图像具有如下特点:
1、需要实时视频流,帧率一般大于25fps,
2、监控画面中的大部分在一定时间内是静止的或者说变化缓慢的。
3、监控画面中的运动部分是最重要的信息,是最需要清晰呈现的部分。
4、用于监控的摄像机安装环境复杂,面临一个场景内明暗对比特别强烈的问题,在一定曝光时间下,由于感光器件所能探测到的最大光强和最小光强都是有限的,摄像机输出的图像会出现明亮区域因过曝而成为白色,黑暗区域因曝光不足而成为黑色。
为了解决摄像机在环境明暗差别强烈的情况下实时地看清场景重要画面的问题,现有的提高图像动态范围的方法一般有两个方案:
方案一,进行目标检测,以检测场景中的运动目标或者特定目标,然后将相机的曝光策略向所检测到的目标倾斜,以保证目标的清晰度,这种方法的代价是牺牲了画面中的非目标部分,有可能过白或者过黑导致看不清。
方案二,.通过图像宽动态处理,连续拍摄多张单目图片,利用不同的曝光时间获得亮度不同的图像,然后交由图像融合处理器处理,生成符合要求的图像。传统的宽动态处理方式有两个限制:其一,单张图像的曝光时间不能大于1/Nfps,其中,N为帧率值,因为即使以1/Nfps曝光,亮度还不够的区域也不可能看清;其二,对于运动的目标,如果曝光时间过长,即使在1/Nfps以内也有可能出现拖影,导致图像模糊。
发明内容
本发明提供了一种提高图像动态范围的方法,以使得在明暗对比强烈的情况下全部图像画面清晰。
本发明提供的一种提高图像动态范围的方法,是这样实现的:
基于当前场景视频流图像进行智能分析,根据智能分析结果确定场景中的动态区域和静态区域,
通过用于采集动态区域图像的第一镜头模组以适于动态区域的第一镜头参数,和用于采集静态区域图像的第二镜头模组以适于静态区域的第二镜头参数,同时采集场景图像,分别得到来自于第一镜头模组的第一图像,来自于第二镜头模组的第二图像;其中,第一镜头模组与第二镜头模组具有相同的探测区域,
将第一图像与第二图像融合为具有第一图像帧率的图像。
较佳地,所述通过用于采集动态区域图像的第一镜头模组以适于动态区域的第一镜头参数,和用于采集静态区域图像的第二镜头模组以适于静态区域的第二镜头参数,同时采集场景图像,包括,
同一时刻,触发第一镜头模组对场景中的动态区域进行测光,触发第二镜头模组对场景中的静态区域进行测光;
分别根据测光结果,确定用于采集动态区域图像的第一曝光参数和用于采集静态区域图像的第二曝光参数;
分别得到第一镜头模组以第一曝光参数所采集的第一图像,第二镜头模组以第二曝光参数所采集的第二图像。
较佳地,所述分别得到来自于第一镜头模组的第一图像,来自于第二镜头模组的第二图像之后,进一步包括,
将第一图像进行高动态范围HDR处理,得到第一宽动态范围图像,
将第二图像进行高动态范围HDR处理,得到第二宽动态范围图像,
所述将第一图像与第二图像融合为具有第一图像帧率的图像包括,将至少一帧以上连续第一宽动态范围图像分别与一帧第二宽动态范围图像融合为与第一图像帧率的相同的图像。
较佳地,所述基于当前场景视频流图像进行智能分析,根据智能分析结果确定场景中的动态区域和静态区域,包括,
基于第一镜头模组和第二镜头模组中的任一镜头模组所采集的当前场景视频流图像,或者,基于第一镜头模组所采集的当前场景视频流图像,进行目标检测,将检测到具有运动目标的区域所对应的场景区域作为场景中的动态区域,将无运动目标的区域所对应的场景区域作为场景中的静态区域。
较佳地,所述将第一图像进行高动态范围HDR处理,得到第一宽动态范围图像,包括,
根据当前第一图像亮度,判断当前第一图像是否满足动态区域宽动态采集要求,或者,采集时间是否到达相邻帧间隔,
如果是,则在相邻帧间隔内对第一图像进行单色高动态范围图像处理,得到第一宽动态范围图像,
否则,则重新进行测光,并调整第一曝光参数,
所述将第二图像进行高动态范围HDR处理,得到第二宽动态范围图像,包括,
根据当前第二图像亮度,判断当前第二图像是否满足静态区域宽动态采集要求,或者,图像中静态区域本身是否发生移动,
如果是,则将第二图像进行高动态范围图像处理,得到第二宽动态范围图像,
否则,则重新进行测光,并调整第二曝光参数。
较佳地,所述将第一图像与第二图像融合为具有第一图像帧率的图像,包括,
判断第一图像的帧率是否是第二图像的帧率的整数倍,
如果是,则按照第一图像帧率与第二图像帧率的比例,按帧序将每m帧连续第一图像分别和与该m帧图像最近的一帧第二图像帧进行融合,其中,m为第一图像帧率与第二图像帧率的比例值;
否则,按照第一图像帧与第二图像帧就近原则,将至少一帧以上连续第一图像分别和与其最近的一帧的第二图像来进行融合。
较佳地,所述按照第一图像帧与第二图像帧就近原则,将至少一帧以上连续第一图像分别和与其最近的一帧的第二图像进行融合,包括,
根据帧率确定第一图像各帧的采集时间和第二图像各帧的采集时间,判断第一图像各帧的采集时间与第二图像各帧采集时间之差的绝对值是否小于设定的采集时间阈值,如果是,则将该第一图像帧与该第二图像帧进行融合。
较佳地,所述将第二图像进行高动态范围HDR处理,得到第二宽动态范围图像,还包括,
在第二镜头模组曝光采集图像的过程中,记录基于视频流图像检测到图像中的动态区域,将第二图像中的动态区域去除后,再进行HDR处理。
较佳地,所述第一图像包括曝光时间阈值内所采集的多帧不同曝光时间的图像,其中,曝光时间小于等于曝光时间阈值;
所述第二图像包括所采集的多帧不同曝光时间的图像,其中,曝光时间允许大于等于曝光时间阈值;
所述曝光时间阈值为帧率的倒数;
所述将第一图像与第二图像融合为具有第一图像帧率的图像,包括,
将第一图像帧中的动态区域与第二图像帧中的静态区域拼接为一帧融合后的图像。
本发明提供的一种摄像机,该摄像机包括,用于采集动态区域图像的第一镜头模组和用于采集静态区域图像的第二镜头模组,以及处理器,其中,第一镜头模组与第二镜头模组具有相同的探测区域,
所述第一镜头模组根据智能分析结果确定场景中的动态区域,以适于动态区域的第一镜头参数,采集场景图像,得到第一图像,
所述第二镜头模组根据智能分析结果确定场景中的静态区域,以适于静态区域的第二镜头参数,与第一镜头模组同时采集场景图像,得到第二图像,
处理器将第一图像与第二图像融合为具有第一图像帧率的图像。
本发明基于当前场景视频流图像的智能分析结果确定场景中的动态区域和静态区域,对于场景中的动态区域和静态区域,分别采用适用于区域的镜头参数进行图像采集,将分别采集的图像进行融合,使得即使在场景明暗对比异常强烈的情况下也能采集到清晰地图像,避免了场景中明亮区域因过度曝光而成为白色,黑暗区域因曝光不足而成为黑色,提高了图像的动态范围,达到了超宽动态范围。
附图说明
图1为本发明实施例提高图像动态范围的一种流程示意图。
图2为进行第一宽动态图像和第二宽动态图像进行融合的一种示意图。
图3为本发明实施例提高图像动态范围的另一种流程示意图。
图4为本发明实施例摄像机的一种示意图。
图5为本发明实施例摄像机的一种示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白,以下结合附图对本申请做进一步详细说明。
本发明通过智能分析所采集当前场景的视频流图像,以区分动态区域和静态区域,对不同区域采用适于该区域的镜头参数进行图像采集,再将所采集的动态区域图像和静态区域图像进行融合。
其中,
对动态区域采集策略是:在曝光时间阈值内(例如1/Nfps内)对动态区域采集多帧不同曝光时间的图像,以进行宽动态合成处理,从而保证运动目标的清晰度。
对静态区域采集策略是:由于静态区域在一定时间段内是不动的,即使曝光时间大于曝光时间阈值,例如1/Nfps,也不会由于目标运动而变模糊,故而可以突破曝光时间阈值的限制,采集多帧不同曝光时间的图像进行宽动态合成处理,以保证静态区域的清晰度。
以下将以监控图像的采集为例来进行说明。
参见图1所示,图1为本发明实施例提高图像动态范围的一种流程示意图,应用于包括第一镜头模组和第二镜头模组的监控设备中,其中,第一镜头模组和第二镜头模组对应于相同的探测区域。该方法包括,
步骤101,基于当前场景视频流图像,进行智能分析,以区分出图像画面中的动态区域和静态区域,
在该步骤中,当前场景视频流图像可以是来自于双镜头模组中任一镜头模组;鉴于双镜头模组将按照采集场景中的动静区域来予以区分,较佳地,基于来自于用于采集动态区域的第一镜头模组的当前视频流图像来进行智能分析,其中,智能分析可以采用目标检测方法,包括且不限于,帧差法,背景建模法,基于深度学习的运动目标检测法等。
步骤102,根据智能分析的结果,判断当前视频流图像中是否有运动目标,如果是,则根据图像中的运动目标确定其对应的场景中的动态区域,同时地且并行地执行步骤103和步骤104,以同时采集动态区域和静态区域图像。否则,则可以仅执行步骤104,以采集静态区域图像,
步骤103,为了使得场景中动态区域获得较好的图像质量,触发第一镜头模组中的第一光敏传感器对运动目标(动态区域)进行测光,并根据测光结果确定用于采集动态区域的第一曝光参数,并按照该曝光参数采集图像;
根据当前图像亮度,判断当前图像是否满足动态区域宽动态采集要求,或,采集时间是否到达相邻帧间隔,
如果是,则在相邻帧间隔内进行单色高动态范围图像处理(HDR,High-DynamicRange),以获得第一宽动态图像,较佳地,可以采用相邻两次曝光采集图像进行宽动态融合,由于动态区域有实时性要求,减少采集次数可以减少处理时间,从而在低端嵌入式平台上也能实现。
否则,重新进行测光,并调整第一曝光参数,以防止运动目标产生拖影;
步骤104,为了使得场景中静态区域获得较好的图像质量,触发第二镜头模组中的第二光敏传感器对静态区域进行测光,并根据测光结果确定用于采集静态区域的第二曝光参数,并按照该曝光参数采集图像,且多次采集图像,以在智能分析出有运动目前之前的时间内可以进行超过相邻帧间隔的长时间曝光,从而尽可能保证图像的宽动态要求;较佳地,在多次采集图像时,可以采用不同的曝光参数;其中,曝光时间允许超过1/Nfps,
根据当前图像亮度,判断当前图像是否满足静态区域宽动态采集要求,或,静态区域本身是否发生移动,例如,第二镜头模组因镜头姿态的变化而导致静态区域不在原来区域,
如果是,则将多次采集的图像分别进行单色HDR处理,以获得第二宽动态图像,
否则,重新进行测光,调整第一曝光参数,
较佳地,如果第二镜头模组在曝光采集图像的过程中,基于第一镜头模组的视频流检测到目标运动时,记录当前运动目标,在进行单色HDR处理时,将运动目标(动态区域)的部分去除,以提高第二图像质量。
步骤105,将第一宽动态图像和第二宽动态图像进行融合,输出与第一宽动态图像帧率相同的融合图像。
鉴于第二镜头模组的曝光时间大于第一镜头模组的曝光时间,故而,第二宽动态图像帧率小于第一宽动态图像帧率,为了使得输出的融合图像的帧率与第一宽动态图像帧率相同,因此,将连续多帧第一宽动态图像与一帧第二宽动态图像进行融合。
当第一宽动态图像帧率F1与第二宽动态图像帧率F2的比例为整数时,则按照比例F1:F2,选取连续第一宽动态图像帧分别和第二宽动态图像帧来进行融合,例如,第一宽动态图像帧率为30帧/秒,第二宽动态图像帧率为10帧/秒,则每连续3帧第一宽动态图像分别与1帧第二宽动态图像融合,即:
第1~3帧第一宽动态图像与第1帧第二宽动态图像融合;
第4~6帧第一宽动态图像与第2帧第二宽动态图像融合;
第7~9帧第一宽动态图像与第3帧第二宽动态图像融合;
......
以此类推。
当第一宽动态图像帧率与第二宽动态图像帧率的比例为非整数时,则按照第一宽动态图像帧与第二宽动态图像帧就近原则,将连续m帧第一宽动态图像分别和与其最近的一帧第二宽动态图像帧来进行融合,其中,m为大于等于1的自然数,根据第一宽动态图像帧率与第二宽动态图像帧率的比例确定。例如,第一宽动态图像帧率为30帧/秒,第二宽动态图像帧率为8帧/秒,则m为15:4,即,每连续15帧第一宽动态图像与连续4帧第二宽动态图像融合,换言之,至少每连续3帧第一宽动态图像与1帧第二宽动态图像融合,并且,按照就近原则可以融合方式之一是:
第1~3帧第一宽动态图像分别与第1帧第二宽动态图像融合,
第7帧第一宽动态图像的采集时间为7/30,第2帧第二宽动态图像的采集时间为2/8,两者采集时间最为接近,故将第4-7帧第一宽动态图像分别与第2帧第二宽动态图像进行融合,
第11帧第一宽动态图像的采集时间为11/30,第3帧第二宽动态图像的采集时间为3/8,两者采集时间最为接近,第8-11帧第一宽动态图像与第3帧第二宽动态图像融合,
第12-15帧第一宽动态图像与第4帧第二宽动态图像融合,
......
以此类推。
所应理解的是,第一宽动态图像和第二宽动态图像融合时,具体融合策略可以根据具体的需求进行。
参见图2所示,图2示出了进行第一宽动态图像和第二宽动态图像进行融合的一种示意图。图中,第一宽动态图像中的运动目标与第二宽动态图像中的静态区域拼接在一起,较佳地,可以对各个宽动态图像分别进行平滑处理后,再进行加权融合,以进一步提高图像的质量。
本实施例通过对动静区域采取不同的曝光时间来采集图像,然后分别用宽动态融合方式将两个摄像头的图像进行融合,这样可以使得整体图像的动态范围比以往的相机更大,并且保证运动部分不拖影不模糊。
参见图3所示,图3为本发明实施例提高图像动态范围的另一种流程示意图。
该方法包括,
步骤301,基于来自用于采集动态区域的第一镜头模组的当前视频流图像,进行智能分析,以区分出图像画面中的动态区域和静态区域。该步骤与步骤101相同。
步骤302,根据智能分析的结果,判断当前视频流图像中是否有运动目标,如果是,则根据图像中的运动目标确定其对应的场景中的动态区域,同时地且并行地执行步骤303和304,以同时采集动态区域图像和静态区域图像,否则,则仅执行步骤304。该步骤与步骤102相同。
步骤303,为了使得动态区域获得较好的图像质量,触发第一镜头模组中的光敏传感器对运动目标(动态区域)进行测光,并根据测光结果确定用于采集动态区域的第一曝光参数,并按照该曝光参数采集图像;
根据当前图像亮度,判断当前图像是否满足动态区域宽动态采集要求,或,采集时间是否到达相邻帧间隔,
如果是,则采用不同曝光参数多次采集图像,其中,曝光时间大于等于第一曝光时间小于等于曝光时间阈值,得到第一图像,
否则,重新进行测光调整第一曝光参数,
步骤304,为了使得静态区域获得较好的图像质量,触发第二镜头模组中的光敏传感器对静态区域进行测光,并根据测光结果确定用于采集静态区域的第二曝光参数,并按照该曝光参数采集图像,
根据当前图像亮度,判断当前图像是否满足静态区域宽动态采集要求,或,图像中静态区域本身是否发生移动,
如果是,则采用不同曝光参数多次采集图像,其中,曝光时间大于等于曝光时间阈值,得到第二图像,
否则,重新进行测光调整第二曝光参数,
步骤305,判断第一图像的帧率是否是第二图像的帧率的整数倍,
如果是,则按照第一图像帧率与第二图像帧率的比例,按照帧序选取每m帧连续第一图像帧数分别和与该m帧图像最近的一帧第二图像来进行融合,其中,m为第一图像帧率与第二图像帧率的比例值。
如果不是整数倍,则根据帧率确定各个第一图像帧的采集时间和各个第二图像帧的采集时间,判断各第一图像帧的采集时间与各第二图像帧采集时间之差的绝对值是否小于设定的采集时间阈值,如果是,则将该第一图像帧与该第二图像帧进行融合。
在该步骤中,由于每个第一图像都与第二图像进行了融合,故而融合后的图像帧率与第一图像的帧率相同。
本发明实施例通过对动静区域采取不同的曝光时间来采集图像,然后融合不同的曝光时间所采集的图像,提高了图像动态范围,并且保证运动部分不拖影不模糊,在明暗对比非常强烈的情况下也能够采集到清晰地图像。
参见图4所示,图4为本发明实施例摄像机的一种示意图。该摄像机包括,用于采集动态区域图像的第一镜头模组和用于采集静态区域图像的第二镜头模组,以及处理器,其中,第一镜头模组与第二镜头模组具有相同的探测区域,
所述第一镜头模组根据智能分析结果确定场景中的动态区域,以适于动态区域的第一镜头参数,采集场景图像,得到第一图像,
所述第二镜头模组根据智能分析结果确定场景中的静态区域,以适于静态区域的第二镜头参数,与第一镜头模组同时采集场景图像,得到第二图像,
处理器将第一图像与第二图像融合为具有第一图像帧率的图像。
所述处理器包括,
智能分析模块,基于来自于双镜头模组中任一镜头模组的当前场景视频流图像进行智能分析,根据智能分析的结果,确定场景中的动态区域和静态区域,触发第一镜头模组中的第一光敏传感器对场景中的动态区域进行测光,触发第二镜头模组中的第二光敏传感器对场景中的静态区域进行测光,
第一曝光控制模块,基于第一镜头模组中的第一光敏传感器的测光结果,确定第一曝光参数,
第二曝光控制模块,基于第二镜头模组中的第二光敏传感器的测光结果,确定第二曝光参数,
第一图像融合模块,将第一图像进行HDR处理,得到第一宽动态图像,
第二图像融合模块,将第二图像进行HDR处理,得到第二宽动态图像,
第三图像融合模块,将至少两帧以上第一宽动态图像和一帧第二宽动态图像进行融合。
参见图5所示,图5为本发明实施例摄像机的一种示意图。第一图像融合模块为第一图像传感器,第二图像融合模块为第一图像传感器、第三图像融合模块可以为专用的图像处理芯片。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述提高图像动态范围的步骤。
对于装置/网络侧设备/存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (10)

1.一种提高图像动态范围的方法,其特征在于,应用于具有用于采集动态区域图像的第一镜头模组和用于采集静态区域图像的第二镜头模组的摄像机中,该方法包括,
基于当前场景视频流图像进行智能分析,根据智能分析结果确定场景中的动态区域和静态区域,
在智能分析结果中存在运动目标的情况下,触发第一镜头模组以适于动态区域的第一镜头参数和第二镜头模组以适于静态区域的第二镜头参数,同时采集场景图像,分别得到来自于所述第一镜头模组的第一图像,以及来自于所述第二镜头模组的第二图像;
其中,第一镜头模组与第二镜头模组具有相同的探测区域,所述第一图像的曝光时间小于等于曝光时间阈值,所述第二图像的曝光时间大于等于曝光时间阈值,所述曝光时间阈值为设定的视频流帧率的倒数;
将第一图像与第二图像按照如下方式融合为具有第一图像帧率的图像:
将至少一帧连续第一图像分别与一帧第二图像融合为帧率与第一图像帧率相同的图像。
2.如权利要求1所述的方法,其特征在于,所述在智能分析结果中存在运动目标的情况下,触发第一镜头模组以适于动态区域的第一镜头参数和第二镜头模组以适于静态区域的第二镜头参数,同时采集场景图像,包括,
同一时刻,触发第一镜头模组对场景中的动态区域进行测光,触发第二镜头模组对场景中的静态区域进行测光;
分别根据测光结果,确定用于采集动态区域图像的第一曝光参数和用于采集静态区域图像的第二曝光参数;
分别得到第一镜头模组以第一曝光参数所采集的第一图像,第二镜头模组以第二曝光参数所采集的第二图像。
3.如权利要求1所述的方法,其特征在于,所述分别得到来自于所述第一镜头模组的第一图像,以及来自于所述第二镜头模组的第二图像之后,进一步包括,
将第一图像进行高动态范围HDR处理,得到第一宽动态范围图像,
将第二图像进行高动态范围HDR处理,得到第二宽动态范围图像,
所述将第一图像与第二图像融合为具有第一图像帧率的图像包括,将至少一帧连续第一宽动态范围图像分别与一帧第二宽动态范围图像融合为帧率与第一图像帧率相同的图像。
4.如权利要求1所述的方法,其特征在于,所述基于当前场景视频流图像进行智能分析,根据智能分析结果确定场景中的动态区域和静态区域,包括,
基于第一镜头模组和第二镜头模组中的任一镜头模组所采集的当前场景视频流图像,进行目标检测,将检测到具有运动目标的区域所对应的场景区域作为场景中的动态区域,将无运动目标的区域所对应的场景区域作为场景中的静态区域。
5.如权利要求3所述的方法,其特征在于,所述将第一图像进行高动态范围HDR处理,得到第一宽动态范围图像,包括,
根据当前第一图像亮度,判断当前第一图像是否满足动态区域宽动态采集要求,或者,采集时间是否到达相邻帧间隔,
如果是,则在相邻帧间隔内对第一图像进行单色高动态范围图像处理,得到第一宽动态范围图像,
否则,则重新进行测光,并调整第一曝光参数,
所述将第二图像进行高动态范围HDR处理,得到第二宽动态范围图像,包括,
根据当前第二图像亮度,判断当前第二图像是否满足静态区域宽动态采集要求,或者,图像中静态区域本身是否发生移动,
如果是,则将第二图像进行高动态范围图像处理,得到第二宽动态范围图像,
否则,则重新进行测光,并调整第二曝光参数。
6.如权利要求1所述的方法,其特征在于,所述将第一图像与第二图像融合为具有第一图像帧率的图像,包括,
判断第一图像的帧率是否是第二图像的帧率的整数倍,
如果是,则按照第一图像帧率与第二图像帧率的比例,按帧序将每m帧连续第一图像分别和与该m帧图像最近的一帧的第二图像进行融合,其中,m为第一图像帧率与第二图像帧率的比例值;
否则,按照第一图像与第二图像就近原则,将至少一帧连续第一图像分别和与其最近的一帧第二图像来进行融合。
7.如权利要求6所述的方法,其特征在于,所述按照第一图像与第二图像就近原则,将至少一帧连续第一图像分别和与其最近的一帧第二图像进行融合,包括,
根据帧率确定第一图像各帧的采集时间和第二图像各帧的采集时间,判断第一图像各帧的采集时间与第二图像各帧采集时间之差的绝对值是否小于设定的采集时间阈值,如果是,则将该第一图像与该第二图像进行融合。
8.如权利要求3所述的方法,其特征在于,所述将第二图像进行高动态范围HDR处理,得到第二宽动态范围图像,还包括,
在第二镜头模组曝光采集图像的过程中,记录基于视频流图像检测到图像中的动态区域,将第二图像中的动态区域去除后,再进行HDR处理。
9.如权利要求1所述的方法,其特征在于,所述第一图像包括曝光时间阈值内所采集的多帧不同曝光时间的图像;
所述第二图像包括所采集的多帧不同曝光时间的图像,
所述将第一图像与第二图像融合为具有第一图像帧率的图像,包括,
将第一图像中的动态区域与第二图像中的静态区域拼接为一帧融合后的图像。
10.一种摄像机,其特征在于,该摄像机包括,用于采集动态区域图像的第一镜头模组和用于采集静态区域图像的第二镜头模组,以及处理器,
所述第一镜头模组根据来自处理器的触发信号,以适于动态区域的第一镜头参数,采集场景图像,得到第一图像,
所述第二镜头模组根据来自处理器的触发信号,以适于静态区域的第二镜头参数,与第一镜头模组同时采集场景图像,得到第二图像,
所述处理器基于当前场景视频流图像进行智能分析,根据智能分析结果确定场景中的动态区域和静态区域,在智能分析结果中存在运动目标的情况下,触发所述第一镜头模组和所述第二镜头模组进行场景图像采集,并将至少一帧连续第一图像分别与一帧第二图像融合为帧率与第一图像帧率相同的图像;
其中,第一镜头模组与第二镜头模组具有相同的探测区域,所述第一图像的曝光时间小于等于曝光时间阈值,所述第二图像的曝光时间大于等于曝光时间阈值,所述曝光时间阈值为设定的视频流帧率的倒数。
CN202010618311.XA 2020-06-30 2020-06-30 一种提高图像动态范围的方法、摄像机 Active CN111726543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010618311.XA CN111726543B (zh) 2020-06-30 2020-06-30 一种提高图像动态范围的方法、摄像机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010618311.XA CN111726543B (zh) 2020-06-30 2020-06-30 一种提高图像动态范围的方法、摄像机

Publications (2)

Publication Number Publication Date
CN111726543A CN111726543A (zh) 2020-09-29
CN111726543B true CN111726543B (zh) 2022-12-09

Family

ID=72570616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010618311.XA Active CN111726543B (zh) 2020-06-30 2020-06-30 一种提高图像动态范围的方法、摄像机

Country Status (1)

Country Link
CN (1) CN111726543B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793470A (zh) * 2021-08-09 2021-12-14 上海腾盛智能安全科技股份有限公司 一种基于动态图像探测分析的探测装置
CN113793471A (zh) * 2021-08-16 2021-12-14 上海腾盛智能安全科技股份有限公司 一种基于图像识别的探测装置及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108174112A (zh) * 2016-12-07 2018-06-15 中兴通讯股份有限公司 一种摄像中的处理方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018074417A (ja) * 2016-10-31 2018-05-10 オリンパス株式会社 撮像装置
CN106791017A (zh) * 2016-11-29 2017-05-31 努比亚技术有限公司 一种终端及拍照方法
US10264193B2 (en) * 2016-12-06 2019-04-16 Polycom, Inc. System and method for providing images and video having high dynamic range
CN109688322B (zh) * 2018-11-26 2021-04-02 维沃移动通信(杭州)有限公司 一种生成高动态范围图像的方法、装置及移动终端

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108174112A (zh) * 2016-12-07 2018-06-15 中兴通讯股份有限公司 一种摄像中的处理方法及装置

Also Published As

Publication number Publication date
CN111726543A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN110072051B (zh) 基于多帧图像的图像处理方法和装置
US11665427B2 (en) Still image stabilization/optical image stabilization synchronization in multi-camera image capture
US9251439B2 (en) Image sharpness classification system
CN110225248B (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
KR101661215B1 (ko) 영상 처리 방법 및 영상 처리 장치
US8724921B2 (en) Method of capturing high dynamic range images with objects in the scene
US8184196B2 (en) System and method to generate depth data using edge detection
CN110166708B (zh) 夜景图像处理方法、装置、电子设备以及存储介质
US8805112B2 (en) Image sharpness classification system
US8538140B2 (en) Device and method for detecting whether an image is blurred
CN113992861B (zh) 一种图像处理方法及图像处理装置
CN110290323B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110349163B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108541374A (zh) 一种图像融合方法、装置及终端设备
US20050057670A1 (en) Method and device for extracting and utilizing additional scene and image formation data for digital image and video processing
CN110248101B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN111726543B (zh) 一种提高图像动态范围的方法、摄像机
CN113472994A (zh) 拍照方法及装置、移动终端及存储介质
CN110213498B (zh) 图像生成方法和装置、电子设备、计算机可读存储介质
KR20160050671A (ko) 움직임 영역 검출 장치 및 방법
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN110264420B (zh) 基于多帧图像的图像处理方法和装置
Hertel et al. Image quality standards in automotive vision applications
CN114827487B (zh) 一种高动态范围图像合成方法和电子设备
US11631183B2 (en) Method and system for motion segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant