CN112422784B - 成像方法、成像装置、电子装置和存储介质 - Google Patents
成像方法、成像装置、电子装置和存储介质 Download PDFInfo
- Publication number
- CN112422784B CN112422784B CN202011083883.9A CN202011083883A CN112422784B CN 112422784 B CN112422784 B CN 112422784B CN 202011083883 A CN202011083883 A CN 202011083883A CN 112422784 B CN112422784 B CN 112422784B
- Authority
- CN
- China
- Prior art keywords
- sensor
- image
- camera
- parameters
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种成像方法、成像装置、电子装置和存储介质,应用于摄像机,摄像机包括第一传感器和第二传感器,第一传感器的分辨率高于第二传感器,该方法包括:获取环境光亮度根据环境光亮度,确定摄像机的摄像参数,其中,摄像参数包括以下至少之一:拍摄模式参数、曝光参数、聚焦参数,拍摄模式参数包括:黑白模式参数和彩色模式参数;根据摄像机的摄像参数配置第一传感器和第二传感器,并得到第一传感器采集得到的第一图像和第二传感器采集得到的第二图像;将第一图像和第二图像进行融合处理得到第一融合图像。通过本申请,解决了相关技术摄像装置无法兼顾图像宽动态和高清晰度问题,实现了提高摄像装置宽动态图像的清晰度的技术效果。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种成像方法、成像装置、电子装置和存储介质。
背景技术
图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等,最大限度的提取各自信道中的有利信息,最后综合成高质量的图像,以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率,利于监测。不同特性的传感器获取图像信息是有所差异的,即使是采用相同的传感器,在不同观测时间或不同现测角度获取的信息也可能不同,图像融合能充分利用多幅图像中的冗余信息和互补信息来融合得到效果较好的图像。
随着安防技术的发展,人们越来越重视视频图像的质量提升以及抓拍图像的质量提升。因此,市场涌现了很多可以进行图像融合、视频拼接的摄像机,然而这类摄像机一直存在着对照度动态范围(即拍摄区域内照度的变化范围)适应过窄的问题,比如从室内通过窗户照向室外,室内照度平均值在几百勒克斯(Lux),而室外光线在晴天的阳光下能达到几千Lux,在这样的光线环境下,室内、室外物体是不能同时拍摄清楚的。
相关技术中的数字宽动态是通过调整曝光,并应用图像算法对采集的图像进行数字增强。然而数字宽动态的实质是后期通过算法对图像进行增强的过程,在算法层面会存下以下缺点:数字宽动态虽然可以提升图像中暗处的亮度,但是由于图像传感器在暗处的信噪比会明显的下降,经过图像增强的提升后,噪声会被放大,同时被噪声掩盖的信息也无法通过图像增强的方式被恢复出来。在图像的亮处,由于过曝造成的图像溢出,丢失的细节也无法通过图像增强的方式复原,造成图像清晰度下降等问题,对于真实环境中照度动态范围比较大的场景无法兼顾场景中的明暗部分。
目前针对相关技术摄像装置无法兼顾图像宽动态和高清晰度的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种成像方法、成像装置、电子装置和存储介质,以至少解决相关技术摄像装置无法兼顾图像宽动态和高清晰度的问题。
第一方面,本申请实施例提供了一种成像方法,应用于摄像机,所述摄像机包括第一传感器和第二传感器,其中,所述第一传感器的分辨率高于所述第二传感器,且所述第一传感器和所述第二传感器共用镜头,包括:获取环境光亮度;根据所述环境光亮度,确定所述摄像机的摄像参数,其中,所述摄像参数包括以下至少之一:拍摄模式参数、曝光参数、聚焦参数,所述拍摄模式参数包括:黑白模式参数和彩色模式参数;根据所述摄像机的摄像参数配置所述第一传感器和所述第二传感器,并得到所述第一传感器采集得到的第一图像和所述第二传感器采集得到的第二图像;将所述第一图像和所述第二图像进行融合处理得到第一融合图像。
在其中一些实施例中,根据所述摄像机的摄像参数配置所述第一传感器和所述第二传感器,并得到所述第一传感器采集得到的第一图像和所述第二传感器采集得到的第二图像包括:获取所述第一传感器的增益参数;在所述环境光亮度大于第一阈值且所述第一传感器的增益参数小于第二阈值的情况下,根据所述摄像机的摄像参数配置所述第一传感器和所述第二传感器,使得所述第一传感器和所述第二传感器均根据所述彩色模式参数工作在彩色模式;获取所述第一传感器采集得到的第一图像和所述第二传感器采集得到的第二图像,其中,所述第一图像是所述第一传感器根据所述曝光参数将画面中亮度低于第三阈值的区域作为曝光区域进行采集得到的,所述第二图像是所述第二传感器根据所述曝光参数将画面中亮度高于第三阈值的区域作为曝光区域进行采集得到的。
在其中一些实施例中,所述方法还包括:在所述环境光亮度大于第一阈值且所述第一传感器的增益参数大于第二阈值的情况下,根据所述摄像机的摄像参数配置所述第一传感器和所述第二传感器,使得所述第一传感器根据所述黑白模式参数工作在黑白模式,所述第二传感器根据所述彩色模式参数工作在彩色模式;获取所述第一传感器采集得到的第三图像和所述第二传感器采集得到的第四图像,其中,所述第三图像是所述第一传感器根据所述曝光参数将全局画面作为曝光区域进行采集得到的,所述第四图像是所述第二传感器根据所述曝光参数将全局画面作为曝光区域进行采集得到的;将所述第三图像和所述第四图像进行融合处理得到第二融合图像。
在其中一些实施例中,将所述第三图像和所述第四图像进行融合处理得到第二融合图像包括:提取所述第三图像的第一亮度分量信息和所述第四图像的第二亮度分量信息和色度分量信息;对所述第一亮度分量信息、所述第二亮度分量信息和所述色度分量信息进行融合处理,得到所述第三图像和所述第四图像融合后的亮度分量信息和色度分量信息;根据所述第三图像和所述第四图像融合后的亮度分量信息和色度分量信息,生成融合后的第二融合图像。
在其中一些实施例中,所述方法还包括:在所述环境光亮度小于第一阈值的情况下,根据所述摄像机的摄像参数配置所述第一传感器和所述第二传感器,使得所述第一传感器和所述第二传感器均根据所述黑白模式参数工作在黑白模式;获取所述第一传感器采集得到的第五图像和所述第二传感器采集得到的第六图像,其中,所述第五图像是所述第一传感器根据所述聚焦参数将红外补光区域作为聚焦区域进行采集得到的,所述第六图像是所述第二传感器根据所述聚焦参数将除红外补光区域以外的区域作为聚焦区域进行采集得到的;将所述第五图像和所述第六图像进行融合处理,得到第三融合图像。
在其中一些实施例中,所述红外补光区域为画面中心区域。
在其中一些实施例中,在获取所述第一传感器采集得到的第五图像和所述第二传感器采集得到的第六图像之前,所述方法还包括:对所述画面中心区域进行红外补光处理,得到所述红外补光区域。
第二方面,本申请实施例提供了一种成像装置,包括:摄像装置、设置于所述摄像装置出射面的分光装置,还包括:第一传感器、第二传感器、第一滤光装置和第二滤光装置以及图像处理器,其中,所述第一传感器和所述第二传感器分别设置于所述分光装置的两个出射面,用于接收对应的出射面射出的光线,并根据接收到的光线生成图像,所述第一传感器的分辨率高于所述第二传感器;所述第一滤光装置设置于所述第一传感器的入射面,所述第二滤光装置设置于所述第二传感器的入射面;所述图像处理器与所述第一传感器和所述第二传感器均电连接,用于执行如上述第一方面所述的成像方法。
第三方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的成像方法。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的成像方法。
相比于相关技术,本申请实施例提供的成像方法、成像装置、电子装置和存储介质,解决了相关技术摄像装置无法兼顾图像宽动态和高清晰度问题,实现了提高摄像装置宽动态图像的清晰度的技术效果。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的成像方法的流程图;
图2是根据本申请优选实施例的成像方法的流程图;
图3是根据本申请实施例的成像装置的结构框图;
图4是根据本申请实施例的电子装置的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本实施例提供了一种成像方法,应用于摄像机,摄像机包括第一传感器和第二传感器,其中,第一传感器的分辨率高于第二传感器,且第一传感器和第二传感器共用镜头,图1是根据本申请实施例的成像方法的流程图,如图1所示,该流程包括如下步骤:
步骤S101,获取环境光亮度。
步骤S102,根据环境光亮度,确定摄像机的摄像参数,其中,摄像参数包括以下至少之一:拍摄模式参数、曝光参数、聚焦参数,拍摄模式参数包括:黑白模式参数和彩色模式参数。
步骤S103,根据摄像机的摄像参数配置第一传感器和第二传感器,并得到第一传感器采集得到的第一图像和第二传感器采集得到的第二图像。
步骤S104,将第一图像和第二图像进行融合处理得到第一融合图像。
在本实施例中,第一传感器的分辨率高于第二传感器,同时,第一传感器的信噪比低于第二传感器的信噪比。评价信噪比的近似公式例如可以为:
其中,P为单位时间内入射光子数量(即信号强度),t为曝光时间,QE为光电转换效率,即光子被传感器转换为电荷的效率。
该近似公式中的分子部分可以指“信号”,分母部分可以指“总噪声”,总噪声可以包括信号P*QE*t的散粒噪声、暗电流的散粒噪声以及读出噪声,在本公式中,将总噪声近似为信号P*QE*t的平方根。
因此为了提高传感器的信噪比,通过该近似公式可以得到三种途径:(1)提升光学系统的光通量,在相同信号下提升进入到传感器的P值,此时像素尺寸越大,落到一个像素上的光子就越多,导致信噪比就越高,但是过大的像素尺寸会损失分辨率;(2)提升曝光时间t,曝光时间越长,积累的光子就越多,电信号也就越长,但是曝光时间无法无限制增加,并且增加到一定数值后会降低帧率;(3)提升光电转换效率QE,光电转换效率提高即可转换更多的光子为电荷信号。
因此,第一传感器的分辨率高于第二传感器的同时,第一传感器的信噪比也应当低于第二传感器的信噪比。
在其中一些实施例中,步骤S101中的获取环境光亮度可以通过光敏电阻来实现,环境光亮度越大,则此时光敏电阻的阻值越低,光敏电阻阻值的变化引起电路电流的变化,可以通过光敏电阻将抽象的环境光亮度转换为电路信号,判断摄像机部署环境和/或使用环境处于黑夜还是白天,进而判断是否让摄像机工作在彩色模式。
在其中一些实施例中,步骤S103可以包括如下步骤:
步骤1,获取第一传感器的增益参数。
步骤2,在环境光亮度大于第一阈值且第一传感器的增益参数小于第二阈值的情况下,根据摄像机的摄像参数配置第一传感器和第二传感器,使得第一传感器和第二传感器均根据彩色模式参数工作在彩色模式。
步骤3,获取第一传感器采集得到的第一图像和第二传感器采集得到的第二图像,其中,第一图像是第一传感器根据曝光参数将画面中亮度低于第三阈值的区域作为曝光区域进行采集得到的,第二图像是第二传感器根据曝光参数将画面中亮度高于第三阈值的区域作为曝光区域进行采集得到的。
在本实施例中,第一传感器的分辨率高于第二传感器,同时,第一传感器的信噪比低于第二传感器,因此,在相同的场景下,在曝光时间和光圈相同的情况下(因为在夜间第一传感器和第二传感器可以均使用40ms的曝光时间,同时,第一传感器和第二传感器共用一个镜头,因此满足曝光时间和光圈相同的条件),第一传感器要达到相同的目标亮度,第一传感器的增益会比第二传感器的增益高,增益越高,图像效果理论上会越差。
因此,获取第一传感器的增益来判断第一传感器的增益参数是否小于第二阈值,是为了第一传感器的图像效果在相对可接受的程度下实现最好的图像逻辑。若使用第二传感器来判断,以第二阈值为36dB为例,很可能在第二传感器的增益参数为36dB的情况下,第一传感器的增益参数已经到达了48dB,此时,第一传感器的图像效果已经无法满足后续的图像融合;而使用第一传感器来判断,第一传感器的增益参数为36dB时,第二传感器的增益参数可能只到达30dB,此时第一传感器和第二传感器的图像效果都比前者强,满足后续的图像融合。
在本实施例中,可以通过判断环境光亮度是否大于第一阈值判断摄像机部署环境和/或使用环境处于黑夜还是白天,进而判断是否让摄像机工作在彩色模式,可以通过判断第一传感器的增益参数是否小于第二阈值来判断摄像机部署环境和/或使用环境处于高照环境还是低照环境。
在环境光亮度大于第一阈值时,判断摄像机部署环境和/或使用环境处于白天,进而让摄像机工作在彩色模式,且在第一传感器的增益参数小于第二阈值的情况下,判断摄像机处于高照环境,此时,使得第一传感器和第二传感器均根据彩色模式参数工作在彩色模式。
在本实施例中,在第一传感器和第二传感器均根据彩色模式参数工作在彩色模式的情况下,第一传感器根据曝光参数将画面中亮度低于第三阈值的区域作为曝光区域采集第一图像,第二传感器根据曝光参数将画面中亮度高于第三阈值的区域作为曝光区域采集第二图像,根据高低亮度区域的选用,各自独立曝光后,融合得到宽动态范围的画面,效果较相关技术中的宽动态图像具有无延时、无伪影的特性。
通过上述步骤S101至S104通过判断环境光亮度是否大于第一阈值判断摄像机处于黑夜还是白天,进而判断是否让摄像机工作在彩色模式,可以通过判断第一传感器的增益参数是否小于第二阈值来判断摄像机处于高照环境还是低照环境,进而判断是否让第一传感器和/或第二传感器根据彩色模式参数工作在彩色模式,并在第一传感器和第二传感器均工作彩色模式下,通过第一传感器根据曝光参数将画面中亮度低于第三阈值的区域作为曝光区域采集第一图像,通过第二传感器根据曝光参数将画面中亮度高于第三阈值的区域作为曝光区域采集第二图像,最后将第一图像和第二图像进行融合处理得到第一融合图像,通过不同传感器对不同亮度区域的曝光权重设置,进行独立曝光,实现了融合图像的宽动态范围与高清晰度,解决了相关技术摄像装置无法兼顾图像宽动态和高清晰度问题,实现了提高摄像装置宽动态图像的清晰度的技术效果。
下面通过优选实施例对本申请进行说明。
图2是根据本申请优选实施例的成像方法的流程图,如图2所示,该方法包括:
步骤S201,获取环境光亮度。
步骤S202,根据环境光亮度,确定摄像机的摄像参数,其中,摄像参数包括以下至少之一:拍摄模式参数、曝光参数、聚焦参数,拍摄模式参数包括:黑白模式参数和彩色模式参数。
步骤S203,获取第一传感器的增益参数。
步骤S204,在环境光亮度大于第一阈值且第一传感器的增益参数小于第二阈值的情况下,根据摄像机的摄像参数配置第一传感器和第二传感器,使得第一传感器和第二传感器均根据彩色模式参数工作在彩色模式。
步骤S205,获取第一传感器采集得到的第一图像和第二传感器采集得到的第二图像,其中,第一图像是第一传感器根据曝光参数将画面中亮度低于第三阈值的区域作为曝光区域进行采集得到的,第二图像是第二传感器根据曝光参数将画面中亮度高于第三阈值的区域作为曝光区域进行采集得到的。
步骤S206,将第一图像和第二图像进行融合处理得到第一融合图像。
步骤S207,在环境光亮度大于第一阈值且第一传感器的增益参数大于第二阈值的情况下,根据摄像机的摄像参数配置第一传感器和第二传感器,使得第一传感器根据黑白模式参数工作在黑白模式,第二传感器根据彩色模式参数工作在彩色模式。
步骤S208,获取第一传感器采集得到的第三图像和第二传感器采集得到的第四图像,其中,第三图像是第一传感器根据曝光参数将全局画面作为曝光区域进行采集得到的,第四图像是第二传感器根据曝光参数将全局画面作为曝光区域进行采集得到的。
步骤S209,将第三图像和第四图像进行融合处理得到第二融合图像。
在其中一些实施例中,步骤S209包括如下步骤:
步骤1,提取第三图像的第一亮度分量信息和第四图像的第二亮度分量信息和色度分量信息。
步骤2,对第一亮度分量信息、第二亮度分量信息和色度分量信息进行融合处理,得到第三图像和第四图像融合后的亮度分量信息和色度分量信息。
步骤3,根据第三图像和第四图像融合后的亮度分量信息和色度分量信息,生成融合后的第二融合图像。
在本实施例中,由于环境光亮度大于第一阈值且第一传感器的增益参数大于第二阈值,此时第一传感器的图像效果比第二传感器较差,因此,可以使得第一传感器根据黑白模式参数工作在黑白模式,第二传感器根据彩色模式参数工作在彩色模式,利用第一传感器的高分辨率特性,在高增益参数下感光优势的情况下,在黑白模式下提供可靠细节信息和完整的亮度信息,利用第二传感器的高信噪比特性在彩色模式下提供可靠颜色信息,通过提取并融合第三图像的第一亮度分量信息和第四图像的第二亮度分量信息和色度分量信息,得到图像效果优秀的第二融合图像。
在其中一些实施例中,生成融合后的第二融合图像可以通过模板匹配、特征提取、分块统计和区域融合来实现。
步骤S210,在环境光亮度小于第一阈值的情况下,根据摄像机的摄像参数配置第一传感器和第二传感器,使得第一传感器和第二传感器均根据黑白模式参数工作在黑白模式。
步骤S211,获取第一传感器采集得到的第五图像和第二传感器采集得到的第六图像,其中,第五图像是第一传感器根据聚焦参数将红外补光区域作为聚焦区域进行采集得到的,第六图像是第二传感器根据聚焦参数将除红外补光区域以外的区域作为聚焦区域进行采集得到的。
在其中一些实施例中,红外补光区域为画面中心区域;在获取第一传感器采集得到的第五图像和第二传感器采集得到的第六图像之前,该方法还包括:对画面中心区域进行红外补光处理,得到红外补光区域。
步骤S212,将第五图像和第六图像进行融合处理,得到第三融合图像。
在本实施例中,可以通过后焦调节方法来调整聚焦区域,后焦调整方法是通过调整传感器与镜头群组的距离来实现调焦的。
在其他实施例中,还可以使用前焦调节方法来调整聚焦区域。
其中,由于环境光亮度小于第一阈值,此时摄像机的部署环境和/或使用环境在黑夜,进而控制摄像机工作在黑白模式,通过第一传感器根据聚焦参数将红外补光区域作为聚焦区域采集得到第五图像,通过第二传感器根据聚焦参数将红外补光区域以外的其他自动对焦点作为聚焦区域采集得到第六图像,根据红外焦段和非红外焦段分离的特性,实现在黑白模式下图像全焦段清晰,解决了相关技术中摄像机易出现的红外共焦的问题。
本实施例还提供了一种成像装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本申请实施例的成像装置的结构框图,如图3所示,该装置包括:包括摄像装置30、设置于摄像装置30出射面的分光装置31,还包括:第一传感器32、第二传感器33、第一滤光装置34和第二滤光装置35以及图像处理器36,其中,第一传感器32和第二传感器33分别设置于分光装置31的两个出射面,用于接收对应的出射面射出的光线,并根据接收到的光线生成图像,第一传感器32的分辨率高于第二传感器33;第一滤光装置34设置于第一传感器32的入射面,第二滤光装置35设置于第二传感器33的入射面;图像处理器36与第一传感器32和第二传感器33均电连接,用于执行如上述实施例所述的成像方法。
其中,分光装置31可以根据光线强度将摄像装置30射入分光装置31的光线分离成从分光装置的多个出射面射出的光线,分光装置31可以设置于摄像装置30的出射面,用于将摄像装置30射入分光装置31的光线分离成从分光装置31的第一出射面射出的光线和第二出射面射出的光线。
分光装置31的第一出射面射出的光线通过第一滤光装置34被第一传感器32所接收,分光装置31的第二出射面射出的光线通过第二滤光装置35被第二传感器33所接收,其中,从第一出射面射出的光线和从第二出射面射出的光线均可以为可见光。
在其中一些实施例中,分光装置31可以由一个或多个分光棱镜构成,可以通过在分光棱镜上设置镀膜来实现对光线的分离。
第一滤光装置34可以设置于第一传感器32的入射面,第二滤光装置35可以设置于第二传感器33的入射面,第一滤光装置34和第二滤光装置35均可以与图形处理器36电连接。
其中,第一滤光装置34可以在第一传感器32工作在彩色模式的情况下自动动作,使得第一传感器32采集到彩色图像;第二滤光装置35可以在第二传感器33工作在彩色模式的情况下自动动作,使得第二传感器33采集到彩色图像。
在其中一些实施例中,第一滤光装置34和第二滤光装置35均可以为彩色滤光片。
在其中一些实施例中,图像处理器36还被配置为用于获取第一传感器32的增益参数;在环境光亮度大于第一阈值且第一传感器32的增益参数小于第二阈值的情况下,根据摄像机的摄像参数配置第一传感器32和第二传感器33,使得第一传感器32和第二传感器33均根据彩色模式参数工作在彩色模式;获取第一传感器32采集得到的第一图像和第二传感器33采集得到的第二图像,其中,第一图像是第一传感器32根据曝光参数将画面中亮度低于第三阈值的区域作为曝光区域进行采集得到的,第二图像是第二传感器33根据曝光参数将画面中亮度高于三阈值的区域作为曝光区域进行采集得到的。
在其中一些实施例中,图像处理器36还被配置为用于在环境光亮度大于第一阈值且第一传感器32的增益参数大于第二阈值的情况下,根据摄像机的摄像参数配置第一传感器32和第二传感器33,使得第一传感器32根据黑白模式参数工作在黑白模式,第二传感器33根据彩色模式参数工作在彩色模式;获取第一传感器32采集得到的第三图像和第二传感器33采集得到的第四图像,其中,第三图像是第一传感器32根据曝光参数将全局画面作为曝光区域进行采集得到的,第四图像是第二传感器33根据曝光参数将全局画面作为曝光区域进行采集得到的;将第三图像和第四图像进行融合处理得到第二融合图像。
在其中一些实施例中,图像处理器36还被配置为用于提取第三图像的第一亮度分量信息和第四图像的第二亮度分量信息和色度分量信息;对第一亮度分量信息、第二亮度分量信息和色度分量信息进行融合处理,得到第三图像和第四图像融合后的亮度分量信息和色度分量信息;根据第三图像和第四图像融合后的亮度分量信息和色度分量信息,生成融合后的第二融合图像。
在其中一些实施例中,图像处理器36还被配置为用于在环境光亮度小于第一阈值的情况下,根据摄像机的摄像参数配置第一传感器32和第二传感器33,使得第一传感器32和第二传感器33均根据黑白模式参数工作在黑白模式;获取第一传感器32采集得到的第五图像和第二传感器33采集得到的第六图像,其中,第五图像是第一传感器32根据聚焦参数将红外补光区域作为聚焦区域进行采集得到的,第六图像是第二传感器33根据聚焦参数将除红外补光区域以外的区域作为聚焦区域进行采集得到的;将第五图像和第六图像进行融合处理,得到第三融合图像。
在其中一些实施例中,红外补光区域为画面中心区域。
在其中一些实施例中,图像处理器36还被配置为用于对画面中心区域进行红外补光处理,得到红外补光区域。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置,包括存储器404和处理器402,该存储器404中存储有计算机程序,该处理器402被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
具体地,上述处理器402可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制,存储器404可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(Solid State Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerial Bus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器404可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器404可在数据处理装置的内部或外部。在特定实施例中,存储器404是非易失性(Non-Volatile)存储器。在特定实施例中,存储器404包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(Random Access Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory,简称为EPROM)、电可擦除PROM(Electrically ErasableProgrammable Read-Only Memory,简称为EEPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-AccessMemory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器404(Fast Page Mode DynamicRandom Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器402所执行的可能的计算机程序指令。
处理器402通过读取并执行存储器404中存储的计算机程序指令,以实现上述实施例中的任意一种成像方法。
可选地,上述电子装置还可以包括传输设备406以及输入输出设备408,其中,该传输设备406和上述处理器402连接,该输入输出设备408和上述处理器402连接。
可选地,在本实施例中,上述处理器402可以被设置为通过计算机程序执行以下步骤:
S1,获取环境光亮度。
S2,根据环境光亮度,确定摄像机的摄像参数,其中,摄像参数包括以下至少之一:拍摄模式参数、曝光参数、聚焦参数,拍摄模式参数包括:黑白模式参数和彩色模式参数。
S3,根据摄像机的摄像参数配置第一传感器和第二传感器,并得到第一传感器采集得到的第一图像和第二传感器采集得到的第二图像。
S4,将第一图像和第二图像进行融合处理得到第一融合图像。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
另外,结合上述实施例中的成像方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种成像方法。
本领域的技术人员应该明白,以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (9)
1.一种成像方法,应用于摄像机,所述摄像机包括第一传感器和第二传感器,其中,所述第一传感器的分辨率高于所述第二传感器,所述第一传感器的信噪比低于所述第二传感器的信噪比,且所述第一传感器和所述第二传感器共用镜头,其特征在于包括:
获取环境光亮度;
根据所述环境光亮度,确定所述摄像机的摄像参数,其中,所述摄像参数包括以下至少之一:拍摄模式参数、曝光参数、聚焦参数,所述拍摄模式参数包括:黑白模式参数和彩色模式参数;
根据所述摄像机的摄像参数配置所述第一传感器和所述第二传感器,并得到所述第一传感器采集得到的第一图像和所述第二传感器采集得到的第二图像;
将所述第一图像和所述第二图像进行融合处理得到第一融合图像;
其中,根据所述摄像机的摄像参数配置所述第一传感器和所述第二传感器,并得到所述第一传感器采集得到的第一图像和所述第二传感器采集得到的第二图像包括:
获取所述第一传感器的增益参数;
在所述环境光亮度大于第一阈值且所述第一传感器的增益参数小于第二阈值的情况下,根据所述摄像机的摄像参数配置所述第一传感器和所述第二传感器,使得所述第一传感器和所述第二传感器均根据所述彩色模式参数工作在彩色模式;
获取所述第一传感器采集得到的第一图像和所述第二传感器采集得到的第二图像,其中,所述第一图像是所述第一传感器根据所述曝光参数将画面中亮度低于第三阈值的区域作为曝光区域进行采集得到的,所述第二图像是所述第二传感器根据所述曝光参数将画面中亮度高于第三阈值的区域作为曝光区域进行采集得到的。
2.根据权利要求1所述的成像方法,其特征在于,所述方法还包括:
在所述环境光亮度大于第一阈值且所述第一传感器的增益参数大于第二阈值的情况下,根据所述摄像机的摄像参数配置所述第一传感器和所述第二传感器,使得所述第一传感器根据所述黑白模式参数工作在黑白模式,所述第二传感器根据所述彩色模式参数工作在彩色模式;
获取所述第一传感器采集得到的第三图像和所述第二传感器采集得到的第四图像,其中,所述第三图像是所述第一传感器根据所述曝光参数将全局画面作为曝光区域进行采集得到的,所述第四图像是所述第二传感器根据所述曝光参数将全局画面作为曝光区域进行采集得到的;
将所述第三图像和所述第四图像进行融合处理得到第二融合图像。
3.根据权利要求2所述的成像方法,其特征在于,将所述第三图像和所述第四图像进行融合处理得到第二融合图像包括:
提取所述第三图像的第一亮度分量信息和所述第四图像的第二亮度分量信息和色度分量信息;
对所述第一亮度分量信息、所述第二亮度分量信息和所述色度分量信息进行融合处理,得到所述第三图像和所述第四图像融合后的亮度分量信息和色度分量信息;
根据所述第三图像和所述第四图像融合后的亮度分量信息和色度分量信息,生成融合后的第二融合图像。
4.根据权利要求1所述的成像方法,其特征在于,所述方法还包括:
在所述环境光亮度小于第一阈值的情况下,根据所述摄像机的摄像参数配置所述第一传感器和所述第二传感器,使得所述第一传感器和所述第二传感器均根据所述黑白模式参数工作在黑白模式;
获取所述第一传感器采集得到的第五图像和所述第二传感器采集得到的第六图像,其中,所述第五图像是所述第一传感器根据所述聚焦参数将红外补光区域作为聚焦区域进行采集得到的,所述第六图像是所述第二传感器根据所述聚焦参数将除红外补光区域以外的区域作为聚焦区域进行采集得到的;
将所述第五图像和所述第六图像进行融合处理,得到第三融合图像。
5.根据权利要求4所述的成像方法,其特征在于,所述红外补光区域为画面中心区域。
6.根据权利要求5所述的成像方法,其特征在于,在获取所述第一传感器采集得到的第五图像和所述第二传感器采集得到的第六图像之前,所述方法还包括:
对所述画面中心区域进行红外补光处理,得到所述红外补光区域。
7.一种成像装置,包括摄像装置、设置于所述摄像装置出射面的分光装置,其特征在于,还包括:第一传感器、第二传感器、第一滤光装置和第二滤光装置以及图像处理器,其中,
所述第一传感器和所述第二传感器分别设置于所述分光装置的两个出射面,用于接收对应的出射面射出的光线,并根据接收到的光线生成图像,所述第一传感器的分辨率高于所述第二传感器;
所述第一滤光装置设置于所述第一传感器的入射面,所述第二滤光装置设置于所述第二传感器的入射面;
所述图像处理器与所述第一传感器和所述第二传感器均电连接,用于执行权利要求1至6中任一项所述的成像方法。
8.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任一项所述的成像方法。
9.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至6中任一项所述的成像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011083883.9A CN112422784B (zh) | 2020-10-12 | 2020-10-12 | 成像方法、成像装置、电子装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011083883.9A CN112422784B (zh) | 2020-10-12 | 2020-10-12 | 成像方法、成像装置、电子装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112422784A CN112422784A (zh) | 2021-02-26 |
CN112422784B true CN112422784B (zh) | 2022-01-11 |
Family
ID=74854182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011083883.9A Active CN112422784B (zh) | 2020-10-12 | 2020-10-12 | 成像方法、成像装置、电子装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112422784B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115314628B (zh) * | 2021-05-08 | 2024-03-01 | 杭州海康威视数字技术股份有限公司 | 一种成像方法、系统及摄像机 |
CN115314629B (zh) * | 2021-05-08 | 2024-03-01 | 杭州海康威视数字技术股份有限公司 | 一种成像方法、系统及摄像机 |
CN113747149B (zh) * | 2021-08-26 | 2024-04-16 | 浙江大华技术股份有限公司 | 滤光片的异常检测方法、装置、电子装置和存储介质 |
CN114827403B (zh) * | 2022-04-07 | 2024-03-05 | 安徽蔚来智驾科技有限公司 | 车载图像采集系统、控制方法、车辆和存储介质 |
CN115314633B (zh) * | 2022-06-27 | 2023-06-16 | 中国科学院合肥物质科学研究院 | 相机对焦方法、装置、计算机设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5850625A (en) * | 1997-03-13 | 1998-12-15 | Accurate Automation Corporation | Sensor fusion apparatus and method |
CN102739949A (zh) * | 2011-04-01 | 2012-10-17 | 张可伦 | 多镜头相机和多镜头装置的控制方法 |
CN204795370U (zh) * | 2014-04-18 | 2015-11-18 | 菲力尔系统公司 | 监测系统及包含其的交通工具 |
CN106488201A (zh) * | 2015-08-28 | 2017-03-08 | 杭州海康威视数字技术股份有限公司 | 一种图像信号的处理方法和系统 |
CN109474770A (zh) * | 2017-09-07 | 2019-03-15 | 华为技术有限公司 | 一种成像装置及成像方法 |
CN110248105A (zh) * | 2018-12-10 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种图像处理方法、摄像机及计算机存储介质 |
WO2020168465A1 (zh) * | 2019-02-19 | 2020-08-27 | 华为技术有限公司 | 一种图像处理的装置和方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102572285B (zh) * | 2012-02-08 | 2014-07-30 | 深圳市黄河数字技术有限公司 | Ccd摄像机的日夜模式转换方法 |
US9917998B2 (en) * | 2013-03-08 | 2018-03-13 | Fotonation Cayman Limited | Systems and methods for measuring scene information while capturing images using array cameras |
WO2018120074A1 (zh) * | 2016-12-30 | 2018-07-05 | 天彩电子(深圳)有限公司 | 用于监控摄像装置的夜视切换方法及其系统 |
-
2020
- 2020-10-12 CN CN202011083883.9A patent/CN112422784B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5850625A (en) * | 1997-03-13 | 1998-12-15 | Accurate Automation Corporation | Sensor fusion apparatus and method |
CN102739949A (zh) * | 2011-04-01 | 2012-10-17 | 张可伦 | 多镜头相机和多镜头装置的控制方法 |
CN204795370U (zh) * | 2014-04-18 | 2015-11-18 | 菲力尔系统公司 | 监测系统及包含其的交通工具 |
CN106488201A (zh) * | 2015-08-28 | 2017-03-08 | 杭州海康威视数字技术股份有限公司 | 一种图像信号的处理方法和系统 |
CN109474770A (zh) * | 2017-09-07 | 2019-03-15 | 华为技术有限公司 | 一种成像装置及成像方法 |
CN110248105A (zh) * | 2018-12-10 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种图像处理方法、摄像机及计算机存储介质 |
WO2020168465A1 (zh) * | 2019-02-19 | 2020-08-27 | 华为技术有限公司 | 一种图像处理的装置和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112422784A (zh) | 2021-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112422784B (zh) | 成像方法、成像装置、电子装置和存储介质 | |
US7092625B2 (en) | Camera with an exposure control function | |
CN107948538B (zh) | 成像方法、装置、移动终端和存储介质 | |
US9270875B2 (en) | Dual image capture processing | |
WO2021109620A1 (zh) | 一种曝光参数的调节方法及装置 | |
JP4657052B2 (ja) | デジタルカメラ、撮影方法、および撮影制御プログラム。 | |
US20110122252A1 (en) | Digital image processing apparatus and photographing method of digital image processing apparatus | |
EP3672221B1 (en) | Imaging device and imaging method | |
US20070139548A1 (en) | Image capturing apparatus, image capturing method, and computer-readable medium storing program | |
CN103905731B (zh) | 一种宽动态图像采集方法及系统 | |
CN110198418B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110290325B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP6467190B2 (ja) | 露出制御装置及びその制御方法、撮像装置、プログラム、記憶媒体 | |
US9122125B2 (en) | Image-capturing apparatus and method of controlling the same | |
JP5898509B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
US7702232B2 (en) | Dynamic focus zones for cameras | |
CN111434104B (zh) | 图像处理装置、摄像装置、图像处理方法及记录介质 | |
CN110266967B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP5875307B2 (ja) | 撮像装置、及びその制御方法 | |
JP5316923B2 (ja) | 撮像装置及びそのプログラム | |
JP2005142953A (ja) | デジタル画像撮像装置 | |
JP6900577B2 (ja) | 画像処理装置及びプログラム | |
JP2015037222A (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
WO2021217640A1 (zh) | 一种成像装置、成像方法以及相机 | |
JP2018098540A (ja) | 撮像装置および照明制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |