CN115134480A - 一种摄像头模组、终端设备及成像方法 - Google Patents
一种摄像头模组、终端设备及成像方法 Download PDFInfo
- Publication number
- CN115134480A CN115134480A CN202110311311.XA CN202110311311A CN115134480A CN 115134480 A CN115134480 A CN 115134480A CN 202110311311 A CN202110311311 A CN 202110311311A CN 115134480 A CN115134480 A CN 115134480A
- Authority
- CN
- China
- Prior art keywords
- image
- light
- image sensing
- information
- camera module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Abstract
一种摄像头模组、终端设备及成像方法,可应用于自动驾驶、辅助驾驶或安防监控等领域。摄像头模组包括第一光学镜头组件、分光组件、感光面积相同的第一图像传感组件和第二图像传感组件,第一图像传感组件的分辨率大于第二图像传感组件的分辨率;第一光学镜头组件可用于接收来自目标物体的光线;分光组件用于对经由第一光学镜头组件传播的光线进行分光,得到第一光线和第二光线,向第一图像传感组件传播第一光线,向第二图像传感组件传播第二光线。摄像头模组基于两个感光面积相同且分辨率不同的图像传感组件,可提高摄像头模组的动态范围。该方法可以应用于车联网,如车辆外联V2X、车间通信长期演进技术LTE‑V、车辆‑车辆V2V等。
Description
技术领域
本申请涉及摄像头模组技术领域,尤其涉及一种摄像头模组、终端设备及成像方法。
背景技术
随着科技的发展,各类设备上集成了越来越多的功能,如摄像功能。用户对摄像功能的要求越来越高,比如,用户需要获得更高质量的图像。下面以车载摄像机为例说明。
车载摄像机在辅助驾驶和自动驾驶中的作用日益重要。通过车载摄像机拍摄到的图像可以反映车辆周围的环境,从而可以为安全驾驶提供必要信息。车载摄像机中的动态范围是较为重要的功能参数,其中,动态范围是指车载摄像机拍摄的同一个画面内,能正常显示细节的最亮和最暗物体的亮度值所包含的区间。因此,如何获得宽动态范围的高质量图像是车载摄像机目前亟需解决的技术问题。
目前,大多数方案是通过优化车载摄像机中传感器所包括的像素来提高图像的动态范围,例如优化像素的曝光时间。但是由于对于像素的优化是有限的,因此对于摄像头模组的动态范围的提升也较为有限。
发明内容
本申请提供一种摄像头模组、终端设备及成像方法,用于提高摄像头模组的动态范围。
第一方面,本申请提供一种摄像头模组,该摄像头模组可包括第一光学镜头组件、分光组件、第一图像传感组件和第二图像传感组件,第一图像传感组件与第二图像传感组件的感光面积相同,第一图像传感组件的分辨率大于第二图像传感组件的分辨率。其中,第一光学镜头组件用于接收来自目标物体的光线;分光组件用于对经由第一光学镜头组件传播的光线进行分光,得到第一光线和第二光线,并向第一图像传感组件传播第一光线,向第二图像传感组件传播第二光线。
基于上述方案,由于图像传感组件的感光面积固定时,灵敏度和分辨率是此消彼长的,因此,第一图像传感组件的灵敏度小于第二图像传感组件的灵敏度。换言之,第一图像传感组件具有较高的分辨率且对光线的灵敏度较低,对亮光不容易过曝,可以识别高亮度的光线,可用于高亮目标的成像;第二图像传感组件具有较低的分辨率且对光线的灵敏度较高,可识别低亮度的光,可用于暗弱目标的成像。如此,可使得该摄像头模组既可以对暗弱目标成像又可以对高亮目标成像,从而有助于提高摄像头模组的动态范围。
在一种可能的实现方式中,摄像头模组还可包括位于分光组件与第一图像传感组件之间的第一偏振片。
通过第一偏振片可以使得第一光线中与第一偏振片的偏振方向平行的光线通过,可进一步减弱射入第一图像传感组件的第一光线的强度,从而可进一步减弱第一图像传感组件对亮光的过曝,进而有助于进一步提高摄像头模组的动态范围。
进一步,可选地,第一偏振片的偏振方向垂直于经由第一光学镜头组件传播的眩光的主偏振方向。
通过在高分辨率的第一图像传感组件的光路引入第一偏振片,并设计第一偏振片的偏振方向垂直于接收到的眩光的主偏振方向,可以消除或减弱进入高分辨率的第一图像传感组件的眩光,从而可使得摄像头模组获得消眩光且高动态范围的图像。
在一种可能的实现方式中,第一光线与第二光线的强度的比值小于1。如此,有助于进一步减弱进入高分辨率的第一图像传感组件的第一光线的强度,且可提升进入低分辨率的第二图像传感组件的第二光线的强度,从而有助于进一步提高摄像头模组的动态范围。
在一种可能的实现方式中,第一图像传感组件用于对接收到的第一光线进行光电转换,得到第一图像的信息;第二图像传感组件用于对接收到的第二光线进行光电转换,得到第二图像的信息;第一图像的信息和第二图像的信息用于形成目标物体的图像。
进一步,可选地,摄像头模组还包括第一处理组件,该第一处理组件可接收来自第一图像传感组件的第一图像的信息、以及接收来自第二图像传感组件的第二图像的信息,并根据第一图像的信息和第二图像的信息,生成目标物体的图像。
具体地,第一处理组件用于对第二图像的信息进行上采样,得到第三图像的信息,第三图像的信息的对应的第三图像的分辨率与第一图像的信息对应的第一图像的分辨率相同;融合第一图像的信息与第三图像的信息,得到目标物体的图像。
通过上述第一处理组件对第一图像的信息和第二图像的信息的融合,得到的目标物体的图像具有较高的质量。
第二方面,本申请提供一种终端设备,该终端设备可上述第一方面或第一方面中的任意一种摄像头模组。
示例性地,终端设备例如可以是智能手机、车辆、智能家居设备、智能制造设备、机器人、无人机、测绘设备或智能运输设备。
第三方面,本申请提供一种成像方法,该成像方法可应用于摄像头模组,该摄像头模组可包括第一图像传感组件和第二图像传感组件,第一图像传感组件与第二图像传感组件的感光面积相同,第一图像传感组件的分辨率大于第二图像传感组件的分辨率。该方法包括接收来自目标物体的光线;对目标物体的光线进行分光,得到第一光线和第二光线,并向第一图像传感组件传播第一光线,向第二图像传感组件传播第二光线。
在一种可能的实现方式中,摄像头模组还包括位于分光组件与第一图像传感组件之间的第一偏振片。
在一种可能的实现方式中,第一偏振片的偏振方向垂直于经由第一光学镜头组件传播的眩光的主偏振方向。
在一种可能的实现方式中,第一光线与第二光线的强度的比值小于1。
在一种可能的实现方式中,对第一光线进行光电转换,得到第一图像的信息;对第二光线进行光电转换,得到第二图像的信息;根据第一图像的信息和第二图像的信息,生成目标物体的图像。
进一步,可选地,可对第二图像的信息进行上采样,得到第三图像的信息,融合第一图像的信息与第三图像的信息,得到目标物体的图像,其中,第三图像的信息对应的第三图像与第一图像的信息对应的第一图像的分辨率相同。
在一种可能的实现方式中,第三方面可应用的摄像头模组可以是上述第一方面或第一方面中的任意一种摄像头模组。
上述第二方面和第三方面中任一方面可以达到的技术效果可以参照上述第一方面中有益效果的描述,此处不再重复赘述。
第四方面,本申请提供一种摄像头模组,包括第二光学镜头组件、第三光学镜头组件、第一图像传感组件和第二图像传感组件,第一图像传感组件与第二图像传感组件的感光面积相同,第一图像传感组件的分辨率大于第二图像传感组件的分辨率;第二光学镜头组件用于接收来自目标物体的光线,并向第一图像传感组件传播第三光线;第三光学镜头组件用于接收来自目标物体的光线,并向第二图像传感组件传播第四光线。
基于该方案,通过第二光学镜头组件与第三光学镜头组件,摄像头模组可以实现双通道成像,且第二光学镜头组件可将来自目标物体的第三光线传播至第一图像传感组件,第三光学镜头组件可将来自目标物体的第四光线传播至第二图像传感组件。由于图像传感组件的感光面积固定时,灵敏度和分辨率是此消彼长的,因此,第一图像传感组件的灵敏度小于第二图像传感组件的灵敏度。也就是说,第一图像传感组件具有较高的分辨率且对光线的灵敏度较低,对亮光不容易过曝,可以识别高亮度的光线,可用于高亮目标的成像;第二图像传感组件具有较低的分辨率且对光线的灵敏度较高,可识别低亮度的光,可用于暗弱目标的成像。如此,可使得该摄像头模组既可以对暗弱目标成像又可以对高亮目标成像,从而有助于提高摄像头模组的动态范围。
在一种可能的实现方式中,摄像头模组还包括位于第二光学镜头组件与第一图像传感组件之间的第二偏振片。
通过第二偏振片可以使得第三光线中与第二偏振片的偏振方向平行的光线通过,可进一步减弱射入第一图像传感组件的第三光线的强度,从而可进一步减弱第一图像传感组件对亮光的过曝,进而有助于进一步提高摄像头模组的动态范围。
进一步,可选地,第二偏振片的偏振方向垂直于经由第二光学镜头组件传播的眩光的主偏振方向。
通过在高分辨率的第一图像传感组件的光路引入第二偏振片,并设计第二偏振片的偏振方向垂直于接收到的眩光的主偏振方向,可以消除或减弱进入高分辨率的第一图像传感组件的眩光,从而可使得摄像头模组获得消眩光且高动态范围的图像。
在一种可能的实现方式中,第二光学镜头组件的光圈数大于第三光学镜头组件的光圈数。
不同通道的通光量(即光线的强度)可通过对应的光学镜头组件的光圈控制,通过设置第二光学镜头组件的光圈数大于第三光学镜头组件的光圈数,可使得进入高分辨率的第一图像传感组件的第三光线的强度相较于进入低分辨率的第二图像传感组件的第四光线的强度,即光圈数大的第二光学镜头组件配合高分辨率的第一图像传感组件,光圈数小的第三光学镜头组件配合低分辨率的第二图像传感组件,从而有助于进一步提高摄像头模组的动态范围。
在一种可能的实现方式中,第二光学镜头组件与第三光学镜头组件的焦距相同。如此,可使得通过第二光学镜头组件的第三光线与通过第三光学镜头组件的第四光线汇聚于相同的平面,从而可使得第一图像传感组件与第二图像传感组件设置于相同的基板上,进而有助于简化摄像头模组的装配。
在一种可能的实现方式中,第一图像传感组件用于对接收到的第三光线进行光电转换,得到第四图像的信息;第二图像传感组件用于对接收到的第四光线进行光电转换,得到第五图像的信息;其中,第四图像的信息和第五图像的信息用于形成目标物体的图像。
进一步,可选地,摄像头模组还包括第二处理组件,用于接收来自第一图像传感组件的第四图像的信息、以及接收来自第二图像传感组件的第五图像的信息,并根据第四图像的信息和第五图像的信息,得到目标物体的图像。
具体地,第二处理组件用于对第五图像的信息进行上采样,得到第六图像的信息,第六图像的信息对应的第六图像的分辨率与第四图像的信息对应的第四图像的分辨率相同,融合第四图像的信息和第六图像的信息,得到目标物体的图像。
第五方面,本申请提供一种终端设备,该终端设备可上述第四方面或第四方面中的任意一种摄像头模组。
示例性地,终端设备例如可以是智能手机、车辆、智能家居设备、智能制造设备、机器人、无人机、测绘设备或智能运输设备。
第六方面,本申请提供一种成像方法,该方法可应用于摄像头模组,该摄像头模组可包括第一图像传感组件和第二图像传感组件,第一图像传感组件与第二图像传感组件的感光面积相同,第一图像传感组件的分辨率大于第二图像传感组件的分辨率。该方法包括接收来自目标物体的光线,并向第一图像传感组件传播第三光线,向第二图像传感组件传播第四光线。
在一种可能的实现方式中,摄像头模组还包括位于第二光学镜头组件与第一图像传感组件之间的第二偏振片。
进一步,可选地,第二偏振片的偏振方向垂直于经由第二光学镜头组件传播的眩光的主偏振方向。
在一种可能的实现方式中,第二光学镜头组件的光圈数大于第三光学镜头组件的光圈数。
在一种可能的实现方式中,第二光学镜头组件与第三光学镜头组件的焦距相同。
在一种可能的实现方式中,可对接收到的第三光线进行光电转换,得到第四图像的信息;对接收到的第四光线进行光电转换,得到第五图像的信息;并根据第四图像的信息和第五图像的信息,得到目标物体的图像。
具体地,对第五图像的信息进行上采样,得到第六图像的信息,融合第四图像的信息和第六图像的信息,得到目标物体的图像,其中,第六图像的信息对应的第六图像的分辨率与第四图像的信息对应的第四图像的分辨率相同。
在一种可能的实现方式中,第六方面中应用的摄像头模组可以是上述第四方面或第四方面中的任意一种摄像头模组。
上述第五方面和第六方面中任一方面可以达到的技术效果可以参照上述第四方面中有益效果的描述,此处不再重复赘述。
第七方面,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序或指令,当计算机程序或指令被摄像头模组执行时,使得该摄像头模组执行上述第三方面或第三方面的任意可能的实现方式中的方法、或者使得该摄像头模组执行上述第六方面或第六方面的任意可能的实现方式中的方法。
附图说明
图1a为本申请提供的一种像素的尺寸与分辨率的关系示意图;
图1b为本申请提供的另一种像素的尺寸与分辨率的关系示意图;
图1c为本申请提供的一种自然光的偏振态的示意图;
图1d为本申请提供的一种线偏振光的偏振态的示意图;
图1e为本申请提供的另一种线偏振光的偏振态的示意图;
图1f为本申请提供的一种部分偏振光的偏振态的示意图;
图1g为本申请提供的一种图像融合的原理示意图;
图2为本申请提供的一种偏振片抗眩光的原理示意图;
图3a为本申请提供的一种摄像头模组可能的应用场景示意图;
图3b为本申请提供的另一种摄像头模组可能的应用场景示意图;
图4为本申请提供的一种摄像头模组的结构示意图;
图5a为本申请提供的一种第一光学镜头组件的结构示意图;
图5b为本申请提供的另一种第一光学镜头组件的结构示意图;
图6本申请提供的一种分光组件的分光原理示意图;
图7为本申请提供的一种第一图像传感组件与第二图像传感组件的关系示意图;
图8为本申请提供的一种第一图像与第二图像融合的过程示意图;
图9为本申请提供的另一种摄像头模组的结构示意图;
图10为本申请提供的又一种摄像头模组的结构示意图;
图11为本申请提供的又一种摄像头模组的结构示意图;
图12为本申请提供的一种终端设备的结构示意图;
图13为本申请提供的一种成像方法的方法流程示意图;
图14为本申请提供的另一种成像方法的方法流程示意图。
具体实施方式
下面将结合附图,对本申请实施例进行详细描述。
以下,对本申请中的部分用语进行解释说明。需要说明的是,这些解释是为了便于本领域技术人员理解,并不是对本申请所要求的保护范围构成限定。
一、眩光(Dazzle)
眩光是指视野中由于不适宜亮度分布,在空间或时间上存在极端亮度对比,以致引起视觉不舒适和降低物体可见度的视觉条件。视野内产生人眼无法适应的光亮感觉,可能引起厌恶、不舒服甚或丧失明视度。在视野中某一局部地方出现过高的亮度或前后发生过大的亮度变化。例如,汽车行驶在路面,被雨水撒过的路面是一个良好的镜面,强光源(如太阳)经过镜面反射进入到车载摄像机会产生强烈的眩光;再比如,高温下的路面,在垂直于路面的方向上,由于温度梯度的存在,折射率越靠近路面越低,光线斜入射路面同样会弯折,此时的路面等效为一个良好的镜面,强光源经过镜面反射进入车载摄像机产生眩光。
二、动态范围
动态范围是摄像头模组的一个重要参数,是指摄像头模组拍摄的同一个画面内,能正常显示细节的最亮和最暗物体的亮度值所包含的区间。动态范围越大,过亮或过暗的物体在同一个画面中都能正常显示的程度也就越大。
三、上采样
上采样也可称为放大图像或图像插值,主要目的是放大图像,从而可以获得更高分辨率的图像。
上采样原理:图像放大通常采用内插值方法,即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。其中,插值算法可以是传统插值、基于边缘图像的插值或基于区域的图像插值等,本申请对此不做限定。
四、像素
像素可指构成图像传感器的成像区域的最小单元。其中,像素的尺寸是指像素的物理尺寸,即相邻像素中心之间的距离。
五、分辨率
分辨率可指图像传感器上可用于成像的最大像素(即感光单元)的数量。通常以横向像素的数量和纵向像素的数量的乘积来衡量,即分辨率=水平像素数×竖直像素数。
需要说明的是,在相同感光面积(或称为相同靶面)下,分辨率与像素的尺寸是此消彼长的。参考图1a和图1b,在相同感光面积下像素的尺寸与分辨率的关系。图1a的像素的尺寸为a,分辨率为4×4;图1b的像素的尺寸为a/2,分辨率为8×8。由图1a和图1b可以确定,即像素的尺寸越小,分辨率越高;像素的尺寸越大,分辨率越低。
六、最低照度
最低照度是指图像传感器对环境光线的敏感程度,或者说是图像传感器正常成像时所需要的最暗光线。
七、光圈
光圈可用于控制进入光学镜头的光线的多少,即光圈用于决定光学镜头的进光量。光圈的大小通常用F数表示,记作F/,F数又称光圈数。大光圈的光学镜头,F数小,即光圈数小;小光圈的光学镜头,F数大,即光圈数大。
在快门不变的情况下,F数越小,光圈越大,进光量越多,画面比较亮;F数越大,光圈越小,进光量越少,画面比较暗。
八、偏振片
偏振片亦称为偏光片,是一种光滤波器。偏振片用于吸收或反射一个偏振方向的光,透射另一个正交偏振方向的光。光的透射率与其偏振状态直接相关。偏振片通常可分为吸收型偏振片和反射型偏振片(reflective polarizer,RP)。吸收型偏振片可对入射的线偏振光的正交偏振分量之一强烈吸收,而对另一分量则吸收较弱。反射型偏振片可以透射某一方向的线偏振光且可反射偏振方向与被透射的方向垂直的光。吸收型偏振片例如可以是二色性偏振片,反射型偏振片例如可以是利用双折射的偏振分束器。
对于自然光(可参见图1c),入射偏振片后,出射的光变为线偏振光,出射光的能量变为入射光的能量的50%。对于线偏振光(可参见图1d或图1e)入射偏振片后,出射光仍为线偏振光,出射光的能量变为I0×cosθ^2,其中,I0表示入射的线偏振光的能量,θ表示入射的线偏振光的偏振方向与线偏振片的起偏方向之间的夹角。对于部分偏振光(可参见图1f)入射偏振片后,出射光变为线偏振光,出射光的能量出现衰减,并随起偏角呈现周期性变化。
九、偏振方向
偏振方向亦称为偏振化方向或起偏方向。这是由于偏振片中存在着某种特征性的方向,叫做偏振化方向,偏振片只允许平行于偏振化方向的光通过,同时吸收或反射垂直于该方向的光。
十、图像融合(Image fusion)
图像融合是一种图像处理技术,是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和特定算法的计算等,最大限度的提取各自信道中的有利信息,最终合成高质量(例如亮度、清晰度、色彩)的图像,融合后的图像相较于原始图像具有较高的分辨率。
请参阅图1g,为本申请提供的一种图像融合的原理示意图。由于图像融合可以利用两幅(或多幅)图像在时空上的相关性及信息上的互补性,因此,融合后的新的图像对场景有更全面、清晰的描述,从而更有利于探测装置的识别和探测。需要说明的是,图像融合通常需要确保待融合的各个图像已配准好且像素位宽一致。
前文介绍了本申请所涉及到的一些用语,下面介绍本申请涉及的技术特征。需要说明的是,这些解释是为了便于本领域技术人员理解,并不是对本申请所要求的保护范围构成限定。
如图2所示,为本申请提供的一种偏振片抗眩光的原理示意图。当入射角θ为布儒斯特角时,反射光为线偏振光,透射光近似为自然光。当入射角θ为非布儒斯特角入射,反射光和透射光均为部分偏振光。其中,布儒斯特角=arctan(n2/n1),其中,n1表示入射光所在介质的折射率,n2表示折射光所在介质的折射率。由菲涅尔反射原理可知,路面反射的眩光为部分偏振光或者线偏振光,可以通过调整偏振片的偏振方向来减弱或消除反射的眩光。应理解,当眩光为部分偏振光时,眩光的主偏振方向(或称为偏振长轴)与路面的夹角是可确定的。
基于上述内容,下面给出了本申请中的摄像头模组可能的应用场景。示例性地,摄像头模组可被安装在车辆(例如无人车、智能车、电动车、数字汽车等)上,作为车载摄像机,如图3a。车载摄像机可以实时或周期性地获取周围物体的距离等测量信息,从而可为车道纠偏、车距保持、倒车等操作提供必要信息。由于车载摄像机可以实现:a)目标识别与分类,例如各类车道线识别、红绿灯识别以及交通标志识别等;b)可通行空间检测(freespace),例如,可对车辆行驶的安全边界(可行驶区域)进行划分,主要对车辆、普通路边沿、侧石边沿、没有障碍物可见的边界、未知边界进行划分等;c)对横向移动目标的探测能力,例如对十字路口横穿的行人以及车辆的探测和追踪;d)定位与地图创建,例如基于视觉同步定位与地图构建(simultaneous localization and mapping,SLAM)技术的定位与地图创建。因此,车载摄像机已被广泛应用于无人驾驶、自动驾驶、辅助驾驶、智能驾驶、网联车、安防监控、测绘等领域。应理解,摄像头模组可与高级驾驶辅助系统(advanced drivingassistant system,ADAS)结合。
需要说明的是,如上应用场景只是举例,本申请所提供的摄像头模组还可以应用在多种其它场景下,而不限于上述示例出的场景。例如,摄像头模组还可应用于终端设备或设置于终端设备的部件中,终端设备例如可以是智能手机、智能家居设备、智能制造设备、机器人、无人机或智能运输设备(如自动导引运输车(automated guided vehicle,AGV)或者无人运输车等)等。再比如,摄像头模组也可被安装在无人机上,作为机载摄像机等。再比如,摄像头模组也可以安装在路边交通设备(如路侧单元(road side unit,RSU))上,作为路边交通摄像机,可参见图3b,从而可实现智能车路协同。
其中,动态范围是摄像头模组比较重要的功能参数。目前摄像头模组的动态范围仅可达到80~120分贝(dB),但是自然界中目标的动态范围可达180dB,因此,摄像头模组的动态范围还需要进行提升。目前,主要是通过优化摄像头模组中的图像传感器所包括的像素来提升摄像头模组的动态范围的。但是由于对于像素的优化是有限的,故对于摄像头模组的动态范围的提升也较为有限。因此,如何获得宽动态范围的高质量图像是摄像头模组亟需解决的技术问题。
鉴于此,本申请提供一种摄像头模组,该摄像头模组可以获得较宽的动态范围。
基于上述内容,下面结合附图4至附图11,对本申请提出的摄像头模组进行具体阐述。
实施例一
如图4所示,为本申请提供的一种摄像头模组的结构示意图。该摄像头模组可包括第一光学镜头组件401、分光组件402、第一图像传感组件403和第二图像传感组件404,第一图像传感组件403和第二图像传感组件404的感光面积相同,第一图像传感组件403的分辨率大于第二图像传感组件404的分辨率;第一光学镜头组件401用于接收来自目标物体的光线;分光组件402用于对经由第一光学镜头组件401传播的光线进行分光,得到第一光线和第二光线,并向第一图像传感组件403传播第一光线,向第二图像传感组件404传播第二光线。
基于该摄像头模组,由于图像传感组件的感光面积固定时,灵敏度和分辨率是此消彼长的,因此,第一图像传感组件的灵敏度小于第二图像传感组件的灵敏度。也就是说,第一图像传感组件具有较高的分辨率且对光线的灵敏度较低,对亮光不容易过曝,可以识别高亮度的光线,可用于高亮目标的成像;第二图像传感组件具有较低的分辨率且对光线的灵敏度较高,可识别低亮度的光,可用于暗弱目标的成像。如此,可使得该摄像头模组既可以对暗弱目标成像又可以对高亮目标成像,从而有助于提高摄像头模组的动态范围。
应理解,该摄像头模组相当于第二图像传感组件牺牲部分图像的分辨率来换取灵敏度的提升,以达到提升摄像头模组的动态范围。
在一种可能的实现方式中,经第一光学镜头组件传播的光线所携带的信息与射入第一光学镜头组件的光线(即来自目标物体的光线)所携带的信息相同。
需要说明的是,目标物体包括但不限于单一的物体,例如,拍摄人时,目标物体包括人及人周围的景物,即人周围的景物也为目标物体的一部分。也可以理解为,第一光学镜头组件的视场角范围内的物体均可称为目标物体。
下面对图4所示的各个功能组件和结构分别进行介绍说明,以给出示例性的具体实现方案。为方便说明,下文中的第一光学镜头组件、分光组件、第一图像传感组件和第二图像传感组件均未加标识。
一、第一光学镜头组件
在一种可能的实现方式中,第一光学镜头组件可接收来自目标物体的光线,并通过改变来自目标物体的光线的传播方向,使来自目标物体的光线尽可能的射入摄像头模组。进一步,可选地,第一光学镜头组件还会将眩光(例如路面反射的眩光)也传播进摄像头模组内。
在一种可能的实现方式中,第一光学镜头组件可由至少一枚光学镜片组成。作为示例,图5a给出了一种第一光学镜头组件的结构示意图。该第一光学镜头组件以包括七枚光学镜片为例。来自目标物体的光线可通过该第一光学镜头组件尽可能的传播至摄像头模组内,进一步,外界的眩光也可通过该第一光学镜头组件传播至摄像头模组内。
作为又一个示例,图5b给出了另一种第一光学镜头组件的结构示意图。该第一光学镜头组件可包括六枚光学镜片。
应理解,上述图5a或5b所示的第一光学镜头组件的结构仅是一个示例,本申请中的第一光学镜头组件可以具有比图5a更多或更少的光学镜片,也可以具有比图5b更多或更少的光学镜片。其中,光学镜片可以是凸透镜(如双凸透镜,平凸透镜或者凸凹透镜)或凹透镜(如双凹透镜,平凹透镜或者凹凸透镜)中的任一种、或者是凸透镜和凹透镜的组合,本申请对此不做限定。
在一种可能的实现方式中,为了抑制温漂,第一光学镜头组件中至少有一个光学镜片的材料是玻璃。
进一步,可选地,为了尽量减小摄像头模组的高度,第一光学镜头组件中的光学镜片在摄像头模组的高度方向(可参见上述图5a)上可做切割。
二、分光组件
在一种可能的实现方式中,分光组件可用于对第一光学镜头组件传播过来的光线进行分光(例如一分为二),得到第一光线和第二光线。示例性地,分光组件可对第一光学镜头组件传播过来的光线分强度(或称为分能量或称为分振幅),得到第一光线和第二光线。应理解,第一光线和第二光线携带的信息相同,第一光线携带的信息与第一光学镜头组件传播过来的光线携带的信息相同,第二光线携带的信息与第一光学镜头组件传播过来的光线携带的信息也相同。其中,第一光线的强度与第二光线的强度的总和等于或近似等于第一光学镜头组件传播过来的光线的强度。
进一步,可选地,第一光线和第二光线的强度的比值可小于1。例如,第一光线和第二光线的强度的比可以为2:8;再比如,第一光线和第二光线的强度的比为1:9;再比如,第一光线的强度和第二光线的强度的比为4:6。也可以理解为,第一图像传感组件接收到的第一光线的强度小于第二图像传感组件接收到的第二光线的强度。如此,高分辨率低灵敏度的第一图像传感组件接收到的第一光线强度小于低分辨率高灵敏度的第二图像传感组件接收到的第二光线的强度,如此,有助于进一步提高摄像头模组的动态范围。应理解,第一光线和第二光线的强度的比值也可以等于1,或者大于1。
需要说明的是,第一光线和第二光线的强度的比值可根据实际需求进行设计,本申请对此不做限定。
在一种可能的实现方式中,分光组件例如可以为分光棱镜(beam splitter,BS)或分光平板。分光棱镜是通过在棱镜的表面镀制一层或多层薄膜(即分光膜)形成的,分光平板是通过在玻璃平板的一个表面镀制一层或多层薄膜(即分光膜)形成的。分光棱镜和分光平板均是利用薄膜对射入的光线的透射率和反射率不同,以实现对第一光学镜头组件传播过来的光线进行分光。
如图6所示,为本申请提供的一种分光组件的分光原理示意图。该分光棱镜可将第一光学镜头组件传播过来的光线一分为二,得到第一光线和第二光线。也可以理解为,第一光学镜头组件传播过来的光线经分光组件后,一部分被透射(第一光线)至第一图像传感组件,另一部分被反射(第二光线)至第二图像传感组件。示例性地,第一光线和第二光线的强度的比值可通过镀制的分光膜的反射率和透射率确定。
三、第一图像传感组件和第二图像传感组件
在一种可能的实现方式中,第一图像传感组件可对接收到的第一光线进行光电转换,得到第一图像的信息;第二图像传感组件可对第二光线进行光电转换,得到第二图像的信息。
此处,第一图像传感组件和第二图像传感组件采用非全同架构。具体地,第一图像传感组件与第二图像传感组件的感光面积相同,第一图像传感组件的分辨率大于第二图像传感组件的分辨率。进一步,可选地,第一图像传感组件包括第一像素,第二图像传感组件包括第二像素,第一像素的尺寸小于第二像素的尺寸。应理解,像素的尺寸越大,图像传感组件的灵敏度越高;像素的尺寸越小,图像传感组件的灵敏度越低,因此,第一图像传感组件的对光线的灵敏度低于第二图像传感组件对光线的灵敏度。
如图7所示,为本申请提供的一种第一图像传感组件与第二图像传感组件的关系示意图。图7中的(a)表示第一图像传感组件,图7中的(b)表示第二图像传感组件,第一图像传感组件和第二图像传感组件的最小可重复单元均为RGGB,R表示用于接收红色(red)光线的像素,G表示用于接收绿色(green)光线的像素,B表示用于接收蓝色(blue)光线的像素。第一图像传感组件与第二图像传感组件的感光面积相同,第一图像传感组件包括的第一像素的尺寸是第二图像传感组件包括的第二像素的尺寸的2倍,因此,第一图像传感组件的分辨率是第二图像传感组件的分辨率的4倍。而且,第一图像传感组件的灵敏度是第二图像传感组件的灵敏度的1/4。也就是说,第一图像传感组件具有高分辨率小像素低灵敏度的特性,可用于高亮目标成像;第二图像传感组件具有低分辨率大像素高灵敏度的特性,可用于暗弱目标成像。
需要说明的是,图7所示的第一图像传感组件和第二图像传感组件的分辨率和最小可重复单元均是示例,并不对本申请构成限定。例如,第一图像传感组件和第二图像传感组件的最小可重复单元也可以是RYYB。
结合上述图7,以第一图像传感组件的分辨率为8M、第二图像传感组件的分辨率为2M为例,以第一光线与第二光线的强度的比值为2:8为例。表1示例性地的示出了基于实施例一的摄像头模组的提升的动态范围与基于现有技术中摄像头模组的动态范围的关系。表1基于实施例一的摄像头模组提升的动态范围与基于现有技术的摄像头模组的动态范围关系
需要说明的是,第一光学镜头组件的视场范围内可能包括高亮目标,也可能包括暗弱目标,高亮目标和暗弱目标统称为目标物体。由上述表1可以看出,基于现有技术中的摄像头模组,图像传感器接收到来自高亮目标的入射光线的能量为Eh,来自暗弱目标的入射光线的能量为El,动态范围为-10log(Eh/El)。基于上述实施例一的摄像头模组,由于经分光组件分光后的第一光线与第二光线的强度的比值为2:8,因此,第一图像传感组件接收到来自高亮目标的入射光线的能量为0.2×Eh。如此,射入第一图像传感组件的第一光线的强度降低0.2倍,因此,第一图像传感组件对高亮目标的防过曝能力提升了2倍。第二图像传感组件接收到来自暗弱目标的入射光线的能量为0.8×El;而且,第二图像传感组件包括的第二像素的尺寸是第一图像传感组件包括的第一像素的尺寸的1/4倍,因此,第二图像传感组件的灵敏度是第一图像传感组件的灵敏度的4倍,如此,第二图像传感组件的对暗弱目标的低照能力提升了4×0.8=3.2倍。因此,摄像头模组的动态范围可提升-10log(Eh/El)=10log16。如此,可进一步说明基于实施例一的摄像头模组的动态范围得到了有效提升。应理解,第二图像传感组件接收到来自高亮目标的入射光线的能量为0.8×Eh,可能会过曝,第一图像传感组件接收到来自暗弱目标的入射光线的能量为0.2×El,可能会过暗,通过后面第一处理组件对图像信息的融合,可以实现高动态范围,具体可参见后续相关描述,此处不再重复赘述。
在一种可能的实现方式中,第一图像传感组件可以为互补金属氧化物半导体元件(complementary metal-oxide semiconductor,CMOS)光电晶体管、感光耦合器件(charge-coupled device,CCD)、光电探测器(photon detector,PD)、或高速光电二极管。其中,CMOS光电晶体管是基于互补金属氧化物半导体工艺、将光信号转换成电信号的设备或芯片。第二图像传感组件也可以为互补金属氧化物半导体元件(complementary metal-oxidesemiconductor,CMOS)光电晶体管、感光耦合器件(charge-coupled device,CCD)、光电探测器(photon detector,PD)、或高速光电二极管。
需要说明的是,第一图像传感组件的种类可与第二图像传感组件的种类相同,例如,第一图像传感组件和第二图像传感组件可均为CMOS光电晶体管。或者第一图像传感组件的种类可与第二图像传感组件的种类不同,例如,第一图像传感组件为CMOS光电晶体管,第二图像传感组件为CCD。
在一种可能的实现方式中,第一图像传感组件可以为第一图像传感器,第二图像传感组件可以为第二图像传感器。示例性地,第一图像传感器的分辨率范围可为[800万像素,4800万像素],第二图像传感器的分辨率范围可为[800万像素,4800万像素],需要满足第一图像传感器的分辨率大于第二图像传感器的分辨率。示例性地,第一图像传感器的分辨率为1200万像素、2000万像素、或4800万像素,第二图像传感器的分辨率可为800万像素。当然,第一图像传感器的分辨率也可以大于4800万像素,例如,还可以是5200万像素、6000万像素、7200万像素等;第二图像传感器的分辨率也可以大于800万像素。应理解,凡是可以满足第一图像传感组件的分辨率大于第二图像传感组件的分辨率的组合均可以。
该实施例一中的摄像头模组还可包括第一偏振片。进一步,可选地,摄像头模组还可包括第一处理组件。下面分别对第一偏振片和第一处理组件进行介绍。
四、第一偏振片
在一种可能的实现方式中,第一偏振片可位于分光组件与第一图像传感组件之间(可参见下述图9)。第一偏振片用于允许第一光线中偏振态与第一偏振片的偏振方向平行的光线通过,通过第一偏振片的第一光线汇聚于第一图像传感组件。如此,可进一步降低射入第一图像传感组件的第一光线的强度,从而可进一步降低第一图像传感组件对亮光的过曝,进而有助于进一步提高摄像头模组的动态范围。需要说明的是,通过第一偏振片的第一光线为射入第一偏振片的第一光线中的一部分(即第一光线中平行于第一偏振片的偏振方向的部分)。
进一步,可选地,第一偏振片的偏振方向垂直于经由第一光学镜头组件传播的眩光的主偏振方向。通过在高分辨率的第一图像传感组件的光路引入第一偏振片,并设计第一偏振片的偏振方向垂直于接收到的眩光的主偏振方向,可以消除或减弱进入高分辨率的第一图像传感组件的眩光(具体原理可结合眩光的偏振态及前述图2的描述),从而可获得消眩光且高动态范围的图像。
结合上述图7,以第一图像传感组件的分辨率为8M、第二图像传感组件的分辨率为2M为例,以第一光线与第二光线的强度的比值为2:8为例。当摄像头模组还包括第一偏振片时,基于实施例一的摄像头模组的动态范围与基于现有技术中摄像头模组的动态范围的关系可参见下述表2。
表2基于实施例一的摄像头模组提升的动态范围与基于现有技术的摄像头模组的动态范围
当摄像头模组还包括第一偏振片时,结合上述表2,类似于上述表1的分析,第一图像传感组件对高亮目标的防过曝能力提升了10倍,第二图像传感组件的对暗弱目标的低照能力提升了3.2倍,摄像头模组的动态范围为10log32。
在一种可能的实现方式中,提升摄像头模组的动态范围与第一光线和第二光线的强度的比值相关。当摄像头模组还包括第一偏振片时,第一光线与第二光线的强度的比值η与动态范围的提升效果的关系请参阅表3。
表3第一光线与第二光线的强度的比值η与动态范围的提升效果的关系
η | 1:9 | 2:8 | 3:7 | 4:6 | 5:5 |
动态范围的提升(倍) | 20×3.6=72 | 10×3.2=32 | 6.7×2.8=18.7 | 5×2.4=12 | 4×2=8 |
动态范围的提升(dB) | 18.5 | 15 | 12.7 | 10.7 | 9 |
应理解,动态范围的提升(dB)与动态范围的提升(倍)之间的关系满足:动态范围的提升(dB)=-10log(动态范围的提升(倍))。
当摄像头模组中包括第一偏振片时,第一偏振片不仅可以消除或减弱眩光,还可以使得第一图像传感组件接收到的第一光线变柔和。
五、第一处理组件
在一种可能的实现方式中,第一处理组件可接收来自第一图像传感组件的第一图像的信息、以及接收来自第二图像传感组件的第二图像的信息,根据第一图像的信息和第二图像的信息,生成目标物体的图像。具体地,第一处理组件可对第二图像的信息进行上采样(具体可参见前述相关描述),得到第三图像的信息,第三图像的信息的对应的第三图像的分辨率与第一图像的信息对应的第一图像的分辨率相同;融合第一图像的信息与第三图像的信息,得到目标物体的图像,可参阅图8。通过对第一图像的信息和第二图像的信息融合,得到的目标物体的图像具有较高的质量。
进一步,可选地,第一处理组件还可对融合得到的目标的图像进行去噪、增强、分割虚化等处理,以丰富用户体验。
在一种可能得到实现方式中,第一处理组件例如可以是应用处理器(applicationprocessor,AP)、图形处理器(graphics processing unit,GPU)、图像信号处理器(imagesignal processor,ISP)、数字信号处理器(digital signal processor,DSP)等。
或者,第一处理组件可以是中央处理单元(central processing unit,CPU),还可以是其它通用处理器、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或者其它可编程逻辑器件、晶体管逻辑器件,硬件部件或者其任意组合。通用处理器可以是微处理器,也可以是任何常规的处理器。
或者,第一处理组件可以是CPU、ASIC、FPGA、其它可编程逻辑器件、晶体管逻辑器件中的任一个与应用处理器、图形处理器、图像信号处理器、数字信号处理器中任一个的组合。
需要说明的是,上述实施例一种的摄像头模组还可以包括红外线(infraredradiation,IR)滤光片,该IR滤光片可位于分光组件与第一图像传感组件之间,和/或,分光组件与第二图像传感组件之间。IR滤光片可用于对红外线进行阻挡或者吸收,以防止损坏图像传感组件;而且,IR滤光片可被配置为对第一光学镜头组件的焦距没有影响。示例性地,IR滤光片的材料可为玻璃或者类玻璃的树脂,如蓝玻璃(blue glass)。
基于上述内容,下面结合具体的硬件结构,给出上述实施例一中的摄像头模组的一种具体实现方式。以便于进一步理解上述摄像头模组的结构及目标物体的图像的形成过程。
如图9所示,为本申请提供的另一种摄像头模组的结构示意图。该摄像头模组可包括第一光学镜头组件、分光组件、第一图像传感组件、第二图像传感组件、位于分光组件与第一图像传感组件之间的第一偏振片以及第一处理组件。其中,第一光学镜头组件以上述图5a为例、分光组件以分光棱镜为例,第一图像传感组件以上述图7中的(a)为例,第二图像传感组件以上述图7中的(b)为例。
关于第一光学镜头组件、分光组件、第一图像传感组件、第二图像传感组件、第一偏振片以及第一处理组件的可能的实现方式可分别参见前述相关描述,此处不再重复赘述。
基于图9所示的摄像头模组,来自目标物体的光线通过第一光学镜头组件,被传播至分光组件,经分光组件分为第一光线和第二光线,第一光线传播至第一图像传感组件,第二光线传播至第二图像传感组件,第一图像传感组件将第一光线转换为第一电信号(即第一图像的信息),第二图像传感组件将第二光线转换为第二电信号(即第二图像的信息),第一电信号可再经模拟数字转换器(analog to digital converter,A/D)后变为第一数字图像信号,第二电信号可再经A/D后变为第二数字图像信号,第一数字图像信号和第二数字图像信号均传输至ISP中进行加工处理(例如融合),得到特定格式的目标物体的图像。进一步,可选地,可由ISP将目标物体的图像传输到显示屏上进行显示。
实施例二
如图10所示,为本申请提供的又一种摄像头模组的结构示意图。该摄像头模组可包括第二光学镜头组件1001、第三光学镜头组件1002、第一图像传感组件1003和第二图像传感组件1004,第一图像传感组件1003和第二图像传感组件1004的感光面积相同,第一图像传感组件1003的分辨率大于第二图像传感组件1004的分辨率;第二光学镜头组件1001用于接收来自目标物体的光线,并向第一图像传感组件1003传播第三光线;第三光学镜头组件1002用于接收来自目标物体的光线,并向第二图像传感组件1004传播第四光线。
基于上述摄像头模组,通过第二光学镜头组件与第三光学镜头组件,摄像头模组可以实现双通道成像,且第二光学镜头组件可将来自目标物体的第三光线传播至第一图像传感组件,第三光学镜头组件可将来自目标物体的第四光线传播至第二图像传感组件;由于图像传感组件的感光面积固定时,灵敏度和分辨率是此消彼长的,因此,第一图像传感组件的灵敏度小于第二图像传感组件的灵敏度。也就是说,第一图像传感组件具有较高的分辨率且对光线的灵敏度较低,对亮光不容易过曝,可以识别高亮度的光线,可用于高亮目标的成像;第二图像传感组件具有较低的分辨率且对光线的灵敏度较高,可识别低亮度的光,可用于暗弱目标的成像。如此,可使得该摄像头模组既可以对暗弱目标成像又可以对高亮目标成像,从而有助于提高摄像头模组的动态范围。
此处,第三光线携带的信息与来自目标物体的光线携带的信息相同,第四光线携带的信息与来自目标物体的光线携带的信息也相同。示例性地,第三光线为来自目标物体的光线的一部分或全部,第四光线也为来自目标物体的光线的一部分或全部。
需要说明的是,该实施例二中第一光学镜头组件与第二光学镜头组件距离较近,因此,第二光镜头组件的视场范围与第三光学镜头组件的视场范围相同,或者视差是可以忽略。换言之,第二光镜头组件接收到的来自目标物体的光线与第三光学镜头组件接收到的来自目标物体的光线是相同的,或者差异是可以忽略的。
下面对图10所示的各个功能组件和结构分别进行介绍说明,以给出示例性的具体实现方案。为方便说明,下文中的第二光学镜头组件、第三光学镜头组件、第一图像传感组件和第二图像传感组件均未加标识。
六、第二光学镜头组件和第三光学镜头组件
在一种可能的实现方式中,第二光学镜头组件可接收来自目标物体的光线,并通过改变来自目标物体的光线的传播方向,向第一图像传感组件传播第三光线;第三光学镜头组件可接收来自目标物体的光线,并通过改变来自目标物体的光线的传播方向,向第二图像传感组件传播第四光线。
进一步,可选地,第二光学镜头组件和第三光学镜头组件均可能会将眩光(例如路面反射的眩光)也传播进摄像头模组内。
在一种可能的实现方式中,第二光学镜头组件的光圈数(即F数)大于第三光学镜头组件的光圈数。也可以理解为,来自目标物体的光线经由第二光学镜头组件传播后的第三光线的强度小于经由第三光学镜头组件传播的第四光线的强度。换言之,第三光线的强度小于第四光线的强度。应理解,光圈数小,通光量大,有利于暗弱光线成像;光圈数大,通光量小,有利于高亮光线成像。
在一种可能的实现方式中,可通过第二光学镜头组件的光圈数与第三光学镜头组件的光圈数,以改变第三光线与第四光线的强度的比值。例如,第三光线和第四光线的强度的比可以为2:8;再比如,第三光线和第四光线的强度的比为1:9;再比如,第三光线和第四光线的强度的比为4:6。也可以理解为,第一图像传感组件接收到的第三光线的强度小于第二图像传感组件接收到的第四光线的强度。
在一种可能的实现方式中,第二光学镜头组件与第三光学镜头组件可均为固定光圈的光学镜头组件,其中,第二光学镜头组件为小光圈光学镜头组件,第三光学镜头组件为大光圈光学镜头组件。
在另一种可能的实现方式中,第二光学镜头组件与第三光学镜头组件均为可调光圈的光学镜头组件,可调节第二光学镜头组件的光圈数大于第三光学镜头组件的光圈数。
通过第二光学镜头组件与第三光学镜头组件,摄像头模组可以实现双通道成像,不同通道的通光量可通过对应的光学镜头组件的光圈控制。光圈数大的第二光学镜头组件配合高分辨率的第一图像传感组件,光圈数小的第三光学镜头组件配合低分辨率的第二图像传感组件,从而有助于提升摄像头模组的动态范围。
进一步,可选地,第二光学镜头组件与第三光学镜头组件的焦距相同。如此,可使得通过第二光学镜头组件的第三光线与通过第三光学镜头组件的第四光线汇聚于相同的平面,从而可使得第一图像传感组件与第二图像传感组件设置于相同的基板上(请参阅下述图11),进而有助于简化摄像头模组的装配。基于此,实施例二的摄像头模组可应用于定焦成像场景中。
在一种可能的实现方式中,第二光学镜头组件与第三光学镜头组件的像面圆相同,从而可使得第一图像传感组件和第二图像传感组件用于成像的有效区域是一致的。
需要说明的是,第二光学镜头组件和第三光学镜头组件的结构可参见前述第一光学镜头组件的描述,此处不再重复赘述。另外,第二光学镜头组件与第三光学镜头组件的结构可以相同,也可以不同,本申请对此不做限定。
进一步,可选地,为了尽量减小摄像头模组的高度,第二光学镜头组件和/或第三光学镜头组件中的光学镜片在摄像头模组的高度方向上可做切割。
七、第一图像传感组件和第二图像传感组件
在一种可能的实现方式中,第一图像传感组件用于对接收到的第三光线进行光电转换,得到第四图像的信息;第二图像传感组件用于对接收到的第四光线进行光电转换,得到第五图像的信息;其中,第四图像的信息和第五图像的信息用于形成目标物体的图像。
关于第一图像传感组件与第二图像传感组件的介绍可参见前述相关描述,此处不再重复赘述。具体地,可将第一光线用第三光线替换,将第二光线用第四光线替换,第一图像的信息用第四图像的信息替换,第二图像的信息用第五图像的信息替换,第三图像的信息用第六图像的信息替换等。
该实施例二中的摄像头模组还可包括第二偏振片。进一步,可选地,摄像头模组还可包括第二处理组件。下面分别对第二偏振片和第二处理组件进行介绍。
八、第二偏振片
第二偏振片位于第二光学镜头组件与第一图像传感组件之间(可参见下述图11)。第二偏振片用于允许第三光线中与第二偏振片的偏振方向平行的光线通过,通过第二偏振片的第三光线汇聚于第一图像传感组件。也可以理解为,第二偏振片允许第三光线中与第二偏振片的偏振方向平行部分的光线通过,其余部分被滤除。如此,可进一步降低射入第一图像传感组件的第三光线的强度,从而可进一步降低第一图像传感组件对亮光的过曝,进而有助于进一步提高摄像头模组的动态范围。需要说明的是,通过第二偏振片的第三光线为射入第二偏振片的第三光线中的一部分(即第三光线中平行于第二偏振片的偏振方向的部分)。
进一步,可选地,第二偏振片的偏振方向垂直于经由第二光学镜头组件传播过来的眩光的主偏振方向,通过在高分辨率的第一图像传感组件的光路引入第二偏振片,并设计第二偏振片的偏振方向垂直于接收到的眩光的主偏振方向,可以消除或减弱进入高分辨率的第一图像传感组件的眩光(具体原理可结合眩光的偏振态及前述图2的描述),从而可获得消眩光且高动态范围的图像。
结合上述图7,以第一图像传感组件的分辨率为8M、第二图像传感组件的分辨率为2M为例,以第一光线与第二光线的强度的比值为2:8为例。表4示例性地的示出了基于实施例二的摄像头模组的动态范围与基于现有技术中摄像头模组的动态范围的关系。
表4基于实施例二的摄像头模组与基于现有技术的摄像头模组的动态范围关系
当摄像头模组还包括第二偏振片时,结合上述表4,类似于上述表1的分析,第一图像传感组件对高亮目标的防过曝能力提升了2倍,第二图像传感组件的对暗弱目标的低照能力提升了4倍,摄像头模组的动态范围为10log8。
进一步,可选地,第三光线与第四光线的强度的比值与动态范围的提升效果关系可参见上述表3,此处不再重复赘述。
九、第二处理组件
在一种可能的实现方式中,第二处理组件可接收来自第一图像传感组件的第四图像的信息、以及接收来自第二图像传感组件的第五图像的信息,并根据第四图像的信息和第五图像的信息,得到目标物体的图像。具体地,第二处理组件用于对第五图像的信息进行上采样,得到第六图像的信息,第六图像的信息对应的第六图像的分辨率与第四图像的信息对应的第四图像的分辨率相同;融合第四图像的信息和第六图像的信息,得到目标物体的图像。
此处,第二处理组件的可能的示例可参见第一处理组件的介绍,此处不再重复赘述。
需要说明的是,上述实施例二的摄像头模组还可以包括红外线(infraredradiation,IR)滤光片,该IR滤光片可位于第二光学镜头组件与第一图像传感组件之间,和/或,第三光学镜头组件与第二图像传感组件之间。IR滤光片的介绍可参见前述相关描述,此处不再重复赘述。
基于上述内容,下面结合具体的硬件结构,给出上述实施例二中摄像头模组的一种具体实现方式。以便于进一步理解上述摄像头模组的结构及目标物体的图像的形成过程。
如图11所示,为本申请提供的另一种摄像头模组的结构示意图。该摄像头模组可包括第二光学镜头组件、第三光学镜头组件、第一图像传感组件、第二图像传感组件、位于第二光学镜头组件与第一图像传感组件之间的第二偏振片以及第二处理组件。其中,第一图像传感组件以上述图7中的(a)为例,第二图像传感组件以上述图7中的(b)为例。该示例中第二光学镜头组件和第三光学镜头组件可用一个透镜表示,具体的结构可参见前述第一光学透镜组件的介绍。
关于第二光学镜头组件、第三光学镜头组件、第一图像传感组件、第二图像传感组件、第而偏振片以及第二处理组件的可能的实现方式可分别参见前述相关描述,此处不再重复赘述。
基于图11所示的摄像头模组,来自目标物体的光线通过第二光学镜头组件得到第三光线,第三光线被传播至第一图像传感组件;来自目标物体的光线通过第三光学镜头组件得到第四光线,第四光线被传播至第二偏振片,经第二偏振片后传播至第二图像传感组件。第一图像传感组件将第三光线转换为第四电信号(即第四图像的信息),第二图像传感组件将第四光线变为第五电信号(第五图像的信息),第四电信号可再经A/D后变为第三数字图像信号,第五电信号可再经A/D后变为第四数字图像信号,第三数字图像信号和第四数字图像信号均传输至ISP中进行加工处理(例如融合),得到特定格式的目标物体的图像。进一步,可选地,可由ISP将目标物体的图像传输到显示屏上进行显示。
基于上述描述的摄像头模组的结构和功能原理,本申请还可以提供一种终端设备。该终端设备可以包括上述实施例一中的摄像头模组或者也可包括上述实施例二中的摄像头模组。进一步,可选地,终端设备还可包括存储器和处理器,存储器用于存储程序或指令;处理器用于调用程序或指令控制上述摄像头模组获取目标物体的图像。可以理解的是,该终端设备还可以包括其他器件,例如无线通信装置、触摸屏和显示屏等。
如图12所示,为本申请提供的一种终端设备的结构示意图。该终端设备1200可包括处理器1201、存储器1202、摄像头模组1203和显示屏1204等。应理解,图12所示的硬件结构仅是一个示例。本申请所适用的终端设备可以具有比图12中所示终端设备更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图12中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
其中,处理器1201可以包括一个或多个处理单元。例如:处理器1201可以包括应用处理器1201(application processor,AP)、图形处理器1201(graphics processing unit,GPU)、图像信号处理器1201(image signal processor,ISP)、控制器、数字信号处理器1201(digital signal processor,DSP)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器1201中。
存储器1202可以是随机存取存储器(random access memory,RAM)、闪存、只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electricallyEPROM,EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储器1202耦合至处理器1201,从而使处理器1201能够从该存储器1202读取信息,且可向该存储器1202写入信息。当然,存储器1202也可以是处理器1201的组成部分。当然,处理器1201和存储器1202也可以作为分立组件存在于终端设备中。
摄像头模组1203可以用于捕获动、静态图像等。在一些实施例中,终端设备可以包括一个或N个摄像头模组1203,N为正整数。摄像头模组1203的介绍可参见前述实施例的描述,此处不再重复赘述。
当摄像头模组1203应用为车载摄像头模组时,基于车载摄像头模组的功能,可分为行车辅助类摄像头模组、驻车辅助类摄像头模组与车内驾驶员监控摄像头模组。行车辅助类摄像头模组用于行车记录、车道偏离预警、开门预警,盲区监测及交通标示识别等。行车辅助类摄像头模组包括智能前视(如单目/双目/三目),可用于动态物体检测(车辆、行人)、静态物体检测(交通信号灯、交通标志、车道线等)和可通行空间划分等;侧视辅助(如广角),用于行车过程中监测后视镜盲区内的动态目标;夜视辅助(如夜视摄像头),可用于夜间或其他光线较差的情况下更好的实现目标物体的检测。驻车辅助类摄像头模组可用于倒车影像/360°环视,360°环视(如广角/鱼眼),主要用于低速近距离感知,可形成一幅车辆四周无缝隙的360度全景俯视图。车内驾驶员监控摄像头模组,主要针对驾驶员的疲劳、分神、不规范驾驶等危险情况进行一层或多层预警。基于车载摄像头模组在终端设备中的安装位置不同,可分为前视摄像头模组、侧视摄像头模组、后视摄像头模组和内置摄像头模组。
显示屏1204可以用于显示图像、视频等。显示屏1204可以包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED)、柔性发光二极管(flex light-emitting diode,FLED)、Miniled、MicroLed、Micro-oLed、量子点发光二极管(quantum dotlight emitting diodes,QLED)等。在一些实施例中,终端设备可以包括1个或Q个显示屏1204,Q为大于1的正整数。示例的,终端设备可以通过GPU、显示屏1204、以及处理器1201等实现显示功能。
示例性地,终端设备例如可以是车辆、智能手机、智能家居设备、智能制造设备、机器人、无人机或智能运输设备(如AGV或者无人运输车等)等。
基于上述内容和相同的构思,本申请提供一种成像方法,请参阅图13的介绍。该成像方法可应用于上述实施例一所示的任一摄像头模组。也可以理解为,可以基于上述实施例一所示的任一摄像头模组来实现该成像方法。
如图13所示,该成像方法包括以下步骤:
步骤1301,接收来自目标物体的光线。
该步骤1301可由第一光学镜头组件实现,可能可参见前述第一光学镜头组件接收来自目标物体的光线的介绍,此处不再重复赘述。
步骤1302,对目标物体的光线进行分光,得到第一光线和第二光线,并向第一图像传感组件传播第一光线,向第二图像传感组件传播第二光线。
此处,第一光线与第二光线的强度的比值小于1。
该步骤1302可由分光组件实现,可能的实现方式可参见前述相关描述,此处不再重复赘述。
在一种可能的实现方式中,对第一光线进行光电转换,得到第一图像的信息;对第二光线进行光电转换,得到第二图像的信息;根据第一图像的信息和第二图像的信息,生成目标物体的图像。进一步,可选地,可对第二图像的信息进行上采样,得到第三图像的信息,融合第一图像的信息与第三图像的信息,得到目标物体的图像,其中,第三图像的信息对应的第三图像与第一图像的信息对应的第一图像的分辨率相同。该过程可由第一处理组件实现,可能的实现方式可参见前述第一处理组件的相关描述,此处不再重复赘述。
基于上述内容和相同的构思,本申请提供一种成像方法,请参阅图14的介绍。该成像方法可应用于上述实施例二所示的任一摄像头模组。也可以理解为,可以基于上述实施例二所示的任一摄像头模组来实现该成像方法。
如图14所示,该成像方法包括以下步骤:
步骤1401,接收来自目标物体的光线。
步骤1402,向第一图像传感组件传播第三光线,向第二图像传感组件传播第四光线。
该步骤1401和步骤1402均可由第二光学镜头组件和第三光学镜头组件实现,可能的实现方式可参见前述第二光学镜头组件和第三光学镜头组件的介绍,此处不再重复赘述。
在一种可能的实现方式中,可对接收到的第三光线进行光电转换,得到第四图像的信息;对接收到的第四光线进行光电转换,得到第五图像的信息;并根据第四图像的信息和第五图像的信息,得到目标物体的图像。具体地,对第五图像的信息进行上采样,得到第六图像的信息,融合第四图像的信息和第六图像的信息,得到目标物体的图像,其中,第六图像的信息对应的第六图像的分辨率与第四图像的信息对应的第四图像的分辨率相同。该过程可由第二处理组件实现,可能的实现方式可参见前述第二处理组件的相关描述,此处不再重复赘述。
需要说明的是,上述成像方法可应用于车联网,如车辆外联(vehicle toeverything,V2X)、车间通信长期演进技术(long term evolution-vehicle,LTE-V)、车辆-车辆(vehicle to everything,V2V)等。
本申请的实施例中的方法中部分步骤可以通过硬件的方式来实现,也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于随机存取存储器(random access memory,RAM)、闪存、只读存储器(read-onlymemory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于网络设备或终端设备中。当然,处理器和存储介质也可以作为分立组件存在。
在本申请的各个实施例中,如果没有特殊说明以及逻辑冲突,不同的实施例之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
本申请中,“垂直”不是指绝对的垂直,可以允许有一定的误差。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。在本申请的文字描述中,字符“/”,一般表示前后关联对象是一种“或”的关系。在本申请的公式中,字符“/”,表示前后关联对象是一种“相除”的关系。另外,在本申请中,“示例性地”一词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。或者可理解为,使用示例的一词旨在以具体方式呈现概念,并不对本申请构成限定。
可以理解的是,在本申请中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本申请的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定。术语“第一”、“第二”等类似表述,是用于分区别类似的对象,而不必用于描述特定的顺序或先后次序。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的方案进行示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (15)
1.一种摄像头模组,其特征在于,包括第一光学镜头组件、分光组件、第一图像传感组件和第二图像传感组件,所述第一图像传感组件与所述第二图像传感组件的感光面积相同,所述第一图像传感组件的分辨率大于所述第二图像传感组件的分辨率;
所述第一光学镜头组件,用于接收来自目标物体的光线;
所述分光组件,用于对经由所述第一光学镜头组件传播的光线进行分光,得到第一光线和第二光线,并向所述第一图像传感组件传播所述第一光线,向所述第二图像传感组件传播所述第二光线。
2.如权利要求1所述的摄像头模组,其特征在于,所述摄像头模组还包括位于所述分光组件与所述第一图像传感组件之间的第一偏振片。
3.如权利要求2所述的摄像头模组,其特征在于,所述第一偏振片的偏振方向垂直于经由所述第一光学镜头组件传播的眩光的主偏振方向。
4.如权利要求1至3任一项所述的摄像头模组,其特征在于,所述第一光线与所述第二光线的强度的比值小于1。
5.如权利要求1至4任一项所述的摄像头模组,其特征在于,所述第一图像传感组件,用于对接收到的所述第一光线进行光电转换,得到第一图像的信息;
所述第二图像传感组件,用于对接收到的所述第二光线进行光电转换,得到第二图像的信息;
其中,所述第一图像的信息和所述第二图像的信息用于形成所述目标物体的图像。
6.如权利要求1至5任一项所述的摄像头模组,其特征在于,所述摄像头模组还包括第一处理组件,用于:
接收来自所述第一图像传感组件的所述第一图像的信息、以及接收来自所述第二图像传感组件的所述第二图像的信息;
根据所述第一图像的信息和所述第二图像的信息,生成所述目标物体的图像。
7.如权利要求6所述的摄像头模组,其特征在于,所述第一处理组件,用于:
对所述第二图像的信息进行上采样,得到第三图像的信息,所述第三图像的信息对应的第三图像的分辨率与所述第一图像的信息对应的第一图像的分辨率相同;
融合所述第一图像的信息与所述第三图像的信息,得到所述目标物体的图像。
8.一种终端设备,其特征在于,包括如权利要求1至7任一项所述的摄像头模组。
9.如权利要求8所述的终端设备,其特征在于,所述终端设备包括以下任一项:
智能手机、车辆、智能家居设备、智能制造设备、机器人、无人机、测绘设备或智能运输设备。
10.一种成像方法,其特征在于,应用于摄像头模组,所述摄像头模组包括第一图像传感组件和第二图像传感组件,所述第一图像传感组件与所述第二图像传感组件的感光面积相同,所述第一图像传感组件的分辨率大于所述第二图像传感组件的分辨率;
接收来自目标物体的光线;
对所述目标物体的光线进行分光,得到第一光线和第二光线,并向所述第一图像传感组件传播所述第一光线,向所述第二图像传感组件传播所述第二光线。
11.如权利要求10所述的方法,其特征在于,所述摄像头模组还包括位于所述分光组件与所述第一图像传感组件之间的第一偏振片。
12.如权利要求11所述的方法,其特征在于,所述第一偏振片的偏振方向垂直于经由所述第一光学镜头组件传播的眩光的主偏振方向。
13.如权利要求10至12任一项所述的方法,其特征在于,所述第一光线与所述第二光线的强度的比值小于1。
14.如权利要求10至13任一项所述的方法,其特征在于,所述方法还包括:
对所述第一光线进行光电转换,得到第一图像的信息;
对所述第二光线进行光电转换,得到第二图像的信息;
根据所述第一图像的信息和所述第二图像的信息,生成所述目标物体的图像。
15.如权利要求14所述的方法,其特征在于,所述根据所述第一图像的信息和所述第二图像的信息,生成所述目标物体的图像,包括:
对所述第二图像的信息进行上采样,得到第三图像的信息,所述第三图像的信息对应的第三图像的分辨率与所述第一图像的信息对应的第一图像的分辨率相同;
融合所述第一图像的信息与所述第三图像的信息,得到所述目标物体的图像。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110311311.XA CN115134480A (zh) | 2021-03-24 | 2021-03-24 | 一种摄像头模组、终端设备及成像方法 |
PCT/CN2022/080768 WO2022199416A1 (zh) | 2021-03-24 | 2022-03-14 | 一种摄像头模组、终端设备及成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110311311.XA CN115134480A (zh) | 2021-03-24 | 2021-03-24 | 一种摄像头模组、终端设备及成像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115134480A true CN115134480A (zh) | 2022-09-30 |
Family
ID=83374209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110311311.XA Pending CN115134480A (zh) | 2021-03-24 | 2021-03-24 | 一种摄像头模组、终端设备及成像方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115134480A (zh) |
WO (1) | WO2022199416A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11499870B2 (en) * | 2014-09-11 | 2022-11-15 | Bruker Nano, Inc. | Imaging spectropolarimeter |
CN107563971A (zh) * | 2017-08-12 | 2018-01-09 | 四川精视科技有限公司 | 一种真彩高清夜视成像方法 |
CN111198445B (zh) * | 2018-11-16 | 2021-10-01 | 华为技术有限公司 | 一种分光偏振成像的设备和方法 |
CN111756969A (zh) * | 2020-06-16 | 2020-10-09 | RealMe重庆移动通信有限公司 | 光学模组及电子设备 |
CN111726493A (zh) * | 2020-06-17 | 2020-09-29 | Oppo广东移动通信有限公司 | 摄像头模组及终端设备 |
-
2021
- 2021-03-24 CN CN202110311311.XA patent/CN115134480A/zh active Pending
-
2022
- 2022-03-14 WO PCT/CN2022/080768 patent/WO2022199416A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022199416A1 (zh) | 2022-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10564267B2 (en) | High dynamic range imaging of environment with a high intensity reflecting/transmitting source | |
US20190351842A1 (en) | In-vehicle camera and vehicle control system | |
US9317754B2 (en) | Object identifying apparatus, moving body control apparatus, and information providing apparatus | |
US9304301B2 (en) | Camera hardware design for dynamic rearview mirror | |
US10960829B2 (en) | Movable carrier auxiliary system and control method thereof | |
CN108461045B (zh) | 显示装置及其制造方法 | |
CN110365878B (zh) | 一种摄像装置和方法 | |
US20180137629A1 (en) | Processing apparatus, imaging apparatus and automatic control system | |
CN107493408A (zh) | 日光眩光减弱系统 | |
CN107407855B (zh) | 车载摄像机 | |
JP2020056839A (ja) | 撮像装置 | |
CN115989678A (zh) | 用于广角成像的多相机系统 | |
JP2020057869A (ja) | 撮像装置 | |
JP2021509556A (ja) | 低光および高光レベル撮像用の単一光学部品 | |
US9197819B2 (en) | Exposure-suppressing imaging system | |
CN105719488A (zh) | 车牌的识别方法、装置以及用于车牌识别的摄像机、系统 | |
US11082630B2 (en) | Vehicular vision system using adaptive mask at camera | |
WO2022199416A1 (zh) | 一种摄像头模组、终端设备及成像方法 | |
KR102552490B1 (ko) | 차량용 영상 처리 장치 및 방법 | |
CN116953898A (zh) | 一种光学成像模组、光学成像系统及终端设备 | |
KR101639685B1 (ko) | 카메라용 액티브 필터 장치 및 그 액티브 필터링 방법 | |
CN111258166B (zh) | 摄像模组及其潜望式摄像模组和图像获取方法及工作方法 | |
US20210105412A1 (en) | Image sensor with pixelated cutoff filter for phase detection autofocus | |
JP2001318398A (ja) | 車両周辺視認装置 | |
JP2015194388A (ja) | 撮像装置および撮像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |