CN110460783A - 阵列摄像模组及其图像处理系统、图像处理方法和电子设备 - Google Patents

阵列摄像模组及其图像处理系统、图像处理方法和电子设备 Download PDF

Info

Publication number
CN110460783A
CN110460783A CN201810429494.3A CN201810429494A CN110460783A CN 110460783 A CN110460783 A CN 110460783A CN 201810429494 A CN201810429494 A CN 201810429494A CN 110460783 A CN110460783 A CN 110460783A
Authority
CN
China
Prior art keywords
image information
camera module
information
image
sensitive chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810429494.3A
Other languages
English (en)
Other versions
CN110460783B (zh
Inventor
陈振宇
孙鑫翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Sunny Opotech Co Ltd
Original Assignee
Ningbo Sunny Opotech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Sunny Opotech Co Ltd filed Critical Ningbo Sunny Opotech Co Ltd
Priority to CN201810429494.3A priority Critical patent/CN110460783B/zh
Publication of CN110460783A publication Critical patent/CN110460783A/zh
Application granted granted Critical
Publication of CN110460783B publication Critical patent/CN110460783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Abstract

阵列摄像模组及其图像处理系统、图像处理方法和电子设备，其中，所述图像处理方法包括步骤：藉由一第一摄像模组在一固定视场角FOV1下，获取一被测目标的一第一图像信息，其中，所述第一摄像模组为一定焦摄像模组，及所述第一摄像模组的一第一感光芯片为一黑白感光芯片；藉由一第二摄像模组在一特定视场角FOV2下，获取该被测目标的一第二图像信息，其中所述第二摄像模组为一变焦摄像模组，及所述第二摄像模组的一第二感光芯片为一彩色感光芯片；以及，根据视场角FOV1与视场角FOV2的相对关系，融合所述第一图像信息和所述第二图像信息以生成一第三图像信息。

Description

阵列摄像模组及其图像处理系统、图像处理方法和电子设备
技术领域
本发明涉及一摄像模组领域，尤其涉及一阵列摄像模组及其图像处理系统、图像处理方法和电子设备。
背景技术
随着科技的进步和经济的发展，人们对于便携式电子设备的摄像功能要求越来越高，例如平板电脑，摄像机，智能手机等。在此趋势下，阵列摄像模组应运而生。顾名思义，阵列摄像模组包括两个或以上摄像模组，相较于传统的单摄摄像模组，通过两个或以上摄像模组之间的配合并利用相关图像处理算法，可以实现诸多特色的功能。常见的阵列摄像模组包括：通过两种焦距不同的摄像模组并利用相应的图像处理算法实现“光学变焦”的效果，或利用两种具有不同感光芯片(彩色感光芯片和黑白感光芯片)的摄像模组并利用相应的图像处理算法提高暗态拍摄性能等。
更具体地说，现有的具有“光学变焦”功能的阵列摄像模组，其包括两颗焦距不同的摄像模组，分别为一广角摄像模组(等效焦距小，视场角大)和一长焦摄像模组(焦距大，市场角小)。广角摄像模组取景范围更宽更广，但很难拍摄清楚远处物体，长焦摄像模组取景范围比较窄，但能够拍摄到相对更远的物体，从而可藉由广角和长焦摄像模组拍摄性能的互补并结合后台的图像处理算法，实现“光学变焦”的特殊成像性能，即，利用该具有“光学变焦”功能的阵列摄像模组所拍摄的图像具有较佳的细节表现能力。
然而，由于该具有“光学变焦”功能的阵列摄像模组需采用高度尺寸较大的长焦摄像模组，导致该阵列摄像模组的整体产品高度难以降低。也就是说，现有的该具有“光学变焦”功能的阵列摄像模组在体型尺寸和特殊成像之间必须做二选一的抉择，即，不得不选择牺牲体型尺寸才能获得该“光学变焦”的成像效果。然而，随着电子设备朝着薄型化的趋势发展，对于阵列摄像模组的体型尺寸需求的优先级必然会越来越高。无疑地，牺牲体型尺寸而保全特殊成像效果的阵列摄像模组的应用会受到极大阻碍。
进一步地，现有的该具有“光学变焦”功能的阵列摄像模组，其长焦摄像模组和广角摄像模组对应的感光芯片皆为彩色感光芯片。在图像采集的过程中，长焦摄像模组由于自身高度限制，其进光量不足，再加上彩色感光芯片的感光能力相对较弱，导致长焦摄像模组所采集的彩色图像发暗。这一缺陷，在环境光线比较的情况下，越发明显。也就是说，现有的该具有“光学变焦”功能的阵列摄像模组对拍摄环境的光照要求较高，具有较大的环境依赖性
受限于彩色感光芯片的成像特性，其所采集的图像在图像细节部分，例如边缘，轮廓，纹理等方面，具有相对较差的表现力。通常，在图像主体边缘过渡部分会发生模糊出现颜色异常，例如颜色溢出等，导致后续合成的图像在图像细节处表现不佳。其次，彩色感光芯片由于颜色滤镜的存在导致其分辨力不佳，极小间距之间的物体比如接近像素级的线对便无法分辨，大像素级别的彩色感光芯片，例如1200W，的分辨能力实际上与300w彩色感光芯片的分辨率相当。
此外，另一种现有的利用两种具有不同感光芯片(彩色感光芯片和黑白感光芯片)的阵列摄像模组，其包括一黑白感光芯片，利用黑白感光芯片的成像特性使得该阵列摄像模组具有相对较优的暗态拍摄能力和图像细节表现能力。
然而，此类阵列摄像模组，在后期图像处理的过程中，黑白感光芯片所采集的图像信息用于补充彩色感光芯片所采集的图像的亮度信息。这样的图像处理方法需要黑白感光芯片和彩色感光芯片皆具有相对较高的像素数量，导致黑白感光芯片，彩色感光芯片及该阵列摄像模组的整体尺寸皆较大。也就是说，受限于图像处理方法的局限，现有的具有两种不同感光芯片的阵列摄像模组在体型尺寸和特殊成像功能同样难以做到两全其美。其次，由于图像合成方法不够优化，该阵列摄像模组所拍摄的图像在图像细节处分辨率不够高，图像中相邻几种颜色之间的过渡效果不好，尤其是图像放大2倍以上后，主体边缘部分过渡模糊并没有得到有效改善。
综上所述，对于阵列摄像模组而言，其硬件配置(例如感光芯片的配置、摄像模组的视场角等)和软件配置(图像处理算法)皆会对该阵列摄像模组的性能造成巨大的影响。因此，对于一种能够在体型尺寸和特殊成像功能之间取得相对较为两全其美的阵列摄像模组的需求是强烈的。
发明内容
本发明的主要目的在于提供一阵列摄像模组及其图像处理系统、图像处理方法和电子设备，其中，所述阵列摄像模组包括一第一摄像模组和一第二摄像模组，所述第一摄像模组为一定焦摄像模组和所述第二摄像模组为变焦摄像模组，以通过所述第二摄像模组的等效焦距f2的变化为该阵列摄像模组提供更多硬件配置组合的可能，从而使得所述阵列摄像模组多样的特殊成像功能。
本发明的另一目的在于提供一阵列摄像模组及其图像处理系统、图像处理方法和电子设备，其中，所述第一摄像模组所对应的一第一感光芯片为一黑白感光芯片，所述第二摄像模组所对应的一第二感光芯片为一彩色感光芯片。
本发明的另一目的在于提供一阵列摄像模组及其图像处理系统、图像处理方法和电子设备，其中，所述第二摄像模组的所述彩色感光芯片被设置仅用于采集一被测目标的彩色信息，从而所述第二摄像模组的所述彩色感光芯片的像素数量不再成为限制。也就是说，相较于现有阵列摄像模组的彩色感光芯片，所述第二摄像模组的所述彩色芯片的像素数量可被缩减，以使得所述彩色感光芯片的尺寸可被缩减和所述第二摄像模组的一第二光学镜头可更为邻近地安装于所述彩色感光芯片的顶侧以使得所述第二摄像模组的整体尺寸可被缩减。
本发明的另一目的在于提供一阵列摄像模组及其图像处理系统、图像处理方法和电子设备，其中，在工作过程中，所述第一摄像模组的所述黑白感光芯片被设置仅用于采集一被测目标的亮度信息，相较于彩色感光芯片，所述黑白感光芯片的单位像素尺寸可被缩减，从而在满足同等像素数量要求的前提下，所述黑白感光芯片的尺寸可被缩减，从而所述第一摄像模组的一第一光学镜头可更为邻近地安装于所述黑白感光芯片的顶侧以使得所述第一摄像模组的整体尺寸可被缩减。
本发明的另一目的在于提供一阵列摄像模组及其图像处理系统、图像处理方法和电子设备，其中，所述图像处理系统配合所述第一摄像模组和所述第二摄像模组的所采集的图像特征，使得最终合成的图像效果具有相对较优的细节表现能力和更为自然的颜色过渡。
本发明的另一目的在于提供一阵列摄像模组及其图像处理系统、图像处理方法和电子设备，其中，所述图像处理系统能够配合所述第一摄像模组和所述第二摄像模组不同的硬件配置，实现不同的特殊成像功能。
本发明的另一目的在于提供一阵列摄像模组及其图像处理系统、图像处理方法和电子设备，其中，所述第一摄像模组的所述黑白感光芯片的像素密度高于或等于所述第二摄像模组的所述彩色感光芯片的像素密度，以利于提高最终合成图像的细节表现能力和明暗对比度。
本发明的另一目的在于提供一阵列摄像模组及其图像处理系统、图像处理方法和电子设备，其中所述阵列摄像模组能在成像性能和体型尺寸方面取得相对较优的平衡，以扩展所述阵列摄像模组的应用价值。
通过下面的描述，本发明的其它优势和特征将会变得显而易见，并可以通过权利要求书中特别指出的手段和组合得到实现。
依本发明，前述以及其它目的和优势可以通过一阵列摄像模组被实现，其包括：
一第一摄像模组；
一第二摄像模组；和
一电路板，所述第一摄像模组和所述第二摄像模组分别电连接于所述电路板，其中，所述第一摄像模组为定焦摄像模组和所述第二摄像模组为变焦摄像模组，其中，所述第一摄像模组包括一第一感光芯片和对应于所述第一感光芯片的一第一光学镜头，其中，所述第二摄像模组包括一第二感光芯片和对应于所述第二感光芯片的一第二光学镜头，其中，所述第一感光芯片为一黑白感光芯片和所述第二感光芯片为一彩色感光芯片。
在本发明的一实施例中，所述第二摄像模组的所述彩色感光芯片被设置仅用于采集一被测目标的彩色信息，从而所述彩色感光芯片的像素数量相对可被缩减，以使得所述第二光学镜头可相对更为邻近地安装于所述第二感光芯片的顶侧。
在本发明的一实施例中，所述第一摄像模组的所述黑白感光芯片的单位像素尺寸可被设置小于彩色感光芯片的单位像素尺寸，从而在同等像素数量要求下，所述第一感光芯片的尺寸可相对被减小，以使得所述第一光学镜头可相对更为邻近地安装于所述第一感光芯片的顶侧。
在本发明的一实施例中，所述黑白感光芯片的单位像素尺寸被设置小于1.0um*1.0um。
在本发明的一实施例中，所述第一摄像模组的所述第一感光芯片的像素数量不低于所述第二摄像模组的所述第二感光芯片的像素数量。
根据本发明的另一方面，本发明还提供了一图像处理方法，其包括步骤：
S1藉由一第一摄像模组在一固定视场角FOV1下，获取一被测目标的一第一图像信息；
S2藉由一第二摄像模组在一特定视场角FOV2下，获取该被测目标的一第二图像信息；和
S3根据视场角FOV1与视场角FOV2的相对关系，融合所述第一图像信息和所述第二图像信息并生成一第三图像信息。
根据本发明的另一方面，本发明还提供了一图像处理系统，其包括：
一彩色信息提取模块；
一格式转化模块；
一识别提取模块；和
一融合模块，其中，所述彩色信息提取模块，所述格式转化模块、所述识别提取模块和所述融合模块相互可通信地连接，其中，所述彩色信息提取模块在接收到藉由一阵列摄像模组所采集一被测目标的的一第一图像信息和一第二图像信息之后，供处理所述第二图像信息以从所述第二图像信息获取该被测目标的一RGB图像信息，其中，所述格式转化模块供转化所述RGB图像信息至YUV图像信息，其中，所述识别提取模块供识别并提取所述第一图像信息中与所述RGB图像信息相重合的区域和识别并提取所述RGB图像信息中与所述第一图像信息相重合的区域，其中，所述融合模块融合所述第一图像信息和所述第二图像信息并生成一第三图像信息。
在本发明的一实施例中，所述图像处理系统，还包括一输出模块，其中所述输出模块供输出所述第三图像信息。
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
图1是根据本发明一第一较佳实施例的一阵列摄像模组的立体示意图。
图2是依据上述较佳实施例的所述阵列摄像模组的一剖面示意图。
图3示意的是当上述较佳实施例的所述阵列摄像模组的所述第二摄像模组的等效焦距发生变化时，所述第二摄像模组的视场角由FOV2变化至FOV2’的效果示意。
图4是依据上述较佳实施例的所述阵列摄像模组的所述第一摄像模组被实施为动焦摄像模组的横剖面示意图。
图5是依据本发明所提供的所述阵列摄像模组和一图像处理系统的工作过程的框图示意图及所述图像处理系统的框图示意图。
图6是依据本发明所提供的所述阵列摄像模组的一图像处理方法的框图示意图。
图7所示意的为本发明所提供的所述阵列摄像模组，在当所述第一摄像模组的视场角FOV1大于所述第二摄像模组的视场角FOV2时，的图像采集效果示意图。
图8所示意的为本发明所提供的所述阵列摄像模组，在当所述第一摄像模组的视场角FOV1等于所述第二摄像模组的视场角FOV2时，的图像采集效果示意图。
图9所示意的为本发明所提供的所述阵列摄像模组，在当所述第一摄像模组的视场角FOV1小于所述第二摄像模组的视场角FOV2时，的图像采集效果示意图。
图10是依据本发明所提供的所述图像处理方法的步骤S3的框图示意图。
图11是依据本发明所提供的所述图像处理方法的步骤S30的一框图示意图。
图12是依据本发明所提供的所述图像处理方法的步骤S30的另一框图示意图。
图13所示的为本发明所提供的所述图像处理方法的所述步骤S311的阵列像素与成像单元之间的对应关系之一的示例。
图14所示的为本发明所提供的所述图像处理方法的所述步骤S311中每一成像单元的RGB信息与对应阵列像素的对应求解关系。
图15所示的为本发明所提供的所述图像处理方法的所述步骤S311的阵列像素与成像单元之间的对应关系之二的示例。
图16所示的为本发明所提供的所述图像处理方法的所述步骤S311A的阵列像素与成像单元之间的对应关系的示例。
图17为当本发明所提供的所述阵列摄像模组被实施为共支架式阵列摄像模组的一立体示意图。
图18示意的是所述阵列摄像模组组装于一电子设备的立体示意图。
图19示意的是所述阵列摄像模组组装于一电子设备的另一立体示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一或多个”，即在一实施例中，一元件的数量可以为一，而在另外的实施例中，所述元件的数量可以为多个，术语“一”不能理解为对数量的限制。
如图1至如图3所示，依据本发明一第一较佳实施例的一阵列摄像模组被阐明，其中，所述阵列摄像模组包括一第一摄像模组10，一第二摄像模组20和一电路板30。所述第一摄像模组10和所述第二摄像模组20分别电连接于所述电路板30，以通过所述第一摄像模组10和所述第二摄像模组20之间的配合并结合与之配套的图像处理系统100实现诸如“光学变焦”、背景虚化、暗态拍摄等特殊成像功能。特别地，在本发明的该较佳实施例中，所述第一摄像模组10被实施为一定焦摄像模组，即，所述第一摄像模组10具有固定的等效焦距f1和固定的视场角FOV1，所述第二摄像模组20被实施为一变焦摄像模组，即，所述第二摄像模组20具有可调节的等效焦距f2和可调节的视场角FOV2。相应地，可通过调节所述第二摄像模组20的等效焦距f2使得所述阵列摄像模组具有不同的硬件配置组合，通过这样的方式，为后续图像处理系统100提供相对更为丰富的原始图像信息选择，为实现不同的特殊成像功能打下基础。
如前所述，现有的阵列摄像模组，无论是具有“光学变焦”功能的阵列摄像模组或具有两种不同感光芯片(彩色感光芯片和黑白感光芯片)的阵列摄像模组，其皆无法在体型尺寸和特殊成像功能之间取得相对完美的平衡，且受限于现有阵列摄像模组固定的硬件配置条件，最终成像效果也差强人意。相应地，本发明所提供的所述阵列摄像模组及其图像处理系统100致力于在体型尺寸和特殊成像功能两方面提供一相对较为完美的解决方案。
更具体地说，如图2所示，在本发明的该较佳实施中，所述第一摄像模组10包括一第一感光芯片11和一第一光学镜头12，其中，所述第一光学镜头12被保持于所述第一感光芯片11的感光路径，从而藉由所述第一光学镜头12所采集的被测目标的成像光线能沿着该感光路径并抵至所述第一感光芯片11，并于所述第一感光芯片11处发生成像反应以生成一第一图像信息。所述第二摄像模组20包括一第二感光芯片21和一第二光学镜头22，其中所述第二光学镜头22被保持于所述第二感光芯片21的感光能够，从而藉由所述第二光学镜头22所采集的被测目标的成像光线能沿着该感光路径并抵至所述第二感光芯片21，并于所述第二感光芯片21处发生成像反应以生成一第二图像信息
应注意的是，在本发明中，所述第一摄像模组10为定焦摄像模组，其定焦摄像模组的概念区别于现有技术中常用的定焦摄像模组的概念。更明确地，在现有技术中，定焦摄像模组通常指的是光学镜头和感光芯片之间的距离保持恒定的摄像模组，然而，在本发明中，所述定焦摄像模组指的是等效焦距保持恒定的摄像模组。也就是说，在本发明中，所述定焦摄像模组可被实施为传统意义上的定焦摄像模组，如图2所示，或者所述定焦摄像模组可被实施为一动焦摄像模组，如图4所示。
在本发明的该较佳实施例中，所述第二摄像模组20为变焦摄像模组。应领会的是，如图3所示，当所述第二光学镜头22的等效焦距发生变化时，所述第二摄像模组20的视场角FOV2也会发生相应变化，从而藉由所述第二摄像模组20所采集的所述第二图像信息中所包含该被测目标的成像内容也将发生相应变化。更明确地，当所述第二光学镜头22的等效焦距f2增大时，所述第二摄像模组20的视场角FOV2将会减小，从而所述第二摄像模组20的取景范围将变窄但能够拍摄到相对更远距离的该被测目标；当所述第二光学镜头22的等效焦距f1减小时，所述第二摄像模组20的视场角FOV2将会增大，从而所述第二摄像模组20的取景范围将变宽但却很难拍摄清楚相对较远距离处的该被测目标。通过这样的配置，可使得所述第一摄像模组10和所述第二摄像模组20所采集的所述第一图像信息和所述第二图像信息之间产生多样的配合可能性，从而为后续的图像处理提供更为丰富的原始数据。
本领域的技术人员都应知晓，在摄像模组领域，摄像模组的硬件配置和软件配置两者之间密不可分。因此，在解决所述阵列摄像模组的体型尺寸方面的问题时，需充分考虑所述阵列摄像模组的软件配置对所述阵列摄像模组硬件配置所创造的弹性调整空间。也就是说，在阐述所述阵列摄像模组硬件配置的技术特征之前，需充分了解所述阵列摄像模组所配置的图像处理系统100及其图像处理方法的技术特性。
如图6所示，依据本发明所提供的一图像处理方法被阐明，其包括步骤：
S1藉由一第一摄像模组10在一固定视场角FOV1下，获取一被测目标的一第一图像信息；
S2藉由一第二摄像模组20在一特定视场角FOV2下，获取该被测目标的一第二图像信息；和
S3根据视场角FOV1与视场角FOV2的相对关系，融合所述第一图像信息和所述第二图像信息以生成一第三图像信息。
特别地，在所述步骤S1中，所述第一图像信息为灰度图像信息。也就是说，本发明所提供的所述阵列摄像模组的所述图像处理方法需所述第一摄像模组10所提供的信息为：该被测目标的灰度图像信息，即被测目标的亮度信息。在所述步骤S2中，所述第二图像信息为彩色图像信息，即，本发明所提供的所述阵列摄像模组的所述图像处理方法需所述第二摄像模组20所提供的信息为：该被测目标的彩色图像信息，即该被测目标的彩色信息。也就是说，在本发明的该较佳实施例中，所述第一摄像模组10的所述第一感光芯片11为一黑白感光芯片110，所述第二摄像模组20的所述第二感光芯片21为一彩色感光芯片210，其中，所述第一摄像模组10的所述黑白感光芯片110供采集被测目标的亮度信息，所述第二摄像模组20的所述彩色感光芯片210供采集被测目标的彩色信息。
进一步地，在本发明所提供的所述图像处理方法中，所述第一图像信息(该被测目标的灰度信息)非用于补充所述第二图像信息(该被测目标的彩色信息)的亮度信息，而是将所述第一图像信息中该被测目标的灰度图像信息与所述第二图像信息中该被测目标的彩色信息相融合，以获得不同的特殊成像效果。
更具体地说，如图6所示，所述图像处理方法的所述步骤S3，还包括步骤：
S31根据视场角FOV1与视场角FOV2的相对关系，识别并提取所述第一图像信息中与所述第二图像信息中相重合的区域；
S32根据视场角FOV1与视场角FOV2的相对关系，识别并提取所述第二图像信息中与所述第一图像信息相重合的区域；和
S33融合所述第一图像信息中与所述第一图像信息相重合的区域和所述第二图像信息中与所述第一图像信息相重合的区域，以生成一第一融合图像信息。
从上述步骤S31至S33可观察到，所述第一融合图像信息融合了所述第一图像信息(该被测目标的灰度图像信息)和所述第二图像信息(该被测目标的彩色图像信息)相互重合的区域。因此，所述第一融合图像综合了所述第一图像信息具有较佳明暗对比度，细节分辨率的特性和所述第二图像所提供的彩色信息。从视角效果上来看，所述第一融合图像信息具有良好的成像性能：具有较佳的明暗对比度，细节表现能力较强，具有色彩信息。
此外，应注意的是，在具体执行所述步骤S3的过程中，所述第一摄像模组10的视场角FOV1和所述第二摄像模组20的视场角之间的相对关系会影响最终图像融合的效果。也就是说，在本发明中，将所述第二摄像模组20实施为一变焦摄像模组的技术方案为后续的图像处理提供了更多的可能。
更具体地说，如图8所示，当所述第一摄像模组10的视场角FOV1等于所述第二摄像模组20的视场角FOV2时，所述第一图像信息与所述第二图像信息相重合的区域为整个所述第一图像信息，及所述第二图像信息中与所述第一图像信息相重合的区域为整个所述第二图像信息。此时，所述图像处理方法可选择输出所述第一融合图像信息，即，所述第一融合图像信息为所述第三图像信息。
相应地，如图7所示，当所述第一摄像模组10的视场角FOV1大于所述第二摄像模组20的视场角FOV2，所述第一图像信息与所述第二图像信息相重合的区域为所述第一图像信息的一部分，及所述第二图像信息中与所述第一图像信息相重合的区域为整个所述第二图像信息。此时，所述图像处理方法可选择输出所述第一融合图像信息，即，所述第一融合图像信息为所述第三图像信息。
相应地，如图9所示，当所述第一摄像模组10的视场角FOV1小于所述第二摄像模组20的视场角FOV2，所述第一图像信息与所述第二图像信息相重合的区域为整个所述第一图像信息，及所述第二图像信息与所述第一图像信息相重合的区域为所述第二图像信息的一部分。此时，所述图像处理方法可选择输出所述第一融合图像信息，即所述第一融合图像信息为所述第三图像信息。当然，在本发明另外的实施例中，如图10所示，所述图像方法，可进一步地包括步骤：
S34融合所述第一融合图像于所述第二图像信息的相应区域，以生成一第二融合图像信息，其中，所述第二融合信息为所述第三图像信息。应注意的是，此时，所述第三图像信息包括所述第一融合图像信息，其具有相对较高的明暗对比度和分辨率，及包绕所述第一融合图像信息的所述第二图像信息中除了与所述第一图像信息相重合区域的剩余区域。从视角效果上来看，所述第三图像信息具有背景虚化的效果。
应领会的是，无论选择何种图像融合方式，所述步骤S3(融合所述第一图像信息中与所述第一图像信息相重合的区域和所述第二图像信息中与所述第一图像信息相重合的区域，以生成一第一融合图像信息)的具体融合算法为本发明图像处理方法的核心关键之一。
本领域的技术人员应知晓，在利用第二摄像模组20的所述彩色感光芯片210采集该被测目标的彩色信息过程中，由于所述彩色感光芯片210的每一像素点所采集的为单色光信息，例如R,G,B单色光信息。因此，为了还原被测目标的彩色信息，需设定一组相邻X*X(X为大于等于2的正整数)数量的所述彩色感光芯片210的像素点为一成像单元，并藉由该成像单元内的像素点的单色光信息合成并还原被测目标的彩色信息。
为了便于理解和说明，设定所述第二摄像模组20的所述彩色感光芯片210包括一M*N的阵列像素。藉由计算可知，若设定每一组相邻X*X数量的所述彩色感光芯片210的像素点为一成像单元为条件，可获取一(M-X+1)*(N-X+1)的阵列成像单元，其中，每一成像单元包括该被测目标的彩色信息(RGB彩色信息)。例如，在本发明的一实施例中，设定每4个相邻(2*2)的所述第二感光芯片21的像素点为一成像单元，藉由运算可获取一(M-1)*(N-1)的阵列成像单元。
为了更为清楚地阐述所述彩色感光芯片210的阵列像素与阵列成像单元之间的映射关系，特以一具体的示例来阐述成像单元与阵列像素之间的对应关系。更具体地说，附图13示意的为一4*4的所述彩色感光芯片210，分别包括像素Pixel11，Pixel 12…至Pixel44，根据上述像素组成成像单元的算法可获得一3*3的阵列成像单元，分别包括成像单元11，成像单元12，成像单元13…至成像单元33。相对应地，成像单元11由所述彩色感光芯片210 110,110A的像素Pixel 11，Pixel 12，Pixel 21和Pixel 22所合成，成像单元12由Pixel 12，Pixel 13,Pixel 22和Pixel 23获得，以此方式进行类推可获得所述阵列成像单元。
本发明另一实施例中，可选择设定每9个相邻(3*3)的所述彩色感光芯片210的像素点为一成像单元，并通过相应运算获取一(M-2)*(N-2)的阵列成像单元，其中每一成像单元包括该被测目标的RGB彩色信息。相应地，每一成像单元的RGB彩色信息为该成像单元所包括的各像素点所采集的R,G,B彩色分量信息的平均值，其中没有感光的像素点设为黑色信息。
例如，附图15示意的为一5*5的所述彩色感光芯片210，分别包括像素Pixel11，Pixel 12…至Pixel 55，根据上述像素组成成像单元的算法可获得一3*3的阵列成像单元，分别包括成像单元11，成像单元12，成像单元21和成像单元22。相对应的，成像单元11由所述彩色感光芯片210的像素Pixel 11，Pixel 12，Pixel 13，Pixel 21,Pixel 22、Pixel 23，Pixel 31,Pixel 32和Pixel 33所合成，成像单元12由Pixel 12，Pixel 13，Pixel 14，Pixel 22,Pixel 23、Pixel 24，Pixel 32,Pixel 33和Pixel 34所合成，以此方式进行类推可获得所述阵列成像单元。
如图16所示为本发明另一变形实施，其中，在该变形实施中，每一成像单元包括一组相邻X*X(其中X≥2)数量的所述彩色感光芯片210的像素点，且各成像单元所包括的像素点之间相互不重合，以使得最终获取一(M/X)*(N/X)的阵列成像单元，其中，每一成像单元包括该被测目标的RGB彩色信息。
例如，附图14示意的为一4*4的所述彩色感光芯片210，分别包括像素Pixel11，Pixel 12…至Pixel 44，根据上述像素组成成像单元的算法可获得一2*2的阵列成像单元，分别包括成像单元11，成像单元12，成像单元21和成像单元22。相对应的，成像单元11由所述彩色感光芯片210的像素Pixel 11，Pixel 12，Pixel 21和Pixel 22所合成，成像单元12由Pixel 13，Pixel 14，Pixel23和Pixel 24所合成，以此方式进行类推可获得所述阵列成像单元。本领域的技术人员应容易想到，在本发明中，所述彩色感光芯片210的所述成像单元的组合方式可根据实际应用作相应的调整和变化，对比，并不为本发明所局限。
进一步地，需求解每一成像单元的彩色信息，其中，在本发明的该较佳实施例中，每一成像单元的彩色信息为该成像单元包括的各像素点所采集的R,G,B分量信息的平均值。为了便于说明利用所述彩色感光芯片210获取该被测目标的彩色信息的算法特征，设定每一像素点所采集的白光的彩色信息为EEE,(在16进制中，E代表14，排列顺序为RGB)，红光的彩色信息为E00，绿光的彩色信息为OEO，蓝光的彩色信息为00E。例如，如图X所框选的成像单元11中包括一组像素点Pixel 11，Pixel 12，Pixel 21和Pixel 22，其分别为G11,R12,B21，G22，其中当G11，R12，B21，G22分别接收到相应的单色光时，那么所述成像单元11的彩色信息的计算方式为G11，R12，B21，G22中各R，G，B分量的平均值，用公式表示为该成像单元彩色信息：E00+00E+(0E0+0E0)/2＝EEE(依序为R,G,B分量)。特别地，当其中某一像素点没有接收到对应单色光信息时，例如当G11或G22没有接收到绿色信息时，则设定相应没有接收到相应单色光的像素点的彩色信息为黑色信息，表示为000，则，该成像单元的彩色信息：E00+00E+(000+0EO)/2＝E7E。以此类推，获取其他成像单元的RGB彩色信息。
相应地，所述步骤S3，还包括步骤：
S30自所述第二图像信息中求解出该被测目标的彩色信息；
进一步地，如图12所示，所述步骤S30还包括步骤：
S301设定每一组相邻X*X(X为大于等于2的正整数)数量的所述彩色感光芯片210的像素点为一成像单元，以获取一(M-X+1)*(N-X+1)的阵列成像单元，其中M*N表示所述彩色感光芯片210的阵列像素；和
S302求解每一成像单元的RGB彩色信息，其中，每一成像单元的RGB彩色信息为该成像单元所包括的各像素点所采集的R,G,B分量信息的平均值。
或者，所述步骤S30还包括步骤：
S301A设定每一组相邻X*X(X为大于等于2的正整数)数量的所述彩色感光芯片210的像素点为一成像单元，且各成像单元所包括的像素点之间相互不重合，以获取一(M/X)*(N/X)的阵列成像单元，其中M*N表示所述彩色感光芯片210的阵列像素；和
S302A求解每一成像单元的彩色信息，其中，每一成像单元的彩色信息为该成像单元包括的各像素点所采集的R,G,B分量信息的平均值。
应领会的是，在执行完步骤S301和S302或者步骤301A和步骤S302A之后，所述第一图像信息具有被测目标的RGB彩色信息，其由一(M-X+1)*(N-X+1)的阵列成像单元或由一(M/X)*(N/X)的阵列成像单元的每一成像单元的RGB彩色信息所组成。
进一步地，为了便于描述和说明所述步骤S34具体执行过程的算法特征，设定所述第一摄像模组10的所述黑白感光芯片110为具有一Q*P阵列像素的感光芯片；设定所述第一图像信息中与所述第二图像信息相重合区域的面积占所述第一图像信息的比例为γ，则所述第一图像信息中与该所述第二图像信息相重合的区域可表示为γ*(Q*P)阵列像素的每一像素点所采集的亮度信息；设定所述第二图像信息中与所述第二图像信息相重合区域的面积占所述第二图像信息的比例为α，则所述第二图像信息中与所述第一图像信息相重合的区域可表示为α*(M-X+1)*(N-X+1)的阵列成像单元或α*(M/X)*(N/X)的阵列成像单元的每一成像单元所具有的RGB彩色信息。
通常，所述第一图像信息与所述第二图像信息相重合区域所包含的阵列像素的数量γ*(Q*P)与所述第二图像信息与所述第一图像信息相重合区域的成像单元的数量α*(M-X+1)*(N-X+1)或α*(M/X)*(N/X)之间不相等。更明确地说，所述第一图像信息与所述第二图像信息相重合区域所包含的阵列像素的数量γ*(Q*P)大于所述第二图像信息与所述第一图像相重合区域的成像单元的数量α*(M-X+1)*(N-X+1)或α*(M/X)*(N/X)。因此，在将所述第一图像信息中与第二图像信息相重合的区域融合于所述第二图像与所述第一图像相重合的区域的过程中，需按照一定比例进行插值运算。为了便于理解和说明，设定该插值比例为β，其中，藉由数学关系可知，β＝γ(Q*P)/[α’*(M-X+1)*(N-X+1)]或者β＝γ(Q*P)/[α’*(M/X)*(N/X)]。
进一步地，由于所述第二图像信息中与所述第一图像信息相重合的区域为RGB图像信息。本领域的技术人员应知晓，RGB格式的彩色信息，其杂糅地表现了被测目标的亮度信息、色度信息和饱和度信息等。因此，为了能够使得所述第二图像信息中与所述第一图像信息相重合的区域的彩色信息能够融合于所述第一图像信息中与所述第二图像信息相重合的区域，需先将所述第二图像信息中与所述第一图像信息相重合的区域的RGB格式的彩色信息转化为YUV格式的彩色信息，其中Y代表亮度信息，UV代表色度信息。
更具体地说，在本发明中，可设定每一成像单元的亮度信息为Y,每一成像单元的色度信息为UV，则转化的公式可表示为：
Y＝aR+bG+cB+d；…………………(1)
U＝eR+fG+gB+h；…………………(2)
V＝iR+jG+kB+l；………………….(3)
其中，所述转化公式满足条件(1)a+b+c＝1和条件(2)三组参量所形成的向量(a，b，c)、(e，f，g)、(i，j，k)之间相互线性不相关。
基于上述条件(1)和条件(2)，优选地，可获取转化公式：
Y＝0.299*R+0.587*G+0.114*B；…………………(4)
U＝-0.169*R-0.331*G+0.5*B+128；…………………(5)
V＝0.5*R-0.419*G-0.081*B+128；…………………(6)
相应地，根据上述公式可知，所述第二图像信息中与所述第一图像信息相重合的区域每一成像单元的色度信息可转化为UVij＝(Uij，Vij)＝(-0.169*Rij-0.331*Gij+0.5*Bij+128，0.5*Rij-0.419*Gij-0.081*Bij+128)，其中UVij代表阵列成像单元中第ij个成像单元的色度信息，Uij代表阵列成像单元中第ij个成像单元的U色度信息，Vij代表阵列成像单元中第ij个成像单元的V色度信息，以此方式类推，将所述第二图像信息中与所述第一图像信息相重合的区域每一成像单元的RGB彩色信息转化为YUV格式的彩色信息。
应注意的是，此时，所述第一图像信息中与所述第二图像信息相重合的区域可表示为：α*(M-X+1)*(N-X+1)的阵列成像单元或α*(M/X)*(N/X)的阵列成像单元的每一成像单元所具有的YUV彩色信息。
相应地，如图11所示，所述步骤S33还包括步骤：
S331将所述第一图像信息中与所述第二图像信息相重合的区域中的每一成像单元的UV色度信息分别与所述第二图像信息中与所述第一图像信息相重合的区域的各像素点的亮度信息Y按照一插值比例β进行插值，其中，β＝γ(Q*P)/[α’*(M-X+1)*(N-X+1)]或者β＝γ(Q*P)/[α’*(M/X)*(N/X)]。
应领会到是，当β经过计算测得为整数值时，表示所述第一图像信息与所述第二图像信息相重合的区域所包括的阵列像素γ(Q*P)与所述第二图像信息中与所述第一图像信息相重合的区域的阵列成像单元α*(M-X+1)*(N-X+1)]或α*(M/X)*(N/X)之间完全匹配，两者不存在重叠的部分。形象地说，当β经过计算测得为整数值时，所述第二图像信息中与所述第一图像信息相重合的区域的阵列成像单元α*(M-X+1)*(N-X+1)]或α*(M/X)*(N/X)的单位成像单元的密度，为所述第一图像信息与所述第二图像信息相重合的区域所包括的阵列像素γ(Q*P)的单位像素密度的整数倍。此外，当β经过计算测得为非整数值时，表示所述第一图像信息与所述第二图像信息相重合的区域所包括的阵列像素γ(Q*P)与所述第二图像信息中与所述第一图像信息相重合的区域的阵列成像单元α*(M-X+1)*(N-X+1)]或α*(M/X)*(N/X)之间存在重叠的区域。优选地，所述第一图像信息与所述第二图像信息相重合的区域所包含的重叠部分的阵列像素按照每个像素占比(相较所述第一图像信息中与所述第二图像信息相重合的区域的阵列成像单元的单位成像单元)取加权平均值即可。
相应地，基于如上描述的所述图像处理方法，可轻易地得出所述阵列摄像模组的所需的硬件配置及这些硬件配置的特性给所述阵列摄像模组所带来的技术优势。
如图2至如图4所示，在本发明的该较佳实施例中，所述第一摄像模组10的所述第一感光芯片11为一黑白感光芯片110，其用于采集该被测目标的灰度信息。本领域的技术人员应知晓，相较于彩色感光芯片210，所述黑白感光芯片110的单位像素的尺寸可被缩减，从而在满足同等像素数量要求的情况下，所述黑白感光芯片110相较于同等像素数量的彩色感光芯片210，其整体尺寸(即长&宽尺寸)可被缩减。相应地，当所述第一摄像模组10的所述黑白感光芯片110的整体尺寸可被缩减时，对应于所述黑白感光芯片110的所述第一光学镜头12可相对更为邻近地安装于所述黑白感光芯片110的顶侧，以使得所述阵列摄像模组的整体高度尺寸可得以有效地缩减。
本领域的技术人员应知晓，黑白感光芯片110与彩色感光芯片210两者之间的区别，简单来说，为黑白感光芯片110没有设置一彩色滤镜层。该彩色滤镜层的作用机理为，将抵至彩色感光芯片210的白光过滤为单色光，以使得最终抵达彩色感光芯片210每一像素的光线为单色光，例如Green，Red，Blue单色光等。相对应地，由于黑白感光芯片110没有设置所述彩色滤镜层，因此，抵至所述黑白感光芯片110每一像素的光线为白光。基于这一感光特性，所述黑白感光芯片110，能在确保成像前提下，的单位像素尺寸相对彩色感光芯片210的单位像素尺寸可被缩减。更明确地说，现有的彩色感光芯片210，其单位像素尺寸基本在1.0*1.0um以上，而所述黑白感光芯片110的单位像素尺寸可低于1.0*1.0um，例如0.8*0.8um，0.9*0.9um等。
相应地，当所述第一感光芯片11(所述黑白感光芯片110)的整体尺寸缩减时，为了使得所述第一光学镜头12的成像区域能够完全地落于所述第一感光芯片11内，所述第一光学镜头12和所述第一感光芯片11之间的距离可被缩减，从而使得所述阵列摄像模组的整体高度尺寸可被有效地缩减。从视觉效果来看，所述第一光学镜头12相对更为下沉地安装于所述第一感光芯片11的顶侧。还应注意到，当所述第一感光芯片11的整体尺寸得以缩减时，所述第一光学镜头12的整体体型尺寸也可得以缩减，以使得所述阵列摄像模组的整体尺寸可得以进一步地缩减。
本领域的技术人员应容易知晓，由于所述黑白感光芯片110没有设置彩色滤镜层，例如拜耳滤镜，因此，辐射至所述第一感光芯片11的光线没有被彩色滤镜层所削减，而仍具有相对较高的光强度。也就是说，当所述第一摄像模组10的所述第一感光芯片11被配置为一黑白感光芯片110时，所述阵列摄像模组具有相对较优的暗态拍摄性能。
进一步地，根据前述所描述的图像处理方法可知，所述第二摄像模组20仅需采集被测目标的彩色信息。相对应地，在本发明的该较佳实施例中，所述第二摄像模组20的所述第二感光芯片21被实施为一彩色感光芯片210。正如背景技术中所言，彩色感光芯片210由于其颜色滤镜的存在导致其分辨力不佳，极小间距之间的物体比如接近像素级的线对便无法分辨，大像素级别的彩色感光芯片210，例如1200W，的分辨能力实际上与300w彩色感光芯片210的分辨率相当。然而，在本发明中，所述第二摄像模组20的所述彩色感光芯片210仅需提供该被测目标的彩色信息，从而在本发明中，所述第二摄像模组20的所述彩色感光芯片210的像素不再需要高像素要求，其原因在于，该被测目标的细节信息由所述第一摄像模组10的所述第一感光芯片11所提供。
进一步地，当所述彩色感光芯片210的像素要求降低时，显而易见地，在本发明的该较佳实施例中，所述彩色感光芯片210可选择具有相对较低像素的彩色感光芯片210。应容易理解，当所述彩色感光芯片210的像素相对得以缩减时，所述彩色感光芯片210的整体尺寸(长&宽尺寸)可得以缩减，从而对应于所述彩色感光芯片210的所述第二光学镜头22可相对更为邻近地安装于所述彩色感光芯片210的顶侧，以使得所述阵列摄像模组的整体高度尺寸可得以有效地缩减。
更具体地说，当所述第二感光芯片21(所述彩色感光芯片210)的整体尺寸得以缩减时，为了使得所述第二光学镜头22的成像区域能够完全地落于所述第二感光芯片21内，所述第二光学镜头22和所述第二感光芯片21之间的距离可被缩减，从而使得所述阵列摄像模组的整体高度尺寸可被有效地缩减。从视觉效果来看，所述第二光学镜头22可相对更为下沉地安装于所述第二感光芯片21的顶侧。还应注意到，当所述第二感光芯片21的整体尺寸得以缩减时，所述第二光学镜头22的整体体型尺寸也可得以缩减，以使得所述阵列摄像模组的整体尺寸可进一步地得以缩减。
从上述所述阵列摄像模组的硬件配置的相关描述可知，所述阵列摄像模组所配置的所述图像处理方法赋予了所述阵列摄像模组相应的调整空间，以使得所述阵列摄像模组能够在体型尺寸和特殊成像功能之间相对较为完美地平衡。
此外，值得一提的是，在本发明中，所述阵列摄像模组的具体结构特征可表现为任意形式，只需不脱离前述所描述的所述阵列摄像模组的硬件配置的所带来的技术特征即可。例如，所述阵列摄像模组可实施为共基板式阵列摄像模组、共支架式阵列摄像模组或潜望式阵列摄像模组。所述阵列摄像模组的所述第一摄像模组10、所述第一摄像模组10的零部件的具体实施类型也可做相应的调整，例如所述第一摄像模组10和所述第二摄像模组20的基座可实施为模塑基座或基于COB工艺所贴装的镜座，对此这些零部件的变型并不为本发明所局限。
相应地，如图5所示，本发明还提供了一图像处理系统100，其基于前述所描述的图像处理方法运行。更具体地说，在本发明的该较佳实施例中，所述图像处理系统100包括一彩色信息提取模块101，一格式转化模块102、一识别提取模块103、和一融合模块104，其中，所述彩色信息提取模块101，所述格式转化模块102、所述识别提取模块103和所述融合模块104相互可通信地连接。
所述彩色信息提取模块101在接收到藉由一阵列摄像模组所采集一被测目标的的一第一图像信息和一第二图像信息之后，供处理所述第二图像信息以从所述第二图像信息获取该被测目标的一RGB图像信息。所述格式转化模块102供转化所述RGB图像信息至YUV图像信息。所述识别提取模块103供识别并提取所述第一图像信息中与所述RGB图像信息相重合的区域和识别并提取所述RGB图像信息中与所述第一图像信息相重合的区域，其中，所述融合模块104融合所述第一图像信息和所述第二图像信息并生成一第三图像信息。
相应地，如图18或如图19所示，本发明还提供一电子设备80，所述电子设备包括一电子设备本体81和一阵列摄像模组82。所述阵列摄像模组82组装于所述电子设备本体81，为所述电子设备80提供图像采集功能。应领会的是，本发明所提供的所述阵列摄像模组具有多样特殊成像功能，以使得所述电子设备80具有多样特殊成像性能，提高使用者的视觉体验。
特别地，在本发明所提供的所述电子设备80具体的实施方案中，所述阵列摄像模组82可组装于所述电子设备本体81的前侧，也就是说，所述阵列摄像模组82为所述电子设备80的前置摄像模组，如图18所示。或者，所述阵列摄像模组82可组装于所述电子设备本体81的后侧，也就是说，所述阵列摄像模组82为所述电子设备80的后置摄像模组，如图19所示。当然，在本发明另外的实施方案中，所述阵列摄像模组82的可组装于所述电子设备本体81的其他位置，对此，并不为本发明所局限。
由此可以看到本发明目的可被充分有效完成。用于解释本发明功能和结构原理的所述实施例已被充分说明和描述，且本发明不受基于这些实施例原理基础上的改变的限制。因此，本发明包括涵盖在附属权利要求书要求范围和精神之内的所有修改。

Claims (14)

1.一图像处理方法，其特征在于，包括步骤：
S1藉由一第一摄像模组在一固定视场角FOV1下，获取一被测目标的一第一图像信息，其中，所述第一摄像模组为一定焦摄像模组，及所述第一摄像模组的一第一感光芯片为一黑白感光芯片；
S2藉由一第二摄像模组在一特定视场角FOV2下，获取该被测目标的一第二图像信息，其中所述第二摄像模组为一变焦摄像模组，及所述第二摄像模组的一第二感光芯片为一彩色感光芯片；和
S3根据视场角FOV1与视场角FOV2的相对关系，融合所述第一图像信息和所述第二图像信息以生成一第三图像信息。
2.如权利要求1所述的图像处理方法，其中，所述步骤S3，还包括步骤：
S31根据视场角FOV1与视场角FOV2的相对关系，识别并提取所述第一图像信息中与所述第二图像信息中相重合的区域；
S32根据视场角FOV1与视场角FOV2的相对关系，识别并提取所述第二图像信息中与所述第一图像信息相重合的区域；和
S33融合所述第一图像信息中与所述第一图像信息相重合的区域和所述第二图像信息中与所述第一图像信息相重合的区域，以生成一第一融合图像信息。
3.如权利要求2所述的图像处理方法，其中，当所述第一摄像模组的视场角FOV1等于所述第二摄像模组的视场角FOV2时，所述第一图像信息与所述第二图像信息相重合的区域为整个所述第一图像信息，及所述第二图像信息中与所述第一图像信息相重合的区域为整个所述第二图像信息，其中，所述第一融合图像信息为所述第三图像信息。
4.如权利要求2所述的图像处理方法，其中，当所述第一摄像模组的视场角FOV1大于所述第二摄像模组的视场角FOV2，所述第一图像信息与所述第二图像信息相重合的区域为所述第一图像信息的一部分，及所述第二图像信息中与所述第一图像信息相重合的区域为整个所述第二图像信息，其中，所述第一融合图像信息为所述第三图像信息。
5.如权利要求2所述的图像处理方法，其中，当所述第一摄像模组的视场角FOV1小于所述第二摄像模组的视场角FOV2，所述第一图像信息与所述第二图像信息相重合的区域为整个所述第一图像信息，及所述第二图像信息与所述第一图像信息相重合的区域为所述第二图像信息的一部分，其中，所述第一融合图像信息为所述第三图像信息。
6.如权利要求2所述的图像处理方法，其中，当所述第一摄像模组的视场角FOV1小于所述第二摄像模组的视场角FOV2，所述图像处理方法的所述步骤S3还包括步骤：
S34融合所述第一融合图像于所述第二图像信息的相应区域，以生成一第二融合图像信息，其中，所述第二融合信息为所述第三图像信息。
7.如权利要求2至6任一所述的图像处理方法，其中，所述步骤S3，还包括步骤：
S30自所述第二图像信息中求解出该被测目标的彩色信息。
8.如权利要求7所述的图像处理方法，其中，所述步骤S30，还包括步骤：
S301设定每一组相邻X*X(X为大于等于2的正整数)数量的所述彩色感光芯片的像素点为一成像单元，以获取一(M-X+1)*(N-X+1)的阵列成像单元，其中M*N表示所述彩色感光芯片的阵列像素；和
S302求解每一成像单元的RGB彩色信息，其中，每一成像单元的RGB彩色信息为该成像单元所包括的各像素点所采集的R,G,B分量信息的平均值。
9.如权利要求7所述的图像处理方法，其中，所述步骤S30，还包括步骤：
S301A设定每一组相邻X*X(X为大于等于2的正整数)数量的所述彩色感光芯片的像素点为一成像单元，且各成像单元所包括的像素点之间相互不重合，以获取一(M/X)*(N/X)的阵列成像单元，其中，M*N表示所述彩色感光芯片的阵列像素；和
S302A求解每一成像单元的彩色信息，其中，每一成像单元的彩色信息为该成像单元包括的各像素点所采集的R,G,B分量信息的平均值。
10.如权利要求8或9所述的图像处理方法，其中，所述步骤S30，还包括步骤：
S303将所述第二图像信息中与所述第一图像信息相重合的区域每一成像单元的RGB彩色信息转化为YUV格式的彩色信息，其中，该转化关系式可表示为：
Y＝aR+bG+cB+d；…………………(1)
U＝eR+fG+gB+h；…………………(2)
V＝iR+jG+kB+l；………………….(3)。
11.如权利要求10所述的图像处理方法，其中，所述转化公式满足条件1：a+b+c＝1和条件2：三组参量所形成的向量(a，b，c)、(e，f，g)、(i，j，k)之间相互线性不相关。
12.如权利要求10或11所述的图像处理方法，其中，所述步骤S34，还包括步骤：
S341将所述第一图像信息中与所述第二图像信息相重合的区域中的每一成像单元的UV色度信息分别与所述第二图像信息中与所述第一图像信息相重合的区域的各像素点的亮度信息Y按照一插值比例β进行插值，其中，β＝γ(Q*P)/[α’*(M-X+1)*(N-X+1)]或者β＝γ(Q*P)/[α’*(M/X)*(N/X)]，其中，Q*P表示所述黑白感光芯片的阵列像素及M*N表示所述彩色感光芯片的阵列像素，其中，γ为所述第一图像信息中与所述第二图像信息相重合区域的面积占所述第一图像信息的比例，其中，α为所述第二图像信息中与所述第二图像信息相重合区域的面积占所述第二图像信息的比例。
13.一图像处理系统，其基于如权利要求1至权利要求12所述的图像处理方法运行，其特征在于，包括：
一彩色信息提取模块；
一格式转化模块；
一识别提取模块；和
一融合模块，所述彩色信息提取模块，所述格式转化模块、所述识别提取模块和所述融合模块相互可通信地连接，其中，所述彩色信息提取模块在接收到藉由一阵列摄像模组所采集一被测目标的的一第一图像信息和一第二图像信息之后，供处理所述第二图像信息以从所述第二图像信息获取该被测目标的一RGB图像信息，其中，所述格式转化模块供转化所述RGB图像信息至YUV图像信息，其中，所述识别提取模块供识别并提取所述第一图像信息中与所述RGB图像信息相重合的区域和识别并提取所述RGB图像信息中与所述第一图像信息相重合的区域，其中，所述融合模块供融合所述第一图像信息和所述第二图像信息并生成一第三图像信息。
14.一阵列摄像模组，其特征在于，包括：
一第一摄像模组；
一第二摄像模组；和
一电路板，所述第一摄像模组和所述第二摄像模组分别电连接于所述电路板，其中，所述第一摄像模组包括一第一感光芯片和对应于所述第一感光芯片一第一光学镜头，所述第一摄像模组包括一第一感光芯片和对应于所述第一感光芯片一第一光学镜头，其中，所述第一摄像模组为定焦摄像模组及所述第二摄像模组为变焦摄像模组，其中，所述第一感光芯片为一黑白感光芯片及所述第二感光芯片为一彩色感光芯片。
CN201810429494.3A 2018-05-08 2018-05-08 阵列摄像模组及其图像处理系统、图像处理方法和电子设备 Active CN110460783B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810429494.3A CN110460783B (zh) 2018-05-08 2018-05-08 阵列摄像模组及其图像处理系统、图像处理方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810429494.3A CN110460783B (zh) 2018-05-08 2018-05-08 阵列摄像模组及其图像处理系统、图像处理方法和电子设备

Publications (2)

Publication Number Publication Date
CN110460783A true CN110460783A (zh) 2019-11-15
CN110460783B CN110460783B (zh) 2021-01-26

Family

ID=68471982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810429494.3A Active CN110460783B (zh) 2018-05-08 2018-05-08 阵列摄像模组及其图像处理系统、图像处理方法和电子设备

Country Status (1)

Country Link
CN (1) CN110460783B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113348489A (zh) * 2020-09-03 2021-09-03 深圳市大疆创新科技有限公司 图像处理方法和装置
CN113973171A (zh) * 2020-07-23 2022-01-25 宁波舜宇光电信息有限公司 多摄摄像模组、摄像系统、电子设备和成像方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1544990A (zh) * 2003-11-12 2004-11-10 浙江大学 四镜头分色成像的超薄手机成像方法
CN102685534A (zh) * 2011-03-15 2012-09-19 三星电子株式会社 操作包括多个深度像素的三维图像传感器的方法
CN103873766A (zh) * 2012-12-10 2014-06-18 奥林巴斯映像株式会社 摄影装置、摄影装置的控制方法以及摄影系统
CN104364800A (zh) * 2012-03-30 2015-02-18 前视红外系统股份公司 促进关联的可视光和红外线(ir)图像信息的分析和解释
CN105308947A (zh) * 2013-06-13 2016-02-03 核心光电有限公司 双孔径变焦数字摄影机
US20170150067A1 (en) * 2015-11-24 2017-05-25 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of operating the same
US20170186163A1 (en) * 2015-12-24 2017-06-29 Samsung Electro-Mechanics Co., Ltd. Image sensor and camera module
CN107995396A (zh) * 2017-12-14 2018-05-04 信利光电股份有限公司 一种双摄像头模组以及终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1544990A (zh) * 2003-11-12 2004-11-10 浙江大学 四镜头分色成像的超薄手机成像方法
CN102685534A (zh) * 2011-03-15 2012-09-19 三星电子株式会社 操作包括多个深度像素的三维图像传感器的方法
CN104364800A (zh) * 2012-03-30 2015-02-18 前视红外系统股份公司 促进关联的可视光和红外线(ir)图像信息的分析和解释
CN103873766A (zh) * 2012-12-10 2014-06-18 奥林巴斯映像株式会社 摄影装置、摄影装置的控制方法以及摄影系统
CN105308947A (zh) * 2013-06-13 2016-02-03 核心光电有限公司 双孔径变焦数字摄影机
US20170150067A1 (en) * 2015-11-24 2017-05-25 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of operating the same
US20170186163A1 (en) * 2015-12-24 2017-06-29 Samsung Electro-Mechanics Co., Ltd. Image sensor and camera module
CN107995396A (zh) * 2017-12-14 2018-05-04 信利光电股份有限公司 一种双摄像头模组以及终端

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113973171A (zh) * 2020-07-23 2022-01-25 宁波舜宇光电信息有限公司 多摄摄像模组、摄像系统、电子设备和成像方法
CN113973171B (zh) * 2020-07-23 2023-10-10 宁波舜宇光电信息有限公司 多摄摄像模组、摄像系统、电子设备和成像方法
CN113348489A (zh) * 2020-09-03 2021-09-03 深圳市大疆创新科技有限公司 图像处理方法和装置
WO2022047701A1 (zh) * 2020-09-03 2022-03-10 深圳市大疆创新科技有限公司 图像处理方法和装置

Also Published As

Publication number Publication date
CN110460783B (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN105578063B (zh) 一种图像处理方法和终端
CN105554483B (zh) 一种图像处理方法及终端
US8111946B2 (en) Image processing apparatus, imaging apparatus, and image processing method
CN104883504B (zh) 开启智能终端上高动态范围hdr功能的方法及装置
CN109844804B (zh) 一种图像检测的方法、装置及终端
CN110519489A (zh) 图像采集方法及装置
CN108712608A (zh) 终端设备拍摄方法和装置
CN110460747A (zh) 阵列摄像模组及具有阵列摄像模组的电子设备和图像处理方法
CN107534727A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN103716529B (zh) 阈值设定装置、被摄体检测装置、阈值设定方法
CN107534733A (zh) 摄像装置、该摄像装置的图像处理方法及程序
CN107820066A (zh) 一种低照度彩色摄像机
CN114693580B (zh) 图像处理方法及其相关设备
CN105432068A (zh) 摄像装置、摄像方法及图像处理装置
CN107948511B (zh) 图像亮度处理方法、装置、存储介质和图像亮度处理设备
CN107920205B (zh) 图像处理方法、装置、存储介质和电子设备
CN208489908U (zh) 阵列摄像模组及具有阵列摄像模组的电子设备
CN107682611B (zh) 对焦的方法、装置、计算机可读存储介质和电子设备
CN110460783A (zh) 阵列摄像模组及其图像处理系统、图像处理方法和电子设备
CN113676629A (zh) 图像传感器、图像采集装置、图像处理方法及图像处理器
CN113676715B (zh) 图像处理方法及装置
CN107835351A (zh) 一种双摄像头模组以及终端
CN108141530A (zh) 图像处理装置、图像处理方法及程序
CN101754028B (zh) 提高影像分辨率的方法
US20090324127A1 (en) Method and System for Automatic Red-Eye Correction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant