CN114666469B - 图像处理装置、方法及具有该图像处理装置的镜头模组 - Google Patents

图像处理装置、方法及具有该图像处理装置的镜头模组 Download PDF

Info

Publication number
CN114666469B
CN114666469B CN202011553202.0A CN202011553202A CN114666469B CN 114666469 B CN114666469 B CN 114666469B CN 202011553202 A CN202011553202 A CN 202011553202A CN 114666469 B CN114666469 B CN 114666469B
Authority
CN
China
Prior art keywords
image
pixel
bayer
array
bayer image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011553202.0A
Other languages
English (en)
Other versions
CN114666469A (zh
Inventor
曾德恩
简采毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Futaihua Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Futaihua Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Futaihua Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Futaihua Industry Shenzhen Co Ltd
Priority to CN202011553202.0A priority Critical patent/CN114666469B/zh
Priority to US17/536,275 priority patent/US20220210378A1/en
Publication of CN114666469A publication Critical patent/CN114666469A/zh
Application granted granted Critical
Publication of CN114666469B publication Critical patent/CN114666469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0012Arrays characterised by the manufacturing method
    • G02B3/0018Reflow, i.e. characterized by the step of melting microstructures to form curved surfaces, e.g. manufacturing of moulds and surfaces for transfer etching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0056Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Manufacturing & Machinery (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供一种图像处理装置、方法及具有该图像处理装置的镜头模组。所述图像处理装置包括图像传感器及图像信号处理器,所述图像传感器包括像素阵列及滤光阵列,所述滤光阵列对应所述像素阵列设置,所述滤光阵列包括若干滤光单元,若干所述滤光单元将所述像素阵列划分为若干像素单元,每一像素单元包括若干像素,每一所述滤光单元对应一个像素单元,且允许一种有色光入射至所述像素单元,以生成一第一拜耳图像,所述图像信号处理器与所述图像传感器电连接,用以接收所述图像传感器输出的第一拜耳图像,并对所述第一拜耳图像进行处理,以输出第一图像或第二图像。本发明提供的图像处理装置有效提高成像质量。

Description

图像处理装置、方法及具有该图像处理装置的镜头模组
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像处理装置、方法及具有该图像处理装置的镜头模组。
背景技术
因镜头模组可通过反射棱镜对光路进行折叠,以实现在不增加手机厚度的基础上,提高变焦能力,使得手机相机拍得更远。然而,该反射棱镜的设置使得镜头模组的散射及色散问题严重,影响成像品质。
请一并参阅图1及图2,通常大像素的感光面积比小像素的感光面积更大。因此在同一光圈下,当同样的一束入射光照射下,入射光入射至大像素时,更少进入相邻像素。从而,采用大像素可有效降低像素与像素之间的颜色串扰问题。另一方面,通过限缩入射光的进光量以降低入射光的入射角度,也可有效降低大角度散射光和色散光对相邻像素造成的影响。因此,现有潜望式镜头模组通过采用较大尺寸的像素和较小的光圈,以降低像素与像素之间的颜色串扰,从而避免大角度散射光和色散光的影响。然而,若选用大尺寸像素,在图像传感器大小相同的条件下,会减少像素数量,影响成像清晰度。若采用较小的光圈,则影响成像亮度,不利于昏暗场景下的拍摄。例如,现有手机上搭载的潜望式镜头模组的光圈值大多在F5.0-F3.0范围内,且每一像素单位面积大多在1.0-1.12微米范围内。显然,该种配置使得现有镜头模组的成像质量较差。
发明内容
鉴于以上内容,本发明提供一种图像处理装置、方法及具有该图像处理装置的镜头模组,以解决上述问题。
本发明第一方面提供一种图像处理装置,包括图像传感器及图像信号处理器,所述图像传感器包括像素阵列及滤光阵列,所述滤光阵列对应所述像素阵列设置,所述滤光阵列包括若干滤光单元,若干所述滤光单元将所述像素阵列划分为若干像素单元,每一像素单元包括若干像素,每一所述滤光单元对应一个像素单元,且允许一种有色光入射至所述像素单元,以生成一第一拜耳图像,所述图像信号处理器与所述图像传感器电连接,用以接收所述图像传感器输出的第一拜耳图像,并对所述第一拜耳图像进行处理,以输出第一图像或第二图像。
进一步地,所述图像传感器还包括微透镜阵列,所述微透镜阵列包括若干微透镜,每一所述微透镜对应所述滤光阵列的一个滤光单元及所述像素阵列的一个像素单元设置。
进一步地,若干所述滤光单元的数量为四个,四个所述滤光单元相邻设置,以构成2*2的滤光阵列,并将所述像素阵列划分为四个所述像素单元。
进一步地,所述图像信号处理器包括切换模块,第一处理模块及第二处理模块,所述切换模块用以接收所述图像传感器输出的第一拜耳图像,并根据所述图像信号处理器的当前模式,选择或触发所述第一处理模块或所述第二处理模块,以使得第一处理模块或所述第二处理模块对所述第一拜耳图像进行处理,进而输出所述第一图像或第二图像。
进一步地,当所述图像信号处理器处于第一模式时,所述第一处理模块接收所述切换模块传送的第一拜耳图像,并对所述第一拜耳图像进行像素重排,以得到第二拜耳图像,再对所述第二拜耳图像进行去马赛克处理,得到所述第一图像。
进一步地,所述图像信号处理器还包括滤波单元,所述滤波单元用以在生成所述第二拜耳图像之前,先对所述第一拜耳图像中的每一像素单元进行均值滤波。
进一步地,当所述图像信号处理器处于第二模式时,所述第二处理模块接收所述切换模块传送的第一拜耳图像,并对所述第一拜耳图像进行像素合并处理,以得到第三拜耳图像,再对所述第三拜耳图像进行去马赛克处理,得到所述第二图像。
本发明第二方面还提供一种镜头模组,包括潜望式镜头,所述镜头模组还包括如上任一项所述的图像处理装置。
本发明第三方面提供一种图像处理方法,所述图像处理方法包括:
获取一第一拜耳图像;
根据当前模式,切换至相应的处理模块;
对所述第一拜耳图像进行图像处理,以获得第一图像或第二图像。
进一步地,当处于第一模式时,对所述第一拜耳图像进行像素重排,得到第二拜耳图像,继而对所述第二拜耳图像进行去马赛克处理,得到所述第一图像;当处于第二模式时,对所述第一拜耳图像进行像素合并,得到第三拜耳图像,继而对所述第三拜耳图像进行去马赛克处理,得到所述第二图像。
本发明提供的图像处理装置、方法及具有该图像处理装置的镜头模组,可适应各种焦段及场景,克服了现有潜望式镜头因光圈较小、像素面积较大造成的图像解析度低和亮度低,及像素间因散射光及色散光造成的颜色串扰的问题,有效提高成像质量。
附图说明
图1是现有技术中杂散光进入小像素的示意图。
图2是现有技术中杂散光进入大像素的示意图。
图3是本发明一较佳实施例提供的镜头模组的功能框图。
图4是图3所示镜头模组中图像传感器的分解示意图。
图5是图4所示图像传感器的组装示意图。
图6是沿图5所示图像传感器中VI-VI线的剖面图。
图7为图5所示图像传感器输出第一拜耳图像的示意图。
图8是当设置图4所示微透镜阵列后所述滤光阵列中滤光单元的排列示意图。
图9为图3所示镜头模组中第一处理模块输出第二拜耳图像的示意图。
图10为图3所示镜头模组中第二处理模块输出第三拜耳图像的示意图。
图11为本发明一较佳实施例提供的图像处理方法的流程图。
主要元件符号说明
图像处理装置 100
像素阵列 10
像素 11
像素单元 12
光电二极管 13
读出电路 14
滤光阵列 20
第一滤光单元 21
第二滤光单元 22
第三滤光单元 23
第四滤光单元 24
微透镜阵列 30
微透镜 31
图像传感器 40
切换模块 50
第一处理模块 60
滤波单元 61
第二处理模块 70
图像信号处理器 80
镜头模组 200
潜望式镜头 90
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,当一个元件被称为“电连接”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“电连接”另一个元件,它可以是接触连接,例如,可以是导线连接的方式,也可以是非接触式连接,例如,可以是非接触式耦合的方式。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参阅图3,本发明一较佳实施方式提供一种图像处理装置100,其可应用于镜头模组200,用以提高所述镜头模组200的成像质量。所述图像处理装置100包括图像传感器(CMOS Image Sensor,CIS)40及图像信号处理器(Image Signal Processor,ISP)80。所述图像传感器40用以将采集到的光信号转化为电信号,并输出一第一拜耳图像。所述图像信号处理器80与所述图像传感器40电连接,用以接收所述第一拜耳图像,并对所述第一拜耳图像处理后对应输出第一图像或第二图像。
请一并参阅图4,所述图像传感器40包括像素阵列10、滤光阵列20及微透镜阵列30。
所述像素阵列10包括若干像素11。若干所述像素11以N*M的形式构成所述阵列。其中,N与M均为正整数,N与M的值可相等,也可不等。例如,在本实施例中,所述N、M均为4,即所述像素11构成4*4的阵列。可以理解,在本实施例中,每一像素11的单位面积可小于1微米。在其中一个实施例中,每一所述像素11的单位面积为0.8微米。
所述滤光阵列20对应所述像素阵列10设置。在本实施例中,所述滤光阵列20的形状及大小均与所述像素阵列10对应,其包括若干滤光单元。每一滤光单元均包括至少一个滤光片,用以对入射光进行过滤,从而使得一有色光通过所述滤光阵列20入射至相应的像素11。
在本实施例中,所述滤光阵列20包括四个滤光单元,即第一滤光单元21、第二滤光单元22、第三滤光单元23与第四滤光单元24。所述第一滤光单元21、第二滤光单元22、第三滤光单元23与第四滤光单元24彼此相邻设置,并形成一2*2的滤光阵列。
可以理解,在本实施例中,每一所述滤光单元仅允许一种有色光通过。例如,位于所述滤光阵列20左上角及右下角的第一滤光单元21及第四滤光单元24仅允许第一颜色的光,例如绿光通过。位于所述滤光阵列20右上角的第二滤光单元22仅允许第二颜色的光,例如红光通过。位于所述滤光阵列20左下角的第三滤光单元23仅允许第三颜色的光,例如蓝光通过。如此,所述第一滤光单元21、第二滤光单元22、第三滤光单元23及第四滤光单元24可构成一GRBG形式的四拜耳滤色阵列。当然,在其他实施例中,所述滤光阵列20构成的四拜耳滤色阵列不局限于上述所述的GRBG形式,其还可以为其他形式,例如RGGB形式或者BGGR形式。另外,所述滤光阵列20中滤光单元的设置不局限于本实施例中2*2滤光单元的设置。在其他实施例中,所述滤光阵列的滤光单元也可根据实际需求进行调整。例如,所述滤光阵列20上的滤光单元也可设置为3*3滤光单元的排列设置。
请参阅图7,可以理解,在本实施例中,若干所述滤光单元将所述像素阵列10划分为若干像素单元12。每一像素单元12包括若干所述像素11。每一滤光单元分别对应所述像素阵列10中相应的像素单元12设置,且允许一种有色光入射至所述像素单元12。也就是说,在本实施例中,四个所述滤光单元将对应四个像素单元12,即所述像素单元12的数量与所述滤光单元的数量对应。
可以理解,由于所述滤光阵列20的形状及大小均与所述像素阵列10相对应,且每一滤光单元对应一个像素单元12。因此,所述像素阵列10依据所述像素单元12的数量划分为相应数量的像素单元12,即划分为4个像素单元12。其中,每一所述像素单元12均构成M1*M2的子阵列。其中,M1、M2均为大于1的正整数,两者可相同也可不同。例如,在本实施例中,所述M1及M2均为2。
在本实施例中,由于所述第一滤光单元21、第二滤光单元22、第三滤光单元23及第四滤光单元24分别对应所述像素阵列10上的四个相邻像素单元12设置,故每一所述像素单元12包括2*2的像素11,且每一像素单元12中的每一像素11过滤得到相同颜色的光。
具体地,在本实施例中,当所述滤光阵列20按照GRBG的四拜耳滤色阵列排列时,可使得特定波长的光(例如红光、绿光或蓝光)透过,进而使得所述像素阵列10输出一第一拜耳图像(请参阅图7)。其中,所述第一拜耳图像以4*4的阵列排列。其中,位于左上角的像素单元12中每一像素11的像素值为G颜色通道的像素值,位于右上角的像素单元12中每一像素11的像素值为R颜色通道的像素值,位于左下角的像素单元12中每一像素11的像素值为B颜色通道的像素值,位于右下角的像素单元12中的每一像素11的像素值为G颜色通道的像素值。即所述第一拜耳图像中的每一像素只有RGB三种颜色通道中的一种像素值。
请一并参阅图4及图8,所述微透镜阵列30用于对入射光进行光线聚焦,使聚焦后的入射光投射到所述滤光阵列20。所述微透镜阵列30设置于所述滤光阵列20远离所述像素阵列10的一侧。所述微透镜阵列30包括若干微透镜31。每一所述微透镜31对应所述滤光阵列20的一个滤光单元设置。即每一所述微透镜31对应一个像素单元12设置。如此,所述像素阵列10上的每一所述像素单元12可采用相同颜色的滤光片,且共用一所述微透镜31。
可以理解,传统的像素阵列中,由于每一像素均对应设置一微透镜,使得每一像素与像素之间的微透镜存在缝隙。当入射光射入微透镜与微透镜之间的缝隙时,会使得部分入射光不能转化为电信号,如此将降低入射光的利用率。而本案通过将所述微透镜31对应所述滤光单元及所述像素单元12设置,即多个像素11构成一像素单元,并共同一个微透镜31,如此可有效减少微透镜与微透镜之间的间隔,进而提高入射光利用率。
请一并参阅图5至图6,可以理解,所述像素阵列10上的每一像素11还设置有光电二极管(Photo Diode,PD)13及读出电路14。所述光电二极管13用以对每一所述像素11吸收的光进行光电转换,以得到对应的电信号。所述读出电路14用以读出所述电信号,以获取每一所述像素11对应的预设波长的光强值。如此,根据每一像素的光强值,可获得所述第一拜耳图像。
可以理解,当入射光进入时,所述入射光将依次经过所述微透镜阵列30、滤光阵列20及所述像素阵列10。其中,所述入射光先经由所述微透镜阵列30汇聚,接着所述滤光阵列20中的每一滤光单元对汇聚后的入射光进行过滤,并入射至所述像素阵列10,使得与每一滤光单元对应的像素单元12被RGB三种颜色光中的其中一种照射。每一所述像素11上的所述光电二极管13及读出电路14再获取每一所述像素11对应有色光的光强值,以生成所述第一拜耳图像。
请再次参阅图3,所述图像信号处理器80与所述图像传感器40电连接,用以获取所述图像传感器40生成的第一拜耳图像,并根据所述图像信号处理器80的当前模式对所述第一拜耳图像进行相应处理,以输出第一图像或第二图像。
在本实施例中,所述图像信号处理器80包括切换模块50、第一处理模块60及第二处理模块70。所述切换模块50与所述图像传感器40电连接。所述第一处理模块60及第二处理模块70均与所述切换模块50电连接。所述切换模块50用以接收所述图像传感器40输出的第一拜耳图像,并根据所述图像信号处理器80的当前模式,选择或触发所述第一处理模块60或所述第二处理模块70,以使得所述第一处理模块60或所述第二处理模块70对所述第一拜耳图像进行处理,进而输出所述第一图像或第二图像。
例如,当所述切换模块50接收所述第一拜耳图像,并判断所述图像信号处理器80处于第一模式时,将选择或触发所述第一处理模块60。所述第一处理模块60接收所述切换模块50传送的第一拜耳图像,并对所述第一拜耳图像进行像素重排(Remosaic)处理,以得到第二拜耳图像(请参阅图9),再对所述第二拜耳图像进行去马赛克(Demosaic)处理,得到所述第一图像。
请一并参阅图9,所述像素重排是指将图7所示所述第一拜耳图像处理为所述第二拜耳图像(参图9),即将四拜耳滤色阵列图像处理为具有标准拜耳滤色阵列的拜耳图像。显然,相比于图7所示的四拜耳滤色阵列,图9所示的标准拜耳滤色阵列由8个绿色像素、4个蓝色像素和4个红色像素排列形成,使得除位于边缘的绿色像素外,所述第二拜耳图像中每个绿色像素的四周,分布着2个红色像素、2个蓝色像素及4个绿色像素。可以理解,所述第二拜耳图像亦为拜耳图像,即所述第二拜耳图像中每一像素仅具有RGB三通道中任意一颜色通道的像素值。
所述去马赛克处理是指将所述第二拜耳图像处理为RGB图像,即所述第一图像。显然,所述第一图像为每一像素带有RGB三种颜色通道的像素值的RGB图像。所述像素重排处理及去马赛克处理可通过不同的插值算法实现,如线性插值、均值插值等算法,在此不再赘述。
可以理解,在本实施例中,所述图像信号处理器80还包括滤波单元61。所述滤波单元61与所述第一处理模块60电连接。所述滤波单元61用以在生成所述第二拜耳图像之前,先对所述第一拜耳图像中的每一像素单元12进行均值滤波。如此,以降低散射光及色散光对所述第一拜耳图像的影响,进而有效减少生成的所述第二拜耳图像中的像素的噪点。
可以理解,当所述切换模块50接收所述第一拜耳图像,并判断所述图像信号处理器80处于第二模式时,将选择或触发所述第二处理模块70。所述第二处理模块70接收所述切换模块50传送的第一拜耳图像,并对所述第一拜耳图像进行像素合并处理,以得到第三拜耳图像(请参阅图10),再对所述第三拜耳图像进行去马赛克(Demosaic)处理,得到所述第二图像。
可以理解,请参阅图10,在本实施例中,所述第三拜耳图像亦为拜耳图像。在其中一个实施例中,经过像素合并后,所述第三拜耳图像中的像素数量与所述像素单元12的数量一致,且所述第三拜耳图像中每个像素的面积为所述像素单元12的面积。
可以理解,由于所述第一图像是由所述第一拜耳图像经过像素重排及去马赛克处理得到的,即所述第一图像的生成过程中未进行像素合并处理,故所述第一图像的像素数量与所述第一拜耳图像的像素数量一致,所述第一图像中每一像素的面积与所述第一拜耳图像每一像素的面积相等。而所述第二图像是由所述第一拜耳图像经过四像素合并得到的,所述第二图像的像素数量与所述第一拜耳图像的像素单元的数量一致,所述第二图像中每一像素的面积与所述第一拜耳图像每一像素单元的面积一致。如此,所述第一图像的像素数量是所述第二图像的像素数量的四倍,但所述第二图像与所述第一图像的大小相等。通常情况下,图像大小相等的图像,像素数量越多,图像解析度越高,图像越清晰。同样,相同大小的图像,每一像素面积越大,将吸收越多光信号。故所述第一图像相比所述第二图像的图像解析度更高。而所述第二图像相比所述第一图像的亮度更高。
显然,在本实施例中,所述第一模式为Remosaic模式,所述第二模式为Binning模式。所述Remosaic模式基于所述第一拜耳图像的每个像素进行处理,输出的第一图像具有较高的解析度,且通过所述滤波单元61对所述第一拜耳图像进行滤波处理,提高杂散光裕度,降低像素与像素之间的颜色串扰。
所述Binning模式通过将与每一滤光单元对应的每一像素单元12的若干像素合并为一个像素进行处理,增大每一像素面积,从而提高感光度,且提高杂散光裕度,降低像素与像素之间的颜色串扰。
可以理解,本发明的图像处理装置100通过每一滤光单元对应一个像素单元12设置,每一所述滤光单元仅允许一种有色光通过,且每一微透镜对应一滤光单元及一像素单元设置。结合图像信号处理器80的Remosaic模式,使像素阵列10的排列恢复到拜耳阵列排列方式,且通过滤波处理,提高杂散光裕度,降低像素与像素之间的颜色串扰,从而可搭配小尺寸像素使用,以输出高解析度的图像。结合所述图像信号处理器80的Binning模式下,等同于光线入射更大面积的像素,提高杂散光裕度及感光度,从而可搭配使用更大的光圈镜头。即本发明提供的图像处理装置100可适应各种焦段及场景,克服了现有潜望式镜头因光圈较小、像素面积较大造成的图像解析度低和亮度低,及像素间因散射光及色散光造成的颜色串扰的问题,有效提高成像质量。
请再次参阅图1,所述镜头模组200还包括潜望式镜头90。所述潜望式镜头90用以容纳入射光通过,从而光学成像于所述图像传感器40上。
其中,所述潜望式镜头90可为望远端及/或广角端。可以理解,当潜望式镜头90为所述望远端或所述广角端时,所述图像处理装置100均可输出所述第一图像或所述第二图像。
可以理解,所述潜望式镜头90为望远端时,对焦距离远,入射光角度较小,进光量较小。当所述图像信号处理器80处于所述第一模式时,使输出的所述第一图像的像素排列恢复至一般拜耳阵列,提高所述第一图像的解析度。当所述图像信号处理器80处于所述第二模式,通过像素合并,降低杂散光并提高输出的第二图像的感光度,且输出的所述第二图像的串扰噪声较少。
可以理解,所述潜望式镜头90为广角端时,对焦距离近,入射光角度较大,进光量较大。当所述图像信号处理器80处于所述第一模式,使输出的所述第一图像的像素排列恢复至一般拜耳阵列,提高所述第一图像的解析度,且通过均值滤波较少像素与像素之间的颜色串扰,如此,所述第一模式更加适用于光亮场景。当所述图像信号处理器80处于所述第二模式,通过像素合并,提高输出的第二图像的感光度,如此,所述第二模式更加适用于昏暗场景。
显然,所述镜头模组200通过所述图像处理装置100的设置,可有效克服现有潜望式镜头获得的图像解析度低和亮度低的问题。
请一并参阅图11,本发明还提供一种图像处理方法,所述图像处理方法至少包括以下步骤。
步骤S1,获取一第一拜耳图像。
可以理解,在步骤S1中,所述第一拜耳图像可通过上述所述图像传感器40得到。所述图像传感器40的具体结构及工作原理参上所述,在此不再赘述。
步骤S2,根据当前模式,切换至相应的处理模块。
可以理解,在步骤S2中,所述图像信号处理器80如上述所述,在此不再赘述。当所述切换模块50接收所述第一拜耳图像,判断所述图像信号处理器80处于第一模式时,选择或触发所述第一处理模块60。当所述切换模块50接收所述第一拜耳图像,判断所述图像信号处理器80处于第二模式时,选择或触发所述第二处理模块70。
步骤S3,对所述第一拜耳图像进行图像处理,以获得第一图像或第二图像。
其中,当所述图像信号处理器80工作于第一模式时,所述第一处理模块60接收所述切换模块50传送的第一拜耳图像,并对所述第一拜耳图像进行像素重排,以得到第二拜耳图像,再对所述第二拜耳图像进行去马赛克处理,得到所述第一图像。
当所述图像信号处理器80处于第二模式时,所述第二处理模块70接收所述切换模块50传送的第一拜耳图像,并对所述第一拜耳图像进行像素合并处理,以得到第三拜耳图像,再对所述第三拜耳图像进行去马赛克处理,得到所述第二图像。
以上实施方式仅用以说明本发明的技术方案而非限制,尽管参照以上较佳实施方式对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换都不应脱离本发明技术方案的精神和范围。本领域技术人员还可在本发明精神内做其它变化等用在本发明的设计,只要其不偏离本发明的技术效果均可。这些依据本发明精神所做的变化,都应包含在本发明所要求保护的范围之内。

Claims (6)

1.一种图像处理装置,包括图像传感器及图像信号处理器,其特征在于:所述图像传感器包括像素阵列、滤光阵列及微透镜阵列,所述滤光阵列对应所述像素阵列设置,所述滤光阵列包括若干滤光单元,若干所述滤光单元将所述像素阵列划分为若干像素单元,每一像素单元包括若干像素,每一所述滤光单元对应一个像素单元,所述微透镜阵列包括若干微透镜,每一所述微透镜对应所述滤光阵列的一个滤光单元及所述像素阵列的一个像素单元设置,且每一所述滤光单元允许一种有色光入射至所述像素单元,以生成一第一拜耳图像;
所述图像信号处理器与所述图像传感器电连接,用以接收所述图像传感器输出的第一拜耳图像,并对所述第一拜耳图像进行处理,以输出第一图像或第二图像;其中,所述图像信号处理器包括切换模块及第一处理模块,所述切换模块用以接收所述图像传感器输出的第一拜耳图像,且当所述图像信号处理器处于第一模式时,所述第一处理模块接收所述切换模块传送的第一拜耳图像,并对所述第一拜耳图像进行像素重排,以得到第二拜耳图像,再对所述第二拜耳图像进行去马赛克处理,得到所述第一图像;
所述图像信号处理器还包括滤波单元,所述滤波单元用以在生成所述第二拜耳图像之前,先对所述第一拜耳图像中的每一像素单元进行滤波。
2.如权利要求1所述的图像处理装置,其特征在于:若干所述滤光单元的数量为四个,四个所述滤光单元相邻设置,以构成2*2的滤光阵列,并将所述像素阵列划分为四个所述像素单元。
3.如权利要求1所述的图像处理装置,其特征在于:所述图像信号处理器还包括第二处理模块,当所述图像信号处理器处于第二模式时,所述第二处理模块接收所述切换模块传送的第一拜耳图像,并对所述第一拜耳图像进行像素合并处理,以得到第三拜耳图像,再对所述第三拜耳图像进行去马赛克处理,得到所述第二图像。
4.一种镜头模组,包括潜望式镜头,其特征在于:所述镜头模组还包括如权利要求1至3任一项所述的图像处理装置。
5.一种图像处理方法,其特征在于:所述图像处理方法应用于如权利要求1所述的图像处理装置,所述图像处理方法包括:
获取一第一拜耳图像;
当处于第一模式时,切换至第一处理模块;
对所述第一拜耳图像中的每一像素单元进行滤波;
对所述第一拜耳图像进行像素重排,以得到第二拜耳图像;以及
对所述第二拜耳图像进行去马赛克处理,以获得第一图像。
6.如权利要求5所述的图像处理方法,其特征在于:当处于第二模式时,接收所述第一拜耳图像,对所述第一拜耳图像进行像素合并,得到第三拜耳图像,继而对所述第三拜耳图像进行去马赛克处理,得到第二图像。
CN202011553202.0A 2020-12-24 2020-12-24 图像处理装置、方法及具有该图像处理装置的镜头模组 Active CN114666469B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011553202.0A CN114666469B (zh) 2020-12-24 2020-12-24 图像处理装置、方法及具有该图像处理装置的镜头模组
US17/536,275 US20220210378A1 (en) 2020-12-24 2021-11-29 Image processing device, lens module, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011553202.0A CN114666469B (zh) 2020-12-24 2020-12-24 图像处理装置、方法及具有该图像处理装置的镜头模组

Publications (2)

Publication Number Publication Date
CN114666469A CN114666469A (zh) 2022-06-24
CN114666469B true CN114666469B (zh) 2023-11-14

Family

ID=82024283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011553202.0A Active CN114666469B (zh) 2020-12-24 2020-12-24 图像处理装置、方法及具有该图像处理装置的镜头模组

Country Status (2)

Country Link
US (1) US20220210378A1 (zh)
CN (1) CN114666469B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115696063A (zh) * 2022-09-13 2023-02-03 荣耀终端有限公司 拍照方法和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105578081A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105611125A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105993169A (zh) * 2014-09-15 2016-10-05 深圳市大疆创新科技有限公司 用于图像去马赛克的系统及方法
CN110675404A (zh) * 2019-09-03 2020-01-10 RealMe重庆移动通信有限公司 图像处理方法、图像处理装置、存储介质与终端设备
CN111741242A (zh) * 2019-03-25 2020-10-02 三星电子株式会社 图像传感器及其操作方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7522341B2 (en) * 2005-07-12 2009-04-21 Micron Technology, Inc. Sharing of microlenses among pixels in image sensors
JP2013066146A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2014090359A (ja) * 2012-10-31 2014-05-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
KR102037283B1 (ko) * 2013-06-18 2019-10-28 삼성전자주식회사 이미지 센서, 이미지 신호 프로세서 및 이들을 포함하는 전자 장치
US9749556B2 (en) * 2015-03-24 2017-08-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
JP2020043435A (ja) * 2018-09-07 2020-03-19 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法および画像処理プログラム
TW202040992A (zh) * 2019-02-25 2020-11-01 日商索尼半導體解決方案公司 固態攝像裝置及電子機器
US20200336684A1 (en) * 2019-04-19 2020-10-22 Qualcomm Incorporated Pattern configurable pixel correction
CN114208154A (zh) * 2019-09-24 2022-03-18 索尼半导体解决方案公司 成像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105993169A (zh) * 2014-09-15 2016-10-05 深圳市大疆创新科技有限公司 用于图像去马赛克的系统及方法
CN105578081A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105611125A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN111741242A (zh) * 2019-03-25 2020-10-02 三星电子株式会社 图像传感器及其操作方法
CN110675404A (zh) * 2019-09-03 2020-01-10 RealMe重庆移动通信有限公司 图像处理方法、图像处理装置、存储介质与终端设备

Also Published As

Publication number Publication date
US20220210378A1 (en) 2022-06-30
CN114666469A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
US11711629B2 (en) Solid-state image pickup device and electronic apparatus
US10560669B2 (en) Image sensor and image-capturing device
US20210358981A1 (en) Image-capturing device and image sensor
US7483065B2 (en) Multi-lens imaging systems and methods using optical filters having mosaic patterns
JP2004191893A (ja) 撮像装置
CN211481355U (zh) 一种多光谱传感结构、传感器及相机
JPS59117884A (ja) テレビジヨンカメラ装置
JP2008177903A (ja) 撮像装置
WO2020177123A1 (en) Color imaging system
US20110181763A1 (en) Image pickup device and solid-state image pickup element of the type illuminated from both faces
JP2014003116A (ja) 撮像素子
US20140307060A1 (en) Image sensor
JP2001210812A (ja) 固体撮像装置及びそれを備えた固体撮像システム
CN113132597B (zh) 图像采集系统及终端
CN114666469B (zh) 图像处理装置、方法及具有该图像处理装置的镜头模组
EP4246959A1 (en) Image sensor and imaging apparatus
JP5874334B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム
TWI760993B (zh) 圖像處理裝置、方法及具有該圖像處理裝置之鏡頭模組
JP2011254265A (ja) 多眼カメラ装置および電子情報機器
JP2013157531A (ja) 固体撮像素子および電子情報機器
RU2736780C1 (ru) Устройство для формирования цветного изображения (варианты)
WO2022213316A1 (en) Camera system including multiple lenses and multiple image sensors, and method for controlling the same
JP2016031498A (ja) 撮像素子および撮像装置
CN111447423A (zh) 图像传感器、摄像装置及图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant