CN115118937A - 高敏感度色彩影像产生方法及其设备 - Google Patents

高敏感度色彩影像产生方法及其设备 Download PDF

Info

Publication number
CN115118937A
CN115118937A CN202210254505.5A CN202210254505A CN115118937A CN 115118937 A CN115118937 A CN 115118937A CN 202210254505 A CN202210254505 A CN 202210254505A CN 115118937 A CN115118937 A CN 115118937A
Authority
CN
China
Prior art keywords
color
data
frame
full
achromatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210254505.5A
Other languages
English (en)
Inventor
林育如
陈颖睿
李克聪
林品仲
葛竑志
朱启诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN115118937A publication Critical patent/CN115118937A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Photoreceptors In Electrophotography (AREA)
  • Non-Silver Salt Photosensitive Materials And Non-Silver Salt Photography (AREA)
  • Silver Salt Photography Or Processing Solution Therefor (AREA)

Abstract

提供了多种关于利用混合传感器产生全帧彩色影像的方案。一种设设接收来自混合传感器的传感器数据，其中传感器数据包含多个色彩通道的部分帧色彩数据以及部分帧无色彩数据。该设设接着基于部分帧无色彩数据产生全帧无色彩数据。该设设接着基于全帧无色彩数据以及部分帧色彩数据产生全帧彩色影像。本公开的设设可增强全帧彩色影像特别是在低光源环境的画质。

Description

高敏感度色彩影像产生方法及其设备
技术领域
本公开涉及图像处理。特别地，是关于利用混合传感器所捕捉到的数据产生高敏感度彩色影像的方法及设备。
背景技术
除非本文另外指出，否则本节中描述的方法不是后面列出的申请专利范围的现有技术，并且不被包括在本节中而被承认为现有技术。
人类通过我们眼睛的视网膜接收光信号而得到视觉感知。视网膜是位在眼睛后侧上的薄层，并具有数个位于其上的光感受器。打个比方，视网膜相较于眼睛来说就像是底片相较于相机一样。在人类的眼睛中有两种光感受器，也就是视杆细胞以及视锥细胞。视杆细胞对于接收到的光非常敏感，因为就算是非常小量的光视杆细胞也能够感测的到。也就是说，光线只需要具有一点光子就足够启动视杆细胞，接着视杆细胞传送电子信号到人脑作为接收到光的指示。然而，视杆细胞无法辨别光的颜色。也就是说，视杆细胞是无色彩光感受器，而人脑无法通过视杆细胞所传送的电子信号感知光的颜色。相反地，视锥细胞是色彩光感知器。也就是说，视锥细胞能够产生电子信号告诉大脑接收到的光是什么颜色，所以大脑能够感知对象的色彩特性，例如色调及饱和度。在视网膜上有三种视锥细胞，他们个别能够感测到红光、绿光以及蓝光。基于这三种颜色，也就是颜色模型的红色、绿色以及蓝色，人眼感知到的其他色彩都可以由这三种颜色以特定强度比例或比值的组合所呈现。因此，这三种视锥细胞能够让大脑感知可看到的颜色的全光谱。尽管如此，相较于只需要一点光子就能启动视杆细胞，启动视锥细胞需要远远更多的光子能量。因此，在周遭缺光或朦胧的低光环境中，比较有可能的情况是视杆细胞维持启动(也就是传送相对应的电子信号到大脑)而视锥细胞则大部分未启动(也就是没有传送电子信号到大脑)。由于来自视锥细胞的电子信号薄弱，视网膜所接收到的光信号在大脑的感知会更偏向灰阶的影像。因此，在低光环境下尽管仍可辨识或感知对象的形状、外型及/或阴影，人眼很难在低光环境下判断对象的颜色。
视杆细胞和视锥细胞除了感测光的功能不同(也就是能否分辨颜色)，他们在视网膜上的数量也不一样。一般来说，人眼的视网膜具有超过一亿个视杆细胞，而在视网膜上只存在大约六百万个视锥细胞。这也是为什么人眼在低光环境下对于形状、外型、黑暗及阴影的辨识或感知能力优于色彩的辨识或感知能力。
除了使用底片模仿视网膜，现代的数字影像捕捉装置(例如数字相机、数字摄影机、手机相机、监视摄影机等)使用传感器组件捕捉真实世界的影像，传感器组件具有能够感测或侦测颜色的多个感测组件或像素传感器。类似于视网膜具有三种视锥细胞，传感器组件也包含不同种类的感测组件用来感测对应颜色模型的颜色。举例来说，数字相机典型的传感器组件可包含经配置以感测红光的第一组感测组件、经配置以感测绿光的第二组感测组件以及经配置以感测蓝光的第三组感测组件。然而，不像是人眼的视网膜具有视杆细胞，传感器组件缺少适合低光环境的感测组件。因此，低光环境成为使用上述传感器组件的数字影像捕捉装置的限制因素，且在低光环境下所产生的影像结果会缺少细节、呈现不佳的清晰度以及对比度。
发明内容
以下发明内容仅是说明性的，而无意于以任何方式进行限制。即，提供以下概述以介绍本文所述的新颖和非显而易见的技术的概念、重点、益处和优点。选择部分而并非所有实施方式将在下面的详细描述中进一步描述。因此，以下发明内容既不旨在标识所要求保护的主题的必要特征，也不旨在用于确定所要求保护的主题的范围。
本揭露的一个目的是提供关于利用混合传感器产生高敏感度彩色影像的方案、概念、设计、技术、方法及设备。通过本揭露中的多种实施例，相信可达成影像特别是在低光环境下的增强画质、较低的影像噪声等级及/或较少的硬件成本等益处。
在一个面向中呈现了利用来自混合传感器的传感器数据产生全帧彩色影像的方法，其中混合传感器使用具有多个色彩感测组件以及多个无色彩感测组件且共同位于其上的传感器组件。该方法可涉及从混合传感器接收传感器数据，其中传感器数据包含多个色彩通道的部分帧色彩数据以及部分帧无色彩数据。在一些实施例中，部分帧色彩数据是通过传感器组件的色彩感测组件所产生的，而部分帧无色彩数据是通过传感器组件的无色彩感测组件所产生的。传感器组件具有的无色彩感测组件可多于色彩感测组件。该方法也可涉及基于部分帧无色彩数据产生全帧无色彩数据。该方法还可涉及基于全帧无色彩数据以及部分帧色彩数据产生全帧彩色影像。
在另一个面向，所呈现的是包括输入模块、空间滤波模块以及着色模块的设备。输入模块经配置而M混合传感器接收传感器数据，其中混合传感器使用具有多个色彩感测组件以及多个无色彩感测组件且共同位于其上的传感器组件。传感器数据包含多个色彩通道的部分帧色彩数据以及部分帧无色彩数据。在一些实施例中，部分帧色彩数据是通过传感器组件的色彩感测组件所产生的，而部分帧无色彩数据是通过传感器组件的无色彩感测组件所产生的。空间滤波模块经配置以基于部分帧无色彩数据产生全帧无色彩数据。着色模块经配置以基于全帧无色彩数据以及部分帧色彩数据产生多个全帧色彩影像。该多个全帧色彩影像各自对应到该多个色彩通道的各个色彩通道。
本公开的设备可增强全帧彩色影像特别是在低光源环境的画质。
附图说明
参照下面的附图，对本公开的作为示例提出的各种实施方式进行详细描述，并且
其中：
图1示出了根据本揭露实施例的示例设计。
图2示出了根据本揭露实施例的示例设计。
图3示出了根据本揭露实施例的示例设计。
图4示出了根据本揭露实施例的示例设计。
图5示出了根据本揭露实施例的示例设计。
图6示出了根据本揭露实施例的示例设备。
图7示出了根据本揭露实施例的示例流程。
图8示出了根据本揭露实施例的示例电子系统。
具体实施方式
在以下详细描述中，通过示例的方式阐述了许多具体细节，以提供对相关教导的透彻理解。基于本文描述的教导的任何变化、派生和/或扩展均在本公开的保护范围内。在一些情况下，与本文公开的一个或多个示例实施方式有关的众所周知的方法、过程、组件和/或电路可以在没有详细描述的情况下以相对较高的水平进行描述，以避免不必要地混淆本公开的教导的各个方面。
根据本揭露的实施例关于利用混合传感器产生全帧彩色影像的多种关于技术、方法、方案及/或解决方案。根据本揭露，多个可能的解决方案可一起或分开实现。也就是说，尽管这些可能的解决方案在以下是分开描述的，两个或更多的可能解决方案可以结合为一个或其他的组合所实现。
I.混合传感器
如上所述，现有的影像传感器只包含色彩感测组件用于感测或侦测真实世界对象的色彩组件，但缺少适合用于在低光环境侦测对象的无色彩感测组件。以人类眼睛为比方，缺少无色彩感测组件的传感器就好像只有视锥细胞但没有视杆细胞的视网膜。因此，这些影像传感器在低光环境下捕捉影像的能力相当有限。举例来说，在低光环境下捕捉影像时，这些影像传感器最后得到的影像具有许多噪点，因为能够到达影像传感器的感测组件的入射光总量接近于影像传感器的底噪(noise floor)。
为了强化影像传感器在低光环境下不佳敏感度，本揭露使用混合传感器(也就是混合影像传感器)，能够模仿人眼的视网膜。所提出的混合传感器具有无色彩感测组件(non-chromatic sensing element)(用于模仿视网膜的视杆细胞)再加上色彩感测组件(chromatic sensing element)(用于模仿视网膜的视锥细胞)，其中这两种传感器都共同位于混合传感器的感测数组中。混合传感器还可包含接口光学组件(例如，用于将入射光引导到达传感器组件的光学组件)及/或接口电子组件(例如，读出电路，能够读取或转达由传感器组件所产生的电子信号到外部装置用于显示或进一步处理)。图1是根据本揭露实施例的示例设计，其中示出混合传感器的传感器组件100。传感器组件100经配置以利用传感器组件100的顶表面181接收入射光170，其中入射光170是从混合传感器尝试捕捉影像的真实世界对象所反射及/或辐射。传感器组件100的顶表面181在图1以俯视图191呈现。
传感器组件100包括多个形成数组或矩阵的感测组件(有时候也被称为感测像素或像素传感器)。传感器组件100的多个感测组件以俯视图191所呈现，包含感测组件111、112、113、114、115、121、122、123、124、125、131、132、133、134、135、141、142、143、144、145、151、152、153、154及155。传感器组件100的多个感测组件各别是色彩感测组件或无色彩感测组件的其中一种。各个色彩感测组件经配置以产生像素数据(也就是电子信号)呈现出该色彩感测组件所接收到的入射光170的色彩要素(也就是特定的颜色色调)，而各个无色彩感测组件经配置以产生像素数据(也就是电子信号)呈现出该无色彩感测组件所接收到的入射光170的明亮(luminance)要素(也就是特定的光影)。具体来说，在俯视图191所示的多个感测组件之中，感测组件111、113、115、131、133、135、151、153及155是色彩感测组件，而其他的感测组件是无色彩感测组件。
如图1所示，传感器组件100的剖视图192呈现出俯视图191中传感器组件100沿A-A’截面所看到的剖视视角。如剖视图192所示，传感器组件100包括感测层186及设置在感测层186上的过滤层185。过滤层185及感测层186各自沿着本质上平行于传感器组件100的光接收表面181(也就是顶表面181)的平面延伸。也就是说，各个感测组件具有位于过滤层185中的顶部以及位于感测层186中的底部。色彩感测组件以及无色彩感测组件之间的差异在于过滤部分(也就是顶部)而不是在于感测部分(也就是底部)。顶部可作为光学过滤器，其允许特定波长频带的光学要素通过并到达底部而将特定波长频带的光学要素阻挡在外。感测组件(像是色彩及无色彩感测组件)的底部进行光学转电学的相同功能，也就是将顶部允许通过的光学要素转换为对应的电子信号呈现这些通过的光学要素的强度。感测层186可包括光侦测器数组，其可通过感光耦合组件(charged coupled device，简称CCD)或互补式金属氧化半导体(CMOS)等技术所实现。
任何可见的颜色都能利用颜色模型的原色所合成或呈现。RGB颜色模型是一种广泛被使用的颜色模型，其中的原色为红色、绿色及蓝色。另一种广泛被使用的颜色模型是CMY颜色模型，其中的原色为青色、紫红色及黄色。色彩感测组件具有可允许在颜色模型的原色周遭的狭窄频带中的光学要素通过，而阻挡在该狭窄频带之外的光学要素。原色周遭的狭窄频带通常被称为色彩通道。对于使用特定颜色模型的传感器组件来说，传感器组件的色彩感测组件能够只允许颜色模型的色彩通道中的光学要素通过。以RGB颜色模型为例，传感器组件100可使用RGB颜色模型，且色彩感测组件111、113、115、131、133、135、151、153及155可允许入射光170在RGB颜色模型中三个色彩通道(也就是红色通道、绿色通道集蓝色通道)中的其中一个通道之内的光学要素通过各个色彩感测组件的过滤部分(也就是色彩感测组件位于过滤层185中的顶部)。类似地，当使用CMY颜色模型时，色彩感测组件111、113、115、131、133、135、151、153及155可感测在青色通道、紫红色通道或黄色通道中的入射光170光学要素。
色彩感测组件中，可允许在红色通道内的光学要素通过的色彩感测组件称为红色通道像素传感器，可允许在绿色通道内的光学要素通过的色彩感测组件称为绿色通道像素传感器，而可允许在蓝色通道内的光学要素通过的色彩感测组件称为蓝色通道像素传感器。在一些实施例中，传感器组件100可使用RGB颜色模型，且传感器组件的多个色彩感测组件可包含红色通道像素传感器131及135、蓝色通道像素传感器113及153以及绿色通道像素传感器111、115、133及155。如剖视图192所示，绿色通道像素传感器133可接收入射光170的部分173。绿色通道像素传感器133的顶部只允许部分173在绿色通道之内的光学要素(在图1中以光学信号173F表示)通过并到达绿色通道像素传感器133的底部。类似地，红色通道像素传感器131及135可个别接收入射光170的部分171以及部分175，且红色通道像素传感器131及135可个别允许在RGB颜色模型的红色通道之内的光学要素(在图1中以光学信号171F以及175F表示)通过。
如上所述，传感器组件100也包含多个无色彩感测组件，也就是感测组件112、114、121-125、132、134、141-145、152及154。由于无色彩感测组件的目的是模仿人体视网膜的视杆细胞，无色彩感测组件可经配置已允许入射光170以最小的耗损或朝向特定波长频带的偏移通过过滤层185，使得入射光170大部分(假如不是全部)的光学能量能够被感测层186所感测。举例来说，各个像素传感器132及134为无色彩感测组件，且各个像素传感器132及134的顶部经配置以提供入射光170越少越好甚至没有的阻挡。也就是说，光学要素(在剖视图192中以光学信号172F以及174F表示)个别保留入射光170的部分172和部分174中可见光范围内的大部分光学能量，并个别在像素传感器132及134接收。由于传感器组件100的无色彩传感器组件经配置以接收入射光170在可见光范围内的大部分光学要素，无色彩感测组件通常被称为白光像素传感器或白光传感器。
在一些实施例中，过滤层185可经配置使得不只是可见光范围内的光学要素，还有邻近可见光范围的红外线范围(例如在近红外线(NIR)频带，像是波长在850奈米左右或更长的波长)内的光学要素能够通过无色彩感测组件的过滤层185。加入NIR频带可进一步增加到达无色彩感测组件的感测层186的光学能量总量，因此增强入射光170特别是在低光环境下明亮要素的敏感度。除了能感测可见光要素还能感测NIR要素的无色彩感测组件被称为NIR传感器或红外线(IR)传感器。
如本案所述，过滤层185的配置可决定传感器组件100的色彩及无色彩感测组件如何分布或设置。色彩及无色彩感测组件的设置可由过滤层185的俯视图所呈现，其中俯视图所呈现的内容通常被称为拜耳数组(Bayer pattern)。图2示出了根据本揭露实施例的示例设计，其中示出了多种拜耳数组210、220、230及240。各个拜耳数组210、220、230及240可用于混合传感器的过滤层185。在图2中，各个空白方块代表无色彩感测组件，而各个有阴影的方块代表色彩感测组件。图2的拜耳数组使用RGB颜色模型作为范例而呈现，但本设计可应用于其他颜色模型而不受限于RGB颜色模型。类似于人体视网膜中视杆细胞的数量多于视锥细胞的数量，在每个拜耳数组210、220、230及240中，无色彩感测组件的数量多于色彩感测组件的数量。具体来说，在拜耳数组210、220、230及240中的无色彩感测组件以及色彩感测组件个别具有数量比3∶1、8∶1、15∶1及24∶1。较高的数量比特别在低光环境下可提供较高的明亮敏感度，因此，以产生较稀疏的色彩数据做为代价，利用混合传感器产生的影像具有改善的画质。随着特定的应用可找到最佳的数量比，基于本设计的实验结果，在数量比高达63∶1的情况下依然能够利用本案接下来详细揭露的流程产生高画质的全帧彩色影像。
另外，须注意色彩感测组件稀疏地分布在各个拜耳数组210、220、230及240的多个无色彩感测组件之中。也就是说，色彩感测组件横跨顶表面181(也就是传感器组件100的光接收表面)稀疏地分布在多个无色彩感测组件之中。在一些实施例中，色彩感测组件横跨顶表面181均匀地分布在多个无色彩感测组件之中。
II.利用着色产生全帧彩色影像
图3示出了根据本揭露实施例的示例设计，其中全帧彩色影像340(full-framecolor image)是利用混合传感器所提供并侦测到的传感器数据300所产生。所谓的全帧，在一些实施例中，指的是彩色影像340的每个像素都包含数据。然而，在一些实施例中，全帧彩色影像340可能不是在每个像素都有数据。取而代之地，全帧彩色影像340可以是未压缩或已压缩的影像，并包含数据在足够多但不是全部的像素中，例如YUV420或YUV422格式或其他当代的格式。提供传感器数据300的混合传感器可使用传感器组件(例如传感器组件100)。全帧彩色影像340包括多个全帧色彩影像，例如影像341、342及343。各个全帧色彩影像341、342及343分别对应到传感器组件所使用的色彩模块的多个色彩通道的个别的色彩通道。举例来说，在传感器数据300是由使用RGB颜色模型的传感器组件所产生的情况中，各个影像341、342及343分别对应到RGB颜色模型的原色的个别色彩通道。举例来说，全帧色彩影像341、342及343可分别对应到绿色色彩通道、红色色彩通道及蓝色色彩通道。
如图3所示，传感器数据300包含部分帧色彩数据(partial-frame chromaticdata)310以及部分帧无色彩数据(partial-frame color-insensitive data)320。具体来说，部分帧色彩数据310是由混合传感器的色彩感测组件所产生，色彩感测组件例如是传感器组件100的色彩感测组件111、113、115、131、133、135、151、153及155，或是在各个拜耳数组210、220、230及240中所标示的色彩感测组件。由于色彩感测组件稀疏地分布在拜耳数组上，所产生的色彩数据310自然会是部分帧，所谓的部分帧代表色彩数据310并不是在传感器组件的每一个像素位置都具有数据。举例来说，传感器组件100的色彩感测组件所产生的色彩数据310可以只在色彩感测组件111、113、115、131、133、135、151、153及155的像素位置具有数值，而在无色彩感测组件112、114、121-125、132、134、141-145、152及154的像素位置没有数值。
部分帧色彩数据310可由多个部分帧色彩影像(例如影像311、312及313)所呈现。各个部分帧色彩影像311、312及313分别对应到传感器组件所使用的颜色模型的多个色彩通道的个别色彩通道。举例来说，在传感器数据300是由使用RGB颜色模型的传感器组件所产生的情况中，各个影像311、312及313分别对应到RGB颜色模型的原色的个别色彩通道。举例来说，部分帧色彩影像311、312及313可分别对应到绿色色彩通道、红色色彩通道及蓝色色彩通道。具体来说，部分帧色彩影像311可由绿色通道感测组件111、115、133、151及155所产生，部分帧色彩影像312可由红色通道感测组件131及135所产生，而部分帧色彩影像313可由蓝色通道感测组件113及153所产生。
类似于色彩数据310，无色彩数据320自然也是部分帧，因为无色彩数据320是由混合传感器的无色彩感测组件所产生，无色彩感测组件例如是传感器组件100的无色彩感测组件112、114、121-125、132、134、141-145、152及154，或是在各个拜耳数组210、220、230及240中所标示的无色彩感测组件。因此，色彩数据310及无色彩数据320可彼此互补而在像素位置具有数值。根据本揭露的实施例，由于传感器组件中无色彩感测组件的数量多于色彩感测组件的数量，无色彩数据320相较于色彩数据310在传感器组件的全帧当中会更“齐全”。如上所述，部分帧无色彩数据320代表传感器数据300的明亮要素，而部分帧色彩数据310代表传感器数据300的色彩要素。
如图3的数据流所示，空间滤波模块371将部分帧无色彩数据320作为输入并输出全帧无色彩数据330。也就是说，基于部分帧无色彩数据320，空间滤波模块371把对应于色彩感测组件的像素位置中填上数值，这些位置原本在部分帧无色彩数据320中不包含数据。在一些实施例中，空件滤波模块371可通过进行空间滤波程序(例如，通过插值特定数量的部分帧无色彩数据的像素数值)决定所要填入的数值。举例来说，在决定全帧无色彩数据330在对应于色彩感测组件133的像素位置的像素数值时，空间滤波模块371可利用部分帧无色彩数据320在对应于色彩感测组件133周围的无色彩感测组件的像素位置(例如，对应于无色彩感测组件123、132、134及143的像素位置)的像素值进行插值。替代或额外地，也可在空间滤波模块371所进行的空间滤波程序中，参考对应色彩感测组件133周围的其他无色彩感测组件(例如无色彩感测组件122、124、142及144)的位置的像素数值。
在一些实施例中，除了将部分帧无色彩数据320作为输入之外，空间滤波模块371可进一步利用部分帧色彩数据310产生全帧无色彩数据330。也就是说，部分帧色彩影像311、312及313中的一个或多个影像可在进行空间滤波程序中由空间滤波模块371所参考。举例来说，由色彩感测组件133所感测的色彩数据也可用来决定像素位置缺失的明亮数值，特别是在环境光充足的情况下。一般来说，空间滤波模块371中使用部分帧色彩数据310以及部分帧无色彩数据320。由于缺失的无色彩像素在空间领域中占有相对少的部分，缺失的无色彩像素的内容与其邻近的像素会高度相关。空间滤波模块371可因此通过例如但不限于各种像素插值法(例如最邻近插值法、双线性插值法或双立方插值法)、保边滤波器(例如双边滤波器或引导滤波器)或其他非线性滤波器补偿这些缺失的数值。
无色彩数据320及330有时被称为白通道数据。这是因为白光涵盖可见光的所有要素，而因此对颜色不敏感。部分帧无色彩数据320可被称为部分帧白通道数据，而全帧无色彩数据330可被称为全帧白通道数据。另外，全帧无色彩数据330也可被称为灰色影像，因为全帧无色彩数据330中所包含的明亮信息通常在视觉上以灰阶影像呈现。
如图3的数据流所示，全帧彩色影像340是由着色模块372基于部分帧色彩数据310以及全帧无色彩数据330所产生。具体来说，着色模块372进行着色程序，通过利用部分光色彩影像311、312及313中所包含的色彩信息个别对无色彩数据330进行着色，而产生全帧彩色影像340的全帧色彩要素341、342及343。更具体来说，包含在部分帧色彩影像311、312及313中的色彩信息被用来做为涂鸦块或色刷，用来让着色模块372经由着色程序对全帧无色彩数据330上色，以个别产生全帧色彩影像341、342及343。图4中给出了着色的范例。
图4示出了根据本揭露实施例的示例设计，其中说明了着色程序的一个面向。着色程序372可使用部分帧色彩数据310的像素数值作为颜色涂鸦块对全帧无色彩数据或灰色影像330上色，以产生全帧色彩影像341、342及343。如图4所示，阴影像素411、415、451及455可呈现用于着色模块372的一些色彩涂鸦块以对灰色影像330上色，灰色影像330的一部分由白色通道数据430所呈现。如图4的箭头所指示，各个色彩涂鸦块可用于对色彩涂鸦块附近灰色影像330的邻近区域上色，也可用于对个别的色彩涂鸦块所在的像素位置上色。
图4也示出着色模块372的输入以及输出，着色模块372对所使用的颜色模型的其中一个色彩通道进行着色程序，如图4所示，着色模块372对红色通道进行着色程序。具体来说，输入包含影像451(也就是呈现全帧无色彩数据330的范例影像)以及多个色彩涂鸦块452(也就是呈现部分帧色彩数据310的红色通道312的范例影像)。作为着色结果的输出可由红色通道的全帧色彩影像453(也就是呈现全帧彩色影像340的红色通道影像342的范例影像)所呈现。也就是说，着色模块372利用色彩涂鸦块452将灰色影像451着色为色彩影像453。着色模块372以颜色模型的各个色彩通道进行着色程序以产生全帧色彩影像341、342及343，这些全帧色彩影像可以合起来显示或者可作为全帧彩色影像340传送。
在一些实施例中，色彩涂鸦块452透过实质上线性函数而与着色结果453相关。举例来说，由着色模块372所进行的着色程序可涉及利用实质上线性函数(substantiallylinear equation)将部分帧色彩数据310应用到全帧无色彩数据330，其中该实质上线性函数建立如上所述色彩涂鸦块452与着色结果453之间的关系或其他由方程式所定义之关系。如此一来，部分帧色彩影像311、312及313个别透过方程式与全帧色彩影像341、342及343相关。该实质上线性函数可由以下方程序表示：
式(1)
Figure BDA0003548037520000101
参考图4中的式例470，在式(1)中的函数Ui代表色彩涂鸦块，并显示出部分帧色彩数据310的色彩通道的像素数值，而在式(1)中的函数Yi代表全帧无色彩数据330的像素数值，且假设用于色彩涂鸦块Ui附近的邻近区域Ωk中像素的系数ak及bk维持定值。在一些实施例中，邻近区域Ωk在传感器组件的水平方向以及垂直方向的两个维度可设定为至少是个别方向的两个相邻涂鸦块之间距离的两倍。在一些实施例中，邻近区域Ωk的维度可设定为两个相邻涂鸦块之间距离的四倍或更大。一般来说，邻近区域Ωk的尺寸越大能得到越好的着色结果。
在一些实施例中，系数ak及bk的最佳值可利用各种优化技术得到，例如导向滤波求解器或双边求解器。在一些实施例中，系数ak及bk可利用误差矩阵(error matrix)得到，误差矩阵例如是横跨全帧彩色影像340的全帧色彩影像(例如全帧色彩影像341、342或343)的所有像素的误差平方和(sum of squared diferences，简称SSD)或绝对差和(sumofabsolute diferences，简称SAD)。举例来说，如下的式(2)可被用来找到用于全帧色彩影像的各个邻近区域Ωk的系数ak及bk最佳值，其中系数ak及bk最佳值可最小化J(U)。
式(2)
Figure BDA0003548037520000111
图5示出了根据本揭露实施例的示例设计，其中说明了上述着色程序的优点。具体来说，本揭露所提出的着色程序的优点包含可以保存或保留全帧彩色影像340中颜色模型的不同原色之间的边缘或交界。图5以两张例图510及520说明相关优点。例图510说明全帧灰色影像330与部分帧彩色数据310重迭。在例图510中，色彩涂鸦块以字母R以及字母B标示，其中标示为字母R的色彩涂鸦块可形成红色通道的部分帧色彩影像312，且其中标示为字母B的色彩涂鸦块可形成蓝色通道的部分帧色彩影像313。并且在例图510中，在全帧灰色影像330的每个像素位置的黑暗阴影代表在这个像素位置的明亮数值，具有较暗阴影的像素代表较低阶的明亮度而具有较亮阴影的像素代表较高阶的明亮度。须注意以图5中的特定范例来说，传感器数据300含有非常低的绿色色彩通道的数值，因此并未示出绿色色彩通道的部分帧色彩影像311。每个R涂鸦块以及B涂鸦块的字体大小代表他们的色彩像素数值，较大的字体代表较大的像素数值。例图520说明着色模块372进行着色流程所产出的全帧彩色影像340，其中各个R字母以及B字母的字体大小代表对应的色彩像素数值，且其中各个像素的黑暗阴影代表对应的明亮像素数值。在例图520中的全帧彩色影像340清楚地示出在蓝色通道以及红色通道之间的交界525。也就是说，在全帧彩色影像340中，两个原色通道之间良好地维持着交界525。
III.说明用实现
图6说明范例设备600，可利用从混合传感器得到的传感器数据产生高敏感度全帧彩色影像。如图6所示，设备600接收代表现实世界对象的传感器数据601，并因此产生高敏感度全帧彩色影像699。传感器数据601可包含的数据例如传感器数据300，而全帧彩色影像699可以是全帧彩色影像340的实施例。
如图6所示，设备600具有多个组件或模块用于将传感器数据601处理成全帧彩色影像699，多个组件或模块至少包含M输入模块610、空间滤波器620、着色模块630、存储器640以及输出模块650中所选择的一些组件。着色模块630可包含系数求解器632以及系数缓冲器634。存储器640可包含传感器数据缓冲器642用于存储传感器数据601，以及灰色影像缓冲器644用于存储由空间虑波模块620所产生的全帧灰色影像。存储器640可进一步包含缓冲器640用于存储着色模块630进行着色程序所产出的结果。
在一些实施例中，以上所列的模块610-650是软件指令的模块，用于被计算装置或电子设备的一个或多个处理单元(例如处理器)所执行。在一些实施例中，模块610-650是硬件电路的模块，由电子设备的一个或多个集成电路(IC)所实现。虽然图6所示的模块610-650以分开的模块表示，一些模块可以被结合成单一个模块。
输入模块610经配置以接收传感器数据60l。传感器数据601可M混合传感器所得到或捕捉。混合传感器可使用传感器组件，例如传感器组件100。传感器数据601可包含部分帧色彩数据(例如部分帧色彩数据310)以及部分帧无色彩数据(例如部分帧无色彩数据320)。部分帧色彩数据可通过混合传感器的多个色彩感测组件所产生，色彩感测组件例如是色彩感测组件111、113、115、131、133、135、151、153及155。部分帧无色彩数据可通过混合传感器的多个无色彩感测组件所产生，无色彩感测组件例如是无色彩感测组件112、114、121-125、132、134、141-145、152及154。色彩感测组件以及无色彩感测组件共同位于混合传感器的传感器组件中，并且一起在传感器组件的光接收表面上(例如，传感器组件100的顶表面181)形成数组或矩阵。色彩感测组件经设置而横跨光接收表面稀疏地分布在多个无色彩感测组件之中。传感器组件中的无色彩感测组件所具有的数量大于传感器组件中色彩感测组件的数量。在一些实施例中，色彩感测组件均匀地分布在无色彩感测组件之中。
空间滤波模块620经配置以处理传感器数据601的部分帧无色彩数据，并对应地产生全帧无色彩数据(例如，全帧灰色影像330)。空间滤波模块620可实现为空间滤波模块371。在一些实施例中，为了产生全帧无色彩数据，空间滤波模块620可进一步处理传感器数据601的部分帧色彩数据。为了产生全帧无色彩数据，空间滤波模块620可通过个别进行插值操作处理部分帧无色彩数据以及部分帧色彩数据。
着色模块630经配置以通过进行着色程序产生包含多个全帧色彩影像(例如全帧色彩影像341、342及343)的着色结果，该多个全帧色彩影像是基于传感器数据601的部分帧色彩数据以及由空间滤波模块620所产生的全帧无色彩数据。着色模块630可实现为着色模块372。着色结果的各个全帧色彩图像映射到混合传感器所使用的颜色模型的个别色彩通道。着色模块630可将全帧色彩影像存储在缓冲器646中作为着色结果。在一些实施例中，在产生全帧色彩影像时，着色模块630可使用实质上线性函数(例如式(1)的函数)。也就是说，着色模块630经配置以将多个色彩通道的各个色彩通道的部分帧色彩数据经由线性函数应用到全帧无色彩数据。
在一些实施例中，着色模块630可包含系数求解器632，该系数求解器632经配置以决定线性函数的系数(例如，式(1)的系数ak及bk)，以得到最佳着色结果。在一些实施例中，系数求解器632可利用基于式(2)的SSD求解器、引导滤波求解器或双边求解器决定系数。线性函数的系数可存储在系数缓冲器632。在产生全帧色彩影像时，着色模块630可不断地从系数缓冲器632取出系数，因为用于个别色彩涂鸦块附近的特定邻近区域(例如，在图4中色彩涂鸦块Ui附近的邻近区域Ωk)中像素的系数维持不变。
在一些实施例中，设备600可包含输出模块650。输出模块650经配置以传送存储在缓冲器中的全帧色彩影像作为全帧彩色影像699。举例来说，输出模块650可传送色彩通道的全帧色彩影像到显示设备，而显示设备经配置以将全帧色彩影像呈现为全帧彩色影像699。
IV.说明用流程
图7说明依据本揭露实施例的范例流程700。流程700可呈现出实现各种以上所提出的设计、概念、方案、系统及方法的面向。更具体来说，流程700可呈现所提出的概念及方案的面向，关于依据本揭露基于来自混合传感器的传感器数据产生全帧彩色影像。流程700可包含如一个或多个方块710、720及730所说明的一个或多个操作、行动或功能。虽然在图7中以分离的方块表示，流程700的各种方块可被分割成额外的方块、结合成更少的方块或依据所需的实现方式减少方块。并且，流程700的方块/子方块可依照图7所示的顺序执行，或者以不同顺序代替。另外，流程700的方块/子方块可被重复或迭代执行。流程700可以由设备600或在设备600中实现，也可由设备600的任何变化所实现。以下的流程700是在设备600的情况下所描述，但这只是为了说明的目的而不限于此范围。流程700可以在方块710开始。
在方块710，流程700可涉及设备600的输入模块610，以接收来自混合传感器的传感器数据。混合传感器可使用包含多个原色的颜色模型，并可M多个原色合成所有的可见颜色。颜色模型可以是RGB颜色模型、CMY颜色模型或其他能够产生涵盖所有可见颜色的颜色空间的合适颜色模型。传感器数据可包含颜色模型的多个色彩通道的部分帧色彩数据(例如，部分帧色彩影像311、312及313)。传感器数据也可包含部分帧无色彩数据(例如，无色彩数据320)。部分帧无色彩数据可对应到白光波长的频带。在一些实施例中，部分帧无色彩数据可对应到进一步包含近红外光(NIR)频带以及甚至超过NIR频带的波长频带。传感器数据可存储于设备600的传感器数据缓冲器642。在一些实施例中，部分帧色彩数据由混合传感器的色彩感测组件所产生，而部分帧无色彩数据由混合传感器的无色彩感测组件所产生。混合传感器可具有与色彩感测组件相比有较多数量的无色彩感测组件。混合传感器可包含由传感器组件100所实现的传感器组件。流程700可接着从方块710进行到方块720。
在方块720，流程700可涉及空间滤波模块620，并基于在方块710所接收的传感器数据的部分帧无色彩数据产生全帧无色彩数据(例如，全帧灰色影像330)。在一些实施例中，空间滤波模块620可通过在部分帧无色彩数据上进行插值操作产生全帧无色彩数据。在一些实施例中，空间滤波模块620除了基于部分帧无色彩数据也可基于部分帧色彩数据产生全帧无色彩数据。流程700接着可M方块720进行到方块730。
在方块730，流程700可涉及着色模块630，并进行着色程序以产生全帧彩色影像(例如，全帧彩色影像340)。着色程序可基于全帧无色彩数据(例如，全帧灰色影像330)以及部分帧色彩数据(例如，部分帧色彩影像311、312及313)所进行。全帧色彩影像包括多个全帧色彩影像(例如，全帧色彩影像341、342及343)。各个全帧色彩图像映射到混合传感器所使用的颜色模型的个别的色彩通道。并且，着色模块630基于各个全帧色彩影像所对应的个别色彩通道的全帧无色彩数据以及部分帧色彩数据产生各个全帧色彩影像。在一些实施例中，着色模块630可通过将个别的色彩通道的部分帧色彩数据经由实质上线性函数应用到全帧无色彩数据进行着色程序。着色模块630可利用系数求解器632解出实质上线性函数的系数。系数求解器632可以是引导滤波求解器、双边求解器或SSD求解器。
V.示例电子系统
许多上述特征和应用被实现为被指定为记录在计算器可读存储介质(也称为计算器可读介质)上的一组指令的软件过程。当这些指令由一个或多个计算或处理单元(例如，一个或多个处理器，处理器的核心或其他处理单元)执行时，它们使处理单元执行指令中指示的动作。计算器可读介质的示例包括但不限于CD-ROM、闪存驱动器、随机存取存储器(RAM)芯片、硬盘驱动器、可擦可程序化只读存储器(EPROM)、电可擦可程序化只读存储器(EEPROM)等。计算器可读介质不包括无线或通过有线连接传递的载波和电子信号。
在本说明书中，术语“软件”旨在包括驻留在只读存储器中的韧体或存储在磁性存储器中的应用，其可以被读入存储器以供处理器处理。而且，在一些实施例中，可以将多个软件发明实现为较大程序的子部分，同时保留不同的软件发明。在一些实施例中，多种软件发明也可以被实现为单独的程序。最后，一起实现此处描述的软件发明的单独程序的任何组合都在本公开的范围内。在一些实施例中，软件程序在被安装以在一个或多个电子系统上运行时，定义了一种或多种执行和执行软件程序的操作的特定机器实现。
图8概念性地示出了实现本公开的一些实施例的电子系统800。电子系统800可以是计算器(例如，台式计算器、个人计算器、平板计算器等)、电话、PDA或任何其他种类的电子设备。这样的电子系统包括各种类型的计算器可读介质以及用于各种其他类型的计算器可读介质的接口。电子系统800包括总线805、处理单元810、图形处理单元(GPU)815、系统存储器820、网络825、只读存储器830、永久存储设备835、输入设备840，以及输出设备845。
总线805共同代表通信地连接电子系统800的众多内部设备的所有系统总线、外围设备总线和芯片组总线。例如，总线805将处理单元810与GPU 815、只读存储器830、系统存储器820和永久存储设备835通信地连接。
处理单元810从这些各种存储单元中撷取要执行的指令和要处理的数据，以便执行本公开的处理。在不同的实施例中，处理单元可以是单个处理器或多核处理器。一些指令被传递到GPU815并由其执行。GPU 815可以卸除各种计算或补充由处理单元810提供的图片处理。
只读存储器(ROM)830存储由处理单元810和电子系统的其他模块使用的静态数据和指令。另一方面，永久存储设备835是读写存储设备。该设备是非易失性存储单元，即使电子系统800处于关闭状态，该单元也存储指令和数据。本公开的一些实施例使用大容量存储设备(诸如磁盘或光盘及其对应的磁盘驱动器)作为永久存储设备835。
其他实施例使用可移动存储设备(例如软盘、闪存设备等，及其对应的磁盘驱动器)作为永久存储设备。像永久存储设备835一样，系统存储器820是读写存储设备。然而，与存储设备835不同，系统存储器820是易失性读写存储器，例如随机存取存储器。系统存储器820存储处理器在运行时使用的一些指令和数据。在一些实施例中，根据本公开的过程被存储在系统存储器820，永久存储设备835和/或只读存储器830中。例如，各种存储单元包括用于根据一些实施例处理多媒体剪切的指令。处理单元810从这些各种存储单元中撷取要执行的指令和要处理的数据，以便执行一些实施例的处理。
总线805还连接到输入和输出设备840和845。输入设备840使用户能够向电子系统传达信息并选择命令。输入设备840包括字母数字键盘和指示设备(也称为“光标控制设备”)、照相机(例如，网络摄像头)、麦克风或用于接收语音命令的类似设备等。输出设备845显示由电子系统生成的图片或其他输出数据。输出设备845包括打印机和显示设备，例如阴极射线管(CRT)或液晶显示器(LCD)，以及扬声器或类似的音频输出设备。一些实施例包括既充当输入设备又充当输出设备的设备，例如触摸屏。
最后，如图8所示，总线805还通过网络适配器(未示出)将电子系统800耦合到网络825。以这种方式，计算器可以是计算器网络的一部分(例如局域网(“LAN”)、广域网(“WAN”)或内部网络，或网络网(network of networks)，例如互联网。电子系统800的任何或所有组件可以与本公开结合使用。
一些实施例包括电子组件，例如微处理器、存储器和存储器，将计算器程序指令存储在机器可读或计算器可读介质(或者称为计算器可读存储介质，机器可读介质或机器可读介质)中。这种计算器可读介质的一些示例包括RAM、ROM、只读光盘(CD-ROM)、可记录光盘(CD-R)、可重写光盘(CD-RW)、只读数字多功能光盘(例如，DVD-ROM，双层DVD-ROM)、各种可记录/可重写DVD(例如DVD-RAM，DVD-RW，DVD+RW等)、闪存(例如SD卡、mini-SD卡、micro-SD卡等)、磁性和/或固态硬盘驱动器、只读和可记录的
Figure BDA0003548037520000171
光盘、超密度光盘，任何其他光学或磁性介质以及软盘。该计算器可读介质可以存储计算器程序，该计算器程序可以由至少一个处理单元执行，并且包括用于执行各种操作的指令集。计算器程序或计算器代码的示例包括诸如由编译程序产生的机器代码，以及包括由计算器、电子部件或使用解释器的微处理器执行的更高级别的代码的文件。
尽管以上讨论主要是指执行软件的微处理器或多核处理器，但是许多上述特征和应用是由一个或多个集成电路执行的，例如专用集成电路(ASIC)或现场可程序化控制器门数组(FPGA)。在一些实施例中，这样的集成电路执行存储在电路本身上的指令。另外，一些实施例执行存储在可程序化逻辑设备(PLD)，ROM或RAM设备中的软件。
如本说明书和本申请的任何申请专利范围中所使用的，术语“计算器”、“服务器”、“处理器”和“存储器”均指电子或其他技术设备。这些术语不包括个人或人群。为了说明的目的，术语“显示”或“显示”是指在电子设备上显示。如本说明书和本申请的任何申请专利范围中所使用的，术语“计算器可读媒体”、“计算器可读介质”和“机器可读介质”完全限于有形的物理对象，该有形的物理对像以可被计算机读取的形式存储信息。这些术语不包括任何无线信号、有线下载信号和任何其他临时信号。
虽然已经参考许多具体细节描述了本公开，但是所属领域具有通常知识者将认识到，在不脱离本公开的精神的情况下，本公开可以以其他特定形式来体现。另外，许多附图(包括图6和图7)在概念上示出了过程。这些过程的特定操作可能无法按照所示和所描述的确切顺序执行。可以不在一个连续的一系列操作中执行特定操作，并且可以在不同的实施例中执行不同的特定操作。此外，该过程可以使用几个子过程来实现，或者作为更大的宏过程的一部分来实现。因此，所属领域具有通常知识者将理解，本公开内容不受限于前述说明性细节，而是由所附申请专利范围限定。在一些实施例中，编码器可以在比特流中信合(或生成)一个或多个语法元素，使得译码器可以从比特流中解析所述一个或多个语法元素。
文中描述的主题有时示出了包含在其它不同部件内的或与其它不同部件连接的不同部件。应当理解：这样描绘的架构仅仅是示例性的，并且，实际上可以实施实现相同功能的许多其它架构。在概念意义上，实现相同功能的部件的任何布置是有效地“相关联的”，以使得实现期望的功能。因此，文中被组合以获得特定功能的任意两个部件可以被视为彼此“相关联的”，以实现期望的功能，而不管架构或中间部件如何。类似地，这样相关联的任意两个部件还可以被视为彼此“可操作地连接的”或“可操作地耦接的”，以实现期望的功能，并且，能够这样相关联的任意两个部件还可以被视为彼此“操作上可耦接的”，以实现期望的功能。“操作上可耦接的”的具体示例包含但不限于：实体地可联结和/或实体地相互、作用的部件、和/或无线地可相互作用和/或无线地相互作用的部件、和/或逻辑地相互作用的和/或逻辑地可相互作用的部件。
此外，关于文中基本上任何复数和/或单数术语的使用，只要对于上下文和/或应用是合适的，所属技术领域具有通常知识者可以将复数变换成单数，和/或将单数变换成复数。为清楚起见，这里可以明确地阐述各种单数/复数排列。
所属技术领域具有通常知识者将会理解，通常，文中所使用的术语，特别是在所附申请专利范围(例如，所附申请专利范围中的主体)中所使用的术语通常意在作为“开放性”术语(例如，术语“包含”应当被解释为“包含但不限干”，术语“具有”应当被解释为“至少具有”，术语“包含”应当被解释为“包含但不限干”等)。所属技术领域具有通常知识者还将理解，如果意在所介绍的申请专利范围陈述对象的具体数目，则这样的意图将会明确地陈述在申请专利范围中，在缺乏这样的陈述的情况下，不存在这样的意图。例如，为了帮助理解，所附申请专利范围可以包含使用介绍性短语“至少一个”和“一个或更多个”来介绍申请专利范围陈述对象。然而，这样的短语的使用不应当被解释为：用不定冠词“一个(a或an)”的申请专利范围陈述对象的介绍将包含这样介绍的申请专利范围陈述对象的任何申请专利范围限制为只包含一个这样的陈述对象的发明，即使在同一申请专利范围包含介绍性短语“一个或更多个”或“至少一个”以及诸如“一个(a)”或“一个(an)”之类的不定冠词的情况下(例如，“一个(a)”和/或“一个(an)”应当通常被解释为意味着“至少一个”或“一个或更多个”)也如此；上述对以定冠词来介绍申请专利范围陈述对象的情况同样适用。另外，即使明确地陈述了介绍的申请专利范围陈述对象的具体数目，但所属技术领域具有通常知识者也会认识到：这样的陈述通常应当被解释为意味着至少所陈述的数目(例如，仅有“两个陈述对象”而没有其他修饰语的陈述通常意味着至少两个陈述对象，或两个或更多个陈述对象)。此外，在使用类似于“A、B和C中的至少一个等”的惯用语的情况下，通常这样的结构意在所属技术领域具有通常知识者所理解的该惯用语的含义(例如，“具有A、B和C中的至少一个的系统”将包含但不限于具有单独的A、单独的B、单独的C、A和B-起、A和C一起、B和C一起和/或A、B和C一起的系统等)。在使用类似于“A、B或C中的至少一个等”的惯用语的情况下，通常这样的结构意在所属技术领域具有通常知识者所理解的该惯用语的含义(例如，“具有A、B或C中的至少一个的系统”将包含但不限于具有单独的A、单独的B、单独的C、A和B-起、A和C一起、B和C一起和/或A、B和C一起的系统等)。所属技术领域具有通常知识者将进一步理解，不管在说明书、申请专利范围中还是在附图中，表示两个或更多个可替换的术语的几乎任意析取词和/或短语应当理解成考虑包含术语中的一个、术语中的任一个或所有两个术语的可能性。例如，短语“A或B”应当被理解成包含“A”、“B”、或“A和B”的可能性。
从前述内容可以理解，本文已经出于说明的目的描述了本公开的各种实施方式，并且在不脱离本公开的范围和精神的情况下可以进行各种修改。因此，本文公开的各种实施方式不旨在是限制性的，真正的范围和精神由所附申请专利范围指示。。

Claims (20)

1.一种产生全帧彩色影像的方法，包括：
从混合传感器接收传感器数据，该传感器数据包含多个色彩通道的部分帧色彩数据以及部分帧无色彩数据；
基于该部分帧无色彩数据产生全帧无色彩数据；以及
基于该全帧无色彩数据以及该部分帧色彩数据产生该全帧彩色影像。
2.根据权利要求1所述的图像处理方法，其特征在于：
该混合传感器包含传感器组件，该传感器组件具有第一数量的多个色彩感测组件以及第二数量的多个无色彩感测组件，且该第二数量大于该第一数量，该多个色彩感测组件经配置以产生该部分帧色彩数据，该多个无色彩感测组件经配置以产生该部分帧无色彩数据，以及
该多个色彩感测组件横跨该传感器组件的光入射表面稀疏地散布于该多个无色彩感测组件中。
3.根据权利要求1所述的图像处理方法，其特征在于，该产生该全帧无色彩数据包含插值该部分帧无色彩数据。
4.根据权利要求1所述的图像处理方法，其特征在于，该产生该全帧无色彩数据进一步基于该部分帧色彩数据。
5.根据权利要求1所述的图像处理方法，其特征在于，该全帧彩色影像包含多个全帧色彩影像，该多个全帧色彩影像各自对对到该多个色彩通道的各个色彩通道，且其中该产生该全帧彩色影像包含利用着色程序基于该全帧无色彩数据以及该各个色彩通道的部分帧色彩数据产生该多个全帧色彩影像的各全帧色彩影像。
6.根据权利要求5所述的图像处理方法，其特征在于，该着色程序包含经由实质上线性函数将该各个色彩通道的部分帧色彩数据对用到该全帧无色彩数据。
7.根据权利要求6所述的图像处理方法，其特征在于，该着色程序还包含利用引导导波求解器或双边求解器决定该实质上线性函数的一个或多个系数。
8.根据权利要求1所述的图像处理方法，其特征在于，该多个色彩通道包含红色通道、绿色通道以及蓝色通道。
9.根据权利要求1所述的图像处理方法，其特征在于，该多个色彩通道包含青色通道、紫红色通道以及黄色通道。
10.根据权利要求1所述的图像处理方法，其特征在于，该部分帧无色彩数据包含白光数据、红外线数据或这两者的组合。
11.一种图像处理设设，包括：
输入模块，经配置以从混合传感器接收传感器数据，该传感器数据包含多个色彩通道的部分帧色彩数据以及部分帧无色彩数据；
空间导波模块，经配置以基于该部分帧无色彩数据产生全帧无色彩数据；以及
着色模块，经配置以基于该全帧无色彩数据以及该部分帧色彩数据产生多个全帧色彩影像，该多个全帧色彩影像各自对对到该多个色彩通道的各个色彩通道。
12.根据权利要求11所述的图像处理设设，其特征在于，该混合传感器包含传感器组件，该传感器组件具有第一数量的多个色彩感测组件以及第二数量的多个无色彩感测组件，且该第二数量大于该第一数量，该多个色彩感测组件经配置以产生该部分帧色彩数据，该多个无色彩感测组件经配置以产生该部分帧无色彩数据，以及
该多个色彩感测组件横跨该传感器组件的光入射表面稀疏地散布于该多个无色彩感测组件中。
13.根据权利要求11所述的图像处理设设，其特征在于，该空间导波模块经配置以通过对该部分帧无色彩数据进行插值而产生该全帧无色彩数据。
14.根据权利要求11所述的图像处理设设，其特征在于，该空间导波器经配置以进一步基于该部分帧色彩数据产生该全帧无色彩数据。
15.根据权利要求11所述的图像处理设设，还包括：输出模块，经配置以将该多个全帧色彩影像作为全帧彩色影像传传。
16.根据权利要求11所述的图像处理设设，其特征在于，该着色模块在产生该多个全帧色彩影像中经进一步配置以经由线性函数将该各个色彩通道的部分帧色彩数据对用到该全帧无色彩数据。
17.根据权利要求16所述的图像处理设设，其特征在于，该着色模块进一步经配置以利用导向导波求解器或双边求解器决定该线性函数的一个或多个系数。
18.根据权利要求11所述的图像处理设设，其特征在于，该多个色彩通道包含红色通道、绿色通道以及蓝色通道。
19.根据权利要求11所述的图像处理设设，其特征在于，该多个色彩通道包含青色通道、紫红色通道以及黄色通道。
20.根据权利要求11所述的图像处理设设，其特征在于，该部分帧无色彩数据包含白光数据、红外线数据或这两者的组合。
CN202210254505.5A 2021-03-17 2022-03-15 高敏感度色彩影像产生方法及其设备 Pending CN115118937A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163162091P 2021-03-17 2021-03-17
US63/162,091 2021-03-17
US17/691,043 US20220303515A1 (en) 2021-03-17 2022-03-09 High Sensitivity Color Image Generation Using Hybrid Sensor
US17/691,043 2022-03-09

Publications (1)

Publication Number Publication Date
CN115118937A true CN115118937A (zh) 2022-09-27

Family

ID=83284080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210254505.5A Pending CN115118937A (zh) 2021-03-17 2022-03-15 高敏感度色彩影像产生方法及其设备

Country Status (3)

Country Link
US (1) US20220303515A1 (zh)
CN (1) CN115118937A (zh)
TW (1) TWI807694B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690422B1 (en) * 1999-11-03 2004-02-10 Sharp Laboratories Of America, Inc. Method and system for field sequential color image capture using color filter array
CN102316328A (zh) * 2010-06-30 2012-01-11 手持产品公司 输出单色图像数据和彩色图像数据的终端
CN104581100A (zh) * 2015-02-12 2015-04-29 张李静 色彩滤镜阵列和图像处理方法
CN110463197A (zh) * 2017-03-26 2019-11-15 苹果公司 增强立体相机成像系统中的空间分辨率
CN110637459A (zh) * 2017-12-20 2019-12-31 谷歌有限责任公司 用于图像传感器的彩色滤光器阵列
CN111194458A (zh) * 2017-10-11 2020-05-22 高通股份有限公司 用于处理图像的图像信号处理器

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6657663B2 (en) * 1998-05-06 2003-12-02 Intel Corporation Pre-subtracting architecture for enabling multiple spectrum image sensing
KR100900485B1 (ko) * 2002-10-26 2009-06-03 삼성디지털이미징 주식회사 구조가 개선된 디지털 카메라용 이미지 센싱 수단 및 이를채용한 디지털 카메라
JP4466569B2 (ja) * 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
US7769230B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7769229B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Processing images having color and panchromatic pixels
WO2009046268A1 (en) * 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US20110013056A1 (en) * 2009-07-17 2011-01-20 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Color filters and demosaicing techniques for digital imaging
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20130321675A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
FR3004882B1 (fr) * 2013-04-17 2015-05-15 Photonis France Dispositif d'acquisition d'images bimode
JP6468482B2 (ja) * 2014-11-26 2019-02-13 株式会社リコー 撮像装置、物体検出装置及び移動体機器制御システム
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
US20180129866A1 (en) * 2016-11-10 2018-05-10 Intel Corporation Meta illuminator
JP2018082259A (ja) * 2016-11-15 2018-05-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、信号処理回路、及び、電子機器
JP2019128827A (ja) * 2018-01-25 2019-08-01 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690422B1 (en) * 1999-11-03 2004-02-10 Sharp Laboratories Of America, Inc. Method and system for field sequential color image capture using color filter array
CN102316328A (zh) * 2010-06-30 2012-01-11 手持产品公司 输出单色图像数据和彩色图像数据的终端
CN104581100A (zh) * 2015-02-12 2015-04-29 张李静 色彩滤镜阵列和图像处理方法
CN110463197A (zh) * 2017-03-26 2019-11-15 苹果公司 增强立体相机成像系统中的空间分辨率
CN111194458A (zh) * 2017-10-11 2020-05-22 高通股份有限公司 用于处理图像的图像信号处理器
CN110637459A (zh) * 2017-12-20 2019-12-31 谷歌有限责任公司 用于图像传感器的彩色滤光器阵列

Also Published As

Publication number Publication date
US20220303515A1 (en) 2022-09-22
TWI807694B (zh) 2023-07-01
TW202239197A (zh) 2022-10-01

Similar Documents

Publication Publication Date Title
US10825426B2 (en) Merging multiple exposures to generate a high dynamic range image
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
US8254718B2 (en) Multi-channel edge-aware chrominance noise reduction
CN113228628B (zh) 用于转换非拜尔图案颜色滤波器阵列图像数据的系统和方法
CN109076139B (zh) 用于捕获彩色图像数据的方法和装置
JP5045421B2 (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
US8666153B2 (en) Image input apparatus
JP5106870B2 (ja) 固体撮像素子
CN105592270B (zh) 图像亮度补偿方法、装置及终端设备
WO2011048870A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
TWI737979B (zh) 圖像去馬賽克裝置及方法
CN107707789B (zh) 提供场景彩色高分辨率图像的方法、计算设备和存储介质
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
JP5698875B2 (ja) カラー撮像素子および撮像装置
WO2020119505A1 (zh) 一种图像处理方法和系统
JP5943393B2 (ja) 撮像装置
US20230342895A1 (en) Image processing method and related device thereof
US20150365643A1 (en) Method of color processing using a color and white filter array
CN113068011B (zh) 图像传感器、图像处理方法及系统
KR102644899B1 (ko) 공간적으로 다중화된 노출
JPWO2006059365A1 (ja) 画像処理装置、非撮像色信号算出装置及び画像処理方法
US20130077860A1 (en) Image signal processor and method for image enhancement
TWI807694B (zh) 高敏感度色彩影像產生方法及其設備
TWM458747U (zh) 影像處理模組
JP2009290795A (ja) 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、および電子情報機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination