CN112087559A - 图像传感器、图像拍摄装置和方法 - Google Patents

图像传感器、图像拍摄装置和方法 Download PDF

Info

Publication number
CN112087559A
CN112087559A CN201910510241.3A CN201910510241A CN112087559A CN 112087559 A CN112087559 A CN 112087559A CN 201910510241 A CN201910510241 A CN 201910510241A CN 112087559 A CN112087559 A CN 112087559A
Authority
CN
China
Prior art keywords
image
light source
filtering
filter
arrays
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910510241.3A
Other languages
English (en)
Other versions
CN112087559B (zh
Inventor
朱力于
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910510241.3A priority Critical patent/CN112087559B/zh
Priority to US17/596,475 priority patent/US20220239810A1/en
Priority to EP20822766.0A priority patent/EP3962057A4/en
Priority to PCT/CN2020/095348 priority patent/WO2020249000A1/zh
Publication of CN112087559A publication Critical patent/CN112087559A/zh
Application granted granted Critical
Publication of CN112087559B publication Critical patent/CN112087559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H01L27/14621—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请公开了一种图像传感器、图像拍摄装置和方法，涉及图像拍摄领域，用于在不增加外设条件下获取光谱信息。图像拍摄装置包括图像传感器以及处理器；图像传感器用于拍摄物体的至少一个图像；处理器用于根据至少一个图像得到物体在预设光源下的图像；对物体在预设光源下的图像中，第一滤波阵列集合的任意两组滤波阵列在同一相对位置的滤波点的子图像作差，得到第一滤波阵列集合的多个窄带频谱响应；根据多个窄带频谱响应得到物体在第一滤波阵列集合中的光谱信息。

Description

图像传感器、图像拍摄装置和方法
技术领域
本申请涉及图像拍摄领域，尤其涉及一种图像传感器、图像拍摄装置和方法。
背景技术
随着图像拍摄技术的进步以图像处理应用的发展，图像拍摄装置(例如手机)在拍摄图像时不限于获取基本的红绿蓝(red green blue，RGB)信息，还可以获取光谱信息。
现有技术中一般通过专用光谱仪或外接光学设备来获取光谱信息，普通用户一般不会购买类似设备，限制了光谱信息的应用。
发明内容
本申请实施例提供一种图像传感器、图像拍摄装置和方法，用于在不增加外设条件下获取光谱信息。
为达到上述目的，本申请的实施例采用如下技术方案：
第一方面，提供了一种图像传感器，包括：色彩滤波矩阵，色彩滤波矩阵包括至少一个滤波阵列集合，每个滤波阵列集合包括至少两组滤波阵列，同一滤波阵列集合中各组滤波阵列在同一相对位置的滤波点用于滤波同一种光线分量但滤波的光谱通过曲线不同。本申请实施例提供的图像传感器，由于同一滤波阵列集合中各组滤波阵列在同一相对位置的滤波点用于滤波同一种光线分量但滤波的光谱通过曲线不同，所以对物体在预设光源下的图像中，第一滤波阵列集合的任意两组滤波阵列在同一相对位置的滤波点的子图像作差，可以得到第一滤波阵列集合的多个窄带频谱响应；根据多个窄带频谱响应得到物体在第一滤波阵列集合中的光谱信息。通过改变图像传感器的滤波阵列并匹配相应的图像处理算法，实现了在不增加外设条件下获取光谱信息。
在一种可能的实施方式中，滤波阵列为拜尔阵列。
第二方面，提供了一种图像拍摄装置，包括如第一方面及其任一实施方式的图像传感器以及处理器；图像传感器用于拍摄物体的至少一个图像；处理器用于根据至少一个图像得到物体在预设光源下的图像；对物体在预设光源下的图像中，第一滤波阵列集合的任意两组滤波阵列在同一相对位置的滤波点的子图像作差，得到第一滤波阵列集合的多个窄带频谱响应；根据多个窄带频谱响应得到物体在第一滤波阵列集合中的光谱信息。本申请实施例提供的图像拍摄装置，图像传感器用于拍摄物体的至少一个图像；处理器用于根据至少一个图像得到物体在预设光源下的图像；由于同一滤波阵列集合中各组滤波阵列在同一相对位置的滤波点用于滤波同一种光线分量但滤波的光谱通过曲线不同，所以对物体在预设光源下的图像中，第一滤波阵列集合的任意两组滤波阵列在同一相对位置的滤波点的子图像作差，可以得到第一滤波阵列集合的多个窄带频谱响应；根据多个窄带频谱响应得到物体在第一滤波阵列集合中的光谱信息。通过改变图像传感器的滤波阵列并匹配相应的图像处理算法，实现了在不增加外设条件下获取光谱信息。
在一种可能的实施方式中，至少一个图像包括第一图像和第二图像，其中，第一图像为物体的未经预设光源补光的图像，第二图像为物体的经过预设光源补光的图像；处理器用于取第二图像与第一图像的差值得到物体在预设光源下的图像。该实施方式适用于环境光照不好(例如阴天、夜晚、室内等)时。
在一种可能的实施方式中，至少一个图像包括第三图像；处理器根据预设的白平衡参数对第三图像进行校准得到物体在预设光源下的图像。该实施方式适用于环境光照好(例如晴天、中午、室外)时。
在一种可能的实施方式中，处理器具体用于，对多个窄带频谱响应进行插值得到物体在第一滤波阵列集合中的光谱信息。
在一种可能的实施方式中，处理器还用于，对至少一个图像的每组滤波阵列对应的子图像分别进行色彩矫正矩阵CCM矫正。在白平衡后，将各组滤波阵列对应的子图像通过不同的CCM矩阵标定，矫正到同样的色彩空间，达到不影响正常拍照的目的。
第三方面，提供了一种图像拍摄方法，应用于如第二方面及其任一实施方式的图像拍摄装置，该方法包括：拍摄物体的至少一个图像；根据至少一个图像得到物体在预设光源下的图像；对物体在预设光源下的图像中，第一滤波阵列集合的任意两组滤波阵列在同一相对位置的滤波点的子图像作差，得到第一滤波阵列集合的多个窄带频谱响应；根据多个窄带频谱响应得到物体在第一滤波阵列集合中的光谱信息。
在一种可能的实施方式中，至少一个图像包括第一图像和第二图像，其中，第一图像为物体的未经预设光源补光的图像，第二图像为物体的经过预设光源补光的图像；根据至少一个图像得到物体在预设光源下的图像，包括：取第二图像与第一图像的差值得到物体在预设光源下的图像。
在一种可能的实施方式中，至少一个图像包括第三图像；根据至少一个图像得到物体在预设光源下的图像，包括：根据预设的白平衡参数对第三图像进行校准得到物体在预设光源下的图像。
在一种可能的实施方式中，根据多个窄带频谱响应得到物体在第一滤波阵列集合中的光谱信息，包括：对多个窄带频谱响应进行插值得到物体在第一滤波阵列集合中的光谱信息。
在一种可能的实施方式中，方法还包括：对至少一个图像的每组滤波阵列对应的子图像分别进行色彩矫正矩阵CCM矫正。
第三方面及其任一实施方式的技术效果参照第二方面。
附图说明
图1为本申请实施例提供的一种图像拍摄装置的结构示意图；
图2为本申请实施例提供的一种图像传感器的结构示意图；
图3为本申请实施例提供的一种图像传感器的光谱通过曲线的示意图；
图4为本申请实施例提供的另一种图像传感器的结构示意图；
图5为本申请实施例提供的不同组滤波阵列同一相对位置的滤波点的光谱通过曲线的示意图；
图6为本申请实施例提供的一种图像拍摄方法的流程示意图；
图7为本申请实施例提供的一种窄带频谱响应的示意图。
具体实施方式
本申请提供了一种图像拍摄装置，该图像拍摄装置可以为手机、平板电脑、相机等具有拍摄功能的装置。
如图1所示，该图像拍摄装置10包括图像传感器11和处理器12。可选的，该图像拍摄装置10还可以包括存储器。
本申请实施例涉及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。
本申请实施例涉及的处理器12可以为图像专用处理器或通用处理器，例如，可以为图像信号处理单元(image signal processor，ISP)或其他具有图像处理功能的处理器。
本申请实施例涉及的图像传感器11可以为电荷耦合元件(charge-coupleddevice，CCD)、互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)或其他具有采集图像功能的传感器。
如图2所示，现有技术中的图像传感器一般采用贝尔陈列的色彩滤波矩阵(colorfilter array，CFA)。图像传感器中单个像素点包括四个滤波点(RGGB滤波点)，每个滤波点包括色彩滤波器和感光元件，色彩滤波器分别根据RGB光线分量对宽谱入射光进行滤波，感光元件只感光由色彩滤波器滤波后的单个光线分量。
如图3所示，为现有技术中的图像传感器的光谱通过曲线，单个滤波点的输出值与光谱通过曲线的积分值和入射光光谱的乘积成正比。各个像素点同一光线分量的光谱通过曲线是相同的。
如图4所示，本申请实施例涉及的图像传感器11包括色彩滤波矩阵(color filterarray，CFA)110，色彩滤波矩阵包括至少一个滤波阵列集合S，每个滤波阵列集合S包括至少两组滤波阵列T，同一滤波阵列集合S中各组滤波阵列T在同一相对位置的滤波点用于滤波同一种光线分量但滤波的光谱通过曲线不同。特别地，滤波阵列可以为拜尔阵列(bayerpattern)。
示例性的，图4中每个滤波阵列集合S包括四组滤波阵列T。G1、G2、G3、G4均用于滤波绿色光线分量，但G1、G2、G3、G4的光谱通过曲线不同。R1、R2、R3、R4均用于滤波红色光线分量，但R1、R2、R3、R4的光谱通过曲线不同。B1、B2、B3、B4均用于滤波蓝色光线分量，但B1、B2、B3、B4的光谱通过曲线不同，示例性的，图5示出了B1、B2、B3、B4的光谱通过曲线的区别。
图像传感器11和处理器12用于执行如图6所示的图像拍摄方法：
S601、图像传感器拍摄物体的至少一个图像。
在一种可能的实施方式中，当环境光照不好(例如阴天、夜晚、室内等)时，图像传感器可以拍摄物体的两个图像。即至少一个图像包括第一图像和第二图像，其中，第一图像为物体的未经预设光源补光的图像，第二图像为物体的经过预设光源补光的图像。
也就是说，在图像拍摄装置通过图像传感器拍摄物体的图像的过程中，先后经过两次曝光。第一次拍摄无补光灯补光，获得的物体的未经预设光源补光的图像，该图像仅包含环境光照。第二次拍摄采用相同曝光参数并采用预设光源的补光灯补光，获得物体的经过预设光源补光的图像，该图像不仅包含环境光照，还包含预设光源的补光。
在另一种可能的实施方式中，当环境光照好(例如晴天、中午、室外)时，图像传感器可以仅拍摄物体的一个图像。即至少一个图像包括第三图像。
需要说明的是，本申请不限定第一图像和第二图像的拍摄顺序，也可以先拍摄第二图像后拍摄第一图像。
S602、处理器根据至少一个图像得到物体在预设光源下的图像。
在一种可能的实施方式中，对于图像传感器拍摄第一图像和第二图像的场景，处理器可以取第二图像与第一图像的差值得到物体在预设光源下的图像。也就是说，取第二图像与第一图像的差值去除了环境光照，仅保留了物体在预设光源下的图像。
在另一种可能的实施方式中，对于图像传感器拍摄第三图像的场景，处理器根据预设的白平衡参数对第三图像进行校准得到物体在预设光源下的图像。其中，同一滤波阵列集合中不同组滤波阵列的白平衡参照不同。即针对各组滤波阵列对应的子图像分别进行白平衡的校准和色彩校正。
S603、处理器对物体在预设光源下的图像中，第一滤波阵列集合的任意两组滤波阵列在同一相对位置的滤波点的子图像作差，得到第一滤波阵列集合的多个窄带频谱响应。
第一滤波阵列集合指任一滤波陈列集合。
示例性的，以图4所示的滤波阵列集合中的第一个滤波阵列集合的蓝色滤波点为例，将该滤波阵列集合中滤波点B1、B2、B3、B4的子图像两两之间作差可以得到B1-B2、B1-B3、B1-B4、B2-B3、B2-B4、B3-B4共六个窄带频谱响应。示例性的，图7示出了B1-B2的窄带频谱响应的示意图。
S604、处理器根据多个窄带频谱响应得到物体在第一滤波阵列集合中的光谱信息。
具体的，对第一滤波阵列集合的多个窄带频谱响应进行插值得到物体在第一滤波阵列集合中的光谱信息。
示例性的，对步骤S603中得到的六个窄带频谱响应进行插值，可以得到物体在第一滤波阵列集合中的蓝色光谱信息。
另外，由于同一滤波阵列集合中各组滤波阵列在同一相对位置的滤波点的光谱通过曲线不同，所以在正常拍照时各组滤波阵列成像的色彩响应不一致。因此，处理器还用于对所述至少一个图像的每组滤波阵列对应的子图像分别进行色彩矫正矩阵(colorcorrection matrix，CCM)矫正，并且同一滤波阵列集合中不同组滤波阵列的CCM不同。即在白平衡后，将各组滤波阵列对应的子图像通过不同的CCM矩阵标定，矫正到同样的色彩空间，达到不影响正常拍照的目的。
本申请实施例提供的图像传感器、图像拍摄装置和方法，图像传感器用于拍摄物体的至少一个图像；处理器用于根据至少一个图像得到物体在预设光源下的图像；由于同一滤波阵列集合中各组滤波阵列在同一相对位置的滤波点用于滤波同一种光线分量但滤波的光谱通过曲线不同，所以对物体在预设光源下的图像中，第一滤波阵列集合的任意两组滤波阵列在同一相对位置的滤波点的子图像作差，可以得到第一滤波阵列集合的多个窄带频谱响应；根据多个窄带频谱响应得到物体在第一滤波阵列集合中的光谱信息。通过改变图像传感器的滤波阵列并匹配相应的图像处理算法，实现了在不增加外设条件下获取光谱信息。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种图像传感器，其特征在于，包括：色彩滤波矩阵，所述色彩滤波矩阵包括至少一个滤波阵列集合，每个滤波阵列集合包括至少两组滤波阵列，同一滤波阵列集合中各组滤波阵列在同一相对位置的滤波点用于滤波同一种光线分量但滤波的光谱通过曲线不同。
2.根据权利要求1所述的图像传感器，其特征在于，所述滤波阵列为拜尔阵列。
3.一种图像拍摄装置，其特征在于，包括如权利要求1-2任一项所述的图像传感器以及处理器；
所述图像传感器用于拍摄物体的至少一个图像；
所述处理器用于根据所述至少一个图像得到所述物体在预设光源下的图像；对所述物体在预设光源下的图像中，第一滤波阵列集合的任意两组滤波阵列在同一相对位置的滤波点的子图像作差，得到所述第一滤波阵列集合的多个窄带频谱响应；
根据所述多个窄带频谱响应得到所述物体在所述第一滤波阵列集合中的光谱信息。
4.根据权利要求3所述的图像拍摄装置，其特征在于，所述至少一个图像包括第一图像和第二图像，其中，所述第一图像为所述物体的未经所述预设光源补光的图像，所述第二图像为所述物体的经过所述预设光源补光的图像；
所述处理器用于取所述第二图像与所述第一图像的差值得到所述物体在预设光源下的图像。
5.根据权利要求3所述的图像拍摄装置，其特征在于，所述至少一个图像包括第三图像；
所述处理器根据预设的白平衡参数对所述第三图像进行校准得到所述物体在预设光源下的图像。
6.根据权利要求3-5任一项所述的图像拍摄装置，其特征在于，所述处理器具体用于，对所述多个窄带频谱响应进行插值得到所述物体在所述第一滤波阵列集合中的光谱信息。
7.根据权利要求3-6任一项所述的图像拍摄装置，其特征在于，所述处理器还用于，对所述至少一个图像的每组滤波阵列对应的子图像分别进行色彩矫正矩阵CCM矫正。
8.一种图像拍摄方法，其特征在于，应用于如权利要求3-7任一项所述的图像拍摄装置，所述方法包括：
拍摄物体的至少一个图像；
根据所述至少一个图像得到所述物体在预设光源下的图像；对所述物体在预设光源下的图像中，第一滤波阵列集合的任意两组滤波阵列在同一相对位置的滤波点的子图像作差，得到所述第一滤波阵列集合的多个窄带频谱响应；
根据所述多个窄带频谱响应得到所述物体在所述第一滤波阵列集合中的光谱信息。
9.根据权利要求8所述的图像拍摄方法，其特征在于，所述至少一个图像包括第一图像和第二图像，其中，所述第一图像为所述物体的未经所述预设光源补光的图像，所述第二图像为所述物体的经过所述预设光源补光的图像；所述根据所述至少一个图像得到所述物体在预设光源下的图像，包括：
取所述第二图像与所述第一图像的差值得到所述物体在预设光源下的图像。
10.根据权利要求8所述的图像拍摄方法，其特征在于，所述至少一个图像包括第三图像；所述根据所述至少一个图像得到所述物体在预设光源下的图像，包括：
根据预设的白平衡参数对所述第三图像进行校准得到所述物体在预设光源下的图像。
11.根据权利要求8-10任一项所述的图像拍摄方法，其特征在于，所述根据所述多个窄带频谱响应得到所述物体在所述第一滤波阵列集合中的光谱信息，包括：
对所述多个窄带频谱响应进行插值得到所述物体在所述第一滤波阵列集合中的光谱信息。
12.根据权利要求8-11任一项所述的图像拍摄方法，其特征在于，所述方法还包括：
对所述至少一个图像的每组滤波阵列对应的子图像分别进行色彩矫正矩阵CCM矫正。
CN201910510241.3A 2019-06-13 2019-06-13 图像传感器、图像拍摄装置和方法 Active CN112087559B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910510241.3A CN112087559B (zh) 2019-06-13 2019-06-13 图像传感器、图像拍摄装置和方法
US17/596,475 US20220239810A1 (en) 2019-06-13 2020-06-10 Image Sensor and Image Photographing Apparatus and Method
EP20822766.0A EP3962057A4 (en) 2019-06-13 2020-06-10 IMAGE SENSOR AND IMAGE CAPTURE DEVICE AND METHOD
PCT/CN2020/095348 WO2020249000A1 (zh) 2019-06-13 2020-06-10 图像传感器、图像拍摄装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910510241.3A CN112087559B (zh) 2019-06-13 2019-06-13 图像传感器、图像拍摄装置和方法

Publications (2)

Publication Number Publication Date
CN112087559A true CN112087559A (zh) 2020-12-15
CN112087559B CN112087559B (zh) 2021-11-30

Family

ID=73733249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910510241.3A Active CN112087559B (zh) 2019-06-13 2019-06-13 图像传感器、图像拍摄装置和方法

Country Status (4)

Country Link
US (1) US20220239810A1 (zh)
EP (1) EP3962057A4 (zh)
CN (1) CN112087559B (zh)
WO (1) WO2020249000A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116679461A (zh) * 2022-09-29 2023-09-01 华为技术有限公司 图像传感器、成像装置及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1610412A (zh) * 2003-10-23 2005-04-27 索尼株式会社 图像处理装置和图像处理方法以及程序
CN102823230A (zh) * 2011-01-17 2012-12-12 松下电器产业株式会社 摄像装置
CN103597821A (zh) * 2011-07-13 2014-02-19 富士胶片株式会社 图像拾取设备和信号值校正方法
US20140168490A1 (en) * 2011-04-22 2014-06-19 Panasonic Corporation Imaging device, imaging system, and imaging method
JP2015219284A (ja) * 2014-05-14 2015-12-07 キヤノン株式会社 撮像装置及び撮像装置の制御方法
WO2015198733A1 (ja) * 2014-06-26 2015-12-30 ソニー株式会社 固体撮像装置、電子機器、及び、固体撮像装置の製造方法
CN105628199A (zh) * 2014-10-26 2016-06-01 中国科学院重庆绿色智能技术研究院 具有亚波长金属结构的芯片型光谱仪
CN106488202A (zh) * 2015-08-24 2017-03-08 钰立微电子股份有限公司 用于红绿蓝红外光传感器的图像处理装置及图像处理方法
US20170134670A1 (en) * 2014-11-06 2017-05-11 Taiwan Semiconductor Manufacturing Company, Ltd. Sensor having depth sensing pixel and method of using the same
CN106998416A (zh) * 2017-03-03 2017-08-01 中国科学院遥感与数字地球研究所 图像拍摄设备及图像处理系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2319390B1 (en) * 2000-07-21 2016-04-20 Olympus Corporation Endoscope apparatus
JP3950715B2 (ja) * 2002-03-05 2007-08-01 富士フイルム株式会社 固体撮像素子およびこれを用いた撮像装置
US7633537B2 (en) * 2002-12-18 2009-12-15 Nikon Corporation Color image sensor, color filter array and color imaging device
CN1875638A (zh) * 2003-11-11 2006-12-06 奥林巴斯株式会社 多谱图像捕捉装置
JP4717363B2 (ja) * 2004-03-10 2011-07-06 オリンパス株式会社 マルチスペクトル画像撮影装置及びアダプタレンズ
WO2009120928A2 (en) * 2008-03-28 2009-10-01 The Trustees Of Columbia University In The City Of New York Generalized assorted pixel camera systems and methods
JP5675215B2 (ja) * 2010-08-20 2015-02-25 オリンパス株式会社 デジタルカメラ
US20130286237A1 (en) * 2012-04-30 2013-10-31 Ramin Samadani Spatially modulated image information reconstruction
DE102016212771A1 (de) * 2016-07-13 2018-01-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Abtasten eines Lichtsensors
KR102255789B1 (ko) * 2016-08-30 2021-05-26 삼성전자주식회사 광학모듈 및 이를 이용한 광학디바이스
CN106501189B (zh) * 2016-11-14 2019-05-10 清华-伯克利深圳学院筹备办公室 一种光谱测量方法及装置
US10677972B2 (en) * 2017-12-08 2020-06-09 Viavi Solutions Inc. Multispectral sensor response balancing
CN107966802A (zh) * 2017-12-26 2018-04-27 清华大学 基于相机阵列的超光谱光片光场显微成像系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1610412A (zh) * 2003-10-23 2005-04-27 索尼株式会社 图像处理装置和图像处理方法以及程序
CN102823230A (zh) * 2011-01-17 2012-12-12 松下电器产业株式会社 摄像装置
US20140168490A1 (en) * 2011-04-22 2014-06-19 Panasonic Corporation Imaging device, imaging system, and imaging method
CN103597821A (zh) * 2011-07-13 2014-02-19 富士胶片株式会社 图像拾取设备和信号值校正方法
JP2015219284A (ja) * 2014-05-14 2015-12-07 キヤノン株式会社 撮像装置及び撮像装置の制御方法
WO2015198733A1 (ja) * 2014-06-26 2015-12-30 ソニー株式会社 固体撮像装置、電子機器、及び、固体撮像装置の製造方法
CN105628199A (zh) * 2014-10-26 2016-06-01 中国科学院重庆绿色智能技术研究院 具有亚波长金属结构的芯片型光谱仪
US20170134670A1 (en) * 2014-11-06 2017-05-11 Taiwan Semiconductor Manufacturing Company, Ltd. Sensor having depth sensing pixel and method of using the same
CN106488202A (zh) * 2015-08-24 2017-03-08 钰立微电子股份有限公司 用于红绿蓝红外光传感器的图像处理装置及图像处理方法
CN106998416A (zh) * 2017-03-03 2017-08-01 中国科学院遥感与数字地球研究所 图像拍摄设备及图像处理系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116679461A (zh) * 2022-09-29 2023-09-01 华为技术有限公司 图像传感器、成像装置及方法
CN116679461B (zh) * 2022-09-29 2024-01-05 华为技术有限公司 图像传感器、成像装置及方法

Also Published As

Publication number Publication date
WO2020249000A1 (zh) 2020-12-17
US20220239810A1 (en) 2022-07-28
CN112087559B (zh) 2021-11-30
EP3962057A4 (en) 2022-05-04
EP3962057A1 (en) 2022-03-02

Similar Documents

Publication Publication Date Title
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
JP5971207B2 (ja) 画像調整装置、画像調整方法およびプログラム
US9369686B2 (en) Image processing device, image processing method, and recording medium
JP5933105B2 (ja) 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム
US20060268357A1 (en) System and method for processing images using centralized image correction data
EP2436187A1 (en) Four-channel color filter array pattern
EP2436180A1 (en) Four-channel color filter array interpolation
JP2014042272A (ja) デジタルカメラデバイスのホワイトバランス較正
WO2014148074A1 (ja) 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体
JPWO2017043190A1 (ja) 制御システム、撮像装置、およびプログラム
GB2496241A (en) Multiple image high dynamic range (HDR) imaging from a single sensor array
WO2020215180A1 (zh) 图像处理方法、装置和电子设备
US20080075354A1 (en) Removing singlet and couplet defects from images
CN113676636B (zh) 高动态范围图像的生成方法、装置、电子设备和存储介质
CN112153356A (zh) 图像参数的确定方法、图像传感器、装置、电子设备及存储介质
CN114331907A (zh) 颜色阴影校正方法及装置
CN112087559B (zh) 图像传感器、图像拍摄装置和方法
US20180204311A1 (en) Image processing device, image processing method, and program
CN115802183B (zh) 图像处理方法及其相关设备
CN115239550A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
Kumar et al. New digital camera sensor architecture for low light imaging
JP2020120204A (ja) 画像処理装置、画像処理方法およびプログラム
US11828704B2 (en) Spatial image processing for enhanced gas imaging systems and methods
CN112738493B (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
US20200077006A1 (en) Image processing method and imaging device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant