CN114143418A - 双传感器摄像系统及其摄像方法 - Google Patents

双传感器摄像系统及其摄像方法 Download PDF

Info

Publication number
CN114143418A
CN114143418A CN202011541300.2A CN202011541300A CN114143418A CN 114143418 A CN114143418 A CN 114143418A CN 202011541300 A CN202011541300 A CN 202011541300A CN 114143418 A CN114143418 A CN 114143418A
Authority
CN
China
Prior art keywords
image
infrared
sensor
color
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011541300.2A
Other languages
English (en)
Other versions
CN114143418B (zh
Inventor
彭诗渊
郑书峻
黄旭鍊
李运锦
赖国铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Altek Semiconductor Corp
Original Assignee
Altek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Altek Semiconductor Corp filed Critical Altek Semiconductor Corp
Publication of CN114143418A publication Critical patent/CN114143418A/zh
Application granted granted Critical
Publication of CN114143418B publication Critical patent/CN114143418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Cameras In General (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Air Bags (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

本发明提供一种双传感器摄像系统及其摄像方法。所述方法包括：识别摄像场景；控制色彩传感器及红外线传感器采用适于摄像场景的多个拍摄条件分别获取多张色彩图像及红外线图像；计算各色彩图像与红外线图像的信噪比差异以及各色彩图像的亮度平均值；选择使用信噪比差异小于一信噪比阈值且亮度平均值大于一亮度阈值的拍摄条件下所获取的色彩图像及红外线图像执行特征域转换，以提取摄像场景的部分细节；以及融合所选择的色彩图像及红外线图像，以根据红外线图像的部分细节的引导，调整色彩图像的部分细节，获得具备摄像场景完整细节的场景图像。

Description

双传感器摄像系统及其摄像方法
技术领域
本公开涉及一种摄像系统及方法，尤其涉及一种双传感器摄像系统及其摄像方法。
背景技术
相机的曝光条件(包括光圈、快门、感亮度)会影响所拍摄图像的质量，因此许多相机在拍摄图像的过程中会自动调整曝光条件，以获得清晰且明亮的图像。然而，在低光源或是背光等高反差的场景中，相机调整曝光条件的结果可能会产生噪声过高或是部分区域过曝的结果，无法兼顾所有区域的图像质量。
对此，目前技术有采用一种新的图像传感器架构，其是利用红外线(IR)传感器高光敏感度的特性，在图像传感器的色彩像素中穿插配置IR像素，以辅助亮度检测。举例来说，图1是现有使用图像传感器获取图像的示意图。请参照图1，现有的图像传感器10中除了配置有红(R)、绿(G)、蓝(B)等颜色像素外，还穿插配置有红外线(I)像素。因此，图像传感器10能够将R、G、B颜色像素所获取的色彩信息12与I像素所获取的亮度信息14结合，而获得色彩及亮度适中的图像16。
然而，在上述单一图像传感器的架构下，图像传感器中每个像素的曝光条件相同，因此只能选择较适用于颜色像素或红外线像素的曝光条件来获取图像，结果仍无法有效地利用两种像素的特性来改善所获取图像的图像质量。
发明内容
本发明提供一种双传感器摄像系统及其摄像方法，利用独立配置的色彩及红外线传感器分别获取不同拍摄条件下的多张图像，并选择曝光适当、噪声在容许范围内的色彩及红外线图像融合为结果图像，可增加所摄图像的细节并提高图像质量。
本发明的双传感器摄像系统包括至少一个色彩传感器、至少一个红外线传感器、存储装置以及耦接所述色彩传感器、红外光传感器及存储装置的处理器。所述处理器经配置以加载并执行存储在存储装置中的计算机程序以：识别双传感器摄像系统的摄像场景；控制色彩传感器及红外线传感器采用适用于摄像场景下的多个拍摄条件分别获取多张色彩图像及多张红外线图像，所述拍摄条件包括曝光时间及感光度的不同组合；计算各张色彩图像的信噪比分别与红外线图像的信噪比的差异，以及各张色彩图像的亮度平均值；选择使用信噪比差异小于一信噪比阈值且亮度平均值大于一亮度阈值的拍摄条件下所获取的色彩图像及红外线图像执行特征域转换，以提取摄像场景的部分细节；以及融合所选择的色彩图像及红外线图像，以根据红外线图像的部分细节的引导，调整色彩图像的部分细节，而获得具备摄像场景的完整细节的场景图像。
本发明的双传感器摄像系统的摄像方法，适用于包括至少一个色彩传感器、至少一个红外线传感器及处理器的双传感器摄像系统。所述方法包括下列步骤：识别双传感器摄像系统的摄像场景；控制色彩传感器及红外线传感器采用适用于摄像场景下的多个拍摄条件分别获取多张色彩图像及多张红外线图像，所述拍摄条件包括曝光时间及感光度的不同组合；计算各张色彩图像的信噪比分别与红外线图像的信噪比的差异，以及各张色彩图像的亮度平均值；选择使用信噪比差异小于一信噪比阈值且亮度平均值大于一亮度阈值的拍摄条件下所获取的色彩图像及红外线图像执行特征域转换，以提取摄像场景的部分细节；以及融合所选择的色彩图像及红外线图像，以根据红外线图像的部分细节的引导，调整色彩图像的部分细节，而获得具备摄像场景的完整细节的场景图像。
基于上述，本发明的双传感器摄像系统及其摄像方法，在独立配置的色彩传感器及红外线传感器上采用适于当前摄像场景的不同拍摄条件获取多张图像，并根据所获取图像的信噪比和亮度差异，选择出曝光适当且噪声在容许范围内的色彩及红外线图像融合为结果图像，可增加所摄图像的细节并提高图像质量。
为让本公开能还明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是现有使用图像传感器获取图像的示意图；
图2是依照本发明一实施例所示出的使用图像传感器获取图像的示意图；
图3是依照本发明一实施例所示出的双传感器摄像系统的方块图；
图4是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的流程图；
图5是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的流程图；
图6是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的流程图。
符号说明
10、20：图像传感器
12：色彩信息
14：亮度信息
16：图像
22：色彩传感器
22a：色彩图像
24：红外线传感器
24a：红外线图像
26：场景图像
30：双传感器摄像系统
32：色彩传感器
34：红外线传感器
36：存储装置
38：处理器
R、G、B、I：像素
S402～S410、S502～S512、S602～S612：步骤
具体实施方式
图2是依照本发明一实施例所示出的使用图像传感器获取图像的示意图。请参照图2，本发明实施例的图像传感器20采用独立配置色彩传感器22与红外线(IR)传感器24的双传感器架构，利用色彩传感器22与红外线传感器24各自的特性，采用适于当前拍摄场景的多个曝光条件分别获取多张图像，并从中选择曝光条件适当的色彩图像22a与红外线图像24a，透过图像融合的方式，使用红外线图像24a来补足色彩图像22a中缺乏的纹理细节，从而获得色彩及纹理细节均佳的场景图像26。
图3是依照本发明一实施例所示出的双传感器摄像系统的方块图。请参照图3，本实施例的双传感器摄像系统30可配置于手机、平板电脑、笔记本电脑、导航装置、行车纪录器、数字相机、数字摄影机等电子装置中，用以提供摄像功能。双传感器摄像系统30包括至少一个色彩传感器32、至少一个红外线传感器34、存储装置36及处理器38，其功能分述如下：
色彩传感器32例如包括电荷耦合器件(Charge Coupled Device，CCD)、互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor，CMOS)器件或其他种类的感光器件，而可感测光线强度以产生摄像场景的图像。色彩传感器32例如是红绿蓝(RGB)图像传感器，其中包括红(R)、绿(G)、蓝(B)颜色像素，用以获取摄像场景中的红光、绿光、蓝光等色彩信息，并将这些色彩信息合成以生成摄像场景的色彩图像。
红外线传感器34例如包括CCD、CMOS器件或其他种类的感光器件，其经由调整感光器件的波长感测范围，而能够感测红外光。红外线传感器34例如是以上述感光器件作为像素来获取摄像场景中的红外光信息，并将这些红外光信息合成以生成摄像场景的红外线图像。
存储装置36例如是任意型式的固定式或可移动式随机存储器(Random AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash memory)、硬盘或类似装置或上述装置的组合，而用以存储可由处理器38执行的计算机程序。在一些实施例中，存储装置36例如还可存储由色彩传感器32所获取的色彩图像及红外线传感器34所获取的红外线图像。
处理器38例如是中央处理器(Central Processing Unit，CPU)，或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、微控制器(Microcontroller)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑器件(ProgrammableLogic Device，PLD)或其他类似装置或这些装置的组合，本发明不在此限制。在本实施例中，处理器38可从存储装置36加载计算机程序，以执行本发明实施例的双传感器摄像系统的摄像方法。
基于在深夜(或低光源)、大太阳或背光等极端的摄像场景中，色彩图像的许多部分将由于过暗或过曝而失去细节，这些部分(即后述的缺陷区域)需要适当地填补，才能较佳地提高图像质量。对此，本发明实施例通过适应性地调整色彩传感器的曝光时间和/或感光度(ISO)，来确保所获取图像至少可显露出缺陷区域的一些细节。而针对曝光时间和/或感光度的调整，本发明实施例还利用预先定义的信噪比阈值和亮度阈值作适当的限定，从而在图像细节、亮度和噪声之间取得平衡。
图4是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的流程图。请同时参照图3及图4，本实施例的方法适用于上述的双传感器摄像系统30，以下即搭配双传感器摄像系统30的各项器件说明本实施例的摄像方法的详细步骤。
在步骤S402中，由处理器38识别双传感器摄像系统30的摄像场景。在一些实施例中，处理器38例如是控制色彩传感器32及红外线传感器34中的至少一者采用标准曝光条件来获取摄像场景的至少一张标准图像，并使用这些标准图像来识别摄像场景。所述标准曝光条件例如包括采用既有测光技术所决定的光圈、快门、感光度等参数，而处理器38则根据在此曝光条件下所获取的图像的色调(Hue)、明度(Value)、彩度(Chroma)、白平衡等图像参数的强弱或分布来识别摄像场景，包括摄像场景的位置(室内或室外)、光源(高光源或低光源)、反差(高反差或低反差)、摄像物的种类(物品或人像)或状态(动态或静态)等。在其他实施例中，处理器38亦可采用定位方式来识别摄像场景或是直接接收使用者操作来设定摄像场景，在此不设限。
在步骤S404中，由处理器38控制色彩传感器32及红外线传感器34采用适用于所识别的摄像场景下的多个拍摄条件分别获取多张色彩图像及多张红外线图像。在一些实施例中，处理器38例如会通过判定所获取图像中是否包括缺乏纹理细节的亮部区域或暗部区域，来识别摄像场景中是否包括缺乏纹理细节的缺陷区域。而在识别出缺陷区域时，处理器38例如会以标准曝光条件中的曝光时间和感光度为基准，并以增加缺陷区域的纹理细节为目标，来决定各个拍摄条件的曝光时间及感光度。其中，针对摄像场景中包括缺乏纹理细节的亮部区域和暗部区域的情况，后文将分别举实施例详细描述其相应的实施方式。
在步骤S406中，由处理器38计算各张色彩图像的信噪比分别与红外线图像的信噪比的差异，以及各张色彩图像的亮度平均值，并用以与预设的信噪比阈值和亮度阈值比较。所述的信噪比阈值和亮度阈值例如是预先针对各种场景，以不同的拍摄条件获取图像，并通过分析图像的信噪比、亮度等图像参数，而归纳出能够使所获取图像的质量符合需求的限定条件。此限定条件可提供处理器38用以作为选择色彩图像和红外线图像的依据。
在步骤S408中，由处理器38选择使用信噪比差异小于信噪比阈值且亮度平均值大于亮度阈值的色彩图像及对应的红外线图像来执行特征域转换，以提取摄像场景的部分细节。其中，处理器38例如是从符合上述信噪比差异小于信噪比阈值且亮度平均值大于亮度阈值的多张色彩图像中选择具有较多摄像场景细节的色彩图像作为后续用以与红外线图像融合的图像，藉此增加融合图像的细节。此外，处理器38例如会对所选择的色彩图像和红外线图像执行色彩空间转换或梯度(gradient)转换等特征域转换，藉此提取图像中具有还多摄像场景细节(例如色彩细节、纹理细节或边缘细节)的特征，作为后续图像融合的依据。
在步骤S410中，由处理器38融合所选择的色彩图像及红外线图像，以根据红外线图像的部分细节的引导，调整色彩图像的部分细节，而获得具备摄像场景的完整细节的场景图像。在一些实施例中，处理器38在融合色彩图像及红外线图像时，例如是利用红外线图像的纹理细节和/或边缘细节的引导，来增强色彩图像中的色彩细节，最终获得具备摄像场景完整的色彩、纹理、边缘细节的场景图像。
需说明的是，在一些实施例中，双传感器摄像系统30中可额外配置一个红外线投射器(IR projector)，而处理器38可在控制红外线传感器32获取红外线图像的同时，通过控制红外线投射器向摄像场景投射红外光，而增加红外线传感器32所获取的红外线图像中的纹理细节。
此外，在一些实施例中，色彩图像中某些缺陷区域的纹理细节可能会因特定因素无法用红外线图像来增强或补足，例如色彩传感器32与红外线传感器34之间的视差(parallax)会造成红外线传感器34被遮蔽。在此情况下，处理器38例如会控制色彩传感器32采用较所选择色彩图像的曝光时间长或短的多个曝光时间获取多张色彩图像并执行高动态范围(high dynamic range，HDR)处理，以生成具备缺陷区域的纹理细节的场景图像。
在一些实施例中，处理器38例如会根据其所选择的色彩图像的曝光时间，使用较此曝光时间为短的曝光时间以及较此曝光时间为长的曝光时间，控制色彩传感器32分别获取曝光时间较短的色彩图像以及曝光时间较长的色彩图像，而结合使用原曝光时间获取的色彩图像来实施HDR处理。即，从三张色彩图像中选择具备较佳颜色及纹理细节的区域来补足其他色彩图像中欠缺细节的区域，从而获得亮部及暗部细节均佳的HDR图像作为最终输出的场景图像。
在一些实施例中，处理器38例如会针对HDR图像执行二维空间降噪(2D spatialdenoise)等降噪(noise reduction，NR)处理，以减少HDR图像中的噪声，提高最终输出图像的图像质量。
在深夜或低光源的场景中，即使采用较长的曝光时间和/或较高的感光度获取图像，尝试增加所获取图像的色彩及纹理细节，图像噪声将对应增加。对此，为了确保所获取图像的质量在可接受的范围内，本发明实施例适应性地设定多个增加曝光时间和/或感光度的拍摄条件并用以拍摄图像，并通过计算所拍摄图像之间的信噪比和亮度值的差异，选择曝光适当且噪声在容许范围内的图像进行融合，从而得到可兼顾图像细节及质量的场景图像。
图5是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的流程图。请同时参照图3及图5，本实施例的方法说明双传感器摄像系统30于深夜或低光源的场景的摄像方法，以下即搭配双传感器摄像系统30的各项器件说明本实施例的摄像方法的详细步骤。
在步骤S502中，由处理器38控制色彩传感器32及红外线传感器34中的至少一者采用标准曝光条件来获取摄像场景的至少一张标准图像，并使用这些标准图像来识别摄像场景。所述标准曝光条件的定义以及摄像场景的识别方式如前述实施例所述，在此不再赘述。
在步骤S504中，由处理器38识别标准图像中缺乏纹理细节的至少一个暗部区域，并基于标准拍摄条件的曝光时间及感光度，以增加曝光时间及感光度至少其中之一的方式，决定多个拍摄条件的曝光时间及感光度。其中，所增加的曝光时间例如是介于0.1至3的曝光值(Exposure Value，EV)中的任意值，而所增加的感光度例如是介于50至1000中的任意值，在此不设限。
在步骤S506中，由处理器38控制色彩传感器32及红外线传感器34采用上述决定的多个拍摄条件分别获取多张色彩图像及多张红外线图像。
在步骤S508中，由处理器38计算各张色彩图像的信噪比分别与红外线图像的信噪比的差异，以及各张色彩图像的亮度平均值，并用以与预设的信噪比阈值和亮度阈值比较。
在步骤S510中，由处理器38选择使用信噪比的差异小于信噪比阈值且亮度平均值大于亮度阈值的色彩图像及对应的红外线图像来执行特征域转换，以提取摄像场景的部分细节。
在步骤S512中，由处理器38融合所选择的色彩图像及红外线图像，以根据红外线图像的部分细节的引导，调整色彩图像的部分细节，而获得具备摄像场景的完整细节的场景图像。上述步骤S506～S512的实施方式与前述实施例的步骤S404～S410相同或相似，故其细节在此不再赘述。
通过上述方法，即使在深夜或低光源的场景中，双传感器摄像系统30也能够通过拍摄并选定曝光适当且噪声在容许范围内的色彩图像及红外线图像以进行融合，从而最大程度地增加所摄图像的细节，并提高图像质量。
在背光场景或高亮度的场景中，背景将比拍摄主体亮，或是整体偏亮，这将使得由色彩传感器所获取的色彩图像会因为过曝而失去色彩及纹理细节。为了让所获取图像包括更多的细节，本发明实施例适应性地设定多个减少曝光时间和/或感光度的拍摄条件并用以拍摄图像，通过计算所拍摄图像之间的信噪比和亮度值差异，选择曝光适当且噪声在容许范围内的图像进行融合，从而得到可兼顾图像细节及质量的场景图像。
图6是依照本发明一实施例所示出的双传感器摄像系统的摄像方法的流程图。请同时参照图3及图6，本实施例的方法说明双传感器摄像系统30于背光或高亮度场景的摄像方法，以下即搭配双传感器摄像系统30的各项器件说明本实施例的摄像方法的详细步骤。
在步骤S602中，由处理器38控制色彩传感器32及红外线传感器34中的至少一者采用标准曝光条件来获取摄像场景的至少一张标准图像，并使用这些标准图像来识别摄像场景。所述标准曝光条件的定义以及摄像场景的识别方式如前述实施例所述，在此不再赘述。
在步骤S604中，由处理器38识别标准图像中缺乏纹理细节的至少一个亮部区域，并基于标准拍摄条件的曝光时间及感光度，以减少曝光时间及感光度至少其中之一的方式，决定多个拍摄条件的曝光时间及感光度。其中，所减少的曝光时间例如是介于0.1至3的曝光值中的任意值，而所减少的感光度例如是介于50至1000中的任意值，在此不设限。
在步骤S606中，由处理器38控制色彩传感器32及红外线传感器34采用上述决定的多个拍摄条件分别获取多张色彩图像及多张红外线图像。
在步骤S608中，由处理器38计算各张色彩图像的信噪比分别与红外线图像的信噪比的差异，以及各张色彩图像的亮度平均值，并用以与预设的信噪比阈值和亮度阈值比较。
在步骤S610中，由处理器38选择使用信噪比的差异小于信噪比阈值且亮度平均值大于亮度阈值的色彩图像及对应的红外线图像来执行特征域转换，以提取摄像场景的部分细节。
在步骤S612中，由处理器38融合所选择的色彩图像及红外线图像，以根据红外线图像的部分细节的引导，调整色彩图像的部分细节，而获得具备摄像场景的完整细节的场景图像。上述步骤S606～S612的实施方式与前述实施例的步骤S404～S410相同或相似，故其细节在此不再赘述。
通过上述方法，即使在背光或高亮度的场景中，双传感器摄像系统30也能够通过拍摄并选定曝光适当且噪声在容许范围内的色彩图像及红外线图像以进行融合，从而最大程度地增加所摄图像的细节，并提高图像质量。
综上所述，本发明的双传感器摄像系统及其摄像方法通过独立配置色彩传感器与红外线传感器，采用适于当前拍摄场景的多个拍摄条件分别获取多张图像，并依据所获取图像的信噪比及亮度差异，从中选择曝光适当且噪声在容许范围内的图像以进行融合。其中，利用红外线图像的纹理、边缘细节的引导，适当调整色彩图像的色彩细节，本发明的双传感器摄像系统最终可获得具备摄像场景的完整细节的场景图像。
然本公开已以实施例揭示如上，然其并非用以限定本公开，任何本领域技术人员，在不脱离本公开的精神和范围内，当可作些许的还动与润饰，因此本公开的保护范围当视后附的权利要求及其均等范围所界定的为准。

Claims (16)

1.一种双传感器摄像系统，包括：
至少一色彩传感器；
至少一红外线传感器；
存储装置，存储计算机程序；以及
处理器，耦接所述至少一色彩传感器、所述至少一红外光传感器及所述存储装置，经配置以加载并执行所述计算机程序以：
识别所述双传感器摄像系统的一摄像场景；控制所述至少一色彩传感器及所述至少一红外线传感器采用适用于所述摄像场景下的多个拍摄条件分别获取多张色彩图像及多张红外线图像，所述拍摄条件包括曝光时间及感光度的不同组合；
计算各所述色彩图像的信噪比分别与所述红外线图像的信噪比的差异，以及各所述色彩图像的亮度平均值；
选择使用所述信噪比的差异小于一信噪比阈值且所述亮度平均值大于一亮度阈值的所述色彩图像及对应的所述红外线图像来执行特征域转换，以提取所述摄像场景的部分细节；以及
融合所选择的所述色彩图像及所述红外线图像，以根据所述红外线图像的所述部分细节的引导，调整所述色彩图像的所述部分细节，而获得具备所述摄像场景的完整细节的场景图像。
2.根据权利要求1所述的双传感器摄像系统，其中所述处理器包括：
控制所述至少一色彩传感器及所述至少一红外线传感器中的至少一者采用标准拍摄条件获取所述摄像场景的至少一标准图像，并使用所述至少一标准图像识别所述摄像场景。
3.根据权利要求1所述的双传感器摄像系统，其中所述处理器包括在所识别的摄像场景包括缺乏纹理细节的至少一个缺陷区域时，以增加所述缺陷区域的所述纹理细节为目标决定各所述拍摄条件的所述曝光时间及所述感光度。
4.根据权利要求3所述的双传感器摄像系统，其中所述处理器包括在所识别的摄像场景包括缺乏纹理细节的至少一个暗部区域时，基于标准所述拍摄条件的所述曝光时间及所述感光度，以增加所述曝光时间及所述感光度至少其中之一的方式，决定各所述拍摄条件的所述曝光时间及所述感光度。
5.根据权利要求3所述的双传感器摄像系统，其中所述处理器包括在所识别的摄像场景包括缺乏纹理细节的至少一个亮部区域时，基于标准所述拍摄条件的所述曝光时间及所述感光度，以减少所述曝光时间及所述感光度至少其中之一的方式，决定各所述拍摄条件的所述曝光时间及所述感光度。
6.根据权利要求3所述的双传感器摄像系统，还包括红外线投射器，其中所述处理器还包括：
控制所述红外线投射器投射红外光，以增加所述至少一红外线传感器所获取的所述红外线图像中的所述纹理细节。
7.根据权利要求3所述的双传感器摄像系统，其中所述处理器还包括：
判断各所述红外线图像是否包括所述缺陷区域的所述纹理细节；以及
在所述红外线图像均未包括所述纹理细节时，控制所述至少一色彩传感器采用较所选择的所述色彩图像的曝光时间长或短的多个曝光时获取多张色彩图像并执行高动态范围处理，以生成具备所述缺陷区域的所述纹理细节的所述场景图像。
8.根据权利要求1所述的双传感器摄像系统，其中所述特征域转换包括色彩空间转换或梯度转换。
9.一种双传感器摄像系统的摄像方法，所述双传感器摄像系统包括至少一色彩传感器、至少一红外线传感器及处理器，所述方法包括下列步骤：
识别所述双传感器摄像系统的一摄像场景；
控制所述至少一色彩传感器及所述至少一红外线传感器采用适用于所述摄像场景下的多个拍摄条件分别获取多张色彩图像及多张红外线图像，所述拍摄条件包括曝光时间及感光度的不同组合；
计算各所述色彩图像的信噪比分别与所述红外线图像的信噪比的差异，以及各所述色彩图像的亮度平均值；
选择使用所述信噪比的差异小于一信噪比阈值且所述亮度平均值大于一亮度阈值的所述拍摄条件下所获取的所述色彩图像及所述红外线图像执行特征域转换，以提取所述摄像场景的部分细节；以及
融合所选择的所述色彩图像及所述红外线图像，以根据所述红外线图像的所述部分细节的引导，调整所述色彩图像的所述部分细节，而获得具备所述摄像场景的完整细节的场景图像。
10.根据权利要求9所述的方法，其中识别所述双传感器摄像系统的所述摄像场景的步骤包括：
控制所述至少一色彩传感器及所述至少一红外线传感器中的至少一者采用标准拍摄条件获取所述摄像场景的至少一标准图像，并使用所述至少一标准图像识别所述摄像场景。
11.根据权利要求9所述的方法，其中在识别所述双传感器摄像系统的所述摄像场景的步骤之后，还包括：
在所识别的摄像场景包括缺乏纹理细节的至少一个缺陷区域时，以增加所述缺陷区域的所述纹理细节为目标决定各所述拍摄条件的所述曝光时间及所述感光度。
12.根据权利要求11所述的方法，其中以增加所述缺陷区域的所述纹理细节为目标决定各所述拍摄条件的所述曝光时间及所述感光度的步骤包括：
在所识别的摄像场景包括缺乏纹理细节的至少一个暗部区域时，基于标准所述拍摄条件的所述曝光时间及所述感光度，以增加所述曝光时间及所述感光度至少其中之一的方式，决定各所述拍摄条件的所述曝光时间及所述感光度。
13.根据权利要求11所述的方法，其中以增加所述缺陷区域的所述纹理细节为目标决定各所述拍摄条件的所述曝光时间及所述感光度的步骤包括：
在所识别的摄像场景包括缺乏纹理细节的至少一个亮部区域时，基于标准所述拍摄条件的所述曝光时间及所述感光度，以减少所述曝光时间及所述感光度至少其中之一的方式，决定各所述拍摄条件的所述曝光时间及所述感光度。
14.根据权利要求11所述的方法，其中所述双传感器摄像系统还包括红外线投射器，且所述方法还包括：
控制所述红外线投射器投射红外光，以增加所述至少一红外线传感器所获取的所述红外线图像中的所述纹理细节。
15.根据权利要求11所述的方法，还包括：
判断各所述红外线图像是否包括所述缺陷区域的所述纹理细节；以及
在所述红外线图像均未包括所述纹理细节时，控制所述至少一色彩传感器采用较所选择的所述色彩图像的曝光时间长或短的多个曝光时获取多张色彩图像并执行高动态范围处理，以生成具备所述缺陷区域的所述纹理细节的所述场景图像。
16.根据权利要求9所述的方法，其中所述特征域转换包括色彩空间转换或梯度转换。
CN202011541300.2A 2020-09-04 2020-12-23 双传感器摄像系统及其摄像方法 Active CN114143418B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063074477P 2020-09-04 2020-09-04
US63/074,477 2020-09-04

Publications (2)

Publication Number Publication Date
CN114143418A true CN114143418A (zh) 2022-03-04
CN114143418B CN114143418B (zh) 2023-12-01

Family

ID=80438521

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202011540274.1A Active CN114143443B (zh) 2020-09-04 2020-12-23 双传感器摄像系统及其摄像方法
CN202011541300.2A Active CN114143418B (zh) 2020-09-04 2020-12-23 双传感器摄像系统及其摄像方法
CN202011625552.3A Active CN114143421B (zh) 2020-09-04 2020-12-30 双传感器摄像系统及其校准方法
CN202011622478.XA Active CN114143419B (zh) 2020-09-04 2020-12-30 双传感器摄像系统及其深度图计算方法
CN202011625515.2A Active CN114143420B (zh) 2020-09-04 2020-12-30 双传感器摄像系统及其隐私保护摄像方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011540274.1A Active CN114143443B (zh) 2020-09-04 2020-12-23 双传感器摄像系统及其摄像方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN202011625552.3A Active CN114143421B (zh) 2020-09-04 2020-12-30 双传感器摄像系统及其校准方法
CN202011622478.XA Active CN114143419B (zh) 2020-09-04 2020-12-30 双传感器摄像系统及其深度图计算方法
CN202011625515.2A Active CN114143420B (zh) 2020-09-04 2020-12-30 双传感器摄像系统及其隐私保护摄像方法

Country Status (2)

Country Link
CN (5) CN114143443B (zh)
TW (5) TWI767468B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091341B (zh) * 2022-12-15 2024-04-02 南京信息工程大学 一种低光图像的曝光差增强方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091434A (ja) * 2003-09-12 2005-04-07 Noritsu Koki Co Ltd 位置調整方法およびこの方法を用いた傷補正機能付き画像読取装置
US20050213838A1 (en) * 2004-03-25 2005-09-29 Noritsu Koki Co., Ltd. Defective pixel correcting method, software and image processing system for implementing the method
US20120154596A1 (en) * 2009-08-25 2012-06-21 Andrew Augustine Wajs Reducing noise in a color image
US20150334283A1 (en) * 2007-03-05 2015-11-19 Fotonation Limited Tone Mapping For Low-Light Video Frame Enhancement
US20170094141A1 (en) * 2015-09-24 2017-03-30 Intel Corporation Infrared and visible light dual sensor imaging system
US20170330053A1 (en) * 2016-05-11 2017-11-16 Center For Integrated Smart Sensors Foundation Color night vision system and operation method thereof
US20180367744A1 (en) * 2015-12-14 2018-12-20 Sony Corporation Image sensor, image processing apparatus and method, and program
CN109712102A (zh) * 2017-10-25 2019-05-03 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备
CN111383206A (zh) * 2020-06-01 2020-07-07 浙江大华技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质
CN111586314A (zh) * 2020-05-25 2020-08-25 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246252A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 画像情報収集装置及び方法
JP4341680B2 (ja) * 2007-01-22 2009-10-07 セイコーエプソン株式会社 プロジェクタ
CN102037717B (zh) * 2008-05-20 2013-11-06 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN101404060B (zh) * 2008-11-10 2010-06-30 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
WO2010104490A1 (en) * 2009-03-12 2010-09-16 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
US8478123B2 (en) * 2011-01-25 2013-07-02 Aptina Imaging Corporation Imaging devices having arrays of image sensors and lenses with multiple aperture sizes
JP2013115679A (ja) * 2011-11-30 2013-06-10 Fujitsu General Ltd 撮像装置
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
TW201401186A (zh) * 2012-06-25 2014-01-01 Psp Security Co Ltd 人臉判斷系統以及方法
US20150245062A1 (en) * 2012-09-25 2015-08-27 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program and recording medium
KR102086509B1 (ko) * 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
CN105009568B (zh) * 2012-12-21 2018-12-18 菲力尔系统公司 用于处理可见光谱图像和红外图像的系统、方法及非易失性机器的可读介质
TWM458748U (zh) * 2012-12-26 2013-08-01 Chunghwa Telecom Co Ltd 影像式深度資訊擷取裝置
JP6055681B2 (ja) * 2013-01-10 2016-12-27 株式会社 日立産業制御ソリューションズ 撮像装置
CN104661008B (zh) * 2013-11-18 2017-10-31 深圳中兴力维技术有限公司 低照度条件下彩色图像质量提升的处理方法和装置
CN104021548A (zh) * 2014-05-16 2014-09-03 中国科学院西安光学精密机械研究所 一种获取场景4d信息的方法
US9516295B2 (en) * 2014-06-30 2016-12-06 Aquifi, Inc. Systems and methods for multi-channel imaging based on multiple exposure settings
JP6450107B2 (ja) * 2014-08-05 2019-01-09 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP6597636B2 (ja) * 2014-12-10 2019-10-30 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
JP6185213B2 (ja) * 2015-03-31 2017-08-23 富士フイルム株式会社 撮像装置及び撮像装置の画像処理方法及びプログラム
WO2016192437A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像系统
JP2017011634A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
CN105049829B (zh) * 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统
CN105069768B (zh) * 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
TW201721269A (zh) * 2015-12-11 2017-06-16 宏碁股份有限公司 自動曝光系統及其自動曝光方法
CN206117865U (zh) * 2016-01-16 2017-04-19 上海图漾信息科技有限公司 深度数据监控装置
JP2017163297A (ja) * 2016-03-09 2017-09-14 キヤノン株式会社 撮像装置
CN106815826A (zh) * 2016-12-27 2017-06-09 上海交通大学 基于场景识别的夜视图像彩色融合方法
CN108280807A (zh) * 2017-01-05 2018-07-13 浙江舜宇智能光学技术有限公司 单目深度图像采集装置和系统及其图像处理方法
JP6974873B2 (ja) * 2017-02-06 2021-12-01 フォトニック センサーズ アンド アルゴリズムス，エセ．エレ． シーンから深度情報を取得するための装置および方法
CN108419062B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
CN109474770B (zh) * 2017-09-07 2021-09-14 华为技术有限公司 一种成像装置及成像方法
CN107846537B (zh) * 2017-11-08 2019-11-26 维沃移动通信有限公司 一种摄像头组件、图像获取方法及移动终端
CN112788249B (zh) * 2017-12-20 2022-12-06 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
US10748247B2 (en) * 2017-12-26 2020-08-18 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
TWI661726B (zh) * 2018-01-09 2019-06-01 呂官諭 加強影像辨識清晰的影像感測器及其應用
CN110136183B (zh) * 2018-02-09 2021-05-18 华为技术有限公司 一种图像处理的方法、装置以及摄像装置
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法
CN110572583A (zh) * 2018-05-18 2019-12-13 杭州海康威视数字技术股份有限公司 拍摄图像的方法及摄像机
CN108961195B (zh) * 2018-06-06 2021-03-23 Oppo广东移动通信有限公司 图像处理方法及装置、图像采集装置、可读存储介质和计算机设备
JP6574878B2 (ja) * 2018-07-19 2019-09-11 キヤノン株式会社 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
JP7254461B2 (ja) * 2018-08-01 2023-04-10 キヤノン株式会社 撮像装置、制御方法、記録媒体、および、情報処理装置
CN109035193A (zh) * 2018-08-29 2018-12-18 成都臻识科技发展有限公司 一种基于双目立体相机的成像处理方法及成像处理系统
EP3852350B1 (en) * 2018-09-14 2024-01-31 Zhejiang Uniview Technologies Co., Ltd. Automatic exposure method and apparatus for dual-light image, and dual-light image camera and machine storage medium
JP2020052001A (ja) * 2018-09-28 2020-04-02 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
US11176694B2 (en) * 2018-10-19 2021-11-16 Samsung Electronics Co., Ltd Method and apparatus for active depth sensing and calibration method thereof
CN109636732B (zh) * 2018-10-24 2023-06-23 深圳先进技术研究院 一种深度图像的空洞修复方法以及图像处理装置
CN110248105B (zh) * 2018-12-10 2020-12-08 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
US11120536B2 (en) * 2018-12-12 2021-09-14 Samsung Electronics Co., Ltd Apparatus and method for determining image sharpness
CN113170048A (zh) * 2019-02-19 2021-07-23 华为技术有限公司 一种图像处理的装置和方法
US10972649B2 (en) * 2019-02-27 2021-04-06 X Development Llc Infrared and visible imaging system for device identification and tracking
JP7316809B2 (ja) * 2019-03-11 2023-07-28 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
CN110349117B (zh) * 2019-06-28 2023-02-28 重庆工商大学 一种红外图像与可见光图像融合方法、装置及存储介质
CN110706178B (zh) * 2019-09-30 2023-01-06 杭州海康威视数字技术股份有限公司 图像融合装置、方法、设备及存储介质
CN111524175A (zh) * 2020-04-16 2020-08-11 东莞市东全智能科技有限公司 非对称式多摄像头的深度重建及眼动追踪方法及系统
CN111540003A (zh) * 2020-04-27 2020-08-14 浙江光珀智能科技有限公司 一种深度图像的生成方法及装置
IN202021032940A (zh) * 2020-07-31 2020-08-28 .Us Priyadarsan

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091434A (ja) * 2003-09-12 2005-04-07 Noritsu Koki Co Ltd 位置調整方法およびこの方法を用いた傷補正機能付き画像読取装置
US20050213838A1 (en) * 2004-03-25 2005-09-29 Noritsu Koki Co., Ltd. Defective pixel correcting method, software and image processing system for implementing the method
US20150334283A1 (en) * 2007-03-05 2015-11-19 Fotonation Limited Tone Mapping For Low-Light Video Frame Enhancement
US20120154596A1 (en) * 2009-08-25 2012-06-21 Andrew Augustine Wajs Reducing noise in a color image
US20170094141A1 (en) * 2015-09-24 2017-03-30 Intel Corporation Infrared and visible light dual sensor imaging system
US20180367744A1 (en) * 2015-12-14 2018-12-20 Sony Corporation Image sensor, image processing apparatus and method, and program
US20170330053A1 (en) * 2016-05-11 2017-11-16 Center For Integrated Smart Sensors Foundation Color night vision system and operation method thereof
CN109712102A (zh) * 2017-10-25 2019-05-03 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备
CN111586314A (zh) * 2020-05-25 2020-08-25 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质
CN111383206A (zh) * 2020-06-01 2020-07-07 浙江大华技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王准: "可见光与近红外图像融合算法研究", 《优秀硕士论文》 *

Also Published As

Publication number Publication date
CN114143421A (zh) 2022-03-04
TW202211674A (zh) 2022-03-16
TWI767484B (zh) 2022-06-11
TW202211160A (zh) 2022-03-16
CN114143443A (zh) 2022-03-04
TW202211165A (zh) 2022-03-16
TWI767468B (zh) 2022-06-11
TW202211673A (zh) 2022-03-16
CN114143419A (zh) 2022-03-04
CN114143420B (zh) 2024-05-03
TWI764484B (zh) 2022-05-11
TWI778476B (zh) 2022-09-21
CN114143419B (zh) 2023-12-26
TW202211161A (zh) 2022-03-16
TWI797528B (zh) 2023-04-01
CN114143443B (zh) 2024-04-05
CN114143418B (zh) 2023-12-01
CN114143420A (zh) 2022-03-04
CN114143421B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
US8106965B2 (en) Image capturing device which corrects a target luminance, based on which an exposure condition is determined
US7509042B2 (en) Digital camera, image capture method, and image capture control program
US11689822B2 (en) Dual sensor imaging system and privacy protection imaging method thereof
EP3162048B1 (en) Exposure metering based on background pixels
US9036046B2 (en) Image processing apparatus and method with white balance correction
US11838648B2 (en) Image processing device, imaging apparatus, image processing method, and program for determining a condition for high dynamic range processing
US11496694B2 (en) Dual sensor imaging system and imaging method thereof
US20190304071A1 (en) Image processing apparatus, method for controlling the same, and recording medium
CN114143418B (zh) 双传感器摄像系统及其摄像方法
US11568526B2 (en) Dual sensor imaging system and imaging method thereof
US11496660B2 (en) Dual sensor imaging system and depth map calculation method thereof
JP5316923B2 (ja) 撮像装置及びそのプログラム
JP2003309854A (ja) デジタルカメラ
JP2006303756A (ja) 撮像装置及び撮像方法
JP2005005753A (ja) 撮像装置
JP2012119779A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant