CN114143419B - 双传感器摄像系统及其深度图计算方法 - Google Patents

双传感器摄像系统及其深度图计算方法 Download PDF

Info

Publication number
CN114143419B
CN114143419B CN202011622478.XA CN202011622478A CN114143419B CN 114143419 B CN114143419 B CN 114143419B CN 202011622478 A CN202011622478 A CN 202011622478A CN 114143419 B CN114143419 B CN 114143419B
Authority
CN
China
Prior art keywords
image
infrared
color
images
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011622478.XA
Other languages
English (en)
Other versions
CN114143419A (zh
Inventor
彭诗渊
郑书峻
黄旭鍊
李运锦
赖国铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Altek Semiconductor Corp
Original Assignee
Altek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Altek Semiconductor Corp filed Critical Altek Semiconductor Corp
Publication of CN114143419A publication Critical patent/CN114143419A/zh
Application granted granted Critical
Publication of CN114143419B publication Critical patent/CN114143419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Cameras In General (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Traffic Control Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Air Bags (AREA)
  • Measurement Of Optical Distance (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供一种双传感器摄像系统及其深度图计算方法。双传感器摄像系统包括至少一个色彩传感器、至少一个红外线传感器、存储装置及处理器。处理器经配置以加载并执行存储在存储装置中的计算机程序以：控制色彩传感器及红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；从多张色彩图像及多张红外线图像中适应性选择出彼此可对比的色彩图像及红外线图像的组合；以及使用所选择的色彩图像及红外线图像计算摄像场景的深度图。

Description

双传感器摄像系统及其深度图计算方法
技术领域
本公开涉及一种摄像系统及方法，尤其涉及一种双传感器摄像系统及其深度图计算方法。
背景技术
相机的曝光条件(包括光圈、快门、感亮度)会影响所拍摄图像的质量，因此许多相机在拍摄图像的过程中会自动调整曝光条件，以获得清晰且明亮的图像。然而，在低光源或是背光等高反差的场景中，相机调整曝光条件的结果可能会产生噪声过高或是部分区域过曝的结果，无法兼顾所有区域的图像质量。
对此，目前技术有采用一种新的图像传感器架构，其是利用红外线(IR)传感器高光敏感度的特性，在图像传感器的色彩像素中穿插配置IR像素，以辅助亮度检测。举例来说，图1是现有使用图像传感器获取图像的示意图。请参照图1，现有的图像传感器10中除了配置有红(R)、绿(G)、蓝(B)等颜色像素外，还穿插配置有红外线(I)像素。因此，图像传感器10能够将R、G、B颜色像素所获取的色彩信息12与I像素所获取的亮度信息14结合，而获得色彩及亮度适中的图像16。
然而，在上述单一图像传感器的架构下，图像传感器中每个像素的曝光条件相同，因此只能选择较适用于颜色像素或红外线像素的曝光条件来获取图像，结果仍无法有效地利用两种像素的特性来改善所获取图像的图像质量。
发明内容
本发明提供一种双传感器摄像系统及其深度图计算方法，可精确地算出摄像场景的深度图。
本发明的双传感器摄像系统包括至少一个色彩传感器、至少一个红外线传感器、存储装置以及耦接所述色彩传感器、红外光传感器及存储装置的处理器。所述处理器经配置以加载并执行存储在存储装置中的计算机程序以：控制色彩传感器及红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；从多张色彩图像及多张红外线图像中适应性选择出彼此可对比的色彩图像及红外线图像的组合；以及使用所选择的色彩图像及红外线图像计算摄像场景的深度图。
本发明的双传感器摄像系统的深度图计算方法，适用于包括至少一个色彩传感器、至少一个红外线传感器及处理器的双传感器摄像系统。所述方法包括下列步骤：控制色彩传感器及红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；从多张色彩图像及多张红外线图像中适应性选择出彼此可对比的色彩图像及红外线图像的组合；以及使用所选择的色彩图像及红外线图像计算摄像场景的深度图。
基于上述，本发明的双传感器摄像系统及其深度图计算方法，通过在独立配置的色彩传感器及红外线传感器上采用适于当前摄像场景的不同曝光条件来获取多张图像，并从中选择出彼此可对比的色彩及红外线图像来计算摄像场景的深度图，因此可精确地算出摄像场景的深度图。
为让本公开能还明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是现有使用图像传感器获取图像的示意图；
图2是依照本发明一实施例所示出的使用图像传感器获取图像的示意图；
图3是依照本发明一实施例所示出的双传感器摄像系统的方块图；
图4是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图；
图5是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图；
图6是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的范例；
图7是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图。
符号说明
10、20：图像传感器
12：色彩信息
14：亮度信息
16：图像
22：色彩传感器
22a、62：色彩图像
24：红外线传感器
24a、64：红外线图像
26：场景图像
30：双传感器摄像系统
32：色彩传感器
34：红外线传感器
36：存储装置
38：处理器
62a：人脸区域
66：深度图
R、G、B、I：像素
S402～S406、S502～S510、S702～S710：步骤
具体实施方式
本发明实施例适用在独立配置有色彩传感器及红外线传感器的双传感器摄像系统。其中，由于色彩传感器及红外线传感器之间具有像差(parallex)，其所获取的色彩图像及红外线图像可用以计算摄像场景的深度图。针对色彩传感器所获取的色彩图像可能会因为摄像场景中的光线反射、阴影、高反差等因素的影响而有过曝或曝光不足的情况，本发明实施例利用红外线图像具有较佳的信噪比(Signal to noise ratio，SNR)且包含较多的摄像场景的纹理细节的优点，使用红外线图像所提供的纹理信息来辅助缺陷区域的深度值的计算，从而可获得精确的摄像场景的深度图。
图2是依照本发明一实施例所示出的使用图像传感器获取图像的示意图。请参照图2，本发明实施例的图像传感器20采用独立配置色彩传感器22与红外线(IR)传感器24的双传感器架构，利用色彩传感器22与红外线传感器24各自的特性，采用适于当前拍摄场景的多个曝光条件分别获取多张图像，并从中选择曝光条件适当的色彩图像22a与红外线图像24a。在一些实施例中，透过图像融合的方式，可使用红外线图像24a来补足色彩图像22a中缺乏的纹理细节，从而获得色彩及纹理细节均佳的场景图像26。而在一些实施例中，则可使用色彩图像22a与红外线图像24a来计算摄像场景的深度图，并利用红外线图像24a所提供的纹理细节来补偿色彩图像中缺乏的纹理细节，并辅助计算缺陷区域的深度值。
图3是依照本发明一实施例所示出的双传感器摄像系统的方块图。请参照图3，本实施例的双传感器摄像系统30可配置于手机、平板计算机、笔记本电脑、导航装置、行车纪录器、数字相机、数字摄影机等电子装置中，用以提供摄像功能。双传感器摄像系统30包括至少一个色彩传感器32、至少一个红外线传感器34、存储装置36及处理器38，其功能分述如下：
色彩传感器32例如包括电荷耦合器件(Charge Coupled Device，CCD)、互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor，CMOS)器件或其他种类的感光器件，而可感测光线强度以产生摄像场景的图像。色彩传感器32例如是红绿蓝(RGB)图像传感器，其中包括红(R)、绿(G)、蓝(B)颜色像素，用以获取摄像场景中的红光、绿光、蓝光等色彩信息，并将这些色彩信息合成以生成摄像场景的色彩图像。
红外线传感器34例如包括CCD、CMOS器件或其他种类的感光器件，其经由调整感光器件的波长感测范围，而能够感测红外光。红外线传感器34例如是以上述感光器件作为像素来获取摄像场景中的红外光信息，并将这些红外光信息合成以生成摄像场景的红外线图像。
存储装置36例如是任意型式的固定式或可移动式随机存取存储器(RandomAccess Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash memory)、硬盘或类似器件或上述器件的组合，而用以存储可由处理器38执行的计算机程序。在一些实施例中，存储装置36例如还可存储由色彩传感器32所获取的色彩图像及红外线传感器34所获取的红外线图像。
处理器38例如是中央处理器(Central Processing Unit，CPU)，或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、微控制器(Microcontroller)、数字信号处理器(Digital Signal Processor，DSP)、可编程控制器、专用集成电路(Application Specific Integrated Circuits，ASIC)、可编程逻辑器件(ProgrammableLogic Device，PLD)或其他类似装置或这些装置的组合，本发明不在此限制。在本实施例中，处理器38可从存储装置36加载计算机程序，以执行本发明实施例的双传感器摄像系统的深度图计算方法。
图4是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图。请同时参照图3及图4，本实施例的方法适用于上述的双传感器摄像系统30，以下即搭配双传感器摄像系统30的各项器件说明本实施例的深度图计算方法的详细步骤。
在步骤S402中，由处理器38控制色彩传感器32及红外线传感器34采用适用于所识别的摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像。
在一些实施例中，处理器38例如是以标准曝光条件中的曝光时间为基准，控制色彩传感器32及红外线传感器34获取曝光时间较短或较长的色彩图像，这些色彩图像彼此的曝光时间的差例如为介于-3至3的曝光值(ExposureValue，EV)中的任意值，在此不设限。举例来说，若A图像比B图像亮一倍，则可将B图像的EV加1，以此类推，曝光值可以有小数(例如+0.3EV)，在此不设限。
在一些实施例中，处理器38例如是控制色彩传感器32及红外线传感器34中的至少一者采用标准曝光条件来获取摄像场景的至少一张标准图像，并使用这些标准图像来识别摄像场景。所述标准曝光条件例如包括采用既有测光技术所决定的光圈、快门、感亮度等参数，而处理器38则根据在此曝光条件下所获取的图像的色调(Hue)、明度(Value)、彩度(Chroma)、白平衡等图像参数的强弱或分布来识别摄像场景，包括摄像场景的位置(室内或室外)、光源(高光源或低光源)、反差(高反差或低反差)、摄像物的种类(物品或人像)或状态(动态或静态)等。在其他实施例中，处理器38亦可采用定位方式来识别摄像场景或是直接接收使用者操作来设定摄像场景，在此不设限。
在步骤S404中，由处理器38从多张色彩图像及多张红外线图像中适应性选择出彼此可对比的色彩图像及红外线图像的组合。在一些实施例中，处理器38例如会根据各张色彩图像的颜色细节和各张红外线图像的纹理细节来选择彼此可对比的色彩图像及红外线图像的组合。在一些实施例中，处理器38则会以色彩图像或红外线图像作为基准，来比较各张色彩图像和红外线图像的图像直方图，以确定彼此可对比的色彩图像及红外线图像的组合。
在步骤S406中，由处理器38使用所选择的述色彩图像及红外线图像计算摄像场景的深度图。在一些实施例中，处理器38例如会获取所选择的色彩图像及红外线图像中特征强健的多个特征点，并根据色彩图像及红外线图像中彼此相对应的特征点的位置，计算摄像场景的深度图。
通过上述方法，双传感器摄像系统30可选择出颜色细节较佳的色彩图像及纹理细节较佳的红外线图像来计算摄像场景的深度图，并利用红外线图像来补偿或取代色彩图像中所缺乏的纹理细节来计算深度值，因此可精确地算出摄像场景的深度图。
在一些实施例中，处理器38例如会先根据各张色彩图像的颜色细节，选择其中一张色彩图像作为基准图像，接着识别基准图像中缺乏纹理细节的至少一个缺陷区域，然后再根据各张红外线图像中对应于这些缺陷区域的图像的纹理细节，选择其中一张红外线图像作为可与基准图像彼此对比的图像，一同用于深度图的计算。
详细而言，基于色彩传感器32每次只能采用单一曝光条件获取色彩图像，在摄像场景为低光源或高反差的情况下，每一张色彩图像都可能会出现高噪声、过曝或曝光不足的区域(即上述的缺陷区域)。此时，处理器38即可利用红外线传感器34高光敏感度的特性，针对上述的缺陷区域，从先前获取的多张红外线图像中，选择具备该缺陷区域的纹理细节的红外线图像，而可用以补足色彩图像中缺陷区域的纹理细节。
图5是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图。请同时参照图3及图5，本实施例的方法适用于上述的双传感器摄像系统30，以下即搭配双传感器摄像系统30的各项器件说明本实施例的深度图计算方法的详细步骤。
在步骤S502中，由处理器38从多张色彩图像中选择能显露出摄像场景的颜色细节的色彩图像作为基准图像。
在一些实施例中，处理器38例如是根据各张色彩图像的颜色细节，从多张色彩图像中选择颜色细节最多的色彩图像作为基准图像。所述颜色细节的多寡例如可由色彩图像中过曝或曝光不足区域的大小来决定。
详细而言，过曝区域像素的颜色趋近白色、曝光不足区域像素的颜色趋近黑色，因此这些区域的颜色细节会较少。因此，若色彩图像中包括较多的这类区域，代表其颜色细节较少，处理器38据此即可判断出哪一张色彩图像的颜色细节最多，而用以作为基准图像。在其他实施例中，处理器38也可依据各张色彩图像的对比度、饱和度或其他图像参数来分辨其颜色细节的多寡，在此不设限。
在步骤S504中，由处理器38识别基准图像中缺乏纹理细节的至少一个缺陷区域。所述的缺陷区域例如是上述的过曝区域或曝光不足区域，或是在低光源下所获取的具较高噪声的区域，在此不设限。
在步骤S506中，由处理器38根据各张红外线图像中对应于所述缺陷区域的图像的纹理细节，选择其中一张红外线图像，而用以作为与基准图像彼此对比的组合。
在一些实施例中，处理器38例如是选择对应于所述缺陷区域的图像的纹理细节最多的红外线图像作为与基准图像彼此对比的组合。其中，处理器38例如是依据各张红外线图像的对比度或其他图像参数来分辨其纹理细节的多寡，在此不设限。
在步骤S508中，由处理器38执行特征获取算法，从基准图像及所选择的红外线图像中获取特征强健的多个特征点。
在一些实施例中，所述的特征获取算法例如是哈里斯边角检测(Harriscornerdetector)、海森仿射区域检测(Hessian-affine region detector)、最大稳定极值区域(Maximally Stable Extremal Regions，MSER)、尺度不变特征变换(Scale invariantfeature transform，SIFT)或加速稳健特征(Speeded up robustfeatures，SURF)，所述特征点例如是图像中的边缘或角落像素，在此不设限。在一些实施例中，处理器38还可根据所获取特征之间的对应关系将色彩图像及红外线图像对准。
在步骤S510中，由处理器38根据基准图像及红外线图像中彼此相对应的特征点的位置，计算摄像场景的深度图。
在一些实施例中，处理器38例如是直接计算基准图像及红外线图像中相对应的各个像素的像差，并依据双传感器摄像系统30的色彩传感器及红外线传感器34拍摄图像时的焦距、两个传感器的间距以及各个像素的像差，估测各个像素的深度。其中，处理器38例如是依据各个像素在基准图像及红外线图像中的位置，计算各个像素在基准图像及红外线图像之间的位移，以作为像差。
详细而言，双传感器摄像系统30所拍摄的基准图像及红外线图像中相对应像素的像差是由焦距(决定图像大小)、传感器间距(决定图像重迭范围)以及该像素对应对象与传感器间的距离(即深度值，决定图像中对象的大小)来决定，其中存在着某种比例关系，而记载此比例关系的关系表可通过在双传感器摄像系统30出厂前预先测试而得。因此，当用户使用双传感器摄像系统30拍摄图像，而处理器38在计算图像中各个像素的像差时，即可利用预先建立的关系表查询而获得各个像素的深度值。
通过上述方法，双传感器摄像系统30即可利用色彩图像及红外线图像中相对应像素的位置关系来计算各个像素的深度值，从而获得精确的摄像场景的深度图。
举例来说，图6是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的范例。请参照图6，本实施例是通过上述图5的深度图计算方法，选择出颜色细节最多的色彩图像62作为基准图像，并针对色彩图像62中缺乏纹理细节的缺陷区域(例如人脸区域62a)，从采用不同曝光条件获取的多张红外线图像中选择出该缺陷区域的纹理细节最多的红外线图像64，用以与色彩图像62进行对比，从而计算出精确的摄像场景的深度图66。
在一些实施例中，处理器38例如会在用户启动实时显示(live view)模式时，控制色彩传感器32拍摄多张色彩图像，以执行自动对焦(auto focus)，因此获得所拍摄物体的焦距，并根据此焦距来决定可显露出物体颜色细节最多的色彩图像。
在实时显示模式中，处理器38例如会以此可显露出物体颜色细节最多的色彩图像映射的曝光时间为基准，控制色彩传感器32以较此曝光时间为长或短的多个曝光时间拍摄多张色彩图像，并用以监测摄像场景的环境变化。类似地，处理器38也可以可显露出物体纹理细节最多的红外线图像映射的曝光时间为基准，控制红外线传感器34以较此曝光时间为长或短的多个曝光时间拍摄多张红外线图像。最后，处理器38可从这些由色彩传感器32及红外线传感器34所拍摄的图像中，选择彼此最能够对比的色彩图像及红外线图像的组合，而用以计算摄像场景的深度图。
举例来说，在一些实施例中，处理器38会计算这些色彩图像及红外线图像中每张图像的图像直方图，并选择以色彩图像或红外线图像作为基准，来比较各张色彩图像和红外线图像的图像直方图，以确定彼此最能够对比的色彩图像及红外线图像的组合，并用以计算摄像场景的深度图。
详细而言，在一些实施例中，处理器38例如是选择色彩图像其中之一(例如是选择可显露出物体颜色细节最多的色彩图像)作为基准图像，并选择红外线图像其中之一(例如是选择可显露出物体纹理细节最多的色彩图像)来与基准图像比较，而依据这些图像的图像直方图判断所选择的红外线图像的亮度是否高于基准图像的亮度。其中，若判断结果为是，则处理器38会从红外线传感器34预先获取的多张红外线图像中选择曝光时间较所选择的红外线图像的曝光时间短的红外线图像，或控制红外线传感器34采用较所选择的红外线图像的曝光时间短的曝光时间获取红外线图像，用以作为与基准图像彼此对比的组合。反之，若判断结果为否，则处理器38会从红外线传感器34预先获取的多张红外线图像中选择曝光时间较所选择的红外线图像的曝光时间长的红外线图像，或控制红外线传感器34采用较所选择的红外线图像的曝光时间长的曝光时间获取红外线图像，用以作为与基准图像彼此对比的组合。
另一方面，在一些实施例中，处理器38例如是选择红外线图像其中之一(例如是选择可显露出物体纹理细节最多的色彩图像)作为基准图像，并选择色彩图像其中之一(例如是选择可显露出物体颜色细节最多的色彩图像)来与基准图像比较，依据这些图像的图像直方图，判断所选择的色彩图像的亮度是否高于基准图像的亮度。其中，若判断结果为是，则处理器38会从色彩传感器32预先获取的多张色彩图像中选择曝光时间较所选择的色彩图像的曝光时间短的色彩图像，或控制色彩传感器32采用较所选择的色彩图像的曝光时间短的曝光时间获取色彩图像，用以作为与基准图像彼此对比的组合。反之，若判断结果为否，则处理器38会从色彩传感器32预先获取的多张色彩图像中选择曝光时间较所选择的色彩图像的曝光时间长的色彩图像，或控制色彩传感器32采用较所选择的色彩图像的曝光时间长的曝光时间获取色彩图像，用以作为与基准图像彼此对比的组合。
通过上述方法，双传感器摄像系统30即可从多张色彩图像及红外线图像中适应性选择出彼此最能够对比的色彩图像及红外线图像的组合，并用以算出精确的摄像场景的深度图。
在一些实施例中，即便是选择彼此最能够对比的色彩图像及红外线图像的组合来计算摄像场景的深度图，所选择的色彩图像仍有可能会因为反射或色彩传感器32的动态范围不足等因素，而具有许多缺乏颜色及/或纹理细节不足的缺陷区域，此即所谓的遮盖(occlusion)。在此情况下，可使用由红外线图像提供的纹理细节作为参考依据，而从遮盖周围像素的深度值来估测该遮盖的深度值。
详细而言，图7是依照本发明一实施例所示出的双传感器摄像系统的深度图计算方法的流程图。请同时参照图3及图7，本实施例的方法适用于上述的双传感器摄像系统30，并额外在双传感器摄像系统30中配置如红外线发光二极管(Light emitting diode，LED)等红外线投射器(IR projector)(未示出)，用以加强所获取的红外线图像的纹理细节。以下即搭配双传感器摄像系统30的各项器件说明本实施例的深度图计算方法的详细步骤。
在步骤S702中，由处理器38检测所选择的色彩图像中缺乏颜色细节或纹理细节的至少一个遮盖，并在步骤S704中，判断是否检测到遮盖。
若在步骤S704中有检测到遮盖，则在步骤S706中，处理器38会控制红外线投射器投射红外线至摄像场景，并控制红外线传感器34获取摄像场景的红外线图像。其中，通过投射红外线至摄像场景，可增强红外线传感器34所获取的摄像场景中暗部区域的纹理细节，而用以辅助后续深度图的计算。
在步骤S708中，处理器38会根据红外线传感器34所获取的红外线图像所提供的各个遮盖周围的纹理细节，由各个遮盖周围的多个像素的深度值决定遮盖的深度值。详细而言，由于红外线图像可提供遮盖周围像素的精确的纹理细节，因此可利用与遮盖具有同质性(homogeneity)的周围像素的深度值，来填补深度图中空洞的深度值，使得深度图中的空洞得以经由红外线图像的辅助而填补正确的深度值。
另一方面，若在步骤S704中没有检测到遮盖，则在步骤S710中，处理器38会根据基准图像及红外线图像中彼此相对应的特征点的位置，计算摄像场景的深度图。此步骤与前述实施例的步骤S510相同或相似，故其详细内容在此不再赘述。
通过上述方法，双传感器摄像系统30可有效地填补所计算的深度图中的空洞，从而获得完整且精确的摄像场景的深度图。
综上所述，本发明的双传感器摄像系统及其深度图计算方法通过独立配置色彩传感器与红外线传感器，并采用适于当前拍摄场景的多个曝光条件分别获取多张图像，从中选择彼此可对比的色彩图像及红外线图像来进行深度图的计算，因此可精确地算出各种摄像场景的深度图。而通过使用红外线图像所提供的纹理细节来辅助计算深度图中空洞的深度值，因此可生成完整的摄像场景的深度图。
然本公开已以实施例揭示如上，然其并非用以限定本公开，任何本领域技术人员，在不脱离本公开的精神和范围内，当可作些许的改动与润饰，因此本公开的保护范围当视后附的权利要求及其均等范围所界定的为准。

Claims (18)

1.一种双传感器摄像系统，包括：
至少一色彩传感器；
至少一红外线传感器；
存储装置，存储计算机程序；以及
处理器，耦接所述至少一色彩传感器、所述至少一红外光传感器及所述存储装置，经配置以加载并执行所述计算机程序以：
控制所述至少一色彩传感器及所述至少一红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；
从所述多张色彩图像及所述多张红外线图像中适应性选择出彼此可对比的所述色彩图像及所述红外线图像的组合；以及
使用所选择的所述色彩图像及所述红外线图像计算所述摄像场景的深度图，
其中所述处理器更经配置以加载并执行所述计算机程序以：
从所述多张色彩图像中选择能显露出所述摄像场景的颜色细节的色彩图像作为基准图像；
识别所述基准图像中缺乏纹理细节的至少一缺陷区域；以及
从所述多张红外线图像中选择能显露出所述缺陷区域的所述纹理细节的红外线图像，用以作为与所述基准图像彼此对比的组合。
2.根据权利要求1所述的双传感器摄像系统，其中所述处理器还包括：
利用所述色彩图像执行自动对焦，以取得所述摄像场景中所拍摄物体的焦距，并根据所述焦距决定可显露所述物体的所述颜色细节最多的色彩图像作为所述基准图像。
3.根据权利要求1所述的双传感器摄像系统，其中所述处理器包括：
计算各所述色彩图像及各所述红外线图像的图像直方图；以及
选择所述色彩图像其中之一或所述红外线图像其中之一作为基准，比较各所述色彩图像及各所述红外线图像的所述图像直方图，以确定彼此可对比的所述色彩图像及所述红外线图像的组合。
4.根据权利要求3所述的双传感器摄像系统，其中所述处理器包括：
选择所述色彩图像其中之一作为基准图像，并选择所述红外线图像其中之一与所述基准图像比较，而依据所述图像直方图判断所选择的所述红外线图像的亮度是否高于所述基准图像的亮度；
若是，从所获取的所述多张红外线图像中选择曝光时间较所选择的所述红外线图像的曝光时间短的红外线图像，或控制所述至少一红外线传感器采用较所选择的所述红外线图像的曝光时间短的曝光时间获取红外线图像，用以作为与所述基准图像彼此对比的组合；以及
若否，从所获取的所述多张红外线图像中选择曝光时间较所选择的所述红外线图像的曝光时间长的红外线图像，或控制所述至少一红外线传感器采用较所选择的所述红外线图像的曝光时间长的曝光时间获取红外线图像，用以作为与所述基准图像彼此对比的组合。
5.根据权利要求3所述的双传感器摄像系统，其中所述处理器包括：
选择所述红外线图像其中之一作为基准图像，并选择所述色彩图像其中之一与所述基准图像比较，而依据所述图像直方图，判断所选择的所述色彩图像的亮度是否高于所述基准图像的亮度；
若是，从所获取的所述多张色彩图像中选择曝光时间较所选择的所述色彩图像的曝光时间短的色彩图像，或控制所述至少一色彩传感器采用较所选择的所述色彩图像的曝光时间短的曝光时间获取色彩图像，用以作为与所述基准图像彼此对比的组合；以及
若否，从所获取的所述多张色彩图像中选择曝光时间较所选择的所述色彩图像的曝光时间长的色彩图像，或控制所述至少一色彩传感器采用较所选择的所述色彩图像的曝光时间长的曝光时间获取色彩图像，用以作为与所述基准图像彼此对比的组合。
6.根据权利要求1所述的双传感器摄像系统，其中所述处理器包括：
检测所选择的所述色彩图像中缺乏颜色细节或纹理细节的至少一遮盖；以及
执行空洞填补算法，以根据所选择的所述红外线图像所提供的各所述遮盖周围的纹理细节，由各所述遮盖周围多个像素的深度值决定所述遮盖的深度值。
7.根据权利要求6所述的双传感器摄像系统，其中所述双传感器摄像系统还包括红外线投射器，所述处理器还包括：
在检测到所述遮盖时，控制所述红外线投射器投射红外线至所述摄像场景，并控制所述至少一红外线传感器获取所述摄像场景的红外线图像；以及
根据所获取的所述红外线图像所提供的各所述遮盖周围的纹理细节，由各所述遮盖周围的多个像素的深度值决定所述遮盖的深度值。
8.根据权利要求1所述的双传感器摄像系统，其中所述处理器包括：
获取所选择的所述色彩图像及所述红外线图像中特征强健的多个特征点；以及
根据所述色彩图像及所述红外线图像中彼此相对应的所述特征点的位置，计算所述摄像场景的所述深度图。
9.根据权利要求1所述的双传感器摄像系统，其中所述处理器包括：
控制所述至少一色彩传感器及所述至少一红外线传感器中的至少一者采用标准曝光条件获取所述摄像场景的至少一标准图像，并使用所述至少一标准图像识别所述摄像场景。
10.一种双传感器摄像系统的深度图计算方法，所述双传感器摄像系统包括至少一色彩传感器、至少一红外线传感器及处理器，所述方法包括下列步骤：
由所述处理器控制所述至少一色彩传感器及所述至少一红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；
由所述处理器从所述多张色彩图像及所述多张红外线图像中适应性选择出彼此可对比的所述色彩图像及所述红外线图像的组合，包括：
从所述多张色彩图像中选择能显露出所述摄像场景的颜色细节的色彩图像作为基准图像；
识别所述基准图像中缺乏纹理细节的至少一缺陷区域；以及
从所述多张红外线图像中选择能显露出所述缺陷区域的所述纹理细节的红外线图像；以及
由所述处理器使用所选择的所述色彩图像及所述红外线图像计算所述摄像场景的深度图。
11.根据权利要求10所述的方法，其中从所述多张色彩图像中选择能显露出所述摄像场景的颜色细节的色彩图像作为基准图像的步骤包括：
利用所述色彩图像执行自动对焦，以取得所述摄像场景中所拍摄物体的焦距，并根据所述焦距决定可显露所述物体的所述颜色细节最多的色彩图像作为所述基准图像。
12.根据权利要求10所述的方法，其中从所述多张色彩图像及所述多张红外线图像中适应性选择出彼此可对比的所述色彩图像及所述红外线图像的组合的步骤包括：
计算各所述色彩图像及各所述红外线图像的图像直方图；以及
选择所述色彩图像其中之一或所述红外线图像其中之一作为基准，比较各所述色彩图像及各所述红外线图像的所述图像直方图，以确定彼此可对比的所述色彩图像及所述红外线图像的组合。
13.根据权利要求12所述的方法，其中比较各所述色彩图像及各所述红外线图像的所述图像直方图，以确定彼此可对比的所述色彩图像及所述红外线图像的组合的步骤包括：
选择所述色彩图像其中之一作为基准图像，并选择所述红外线图像其中之一与所述基准图像比较，而依据所述图像直方图判断所选择的所述红外线图像的亮度是否高于所述基准图像的亮度；
若是，从所获取的所述多张红外线图像中选择曝光时间较所选择的所述红外线图像的曝光时间短的红外线图像，或控制所述至少一红外线传感器采用较所选择的所述红外线图像的曝光时间短的曝光时间获取红外线图像，用以作为与所述基准图像彼此对比的组合；以及
若否，从所获取的所述多张红外线图像中选择曝光时间较所选择的所述红外线图像的曝光时间长的红外线图像，或控制所述至少一红外线传感器采用较所选择的所述红外线图像的曝光时间长的曝光时间获取红外线图像，用以作为与所述基准图像彼此对比的组合。
14.根据权利要求12所述的方法，其中比较各所述色彩图像及各所述红外线图像的所述图像直方图，以确定彼此可对比的所述色彩图像及所述红外线图像的组合的步骤包括：
选择所述红外线图像其中之一作为基准图像，并选择所述色彩图像其中之一与所述基准图像比较，而依据所述图像直方图，判断所选择的所述色彩图像的亮度是否高于所述基准图像的亮度；
若是，从所获取的所述多张色彩图像中选择曝光时间较所选择的所述色彩图像的曝光时间短的色彩图像，或控制所述至少一色彩传感器采用较所选择的所述色彩图像的曝光时间短的曝光时间获取色彩图像，用以作为与所述基准图像彼此对比的组合；以及
若否，从所获取的所述多张色彩图像中选择曝光时间较所选择的所述色彩图像的曝光时间长的色彩图像，或控制所述至少一色彩传感器采用较所选择的所述色彩图像的曝光时间长的曝光时间获取色彩图像，用以作为与所述基准图像彼此对比的组合。
15.根据权利要求10所述的方法，还包括：
检测所选择的所述色彩图像中缺乏颜色细节或纹理细节的至少一遮盖；以及
执行空洞填补算法，以根据所选择的所述红外线图像所提供的各所述遮盖周围的纹理细节，由各所述遮盖周围多个像素的深度值决定所述遮盖的深度值。
16.根据权利要求15所述的方法，其中所述双传感器摄像系统还包括红外线投射器，在检测所选择的所述色彩图像中缺乏颜色细节或纹理细节的至少一遮盖的步骤之后，所述方法还包括：
在检测到所述遮盖时，控制所述红外线投射器投射红外线至所述摄像场景，并控制所述至少一红外线传感器获取所述摄像场景的红外线图像；以及
根据所获取的所述红外线图像所提供的各所述遮盖周围的纹理细节，由各所述遮盖周围多个像素的深度值决定所述遮盖的深度值。
17.根据权利要求10所述的方法，其中使用所选择的所述色彩图像及所述红外线图像计算所述摄像场景的深度图的步骤包括：
获取所选择的所述色彩图像及所述红外线图像中特征强健的多个特征点；以及
根据所述色彩图像及所述红外线图像中彼此相对应的所述特征点的位置，计算所述摄像场景的所述深度图。
18.根据权利要求10所述的方法，其中在控制所述至少一色彩传感器及所述至少一红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像的步骤之前，所述方法还包括：
控制所述至少一色彩传感器及所述至少一红外线传感器中的至少一者采用标准曝光条件获取所述摄像场景的至少一标准图像，并使用所述至少一标准图像识别所述摄像场景。
CN202011622478.XA 2020-09-04 2020-12-30 双传感器摄像系统及其深度图计算方法 Active CN114143419B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063074477P 2020-09-04 2020-09-04
US63/074,477 2020-09-04

Publications (2)

Publication Number Publication Date
CN114143419A CN114143419A (zh) 2022-03-04
CN114143419B true CN114143419B (zh) 2023-12-26

Family

ID=80438521

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202011540274.1A Active CN114143443B (zh) 2020-09-04 2020-12-23 双传感器摄像系统及其摄像方法
CN202011541300.2A Active CN114143418B (zh) 2020-09-04 2020-12-23 双传感器摄像系统及其摄像方法
CN202011625515.2A Active CN114143420B (zh) 2020-09-04 2020-12-30 双传感器摄像系统及其隐私保护摄像方法
CN202011625552.3A Active CN114143421B (zh) 2020-09-04 2020-12-30 双传感器摄像系统及其校准方法
CN202011622478.XA Active CN114143419B (zh) 2020-09-04 2020-12-30 双传感器摄像系统及其深度图计算方法

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN202011540274.1A Active CN114143443B (zh) 2020-09-04 2020-12-23 双传感器摄像系统及其摄像方法
CN202011541300.2A Active CN114143418B (zh) 2020-09-04 2020-12-23 双传感器摄像系统及其摄像方法
CN202011625515.2A Active CN114143420B (zh) 2020-09-04 2020-12-30 双传感器摄像系统及其隐私保护摄像方法
CN202011625552.3A Active CN114143421B (zh) 2020-09-04 2020-12-30 双传感器摄像系统及其校准方法

Country Status (2)

Country Link
CN (5) CN114143443B (zh)
TW (5) TWI767468B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091341B (zh) * 2022-12-15 2024-04-02 南京信息工程大学 一种低光图像的曝光差增强方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021548A (zh) * 2014-05-16 2014-09-03 中国科学院西安光学精密机械研究所 一种获取场景4d信息的方法
CN105049829A (zh) * 2015-07-10 2015-11-11 北京唯创视界科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统
WO2016192437A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像系统
CN206117865U (zh) * 2016-01-16 2017-04-19 上海图漾信息科技有限公司 深度数据监控装置
CN106815826A (zh) * 2016-12-27 2017-06-09 上海交通大学 基于场景识别的夜视图像彩色融合方法
CN108280807A (zh) * 2017-01-05 2018-07-13 浙江舜宇智能光学技术有限公司 单目深度图像采集装置和系统及其图像处理方法
CN108961195A (zh) * 2018-06-06 2018-12-07 Oppo广东移动通信有限公司 图像处理方法及装置、图像采集装置、可读存储介质和计算机设备
CN109035193A (zh) * 2018-08-29 2018-12-18 成都臻识科技发展有限公司 一种基于双目立体相机的成像处理方法及成像处理系统
CN109636732A (zh) * 2018-10-24 2019-04-16 深圳先进技术研究院 一种深度图像的空洞修复方法以及图像处理装置
WO2019119842A1 (zh) * 2017-12-20 2019-06-27 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN110248105A (zh) * 2018-12-10 2019-09-17 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
CN110572583A (zh) * 2018-05-18 2019-12-13 杭州海康威视数字技术股份有限公司 拍摄图像的方法及摄像机
JP2020052001A (ja) * 2018-09-28 2020-04-02 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
CN111524175A (zh) * 2020-04-16 2020-08-11 东莞市东全智能科技有限公司 非对称式多摄像头的深度重建及眼动追踪方法及系统

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246252A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 画像情報収集装置及び方法
JP2005091434A (ja) * 2003-09-12 2005-04-07 Noritsu Koki Co Ltd 位置調整方法およびこの方法を用いた傷補正機能付き画像読取装置
JP4244018B2 (ja) * 2004-03-25 2009-03-25 ノーリツ鋼機株式会社 欠陥画素修正方法、プログラム及びその方法を実施する欠陥画素修正システム
JP4341680B2 (ja) * 2007-01-22 2009-10-07 セイコーエプソン株式会社 プロジェクタ
US9307212B2 (en) * 2007-03-05 2016-04-05 Fotonation Limited Tone mapping for low-light video frame enhancement
EP2289235A4 (en) * 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN101404060B (zh) * 2008-11-10 2010-06-30 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
WO2010104490A1 (en) * 2009-03-12 2010-09-16 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
EP2471258B1 (en) * 2009-08-25 2017-05-24 Dual Aperture International Co. Ltd. Reducing noise in a color image
US8478123B2 (en) * 2011-01-25 2013-07-02 Aptina Imaging Corporation Imaging devices having arrays of image sensors and lenses with multiple aperture sizes
JP2013115679A (ja) * 2011-11-30 2013-06-10 Fujitsu General Ltd 撮像装置
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
TW201401186A (zh) * 2012-06-25 2014-01-01 Psp Security Co Ltd 人臉判斷系統以及方法
JP5934375B2 (ja) * 2012-09-25 2016-06-15 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
KR102086509B1 (ko) * 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
WO2014100787A1 (en) * 2012-12-21 2014-06-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
TWM458748U (zh) * 2012-12-26 2013-08-01 Chunghwa Telecom Co Ltd 影像式深度資訊擷取裝置
JP6055681B2 (ja) * 2013-01-10 2016-12-27 株式会社 日立産業制御ソリューションズ 撮像装置
CN104661008B (zh) * 2013-11-18 2017-10-31 深圳中兴力维技术有限公司 低照度条件下彩色图像质量提升的处理方法和装置
US9516295B2 (en) * 2014-06-30 2016-12-06 Aquifi, Inc. Systems and methods for multi-channel imaging based on multiple exposure settings
JP6450107B2 (ja) * 2014-08-05 2019-01-09 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
CN107005639B (zh) * 2014-12-10 2020-04-14 索尼公司 图像拾取设备、图像拾取方法和图像处理设备
CN107431760B (zh) * 2015-03-31 2018-08-28 富士胶片株式会社 摄像装置、摄像装置的图像处理方法以及存储介质
JP2017011634A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
CN105069768B (zh) * 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
US10523855B2 (en) * 2015-09-24 2019-12-31 Intel Corporation Infrared and visible light dual sensor imaging system
TW201721269A (zh) * 2015-12-11 2017-06-16 宏碁股份有限公司 自動曝光系統及其自動曝光方法
JP2017112401A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
JP2017163297A (ja) * 2016-03-09 2017-09-14 キヤノン株式会社 撮像装置
KR101747603B1 (ko) * 2016-05-11 2017-06-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 컬러 나이트 비전 시스템 및 그 동작 방법
JP6974873B2 (ja) * 2017-02-06 2021-12-01 フォトニック センサーズ アンド アルゴリズムス，エセ．エレ． シーンから深度情報を取得するための装置および方法
CN108419062B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
CN109474770B (zh) * 2017-09-07 2021-09-14 华为技术有限公司 一种成像装置及成像方法
CN109712102B (zh) * 2017-10-25 2020-11-27 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备
CN107846537B (zh) * 2017-11-08 2019-11-26 维沃移动通信有限公司 一种摄像头组件、图像获取方法及移动终端
US10748247B2 (en) * 2017-12-26 2020-08-18 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
TWI661726B (zh) * 2018-01-09 2019-06-01 呂官諭 加強影像辨識清晰的影像感測器及其應用
CN110136183B (zh) * 2018-02-09 2021-05-18 华为技术有限公司 一种图像处理的方法、装置以及摄像装置
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法
JP6574878B2 (ja) * 2018-07-19 2019-09-11 キヤノン株式会社 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
JP7254461B2 (ja) * 2018-08-01 2023-04-10 キヤノン株式会社 撮像装置、制御方法、記録媒体、および、情報処理装置
PL3852350T3 (pl) * 2018-09-14 2024-06-10 Zhejiang Uniview Technologies Co., Ltd. Sposób oraz urządzenie do automatycznej ekspozycji dla obrazu w podwójnym spektrum, oraz kamera do obrazów w podwójnym spektrum oraz maszynowy nośnik pamięci
US11176694B2 (en) * 2018-10-19 2021-11-16 Samsung Electronics Co., Ltd Method and apparatus for active depth sensing and calibration method thereof
US11120536B2 (en) * 2018-12-12 2021-09-14 Samsung Electronics Co., Ltd Apparatus and method for determining image sharpness
CN113170048A (zh) * 2019-02-19 2021-07-23 华为技术有限公司 一种图像处理的装置和方法
US10972649B2 (en) * 2019-02-27 2021-04-06 X Development Llc Infrared and visible imaging system for device identification and tracking
JP7316809B2 (ja) * 2019-03-11 2023-07-28 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
CN110349117B (zh) * 2019-06-28 2023-02-28 重庆工商大学 一种红外图像与可见光图像融合方法、装置及存储介质
CN110706178B (zh) * 2019-09-30 2023-01-06 杭州海康威视数字技术股份有限公司 图像融合装置、方法、设备及存储介质
CN111540003A (zh) * 2020-04-27 2020-08-14 浙江光珀智能科技有限公司 一种深度图像的生成方法及装置
CN111586314B (zh) * 2020-05-25 2021-09-10 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质
CN111383206B (zh) * 2020-06-01 2020-09-29 浙江大华技术股份有限公司 一种图像处理方法、装置、电子设备及存储介质
IN202021032940A (zh) * 2020-07-31 2020-08-28 .Us Priyadarsan

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021548A (zh) * 2014-05-16 2014-09-03 中国科学院西安光学精密机械研究所 一种获取场景4d信息的方法
WO2016192437A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像系统
CN105049829A (zh) * 2015-07-10 2015-11-11 北京唯创视界科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统
CN206117865U (zh) * 2016-01-16 2017-04-19 上海图漾信息科技有限公司 深度数据监控装置
CN106815826A (zh) * 2016-12-27 2017-06-09 上海交通大学 基于场景识别的夜视图像彩色融合方法
CN108280807A (zh) * 2017-01-05 2018-07-13 浙江舜宇智能光学技术有限公司 单目深度图像采集装置和系统及其图像处理方法
WO2019119842A1 (zh) * 2017-12-20 2019-06-27 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN110572583A (zh) * 2018-05-18 2019-12-13 杭州海康威视数字技术股份有限公司 拍摄图像的方法及摄像机
CN108961195A (zh) * 2018-06-06 2018-12-07 Oppo广东移动通信有限公司 图像处理方法及装置、图像采集装置、可读存储介质和计算机设备
CN109035193A (zh) * 2018-08-29 2018-12-18 成都臻识科技发展有限公司 一种基于双目立体相机的成像处理方法及成像处理系统
JP2020052001A (ja) * 2018-09-28 2020-04-02 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
CN109636732A (zh) * 2018-10-24 2019-04-16 深圳先进技术研究院 一种深度图像的空洞修复方法以及图像处理装置
CN110248105A (zh) * 2018-12-10 2019-09-17 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
CN111524175A (zh) * 2020-04-16 2020-08-11 东莞市东全智能科技有限公司 非对称式多摄像头的深度重建及眼动追踪方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dependence of color change of vinylethylene carbonate copolymers having N-substituted maleimides on chemical structure by acid-base switching in solution and solid state;Yoshiaki Yoshida;《Reactive and Functional Polymers》;第120卷;全文 *

Also Published As

Publication number Publication date
TW202211165A (zh) 2022-03-16
CN114143420B (zh) 2024-05-03
CN114143420A (zh) 2022-03-04
CN114143421B (zh) 2024-04-05
CN114143419A (zh) 2022-03-04
CN114143418B (zh) 2023-12-01
TW202211674A (zh) 2022-03-16
CN114143421A (zh) 2022-03-04
TWI797528B (zh) 2023-04-01
TWI767468B (zh) 2022-06-11
TWI764484B (zh) 2022-05-11
CN114143418A (zh) 2022-03-04
TWI778476B (zh) 2022-09-21
TW202211161A (zh) 2022-03-16
CN114143443A (zh) 2022-03-04
CN114143443B (zh) 2024-04-05
TW202211160A (zh) 2022-03-16
TW202211673A (zh) 2022-03-16
TWI767484B (zh) 2022-06-11

Similar Documents

Publication Publication Date Title
US7551797B2 (en) White balance adjustment
US7868922B2 (en) Foreground/background segmentation in digital images
CN108337446B (zh) 基于双摄像头的高动态范围图像获取方法、装置及设备
US11689822B2 (en) Dual sensor imaging system and privacy protection imaging method thereof
US11838648B2 (en) Image processing device, imaging apparatus, image processing method, and program for determining a condition for high dynamic range processing
CN110324529B (zh) 图像处理设备及其控制方法
CN114143419B (zh) 双传感器摄像系统及其深度图计算方法
US11496694B2 (en) Dual sensor imaging system and imaging method thereof
JP2017152866A (ja) 画像処理装置及び画像処理方法
US11496660B2 (en) Dual sensor imaging system and depth map calculation method thereof
US11568526B2 (en) Dual sensor imaging system and imaging method thereof
US11418719B2 (en) Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
JP2009063674A (ja) 撮像装置及びフラッシュ制御方法
JP2002196389A (ja) 測光装置およびカメラ
KR20110067700A (ko) 이미지 획득 방법 및 디지털 카메라 시스템
JP2012085093A (ja) 撮像装置および取得方法
JP2016213717A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2001086396A (ja) 撮像装置
JP2003259231A (ja) 自動露出制御装置及びそのプログラム
JP2017034536A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6590585B2 (ja) 撮像装置及び露出制御方法
JP6446777B2 (ja) 撮像装置および電子機器
JP2013219561A (ja) 撮像装置、その制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant