CN113271414B - 图像获取方法和装置 - Google Patents

图像获取方法和装置 Download PDF

Info

Publication number
CN113271414B
CN113271414B CN202010093488.2A CN202010093488A CN113271414B CN 113271414 B CN113271414 B CN 113271414B CN 202010093488 A CN202010093488 A CN 202010093488A CN 113271414 B CN113271414 B CN 113271414B
Authority
CN
China
Prior art keywords
infrared
visible light
exposure
image
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010093488.2A
Other languages
English (en)
Other versions
CN113271414A (zh
Inventor
涂娇姣
蓝晶
苏益波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haisi Technology Co ltd
Original Assignee
Shanghai Haisi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Haisi Technology Co ltd filed Critical Shanghai Haisi Technology Co ltd
Priority to CN202010093488.2A priority Critical patent/CN113271414B/zh
Priority to EP21753011.2A priority patent/EP4102817A4/en
Priority to PCT/CN2021/075085 priority patent/WO2021160001A1/zh
Publication of CN113271414A publication Critical patent/CN113271414A/zh
Priority to US17/886,761 priority patent/US20220392182A1/en
Application granted granted Critical
Publication of CN113271414B publication Critical patent/CN113271414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本申请提供一种图像获取方法和装置。本申请图像获取方法，包括：获取第一原始图像数据，所述第一原始图像数据为图像传感器基于初始的可见光曝光参数和红外补光灯的光强采集得到的；根据第一原始图像数据获取可见光图像的亮度；根据第一差值对可见光曝光参数进行调整，第一差值为可见光图像的亮度与预设的目标可见光图像亮度之间的差值；根据第一原始图像数据获取红外图像的亮度；根据第二差值对红外补光灯的光强进行调整，第二差值为红外图像的亮度与预设的目标红外图像亮度之间的差值；获取第二原始图像数据，所述第二原始图像数据为图像传感器基于调整后的可见光曝光参数和红外补光灯的光强采集得到的；根据第二原始图像数据融合得到目标图像。本申请可以提高调整效率，得到信噪比和细节表现更好的目标图像。

Description

图像获取方法和装置
技术领域
本申请涉及图像处理技术，尤其涉及一种图像获取方法和装置。
背景技术
在低照度条件下，红绿蓝传感器(red green blue Sensor，RGB Sensor)的信噪比严重下降，细节损失明显，图像质量急剧恶化，为了解决这一问题，可见光和红外双路融合技术应运而生。该技术同时采集可见光图像和红外图像，从红外图像中可以提取到信噪比更高、细节更好的亮度信息，而可见光图像中则包含了颜色信息，对两者进行融合处理，可以得到信噪比低且细节表现更好的目标图像。
目前最常用的方案为双Sensor融合，即一个RGB Sensor用于采集可见光图像，另一个红外Sensor用于采集红外图像，对两者进行融合处理得到目标图像。另一种方案是通过红绿蓝红外(RGB-infrared，RGBIR)Sensor采集RGBIR图像，从RGBIR图像中分离出RGB分量和IR分量，然后再对两者进行融合处理得到目标图像。
但是上述两种方案，前者的双Sensor结构存在视差问题，需要标定，提高了融合算法的复杂性和设计难度，后者需要增加分光处理，但分光不能做到将RGB分量和IR分量完全分离，导致色彩还原困难，还可能会导致融合后有模糊影像的问题。
发明内容
本申请提供一种图像获取方法和装置，以提高调整效率，得到信噪比和细节表现更好的目标图像。
第一方面，本申请提供一种图像获取方法，包括：获取第一原始图像数据，该第一原始图像数据为图像传感器基于初始的可见光曝光参数和红外补光灯的光强采集得到的，该第一原始图像数据包括可见光图像数据和红外图像数据；根据第一原始图像数据获取可见光图像的亮度；根据第一差值对可见光曝光参数进行调整，该第一差值为该可见光图像的亮度与预设的目标可见光图像亮度之间的差值；根据第一原始图像数据获取红外图像的亮度；根据第二差值对红外补光灯的光强进行调整，该第二差值为该红外图像的亮度与预设的目标红外图像亮度之间的差值；获取第二原始图像数据，该第二原始图像数据为图像传感器基于调整后的可见光曝光参数和红外补光灯的光强采集得到的；根据第二原始图像数据中的可见光图像数据和红外图像数据融合得到目标图像。
本申请基于初始的可见光曝光参数和红外补光灯的光强采集第一原始图像数据，并根据第一原始图像数据中的可见光分量和红外分量分别对可见光曝光参数和红外补光灯的光强进行调整，且两个调整过程相互独立，完全不受另一个的影响，不但可以提高调整效率，还可以得到信噪比和细节表现更好的目标图像，消除融合后的目标图像有模糊影像的现象。而且经对可见光曝光参数和红外补光灯的光强的调整后，可以只采集一张包含可见光和红外光的原始图像就可以融合得到质量较高的目标图像，在简化了融合算法的前提下提升了融合图像的质量。
在一种可能的实现方式中，根据第一差值对可见光曝光参数进行调整，包括：若第一差值的绝对值没有在预设的第一范围内，则根据该第一差值对可见光曝光参数进行调整。
本申请只在可见光图像的亮度不在预期效果的可容忍范围内时才对可见光曝光参数调整，可以提高调整效率。
在一种可能的实现方式中，在根据第一差值对可见光曝光参数进行调整之前，该方法还包括：确定曝光参数分配策略集合中是否包括与该第一差值对应的曝光参数分配策略；根据第一差值对可见光曝光参数进行调整，包括：若曝光参数分配策略集合中包括与第一差值对应的曝光参数分配策略，则按照与该第一差值对应的曝光参数分配策略调整可见光曝光参数；若曝光参数分配策略集合中不包括与第一差值对应的曝光参数分配策略，则增加新的曝光参数分配策略，并根据该新的曝光参数分配策略调整该可见光曝光参数。
在一种可能的实现方式中，可见光曝光参数包括曝光时间、光圈直径或曝光增益中的一个或多个；根据第一差值对可见光曝光参数进行调整，包括：当可见光图像的亮度比目标可见光图像亮度低时，增大曝光时间、光圈直径或曝光增益中的一个或多个；当可见光图像的亮度比目标可见光图像亮度高时，减小曝光时间、光圈直径或曝光增益中的一个或多个。
本申请针对亮度偏高的可见光图像，调小其曝光时间、光圈直径或曝光增益中的一个或多个，针对亮度偏低的可见光图像，增大其曝光时间、光圈直径或曝光增益中的一个或多个，可以提高可见光曝光参数的调整效率，使得可见光曝光参数的调整符合实际亮度需求。
在一种可能的实现方式中，根据第二差值对红外补光灯的光强进行调整，包括：若该第二差值的绝对值没有在预设的第二范围内，则根据第二差值对红外补光灯的光强进行调整。
本申请只在红外图像的亮度不在预期效果的可容忍范围内时才对红外补光灯的光强调整，可以提高调整效率。
在一种可能的实现方式中，根据第二差值对红外补光灯的光强进行调整，包括：当红外图像的亮度比目标红外图像亮度低时，增大红外补光灯的光强；当红外图像的亮度比目标红外图像亮度高时，减小红外补光灯的光强。
本申请针对亮度偏高的红外图像，减小红外补光灯的光强，针对亮度偏低的红外图像，增大红外补光灯的光强，可以提高红外补光灯的光强的调整效率，使得红外补光灯的光强的调整符合实际亮度需求。
在一种可能的实现方式中，增大红外补光灯的光强，包括：通过减小红外补光灯的脉冲宽度调制PWM的占空比增大红外补光灯的光强；减小红外补光灯的光强，包括：通过增大红外补光灯的PWM的占空比减小红外补光灯的光强。
在一种可能的实现方式中，根据第一差值对可见光曝光参数进行调整，包括：若连续N帧可见光图像的第一差值的绝对值均没有在第一范围内，则根据第一差值对可见光曝光参数进行调整，N为正整数。
本申请在确定多帧可见光图像均存在亮度不在预期效果的可容忍范围内时，才会对可见光曝光参数调整，可以避免出现单帧跳变的情况。
在一种可能的实现方式中，根据第一差值对可见光曝光参数进行调整，包括：当连续N帧可见光图像的亮度均比目标可见光图像亮度低时，增大曝光时间、光圈直径或曝光增益中的一个或多个；或者，当连续N帧可见光图像的亮度均比目标可见光图像亮度高时，减小曝光时间、光圈直径或曝光增益中的一个或多个。
在一种可能的实现方式中，根据第二差值对红外补光灯的光强进行调整，包括：若连续M帧红外图像的第二差值的绝对值均没有在预设的第二范围内，则根据第二差值对红外补光灯的光强进行调整，M为正整数。
本申请在确定多帧红外图像均存在亮度不在预期效果的可容忍范围内时，才会对红外补光灯的光强调整，可以避免出现单帧跳变的情况。
在一种可能的实现方式中，根据第二差值对红外补光灯的光强进行调整，包括：当连续M帧红外图像的亮度均比目标红外图像亮度低时，增大红外补光灯的光强；当连续M帧红外图像的亮度均比目标红外图像亮度高时，减小红外补光灯的光强。
在一种可能的实现方式中，增大曝光时间、光圈直径或曝光增益中的一个或多个，包括：在静止场景下，先增加曝光时间，再增加曝光增益，最后增加光圈直径；在运动场景下，先增加曝光增益，再增加曝光时间，最后增加光圈直径；减小曝光时间、光圈直径或曝光增益中的一个或多个，包括：在静止场景下，先减小曝光时间，再减小曝光增益，最后减小光圈直径；在运动场景下，先减小曝光增益，再减小曝光时间，最后减小光圈直径。
本申请针对不同的场景，指定相应的参数调整顺序，可以减少参数调整的次数，提高调整效率。
在一种可能的实现方式中，使用超高分辨率的RGBIR Sensor，得到高分辨率的可见光图像和红外图像，对这两张高分辨率的图像进行融合处理，得到信噪比和细节表现良好的目标图像。
在一种可能的实现方式中，使用高分辨率的RGBIR Sensor，得到较低分辨率的图像，再对低分辨率的图像使用超分算法得到高分辨率的可见光图像和红外图像，对这两张高分辨率的图像进行融合处理，得到信噪比和细节表现良好的目标图像。
第二方面，本申请提供一种图像获取装置，包括：
第一获取模块，用于获取第一原始图像数据，该第一原始图像数据为图像传感器基于初始的可见光曝光参数和红外补光灯的光强采集得到的，该第一原始图像数据包括可见光图像数据和红外图像数据；第一处理模块，用于根据第一原始图像数据获取可见光图像的亮度；根据第一差值对可见光曝光参数进行调整，该第一差值为可见光图像的亮度与预设的目标可见光图像亮度之间的差值；第二处理模块，用于根据第一原始图像数据获取红外图像的亮度；根据第二差值对红外补光灯的光强进行调整，该第二差值为红外图像的亮度与预设的目标红外图像亮度之间的差值；第二获取模块，用于获取第二原始图像数据，该第二原始图像数据为图像传感器基于调整后的可见光曝光参数和红外补光灯的光强采集得到的；融合模块，用于根据第二原始图像数据中的可见光图像数据和红外图像数据融合得到目标图像。
在一种可能的实现方式中，第一处理模块，具体用于若第一差值的绝对值没有在预设的第一范围内，则根据第一差值对可见光曝光参数进行调整。
在一种可能的实现方式中，第一处理模块，具体用于确定曝光参数分配策略集合中是否包括与第一差值对应的曝光参数分配策略；若曝光参数分配策略集合中包括与第一差值对应的曝光参数分配策略，则按照与第一差值对应的曝光参数分配策略调整可见光曝光参数；若曝光参数分配策略集合中不包括与第一差值对应的曝光参数分配策略，则增加新的曝光参数分配策略，并根据新的曝光参数分配策略调整可见光曝光参数。
在一种可能的实现方式中，可见光曝光参数包括曝光时间、光圈直径或曝光增益中的一个或多个；第一处理模块，具体用于当可见光图像的亮度比目标可见光图像亮度低时，增大曝光时间、光圈直径或曝光增益中的一个或多个；当可见光图像的亮度比目标可见光图像亮度高时，减小曝光时间、光圈直径或曝光增益中的一个或多个。
在一种可能的实现方式中，第二处理模块，具体用于若第二差值的绝对值没有在预设的第二范围内，则根据第二差值对红外补光灯的光强进行调整。
在一种可能的实现方式中，第二处理模块，具体用于当红外图像的亮度比目标红外图像亮度低时，增大红外补光灯的光强；当红外图像的亮度比目标红外图像亮度高时，减小红外补光灯的光强。
在一种可能的实现方式中，第二处理模块，具体用于通过减小红外补光灯的脉冲宽度调制PWM的占空比增大红外补光灯的光强；通过增大红外补光灯的PWM的占空比减小红外补光灯的光强。
在一种可能的实现方式中，第一处理模块，具体用于若连续N帧可见光图像的第一差值的绝对值均没有在第一范围内，则根据第一差值对可见光曝光参数进行调整，N为正整数。
在一种可能的实现方式中，第一处理模块，具体用于当连续N帧可见光图像的亮度均比目标可见光图像亮度低时，增大曝光时间、光圈直径或曝光增益中的一个或多个；或者，当连续N帧可见光图像的亮度均比目标可见光图像亮度高时，减小曝光时间、光圈直径或曝光增益中的一个或多个。
在一种可能的实现方式中，第二处理模块，具体用于若连续M帧红外图像的第二差值的绝对值均没有在预设的第二范围内，则根据第二差值对红外补光灯的光强进行调整，M为正整数。
在一种可能的实现方式中，第二处理模块，具体用于当连续M帧红外图像的亮度均比目标红外图像亮度低时，增大红外补光灯的光强；当连续M帧红外图像的亮度均比目标红外图像亮度高时，减小红外补光灯的光强。
在一种可能的实现方式中，第一处理模块，具体用于在静止场景下，先增加曝光时间，再增加曝光增益，最后增加光圈直径；在运动场景下，先增加曝光增益，再增加曝光时间，最后增加光圈直径；在静止场景下，先减小曝光时间，再减小曝光增益，最后减小光圈直径；在运动场景下，先减小曝光增益，再减小曝光时间，最后减小光圈直径。
第三方面，本申请提供一种图像获取装置，包括：一个或多个处理器，被配置为调用存储在存储器中的程序指令，以执行如下步骤：通过图像传感器获取第一原始图像数据，该第一原始图像数据为图像传感器基于初始的可见光曝光参数和红外补光灯的光强采集得到的，该第一原始图像数据包括可见光图像数据和红外图像数据；根据第一原始图像数据获取可见光图像的亮度；根据第一差值对可见光曝光参数进行调整，该第一差值为可见光图像的亮度与预设的目标可见光图像亮度之间的差值；根据第一原始图像数据获取红外图像的亮度；根据第二差值对红外补光灯的光强进行调整，该第二差值为红外图像的亮度与预设的目标红外图像亮度之间的差值；通过图像传感器获取第二原始图像数据，该第二原始图像数据为图像传感器基于调整后的可见光曝光参数和红外补光灯的光强采集得到的；根据第二原始图像数据中的可见光图像数据和红外图像数据融合得到目标图像。
在一种可能的实现方式中，该处理器具体用于若第一差值的绝对值没有在预设的第一范围内，则根据第一差值对可见光曝光参数进行调整。
在一种可能的实现方式中，该处理器具体用于确定曝光参数分配策略集合中是否包括与第一差值对应的曝光参数分配策略；若曝光参数分配策略集合中包括与第一差值对应的曝光参数分配策略，则按照与第一差值对应的曝光参数分配策略调整可见光曝光参数；若曝光参数分配策略集合中不包括与第一差值对应的曝光参数分配策略，则增加新的曝光参数分配策略，并根据新的曝光参数分配策略调整可见光曝光参数。
在一种可能的实现方式中，可见光曝光参数包括曝光时间、光圈直径或曝光增益中的一个或多个；该处理器具体用于当可见光图像的亮度比目标可见光图像亮度低时，增大曝光时间、光圈直径或曝光增益中的一个或多个；当可见光图像的亮度比目标可见光图像亮度高时，减小曝光时间、光圈直径或曝光增益中的一个或多个。
在一种可能的实现方式中，该处理器具体用于若第二差值的绝对值没有在预设的第二范围内，则根据第二差值对红外补光灯的光强进行调整。
在一种可能的实现方式中，该处理器具体用于当红外图像的亮度比目标红外图像亮度低时，增大红外补光灯的光强；当红外图像的亮度比目标红外图像亮度高时，减小红外补光灯的光强。
在一种可能的实现方式中，该处理器具体用于通过减小红外补光灯的脉冲宽度调制PWM的占空比增大红外补光灯的光强；通过增大红外补光灯的PWM的占空比减小红外补光灯的光强。
在一种可能的实现方式中，该处理器具体用于若连续N帧可见光图像的第一差值的绝对值均没有在第一范围内，则根据第一差值对可见光曝光参数进行调整，N为正整数。
在一种可能的实现方式中，该处理器具体用于当连续N帧可见光图像的亮度均比目标可见光图像亮度低时，增大曝光时间、光圈直径或曝光增益中的一个或多个；或者，当连续N帧可见光图像的亮度均比目标可见光图像亮度高时，减小曝光时间、光圈直径或曝光增益中的一个或多个。
在一种可能的实现方式中，该处理器具体用于若连续M帧红外图像的第二差值的绝对值均没有在预设的第二范围内，则根据第二差值对红外补光灯的光强进行调整，M为正整数。
在一种可能的实现方式中，该处理器具体用于当连续M帧红外图像的亮度均比目标红外图像亮度低时，增大红外补光灯的光强；当连续M帧红外图像的亮度均比目标红外图像亮度高时，减小红外补光灯的光强。
在一种可能的实现方式中，该处理器具体用于在静止场景下，先增加曝光时间，再增加曝光增益，最后增加光圈直径；在运动场景下，先增加曝光增益，再增加曝光时间，最后增加光圈直径；在静止场景下，先减小曝光时间，再减小曝光增益，最后减小光圈直径；在运动场景下，先减小曝光增益，再减小曝光时间，最后减小光圈直径。
第四方面，本申请提供一种终端设备，包括：图像传感器，用于基于初始的可见光曝光参数和红外补光灯的光强采集第一原始图像数据，所述第一原始图像数据包括可见光图像数据和红外图像数据；处理器，被配置为调用存储器中的软件指令，以执行如下步骤：根据所述第一原始图像数据获取可见光图像的亮度；根据第一差值对所述可见光曝光参数进行调整，所述第一差值为所述可见光图像的亮度与预设的目标可见光图像亮度之间的差值；根据所述第一原始图像数据获取红外图像的亮度；根据第二差值对所述红外补光灯的光强进行调整，所述第二差值为所述红外图像的亮度与预设的目标红外图像亮度之间的差值；所述图像传感器，还用于基于调整后的可见光曝光参数和红外补光灯的光强采集第二原始图像数据；所述处理器，还用于根据所述第二原始图像数据中的可见光图像数据和红外图像数据融合得到目标图像。
在一种可能的实现方式中，所述处理器还用于执行上述第一方面中除第一种可能的实现方式以外的其他任一项所述的方法。
第五方面，本申请提供一种计算机可读存储介质，包括计算机程序，所述计算机程序在计算机或处理器上被执行时，使得所述计算机或处理器执行上述第一方面中任一项所述的方法。
第六方面，本申请提供一种计算机程序产品，当所述计算机程序产品被计算机或处理器执行时，以实现如上述第一方面中任一项所述的方法。
第七方面，本申请提供一种芯片，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行如上述第一方面中任一项所述的方法。
附图说明
图1示例性的示出了一种终端设备100的结构示意图；
图2a和2b示出两种示例性的2X2阵列排序的RGBIR Sensor的感光结果；
图3a和3b示出两种示例性的4X4阵列排序的RGBIR Sensor的感光结果；
图4示出了图像获取装置的一个示例性的结构示意图；
图5示出了一种独立曝光的装置的硬件架构示意图；
图6为本申请实施例提供的一种示例性的图像融合方法实施例的流程图；
图7示出一种示例性的传统的RGBIR Sensor的感光结果；
图8为本申请图像获取装置实施例的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书实施例和权利要求书及附图中的术语“第一”、“第二”等仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
本申请的终端设备又可称之为用户设备(user equipment，UE)，可以部署在陆地上，包括室内或室外、手持或车载；也可以部署在水面上(如轮船等)；还可以部署在空中(例如飞机、气球和卫星上等)。终端设备可以是终端设备100(mobile phone)、平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)设备、增强现实(augmentedreality，AR)设备、监控设备、智能大屏、智能电视、远程医疗(remote medical)中的无线设备或智慧家庭(smart home)中的无线设备等，本申请对此不作限定。
图1示例性的示出了一种终端设备100的结构示意图。终端设备100可以包括处理器110，外部存储器接口120，内部存储器121，USB接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块151，无线通信模块152，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及SIM卡接口195等。其中传感器模块180可以包括陀螺仪传感器180A，加速度传感器180B，接近光传感器180G、指纹传感器180H，触摸传感器180K、转轴传感器180M(当然，终端设备100还可以包括其它传感器，比如温度传感器，压力传感器、距离传感器、磁传感器、环境光传感器、气压传感器、骨传导传感器等，图中未示出)。
可以理解的是，本申请实施例示意的结构并不构成对终端设备100的具体限定。在本申请另一些实施例中，终端设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。其中，控制器可以是终端设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
当处理器110集成不同的器件，比如集成CPU和GPU时，CPU和GPU可以配合执行本申请实施例提供的方法，比如该方法中的部分算法由CPU执行，另一部分算法由GPU执行，以得到较快的处理效率。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，终端设备100可以包括1个或N个显示屏194，N为大于1的正整数。
摄像头193(前置摄像头或者后置摄像头，或者一个摄像头既可作为前置摄像头，也可作为后置摄像头)用于捕获静态图像或视频。通常，摄像头193可以包括感光元件比如镜头组和图像传感器，其中，镜头组包括多个透镜(凸透镜或凹透镜)，用于采集待拍摄物体反射的光信号，并将采集的光信号传递给图像传感器。图像传感器根据所述光信号生成待拍摄物体的原始图像。本申请所采用的图像传感器可以是一种新型RGBIR Sensor。此外摄像头193还可以包括图像信号处理(image signal processing，ISP)模块、红外灯驱动控制模块以及红外补光灯等部件。传统的RGB Sensor只能接收红、绿、蓝波段的光线。而RGBIRSensor可以接收红、绿、蓝、红外波段的光线。在低照度场景中，如果红、绿、蓝波段的光强很弱，会导致利用RGB Sensor获取的图像质量很差。而RGBIR Sensor在低照度场景中，除了可以获取红、绿、蓝波段的光线，还可以获取红外波段的光线，由红外波段的光线提供更好的亮度信息，由红、绿、蓝波段的光线提供少量的亮度信息和色彩信息，这样利用RGBIRSensor获取的图像质量也更好。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行终端设备100的各种功能应用以及信号处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，应用程序(比如相机应用，微信应用等)的代码等。存储数据区可存储终端设备100使用过程中所创建的数据(比如相机应用采集的图像、视频等)等。
此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
当然，本申请实施例提供的方法的代码还可以存储在外部存储器中。这种情况下，处理器110可以通过外部存储器接口120运行存储在外部存储器中的代码。
下面介绍传感器模块180的功能。
陀螺仪传感器180A，可以用于确定终端设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180A确定终端设备100围绕三个轴(即，x，y和z轴)的角速度。即陀螺仪传感器180A可以用于检测终端设备100当前的运动状态，比如抖动还是静止。
加速度传感器180B可检测终端设备100在各个方向上(一般为三轴)加速度的大小。即陀螺仪传感器180A可以用于检测终端设备100当前的运动状态，比如抖动还是静止。
接近光传感器380G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。终端设备100通过发光二极管向外发射红外光。终端设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定终端设备100附近有物体。当检测到不充分的反射光时，终端设备100可以确定终端设备100附近没有物体。
陀螺仪传感器180A(或加速度传感器180B)可以将检测到的运动状态信息(比如角速度)发送给处理器110。处理器110基于运动状态信息确定当前是手持状态还是脚架状态(比如，角速度不为0时，说明终端设备100处于手持状态)。
指纹传感器180H用于采集指纹。终端设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于终端设备100的表面，与显示屏194所处的位置不同。
示例性的，终端设备100的显示屏194显示主界面，主界面中包括多个应用(比如相机应用、微信应用等)的图标。用户通过触摸传感器180K点击主界面中相机应用的图标，触发处理器110启动相机应用，打开摄像头193。显示屏194显示相机应用的界面，例如取景界面。
终端设备100的无线通信功能可以通过天线1，天线2，移动通信模块151，无线通信模块152，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。终端设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块151可以提供应用在终端设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块151可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块151可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块151还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块151的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块151的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块151或其他功能模块设置在同一个器件中。
无线通信模块152可以提供应用在终端设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块152可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块152经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块152还可以从处理器110接收待发送的信号，对其进行调频、放大，经天线2转为电磁波辐射出去。
在一些实施例中，终端设备100的天线1和移动通信模块151耦合，天线2和无线通信模块152耦合，使得终端设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
另外，终端设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。终端设备100可以接收按键190输入，产生与终端设备100的用户设置以及功能控制有关的键信号输入。终端设备100可以利用马达191产生振动提示(比如来电振动提示)。终端设备100中的指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。终端设备100中的SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和终端设备100的接触和分离。
应理解，在实际应用中，终端设备100可以包括比图1所示的更多或更少的部件，本申请实施例不作限定。
本申请提供一种新型RGBIR Sensor，可以实现可见光和红外(infrared，IR)光的独立感光，从可见光信号的感光结果中剥离出IR信号，提升传感器感光结果的色彩准确度。
图2a和2b示出两种示例性的2X2阵列排序的RGBIR Sensor的感光结果，图3a和3b示出两种示例性的4X4阵列排序的RGBIR Sensor的感光结果。图中每个格代表一个像素，R表示红色像素，G表示绿色像素，B表示蓝色像素，IR表示红外光像素，2X2阵列排序指RGBIR四分量排列的最小重复单元为一个2X2的阵列，该2X2的阵列单元内包含了R、G、B、IR所有分量；4X4阵列排序指RGBIR四分量排列的最小重复单元为一个4X4的阵列，该4X4的阵列单元内包含了所有分量。应当理解还可以有其他排列方式的2X2阵列排序以及4X4阵列排序的RGBIR Sensor，本申请实施例对RGBIR Sensor的排列方式不做限定。
图4示出了图像获取装置的一个示例性的结构示意图，如图4所示，该图像获取装置包括镜头401、新型RGBIR Sensor 402、图像信号处理器(image signal processor，ISP)403、图像融合模块404、红外灯驱动控制模块405以及红外补光灯406等模块组成。其中，镜头401用于捕获静态图像或视频，采集待拍摄物体反射的光信号，并将采集的光信号传递给图像传感器。新型RGBIR Sensor 402根据所述光信号生成待拍摄物体的原始图像数据(可见光图像数据和红外图像数据)。ISP模块403用于根据待拍摄物体的原始图像对可见光曝光参数和红外补光灯的光强进行调整直到满足AE算法的收敛条件，还用于从待拍摄物体的原始图像分离出可见光图像和红外图像。图像融合模块404用于对分离出的可见光图像和红外图像进行融合得到目标图像。红外灯驱动控制模块405用于根据ISP模块403配置的红外补光灯的光强控制红外补光灯406。红外补光灯406用于提供红外光照。
可选的，图像获取装置可以采用单镜头加单RGBIR Sensor，或者双镜头加双RGBIRSensor，或者单镜头加分光片和双RGBIR Sensor的结构，其中单镜头的结构可以节约成本，而单RGBIR Sensor的结构可以简化摄像头的结构。本申请对此不做具体限定。
在图4所示的图像获取装置中，本申请可以采用一种独立曝光的装置，以承担新型RGBIR Sensor 402的功能。图5示出了一种独立曝光的装置的硬件架构示意图。该曝光控制装置包括：至少一个中央处理单元(Central Processing Unit，CPU)、至少一个存储器、微控制器(Microcontroller Unit，MCU)、接收接口和发送接口等。可选的，该曝光控制装置1600还包括：专用的视频或图形处理器，以及图形处理单元(Graphics Processing Unit，GPU)等。
可选的，CPU可以是一个单核(single-CPU)处理器或多核(multi-CPU)处理器；可选的，CPU可以是多个处理器构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。在一种可选的情况中，曝光控制可以一部分由跑在通用CPU或MCU上的软件代码完成，一部分由硬件逻辑电路完成；或者也可以全部由跑在通用CPU或MCU上的软件代码完成。可选的，存储器302可以是非掉电易失性存储器，例如是嵌入式多媒体卡(Embedded MultiMedia Card，EMMC)、通用闪存存储(Universal Flash Storage，UFS)或只读存储器(Read-Only Memory，ROM)，或者是可存储静态信息和指令的其他类型的静态存储设备，还可以是掉电易失性存储器(volatile memory)，例如随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的程序代码并能够由计算机存取的任何其他计算机可读存储介质，但不限于此。该接收接口可以为处理器芯片的数据输入的接口。
在一种可能的实施方式中，该独立曝光的装置还包括：像素阵列。在这种情况中，该独立曝光的装置包括至少两种类型的像素，也即该独立曝光的装置可以为包含控制单元或者逻辑控制电路在内的传感器，或者说，该独立曝光的装置为可以独立控制曝光的传感器。示例性的，该独立曝光的装置可以为独立控制曝光的RGBIR传感器、RGBW传感器以及RCCB传感器等。
应当理解，在一种可选的情况中，可见光像素被归为一种类型的像素，也即R像素、G像素和B像素被归为一种类型的像素，而IR像素、W像素或者C像素被认为是另外一种类型的像素，例如，RGBIR传感器包括两种类型的像素：可见光像素和IR像素，RGBW传感器包括两种类型的像素：可见光像素和W像素，RCCB传感器包括两种类型的像素：可见光像素和C像素。
在另外一种可选的情况中，每个像素分量被认为是一种类型的像素，例如，RGBIR传感器包括：R、G、B和IR四种类型的像素，RGBW传感器包括：R、G、B和W四种类型的像素，RCCB传感器包括：R、B和C三种类型的像素。
在一种可能的实施方式中，传感器为RGBIR传感器，RGBIR传感器可以实现可见光像素和IR像素分别独立曝光，也可以实现R、G、B、IR四分量分别独立曝光。
对于可见光像素和IR像素分别独立曝光的RGBIR传感器，该至少两个控制单元包括：第一控制单元和第二控制单元；第一控制单元用于控制可见光像素的曝光起始时间；第二控制单元用于控制IR像素的曝光起始时间。
对于R、G、B、IR四分量分别独立曝光的RGBIR传感器，至少两个控制单元包括：第一控制单元、第二控制单元、第三控制单元和第四控制单元；第一控制单元用于控制R像素的曝光起始时间；第二控制单元用于控制G像素的曝光起始时间；第三控制单元用于控制B像素的曝光起始时间；第四控制单元用于控制IR像素的曝光起始时间。
在一种可能的实施方式中，传感器为RGBW传感器，RGBW传感器可以实现可见光像素和W像素分别独立曝光，也可以实现R、G、B、W四分量分别独立曝光。
对于可见光像素和W像素分别独立曝光的RGBW传感器，该至少两个控制单元包括：第一控制单元和第二控制单元；第一控制单元用于控制可见光像素的曝光起始时间；第二控制单元用于控制W像素的曝光起始时间。
对于R、G、B、W四分量分别独立曝光的RGBW传感器，至少两个控制单元包括：第一控制单元、第二控制单元、第三控制单元和第四控制单元；第一控制单元用于控制R像素的曝光起始时间；第二控制单元用于控制G像素的曝光起始时间；第三控制单元用于控制B像素的曝光起始时间；第四控制单元用于控制W像素的曝光起始时间。
在一种可能的实施方式中，传感器为RCCB传感器，RCCB传感器可以实现可见光像素和C像素分别独立曝光，也可以实现R、B、C三分量分别独立曝光。
对于可见光像素和C像素分别独立曝光的RGBW传感器，该至少两个控制单元包括：第一控制单元和第二控制单元；第一控制单元用于控制可见光像素的曝光起始时间；第二控制单元用于控制C像素的曝光起始时间。
对于R、B、C三分量分别独立曝光的RCCB传感器，至少两个控制单元包括：第一控制单元、第二控制单元和第三控制单元；第一控制单元用于控制R像素的曝光起始时间；第二控制单元用于控制B像素的曝光起始时间；第三控制单元用于控制C像素的曝光起始时间。
在一种可能的实施方式中，该独立曝光的装置还可以基于至少两个控制单元控制至少两种类型的像素的曝光时间满足预设比例。示例性的，基于第一控制单元和第二控制单元控制可见光像素和IR像素的曝光时间满足预设比例；或者基于第一控制单元、第二控制单元、第三控制单元和第四控制单元控制R、G、B和IR像素的曝光时间满足预设比例。或者，基于第一控制单元和第二控制单元控制可见光像素和W像素的曝光时间满足预设比例；或者，基于第一控制单元、第二控制单元、第三控制单元和第四控制单元控制R、G、B和W像素的曝光时间满足预设比例；或者，基于第一控制单元和第二控制单元控制可见光像素和C像素的曝光时间满足预设比例；或者，基于第一控制单元、第二控制单元和第三控制单元控制R、B和C像素的曝光时间满足预设比例。
在一种可能的实施方式中，该独立曝光的装置还包括：曝光结束控制单元，用于统一控制像素阵列中的所有像素的曝光结束时间。
图6为本申请实施例提供的一种示例性的图像融合方法实施例的流程图，如图6所示，本实施例的方法可以由上述终端设备、图像获取装置或处理器执行。该图像融合方法可以包括：
步骤601、获取第一原始图像数据，第一原始图像数据为图像传感器基于初始的可见光曝光参数和红外补光灯的光强采集得到的。
第一原始图像数据包括可见光图像数据和红外图像数据。传统Sensor的曝光算法只能针对单独的可见光场景或红外场景配置参数，因此其采集到的原始图像数据为三维的RGB信息或者一维的IR信息。普通RGBIR Sensor的曝光算法既可以针对可见光场景配置可见光曝光参数，也可以针对红外场景配置红外补光灯的光强，因此采集到的原始图像数据包括四维的RGBIR信息，即三维的RGB分量(可见光图像数据)和一维的IR分量(红外图像数据)。但是如图7所示，IR分量在每个像素上都包含了，而且在部分像素上是R分量和IR分量、G分量和IR分量或者B分量和IR分量混合在一起的，无法做到对两种分量的彻底分离。而本申请使用的是新型的RGBIR Sensor(如图4和图5所示实施例中所述)，其曝光算法既可以针对可见光场景配置可见光曝光参数，也可以针对红外场景配置红外补光灯的光强，因此采集到的原始图像数据包括四维的RGBIR信息，即三维的RGB分量(可见光图像数据)和一维的IR分量(红外图像数据)。而如图2a、2b、3a和3b所示，R分量、G分量、B分量分别和IR分量在所有像素上完全分离开，这正是本申请提供的图像融合方法实现的前提。
由于可见光图像数据和红外图像数据是基于原始图像数据经过降采样得到的，因此得到的可见光图像和红外图像的分辨率比原始图像的分辨率小。可以选择比目标可见光图像和红外图像分辨率大的RGBIR Sensor分辨率，这样就可以得到理想分辨率的可见光图像和红外图像。例如，使用分辨率为2H×2W的RGBIR Sensor，得到分辨率为H×W的可见光图像和红外图像。使用高分辨率的RGBIR Sensor得到较低分辨率的可见光图像和红外图像，可以省略超分计算步骤，不但避免由于利用超分算法导致的图像边缘模糊的问题，还可以简化图像处理的流程。需要说明的是，还可以采用其他方法提升可见光图像和红外图像的分辨率，例如超分算法，本申请对此不作具体限定。
初始的可见光曝光参数和红外补光灯的光强通常是根据前次设置、历史经验数据或默认设置等方式得来的，因此其未必完全符合当前的拍摄场景需求。本申请将通过以下步骤调整前述两类参数，以得到高质量的目标图像。
步骤602、根据第一原始图像数据获取可见光图像的亮度。
终端设备可以从第一原始图像数据中分离出可见光图像数据，根据可见光图像数据得到可见光图像，然后对可见光图像进行图像块的划分，例如按照固定尺寸将其分成m×n或m×m个图像块。
针对每一个图像块，获取该图像块的原始图像数据(第一原始图像数据中对应于该图像块的那一部分数据)，根据该图像块的原始图像数据中对应图像块的每个像素的RGrGbB计算亮度，通常是根据GrGb分量计算该亮度，对这些像素的亮度求平均值得到该图像块的亮度。除了采用每个像素计算亮度的粒度外，终端设备也可以采用其他的像素粒度，例如，取每个像素RGrGbB计算亮度，或者每两个像素取其中之一的RGrGbB计算亮度，或者每隔n个像素取一个像素的RGrGbB计算亮度，等等。终端设备也可以通过可见光图像的直方图获取各图像块的亮度。
终端设备可以对不同的图像块设置一个权重，例如对感兴趣的图像块设置较高权重，然后对所有图像块的亮度进行加权平均(即每个图像块的亮度乘以该图像块的权重，相加后再计算平均值)得到可见光图像的亮度。
需要说明的是，本申请还可以采用其他方法对可见光图像进行图像块划分；也可以采用其他方法计算可见光图像中各个图像块的亮度；也可以采用其他方法设置各个图像块的权重，例如亮度的图像块设置较高的权重；也可以采用其他方法计算可见光图像的亮度，例如直接对各个图像块的亮度求平均值得到可见光图像的亮度等。本申请对上述方法均此不作具体限定。
步骤603、根据第一差值对可见光曝光参数进行调整。
第一差值为可见光图像的亮度与预设的目标可见光图像亮度之间的差值。设定目标可见光图像亮度为自动曝光(automatic exposure，AE)算法提供了收敛的条件，目标可见光图像亮度为期望可见光图像达到的最优亮度，该值可以通过经验设定，也可以通过大数据统计设定，对此不作具体限定。通常目标可见光图像亮度设置得越大，可见光曝光参数调整结束后得到的可见光图像的亮度越高。
终端设备对可见光曝光参数的调整过程可以是一个多次重复的过程，如果通过一次对可见光曝光参数的调整没有达到AE算法的收敛条件，就需要继续对可见光曝光参数进行调整，直到达到AE算法的收敛条件。AE算法的收敛条件是指第一差值的绝对值在设定的第一范围内，一种表示方法为第一差值的绝对值小于设定阈值，例如，|第一差值|＜X，X为设定阈值；另一种表示方法为第一差值在设定范围内，例如，x＜第一差值＜y，x和y为第一范围的上下边界，x为负数，y为正数，x和y的绝对值可以相等也可以不相等。因此AE算法的收敛条件是终端设备确定是否要对可见光曝光参数进行调整的前提，只要第一差值不满足AE算法的收敛条件，终端设备就可以对可见光曝光参数进行调整。
终端设备可以通过以下方法对可见光曝光参数进行调整：确定曝光参数分配策略集合中是否包括与第一差值对应的曝光参数分配策略；若曝光参数分配策略集合中包括与第一差值对应的曝光参数分配策略，则按照与第一差值对应的曝光参数分配策略调整可见光曝光参数；若曝光参数分配策略集合中不包括与第一差值对应的曝光参数分配策略，则增加新的曝光参数分配策略，并根据新的曝光参数分配策略调整可见光曝光参数。
AE算法可以包括两种曝光参数分配策略集合，一种是普通型曝光参数分配策略集合，另一种是扩展型曝光参数分配策略集合。
表1中示出了普通型曝光参数分配策略集合的一个示例，如表1所示，该集合中包括三种曝光参数分配策略，分别对应三种系数，该系数是与曝光相关的真实系数值，每种曝光参数分配策略可包括可见光曝光参数中的曝光时间(IntTime)、系统增益(SysGain)和光圈(IrisFNO)这三个分量中的一个或多个分量。
表1
系数 IntTime SysGain IrisFNO
系数1 100 1024 0
系数2 40000 1024 0
系数3 40000 2048 0
终端设备将第一差值和表1中的三个系数进行比较，该三个系数按照从小到大的顺序排列，如果第一差值大于或等于系数1且小于或等于系数3，可以初步判定该普通型曝光参数分配策略集合中存在与第一差值对应的曝光参数分配策略。然后终端设备在表1中查询与第一差值对应的系数，若可见光图像的亮度高于目标可见光图像亮度超出容忍值，则调整可见光曝光参数中的一个值(曝光时间(IntTime)、系统增益(SysGain)和光圈(IrisFNO)的其中之一)调整为该系数所在表项的上一行表项中、同一参数的值。若可见光图像的亮度低于目标可见光图像亮度超出容忍值，则调整可见光曝光参数中的一个值(曝光时间(IntTime)、系统增益(SysGain)和光圈(IrisFNO)的其中之一)调整为该系数所在表项的下一行表项中、同一参数的值。
如果第一差值小于系数1，或者大于系数3，可以确定该普通型曝光参数分配策略集合中不包括与第一差值对应的曝光参数分配策略。终端设备需要根据设定的规则往表1中增加新的曝光参数分配策略，然后根据新的曝光参数分配策略调整可见光曝光参数。前述设定的规则可以包括：若第一差值小于系数1，则根据一定比例减小系数1对应的各个参数值作为第一差值对应的参数值，并将该参数值和第一差值组成的表项添加在表1中的系数1之上；若第一差值大于系数3，则根据一定比例放大系数3对应的各个参数值作为第一差值对应的参数值，并将该参数值和第一差值组成的表项添加在表1中的系数3之下。例如，第一差值大于系数3，则终端设备在表1中系数3的下方增加一行(差值4，60000，2018，0)，将这一组值分别作为调整后的曝光时间(IntTime)、系统增益(SysGain)和光圈(IrisFNO)。又例如，第一差值小于系数1，则终端设备在表1中系数1的上方增加一行(差值0，100，512，0)，将这一组值分别作为调整后的曝光时间(IntTime)、系统增益(SysGain)和光圈(IrisFNO)。
表2中示出了扩展型曝光参数分配策略集合的一个示例，如表2所示，该集合中包括五种曝光参数分配策略，分别对应五种系数，该系数是与曝光相关的真实系数值，每种曝光参数分配策略可包括可见光曝光参数中的曝光时间(IntTime)、系统增益(SysGain)和光圈(IrisFNO)这三个分量中的一个或多个分量，其中系统增益又可以包括Again，Dgain和ISPDgain，Again的物理意义是Sensor中模拟信号的放大倍数，Dgain的物理意义是Sensor中数字信号的放大倍数，ISPDgain的物理意义是Sensor外数字信号的放大倍数。
表2
Figure BDA0002384495540000151
Figure BDA0002384495540000161
终端设备将第一差值和表2中的五个系数进行比较，该五个系数按照从小到大的顺序排列，如果第一差值大于或等于系数1且小于或等于系数5，可以初步判定该扩展型曝光参数分配策略集合中存在与第一差值对应的曝光参数分配策略。然后终端设备在表2中查询与第一差值对应的系数，若可见光图像的亮度高于目标可见光图像亮度超出容忍值，则调整可见光曝光参数中的一个值(曝光时间(IntTime)、Again、Dgain、ISPDgain和光圈(IrisFNO)的其中之一)调整为该系数所在表项的上一行表项中、同一参数的值。若可见光图像的亮度低于目标可见光图像亮度超出容忍值，则调整可见光曝光参数中的一个值(曝光时间(IntTime)、Again、Dgain、ISPDgain和光圈(IrisFNO)的其中之一)调整为该系数所在表项的下一行表项中、同一参数的值。
如果有第一差值(例如差值2)，则终端设备可以直接读取与差值2对应的一组值(200，1024，1024，0，0)分别作为调整后的曝光时间(IntTime)、Again、Dgain、ISPDgain和光圈(IrisFNO)；如果没有第一差值，则终端设备在表2中查询与第一差值最接近的差值(即计算表2中列出的差值和第一差值的差，结果最小者)，读取最小者对应的一组值分别作为调整后的曝光时间(IntTime)、Again、Dgain、ISPDgain和光圈(IrisFNO)。
如果第一差值小于系数1，或者大于系数5，可以确定该扩展型曝光参数分配策略集合中不包括与第一差值对应的曝光参数分配策略。终端设备需要根据设定的规则往表2中增加新的曝光参数分配策略，然后根据新的曝光参数分配策略调整可见光曝光参数。前述设定的规则可以包括：若第一差值小于系数1，则根据一定比例减小系数1对应的各个参数值作为第一差值对应的参数值，并将该参数值和第一差值组成的表项添加在表1中的系数1之上；若第一差值大于系数5，则根据一定比例放大系数5对应的各个参数值作为第一差值对应的参数值，并将该参数值和第一差值组成的表项添加在表1中的系数5之下。例如，第一差值大于系数5，则终端设备在表1中系数5的下方增加一行(差值6，60000，4096，1024，0，0)，将这一组值分别作为调整后的曝光时间(IntTime)、Again、Dgain、ISPDgain和光圈(IrisFNO)。又例如，第一差值小于系数1，则终端设备在表1中系数1的上方增加一行(差值0，100，512，1024，0，0)，将这一组值分别作为调整后的曝光时间(IntTime)、Again、Dgain、ISPDgain和光圈(IrisFNO)。
基于上述可见光曝光参数中的曝光时间(IntTime)、系统增益(SysGain)和光圈(IrisFNO)这三个分量，或者曝光时间(IntTime)、Again、Dgain、ISPDgain和光圈(IrisFNO)这五个分量，终端设备可以根据实际的应用场景，对这些参数依顺序分别调整，例如，静止场景下，先调整曝光时间、再调整曝光增益、最后调整光圈大小，具体的，终端设备可以先调曝光时间，如果曝光时间调整之后还是不能满足AE算法的收敛条件，可以再调整系统增益，如果系统增益调整之后仍然不能满足AE算法的收敛条件，可以再调整光圈。应当理解，静止场景为在拍摄时目标和摄像机均处于静止状态，或者目标和摄像机均以相同速度和方向匀速同步运动中，此时目标和摄像机相对静止。又例如，运动场景下，先调整曝光增益、再调整曝光时间、最后调整光圈大小。应当理解，运动场景为在拍摄时目标高速运动，或者摄像机高速运动。高速或低速由使用者根据经验判断。
需要说明的是，还可以通过其他方法对可见光曝光参数进行调整，本申请对此不作具体限定。
根据可见光图像的亮度和目标可见光图像亮度之间的比较，终端设备对可见光曝光参数的调整可以分为两个方向：当可见光图像的亮度比目标可见光图像亮度低(第一差值为负值)时，增大可见光曝光参数(曝光时间、光圈直径或曝光增益中的一个或多个)；当可见光图像的亮度比目标可见光图像亮度高(第一差值为正值)时，减小可见光曝光参数(曝光时间、光圈直径或曝光增益中的一个或多个)。
为了防止出现单帧跳变的情况，终端设备可以在确定连续N帧可见光图像的第一差值都没有满足AE算法的收敛条件时，才对可见光曝光参数进行调整。
进一步的，在上述连续N帧可见光图像的第一差值都没有满足AE算法的收敛条件的基础下，该连续N帧可见光图像的亮度均比目标可见光图像亮度低(第一差值均为负值)，此时终端设备可以增大曝光时间、光圈直径或曝光增益中的一个或多个；或者，在上述连续N帧可见光图像的第一差值都没有满足AE算法的收敛条件的基础下，该连续N帧可见光图像的亮度均比目标可见光图像亮度高(第一差值均为正值)，此时终端设备可以减小曝光时间、光圈直径或曝光增益中的一个或多个。由于人眼对于过曝比较敏感，所以上述方法中会将第一差值为正值时的N设置的比第一差值为负值时的N小一些。
需要说明的是，基于RGBIR Sensor的特性，其可以做到对原始图像数据中的RGB分量和IR分量做到完全分离，因此终端设备在执行步骤602和203时，可以不必理会红外图像部分，其处理对象是第一原始图像数据中的可见光图像数据，以及由此得到的可见光图像，此时红外补光灯的光强并不会对可见光图像造成影响。而以下步骤开始对红外图像数据，以及由此得到的红外图像进行处理。
步骤604、根据第一原始图像数据获取红外图像的亮度。
终端设备可以从第一原始图像数据中分离出红外图像数据，根据红外图像数据得到红外图像，然后对红外图像进行图像块的划分，例如按照固定尺寸将其分成m×n或m×m个图像块。
针对每一个图像块，获取该图像块的原始图像数据(第一原始图像数据中对应于该图像块的那一部分数据)，根据该图像块的原始图像数据计算对应图像块的每个像素的亮度，对这些像素的亮度求平均值得到该图像块的亮度。除了采用每个像素计算亮度的粒度外，终端设备也可以采用其他的像素粒度，例如，取每个像素的亮度，或者每两个像素取其中之一的亮度，或者每隔n个像素取一个像素的亮度，等等。终端设备也可以通过红外图像的直方图获取各图像块的亮度。
终端设备可以对不同的图像块设置一个权重，例如对感兴趣的图像块设置较高权重，然后对所有图像块的亮度进行加权平均(即每个图像块的亮度乘以该图像块的权重，相加后再计算平均值)得到红外图像的亮度。
需要说明的是，本申请还可以采用其他方法对红外图像的进行图像块划分；也可以采用其他方法计算红外图像中各个图像块的亮度；也可以采用其他方法设置各个图像块的权重，例如亮度的图像块设置较高的权重；也可以采用其他方法计算红外图像的亮度，例如直接对各个图像块的亮度求平均值得到红外图像的亮度等。本申请对上述方法均此不作具体限定。
步骤605、根据第二差值对红外补光灯的光强进行调整。
第二差值为红外图像的亮度与预设的目标红外图像亮度之间的差值。设定目标红外图像亮度为AE算法提供了收敛的条件，目标红外图像亮度为期望红外图像达到的最优亮度，该值可以通过经验设定，也可以通过大数据统计设定，对此不作具体限定。通常目标红外图像亮度设置得越大，红外补光灯的光强调整结束后得到的红外图像的亮度越高。
终端设备对红外补光灯的光强的调整过程可以是一个多次重复的过程，如果通过一次对红外补光灯的光强的调整没有达到AE算法的收敛条件，就需要继续对红外补光灯的光强进行调整，直到达到AE算法的收敛条件。AE算法的收敛条件是指第二差值的绝对值在设定的第一范围内，一种表示方法为第二差值的绝对值小于设定阈值，例如，|第二差值|＜X，X为设定阈值；另一种表示方法为第二差值在设定范围内，例如，x＜第二差值＜y，x和y为第一范围的上下边界，x为负数，y为正数，x和y的绝对值可以相等也可以不相等。因此AE算法的收敛条件是终端设备确定是否要对红外补光灯的光强进行调整的前提，只要第二差值不满足AE算法的收敛条件，终端设备就可以对红外补光灯的光强进行调整。
根据红外图像的亮度和目标红外图像亮度之间的比较，终端设备对红外补光灯的光强的调整可以分为两个方向：当红外图像的亮度比目标红外图像亮度低时，增大红外补光灯的光强；当红外图像的亮度比目标红外图像亮度高时，减小红外补光灯的光强。
终端设备可以通过调整红外补光灯的脉冲宽度调制(pulse width modulation，PWM)的占空比调整红外补光灯的光强，如果需要增大红外补光灯的光强，可以减小红外补光灯的PWM的占空比，如果需要减小红外补光灯的光强，可以增大红外补光灯的PWM的占空比。
需要说明的是，还可以通过其他方法调整红外补光灯的光强，本申请对此不作具体限定。
为了防止出现单帧跳变的情况，终端设备可以在确定连续M帧红外图像的第二差值都没有满足AE算法的收敛条件时，才对红外补光灯的光强进行调整。
进一步的，在上述连续M帧红外图像的第二差值都没有满足AE算法的收敛条件的基础下，该连续M帧红外图像的亮度均比目标红外图像亮度低(第二差值均为负值)，此时终端设备可以增大红外补光灯的光强；或者，在上述连续M帧红外图像的第二差值都没有满足AE算法的收敛条件的基础下，该连续N帧红外图像的亮度均比目标红外图像亮度高(第二差值均为正值)，此时终端设备可以减小红外补光灯的光强。由于人眼对于过曝比较敏感，所以上述方法中会将第二差值为正值时的M设置的比第二差值为负值时的M小一些。
需要说明的是，基于RGBIR Sensor的特性，其可以做到对原始图像数据中的RGB分量和IR分量做到完全分离，因此终端设备在执行步骤604和605时，其处理对象是第一原始图像数据中的红外图像数据，以及由此得到的红外图像，此时对红外补光灯的光强的调整是完全独立的过程，并不会对已经调整好的可见光曝光参数造成影响，也不会受到原始图像数据中的RGB分量的影像。
步骤606、获取第二原始图像数据，第二原始图像数据为图像传感器基于调整后的可见光曝光参数和红外补光灯的光强采集得到的；
经过步骤602-605的调整，终端设备可以得到满足AE算法的收敛条件的可见光曝光参数和红外补光灯的光强，此时终端设备根据满足AE算法的收敛条件的可见光曝光参数设置RGBIR Sensor，并根据满足AE算法的收敛条件的红外补光灯的光强设置红外补光灯，再通过RGBIR Sensor采集得到第二原始图像数据。
步骤607、根据第二原始图像数据中的可见光图像数据和红外图像数据融合得到目标图像。
终端设备从第二原始图像数据中分离出可见光图像数据和红外图像数据，根据可见光图像数据得到可见光图像，根据红外图像数据得到红外图像，对可见光图像和红外图像进行融合得到目标图像。由于通过前述步骤自适应设置了可见光曝光参数和红外补光灯的光强，因此此时只需采集一张RGBIR图像即可得到高质量的融合图像，相较于现有技术中需要采集多张RGBIR图像才能得到高质量的融合图像，简化了图像融合的步骤，提高效率。
一方面，本申请可以采用超高分辨率的RGBIR Sensor得到图像，再对该图像降采样得到高分辨率的可见光图像和红外图像，对这两张高分辨率的图像进行融合处理可以得到信噪比和细节表现更好的目标图像。也可以采用高分辨率的RGBIR Sensor得到高分辨率的图像，对该图像降采样得到低分辨率的图像，再对低分辨率的图像使用超分算法得到高分辨率的可见光图像和红外图像，对这两张高分辨率的图像进行融合处理同样可以得到信噪比和细节表现更好的目标图像。除上述新型RGBIR Sensor外，本申请还可以采用传统的RGBIR Sensor，但需要在镜头和RGBIR Sensor之间加上分光片，以尽量分离出可见光分量和红外分量。
另一方面，由于可见光图像是在满足AE算法的收敛条件的可见光曝光参数设置下得到的，红外图像是在满足AE算法的收敛条件的红外补光灯的光强设置下得到的，而且可见光图像和红外图像是基于同时采集到的原始图像数据得到的，可以消除融合后的目标图像有模糊影像的现象。
本申请基于初始的可见光曝光参数和红外补光灯的光强采集第一原始图像数据，并根据第一原始图像数据中的可见光分量和红外分量分别对可见光曝光参数和红外补光灯的光强进行调整，且两个调整过程相互独立，完全不受另一个的影响，不但可以提高调整效率，还可以得到信噪比和细节表现更好的目标图像，消除融合后的目标图像有模糊影像的现象。而且经对可见光曝光参数和红外补光灯的光强的调整后，可以只采集一张包含可见光和红外光的原始图像就可以融合得到质量较高的目标图像，提高图像获取效率。
图8为本申请图像获取装置实施例的结构示意图，如图8所示，本实施例的装置可以包括：第一获取模块801，第一处理模块802，第二处理模块803、第二获取模块804和融合模块805。其中，第一获取模块801，用于获取第一原始图像数据，所述第一原始图像数据为图像传感器基于初始的可见光曝光参数和红外补光灯的光强采集得到的，所述第一原始图像数据包括可见光图像数据和红外图像数据；第一处理模块802，用于根据所述第一原始图像数据获取可见光图像的亮度；根据第一差值对所述可见光曝光参数进行调整，所述第一差值为所述可见光图像的亮度与预设的目标可见光图像亮度之间的差值；第二处理模块803，用于根据所述第一原始图像数据获取红外图像的亮度；根据第二差值对所述红外补光灯的光强进行调整，所述第二差值为所述红外图像的亮度与预设的目标红外图像亮度之间的差值；第二获取模块804，用于获取第二原始图像数据，所述第二原始图像数据为图像传感器基于调整后的可见光曝光参数和红外补光灯的光强采集得到的；融合模块805，用于根据所述第二原始图像数据中的可见光图像数据和红外图像数据融合得到目标图像。应当理解，在一种可能的实施方式中，第一获取模块和第二获取模块在物理上可以是同一个获取模块，例如，第一获取模块和第二获取模块可以均为处理器芯片的传输接口，该传输接口用于收发数据。
在一种可能的实现方式中，所述第一处理模块802，具体用于若所述第一差值的绝对值没有在预设的第一范围内，则根据所述第一差值对所述可见光曝光参数进行调整。
在一种可能的实现方式中，所述第一处理模块802，具体用于确定曝光参数分配策略集合中是否包括与所述第一差值对应的曝光参数分配策略；若所述曝光参数分配策略集合中包括与所述第一差值对应的曝光参数分配策略，则按照所述与所述第一差值对应的曝光参数分配策略调整所述可见光曝光参数；若所述曝光参数分配策略集合中不包括与所述第一差值对应的曝光参数分配策略，则增加新的曝光参数分配策略，并根据所述新的曝光参数分配策略调整所述可见光曝光参数。
在一种可能的实现方式中，所述可见光曝光参数包括曝光时间、光圈直径或曝光增益中的一个或多个；所述第一处理模块802，具体用于当所述可见光图像的亮度比所述目标可见光图像亮度低时，增大所述曝光时间、所述光圈直径或所述曝光增益中的一个或多个；当所述可见光图像的亮度比所述目标可见光图像亮度高时，减小所述曝光时间、所述光圈直径或所述曝光增益中的一个或多个。
在一种可能的实现方式中，所述第二处理模块803，具体用于若所述第二差值的绝对值没有在预设的第二范围内，则根据所述第二差值对所述红外补光灯的光强进行调整。
在一种可能的实现方式中，所述第二处理模块803，具体用于当所述红外图像的亮度比所述目标红外图像亮度低时，增大所述红外补光灯的光强；当所述红外图像的亮度比所述目标红外图像亮度高时，减小所述红外补光灯的光强。
在一种可能的实现方式中，所述第二处理模块803，具体用于通过减小所述红外补光灯的脉冲宽度调制PWM的占空比增大所述红外补光灯的光强；通过增大所述红外补光灯的PWM的占空比减小所述红外补光灯的光强。
在一种可能的实现方式中，所述第一处理模块802，具体用于若连续N帧可见光图像的所述第一差值的绝对值均没有在所述第一范围内，则根据所述第一差值对所述可见光曝光参数进行调整，N为正整数。
在一种可能的实现方式中，所述第一处理模块802，具体用于当所述连续N帧可见光图像的亮度均比所述目标可见光图像亮度低时，增大所述曝光时间、所述光圈直径或所述曝光增益中的一个或多个；或者，当所述连续N帧可见光图像的亮度均比所述目标可见光图像亮度高时，减小所述曝光时间、所述光圈直径或所述曝光增益中的一个或多个。
在一种可能的实现方式中，所述第二处理模块803，具体用于若连续M帧红外图像的所述第二差值的绝对值均没有在预设的第二范围内，则根据所述第二差值对所述红外补光灯的光强进行调整，M为正整数。
在一种可能的实现方式中，所述第二处理模块803，具体用于当所述连续M帧红外图像的亮度均比所述目标红外图像亮度低时，增大所述红外补光灯的光强；当所述连续M帧红外图像的亮度均比所述目标红外图像亮度高时，减小所述红外补光灯的光强。
在一种可能的实现方式中，所述第一处理模块802，具体用于在静止场景下，先增加所述曝光时间，再增加所述曝光增益，最后增加所述光圈直径；在运动场景下，先增加所述曝光增益，再增加所述曝光时间，最后增加所述光圈直径；在静止场景下，先减小所述曝光时间，再减小所述曝光增益，最后减小所述光圈直径；在运动场景下，先减小所述曝光增益，再减小所述曝光时间，最后减小所述光圈直径。在一种可能的实施方式中，该图像获取装置还可以包括图像采集模块，示例性的，该图像采集模块可以是图像传感器。例如RGBIR传感器、RGBW传感器或者RGBC传感器等，该图像采集模块也可以是摄像头。
本实施例的装置，可以用于执行图6所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。处理器可以是通用处理器、数字信号处理器(digital signalprocessor,DSP)、特定应用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。本申请实施例公开的方法的步骤可以直接体现为硬件编码处理器执行完成，或者用编码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
上述各实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种图像获取方法，其特征在于，包括：
获取第一原始图像数据，所述第一原始图像数据为图像传感器基于初始的可见光曝光参数和红外补光灯的光强采集得到的，所述第一原始图像数据包括可见光图像数据和红外图像数据；
根据所述第一原始图像数据获取可见光图像的亮度；
根据第一差值对所述可见光曝光参数进行调整，所述第一差值为所述可见光图像的亮度与预设的目标可见光图像亮度之间的差值，所述可见光曝光参数包括曝光时间、光圈直径或曝光增益中的一个或多个；
根据所述第一原始图像数据获取红外图像的亮度；
根据第二差值对所述红外补光灯的光强进行调整，所述第二差值为所述红外图像的亮度与预设的目标红外图像亮度之间的差值；
获取第二原始图像数据，所述第二原始图像数据为图像传感器基于调整后的可见光曝光参数和红外补光灯的光强采集得到的；
根据所述第二原始图像数据中的可见光图像数据和红外图像数据融合得到目标图像；
其中，所述根据第一差值对所述可见光曝光参数进行调整，包括：
若所述第一差值的绝对值没有在预设的第一范围内，则根据所述第一差值对所述可见光曝光参数进行调整；
所述根据第二差值对所述红外补光灯的光强进行调整，包括：
若所述第二差值的绝对值没有在预设的第二范围内，则根据所述第二差值对所述红外补光灯的光强进行调整；
其中，在所述根据第一差值对所述可见光曝光参数进行调整之前，所述方法还包括：
确定曝光参数分配策略集合中是否包括与所述第一差值对应的曝光参数分配策略；
所述根据第一差值对所述可见光曝光参数进行调整，包括：
若所述曝光参数分配策略集合中包括与所述第一差值对应的曝光参数分配策略，则按照所述与所述第一差值对应的曝光参数分配策略调整所述可见光曝光参数；
若所述曝光参数分配策略集合中不包括与所述第一差值对应的曝光参数分配策略，则根据第一差值增加新的曝光参数分配策略，并根据所述新的曝光参数分配策略调整所述可见光曝光参数。
2.根据权利要求1所述的方法，其特征在于，所述根据第一差值对所述可见光曝光参数进行调整，包括：
当所述可见光图像的亮度比所述目标可见光图像亮度低时，增大所述曝光时间、所述光圈直径或所述曝光增益中的一个或多个；
当所述可见光图像的亮度比所述目标可见光图像亮度高时，减小所述曝光时间、所述光圈直径或所述曝光增益中的一个或多个。
3.根据权利要求1或2所述的方法，其特征在于，所述根据第二差值对所述红外补光灯的光强进行调整，包括：
当所述红外图像的亮度比所述目标红外图像亮度低时，增大所述红外补光灯的光强；
当所述红外图像的亮度比所述目标红外图像亮度高时，减小所述红外补光灯的光强。
4.根据权利要求3所述的方法，其特征在于，所述增大所述红外补光灯的光强，包括：
通过减小所述红外补光灯的脉冲宽度调制PWM的占空比增大所述红外补光灯的光强；
所述减小所述红外补光灯的光强，包括：
通过增大所述红外补光灯的PWM的占空比减小所述红外补光灯的光强。
5.根据权利要求1至2、4中任一项所述的方法，其特征在于，所述根据第一差值对所述可见光曝光参数进行调整，包括：
若连续N帧可见光图像的所述第一差值的绝对值均没有在所述第一范围内，则根据所述第一差值对所述可见光曝光参数进行调整，N为正整数。
6.根据权利要求5所述的方法，其特征在于，所述根据第一差值对所述可见光曝光参数进行调整，包括：
当所述连续N帧可见光图像的亮度均比所述目标可见光图像亮度低时，增大所述曝光时间、所述光圈直径或所述曝光增益中的一个或多个；或者，
当所述连续N帧可见光图像的亮度均比所述目标可见光图像亮度高时，减小所述曝光时间、所述光圈直径或所述曝光增益中的一个或多个。
7.根据权利要求1至2、4、6中任一项所述的方法，其特征在于，所述根据第二差值对所述红外补光灯的光强进行调整，包括：
若连续M帧红外图像的所述第二差值的绝对值均没有在预设的第二范围内，则根据所述第二差值对所述红外补光灯的光强进行调整，M为正整数。
8.根据权利要求7所述的方法，其特征在于，所述根据第二差值对所述红外补光灯的光强进行调整，包括：
当所述连续M帧红外图像的亮度均比所述目标红外图像亮度低时，增大所述红外补光灯的光强；
当所述连续M帧红外图像的亮度均比所述目标红外图像亮度高时，减小所述红外补光灯的光强。
9.根据权利要求2所述的方法，其特征在于，所述增大所述曝光时间、所述光圈直径或所述曝光增益中的一个或多个，包括：
在静止场景下，先增加所述曝光时间，再增加所述曝光增益，最后增加所述光圈直径；在运动场景下，先增加所述曝光增益，再增加所述曝光时间，最后增加所述光圈直径；
所述减小所述曝光时间、所述光圈直径或所述曝光增益中的一个或多个，包括：
在静止场景下，先减小所述曝光时间，再减小所述曝光增益，最后减小所述光圈直径；在运动场景下，先减小所述曝光增益，再减小所述曝光时间，最后减小所述光圈直径。
10.一种图像获取装置，其特征在于，包括：
第一获取模块，用于获取第一原始图像数据，所述第一原始图像数据为图像传感器基于初始的可见光曝光参数和红外补光灯的光强采集得到的，所述第一原始图像数据包括可见光图像数据和红外图像数据；
第一处理模块，用于根据所述第一原始图像数据获取可见光图像的亮度；根据第一差值对所述可见光曝光参数进行调整，所述第一差值为所述可见光图像的亮度与预设的目标可见光图像亮度之间的差值，所述可见光曝光参数包括曝光时间、光圈直径或曝光增益中的一个或多个；
第二处理模块，用于根据所述第一原始图像数据获取红外图像的亮度；根据第二差值对所述红外补光灯的光强进行调整，所述第二差值为所述红外图像的亮度与预设的目标红外图像亮度之间的差值；
第二获取模块，用于获取第二原始图像数据，所述第二原始图像数据为图像传感器基于调整后的可见光曝光参数和红外补光灯的光强采集得到的；
融合模块，用于并根据所述第二原始图像数据中的可见光图像数据和红外图像数据融合得到目标图像；
其中，所述第一处理模块，具体用于：
若所述第一差值的绝对值没有在预设的第一范围内，则根据所述第一差值对所述可见光曝光参数进行调整；
所述第二处理模块，具体用于：
若所述第二差值的绝对值没有在预设的第二范围内，则根据所述第二差值对所述红外补光灯的光强进行调整；
所述第一处理模块，具体用于：
确定曝光参数分配策略集合中是否包括与所述第一差值对应的曝光参数分配策略；
若所述曝光参数分配策略集合中包括与所述第一差值对应的曝光参数分配策略，则按照所述与所述第一差值对应的曝光参数分配策略调整所述可见光曝光参数；
若所述曝光参数分配策略集合中不包括与所述第一差值对应的曝光参数分配策略，则根据所述第一差值增加新的曝光参数分配策略，并根据所述新的曝光参数分配策略调整所述可见光曝光参数。
11.根据权利要求10所述的装置，其特征在于，所述第一处理模块，具体用于：
当所述可见光图像的亮度比所述目标可见光图像亮度低时，增大所述曝光时间、所述光圈直径或所述曝光增益中的一个或多个；
当所述可见光图像的亮度比所述目标可见光图像亮度高时，减小所述曝光时间、所述光圈直径或所述曝光增益中的一个或多个。
12.根据权利要求10或11所述的装置，其特征在于，所述第二处理模块，具体用于：
当所述红外图像的亮度比所述目标红外图像亮度低时，增大所述红外补光灯的光强；
当所述红外图像的亮度比所述目标红外图像亮度高时，减小所述红外补光灯的光强。
13.根据权利要求12所述的装置，其特征在于，所述第二处理模块，具体用于：
通过减小所述红外补光灯的脉冲宽度调制PWM的占空比增大所述红外补光灯的光强；
通过增大所述红外补光灯的PWM的占空比减小所述红外补光灯的光强。
14.根据权利要求10至11、13中任一项所述的装置，其特征在于，所述第一处理模块，具体用于：
若连续N帧可见光图像的所述第一差值的绝对值均没有在所述第一范围内，则根据所述第一差值对所述可见光曝光参数进行调整，N为正整数。
15.根据权利要求14所述的装置，其特征在于，所述第一处理模块，具体用于：
当所述连续N帧可见光图像的亮度均比所述目标可见光图像亮度低时，增大所述曝光时间、所述光圈直径或所述曝光增益中的一个或多个；或者，
当所述连续N帧可见光图像的亮度均比所述目标可见光图像亮度高时，减小所述曝光时间、所述光圈直径或所述曝光增益中的一个或多个。
16.根据权利要求10至11、13、15中任一项所述的装置，其特征在于，所述第二处理模块，具体用于：
若连续M帧红外图像的所述第二差值的绝对值均没有在预设的第二范围内，则根据所述第二差值对所述红外补光灯的光强进行调整，M为正整数。
17.根据权利要求16所述的装置，其特征在于，所述第二处理模块，具体用于：
当所述连续M帧红外图像的亮度均比所述目标红外图像亮度低时，增大所述红外补光灯的光强；
当所述连续M帧红外图像的亮度均比所述目标红外图像亮度高时，减小所述红外补光灯的光强。
18.根据权利要求11所述的装置，其特征在于，所述第一处理模块，具体用于：
在静止场景下，先增加所述曝光时间，再增加所述曝光增益，最后增加所述光圈直径；在运动场景下，先增加所述曝光增益，再增加所述曝光时间，最后增加所述光圈直径；在静止场景下，先减小所述曝光时间，再减小所述曝光增益，最后减小所述光圈直径；在运动场景下，先减小所述曝光增益，再减小所述曝光时间，最后减小所述光圈直径。
19.一种图像获取装置，其特征在于，包括：
一个或多个处理器，被配置为调用存储在存储器中的程序指令，以执行如权利要求1至9中任一项所述的方法。
20.一种计算机可读存储介质，其特征在于，包括计算机程序，所述计算机程序在计算机或处理器上被执行时，使得所述计算机或处理器执行权利要求1至9中任一项所述的方法。
CN202010093488.2A 2020-02-14 2020-02-14 图像获取方法和装置 Active CN113271414B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010093488.2A CN113271414B (zh) 2020-02-14 2020-02-14 图像获取方法和装置
EP21753011.2A EP4102817A4 (en) 2020-02-14 2021-02-03 IMAGE ACQUISITION METHOD AND DEVICE
PCT/CN2021/075085 WO2021160001A1 (zh) 2020-02-14 2021-02-03 图像获取方法和装置
US17/886,761 US20220392182A1 (en) 2020-02-14 2022-08-12 Image acquisition method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010093488.2A CN113271414B (zh) 2020-02-14 2020-02-14 图像获取方法和装置

Publications (2)

Publication Number Publication Date
CN113271414A CN113271414A (zh) 2021-08-17
CN113271414B true CN113271414B (zh) 2022-11-18

Family

ID=77227324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010093488.2A Active CN113271414B (zh) 2020-02-14 2020-02-14 图像获取方法和装置

Country Status (4)

Country Link
US (1) US20220392182A1 (zh)
EP (1) EP4102817A4 (zh)
CN (1) CN113271414B (zh)
WO (1) WO2021160001A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114041769A (zh) * 2021-11-25 2022-02-15 深圳市商汤科技有限公司 心率测量方法及装置、电子设备及计算机可读存储介质
CN114007021B (zh) * 2021-12-31 2022-06-17 杭州魔点科技有限公司 调节补光灯亮度的方法、系统和摄像装置
CN116723409A (zh) * 2022-02-28 2023-09-08 荣耀终端有限公司 自动曝光方法与电子设备
CN116962886A (zh) * 2022-04-07 2023-10-27 安霸国际有限合伙企业 用于rgb-ir传感器的智能自动曝光控制
CN115278098A (zh) * 2022-06-28 2022-11-01 北京驭光科技发展有限公司 图像拍摄的方法、系统及其拍摄装置
DE102022002637B3 (de) * 2022-07-19 2023-07-27 Mercedes-Benz Group AG Kamerasystem und Verfahren zu dessen Betrieb
CN116996762B (zh) * 2023-03-29 2024-04-16 荣耀终端有限公司 一种自动曝光方法、电子设备及计算机可读存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100563306C (zh) * 2007-07-25 2009-11-25 北京中星微电子有限公司 一种摄像装置补光灯自动控制方法和装置
CN101872106B (zh) * 2010-05-21 2012-07-11 深圳市艾威视数码科技有限公司 智能红外摄像机及其智能调节红外光强度的方法
US9819849B1 (en) * 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
JP6471953B2 (ja) * 2014-05-23 2019-02-20 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、及び撮像方法
KR101637671B1 (ko) * 2014-08-25 2016-07-07 현대자동차주식회사 Rgbw 센서를 이용한 rgb 및 nir 추출방법
WO2016154926A1 (zh) * 2015-03-31 2016-10-06 深圳市大疆创新科技有限公司 成像装置及其补光控制方法、系统，以及可移动物体
CN105959592A (zh) * 2016-05-30 2016-09-21 东莞市中控电子技术有限公司 一种自适应光线的生物计量信息采集装置和方法
CN110121882B (zh) * 2017-10-13 2020-09-08 华为技术有限公司 一种图像处理方法及装置
CN107734225B (zh) * 2017-10-24 2019-06-07 维沃移动通信有限公司 一种拍摄方法及装置
CN109712102B (zh) * 2017-10-25 2020-11-27 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及图像采集设备
CN109951646B (zh) * 2017-12-20 2021-01-15 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法
CN108737728B (zh) * 2018-05-03 2021-06-11 Oppo广东移动通信有限公司 一种图像拍摄方法、终端及计算机存储介质
CN109547701B (zh) * 2019-01-04 2021-07-09 Oppo广东移动通信有限公司 图像拍摄方法、装置、存储介质及电子设备
CN110784660B (zh) * 2019-11-13 2020-09-04 四川云从天府人工智能科技有限公司 一种摄像亮度控制方法、系统、设备和介质
CN112153302B (zh) * 2020-09-28 2022-04-15 北京骑胜科技有限公司 红外光源控制方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN113271414A (zh) 2021-08-17
EP4102817A1 (en) 2022-12-14
EP4102817A4 (en) 2023-07-19
US20220392182A1 (en) 2022-12-08
WO2021160001A1 (zh) 2021-08-19

Similar Documents

Publication Publication Date Title
CN113271414B (zh) 图像获取方法和装置
WO2022262260A1 (zh) 一种拍摄方法及电子设备
CN109729279B (zh) 一种图像拍摄方法和终端设备
WO2021052232A1 (zh) 一种延时摄影的拍摄方法及设备
CN112150399B (zh) 基于宽动态范围的图像增强方法及电子设备
WO2023016025A1 (zh) 一种拍照方法及设备
US10511828B2 (en) Camera platforms with rolling light projection
CN113810601B (zh) 终端的图像处理方法、装置和终端设备
CN114092364A (zh) 图像处理方法及其相关设备
US20240119566A1 (en) Image processing method and apparatus, and electronic device
CN113630558B (zh) 一种摄像曝光方法及电子设备
US20230283920A1 (en) Electronic device comprising image sensor and method of operating same
CN114466134A (zh) 生成hdr图像的方法及电子设备
CN116074634A (zh) 一种曝光参数确定方法和装置
CN115802183B (zh) 图像处理方法及其相关设备
CN114338962B (zh) 成像方法和装置
CN115426449A (zh) 一种拍照方法和终端
CN115298688A (zh) 图像增强处理方法和装置
CN113168672B (zh) 用于图像处理的色调映射和色调控制集成
WO2023160178A1 (zh) 一种曝光控制方法及电子设备
CN115442536B (zh) 一种曝光参数的确定方法、装置、影像系统和电子设备
CN116051368B (zh) 图像处理方法及其相关设备
US20230113058A1 (en) Electronic device including image sensor and operating method thereof
US20230388677A1 (en) Electronic device including image sensor and operating method thereof
CN117422646A (zh) 去反光模型的训练方法、去反光模型和去反光方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 101, No. 2 Hongqiaogang Road, Qingpu District, Shanghai, 201721

Patentee after: Haisi Technology Co.,Ltd.

Address before: Room 101, 318 Shuixiu Road, Jinze town (xicen), Qingpu District, Shanghai, 201799

Patentee before: Shanghai Haisi Technology Co.,Ltd.

CP03 Change of name, title or address