CN112219389B - 使用电子设备中的多个相机捕获媒体的方法和装置 - Google Patents

使用电子设备中的多个相机捕获媒体的方法和装置 Download PDF

Info

Publication number
CN112219389B
CN112219389B CN201980036871.XA CN201980036871A CN112219389B CN 112219389 B CN112219389 B CN 112219389B CN 201980036871 A CN201980036871 A CN 201980036871A CN 112219389 B CN112219389 B CN 112219389B
Authority
CN
China
Prior art keywords
camera
electronic device
sensor
image
ambient light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980036871.XA
Other languages
English (en)
Other versions
CN112219389A (zh
Inventor
迪加达里·苏曼
阿比吉·戴伊
阿普巴·巴塔查尔吉
戈拉伏·汉德瓦
基兰·纳塔拉什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2019/006955 external-priority patent/WO2019235903A1/en
Publication of CN112219389A publication Critical patent/CN112219389A/zh
Application granted granted Critical
Publication of CN112219389B publication Critical patent/CN112219389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种用于捕获媒体的装置，该装置基于环境光照条件使用与电子设备相关联的多个相机来捕获媒体。该装置包括处理器和耦合到处理器的存储器单元，该存储器单元包括处理模块，该处理模块被配置为：响应于启用电子设备中的图像捕获应用，从第一相机获得至少一个预览帧；确定所获得的至少一个预览帧的环境光参数；以及如果所确定的环境光参数低于预定义阈值，则将电子设备的相机操作从第一相机切换至第二相机以捕获媒体。

Description

使用电子设备中的多个相机捕获媒体的方法和装置
技术领域
本公开总体上涉及具有两个或更多个图像传感器的多相机系统的领域，更具体地，涉及一种基于环境光照条件使用与电子设备相关联的多个相机捕获媒体的方法和装置。
背景技术
当前，多相机系统可以具有安装在一个电子设备中的多个图像传感器。电子设备可以利用多个图像传感器捕获来自场景的光，并生成代表场景的媒体的数字信息。
图1A示出捕获低光照图像的传统双相机电子设备的示例。电子设备中的双相机组合在低光照拍摄期间可能会表现不佳。此外，由于需要开启两个图像传感器，电子设备的功耗可能较大。为每张图像组合帧也可能会影响连拍的时间性能，并且，由于在预览场景时可能无法组合图像，传统的双相机在低光照环境下无法提高预览图像的质量。
图1B示出用于最佳低光照图像的示例性传统解决方案。相应地，具有来自图像传感器的更多噪声的场景的暗帧可以被馈送到低光照解决方案(LLS)块，而LLS块处理五个帧需要大约500毫秒。LLS块可以是可用于低光照摄影的库。LLS块可以获取多个帧作为输入并进行后处理。进一步地，LLS块可应用帧融合以生成质量更高的输出帧。
但是，在常规方法中，可以基于从附加硬件模块接收信号来切换图像传感器。
发明内容
本公开用以至少克服上述缺点，并至少提供以下优点。
根据本公开的一个方面，提供了一种用于捕获媒体的装置，该装置基于环境光照条件使用与电子设备相关联的多个相机来捕获媒体。该装置包括处理器和耦合到处理器的存储器单元，存储器单元包括处理模块，处理模块被配置为：响应于启用电子设备中的图像捕获应用，从第一相机获得至少一个预览帧；确定所获得的至少一个预览帧的环境光参数；以及如果所确定的环境光参数低于预定义阈值，则将电子设备的相机操作从第一相机切换至第二相机以捕获媒体。
根据本公开的一个方面，提供了一种基于环境光照条件使用与电子设备相关联的多个相机捕获媒体的装置。该装置包括处理器和耦合到处理器的存储器单元，存储器单元包括处理模块，处理模块被配置为：响应于启用电子设备中的图像捕获应用，从第一相机获得至少一个预览帧；通过分析所获得的至少一个预览帧中的勒克斯值，确定所获得的至少一个预览帧的环境光照条件；当所确定的环境光照条件低于预定义阈值时，将电子设备的相机操作从第一相机切换至第二相机；响应于切换相机操作，从第二相机获得预览帧；当所确定的环境光照条件高于预定义阈值时，将相机操作从第二相机切换至第一相机；以及基于所确定的勒克斯值，使用第一相机和第二相机中的至少一个捕获媒体。
根据本公开的一个方面，提供了一种基于环境光照条件使用与电子设备相关联的多个相机捕获媒体的方法。该方法包括：响应于启用电子设备中的图像捕获应用，由电子设备从第一相机获得至少一个预览帧；由电子设备确定所获得的至少一个预览帧的环境光参数；以及如果所确定的环境光参数低于预定义阈值，则由电子设备将电子设备的相机操作从第一相机切换至第二相机。
根据本公开的一个方面，提供了一种基于环境光照条件使用与电子设备相关联的多个相机捕获媒体的方法。该方法包括：响应于启用电子设备中的图像捕获应用，由电子设备从第一相机获得至少一个预览帧；通过分析所获得的至少一个预览帧中的勒克斯值，由电子设备确定所获得的至少一个预览帧的环境光照条件；当所确定的环境光照条件低于预定义阈值时，由电子设备将电子设备的相机操作从第一相机切换至第二相机；响应于切换相机操作，由电子设备从第二相机获得预览帧；当所确定的环境光照条件高于预定义阈值时，由电子设备将相机操作从第二相机切换至第一相机；以及基于所确定的勒克斯值，由电子设备使用第一相机和第二相机中的至少一个捕获媒体。
附图说明
本公开实施例的上述和其他方面、特征和优点将通过以下结合附图进行的详细描述变得更加显而易见。
图1A是捕获低光照图像的传统双相机电子设备的示图；
图1B是用于最佳低光照图像的传统解决方案的示图；
图2是根据实施例的基于环境光照条件使用与电子设备相关联的多个相机捕获媒体的装置的示图；
图3是根据实施例的处理模块的示图；
图4是根据实施例的电子设备从正常光照场景移动到暗光照场景的示例情景的示图；
图5是根据实施例的第一图像传感器输出和第二图像传感器输出之间的区别的示图；
图6A是根据实施例的基于环境光照条件自动切换图像传感器的示例情景的示图；
图6B是根据实施例的基于环境光照条件自动切换图像传感器的示图；
图7是根据实施例的基于环境光照条件自动切换图像传感器的示图；
图8A和8B是根据实施例的基于环境光照条件自动切换图像传感器的示图；
图9A是根据实施例的在变化的光照条件下进行视频录制的示例情景的示图；
图9B是根据实施例的基于图像中的面部区域的光照条件切换图像传感器的示例情景的示图；
图9C是根据实施例的在低光照期间检测场景中的光照条件的示例情景的示图；
图9D是根据实施例的提供优化的低光照解决方案(LLS)的示例情景的示图；
图10A是根据实施例的一种基于环境光照条件使用与电子设备相关联的多个相机捕获媒体的方法的流程图；
图10B是根据实施例的将相机操作从第二相机切换至第一相机的方法的流程图；
图10C是根据实施例的在切换相机操作时提供指示的方法的流程图；
图10D是根据实施例的响应于切换相机操作而从第二相机获得预览帧的方法的流程图；
图10E是根据实施例的基于所确定的环境光照条件切换相机操作的方法的流程图；
图10F是根据实施例的使第一图像传感器和第二图像传感器中的至少一个在未被使用时进入低功耗模式的方法的流程图；
图10G是根据实施例的识别图像中的面部和场景中的至少一个的方法的流程图。
具体实施方式
本公开实施例将在下文参考附图进行描述。然而，本公开实施例不限于特定实施例，并且应被理解为包括本公开的所有修改、改变、等效装置和方法和/或替代实施例。在附图中，相似的附图标记用于相似的元件。
本文所使用的术语“具有”、“可以具有”、“包括”和“可以包括”指示存在相应的特征(例如，诸如数值、功能、运算或部件之类的元素)，但是不排除其他功能的存在。
本文所使用的术语“A或B”，“A或/和B中的至少一个”或“A或/和B中的一个或多个”包括所列举的项目的所有可能的组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的至少一个”是指(1)包括至少一个A、(2)包括至少一个B、或(3)包括至少一个A和至少一个B。
本文使用的诸如“第一”和“第二”之类的术语在描述相应的组件时与重要性或顺序无关，而是在不限制相应的组件的情况下将一个组件与另一个组件区分开。这些术语可以用于将一个元件与另一元件区分开。例如，第一用户设备和第二用户设备指示不同的用户设备，而与顺序或重要性无关。例如，在不脱离本公开的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。
将理解，当一个元件(例如，第一元件)“(可操作地或通信地)耦合至”或“连接至”另一元件(例如，第二元件)时，该元件可以直接耦合至/耦合到另一个元件，并且在该元件和该另一个元件之间可以存在中间元件(例如，第三元件)。相反，应当理解，当一个元件(例如，第一元件)“直接耦合至/耦合到”或“直接连接至”另一元件(例如，第二元件)时，该元件和该另一个元件之间不存在中间元件(例如，第三元件)。
本文中使用的表述“配置为(或设置为)”可以根据上下文与“适合于”、“能够”、“设计为”、“适于”、“制造为”或“适合”互换使用。术语“配置为(设置为)”不一定意味着在硬件级别上“专门设计为”。相反，在特定上下文中，“被配置为……的装置”这一表述可能意味着该装置与其他设备或部件一起“具有……能力”。例如，“被配置为(设置为)执行A、B和C的处理器”可以表示用于执行相应操作的专用处理器(例如嵌入式处理器)、或者能够通过执行存储在存储设备中的一个或多个软件程序来执行相应操作的通用处理器(例如，中央处理器(CPU)或应用处理器(AP))。
用于描述本公开的各种实施例的术语意在描述特定实施例，而无意限制本公开。如本文中所使用的，除非上下文另外明确地指出，单数形式也意在包括复数形式。除非另外定义，否则本文中使用的所有术语(如技术术语或科学术语)的含义均与相关领域普通技术人员通常理解的含义相同。在通用字典中定义的术语应解释为与相关技术的上下文含义具有相同或相似的含义，并且除非在本文中明确定义，否则不应解释为具有理想或夸大的含义。根据不同情况，即使本公开中定义的术语也不应被解释为排除本公开的实施例。
例如，本公开使用的术语“模块”可以是指包括硬件、软件和固件中的一个或它们中的两个或更多个的组合的单元。“模块”可以与“单元”、“逻辑”、“逻辑块”、“组件”或“电路”等术语互换使用。“模块”可以是集成的组成元件或其一部分的最小单元。“模块”可以是用于执行一个或多个功能或其一部分的最小单元。“模块”可以机械地或电子地实现。例如，本公开中的“模块”可以包括专用集成电路(ASIC)芯片、现场可编程逻辑门阵列(FPGA)和可编程逻辑器件中的至少一个，以用于执行以下已知或将要开发的操作。
根据本公开的电子设备可以包括，例如，智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式电脑、笔记本电脑、上网本电脑、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗设备、相机和可穿戴设备中的至少一个。可穿戴设备可以包括附件型设备(例如，手表、戒指、手环、脚环、项链、眼镜、隐形眼镜或头戴式设备(HMD))、织物或服装一体型设备(例如，电子服装)、身体安装型设备(例如，皮肤垫或纹身)和生物可植入型设备(例如，可植入电路)中的至少一个。
电子设备可以是家用电器。家用电器可以包括例如电视、数字视频光盘(DVD)播放器、音频、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如Samsung HomeSyncTM，Apple TVTM或Google TVTM)、游戏机(例如XboxTM和PlayStationTM)、电子词典、电子钥匙、便携式摄像机和电子相框中的至少一个。
电子设备可以包括各种医疗设备(例如，各种便携式医疗测量设备(血糖监测设备、心率监测设备、血压测量设备、体温测量设备等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)机器和超声波机器)、导航设备、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、用于船舶的电子设备(例如，用于船舶的导航设备，陀螺罗盘)、航空电子设备、安全设备、汽车主机、家庭或工业机器人、银行自动柜员机(ATM)、商店中的销售点(POS)设备或物联网(IoT)设备(例如灯泡、各种传感器、电表或煤气表、洒水装置、火警、恒温器、路灯、烤面包机、体育用品、热水箱、加热器、锅炉等)中的至少一个。
电子设备可以包括家具或建筑物/结构体的一部分、电子板、电子签名接收设备、投影仪和各种测量仪器(例如，水表、电表、煤气表和无线电波表)中的至少一个。电子设备可以是前述各种设备中的一个或多个的组合。电子设备也可以是柔性设备。此外，电子设备不限于上述设备，并且可以包括随着新技术的发展而出现的电子设备。
下文将参照附图描述电子设备。在本公开中，术语“用户”表示使用电子设备的人或使用电子设备的设备(例如，人工智能电子设备)。
下文定义了描述本公开的各种实施例所必需的术语。
光照条件是要检测的光照量(例如照度)的状态。例如，光照条件可以是强光照条件、正常光照状态或暗光照条件中的一种。环境光照条件可以指基于相机在电子设备周围检测到的勒克斯(1ux)值的光照条件。
正常光照场景是指相机在正常光照状态下获取的场景，暗光照场景是指相机在暗光照状态下获取的场景。暗光照场景可以被称为低光照图像或低光照场景。
像素合并是一种通过组合像素来实现对低照明环境的高灵敏度的技术。像素合并可以减少噪声分量。
相机操作切换是指在至少两个相机之间切换以获取图像(成像)的操作。在本公开中，至少两个相机可以包括第一相机和第二相机。第一相机可以包括第一图像传感器，而第二相机可以包括第二图像传感器。根据一个实施例，在获取图像时，第一图像传感器被配置为输出像素的数据，而第二图像传感器被配置为基于像素合并来组合像素，从而输出合并数据。也就是说，第一图像传感器不进行像素合并，而第二图像传感器可以进行像素合并。根据一个实施例，第一图像传感器提供低灵敏度，而第二图像传感器可以提供高灵敏度。在下文中，将拜耳(Bayer)传感器描述为第一图像传感器，并将四(quadra)传感器描述为第二图像传感器。但是，如上所述，在低照度环境下灵敏度不同的图像传感器分别称为第一图像传感器和第二图像传感器。
图2是根据实施例的基于环境光照条件使用与电子设备200相关联的多个相机捕获媒体的装置200的示图。
装置200包括存储器单元202、存储单元206、显示单元210和处理器212。进一步地，装置200可以包括位于存储器单元202中的处理模块204。在执行机器可读指令之后，处理模块204使装置200在计算环境中处理数据。进一步地，装置200在本文中也可以被称为电子设备200。装置200/电子设备200的示例可以是但不限于移动电话、智能电话、平板电脑、手持设备、平板手机、笔记本电脑、计算机、可穿戴计算设备、服务器、IoT设备、车辆信息娱乐系统、相机、网络摄像头、数码单反(DSLR)相机、视频相机、数码相机、无反光镜相机、静态相机等。装置200可以包括其他组件，诸如输入/输出接口、通信接口等等。装置200可以包括用户应用界面、应用管理框架(未示出)以及基于环境光照条件使用与电子设备200相关联的至少两个相机捕获媒体的应用框架。应用框架可以是提供了基本结构以支持特定环境下的应用开发的软件库。该应用框架还可用于开发图形用户界面(GUI)和基于网络的应用。此外，应用管理框架可以负责管理和维护应用，以及定义数据库和数据文件中使用的数据结构。
装置200可以作为独立设备或作为连接到其他计算机系统/设备的连接(例如，联网)设备来操作。在网络部署中，装置200可以在服务器-客户端网络环境中用作服务器或客户端，或者在对等(或分布式)网络环境中用作对等设备。此外，本文所述的方法和装置可以实现在装载了多个相机的不同计算设备上。这些设备包括手机、平板电脑、专用相机、可穿戴计算机、个人计算机、照相亭或自助服务亭、个人数字助理、超级移动个人计算机和移动互联网设备。装置200可以包括双相机镜头、三相机镜头、四相机镜头等中的至少一个。
装置200可以检测场景并捕获多个帧。包括所捕获的多个帧的光学介质被转换成电信号。装置200的结构可以包括光学系统(例如，镜头或图像传感器)、光电转换系统(例如，电荷耦合设备(CCD)、摄像管传感器等)和电路系统(例如，视频处理电路)。图像传感器可以输出勒克斯值，该勒克斯值是照明反射光强度的单位。色差信号(U，V)可以包括诸如色调和饱和度之类的两种颜色，并由Cr和Cb表示，其中Cr反映RGB输入亮度信号的RGB信号值的红色部分之间的差异，而Cb信号用亮度差信号的RGB值来反映RGB输入的蓝色部分。双相机可以包括两个不同的图像传感器，例如但不限于CCD传感器、有源像素传感器、互补金属氧化物半导体(CMOS)传感器、N型金属氧化物半导体(NMOS、Live MOS)传感器、拜耳滤波器传感器、四传感器(quadra sensor)、四极式传感器(tetra sensor)、适马(Foveon)传感器、3CCD传感器、RGB(红绿蓝)传感器等中的至少一个。
诸如相机电话之类的设备可以在固定位置具有两个图像传感器(即，这两个传感器不能移动)。这两个图像传感器可以被不同地配置或区别对待，例如可以是具有不同分辨率的主图像传感器和辅助图像传感器。进一步地，设备可以包括两个图像传感器，其中这两个图像传感器中的至少一个传感器可以是可移动的。图像传感器可以捕获静止图像快照和/或视频序列。而且，每个图像传感器可以包括布置在各个传感器或传感器元件的表面上的滤色器阵列(CFA)。图像传感器可以布置成直线、三角形、圆形或其他图案。装置200可以在不移动任何传感器的情况下激活某些传感器并且停用其他传感器。存在于装置200中的相机可以包括诸如自动聚焦(AF)、自动白平衡(AWB)和自动曝光控制(AEC)之类的功能，以产生聚焦、光谱平衡、适当曝光的图片或视频。AWB、AEC和AF在本文中有时被称为3A会聚。可以使用测光计和/或通过图像传感器捕获一个或多个图像来估计最佳曝光时间。
装置200可以被配置为分别从电子设备200的第一图像传感器和第二图像传感器获得第一传感器数据和第二传感器数据中的至少一个。第一传感器数据和传感器数据包括在“T”毫秒内确定的勒克斯(流明/平方米)值。装置200可以被配置为确定以下至少一项：所获得的勒克斯值大于第一阈值和第二阈值、以及所获得的勒克斯值小于第一阈值和第二阈值。例如，装置200被配置为确定所确定的勒克斯是否小于第一阈值或确定所确定的勒克斯是否大于第二阈值。在一个示例中，第一阈值小于或等于第二阈值。如果所确定的勒克斯值小于第一阈值，则装置200可以被配置为从第一相机切换至第二相机。如果确定的勒克斯值大于第二阈值，则装置200可以被配置为从第二相机切换至第一相机。装置200可以被配置为通过等待3A会聚时间来稳定切换后的第一相机和第二相机中的至少一个的“N”个帧，其中3A会聚时间包括用于调整AF、AWB和AEC中的至少一个的时间。装置200可以被配置为基于勒克斯值在第一相机和第二相机之间进行控制，其中勒克斯值包括环境光照条件。
装置200可以被配置为响应于启用电子设备中的图像捕获应用，从第一相机获得至少一个预览帧。装置200可以被配置为通过使用预览帧分析勒克斯值来确定环境光照条件。装置200可以被配置为当所确定的环境光照条件低于预定阈值时，将电子设备的相机操作从第一相机切换至第二相机。装置200可以被配置为响应于切换相机操作而从第二相机获得预览帧。装置200可以被配置为当所确定的环境光照条件高于预定义阈值时，将相机操作从第二相机切换至第一相机。装置200可以被配置为通过将相似的相邻像素组合成与所接收的图像相关联的单个像素，对从第二相机接收的图像执行像素合并。装置200可以被配置为处理经像素合并的图像的图像信号，以执行图像校正。装置200可以被配置为以更高数量的像素来对处理后的图像进行升频。
装置200可以被配置为接收分别与第一图像传感器和第二图像传感器相关联的第一传感器数据和第二传感器数据中的至少一个。装置200可以被配置为对所接收的第一传感器数据和第二传感器数据中的至少一个的YUV(亮度(Y)、第一色差(U)和第二色差(V))分量进行编码。装置200可以被配置为将编码的第一传感器数据和第二传感器数据中的至少一个发送至捕获缓冲器和预览缓冲器中的至少一个。装置200可以被配置为响应于所发送的第一传感器数据和第二传感器数据，在电子设备的显示界面上显示捕获图像和预览图像中的至少一个。
装置200可以被配置为当确定第一相机和第二相机之间的切换时，使第一图像传感器和第二图像传感器中的至少一个进入低功耗模式。装置200可以被配置为在使得第一相机和第二相机中的至少一个进入低功耗模式之后，基于从第一相机和第二相机中的至少一个获得的多个预览帧确定勒克斯值。如果装置200确定以下至少一项：勒克斯值大于第一阈值和第二阈值中的至少一个、勒克斯值小于第一阈值和第二阈值中的至少一个，则装置200可以被配置为在第一相机和第二相机之间切换。例如，装置200被配置为确定所确定的勒克斯是否小于第一阈值或确定所确定的勒克斯是否大于第二阈值。在一个示例中，第一阈值小于或等于第二阈值。装置200可以被配置为执行以下操作中的至少一个：停止从传感器生成帧、以及由图像信号处理器(ISP)丢弃从第一相机和第二相机中的至少一个接收的帧。
装置200可以被配置为通过第一相机和第二相机中的至少一个来识别图像中的面部和场景中的至少一个。装置200可以被配置为基于从第一图像传感器和第二图像传感器中的至少一个接收的多个勒克斯值确定所识别的面部和场景的勒克斯值。所识别的面部可以包括图像帧中的面部区域的坐标。可以计算面部区域的坐标内的勒克斯值。如果检测到的面部和场景的所确定的勒克斯值为以下的至少一项：大于第一阈值和第二阈值中的至少一个、小于第一阈值和第二阈值中的至少一中，则装置200可以被配置为执行以下至少一项：将第一相机切换至第二相机、将第二相机切换至第一相机。例如，装置200被配置为确定所确定的勒克斯是否小于第一阈值或确定所确定的勒克斯是否大于第二阈值。在一个示例中，第一阈值小于或等于第二阈值。
第一图像传感器和第二图像传感器可以包括拜耳图像传感器、四极式传感器和四图像传感器中的至少一个。获取第一传感器数据和第二传感器数据中的至少一个可以包括捕获多个预览帧。确定所获得的勒克斯值可以包括分析从第一图像传感器和第二图像传感器中的至少一个接收的完整勒克斯值和平均勒克斯值。稳定“N”个帧可以包括确定第一图像传感器参数和第二图像传感器参数中的至少一个的预定义值以稳定图像。对YUV分量进行编码可以包括与颜色信息分开地提取亮度信息。
图2示出计算机实现的系统的功能组件。在某些情况下，组件可以是硬件组件、软件组件或硬件和软件的组合。某些组件可能是应用层软件，而其他组件可能是操作系统层组件。在某些情况下，一个组件与另一个组件的连接可以是紧密连接，其中两个或更多个组件在单个硬件平台上运行。在其他情况下，可以通过长距离的网络连接进行连接。每个实施例可以使用不同的硬件、软件和互连架构来实现所描述的功能。
本公开以包括两个相机的设备为例来说明本公开的实施方式。然而，对于本领域的普通技术人员而言显而易见的是，本公开的实施例可以实现在包括任意数量的相机的设备上，其中特定的相机可以在特定范围的环境光内工作。
图3是根据实施例的处理模块的示图。
装置200可以包括存储在存储器单元202中的处理模块204(如图2所示)。处理模块204可以包括多个子模块。多个子模块可以包括传感器数据收集模块302、阈值确定模块304、相机切换模块306、相机稳定模块308和相机模式控制模块310。
传感器数据收集模块302可以被配置为从电子设备200的第一图像传感器和第二图像传感器获得第一传感器数据和第二传感器数据中的至少一个。第一传感器数据和第二传感器数据可以包括在“T”毫秒内确定的勒克斯(流明/平方米)值。阈值确定模块304可以被配置为确定以下至少一项：所获得的勒克斯值是否大于第一阈值和第二阈值、所获得的勒克斯值是否小于第一阈值和第二阈值。换句话说，阈值确定模块304可以被配置为确定所确定的勒克斯值是否小于第一阈值。而且，阈值确定模块304可以被配置为确定所确定的勒克斯值是否大于第二阈值。在一个示例中，第一阈值小于或等于第二阈值。相机切换模块306可以被配置为：在存在至少两个相机的情况下，如果所确定的勒克斯值小于第一阈值，则从第一相机切换至第二相机。相机切换模块306可以被配置为：在存在至少两个相机的情况下，如果所确定的勒克斯值大于第二阈值，则从第二相机切换至第一相机。相机稳定模块308可以被配置为通过等待3A会聚时间来稳定切换后的第一相机和第二相机中的至少一个的“N”个帧，其中3A会聚时间包括用于调整AF、AWB和AEC中的至少一个的时间。相机模式控制模块310可以被配置为基于所确定的勒克斯值使用第一相机和第二相机捕获媒体。勒克斯值包括环境光照条件。
图4是根据实施例的电子设备从正常光照场景移动到暗光照场景的示例情景的示图。如上所述，可以基于检测到的光照量区分正常光照场景和暗光照场景。在一个示例中，在正常光照场景中，相机检测到的光照量大于或等于指定量。在暗光照场景中，相机检测到的光照量小于指定量。
装置200可以包括如图4所示的双后置相机。装置200可以包括两个图像传感器，例如拜耳传感器和四传感器。当相机处于正常光照条件下时，当用户启动相机应用时，装置200可以使用第一相机(即，拜耳传感器)捕获场景的预览帧。进一步地，装置200可以响应于接收到预览帧而确定场景的环境光照条件。当环境光照条件低于预定义阈值时，装置200可以将相机操作从第一相机切换至第二相机(即，四传感器)。当环境光照条件高于预定义阈值时，装置200可以使用第二相机捕获场景的预览帧，并且装置200可以将相机操作从第二相机切换至第一相机。装置200可以再次使用第一相机捕获场景的预览帧。
图5是根据实施例的第一图像传感器输出和第二图像传感器输出之间的区别的示图。第一图像传感器是拜耳传感器，第二图像传感器是四传感器。
参考图5，电子设备可以通过使用包括拜耳滤波器的图像传感器(以下称为拜耳传感器)获得图像。例如，电子设备可以通过使用拜耳传感器获得包括64个像素(8×8)的图像。
电子设备可以通过使用包括四CFA的图像传感器(以下称为四传感器)来获得图像。例如，四传感器可以在低光照情景下用作图像传感器。
电子设备可以通过使用四传感器从包括64(8×8)像素的图像中获得合并图像。合并图像可以是以2×2为单位执行像素合并的图像。四传感器可以执行像素合并(即，可以将四个相邻的相同颜色的像素合并为一个像素)。因此，来自四传感器的输出像素可以比正常输出亮。
因此，在低光照条件下，四传感器可以提供亮度更高的像素。进一步地，作为像素合并的结果，在同样大小的传感器数据的情况下，与拜耳传感器图像缓冲器的输出大小相比，四传感器图像缓冲器的输出大小可以更小。此外，对从四传感器接收到的最终输出进行升频(up-scale)。由于四传感器提供相对较小的输出，因此电子设备可以对四传感器的输出数据进行升频以提供相同的输出大小。作为示例，电子设备可以提高分辨率。在下文中，为了解释本公开的各种实施例，以拜耳传感器为例描述在正常光照条件下使用的图像传感器，以四传感器为例描述在低光照条件下使用的图像传感器，但本公开并不限于此。可以以至少两个图像传感器实践本公开的实施例。该至少两个图像传感器包括与图像传感器和普通图像传感器相比能够在较暗环境中更清楚地表达对象的传感器。
图6A是根据实施例的基于环境光照条件自动切换图像传感器的示例情景的示图。
在装置200后面板的顶部可设有四传感器，而底部可设有拜耳传感器。四传感器可以执行像素合并(即，可以将四个相邻的相同颜色的像素合并为一个像素)。因此，来自四传感器的输出像素可以比正常输出亮。诸如四传感器的图像传感器可以包括可以与两个或更多个像素通信的一个或多个混合门。混合门可以将两个或更多个光电二极管耦合在一起。混合后的光电二极管可以具有相同的滤色器(例如，都具有绿色滤光器)，或者可以不具有滤色器，或者可以具有不同的滤色器。当混合光电二极管时，颜色特征可能会丢失，但灵敏度可以增加。混合门可以选择性地连接光电二极管，以允许来自两个或更多个光电二极管的信号在各个像素之间重新平衡。然后可以通过诸如选择性地激活触发器传输门选择性地读出每个光电二极管的电荷，或者可以(通过激活所有触发器传输门)统一读出各个光电二极管的电荷。光电二极管可以被激活并且可以开始收集来自镜头的光。光电二极管可以被成组或成行地激活以进行卷帘快门操作，或者可以被同时激活以进行全局快门操作。四个像素可各自共享单个读出区域。
初始地，可以关闭四传感器，并开启拜耳传感器。当装置200处于正常光照条件下时，从拜耳传感器接收到的帧的勒克斯值表示相机处于正常光照条件下。当装置移至低光照场景时，从拜耳传感器接收到的帧的勒克斯值表示相机处于暗光照条件下。可以基于勒克斯值从拜耳传感器自动切换至四传感器。在暗光照条件下，四传感器可以提供更好的图像。
当装置200从暗光照场景移动到正常光照场景时，从四传感器接收的帧的勒克斯值表示相机处于正常光照条件下。可以基于勒克斯值从四传感器自动切换至拜耳传感器。在正常光照条件下，与四传感器相比，拜耳传感器可以提供更快的图像捕获。另外，可以针对两个相机中的一个相机执行图像的相机工作流程(pipeline)/处理，以确保功更低的功耗。
图6B是根据实施例的基于环境光照条件自动切换图像传感器的示图。在下文中，开和关可以被称为激活/停用或正常功耗模式/低功耗操作模式。换句话说，“开”是指传感器可以执行正常功能的状态，而“关”是指传感器无法执行至少一个正常功能的状态。
当相机关闭时，拜耳传感器和四传感器均被关闭。当相机开启时，拜耳传感器和四传感器均被开启。在一个示例中，当执行相机应用时，可以开启相机。进一步地，通过使拜耳传感器保持在开启状态，装置200可以初始认为相机处于正常光照条件下并且四传感器被关闭。换句话说，默认状态为开启拜耳传感器并关闭四传感器。如果拜耳传感器检测到环境光照条件为低于低光照，则开启四传感器，并关闭拜耳传感器。进一步地，四传感器将检查环境光照条件并确定相机处于正常光照条件，然后开启拜耳传感器并关闭四传感器。如果相机关闭，则两个图像传感器均被关闭。
图7是根据实施例的基于环境光照条件自动切换图像传感器的示图。
参考图7，图7的上半部分表示拜耳传感器处于激活状态下用于图像处理的功能块，图7的下半部分表示四传感器处于激活状态下用于图像处理的功能块。
拜耳传感器数据被发送到ISP。四传感器可以进入低功耗模式(LPM)。ISP可以执行诸如(但不限于)拜耳变换、去马赛克处理、降噪、图像锐化等操作。ISP可以将处理后的图像传输到YUV(亮度(Y)和两个色度(UV)分量)缓冲器。YUV缓冲器可以与颜色信息分开地提取亮度信息并且减少传输错误。捕获缓冲器和预览缓冲器可以在图像的工作流程期间暂时保存图像。硬件抽象层(HAL)可以充当代码的逻辑划分，该代码充当装置200的物理硬件与软件之间的抽象层。HAL提供了设备驱动程序接口，该接口允许程序与硬件进行通信。处理后的图像被显示在装置200的显示器上或被相应地存储为某种格式(例如，JPEG)。另外，另一图像传感器可以进入低功耗(LPM)模式，在LPM模式下图像传感器中的至少一个可以不生成图像帧，或者在LPM模式下由至少一个图像传感器生成的图像帧可以在ISP处被丢弃。
电子设备可以基于环境光照条件激活四传感器。当四传感器被激活时，四传感器数据将发送到ISP(图像信号处理器)。四传感器数据可以是将拜耳数据通过像素合并进行组合的数据。省略与拜耳传感器相同/相似的功能块的描述。为了实现无缝过渡，可以在一个传感器激活一段时间后停用另一传感器，而不是在激活该传感器的同时立即停用该另一传感器(或立即使该另一传感器进入低功耗模式)。在这种情况下，不同于图7，所有传感器均被激活，并且可以分别执行ISP和后处理。
图8A和8B是根据实施例的基于环境光照条件自动切换图像传感器的示图。
图8A描绘了用于图像传感器的自动切换的逻辑的逻辑表示。在图8A中，图8A的上半部分可以描绘拜耳传感器的逻辑，而图8A的下半部分可以描绘四传感器的逻辑。
切换时间包括光照条件检查时间(T)和稳定时间(N)。光照条件检查时间“T”可以是按要求进行配置的光照条件检查时间。在一个示例中，“T”可以是基于毫秒的。稳定时间是在传感器(或相机)之间进行切换后达到稳定的等待时间。例如，稳定时间是指直到3A(AF、AWB和AEC)中的至少一个稳定下来的等待时间，并且可以按要求进行配置。在一个示例中，“N”可以是基于帧的。在下文中，从第一图像传感器到第二图像传感器的切换是指要用于图像获取的图像传感器使用第二图像传感器而不是第一图像传感器，并且可以不指在开启第二图像传感器后立即关闭第一图像传感器。
从拜耳传感器切换至四传感器的勒克斯阈值条件可以是“＜BQlux”。“＜BQlux”表示勒克斯值可以小于BQlux。也就是说，当拜耳传感器检测到的勒克斯值小于BQlux时，电子设备操作配备有四传感器的相机。从四传感器切换至拜耳传感器的勒克斯阈值条件可以是“＞QBlux”。“＞QBlux”表示勒克斯值可以大于QBlux。也就是说，当由四传感器检测到的勒克斯值大于QBlux时，电子设备操作配备有拜耳传感器的相机。
电子设备可以根据通过传感器检测到的勒克斯值确定环境光照条件。环境光照条件可以包括例如强光照条件、正常光照条件或暗光照条件中的至少一种。电子设备可以在监控时间内接收勒克斯值以确定环境光照条件。电子设备可以基于在监控时间内接收到的勒克斯值确定用于指示环境光照条件的勒克斯值。
例如，电子设备通过对在时间段T内接收到的勒克斯值(即，＜BQlux或＞QBlux)求平均来确定环境照明条件。另外，在另一个示例中，电子设备确定在时间段T内接收到的所有勒克斯值(即，＜BQlux或＞QBlux)。
在相机之间切换需要稳定时间。在本文中，稳定时间可以指用于调整相机设置的默认值以便通过激活的相机(即，驱动程序激活的相机)获取图像的时间间隔。例如，电子设备的相机的设置可以是上述AF设置、AWB设置和AEC设置中的至少一种。在调整相机设置的默认值的同时，电子设备可以使先前的相机保持激活状态。电子设备可以确定相机设置的至少一个参数的默认值，然后停用先前的相机。
参考图8A所示的示例，在切换至第二图像传感器期间，用于3A稳定的等待时间可以根据预定义值来确定，或者可以通过在切换第一传感器之前等待3A会聚来确定，其中该预定义值是基于假设传感器参数3A值何时在特定帧数内稳定下来而确定的。在这种情况下，基于3A会聚所需的帧数，N的值是可变的。此外，考虑勒克斯阈值来切换相机操作。如果周围的勒克斯小于BQlux，则四传感器可能会提供更好的图像。如果周围的勒克斯大于QBlux，则拜耳传感器可以提供更好的图像。
图8B是切换相机操作的时序图。时序图的上半部分表示随时间变化的勒克斯值，时序图的下半部分表示随时间变化的传感器操作。
在一个示例中，对于BQlux，从拜耳传感器切换至四传感器的勒克斯阈值是50。另外，对于QBlux，从四传感器切换至拜耳传感器的勒克斯阈值是70。监控环境光照条件是否小于BQlux的时间段为t2-t1，稳定四传感器的3A的时间段为t3-t2。进一步地，如果环境光照条件大于QBlux，则监控的时间段为t5-t4，而稳定拜耳传感器的3A的时间段为t6-t5。
电子设备可以在t2-t1期间监控环境光照条件。可以基于电子设备的环境光照条件确定从拜耳传感器到四传感器的过渡。电子设备可以激活四传感器。即使激活了四传感器，也可能需要一些时间来稳定四传感器。因此，电子设备可以使拜耳传感器在t3-t2时段内保持激活状态。也就是说，拜耳传感器和四传感器均可在t3-t2期间处于激活状态。在t3之后，电子设备可以关闭拜耳传感器。另外，使用激活的四传感器，即使在黑暗的环境中，电子设备也可以获取到包括清晰对象的图像。此后，电子设备可以在t5-t4期间监控环境光照条件。基于电子设备的环境光照条件，可以确定从四传感器到拜耳传感器的过渡。电子设备可以再次激活拜耳传感器。即使激活了拜耳传感器，也可能需要一些时间来稳定拜耳传感器。在t6之后，电子设备可以关闭四传感器。另外，可以使用激活的拜耳传感器获取图像。
根据一个实施例，用于切换至四传感器的勒克斯阈值BQlux可以被配置为不同于用于切换至拜耳传感器的勒克斯阈值QBlux。考虑到迟滞现象，可以防止频繁切换相机切换操作。根据另一个实施例，不同于附图，BQlux和QBlux可以被相同地配置。
根据一个实施例，用于切换至四传感器的监控时间t2-t1和稳定时间t3-t2被配置为不同于监控时间t4-t3和稳定时间t5-t4。例如，可以基于激活的传感器的参数确定监控时间。例如，可以基于新激活的传感器的参数来确定稳定时间。在一个示例中，可以基于拜耳传感器的参数确定t2-t1，并且可以基于四传感器的参数确定t3-t2。根据另一个实施例，每个稳定时间和每个监控时间可以被相同地配置。
根据本公开实施例的电子设备可以执行基于光照的自适应相机切换。自适应相机切换可以包括自动切换。电子设备可以基于检测到的光照条件执行相机切换。
电子设备可以在包括拜耳传感器的相机和包括四传感器的相机之间提供无缝切换。即使当四传感器被激活时，电子设备也可以通过保持拜耳传感器的激活状态而平稳地提供图像，直到四传感器稳定地进行操作为止。换句话说，为了防止在开启四传感器时停用拜耳传感器而导致相机功能可能发生的延迟，当四传感器被激活时，电子设备可以使拜耳传感器保持一段时间的激活状态。类似地，当拜耳传感器被激活时，四传感器的激活状态也可以保持一定的时间间隔。该时间间隔可以被称为稳定时间。
图8A至图8B示出作为稳定时间的3A会聚时间，但是可以以各种其他方式确定稳定时间。在一些实施例中，稳定时间可以是预定值。例如，稳定时间可以是固定值(例如10ms)。
在一些实施例中，可以基于相机模式配置稳定时间。相机模式可以是连续拍摄模式、运动图像拍摄模式和正常拍摄模式中的至少一种。例如，当每个图像的质量较为重要时(例如，正常拍摄模式下)，可以将稳定时间配置为相对较长的一段时间。通过较长的稳定时间，电子设备可以使用两个传感器获得高质量图像。另外，例如，在由于拍摄时间较长因而省电比图像质量更重要的模式(例如，运动图像拍摄模式)下，可以将稳定时间设置为相对较短的一段时间。
在一些实施例中，可以基于当前光照条件确定稳定时间。电子设备可以基于在监控时间期间获得的勒克斯值确定稳定时间。例如，通过当前光照条件和阈值之间的差来稳定相机可能会花费较长时间。电子设备可以基于当前光照条件和阈值差来确定稳定时间。
在一些实施例中，可以根据传感器性能确定稳定时间。传感器可以是根据相机切换而激活的传感器。例如，由于传感器对光变化敏感，因此稳定时间可能较短。如果每个传感器的光检测参数不同，则可以以不同的方式配置稳定时间。
图9A是根据实施例的在变化的光照条件下进行视频录制的示例情景的示图。
参考图9A，电子设备可以执行视频录制。如图9A所示，视频录制最开始在正常光照条件下进行，然后装置200逐渐移动至暗光照场景。图9A的左侧示出使用单个拜耳传感器执行的视频录制，图9A的右侧示出使用拜耳传感器和四传感器执行的视频录制。也就是说，在图9A的右侧，电子设备可以通过根据光照条件自适应地切换拜耳传感器和四传感器来执行视频记录。此处，光照条件可以包括由电子设备的传感器获取的环境光照条件。作为示例，在图9A的右侧，电子设备可以处于电子设备的自动切换功能被激活的状态。在图9A的右侧，当在变化的光照条件下录制视频时，电子设备可以基于环境光照条件，通过从拜耳传感器自动切换至四传感器来获得更好的视频质量。
图9B是根据实施例的基于图像中的面部区域的光照条件切换图像传感器的示例情景的示图。
参考图9B，电子设备可以使用拜耳传感器捕获图像。光照变化很大的场景可以同时包括明亮的对象和昏暗的对象。电子设备可以从所捕获的图像中检测面部区域。电子设备可以获得面部区域的勒克斯值。例如，电子设备的软件模块可以计算面部区域的勒克斯值。电子设备可以基于计算出的勒克斯值确定是否自动切换至四传感器。在正常光照条件下，如果检测到面部昏暗，则开启四传感器，从而确保与拜耳传感器图像相比，面部区域明显提亮。具体地，在没有用户干预的情况下，电子设备可以基于面部区域(面部范围)的勒克斯值激活四传感器。如果勒克斯值小于指定值，则电子设备可以从拜耳传感器切换至四传感器，这是因为拍摄人像(例如肖像)时需要明亮地检测面部。
图9C是根据实施例的在低光照期间检测场景中的光照条件的示例情景的示图。
参考图9C，电子设备可以获得预览图像。可以检测在多个预览图像中更清楚地表达对象的场景。为了更清晰地显示对象，需要充足的光。当使用场景检测算法时，可以使用根据本公开实施例的自动切换。通过根据光照量在传感器之间进行切换，电子设备可以使用至少一个传感器。如果装置200检测到场景，则拜耳传感器可以在暗环境光照条件下在不突出场景中的对象的情况下提供昏暗图像输出。然而，四传感器可以在突出显示场景中的对象的情况下输出明亮图像。因此，当检测到低光照条件时，电子设备可以自动将传感器切换为四传感器。通过在暗环境下输出更亮的图像，即使在暗环境中也可以检测到更清晰的场景。
图9D是根据实施例的提供优化的LLS的示例情景的示图。
参考图9D，来自四传感器的具有较少噪声的明亮帧可以被传送到LLS模块，LLS模块可能需要大约200毫秒来处理两个帧。LLS块可以是可用于低光照摄影的库。LLS块可以获取多个帧作为输入并进行后处理。LLS块还可以应用帧融合以生成质量更高的输出帧。当装置200处于低光照场景中时，自动切换至四传感器。进一步地，由于四传感器在低光照条件下可提供更好的图像，因此LLS模块可以需要较少的帧数。
作为具体示例，参考如上所述的图1B，LLS块需要大约500ms来处理五个帧。然而，通过使用图9D示出的方案中的四传感器，只需要200毫秒。与拜耳传感器相比，使用四传感器可以输出相对较亮的图像，因而图像中的噪声分量相对较少，从而减少图像处理所需的帧数，并可以缩短处理时间。
在本公开中，示出了拜耳传感器和四传感器间的自适应切换，但是在特定情况下通过激活两个传感器获取媒体(例如，图像)的进一步操作也可以理解为一个实施例。尽管本公开以拜耳传感器和四传感器为例进行了描述，但是本公开实施例包括具有至少两个传感器(或相机)的电子设备(或相机)，其中该至少两个传感器(或相机)具有随光照条件变化而变化的性能指标。
图10A是根据实施例的基于环境光照条件使用与电子设备200相关联的至少两个相机捕获媒体的方法1000a的流程图。在步骤1002，方法1000a包括：响应于启用电子设备200中的图像捕获应用，从第一相机获得至少一个预览帧。在步骤1004，方法1000a包括确定所获得的至少一个预览帧的环境光参数。在步骤1006，方法1000a包括：如果所确定的环境光参数低于预定义阈值，则电子设备200的相机操作从第一相机切换至第二相机以捕获媒体。
方法1000a中的各种动作可以以所呈现的顺序执行，或以不同的顺序执行，或被同时执行。此外，在一些实施例中，图10A中列出的一些动作可以被省略。
图10B是根据实施例的将相机操作从第二相机切换至第一相机的方法1000b的流程图。
在步骤1008，方法1000b包括：如果所确定的环境光参数高于预定义阈值，则将相机操作从第二相机切换至第一相机。在步骤1010，方法1000b包括使用与电子设备200相关联的第一相机捕获场景。
方法1000b中的各种动作可以以所呈现的顺序执行，或以不同的顺序执行，或被同时执行。此外，在一些实施例中，图10B中列出的一些动作可以被省略。
图10C是根据实施例的在切换相机操作时提供指示的方法1000c的流程图。
在步骤1012，方法1000c包括分析从第一相机获得的预览帧的至少一部分的环境光参数。在步骤1014，方法1000c包括：基于确定从第一相机获得的预览帧的至少一部分的环境光参数，确定将相机操作切换至第二相机。在步骤1016，方法1000c包括在切换相机操作时提供指示。
方法1000c中的各种动作可以以所呈现的顺序执行，或以不同的顺序执行，或被同时执行。此外，在一些实施例中，图10C中列出的一些动作可以被省略。
图10D是根据实施例的响应于切换相机操作而从第二相机获得预览帧的方法的流程图。
在步骤1022，方法1000d包括：响应于启用电子设备200中的图像捕获应用，由电子设备200从第一相机获得至少一个预览帧。在步骤1024，方法1000d包括：通过分析所获得的至少一个预览帧中的勒克斯值，由电子设备200确定所获得的至少一个预览帧的环境光照条件，其中勒克斯值包括环境光照条件。在步骤1026，方法1000d包括：当所确定的环境光照条件低于第一预定义阈值时，由电子设备200将电子设备的相机操作从第一相机切换至第二相机。在步骤1028，方法1000d包括：响应于切换相机操作，由电子设备200从第二相机获得预览帧。在步骤1030，方法1000d包括：当下一个环境光照条件高于第二预定义阈值时，由电子设备200将相机操作从第二相机切换至第一相机。在步骤1032，方法1000d包括：基于所确定的勒克斯值，由电子设备200使用第一相机和第二相机捕获媒体。
方法1000d中的各种动作可以以所呈现的顺序执行，或以不同的顺序执行，或被同时执行。此外，在一些实施例中，图10D中列出的一些动作可以被省略。
图10E是根据实施例的基于所确定的环境光照条件切换相机操作的方法1000e的流程图。
在步骤1042，方法1000e包括：由电子设备200分别从电子设备200的第一图像传感器和第二图像传感器获得第一传感器数据和第二传感器数据中的至少一个。换句话说，电子设备200从第一图像传感器获得第一传感器数据。电子设备200从第二图像传感器获得第二传感器数据。例如，第一传感器数据和第二传感器数据包括由每个图像传感器在“T”毫秒内确定的勒克斯值。在另一示例中，第一传感器数据包括由第一图像传感器在“T1”毫秒内确定的勒克斯值，第二传感器数据包括由第二图像传感器在“T2”毫秒内确定的勒克斯值。
在步骤1044，方法1000e包括由电子设备200确定所以下至少一项：所获得的勒克斯值是否小于第一阈值、或所获得的勒克斯值是否大于第二阈值。电子设备200确定所获得的勒克斯值是否小于第一阈值。此外，电子设备200确定所获得的勒克斯值是否大于第二阈值。
在步骤1046，方法1000e包括基于所确定的勒克斯值确定相机切换。在一个示例中，方法1000e包括：如果所确定的勒克斯值小于第一阈值，则由电子设备200从第一相机切换至第二相机。在另一个示例中，方法1000e包括：如果所确定的勒克斯值大于第二阈值，则由电子设备200从第二相机切换至第一相机。
在步骤1048，方法1000e包括执行用于相机切换的稳定过程。在稳定过程中，调整默认参数使得根据相机切换激活的相机(即，图像传感器)可以无缝地工作。方法1000e包括：由电子设备200通过等待3A会聚时间来稳定切换后的第一相机和第二相机中的至少一个的“N”个帧，其中3A会聚时间包括用于调整AF、AWB和AEC中的至少一个的时间。
方法1000e中的各种动作可以以所呈现的顺序执行，或以不同的顺序执行，或被同时执行。此外，在一些实施例中，图10E中列出的一些动作可以被省略。
图10F是根据实施例的使第一图像传感器和第二图像传感器中的至少一个在未被使用时进入低功耗模式的方法1000f的流程图。
在步骤1052，方法1000f包括：基于确定了第一相机和第二相机之间的切换，由电子设备200使第一图像传感器和第二图像传感器中的至少一个进入低功耗模式。在步骤1054，方法1000f包括由电子设备200执行以下操作中的至少一个：停止从传感器生成帧、由ISP丢弃从第一相机和第二相机中的至少一个接收的帧。在此，传感器是进入低功耗模式的传感器，该传感器可以是在切换之前使用的传感器。在一个示例中，当电子设备200移动到暗光照条件中时，第一相机传感器可以是拜耳传感器。在一个示例中，当电子设备200移动到正常光照条件中时，第一相机传感器可以是四传感器。
尽管图10F中未示出，但是方法1000f包括：在使第一相机和第二相机中的至少一个进入低功耗模式后，由电子设备200基于从第一相机和第二相机中的至少一个获得的多个预览帧确定勒克斯值。并且，方法1000f包括：如果所确定的勒克斯值为以下至少一项：大于第一阈值和第二阈值中的至少一个、小于第一阈值和第二阈值中的至少一个，则由电子设备200在第一相机和第二相机之间切换。例如，如果勒克斯值小于第一阈值，则电子设备将第一相机切换至第二相机。又例如，如果勒克斯值大于第二阈值，则电子设备将第二相机切换至第一相机。
方法1000f中的各种动作可以以所呈现的顺序执行，或以不同的顺序执行，或被同时执行。此外，在一些实施例中，图10F中列出的一些动作可以被省略。
图10G是根据实施例的识别图像中的面部和场景中的至少一个的方法1000g的流程图。
在步骤1062，方法1000g包括：由电子设备200通过第一相机和第二相机中的至少一个识别图像中的面部区域(即，与面部相关联的场景)中的至少一个。在步骤1064，方法1000g包括：由电子设备200基于从第一图像传感器和第二图像传感器中的至少一个接收的多个勒克斯值确定所识别的面部区域和场景的勒克斯值。在步骤1066，方法1000g包括基于所确定的勒克斯值进行相机切换。方法1000g包括：如果检测到的面部和场景的所确定的勒克斯值为以下至少一项：大于第一阈值和第二阈值中的至少一个、小于第一阈值和第二阈值中的至少一个，则由电子设备200进行以下至少一项切换操作：从第一相机切换至第二相机、从第二相机切换至第一相机。具体地，如果所确定的勒克斯值小于第一阈值，则电子设备从第一相机切换至第二相机。相反，如果所确定的勒克斯值高于第二阈值，则电子设备从第二相机切换至第一相机。
方法1000g中的各种动作可以以所呈现的顺序执行，或以不同的顺序执行，或被同时执行。此外，在一些实施例中，图10G中列出的一些动作可以被省略。
尽管图2至图10G描述了通过在相机拍摄期间选择性地激活图像传感器中的至少一个来捕获介质的操作，但是也可以利用除图像传感器之外的其他传感器。
在一些实施例中，除了图像传感器之外，电子设备还可以基于陀螺仪传感器执行自适应相机切换以确定环境光照条件。电子设备可以在监控时间期间获得勒克斯值，以确定环境光照条件。此时，电子设备可以考虑陀螺仪传感器的检测结果。陀螺仪传感器可以检测电子设备的姿势。通过确定电子设备的姿势在监控时间期间内是否维持，电子设备可以根据检测到的勒克斯值提高环境光照条件的可靠性。例如，如果电子设备的姿势(姿态)在监控时间(例如，T毫秒)内改变，则即使检测到不足的勒克斯值，电子设备也不会从拜耳传感器切换至四传感器。电子设备可以再次监控环境光照条件。
此外，在一些实施例中，电子设备可以根据各实施例基于握持传感器执行自适应相机切换。握持传感器可以检测用户握住电子设备的哪个区域。电子设备可以基于握持传感器的检测结果确定是否在拜耳传感器和四传感器之间进行切换。电子设备可以通过握持传感器最大限度地避免不必要的故障。
为了确定特定条件是否被满足，本公开使用了“大于或等于”或“小于或等于”等表述，但这些表述仅是表达实施方式的示例，并不排除超过或少于的描述。描述为“大于或等于”的条件可以替换为“大于”，而描述为“小于或等于”的条件可以替换为“小于”。
本文使用的术语“模块”可以表示例如包括硬件、软件和固件的一个或多个组合的单元。术语“模块”可以与术语“逻辑”、“逻辑块”、“部件”和“电路”互换使用。“模块”可以是集成部件的最小单元，也可以是集成部件的一部分。“模块”可以是用于执行一个或多个功能或一个或多个功能的一部分的最小单元。例如，“模块”可以包括ASIC。
本公开的各实施例可以由软件来实现。软件包括存储在机器(例如，计算机)可读的机器可读存储介质中的指令。机器可以是从机器可读存储介质调用指令并根据所调用的指令进行操作的设备，并且可以包括电子设备。当指令由处理器执行时，处理器可以直接执行与指令相对应的功能，或在处理器的控制下使用其他组件执行与指令相对应的功能。该指令可以包括由编译器或解释器生成或执行的代码。可以以非瞬时性存储介质的形式提供机器可读存储介质。在此，本文所使用的术语“非瞬时性”是对介质(即，有形的，而非信号)本身的限制，而不是对数据存储持久性的限制。
根据一个实施例，根据本公开公开的各实施例的方法可以被提供为计算机程序产品的一部分。计算机程序产品可以作为产品在买卖双方之间进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者可以仅通过应用商店(例如，Play StoreTM)分发。对于线上分发而言，计算机程序产品的至少一部分可以临时存储或生成在存储介质(例如制造商的服务器的存储器、应用商店的服务器的存储器或中继服务器的存储器)中。
根据各实施例的每个组件(例如，模块或程序)可以包括上述组件中的至少一个，并且可以省略上述子组件的一部分，或者可以进一步包括附加的其他子组件。替代地或附加地，一些组件可以被集成在一个组件中，并且可以在集成之前执行由每个相应组件执行的相同或相似的功能。根据本公开的各实施例的由模块、程序或其他组件执行的操作可以顺序地、并行地、重复地或以启发式方法来执行。而且，至少一些操作可以以不同的顺序被执行，或者可以被省略，或者可以添加其他操作。
虽然已经参考本公开的某些实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离本公开的范围的情况下，可以对形式和细节进行各种改变。因此，本公开的范围不应被限定为限于各实施例，而应由所附权利要求及其等同物限定。

Claims (20)

1.一种使用与电子设备相关联的多个相机捕获媒体的装置，所述装置包括：
至少一个存储器，被配置为存储指令；以及
至少一个处理器，
其中，当所述指令被执行时，所述至少一个处理器被配置为：
响应于启用电子设备中的图像捕获应用，从第一相机获得至少一个预览帧；
确定所获得的至少一个预览帧的第一环境光参数；
在所确定的第一环境光参数小于第一预定义阈值的情况下，激活第二相机；
在激活所述第二相机与停用所述第一相机之间的时间间隔内执行所述第二相机的设置，其中所述时间间隔是基于所确定的第一环境光参数与所述第一预定义阈值之间的差来确定的；
在所述时间间隔后停用所述第一相机；以及
使用与所述电子设备相关联的所述第二相机捕获场景，
其中所述第一相机包括提供第一灵敏度的第一图像传感器，
其中所述第二相机包括提供第二灵敏度的第二图像传感器，以及
其中所述第二灵敏度高于所述第一灵敏度。
2.根据权利要求1所述的装置，其中所述至少一个处理器还被配置为：
使用所述第二相机确定第二环境光参数；
在所确定的第二环境光参数高于第二预定义阈值的情况下，激活所述第一相机；
在激活所述第一相机与停用所述第二相机之间的另一时间间隔内执行所述第一相机的设置，其中，所述另一时间间隔是基于所确定的第二环境光参数与所述第二预定义阈值之间的差来确定的；
在所述另一时间间隔后停用所述第二相机；以及
使用与所述电子设备相关联的所述第一相机捕获场景，
其中，所述第二预定义阈值大于所述第一预定义阈值。
3.根据权利要求1所述的装置，其中所述至少一个处理器还被配置为：
分析从所述第一相机获得的预览图像的至少一部分的第一环境光参数；
基于确定了从所述第一相机获得的所述预览图像的所述至少一部分的所述第一环境光参数，确定将相机操作从所述第一相机切换至所述第二相机；以及
在切换所述相机操作时提供指示。
4.根据权利要求1所述的装置，其中，
所述第一图像传感器包括拜耳传感器，以及
所述第二图像传感器包括四传感器。
5.根据权利要求1所述的装置，其中所述第一环境光参数包括勒克斯值、传感器数据、场景分析数据、面部识别数据和光强度中的至少一项。
6.根据权利要求1所述的装置，其中所述第二相机的所述设置包括自动对焦AF设置、自动白平衡AWB设置或自动曝光控制AEC设置中的至少一项。
7.根据权利要求1所述的装置，其中所述至少一个处理器还被配置为：
响应于激活所述第二相机，使所述第一图像传感器进入低功耗模式；以及
执行以下操作中的至少一个：停止从所述第一图像传感器生成帧，以及由图像信号处理器ISP丢弃从所述第一相机接收的帧。
8.根据权利要求1所述的装置，其中为了确定所述第一环境光参数，所述至少一个处理器被配置为：
识别至少一个预览图像的面部区域；以及
将所识别的面部区域的勒克斯值确定为所述第一环境光参数。
9.根据权利要求1所述的装置，其中，
所述第一图像传感器被配置为输出像素的数据，以及
所述第二图像传感器被配置为通过基于像素合并组合像素，来输出合并数据。
10.根据权利要求1所述的装置，其中所述至少一个处理器还被配置为：使用所述第二相机执行在所捕获的场景中突出对象的处理。
11.一种由使用与电子设备相关联的多个相机捕获媒体的装置执行的方法，所述方法包括：
响应于启用电子设备中的图像捕获应用，从第一相机获得至少一个预览帧；
确定所获得的至少一个预览帧的第一环境光参数；
在所确定的第一环境光参数小于第一预定义阈值的情况下，激活第二相机；
在激活所述第二相机与停用所述第一相机之间的时间间隔内执行所述第二相机的设置，其中所述时间间隔是基于所确定的第一环境光参数与所述第一预定义阈值之间的差来确定的；
在所述时间间隔后停用所述第一相机；以及
使用与所述电子设备相关联的所述第二相机捕获场景，
其中所述第一相机包括提供第一灵敏度的第一图像传感器，
其中所述第二相机包括提供第二灵敏度的第二图像传感器，以及
其中所述第二灵敏度高于所述第一灵敏度。
12.根据权利要求11所述的方法，还包括：
使用所述第二相机确定第二环境光参数；
在所确定的第二环境光参数高于第二预定义阈值的情况下，激活所述第一相机；
在激活所述第一相机与停用所述第二相机之间的另一时间间隔内执行所述第一相机的设置，其中，所述另一时间间隔是基于所确定的第二环境光参数与所述第二预定义阈值之间的差来确定的；
在所述另一时间间隔后停用所述第二相机；以及
使用与所述电子设备相关联的所述第一相机捕获场景，
其中，所述第二预定义阈值大于所述第一预定义阈值。
13.根据权利要求11所述的方法，还包括：
分析从所述第一相机获得的预览图像的至少一部分的第一环境光参数；
基于确定了从所述第一相机获得的所述预览图像的所述至少一部分的所述第一环境光参数，确定将相机操作从所述第一相机切换至所述第二相机；以及
在切换所述相机操作时提供指示。
14.根据权利要求11所述的方法，其中，
所述第一图像传感器包括拜耳传感器，以及
所述第二图像传感器包括四传感器。
15.根据权利要求11所述的方法，其中所述第一环境光参数包括勒克斯值、传感器数据、场景分析数据、面部识别数据和光强度中的至少一项。
16.根据权利要求11所述的方法，其中所述第二相机的所述设置包括自动对焦AF设置、自动白平衡AWB设置或自动曝光控制AEC设置中的至少一项。
17.根据权利要求11所述的方法，还包括：
响应于激活所述第二相机，使所述第一图像传感器进入低功耗模式；以及
执行以下操作中的至少一个：停止从所述第一图像传感器生成帧，以及由图像信号处理器ISP丢弃从所述第一相机接收的帧。
18.根据权利要求11所述的方法，其中确定所述第一环境光参数包括：
识别至少一个预览图像的面部区域；以及
将所识别的面部区域的勒克斯值确定为所述第一环境光参数。
19.根据权利要求11所述的方法，其中，
所述第一图像传感器被配置为输出像素的数据，以及
所述第二图像传感器被配置为通过基于像素合并组合像素，来输出合并数据。
20.根据权利要求11所述的方法，还包括：使用所述第二相机执行在所捕获的场景中突出对象的处理。
CN201980036871.XA 2018-06-08 2019-06-10 使用电子设备中的多个相机捕获媒体的方法和装置 Active CN112219389B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
IN201841021587 2018-06-08
IN201841021587 2019-03-22
KR1020190067586A KR20190139788A (ko) 2018-06-08 2019-06-07 전자 장치에서 복수의 카메라들을 이용하여 미디어를 캡쳐하기 위한 방법 및 장치
KR10-2019-0067586 2019-06-07
PCT/KR2019/006955 WO2019235903A1 (en) 2018-06-08 2019-06-10 Methods and apparatus for capturing media using plurality of cameras in electronic device

Publications (2)

Publication Number Publication Date
CN112219389A CN112219389A (zh) 2021-01-12
CN112219389B true CN112219389B (zh) 2021-11-23

Family

ID=69052135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980036871.XA Active CN112219389B (zh) 2018-06-08 2019-06-10 使用电子设备中的多个相机捕获媒体的方法和装置

Country Status (3)

Country Link
EP (1) EP3777124B1 (zh)
KR (1) KR20190139788A (zh)
CN (1) CN112219389B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220053320A (ko) 2020-10-22 2022-04-29 삼성전자주식회사 이미지 센서 및 이의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856707A (zh) * 2012-12-03 2014-06-11 联想(北京)有限公司 一种摄像头切换方法、装置及电子设备
CN104601874A (zh) * 2013-10-31 2015-05-06 索尼公司 工作模式的控制方法、装置以及电子设备
CN107635101A (zh) * 2017-10-27 2018-01-26 广东欧珀移动通信有限公司 拍摄方法、装置、存储介质和电子设备
CN107959778A (zh) * 2017-11-30 2018-04-24 广东欧珀移动通信有限公司 基于双摄像头的成像方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7859588B2 (en) * 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
JP5623470B2 (ja) * 2012-07-06 2014-11-12 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856707A (zh) * 2012-12-03 2014-06-11 联想(北京)有限公司 一种摄像头切换方法、装置及电子设备
CN104601874A (zh) * 2013-10-31 2015-05-06 索尼公司 工作模式的控制方法、装置以及电子设备
CN107635101A (zh) * 2017-10-27 2018-01-26 广东欧珀移动通信有限公司 拍摄方法、装置、存储介质和电子设备
CN107959778A (zh) * 2017-11-30 2018-04-24 广东欧珀移动通信有限公司 基于双摄像头的成像方法和装置

Also Published As

Publication number Publication date
CN112219389A (zh) 2021-01-12
KR20190139788A (ko) 2019-12-18
EP3777124B1 (en) 2022-12-07
EP3777124A4 (en) 2021-04-14
EP3777124A1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
US11012603B2 (en) Methods and apparatus for capturing media using plurality of cameras in electronic device
CN106375739B (zh) 图像传感器及其信号处理方法
CN111052727B (zh) 电子装置及其控制方法
JP6461372B2 (ja) 撮影方法、撮影装置、及び端末
US9542754B2 (en) Device and method for detecting moving objects
CN109565551B (zh) 对齐于参考帧合成图像
US9160912B2 (en) System and method for automatic image capture control in digital imaging
JP6394338B2 (ja) 画像処理装置、画像処理方法、及び撮像システム
US11563889B2 (en) Electronic device and method for controlling camera using external electronic device
EP3854069B1 (en) Automated camera mode selection
US10931882B2 (en) Imaging device, control method of imaging device, and storage medium, with controlling of exposure levels of plurality of imaging units
US10438372B2 (en) Arithmetic method, imaging apparatus, and storage medium
KR20200094500A (ko) 이미지 프레임 데이터에 포함된 라인 데이터를 복수의 구간들로 처리하는 전자 장치 및 방법
CN112219389B (zh) 使用电子设备中的多个相机捕获媒体的方法和装置
US20210190594A1 (en) Personal electronic device with built-in visible camera and thermal sensor with thermal information available in the visible camera user interface and display
US11200653B2 (en) Local histogram matching with global regularization and motion exclusion for multi-exposure image fusion
WO2017071560A1 (zh) 图片处理方法及装置
WO2021154807A1 (en) Sensor prioritization for composite image capture
KR20210018121A (ko) 글로벌 정규화 및 모션 배제를 포함하는 로컬 히스토그램 매칭을 수행하는 전자 장치 및 방법
CN115526786B (zh) 图像处理方法及其相关设备
JP7130375B2 (ja) 画像処理装置、撮影装置、画像処理方法、およびプログラム
CN114202488A (zh) 一种图像融合方法及装置
CN114342350A (zh) 成像控制装置、成像控制方法、程序以及成像设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant