CN111788568A - 利用相机感测多个波长带宽生成多个信息的方法及其设备 - Google Patents

利用相机感测多个波长带宽生成多个信息的方法及其设备 Download PDF

Info

Publication number
CN111788568A
CN111788568A CN201980015156.8A CN201980015156A CN111788568A CN 111788568 A CN111788568 A CN 111788568A CN 201980015156 A CN201980015156 A CN 201980015156A CN 111788568 A CN111788568 A CN 111788568A
Authority
CN
China
Prior art keywords
light
image
wavelength bandwidth
pixel
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980015156.8A
Other languages
English (en)
Other versions
CN111788568B (zh
Inventor
成沄卓
姜和映
金宗宣
李基赫
金奉灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111788568A publication Critical patent/CN111788568A/zh
Application granted granted Critical
Publication of CN111788568B publication Critical patent/CN111788568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Vascular Medicine (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Abstract

一种电子装置包括第一发光器、第二发光器、相机、以及处理器；该处理器被配置为：控制相机从由外部对象反射的第一发光器输出的第一波长带宽的光和第二发光器输出的第二波长带宽的光获取该外部对象的图像数据；利用外部对象的第一像素图像数据的差异、图像的与一个或更多个第二像素相对应的第一像素数据之间的差异来生成外部对象的第一图像数据，通过合并图像数据的与一个或更多个第二像素相对应的第二像素数据来生成外部对象的第二图像数据，并且基于第一图像数据生成认证信息并利用第二图像数据生成深度信息。

Description

利用相机感测多个波长带宽生成多个信息的方法及其设备
技术领域
本公开涉及一种用于在电子装置中同时获取并处理不同波长带宽的图像的设备和方法。
背景技术
随着电子装置性能的提高，电子装置提供的各种服务和附加功能正在增加。为了提高电子装置的实用性并满足用户的各种需求，开发了电子装置的可用的各种应用。
这样的应用与相机功能有关，并且用户可以使用电子装置上的相机模块来拍摄他/她的自拍照或背景。
电子装置的相机模块可以用于生物识别或视觉识别。电子装置可以将多个图像用于生物识别或视觉识别。例如，用于虹膜扫描的相机模块可以通过使用约850nm的光来扫描用户的虹膜图像(例如，第一图像)。通过避免室外环境的室外光噪声来识别对象的相机模块可以通过使用约940nm的光来识别对象(例如，第二图像)。
为了利用不同带宽的光来执行功能，例如在一个电子装置中执行虹膜扫描功能和深度测量功能，该电子装置需要专用于各个波长带宽的至少两个相机模块。为了获取多个图像，电子装置通过顺序地驱动相机模块来获取图像并依次处理图像，这延长了图像处理时间。
发明内容
问题的解决方案
本公开的实施例通过提供一种用于在电子装置中同时获取并处理具有不同波长带宽的多个图像的设备和方法来解决现有技术的上述缺陷。
本公开的另一示例方面在于提供一种用于在电子装置中实时获取虹膜图像和深度信息二者的设备和方法。
本公开的又一示例方面是提供一种用于通过电子装置中的图像传感器同时获取并处理具有不同波长带宽的多个图像的设备和方法，该电子装置包括包含用于感测具有不同波长带宽的光信号的多个像素的图像传感器。
根据本公开的示例方面，一种电子装置可以包括：包含被配置为输出第一波长带宽的光的第一发光电路的第一发光器；包含被配置为输出第二波长带宽的光的第二发光电路的第二发光器；包含图像传感器的相机，该图像传感器被配置为布置用于感测与第一波长带宽和第二波长带宽相对应的光的一个或更多个第一像素和用于感测与第二波长带宽相对应的光的一个或更多个第二像素；以及处理器。该处理器可以被配置为控制电子装置利用第一光源输出第一波长带宽光并且利用第二光源输出第二波长带宽光，以及电耦接至图像传感器并且通过指定接口连接至处理器的控制电路。该控制电路可以被配置为：利用相机从由外部对象反射的第一波长带宽光和第二波长带宽光获得外部对象的图像数据；利用图像数据的与一个或更多个第一像素相对应的第一像素数据和与一个或更多个第二像素相对应的第二像素数据之间的差异来生成外部对象的第一图像数据；通过合并(binning)图像数据的与一个或更多个第二像素相对应的第二像素数据来生成外部对象的第二图像数据；以及通过指定接口向处理器发送第一图像数据和第二图像数据，其中，该处理器被配置为基于第一图像数据生成认证信息并且利用第二图像数据生成深度信息。
根据本公开的另一示例方面，一种用于在电子装置中生成图像的方法可以包括：生成第一波长带宽的第一光和第二波长带宽的第二光；利用图像传感器从外部对象反射的光获得外部对象的图像数据，该图像传感器布置了用于感测与第一波长带宽和第二波长带宽相对应的光的一个或更多个像素以及用于感测与第二波长带宽相对应的光的一个或更多个像素；利用图像数据的与一个或更多个第一像素相对应的第一像素数据和与一个或更多个第二像素相对应的第二像素数据之间的差异来生成外部对象的第一图像数据；通过合并图像数据的与一个或更多个第二像素相对应的第二像素数据生成外部对象的第二图像数据；以及通过指定接口向应用处理器发送第一图像数据和第二图像数据，以基于第一图像数据生成认证信息并利用第二图像数据生成深度信息。
根据本公开的又一示例方面，一种电子装置可以包括：包含被配置为输出第一波长带宽的光的第一发光电路的第一发光器；包含被配置为输出第二波长带宽的光的第二发光电路的第二发光器；包含图像传感器的相机；以及处理器，该处理器被配置为控制电子装置利用第一光源输出第一波长带宽的光并利用第二光源输出第二波长带宽的光，利用第一像素和第二像素之间的差异生成第一图像，并且通过合并第二像素生成第二图像。图像传感器可以包括像素阵列，该像素阵列包括：用于检测第一波长带宽和第二波长带宽的光并将其转换为电信号的第一像素；被配置为使第二波长带宽的光通过的滤波器；以及用于检测被滤波后的第二波长带宽的光并将其转换为电信号的第二像素。
从以下结合附图的详细描述中，本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见，该详细描述披露了本公开的各种实施例。
附图说明
从以下结合附图的详细描述中，本公开的特定实施例的上述及其他方面、特征以及优点将更加显而易见，其中：
图1是示出根据各种实施例的网络环境中的示例电子装置的框图；
图2是示出根据各种实施例的示例相机模块的框图；
图3是示出根据各种实施例的示例电子装置的视图；
图4是示出根据各种实施例的相机模块的示例结构的分解透视图；
图5是示出根据各种实施例的电子装置的示例结构的视图；
图6是示出根据各种实施例的电子装置的图像传感器的像素阵列的示例结构的视图；
图7是示出根据各种实施例的在电子装置中同时获取多波长带宽的信息的示例的视图；
图8是示出根据各种实施例的在电子装置中生成图像的视图；
图9是示出根据各种实施例的在电子装置中处理图像的示例的流程图；以及
图10是示出根据各种实施例的在电子装置生成图像的示例的流程图。
在整个附图中，相似的附图标记将被理解为表示相似的部件、组件和结构。
具体实施方式
将参考附图描述本公开的各种示例实施例。在以下描述中，如果公知的功能或构造将在不必要的细节上使本公开模糊，则可以不对其进行详细描述。根据用户和操作者的意图或实践，以下描述的考虑本公开中的功能来定义的术语可以不同。因此，应该基于本公开的整体来理解这些术语。
图1是示出根据各种实施例的网络环境中的示例电子装置的框图。
参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其他部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其他部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置1的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其他部件(例如，处理器120)使用的命令或数据。输入装置150可以包括例如麦克风、鼠标或键盘。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)，
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙TM、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据一个实施例，天线模块197可以包括一个或更多个天线，并且从中，可以选择适合于在通信网络中例如通过通信模块190(例如，无线通信模块192)使用的通信方案的至少一个天线，例如第一网络198或第二网络199。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2是示出了根据各种实施例的示例相机模块的框图。
参照图2，相机模块280可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。
镜头组件210可采集从将被拍摄图像的物体发出或反射的光。镜头组件210可包括一个或更多个透镜。根据实施例，相机模块180可包括多个镜头组件210。在这种情况下，相机模块180可形成例如双相机、360度相机或球形相机。多个镜头组件210中的一些镜头组件210可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件210可包括例如广角镜头或长焦镜头。
闪光灯220可发光，其中，发出的光用于增强从物体反射的光。根据实施例，闪光灯220可包括一个或更多个发光二极管(LED)(例如，红绿蓝色(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。
图像传感器230可通过将从物体发出或反射并经由镜头组件210透射的光转换为电信号来获取与物体相应的图像。根据实施例，图像传感器230可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如，RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器230中的每个图像传感器。
图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜，或者响应于相机模块180或包括相机模块180的电子装置101的移动来控制图像传感器230的可操作属性(例如，调整读出时序)。这样，允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如，图像模糊)的至少一部分。根据实施例，图像稳定器240可使用布置在相机模块180之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块180或电子装置101的这样的移动。根据实施例，可将图像稳定器240实现为例如光学图像稳定器。
存储器250可至少暂时地存储经由图像传感器230获取的图像的至少一部分以用于后续的图像处理任务。例如，如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟，则可将获取的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器250中，并且可经由显示装置160来预览其相应的副本图像(例如，低分辨率图像)。然后，如果满足了指定的条件(例如，通过用户的输入或系统命令)，则可由例如图像信号处理器260来获取和处理存储在存储器250中的原始图像的至少一部分。根据实施例，可将存储器250配置为存储器130的至少一部分，或者可将存储器250配置为独立于存储器130进行操作的分离的存储器。
图像信号处理器260可对经由图像传感器230获取的图像或存储在存储器250中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。图像信号处理器260可对包括在相机模块180中的部件中的至少一个部件(例如，图像传感器230)执行控制(例如，曝光时间控制或读出时序控制)。可将由图像信号处理器260处理的图像存储回存储器250以用于进一步处理，或者可将该图像提供给在相机模块180之外的外部部件(例如，存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据实施例，可将图像信号处理器260配置为处理器120的至少一部分，或者可将图像信号处理器260配置为独立于处理器120进行操作的分离的处理器。如果将图像信号处理器260配置为与处理器120分离的处理器，则可由处理器120经由显示装置160将由图像信号处理器260处理的至少一个图像按照其原样显示，或者可将所述至少一个图像在被进一步处理后进行显示。
根据实施例，电子装置101可包括具有不同属性或功能的多个相机模块180。在这种情况下，所述多个相机模块180中的至少一个相机模块180可形成例如广角相机，并且所述多个相机模块180中的至少另一个相机模块180可形成长焦相机。类似地，所述多个相机模块180中的至少一个相机模块180可形成例如前置相机，并且所述多个相机模块180中的至少另一个相机模块180可形成后置相机。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括但不限于例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器等。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其他方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其他部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其他部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其他操作。
图3是示出根据各种实施例的示例电子装置的视图。
参照图3，电子装置(例如，图1的电子装置101)可以包括第一发光器(例如，包括第一发光电路)330、第二发光器(例如，包括第二发光电路)340、相机模块320和处理器(例如，包括处理电路)310。
第一发光器330和第二发光器340可各自包括相应的发光电路并输出不同波长带宽的光。例如，第一发光器330和第二发光器340可以是红外发光二极管(LED)，但是本公开不限于此。例如，如果电子装置支持虹膜扫描，则第一发光器330可以输出适合于虹膜扫描的波长带宽的光，而第二发光器340可以输出适合于深度信息获取的波长带宽的光。根据各种实施例，第一发光器330和第二发光器340可以顺序地输出相应的波长带宽的光，或者同时输出相应的波长带宽的光。根据实施例，电子装置可以驱动第一发光器330和第二发光器340两者以将第一波长带宽的光和第二波长带宽的光发射到外部对象350。
相机模块320(例如，图1的相机模块180)可以包括图像传感器325，该图像传感器325用于通过接收从对象350反射的第一波长带宽的光和第二波长带宽的光来生成像素信息。图像传感器325(例如，图2的图像传感器230)可以包括滤波器和像素。滤波器可以包括用于使第一波长带宽和第二波长带宽的光通过的滤波器和/或用于使第二波长带宽的光通过的滤波器。像素可以包括用于识别第一波长带宽和第二波长带宽的光的第一像素和用于识别第二波长带宽的光的第二像素。第一像素和第二像素可以布置为网格结构中的像素阵列。
例如，图像传感器325可以包括用于识别第一波长带宽和第二波长带宽的光的第一像素、用于使第二波长带宽的光通过的滤波器、以及用于识别被过滤后的第二波长带宽的光的第二像素。
例如，图像传感器325可以包括用于使第一波长带宽和第二波长带宽的光通过的第一滤波器以及被配置为感测被过滤后的第一波长带宽和第二波长带宽的光的第一像素传感器。图像传感器325可以包括用于使第二波长带宽的光通过的第二滤波器以及被配置为感测被过滤后的第一波长带宽和第二波长带宽的光的第二像素传感器。
处理器310可以包括各种处理电路，并且控制第一发光器330、第二发光器340和照相机模块320，并且可以处理由相机模块320捕获的图像。例如，处理器310可以是图1的处理器120。例如，处理器310可以是图2的图像信号处理器260。
处理器310可以控制电子装置通过控制第一发光器330和第二发光器340两者来发射第一波长带宽的第一光和第二波长带宽的第二光。处理器310可以通过图像传感器325接收基于从外部对象反射的第一波长带宽和第二波长带宽的光的像素信息，从而获得外部对象350的图像数据。处理器310可以利用图像数据中的在第一像素传感器处获得的第一波长带宽和第二波长带宽的信号与在第二像素处获得的第二波长带宽的信号之间的差异，来生成外部对象的第一图像数据。第一图像数据可以是基于第一波长带宽的信号的图像数据。处理器310可以通过合并从图像数据中的一个或多更个第二像素获得的第二像素信息来生成外部对象350的第二图像数据。第二图像数据可以是基于第二波长带宽的信号的图像数据。处理器310可以基于第一图像数据生成认证信息，并使用第二图像数据生成深度信息。
根据实施例，如果处理器310是相机模块的图像信号处理器(例如，图2的图像信号处理器260)，则处理器310可以生成第一图像数据和第二图像数据并且通过接口向应用处理器(例如，图1的处理器120)传输所生成的第一图像数据和第二图像数据。应用处理器可以基于第一图像数据和第二图像数据执行认证。
根据实施例，如果处理器310是电子装置的处理器(例如，图1的处理器120)，则处理器310可以通过相机模块320获得第一像素信息和第二像素信息，并基于第一像素信息和第二像素信息生成第一图像数据和第二图像数据。处理器310可以基于所生成的第一图像数据和第二图像数据执行认证。
图4是示出根据各种实施例的相机模块的示例结构180的分解透视图。
参照图4，相机模块180可以包括透镜组件210、图像稳定器240、滤波器410、图像传感器230、印刷电路板420和图像信号处理器(例如，包括图像处理电路)260中的至少一个。
滤波器410可以包括仅使特定频带光通过的带通滤波器或阻挡特定频带光的带阻滤波器。根据实施例，滤波器410可以设置在透镜组件210下方，即，在相机模块180内部。因此，通过透镜组件210的光的至少一部分可以被滤波器410阻挡。例如，如果滤波器410是仅使红外频带光通过的带通滤波器，则滤波器410可仅使通过透镜组件210的光的红外频带光通过。根据一个实施例，滤波器410可以被配置为阻挡可见光并且使红外光(波长超过700nm)通过。
图像传感器230可以包括将模拟电信号转换为数字电信号的ADC。图像传感器230可以在其中包括存储器(未示出)。图像传感器230可以将数字电信号(即，从像素输出的数据)临时存储在存储器中，并且将数据输出到外部电路(例如，处理器120或存储器130)。图像传感器230可以包括用于数据输入和输出的接口，并且可以根据接口的输出速度将数据输出到外部电路。
图像传感器230可以包括包含多个像素的像素阵列。像素阵列可以包括光电二极管，该光电二极管将从外部接收的光转换成模拟电信号。例如，如果图像传感器230的像素阵列从外部接收光，则在像素阵列的至少一个像素中发生光电转换，因此接收到的光可以被转换为电信号。光电转换的光的频带根据图像传感器230的材料而变化。根据实施例，图像传感器230可以由硅形成。电子装置101可以通过图像传感器230通过将从对象穿过透镜组件210和滤波器410的光转换为电信号，来获取与对象相对应的图像。
根据实施例，图像传感器230的像素阵列的像素可以包括仅阻挡或通过特定频带光的滤波器。滤波器可以安装在像素阵列的像素上。安装在像素上的滤波器可以将通过透镜组件210的光的特定波长带宽光传输或不传输到光电二极管。
例如，滤波器410可以是用于使特定的波长带宽光通过的滤波器。滤波器可以不安装在第一像素上，并且用于通过特定波长带宽(例如940nm)的光的滤波器可以安装在第二像素上。第一像素可以基于第一波长带宽(例如，810nm)和第二波长带宽(例如，940nm)的光来生成像素信息，并且第二像素可以基于用于仅使第二波长带宽(例如940nm)的光通过的滤波器生成像素信息。
例如，滤波器410可以包括第一滤波器和第二滤波器。像素阵列可以将第一像素和第二像素以网格布置。第一滤波器可以安装在第一像素上，第二滤波器可以安装在第二像素上。第一滤波器可以是用于使第一波长带宽(例如810nm)和第二波长带宽(例如940nm)的光通过的带通滤波器，第二滤波器可以是用于使第二波长带宽(例如940nm)的光通过的滤波器。
印刷电路板420可以电耦接到图像传感器230和图像信号处理器260。印刷电路板420可以将在图像传感器230处生成的电信号转发到图像信号处理器260。
图4描绘了相机模块180的示例，图4的组件可以以各种方式组合，并且电子装置可以包括一个或更多个组件。
图5是示出根据各种实施例的电子装置的示例结构的视图。图5的电子装置500可以是图1的电子装置101。
根据实施例，电子装置500可以包括用于利用红外频带的第一波长带宽和第二波长带宽的光识别对象的相机模块501(例如，图3的相机模块320)、用于输出红外频带的第一波长带宽的光的红外光源507(例如，图3的第一发光器330)、以及用于输出红外频带的第二波长带宽的光的红外光源509(例如，图3的第二发光器340)。
相机模块501可以基于第一波长带宽和第二波长带宽的光来生成第一像素信息，并且可以基于第二波长带宽的光来生成第二像素信息。例如，第一波长带宽可以是810nm频带，并且第二波长带宽可以是940nm频带。
电子装置500可以基于从红外光源507输出的第一波长带宽光和从红外光源509输出的第二波长带宽光，通过相机模块501识别对象。例如，电子装置500可以使用从红外光源507输出的红外光810nm来扫描用户的虹膜，并使用从红外光源509输出的红外光940nm来从对象获得深度信息。
可以通过具有单个红外相机的电子装置500例如但不限于利用多个频带的光来实现本公开的各种示例实施例。相机模块可以通过电子装置500的壳体的一部分暴露于外部。例如，相机模块可以被安装在电子装置500的前表面或后表面的一部分中。
图6是示出根据各种实施例的电子装置的图像传感器的像素阵列的示例结构的视图。
参照图6，电子装置101可以包括至少一个图像传感器230。图像传感器230可以包括包含多个像素601和603的像素阵列600。
图像传感器(例如，图2的图像传感器230、图3的图像传感器325)可以包括网格结构的像素阵列，在该网格结构中，第一像素601(例如，A像素)和第二像素603(例如，B像素)交替。图6的像素阵列的第一像素601和第二像素603以1：1交替。然而，第一像素601和第二像素603可以以不同的比率(例如4：1、8：1等)交替。
第一发光器(例如，图3的第一发光器330)可以输出作为第一波长带宽的801nm的光，并且第二发光器(例如，图3的第二发光器340)可以输出作为第二波波长带宽的940nm的光。从外部对象反射的第一波长带宽和第二波长带宽的光可以被输入到像素阵列的第一像素601和第二像素603。
根据实施例，像素阵列600的第一像素601可以用于感测810nm和940nm的红外光。例如，如果图像传感器230的像素阵列600接收到810nm和940nm的红外光，则光电转换可以在第一像素601处发生，以将接收到的光转换成电信号。第一像素601可以不包括滤波器，并且可以接收从第一发光器输出的第一波长带宽的光和从第二发光器输出的第二波长带宽的光。用于使第一波长带宽810nm和第二波长带宽940nm的光通过的带通滤波器可以安装在第一像素601上，以接收第一波长带宽和第二波长带宽的光。电子装置101可以基于从第一像素601产生的电信号来获得虹膜信息。
根据实施例，用于使第二波长带宽的光通过的带通滤波器可以安装在像素阵列600的第二像素603上。如果像素阵列600接收到第一波长带宽和第二波长带宽的光，则滤波器可以使第二波长带宽的光通过，并且第二像素603可以通过接收第二波长带宽的光来生成像素信息。例如，如果图像传感器230的像素阵列600接收到810nm和940nm的红外光，则滤波器可以使940nm的光通过，并且第二像素603可以将接收到的光光电转换为电信号。基于从第二像素603产生的电信号，电子装置101可以通过测量电子装置101与对象之间的距离或获得对象的运动信息来获取对象的深度信息。
图7是示出根据各种实施例的在电子装置中同时获取多波长带宽的信息的示例的视图。在各种实施例中，图7可以示出处理器的控制电路。
参照图7，处理器(例如，图3的处理器310)(未示出)可以控制电子装置通过驱动第一发光器720(例如，图3的第一发光器330)和第二发光器730(例如，图3的第二发光器340)二者来向对象740(例如，图3的对象350)输出第一波长带宽和第二波长带宽的光。第一波长带宽和第二波长带宽的光可以由对象740反射并输入到相机模块710(例如，图3的相机模块320)。
相机模块710可以包括图像传感器(例如，图3的图像传感器325)。图像传感器可以包括如图6所示构造的像素阵列。在像素阵列中，第一像素(例如，图6的A像素610)可以不包括滤波器，或者可以包括用于使第一波长带宽和第二波长带宽的光通过的滤波器。因此，像素阵列的第一像素可以接收第一波长带宽和第二波长带宽的混合光并将其转换为电信号750。像素阵列的第二像素(例如，图6的B像素603)可以包括使第二波长带宽的光通过的滤波器。因此，像素阵列的第二像素可以接收第二波长带宽的光并将其转换为电信号760。
可以通过从由第一像素输出的第一波长带宽和第二波长带宽的混合信号中去除第二波长带宽的信号来提取第一波长带宽的信号。例如，可以通过从第一像素输出信号750中去除第二像素输出信号760来提取第一波长带宽的信号。第一像素和第二像素可以在像素阵列的网格中交替，因此可以从像素阵列提取第一像素信息750和第二像素信息760。第二像素信息760可以被像素移位以匹配第一像素信息770的提取位置。处理器可以通过从第一像素信息780去除基于移位的第二像素信息770的第二波长带宽的信号，来提取第一波长带宽的信号。处理器可以通过对提取的第一波长带宽的信号790进行内插来生成第一图像。处理器可以通过对第二像素信息760进行合并来生成第二图像。
例如，第一图像可以是用于虹膜扫描的图像，第二图像可以是用于深度信息获取的图像。例如，第一波长带宽可以是810nm，并且第二波长带宽可以是940nm。例如，第二图像可以是用940nm的结构化的光图案照亮的面部图像，因此可以获取深度信息(例如，点云)。电子装置可以同时提取虹膜图像和深度信息。如果处理器驱动第一发光器720和第二发光器730两者，则第一波长带宽810nm和第二波长带宽940nm的光可以从对象740反射并同时输入到图像传感器。图像传感器的第一像素(I像素、BW像素)可以基于波长带宽810nm+940nm的混合光输出第一像素信息，第二像素(D像素)可以输出基于波长带宽940nm的第二像素信息。可以通过从波长带宽810nm+940nm的混合光中去除940nm信号来获取第一像素信息的810nm的第一波长带宽信号。处理器可以通过对从第一像素信息去除第二波长带宽的信号进行内插来生成第一图像(即，虹膜图像790)，并且可以通过合并第二像素信息795来生成第二图像以提取深度信息。处理器可以使用虹膜图像和深度信息来进行复杂的认证或检测伪图像以增强安全性。
图8是示出根据各种实施例的在电子装置中生成图像的视图。
参照图8，处理器(例如，图3的处理器310)可以包括第一像素获取器(例如，包括像素获取电路)810、第二像素获取器(例如，包括第二像素获取电路)820、像素移位器(例如，包括像素移位电路)830、第一波信息获取器(例如，包括第一波信息获取电路)840、第一图像生成器(例如，包括图像生成电路)850以及第二图像生成器(例如，包括图像生成电路)860。例如，处理器可以是图1的处理器120。例如，处理器可以是图2的图像信号处理器260。
第一像素获取器810可以包括各种电路，并且获取从图像传感器(例如，图2的图像传感器230、图3的图像传感器325)的第一像素输出的信息。第一像素可以不包括滤波器，或者可以包括用于使第一波长带宽和第二波长带宽的光通过的带通滤波器。第一像素获取器810可以获取从图像传感器的第一像素输出的第一波长带宽信息和第二波长带宽信息。
第二像素获取器820可以包括各种电路，并且获取从图像传感器(例如，图2的图像传感器230、图3的图像传感器325)的第二像素输出的信息。第二像素可以包括用于使第二波长带宽光通过的带通滤波器。第二像素获取器820可以获取从图像传感器的第二像素输出的第二波长带宽信息。
像素移位器830可以包括各种电路，并且可以将在第二像素获取器820处获得的第二像素信息移位以在位置上匹配第一像素信息。例如，像素移位器830可将第二像素水平或垂直移位一个像素以在位置上与第一像素重叠。
第一波信息获取器840可以包括各种电路，并且基于从像素移位器830输出的第二像素信息，从由第一像素获取器810输出的第一像素信息中去除第二像素信息。第一像素信息可以是第一波长带宽信息和第二波长带宽信息的混合。可以基于第一波长带宽信息来生成第一图像。在各个实施例中，第一波信息获取器840可以通过从作为第一波长带宽信息和第二波长带宽信息的混合的第一像素信息中去除第二波长带宽信息来提取第一波长带宽信息。第一波信息获取器840可以包括计算器，该计算器从第一像素信息中减去第二像素信息。
第一图像生成器850可以包括各种电路，并且通过对从第一波信息获取器840输出的信息进行内插来生成第一图像。图像传感器的像素阵列可以具有网格结构，如图6所示，在该网格结构中，第一像素和第二像素交替。因此，可能无法在像素阵列中的第二像素的位置处获得第一像素信息。第一图像生成器850可以通过对从第一波信息获取器840获取的信息进行内插来填充具有第二波信息的第二像素信息。
第二图像生成器860可以包括各种电路，并且通过对从第二像素获取器820获取的第二像素信息进行合并来生成第二图像。
处理器生成的第一图像和第二图像可以被组合以执行诸如认证的功能。例如，基于第一波长带宽(810nm)信息的第一图像可以是虹膜图像，并且第二波长带宽(940nm)信息可以是深度信息。处理器可以基于第一图像(虹膜图像)和第二图像(深度信息)执行虹膜扫描。
根据各种实施例，电子装置可以包括：包含被配置为输出第一波长带宽的光的第一发光电路的第一发光器；包含被配置输出第二波长带宽的光的第二发光电路的第二发光器；包含图像传感器的相机，该图像传感器被配置为布置用于感测与第一波长带宽和第二波长带宽相对应的光的一个或更多个像素并且布置用于感测与第二波长带宽相对应的光的一个或更多个第二像素；以及电耦接至图像传感器并且包括通过指定接口连接到应用处理器的控制电路的处理器。控制电路可以被配置为：控制相机从外部对象反射的由第一发光器输出的第一波长带宽光和第二发光器输出的第二波长带宽光获得外部对象的图像数据；利用图像数据的与一个或更多个第一像素相对应的第一像素数据和与一个或更多个第二像素相对应的第二像素数据之间的差异来生成第一图像数据；通过将图像数据的与一个或更多个第二像素相对应的第二像素数据合并来生成外部对象的第二图像数据；以及通过指定接口向处理器发送第一图像数据和第二图像数据，其中，该处理器被配置为基于第一图像数据生成认证信息并且利用第二图像数据生成深度信息。
根据各种实施例，处理器可以被配置为利用第一光源输出第一波长带宽光并且利用第二光源输出第二波长带宽光。
根据各种实施例，控制电路被配置为移位第二像素数据以在位置上与第一像素数据相对应，并且通过基于移位的第二像素数据从第一像素去除第二像素数据来生成第一波长带宽的像素数据的第一图像。
根据各种实施例，控制电路可以被配置为：作为生成第一图像数据的一部分，利用第一波长带宽的像素数据的差异在第一图像的第二像素数据位置处生成内插值。
根据各种实施例，第一波长带宽可以用于获取虹膜图像，并且第二波长带宽可以用于获取深度信息。
根据各种实施例，处理器可以被配置为至少利用认证信息和深度信息来认证外部对象。
根据各种实施例，该认证可以是虹膜认证。
根据各种实施例，电子装置可以包括：包含被配置为输出第一波长带宽的光的第一发光电路的第一发光器；包含被配置为输出第二波长带宽的光的发光电路的第二发光器；包含像素阵列和图像传感器的相机，该像素阵列包括被配置为将第一波长带宽和第二波长带宽的光转换为第一电信号的一个或更多个第一像素以及被配置为将第二波长带宽的光转换为第二电信号的一个或更多个第二像素，该图像传感器包括安装在一个或更多个第二像素中的至少一部分上并且使第二波长带宽的光通过的滤波器；以及处理器。处理器可以被配置为：控制电子装置利用第一光源输出第一波长带宽的光并且利用第二光源输出第二波长带宽的光；利用第一信号和第二信号之间的差异来生成第一图像；并且利用第二信号生成第二图像。
根据各种实施例，像素阵列可以将第一像素和第二像素以网格布置。
根据各种实施例，电子装置还可以包括安装在第一像素上并且使第一波长带宽和第二波长带宽的光通过的滤波器。
根据各种实施例，处理器可以被配置为：控制相机从外部对象反射的第一波长带宽光和第二波长带宽光获得外部对象的图像数据；利用图像数据的与一个或更多个第一像素相对应的第一像素数据和与一个或更多个第二像素相对应的第二像素数据之间的差异来生成第一图像数据；通过将图像数据的与一个或更多个第二像素相对应的第二像素数据合并来生成外部对象的第二图像数据；以及通过指定接口向处理器发送第一图像数据和第二图像数据，其中，该处理器被配置为基于第一图像数据生成认证信息并且利用第二图像数据生成深度信息。
根据各种实施例，处理器可以被配置为移位第二像素数据以在位置上与第一像素数据相对应，并且通过基于移位的第二像素数据从第一像素去除第二像素数据来生成第一波长带宽的像素数据的第一图像。
根据各种实施例，处理器可以被配置为，作为生成第一图像数据的一部分，利用第一波长带宽的像素数据的差异在第一图像的第二像素数据位置处生成内插值。
图9是示出根据各种实施例的在电子装置中处理图像的示例的流程图。
参照图9，在操作911，处理器(例如，图3的处理器310)可以通过驱动第一发光器(例如，图3的第一发光器330)和第二发光器(例如，图3的第二发光器340)二者来向对象740(例如，图3的对象350)输出第一波长带宽和第二波长带宽的光。例如，处理器可以是图1的处理器120。例如，处理器可以是图2的图像信号处理器260。
第一波长带宽和第二波长带宽的光可以从对象反射并输入到相机模块(例如，图1的相机模块180、图2和图3的相机模块320)。相机模块可以包括图像传感器(例如，图3的图像传感器325)。图像传感器可包括如图6所示的结构中的包含第一像素和第二像素的像素阵列。在像素阵列中，第一像素(例如，图6的A像素610)可以不包括滤波器，或者可以包括用于使第一波长带宽和第二波长带宽的光通过的滤波器。因此，像素阵列的第一像素可以接收第一波长带宽和第二波长带宽的混合光并将其转换为电信号。像素阵列的第二像素(例如，图6的B像素603)可以包括使第二波长带宽的光通过的滤波器。因此，像素阵列的第二像素可以接收第二波长带宽光并将其转换为电信号。在操作913，处理器可以获得第一像素和第二像素的信息。
在操作915，处理器可以基于第一像素信息和第二像素信息生成第一图像和第二图像。第一图像可以是基于第一波长带宽信息的，并且第二图像可以是基于第二波长带宽信息的。处理器在向对象输出第一波长带宽和第二波长带宽的光的同时基于第一波长带宽和第二波长带宽分别生成图像。
在操作917，处理器可以通过基于所生成的第一图像和第二图像执行指定功能来处理第一图像和第二图像。指定功能可以是基于图像的认证功能。例如，第一图像可以是虹膜图像，第二图像可以是深度信息。处理器可以基于虹膜图像和深度信息来认证用户的虹膜信息。
图10是示出根据各种实施例的在电子装置中生成图像的视图。
参照图10，在操作1011，处理器(例如，图3的处理器310)可以获得第一像素信息。第一像素信息可以是第一波长带宽信息和第二波长带宽信息的混合。在操作1051，处理器可以获得第二像素信息。第二像素信息可以是第二波长带宽信息。在操作1053，处理器可以移位第二像素信息以将第二像素在位置上与第一像素匹配。在操作1013，处理器可以基于移位的第二像素信息从第一像素信息中去除第二像素信息。例如，处理器可以通过从作为第一波长带宽信息和第二波长带宽信息的混合的第一像素信息中去除第二波长带宽的第二像素信息来提取第一波长带宽信息。在操作1015，处理器可以通过对第一波长带宽进行内插并且利用第一波长带宽信息填充第二像素位置来生成第一图像。处理器可以输出在操作1017中生成的第一图像。在操作1055，处理器可以通过合并第二像素信息来生成第二图像。在操作1057，处理器可以输出所生成的第二图像。
第一图像可以包括虹膜信息，并且第二图像可以包括虹膜图像的深度信息。处理器可以同时驱动多个发光器，并且通过图像传感器获取虹膜图像和虹膜图像深度信息二者。处理器可以使用虹膜图像和深度信息来执行复杂的认证功能。
根据各种实施例，一种用于在电子装置中生成图像的方法可以包括：生成第一波长带宽的第一光和第二波长带宽的第二光；利用图像传感器从外部对象反射的光获得外部对象的图像数据，该图像传感器布置了用于感测与第一波长带宽和第二波长带宽相对应的光的一个或更多个像素以及用于感测与第二波长带宽相对应的光的一个或更多个像素；利用图像数据的与一个或更多个第一像素相对应的第一像素数据和与一个或更多个第二像素相对应的第二像素数据之间的差异来生成外部对象的第一图像数据；通过合并图像数据的与一个或更多个第二像素相对应的第二像素数据生成外部对象的第二图像数据；以及通过指定接口向应用处理器发送第一图像数据和第二图像数据，以基于第一图像数据生成认证信息并利用第二图像数据生成深度信息。
根据各种实施例，生成第一图像数据可以包括：移位第二像素数据以在位置上与第一像素数据相对应，以及通过基于移位的第二像素数据从第一像素去除第二像素数据来生成第一波长带宽的像素数据的第一图像。
根据各种实施例，生成第一图像数据可以进一步包括：利用第一波长带宽的像素数据的差异在第一图像的第二像素数据位置处生成内插值。
根据各种实施例，生成第二图像数据可以包括：根据第二波长带宽的光来获取第一像素数据，以及通过合并所获取的第一像素数据来生成第二图像。
根据各种实施例，第一波长带宽可以用于获取虹膜图像，并且第二波长带宽可以用于获取深度信息。
根据各种实施例，该方法可以进一步包括至少利用认证信息和深度信息来认证外部对象。
根据各种实施例，该认证可以是虹膜认证。
根据各种实施例的电子装置可以利用单个图像传感器同时获取不同波长带宽的多个图像，并且快速并行处理所获取的图像。例如，电子装置可以同时执行虹膜扫描和深度信息提取，从而快速获取这两个信息。通过使用单个图像传感器，根据各种实施例的电子装置可以减小其物理硬件尺寸。因此，可以容易地将其应用于小型移动装置，并且使用这两种信息可以进一步改进虹膜扫描。
虽然已经参考本公开的各种实施例对本公开进行了说明和描述，但是本领域技术人员将会理解，在不脱离由所附权利要求及其等同形式所限定的本发明的主旨和范围的前提下，可以对本发明进行形式和细节上的各种改变。

Claims (15)

1.一种电子装置，所述电子装置包括：
第一发光器，所述第一发光器包括被配置为输出第一波长带宽的光的第一发光电路；
第二发光器，所述第二发光器包括被配置为输出第二波长带宽的光的第二发光电路；
相机，所述相机包括图像传感器，所述图像传感器被配置为布置用于感测与所述第一波长带宽和所述第二波长带宽相对应的光的一个或更多个第一像素以及用于感测与所述第二波长带宽相对应的光的一个或更多个第二像素；以及
处理器，所述处理器电耦接到所述图像传感器并包括通过指定接口连接到应用处理器的控制电路，
其中，所述控制电路被配置为：
控制所述相机从由外部对象反射的所述第一发光器输出的第一波长带宽的光和所述第二发光器输出的第二波长带宽的光获取所述外部对象的图像数据，
利用所述图像数据的与所述一个或更多个第一像素相对应的第一像素数据和与所述一个或更多个第二像素相对应的第二像素数据之间的差异来生成所述外部对象的第一图像数据，
通过合并所述图像数据的与所述一个或更多个第二像素相对应的所述第二像素数据来生成所述外部对象的第二图像数据，并且
通过所述指定的接口向所述处理器发送所述第一图像数据和所述第二图像数据，其中，所述处理器被配置为基于所述第一图像数据生成认证信息并利用所述第二图像数据生成深度信息。
2.根据权利要求1所述的电子装置，其中，所述处理器被配置为控制所述电子装置利用第一光源输出所述第一波长带宽的光并利用第二光源输出所述第二波长带宽的光。
3.根据权利要求1所述的电子装置，其中，所述控制电路被配置为：移位所述第二像素数据以在位置上与所述第一像素数据相对应；以及
通过基于移位后的第二像素数据从所述第一像素数据中去除所述第二像素数据来生成所述第一波长带宽的像素数据的第一图像。
4.根据权利要求3所述的电子装置，其中，所述控制电路被配置为：作为生成所述第一图像数据的一部分，利用所述第一波长带宽的像素数据的差异在所述第一图像的第二像素数据位置处生成内插值。
5.根据权利要求4所述的电子装置，其中，所述第一波长带宽用于获取虹膜图像，以及
所述第二波长带宽用于获取深度信息。
6.根据权利要求1所述的电子装置，其中，所述处理器被配置为至少利用所述认证信息和所述深度信息来认证所述外部对象。
7.根据权利要求6所述的电子装置，其中，所述认证包括虹膜认证。
8.根据权利要求1所述的电子装置，其中，所述相机包括：
像素阵列，所述像素阵列包括被配置为将所述第一波长带宽和所述第二波长带宽的光转换为第一电信号的一个或更多个第一像素，以及被配置为将所述第二波长带宽的光转换第二电信号的一个或更多个第二像素；以及
图像传感器，所述图像传感器包括安装在所述一个或更多个第二像素的至少一部分上并且被配置为使所述第二波长带宽的光通过的一个或更多个滤波器。
9.一种在电子装置中生成图像的方法，所述方法包括：
生成第一波长带宽的第一光和第二波长带宽的第二光；
利用图像传感器从外部对象反射的光获得所述外部对象的图像数据，所述图像传感器被配置为布置用于感测与所述第一波长带宽和所述第二波长带宽相对应的光的一个或更多个第一像素以及用于感测与所述第二波长带宽相对应的光的一个或更多个第二像素；
利用所述图像数据的与所述一个或更多个第一像素相对应的第一像素数据和与所述一个或更多个第二像素相对应的第二像素数据之间的差异来生成所述外部对象的第一图像数据；
通过合并所述图像数据的与所述一个或更多个第二像素相对应的所述第二像素数据来生成所述外部对象的第二图像数据；以及
通过指定的接口向应用处理器发送所述第一图像数据和所述第二图像数据，以基于所述第一图像数据生成认证信息并利用所述第二图像数据生成深度信息。
10.根据权利要求9所述的方法，其中，生成所述第一图像数据包括：
移位所述第二像素数据以在位置上与所述第一像素数据相对应；以及
通过基于移位后的第二像素数据从所述第一像素数据中去除所述第二像素数据来生成所述第一波长带宽的像素数据的第一图像。
11.根据权利要求10所述的方法，其中，生成所述第一图像数据进一步包括：
利用所述第一波长带宽的像素数据的差异在所述第一图像的第二像素数据位置处生成内插值。
12.根据权利要求10所述的方法，其中，生成所述第二图像数据包括：
基于所述第二波长带宽光，获取第一像素数据；以及
通过合并所获取的第一像素数据来生成第二图像。
13.根据权利要求12所述的方法，其中，所述第一波长带宽用于获取虹膜图像，以及
所述第二波长带宽用于获取深度信息。
14.根据权利要求9所述的方法，所述方法进一步包括：
至少利用所述认证信息和所述深度信息来认证所述外部对象。
15.根据权利要求14所述的方法，其中，所述认证包括虹膜认证。
CN201980015156.8A 2018-03-02 2019-02-28 利用相机感测多个波长带宽生成多个信息的方法及其设备 Active CN111788568B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180025334A KR102507746B1 (ko) 2018-03-02 2018-03-02 복수의 파장대역을 감지할 수 있는 카메라를 이용하여 복수의 정보를 생성하는 방법 및 이를 구현한 전자 장치
KR10-2018-0025334 2018-03-02
PCT/KR2019/002427 WO2019168374A1 (en) 2018-03-02 2019-02-28 Method for generating plural information using camera to sense plural wave bandwidth and apparatus thereof

Publications (2)

Publication Number Publication Date
CN111788568A true CN111788568A (zh) 2020-10-16
CN111788568B CN111788568B (zh) 2024-05-28

Family

ID=67768666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980015156.8A Active CN111788568B (zh) 2018-03-02 2019-02-28 利用相机感测多个波长带宽生成多个信息的方法及其设备

Country Status (5)

Country Link
US (1) US11238279B2 (zh)
EP (1) EP3750093A4 (zh)
KR (1) KR102507746B1 (zh)
CN (1) CN111788568B (zh)
WO (1) WO2019168374A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7392302B2 (ja) * 2019-06-25 2023-12-06 株式会社リコー 画像処理装置、画像形成装置および画像処理方法
WO2021256576A1 (ko) * 2020-06-16 2021-12-23 엘지전자 주식회사 깊이 영상 생성 장치 및 그 동작방법
TWI791181B (zh) * 2020-07-28 2023-02-01 敦泰電子股份有限公司 內嵌式光學指紋顯示裝置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120212597A1 (en) * 2011-02-17 2012-08-23 Eyelock, Inc. Efficient method and system for the acquisition of scene imagery and iris imagery using a single sensor
US20130277533A1 (en) * 2004-08-25 2013-10-24 Protarius Filo Ag, L.L.C. Digital camera with multiple pipeline signal processors
KR20150037628A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 생체인식 카메라
US20150245767A1 (en) * 2014-02-28 2015-09-03 Lrs Identity, Inc. Dual iris and color camera in a mobile computing device
US20150304535A1 (en) * 2014-02-21 2015-10-22 Samsung Electronics Co., Ltd. Multi-band biometric camera system having iris color recognition
US20170134704A1 (en) * 2014-06-24 2017-05-11 Hitachi Maxell, Ltd. Imaging processing device and imaging processing method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008131201A1 (en) * 2007-04-19 2008-10-30 Global Rainmakers, Inc. Method and system for biometric recognition
US20150205992A1 (en) * 2014-01-21 2015-07-23 Lumidigm, Inc. Multispectral imaging biometrics
CN105917357B (zh) * 2014-02-12 2019-06-28 三星电子株式会社 具有带通滤波器和可变光源的灵敏生物识别相机
KR101608316B1 (ko) 2014-05-08 2016-04-01 아이리텍 잉크 실외 및 실내에서의 홍채이미지 획득장치 및 방법
US20170034456A1 (en) 2015-07-31 2017-02-02 Dual Aperture International Co., Ltd. Sensor assembly with selective infrared filter array
US10212366B2 (en) * 2016-06-17 2019-02-19 Fotonation Limited Iris image acquisition system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130277533A1 (en) * 2004-08-25 2013-10-24 Protarius Filo Ag, L.L.C. Digital camera with multiple pipeline signal processors
US20120212597A1 (en) * 2011-02-17 2012-08-23 Eyelock, Inc. Efficient method and system for the acquisition of scene imagery and iris imagery using a single sensor
KR20150037628A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 생체인식 카메라
US20150304535A1 (en) * 2014-02-21 2015-10-22 Samsung Electronics Co., Ltd. Multi-band biometric camera system having iris color recognition
US20150245767A1 (en) * 2014-02-28 2015-09-03 Lrs Identity, Inc. Dual iris and color camera in a mobile computing device
US20170134704A1 (en) * 2014-06-24 2017-05-11 Hitachi Maxell, Ltd. Imaging processing device and imaging processing method

Also Published As

Publication number Publication date
US11238279B2 (en) 2022-02-01
KR102507746B1 (ko) 2023-03-09
EP3750093A1 (en) 2020-12-16
US20190272423A1 (en) 2019-09-05
CN111788568B (zh) 2024-05-28
KR20190104796A (ko) 2019-09-11
WO2019168374A1 (en) 2019-09-06
EP3750093A4 (en) 2021-04-07

Similar Documents

Publication Publication Date Title
US11461910B2 (en) Electronic device for blurring image obtained by combining plural images based on depth information and method for driving the electronic device
CN109309796B (zh) 使用多个相机获取图像的电子装置和用其处理图像的方法
CN109756671B (zh) 使用多个相机记录图像的电子装置及其操作方法
CN109672827B (zh) 用于组合多个图像的电子装置及其方法
US11363199B2 (en) Apparatus and method for estimating optical image stabilization motion
US11032459B2 (en) Camera module including reinforcement members for supporting printed circuit board on which plurality of image sensors are disposed and electronic device including the same
US11025890B2 (en) Electronic device and method for acquiring depth information by using at least one of cameras or depth sensor
CN111788568B (zh) 利用相机感测多个波长带宽生成多个信息的方法及其设备
CN113228616A (zh) 具有多单元结构的相机模块和包括其的便携式通信装置
US11509815B2 (en) Electronic device and method for processing image having human object and providing indicator indicating a ratio for the human object
CN111742320A (zh) 提供与应用有关的文本翻译管理数据的方法及其电子装置
CN113366527A (zh) 用于处理图像的电子装置和方法
CN114846608A (zh) 包括图像传感器的电子设备及其操作方法
US11297266B2 (en) Electronic device and method for obtaining data from second image sensor by means of signal provided from first image sensor
US11558587B2 (en) Camera module comprising complementary color filter array and electronic device comprising same
US11146720B2 (en) Electronic device for providing function by using RGB image and IR image acquired through one image sensor
US11190682B2 (en) Electronic device and method for controlling plurality of image sensors
US11354777B2 (en) Image processing device and method of electronic device
US11494885B2 (en) Method for synthesizing image on reflective object on basis of attribute of reflective object included in different image, and electronic device
US20210037191A1 (en) Electronic device for selectively compressing image data according to read out speed of image sensor, and method for operating same
US11070751B2 (en) Electronic device and image up-sampling method for electronic device
CN115066882A (zh) 用于执行自动对焦的电子装置和方法
KR20210130972A (ko) 전자 장치의 컬러 필터, 및 그 전자 장치
US11264426B2 (en) Image sensor for detecting infrared multi-band, and electronic device using same
KR102553150B1 (ko) 외부 전자 장치와 이미지를 처리하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant