CN116325777A - 获取光量的电子设备及方法 - Google Patents

获取光量的电子设备及方法 Download PDF

Info

Publication number
CN116325777A
CN116325777A CN202180069303.7A CN202180069303A CN116325777A CN 116325777 A CN116325777 A CN 116325777A CN 202180069303 A CN202180069303 A CN 202180069303A CN 116325777 A CN116325777 A CN 116325777A
Authority
CN
China
Prior art keywords
electronic device
light source
data
region
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180069303.7A
Other languages
English (en)
Inventor
金恩镐
朴宰亨
李正源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116325777A publication Critical patent/CN116325777A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K9/00—Screening of apparatus or components against electric or magnetic fields

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)

Abstract

根据本公开的实施方式，在电子设备中，电子设备可以包括：存储器、显示器、相机模块和处理器。显示器包括像素层和屏蔽结构，像素层包括多个像素，屏蔽结构形成有孔并设置在像素层下方。相机模块设置在屏蔽结构下方。处理器与相机模块和存储器可操作地联接，并且处理器可以：通过相机模块来获取光源图像，基于所获取的光源图像中的对应于第一区域的第一长度值和对应于第二区域的第二长度值来获取第一数据，将第一数据与存储在存储器中的第二数据进行比较，并基于比较结果来获取对应于光源的实际光量数据。根据本公开的各实施方式，可以仅使用一个图像而无需使用多个图像来测量光源的饱和度。此外，不需要安装单独的传感器来测量光源的饱和度，这在成本方面会是有利的。其它各实施方式也是可能的。

Description

获取光量的电子设备及方法
技术领域
本公开的各实施方式涉及用于获取光量的电子设备。
背景技术
如果通过电子设备的相机获取图像，则包括在相机中的图像传感器可以使用光源的入射光来执行获取图像的任务。然而，由于图像传感器的像素动态范围的限制，如果光源的入射光量过大，则有必要将其控制到适当水平。
作为相关技术，存在一种使用具有不同曝光的多个图像来估计光源饱和度的技术。此外，存在一种用于检测图像质量退化分量(诸如来自具有包括衍射光学元件的光学系统的设备中的相应光学元件产生的闪光)并有意调整和校正亮度的技术，以及一种用于通过考虑像素特性足以检测像素缺陷的技术。
发明内容
[技术问题]
如果使用多个图像来控制光源的饱和度，则会出现实时操作和帧速率受限的困难。
如果安装单独的传感器来测量光源的饱和度，则会增加成本。
根据本公开的各实施方式，可以提供一种即使光源使像素饱和也获取实际光量的电子设备。
[技术方案]
根据本公开的实施方式，在电子设备中，电子设备可以包括：存储器、显示器、相机模块和处理器。显示器包括像素层和屏蔽结构，其中像素层包括多个像素，屏蔽结构形成有孔并设置在像素层下方。相机模块设置在屏蔽结构下方。处理器与相机模块和存储器可操作地联接，并且处理器可以：通过相机模块来获取光源图像，基于所获取的光源图像中对应于第一区域的第一长度值和对应于第二区域的第二长度值来获取第一数据，将第一数据与存储在存储器中的第二数据进行比较，并基于比较结果来获取对应于光源的实际光量数据。
根据本公开的实施方式，在电子设备中，电子设备可以包括：存储器、包括具有特定形状的屏蔽结构的相机孔、设置在相机孔下方的相机模块和处理器。处理器与相机模块和存储器可操作地联接，并且处理器可以：通过相机模块来获取光源图像，基于所获取的光源图像中对应于第一区域的第一长度值和对应于第二区域的第二长度值来获取第一数据，将第一数据与存储在存储器中的第二数据进行比较，并基于比较结果来获取对应于光源的实际光量数据。
[有益效果]
根据本公开的各实施方式，可以使用一个图像而无需使用多个图像来测量光源的饱和度。
根据本公开的各实施方式，不需要安装单独的传感器来测量光源的饱和度，这在成本方面会是有利的。
基于各实施方式可获取的效果不限于上述效果，并且本公开所属领域的技术人员可以通过以下说明清楚地理解未提及的其它效果。
附图说明
图1是根据一个实施方式的网络环境中的电子设备的框图。
图2是示出根据一个实施方式的相机模块的框图。
图3是简要示出根据一个实施方式的电子设备的配置的图。
图4a是示出根据一个实施方式的包括在电子设备中的屏蔽结构的图。
图4b是示出根据一个实施方式的来自对象直接到达电子设备的透镜的光和来自对象衍射之后到达透镜的光的图。
图5是示出根据一个实施方式的用于获取电子设备中的实际光量数据的流程的图。
图6是示出根据一个实施方式的根据电子设备中存在或不存在屏蔽结构的光的衍射的图。
图7是示出根据一个实施方式的根据在包括屏蔽结构的电子设备中的快门速度的光衍射的图。
图8是示出根据一个实施方式的根据在包括屏蔽结构的电子设备中的光源亮度的光衍射的图。
图9是示出根据一个实施方式的用于获取电子设备中的实际光量数据的详细流程的图。
图10是示出根据一个实施方式的点光源和面光源的差异的图。
图11是示出根据一个实施方式的使用由电子设备获取的校正数据来获取对应于光源图像的实际光量数据的概念的图。
具体实施方式
图1是示出根据各实施方式的网络环境100中的电子设备101的框图。
参考图1，网络环境100中的电子设备101可以经由第一网络198(例如，短距离无线通信网络)与电子设备102通信，或者经由第二网络199(例如，长距离无线通信网络)与电子设备104或服务器108中的至少一个通信。根据一个实施方式中，电子设备101可以经由服务器108与电子设备104通信。根据一个实施方式中，电子设备101可以包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接终端178、触觉模块179、相机模块180、电源管理模块188、电池189、通信模块190、订户识别模块(SIM)196、或天线模块197。在一些实施方式中，可以从电子设备101中省略至少一个部件(例如，连接端子178)，或者可以在电子设备101中添加一个或多个其它部件。在一些实施方式中，一些部件(例如，传感器模块176、相机模块180或天线模块197)可以实现为单个部件(例如，显示模块160)。
处理器120可执行例如软件(例如，程序140)以控制与处理器120联接的电子设备101的至少一个其它部件(例如，硬件或软件部件)，且可执行各种数据处理或计算。根据一个实施方式，作为数据处理或计算的至少一部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收的命令或数据存储在易失性存储器132中，处理存储在易失性存储器132中的命令或数据，并将所得数据存储在非易失性存储器134中。根据一个实施方式中，处理器120可以包括主处理器121(例如，中央处理单元(CPU)或应用处理器(AP))，或辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器集线器处理器、或通信处理器(CP))，辅助处理器123可以独立地操作或协同主处理器121一起操作。例如，当电子设备101包括主处理器121和辅助处理器123时，辅助处理器123可以适于消耗比主处理器121更少的功率，或者专用于指定的功能。辅助处理器123可以被实现为与主处理器121分离，或作为主处理器121的一部分。
辅助处理器123可以在主处理器121处于非活动(例如，睡眠)状态时代替主处理器121，或者在主处理器121处于活动状态(例如，执行应用程序)时与主处理器121一起来控制与电子设备101的部件中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)有关的功能或状态中的至少一些。根据一个实施方式中，辅助处理器123(例如，图像信号处理器或通信处理器)可以被实现为与辅助处理器123在功能上有关的另一部件(例如，相机模块180或通信模块190)的一部分。根据一个实施方式中，辅助处理器123(例如，神经处理单元)可以包括指定用于人工智能模型处理的硬件结构。人工智能模型可以通过机器学习生成。这种学习可以例如由执行人工智能的电子设备101或者经由单独的服务器(例如，服务器108)来执行。学习算法可以包括但不限于，例如，经监督学习、无监督学习、半监督学习或强化学习。人工智能模型可以包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、递归神经网络(RNN)、受限玻耳兹曼机(RBM)、深度信念网络(DBN)、双向递归深度神经网络(BRDNN)、深度Q网络、或其中两个或更多个的组合，但不限于此。人工智能模型可以附加地或替代地包括除硬件结构之外的软件结构。
存储器130可以存储由电子设备101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。各种数据可以包括例如软件(例如，程序140)和用于与其有关的命令的输入数据或输出数据。存储器130可以包括易失性存储器132或非易失性存储器134。
程序140可以作为软件存储在存储器130中，并且可以包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可以从电子设备101的外部(例如，用户)接收要由电子设备101的另一部件(例如，处理器120)使用的命令或数据。输入模块150可以包括例如麦克风、鼠标、键盘、按键(例如，按钮)或数字笔(例如，指示笔)。
声音输出模块155可以向电子设备101的外部输出声音信号。声音输出模块155可以包括例如扬声器或接收器。扬声器可用于一般目的，例如播放多媒体或播放记录。接收器可用于接收传入呼叫。根据一个实施方式中，接收机可以被实现为独立于扬声器，或作为扬声器的一部分。
显示模块160可以在视觉上向电子设备101的外部(例如，用户)提供信息。显示模块160可以包括，例如，显示器、全息图设备、或投影仪，以及控制显示器、全息图设备和投影仪中的相应一者的控制电路。根据一个实施方式中，显示模块160可以包括适于检测触摸的触摸传感器，或者适于测量触摸所引起的力的强度的压力传感器。
音频模块170可以将声音转换为电信号，反之亦然。根据一个实施方式中，音频模块170可经由输入模块150获取声音，或经由声音输出模块155或外部电子设备(例如，电子设备102)的耳机直接(例如，有线)或与电子设备101无线联接来输出声音。
传感器模块176可以检测电子设备101的操作状态(例如，功率或温度)或电子设备101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态对应的电信号或数据值。根据一个实施方式中，传感器模块176可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物测定传感器、温度传感器、湿度传感器或照度传感器。
接口177可以支持用于直接(例如，有线)或无线地将电子设备101与外部电子设备(例如，电子设备102)联接的一个或多个指定协议。根据一个实施方式中，接口177可以包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端子178可以包括连接器，电子设备101可以通过该连接器与外部电子设备(例如，电子设备102)物理连接。根据一个实施方式中，连接终端178可以包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可以将电信号转换为机械刺激(例如，振动或运动)或电刺激，其可以由用户通过他的触觉或动觉来识别。根据一个实施方式中，触觉模块179可以包括例如电动机、压电元件或电刺激器。
相机模块180可以捕获静止图像或运动图像。根据一个实施方式中，相机模块180可以包括一个或多个透镜、图像传感器、图像信号处理器或闪光灯。
电源管理模块188可以管理提供给电子设备101的电源。根据一个实施方式，功率管理模块188可以实现为例如功率管理集成电路(PMIC)的至少一部分。
电池189可以向电子设备101的至少一个部件供电。根据一个实施方式中，电池189可以包括例如不可再充电的一次性电池、可再充电的二次电池或燃料电池。
通信模块190可支持在电子设备101与外部电子设备(例如，电子设备102、电子设备104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由所建立的通信信道执行通信。通信模块190可包括可独立于处理器120(例如，应用处理器(AP))操作且支持直接(例如，有线)通信或无线通信的一个或多个通信处理器。根据一个实施方式中，通信模块190可以包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块、或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中相应的一个可以经由第一网络198(例如，短距离通信网络，诸如BluetoothTM、无线保真(Wi-Fi)直接或红外数据关联(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、因特网、或计算机网络(例如，LAN或广域网(WAN))与外部电子设备通信。这些各种类型的通信模块可以被实现为单个部件(例如，单个芯片)，或者可以被实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在订户识别模块196中的订户信息(例如，国际移动订户身份(IMSI))来识别和认证通信网络(例如，第一网络198或第二网络199)中的电子设备101。
在4G网络之后，无线通信模块192可以支持5G网络以及下一代通信技术，例如新无线电(NR)接入技术。NR接入技术可支持增强型移动宽带(eMBB)、海量机器类型通信(mMTC)、或超可靠且低等待时间通信(URLLC)。无线通信模块192可以支持高频带(例如，毫米波频带)以实现例如高数据传输速率。无线通信模块192可支持用于在高频带上确保性能的各种技术，例如波束成形、大量多输入和多输出(大量MIMO)、全维度MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可以支持在电子设备101、外部电子设备(例如，电子设备104)或网络系统(例如，第二网络199)中指定的各种要求。根据一个实施方式中，无线通信模块192可以支持用于实现eMBB的峰值数据速率(例如，20Gbps或更高)、用于实现mMTC的丢失覆盖(例如，164dB或更低)、或者用于实现URLLC的U平面等待时间(例如，对于下行链路(DL)和上行链路(UL)中的每一者为0.5ms或更低，或者1ms或更低的往返)。
天线模块197可向电子设备101的外部(例如，外部电子设备)发射信号或电力或从电子设备101的外部(例如，外部电子设备)接收信号或电力。根据一个实施方式中，天线模块197可以包括天线，该天线包括由形成在基板(例如，印刷电路板(PCB))中或基板上的导电材料或导电图案构成的辐射元件。根据一个实施方式中，天线模块197可以包括多个天线(例如，阵列天线)。在这种情况下，例如，可以通过通信模块190(例如，无线通信模块192)从多个天线中选择适于在通信网络(例如，第一网络198或第二网络199)中使用的通信方案的至少一个天线。然后，可以经由所选择的至少一个天线在通信模块190和外部电子设备之间发送或接收信号或功率。根据一个实施方式中，除了辐射元件之外的另一部件(例如，射频集成电路(RFIC))可以被附加地形成为天线模块197的一部分。
根据各实施方式，天线模块197可以形成毫米波天线模块。根据一个实施方式中，毫米波天线模块可以包括：印刷电路板、设置在印刷电路板的第一表面(例如，底表面)上或邻近于第一表面并且能够支持指定的高频带(例如，毫米波频带)的RFIC、以及设置在印刷电路板的第二表面上(例如，顶表面或侧表面)或者邻近于第二表面并且能够发送或接收指定的高频带的信号的多个天线(例如，阵列天线)。
上述部件中的至少一些可以相互联接，并且经由外围设备间通信方案(例如，总线、通用输入和输出(GPIO)、串行外围设备接口(SPI)或移动工业处理器接口(MIPI))在它们之间传送信号(例如，命令或数据)。
根据一个实施方式中，命令或数据可以经由与第二网络199联接的服务器108在电子设备101和外部电子设备104之间发送或接收。电子设备102或104中的每一个可以是与电子设备101相同类型或不同类型的设备。根据一个实施方式中，可以在一个或多个外部电子设备102、104或108处执行要在电子设备101处执行的全部或一些操作。例如，如果电子设备101应当自动执行功能或服务，或者响应于来自用户或另一设备的请求，则电子设备101可以不执行功能或服务而是请求一个或多个外部电子设备执行功能或服务的至少一部分，或者电子设备101除了执行功能或服务之外，还可以请求一个或多个外部电子设备执行功能或服务的至少一部分。接收该请求的一个或多个外部电子设备可以执行该功能或所请求的服务的至少一部分，或者与该请求有关的附加功能或附加服务，并且将该执行的结果传送到电子设备101。电子设备101可以在具有或不具有对结果的还处理的情况下提供结果，作为对请求的答复的至少一部分。为此，可以使用例如云计算、分布式计算、移动边缘计算(MEC)或客户端-服务器计算技术。电子设备101可以使用例如分布式计算或移动边缘计算来提供超低等待时间服务。在另实施方式中，外部电子设备104可以包括物联网(IoT)设备。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据一个实施方式中，外部电子设备104或服务器108可以被包括在第二网络199中。电子设备101可应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居，智能城市，智能汽车或医疗保健)。
图2是示出根据各实施方式的相机模块180的框图200。
参考图2，相机模块180可以包括透镜组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。透镜组件210可以收集从要拍摄其图像的物体发射或反射的光。透镜组件210可以包括一个或多个透镜。根据一个实施方式中，相机模块180可以包括多个透镜组件210。在这种情况下，相机模块180可以形成例如双相机、360度相机或球形相机。多个透镜组件210中的一些可以具有相同的透镜属性(例如，视角、焦距、自动聚焦、f数或光学变焦)，或者至少一个透镜组件可以具有不同于另一透镜组件的透镜属性的一个或多个透镜属性。透镜组件210可以包括例如广角透镜或远摄透镜。
闪光灯220可以发射用于增强从物体反射的光的光。根据一个实施方式中，闪光灯220可以包括一个或多个发光二极管(LED)(例如，红绿蓝(RGB)LED、白色LED、红外(IR)LED、或紫外(UV)LED)或氙灯。图像传感器230可以通过将从物体发射或反射并经由透镜组件210透射的光转换为电信号来获取对应于物体的图像。根据一个实施方式中，图像传感器230可以包括从具有不同属性的图像传感器中选择的一个，例如RGB传感器、黑白(BW)传感器、IR传感器、或UV传感器、具有相同属性的多个图像传感器、或具有不同属性的多个图像传感器。包括在图像传感器230中的每个图像传感器可以使用例如电荷联接器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现。
图像稳定器240可以在特定方向上移动图像传感器230或透镜组件210中所包括的至少一个透镜，或者响应于相机模块180或包括相机模块180的电子设备101的移动来控制图像传感器230的操作属性(例如，调整读出时序)。这允许通过正被捕获的图像上的移动来补偿至少部分的负面影响(例如，图像模糊)。根据一个实施方式中，图像稳定器240可以使用设置在相机模块180内部或外部的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块180或电子设备101的这种移动。根据一个实施方式中，图像稳定器240可以被实现为例如光学图像稳定器。存储器250可以至少暂时地存储通过图像传感器230获取的图像的至少一部分，用于后续的图像处理任务。例如，如果图像捕获由于快门滞后而被延迟，或者快速捕获多个图像，则所获取的原始图像(例如，拜耳图案化图像、高分辨率图像)可以被存储在存储器250中，并且其相应的复制图像(例如，低分辨率图像)可以经由显示设备160被预览。此后，如果满足指定条件(例如，通过用户的输入或系统命令)，则存储在存储器250中的原始图像的至少一部分可以例如由图像信号处理器260获取并处理。根据一个实施方式中，存储器250可以被配置为存储器130的至少一部分，或者被配置为独立于存储器130操作的单独存储器。
图像信号处理器260可以对通过图像传感器230获取的图像或存储在存储器250中的图像执行一种或多种图像处理。一种或多种图像处理可以包括例如深度图生成、三维(3D)建模、全景图生成、特性点提取、图像合成或图像补偿(例如，噪声降低、分辨率调整、亮度调整、模糊、锐化或柔化)。附加地或替代地，图像信号处理器260可以执行关于相机模块180中所包括的部件中的至少一个(例如，图像传感器230)的控制(例如，曝光时间控制或读出时序控制)。由图像信号处理器260处理的图像可以被存储回存储器250中用于还处理，或者可以被提供给相机模块180外部的外部部件(例如，存储器130、显示设备160、电子设备102、电子设备104或服务器108)。根据一个实施方式中，图像信号处理器260可以被配置为处理器120的至少一部分，或者被配置为独立于处理器120操作的单独处理器。如果图像信号处理器260被配置为与处理器120分离的处理器，则由图像信号处理器260处理的至少一个图像可以由处理器120通过显示设备160按原样显示，或者在还处理之后显示。
根据一个实施方式中，电子设备101可以包括具有不同属性或功能的多个相机模块180。在这种情况下，多个相机模块180中的至少一个可以形成例如广角相机，并且多个相机模块180中的至少另一可以形成远摄相机。类似地，多个相机模块180中的至少一个可以形成例如前置相机，并且多个相机模块180中的至少另一可以形成后置相机。
图3简要示出了根据一个实施方式的电子设备101的配置。图3所示的电子设备101可以类似于图1和图2所示的电子设备101中的至少一部分，或者可以包括另一实施方式。
在一个实施方式中，电子设备101可以包括处理器120、存储器130和相机模块180中的至少一个。
在一个实施方式中，电子设备101还可以包括显示器160。
在一个实施方式中，处理器120与存储器130、显示器160和相机模块180可操作地连接。例如，处理器120可以控制存储器130、显示器160和相机模块180。
在一个实施方式中，存储器130可以存储与电子设备101的操作有关的数据。例如，存储器130可以存储与使用相机模块180获取的图像有关的数据。作为另一示例，存储器130可以存储与使用相机模块180获取的光源有关的数据。
在一个实施方式中，显示器160可以向电子设备101外部可视化地提供数据。例如，电子设备101的处理器120可以使用显示器160向外部用户可视化地提供通过相机模块180获取的图像数据。
在一个实施方式中，显示器160可以包括像素层320。例如，显示器160可以使用像素层320向外部用户可视化地提供包括颜色数据的图像数据。
在一个实施方式中，显示器160可以包括屏蔽结构310。例如，显示器160可以包括形状与像素层320的形状对应的屏蔽结构310。
在一个实施方式中，相机模块180可以包括透镜组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250和图像信号处理器260，如图2所示。
在一个实施方式中，相机模块180可以设置在屏蔽结构310下方。例如，相机模块180可以设置在被包括在显示器160中的屏蔽结构310下方。作为另一示例，即使显示器160不一定被包括在电子设备101中，相机模块180也可以设置在屏蔽结构310下方。
根据一个实施方式中，相机模块180可以被设置成通过显示器160检测外部环境。例如，相机模块180可以被设置成通过形成在显示器160中的开口或透射区域而在电子设备101内部的空间中与外部环境接触。根据一个实施方式中，在显示器160的区域中的面向相机模块180的区域是用于显示内容的区域的一部分，并且可以形成为具有指定透射率的透射区域。透射区域是具有一些非零透射率的区域。根据一个实施方式中，透射区可以形成为具有范围从大约5％至大约20％的透射率。例如，透射区域可以包括用于通过图像传感器230成像来形成图像的光通过的区域，并且与一些相机模块180的有效区域(例如，视角区域)重叠。例如，显示器160的透射区域可以包括像素密度和/或布线密度低于周边的区域。例如，透射区可以代替上述开口。例如，一些相机模块180可以包括屏下相机(UDC)。
图4a是示出根据一个实施方式的包括在电子设备中的屏蔽结构的图。图4a示出了设置在包括显示器160的电子设备101中的屏蔽结构310，但是即使不包括显示器160，电子设备101也可以包括相同或类似的屏蔽结构310。
在一个实施方式中，显示器160可以将像素层320设置在与屏幕显示区域对应的区域中，以向用户可视化地提供图像数据。例如，电子设备101可以通过对应于像素层320的区域的显示器160的屏幕向用户可视化地提供图像数据。
在一个实施方式中，屏蔽结构310可以设置在像素层320下方。在一个实施方式中，屏蔽结构310可以具有与像素层320的形状和/或图案对应的形状和/或图案。例如，像素层320可以具有重复正方形像素和像素之间的孔410的图案。在这种情况下，屏蔽结构310可以具有如下结构，该结构具有以相同方式重复正方形和孔410的图案。此外，屏蔽结构310中的孔410的位置可以形成在与像素层320的孔410的位置对应的位置处。例如，屏蔽结构310和像素层320可以形成为共享孔410。
在一个实施方式中，屏蔽结构310可以在显示器160的一些层(例如，保护层或屏蔽层)中的至少一部分被去除的区域中形成图案，以用于布置相机模块180。在一个实施方式中，屏蔽结构310可以是在显示器160的一些层(例如，保护层或屏蔽层)中形成有孔(例如，孔410)的结构。在一个实施方式中，屏蔽结构310可以形成为包括孔(例如，孔410)。在一个实施方式中，屏蔽结构310可以是金属材料，并且以沉积和/或图案化的方式形成在像素层320下方。屏蔽结构310可以保护像素，并且阻挡从像素发出的光。根据一个实施方式中，屏蔽结构310可以包括用于减小进入屏蔽结构310的光衍射的指定图案(黑矩阵)，或者包括指定图案的不透明金属层(例如，缓冲层、底部金属层(BML))。
在一个实施方式中，相机模块180可以设置在屏蔽结构310下方。例如，相机模块180可以设置在包括在显示器160中的屏蔽结构310下方。作为另一示例，如果未设置显示器160，则相机模块180的透镜组件210可以设置在被设置在相机孔(未示出)区域中的一个区域中的屏蔽结构310下方。
在一个实施方式中，外部光源的光可以经由显示器160进入相机模块180的透镜组件210。例如，外部光源的光可以通过包括在显示器160中的像素层320和屏蔽结构310并进入透镜组件210。
在一个实施方式中，如果电子设备101不包括显示器160，则外部光源的光可以经由形成在相机孔(未示出)中的屏蔽结构310进入透镜组件210。
图4b是示出来自对象450的光460进入显示器160下方的孔410的图。图4b不是按比例绘制的图，并且实质上是示意性的。来自对象450的光(条目460、470和480)可以通过电子设备100的透镜组件210直接到达图像传感器230。此外，根据一个实施方式中，来自对象450的光(条目460、471和481)可以在衍射之后通过透镜组件210到达图像传感器230。在图4b的非限制性示例中，电子设备100可在z方向上具有厚度且可在x-y平面中延伸。在图4b的非限制性示例中，显示器160、屏蔽层310、透镜组件210和图像传感器230可以在z方向上功能性地形成堆叠，其中每一者在x-y平面中不同程度地进行延伸。在非限制性示例中，对象450可以对应于关于图6至图8讨论的外部光源。
图5是示出根据一个实施方式的用于获取电子设备中的实际光量数据的流程的图。
在一个实施方式中，在操作510中，电子设备101可以获取光源图像。电子设备101可以在处理器120的控制下使用相机模块180来获取光源图像。
在一个实施方式中，电子设备101可以在处理器120的控制下获取包括光源的图像(或光源图像)。例如，电子设备101可以获取包括光源、人、背景和/或事物的图像。
在一个实施方式中，当电子设备101获取光源图像时，光源的光可以通过包括在电子设备101中的屏蔽结构(例如，图4a的屏蔽结构310)。在一个实施方式中，电子设备101的相机模块180可以获取通过屏蔽结构(例如，图4a的屏蔽结构310)的光源的光。例如，通过屏蔽结构(例如，图4a的屏蔽结构310)的光源的光可以包括衍射光。
在一个实施方式中，在操作520中，电子设备101可以基于所获取的光源图像中的对应于第一区域的第一长度值和对应于第二区域的第二长度值来获取第一数据。
在一个实施方式中，电子设备101可以在处理器120的控制下将所获取的光源图像划分为多个区域。例如，所获取的光源图像可以是基于衍射光的图像，并且基于衍射光的图像可以被划分为作为中心区域的第一区域和作为衍射区域的第二区域。
在一个实施方式中，电子设备101可以在处理器120的控制下获取关于被划分为第一区域和第二区域的光源图像的长度值。例如，作为中心区域的第一区域的长度值可以是作为中心区域的第一区域的直径值，并且作为衍射区域的第二区域的长度值可以是与衍射区域的长度对应的值。电子设备101可以在处理器120的控制下获取第一区域的长度值(或第一长度值)和第二区域的长度值(或第二长度值)。
在一个实施方式中，电子设备101可以在处理器120的控制下基于第一长度值和第二长度值来获取第一数据。例如，第一数据可以是第一长度值和第二长度值的比率数据。作为另一示例，第一数据可以是与第一区域的直径值和与第二区域的长度对应的值有关的比率数据。
在一个实施方式中，在操作530中，电子设备101可以将第一数据与存储在存储器中的第二数据进行比较。
在一个实施方式中，在处理器120的控制下，电子设备101可以将所获取的第一数据与存储在存储器中的第二数据进行比较。第二数据可以是例如与第一区域的直径值和与第二区域的长度对应的值有关的比率数据，并且可以是根据预先存储在存储器中的光源特性的比率数据。在处理器120的控制下，电子设备101可以将所获取的第一数据与第二数据进行比较，第二数据是根据预先存储在存储器中的光源特性的比率数据。
在一个实施方式中，光源特性可以包括光强度和/或光量。
在一个实施方式中，在操作540中，电子设备101可以基于比较结果来获取对应于光源图像的实际光量数据。
在一个实施方式中，在处理器120的控制下，电子设备101可以通过比较第一数据和第二数据来识别与第一数据匹配的第二数据，并且通过识别第二数据来识别相关的光特性。例如，在处理器120的控制下，电子设备101可以识别第二数据，识别光强度、和/或与第二数据相关联的光量，从而获取与所获取的光源图像对应的实际光量数据。
在一个实施方式中，根据屏蔽结构310的孔410的形状和/或尺寸，进入相机模块180的外部光(光源)可以被衍射或散射，并且图像数据(光源图像数据)的失真或图像质量退化可以根据线扩散函数(LSF)或点扩散函数(PSF)的特性而发生。在处理器120的控制下，电子设备101可以通过将实际光量数据反映到在相机模块180处获取的图像数据中，产生失真或图像质量退化被校正的图像。
关于获取参考图5所描述的电子设备101的实际光量数据的操作的更详细描述将通过与光衍射有关的图6至图8来解释，并且将基于图6至图8的解释来在图9中更详细地描述。
图6是示出根据一个实施方式的根据电子设备中存在或不存在屏蔽结构的光衍射的图。
根据一个实施方式中，如果电子设备(例如，图1和图3的电子设备101)具有屏蔽结构(例如，图4a的屏蔽结构310)，则进入电子设备(例如，图1和图3的电子设备101)的光源的光可以被衍射。在一个实施方式中，如果电子设备101的外部光源的光通过屏蔽结构310，则相机模块180可以接收由屏蔽结构310衍射的光。
在一个实施方式中，610示出了在电子设备101不具有屏蔽结构310情况下的LSF图。例如，如果外部光源的光不通过屏蔽结构310而进入相机模块180，则可以呈现如610所示的不具有衍射的LSF图形式。
在一个实施方式中，620-1示出了在电子设备101具有屏蔽结构310情况下的光源图像。例如，如果外部光源的光通过屏蔽结构310并进入相机模块180，则光源图像可以包括光源的中心区域和光源的衍射区域，如620-1所示。光源的中心区域可以是圆形，并且光源的衍射区域可以包括从圆形突出的线性形状。
在一个实施方式中，620-2示出了在电子设备101具有屏蔽结构310情况下的LSF图。例如，如果外部光源的光通过屏蔽结构310并进入相机模块180，则可以呈现如620-2所示的具有衍射的LSF图形式。
在一个实施方式中，620-3示出了在电子设备101具有屏蔽结构310情况下的PSF图。例如，如果外部光源的光通过屏蔽结构310并进入相机模块180，则可以呈现如620-3所示的具有衍射的PSF图形式。
在一个实施方式中，透镜(例如，图2的透镜组件210中的透镜)的LSF或PSF可以产生高达衍射极限(该衍射极限是艾里斑(Airy disk))的图像，并且图像中的暗图案位置可以表示为如下[等式1]。
[等式1]
Figure BDA0004169059250000171
d：孔的直径
Z：暗图案创建位置
λ：波长
如[等式1]所示，衍射极限可以与孔的直径成反比地出现。例如，如果电子设备101具有屏蔽结构310，则可以根据屏蔽结构310的孔(例如，图4a的孔410)在垂直/水平方向和/或对角线方向的长度来确定衍射特性。在一个实施方式中，电子设备101的屏蔽结构310的孔410可以是对应于[等式1]的孔的配置。
参考图6，描述了在电子设备101具有或不具有屏蔽结构310的情况下，是否发生衍射以及与光源的光中的衍射有关的LSF和PSF图轮廓。
在下文中，通过参考图7至图8来描述在电子设备101具有屏蔽结构310的情况下基于快门速度和/或光源亮度的衍射水平。
图7是示出根据一个实施方式的根据在包括屏蔽结构的电子设备中的快门速度的光衍射的图。在LSF图轮廓中，图形式在基于中心的两个方向上的更大扩散可以指示更大的衍射水平。
在一个实施方式中，如果外部光源的光通过屏蔽结构310并进入相机模块180，则光源图像可以包括光源的中心区域和光源的衍射区域。光源的中心区域可以是圆形形式，并且光源的衍射区域可以包括从圆形形式突出的线性形式。
在一个实施方式中，710示出了在电子设备101具有屏蔽结构310情况下的光源图像。在一个实施方式中，如果快门速度是1/350秒，则710-(a)可以是光源图像，如果快门速度是1/180秒，则710-(b)可以是光源图像，如果快门速度是1/90秒，则710-(c)可以是光源图像，并且如果快门速度是1/45秒，则710-(d)可以是光源图像。
在一个实施方式中，随着快门速度变慢(更长的持续时间，1/45比1/350长)，更多光可以进入电子设备101的相机模块180。例如，与如710-(a)所示的1/350秒的快门速度相比，在如740-(d)所示的1/45秒的快门速度下，更大光量可以进入电子设备101的相机模块180，因此光的衍射水平和光的饱和度可以增加更多。
在一个实施方式中，参考图710，随着进入电子设备101的相机模块180的光量增加，可以识别出光源图像中的光的衍射水平增加。例如，进入相机模块180的光量可以沿着710-(a)、710-(b)、710-(c)和710-(d)增加，因此光的衍射水平可以增加。
在一个实施方式中，720示出了基于快门速度指示光源的光衍射水平的LSF图轮廓。在基于中心的两个方向上具有更大扩散的LSF图形式可以指示光的衍射水平更大。
在一个实施方式中，当快门速度变慢时，可以识别出LSF图形式在基于中心的两个方向上的扩散增加。在一个实施方式中，与1/350秒的快门速度相比，在1/180秒的快门速度下的LSF图形式可以在基于中心的两个方向上扩散更多。在一个实施方式中，与1/180秒的快门速度相比，在1/90秒的快门速度下的LSF图形式可以在基于中心的两个方向上扩散更多。在一个实施方式中，与1/90秒的快门速度相比，在1/45秒的快门速度下的LSF图形式可以在基于中心的两个方向上扩散更多。
图8是示出根据一个实施方式的根据在包括屏蔽结构的电子设备中的光源亮度的光衍射的图。
在一个实施方式中，参考810，810-(a)至810-(d)示出了基于光源亮度的光源图像。
在一个实施方式中，820示出了基于光源亮度的LSF图轮廓。在一个实施方式中，参考810，在LSF图轮廓中，图形式在基于中心的两个方向上的更大扩散可以指示更大的衍射臂。此外，在LSF图轮廓中维持最大水平的较长间隔可以指示较大的光饱和区域(最大饱和度)。
在一个实施方式中，如果外部光源的光通过屏蔽结构310并进入相机模块180，则光源图像可以包括光源的中心区域和光源的衍射区域。光源的中心区域可以是圆形形式，并且光源的衍射区域可以包括从圆形形式突出的线性形式。
在一个实施方式中，810示出了在电子设备101具有屏蔽结构310情况下的光源图像。在一个实施方式中，如果光源亮度是15lux，则810-(a)可以是光源图像，如果光源亮度是30lux，则810-(b)可以是光源图像，如果光源亮度是60lux，则810-(c)可以是光源图像，如果光源亮度是120lux，则810-(d)可以是光源图像。
在一个实施方式中，当光源的亮度增加时，进入电子设备101的相机模块180的光的衍射水平和饱和度可以增加更多。
在一个实施方式中，参考810，随着进入电子设备101的相机模块180的光源亮度增加，可以识别出光源图像中的光的衍射水平增加。例如，进入相机模块180的光亮度可以沿着810-(a)、810-(b)、810-(c)和810-(d)增加，因此光的衍射水平可以增加。
在一个实施方式中，820示出了基于光源亮度指示光源的光衍射水平的LSF图轮廓。在基于中心的两个方向上具有更大扩散的LSF图形式可以指示光的衍射水平光(或光的饱和区)更大。
在一个实施方式中，随着光源亮度增加，可以识别出LSF图在基于中心的两个方向上的扩散增加。在一个实施方式中，如果光源亮度是30lux而非15lux，则LSF图形式可以在基于中心的两个方向上扩散更多。在一个实施方式中，如果光源亮度是60lux而非30lux，则LSF图形式可以在基于中心的两个方向上扩散更多。在一个实施方式中，如果光源亮度是120lux而非60lux，则LSF图形式可以在基于中心的两个方向上扩散更多。
在一个实施方式中，如参考图7至图8所描述的，如果光源的光通过屏蔽结构(例如，屏蔽结构310)，则发生的衍射水平可以遵循以下[等式2]。
[等式2]
Figure BDA0004169059250000201
在[等式2]中，Iσ可以表示入射光的亮度，I1可以表示衍射水平，a可以表示孔半径，θ可以表示入射角，J1可以表示贝塞尔函数(Bessel function)，k可以表示2π/λ，并且λ可以表示波长。
在一个实施方式中，衍射水平与入射光的强度成正比，并且与孔半径成反比。在一个实施方式中，如果光源尺寸实际上接近于无穷小(或者如果其是点光源)，则光源的衍射水平与根据光量(例如，基于快门速度的光量、光的实际光量)的线性衍射水平的比率可以是恒定的。
在一个实施方式中，电子设备(例如，电子设备101)的屏蔽结构(例如，屏蔽结构310)的孔(例如，图4a的孔410)可以是对应于[等式2]的孔的配置。
在一个实施方式中，即使在基本相同的光亮度的衍射中，屏蔽结构(例如，屏蔽结构310)在水平方向和垂直方向上具有比对角线方向更小的有效孔径(或孔)，因此可以呈现线性衍射区域。
在一个实施方式中，衍射光的线性衍射区域的长度可以根据屏蔽结构(例如，屏蔽结构310)在水平方向、垂直方向或对角线方向上的长度而不同，但是基于[等式2]的衍射比率可以相同。
在一个实施方式中，如果假设理想点光源，则衍射光的中心区域(例如，第一区域)的直径值与衍射光的衍射区域(例如，第二区域)的长度值的比率可以不考虑光的强度而保持恒定。
在一个实施方式中，如果假设理想点光源，则衍射光的衍射区域(例如，第二区域)的长度值可以随着光强度增加而增加。
在一个实施方式中，在进入电子设备(例如，电子设备101)的相机模块(例如，相机模块180)的光源中，光源可以是对应于具有特定尺寸的面光源而不是理想点光源的光源。在这种情况下，即使衍射光的衍射区域(例如，第二区域)的长度值基本相同，光源的实际亮度也可能不同。此外，衍射光的中心区域(例如，第一区域)的直径值与衍射光的衍射区域(例如，第二区域)的长度值的比率可以根据光的强度而不同，这与点光源不同。
此后，基于参考图1至图8的描述，解释了根据一个实施方式的通过在电子设备中获取校正数据来获取实际光量数据的具体流程。
图9是示出根据一个实施方式的用于获取电子设备中的实际光量数据的详细流程的图。
通过参考图10和图11来描述图9的流程，图10示出了点光源和面光源的差别，图11示出了使用由电子设备获取的校正数据来获取对应于光源图像的实际光量数据的概念。
根据一个实施方式中，在操作910中，电子设备101可以获取光源图像。
在一个实施方式中，电子设备101可以在处理器120的控制下使用相机模块180来获取光源图像。在一个实施方式中，电子设备101可以在处理器120的控制下获取包括光源的图像(或光源图像)。例如，电子设备101可以获取包括光源、人、背景和/或事物的图像。在一个实施方式中，当电子设备101获取光源图像时，光源的光可以通过包括在电子设备101中的屏蔽结构(例如，图4a的屏蔽结构310)。在一个实施方式中，电子设备101的相机模块180可以获取通过屏蔽结构(例如，图4a的屏蔽结构310)的光源的光。例如，通过屏蔽结构(例如，图4a的屏蔽结构310)的光源的光可以包括衍射光。
在一个实施方式中，参考图10，如果通过屏蔽结构(例如，屏蔽结构310)的衍射光是理想点光源，则其可以包括如1010所示的形式。在一个实施方式中，如果通过屏蔽结构(例如，屏蔽结构310)的衍射光是面光源，则其可以包括如1020所示的形式。
根据一个实施方式中，在操作920中，电子设备101可以将所获取的光源图像划分为第一区域和第二区域。
在一个实施方式中，电子设备101可以在处理器120的控制下将光源图像划分为作为光源的中心区域的第一区域和作为衍射区域的第二区域。
在一个实施方式中，电子设备101可以在处理器120的控制下将光源(例如，强点光源)的中心区域1011-1划分为第一区域，并且将光源(例如，强点光源)的衍射区域1011-2划分为第二区域。在一个实施方式中，电子设备101可以在处理器120的控制下将光源(例如，弱点光源)的中心区域1012-1划分为第一区域，并且将光源(例如，弱点光源)的衍射区域1012-2划分为第二区域。
在一个实施方式中，电子设备101可以在处理器120的控制下将光源(例如，强面光源)的中心区域1021-1划分为第一区域，并且将光源(例如，强面光源)的衍射区域1021-2划分为第二区域。在一个实施方式中，电子设备101可以在处理器120的控制下将光源(例如，弱面光源)的中心区域1022-1划分为第一区域，并且将光源(例如，弱面光源)的衍射区域1022-2划分为第二区域。
在一个实施方式中，电子设备101可以在处理器120的控制下获取对应于第一区域的光量。例如，电子设备101可以在处理器120的控制下获取对应于第一区域(例如，1011-1、1012-1、1021-1、1022-1)的光量。
根据一个实施方式中，在操作930中，电子设备101可以获取与对应于第一区域的第一长度值和对应于第二区域的第二长度值有关的第一数据。
在一个实施方式中，参考图1020，电子设备101可以在处理器120的控制下获取与作为光源(例如，强面光源)的中心区域1021-1的第一区域对应的第一长度值sL。例如，电子设备101可以在处理器120的控制下获取第一区域(例如，中心区域)的直径值作为第一长度值sL。在一个实施方式中，电子设备101可以在处理器120的控制下获取作为光源(例如，强面光源)的衍射区域1021-2的第二区域中的第二长度值sB。例如，电子设备101可以在处理器120的控制下获取第二区域(例如，衍射区域)的长度值作为第二长度值sB。
在一个实施方式中，与强面光源相同或类似，即使对于弱面光源，电子设备101也可以在处理器120的控制下获取与作为中心区域1022-1的第一区域对应的第一长度值sl。电子设备101可以在处理器120的控制下获取作为衍射区域1022-2的第二区域中的第二长度值sb。
在一个实施方式中，电子设备101可以在处理器120的控制下获取第一数据，该第一数据是与所获取的第一长度值和第二长度值的比率有关的数据。例如，在强面光源的情况下，电子设备101可以在处理器120的控制下获取sB/sL的值。此外，在弱面光源的情况下，电子设备101可以在处理器120的控制下获取sb/sl的值。
在一个实施方式中，随着面光源中的光源强度增加或光亮度增加，第一数据的值可以增加。例如，第一数据可以满足关系表达式sB/sL>sb/sl。具体地，例如，强面光源的第一数据sB/sL的值可以大于弱面光源的第一数据sb/sl的值。
根据一个实施方式中，在操作940中，电子设备101可以将第一数据与存储在存储器中的第二数据进行比较。
在一个实施方式中，在理想点光源的情况下，存储在电子设备101的存储器130中的第二数据可以是比率数据。例如，在理想点光源的情况下，电子设备101可以存储比率数据。具体地，例如，电子设备101的存储器130可以存储第二数据的值，该第二数据是对应于第一区域(例如，中心区域)的第一长度值pL和对应于第二区域(例如，衍射区域)的第二长度值pB的比率数据(例如，pL/pB)。作为另一示例，电子设备101的存储器130可以存储作为在弱点光源的情况下的第二数据的值，该第二数据是对应于第一长度值pl和第二长度值pb的比率数据(例如，pl/pb)。
在一个实施方式中，理想点光源可以满足关系式pB/pL＝pb/pl。例如，衍射光的中心区域(例如，第一区域)的直径值与衍射光的衍射区域(例如，第二区域)的长度值的比率可以保持恒定而无需考虑光的强度或光量。作为特定示例，强点光源中的对应于第一区域1011-1的第一长度值pL和对应于强点光源的第二区域1011-2的第二长度值pB的比率数据pL/pB可以是恒定的。此外，弱点光源中的对应于第一区域1012-1的第一长度值pl和对应于第二区域1012-2的第二长度值pb的比率数据pl/pb可以是恒定的。
在一个实施方式中，在处理器120的控制下，电子设备101可以将所获取的第一数据与第二数据进行比较，该第二数据是根据预先存储在存储器中的光源特性的比率数据。例如，在强光源的情况下，电子设备101可以在处理器120的控制下将所获取的第一数据(例如sL/sB)与存储在存储器130中的第二数据(例如pL/pB)进行比较。作为另一示例，在弱光源的情况下，电子设备101可以在处理器120的控制下将所获取的第一数据(例如sl/sb)与存储在存储器130中的第二数据(例如pl/pb)进行比较。
在一个实施方式中，在操作950中，电子设备101可以基于比较结果来获取第一区域的校正数据。
在一个实施方式中，在处理器120的控制下，电子设备101可以通过比较第一数据和第二数据来识别与第一数据匹配的第二数据，并且通过识别第二数据来识别有关光特性(例如，光源类型、光源尺寸)。
在一个实施方式中，电子设备101可以通过将存储在存储器130中的第二数据与第一数据进行比较来估计是否是面光源以及面光源的尺寸。例如，在强面光源的情况下，在处理器120的控制下，电子设备101可以比较第一数据(例如sL/sB)和存储在存储器130中的第二数据(例如pL/pB)，并且如果作为比较的结果是存在差异，则将相应光源识别为面光源。作为另一示例，在弱面光源的情况下，在处理器120的控制下，电子设备101可以比较第一数据(例如sl/sb)和存储在存储器130中的第二数据(例如pl/pb)，并且如果所比较的数据值不同，则将相应光源识别为面光源。
在一个实施方式中，电子设备101可以在处理器120的控制下基于所比较的数据值的差异来估计面光源的尺寸。例如，电子设备101可以基于处理器120的控制通过比较第一数据(例如，sL/sB)和第二数据(例如，pL/pB)来识别差异，并且基于该差异来估计面光源的尺寸(例如，1021)。此外，在处理器120的控制下，电子设备101可以估计出面光源的尺寸随着差异的增加而变大，并且面光源的尺寸随着差异的减小而变小。作为另一示例，在处理器120的控制下，电子设备101可以通过比较第一数据(例如，sl/sb)和第二数据(例如，pl/pb)来识别差异，并且基于该差异来估计面光源的尺寸(例如，1022)。此外，在处理器120的控制下，电子设备101可以估计出面光源的尺寸随着差异的增加而变大，并且面光源的尺寸随着差异的减小而变小。
在一个实施方式中，电子设备101可以使用面光源的估计尺寸(例如，1021、1022)作为校正数据，以获取实际光量数据。例如，电子设备101可以在处理器120的控制下通过将理想点光源的数据(例如，第二数据)与面光源的数据(例如，第一数据)进行比较来估计面光源的尺寸(例如，1021、1022)，并将其用作校正数据来计算实际光量。
根据一个实施方式中，在操作960中，电子设备101可以使用所获取的校正数据来获取对应于光源图像的实际光量。
在一个实施方式中，在处理器120的控制下，电子设备101可以获取与面光源的估计尺寸对应的校正数据。例如，如果面光源的估计尺寸大，则校正程度(或校正量)可以大于面光源的估计尺寸小时的校正程度(或校正量)。电子设备101可以在处理器120的控制下获取与校正程度对应的校正数据。
在一个实施方式中，图11的1110是所获取的校正数据中的与第一区域(例如，1011-1、1012-1、1021-1、1022-1)对应的光量的图轮廓。
在一个实施方式中，图11的1120是以所获取的校正数据中的与第一区域(例如，1011-1、1012-1、1021-1、1022-1)对应的光量来反映校正数据的图轮廓。
在一个实施方式中，如图11的1110和1120所示，电子设备101可以在处理器120的控制下以对应于第一区域(例如，1011-1、1012-1、1021-1、1022-1)的光量来反映所获取的校正数据。例如，基于处理器120的控制，电子设备101可以从对应于第一区域(例如，1011-1、1012-1、1021-1、1022-1)的光量中消减对应于校正数据的光量。
在一个实施方式中，在处理器120的控制下，电子设备101可以通过从对应于第一区域(例如，1011-1、1012-1、1021-1、1022-1)的光量中消减对应于校正数据的光量来获取实际光量数据。
根据一个实施方式中，在电子设备(例如，电子设备101)中，该电子设备(例如，电子设备101)可以包括：存储器(例如，存储器130)；包括像素层(例如，像素层320)和屏蔽结构(例如，屏蔽结构310)的显示器，像素层(例如，像素层320)包括多个像素，形成有孔(例如，孔410)的屏蔽结构(例如，屏蔽结构310)设置在像素层(例如，像素层320)下方；相机模块(例如，相机模块180)，设置在屏蔽结构(例如，屏蔽结构310)下方；以及与相机模块(例如，相机模块180)和存储器(例如，存储器130)可操作地联接的处理器(例如，处理器120)，并且处理器(例如，处理器120)可以：通过相机模块(例如，相机模块180)来获取光源图像，基于所获取的光源图像中的对应于第一区域的第一长度值和对应于第二区域的第二长度值来获取第一数据，将第一数据与存储在存储器(例如，存储器130)中的第二数据进行比较，并且基于比较结果来获取对应于光源的实际光量数据。
根据一个实施方式中，在电子设备(例如，电子设备101)中，光源图像可以是衍射光的图像。
根据一个实施方式中，在电子设备(例如，电子设备101)中，第一区域可以对应于光源图像的中心区域，并且第二区域可以对应于光源图像的衍射区域。
根据一个实施方式中，在电子设备(例如，电子设备101)中，第一长度值可以对应于中心区域的直径值，并且第二长度值可以对应于衍射区域的长度值。
根据一个实施方式中，在电子设备(例如，电子设备101)中，第一数据可以是第一长度值和第二长度值的比率数据。
根据一个实施方式中，在电子设备(例如，电子设备101)中，第二数据可以是点光源的比率数据。
根据一个实施方式中，在电子设备(例如，电子设备101)中，点光源的比率数据可以是与光量无关的恒定量。
根据一个实施方式中，在电子设备(例如，电子设备101)中，在执行比较时，处理器(例如，处理器120)可以识别与第一数据匹配的第二数据。
根据一个实施方式中，在电子设备(例如，电子设备101)中，在执行比较时，处理器(例如，处理器120)可以识别与所识别的第二数据相关联的光特性。
根据一个实施方式中，在电子设备(例如，电子设备101)的操作方法中，该操作方法可以包括：通过设置在屏蔽结构(例如，屏蔽结构310)下方的相机模块(例如，相机模块180)来获取光源图像，基于所获取的光源图像中的对应于第一区域的第一长度值和对应于第二区域的第二长度值来获取第一数据，将第一数据与存储在存储器(例如，存储器130)中的第二数据进行比较，并且基于比较结果来获取对应于光源的实际光量数据。
根据一个实施方式中，在电子设备(例如，电子设备101)的操作方法中，第一区域可以对应于光源图像的中心区域，并且第二区域可以对应于光源图像的衍射区域。
根据一个实施方式中，在电子设备(例如，电子设备101)的操作方法中，第一长度值可以对应于中心区域的直径值，并且第二长度值可以对应于衍射区域的长度值。
根据一个实施方式中，在电子设备(例如，电子设备101)的操作方法中，比较还可以包括识别与第一数据匹配的第二数据。
根据一个实施方式中，在电子设备(例如，电子设备101)的操作方法中，比较还可以包括识别与所识别的第二数据相关联的光特性。
根据一个实施方式中，在电子设备(例如，电子设备101)的操作方法中，第一数据可以是第一长度值和第二长度值的比率数据。
根据一个实施方式中，在电子设备(例如，电子设备101)中，该电子设备(例如，电子设备101)可以包括：存储器(例如，存储器130)；相机孔(例如，孔410)，包括具有特定形状的屏蔽结构(例如，屏蔽结构310)；相机模块(例如，相机模块180)，设置在相机孔(例如，孔410)下方；以及处理器(例如，处理器120)，与相机模块(例如，相机模块180)和存储器(例如，存储器130)可操作地联接，并且处理器(例如，处理器120)可以：通过相机模块(例如，相机模块180)来获取光源图像，基于所获取的光源图像中的对应于第一区域的第一长度值和对应于第二区域的第二长度值来获取第一数据，将第一数据与存储在存储器(例如，存储器130)中的第二数据进行比较，并基于比较结果来获取对应于光源的实际光量数据。
根据一个实施方式中，在电子设备(例如，电子设备101)中，光源图像可以是衍射光的图像。
根据一个实施方式中，在电子设备(例如，电子设备101)中，第一区域可以对应于光源图像的中心区域，并且第二区域可以对应于光源图像的衍射区域。
根据一个实施方式中，在电子设备(例如，电子设备101)中，第一长度值可以对应于中心区域的直径值，并且第二长度值可以对应于衍射区域的长度值。
根据一个实施方式中，在电子设备(例如，电子设备101)中，在执行比较时，处理器(例如，处理器120)可以识别与第一数据匹配的第二数据，并且识别与所识别的第二数据相关联的光特性。
根据本公开中描述的各实施方式的电子设备可以是各种类型的设备。电子设备可以包括例如便携式通信设备(例如，智能电话)、计算机设备、便携式多媒体设备、便携式医疗设备、相机、可佩戴设备或家用电器。根据本公开的实施方式的电子设备不限于上述那些设备。
应当理解，本公开的各实施方式和其中使用的术语不旨在将本公开中阐述的技术特性限制为特定实施方式，并且包括相应实施方式的各种改变、等同物或替换。关于附图的描述，类似的附图标记可以用来指代类似或相关的元件。对应于一个条目的名词的单数形式可以包括一个或多个条目，除非相关的上下文另外清楚地指出。在本公开中，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”和“A、B或C中的至少一个”的这些短语中的每一个可以包括与相应的一个短语一起列举的条目的任何一个或全部可能的组合。诸如“第一(1st)”和“第二(2nd)”、或“第一(first)”和“第二(second)”的术语可用于简单地将相应的部件与另一部件区分开，并且在其它方面(例如，重要性或顺序)不限制部件。如果元件(例如，第一元件)被称为(具有或不具有术语“可操作地”或“通信地”)“联接”或“连接”到另一元件(例如，第二元件)，则这意味着该元件可以直接地(例如，有线地)、无线地、或经由第三元件与另一元件联接。
在本公开的各实施方式中使用的术语“模块”可以包括硬件、软件或固件中所实现的单元，并且可以与其它术语(例如，逻辑、逻辑块、部分或电路)互换使用。模块可以是用于执行一个或多个功能的单个完整部件，或其最小单元或部分。例如，根据一个实施方式中，模块可以以专用集成电路(ASIC)的形式实现。
本公开的各实施方式可以实现为软件(例如，程序140)，其包括存储在机器(例如，电子设备101)可读的存储介质(例如，内部存储器136或外部存储器138)中的一个或多个指令。例如，机器(例如，电子设备101)的处理器(例如，处理器120)可以调用存储在存储介质中的一个或多个指令中的至少一个，并执行它或它们。这允许待操作机器根据所调用的至少一个指令来执行至少一个功能。一个或多个指令可以包括由编译器生成的代码或由解释器执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。这里，“非暂时性”仅意味着存储介质是有形设备，并且不包括信号(例如，电磁波)，但是该术语不区分数据被半永久地存储在存储介质中的情况和数据被临时存储的情况。
根据一个实施方式中，根据本公开的各实施方式的方法可以被包括和提供在计算机程序产品中。计算机程序产品可以作为卖方和买方之间的产品进行交易。计算机程序产品可以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者经由应用商店(例如，Play StoreTM)直接或在线分发(例如，下载或上载)，或者在两个用户设备(例如，智能电话)之间分发。如果在线分发，则计算机程序产品的至少一部分可以被临时存储在诸如制造商的服务器、应用商店的服务器、或中继服务器的存储器的机器可读存储介质中，或者可以被临时生成。
根据各实施方式，上述部件中的每个部件(例如，模块或程序)可以包括单个实体或多个实体，并且多个实体中的一些实体可以被单独部署在不同的部件中。根据各实施方式，可以省略一个或多个部件或上述部件的操作，或者可以添加一个或多个其它部件或操作。可替换地或附加地，多个部件(例如，模块或程序)可以被集成为单个部件。在这种情况下，集成部件可以以与在集成之前由多个部件中的相应部件执行的多个部件中的每个部件相同或相似的方式来执行多个部件中的每个部件的一个或多个功能。根据各实施方式，由模块、程序或其它部件执行的操作可以顺序地、并行地、重复地或试探地执行，或者一个或多个操作可以以不同的顺序执行或省略，或者可以添加一个或多个其它操作。

Claims (15)

1.一种电子设备，包括：
存储器；
显示器，包括：
像素层，包括多个像素，以及
屏蔽结构，所述屏蔽结构形成有孔并设置在所述像素层下方；
相机模块，设置在所述屏蔽结构下方；以及
处理器，与所述相机模块和所述存储器可操作地联接，
其中，所述处理器被配置成：
通过所述相机模块来获取光源图像；
基于所述光源图像中的对应于第一区域的第一长度值和对应于第二区域的第二长度值来获取第一数据；
将所述第一数据与存储在所述存储器中的第二数据进行比较，
基于所述比较的结果来获取对应于光源的实际光量数据，以及
使用所述实际光量数据来改进最终图像。
2.根据权利要求1所述的电子设备，其中，所述光源图像是衍射光的图像。
3.根据权利要求1所述的电子设备，其中，所述第一区域对应于所述光源图像的中心区域，以及
所述第二区域对应于所述光源图像的衍射区域。
4.根据权利要求3所述的电子设备，其中，所述第一长度值对应于所述中心区域的直径值，以及
所述第二长度值对应于所述衍射区域的长度值。
5.根据权利要求1所述的电子设备，其中，所述第一数据是所述第一长度值和所述第二长度值的比率数据。
6.根据权利要求1所述的电子设备，其中，所述第二数据是点光源的比率数据。
7.根据权利要求6所述的电子设备，其中，所述点光源的比率数据是与光量无关的恒定量。
8.根据权利要求1所述的电子设备，其中，所述处理器还被配置成：通过识别与所述第一数据匹配的所述第二数据来执行所述比较。
9.根据权利要求8所述的电子设备，其中，所述处理器还被配置成：通过识别与所识别的第二数据相关联的光特性来执行所述比较。
10.一种电子设备的方法，所述方法包括：
通过设置在屏蔽结构下方的相机模块来获取光源图像；
基于所述光源图像中的对应于第一区域的第一长度值和对应于第二区域的第二长度值来获取第一数据；
将所述第一数据与存储在存储器中的第二数据进行比较；
基于所述比较的结果来获取对应于光源的实际光量数据；以及
使用所述实际光量数据来改进最终图像。
11.根据权利要求10所述的方法，其中，所述第一区域对应于所述光源图像的中心区域，以及
所述第二区域对应于所述光源图像的衍射区域。
12.根据权利要求11所述的方法，其中，所述第一长度值对应于所述中心区域的直径值，以及
所述第二长度值对应于所述衍射区域的长度值。
13.根据权利要求10所述的方法，其中，所述比较还包括：
识别与所述第一数据相匹配的所述第二数据。
14.根据权利要求13所述的方法，其中，所述比较还包括：
识别与所识别的第二数据相关联的光特性。
15.根据权利要求10所述的方法，其中，所述第一数据是所述第一长度值和所述第二长度值的比率数据。
CN202180069303.7A 2020-11-25 2021-11-24 获取光量的电子设备及方法 Pending CN116325777A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200160245A KR20220072529A (ko) 2020-11-25 2020-11-25 광량을 획득하는 전자 장치 및 방법
KR10-2020-0160245 2020-11-25
PCT/KR2021/017432 WO2022114789A1 (ko) 2020-11-25 2021-11-24 광량을 획득하는 전자 장치 및 방법

Publications (1)

Publication Number Publication Date
CN116325777A true CN116325777A (zh) 2023-06-23

Family

ID=81754866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180069303.7A Pending CN116325777A (zh) 2020-11-25 2021-11-24 获取光量的电子设备及方法

Country Status (5)

Country Link
US (1) US20220394175A1 (zh)
EP (1) EP4216538A4 (zh)
KR (1) KR20220072529A (zh)
CN (1) CN116325777A (zh)
WO (1) WO2022114789A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2987389B1 (en) * 2013-04-15 2017-06-14 Philips Lighting Holding B.V. A method of characterizing a light source and a mobile device
JP6232808B2 (ja) * 2013-07-31 2017-11-22 株式会社ニコン 画像処理プログラム、画像処理装置および撮像装置
JP2016091376A (ja) * 2014-11-06 2016-05-23 キヤノン株式会社 画像処理装置およびその制御方法、プログラムならびに記録媒体
KR20180036463A (ko) * 2016-09-30 2018-04-09 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
KR102600941B1 (ko) * 2019-02-01 2023-11-13 삼성전자주식회사 디스플레이를 포함하는 전자 장치
KR102664754B1 (ko) * 2019-02-20 2024-05-10 삼성전자주식회사 이미지 효과 적용 방법 및 이를 지원하는 전자 장치
CN114864651A (zh) * 2019-12-31 2022-08-05 武汉天马微电子有限公司 一种显示面板及显示装置

Also Published As

Publication number Publication date
WO2022114789A1 (ko) 2022-06-02
EP4216538A1 (en) 2023-07-26
KR20220072529A (ko) 2022-06-02
US20220394175A1 (en) 2022-12-08
EP4216538A4 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
US20230209202A1 (en) Electronic device for performing image stabilization, and operating method therefor
US11558587B2 (en) Camera module comprising complementary color filter array and electronic device comprising same
US20230267702A1 (en) Electronic device including camera module and method for operating electronic device
US20230042544A1 (en) Electronic device for detecting defect in image on basis of difference among sub-images acquired by multiple photodiode sensors, and operation method thereof
US20230007160A1 (en) Photographing method of electronic apparatus and electronic apparatus thereof
US20230074962A1 (en) Electronic device including a plurality of cameras and operating method thereof
US20220360713A1 (en) Electronic device including camera
US20220318971A1 (en) Electronic device for supporting machine learning-based image processing
CN116530088A (zh) 相机模块和包括相机模块的电子装置
CN116325777A (zh) 获取光量的电子设备及方法
EP4307702A1 (en) Electronic device including image sensor and operating method thereof
US20230199294A1 (en) Electronic device including under display camera and operating method thereof
EP4228246A1 (en) Electronic device capable of auto-focusing and method for operating same
US20240098347A1 (en) Electronic device comprising image sensor and dynamic vision sensor, and operating method therefor
US20230199134A1 (en) Electronic device applying bokeh effect to image and operating method thereof
US20240007732A1 (en) Electronic device including plurality of cameras
US20230214632A1 (en) Method for processing image through neural network and electronic device thereof
US20230101860A1 (en) Electronic device including image sensor and operating method thereof
US11843874B2 (en) Electronic device including under display camera and operating method thereof
US20230396889A1 (en) Image capturing method for electronic device, and electronic device therefor
US11877072B2 (en) Image capturing method using plurality of cameras, and electronic device
US20230137831A1 (en) Electronic device for improving image quality
US20240089609A1 (en) Image processing method and electronic device therefor
US20230254599A1 (en) Electronic device comprising image sensor and operation method of same
US20240078685A1 (en) Method for generating file including image data and motion data, and electronic device therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination