CN117120816A - 使用相机的照度测量的方法和支持该方法的电子装置 - Google Patents

使用相机的照度测量的方法和支持该方法的电子装置 Download PDF

Info

Publication number
CN117120816A
CN117120816A CN202280026114.6A CN202280026114A CN117120816A CN 117120816 A CN117120816 A CN 117120816A CN 202280026114 A CN202280026114 A CN 202280026114A CN 117120816 A CN117120816 A CN 117120816A
Authority
CN
China
Prior art keywords
electronic device
processor
camera
display panel
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280026114.6A
Other languages
English (en)
Inventor
文仁儿
姜家王
金东秀
朴宰亨
下川修一
尹汝倬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210042386A external-priority patent/KR20220135986A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN117120816A publication Critical patent/CN117120816A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0233—Handheld
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4204—Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228—Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2230/00—Details of flat display driving waveforms
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0202—Addressing of scan or signal lines
    • G09G2310/0213—Addressing of scan or signal lines controlling the sequence of the scanning lines with respect to the patterns to be displayed, e.g. to save power
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/08—Details of image data interface between the display device controller and the data line driver circuit

Abstract

本发明可以包括：用于使用帧速率进行驱动的显示驱动器集成电路(DDI)、存储器、以及处理器，处理器可操作地连接到相机、显示面板、DDI和存储器，其中，DDI根据多个周期驱动显示面板以输出对应于第一帧速率的一个帧，相机在多个周期中以间隔将图像传感器曝露于光，存储器存储有指令，指令在被执行时使处理器使用通过光曝露生成的图像数据来确定电子装置周围的照度。通过本发明确定的各种实施例是可行的。

Description

使用相机的照度测量的方法和支持该方法的电子装置
技术领域
本说明书的各个实施例涉及通过使用相机测量照度的方法以及支持该方法的电子装置。
背景技术
诸如智能手机或平板电脑的电子装置可以包括相机模块(或者相机或相机装置)。电子装置可以通过相机模块拍摄照片或视频。
如今，电子装置的前表面上的显示器所占据的区域正在逐渐增加。在诸如相机模块、照度传感器(例如，环境光传感器(ALS))、指纹传感器或扬声器的配置中，在电子装置的前表面上占据的区域可以被最小化，或者可以被设置在显示面板下方，以便以隐藏形状安装在电子装置中使其难以从外部察觉。
发明内容
技术问题
电子装置可以通过使用相机来代替照度传感器的功能。当相机位于放置在显示面板的有源区域外部的非有源区域中时，或者当相机通过显示面板中形成的孔暴露时，在使用相机测量照度时，相机可以不受显示面板发光的影响。
对于屏下相机(UDC)，当图像传感器设置在显示面板的有源区域下方时，在使用相机测量照度时，图像传感器可能受到显示面板发光的影响。因为从显示面板输出的光进入图像传感器，所以可能难以准确地测量照度。为了防止这个问题，将与图像传感器交叠的区域处理为黑色(关闭显示器)来减少光干扰的方法己经被尝试。在这种情况下，根据显示面板的驱动方法，可能在图像传感器的上部区域中从视觉上察觉到闪烁。
还尝试了将单独的照度传感器放置在显示器下方的补充方法。然而，在显示面板的底表面上照度传感器的性能可能会降低。
解决方案
本说明书中的各种实施例可以提供一种电子装置，该电子装置通过使UDC的曝光定时与显示面板的不发光时间同步来测量照度。
一种电子装置可以包括：包括图像传感器的相机、显示面板、以第一帧速率驱动显示面板的显示驱动器集成电路(DDI)、存储器以及处理器，所述处理器可操作地连接到所述相机、所述显示面板、所述DDI和所述存储器。所述DDI可以在多个周期中驱动所述显示面板以输出对应于所述第一帧速率的一帧。所述相机可以在多个周期中在构成所述显示面板的行当中的一行或更多行不发光的阶段中执行所述图像传感器的曝光。所述存储器可以存储有指令，所述指令在被执行时使所述处理器使用图像数据来确定所述电子装置周围的照度。
有益效果
根据说明书中公开的各种实施例的电子装置可以通过使UDC的曝光定时与显示面板的不发光时间同步来准确地测量照度。
根据说明书中公开的各种实施例的电子装置可以通过使用具有比照度传感器更宽视场(FOV)和更高透射率的UDC来提高照度测量的准确度。电子装置可以不包括单独的照度传感器。因此，可以降低材料成本，并且照度传感器可以难以在视觉上从外部察觉。
附图说明
图1是示出根据各种实施例的网络环境中的电子装置的框图。
图2是示出根据各种实施例的相机模块的框图。
图3示出了根据各种实施例的电子装置。
图4示出了根据各种实施例的电子装置的框图。
图5示出了根据各种实施例的通过使用相机模块的照度测量方法。
图6示出了根据各种实施例的显示面板的驱动。
图7示出了根据各种实施例的曝光定时。
图8示出了根据各种实施例的图像传感器的ROI。
图9示出了根据各种实施例的图像数据的裁剪。
关于附图的描述，相同或相似的部件将用相同或相似参考标号进行标记。
具体实施方式
在下文中，可以参考附图来描述本公开的各种实施例。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文所描述的各种实施例进行各种修改、等效和/或替代。关于附图的描述，类似的部件可以用类似的参考标记/数字来标记。
图1是示出根据各种实施例的网络环境(00中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端子178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略至少一个部件(例如，连接端子178)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个集成部件(例如，显示模块160)。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120耦接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据实施例，作为数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可将辅助处理器123实现为与主处理器121分离或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如，可通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可包括除了硬件结构以外的软件结构。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入模块150可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可将声音信号输出到电子装置101的外部。声音输出模块155可包括例如扬声器或接收器。扬声器可以用于一般目的，例如播放多媒体或播放唱片。接收器可用于接收呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接耦接或无线耦接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线耦接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端子178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端子178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基座(例如，印刷电路板(PCB))中或形成在基座上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线(例如，阵列天线)。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
根据各种实施例，天线模块197可形成毫米波天线模块。根据实施例，毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199耦接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置104可包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可被包括在第二网络199中。电子装置101可应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
图2是示出根据各种实施例的相机模块180的框图200。
参照图2，相机模块180可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。镜头组件210可采集从将被拍摄图像的物体发出或反射的光。镜头组件210可包括一个或更多个透镜。根据实施例，相机模块180可包括多个镜头组件210。在这种情况下，相机模块180可形成例如双相机、360度相机或球形相机。多个镜头组件210中的一些镜头组件210可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件210可包括例如广角镜头或长焦镜头。
闪光灯220可发光，其中，发出的光用于增强从物体反射的光。根据实施例，闪光灯220可包括一个或更多个发光二极管(LED)(例如，红绿蓝色(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。图像传感器230可通过将从物体发出或反射并经由镜头组件210透射的光转换为电信号来获取与物体相应的图像。根据实施例，图像传感器230可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如，RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器230中的每个图像传感器。
图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜，或者响应于相机模块180或包括相机模块180的电子装置101的移动来控制图像传感器230的可操作属性(例如，调整读出定时)。这样，允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如，图像模糊)的至少一部分。根据实施例，图像稳定器240可使用布置在相机模块180之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块180或电子装置101的这样的移动。根据实施例，可将图像稳定器240实现为例如光学图像稳定器。
存储器250可至少暂时地存储经由图像传感器230获取的图像的至少一部分以用于后续的图像处理任务。例如，如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟，则可将获取的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器250中，并且可经由显示模块160来预览其相应的副本图像(例如，低分辨率图像)。然后，如果满足了指定的条件(例如，通过用户的输入或系统命令)，则可由例如图像信号处理器260来获取和处理存储在存储器250中的原始图像的至少一部分。根据实施例，可将存储器250配置为存储器130的至少一部分，或者可将存储器250配置为独立于存储器130进行操作的分离的存储器。
图像信号处理器260可对经由图像传感器230获取的图像或存储在存储器250中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地，图像信号处理器260可对包括在相机模块180中的部件中的至少一个部件(例如，图像传感器230)执行控制(例如，曝光时间控制或读出定时控制)。可将由图像信号处理器260处理的图像存储回存储器250以用于进一步处理，或者可将该图像提供给在相机模块180之外的外部部件(例如，存储器130、显示模块160、电子装置102、电子装置104或服务器108)。根据实施例，可将图像信号处理器260配置为处理器120的至少一部分，或者可将图像信号处理器260配置为独立于处理器120进行操作的分离的处理器。如果将图像信号处理器260配置为与处理器120分离的处理器，则可由处理器120经由显示模块160将由图像信号处理器260处理的至少一个图像按照其原样显示，或者可将所述至少一个图像在被进一步处理后进行显示。
根据实施例，电子装置101可包括具有不同属性或功能的多个相机模块180。例如，多个相机模块180可以被配置为包括具有不同视角的镜头(例如，镜头组件210)，并且电子装置101可以基于用户的选择来操作。可以执行控制以在电子装置101改变相机模块180的视角。例如，多个相机模块180中的至少一个可以是广角相机，并且多个相机模块180中的至少另一个可以是长焦相机。类似地，多个相机模块180中的至少一个可以是前置相机，并且多个相机模块180中的至少另一个可以是后置相机。另外，多个相机模块180可以包括广角相机、长焦相机、彩色相机、单色相机或红外(IR)相机(例如，飞行时间(TOF)相机、结构光相机)中的至少一种。根据实施例，IR相机可以作为传感器模块(例如，图1中的传感器模块176)的至少一部分来操作。例如，TOF相机可以作为传感器模块(例如，图1中的传感器模块176)的用于检测到对象的距离的至少一部分来操作。
图3示出了根据各种实施例的电子装置。
参考图3，电子装置301(例如，图1的电子装置101)可以包括主体部分310、显示器320(例如，图1的显示装置160)和相机模块330(例如，图1或图2的相机模块180)。
根据各种实施例，主体部分(或壳体)310可以包括电子装置301的工作所需的各种配置。例如，主体部分310可以包括各种配置，诸如，位于主体部分30中的板(例如，印刷电路板(PCB)、柔性PCB(FPCB)或刚性-柔性PCB(RFPCB))、处理器(例如，图1的处理器120)、存储器(例如，图1的存储器130)或通信模块(例如，图1的通信模块190)。
根据各种实施例，显示器320可以设置在主体部分310的第一表面(例如，前表面)上。显示器320可以是全正面显示器，并且可以没有边框或边框最小化的形状。显示器320可以显示诸如文本或图像的各种内容。显示器320可以允许光穿过设置有相机模块330的至少一些区域。例如，显示器320可以允许来自外部的光穿过像素之间的空空间。
根据各种实施例，显示器320可以由多个层组成。例如，显示器320可以具有窗口层、触摸屏面板、显示面板和/或保护层顺序堆叠的结构。显示器320内部的显示面板可以由多个显示行(或像素行)组成。可以根据指定的帧速率和发光/不发光周期(或工作周期)来驱动显示面板的多个显示行。
根据各种实施例，当相机模块330用于测量照度时，从显示行输出的光可以进入多个显示行当中的一些行(以下称为交叠行)415中的图像传感器，从而影响照度测量。例如，交叠行415可以是布置在第一区域(当从电子装置301的正面观看时，显示器320的与图像传感器450交叠的部分区域)中的行，该第一区域是设置在图像传感器450的感测表面上的上表面，或者交叠行415可以是布置在从第一区域部分延伸的第二区域中的行。根据实施例，交叠行415可以是布置在与用于接收光的相机模块330的开口对应的区域中的行。根据各种实施例，电子装置301可以调整图像传感器450的曝光定时或读出定时(参见图4至图10)，以防止来自交叠行415的光进入相机模块330内部的图像传感器450。
相机模块(或相机装置)330可以设置为面向主体部分310的第一表面(例如，前表面)。相机模块330可以是UDC(或者设置在显示器下方的相机)。相机模块330可以设置在显示器320中包括的显示面板下方(可以设置在与显示图像的表面相对的表面上)。相机模块330可以是隐藏的形状，从而使得用户难以在视觉上从外部察觉。
根据实施例，相机模块330可以安装在显示器320中包括的至少一些层被去除的区域中。例如，外部光不能穿过的层(例如，屏蔽层)可以被去除，并且相机模块330的透镜部分可以设置在去除了该层的区域中。
在相机模块330中可以包括图像传感器450。图像传感器450可以通过使用穿过显示器320中的交叠行415之间的空间的光来获得图像数据。当通过使用相机模块330测量照度时，可以将图像传感器450的曝光定时或读出定时调整为对应于交叠行415的不发光时间(参见图4至图9)。
图4示出了根据各种实施例的电子装置的框图。图4主要示出了通过使用相机模块330来测量照度的配置，但不限于此。
参考图4，电子装置301可以包括处理器(例如，图1的处理器120)405、显示器406(例如，图1的显示装置160或图3的显示器320)、相机模块408(例如，图1或图2的相机模块180或图3中的相机模块330)。
处理器405可以控制显示器406。例如，处理器405可以向显示驱动器IC(以下称为“DDI”)420发送以指定的帧速率(可选择地，操作频率、刷新速率或扫描速率)驱动显示面板410的控制信号。处理器405可以向DDI 420发送将要通过显示面板410输出的图像数据。
处理器405可以控制相机模块408。例如，处理器405可以通过相机模块408获得图像数据，然后可以基于图像数据存储图像或者将图像输出到显示器406。
根据各种实施例，处理器405可以通过使用相机模块408来测量环境照度。例如，处理器405可以通过显示内核405a发送/接收与显示器406或相机模块408的照度测量相关联的信息或控制信号(例如，图像传感器450的曝光激活信号或显示面板410的发光激活信号)。对于照度测量，处理器405可以同时控制显示器406或相机模块408。
根据各种实施例，处理器405可以通过显示内核405a将显示面板410的亮度信息发送到相机模块408。相机模块408可以将针对显示面板410亮度的图像传感器450的曝光时间以及用于照度输出的区域(以下称为感兴趣区域(ROI))预先存储为对应于每个亮度值的查找表(LUT)。相机模块408可以通过使用接收到的亮度信息来确定曝光时间和与ROI相关联的信息(例如，曝光时间、增益、合并设置(Binning Setting))(参见图5和图6)。
根据各种实施例，当使用相机模块408测量照度时，处理器405可以通过传感器集线器480接收测量的照度值。处理器405可以通过使用接收到的照度值来控制显示器406的亮度。此外，处理器405可以使用接收到的照度值来执行各种应用490。
显示器406可以包括显示面板410和DDI 420。
显示面板410可以显示诸如图像或文本的各种内容。显示面板410可以由多个显示行(或像素行)组成。显示面板410的多个显示行可以根据指定的帧速率和发光/不发光周期(或工作周期)来驱动(参见图6)。
DDI 420可以根据处理器405的控制信号驱动显示面板410。DDI 420可以根据控制信号以帧速率(例如，60Hz或120Hz)驱动显示面板410。
根据实施例，当使用相机模块408测量照度时，DDI 420可以接收与帧速率的变化相关联的控制信号。DDI 420可以响应于控制信号以第二帧速率驱动正以第一帧速率驱动的显示面板410。例如，在显示行的不发光阶段中，第二帧速率可以比第一帧速率长，以有利于照度测量。
当DDI 420通过显示面板410输出一帧时，DDI 420可以在多个周期中驱动构成显示面板410的每个显示行(或像素行)。例如，对于以60Hz的操作，当DDI 420输出一帧16.67ms时，DDI 420可以使显示行在4个周期中重复发光/不发光。在不改变用于驱动显示面板410的电压的条件下，随着发光阶段在每个周期中的增加(随着不发光阶段的减小)，显示面板410的亮度可以增加(参见图6)。
根据实施例，DDI 420可以驱动显示面板410的整个区域。根据另一个实施例，可以存在多个DDI 420。DDI 420可以包括用于驱动交叠行415以进行照度测量的第一驱动器和用于驱动剩余显示行的第二驱动器。
根据各种实施例，当通过单独的驱动器控制交叠行415时，可以根据相机模块408所在区域的劣化程度(亮度变化)来补偿亮度。此外，可以以有利于照度测量的定时来控制交叠行415，并且可以以常规定时控制剩余显示行。
根据各种实施例，DDI 420可以向相机模块408发送同步信号。例如，同步信号可以包括交叠行415当中的第一行(起始行)的不发光定时(关断定时)。
相机模块408可以通过使用图像传感器450来获得图像数据。当相机模块408用于测量照度时，相机模块408可以与交叠行415的不发光定时同步执行曝光。
根据实施例，相机模块408可以包括图像传感器450和传感器接口460。图像传感器450可以将光信号转换为电信号。图像传感器450可以通过读出每个像素的数据来获得图像数据。图像传感器450的曝光时间可以与交叠行415的不发光定时同步。
传感器接口460可以接收从处理器405发送的亮度信息或从显示器406发送的与不发光阶段相关联的同步信号，然后可以将亮度信息和同步信号传送到图像传感器450。传感器接口460可以将通过图像传感器450生成的图像数据发送到传感器集线器480。
根据各种实施例，传感器接口460可以在指定条件下去除(或裁剪)或缩小图像数据的一部分，以便发送到传感器集线器480。
传感器集线器480可以接收通过图像传感器450生成并用于测量照度的数据(例如，图像数据或拍摄信息(增益或快门速度))。传感器集线器480可以通过计算来计算照度值。传感器集线器480可以将计算出的照度值发送到处理器405。
图5示出了根据各种实施例的使用相机模块的照度测量方法。
参考图5，在操作510中，处理器405可以以第一帧速率(例如60Hz)驱动显示面板410。处理器405可以向DDI 420发送控制信号，以便以第一帧速率(例如60Hz)驱动显示面板410。
根据各种实施例，处理器405可以在多个周期中驱动显示面板410，以输出对应于第一帧速率的一帧。例如，当处理器405输出一帧时，处理器405可以允许构成显示面板410的每行以N个周期(例如，4次)重复发光/不发光。当发光阶段的比率在每个周期中增加并且其他驱动条件相同时，显示面板410的亮度可以增加。
在操作520中，处理器405可以使显示器406与相机模块408同步。处理器405可以向显示器406或相机模块408发送与照度测量相关联的信息或控制信号。显示器406的DDI 420可以向相机模块408的传感器接口460发送关于交叠行415的不发光阶段的信息。
根据各种实施例，处理器405可以将用于与显示面板410的亮度对应的图像传感器450的曝光时间和照度输出的ROI发送到LUT，然后可以将ROI存储在相机模块408中。
根据各种实施例，处理器405可以将显示面板410的亮度信息发送到相机模块408。相机模块408可以使用接收到的亮度信息和LUT来确定曝光时间和与ROI相关联的信息(例如，曝光时间、增益或合并设置)。
根据各种实施例，处理器405可以监测显示面板410的亮度变化。当显示面板410的亮度改变时，处理器405可以将改变后的亮度信息发送到相机模块408。
在操作530中，处理器405可以使得图像传感器450在显示面板410的一些行不发光的阶段中执行曝光。一些行可以对应于交叠行415。
在操作540中，相机模块408的图像传感器450可以通过执行读出来获得根据曝光的图像数据。对于滚动快门，可以在图像传感器的每一行的曝光完成之后执行读出。对于全局快门，可以在图像传感器的所有行(或包括在ROI中的所有行)的曝光完成之后执行读出。根据实施例，图像传感器450可以根据相机模块408或处理器405的图像信号处理器(ISP)(例如，图2的ISP)的控制信号来执行读出。
在操作550中，相机模块408、处理器405或单独的子处理器(例如，传感器集线器)可以通过使用图像数据来确定周围照度。
根据实施例，相机模块408或处理器405的ISP(例如，图2的ISP)可以通过使用图像数据来计算照度值。
例如，相机模块408或处理器405的ISP可以根据相机模块408拍摄的图像确定曝光值(EV)，并且可以通过使用如下面表1所示的EV-Lux表来确定照度值。
表1
EV Lux EV Lux EV Lux EV Lux
-1 1.25 4 40 9 1280 14 40960
-0.5 1.75 4.5 56 9.5 1800 14.5 57800
0 2.5 5 80 10 2600 15 81900
0.5 3.5 5.5 112 10.5 3600 15.5 116000
1 5 6 160 11 5120 16 164000
1.5 7 6.5 225 11.5 7200 16.5 232000
2 10 7 320 12 10240 17 328000
2.5 14 7.5 450 12.5 14400 17.5 464000
3 20 8 640 13 20480 18 656000
3.5 28 8.5 900 13.5 28900
根据另一个实施例，相机模块408可以缩小从图像传感器450获得的图像数据，以便将其传送到传感器集线器480或处理器405。传感器集线器480或处理器405可以接收通过图像传感器450生成并用于测量照度的数据(例如，图像数据或拍摄信息(增益或快门速度))。传感器集线器480或处理器405可以通过计算来计算照度值。
根据各种实施例，处理器405可以通过使用计算的照度值来调整显示面板410的亮度，或者可以在各种应用中使用计算的照度值。
根据各种实施方式，相机模块408(ISP或图像传感器450)可以在交叠行415的不发光阶段将亮度信息设置为参考值，并且可以将在相机模块408周围发射具有特定亮度的光(来自显示器的可见光或单独的红外光源)时的时间点的亮度信息设置成检测值。当参考值与检测值之间的差大于特定值时，可以确定接近外部对象。
图6示出了根据各种实施例的显示面板的驱动。图6示出了帧速率为60Hz并且一帧以4个周期来驱动。然而，实施例不限于此。周期数可以根据显示面板410的特性或驱动条件而改变。
参考图6，DDI 420可以以指定的帧速率(例如60Hz)驱动显示面板410。当显示面板410输出一帧时，可以在多个周期中驱动显示面板410，以便重复发光/不发光。例如，在输出一帧时，显示面板410可以在4个发光/不发光周期(或工作周期)中操作。每个周期可以包括发光阶段(Disp_on)和不发光阶段(Disp_off)。显示面板410的交叠行(行1至行N)可以根据DDI 420的控制信号通过重复发光/不发光来输出数据。
根据各种实施例，处理器405可以控制显示面板410的亮度。处理器405可以通过向DDI 420发送控制信号来改变显示面板410的亮度。DDI 420可以通过在一个周期中改变发光阶段(Disp_on)与不发光阶段(Disp_off)的比率来改变显示面板410的亮度。
例如，在显示面板410的亮度为200cd/m2的条件下，显示面板410可以在4个周期中以具有35.02％的不发光阶段(Disp_off)的比率被驱动。因此，一个周期可以是4.17ms(＝16.67ms/4)。发光阶段(Disp_on)可以是2.71ms(＝4.17ms*64.98/100)。不发光阶段(Disp_off)可以是1.46ms(＝4.17ms*35.02/100)。
根据对显示面板410的每行的顺序驱动的延迟(下文中称为“行延迟”)(Delay_Line)可以发生在每个显示行中。可以根据显示面板410的分辨率或帧速率来确定行延迟(Delay_Line)。
根据各种实施例，在图6的定时图中，交叠行(行1至行N)中的每一者可以根据不发光开始时间(或关断时间)和不发光结束时间(或接通时间)来操作。例如，第一行(或起始行)可以在第一时间t1关断，第N行(或最后一行)可以在第二时间t2关断。第一时间t1与第二时间t2之间的差可以与显示延迟时间D_D相同。显示延迟时间D_D可以是行延迟(Delay_Line)*N(交叠行的数量)。
第一行可以在第三时间t3接通，第N行可以在第四时间t4接通。第三时间t3与第四时间t4之间的差可以与显示延迟时间D_D相同。显示延迟时间D_D可以是行延迟(Delay_Line)*N(交叠行的数量)。
第一行(行1)的不发光阶段Disp_off可以是从第一时间t1至第三时间t3。第N行(行N)的不发光阶段Disp_off可以是从第二时间t2至第四时间t4。
根据各种实施例，可以通过显示面板410的帧速率、不发光阶段的比率和周期次数来计算不发光阶段Disp_off。例如，不发光阶段Disp_off可以计算为“((1/工作频率)/周期数)*不发光阶段比率)”。
根据各种实施例，DDI 420可以向传感器接口460发送同步信号Sync。相机模块408可以通过使用同步信号Sync来设置图像传感器450的曝光定时，以对应于显示面板410的交叠行(行1至行N)的不发光阶段Disp_off。以这种方式，可以防止从交叠行(行1至行N)输出的光进入图像传感器450，并且图像传感器450可以仅接收来自外部光源的光。因此，可以提高照度测量的准确度(参见图7)。
根据各种实施例，同步信号Sync可以包括关于第一时间t1的信息，该第一时间t1是第一行(行1)的关断时间。相机模块408可以通过在第一时间t1计算第二时间t2来执行曝光，该第二时间t2是第N行(行N)的关断时间。相机模块408可以从处理器405接收行延迟Delay_Line和交叠行的数量(N)，可以将行延迟Delay_Line和交叠行的数量(N)反应在第一时间t1，并且可以计算第二时间t2。相机模块408可以通过使用从处理器405接收的信息，响应于显示面板410的亮度来改变图像传感器450的曝光时间。
根据各种实施例，相机模块408可以在一些周期中获得图像数据。例如，在构成一帧的4个周期当中，可以在第一周期和第三周期中获得用于照度测量的图像数据，而不在第二周期和第四周期中获得用于照度测量的图像数据。
图7示出了根据各种实施例的曝光定时。图7示出了交叠行的数量是五。然而，实施例可以不限于此。
参考图7，交叠行(行1至行5)中的每一者可以根据不发光开始时间和不发光结束时间来操作。
例如，作为起始行的第一行(行1)可以在第一时间t1关断。作为最后一行的第五行(行5)可以在第二时间t2关断。第一行可以在第三时间t3接通。第五行可以在第四时间t4接通。
第一行(行1)的不发光阶段Disp_off可以是从第一时间t1至第三时间t3。第五行(行5)的不发光阶段Disp_off可以是从第时间t2至第四时间t4。
根据各种实施例，第二时间t2可以由第一时间t1确定。第二时间t2可以被确定为“第一时间t1+显示延迟时间D_D”。这里，显示延迟时间D_D可以是图6中的“行延迟Delay_Line*N(交叠行的数量)”。
通过以显示面板410的行为单位更新的驱动方法，显示延迟时间D_D可以出现在第一行(行1)与第五行(行5)之间。显示延迟时间D_D可以根据显示面板410的分辨率和帧速率而变化。
根据各种实施例，总不发光阶段(总显示关断(TDO))可以是所有交叠行(行1至行5)都处于不发光状态的阶段。可以在第一时间t1在显示延迟时间D_D过去之后开始总不发光阶段TDO。总不发光阶段TDO可以是第二时间t2与第三时间t3之间的阶段。
在滚动快门的定时图701中，对于滚动快门，图像传感器450的每一行的曝光开始时间可以彼此不同。因此，可以出现曝光延迟E_D。当针对每一行终止曝光时，可以开始对每一行的读出。
图像传感器450的曝光可以在总不发光阶段TDO内执行。曝光开始时间E_s可以在第二时间t2之后，该第二时间t2是第五行(行5)的关断时间。曝光结束时间E_e可以在第三时间t3之前，该第三时间t3是第一行(行1)的接通时间。
根据各种实施例，曝光延迟E_D可以由工作频率或帧长度行(Frame Length Line)来定义。可以调整ROI和工作频率，使得ROI数据在曝光时间内被完全获得。
在全局快门的定时图702中，对于全局快门，图像传感器450的所有行的曝光开始时间和曝光结束时间可以相同。因此，不会发生曝光延迟。图像传感器450的所有区域的曝光被同时执行，然后可以开始读出。
在全局快门下图像传感器450的曝光可以在总不发光阶段TDO内被执行。曝光开始时间E_s可以在第二时间t2之后，该第二时间t2是第五行(行5)的关断时间。曝光结束时间E_e可以在第三时间t3之前，该第三时间t3是第一行(行1)的接通时间。
图8示出了根据各种实施例的图像传感器的ROI。
参考图8，处理器405可以确定用于图像传感器450中的照度输出的ROI。
根据实施例810，处理器405可以从图像传感器450的所有区域获得图像数据。图像数据可以用于计算照度。当显示面板410的不发光阶段很长或者图像传感器450的工作速度快时，可以从图像传感器450中的所有区域获得图像数据。
根据另一个实施例820，处理器405可以将图像传感器450的部分区域(例如，中心区域)设置为ROI 821。只有从ROI 821获得的图像数据可以用于计算照度。当显示面板410的不发光阶段较短时(当显示面板的亮度较亮时)，可以从ROI 821快速获得图像数据。图像传感器450可以仅在ROI 821中执行曝光和读出。
根据另一个实施例830，处理器405可以将图像传感器450中的多个子区域设置为ROI 831和ROI 832。只有ROI 831和ROI 832中的图像数据可以用于计算照度。例如，对于第一ROI 831，可以在第一周期的整个不发光时间期间执行曝光和读出。对于第二ROI 832，可以在第二周期的整个不发光时间期间执行曝光和读出。
图9示出了根据各种实施例的图像数据的裁剪。
参考图9，相机模块408可以通过图像传感器450获得用于照度测量的图像数据。根据各种实施例，图像传感器450中的曝光持续时间T_e可以与总不发光阶段TDO相同，或者可以短于总不发光阶段TDO。
相机模块408或处理器405可以从图像数据当中去除对应于交叠行415的发光阶段的数据903，然后可以仅裁剪和收集与交叠行415的总不发光阶段TDO对应的数据905。相机模块408或处理器405可以通过仅使用裁剪数据910来计算照度。
根据各种实施例，电子装置(例如，图1的电子装置101或图3的电子装置301)可以包括：包括图像传感器(例如，图2的图像传感器230或图3和图4的图像传感器450)的相机模块(例如，图1和图2的相机模块180、图3的相机模块330或图4的相机模块408)、显示面板(例如，图4的显示面板410)、以第一帧速率驱动显示面板(例如，图4的显示器面板410)的显示驱动器IC(DDI)(例如，图4的DDI 420)、存储器(例如，图1的存储器130)、以及处理器(例如，图1的处理器120或图4的处理器405)，处理器可操作地连接到相机模块(例如，图1和图2的相机模块180、图3的相机模块330或图4的相机模块408)、显示面板(例如，图4的显示面板410)、DDI(例如，图1的DDI 420)和存储器(例如，图1的存储器130)。DDI(例如，图4的DDI420)可以在多个周期中驱动显示面板(例如，图4的显示面板410)以输出对应于第一帧速率的一帧。相机模块(例如，图1和图2的相机模块180、图3的相机模块330或图4的相机模块408)可以在多个周期中，在构成显示面板(例如，图4的显示面板410)的行当中的一些行不发光的阶段中执行图像传感器(例如，图2的图像传感器230或图3和图4的图像传感器450)的曝光。存储器(例如，图1的存储器130)可以存储有指令，这些指令在被执行时，使处理器(例如，图1的处理器120或图4的处理器405)通过使用根据曝光的图像数据来确定电子装置(例如，图1的电子装置101或图3的电子装置301)周围的照度。
根据各种实施例，一些行是布置在第一区域中的行，该第一区域是设置在图像传感器(例如，图2的图像传感器230或图3和图4的图像传感器450)的感测表面的上表面，或者一些行是布置在从第一区域部分延伸的第二区域中的行。
根据各种实施例，DDI(例如，图4的DDI 420)根据从处理器(例如，图1的处理器120或图4的处理器405)接收的控制信号将第一帧速率改变为第二帧速率。
根据各种实施例，指令可以使处理器(例如，图1的处理器120或图4的处理器405)向相机模块(例如，图1和图2的相机模块180、图3的相机模块330或图4中的相机模块408)发送显示面板(例如，图4的显示面板410)的亮度信息。
根据各种实施例，相机模块(例如，图1和图2的相机模块180、图3的相机模块330或图4的相机模块408)可以基于亮度信息更改曝光的设置。
根据各种实施例，亮度信息可以包括关于多个周期的发光阶段或不发光阶段的比率的信息。
根据各种实施例，DDI(例如，图4的DDI 420)可以向相机模块(例如，图1和图2的相机模块180、图3的相机模块330或图4的相机模块408)发送包括关于第一时间的信息的同步信号，第一时间是一些行当中的起始行的不发光开始时间。
根据各种实施例，相机模块(例如，图1和图2的相机模块180、图3的相机模块330或图4的相机模块408)可以确定第二时间，该第二时间是一些行当中的最后一行的不发光开始时间，并且在第二时间开始图像传感器(例如，图2的图像传感器230或图3和图4的图像传感器450)的曝光。
根据各种实施例，相机模块(例如，图1和图2的相机模块180、图3的相机模块330或图4的相机模块408)可以确定第三时间，该第三时间是起始行的不发光结束时间，并且在第三时间之前结束图像传感器(例如，图2的图像传感器230或图3和图4的图像传感器450)的曝光。
根据各种实施例，相机模块(例如，图1和图2的相机模块180、图3的相机模块330或图4的相机模块408)可以获得图像传感器(例如，图2的图像传感器230或图3和图4的图像传感器450)的部分区域中的图像数据。
根据各种实施例，相机模块(例如，图1和图2的相机模块180、图3的相机模块330或图4的相机模块408)可以在部分区域执行曝光和读出，并且在部分区域之外的区域中断曝光或读出。
根据各种实施例，部分区域可以包括彼此分离的多个子区域。
根据各种实施例，指令可以使处理器(例如，图1的处理器120或图4的处理器405)通过使用确定的照度来改变显示面板(例如，图4的显示面板410)的亮度，或者将确定的照度反映到应用的执行。
根据各种实施例，相机模块(例如，图1和图2的相机模块180、图3的相机模块330、或图4的相机模块408)或处理器(例如，图1的处理器120或图4的处理器405)可以从图像数据当中裁剪对应于该阶段的数据。
根据各种实施例，电子装置(例如，图1的电子装置101或图3的电子装置301)可以包括：包括第一表面的壳体、通过第一表面的第一部分暴露的显示器、通过第一表面的第一部分的部分区域暴露的图像传感器(例如，图2的图像传感器230或图3和图4的图像传感器450)、以及电连接到图像传感器(例如，图2的图像传感器230或图3和图4的图像传感器450)的处理器(例如，图1的处理器120或图4的处理器405)。显示器可以从处理器(例如，图1的处理器120或图4的处理器405)接收显示激活信号。当光根据接收到的显示激活信号而被发射时，每一行可以包括不发光阶段。部分区域的起始行(第一行)可以在第一时间点(t1)不发光。部分区域的最后一行(第N行)可以在第二时间点(t2)不发光。起始行可以在第一时间点(t1)或第二时间点(t2)之后的第三时间点(t3)发光。最后一行(第N行)可以在第三时间点(t3)之后的第四时间点(t4)发光。图像传感器(例如，图2的图像传感器230或图3和图4的图像传感器450)可以从处理器(例如，图1的处理器120或图4的处理器405)接收曝光激活信号，可以根据接收到曝光激活信号在图像传感器(例如，图2的图像传感器230或图3和图4的图像传感器450)中的与起始行(第一行)对应的第一图像区域中执行从第五时间点(t5)至第六时间点(t6)的曝光，并且可以在图像传感器(例如，图2的图像传感器230或图3和图4的图像传感器450)中的与最后一行(第N行)对应的第二图像区域中执行从第七时间点(t7)至第八时间点(t8)的曝光。第一时间点(t1)至第四时间点(t4)、第五时间点(t5)、第八时间点(t8)可以具有“第一时间点(t1)<第二时间点(t2)<第五时间点(t5)<第八时间点(t8)<第三时间点(t3)<第四时间点(t4)”的关系。处理器(例如，图1的处理器120或图4的处理器405)可以基于通过曝光获得的图像来测量电子装置(例如，图1的电子装置101或图3的电子装置301)周围的照度。
根据各种实施例，第三时间点(t3)、第五时间点(t5)至第八时间点(t8)可以具有“第五时间点(t5)<第七时间点(t7)<第六时间点(t6)<第八时间点(t8)<第三时间点(t3)”的关系。
根据各种实施例，第三时间点(t3)、第五时间点(t5)至第八时间点(t8)可以具有“第五时间点(t5)＝第七时间点(t7)<第六时间点(t6)＝第八时间点(t8)<第三时间点(t3)”的关系。
根据各种实施例，图像传感器(例如，图2的图像传感器230或图3和图4的图像传感器450)可以根据曝光激活信号在部分区域中执行曝光。
根据各种实施例，处理器(例如，图1的处理器120或图4的处理器405)可以确定第一时间点(t1)至第八时间点(t8)，使得在图像传感器(例如，图2的图像传感器230或图3和图4的图像传感器450)的所有区域中执行根据曝光激活信号的曝光。
根据各种实施例，由电子装置(例如，图1的电子装置101或图3的电子装置301)执行的照度测量方法可以包括：在多个周期中驱动电子装置(例如，图1中的电子装置102或图3中的电子装置301)的显示面板(例如，图4的显示面板410)以输出对应于第一帧速率的一帧，在多个周期中在构成显示面板(例如，图4的显示面板410)的行当中的一些行不发光的阶段中执行图像传感器(例如，图2的图像传感器230或图3和4的图像传感器450)的曝光，通过执行读出来获得根据曝光的图像数据，并通过使用图像数据来确定电子装置(例如，图1的电子装置101或图3的电子装置301)周围的照度。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括-个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)耦结”、“耦接到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)耦接、与所述另一元件无线耦接、或经由第三元件与所述另一元件耦接。
如与本公开的各种实施例关联使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，PlayStoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。

Claims (15)

1.一种电子装置，所述电子装置包括：
相机，所述相机包括图像传感器；
显示面板；
显示驱动器集成电路(DDI)，所述显示驱动器集成电路被配置为以第一帧速率驱动所述显示面板；
存储器；以及
处理器，所述处理器可操作地连接到所述相机、所述显示面板、所述DDI和所述存储器，
其中，所述DDI被配置为：在多个周期中驱动所述显示面板以输出对应于所述第一帧速率的一帧，
其中，所述相机被配置为：在所述多个周期中，在构成所述显示面板的行当中的一行或更多行不发光的阶段中，执行所述图像传感器的曝光，并且
其中，所述存储器存储有指令，所述指令在被执行时使所述处理器使用根据所述曝光的图像数据来确定所述电子装置周围的照度。
2.根据权利要求1所述的电子装置，其中，所述一行或更多行是布置在第一区域或第二区域中的行，其中，所述第一区域是设置在所述图像传感器的感测表面上的上表面，并且所述第二区域从所述第一区域部分地延伸。
3.根据权利要求1所述的电子装置，其中，所述DDI基于从所述处理器接收的控制信号将所述第一帧速率改变为第二帧速率。
4.根据权利要求1所述的电子装置，其中，所述指令使所述处理器：
向所述相机发送所述显示面板的亮度信息。
5.根据权利要求4所述的电子装置，其中，所述相机被配置为基于所述亮度信息来改变所述曝光的设置。
6.根据权利要求4所述的电子装置，其中，所述亮度信息包括关于所述多个周期的发光阶段或不发光阶段的比率的信息。
7.根据权利要求1所述的电子装置，其中，所述DDI被配置为：向所述相机发送包括关于第一时间的信息的同步信号，其中，所述第一时间对应于所述一行或更多行当中的起始行的不发光起始时间。
8.根据权利要求7所述的电子装置，其中，所述相机被配置为：
在所述第一时间确定第二时间，其中，所述第二时间对应于所述一行或更多行当中的最后一行的不发光开始时间；并且
在所述第二时间开始所述图像传感器的所述曝光。
9.根据权利要求8所述的电子装置，其中，所述相机被配置为：
确定第三时间，其中，所述第三时间是所述起始行的不发光结束时间，并且
在所述第三时间之前结束所述图像传感器的所述曝光。
10.根据权利要求1所述的电子装置，其中，所述相机被配置为：获得所述图像传感器的部分区域中的所述图像数据。
11.根据权利要求10所述的电子装置，其中，所述相机被配置为：在所述部分区域中执行所述曝光和读出，并且在所述局部区域之外的区域中中断所述曝光或所述读出。
12.根据权利要求10所述的电子装置，其中，所述部分区域包括彼此分离的多个子区域。
13.根据权利要求1所述的电子装置，其中，所述指令使所述处理器：
使用所确定的照度来改变所述显示面板的亮度；或者
将所确定的照度反映到应用的执行中。
14.根据权利要求1所述的电子装置，其中，所述相机模块或所述处理器从所述图像数据当中裁剪与所述阶段对应的数据。
15.一种由电子装置执行的照度测量方法，所述方法包括：
在多个周期中驱动所述电子装置的显示面板，以输出对应于第一帧率的一帧；
在所述多个周期中，在构成所述显示面板的行当中的一行或更多行不发光的阶段中执行图像传感器的曝光；以及
使用根据所述曝光的图像数据来确定所述电子装置周围的照度。
CN202280026114.6A 2021-03-31 2022-03-31 使用相机的照度测量的方法和支持该方法的电子装置 Pending CN117120816A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0042386 2021-03-31
KR1020210042386A KR20220135986A (ko) 2021-03-31 2021-03-31 카메라를 이용한 조도 측정 방법 및 이를 지원하는 전자 장치
PCT/KR2022/004615 WO2022211534A1 (ko) 2021-03-31 2022-03-31 카메라를 이용한 조도 측정 방법 및 이를 지원하는 전자 장치

Publications (1)

Publication Number Publication Date
CN117120816A true CN117120816A (zh) 2023-11-24

Family

ID=83448591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280026114.6A Pending CN117120816A (zh) 2021-03-31 2022-03-31 使用相机的照度测量的方法和支持该方法的电子装置

Country Status (2)

Country Link
US (1) US20220321754A1 (zh)
CN (1) CN117120816A (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140093513A (ko) * 2013-01-18 2014-07-28 삼성전자주식회사 휴대 단말기의 디스플레이 제어 장치 및 방법
KR102063102B1 (ko) * 2013-08-19 2020-01-07 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR102153436B1 (ko) * 2014-01-15 2020-09-08 엘지전자 주식회사 이동단말기 및 그 제어방법
US9712751B2 (en) * 2015-01-22 2017-07-18 Apple Inc. Camera field of view effects based on device orientation and scene content
KR20170097860A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 디스플레이를 이용하여 이미지를 촬영하는 전자 장치 및 이미지 촬영 방법
KR102557935B1 (ko) * 2016-03-10 2023-07-21 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이 제어 방법
KR20180076862A (ko) * 2016-12-28 2018-07-06 삼성전자주식회사 디스플레이를 가지는 전자 장치
KR102280603B1 (ko) * 2017-06-01 2021-07-22 삼성전자주식회사 조도 센서를 제어하기 위한 전자 장치 및 방법
JP7361030B2 (ja) * 2017-11-16 2023-10-13 シナプティクス インコーポレイテッド 表示パネルのための補償技術
KR102266152B1 (ko) * 2018-02-22 2021-06-17 삼성전자주식회사 디스플레이 영역의 크기 변경이 가능한 플렉시블 디스플레이를 포함하는 전자 장치 및 그 제어 방법
JP7309420B2 (ja) * 2019-04-02 2023-07-18 キヤノン株式会社 撮像装置
JPWO2021106513A1 (zh) * 2019-11-29 2021-06-03

Also Published As

Publication number Publication date
US20220321754A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
US20230262318A1 (en) Method for taking photograph by using plurality of cameras, and device therefor
EP4297394A1 (en) Electronic device comprising camera
EP4307652A1 (en) Electronic device and image capturing method thereof
US11490489B2 (en) Electronic device for controlling light emitting elements of optical sensor module based on display signal line voltage and operating method of electronic device
CN117120816A (zh) 使用相机的照度测量的方法和支持该方法的电子装置
KR20220135986A (ko) 카메라를 이용한 조도 측정 방법 및 이를 지원하는 전자 장치
EP4319134A1 (en) Electronic device comprising camera, and operating method for electronic device
US20230396889A1 (en) Image capturing method for electronic device, and electronic device therefor
US20240098347A1 (en) Electronic device comprising image sensor and dynamic vision sensor, and operating method therefor
US20230007160A1 (en) Photographing method of electronic apparatus and electronic apparatus thereof
US20240004980A1 (en) Method, device, and storage medium for user authentication
US20240089609A1 (en) Image processing method and electronic device therefor
EP4228246A1 (en) Electronic device capable of auto-focusing and method for operating same
US20230319423A1 (en) Method for providing image and electronic device supporting the same
US20230086383A1 (en) Method for photographing in multiple directions through one camera and electronic device thereof
US20230082406A1 (en) Electronic device including camera and method for operating the same
US20230254599A1 (en) Electronic device comprising image sensor and operation method of same
US20240007732A1 (en) Electronic device including plurality of cameras
US11706532B2 (en) Method for providing image and electronic device supporting the same
US20230074962A1 (en) Electronic device including a plurality of cameras and operating method thereof
US20230412920A1 (en) Method for executing application, and electronic device supporting same
US20230214632A1 (en) Method for processing image through neural network and electronic device thereof
US20230360245A1 (en) Measurement method using ar, and electronic device
US20230208057A1 (en) Electronic device including connecting interface for connecting camera module to printed circuit board
CN117693941A (zh) 包括相机的电子设备及电子设备的操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination