CN117693941A - 包括相机的电子设备及电子设备的操作方法 - Google Patents

包括相机的电子设备及电子设备的操作方法 Download PDF

Info

Publication number
CN117693941A
CN117693941A CN202280028840.1A CN202280028840A CN117693941A CN 117693941 A CN117693941 A CN 117693941A CN 202280028840 A CN202280028840 A CN 202280028840A CN 117693941 A CN117693941 A CN 117693941A
Authority
CN
China
Prior art keywords
camera
electronic device
display
driving information
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280028840.1A
Other languages
English (en)
Inventor
朴宣玟
廉东铉
李旼祐
罗在根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN117693941A publication Critical patent/CN117693941A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0686Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/53Constructional details of electronic viewfinders, e.g. rotatable or detachable

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及一种包括相机的电子设备以及该电子设备的操作方法。根据一个实施例,电子设备可以包括:显示模块;相机,所述相机被布置在所述显示模块的所述后表面上;存储器;以及至少一个处理器,所述至少一个处理器电连接到所述显示模块、所述相机和所述存储器,其中,所述至少一个处理器被配置为:识别为所述相机设置的相机驱动信息;识别设置的相机驱动信息中包括的快门速度;改变设置的显示驱动信息,使得显示模块的占空比的非发射间隔的时间大于快门速度;以及基于改变后的显示驱动信息来控制相机的驱动。其他实施例也是可能的。

Description

包括相机的电子设备及电子设备的操作方法
技术领域
本公开的各种实施例涉及一种包括相机的电子设备,以及一种用于操作电子设备的方法。
背景技术
最近,为了用户方便,已经开发了各种类型的电子设备,并且提供了各种服务或功能。
电子设备可以被实现为具有穿过显示器的上端开出的孔,使得前置相机以孔显示类型被布置,或者具有以凹口显示类型布置在左侧或右侧的相机传感器。
电子设备最近已经被实现为通过最大程度地利用显示器的暴露区域同时减少显示器边框来扩展显示屏,以便有效地显示与各种服务或功能的执行相关的内容和信息,并增强用户的沉浸式体验。为此,电子设备可以被实现为包括屏下相机(UDC),使得前置相机安装在显示面板下方,而不是凹口或孔显示类型。显示器的相应部分可以仅在UDC被激活时被去激活,使得光被传输到相机镜头。
发明内容
技术问题
传统的电子设备具有布置在显示面板下方的UDC,从而使得难以确保足够量的光,并且当通过UDC捕获图像时,显示面板中出现的光可能引起影响。因此,通过传统电子设备的UDC捕获的图像的质量可能降低。
本公开的实施例可以提供一种包括相机的电子设备,使得通过UDC捕获图像而没有出现在显示面板中的光的干扰,以及一种用于操作电子设备的方法。
技术解决方案
根据本公开的实施例,电子设备可以包括显示模块、在显示模块的后表面上布置的相机、存储器、以及电连接到显示模块、相机和存储器的至少一个处理器,并且至少一个处理器可以被配置为识别关于相机设置的相机驱动信息,识别设置的相机驱动信息中包括的快门速度,改变设置的显示驱动信息使得显示模块的占空周期的非发光区间的时间大于快门速度,并且基于改变的显示驱动信息来控制相机的驱动。
根据实施例,一种用于操作电子设备的方法可以包括:识别关于在电子设备的显示模块的后表面上布置的相机设置的相机驱动信息,识别设置的相机驱动信息中包括的快门速度,改变设置的显示驱动信息,使得显示模块的占空周期的非发光区间的时间大于快门速度,以及基于改变的显示驱动信息控制相机的驱动。
根据实施例,一种非暂时性计算机可读存储介质可以具有存储在其中的一个或多个程序,并且该一个或多个程序可以包括可执行指令,该可执行指令在由电子设备的处理器执行时使电子设备执行以下操作:识别关于在电子设备的显示模块的后表面上布置的相机设置的相机驱动信息,识别设置的相机驱动信息中包括的快门速度,改变设置的显示驱动信息使得显示模块的占空周期的非发光区间的时间大于快门速度,以及基于改变的显示驱动信息控制相机的驱动。
有利效果
根据本公开的实施例,电子设备可以通过UDC捕获图像而没有在显示面板中出现的光的干扰,可以提高通过UDC捕获的图像的质量,并且可以通过去除显示面板的有效像素的光干扰来使用整个可见显示区域而没有差异感。
附图说明
图1是根据各种实施例的网络环境内的电子设备的框图。
图2示出了根据实施例的电子设备。
图3示出了根据实施例的电子设备。
图4示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。
图5示出了根据实施例的用于操作电子设备的方法的示例。
图6示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。
图7示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。
图8示出了根据实施例的用于操作电子设备的方法的示例。
图9示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。
图10示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。
图11示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。
图12示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。
图13示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。
图14示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。
结合附图的描述,相同或相似的部件可以被给予相同或相似的附图标记。
具体实施方式
在下文中,将参考附图描述根据各种实施例的电子设备。在各种实施例中使用的术语“用户”可以指使用电子设备的人或使用电子设备的设备(例如,人工智能电子设备)。
图1是示出根据各种实施例的网络环境100中的电子设备101的框图。参考图1,网络环境100中的电子设备101可经由第一网络198(例如,短距离无线通信网络)与电子设备102进行通信,或者经由第二网络199(例如,长距离无线通信网络)与电子设备104或服务器108中的至少一个进行通信。根据实施例,电子设备101可经由服务器108与电子设备104进行通信。根据实施例,电子设备101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中,可从电子设备101中省略上述部件中的至少一个(例如,连接端178),或者可将一个或更多个其它部件添加到电子设备101中。在一些实施例中,可将上述部件中的一些部件(例如,传感器模块176、相机模块180或天线模块197)实现为单个集成部件(例如,显示模块160)。
处理器120可运行例如软件(例如,程序140)来控制电子设备101的与处理器120连接的至少一个其它部件(例如,硬件部件或软件部件),并可执行各种数据处理或计算。根据一个实施例,作为所述数据处理或计算的至少部分,处理器120可将从另一部件(例如,传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中,对存储在易失性存储器132中的命令或数据进行处理,并将结果数据存储在非易失性存储器134中。根据实施例,处理器120可包括主处理器121(例如,中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如,图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如,当电子设备101包括主处理器121和辅助处理器123时,辅助处理器123可被适配为比主处理器121耗电更少,或者被适配为专用于特定的功能。可将辅助处理器123实现为与主处理器121分离,或者实现为主处理器121的部分。
在主处理器121处于未激活(例如,睡眠)状态时,辅助处理器123(而非主处理器121)可控制与电子设备101的部件之中的至少一个部件(例如,显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些,或者在主处理器121处于激活状态(例如,运行应用)时,辅助处理器123可与主处理器121一起来控制与电子设备101的部件之中的至少一个部件(例如,显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例,可将辅助处理器123(例如,图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如,相机模块180或通信模块190)的部分。根据实施例,辅助处理器123(例如,神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如,可通过人工智能被执行之处的电子设备101或经由单独的服务器(例如,服务器108)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合,但不限于此。另外地或可选地,人工智能模型可包括除了硬件结构以外的软件结构。
存储器130可存储由电子设备101的至少一个部件(例如,处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如,程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中,并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可从电子设备101的外部(例如,用户)接收将由电子设备101的其它部件(例如,处理器120)使用的命令或数据。输入模块150可包括例如麦克风、鼠标、键盘、键(例如,按钮)或数字笔(例如,手写笔)。
声音输出模块155可将声音信号输出到电子设备101的外部。声音输出模块155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例,可将接收器实现为与扬声器分离,或实现为扬声器的部分。
显示模块160可向电子设备101的外部(例如,用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例,显示模块160可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可将声音转换为电信号,反之亦可。根据实施例,音频模块170可经由输入模块150获得声音,或者经由声音输出模块155或与电子设备101直接(例如,有线地)连接或无线连接的外部电子设备(例如,电子设备102)的耳机输出声音。
传感器模块176可检测电子设备101的操作状态(例如,功率或温度)或电子设备101外部的环境状态(例如,用户的状态),然后产生与检测到的状态相应的电信号或数据值。根据实施例,传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子设备101与外部电子设备(例如,电子设备102)直接(例如,有线地)或无线连接的一个或更多个特定协议。根据实施例,接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器,其中,电子设备101可经由所述连接器与外部电子设备(例如,电子设备102)物理连接。根据实施例,连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如,耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如,振动或运动)或电刺激。根据实施例,触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例,相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子设备101的供电。根据实施例,可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子设备101的至少一个部件供电。根据实施例,电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子设备101与外部电子设备(例如,电子设备102、电子设备104或服务器108)之间建立直接(例如,有线)通信信道或无线通信信道,并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如,应用处理器(AP))独立操作的一个或更多个通信处理器,并支持直接(例如,有线)通信或无线通信。根据实施例,通信模块190可包括无线通信模块192(例如,蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如,局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如,短距离通信网络,诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如,长距离通信网络,诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如,LAN或广域网(WAN)))与外部电子设备进行通信。可将这些各种类型的通信模块实现为单个部件(例如,单个芯片),或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如,多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如,国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子设备101。
无线通信模块192可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可支持高频带(例如,mmWave带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术,诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可支持在电子设备101、外部电子设备(例如,电子设备104)或网络系统(例如,第二网络199)中指定的各种要求。根据实施例,无线通信模块192可支持用于实现eMBB的峰值数据速率(例如,20Gbps或更大)、用于实现mMTC的丢失覆盖(例如,164dB或更小)或者用于实现URLLC的U平面延迟(例如,对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小,或者1ms或更小的往返)。
天线模块197可将信号或电力发送到电子设备101的外部(例如,外部电子设备)或者从电子设备101的外部(例如,外部电子设备)接收信号或电力。根据实施例,天线模块197可包括天线,所述天线包括辐射元件,所述辐射元件由形成在基底(例如,印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例,天线模块197可包括多个天线(例如,阵列天线)。在这种情况下,可由例如通信模块190(例如,无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子设备之间发送或接收信号或电力。根据实施例,除了辐射元件之外的另外的组件(例如,射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
根据各种实施例,天线模块197可形成毫米波天线模块。根据实施例,毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如,阵列天线),其中,RFIC设置在印刷电路板的第一表面(例如,底表面)上,或与第一表面相邻并且能够支持指定的高频带(例如,毫米波带),所述多个天线设置在印刷电路板的第二表面(例如,顶部表面或侧表面)上,或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可经由外设间通信方案(例如,总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如,命令或数据)。
根据实施例,可经由与第二网络199连接的服务器108在电子设备101和外部电子设备104之间发送或接收命令或数据。电子设备102或电子设备104中的每一个可以是与电子设备101相同类型的装置,或者是与电子设备101不同类型的装置。根据实施例,将在电子设备101运行的全部操作或一些操作可在外部电子设备102、外部电子设备104或服务器108中的一个或更多个运行。例如,如果电子设备101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务,则电子设备101可请求所述一个或更多个外部电子设备执行所述功能或服务中的至少部分,而不是运行所述功能或服务,或者电子设备101除了运行所述功能或服务以外,还可请求所述一个或更多个外部电子设备执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子设备可执行所述功能或服务中的所请求的所述至少部分,或者执行与所述请求相关的另外功能或另外服务,并将执行的结果传送到电子设备101。电子设备101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此,可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子设备101可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中,外部电子设备104可包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例,外部电子设备104或服务器108可被包括在第二网络199中。电子设备101可应用于基于5G通信技术或IoT相关技术的智能服务(例如,智能家居、智能城市、智能汽车或医疗保健)。
图2示出了根据实施例的电子设备。图3示出了根据实施例的电子设备。图4示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。
参考图1和图2,根据实施例的电子设备101(例如,图1中的电子设备101)可以包括布置在壳体200的前表面201上的显示模块160(例如,图1中的显示模块160)和相机210(例如,图1中的相机模块180)。根据实施例的电子设备101可以包括存储器130和电连接到显示模块160、相机210和存储器130的至少一个处理器120。另外,根据实施例的电子设备101还可以包括参考图1描述的其他部件。
参考图3,根据实施例,显示模块160可以布置在壳体200的前表面201上以暴露,窗口310可以布置成使得其第一表面暴露,并且显示面板320可以布置在窗口310的第二表面(背表面)下方。显示器320可以包括基板(例如,FPCB)340和布置在基板340上的显示元件层311。显示面板320可以包括触敏面板(TSP)。显示元件层311可以包括包含TFT(未示出)的电路层、作为显示元件的OLED(未示出)以及其间的绝缘层(IL)。显示面板320可以包括显示驱动器集成电路(未示出)。根据实施例,透明玻璃层310和显示面板320中的每一个的至少一部分可具有弯曲形状,并且显示面板320可由柔性聚合物膜制成,并且可包括例如聚酰亚胺、聚对苯二甲酸乙二醇酯或其他聚合物材料。显示面板320可包括布置在显示元件层311下的第一聚合物层313(例如,聚酰亚胺)和第二聚合物层315(例如,聚对苯二甲酸乙二醇酯)。
根据实施例,相机210可以布置在显示模块160的不暴露于外部的背表面(例如,第二表面)下。如图3所示,相机210可以是被配置为使得相机模块180的至少一部分布置在显示面板320下的屏下相机(UDC)210。相机210可以布置在显示面板320和基板340之间。例如,相机210可以是图1中的相机模块180的至少一部分,并且可以被包括在壳体200内部以便不被暴露。相机210可以包括相机传感器(例如,图像传感器)(未示出)、图像处理模块(未示出)或存储器(未示出)中的至少一个,相机传感器(例如,图像传感器)被配置为感测通过透镜通过窗口310入射的光并将光转换为数字信号,从而获取图像,图像处理模块(未示出)被配置为处理图像,存储器(未示出)被配置为存储图像。
参考图1、图2和图3,根据实施例的电子设备101的处理器120可以根据情况或环境自适应地应用相机驱动信息和/或显示驱动信息,以便消除当泄漏到显示模块160内部的光进入相机210的镜头时出现的光干扰。例如,相机驱动信息可以包括与相机210的驱动相关的快门速度、ISO灵敏度或光圈值(F)中的至少一个。相机驱动信息可以包括与相机210的驱动相关的各种其他参数。例如,显示驱动信息可以包括与占空周期确定相关的刷新率和占空比。显示驱动信息可以包括与显示模块160的驱动有关的各种其他参数。占空周期(dutycycle)可以指用于描述当显示一帧时(例如,在60Hz的情况下,一帧被显示1/60秒)一帧被划分为多少光发射然后显示的方法(例如,2占空(duty):开(on)、关(off),4占空:开、关、开、关)。占空比(duty ratio)可以指用于屏幕显示的开启(on-duty)时间(例如,发光时间)与关闭(off-duty)时间(例如,非发光时间)之间的比率。刷新率可以指显示屏一秒可以输出的次数,并且也可以被称为屏幕扫描率或刷新频率。刷新率的单位是赫兹(Hz),并且赫兹数越大,刷新率可以越高。
根据实施例,当通过使用相机210捕获图像时,处理器120可以使用显示模块160的占空周期。在占空周期期间,如图4所示,显示面板320的每个像素的开启(on duty)和关闭(off duty)可以根据显示驱动信息(例如,屏幕刷新率、占空周期和/或占空比)定期发生。例如,如果占空比增加到高于指定比率(例如,50%)的比率(例如,70%),则开启时间可以增加(例如,11.6ms),而关闭时间可以减少(例如,5ms),如图4的(b)所示。开启时间可以随着音高值(幅度)减小而增加,如图4的(b)所示,使得发射光的强度可以与开启区域的大小相同。占空周期的开启区间(on-duty interval)可以对应于显示模块160发光的发光区间。如果图像在开启时间期间被捕获,则捕获的图像的质量可能由于当由显示模块160发射的光被相机210的图像传感器接收时出现的光干扰而劣化。占空周期的关闭区间(off-dutyinterval)可以对应于显示模块160不发光的非发光区间。处理器120可以控制相机210,使得可以在像素的关闭时间期间捕获图像,并且可以调整符合情况或环境的可变元素(例如,相机驱动信息或显示驱动信息)。在下文中,为了便于描述,关闭时间将被称为非发光区间期间的时间,并且开启时间将被称为发光区间期间的时间。
根据实施例,处理器120可以在要捕获图像的时间点获取根据相机210的操作模式最佳地确定的相机驱动信息,并且可以识别包括在相机驱动信息中的相机210的快门速度。处理器120可以识别在显示模块160中设置的显示驱动信息。例如,处理器120可以识别相机210的快门速度是1/60(16.7ms),可以识别包括在设置的显示驱动信息中的刷新率是120Hz,并且可以识别占空周期的占空比是50%。
根据实施例,处理器120可以将所识别的快门速度值与占空周期的关闭时间的值进行比较,从而确认快门速度是否长于关闭时间。如果快门速度长于关闭时间,则相机210的图像捕获部分地发生在发光区间中,并且捕获图像的一部分因此可能经历显示模块160的光干扰。为了防止这种情况,处理器120可以基于相机驱动信息来改变显示驱动信息,使得如果快门速度长于关闭时间,则相机210仅在关闭时间(不发生光干扰的区间)期间操作。
根据实施例,处理器120可以改变显示驱动信息,使得显示模块160的占空周期的关闭时间变得长于快门速度。处理器120可以改变刷新率,使得快门速度可以在关闭时间期间操作,同时维持包括在相机驱动信息中的必要相机参数(例如,快门速度、ISO或光圈值中的至少一个)。例如,基于快门速度(例如,1/60(16.7ms)),设置的刷新率可以从120Hz减小到30Hz。处理器120可以将刷新率降低到30Hz,使得在占空周期的一个周期(period)中,关闭时间变得等于或长于快门速度(例如,1/60(16.7ms))。开启的总发光面积可以是相同的。
根据实施例,处理器120可以在关闭时间期间配置相机210的图像捕获定时或者改变设置的图像捕获定时,并且可以向显示模块160和相机210中的每一个提供用于显示模块160和相机210之间的同步的同步信号。可以基于关于关闭时间和图像捕获定时的信息来生成同步信号。例如,处理器120可以同时向显示模块160和相机210中的每一个提供用于对图像捕获时间点进行定时的同步信号,使得如果在开启区间中接收到请求由相机210进行图像捕获的输入,则相机120待机而不捕获图像,然后在关闭时间期间开始在设置或改变的图像捕获定时处捕获图像。根据实施例,处理器120可以控制相机模块180的相机210,以便基于改变的显示驱动信息在关闭时间期间以设置的快门速度捕获图像。例如,处理器120可以获取由相机210在随着刷新率降低到30Hz而增加到/超过快门速度(例如,1/60(16.7ms))的关闭时间期间捕获的图像。
根据实施例,处理器120可以确认是否维持在显示模块160中设置的显示驱动信息。如果认为显示驱动信息要被改变,则处理器120可以基于设置的显示驱动信息和设置的相机驱动信息来控制相机驱动。例如,如果显示驱动信息被认为要改变,则处理器120可以进行维持相机驱动信息并改变显示驱动信息的操作。如果认为要维持显示驱动信息,则处理器120可以识别在显示模块中设置的显示驱动信息,并且可以识别通过设置的显示驱动信息确定的占空周期的关闭时间。处理器120可以基于所识别的关闭时间来改变(或配置)相机驱动信息。例如,处理器120可以将相机驱动信息中包括的快门速度改变为等于或小于关闭时间,以防止在开启时间期间显示模块的光干扰的发生。例如,如果显示驱动信息中包括的刷新率为120Hz,并且如果占空比为50%,则关闭时间的值可以为4.17ms。电子设备可以将关闭时间的值保持为4.17ms,并且可以基于4.17ms将快门速度改变为1/500秒(2ms),以便具有相同的值或更小的值。处理器120可以控制相机驱动以基于改变后的相机驱动信息(例如,以1/500秒(2ms)的快门速度)来捕获图像。
根据实施例,处理器120可以将所识别的快门速度的值与占空周期的关闭时间的值进行比较,并且可以改变相机驱动信息,使得如果快门速度大于关闭时间,则显示模块160的占空周期的关闭时间变得大于快门速度。处理器120可以维持显示驱动信息,并且可以改变包括在相机驱动信息中的必要相机参数(例如,快门速度、ISO或光圈值中的至少一个),使得以最佳图像质量捕获图像。例如,如果配置的刷新率是120Hz,并且如果占空比是50%,则处理器120可以将相机210中设置的快门速度(例如,1/125秒(8ms))改变为更短的时间(例如,1/250(4ms)或1/500(2ms)),并且可以将设置的ISO值(例如,100)改变为更高的值(例如,200)。例如,如果占空比是50%,则关闭时间可以是4.17ms。
根据实施例,处理器120可以在相机210的相机驱动信息改变之后确定用于捕获图像的相机210的图像捕获定时(图像捕获时间点),并且可以基于改变的相机驱动信息来控制相机210在所确定的图像捕获定时以设置的快门速度(例如,1/500秒(2ms))捕获图像。如果占空周期的关闭时间的值大于快门速度的值(例如,1/500秒(2ms)),则处理器120可以确定关闭时间期间用于开始快门操作的图像捕获定时。
根据实施例,处理器120可以识别显示模块160的与相机210被布置的区域相对应的屏幕区域220,并且可以控制关于每个传感器线(传感器阵列)的刷新率,使得仅所识别的屏幕区域220中的传感器线的像素的刷新率。例如,假设刷新率是120Hz,占空比是50%,外围环境是黑暗的室内环境,并且相机进行图像捕获所需的相机的快门速度是1/30秒,则处理器120可以基于快门速度识别刷新率需要改变为33.3ms。处理器120可以通过计算对应于33.3ms的值(例如,(1000/15)*0.5=33.3ms)来将刷新率改变为15Hz值。由于刷新率的变化导致闪烁现象,因此处理器120可以仅针对与相机相关的传感器线在设置的图像捕获定时处配置低刷新率,并且可以针对剩余区域中的传感器线维持设置的刷新率(例如,120Hz)。因此,电子设备可以最小化用户眼睛可见的闪烁现象。
根据实施例,处理器120可以识别与相机210被布置的区域相对应的显示模块160的屏幕区域220,并且可以仅在捕获图像时(图像捕获定时)将从屏幕区域220扩展的外围区域230的像素控制为黑色,从而增加关闭时间。处理器120可以基于相机快门速度(例如,1/60秒(16.7ms))将与图像捕获定时相对应的占空周期的开启时间和关闭时间控制为黑色,使得在这些时间期间没有光被发射,从而获得以下优点:通过增加关闭时间,仅在图像捕获定时处降低刷新率。处理器120可以在除了外围区域230之外的区域中保持设置的刷新率(例如,120Hz)。
根据实施例,处理器120可以改变占空周期的占空比,以便改变关闭时间。例如,如果根据设置的占空比(例如,30%)的关闭时间的值(例如,5.8ms)等于/大于根据刷新率(例如,120Hz)设置的关闭时间的值(例如,4.17ms),则处理器120可以增加(或调整)占空比。举例来说,设置的占空比可在120Hz的刷新率下为50%,且如果刷新率维持在120Hz,那么处理器120可因此将占空比改变为50%或更高,借此将关闭时间减少到4.17ms或更小的值。
根据实施例,考虑到占空周期处像素的发光时间点(开启时间点)的峰值(幅度)和非发光时间点(关闭时间点)的峰值(幅度)可能具有斜率,处理器120可以调整快门操作图像捕获定时,以便即使在关闭时间期间也符合完全关时间点(fully off timepoint),不包括斜率范围。
根据上述实施例的处理器的至少一些操作可以由图像信号处理器(ISP)执行。例如,ISP可以被包括在相机模块180和/或处理器120中。
参考图1和图2,根据实施例的电子设备101的存储器130可以存储设置为使得执行由处理器执行的操作的命令(例如,指令)。至少一个处理器120可以执行存储在存储器130中的命令。
因此,在实施例中,已经参考图1、图2和图3中的电子设备101描述了电子设备的主要部件。然而,在各种实施例中,并非图1、图2和图3中所示的所有组件都是必要组件,并且电子设备101可以由比其中所示更多的组件或由比其中所示更少的组件来实现。另外,根据各种实施例,可以改变上面参考图1、图2和图3描述的电子设备101的主要部件的位置。
根据实施例,电子设备(例如,图1和图2中的电子设备101)可以包括显示模块(例如,图1、图2和图3中的显示模块160)、布置在显示模块的后表面上的相机(例如,图1中的相机模块180、图2和图3中的相机210)、存储器(例如,图1中的存储器130)、以及电连接到显示模块、相机和存储器的至少一个处理器(例如,图1中的处理器120)。至少一个处理器可以被配置为识别关于相机设置的相机驱动信息,识别设置的相机驱动信息中包括的快门速度,改变设置的显示驱动信息,使得显示模块的占空周期的非发光区间的时间大于快门速度,并且基于改变的显示驱动信息来控制相机的驱动。
根据实施例,至少一个处理器可以被配置为在非发光区间的时间内配置相机的捕获定时或者改变设置的图像捕获定时,并且向显示模块和相机中的每一个提供用于显示模块和相机之间的同步的同步信号,以在非发光区间内的图像捕获定时处开始相机的图像捕获,并且可以基于关于非发光区间的时间和图像捕获定时的信息来生成同步信号。
根据实施例,相机驱动信息可以包括快门速度,显示驱动信息可以包括刷新率、占空周期或占空比中的至少一个,并且至少一个处理器可以被配置为控制相机在根据改变的显示驱动信息而被改变的非发光区间的时间内基于所识别的快门速度被驱动,并且控制相机在占空周期发光区间的时间期间不被驱动。
根据实施例,至少一个处理器可以被配置为基于快门速度和非发光区间的时间来识别是改变还是维持设置的显示驱动信息。
根据实施例,至少一个处理器可以被配置为识别需要改变设置的显示驱动信息,并且在快门速度值大于非发光区间的时间值的情况下,改变包括在显示驱动信息中的刷新率,使得非发光区间的时间大于快门速度,并且非发光区间的时间可以根据刷新率的变化来改变。
根据实施例,至少一个处理器可以被配置为识别需要改变设置的显示驱动信息,并且在快门速度值大于非发光区间的时间值的情况下,改变占空周期的占空比,使得非发光区间的时间大于快门速度,并且可以根据占空比的变化来改变非发光区间的时间。
根据实施例,所述至少一个处理器可以被配置为在所设置的显示驱动信息被识别为要被维持的情况下维持所设置的显示驱动信息,并且基于所设置的显示驱动信息来改变相机驱动信息。
根据实施例,至少一个处理器可以被配置为识别要维持设置的显示驱动信息,并且在快门速度值大于非发光区间的时间值的情况下,维持设置的显示驱动信息,并且基于设置的显示驱动信息改变相机驱动信息。
根据实施例,至少一个处理器可以被配置为改变显示器的与相机被布置的区域相对应的第一区域中的像素行的像素的刷新率,并且将除第一区域之外的剩余区域的像素的刷新率保持为包括在显示驱动信息中的配置的刷新率。
根据实施例,至少一个处理器可以被配置为将显示器的与在捕获图像的时间点处相机被布置的区域相对应的第一区域中的像素和包括第一区域的外围区域的第二区域中的像素控制为黑色,使得该像素不发光,并且将除了第二区域之外的剩余区域中的像素的显示驱动信息保持为所配置的显示驱动信息。
图5示出了根据实施例的用于操作电子设备的方法的示例。
参考图5描述的用于操作根据实施例的电子设备(例如,图1和图2中的电子设备101)的方法可以由例如处理器或ISP执行。
参考图5,在操作501中,电子设备可以获取相机(图2和图3中的相机210)中配置的相机驱动信息。例如,相机驱动信息可以包括与相机210的驱动相关的快门速度、ISO灵敏度和光圈值(F)中的至少一个。相机驱动信息可以包括与相机210的驱动相关的各种其他参数。
在操作503中,电子设备可以识别在相机210中设置的相机驱动信息中包括的快门速度。电子设备可以识别由被设置为与快门速度进行比较的显示驱动信息确定的占空周期的关闭时间。例如,显示驱动信息可以包括刷新率、占空周期和占空比。显示驱动信息可以包括与显示模块160的驱动相关的各种其他参数。
在操作505中,电子设备可基于所识别的快门速度来确认是否需要改变显示驱动信息。电子设备101可以将所识别的快门速度与通过显示驱动信息识别的关闭时间进行比较,从而确认快门速度值是否超过关闭时间的值。
如果在操作505中确认快门速度值超过关闭时间的值,则在操作507中,电子设备可以识别出显示需要被改变(在操作505中为是),并且可以基于包括在相机驱动信息中的快门速度来改变设置的显示驱动信息,使得不发生光干扰,因为快门速度大于关闭时间。电子设备可以维持相机的快门速度,并且可以基于快门速度改变显示驱动信息中包括的刷新率、占空周期或占空比中的至少一个。
在操作509中,电子设备101可以基于改变的显示驱动信息来控制相机的驱动,以便以所识别的快门速度捕获图像。相机可以在根据改变的显示驱动信息而改变的占空周期的关闭时间期间以设定的图像捕获定时捕获图像而没有光干扰。
如果在操作505中确认快门速度值等于/低于关闭时间的值,则电子设备可以识别出不需要改变显示驱动信息(操作505中的“否”)。在操作511中,电子设备可以维持所配置的显示驱动信息(例如,刷新率、占空周期和/或占空比)不变。在不改变所配置的显示驱动信息的情况下,电子设备可以基于所配置的显示驱动信息来控制相机的驱动,以便根据所识别的快门速度捕获图像。由于通过所配置的显示驱动信息确定的占空周期的关闭时间长于所识别的快门速度,因此相机可以在关闭时间期间在所配置的图像捕获定时处捕获图像而没有光干扰。
图6示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。图7示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。
参考图5、图6,例如,根据实施例的电子设备可以识别相机(例如,图2和图3中的相机210)中设置的相机驱动信息中包括的快门速度值是1/60秒(16.7ms),例如,可以识别包括在设置的显示信息中的刷新率是120Hz,并且例如,可以识别占空周期601的占空比是50%,如图6的(a)所示。例如,如果刷新率为120Hz,如果占空比为50%,则电子设备,并且例如,如果占空周期601的一帧被描述为四个占空(开、关、开、关),则电子设备可以识别出开启时间和关闭时间的值为4.17ms。如果在图5中的操作505中确认快门速度值超过关闭时间值,则电子设备可以识别出需要改变显示驱动信息。因此,电子设备可以基于快门速度的值为1/60秒(16.7ms),将刷新率改变为例如30Hz,并且将占空比维持在50%,使得关闭时间值变得等于/大于快门速度值。如图6的(b)所示,随着刷新率被改变,电子设备可以改变占空周期601的一个周期的时间603。例如,如图6所示,当将刷新率降低到30Hz时,可以将一个周期的时间603增加到33.3ms,并且可以将关闭时间605增加到16.7ms。音高值(幅度)可以随着占空周期601中一个周期的时间603增加而减小。如图6的(b)所示,电子设备可以识别出16.7ms的关闭时间605等于(或大于)1/60秒(16.7ms)的相机快门速度值。
根据实施例,如图6的(b)所示,电子设备可以响应于占空周期601的关闭时间605和其开启时间607,像相机的驱动周期610一样控制相机的驱动。由于在占空周期601的关闭时间605期间没有由于显示模块而发生光干扰,因此可以根据在与关闭时间605对应的驱动周期610的时间区间611中设置的快门速度(例如,1/60秒(16.7ms))来驱动相机,如图6的(c)所示。由于在占空周期601的开启时间607期间由于显示模块而发生光干扰,因此在与开启时间607对应的驱动周期610的时间区间613中可以不驱动相机,如图6的(c)所示。
根据实施例,电子设备可以配置图像捕获定时(相机驱动时间点),使得图像在增加的关闭时间605(例如,16.7ms)期间以相机快门速度(例如,1/60秒(16.7ms))被捕获。例如,如果关闭时间605(例如,16.7ms)根据快门速度(例如,1/60秒(16.7ms))被增加,则可以将图像捕获定时设置为像素被改变为关闭(off duty)的时间点,因为这两个值相同(或具有不显著的差异)。
根据实施例,如图7所示,如果相机快门速度具有小于关闭时间(例如,4.17ms)的值(例如,1/500秒(2ms)),则电子设备可以在关闭时间(例如,4.17ms)期间改变和配置相机的捕获定时。例如,如果图像捕获定时被设置在初始改变到关闭时间的时间点701,则改变的图像捕获定时可以被设置在从改变到关闭时间的时间点701的预定时间段之后的时间点703。改变的图像捕获定时可以在一定范围内调整,使得快门速度(例如,1/500秒(2ms))不偏离另一个开启时间开始的时间点705。
根据实施例的电子设备可以识别包括在相机(例如,图2和图3中的相机210)中设置的相机驱动信息中的快门速度值是例如1/60秒(16.7ms),并且可以识别包括在设置的显示驱动信息中的刷新率是例如120Hz。假设占空周期的一帧被描述为四个占空(开、关、开、关),则电子设备可以识别开启时间和关闭时间的值是4.17ms。例如,电子设备可以将占空周期改变为两个占空(例如,开、关),以便确保关闭时间。例如,如果刷新率维持在120Hz,并且如果占空周期改变为两个占空,则关闭时间可以增加到8.3ms。
图8示出了根据实施例的用于操作电子设备的方法的示例。
图9示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。
根据设备的电子设备(例如,图1和图2中的电子实施例101)可以根据情况或外围环境优先维持显示驱动信息。因此,电子设备可以执行维持显示驱动信息和改变相机驱动信息的操作,如图8所示。例如,相机驱动信息可以包括与相机210的驱动相关的快门速度、ISO灵敏度和光圈值(F)。相机驱动信息可以包括与相机210的驱动相关的各种其他参数。一种用于操作根据实施例的电子设备的方法。例如,参考图8所描述的方法可以由处理器或ISP执行。参考图8,在操作801中,电子设备可以确认是否维持显示驱动信息。如果确认维持显示驱动信息,则电子设备可以执行操作803。如果确认显示驱动信息要被改变,则电子设备可以执行操作811。
在操作803中,电子设备可以识别在显示模块中设置的显示驱动信息(操作803中为是)。
在操作805中,电子设备可以识别通过设置的显示驱动信息确定的占空周期的关闭时间。例如,显示驱动信息可以包括刷新率和占空率(duty rate)。
在操作807中,电子设备可以基于所识别的关闭时间来改变(或配置)相机驱动信息。例如,电子设备可以将相机驱动信息中包括的快门速度改变为等于或小于关闭时间,以避免在开启时间期间发生显示模块的光干扰。例如,如图9所示,如果显示驱动信息中包括的刷新率为120Hz,并且如果占空比为50%,则关闭时间的值可以为4.17ms。电子设备可以将关闭时间的值保持在4.17ms,并且可以基于4.17ms改变(或配置)相机快门速度以便具有相同的值或更小的值。例如,如图9所示,相机快门速度值可以改变为1/500秒(2ms)。
在操作809中,电子设备可以基于改变的相机驱动信息来控制相机的驱动以捕获图像。例如,如图9所示,可以在占空周期的设置的关闭时间(例如,4.17ms)期间以改变的快门速度(例如,2ms)驱动相机,从而捕获图像。
在操作811中,电子设备可以执行改变显示驱动信息和控制显示驱动的操作(例如,上面参考图5描述的操作方法)(操作811中为否)。例如,电子设备可以在操作811中显示用于改变显示驱动信息的UI,然后可以响应于用户请求执行上面参考图5描述的操作方法。
图10示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。
参考图8和图10,在执行操作801至操作805之后执行操作807之前,电子设备还可以执行确认是否需要改变关于相机设置的相机驱动信息的操作。电子设备可以将相机驱动信息中包括的设置的快门速度与通过显示驱动信息识别的关闭时间进行比较,从而确认快门速度值是否超过关闭时间值。如图10所示,快门速度值(例如,1/125秒(8ms))超过通过显示驱动信息识别的关闭时间的值(例如,4.17ms),并且电子设备因此可以基于关闭时间的值(例如,4.17ms)来改变相机驱动信息。例如,电子设备可以将快门速度值改变为低于设置值(例如,1/125秒)的值(例如,1/250秒),并且可以将ISO值改变为高于设置值(例如,100)的值(例如,200)。电子设备可以识别出与通过改变快门速度值和/或ISO值而改变的速度值(例如,4ms)相对应的用于由相机进行的图像捕获的传感器光接收区间被改变为落入关闭时间内。
图11示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。
参考图11,根据实施例的电子设备可以识别与相机(例如,图2和图3中的相机210)被布置的区域相对应的显示模块(例如,图1、图2和图3中的显示模块160)的屏幕区域(例如,图2中的屏幕区域220),并且可以控制关于每个传感器线(传感器阵列)的刷新率,从而仅降低关于所识别的屏幕区域220的传感器线的像素的刷新率。例如,假设刷新率是120Hz,占空比是50%,外围环境是黑暗的室内环境,并且相机进行图像捕获所需的相机的快门速度是1/120秒,如图11所示,则电子设备可以基于快门速度识别刷新率需要改变为8.3ms。电子设备可以通过计算对应于33.3ms的值(例如,(1000/60)*0.5=8.3ms)来将刷新率改变为60Hz值。由于刷新率的变化导致闪烁现象,因此电子设备可以仅关于与相机相关的传感器线在设置的捕获定时处配置低刷新率,并且可以关于剩余区域中的传感器线维持设置的刷新率(例如,120Hz)。因此,电子设备可以最小化用户眼睛可见的闪烁现象。
图12示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。
参考图12,根据实施例的电子设备可以识别与相机(例如,图2和图3中的相机210)被布置的区域相对应的显示模块(例如,图1、图2和图3中的显示模块160)的屏幕区域(例如,图2中的屏幕区域220),并且可以控制从该屏幕区域扩展的外围区域(例如,图2中的外围区域230)的像素仅在捕获图像时(图像捕获定时)为黑色,从而增加关闭时间。电子设备可以基于相机快门速度(例如,1/60秒(16.7ms))控制与图像捕获定时相对应的占空周期的开启时间和关闭时间两者为黑色,使得在这些时间期间不发射光,从而获得以下优点:通过增加关闭时间,仅在图像捕获定时处降低刷新率。电子设备可以在除了外围区域230之外的区域中维持设置的刷新率(例如,120Hz)。
图13示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。
参考图13,根据实施例的电子设备可以改变占空周期的占空比,从而改变关闭时间。例如,可以根据参考图5描述的用于改变显示驱动信息的操作方法来改变占空比,并且可以基于改变的占空比来控制相机驱动。例如,如果根据设置的占空比(例如,30%)的关闭时间的值(例如,5.8ms)等于/大于根据刷新率(例如,120Hz)设置的关闭时间的值(例如,4.17ms),则电子设备可以增加(或调整)占空比,如图13所示。例如,如图13所示,可以在120Hz的刷新率下将占空比设置为50%,并且如果刷新率维持在120Hz,则电子设备可以因此将占空比改变为50%或更高,从而将关闭时间减少到4.17ms或更小的值。
图14示出了根据实施例的电子设备中的占空周期和相机驱动周期的示例。
如图14所示,根据实施例,电子设备的处理器120可以调整快门操作图像捕获定时,以便即使在关闭时间期间也符合完全关时间点。电子设备可以根据完全关时间点来计算关闭时间。这可能需要先决条件。例如,先决条件可以包括以下中的至少一个条件:关闭时间和相机传感器的光接收操作之间的同步(延迟)、相机I2C信号和刷新率改变操作之间的互通(接口)、根据情况或外围环境优先化的条件的选择(例如,维持显示驱动信息或维持相机驱动信息)、类似于快门速度改变的相机操作(快门优先模式)、或根据显示模块的刷新率仅允许与特定时间或更长时间对应的快门速度的图像捕获模式(例如,在快门速度足够高的日光情况下可以在没有限制的情况下拍摄图像)。
根据另一实施例,取决于显示模块类型,占空周期可以在像素的发光时间点(开启时间点)的峰值(幅度)和非发光时间点(关闭时间点)的峰值(幅度)处具有斜率(例如,慢速特性)。完全关情况下的有效图像捕获定时可以根据在关闭时间期间发生斜率的区间中的斜率而变化。电子设备可以考虑到斜率的程度,根据完全关时间点来计算关闭时间。
根据实施例,用于操作电子设备(例如,图1和图2中的电子设备101)的方法可以包括识别关于布置在电子设备的显示模块的后表面上的相机设置的相机驱动信息的操作、识别设置的相机驱动信息中包括的快门速度的操作、改变设置的显示驱动信息使得显示模块的占空周期的非发光区间的时间大于快门速度的操作、以及基于改变的显示驱动信息控制相机的驱动的操作。
根据实施例,该方法还可以包括在非发光区间的时间内配置相机的图像捕获定时或改变设置的图像捕获定时的操作,以及向显示模块和相机中的每一个提供用于显示模块和相机之间的同步的同步信号以在非发光区间内的图像捕获定时处开始相机的图像捕获的操作,并且可以基于关于非发光区间的时间和图像捕获定时的信息来生成同步信号。
根据实施例,相机驱动信息可以包括快门速度,显示驱动信息可以包括刷新率、占空周期或占空比中的至少一个,并且该方法还包括控制相机在根据改变的显示驱动信息改变的非发光区间的时间内基于所识别的快门速度被驱动的操作,以及控制相机在占空周期发光区间的时间期间不被驱动的操作。
根据实施例,该方法还可以包括基于快门速度和非发光区间的时间来识别是改变还是维持设置的显示驱动信息的操作。
根据实施例,改变设置的显示驱动信息的操作可以包括以下操作:识别需要改变设置的显示驱动信息,并且在快门速度值大于非发光区间的时间值的情况下,改变显示驱动信息中包括的刷新率、占空周期或占空比中的至少一个,使得非发光区间的时间大于快门速度,并且非发光区间的时间可以根据刷新率的变化来改变。
根据实施例,该方法还可以包括以下操作:在设置的显示驱动信息被识别为要被维持的情况下维持设置的显示驱动信息,并且基于设置的显示驱动信息来改变相机驱动信息。
根据实施例,该方法还可以包括以下操作:识别要维持设置的显示驱动信息,并且在快门速度值大于非发光区间的时间值的情况下,维持设置的显示驱动信息,并且基于设置的显示驱动信息改变相机驱动信息。
根据实施例,该方法还可以包括以下操作:改变显示器的与相机被布置的区域相对应的第一区域中的像素行的像素的刷新率,并且将除第一区域之外的剩余区域的像素的刷新率维持为包括在显示驱动信息中的配置的刷新率。
根据实施例,该方法还可以包括以下操作:控制显示器的与在捕获图像的时间点处相机被布置的区域相对应的第一区域中的像素和包括第一区域的外围区域的第二区域中的像素为黑色,使得该像素不发光,并且将除了第二区域之外的剩余区域中的像素的显示驱动信息维持为设置的显示驱动信息。
根据实施例,结合存储有一个或多个程序的非暂时性计算机可读存储介质,一个或多个程序可以包括可执行指令,当由电子设备的处理器执行时,该可执行指令使电子设备执行以下操作:识别关于布置在电子设备的显示模块的后表面上的相机设置的相机驱动信息,识别设置的相机驱动信息中包括的快门速度,改变设置的显示驱动信息使得显示模块的占空周期的非发光区间的时间大于快门速度,以及基于改变的显示驱动信息控制相机的驱动。
另外,本文公开的实施例被呈现以描述和理解所公开的技术内容,并且不旨在限制本文公开的技术的范围。因此,本公开的范围应被解释为涵盖基于本公开的技术构思的所有改变的或各种其他实施例。
根据各种实施例的电子设备可以是各种类型的电子设备之一。电子设备可包括例如便携式通信装置(例如,智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例,电子设备不限于以上所述的那些电子设备。
应该理解的是,本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例,而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述,相似的参考标号可用来指代相似或相关的元件。将理解的是,与术语相应的单数形式的名词可包括一个或更多个事物,除非相关上下文另有明确指示。如这里所使用的,诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的,诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分,并且不在其它方面(例如,重要性或顺序)限制所述部件。将理解的是,在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下,如果一元件(例如,第一元件)被称为“与另一元件(例如,第二元件)耦合”、“耦合到另一元件(例如,第二元件)”、“与另一元件(例如,第二元件)连接”或“连接到另一元件(例如,第二元件)”,则意味着所述一元件可与所述另一元件直接(例如,有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如与本公开的各种实施例关联使用的,术语“模块”可包括以硬件、软件或固件实现的单元,并可与其他术语(例如,“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如,根据实施例,可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如,内部存储器136或外部存储器138)中的可由机器(例如,电子设备101)读取的一个或更多个指令的软件(例如,程序140)。例如,在处理器的控制下,所述机器(例如,电子设备101)的处理器(例如,处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中,术语“非暂时性”仅意味着所述存储介质是有形装置,并且不包括信号(例如,电磁波),但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例,可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如,紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品,或者可经由应用商店(例如,Play StoreTM)在线发布(例如,下载或上传)计算机程序产品,或者可直接在两个用户装置(例如,智能电话)之间分发(例如,下载或上传)计算机程序产品。如果是在线发布的,则计算机程序产品中的至少部分可以是临时产生的,或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例,上述部件中的每个部件(例如,模块或程序)可包括单个实体或多个实体,并且多个实体中的一些实体可分离地布置在不同的部件中。根据各种实施例,可省略上述部件中的一个或更多个部件,或者可添加一个或更多个其它部件。可选择地或者另外地,可将多个部件(例如,模块或程序)集成为单个部件。在这种情况下,根据各种实施例,该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式,执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例,由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行,或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略,或者可添加一个或更多个其它操作。

Claims (15)

1.一种电子设备,包括:
显示模块;
相机,所述相机被布置在所述显示模块的后表面上;
存储器;以及
至少一个处理器,其电连接到所述显示模块、所述相机和所述存储器,其中,所述至少一个处理器被配置为:
识别关于所述相机设置的相机驱动信息;
识别配置的相机驱动信息中包括的快门速度;
改变设置的显示驱动信息,使得所述显示模块的占空周期的非发光区间的时间大于所述快门速度;以及
基于改变的显示驱动信息来控制所述相机的驱动。
2.根据权利要求1所述的电子设备,其中,所述至少一个处理器被配置为:
在所述非发光区间的时间内设置所述相机的图像捕获定时或改变设置的图像捕获定时;以及
向所述显示模块和所述相机中的每一个提供用于所述显示模块和所述相机之间的同步的同步信号,以在所述非发光区间内的所述图像捕获定时处开始所述相机的图像捕获,以及
所述同步信号基于关于所述非发光区间的时间和所述图像捕获定时的信息来生成。
3.根据权利要求1所述的电子设备,其中,所述相机驱动信息包括快门速度,
所述显示驱动信息包括刷新率、占空周期或占空比中的至少一个,并且
所述至少一个处理器被配置为:
基于所述快门速度和所述非发光区间的时间,识别是改变还是维持设置的显示驱动信息;以及
控制相机在根据改变的显示驱动信息被改变的非发光区间的时间内基于识别的快门速度被驱动,并且控制相机在占空周期发光区间的时间期间不被驱动。
4.根据权利要求3所述的电子设备,其中,所述至少一个处理器被配置为识别需要改变设置的显示驱动信息,并且在所述快门速度值大于所述非发光区间的时间值的情况下,改变所述显示驱动信息中包括的刷新率或占空比中的至少一个,使得所述非发光区间的时间大于所述快门速度,并且
所述非发光区间的时间根据刷新率的改变或占空比的改变而被改变。
5.根据权利要求3所述的电子设备,其中,所述至少一个处理器被配置为:
识别要维持设置的显示驱动信息,并且在所述快门速度值大于所述非发光区间的时间值的情况下,维持设置的显示驱动信息;以及
基于设置的显示驱动信息来改变所述相机驱动信息。
6.根据权利要求1所述的电子设备,其中,所述至少一个处理器被配置为:
改变所述显示器的第一区域中的像素行的像素的刷新率,所述第一区域对应于所述相机被布置的区域;以及
将除所述第一区域之外的剩余区域的像素的刷新率维持为所述显示驱动信息中包括的配置的刷新率。
7.根据权利要求1所述的电子设备,其中,所述至少一个处理器被配置为:
控制所述显示器的第一区域和包括所述第一区域的外围区域的第二区域中的像素为黑色,使得所述像素不发光,所述第一区域对应于在捕获所述图像的时间点处所述相机被布置的区域;以及
维持除所述第二区域之外的剩余区域中的像素的显示驱动信息为设置的显示驱动信息。
8.一种用于操作电子设备的方法,所述方法包括:
识别关于在所述电子设备的显示模块的后表面上布置的相机设置的相机驱动信息;
识别设置的相机驱动信息中包括的快门速度;
改变设置的显示驱动信息,使得所述显示模块的占空周期的非发光区间的时间大于所述快门速度;以及
基于改变的显示驱动信息来控制所述相机的驱动。
9.根据权利要求8所述的方法,还包括:
在所述非发光区间的时间内设置所述相机的图像捕获定时或改变设置的图像捕获定时;以及
向所述显示模块和所述相机中的每一个提供用于所述显示模块和所述相机之间的同步的同步信号,以在所述非发光区间内的所述图像捕获定时处开始所述相机的图像捕获,
其中,所述同步信号基于关于所述非发光区间的时间以及所述图像捕获定时的信息生成。
10.根据权利要求8所述的方法,其中,所述相机驱动信息包括所述快门速度,
所述显示驱动信息包括刷新率、占空周期或占空比中的至少一个,并且
所述方法还包括:
基于所述快门速度和所述非发光区间的时间,识别是改变还是维持设置的显示驱动信息;
控制所述相机在根据改变的显示驱动信息而被改变的非发光区间的时间内基于识别的快门速度被驱动;以及
控制所述相机在所述占空周期发光区间的时间期间不被驱动。
11.根据权利要求10所述的方法,其中,改变设置的显示驱动信息包括识别需要改变设置的显示驱动信息,并且在快门速度值大于非发光区间的时间值的情况下,改变显示驱动信息中包括的刷新率或占空比中的至少一个,使得非发光区间的时间大于快门速度,并且
非发光区间的时间根据刷新率的改变或占空比的改变而被改变。
12.根据权利要求10所述的方法,还包括:
识别要维持设置的显示驱动信息,并且在快门速度值大于非发光区间的时间值的情况下,维持设置的显示驱动信息;以及
基于设置的显示驱动信息来改变所述相机驱动信息。
13.根据权利要求8所述的方法,还包括:
改变所述显示器的第一区域中的像素行的像素的刷新率,所述第一区域对应于所述相机被布置的区域;以及
维持除所述第一区域之外的剩余区域的像素的刷新率为所述显示驱动信息中包括的配置的刷新率。
14.根据权利要求8所述的方法,还包括:
控制所述显示器的第一区域和包括所述第一区域的外围区域的第二区域中的像素为黑色,使得所述像素不发光,所述第一区域对应于在捕获所述图像的时间点处所述相机被布置的区域;以及
维持除所述第二区域之外的剩余区域中的像素的显示驱动信息为设置的显示驱动信息。
15.一种存储有一个或多个程序的非暂时性计算机可读存储介质,所述一个或多个程序包括可执行指令,所述可执行指令在由电子设备的处理器执行时使所述电子设备执行以下操作:
识别关于在所述电子设备的显示模块的后表面上布置的相机设置的相机驱动信息;
识别设置的照相机驱动信息中包括的快门速度;
改变设置的显示驱动信息,使得所述显示模块的占空周期的非发光区间的时间大于所述快门速度;以及
基于改变的显示驱动信息来控制所述相机的驱动。
CN202280028840.1A 2021-04-14 2022-04-13 包括相机的电子设备及电子设备的操作方法 Pending CN117693941A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020210048602A KR20220142180A (ko) 2021-04-14 2021-04-14 카메라를 포함하는 전자 장치, 그 전자 장치에서의 동작 방법
KR10-2021-0048602 2021-04-14
PCT/KR2022/005353 WO2022220583A1 (ko) 2021-04-14 2022-04-13 카메라를 포함하는 전자 장치, 그 전자 장치에서의 동작 방법

Publications (1)

Publication Number Publication Date
CN117693941A true CN117693941A (zh) 2024-03-12

Family

ID=83640520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280028840.1A Pending CN117693941A (zh) 2021-04-14 2022-04-13 包括相机的电子设备及电子设备的操作方法

Country Status (5)

Country Link
US (1) US20240040265A1 (zh)
EP (1) EP4325837A1 (zh)
KR (1) KR20220142180A (zh)
CN (1) CN117693941A (zh)
WO (1) WO2022220583A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070002130A1 (en) * 2005-06-21 2007-01-04 David Hartkop Method and apparatus for maintaining eye contact during person-to-person video telecommunication
US8154582B2 (en) * 2007-10-19 2012-04-10 Eastman Kodak Company Display device with capture capabilities
KR101781533B1 (ko) * 2010-12-23 2017-09-27 삼성디스플레이 주식회사 영상 촬영 장치 및 이의 영상 촬영 방법
KR101462351B1 (ko) * 2013-08-16 2014-11-14 영남대학교 산학협력단 시선일치 영상통화장치
JP6892549B2 (ja) * 2017-07-07 2021-06-23 華為技術有限公司Huawei Technologies Co.,Ltd. カメラを備えた端末および撮影方法

Also Published As

Publication number Publication date
EP4325837A1 (en) 2024-02-21
KR20220142180A (ko) 2022-10-21
WO2022220583A1 (ko) 2022-10-20
US20240040265A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
US20220189408A1 (en) Electronic device and method for controlling refresh rate of display
US11893956B2 (en) Electronic device comprising display and operation method thereof
US11842670B2 (en) Electronic device for dynamically adjusting refresh rate of display
US11749173B2 (en) Electronic device configured to quickly update screen upon receiving input from peripheral device
EP4307652A1 (en) Electronic device and image capturing method thereof
CN117693941A (zh) 包括相机的电子设备及电子设备的操作方法
EP4319134A1 (en) Electronic device comprising camera, and operating method for electronic device
KR20220113064A (ko) 전자 장치 및 그 제어 방법
KR20220001314A (ko) 가변 리프레시 레이트를 갖는 표시 장치를 포함하는 전자 장치 및 그 동작 방법
US20230082406A1 (en) Electronic device including camera and method for operating the same
US11929001B2 (en) Method and device for measuring illuminance
KR20230114161A (ko) 디스플레이 배면 센서의 구현을 위한 방법 및 장치
CN117120816A (zh) 使用相机的照度测量的方法和支持该方法的电子装置
EP4350678A1 (en) Electronic apparatus and method for changing refresh rate
US20240112609A1 (en) Electronic device controlling pulse signal from processor to display
US20240023297A1 (en) Electronic device including thermal diffusion member
US12022200B2 (en) Method for measuring illuminance using camera and supporting the same
US11974036B2 (en) Electronic device including flexible display and camera
US20240112620A1 (en) Electronic device including display driver circuit adaptively storing image
US20240112618A1 (en) Electronic device and method controlling signal provided to processor
US20220262308A1 (en) Electronic device and method for calibrating image data in electronic device
US20230412920A1 (en) Method for executing application, and electronic device supporting same
US20230016151A1 (en) Electronic device and method of operating the same
KR20240067194A (ko) 구동 주파수를 변경하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
KR20220143406A (ko) 전자 장치 및 전자 장치의 이미지 촬영 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination