CN117136551A - 包括相机的电子装置及用于电子装置的操作方法 - Google Patents

包括相机的电子装置及用于电子装置的操作方法 Download PDF

Info

Publication number
CN117136551A
CN117136551A CN202280028107.XA CN202280028107A CN117136551A CN 117136551 A CN117136551 A CN 117136551A CN 202280028107 A CN202280028107 A CN 202280028107A CN 117136551 A CN117136551 A CN 117136551A
Authority
CN
China
Prior art keywords
camera
display module
duty
display
driving information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280028107.XA
Other languages
English (en)
Inventor
成基硕
吴世宅
李基赫
崔在赫
金成旿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN117136551A publication Critical patent/CN117136551A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/08—Details of timing specific for flat panels, other than clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)

Abstract

根据本文档的各种实施例，电子装置的至少一个处理器可以配置成：在显示模块被驱动的状态下，响应于借助设置在显示模块的未被暴露于外部的后表面上的相机捕获图像的请求，设定显示模块和相机的优先级；识别在相机中设定的相机驱动信息中所包括的快门速度和在显示模块中设定的占空周期的截止占空时间；基于相机的优先级被设定为更高且快门速度被识别为比截止占空时间长，调整显示模块的显示驱动信息和相机的相机驱动信息中的至少一者；以及控制相机在已经基于显示驱动信息和相机驱动信息中的至少一者的调整而改变的截止占空时间内捕获图像。其他实施例也是可能的。

Description

包括相机的电子装置及用于电子装置的操作方法
技术领域
本公开的各种实施例涉及包括相机的电子装置以及用于操作电子装置的方法。
背景技术
最近，为了用户方便，已经开发了各种电子装置，并且提供各种服务或功能。
电子装置可以被实现为具有凿穿显示器的上端的孔使得前置相机被设置为孔显示类型，或者以凹口显示类型被实现为具有设置在左侧或右侧上的相机传感器。
电子装置最近已经被实现为通过最大限度地利用显示器的暴露区域来扩展显示屏幕同时减少显示边框，以便有效地显示与各种服务或功能的执行相关的内容和信息并且增强用户的沉浸式体验。为此，电子装置可以被实现为包括屏下摄像头(UDC)使得前置相机安装在显示面板下方，取代凹口显示类型或孔显示类型。只有当UDC被激活时显示器的相应部分才可以被去激活，使得光被传输到相机透镜。
发明内容
技术问题
传统电子装置具有设置在可以操作的显示面板下方的UDC，并且传统电子装置的像素、布线等由于显示特性而具有规则的结构，从而具有光散射等的影响，并且当通过UDC捕获图像时，出现在显示面板中的光可能引起干扰。因此，通过传统电子装置的UDC捕获的图像的质量可能降低。
本公开的实施例可以提供包括相机使得通过UDC捕获图像而不受出现在显示面板中的光的干扰的电子装置和用于操作电子装置的方法。
技术方案
根据本文件的实施例，电子装置可以包括：显示模块；相机，设置在显示模块的未被暴露于外部的后表面上；存储器；以及至少一个处理器，电连接到显示模块、相机和存储器，其中，至少一个处理器可以配置成：在显示模块被驱动的状态下，响应于借助相机拍摄图像的请求，设定显示模块和相机的优先级；识别在相机中设定的相机驱动信息中所包括的快门速度和在显示模块中设定的占空周期中的截止占空时间；基于相机的优先级被设定为更高且快门速度被识别为比截止占空时间长，调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者；以及控制相机，从而在已经基于显示驱动信息或相机驱动信息中的至少一者的调整而改变的截止占空时间内拍摄图像。
根据实施例，用于操作电子装置的方法可以包括：在电子装置的显示模块被驱动的状态下，响应于借助设置在显示模块的未被暴露于外部的后表面上的相机拍摄图像的请求，配置显示模块和相机的优先级；识别在相机中设定的相机驱动信息中所包括的快门速度和在显示模块中设定的占空周期中的截止占空时间；基于相机的优先级被设定为更高且快门速度被识别为比截止占空时间长，调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者；以及在已经基于显示驱动信息和相机驱动信息中的至少一者的调整而改变的截止占空时间内通过使用相机来拍摄图像。
实施例可以提供一种非暂时性存储介质，其存储有包括可执行指令的程序，可执行指令在由处理器执行时使得处理器执行以下：在电子装置的显示模块被驱动的状态下，响应于借助设置在显示模块的未被暴露于外部的后表面上的相机拍摄图像的请求，配置显示模块和相机的优先级；识别在相机中设定的相机驱动信息中所包括的快门速度和在显示模块中设定的占空周期中的截止占空时间；基于相机的优先级被设定为更高且快门速度被识别为比截止占空时间长，调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者；以及在已经基于显示驱动信息和相机驱动信息中的至少一者的调整而改变的截止占空时间内通过使用相机来拍摄图像。
技术效果
本公开的实施例可以提供包括相机的电子装置和用于操作电子装置的方法，其中，电子装置保持最佳图像质量，使得通过UDC捕获图像而不受出现在显示面板中的光的干扰，由此改善通过UDC捕获的图像的质量，并且消除显示面板的有效像素的光干扰，使得可以使用整个可见显示区域而没有感觉上的差异。可以提供通过本公开明确地或隐含地发现的各种其他有益效果。
附图说明
图1是根据各种实施例的网络环境中的电子装置的框图。
图2示出根据实施例的电子装置。
图3示出根据实施例的电子装置的显示模块。
图4示出根据实施例的电子装置。
图5示出根据实施例的用于操作电子装置的方法的示例。
图6a和图6b示出根据实施例的显示模块的占空周期。
图7a和图7b示出根据实施例的显示模块的占空周期。
图8示出根据实施例的用于操作电子装置的方法的示例。
图9a、图9b和图9c示出根据示例性实施例的显示模块的占空周期。
图10a和图10b示出根据实施例的用于操作电子装置的方法的示例。
结合附图的描述，相同或相似的附图标记可以用于相同或相似的元件。
具体实施方式
在下文中，将参考附图描述根据各种实施例的电子装置。在各种实施例中使用的术语“用户”可以指使用电子装置的人或使用电子装置的装置(例如，人工智能电子装置)。
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略上述部件中的至少一个(例如，连接端178)，或者可将一个或更多其他部件添加到电子装置101中。在一些实施例中，可将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个集成部件(例如，显示模块160)。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其他部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如，可通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多的组合，但不限于此。另外地或可选地，人工智能模型可包括除了硬件结构以外的软件结构。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可从电子装置101的外部(例如，用户)接收将由电子装置101的其他部件(例如，处理器120)使用的命令或数据。输入模块150可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可将声音信号输出到电子装置101的外部。声音输出模块155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可向电子装置101的外部(例如，用户)视觉地提供信息。显示模块160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线(例如，阵列天线)。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
根据各种实施例，天线模块197可形成毫米波天线模块。根据实施例，毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置104可包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可被包括在第二网络199中。电子装置101可应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
图2示出根据实施例的电子装置，图3示出根据实施例的电子装置的显示模块，并且图4示出根据实施例的电子装置。
参考图1和图2，根据实施例的电子装置101(例如，图1中的电子装置101)可以包括相机210(例如，图1中的相机模块180)和设置在壳体200的前表面201上的显示模块160(例如，图1中的显示模块160)。根据实施例的电子装置101可以包括存储器130以及电连接到显示模块160、相机210和存储器130的至少一个处理器120。除此之外，根据实施例的电子装置101还可以包括在图1中描述的其他部件。
参考图1、图2、图3和图4，根据实施例，显示模块160可以设置为通过壳体200的前表面201被暴露，并且包括设置为使得其第一表面被暴露的窗310和设置在窗310(例如，透明玻璃层)的第二表面(后表面)上的显示面板320。显示面板320可以包括板(例如，柔性电路板(FPCB))340和设置在板340上的显示元件层311。显示面板320可以包括触敏面板(TSP)。显示元件层311可以包括电路层，电路层包括薄膜晶体管(TFT)(未示出)、作为显示元件的有机发光二极管(OLED)(未示出)、以及设置在薄膜晶体管和有机发光二极管之间的封装层(未示出)。根据实施例，显示模块160可以包括显示驱动器集成电路(DDI)(未示出)。根据实施例，窗310和显示面板320可以至少部分地弯曲。显示面板320可以由柔性聚合物膜形成，并且例如可以包括聚酰亚胺、聚对苯二甲酸乙二醇酯或其他聚合物材料。显示面板320可以包括设置在显示元件层311下方的第一聚合物层313(例如，聚酰亚胺)和第二聚合物层315(例如，聚对苯二甲酸乙二醇酯)。不限于此，并且包括在显示模块160中的部件的位置和形状可以改变，并且还可以添加其他部件。
根据实施例，相机210可以设置在显示模块160的未被暴露于外部的后表面(例如，第二表面)上。如图3中所示，相机210可以是其中相机模块180的至少一部分设置在显示面板320下方的屏下摄像头(例如，屏下摄像头(UDC)相机)210。根据实施例，相机210可以设置在显示面板320和板340之间。根据实施例，相机210可以是图1中的相机模块180的至少一部分，并且可以包括在壳体200内部以便不被暴露。相机210可以包括配置成通过透镜检测通过窗310入射的光并将光转换为数字信号来获取图像的相机传感器(例如，图像传感器)(未示出)、配置成处理图像的图像处理模块(未示出)或者配置成存储图像的存储器130中的至少一个。
根据实施例，处理器120可以同时/顺序地向显示模块160和相机210提供同步信号(Vsync)以同步显示模块160和相机210，以便当在驱动显示模块160的同时驱动相机210时，使显示模块160和相机210能够彼此互通。处理器120可以通过利用显示模块160和相机210之间的互通而调整相机驱动信息和显示驱动信息中的至少一者，来避免从显示模块160发射的光的干扰，并且消除由从显示模块160的内部泄漏从而进入相机210的透镜的光所引起的光干扰，以优化拍摄图像所需的拍摄条件，从而最佳地保持图像质量。根据实施例，处理器120可以包括第一控制模块121(例如，图1中的主处理器121)，第一控制模块121配置成执行控制使得同步信号被同时/顺序地提供到显示模块160和相机210，以使显示模块160和相机210能够彼此互通。处理器120可以分析显示在显示模块160上的内容或图像，以根据相机210的驱动来识别图像是否是图像，并且识别显示器的驱动或相机的驱动中的要被确定为优先的一个。为此，处理器120可以包括第二控制模块123(例如，图1中的辅助处理器123)，第二控制模块123配置成执行控制从而执行用于用户偏好分析和/或用户的视线跟踪的功能。
例如，相机驱动信息可以包括在相机210中设定的快门速度、传感器增益(或增益)、ISO灵敏度或光圈值(F)中的至少一种。除这些之外，相机驱动信息还可以包括与驱动相机210相关的其他参数。例如，显示驱动信息可以包括在显示模块160中设定的刷新率(或屏幕刷新率)、占空周期信息或亮度信息中的至少一者。除这些之外，显示驱动信息还可以包括与驱动显示模块160相关的其他参数。刷新率可以指每秒输出显示屏幕多少次，并且可以被称为屏幕刷新率或屏幕刷新频率。刷新率可以表示为赫兹(Hz)的单位，并且赫兹数越高，屏幕刷新率越高。与占空周期相关的信息可以包括设定的占空周期和/或占空比。占空周期可以指通过使用划分一个帧的发光数(例如，2占空：开、关，4占空：开、关、开、关)来指示一个帧(例如，在60Hz的情况下，一个帧由1/60秒指示)的方法。占空比可以指用于显示屏幕的导通占空时间(或发光时间)与截止占空时间(非发光时间)的比率。亮度信息可以包括指示在周围环境中产生的光量的信息。例如，处理器120可以通过使用至少一个传感器(例如，图1中的传感器模块176或照度传感器)从周围环境获得环境亮度信息。例如，环境亮度信息可以包括与从显示模块(例如，图1、图2、图3和图4中的显示模块160)发射的光的亮度相关的信息或与周围环境中的照明的亮度相关的信息。
根据实施例，处理器120可以配置显示模块160和相机210的优先级以执行用于优化拍摄图像所需的拍摄条件的操作，以最佳地保持相机的图像质量。例如，处理器120可以确定显示模块160和相机210的优先级，并且根据所确定的优先级为显示模块160和相机210中的每个设定包括权重因子的优先级信息。例如，处理器120可以基于与显示在显示模块160上的图像相关的信息、用户偏好信息、用户的视线跟踪信息或用户的当前状况信息中的至少一者来确定优先级。例如，与显示在显示模块160上的图像相关的信息可以包括与显示用户期望的内容的另一屏幕(例如，在视频通话期间用户的另一屏幕或在互联网广播期间的数据屏幕)相关的信息。作为用户请求的优先级的用户偏好信息可以包括指示显示模块160的优先级或相机210的优先级的信息。用户的视线跟踪信息可以包括关于使用视线跟踪功能跟踪的用户视线所指向的位置的信息。
根据实施例，当通过使用相机210来拍摄图像时，处理器120可以使用显示模块160的占空周期410。如图4所示，占空周期410可以包括显示面板320的每个像素的根据显示驱动信息(例如，刷新率和占空比)而规律地发生的导通占空411和截止占空413。占空周期410中的导通占空411可以是由显示模块160发射光的发光时段。当在导通占空411中拍摄图像时，从显示模块160发射的光可能被相机传感器接收并引起光干扰，并且因此，所捕获图像的质量可能由此降低。占空周期410的截止占空413可以是不由显示模块160产生光的非发射时段。处理器120可以控制相机210，从而在像素的截止占空413时间内拍摄图像，并且可以调整适于情况或环境的可变要素(例如，相机驱动信息和/或显示驱动信息)。根据实施例，处理器120可以基于提供到显示模块160的同步信号(Vsync)来识别导通占空411的开始时间(导通时间)，并且控制显示模块160从而在导通占空411内产生光。处理器120可以基于脉宽调制(PWM)信号来识别导通占空411的结束时间。处理器120可以基于提供到相机210的同步信号(Vsync)，在与导通占空411的结束时间(截止时间)相同的时间或者在从导通占空411的结束时间(截止时间)起的预定时间之后来识别截止占空413的开始时间。处理器120可以在截止占空413的开始时间(导通时间)驱动相机210，并且控制显示模块160从而不产生光。
根据实施例，处理器120可以识别在相机210中设定的相机驱动信息和在显示模块160中设定的显示驱动信息。处理器120可以识别包括在相机驱动信息中的快门速度和包括在显示驱动信息中的占空周期的截止占空时间。例如，处理器120可以将在相机210中设定的快门速度识别为1/60(16.66ms)，并且将包括在显示驱动信息中的刷新率识别为120Hz。
根据实施例，处理器120可以分别基于为显示器160和相机210设定的优先级信息来识别显示器160和相机210的优先级。当处理器120识别出相机210的优先级被设定为高时，处理器120可以将所识别的快门速度与所识别的截止占空时间进行比较，以确定是否调整显示驱动信息和/或相机驱动信息。当相机210的优先级较高且所识别的快门速度比所识别的截止占空时间长时，处理器120可以调整显示驱动信息和/或相机驱动信息。当显示模块160的优先级高时，处理器120可以控制相机210，从而基于所识别的显示驱动信息和/或相机驱动信息拍摄图像，而不调整显示驱动信息和/或相机驱动信息。当相机210的优先级高且所识别的快门速度比所识别的截止占空时间短时，处理器120可以控制相机210，从而基于所识别的显示驱动信息和/或相机驱动信息拍摄图像，而不调整显示驱动信息和/或相机驱动信息。
根据实施例，当相机210的优先级较高且所识别的快门速度比所识别的截止占空时间长时，如图4中所示，处理器120可以调整导通占空411的时间和/或截止占空413的时间，使得导通占空411的时间和截止占空413的时间在显示模块160的占空周期410中规律地产生而不会彼此重叠。处理器120可以基于所设定的占空周期410和快门速度(例如，1/60(16.66ms))来改变导通占空411的时间或相机驱动信息中的至少一者(例如，快门速度、传感器增益、ISO灵敏度或光圈值)。例如，处理器120可以通过刷新率(例如，120Hz)将导通占空411的时间和截止占空413的时间(60Hz(16.66ms))保持为占空周期410的半周期的时间，在占空周期410的半周期的时间(例如，16.66ms)内将导通占空411的时间调整为缩短的，并且响应于导通占空411的时间的调整将截止占空413的时间调整为加长的。例如，由于基于快门速度(例如，16.66ms)调整的截止占空413的时间是短的，因此，处理器120可以响应于已经被调整为具有增加的时间的截止占空413，进一步将快门速度调整到比所识别的1/60(16.66ms)低的值。
根据实施例，当相机210的优先级较高且所识别的快门速度(例如，16.66ms)比所识别的截止占空时间(例如，8.35ms)长时，处理器120可以基于所设定的快门速度将包括在显示驱动信息中的刷新率(例如，120Hz)或亮度改变为低值。例如，当所设定的刷新率为120Hz且占空比为50％时，处理器120可以识别出4.17ms的截止占空413的时间比所识别的快门速度(例如，16.66ms)短。处理器120可以将刷新率改变为例如30Hz，使得截止占空413的时间比所识别的快门速度(例如，16.66ms)长。例如，当屏幕刷新率被改变为低至30Hz时，占空周期410的半周期的时间(例如，当占空比为50％时的半周期的时间)可以增加到33.3ms，并且截止占空413的时间(截止时间)可以增加到16.7ms。
根据实施例，当相机210的优先级较高且所识别的快门速度(例如，16.66ms)比所识别的截止占空时间(例如，8.35ms)长时，处理器120可以识别显示模块160在与设置有相机210的区域220相邻的区域230中的相邻像素，并且改变所识别的相邻像素的占空周期中的导通占空时间。处理器120可以保持除相邻像素之外的像素的显示驱动信息。例如，当所识别的快门速度比所识别的截止占空时间长时，处理器120可以基于所识别的快门速度(例如，16.66ms)仅将在相邻像素中设定的导通占空时间改变为优化的(例如，减少的)，使得所识别的快门速度包括在占空周期的时间范围(例如，33.3ms)中。作为另一示例，当所识别的快门速度(例如，16.66ms)比所识别的截止占空时间(例如，8.35ms)长时，处理器120可以将刷新率改变为例如30Hz，并且基于所识别的快门速度(例如，16.66ms)仅将在相邻像素中设定的导通占空时间改变为优化的(例如，减少的)。这里，当通过简单地减少所识别的刷新率的导通占空时间来确保与快门速度对应的导通占空时间时，可以保持而不改变所识别的刷新率。
根据实施例，当相机210的优先级较高且所识别的快门速度比所识别的截止占空时间长时，处理器120可以通过将显示模块160的其上设置有相机210的相邻像素配置成截止来将相邻像素的占空周期的导通占空时间改变为截止占空时间，并且保持除相邻像素之外的像素的显示驱动信息。例如，根据相邻像素的占空周期中的已经改变为截止占空时间的导通占空时间，处理器120可以基于所识别的快门速度执行调整，使得截止占空时间对应于占空周期的半周期的时间(例如，33.3ms)。对于另一示例，根据相邻像素的占空周期中的已经改变为截止占空时间的导通占空时间，处理器120可以调整截止占空时间，使得截止占空时间比所识别的快门速度长并且包括在占空周期的半周期的时间范围(例如，33.3ms)内。
根据实施例，当在相机210的优先级高的同时难以在占空周期内尽可能多地确保相机210的所设定的快门速度时，处理器120可以缩短所识别的快门速度，以调整后的快门速度在所识别的截止占空时间内拍摄多个图像，并且合成所拍摄的多个图像。根据实施例，可以通过合成所拍摄的多个图像来优化由相机210拍摄的图像的质量。
参考图1、图2和图4，根据实施例的电子装置101的存储器130可以存储用于使由处理器执行的操作被执行的指令。至少一个处理器120可以执行存储在存储器130中的指令。
在实施例中，已经通过图1、图2和图4中的电子装置101描述了电子装置的主要部件。然而，在各种实施例中，并不是图1、图2和图4中所示的所有部件都是必要的部件，并且电子装置101可以用比所示部件更多的部件来实现，并且可以用比所示部件更少的部件来实现。此外，上面参考图1、图2和图4描述的电子装置101的主要部件的位置可以是可根据各种实施例改变的。
根据实施例，电子装置(例如，图1、图2和图4中的电子装置101(以下称为第一电子装置101))可以包括显示模块(例如，图1、图2、图3和图4中的显示模块160)、设置在显示模块的未被暴露于外部的后表面上的相机(例如，图1中的相机模块180和图2、图3和图4中的相机210)、存储器(例如，图1中的存储器130)以及电连接到显示模块、相机和存储器的至少一个处理器(例如，图1和图4中的处理器120)，其中，至少一个处理器可以配置成：在显示模块被驱动的状态下，响应于借助相机拍摄图像的请求来配置显示模块和相机的优先级；识别在相机中设定的相机驱动信息中所包括的快门速度和在显示模块中设定的占空周期中的截止占空时间；基于相机的优先级被设定为更高且快门速度被识别为比截止占空时间长，来调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者；以及控制相机，从而在已经基于显示驱动信息或相机驱动信息中的至少一者的调整而改变的截止占空时间内拍摄图像。
根据实施例，处理器可以配置成基于与显示在显示模块上的图像相关的信息、用户偏好信息、用户的视线跟踪信息或用户的当前状况信息中的至少一者来确定优先级。相机驱动信息可以包括在相机中设定的快门速度、传感器增益、ISO灵敏度或光圈值中的至少一者。显示驱动信息可以包括在显示模块中设定的刷新率、占空周期信息或亮度信息中的至少一者。
根据实施例，至少一个处理器可以配置成基于显示器的优先级被设定为更高，控制相机以在显示模块中所设定的截止占空时间内拍摄图像，而不调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者。
根据实施例，至少一个处理器可以配置成当快门速度比截止占空时间长时，基于快门速度和所设定的占空周期来改变相机驱动信息或占空周期中的导通占空时间中的至少一者。
根据实施例，至少一个处理器可以配置成响应于导通占空时间的改变或包括在相机驱动信息中的快门速度、传感器增益、ISO灵敏度或光圈值中的至少一者的改变而改变截止占空时间，使得截止占空时间增加。
根据实施例，至少一个处理器可以配置成当快门速度比截止占空时间长时，基于快门速度将包括在显示驱动信息中的刷新率、亮度或占空周期中的至少一者改变为低值。
根据实施例，至少一个处理器可以配置成当所识别的快门速度比截止占空时间长时，改变显示模块的其上设置有相机的相邻像素的占空周期中的导通占空时间，并且保持除相邻像素之外的像素的显示驱动信息，其中，相邻像素的导通占空时间可以基于快门而改变为优化的(例如，减少的)。
根据实施例，至少一个处理器可以配置成当快门速度比截止占空时间长时，基于快门速度将包括在显示驱动信息中的刷新率、亮度或占空周期中的至少一者改变为低值，并且改变显示模块的其上设置有相机的相邻像素的占空周期中的导通占空时间，从而优化(例如，减少)导通占空时间。
根据实施例，至少一个处理器可以配置成当快门速度比截止占空时间长时，将显示模块的其上设置有相机的相邻像素设定为截止，并且将相邻像素的占空周期中的导通占空时间改变为截止占空时间，并且保持除相邻像素之外的像素的显示驱动信息。
根据实施例，至少一个处理器可以配置成当快门速度比截止占空时间长时将快门速度调整为短，以调整后的快门速度在截止占空时间内拍摄多个图像，并且合成所拍摄的多个图像。
在下文中，将基于根据参考图1、图2、图3和图4描述的实施例的电子装置来描述用于操作电子装置的方法。
图5示出根据实施例的用于操作电子装置的方法的示例。
根据实施例的电子装置(例如，图1和图2中的电子装置101)可以同时/顺序地向显示模块和相机提供同步信号以同步显示模块和相机，以便当在驱动显示模块(例如，图1、图2、图3和图4中的显示模块160)的同时驱动相机(例如，图1中的相机模块180、图2、图3和图4中的相机210)时，使显示模块与相机之间能够彼此互通。电子装置可以通过利用显示模块与相机之间的互通而调整相机驱动信息和显示驱动信息中的至少一者，来避免从显示模块发射的光的干扰，并且消除由从显示模块160的内部泄漏从而进入相机210的透镜的光所引起的光干扰，以优化拍摄图像所需的拍摄条件，从而最佳地保持图像质量。
参考图5，在操作501中，根据实施例的电子装置可以在显示模块被驱动的同时响应于借助相机拍摄图像的请求来确定显示模块和相机的优先级。例如，电子装置可以根据所确定的优先级为显示模块和相机中的每个设定包括权重因子的优先级信息。例如，电子装置可以基于与显示在显示模块上的图像相关的信息、用户偏好信息、用户的视线跟踪信息或用户的当前状况信息中的至少一者来确定优先级。例如，与显示在显示模块上的图像相关的信息可以包括与显示用户期望的内容的另一屏幕(例如，在视频通话期间用户的另一屏幕或在互联网广播期间的数据屏幕)相关的信息。作为用户请求的优先级的用户偏好信息可以包括指示显示模块160的优先级或相机210的优先级的信息。用户的视线跟踪信息可以包括关于使用视线跟踪功能跟踪的用户视线所指向的位置的信息。
在操作503中，电子装置可以识别在相机中设定的相机驱动信息和在显示模块中设定的显示驱动信息。为了避免当由相机拍摄图像时从显示模块发射的光的干扰，电子装置可以配置成使得通过使用显示器的占空周期以被设定为在占空周期中的截止占空时间内的快门速度拍摄图像。为此，电子装置可以识别包括在相机驱动信息中的快门速度和在显示模块中设定的占空周期中的截止占空时间。例如，相机驱动信息可以包括在相机中设定的快门速度、传感器增益值、ISO灵敏度值和光圈值(F)中的至少一者。除这些之外，相机驱动信息还可以包括与驱动相机210相关的其他参数。例如，显示驱动信息可以包括在显示模块160中设定的刷新率(或屏幕刷新率)、占空周期信息或亮度信息中的至少一者。除这些之外，显示驱动信息还可以包括与驱动显示模块160相关的其他参数。
在操作505中，电子装置可以基于为显示器和相机设定的优先级信息来分别识别显示器和相机的优先级，并且通过将快门速度与截止占空时间进行比较来识别快门速度是否比截止占空时间长。当识别结果指示快门速度比截止占空时间长时，电子装置可以执行操作507。当快门速度短于或等于截止占空时间时，电子装置可以执行操作511。
在操作507中，基于所识别的相机的优先级被设定为更高且所识别的快门速度比截止占空时间长(操作505-否)，电子装置可以调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者。
在实施例中，当快门速度比截止占空时间长(操作505-否)时，在操作509中，电子装置可以在通过显示驱动信息和相机驱动信息中的至少一者的调整(操作507)而改变的截止占空时间内通过使用相机来拍摄图像。
在操作505中，当相机的优先级被识别为被设定为更高且快门速度被识别为等于或短于截止占空时间(操作505-是)时，在操作511中，电子装置可以基于所设定的显示驱动信息和相机驱动信息通过使用相机来拍摄图像，而不调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者。例如，当显示器的优先级被设定为更高时，电子装置可以终止或延迟相机的图像拍摄或者以低质量拍摄图像，而不调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者，并且可以在显示模块160上显示与其相关的引导信息。
图6a和图6b示出根据实施例的显示模块的占空周期。
参考图6a和图6b，当在驱动显示模块(例如，图1、图2、图3和图4中的显示模块160)的同时驱动相机(例如，图1中的相机模块180和图2、图3和图4中的相机210)时，如在图5中的操作507中，根据实施例的电子装置(例如，图1和图2中的电子装置101)可以将相机的驱动信息和/或显示器的驱动信息调整(或改变)为用于拍摄图像的条件以保持最佳图像质量。例如，电子装置可以将包括在所识别的相机驱动信息中的快门速度识别为1/60(16.66ms)，将包括在显示驱动信息中的刷新率识别为120Hz，并且识别占空周期610和占空比(例如，50％)。这里，刷新率可以指每秒输出显示屏幕多少次，并且可以被称为屏幕刷新率或屏幕刷新频率。刷新率可以表示为赫兹(Hz)的单位，并且赫兹数越高，屏幕刷新率越高。
根据一个实施例，当相机的优先级被识别为设定为较高且快门速度(例如，1/60(16.66ms))被识别为比占空周期610中的截止占空613的时间(例如，8.3ms)长时，如在图5的操作507中，电子装置可以调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者。例如，电子装置可以调整导通占空611的时间和/或截止占空613的时间，使得导通占空611的时间和截止占空613的时间在显示模块160的占空周期610中规律地产生，而不会彼此重叠。电子装置可以基于快门速度(例如，1/60(16.66ms))和所设定的占空周期610来改变导通占空611的时间或相机驱动信息中的至少一者(例如，快门速度、传感器增益、ISO灵敏度或光圈值)。例如，电子装置可以通过刷新率(例如，120Hz)将导通占空611和截止占空613的时间(60Hz(16.66ms))保持为占空周期610的半周期的时间，在占空周期610的半周期的时间(例如，16.66ms)内将导通占空611的时间调整为缩短的，并且响应于导通占空611的时间的调整将截止占空613的时间调整为加长的。例如，由于基于快门速度(例如，16.66ms)调整的截止占空613的时间短，因此电子装置可以响应于已经被调整为具有增加的时间的截止占空613，进一步将快门速度调整到比所识别的1/60(16.66ms)低的值。
图7a和图7b示出根据实施例的显示模块的占空周期。
参考图7a和图7b，当优先级较高且与所识别的快门速度(例如，16.66ms)对应的截止占空713的时间比占空周期710的半周期(接通占空时间和截止占空时间)(例如，16.66ms)内的指定截止占空时间(例如，8.35ms)(未示出)长时，根据实施例的电子装置(例如，图1和图2中的电子装置101)可以基于所设定的快门速度将包括在显示驱动信息中的刷新率(例如，120Hz)或亮度改变为低值，如在图5中的操作507中那样。例如，当所设定的刷新率为120Hz且占空比为50％时，电子装置可以识别出在占空周期710中的导通占空711的时间(例如，8.35ms)之后要被用作截止占空的剩余时间(例如，8.35ms)比所识别的快门速度713(例如，16.66ms)短。电子装置可以将刷新率改变为例如30Hz，使得指定截止占空时间比所识别的快门速度(例如，16.66ms)长。例如，当刷新率改变为低至30Hz时，占空周期710的半周期的时间(例如，当占空比为50％时的半周期的时间)可以增加到33.3ms，并且改变的截止占空715的时间(截止时间)可以增加到16.7ms。电子装置可以保持占空周期710中的导通占空711的时间而不改变导通占空711的时间。
图8示出根据实施例的用于操作电子装置的方法的示例，并且图9a、图9b和图9c示出根据示例性实施例的显示模块的占空周期。
在操作801中，根据实施例的电子装置(例如，图1和图2中的电子装置101)可以在显示模块(例如，图1、图2、图3和图4中的显示模块160)被驱动的同时响应于借助相机(例如，图1中的相机模块180、图2、图3和图4中的相机210)拍摄图像的请求而确定显示模块和相机的优先级。例如，电子装置可以根据所确定的优先级为显示模块和相机中的每个设定包括权重因子的优先级信息。例如，电子装置可以基于与显示在显示模块上的图像相关的信息、用户偏好信息、用户的视线跟踪信息或用户的当前状况信息中的至少一者来确定优先级。例如，与显示在显示模块上的图像相关的信息可以包括与显示用户期望的内容的另一屏幕(例如，在视频通话期间用户的另一屏幕或在互联网广播期间的数据屏幕)相关的信息。作为用户请求的优先级的用户偏好信息可以包括指示显示模块160的优先级或相机210的优先级的信息。用户的视线跟踪信息可以包括关于使用视线跟踪功能跟踪的用户视线所指向的位置的信息。
在操作803中，电子装置可以识别在相机中设定的相机驱动信息和在显示模块中设定的显示驱动信息。为了避免当由相机拍摄图像时从显示模块发射的光的干扰，电子装置可以配置成使得通过使用显示器的占空周期以被设定为在占空周期中的截止占空时间内的快门速度拍摄图像。为此，电子装置可以识别包括在相机驱动信息中的快门速度和在显示模块中设定的占空周期中的截止占空时间。例如，相机驱动信息可以包括在相机中设定的快门速度、传感器增益值、ISO灵敏度值和光圈值(F)中的至少一者。除这些之外，相机驱动信息还可以包括与驱动相机210相关的其他参数。例如，显示驱动信息可以包括在显示模块中设定的刷新率(或屏幕刷新率)、占空周期信息或亮度信息中的至少一者。除这些之外，显示驱动信息还可以包括与驱动显示模块160相关的其他参数。
在操作805中，电子装置可以分别基于为显示器和相机设定的优先级信息来识别显示器和相机的优先级，并且通过将快门速度和截止占空时间进行比较来识别快门速度是否短于或等于截止占空时间。当识别结果指示快门速度短于或等于截止占空时间时，电子装置可以执行操作807。当快门速度比截止占空时间长时，电子装置可以执行操作809。
在操作807中，当相机的优先级被设定为更高且快门速度等于或短于截止占空时间(操作805-是)时，电子装置可以基于所设定的显示驱动信息和相机驱动信息通过使用相机来拍摄图像，而不调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者。例如，当显示器的优先级被设定为更高时，电子装置可以终止或延迟相机的图像拍摄或者以低质量拍摄图像，而不调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者，并且可以在显示模块160上显示与其相关的引导信息。
在操作809中，当相机的优先级被设定为更高且快门速度比截止占空时间长(操作805-否)时，电子装置可以调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者。操作809中的电子装置可以执行与参考图5中的操作507以及图6a和图6b或图7a和图7b所描述的、调整(或改变)显示模块的显示驱动信息或相机的相机驱动信息中的至少一者的操作相同的操作。
在操作811中，电子装置可以再次识别快门速度是否短于或等于截止占空时间。在操作8813中，当识别结果指示快门速度短于或等于截止占空时间(操作811-是)时，电子装置可以基于显示模块的所调整的(或所改变的)显示驱动信息或相机的所调整的(或所改变的)相机驱动信息中的至少一者，通过使用相机来执行图像拍摄。当快门速度比截止占空时间长时，电子装置可以执行操作815。
在操作815中，当快门速度比截止占空时间长(操作811-否)时，电子装置可以改变显示模块160在设置有相机210的相邻区域220中的相邻像素的占空周期中的导通占空时间，以设定相邻像素的截止占空间隔。电子装置可以保持除相邻像素之外的像素的显示驱动信息。如图9a和图9b中所示，当与所识别的快门速度对应的截止占空913的时间比占空周期910的半周期(占空周期时间和截止占空时间)(例如，16.66ms)内的指定截止占空(未示出)的时间(例如，8.35ms)长时，根据实施例的电子装置(例如，图1和图2中的电子装置101)可以基于所识别的快门速度(例如16.66ms)仅将为相邻像素设定的导通占空911的时间改变为减少的，使得截止占空913的时间包括在占空周期910的时间范围(例如33.3ms)中。例如，当所识别的快门速度(例如，16.66ms)比指定截止占空时间(例如，8.35ms)长时，电子装置可以将刷新率改变为例如30Hz，并且基于所识别的快门速度(例如，16.66ms)仅将为相邻像素设定的导通占空911的时间改变为减少的。根据实施例(未示出)，当通过简单地减少所识别的刷新率的导通占空911的时间来确保与快门速度对应的截止占空915的时间时，可以保持而不改变图9a中的所识别的刷新率(例如，60Hz)。根据实施例，如图9c中所示，当相机210的优先级较高且所识别的快门速度比所识别的截止占空时间长时，电子装置可以通过将显示模块的其上设置有相机的相邻像素配置成截止来将相邻像素的占空周期920的导通占空921的时间改变为截止占空923的时间，并且保持除相邻像素之外的像素的显示驱动信息。根据相邻像素的占空周期920中的已经改变为截止占空923的时间的导通占空921的时间，电子装置可以基于所识别的快门速度来调整截止占空923的时间，使得截止占空923的时间与占空周期920的半周期的时间(例如，33.3ms)对应。对于另一示例，根据相邻像素的占空周期920中的已经改变为截止占空923的时间的导通占空921时间，电子装置可以调整截止占空923时间，使得截止占空923的时间比所识别的快门速度长并且包括在占空周期920的半周期的时间范围(例如，33.3ms)内。
在操作817中，电子装置可以识别快门速度是否短于或等于截止占空时间。当识别结果指示快门速度等于或短于截止占空时间(操作817-是)时，电子装置可以在操作819中基于已经改变的截止占空时间，通过使用相机来执行图像拍摄。这里，改变的截止占空时间可以是通过调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者并且然后进一步调整相机的仅相邻像素的显示信息而改变的截止占空时间。当操作817中的识别结果指示快门速度比截止占空时间长(操作817-否)时，电子装置可以结束操作。例如，电子装置可以在显示模块上显示指示相机的图像质量未被优化的信息。
图10a和图10b示出根据实施例的用于操作电子装置的方法的示例。
参考图10a和图10b，在操作1001中，根据实施例的电子装置(例如，图1和图2中的电子装置101)可以在显示模块(例如，图1、图2、图3和图4中的显示模块160)被驱动的同时响应于借助相机(例如，图1中的相机模块180、图2、图3和图4中的相机210)拍摄图像的请求来确定显示模块和相机的优先级。例如，电子装置可以根据所确定的优先级为显示模块和相机中的每个设定包括权重因子的优先级信息。例如，电子装置可以基于与显示在显示模块上的图像相关的信息、用户偏好信息、用户的视线跟踪信息或用户的当前状况信息中的至少一者来确定优先级。例如，与显示在显示模块上的图像相关的信息可以包括与显示用户期望的内容的另一屏幕(例如，在视频通话期间用户的另一屏幕或在互联网广播期间的数据屏幕)相关的信息。用户偏好信息(作为用户请求的优先级)可以包括指示显示模块160的优先级或相机210的优先级的信息。用户的视线跟踪信息可以包括关于使用视线跟踪功能跟踪的用户视线所指向的位置的信息。
在操作1003中，电子装置可以识别在相机中设定的相机驱动信息和在显示模块中设定的显示驱动信息。为了避免当由相机拍摄图像时从显示模块发射的光的干扰，电子装置可以配置成使得通过使用显示器的占空周期以被设定为在占空周期中的截止占空时间内的快门速度拍摄图像。为此，电子装置可以识别包括在相机驱动信息中的快门速度和在显示模块中设定的占空周期中的截止占空时间。例如，相机驱动信息可以包括在相机中设定的快门速度、传感器增益值、ISO灵敏度值和光圈值(F)中的至少一者。除这些之外，相机驱动信息还可以包括与驱动相机210相关的其他参数。例如，显示驱动信息可以包括在显示模块中设定的刷新率(或屏幕刷新率)、占空周期信息或亮度信息中的至少一者。除这些之外，显示驱动信息还可以包括与驱动显示模块160相关的其他参数。
在操作1005中，电子装置可以分别基于为显示器和相机设定的优先级信息来识别显示器和相机的优先级，并且通过将快门速度和截止占空时间进行比较来识别快门速度是否短于或等于截止占空时间。当识别结果指示快门速度短于或等于截止占空时间时，电子装置可以执行操作1007。当快门速度比截止占空时间长时，电子装置可以执行操作1009。
在操作1007中，当快门速度等于或短于截止占空时间(操作1005-是)时，电子装置可以在所设定的或所改变的截止占空时间内通过使用相机拍摄图像。例如，当在操作1005中识别的结果指示显示器的优先级被设定为更高并且快门速度等于或短于截止占空时间时，电子装置可以基于所设定的显示驱动信息和相机驱动信息在所设定的截止占空时间内通过使用相机来拍摄图像，而不调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者。例如，当显示器的优先级被设定为更高时，电子装置可以终止或延迟相机的图像拍摄或者以低质量拍摄图像，而不调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者，并且可以在显示模块160上显示与其相关的引导信息。
在操作1009中，当相机的优先级被设定为更高且快门速度比截止占空时间长(操作1005-否)时，电子装置可以调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者。操作1009中的电子装置可以执行与参考图5中的操作507以及图6a和图6b或图7a和图7b所描述的、调整(或改变)显示模块的显示驱动信息或相机的相机驱动信息中的至少一者的操作相同的操作。
在操作1011中，电子装置可以再次识别快门速度是否短于或等于截止占空时间。在操作1013中，当识别结果指示快门速度短于或等于截止占空时间(操作1011-是)时，电子装置可以基于根据显示驱动信息和/或相机驱动信息的调整而改变的显示驱动信息和/或相机驱动信息，在改变的截止占空时间内通过使用相机来拍摄图像。
在操作1015中，当在操作1011中识别的结果指示快门速度比截止占空时间长(操作1011-否)时，电子装置可以将显示模块160在设置有相机210的相邻区域220中的相邻像素的占空周期中的导通占空时间改变为相邻像素的截止占空间隔。电子装置可以保持除相邻像素之外的像素的显示驱动信息。如图9a和图9b中所示，当所识别的快门速度比所识别的截止占空长时，根据实施例的电子装置(例如，图1和图2中的电子装置101)可以基于所识别的快门速度(例如16.66ms)仅将为相邻像素设定的导通占空911的时间改变为减少的，使得截止占空时间包括在占空周期910的时间范围(例如，33.3ms)中。例如，当所识别的快门速度(例如，16.66ms)比所识别的截止占空时间(例如，8.35ms)长时，电子装置可以将刷新率改变为例如30Hz，并且基于所识别的快门速度(例如，16.66ms)仅将为相邻像素设定的导通占空911的时间改变为减少的。根据实施例，当通过简单地减少所识别的刷新率的导通占空911的时间来确保与快门速度对应的截止占空913时间时，可以保持而不改变所识别的刷新率。根据实施例，如图9c中所示，当相机210的优先级较高且所识别的快门速度比所识别的截止占空时间长时，电子装置可以通过将显示模块的其上设置有相机的相邻像素配置成截止来将相邻像素的占空周期920中的导通占空921的时间改变为截止占空923时间，并且保持除相邻像素之外的像素的显示驱动信息。根据相邻像素的占空周期920中的已经改变为截止占空923的时间的导通占空921的时间，电子装置可以基于所识别的快门速度执行调整，使得截止占空923的时间与占空周期920的半周期的时间(例如，33.3ms)对应。对于另一示例，根据相邻像素的占空周期920中的已经改变为截止占空921的时间的导通占空921的时间，电子装置可以调整截止占空923时间，使得截止占空923的时间比所识别的快门速度长并且包括在占空周期920的半周期的时间范围(例如，33.3ms)内。
在操作1017中，电子装置可以再次识别快门速度是否短于或等于截止占空时间。在操作1019中，当所识别的结果指示快门速度等于或短于截止占空时间(操作1017-是)时，电子装置可以在通过调整显示模块的显示驱动信息和/或相机的相机驱动信息并且然后进一步调整相机的仅相邻像素的显示信息而改变的截止占空时间内通过使用相机来执行图像拍摄。
当在操作1017中识别的结果指示快门速度比截止占空时间长(操作1017-否)时，电子装置可以识别出即使相机的优先级是较高的，也难以在占空周期内最大限度地确保在相机210中设定的快门速度。因此，在操作1021中，电子装置可以将所识别的快门速度调整为短，以调整后的快门速度在所识别的截止占空时间内拍摄多个图像，并且合成所拍摄的多个图像。根据实施例，可以通过合成所拍摄的多个图像来优化由相机拍摄的图像的质量。
在操作1023中，电子装置可以再次识别快门速度是否短于或等于截止占空时间。在操作1025中，当识别结果指示快门速度短于或等于截止占空时间(操作1023-是)时，可以在基于最后改变的条件而改变的截止占空时间内通过相机拍摄图像。例如，最后改变的条件可以包括通过执行改变显示驱动信息和/或相机驱动信息的操作(例如，图10a中的操作1009)、改变相机的仅相邻像素的显示驱动信息和相机驱动信息的操作(例如，图10b中的操作1015)以及拍摄和合成多个图像的操作(例如，图10b中的操作1021)而改变的显示驱动信息和/或相机驱动信息。
当在操作1023中识别的结果指示快门速度比截止占空时间长(操作1023-否)时，电子装置可以结束操作。
如上述图10a和图10b中所示，电子装置可以执行以下的所有操作：改变显示驱动信息和/或相机驱动信息(例如，图10a中的操作1009)；改变相机的仅相邻像素的显示驱动信息和相机驱动信息(例如，图10b中的操作1015)；以及拍摄和合成多个图像(例如，图10b中的操作1021)。不限于此，电子装置可以单独执行改变显示驱动信息和/或相机驱动信息的操作(例如，图10A中的操作1009)、改变相机的仅相邻像素的显示驱动信息和相机驱动信息的操作(例如，图10b中的操作1015)以及拍摄和合成多个图像的操作(例如，图10b中的操作1021)，或者可以执行两个不同操作的组合。
根据实施例，用于操作电子装置(例如，图1、图2和图4中的电子装置101)的方法可以包括：在电子装置的显示模块被驱动的状态下，响应于借助设置在显示模块的未被暴露于外部的后表面上的相机拍摄图像的请求，配置显示模块(例如，图1、图2、图3和图4中的显示模块160)和相机(例如，图1中的相机模块160、图2、3和4中的相机210)的优先级；识别在相机中设定的相机驱动信息中所包括的快门速度和在显示模块中设定的占空周期中的截止占空时间；基于相机的优先级被设定为更高且快门速度被识别为比截止占空时间长，调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者；以及在已经基于显示驱动信息和相机驱动信息中的至少一者的调整而改变的截止占空时间内通过使用相机来拍摄图像。
根据实施例，确定优先级可以包括基于与显示在显示模块上的图像相关的信息、用户偏好信息、用户的视线跟踪信息或用户的当前状况信息中的至少一者来确定优先级，并且相机驱动信息可以包括在相机中设定的快门速度、传感器增益、ISO灵敏度或光圈值中的至少一者。显示驱动信息可以包括在显示模块中设定的刷新率、占空周期信息或亮度信息中的至少一者。
根据实施例，所述方法可以包括：基于显示器的优先级被设定为更高，在显示模块中所设定的截止占空时间内通过使用相机来拍摄图像，而不调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者。
根据实施例，调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者可以包括：基于所设定的占空周期和快门速度来改变相机驱动信息或占空周期中的导通占空时间中的至少一者；以及响应于导通占空时间的改变或包括在相机驱动信息中的快门速度、传感器增益、ISO灵敏度或光圈值中的至少一者的改变，改变截止占空时间使得截止占空时间增加。
根据实施例，调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者可以包括：基于快门速度将包括在显示驱动信息中的刷新、亮度或占空周期中的至少一者改变为低值。
根据实施例，调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者可以包括：改变显示模块的其上设置有相机的相邻像素的占空周期中的导通占空时间；以及保持除相邻像素之外的像素的显示驱动信息，其中，相邻像素的导通占空时间可以改变为优化的(例如，减少的)。
根据实施例，调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者可以包括：基于快门速度将包括在显示驱动信息中的刷新率、亮度或占空周期中的至少一者改变为低值；并且改变显示模块的其上设置有相机的相邻像素的占空周期中的导通占空时间，从而优化(例如，减少)导通占空时间。
根据实施例，调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者可以包括：将显示模块的其上设置有相机的相邻像素配置成截止；将相邻像素的占空周期中的导通占空时间改变为截止占空时间；以及保持除相邻像素之外的像素的显示驱动信息。
根据实施例，所述方法可以包括：当相机的优先级较高且快门速度比截止占空时间长时，将快门速度调整为短；以调整后的快门速度在截止占空时间内拍摄多个图像；以及合成所拍摄的多个图像。
实施例可以提供非暂时性存储介质，其存储包括可执行指令的程序，可执行指令在由处理器执行时使得处理器执行以下：在电子装置的显示模块被驱动的状态下，响应于借助设置在显示模块的未被暴露于外部的后表面上的相机拍摄图像的请求，配置显示模块和相机的优先级；识别在相机中设定的相机驱动信息中所包括的快门速度和在显示模块中设定的占空周期中的截止占空时间；基于相机的优先级被设定为更高且快门速度被识别为比截止占空时间长，调整显示模块的显示驱动信息或相机的相机驱动信息中的至少一者；以及在已经基于显示驱动信息和相机驱动信息中的至少一者的调整而改变的截止占空时间内通过使用相机来拍摄图像。
本文中所公开的实施例仅仅是为了解释和理解所公开的技术内容而呈现，而不是旨在限制本文中所描述的技术的范围。因此，文件的范围应被解释为包括基于文件的技术思想的所有改变或各种其他实施例。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其他方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如与本公开的各种实施例关联使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多其他部件的情况下调用存储在存储介质中的所述一个或更多指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可省略上述部件中的一个或更多部件，或者可添加一个或更多其他部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多操作可按照不同的顺序来运行或被省略，或者可添加一个或更多其他操作。

Claims (15)

1.电子装置，包括：
显示模块；
相机，设置在所述显示模块的未被暴露于外部的后表面上；
存储器；以及
至少一个处理器，电连接到所述显示模块、所述相机和所述存储器，
其中，所述至少一个处理器配置成：
在所述显示模块被驱动的状态下，响应于使用所述相机拍摄图像的请求，设定所述显示模块和所述相机的优先级；
识别在所述相机中设定的相机驱动信息中所包括的快门速度和在所述显示模块中设定的占空周期中的截止占空时间；
基于所述相机的优先级被设定为更高且所述快门速度被识别为比所述截止占空时间长，调整所述显示模块的显示驱动信息或所述相机的相机驱动信息中的至少一者；以及
控制所述相机从而在已经基于所述显示驱动信息或所述相机驱动信息中的至少一者的所述调整而改变的截止占空时间内拍摄图像。
2.根据权利要求1所述的电子装置，其中，所述处理器配置成：
基于与显示在所述显示模块上的图像相关的信息、用户偏好信息、用户的视线跟踪信息或用户的当前状况信息中的至少一者来确定所述优先级；以及
基于所述显示器的优先级被设定为更高，控制所述相机从而在所述显示模块中所设定的截止占空时间内拍摄图像，而不调整所述显示模块的显示驱动信息或所述相机的相机驱动信息中的至少一者，
其中，所述相机驱动信息包括在所述相机中设定的所述快门速度、传感器增益、ISO灵敏度或光圈值中的至少一者，以及
其中，所述显示驱动信息包括在所述显示模块中设定的刷新率、占空周期信息或亮度信息中的至少一者。
3.根据权利要求1所述的电子装置，其中，所述至少一个处理器配置成：在所述快门速度比所述截止占空时间长的情况下，基于所述快门速度和所设定的占空周期来改变所述相机驱动信息或所述占空周期中的导通占空时间中的至少一者，以及
其中，所述至少一个处理器配置成：响应于所述导通占空时间的改变或者包括在所述相机驱动信息中的所述快门速度、传感器增益、ISO灵敏度或光圈值中的至少一者的改变，改变所述截止占空时间使得所述截止占空时间增加。
4.根据权利要求1所述的电子装置，其中，所述至少一个处理器配置成：
在所识别的快门速度比所述截止占空时间长的情况下，改变所述显示模块的其上设置有所述相机的相邻像素的占空周期中的导通占空时间；以及
保持除所述相邻像素之外的像素的显示驱动信息，以及
其中，所述相邻像素的导通占空时间基于所述快门而改变为减少的。
5.根据权利要求1所述的电子装置，其中，所述至少一个处理器配置成：
在所述快门速度比所述截止占空时间长的情况下，基于所述快门速度将包括在所述显示驱动信息中的刷新率、亮度或占空周期中的至少一者改变为低值；以及
改变所述显示模块的其上设置有所述相机的相邻像素的占空周期中的导通占空时间，使得所述导通占空时间减少。
6.根据权利要求1所述的电子装置，其中，所述至少一个处理器配置成：
在所述快门速度比所述截止占空时间长的情况下，将所述显示模块的其上设置有所述相机的相邻像素设定为截止，并且将所述相邻像素的占空周期中的导通占空时间改变为截止占空时间；以及
保持除所述相邻像素之外的像素的显示驱动信息。
7.根据权利要求1所述的电子装置，其中，所述至少一个处理器配置成：
在所述快门速度比所述截止占空时间长的情况下，将所述快门速度调整为低的；
以调整后的快门速度在所述截止占空时间内拍摄多个图像；以及
合成所拍摄的多个图像。
8.用于操作电子装置的方法，所述方法包括：
在所述电子装置的显示模块被驱动的状态下，响应于使用设置在所述显示模块的未被暴露于外部的后表面上的相机拍摄图像的请求，设定所述显示模块和所述相机的优先级；
识别在所述相机中设定的相机驱动信息中所包括的快门速度和在所述显示模块中设定的占空周期中的截止占空时间；
基于所述相机的优先级被设定为更高且所述快门速度被识别为比所述截止占空时间长，调整所述显示模块的显示驱动信息或所述相机的相机驱动信息中的至少一者；以及
在已经基于所述显示驱动信息和所述相机驱动信息中的至少一者的所述调整而改变的截止占空时间内通过使用所述相机来拍摄图像。
9.根据权利要求8所述的方法，其中，设定所述优先级包括：基于与显示在所述显示模块上的图像相关的信息、用户偏好信息、用户的视线跟踪信息或用户的当前状况信息中的至少一者来确定所述优先级，
其中，所述方法还包括：基于所述显示器的优先级被设定为更高，在所述显示模块中所设定的截止占空时间内通过使用所述相机来拍摄图像，而不调整所述显示模块的显示驱动信息和所述相机的相机驱动信息中的至少一者，
其中，所述相机驱动信息包括在所述相机中设定的所述快门速度、传感器增益、ISO灵敏度或光圈值中的至少一者，以及
其中，所述显示驱动信息包括在所述显示模块中设定的刷新率、占空周期信息或亮度信息中的至少一者。
10.根据权利要求8所述的方法，其中，调整所述显示模块的显示驱动信息或所述相机的相机驱动信息中的至少一者包括：
基于所述快门速度和所设定的占空周期，改变所述相机驱动信息或所述占空周期中的导通占空时间中的至少一者；以及
响应于所述导通占空时间的改变或者包括在所述相机驱动信息中的所述快门速度、传感器增益、ISO灵敏度或光圈值中的至少一者的改变，改变所述截止占空时间使得所述截止占空时间增加。
11.根据权利要求8所述的方法，其中，调整所述显示模块的显示驱动信息和所述相机的相机驱动信息中的至少一者包括：
改变所述显示模块的其上设置有所述相机的相邻像素的占空周期中的导通占空时间；以及
保持除所述相邻像素之外的像素的显示驱动信息，以及
其中，所述相邻像素的导通占空时间基于所述快门速度改变为减少的。
12.根据权利要求8所述的方法，其中，调整所述显示模块的显示驱动信息或所述相机的相机驱动信息中的至少一者包括：
基于所述快门速度将包括在所述显示驱动信息中的刷新率、亮度或占空周期中的至少一者改变为低值；以及
改变所述显示模块的其上设置有所述相机的相邻像素的占空周期中的导通占空时间，使得所述导通占空时间减少。
13.根据权利要求8所述的方法，其中，调整所述显示模块的显示驱动信息或所述相机的相机驱动信息中的至少一者包括：
将所述显示模块的其上设置有所述相机的相邻像素配置成截止；
将所述相邻像素的占空周期中的导通占空时间改变为截止占空时间；以及
保持除所述相邻像素之外的像素的显示驱动信息。
14.根据权利要求8所述的方法，包括：
在所述相机的优先级较高且所述快门速度比所述截止占空时间长的情况下，将所述快门速度调整为低的；
以调整后的快门速度在所述截止占空时间内拍摄多个图像；以及
合成所拍摄的多个图像。
15.非暂时性存储介质，存储有包括可执行指令的程序，所述可执行指令在由处理器执行时使得所述处理器执行以下：
在所述电子装置的显示模块被驱动的状态下，响应于使用设置在所述显示模块的未被暴露于外部的后表面上的相机拍摄图像的请求，配置所述显示模块和所述相机的优先级；
识别在所述相机中设定的相机驱动信息中所包括的快门速度和在所述显示模块中设定的占空周期中的截止占空时间；
基于所述相机的优先级被设定为更高且所述快门速度被识别为比所述截止占空时间长，调整所述显示模块的显示驱动信息或所述相机的相机驱动信息中的至少一者；以及
在已经基于所述显示驱动信息和所述相机驱动信息中的至少一者的所述调整而改变的截止占空时间内通过使用所述相机来拍摄图像。
CN202280028107.XA 2021-04-12 2022-04-12 包括相机的电子装置及用于电子装置的操作方法 Pending CN117136551A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0047313 2021-04-12
KR1020210047313A KR20220141139A (ko) 2021-04-12 2021-04-12 카메라를 포함하는 전자 장치, 그 전자 장치에서의 동작 방법
PCT/KR2022/005253 WO2022220530A1 (ko) 2021-04-12 2022-04-12 카메라를 포함하는 전자 장치, 그 전자 장치에서의 동작 방법

Publications (1)

Publication Number Publication Date
CN117136551A true CN117136551A (zh) 2023-11-28

Family

ID=83640483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280028107.XA Pending CN117136551A (zh) 2021-04-12 2022-04-12 包括相机的电子装置及用于电子装置的操作方法

Country Status (5)

Country Link
US (1) US20240040241A1 (zh)
EP (1) EP4319134A1 (zh)
KR (1) KR20220141139A (zh)
CN (1) CN117136551A (zh)
WO (1) WO2022220530A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070002130A1 (en) * 2005-06-21 2007-01-04 David Hartkop Method and apparatus for maintaining eye contact during person-to-person video telecommunication
US8154582B2 (en) * 2007-10-19 2012-04-10 Eastman Kodak Company Display device with capture capabilities
KR101781533B1 (ko) * 2010-12-23 2017-09-27 삼성디스플레이 주식회사 영상 촬영 장치 및 이의 영상 촬영 방법
KR101462351B1 (ko) * 2013-08-16 2014-11-14 영남대학교 산학협력단 시선일치 영상통화장치
CN110024366B (zh) * 2017-07-07 2020-08-14 华为技术有限公司 一种具有摄像头的终端和拍摄方法

Also Published As

Publication number Publication date
EP4319134A1 (en) 2024-02-07
WO2022220530A1 (ko) 2022-10-20
KR20220141139A (ko) 2022-10-19
US20240040241A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
US20220189408A1 (en) Electronic device and method for controlling refresh rate of display
US20210225320A1 (en) Electronic device and screen refresh method thereof
US11842670B2 (en) Electronic device for dynamically adjusting refresh rate of display
US20230154431A1 (en) Electronic device comprising display and operation method thereof
US11749173B2 (en) Electronic device configured to quickly update screen upon receiving input from peripheral device
US11490489B2 (en) Electronic device for controlling light emitting elements of optical sensor module based on display signal line voltage and operating method of electronic device
EP4319134A1 (en) Electronic device comprising camera, and operating method for electronic device
CN117280705A (zh) 电子装置及其图像捕获方法
US20240040265A1 (en) Electronic device including camera and operation method of electronic device
US11974036B2 (en) Electronic device including flexible display and camera
US20230082406A1 (en) Electronic device including camera and method for operating the same
US20240112609A1 (en) Electronic device controlling pulse signal from processor to display
US20220321754A1 (en) Method for measuring illuminance using camera and supporting the same
US20230412920A1 (en) Method for executing application, and electronic device supporting same
US20240098347A1 (en) Electronic device comprising image sensor and dynamic vision sensor, and operating method therefor
US20240004980A1 (en) Method, device, and storage medium for user authentication
EP4350678A1 (en) Electronic apparatus and method for changing refresh rate
US20230114167A1 (en) Electronic device and synchronization method based on display driving signal in electronic device
KR20230114161A (ko) 디스플레이 배면 센서의 구현을 위한 방법 및 장치
US20230308532A1 (en) Electronic device and electronic device operation method
US20240112620A1 (en) Electronic device including display driver circuit adaptively storing image
US20240023297A1 (en) Electronic device including thermal diffusion member
US20230016151A1 (en) Electronic device and method of operating the same
KR20240067194A (ko) 구동 주파수를 변경하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
CN116569247A (zh) 柔性显示器控制方法和支持该方法的电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination