CN112889266B - 显示器中包括相机模块的电子装置以及用于补偿相机模块周围的图像的方法 - Google Patents

显示器中包括相机模块的电子装置以及用于补偿相机模块周围的图像的方法 Download PDF

Info

Publication number
CN112889266B
CN112889266B CN201980069547.8A CN201980069547A CN112889266B CN 112889266 B CN112889266 B CN 112889266B CN 201980069547 A CN201980069547 A CN 201980069547A CN 112889266 B CN112889266 B CN 112889266B
Authority
CN
China
Prior art keywords
image
display
electronic device
value
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980069547.8A
Other languages
English (en)
Other versions
CN112889266A (zh
Inventor
朴民英
金圻彧
李宝娜
李智媛
金广泰
黄镐哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112889266A publication Critical patent/CN112889266A/zh
Application granted granted Critical
Publication of CN112889266B publication Critical patent/CN112889266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

公开了一种电子装置，该电子装置包括：显示器，所述显示器被配置为显示画面；显示驱动电路，所述显示驱动电路被配置为接收视频信息以控制显示器来显示画面；模块，所述模块包括布置在显示器的第一区域中的相机或传感器中的至少一个；和至少一个处理器，所述至少一个处理器可操作地与显示驱动电路和模块连接，其中，所述至少一个处理器或所述显示驱动电路被配置为基于在画面的第一区域中显示的图像的改变或第一区域的像素值的改变来补偿第一区域中的图像。

Description

显示器中包括相机模块的电子装置以及用于补偿相机模块周 围的图像的方法
技术领域
本公开涉及一种在显示器中包括相机模块的电子装置以及用于补偿相机模块周围的图像的方法。
背景技术
为了增加用于在诸如智能手机的电子装置的前表面上显示画面的区域，增加了布置在电子装置的前表面上的显示器的面积。随着显示器的面积增加，布置在电子装置前表面边缘的显示器和相机模块或传感器模块彼此相邻地布置。
电子装置可以将相机模块或传感器模块布置在凹口中。例如，凹口可以被限定在电子装置的前表面边缘的上部中心部分中。凹口可以与黑矩阵(BM)一起通过电子装置的前表面暴露。
发明内容
技术问题
当在电子装置的前表面中限定凹口时，该凹口覆盖显示器上显示的画面。当凹口覆盖画面时，该凹口被看到为黑色部分，因此不容易克服画面和凹口之间的异质性。
为了尽可能广泛地使用显示器，可以将显示器扩展为包括布置在电子装置的前表面的边缘上的相机模块或传感器模块。当显示器包括相机模块或传感器模块时，可以同时观看显示器上显示的画面和相机模块或传感器模块。当同时观看画面和相机模块或传感器模块时，观看画面可能会受到干扰。
本公开的实施例提供了一种用于补偿在相机模块或传感器模块周围显示的图像的方法，使得在具有包括相机模块或传感器模块的显示器的电子装置中减少相机模块或传感器模块对观看画面的干扰。
问题的解决方案
本公开的各方面至少解决了上述问题和/或缺点，并且至少提供了下述优点。因此，本公开的示例方面在于提供一种电子装置，该电子装置包括：显示器，所述显示器被配置为显示画面；显示驱动电路，所述显示驱动电路被配置为接收视频信息以控制显示器来显示画面；模块，所述模块包括布置在所述显示器的第一区域中的相机电路或感测电路中的至少一个；以及至少一个处理器，所述至少一个处理器可操作地与所述显示驱动电路和所述模块连接，其中，所述至少一个处理器或所述显示驱动电路被配置为基于在画面的第一区域中显示的图像的改变或第一区域的像素值的改变来控制所述电子装置补偿第一区域中的图像。
因此，本公开的另一示例方面在于提供一种用于补偿电子装置的相机模块周围的图像的方法，其中，相机模块被布置在用于显示画面的显示器中，所述方法包括：执行图像相关程序；提取相机模块周围的第一区域的像素值作为第一值；确定是否检测到图像的改变；基于检测到图像的改变，提取图像改变后的第一区域的像素值作为第二值；确定所述第一值和所述第二值之间的差值是否大于或等于阈值；以及基于所述第一值和所述第二值之间的差值大于或等于阈值来补偿第一区域的图像。
本发明的又一示例性方面提供了一种电子装置，包括：显示器，所述显示器被配置为显示画面；显示驱动电路，所述显示驱动电路被配置为接收视频信息以控制显示器来显示画面；相机模块，所述相机模块包括布置在所述显示器的第一区域中的相机；和至少一个处理器，所述至少一个处理器可操作地与所述显示驱动电路和所述相机模块连接，其中，所述至少一个处理器或所述显示驱动电路被配置为补偿所述第一区域以降低所述相机模块的可见度。
发明的有益效果
根据本公开中公开的各种示例实施例，可以减少相机模块或传感器模块对观看画面的干扰。
此外，根据本公开中公开的实施例，显示器可以被布置到电子装置的前表面中布置有相机模块或传感器模块的区域，从而显示具有扩展尺寸的画面。
另外，可以提供通过本文件直接或间接理解的各种效果。
附图说明
图1是示出根据各种实施例的在网络环境中的示例电子装置的框图；
图2是示出根据各种实施例的示例显示装置的框图；
图3是示出根据各种实施例的示例相机模块的框图；
图4a、图4b、图4c和图4d是示出根据各种实施例的电子装置的示例显示器和示例模块的示图；
图5a、图5b和图5c是示出根据实施例的示例电子装置的截面图；
图6是示出根据实施例的用于补偿电子装置的相机模块周围的图像的示例方法的流程图；
图7是示出根据实施例的电子装置的显示画面的示例显示器和相机模块的示图；
图8是示出根据实施例的电子装置的显示缩放画面的示例显示器和相机模块的示图；
图9是示出在根据实施例的电子装置的缩放画面中补偿第一区域的示例显示器和相机模块的示图；
图10是示出根据另一实施例的在电子装置的缩放画面中补偿第一区域的示例显示器的示图；和
图11是示出在根据另一实施例的电子装置的缩放画面中补偿第一区域的示例显示器和相机模块的示图。
在附图的描述中，相同或相似的附图标记可以用于相同或相似的组件。
具体实施方式
在下文中，将参照附图描述本公开的各种示例实施例。本文所使用的本公开的各种示例实施例并非旨在将本公开限制为特定的实施例，并且应当理解，实施例包括对本文所述的相应实施例的修改、等同形式和/或替代形式。
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述组件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它组件添加到电子装置101中。在一些实施例中，可将所述组件中的一些组件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它组件(例如，硬件组件或软件组件)，并可执行各种数据处理或计算。根据示例实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一组件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的组件之中的至少一个组件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的组件之中的至少一个组件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一组件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个组件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它组件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个组件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个组件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个组件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可以向电子装置101的外部(例如，外部电子装置)或从电子装置101的外部(例如，外部电子装置)发送或接收信号或功率。根据实施例，天线模块197可包括天线，该天线包括由导电材料或在基板(例如，PCB)中或基板上形成的导电图案构成的辐射元件。根据实施例，天线模块197可以包括多个天线。在这种情况下，可以例如由通信模块190(例如，无线通信模块192)从多个天线中选择适合于通信网络中使用的通信方案的至少一个天线，例如第一网络198或第二网络199。然后可以经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或功率。根据实施例，除了辐射元件之外的另一组件(例如，射频集成电路(RFIC))可以另外形成为天线模块197的一部分。
上述组件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的附加功能或附加服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2是示出根据各种实施例的显示装置160的框图200。参照图2，显示装置160可以包括显示器210和用于控制显示器210的显示驱动集成电路(DDI)230。DDI 230可以包括接口模块231、存储器233(例如，缓冲存储器)、图像处理模块235或映射模块237。DDI 230可经由接口模块231从电子装置101的另一组件接收包含图像数据或与控制图像数据的命令相对应的图像控制信号的图像信息。例如，根据实施例，可以从处理器120(例如，主处理器121(例如，应用处理器))或独立于主处理器121的功能而操作的辅助处理器123(例如，图形处理单元)接收图像信息。DDI 230可以例如经由接口模块231与触摸电路150或传感器模块176通信。DDI 230还可以例如逐帧地将接收到的图像信息的至少一部分存储在存储器233中。
图像处理模块235可以对图像数据的至少一部分执行预处理或后处理(例如，分辨率、亮度或大小的调整)。根据实施例，可以例如至少部分地基于图像数据的一个或更多个特征或显示器210的一个或更多个特征来执行预处理或后处理。
映射模块237可以生成与由图像处理模块235预处理或后处理的图像数据相对应的电压值或电流值。根据实施例，电压值或电流值的生成可以例如至少部分地基于像素的一个或更多个属性(例如，像素的阵列，例如RGB条纹或Pentile结构，或者每个子像素的尺寸)来执行。例如，可以至少部分地基于电压值或电流值来驱动显示器210的至少一些像素，使得可以经由显示器210显示与图像数据相对应的视觉信息(例如，文本、图像或图标)。
根据实施例，显示装置160还可以包括触摸电路250。触摸电路250可以包括触摸传感器251和控制触摸传感器251的触摸传感器IC 253。触摸传感器IC 253可以控制触摸传感器251以相对于显示器210上的特定位置感测触摸输入或悬停输入。为了实现此目的，例如，触摸传感器251可以检测(例如，测量)与显示器210上的特定位置相对应的信号(例如，电压、光量、电阻或一个或更多个电荷的量)的变化。触摸电路250可向处理器120提供指示经由触摸传感器251检测到的触摸输入或悬停输入的输入信息(例如，位置、区域、压力或时间)。根据实施例，触摸电路250的至少一部分(例如，触摸传感器IC 253)可以形成为显示器210或DDI 230的一部分，或者形成为布置在显示装置160外部的另一组件(例如，辅助处理器123)的一部分。
根据实施例，显示装置160还可以包括传感器模块176的至少一个传感器(例如，指纹传感器、虹膜传感器、压力传感器或照度传感器)或用于至少一个传感器的控制电路。在这种情况下，至少一个传感器或用于至少一个传感器的控制电路可以嵌入在显示装置160的组件(例如，显示器210、DDI230或触摸电路150)的一部分中。例如，当嵌入在显示装置160中的传感器模块176包括生物特征传感器(例如，指纹传感器)时，生物特征传感器可获得与经由显示器210的一部分接收的触摸输入相对应的生物特征信息(例如，指纹图像)。作为另一示例，当嵌入在显示装置160中的传感器模块176包括压力传感器时，压力传感器可以获得与经由显示器210的部分或全部区域接收的触摸输入相对应的压力信息。根据实施例，触摸传感器251或传感器模块176可以布置在显示器210的像素层中的像素之间，或者布置在像素层的上方或下方。
图3是示出根据各种实施例的相机模块180的框图300。参照图3，相机模块180可以包括镜头组件310、闪光灯320、图像传感器330、图像稳定器340、存储器350(例如，缓冲存储器)或图像信号处理器360。透镜组件310可以收集从要拍摄其图像的物体发射或反射的光。透镜组件310可以包括一个或更多个透镜。根据实施例，相机模块180可以包括多个镜头组件310。在这种情况下，相机模块180可以形成例如双相机、360度相机或球形相机。多个透镜组件310中的一些可以具有相同的透镜属性(例如，视场、焦距、自动聚焦、f数或光学变焦)，或者至少一个透镜组件可以具有与另一个透镜组件不同的一个或更多个透镜属性。透镜组件310可包括例如广角透镜或远摄透镜。
闪光灯320可发射用于增强从物体反射的光的光。根据实施例，闪光灯320可包括一个或更多个发光二极管(LED)(例如，红绿蓝(RGB)LED、白光LED、红外(IR)LED或紫外(UV)LED)或氙灯。图像传感器330可以通过将从物体发射或反射并经由透镜组件310透射的光转换为电信号来获得与物体相对应的图像。根据实施例，图像传感器330可以包括从具有不同属性的图像传感器中选择的一个，例如RGB传感器、黑白(BW)传感器、IR传感器或UV传感器、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。包括在图像传感器330中的每个图像传感器可以使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现。
图像稳定器340响应于相机模块180或包括相机模块180的电子装置101的移动，可以沿特定方向移动图像传感器330或包括在透镜组件310中的至少一个透镜，或者控制图像传感器330的操作属性(例如，调整读出定时)。这允许通过移动正被捕获的图像来补偿至少一部分负面影响(例如，图像模糊)。根据实施例，图像稳定器340可以使用布置在相机模块180内部或外部的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块180或电子装置101的这种移动。在实施例中，图像稳定器340可以被实现为例如光学图像稳定器。
存储器350可以至少临时地存储经由图像传感器330获得的图像的至少一部分，以用于随后的图像处理任务。例如，如果由于快门滞后而延迟了图像捕获或者快速捕获了多个图像，则可以将所获得的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器350中，并且可以经由显示装置160预览其相应的副本图像(例如，低分辨率图像)。此后，如果满足指定的条件(例如，通过用户的输入或系统命令)，则存储在存储器350中的原始图像的至少一部分可以例如通过图像信号处理器360获得和处理。根据实施例，存储器350可以被配置为存储器130的至少一部分，或者被配置为独立于存储器130操作的单独的存储器。
图像信号处理器360可以对经由图像传感器330获得的图像或存储在存储器350中的图像执行一个或更多个图像处理。一个或更多个图像处理可包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，噪声降低、分辨率调整、亮度调整、模糊、锐化或软化)。另外地或可选地，图像信号处理器360可以对包括在相机模块180中的组件中的至少一个(例如，图像传感器330)执行控制(例如，曝光时间控制或读出定时控制)。由图像信号处理器360处理的图像可以存储回存储器350中以供进一步处理，或者可以提供给相机模块180外部的外部组件(例如，存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据实施例，图像信号处理器360可以被配置为处理器120的至少一部分，或者被配置为独立于处理器120操作的单独的处理器。如果图像信号处理器360被配置为与处理器120分离的处理器，则由图像信号处理器360处理的至少一个图像可以由处理器120经由显示装置160原样显示或在被进一步处理之后显示。
根据实施例，电子装置101可以包括具有不同属性或功能的多个相机模块180。在这种情况下，多个相机模块180中的至少一个可以形成例如广角相机，多个相机模块180中的至少另一个可以形成远摄相机。类似地，多个相机模块180中的至少一个可以形成例如前置相机，并且多个相机模块180中的至少另一个可以形成后置相机。
图4a、图4b、图4c和图4d是示出根据各种实施例的电子装置101的显示器210和模块410的示例的示图。
在示例实施例中，显示器210可以布置在电子装置101的前表面上。显示器210的前表面可以沿Z轴方向布置。除了连接到电子装置101的背板的侧表面边缘部分之外，显示器210可以是布置在电子装置101的整个前表面区域上的全显示器210。
在示例实施例中，显示器210可以显示画面。当电子装置101执行诸如应用的程序时，显示器210可以显示该程序的执行画面。显示电子装置101的前表面区域的画面的区域可以称为显示区域。
在示例实施例中，模块410可以包括在显示器210中。模块410可以是，例如但不限于，相机模块180和/或传感器模块176。模块410可以布置在显示区域中。因此，可以实现包括被布置在与全显示器210的至少一部分重叠的位置处的模块410的电子装置101。
在示例实施例中，模块410可以布置在显示器210的边缘。例如，如图4a所示，模块410可以相对于由X轴和Y轴限定的X-Y平面布置在显示器210的左上部分。在另一示例中，如图4b所示，模块410可以布置在显示器210的上部中心部分。在另一示例中，如图4c所示，模块410可以布置在显示器210的右上部分。在又一示例中，如图4d所示，模块410可以布置为使其至少一部分与非显示区域或边框接触，非显示区域是除了显示器210的显示区域以外的区域。
在图4a、图4b、图4c和图4d中，显示器210上的模块410的形状被示为圆形。然而，模块410的形状不限于圆形。模块410可以具有诸如椭圆形或多边形的形状。此外，图4a、图4b、图4c和图4d示出了一个模块410布置在显示器210上的示例。但是，模块410的数量不受限制，并且至少一个模块410可以布置在显示器210上。在示例实施例中，显示器210可以包括第一区域A1。第一区域A1可以是在显示器210上显示画面的显示区域中的模块410周围的部分。第一区域A1可以是相对于X-Y平面与模块410相邻的区域。除了其中模块410被布置为与相机模块180重叠的区域之外，第一区域A1中的其他区域可以显示画面中包括的图像。在第一区域A1处显示的图像可以独立于布置有模块410的位置。除了由模块410本身剪切图像之外，显示器210可以在整个显示区域中均匀地显示包括第一区域A1的图像的画面。
在示例实施例中，电子装置101可以对显示器210的第一区域A1的要穿透的一部分进行打孔，从而实现打孔显示器210。电子装置101可以应用打孔显示器210来将模块410布置在第一区域A1中。因此，电子装置101可以将模块410布置在第一区域A1中而不是在凹口中，从而从显示器210的前表面边缘排除凹口。
图5a、图5b和图5c是根据实施例的电子装置101的第一区域A1的截面图。电子装置101可以在第一区域A1中包括模块410、盖板510、显示器210和窗口520。
在示例实施例中，模块410可以相对于Z轴方向布置为与电子装置的下部相邻。例如，如图5a所示，模块410可以布置在盖板510、显示器210和窗口520的下方。在另一示例中，如图5b所示，模块410可以穿透显示器210。在该示例中，显示器210可以在其中容纳模块410的至少一部分。模块410可以布置在第一区域A1的第一部分P1中。第一部分P1可以是其中未布置盖板510和显示器210并且仅布置窗口520的部分。如上所述，模块410可以是相机模块180。相机模块180可以通过第一部分P1拍摄外部。相机模块180可以在例如由多个路径L1和L2限定的视场内拍摄外部区域。
在示例实施例中，盖板510可以相对于Z轴方向布置在模块410上方。盖板510可以设置在显示器210的下方。
在示例实施例中，盖板可以包括例如但不限于黑色层、支撑层、散热层等中的至少一个。
在示例实施例中，黑色层可以阻挡通过显示器210接收的光中的至少一个，例如，从显示器210产生的光或从外部入射的光。在示例中，黑色层可以形成为具有不平坦的表面。
在示例实施例中，支撑层可以减轻来自外部的压力。例如，支撑层可以由弹性构件(例如，海绵)形成。盖板510可以保护显示器210。盖板510可以包括例如盖511和/或保护膜513中的至少一个。
在示例实施例中，盖511和/或保护膜513可以相对于Z轴方向顺序地堆叠。盖511可以保护显示器210免受从电子装置101的下部施加的冲击。保护膜513可以设置在盖511上以吸收由盖511承受的冲击。
在示例实施例中，散热层可以将在显示面板中产生的热量散发到外部。例如，散热层可以包括铜(Cu)或石墨中的至少一种。
在示例实施例中，显示器210可以相对于Z轴方向布置在盖板510上。显示器210可以在向上方向上显示画面。显示器210可以包括例如但不限于聚酰亚胺(PI)层211、封装层213、触摸传感器251、偏振(POL)层215、粘合层217和不透明构件219。
在示例实施例中，聚酰亚胺层211可以布置在保护膜513上。聚酰亚胺层211可以具有柔性。显示器210可以使用聚酰亚胺层211来实现为柔性面板。用于在向上方向上显示画面的多个像素可以布置在聚酰亚胺层211的上部。
在示例实施例中，封装层213可以布置在聚酰亚胺层211上。封装层213可以覆盖多个像素。封装层213可以保护多个像素免受诸如湿气或氧气的异物的影响。封装层213可以通过例如薄膜封装(TFE)来实现。
在示例实施例中，触摸传感器251可以布置在封装层213上。触摸传感器251可以检测用户的触摸输入。触摸传感器251可以例如是触摸屏面板传感器(TSP传感器)。
在示例实施例中，偏振层215可以布置在触摸传感器251上。偏振层215可以使从像素发射并指向上方的光偏振以显示画面。偏振层215可以减少从外部向显示器210入射的光的反射。
在示例实施例中，粘合层217可以布置在偏振层215上。粘合层217可以将偏振层215和不透明构件219彼此附接。粘合层217可以将偏振层215和窗口520彼此附接。粘合层217可以由例如光学透明粘合剂(OCA)构成。
在示例实施例中，不透明构件219可以布置在粘合层217上。例如，不透明构件219可以布置在显示器210的至少一部分上。然而，不透明构件219不限于此，并且当驱动显示器210的布线或触摸屏面板布线是诸如金属网的非透明金属布线时，可以将布线用作不透明构件219而无需布置不透明构件219。例如，不透明构件219可以覆盖在布置有显示器210的第二部分P2至第五部分P5中的第二部分P2和第三部分P3。第二部分P2和第三部分P3可以是例如没有布置像素的部分。例如，第二部分P2和第三部分P3可以是布置有用于驱动显示器210的布线的部分。第四部分P4和第五部分P5可以是布置有多个像素的部分。例如，不透明构件219可以是黑矩阵(BM)。
在示例实施例中，窗口520可以布置在显示器210上。窗口520可以一体地形成在第一区域A1中。窗口520可以由透明材料构成以透射光。窗口520可以保护显示器210的前表面。
在示例实施例中，如图5a和图5b所示，电子装置101可以应用打孔显示器210，该打孔显示器210是如下显示器210：其至少一部分被穿透以将模块410布置在第一部分P1上，而不是布置在布置有不透明组件219的第二部分P2和第三部分P3上。电子装置101可以减小布置在其前表面上的不透明构件219的面积，并且增大在显示器210上显示画面的第四部分P4和第五部分P5的面积。
在示例实施例中，如图5c所示，电子装置101可以应用打孔显示器210，该打孔显示器210是如下显示器210：其至少一部分被穿透以布置模块410(模块410不仅与第一部分P1重叠而且还与第二部分P2和第三部分P3重叠)并且在第一部分P1上布置模块410的透镜411。电子装置101可以将透镜411布置为不被布置在其前表面上的不透明构件219覆盖，并且可以将模块410本身布置为直到第二部分P2和第三部分P3，以同时增加设计的自由度。
在示例实施例中，与图4a、图4b、图4c和图4d以及图5a、图5b和图5c相关联地示出了模块410包括在显示器210中的情况。显示器210可以包括模块410，模块410是布置在电子装置101的前表面上的硬件或物理组件。例如，模块410可以是相机模块180或传感器模块176。
在示例性实施例中，当观看显示器210的画面时，可以一起观看作为位于电子装置101的前表面上的组件的模块410。例如，相机模块180或传感器模块176可以与画面一起观看。在下文中，将以示例的方式描述模块410是相机模块180的示例，但本公开不限于此。在包括相机模块180的第一区域A1中，电子装置101可以补偿相机模块180周围的图像，使得相机模块180可以基于情况与周围的图像匹配。
图6是示出根据实施例的用于补偿电子装置101的相机模块180周围的图像的示例方法的流程图600。
在操作610中，根据实施例的电子装置101可以执行图像相关程序。例如，图像相关程序可以是在显示器210上显示包括多个图像的画面的程序或应用。例如，图像相关程序可以是应用，例如但不限于相册、视频、社交网络服务(SNS)、网页、相机或YouTubeTM。电子装置101的处理器120可以响应于用户选择被设置为执行图像相关程序的图标的输入来执行图像相关程序。
在操作620中，根据实施例的电子装置101可以提取相机模块180周围的第一区域A1的像素值作为第一值。例如，像素值可以是与在第一区域A1中布置的像素的输出相对应的值。像素值可以是与在显示器210的第一区域A1中显示的图像的特性相关的值。例如，像素值可以是，例如但不限于，在第一区域A1中显示的图像的亮度值、在第一区域A1中显示的图像的饱和度值、在第一区域A1中显示的图像的颜色值等。电子装置101可以分析布置在第一区域A1中的多个像素。电子装置101可以提取第一区域A1的像素值作为第一值，并将第一值临时存储在存储器130中。操作620可由处理器120或DDI 230执行。
根据实施例，在操作630中，电子装置101可以确定是否检测到图像的改变。图像的改变可以例如指在第一区域A1中显示的图像的改变。电子装置101可以检测在第一区域A1中显示的图像的改变。操作630可由处理器120或DDI 230执行。
在示例实施例中，图像的改变可能由于用户在显示器210上显示的画面的改变而发生。例如，用户可以通过执行放大画面的一些区域或显示器210上显示的一些图像的放大功能来生成图像的改变。在另一示例中，用户可以通过执行缩小画面的一些区域或显示器210上显示的一些图像的缩小功能来生成图像的改变。当显示器210上显示的画面由于用户输入而改变时，电子装置101的处理器120可以确定在第一区域A1上显示的图像已经改变。
在示例实施例中，图像的改变可能是由图像相关程序在第一区域A1中显示的图像的像素值的改变引起的。例如，当在视频应用中显示在显示器210上的画面是背景从暗背景变为亮背景的视频时，在背景中显示的图像的像素值可以改变。因此，可能发生在第一区域A1中显示的图像的变化。当在第一区域A1中显示的图像的像素值通过图像相关程序改变时，电子装置101的处理器120可以确定在第一区域A1中显示的图像已经改变。
在示例实施例中，当检测到图像的改变时，处理器120可以进行操作640。当未检测到图像的改变时，处理器120可以在显示器210上显示第一区域A1的图像未被补偿的画面。
当检测到图像的改变时，在操作640中，根据示例实施例的电子装置101可以提取图像改变之后的第一区域A1的像素值作为第二值。第二值可以是与图像改变之后在显示器210的第一区域A1中显示的图像的特性相关的值。例如，像素值可以是图像改变之后在第一区域A1中显示的图像的亮度值、饱和度值或颜色值。电子装置101可以分析在图像改变之后布置在第一区域A1中的多个像素。操作640可由处理器120或DDI 230执行。
在操作650中，根据示例实施例的电子装置101可以确定第一值和第二值之间的差值是否大于或等于阈值。例如，阈值可以是可以观看到图像的改变的像素值。阈值可以被设置为在图像改变之后相机模块180干扰观看画面的像素值。电子装置101可以比较在图像改变之前临时存储在存储器130中的第一值和在图像改变之后的第二值。例如，电子装置101可以确定缩放图像前后第一区域A1的亮度或饱和度值之间的差值是否大于或等于预定阈值。操作650可由处理器120或DDI 230执行。
在示例性实施例中，当第一值和第二值之间的差值大于或等于阈值时，电子装置101可以进行操作670。当第一值和第二值之间的差值小于阈值时，电子装置101可以进行操作660。
在操作660中，根据示例实施例的电子装置101可以确定作为相机模块180的像素值的第二值和第三值之间的差值是否大于或等于阈值。相机模块180的像素值可以是多个像素的值，以便在相机模块180被显示在显示器210的画面上时，表示与相机模块180相对应的图像。例如，第三值可以是与相机模块180’相对应的图像的亮度值、饱和度值或颜色值。操作660可由处理器120或DDI 230执行。
在示例实施例中，即使当基于图像的改变的第一值和第二值之间的差值小于阈值时，当图像改变之后的第二值与作为表示相机模块180本身的像素值的第三值之间的差异大于或等于阈值时，电子装置101可以进行操作670。当第二值和第三值之间的差值小于阈值时，电子装置101可以在显示器210上显示第一区域A1的图像未被补偿的画面。
在操作670中，根据示例实施例的电子装置101可以补偿第一区域A1图像。例如，电子装置101可以补偿第一区域A1图像的亮度值、饱和度值或颜色值。电子装置101可以补偿周围图像，使得相机模块180基于情况与周围图像匹配。例如，电子装置101可以补偿周围图像，使得相机模块180较不可见。操作670可以由处理器120或DDI 230执行。
在示例性实施例中，电子装置101可以补偿用于显示画面的数据中的显示第一区域A1的图像的数据。电子装置101可以控制DDI 230在第一区域A1中显示补偿图像。
图7是示出根据实施例的电子装置101的显示画面的显示器210和相机模块180的示图。
在示例实施例中，可以应用用于在电子装置101的整个前表面上显示画面的全显示器210。相机模块180可以布置在与显示器210的至少一部分重叠的位置上。布置相机模块180的第一区域A1可以显示显示器210的画面。无论相机模块180如何，显示器210都可以显示画面。
在示例实施例中，需要一种方法来减少发生在位于前表面上的相机模块180和在第一区域A1中显示的图像之间的异质性，同时通过在相机模块180周围直到第一区域A1显示图像来基本上充分利用显示器210。
图8是示出显示根据实施例的电子装置101的缩放画面的显示器210和相机模块180的示图。
在示例实施例中，当观看视频时，位于显示器210的前表面上的硬件，例如相机模块180，可以是阻碍性元件。例如，用户可以通过放大来执行图像放大操作。布置在相机周围的第一区域A1中的相机模块180可以被识别为对象表面的点，或者可以作为干扰图像观看的因素。在该示例中，用户可能不方便通过附加动作将放大图像移动到另一区域。
在示例实施例中，当在识别第一区域A1中的图像时减小相机模块180的干扰度时，显示器210的画面上的浓度(concentration)水平可以增加。为此，可以补偿包括第一区域A1的图像的画面。
图9是示出在根据实施例的在电子装置101的缩放画面中补偿第一区域A1的显示器210和相机模块180的示图。
在示例实施例中，晕影效果可以应用于包括电子装置101的缩放画面上的第一区域A1的相机模块180周围的图像。例如，晕影效果可以指例如从画面的中心部分到画面的边缘部分，以圆形或椭圆形波浪状地平滑地扩散的效果。电子装置101可以被配置为在画面上以缩放状态显示对象，并且在包括第一区域A1的边缘区域上应用晕影效果。晕影效果的应用可由处理器120或DDI 230执行。
在示例实施例中，电子装置101可以将显示器210的边缘区域的包括第一区域A1的一部分的亮度值、饱和度值或颜色值指定为修改值。可以基于相机模块180的亮度值、饱和度值或颜色值中的至少一些来设置修改值。例如，当相机模块180为黑色时，电子装置101可以补偿显示器210的边缘区域的包括第一区域A1的一部分，使其具有低亮度、低饱和度或诸如黑色或深灰色之类的深色。在这种情况下，相机模块180可以因晕影效果而较不可见。
图10是示出在根据另一实施例的在电子装置的缩放画面中补偿第一区域A1的显示器210和相机模块180的示图。
在示例实施例中，在电子装置101的缩放画面上显示图像的区域可以由第一边界E1限制。例如，当图像被放大时，可以从第一边界E1沿Y轴方向限制显示图像的区域。可以仅在显示器210中的布置有相机模块180的位置下方显示图像。可以由处理器120或DDI 230执行相对于第一边界E1限制显示图像的区域的操作。
在示例实施例中，布置有显示器210的区域可以在第一边界E1上延伸，以尽可能广泛地利用显示器210。为了在图像上聚焦，可以隐藏诸如相机模块180的前表面上的硬件元件。例如，当像素值的颜色差等于或大于阈值时，相机模块180周围的包括第一区域A1的部分可以被人为覆盖。
在示例实施例中，用户可能更喜欢在其他组件不可见的缩放画面上观看图像，而不是画面本身很大的图像上观看图像。电子装置101的处理器120可以被配置为基于用户的设置将在显示器210上显示图像的显示区域限制在第一边界E1下方。
图11是示出在根据另一实施例的电子装置101的缩放画面中补偿第一区域A1的显示器210和相机模块180的示图。
在示例实施例中，可以在电子装置101的缩放画面中的包括第一区域A1的相机模块180周围的图像上应用模糊效果。模糊效果可指例如使图像上的边界不清楚、使图像逐渐改变或使图像模糊的效果。电子装置101可以将第一区域A1的亮度值、饱和度值或颜色值指定为修改值。例如，电子装置101可以将亮度值、饱和度值或颜色值设置为从相机模块180逐渐改变到第一区域A1的边缘来应用模糊效果。在该示例中，相机模块180可以由于模糊效果而较不可见。模糊效果的应用可以由处理器120或DDI 230执行。
如图9至图11所示的各种示例实施例中，当在显示器210上观看画面时，可以在电子装置101的缩放画面中补偿第一区域A1，以减小诸如相机模块180之类的组件的可见度。因此，可以通过降低诸如相机模块180之类的硬件组件覆盖图像或妨碍画面观看的程度来增加图像上的浓度水平。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能手机)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置、家用电器等。根据本公开的实施例，电子装置不限于上述装置。
应当理解，本公开的各种实施例以及其中使用的术语并不旨在将本文阐述的技术特征限制于特定实施例，而是包括对相应实施例的各种改变形式、等价形式或替换形式。关于附图的描述，可以使用类似的附图标记来表示类似的或相关的元件。应当理解，与项目相对应的名词的单数形式可以包括一个或更多个事物，除非相关上下文另有明确指示。如本文所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”和“A、B或C中的至少一个”等短语中的每一个可以包括在短语中相应一个中一起列举的项目的任何一个或所有可能的组合。如本文所使用的，诸如“第1”和“第2”或“第一”和“第二”之类的术语可用于简单地将相应组件与另一组件区分开来，而不在其他方面(例如，重要性或顺序)限制组件。应当理解，在使用术语“操作地”或“通信地”或不使用术语“操作地”或“通信地”的情况下，如果元件(例如，第一元件)被称为与另一元件(例如，第二元件)“耦合”或“连接”或元件(例如，第一元件)被称为“耦合”或“连接”到另一元件(例如，第二元件)，则该元件可以直接(例如，有线地)、无线地或经由第三元件与另一元件耦合。
如本文所用，术语“模块”可包括以硬件、软件或固件或其任何组合实现的单元，并可与其他术语互换使用，例如，“逻辑”、“逻辑块”、“组件”或“电路”。模块可以是单个集成组件，或者是最小单元或其一部分，适于执行一个或更多个功能。例如，根据实施例，该模块可以以专用集成电路(ASIC)的形式实现。
本文所述的各种实施例可以实现为软件(例如，程序140)，包括存储在机器(例如，电子装置101)可读的存储介质(例如，内部存储器136或外部存储器138)中的一个或更多个指令。例如，机器(例如，电子装置101)的处理器(例如，处理器120)可以调用存储在存储介质中的一条或多条指令中的至少一条，并在处理器的控制下使用或不使用一个或更多个其他组件来执行它。这允许操作机器根据调用的至少一条指令执行至少一项功能。一条或多条指令可包括由编译器生成的代码或可由解释器执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。其中，“非暂时性”存储介质是有形设备，并且不包括信号(例如，电磁波)，但是该术语不在数据半永久存储在存储介质中和数据临时存储在存储介质中进行区分。
根据实施例，可以在计算机程序产品中包括并提供根据本公开的各个实施例的方法。该计算机程序产品可以作为产品在卖方和买方之间进行交易。该计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者经由应用商店(例如，PlayStoreTM)在线分发(例如，下载或上传)，或直接在两个用户设备(例如智能手机)之间分发。如果是在线分发的，则计算机程序产品的至少一部分可以临时生成或至少临时存储在机器可读存储介质中，例如制造商服务器的存储器、应用程序商店的服务器或中继服务器。
根据各种实施例，上述组件的每个组件(例如，模块或程序)可以包括单个实体或多个实体。根据各种实施例，可以省略上述组件中的一个或更多个，或者可以添加一个或更多个其他组件。可选地或另外地，多个组件(例如，模块或程序)可以集成到单个组件中。在这种情况下，根据各种实施例，集成组件仍然可以与在集成之前由多个组件中的相应一个执行相同或类似的方式来执行多个组件中的每个组件的一个或更多个功能。根据各种实施例，由模块、程序或另一组件执行的操作可以顺序地、并行地、重复地或启发式地执行，或者一个或更多个操作可以不同顺序执行或省略，或者可以添加一个或更多个其他操作。

Claims (15)

1.一种电子装置，所述电子装置包括：
显示器，所述显示器包括像素的矩阵；
显示驱动电路，所述显示驱动电路被配置为接收视频信息以控制所述显示器；
模块，所述模块包括布置在所述显示器的第一区域中的相机或传感器中的至少一个，所述第一区域包括没有像素的第一部分和具有像素的第二部分，所述第一部分是所述矩阵的中断，所述第一部分中不存在像素并且与所述模块重叠，所述第二部分围绕所述第一部分；和
至少一个处理器，所述至少一个处理器可操作地与所述显示驱动电路和所述模块连接，
其中，所述至少一个处理器或所述显示驱动电路中的至少一个被配置为，基于在所述第一区域中显示的图像的改变或所述第一区域的像素值的改变来补偿所述第一区域中的图像，使得所述模块与所述第一区域中显示的图像匹配或使得所述模块更不可见。
2.根据权利要求1所述的电子装置，其中，所述第一区域的图像的改变包括由于用户输入引起的改变。
3.根据权利要求1所述的电子装置，其中，所述第一区域的图像的改变包括由于图像相关程序引起的在所述第一区域中显示的图像的像素值的改变。
4.根据权利要求1所述的电子装置，其中，所述第一区域的像素值包括在所述第一区域中显示的图像的亮度值、在所述第一区域中显示的图像的饱和度值或在所述第一区域中显示的图像的颜色值中的一个或更多个。
5.根据权利要求1所述的电子装置，其中，所述至少一个处理器被配置为控制所述电子装置以：
提取所述第一区域的像素值作为第一值；
确定是否检测到所述第一区域的图像的改变；以及
基于检测到所述第一区域的图像的改变，提取所述第一区域的像素值作为第二值。
6.根据权利要求5所述的电子装置，其中，所述至少一个处理器被配置为控制所述电子装置以确定所述第一值和所述第二值之间的差值是否大于或等于阈值。
7.根据权利要求6所述的电子装置，其中，所述至少一个处理器被配置为控制所述电子装置以确定所述第二值与第三值之间的差值是否大于或等于所述阈值，其中，所述第三值包括与所述模块相对应的像素值。
8.根据权利要求1所述的电子装置，其中，所述至少一个处理器被配置为利用在所述第一区域中显示的图像的改变和所述第一区域的像素值的改变两者来控制所述电子装置补偿所述第一区域中的图像。
9.一种用于补偿电子装置的相机模块周围的图像的方法，其中，所述相机模块被布置在显示器中，所述方法包括：
执行图像相关程序；
提取所述相机模块周围的第一区域中的多个像素的像素值作为第一值；
在提取所述第一值后，确定是否检测到所述第一区域中的图像的输出的改变；
基于检测到图像的改变，提取所述相机模块周围的所述第一区域中的所述多个像素的像素值作为第二值；
确定所述第一值和所述第二值之间的差值是否大于或等于阈值；以及
当所述第一值和所述第二值之间的差值大于或等于所述阈值时，在确定图像的输出的所述改变后，补偿所述第一区域的图像。
10.根据权利要求9所述的方法，所述方法还包括：
基于所述第一值和所述第二值之间的差值小于所述阈值，确定所述第二值和第三值之间的差值是否大于或等于阈值，所述第三值是与所述相机模块相对应的像素值，
其中，基于所述第二值和所述第三值之间的差值大于或等于所述阈值来补偿所述第一区域的图像。
11.根据权利要求9所述的方法，其中，所述确定是否检测到图像的改变包括：
根据由于用户输入引起的改变来识别所述第一区域的图像的改变。
12.根据权利要求11所述的方法，其中，所述图像的改变基于执行放大功能，所述放大功能用于放大在所述显示器上显示的一些图像，并且
其中，对图像进行补偿，使得与未执行补偿相比，所述相机模块的可见度更低。
13.根据权利要求9所述的方法，其中，所述确定是否检测到图像的改变包括：
识别由于所述图像相关程序引起的在所述第一区域中显示的图像的像素值的改变。
14.根据权利要求9所述的方法，其中，所述第一区域的像素值包括在所述第一区域中显示的图像的亮度值、在所述第一区域中显示的图像的饱和度值或在所述第一区域中显示的图像的颜色值中的一个或更多个。
15.根据权利要求13所述的方法，其中，所述阈值被设置为在图像改变之后所述相机模块对观看显示器产生干扰的像素值。
CN201980069547.8A 2018-11-22 2019-10-04 显示器中包括相机模块的电子装置以及用于补偿相机模块周围的图像的方法 Active CN112889266B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180145695A KR102561172B1 (ko) 2018-11-22 2018-11-22 디스플레이 내에 카메라 모듈이 포함된 전자 장치 및 상기 카메라 모듈 주변의 이미지를 보정하는 방법
KR10-2018-0145695 2018-11-22
PCT/KR2019/013002 WO2020105863A1 (en) 2018-11-22 2019-10-04 Electronic device including camera module in display and method for compensating for image around camera module

Publications (2)

Publication Number Publication Date
CN112889266A CN112889266A (zh) 2021-06-01
CN112889266B true CN112889266B (zh) 2023-03-31

Family

ID=70771052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980069547.8A Active CN112889266B (zh) 2018-11-22 2019-10-04 显示器中包括相机模块的电子装置以及用于补偿相机模块周围的图像的方法

Country Status (5)

Country Link
US (1) US11153520B2 (zh)
EP (1) EP3818690B1 (zh)
KR (1) KR102561172B1 (zh)
CN (1) CN112889266B (zh)
WO (1) WO2020105863A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109449194A (zh) * 2018-12-17 2019-03-08 武汉华星光电半导体显示技术有限公司 全屏显示面板
KR20210025957A (ko) * 2019-08-28 2021-03-10 엘지이노텍 주식회사 광학 기기
WO2021092887A1 (en) * 2019-11-15 2021-05-20 Qualcomm Incorporated Display shade compensation for cameras
JP7455596B2 (ja) * 2020-01-31 2024-03-26 キヤノン株式会社 画像表示装置
US11798456B2 (en) 2020-09-29 2023-10-24 Chengdu Boe Optoelectronics Technology Co., Ltd. Display panel, method for driving pixel circuit of display panel, and display device
CN114584641B (zh) * 2020-12-02 2024-09-13 南京中兴新软件有限责任公司 显示调整方法、装置、电子设备及存储介质
KR20220097818A (ko) * 2020-12-31 2022-07-08 삼성전자주식회사 언더 디스플레이 카메라
KR20220109760A (ko) 2021-01-29 2022-08-05 삼성전자주식회사 플렉서블 디스플레이를 포함하는 전자 장치 및 그를 제어하는 방법
KR20220141663A (ko) * 2021-04-13 2022-10-20 삼성전자주식회사 영상을 처리하는 방법 및 이를 수행하는 전자 장치
WO2023008854A1 (ko) 2021-07-29 2023-02-02 삼성전자 주식회사 디스플레이 내장형 광학 센서를 포함하는 전자 장치
KR20230023471A (ko) * 2021-08-10 2023-02-17 삼성전자주식회사 전자 장치 및 이의 동작 방법
US11706532B2 (en) 2021-08-18 2023-07-18 Samsung Electronics Co., Ltd. Method for providing image and electronic device supporting the same
WO2023022331A1 (ko) * 2021-08-18 2023-02-23 삼성전자 주식회사 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
KR20230028953A (ko) * 2021-08-23 2023-03-03 삼성전자주식회사 이미지를 제공하는 방법 및 이를 지원하는 전자 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2448243A2 (en) * 2010-10-29 2012-05-02 Apple Inc. Camera lens structures and display structures for electronic devices
EP2695033A1 (en) * 2011-04-07 2014-02-12 Apple Inc. Devices and methods for providing access to internal component
CN106921767A (zh) * 2017-03-07 2017-07-04 捷开通讯(深圳)有限公司 一种高屏占比的移动终端
KR20170113066A (ko) * 2016-03-24 2017-10-12 삼성전자주식회사 디스플레이를 가진 전자 장치 및 그의 이미지 표시 방법
CN108600465A (zh) * 2018-06-30 2018-09-28 上海爱优威软件开发有限公司 一种具有屏下摄像头的终端设备
CN108650343A (zh) * 2018-04-11 2018-10-12 深圳市海派通讯科技有限公司 一种智能终端前摄像头隐藏的结构及隐藏方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070013802A1 (en) * 2005-06-13 2007-01-18 Hsiang-Yuan Yang Chen Display Panel Structure with Camera Function
US20060279652A1 (en) * 2005-06-13 2006-12-14 Shou-An Yang Display panel with camera function
US20070002130A1 (en) * 2005-06-21 2007-01-04 David Hartkop Method and apparatus for maintaining eye contact during person-to-person video telecommunication
KR20080101165A (ko) 2007-05-16 2008-11-21 엘지디스플레이 주식회사 멀티 디스플레이 장치
US20090009628A1 (en) * 2007-07-06 2009-01-08 Michael Janicek Capturing an image with a camera integrated in an electronic display
US20140118591A1 (en) * 2012-10-28 2014-05-01 Chad L. Maglaque Dynamic Coded Aperture Camera
US10360431B2 (en) 2015-03-25 2019-07-23 Apple Inc. Electronic device including pin hole array mask above optical image sensor and related methods
US9736383B2 (en) * 2015-10-30 2017-08-15 Essential Products, Inc. Apparatus and method to maximize the display area of a mobile device
EP4246503A3 (en) * 2016-03-24 2023-11-01 Samsung Electronics Co., Ltd. Electronic device having display
KR20170111827A (ko) * 2016-03-29 2017-10-12 삼성전자주식회사 디스플레이 및 카메라를 포함하는 전자 장치
KR101927438B1 (ko) 2016-07-14 2018-12-10 삼성전자주식회사 홀 영역을 가지는 전자 장치 및 전자 장치의 홀 영역 제어방법
KR102586792B1 (ko) * 2016-08-23 2023-10-12 삼성디스플레이 주식회사 표시장치 및 그의 구동방법
KR102587736B1 (ko) 2016-09-02 2023-10-12 삼성전자주식회사 카메라 모듈, 카메라 모듈이 적용된 전자 장치 및 이의 운용 방법
CN107637068B (zh) * 2016-11-30 2019-10-25 Oppo广东移动通信有限公司 图像坏点补偿方法、装置和电子设备
KR102681849B1 (ko) * 2016-12-23 2024-07-04 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102664014B1 (ko) 2016-12-23 2024-05-09 삼성전자주식회사 이미지를 촬영하는 센서 및 그 제어 방법
CN110326293A (zh) * 2017-03-22 2019-10-11 金泰克斯公司 并入图像传感器的显示组件
CN107145192B (zh) 2017-04-27 2021-01-15 Oppo广东移动通信有限公司 电子装置
KR102350395B1 (ko) 2017-05-15 2022-01-14 엘지디스플레이 주식회사 평판 표시 패널 및 그의 제조 방법
CN108494909B (zh) * 2018-03-09 2020-03-20 Oppo广东移动通信有限公司 电子装置和制造方法
US10320962B1 (en) * 2018-04-20 2019-06-11 Zte Corporation Dual screen smartphone and portable devices with a full display screen

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2448243A2 (en) * 2010-10-29 2012-05-02 Apple Inc. Camera lens structures and display structures for electronic devices
EP2695033A1 (en) * 2011-04-07 2014-02-12 Apple Inc. Devices and methods for providing access to internal component
KR20170113066A (ko) * 2016-03-24 2017-10-12 삼성전자주식회사 디스플레이를 가진 전자 장치 및 그의 이미지 표시 방법
CN106921767A (zh) * 2017-03-07 2017-07-04 捷开通讯(深圳)有限公司 一种高屏占比的移动终端
CN108650343A (zh) * 2018-04-11 2018-10-12 深圳市海派通讯科技有限公司 一种智能终端前摄像头隐藏的结构及隐藏方法
CN108600465A (zh) * 2018-06-30 2018-09-28 上海爱优威软件开发有限公司 一种具有屏下摄像头的终端设备

Also Published As

Publication number Publication date
EP3818690A4 (en) 2021-08-18
KR20200060118A (ko) 2020-05-29
CN112889266A (zh) 2021-06-01
US11153520B2 (en) 2021-10-19
US20200169680A1 (en) 2020-05-28
EP3818690A1 (en) 2021-05-12
KR102561172B1 (ko) 2023-07-31
EP3818690B1 (en) 2023-11-29
WO2020105863A1 (en) 2020-05-28

Similar Documents

Publication Publication Date Title
CN112889266B (zh) 显示器中包括相机模块的电子装置以及用于补偿相机模块周围的图像的方法
EP3628121B1 (en) Electronic device for storing depth information in connection with image depending on properties of depth information obtained using image and control method thereof
KR20190032061A (ko) 이미지 보정을 수행하는 전자 장치 및 그 동작 방법
CN113366527B (zh) 用于处理图像的电子装置和方法
KR102423295B1 (ko) 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법
EP3718296B1 (en) Electronic device and method for controlling autofocus of camera
CN113711268A (zh) 一种将散景效果应用于图像的电子装置及其控制方法
US11812123B2 (en) Electronic device including plurality of cameras disposed under display panel and having different patterns disposed on lenses of plurality of cameras
US12003867B2 (en) Electronic device and method for displaying image in electronic device
US20190028629A1 (en) Electronic device for controlling focus of lens and method for controlling the same
CN113228616A (zh) 具有多单元结构的相机模块和包括其的便携式通信装置
US11626447B2 (en) Electronic device comprising image sensor for identifying an operation setting and an external environmental condition and method of operation thereof
CN116530090A (zh) 使用多个相机拍摄照片的方法及其装置
US20220321748A1 (en) Electronic device including camera module
CN114731372B (zh) 用于校正相机切换时的图像的电子装置及方法
CN113727013A (zh) 提供图像拍摄指南的方法或者装置
US11917295B2 (en) Method for correcting shaking at high magnification and electronic device therefor
KR20200092762A (ko) 전자 장치 및 이를 이용한 카메라의 가림을 인식하는 방법
KR102725243B1 (ko) 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법
KR20210137799A (ko) 이미지 처리 방법 및 그 전자 장치
CN115552399A (zh) 生物认证系统及其电子装置
KR20200118600A (ko) 이미지 프로세싱을 수행하는 전자 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant