CN117813834A - 用于提供图像的方法和支持该方法的电子设备 - Google Patents

用于提供图像的方法和支持该方法的电子设备 Download PDF

Info

Publication number
CN117813834A
CN117813834A CN202280054652.6A CN202280054652A CN117813834A CN 117813834 A CN117813834 A CN 117813834A CN 202280054652 A CN202280054652 A CN 202280054652A CN 117813834 A CN117813834 A CN 117813834A
Authority
CN
China
Prior art keywords
camera
adjustment value
image
display
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280054652.6A
Other languages
English (en)
Inventor
金范植
朴宰亨
李在明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN117813834A publication Critical patent/CN117813834A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种电子设备，该电子设备包括：显示器；相机，使用通过穿过所述显示器而引入的光来获得图像；以及至少一个处理器，电连接到所述显示器和所述相机，其中，所述至少一个处理器可以被配置为：通过所述相机获得所述图像；获得与所述显示器对应并用于校正所述图像的第一调整值；获得与所述相机对应并用于校正所述图像的第二调整值；以及基于所述第一调整值和所述第二调整值来校正所述图像。

Description

用于提供图像的方法和支持该方法的电子设备
技术领域
本公开总体上涉及一种用于提供图像的方法和一种支持该方法的电子设备。
背景技术
对于能够在紧凑的同时提供更宽的屏幕和改善的美学外观的电子设备的用户需求不断增加。为了满足这种用户需求，已经开发了具有形成在壳体的一部分(或显示器的一部分)上的凹口、U型孔、V型孔或O型孔并且包括通过形成的凹口或孔暴露于外部的相机模块的电子设备。
最近，屏下相机(UDC)技术已经应用于电子设备，以便实现全屏，使得相机被布置在显示器下方。
发明内容
技术问题
使用UDC技术实现的电子设备具有包括在显示器中的不透明元件(例如，由聚酰亚胺制成的基板)，并且通过显示器引入相机的光的透射率可能低于通过孔(例如，U型孔、V型孔或O型孔)引入相机的光的透射率。
另外，在使用UDC技术实现的电子设备的情况下，通过相机获取的图像的颜色和/或亮度可以根据显示器和/或相机而变化。例如，在使用UDC技术实现的电子设备的情况下，通过相机获取的图像的颜色和/或亮度可以根据显示器的特性(例如，由显示器的组件产生的每个波长中的光的光学透射率)和相机的特性(例如，图像传感器的每个波长中的光的光学透射率)而变化。
本公开的各种实施例涉及一种用于提供图像的方法和支持该方法的电子设备，其中，在制造(例如，组装)电子设备之前存储分别关于将被包括在使用UDC技术实现的电子设备中的显示器和相机的用于校准的值，并且在制造电子设备之后基于用于校准的值来校正通过相机获取的图像，从而使得在制造电子设备之后(或者当更换显示器和/或相机时)不必执行关于显示器和相机的单独校准。
技术解决方案
根据实施例的一种电子设备包括显示器、被配置为使用通过显示器引入的光来获取图像的相机、以及被配置为电连接到显示器和相机的至少一个处理器，其中，至少一个处理器被配置为；通过相机获取图像；获取用于校正图像的第一调整值，第一调整值对应于显示器；获取用于校正图像的第二调整值，第二调整值对应于相机并用于校正图像；并且基于第一调整值和第二调整值来校正图像。
根据实施例的一种在电子设备中提供图像的方法包括：通过使用通过电子设备的显示器引入的光获取图像的相机来获取图像；获取用于校正图像的第一调整值，第一调整值对应于显示器；获取用于校正图像的第二调整值，第二调整值对应于相机；以及基于第一调整值和第二调整值来校正图像。
有益效果
根据本公开的各种实施例的用于提供图像的方法和支持该方法的电子设备在以下方面是有利的：在制造(例如，组装)电子设备之前存储分别关于将被包括在使用UDC技术实现的电子设备中的显示器和相机的用于校准的值，并且在制造电子设备之后基于用于校准的值来校正通过相机获取的图像，从而使得在制造电子设备之后(或者当替换显示器和/或相机时)不必执行关于显示器和相机的单独校准。
附图说明
根据以下结合附图的描述，本公开的某些实施例的上述和其他方面、特征和优点将更加明显。
图1是示出根据实施例的网络环境中的电子设备的框图。
图2是示出根据实施例的相机模块的框图。
图3是示出根据实施例的电子设备的框图。
图4示出示出根据实施例的显示器中每个波长的光的透射率的曲线图。
图5a至图5c示出根据实施例的获取关于显示器的用于图像校正的信息和用于相机设置的信息的方法。
图6示出根据实施例的获取关于相机的用于图像校正的信息和用于相机设置的信息的方法。
图7是示出根据实施例的校正图像的方法的流程图。
图8是示出根据实施例的设置相机设置的方法的流程图。
具体实施方式
图1是示出根据实施例的网络环境100中的电子设备101的框图。
参照图1，网络环境100中的电子设备101可经由第一网络198(例如，短距离无线通信网络)与电子设备102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子设备104或服务器108中的至少一个进行通信。根据实施例，电子设备101可经由服务器108与电子设备104进行通信。根据实施例，电子设备101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子设备101中省略上述部件中的至少一个(例如，连接端178)，或者可将一个或更多个其他部件添加到电子设备101中。在一些实施例中，可将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个集成部件(例如，显示模块160)。
处理器120可运行例如软件(例如，程序140)来控制电子设备101的与处理器120连接的至少一个其他部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子设备101包括主处理器121和辅助处理器123时，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可例如控制与电子设备101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子设备101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如，可通过人工智能模型被执行之处的电子设备101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可包括除了硬件结构以外的软件结构。
存储器130可存储由电子设备101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可从电子设备101的外部(例如，用户)接收将由电子设备101的其他部件(例如，处理器120)使用的命令或数据。输入模块150可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可将声音信号输出到电子设备101的外部。声音输出模块155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可向电子设备101的外部(例如，用户)视觉地提供信息。显示模块160可包括例如显示器、全息设备或投影仪以及用于控制显示器、全息设备和投影仪中的相应一个的控制电路。根据实施例，显示模块160可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入模块150获得声音，或者经由声音输出模块155或与电子设备101直接连接或无线连接的外部电子设备(例如，电子设备102)(例如扬声器或耳机)输出声音。
传感器模块176可检测电子设备101的操作状态(例如，功率或温度)或电子设备101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子设备101与外部电子设备(例如，电子设备102)直接或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子设备101可经由所述连接器与外部电子设备(例如，电子设备102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子设备101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子设备101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子设备101与外部电子设备(例如，电子设备102、电子设备104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子设备进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子设备101。
无线通信模块192可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可支持在电子设备101、外部电子设备(例如，电子设备104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可将信号或电力发送到电子设备101的外部(例如，外部电子设备)或者从电子设备101的外部(例如，外部电子设备)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线(例如，阵列天线)。在这种情况下，可由例如通信模块190从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子设备之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
根据各种实施例，天线模块197可形成毫米波天线模块。根据实施例，毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子设备101和外部电子设备104之间发送或接收命令或数据。外部电子设备102或外部电子设备104中的每一个可以是与电子设备101相同类型的设备，或者是与电子设备101不同类型的设备。根据实施例，将在电子设备101运行的全部操作或一些操作可在外部电子设备102、外部电子设备104或服务器108中的一个或更多个运行。例如，如果电子设备101应该自动执行功能或服务或者应该响应于来自用户或另一设备的请求执行功能或服务，则电子设备101可请求所述一个或更多个外部电子设备执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子设备101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子设备执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子设备可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子设备101。电子设备101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子设备101可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子设备104可包括物联网(IoT)设备。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子设备104或服务器108可被包括在第二网络199中。电子设备101可应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
根据各种实施例的电子设备可以是各种类型的电子设备之一。电子设备可包括例如便携式通信设备(例如，智能电话)、计算机设备、便携式多媒体设备、便携式医疗设备、相机、可穿戴设备或家用电器。根据本公开的实施例，电子设备不限于以上所述的那些电子设备。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其他方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如与本公开的各种实施例关联使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子设备101)读取的一个或更多个指令的软件(例如，程序140)。例如，所述机器(例如，电子设备101)的处理器(例如，处理器120)可调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形设备，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，PlayStoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户设备(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可省略上述部件中的一个或更多个部件或操作，或者可添加一个或更多个其它部件或操作。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
图2是示出根据各种实施例的相机模块180的框图200。
参照图2，相机模块180可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或ISP 260。
镜头组件210可采集从将被拍摄图像的物体发出或反射的光。镜头组件210可包括一个或更多个透镜。根据实施例，相机模块180可包括多个镜头组件210。在这种情况下，相机模块180可形成例如双相机、360度相机或球形相机。多个镜头组件210中的一些镜头组件210可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件210可包括例如广角镜头或长焦镜头。
闪光灯220可发光，其中，发出的光用于增强从物体反射的光。根据实施例，闪光灯220可包括一个或更多个发光二极管(LED)(例如，红绿蓝色(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。图像传感器230可通过将从物体发出或反射并经由镜头组件210透射的光转换为电信号来获取与物体相应的图像。
根据实施例，图像传感器230可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如，RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器230中的每个图像传感器。
图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜，或者响应于相机模块180或包括相机模块180的电子设备101的移动来控制图像传感器230的可操作属性(例如，调整读出时序)。这样，允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如，图像模糊)的至少一部分。根据实施例，图像稳定器240可使用布置在相机模块180之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块180或电子设备101的这样的移动。根据实施例，可将图像稳定器240实现为例如光学图像稳定器。
存储器250可至少暂时地存储经由图像传感器230获取的图像的至少一部分以用于后续的图像处理任务。例如，如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟，则可将获取的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器250中，并且可经由显示模块160来预览其相应的副本图像(例如，低分辨率图像)。然后，如果满足了指定的条件(例如，通过用户的输入或系统命令)，则可由例如图像信号处理器260来获取和处理存储在存储器250中的原始图像的至少一部分。根据实施例，可将存储器250配置为存储器130的至少一部分，或者可将存储器250配置为独立于存储器130进行操作的分离的存储器。
图像信号处理器260可对经由图像传感器230获取的图像或存储在存储器250中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地，图像信号处理器260可对包括在相机模块180中的部件中的至少一个部件(例如，图像传感器230)执行控制(例如，曝光时间控制或读出时序控制)。可将由图像信号处理器260处理的图像存储回存储器250以用于进一步处理，或者可将该图像提供给在相机模块180之外的外部部件(例如，存储器130、显示模块160、电子设备102、电子设备104或服务器108)。根据实施例，可将图像信号处理器260配置为处理器120的至少一部分，或者可将图像信号处理器260配置为独立于处理器120进行操作的分离的处理器。如果将图像信号处理器260配置为与处理器120分离的处理器，则可由处理器120经由显示模块160将由图像信号处理器260处理的至少一个图像按照其原样显示，或者可将所述至少一个图像在被进一步处理后进行显示。
根据实施例，电子设备101可包括具有不同属性或功能的多个相机模块180。在这种情况下，所述多个相机模块180中的至少一个相机模块180可形成例如广角相机，并且所述多个相机模块180中的至少另一个相机模块180可形成长焦相机。类似地，所述多个相机模块180中的至少一个相机模块180可形成例如前置相机，并且所述多个相机模块180中的至少另一个相机模块180可形成后置相机。
图3是示出根据实施例的电子设备101的框图。
图4是示出根据实施例的示出显示器310中的每个波长的光的光透射率的曲线图的图400。
参照图3和图4，电子设备101可以包括显示器310、相机320、存储器330和/或处理器340。
显示器310可以包括在图1的显示模块160中。
显示器310可以是用于实现屏下相机(UDC)技术的显示器。例如，显示器310可以包括用于允许来自电子设备101外部的光穿过显示器310并进入相机320的区域(下文中，称为“UDC区域”)。显示器310的UDC区域可以是具有比显示器310的其他区域的每英寸像素(PPI)更低的PPI的区域。
显示器310(例如，UDC区域)的光透射率可以低于根据比较示例的显示器(例如，在电子设备101的前表面上设置孔使得光被引入相机320中的显示器)的光透射率。例如，在图4中，线410可以指示根据比较示例的显示器的光透射率，并且线420可以指示显示器310的光透射率。如图4所示，显示器310的光透射率可以低于根据比较例的显示器的光透射率。如图4中的线420所示，穿过显示器310的光的透射率可以根据波长而变化。
穿过显示器310(例如，UDC区域)的光的透射率可以根据显示器310的特性而变化。例如，取决于包括在显示器310中的组件之间的差异和/或布置(布置间隔、相对位置)，穿过显示器的光的透射率可以针对显示器中的每一个而变化。
显示器310可以包括用于存储与显示器有关的信息的存储器。当显示器310和相机320以相机320设置在显示器310下方的形式被安装在电子设备101中时，显示器310的存储器可以存储用于补偿通过相机320获取的图像的质量的信息(例如，用于校正图像的信息)，该图像的质量被显示器310的特性劣化。当显示器310和相机320以相机320设置在显示器310下方的形式被安装在电子设备101中时，显示器310的存储器可以存储用于设置可能由显示器的特性而被错误设置的相机设置的信息。下面将描述用于校正图像的信息和用于设置相机设置的信息，用于校正图像的信息和用于设置相机的信息存储在显示器310的存储器中。
相机320可以包括在图1和图2的相机模块180中。
相机320可以是使用穿过显示器310(例如，UDC区域)的光来获取图像并且被布置在显示器310下方的相机。
由相机320的图像传感器接收的光量可以根据相机320的特性而变化。例如，取决于包括在相机320中的组件(例如，滤色器阵列、镜头)的差异和/或包括在相机320中的组件之间的布置(例如，布置间隔、相对位置)，由相机的每个图像传感器接收的光量对于每个图像传感器可以不同。作为另一示例，包括在相机320中的滤色器阵列的光的透射率可以根据光的波长而变化。包括在相机320中的滤色器阵列的光透射率对于每个相机可以不同。
相机320可以包括用于存储与相机相关的信息的存储器。当显示器310和相机320以相机320设置在显示器310下方的形式被安装在电子设备101中时，显示器320的存储器可以存储用于补偿通过相机320获取的图像的质量的信息(例如，用于校正图像的信息)，该图像的质量被相机的特性劣化。当显示器310和相机320以相机320设置在显示器310下方的形式被安装在电子设备101中时，相机320的存储器可以存储用于设置可能由相机的特性而被错误设置的相机设置的信息。下面将描述用于校正图像的信息和用于设置相机设置的信息，用于校正图像的信息和用于设置相机设置的信息存储在显示器310的存储器中。
存储器330可以包括在图1的存储器130中。
存储器330可以存储用于执行提供图像的操作的各种信息。
处理器340通常可以控制提供图像的操作。处理器340可以包括控制提供图像的操作的一个或多个处理器。下面将参考图7和图8描述控制处理器340提供图像的操作的方法。
尽管图3示出了电子设备101包括显示器310、相机320、存储器330和/或处理器340，但是本公开不限于此。例如，电子设备101还可以包括图1所示的电子设备101的组件中的至少一个组件(例如，通信模块180)。
在下文中，通过图5a至图5c和图6，将描述通过显示器310(例如，显示器310的存储器)和相机320(例如，相机320的存储器)中的每一个存储用于校正通过相机320获取的图像的信息和/或用于设置相机320的设置的信息的方法。
根据实施例的电子设备包括显示器、被配置为使用通过显示器引入的光来获取图像的相机、以及被配置为电连接到显示器和相机的至少一个处理器，其中，至少一个处理器可以被配置为；通过相机获取图像；获取用于校正图像的第一调整值，第一调整值对应于显示器；获取用于校正图像的第二调整值，第二调整值对应于相机；并且基于第一调整值和第二调整值来校正图像。
至少一个处理器可以被配置为从显示器的存储器获取第一调整值，并且从相机的存储器获取第二调整值。
电子设备还可以包括通信模块，其中，至少一个处理器可以被配置为通过通信模块从服务器获取第一调整值和第二调整值。
至少一个处理器可被配置为通过基于第一调整值和第二调整值调整图像的白平衡、镜头阴影或颜色校正矩阵(CCM)中的至少一个来校正图像。
可以在显示器被安装在电子设备中之前，基于由参考相机使用从光源发射并通过显示器引入的光获取的图像来获取第一调整值。
参考相机可以是可安装到电子设备的多个相机之中的具有与多个相机的特性值的平均值或多个相机的特性值中的中值对应的特性值的相机。
可以在相机被安装在电子设备中之前，基于由相机通过使用从光源发射的光获取的图像来获取第二调整值。
第一调整值可以是基于由参考相机获取的图像，由通信地连接到参考相机的调整设备获取的，并且第二调整值可以是基于获取的图像，由通信地连接到参考相机的调整设备获取的。
至少一个处理器可以被配置为：获取用于调整相机设置的第三调整值，第三调整值对应于显示器；获取用于调整相机设置的第四调整值，第四调整值对应于相机；以及基于第三调整值和第四调整值来设置相机设置。
至少一个处理器可以被配置为基于第三调整值和第四调整值来设置与用于自动聚焦的镜头的位置相关的相机设置和/或用于校正镜头的像差的相机设置。
图5a至图5c示出根据实施例的获取关于显示器的用于图像校正的信息和用于相机设置的信息的方法。
参照图5a至图5c，用于获取关于显示器510的用于图像校正的信息和用于相机设置的信息的系统可以包括显示器510、参考相机520、光源530、定位设备540、按压/固定夹具550、安置夹具570、三轴台580、固定夹具560和/或调整设备521。
显示器510可以是将被校准的显示器。显示器510(例如，显示器310)可以是通过UDC技术包括在电子设备101中的显示器。
参考相机520(也被称作“主相机”)可以是具有指定特性值的相机。
在可安装到电子设备101的多个相机(例如，包括特定图像传感器和特定镜头的多个相机)中，参考相机520可以是具有与多个相机的特性值的平均值对应的特性值的相机。例如，参考相机可以是具有与多个相机的白平衡值的平均值最接近的白平衡值的相机。然而，本公开不限于此。
参考相机520可以是可安装到电子设备101的多个相机中的具有多个相机的特性值中的中值的相机。
光源530(例如，标准光源)可以是具有指定色温(例如，约5100K(开尔文))的光源。大约5100K的色温可以是日光环境的色温。然而，光源530的色温不限于约5100K，并且光源530可以具有不同的色温(例如，约6500K)。
定位设备540可以被配置为将显示器510的UDC区域511与参考相机520的镜头对准。定位设备540可以是使用视觉相机或激光器的定位设备。
安置夹具570可以是显示器510安置在其上的夹具，并且可以由三轴台580移动。按压/固定夹具550和固定夹具560可以被构造为在显示器510安置在安置夹具570上时固定显示器510。
调整设备521可以从参考相机520获取由参考相机520获取的光源530的图像。调整设备521可以基于获取的图像来获取(例如，生成)与显示器510相关的用于图像校正的信息和用于相机设置的信息。调整设备521可以将与显示器510相关的用于图像校正的信息和用于相机设置的信息存储在显示器510的存储器中。
参考图5a，附图标记501可以指示将显示器510安置在安置夹具570上的操作。例如，如附图标记501所示，显示器510可以沿箭头591所示的方向安置在安置夹具570上。
附图标记502可以指示固定显示器510的操作。例如，如附图标记502所示，在显示器510安置在安置夹具570上的状态下，当按压/固定夹具550和固定夹具560沿箭头592、593和594所示的方向移动时，显示器510可以固定在安置夹具570上。
参考图5b，附图标记503可以指示将显示器510的UDC区域511与参考相机520对准的操作。例如，如附图标记503所示，通过在箭头595所示的方向上移动定位设备540并在箭头596所示的方向上移动三轴台580，定位设备540可以将显示器510的UDC区域511和参考相机520对准，使得参考相机520的镜头的中心坐标可以与显示器510的UDC区域511的中心坐标匹配。
附图标记504可以指示基于光源530的图像获得与显示器相关的用于图像校正的信息和用于相机设置的信息的操作。例如，如附图标记504所示，定位设备540可以在由箭头597指示的方向上移动，并且光源530可以在由箭头598指示的方向上移动，使得从光源530发射的光可以穿过显示器510的UDC区域511并且可以被引入到参考相机520中。
参考相机520可以通过使用从光源530发射并穿过显示器510的UDC区域511以被引入到参考相机520中的光来获取光源530的图像。参考相机520可以通过参考相机520的通信模块(例如，无线通信模块或有线通信模块)将获取的光源530的图像发送到调整设备521。
调整设备521可以基于光源530的图像获取与显示器510相关的用于图像校正的信息和用于相机设置的信息。与显示器510相关的用于图像校正的信息可以包括用于调整白平衡的值(例如，红、绿、蓝(RGB)比率)、用于调整镜头阴影的值和/或用于调整颜色校正矩阵(CCM)的值。与显示器510相关的用于相机设置的信息可以包括与用于自动聚焦的镜头的位置相关的相机设置值和/或用于校正镜头的像差的相机设置值。然而，与显示器相关的用于图像校正的值和与显示器相关的用于相机设置的信息不限于上述示例。
为了使调整设备521获取用于调整白平衡的值(例如，RGB比率)，调整设备521可以提取光源530的图像内的相对于光源530的图像部分中心的指定区域(例如，光源530的图像内的与从光源530的图像部分中心起的指定半径对应的区域)。调整设备521可以获得指定区域的RGB比率(例如，R/G和B/G)作为用于调整白平衡(例如，RGB比率)的值。
调整设备521可以通过调整设备521的无线或有线通信模块将与显示器510相关的用于图像校正的信息和用于相机设置的信息发送到显示器510。显示器510可以将接收的与显示器510相关的用于图像校正的信息和用于相机设置的信息存储在显示器510的存储器中。
在上述示例中，调整设备521被例示为将与显示器510相关的用于图像校正和相机设置的信息发送到显示器510，但是本公开不限于此。例如，调整设备521可以向服务器发送与显示器510相关的用于图像校正的信息和用于相机设置的信息以及显示器510的唯一标识信息(例如，显示器510的序列号)。在这种情况下，除了存储在显示器510的存储器中之外或者代替存储在显示器510的存储器中，与显示器510相关的用于图像校正的信息和用于相机设置的信息可以存储在服务器中。
参考图5c，附图标记505可以指示用于用另一显示器510替换显示器510的操作。例如，如附图标记505所示，在参考相机520获取光源530的图像之后，显示器510、光源530、固定夹具560、按压/固定夹具550和三轴台580可以如箭头599所示移动。在移动显示器510、光源530、固定夹具560、按压/固定夹具550和三轴台580之后，可以执行附图标记501至504所示的操作，以获取与另一显示器相关的用于图像校正的信息和用于相机设置的信息。
图6示出了根据实施例的获取关于相机的用于图像校正的信息和用于相机设置的信息的方法600。
参考图6，用于获取与相机相关的用于图像校正的信息和用于相机设置的信息的系统可以包括相机610、调整设备521和光源530。
相机610可以是将被校准的相机。相机610可以是通过UDC技术包括在电子设备101中的相机。
由于已经参考图5a至图5c描述了参考相机610，因此将省略对参考相机610的描述。
由于已经参考图5a至图5c描述了光源530，因此将省略对光源530的描述。
相机610可以获取光源530的图像。相机610可以通过相机610的无线或有线通信模块将获取的光源530的图像发送到调整设备521。
调整设备521可以基于获取的光源530的图像来获取与相机相关的用于图像校正的信息和用于相机设置的信息。与相机相关的用于图像校正的信息可以包括用于调整白平衡(例如，RGB比率)的值、用于调整镜头阴影的值和/或用于调整CCM的值。与相机相关的用于相机设置的信息可以包括与用于自动聚焦的镜头的位置相关的相机设置值(例如，关于根据被摄体和相机之间的距离而不同地设置以自动聚焦的镜头的位置的信息)和/或用于校正镜头的像差的相机设置值。然而，与相机相关的用于图像校正的值和与相机相关的用于相机设置的信息不限于上述示例。
为了使调整设备521获取用于调整白平衡的值(例如，RGB比率)，调整设备521可以提取光源530的图像内的相对于光源530的图像部分中心的指定区域(例如，光源530的图像内的与从光源530的图像部分中心起的指定半径对应的区域)。调整设备521可以获得指定区域的RGB比率(例如，R/G和B/G)作为用于调整白平衡(例如，RGB比率)的值。
调整设备521可以通过调整设备521的无线或有线通信模块将与相机相关的用于图像校正的信息和用于相机设置的信息发送到相机610。相机610可以将接收的与相机相关的用于图像校正的信息和用于相机设置的信息存储在相机610的存储器中。
在上述示例中，调整设备521被例示为将与相机相关的用于图像校正的信息和用于相机设置的信息发送到相机，但是本公开不限于此。例如，调整设备521可以将与相机相关的用于图像校正的信息和用于相机设置的信息与相机610的唯一标识信息(例如，相机610的序列号)一起发送到服务器。在这种情况下，除了存储在相机610的存储器中之外或者代替存储在相机610的存储器中，可以将与相机610相关的用于图像校正的信息和用于相机设置的信息存储在服务器中。
在相机610的存储器中，可以存储与参考相机520相关的用于图像校正的信息和用于相机设置的信息。例如，当从包括指定的图像传感器和指定的镜头的多个相机中选择参考相机520时，与参考相机520相关的用于图像校正的信息和用于相机设置的信息可以存储在多个相机中的每一个的存储器中。然而，本公开不限于此。
图7示出了根据实施例的校正图像的方法700。
参考图7，在操作701中，处理器340可以通过相机320获取图像。例如，在显示器310和使用通过显示器310引入的光获取图像的相机320安装在电子设备101上的状态下，处理器340可以通过相机320获取图像。
在操作703中，处理器340可以获取与显示器310对应并用于校正图像的第一调整值(以下称为“第一调整值”)。例如，处理器340可以获取通过图5a至图5c的操作获取的与显示器相关的用于校正图像的信息作为第一调整值。
处理器340可以从显示器310的存储器获取第一调整值。然而，本公开不限于此。处理器340可以从服务器获取第一调整值。例如，处理器340可以识别显示器310的唯一标识信息。处理器340可以通过通信模块180从服务器请求与显示器310的唯一标识信息对应的第一调整值。处理器340可以通过经由通信模块180从服务器接收与显示器310的唯一标识信息对应的第一调整值来获取第一调整值。
在操作705中，处理器340可以获取与相机320对应并用于校正图像的第二调整值(以下称为“第二调整值”)。例如，处理器340可以获取通过图6的示例获得的与相机相关的用于校正图像的信息作为第二调整值。然而，本公开不限于此。处理器340可以从服务器获取第二调整值。例如，处理器340可以识别相机320的唯一标识信息。处理器340可以通过通信模块180从服务器请求与相机320的唯一标识信息对应的第二调整值。处理器340可以通过经由通信模块180从服务器接收与相机320的唯一标识信息对应的第二调整值来获取第二调整值。
在图7中，在操作703中获取第一调整值被例示为在操作705中获取第二调整值之前执行，但是本公开不限于此。例如，在操作705中获取第二调整值可以在操作703中获取第一调整值之前执行或同时(例如，并行地)执行。
在操作707中，处理器340可以基于第一调整值和第二调整值来校正图像。例如，处理器340可以通过基于第一调整值和第二调整值调整图像的白平衡(例如，RGB比率)、镜头阴影和CCM来校正图像。
下面的表1示出了用于处理器340基于第一调整值和第二调整值来调整图像的白平衡的方法。
[表1]
在表1中，当参考相机520获取光源(例如，色温为5100K的光源)的图像时，参考相机520的RGB比率可以是从获取的光源的图像获得的RGB比率(例如，在光源的图像内与从光源的图像部分中心起的指定半径对应的区域)。
在表1中，在上面参考图5b描述的附图标记504中，第一调整值可以是从光源的图像获得的RGB比率，该图像是使用从光源发射并通过显示器310引入参考相机520的光获取的。
在表1中，第二调整值可以是当相机获取上述图6中的光源的图像时从获取的光源的图像获得的RGB比率。
在表1中，参考相机520与相机320之间的RGB比率的差异可以是表1的参考相机520的RGB比率与第二调整值之间的差异。
处理器340可以基于参考相机520的RGB比率、参考相机520与第二调整值(相机320的RGB比率)之间的差异以及参考相机520的RGB比率与第一调整值之间的差异来调整图像的白平衡。例如，如表1所示，当参考相机520的RGB比率是(1,1,1)时(例如，当参考相机520的RGB比率是1：1：1时)并且当第一调整值是(0.7,1,0.4)并且第二调整值是(0.98,1,1.01)时，参考相机520与第二调整值之间的差异可以是(0.02,0,-0.01)，并且参考相机520与第一调整值之间的差异可以是(0.3,0,0.6)。处理器340可以获得用于调整图像的R/G的增益(1/(1-(0.3+0.02))和用于调整图像的B/G的增益(1/(1-(0.6-0.01))。当通过相机320获取色温为5100K的图像时，处理器340可以通过将获取的图像的R/G乘以用于调整R/G的增益(例如，1/(1-(0.3+0.02))并将获取的图像的B/G乘以用于调整B/G的增益(例如，1/(1-(0.6-0.01))来调整图像的白平衡，使得获取的图像的RGB比率可以是参考相机520的RGB比率(例如，RGB比率为1：1：1)。然而，处理器340根据第一调整值和第二调整值校正图像的示例并不限于上述示例。处理器340可以通过调整图像的镜头阴影和/或CCM来校正图像，类似于调整图像白平衡的示例。
图8示出了根据实施例的设置相机设置的方法800。
参考图8，在操作801中，处理器340可以获取与显示器310对应并且用于设置相机设置的第三调整值(以下称为“第三调整值”)。例如，处理器340可以获取通过图5a至图5c的操作获取的与显示器310相关的用于相机设置的信息作为第三调整值。
处理器340可以从显示器310的存储器获取第三调整值。然而，本公开不限于此。处理器340可以从服务器获取第三调整值。例如，处理器340可以识别显示器310的唯一标识信息。处理器340可以通过通信模块180从服务器请求与显示器310的唯一标识信息对应的第三调整值。处理器340可以通过经由通信模块180从服务器接收与显示器310的唯一标识信息对应的第三调整值来获取第三调整值。
在操作803中，处理器340可以获取与相机320对应并且用于调整相机设置的第四调整值(以下称为“第四调整值”)。例如，处理器340可以获取通过图6的示例获取的与相机相关的用于设置相机设置的信息作为第四调整值。然而，本公开不限于此。处理器340可以从服务器获取第四调整值。例如，处理器340可以识别相机320的唯一标识信息。处理器340可以通过通信模块180从服务器请求与相机的唯一标识信息对应的第四调整值。处理器340可以通过经由通信模块180从服务器接收与相机的唯一标识信息对应的第四调整值来获取第四调整值。
在图8中，操作801的获取第三调整值被例示为在操作803的获取第四调整值之前执行，但是本公开不限于此。例如，在操作803中获取第四调整值可以在操作801中获取第三调整值之前执行或同时(例如，并行地)执行。
可以响应于相机应用的执行来执行图8的操作。例如，处理器340可以响应于从用户接收到用于执行相机应用的输入而执行操作801和/或803。
在操作805中，处理器340可以根据基于第三调整值和第四调整值设置的相机设置来获取图像。
处理器340可以基于第三调整值和第四调整值来调整相机320的设置。例如，处理器340可以基于第三调整值和第四调整值来校正与用于自动聚焦的镜头的位置相关的相机设置值和/或用于校正镜头的像差的相机设置值。
在相机设置被设置之后，处理器340可以基于设置的相机设置通过相机320获取图像。
在处理器340通过相机320获取图像之后，处理器340可以执行图7的操作703至707。
根据实施例，一种在电子设备中提供图像的方法可以包括：通过使用通过电子设备的显示器引入的光获取图像的相机来获取图像；获取用于校正图像的第一调整值，第一调整值对应于显示器；获取用于校正图像的第二调整值，第二调整值对应于相机；以及基于第一调整值和第二调整值来校正图像。
获取第一调整值可以包括从显示器的存储器获取第一调整值，并且获取第二调整值可以包括从相机的存储器获取第二调整值。
获取第一调整值和获取第二调整值可以包括通过电子设备的通信模块从服务器获取第一调整值和第二调整值。
校正图像可以包括通过基于第一调整值和第二调整值调整图像的白平衡、镜头阴影或颜色校正矩阵(CCM)中的至少一个来校正图像。
可以在显示器被安装在电子设备中之前，基于由相机通过使用从光源发射并通过显示器引入的光获取的图像来获取第一调整值。
参考相机可以是可安装到电子设备的多个相机之中的具有与多个相机的特性值的平均值或多个相机的特性值中的中值对应的特性值的相机。
可以在相机被安装在电子设备中之前，基于由相机通过使用从光源发射的光获取的图像来获取第二调整值。
第一调整值可以基于由参考相机获取的图像，由通信地连接到参考相机的调整设备获取，并且第二调整值可以基于由相机获取的图像，由通信地连接到参考相机的调整设备获取。
该方法还可以包括：获取用于调整相机设置的第三调整值，该第三调整值对应于显示器；获取用于调整相机设置的第四调整值，该第四调整值对应于相机；以及基于第三调整值和第四调整值来设置相机设置。
设置相机设置可以包括基于第三调整值和第四调整值来设置与用于自动聚焦的镜头的位置相关的相机设置和/或用于校正镜头的像差的相机设置。
另外，在上述实施例中使用的数据的结构可以通过各种手段记录在计算机可读记录介质中。计算机可读记录介质包括诸如磁存储介质(例如，ROM、软盘、硬盘等)和光学可读介质(例如，CD-ROM、DVD等)的存储介质。
虽然已经参考本公开的某些实施例具体示出和描述了本公开，但是本领域普通技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种电子设备，包括：
显示器；
相机，被配置为使用通过所述显示器引入的光来获取图像；以及
至少一个处理器，被配置为电连接到所述显示器和所述相机，
其中，所述至少一个处理器被配置为：
通过所述相机获取所述图像，
获取用于校正所述图像的第一调整值，所述第一调整值对应于所述显示器，
获取用于校正所述图像的第二调整值，所述第二调整值对应于所述相机，以及
基于所述第一调整值和所述第二调整值来校正所述图像。
2.根据权利要求1所述的电子设备，其中，所述至少一个处理器被配置为：
从所述显示器的存储器获取所述第一调整值，以及
从所述相机的存储器获取所述第二调整值。
3.根据权利要求1所述的电子设备，还包括：
通信模块，
其中，所述至少一个处理器被配置为：
通过所述通信模块从服务器获取所述第一调整值和所述第二调整值。
4.根据权利要求1所述的电子设备，其中，所述至少一个处理器被配置为：通过基于所述第一调整值和所述第二调整值调整所述图像的白平衡、镜头阴影或颜色校正矩阵CCM中的至少一个，来校正所述图像。
5.根据权利要求1所述的电子设备，其中，在所述显示器被安装在所述电子设备中之前，基于由参考相机使用从光源发射并通过所述显示器引入的光获取的图像来获取所述第一调整值。
6.根据权利要求5所述的电子设备，其中，所述参考相机是能够安装到所述电子设备的多个相机之中的具有与所述多个相机的特性值的平均值或所述多个相机的特性值中的中值对应的特性值的相机。
7.根据权利要求5所述的电子设备，其中，在所述显示器被安装在所述电子设备中之前，基于由所述相机通过使用从所述光源发射的光获取的图像来获取所述第二调整值。
8.根据权利要求7所述的电子设备，其中，
所述第一调整值是基于由所述参考相机获取的图像，由通信地连接到所述参考相机的调整设备获取的，并且
所述第二调整值是基于由所述相机获取的图像，由通信地连接到所述参考相机的所述调整设备获取的。
9.根据权利要求8所述的电子设备，其中，所述至少一个处理器被配置为：
获取用于调整相机设置的第三调整值，所述第三调整值对应于所述显示器，
获取用于调整所述相机设置的第四调整值，所述第四调整值对应于所述相机，以及
基于所述第三调整值和所述第四调整值来设置所述相机设置。
10.根据权利要求9所述的电子设备，其中，所述至少一个处理器被配置为：基于所述第三调整值和所述第四调整值来设置与用于自动聚焦的镜头的位置相关的相机设置和/或用于校正镜头的像差的相机设置。
11.一种在电子设备中提供图像的方法，所述方法包括：
通过相机获取图像，所述相机使用通过所述电子设备的显示器引入的光来获取所述图像；
获取用于校正所述图像的第一调整值，所述第一调整值对应于所述显示器；
获取用于校正所述图像的第二调整值，所述第二调整值对应于所述相机；以及
基于所述第一调整值和所述第二调整值来校正所述图像。
12.根据权利要求11所述的方法，其中，
获取所述第一调整值包括：从所述显示器的存储器获取所述第一调整值，并且
获取所述第二调整值包括：从所述相机的存储器获取所述第二调整值。
13.根据权利要求11所述的方法，其中，获取所述第一调整值和获取所述第二调整值包括：
通过所述电子设备的通信模块从服务器获取所述第一调整值和所述第二调整值。
14.根据权利要求11所述的方法，其中，校正所述图像包括：通过基于所述第一调整值和所述第二调整值调整所述图像的白平衡、镜头阴影或颜色校正矩阵CCM中的至少一个来校正所述图像。
15.根据权利要求11所述的方法，其中，在所述显示器被安装在所述电子设备中之前，基于由参考相机通过使用从光源发射并通过所述显示器引入的光获取的图像来获取所述第一调整值。
CN202280054652.6A 2021-08-23 2022-08-22 用于提供图像的方法和支持该方法的电子设备 Pending CN117813834A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020210110863A KR20230028953A (ko) 2021-08-23 2021-08-23 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
KR10-2021-0110863 2021-08-23
PCT/KR2022/012543 WO2023027465A1 (ko) 2021-08-23 2022-08-22 이미지를 제공하는 방법 및 이를 지원하는 전자 장치

Publications (1)

Publication Number Publication Date
CN117813834A true CN117813834A (zh) 2024-04-02

Family

ID=85323329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280054652.6A Pending CN117813834A (zh) 2021-08-23 2022-08-22 用于提供图像的方法和支持该方法的电子设备

Country Status (4)

Country Link
US (1) US20230070184A1 (zh)
KR (1) KR20230028953A (zh)
CN (1) CN117813834A (zh)
WO (1) WO2023027465A1 (zh)

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS569712A (en) * 1979-07-06 1981-01-31 Olympus Optical Co Ltd Visual field direction changing optical system for slender image transmission system
US4622954A (en) * 1984-05-15 1986-11-18 Fuji Photo Optical Co., Ltd. Endoscope having a plate-like image sensor for forming images
US4905082A (en) * 1987-05-06 1990-02-27 Olympus Optical Co., Ltd. Rigid video endoscope having a detachable imaging unit
US5557454A (en) * 1992-12-25 1996-09-17 Olympus Optical Co., Ltd. Stereoscopic endoscope
DE69435333D1 (de) * 1993-04-21 2011-03-24 Omron Tateisi Electronics Co Vorrichtung zur visuellen kontrolle von platinen und deren verwendung zur kontrolle und korrektur von lötungen
US6025873A (en) * 1994-04-07 2000-02-15 Olympus Optical Co., Ltd. Endoscope system provided with low-pass filter for moire removal
US6157396A (en) * 1999-02-16 2000-12-05 Pixonics Llc System and method for using bitstream information to process images for use in digital display systems
US6340994B1 (en) * 1998-08-12 2002-01-22 Pixonics, Llc System and method for using temporal gamma and reverse super-resolution to process images for use in digital display systems
JP2000231060A (ja) * 1999-02-12 2000-08-22 Olympus Optical Co Ltd 結像光学系
JP2001083400A (ja) * 1999-09-08 2001-03-30 Olympus Optical Co Ltd 撮像光学系
US20050197533A1 (en) * 2000-03-16 2005-09-08 Medivision, Inc. Endoscope and camera mount
FR2832516B1 (fr) * 2001-11-19 2004-01-23 Tokendo Sarl Endoscopes rotatifs a visee distale deviee
FR2861185B1 (fr) * 2003-10-16 2005-12-30 Snecma Moteurs Endoscope a eclairage ultraviolet
FI20040834A0 (fi) * 2004-06-17 2004-06-17 Petri Piirainen Menetelmä kameran ja/tai näyttölaitteen värikalibroimiseksi
US7404645B2 (en) * 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
DE102008024789A1 (de) * 2008-05-21 2009-12-03 Richard Wolf Gmbh Stereo-Endoskop
US9192286B2 (en) * 2010-03-12 2015-11-24 Viking Systems, Inc. Stereoscopic visualization system
JP5284537B2 (ja) * 2010-03-31 2013-09-11 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
JP5973297B2 (ja) * 2012-09-12 2016-08-23 本田技研工業株式会社 ボアスコープ
WO2015015949A1 (ja) * 2013-08-01 2015-02-05 富士フイルム株式会社 撮像装置、撮像方法及び画像処理装置
CN105659582B (zh) * 2013-10-31 2020-03-27 富士胶片株式会社 信号处理装置、摄像装置、参数生成方法及信号处理方法
US20160357007A1 (en) * 2015-05-05 2016-12-08 Eric Swanson Fixed distal optics endoscope employing multicore fiber
US10708574B2 (en) * 2017-06-15 2020-07-07 Align Technology, Inc. Three dimensional imaging apparatus with color sensor
KR102561172B1 (ko) * 2018-11-22 2023-07-31 삼성전자주식회사 디스플레이 내에 카메라 모듈이 포함된 전자 장치 및 상기 카메라 모듈 주변의 이미지를 보정하는 방법
CN113014747B (zh) * 2019-12-18 2023-04-28 中移物联网有限公司 屏下摄像头模组、图像处理方法及终端
KR20210099822A (ko) * 2020-02-05 2021-08-13 삼성전자주식회사 이미지 센서를 포함하는 전자 장치
CN213879945U (zh) * 2020-11-03 2021-08-03 奥比中光科技集团股份有限公司 一种屏下成像系统及电子设备
WO2022202616A1 (ja) * 2021-03-24 2022-09-29 株式会社村田製作所 弾性波装置

Also Published As

Publication number Publication date
KR20230028953A (ko) 2023-03-03
WO2023027465A1 (ko) 2023-03-02
US20230070184A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
US20220360710A1 (en) Electronic device including multiple cameras and method of controlling electronic device
US20230209202A1 (en) Electronic device for performing image stabilization, and operating method therefor
US20220360713A1 (en) Electronic device including camera
US20230074962A1 (en) Electronic device including a plurality of cameras and operating method thereof
US20240111172A1 (en) Camera module including image stabilization assembly and electronic device including the camera module
US20230070184A1 (en) Method for providing image and electronic device supporting the same
US20240056687A1 (en) Image processing method and electronic device for supporting same
US20240078685A1 (en) Method for generating file including image data and motion data, and electronic device therefor
US20240236491A1 (en) Method for correcting shaking during shooting and electronic device therefor
US20220377246A1 (en) Electronic device including camera
US20230086383A1 (en) Method for photographing in multiple directions through one camera and electronic device thereof
US20230199134A1 (en) Electronic device applying bokeh effect to image and operating method thereof
US20240089609A1 (en) Image processing method and electronic device therefor
US20230254599A1 (en) Electronic device comprising image sensor and operation method of same
US20240205530A1 (en) Electronic device comprising camera module
US20230164420A1 (en) Electronic device including reflector and lens assembly
EP4329286A1 (en) Electronic device for synchronizing lens driving information with image
EP4228246A1 (en) Electronic device capable of auto-focusing and method for operating same
US20230199330A1 (en) Electronic device for processing continuous shooting input and method thereof
US20230101860A1 (en) Electronic device including image sensor and operating method thereof
US20230154132A1 (en) Method for providing image and electronic device supporting the same
US20230224564A1 (en) Electronic device including camera module
US11843874B2 (en) Electronic device including under display camera and operating method thereof
US20230146983A1 (en) Camera module and electronic device including the same
US20230319423A1 (en) Method for providing image and electronic device supporting the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination