CN114631306A - 用于提供预览的方法和用于显示预览的电子装置 - Google Patents

用于提供预览的方法和用于显示预览的电子装置 Download PDF

Info

Publication number
CN114631306A
CN114631306A CN202080076304.XA CN202080076304A CN114631306A CN 114631306 A CN114631306 A CN 114631306A CN 202080076304 A CN202080076304 A CN 202080076304A CN 114631306 A CN114631306 A CN 114631306A
Authority
CN
China
Prior art keywords
image frame
preview
tone mapping
display
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080076304.XA
Other languages
English (en)
Other versions
CN114631306B (zh
Inventor
朴灿植
李贤泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114631306A publication Critical patent/CN114631306A/zh
Application granted granted Critical
Publication of CN114631306B publication Critical patent/CN114631306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0653—Controlling or limiting the speed of brightness adjustment of the illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种用于提供预览的方法和一种用于显示预览的电子装置。该电子装置包括相机模块、显示器、与该相机模块和该显示器可操作地连接的处理器、以及与该处理器可操作地连接的存储器，其中，该存储器存储指令，当这些指令被执行时，使得该处理器：通过该相机模块获取原始图像帧；在该显示器上显示与所获取的原始图像帧相对应的第一预览图像帧；接收用于对基于动态色调映射的录制的请求的输入；响应于接收到该输入来执行该基于动态色调映射的录制；以及，当执行该基于动态色调映射的录制的同时，通过对在接收到该输入的时间点之后所获取的第一预览图像帧执行动态色调映射处理来生成第二预览图像帧，并在该显示器上显示所生成的第二预览图像帧。各种其他实施方案也是可能的。

Description

用于提供预览的方法和用于显示预览的电子装置
技术领域
本公开涉及一种用于提供预览的方法和一种用于显示预览的电子装置。
背景技术
电子装置(例如，移动终端、智能手机或可穿戴终端)可以提供各种功能(例如，音乐再现功能、导航功能、短距离无线通信(例如，蓝牙、无线保真(Wi-Fi)或近场通信(NFC))功能、指纹识别功能、电子支付功能等)。
此外，电子装置可以提供拍摄照片(图像)或捕捉(或录制)动态图像的功能。例如，通过使用设置在电子装置的前表面的前置摄像头或设置在电子装置的后表面的后置摄像头，电子装置可以拍摄照片或捕捉运动图像。
上述信息仅作为背景信息提出，以帮助理解本公开。关于上述任何内容是否可以作为现有技术适用于本公开，我们没有做出任何决定，也没有做出任何论断。
发明内容
技术问题
电子装置通过使用动态色调映射(DTM)来提供运动图像捕捉功能。例如，DTM可以包括高动态范围(HDR)10+TM或Dolby VisionTM。DTM可以对每一个帧或每一个场景应用色调映射，以生成逼真的图像。为此，在基于动态色调映射的运动图像捕捉时所获取的图像帧需要被分析，以生成适合于相应图像帧的色调映射信息。然而，由于需要预先确定的时间以生成色调映射信息，电子装置很难实时地提供应用了动态色调映射的预览图像。因此，在基于动态色调映射的运动图像捕捉时，电子装置可能提供未应用动态色调映射的预览图像。这可能导致在所存储的运动图像的质量与在电子装置中的预览图像的质量之间的差异。此外，用户可能无法通过预览图像来事先检查存储的运动图像的质量，并可能因此而感到不方便。
问题的解决方案
本公开的各方面是为了至少解决上述问题和/或缺点，并至少提供下文所述的优点。因此，本公开的一个方面是提供一种用于实时地提供动态色调映射被应用的预览图像的方法，并提供一种用于显示预览的电子装置。
其他方面将在随后的描述中部分阐述，部分地将从描述中显而易见，或者可以通过实践所提出的实施例来了解。
根据本公开的一个方面，提供了一种电子装置。所述电子装置包括例如相机模块、显示器、与所述相机模块和所述显示器可操作地连接的处理器、以及与所述处理器可操作地连接的存储器，其中，所述存储器存储指令，当这些指令被执行时，使得所述处理器：通过所述相机模块获取原始图像帧；在所述显示器上显示与所获取的原始图像帧相对应的第一预览图像帧；接收用于对基于动态色调映射的录制的请求的输入；响应于接收到所述输入来执行所述基于动态色调映射的录制；以及，当执行所述基于动态色调映射的录制的同时，通过对在接收到所述输入的时间点之后所获取的第一预览图像帧执行动态色调映射处理来生成第二预览图像帧，并在所述显示器上显示所生成的第二预览图像帧。
根据本公开的另一个方面，提供了一种用于由电子装置提供预览的方法。所述方法通过相机模块获取原始图像帧；在显示器上显示与所获取的原始图像帧相对应的第一预览图像帧；接收用于对基于动态色调映射的录制的请求的输入；响应于接收到所述输入来执行所述基于动态色调映射的录制；以及，当执行所述基于动态色调映射的录制的同时，通过对在接收到所述输入的时间点之后所获取的第一预览图像帧执行动态色调映射处理来生成第二预览图像帧，并在所述显示器上显示所生成的第二预览图像帧。
根据本公开的另一个方面，提供了一种电子装置。所述电子装置包括例如相机模块、显示器、与所述相机模块和所述显示器可操作地连接的处理器以及与所述处理器可操作地连接的存储器，其中，所述存储器存储指令，当这些指令被执行时，使得所述处理器：在所述显示器上显示与通过所述相机模块获取的原始图像帧相对应的预览图像帧；以及，响应于第一用户输入启用了基于动态色调映射的录制的功能，或响应于第二用户输入请求了所述基于动态色调映射的录制，基于在指定的亮度、指定的亮度比例、静态色调映射信息、或在接收到所述第一用户输入的时间点之后对预览图像帧的分析结果中的至少一个，来调整所述显示器的所述亮度。
对于本领域的技术人员来说，本公开的其他方面、优点和突出特点，将从结合附图的、披露了本公开的各种实施例的以下详细描述中变得清楚。
发明的有益效果
根据各种实施例的电子装置可以实时地提供：与应用了动态色调映射的图像相类似的预览图像、或应用了动态色调映射的预览图像。因此，根据本公开的各种实施例，预览图像的质量可以与存储的图像的质量相同或相似。根据各种实施例的电子装置的用户可以通过预览图像来容易地识别存储的图像的质量。
附图说明
本公开的某些实施例的上述和其他方面、特征和优点将从结合附图的以下描述中更加清楚，其中：
图1是根据各种实施例的网络环境中的电子装置的框图；
图2是根据实施例的电子装置的框图；
图3示出了根据本公开的实施例的基于动态色调映射的运动图像帧；
图4是示出了根据本公开的实施例的用于由电子装置在基于动态色调映射的运动图像录制期间提供预览的方法的流程图；
图5A是示出了根据本公开的实施例的用于由电子装置通过使用预览处理数据来提供预览的方法的流程图；
图5B示出了根据本公开的实施例的存储器的配置；
图5C是示出了根据本公开的实施例的预览处理数据的色调映射曲线的图；
图5D是示出了根据本公开的实施例的图像帧的流水线；
图6A是示出了根据本公开的实施例的用于由电子装置通过使用预览处理数据来提供预览的方法的流程图；
图6B示出了根据本公开的实施例的存储器的配置；
图6C示出了根据本公开的实施例的选择预览处理数据的操作；
图6D示出了根据本公开的实施例的预览处理数据的添加和更新；
图6E示出了根据本公开的实施例的用于由电子装置通过使用预览处理数据来提供预览的方法；
图6F示出了根据本公开的实施例的图像帧的流水线；
图7A是示出了根据本公开的实施例的用于由电子装置通过使用在基于动态色调映射的运动图像录制期间所生成的动态色调映射元数据来提供预览的方法的流程图；
图7B示出了根据本公开的实施例的存储器的配置；
图7C示出了根据本公开的实施例的用于由电子装置通过使用在基于动态色调映射的运动图像录制期间所生成的动态色调映射元数据来提供预览的方法；
图7D示出了根据本公开的实施例的图像帧的流水线；
图8A是示出了根据本公开的实施例的用于由电子装置来调整预览图像的亮度的方法的流程图；以及
图8B示出了根据本公开的实施例的用于由电子装置来调整预览图像的亮度的方法。
贯穿整个附图，应该注意的是，类似的附图标记被用来描述相同或类似的元素、特征和结构。
具体实施方式
提供参照附图的以下描述，以帮助全面理解由权利要求书及其等同形式所定义的本公开的各种实施例。以下描述包括各种具体细节，以帮助理解，但这些具体细节应仅仅被视为是示例性的。因此，本领域的普通技术人员将认识到，在不偏离本公开的范围和精神的情况下，可以对本文所述的各种实施例进行各种改变和修改。此外，为了清晰和简明，可以省略对众所周知的功能和结构的描述。
在以下描述和权利要求书中使用的术语和词汇并不限于书本上的含义，而是，只是由发明人使用，以实现对本公开的清楚和一致的理解。因此，对于本领域的技术人员来说，应该清楚的是，以下对本公开的各种实施例的描述，仅仅是为了说明的目的，而不是为了限制由所附的权利要求书及其等同形式所限定的本公开。
应当理解的是，除非上下文另外有明确规定，否则单数形式的“一”和“所述”包括复数指代。因此，例如，对“一部件表面”的提及包括对一个或更多个此类表面的提及。
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。
参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略上述部件中的至少一个(例如，连接端178)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将上述部件中的一些部件(例如，传感器模块176、相机模块180或天线模块197)实现为单个集成部件(例如，显示模块160)。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可以被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如，可通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可包括除了硬件结构以外的软件结构。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入模块150可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可将声音信号输出到电子装置101的外部。声音输出模块155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后生成与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可以被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕捉静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线(例如，阵列天线)。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
根据各种实施例，天线模块197可形成毫米波天线模块。根据实施例，毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置104可包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可以被包括在第二网络199中。电子装置101可应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
图2是根据实施例的电子装置的框图。图3示出了根据本公开的实施例的基于动态色调映射的运动图像帧。
参照图2和图3，根据实施例的电子装置201(例如，电子装置101)可以包括相机模块280(例如，相机模块180)、处理器220(例如，处理器120)、显示器260(例如，显示装置160)和/或存储器230(例如，存储器130)。
根据本公开的各种实施例，相机模块280可以捕捉图像和/或运动图像。相机模块280可以包括透镜281或图像传感器283。透镜281是例如用于折射光线的透明玻璃体，并且可以由至少一个凸透镜或至少一个凹透镜的至少一种组合形成。透镜281可以包括在标准透镜、广角透镜、远摄透镜或变焦透镜中的至少一种。图像传感器283可以检测通过透镜281的入射光，并生成图像数据(例如，原始图像数据)(以下称为“原始图像帧”)。例如，可以以帧为单位来生成图像数据。
根据本公开的各种实施例，处理器220可以控制对通过相机模块280获取的图像进行的处理。处理器220可以包括例如图像信号处理器221。如图3所示，图像信号处理器221可将图像处理应用于原始图像帧，并生成预览图像帧和录制的图像帧。例如，图像信号处理器221可以调整原始图像帧的分辨率和/或大小，以生成预览图像帧和录制的图像帧。预览图像帧的分辨率和/或大小可能与录制的图像帧的分辨率和/或大小不同。
根据本公开的各种实施方案，可以以支持YU(这是一种使用亮度(Y)和两个色度信号(U和V)的表示方案)的格式来生成预览图像帧，这是一种。可以以支持红、绿、蓝(RGB)(这是一种使用光的三原色的表示方案)的格式来生成录制的图像帧。
根据本公开的各种实施例，预览图像帧的以每秒帧数(FPS)为单位的帧率，和录制的图像帧的帧率可以彼此不同，但是，为了描述的方便，在本公开的各种实施例中，假设预览图像帧的帧率和录制的图像帧的帧率是相同的。
根据本公开的各种实施例，在正常的运动图像录制期间，图像信号处理器221可以将原始图像帧的分辨率和/或大小转换成适合于显示器260的规格，并生成预览图像帧。
根据本公开的各种实施例，在基于动态色调映射的运动图像录制期间，图像信号处理器221可以将图像处理应用于图像，以使该图像与应用了动态色调映射的图像相类似，或者可以应用(或使用)动态色调映射，以便生成预览图像帧。在下文中，为了描述的方便，描述了第一预览图像帧是未应用动态色调映射(或使图像与应用了动态色调映射的图像相类似的图像处理)的预览图像帧。还描述了，第二预览图像帧是指应用了图像处理以使图像与应用了动态色调映射的图像相类似的预览图像帧或应用了动态色调映射的预览图像帧。根据本公开的各种实施例，第一预览图像帧和第二预览图像帧可以根据图像处理方法相互区分，并且被包括在每个预览图像帧中的图像数据或内容可以根据生成预览图像帧的时间点而不同。例如，第一预览图像帧可以是根据第一方法来应用了图像处理的预览图像帧，而第二预览图像帧可以是根据与第一方法不同的第二方法来应用了图像处理的预览图像帧。对于与同一时间点相对应的第一预览图像的第二预览图像帧可以包括与第一预览图像的图像数据或内容相同的图像数据或内容(例如，在该时间点的场景)。
动态色调映射可以以各种方式应用。稍后将参照图5A至图7D对与其有关的各种实施例进行描述。根据本公开的实施例，动态色调映射可由处理器220或显示器260的显示驱动集成电路261应用。
根据本公开的各种实施例，图像信号处理器221可以输出(传输或发送)预览图像帧和录制的图像帧到其他路径。例如，图像信号处理器221可以在显示器260上输出预览图像帧1(301-1)至预览图像帧N(301-N)。图像信号处理器221可以将录制的图像帧1(303-1)至录制的图像帧N(303-N)输出到存储器230。图像信号处理器221可以在无需应用图像处理的情况下，将通过相机模块280的图像传感器283获取的原始图像帧1(300-1)至原始图像帧N(300-N)发送到存储器230，作为录制的图像帧1(303-1)至录制的图像帧N(303-N)；或者可以在将图像处理(例如，过滤掉原始图像帧1(300-1)至原始图像帧N(300-N)的噪声和调整其的分辨率和/或大小)应用于原始图像帧之后，将其发送到存储器230，作为录制的图像帧1(303-1)至录制的图像帧N(303-N)。
根据本公开的实施例，在基于动态色调映射的运动图像录制时，处理器220可以分析录制的图像帧，并基于分析出的结果来生成动态色调映射(DTM)元数据。根据本公开的实施例，处理器220可以从图像信号处理器221接收对原始图像帧或录制的图像帧进行分析的结果，并基于接收到的分析的结果来生成动态色调映射元数据。在本公开的实施例中，动态色调映射元数据可如例如表1所示。
表1
Figure BDA0003622139790000131
根据本公开的各种实施例，处理器220可以将生成的动态色调映射元数据与录制的图像帧一起存储在存储器230中。处理器220还可以为录制的图像帧执行处理(例如，压缩)。根据本公开的实施例，电子装置201可以包括单独的处理器(例如，图1的辅助处理器123)，用于生成动态色调映射元数据。
根据本公开的各种实施例，在基于动态色调映射的运动图像录制期间，处理器220可以调整显示器260的亮度。稍后将参照图8A和8B对与其有关的各种实施例进行描述。
根据本公开的各种实施例，显示器260可以显示图像和/或运动图像。显示器260可包括被配置为控制显示器260的显示驱动集成电路(DDI)261。DDI 261可以从电子装置201的另一部件接收包括与用于控制图像数据的命令相对应的图像控制信号的图像数据或图像信息。例如，该图像信息可以从处理器220接收。DDI 261可将收到的图像信息的至少一部分以例如帧的单位存储在缓冲存储器(未显示)中。DDI 261可以至少基于图像数据的特征或显示器260的特征，来为例如至少部分图像数据执行预处理或后处理(例如，调整分辨率、亮度或大小)。DDI 261可以生成与预处理的图像数据或后处理的图像数据相对应的电压值或电流值，并至少部分地基于该电压值或电流值来驱动显示器260的至少一些像素，以便通过显示器260显示与图像数据相对应的视觉信息(例如，文本、图像或图标)。
根据本公开的实施例，显示器260可以实时地显示与通过相机模块280获取的图像相对应的预览图像。例如，在正常录制的情况下，预览图像可以是通过将获取的图像转换为适合于显示器显示来获得的图像。在基于动态色调映射的录制的情况下，预览图像可以是应用了动态色调映射的图像。动态色调映射可以以各种方式应用于预览图像。与其有关的描述将在后面参照图5A至7D进行。
根据本公开的各种实施例，存储器230可以存储基于动态色调映射的运动图像录制数据。运动图像录制数据可以包括通过一起分析多个录制的图像帧和单独分析每个录制的图像帧而生成的多条动态色调映射元数据。在本公开的实施例中，动态色调映射元数据可以被应用于第一预览图像，以生成第二预览图像。例如，在基于动态色调映射的运动图像录制期间，与先前生成的(例如第N-1个或第N-2个)图像帧相对应的动态色调映射元数据可以被应用于第N个预览图像帧。稍后将参照图7A至7D对其进行描述。
根据本公开的实施例，存储器230可以包括适用于第一预览图像帧的至少一条预览处理数据。例如，预览处理数据可以不是通过对录制的图像帧或通过相机模块280实时地获取的原始图像帧进行分析而生成的，而是可以在制造电子装置201时或通过下载而被存储在存储器230中。预览处理数据的类型可以至少部分地与动态色调映射元数据的类型相同。该至少一条预览处理数据可以被用于生成第二预览图像帧。与其有关的描述将在后面参照图5A至图6F进行。
虽然在图2中描述了图像信号处理器221被包括在处理器220中，但是根据本公开的实施例，图像信号处理器221可以被包括在另一个部件(例如，相机模块280)中，或者可以是一个单独的部件。
根据本公开的各种实施例，电子装置(例如，电子装置101、201)可以包括相机模块(例如，相机模块180、280)、显示器(例如，显示模块160、显示器260)、与相机模块和显示器可操作地连接的处理器(例如，处理器120、220)，以及、与处理器可操作地连接的存储器(例如。存储器130，230)，其中存储器存储指令，当这些指令被执行时，使得处理器：通过相机模块获取原始图像帧；在显示器上显示与获取的原始图像帧相对应的第一预览图像帧；接收用于对基于动态色调映射的录制的请求的输入；响应于接收到该输入来执行基于动态色调映射的录制；以及，当执行基于动态色调映射的录制时，通过对在接收到该输入的时间点之后获取的第一预览图像帧执行动态色调映射处理来生成第二预览图像帧，并在显示器上显示所生成的第二预览图像帧。
根据本公开的各种实施例，存储器可以存储指令，当这些指令被执行时，使得处理器：通过转换所获取的原始图像帧中的每一个来生成录制的图像帧；分析所获取的原始图像帧中的每一个或录制的图像帧；基于分析出的结果来生成动态色调映射元数据，并执行基于动态色调映射的录制，其中，录制的图像帧和所生成的动态色调映射元数据被一起存储在存储器中。
根据本公开的各种实施例，存储器可以包括指令，当这些指令被执行时，使得处理器：将最近生成的动态色调映射元数据或者被存储在所述存储器中并具有非线性曲线形状的至少一条预览处理数据中的一条，应用于在接收到所述输入的所述时间点之后所获取的第一预览图像帧，以执行动态色调映射处理。
根据本公开的各种实施例，存储器还可以存储指令，当这些指令被执行时，使得处理器：当存在多条预览处理数据时，基于用户的选择或该电子装置的图像捕捉环境信息，来选择要被应用于在接收到输入的时间点之后的第一预览图像帧中的每一个的预览处理数据。
根据本公开的各种实施例，存储器还可以存储指令，当这些指令被执行时，使得处理器：当存在多条预览处理数据时：分析在接收到所述输入的所述时间点之后的所述第一预览图像帧的每一个；基于分析出的结果来选择所述多条预览处理数据中的一条；以及，将所选择的预览处理数据应用于在接收到所述输入的所述时间点之后的所述第一预览图像帧中的每一个。
根据本公开的各种实施例，可以通过学习来添加或更新至少一条预览处理数据。
根据本公开的各种实施例，存储器还可以存储指令，当这些指令被执行时，使得处理器：当第一预览图像帧或所生成的第二预览图像帧被显示时，控制显示器的亮度。
根据本公开的各种实施例，被配置为控制显示器的亮度的指令可以使得处理器：基于指定的亮度或指定的亮度比例来固定所述显示器的所述亮度；分析所述第一预览图像帧中的每一个，并将所述显示器的所述亮度调整为基于分析出的结果而确定的亮度；或者，将所述显示器的所述亮度调整为基于最近生成的第一动态色调映射元数据而确定的所述亮度。
根据本公开的各种实施例，被配置为控制显示器的亮度的指令可以使得处理器：基于指定的亮度、指定的亮度比例或确定的亮度来调整显示器的整个区域的亮度。
根据本公开的各种实施例，被配置为控制显示器的亮度的指令可以使得处理器：将显示器划分为多个区域，并调整显示器的每个区域的亮度。
根据本公开的各种实施例，电子装置(例如，电子装置101、201)可以包括相机模块(例如，相机模块180、280)、显示器(例如，显示模块160、显示器260)、可操作地连接到相机模块和显示器的处理器(例如，处理器120、220)以及可操作地连接到处理器的存储器(例如，存储器130、230)，其中，存储器存储指令，当这些指令被执行时，使得处理器：在所述显示器上显示与通过所述相机模块获取的原始图像帧相对应的预览图像帧；以及，响应于第一用户输入启用了基于动态色调映射的录制的功能，或响应于第二用户输入请求了所述基于动态色调映射的录制，基于在指定的亮度、指定的亮度比例、静态色调映射信息、或在接收到所述第一用户输入的时间点之后对预览图像帧的分析结果中的至少一个，来调整所述显示器的所述亮度。
根据本公开的各种实施例，存储器还可存储指令，当这些指令被执行时，使得处理器：响应于接收到该第二用户输入而执行基于动态色调映射的录制。被配置为控制显示器的亮度的指令可以使得处理器：当执行基于动态色调映射的录制的同时，基于最近生成的动态色调映射元数据并参照当前的预览图像帧，来保持经调整的亮度或重新调整显示器的亮度。
图4是示出了根据本公开的实施例的用于由电子装置在基于动态色调映射的运动图像录制期间提供预览的方法的流程图。
参照图4，在操作401中，根据实施例的电子装置(例如，图1的电子装置101或图2的电子装置201)的处理器(例如，图1的处理器120或图2的处理器220)可以控制显示器(例如，图1的显示装置160或图2的显示器260)显示第一预览图像帧。例如，当相机功能被激活时(例如，当相机应用被执行时)，处理器可以在显示器上显示与通过相机模块(例如，图1的相机模块180或图2的相机模块280)获取的原始图像帧相对应的第一预览图像帧。例如，可以通过对由处理器将通过相机模块获取的原始图像帧进行转换(例如，调整分辨率和/或大小)来将第一预览图像帧生成为适合于显示器规格。根据本公开的实施例，该转换可由图像信号处理器(例如，图2的图像信号处理器221)执行。
根据本公开的实施例，在操作403中，可以接收对开始基于动态色调映射(DTM)的录制的请求。例如，可以通过在被显示在显示器一侧上的软菜单(例如，图6E的录制按钮651)上的触摸输入、指定了基于动态色调映射(DTM)的录制的菜单项的录入、或在指定的物理键上的输入，来接收该请求。然而，本领域的技术人员可以很容易地理解，这不是限制性的。例如，通过图1的输入装置150(例如，麦克风、鼠标、键盘或数字笔)接收的各种输入也可以包括在内。
根据本公开的实施例，响应于该输入，处理器可以执行基于动态色调映射的录制。例如，处理器可以将原始图像帧存储(或者可以转换原始图像帧并将转换后的原始图像帧存储)为录制的图像帧。在另一个示例中，处理器可以分析原始图像帧或录制的图像帧，并基于分析出的结果生成动态色调映射元数据。根据本公开的实施例，图像信号处理器可以分析原始图像帧或录制的图像帧，并且处理器可以从图像信号处理器接收对原始图像帧或录制的图像帧进行分析的结果，并基于接收到的分析的结果来生成动态色调映射元数据。
根据本公开的实施例，在操作405中，在基于动态色调映射的录制期间，处理器可以生成第二预览图像帧。例如，可以通过将图像处理(例如，动态色调映射处理)应用于第一预览图像帧来生成第二预览图像帧。例如，动态色调映射处理可以是使图像与应用了动态色调映射的图像相类似的图像处理，或者可以是应用动态色调映射。第二预览图像帧的至少一部分可以在颜色、色调和/或亮度的至少一些方面与第一预览图像帧不同。
根据本公开的各种实施例，第二预览图像帧可以以各种方式生成。根据本公开的实施例，处理器可通过将由电子装置的制造商或用户指定的基础预览处理数据(被称为“默认动态色调映射元数据”)应用于第一预览图像帧来生成第二预览图像帧。这里，相同的默认动态色调映射元数据可以被应用于连续地接收到的第一预览图像帧。与其有关的各种实施例将在后面参照图5A至5D进行描述。
根据本公开的另一实施例，处理器可通过将静态色调映射信息(例如，静态色调映射元数据)应用于第一预览图像帧来生成第二预览图像帧。根据动态色调映射文件的标准，基于动态色调映射的录制图像(文件)可以包括静态色调映射信息，所述静态色调映射信息包括与在掌握(master)时的显示颜色量、白点和照度有关的信息。例如，静态色调映射信息可以被包括在动态色调映射文件的第一序列中。当对基于动态色调映射的录制的请求时，基于被包括在基于动态色调映射的录制图像(文件)中的静态色调映射信息，处理器可以将静态色调映射(例如，静态色调映射处理)应用于第一预览图像帧，以便生成第二预览图像帧。因此，与在正常标准动态范围(SDR)录制时的预览图像相比，根据实施例的电子装置可以提供进一步增强的预览图像(例如，具有增加或减少的亮度或增加的锐度的预览图像)。
根据本公开的另一实施例，处理器可以分析第一预览图像帧；基于分析出的结果来从在电子装置201制造时或通过下载被存储在存储器230中的多条预览处理数据(也被称为“动态色调映射元数据”)中选择一条预览处理数据；并将所选择的预览处理数据应用于相应的第一预览图像帧，以便生成第二预览图像帧。与其有关的各种实施例将在后面参照图6A至图6F进行描述。
根据本公开的另一实施例，在基于动态色调映射的录制期间，处理器可以将通过分析原始图像帧或录制的图像帧而生成的动态色调映射元数据应用于第一预览图像帧，以便生成第二预览图像帧。在本公开的实施例中，要被应用于第一预览图像帧的动态色调映射元数据可以是在执行基于动态色调映射的录制期间最近生成的动态色调映射元数据。例如，处理器可以将通过分析第N-1个或第N-2个原始图像帧或第N-1个或第N-2个录制的图像帧而生成的第N-1个或第N-2条动态色调映射元数据应用于第N个第一预览图像帧。这是因为当前的图像帧和预览图像帧有很大可能是相似的。与其有关的各种实施例将在后面参照图7A至图7D进行描述。
根据本公开的实施例，在操作405中，第二预览图像帧可由显示驱动集成电路(例如，DDI 261)来生成。例如，显示驱动集成电路可以从处理器(或图像信号处理器)接收第一预览图像帧，并根据上述各种方法将图像处理(例如，动态色调映射处理)应用于第一预览图像帧，以便生成第二预览图像帧。
根据本公开的实施例，在操作407中，在基于动态色调映射(DTM)的录制期间，可以通过使用显示器来显示在操作405中所生成的第二预览图像帧。
根据本公开的各种实施例，虽然在图4中没有显示，但是，当基于动态色调映射的录制功能(或基于动态色调映射的录制模式)被启用(或激活)时，或者，当基于动态色调映射的录制被请求时，处理器可以控制显示预览图像帧的显示器的亮度。例如，处理器可以基于指定的亮度或指定的亮度比例来固定显示器的亮度。例如，处理器可以将显示器的亮度固定为比在正常标准动态范围(SDR)录制时的预览的亮度更亮的指定的亮度，或者可以通过将当前的亮度乘以指定的亮度比例(例如，大于1.0的值)来将显示器的亮度调整(例如，增加)得更亮。上述两种控制显示器亮度的方式不需要对第一预览图像帧或录制的图像帧进行额外的分析，因此当基于动态色调映射的录制操作被检测到时，可以直接应用于第一预览图像。
在另一示例中，处理器可以根据预览图像帧的特征来改变显示器的亮度，或者可以基于最近生成的动态色调映射元数据并参照当前的预览图像帧来改变(或调整)显示器的亮度。在另一示例中，处理器可以基于静态色调映射信息来改变(或调整)显示器的亮度。与其有关的描述将在后面参照图8A和图8B进行。根据本公开的实施例，处理器可以使整个显示器具有相同的亮度，或者可以使显示器在其一些区域中具有不同的亮度。
虽然在图4中为了描述的方便描述了以帧为单位应用各种实施例，但是这仅仅是示例，并不限制本公开的各种实施例。例如，可以以场景为单位应用各种实施例。在这里，每个场景可以是具有在各自的帧之间不会发生很大的变化的图像数据的特征(例如，亮度或颜色)的一组帧。例如，当预定的时间时海滩的图像被捕捉，然后山的图像被捕捉，亮度的变化超过了指定的阈值，因此每个场景可以被区分。在这种情况下，在海滩的图像被捕捉的间隔(包括多个帧)和山的图像被捕捉的间隔(包括多个帧)中的每一个可以构成一个场景。
图5A是示出了根据本公开的实施例的用于由电子装置通过使用预览处理数据来提供预览的方法的流程图；图5B示出了根据本公开的实施例的存储器的配置；图5C是示出了根据本公开的实施例的预览处理数据的色调映射曲线的图；以及，图5D是示出了根据本公开的实施例的图像帧的流水线。
参照图5A、图5B、图5C和图5D，在操作501中，根据实施例的电子装置(例如，图1的电子装置101或图2的电子装置201)的处理器(例如，图1的处理器120或图2的处理器220)可以控制显示器(例如，图1的显示装置160或图2的显示器260)显示第一预览图像帧。例如，参照图5B，当相机app(应用)521被执行时，处理器可以控制图像信号处理模块524：通过相机接口522从相机模块(例如，图1的相机模块180或图2的相机模块280)接收原始图像帧，并将接收到的原始图像帧发送到预览处理模块525。处理器可以控制预览处理模块525：通过将原始图像帧进行转换(或将图像处理应用于其)(例如，过滤掉原始图像帧的噪声或调整其的分辨率和/或大小)以使原始图像帧适合于显示器规格来生成第一预览图像帧，并将所生成的第一预览图像帧作为预览图像帧528存储在存储器230的部分区域(例如，易失性存储器132)中或被包括在显示器中的缓冲存储器(未示出)中。显示器可以通过显示器接口523加载预览图像帧528，并显示第一预览图像帧。根据本公开的实施例，预览处理模块525也可以被包括在图像信号处理模块524中。
根据本公开的实施例，图像信号处理模块524可以被包括在另一硬件元件(例如，处理器或相机模块)中，或者可以作为单独的元件被实现为被包括在电子装置中的硬件(例如，图像信号处理器(ISP))，或者，预览处理模块525也可以被包括在另一硬件元件(例如，处理器或相机模块)中，或者可以作为单独的元件被实现为被包括在电子装置中的硬件(例如，多缩放器)。根据本公开的实施例，多缩放器可以被包括在图像信号处理器中。
根据本公开的实施例，在操作503中，处理器可以开始基于动态色调映射(DTM)的录制。例如，当接收到被显示在显示器一侧上的软菜单(例如，图6E的录制按钮651)上的触摸输入或在指定的物理键上的输入时，处理器可以开始基于动态色调映射的录制。参照图5B，处理器可以控制录制处理模块526：通过对原始图像帧进行转换(或将图像处理应用于其)(例如，调整分辨率和/或大小)以使原始图像帧适合于录制规格来生成录制的图像帧529，并将所生成的录制的图像帧529存储在存储器230的另一部分区域(例如，易失性存储器132或非易失性存储器134)中。根据本公开的实施例，在无需对原始图像帧进行转换的情况下，录制处理模块526可以将原始图像帧存储为录制的图像帧529。处理器可以控制录制处理模块526：分析录制的图像帧529；基于分析出的结果来生成动态色调映射元数据530；并将所生成的动态色调映射元数据530存储在存储器230的另一部分区域中。动态色调映射元数据530可以被链接(或映射)到录制的图像帧529，并被存储。根据本公开的实施例，录制处理模块526可以从图像信号处理模块524接收对原始图像帧进行分析的结果；基于接收到的分析的结果来生成动态色调映射元数据530；并存储所生成的动态色调映射元数据530。根据本公开的实施例，录制处理模块526可以当录制图像帧529的同时或在录制图像帧529之前的时间中分析第一预览图像帧，并生成动态色调映射元数据530。
根据本公开的实施例，录制处理模块526可以被包括在图像信号处理模块524中。虽然图5B示出了录制处理模块526是由处理器执行的软件，但是录制处理模块526可以被包括在另一硬件元件(例如，处理器、图像信号处理器或相机模块)中，或者可以作为单独的元件被实现为被包括在电子装置中的硬件(例如，多缩放器)。根据本公开的实施例，多缩放器可以支持预览处理功能(模块)和录制处理功能(模块)。
根据本公开的实施例，在操作505中，处理器可以识别基础预览处理数据。例如，基础预览处理数据的类型可以至少部分地与动态色调映射元数据的类型相同。在另一示例中，基础预览处理数据可以被称为“默认动态色调映射元数据”。在本公开的实施例中，所识别的基础预览处理数据可以被加载在存储器中，并被用于在基于动态色调映射的运动图像录制期间将图像处理应用于第一预览图像帧。例如，参照图5B，处理器可以控制色调映射(TM)处理模块527从存储器230加载基础预览处理数据。
根据本公开的实施例，相同的基础预览处理数据可以被应用于当执行基于动态色调映射的运动图像录制的同时生成的第一预览图像帧。在本公开的实施例中，基础预览处理数据的色调映射曲线可以是与用于根据比较例的超高清联盟(UHDA)认证的色调映射曲线不同的类型。例如，参照图5C，如具有附图标记550的图中所示，用于根据比较例的用于超高清联盟(UHDA)认证的色调映射曲线可能具有线性形状。另一方面，根据本公开的各种实施例，如具有附图标记560的图中所示，基础预览处理数据的色调映射曲线可以具有非线性的曲线形状。因此，基础预览处理数据的色调映射曲线可能具有高自由度。在图5C的色调映射曲线图中，X轴(源)指示原始图像的亮度值(nit)，Y轴(目标)指示要被显示在显示器上的亮度值。例如，参照图5C中的图，在原始图像中具有约4000nit(尼特)的亮度值的部分被显示为具有500nit的亮度值，而具有低于4000nit的亮度值的部分可以根据色调映射曲线被显示为具有各种亮度值。
根据本公开的实施例，可以存在一个或更多条基础预览处理数据。例如，存储器230可以包括多条预览处理数据531，每条预览处理数据531都有不同颜色、色调和/或亮度的组合。可以如下面的表2所示对预览处理数据531进行存储。
表2
Figure BDA0003622139790000231
在本公开的实施例中，预览处理数据531可以由制造商在制造电子装置时提供(或存储)，并且可以被更新。在另一个示例中，预览处理数据531可以由用户下载和存储。根据本公开的实施例，可以通过使用在先前的基于动态色调映射的录制时使用的色调映射曲线的平均值来生成或更新预览处理数据531。同时，表2中的预览处理数据531仅仅是示例，并不限制本公开的实施例。例如，预览处理数据531可以至少部分地与在表1中的内容相同，或者可以包括更多个元素，或者颜色、色调和/或亮度中的一些可以不被包括在预览处理数据531中。
根据本公开的实施例，当多条预览处理数据531被包括时，处理器可以根据用户输入来将多条预览处理数据531中的一条识别(或确定)为基础预览处理数据。例如，当对基于动态色调映射的录制的请求被检测到时，处理器可以显示各条预览处理数据531的列表，并基于用户的选择来识别基础预览处理数据。根据本公开的实施例，处理器可以根据图像捕捉环境信息将多条预览处理数据531中的一条识别为基础预览处理数据。图像捕捉环境信息可以由至少一个传感器(例如，图1的传感器模块176)获取。例如，图像捕捉环境信息可以包括由照度传感器和/或运动传感器获取的传感信息(例如，黑暗的环境或明亮的环境，或电子装置快速运动的动态环境)。根据本公开的实施例，当图像捕捉环境信息被改变时，处理器可以基于已改变的图像捕捉环境信息将多条预览处理数据531中的一条重新识别为基础预览处理数据。
根据本公开的实施例，在操作507中，处理器可以加载第一预览图像帧。例如，处理器可以控制色调映射(TM)处理模块527从存储器230加载第一预览图像帧。根据本公开的各种实施例，本领域技术人员可以容易地理解，与在操作501中被显示的第一预览图像帧相比，在操作507中被加载的第一预览图像帧在更晚的时间(例如，基于DTM的录制的开始时间)加载，并且，在操作507中被加载的第一预览图像帧和在操作501中被显示的第一预览图像帧可能包括彼此不同的图像数据或内容。例如，参照图5D，在操作507中被加载的第一预览图像帧可以是与第N个原始图像帧的相对应的第N个预览图像帧，并且，在操作501中被显示的第一预览图像帧可以是与在第N个预览图像帧之前的原始图像帧(例如，自从相机模块被激活时，在基于DTM的录制开始之前，通过相机模块获取的原始图像帧)相对应的第一预览图像帧。
根据本公开的实施例，在操作509中，处理器可以基于所识别的基础预览处理数据来将图像处理(例如，使图像与应用了动态色调映射的图像相类似的图像处理)应用于第一预览图像帧，以便生成第二预览图像帧。例如，参照图5B，处理器可以控制色调映射处理模块527将所识别的基础预览处理数据应用于被加载的第一预览图像帧并生成第二预览图像帧。
根据本公开的实施例，在操作511中，处理器可以执行控制以在显示器上显示所生成的第二预览图像帧。例如，处理器可以控制色调映射处理模块527通过显示器接口523将所生成的第二预览图像帧发送到显示驱动集成电路(DDI)并在显示器上将其显示。根据本公开的实施例，色调映射处理模块527可以将所生成的第二预览图像帧存储为预览图像帧528。显示器可通过显示器接口523加载预览图像帧528并显示第二预览图像帧。
根据本公开的实施例，色调映射处理模块527可以被包括在图像信号处理模块524中。同时，虽然在图5B中示出了色调映射处理模块527是软件，但是色调映射处理模块527可以被包括在另一硬件元件(例如，处理器、图像信号处理器或显示驱动集成电路(例如，DDI261))中，或者可以作为单独的元件被实现为被包括在电子装置中的硬件。
根据本公开的实施例，在操作513中，处理器可以识别基于动态色调映射的运动图像录制是否已经结束。当在操作513中识别到基于动态色调映射的运动图像录制未结束时，处理器可以返回到操作507并重复操作507至513。
另一方面，根据本公开的实施例，当在操作513中识别到基于动态色调映射的运动图像录制已经结束时，处理器可以终止显示基于动态色调映射的第二预览图像帧。
根据本公开的实施例，如图5D所示，电子装置可将基础预览处理数据应用于通过转换原始图像帧获得的第一预览图像帧，以便实时地生成和显示第二预览图像帧。同时，虽然在图5D中示出了在第一预览图像帧被生成后立即生成和显示第二预览图像帧，但是第二预览图像帧可以在预定时间(例如，根据应用了基础预览处理数据的图像处理的时间)后生成和显示。该预定时间可以是例如非常短的时间，并具有可由用户识别的值，因为预览图像是实时地显示的。
图6A是示出了根据本公开的实施例的用于由电子装置通过使用预览处理数据来提供预览的方法的流程图；图6B示出了根据本公开的实施例的存储器的配置；图6C示出了根据本公开的实施例的选择预览处理数据的操作；图6D示出了根据本公开的实施例的预览处理数据的添加和更新；图6E示出了根据本公开的实施例的用于由电子装置通过使用预览处理数据来提供预览的方法；以及，图6F示出了根据本公开的实施例的图像帧的流水线。
参照图6A、6B、图6C、图6D、图6E和图6F，在操作601中，根据实施例的电子装置(例如，图1的电子装置101或图2的电子装置201)的处理器(例如，图1的处理器120或图2的处理器220)可以控制显示器(例如，图1的显示装置160或图2的显示器260)显示第一预览图像帧。参照图6B，当相机app 621被执行时，处理器可以控制图像信号处理模块624通过相机接口622从相机模块(例如，图1的相机模块180或图2的相机模块280)接收原始图像帧，并将接收到的原始图像帧发送到预览处理模块625；并且，处理器可以控制预览处理模块625通过转换原始图像帧以使原始图像帧适合于显示规格来生成第一预览图像帧，并将所生成的第一预览图像帧存储为预览图像帧628。显示器可通过显示器接口623加载预览图像帧628以显示第一预览图像帧。例如，如在图6E的附图标记650的附图中所示，显示器可以显示第一预览图像帧。显示器可以在第一预览图像帧的一个区域上显示录制按钮651。
根据本公开的实施例，如同图5B的图像信号处理模块524和/或预览处理模块525一样，图像信号处理模块624和/或预览处理模块625可以被实现为硬件。
根据本公开的实施例，在操作603中，处理器可以开始基于动态色调映射(DTM)的录制。例如，如在图6E的附图标记650的附图中所示，当接收到被显示在显示器一侧上的录制按钮651上的触摸输入时，处理器可以开始基于动态色调映射的录制。根据本公开的实施例，当接收到在指定的物理键上的输入时，处理器可以开始基于动态色调映射的录制。操作601和603可以是类似于上述的操作501和503。例如，当基于动态色调映射的录制开始时，处理器可以控制录制处理模块626生成和存储录制的图像帧629和动态色调映射元数据630。
根据本公开的实施例，在操作605中，处理器可以分析第一预览图像帧。例如，参照图6B，处理器可以控制分析模块632加载在基于DTM的录制的开始时间点的第一预览图像帧(包括与在操作601中显示的第一预览图像数据不同的图像数据)并分析所加载的第一预览图像帧。例如，分析模块632可以通过差分脉冲编码调制(DPCM)图像分析(其中，只表示相邻像素之间的差分值)来分析第一预览图像帧。根据本公开的实施例，虽然分析模块632可以通过使用图像分析领域中的至少一种公知技术(例如，对第一预览图像帧的特征点分析、边缘分析或频域分析)来分析第一预览图像帧，但对其的分析方法不限于此。根据本公开的实施例，分析模块632可以通过使用第一预览图像帧或子采样的第一预览图像帧的部分区域(例如，以中心为基准的部分区域)来执行分析。因此，可以减少分析所需要的时间。根据本公开的实施例，分析模块632可以被包括在色调映射处理模块627中。虽然图6B示出了分析模块632是软件，但是根据本公开的实施例，分析模块632可以被包括在另一硬件元件(例如，处理器、图像信号处理器或色调映射处理器)中，或者可以作为单独的元件被实现被包括在电子装置中的硬件。
根据本公开的实施例，在操作607中，处理器可以基于分析的结果来选择一条预览处理数据631。如图6C所示，处理器可以控制选择模块633基于分析的结果来在多条预览处理数据631a、631b、631c和631d中选择要被应用于第一预览图像帧的预览处理数据。根据本公开的各种实施例，可以由制造商存储或由用户下载来生成多条预览处理数据。根据本公开的实施例，可以通过从由电影公司或工作室的专业人员掌握(或后期处理)的各条图像数据中提取特征点和/或动态色调映射元数据来生成多条预览处理数据。
根据本公开的各种实施例，多条预览处理数据中的每一条都可以被映射到与特征点相对应的值并被存储。与特征点相对应的值可以是在数据库中的图像本身的值，也可以是通过将上述用于分析或能够分析预览图像帧的方法应用于图像而获得的值中的一个值。选择模块633可以将第一预览图像帧的特征点与被映射到每一条预览处理数据的特征点进行比较，并基于分析的结果来选择具有最相似特征点的预览处理数据(例如，色调映射曲线数据)。如图6C所示，每一条预览处理数据可以例如用色调映射曲线图或具有其他形状的曲线表示。
根据本公开的实施例，根据实施例的处理器可以添加新的预览处理数据或更新存储的预览处理数据的至少一部分。例如，如图6D所示，处理器可以基于掌握的内容来执行学习，以便基于学习后的结果添加第N+1条预览处理数据631e，或者更新第三预览处理数据631c和第N条预览处理数据631d。处理器可以将特征点和色调映射曲线作为一对进行更新，以更新预览处理数据。
根据本公开的实施例，选择模块633可以被包括在分析模块632或色调映射处理模块627中。虽然图6B示出了选择模块633是软件，但是根据本公开的实施例，选择模块633可以被包括在另一硬件元件(例如，处理器、图像信号处理器或色调映射处理器)中，或者可以作为单独的元件被实现为被包括在电子装置中的硬件。
根据本公开的实施例，在操作609中，处理器可以基于所选择的预览处理数据来将图像处理(例如，使图像与应用动态色调映射的图像相类似的图像处理可以被应用)应用于第一预览图像帧，并生成第二预览图像帧。例如，参照图6B，处理器可以控制色调映射处理模块627将所选择的基础预览处理数据应用于第一预览图像帧，以便生成第二预览图像帧。根据本公开的实施例，与图5B的色调映射处理模块527相类似的色调映射处理模块627可以被包括在图像信号处理模块624中，或者可以被实现为硬件。
根据本公开的实施例，在操作611中，处理器可以控制显示器显示所生成的第二预览图像帧。例如，如图6E的附图标记660的附图中所示，处理器可以控制显示器显示第二预览图像帧。在另一示例中，处理器可以在显示器的一侧(例如，左上端)上显示指示基于动态色调映射的录制状态的指示符661。在另一示例中，处理器可以将录制按钮651改变为用于停止录制的停止按钮653。在另一示例中，处理器可以在显示屏的一侧(例如，底部中心)上显示录制时间。参照附图标记650和660的附图，预览处理数据(第一预览处理数据)被应用于第一预览图像帧，因此第二预览图像帧的区域(例如附图标记663的区域)的至少一部分的图像质量可以改变(例如，亮度可以增加或减少，或者锐度可以增加)。例如，第二预览图像帧可以包括在第一预览图像帧中未被显示的至少一个对象。例如，第一预览处理数据(例如，动态色调映射)被应用于黑暗部分或由于亮光或黑暗而在第一预览图像帧中以白色表示的部分(例如，发生白洞现象的部分)，因此在第一预览图像帧中未被显示的至少一个对象可在第二预览图像帧中被显示。
根据本公开的实施例，在操作613中，处理器可以识别基于动态色调映射的录制是否已经结束。当在操作613中识别到基于动态色调映射的录制未结束时，处理器可以返回到操作605并重复操作605至613。例如，处理器可以加载和分析下一个第一预览图像帧操作605；基于分析操作607的结果来选择预览处理数据(第二预览处理数据)，并基于所选择的第二预览处理数据来生成(操作609)和显示(操作611)第二预览图像帧。例如，参照附图标记670和680，第二预览处理数据被应用于下一个第一预览图像帧，并且因此第二预览图像帧的至少一部分的区域(例如，附图标记665的区域)的图像质量可能改变(例如，亮度可能增加或减少，或锐度可能增加)，并且附图标记663的区域的图像质量可能进一步改变(例如，锐度的增加或颜色的改变(例如，根据亮度的改变，颜色变得更暗或更亮))。
根据本公开的实施例，可以通过使用状态栏或与预览被显示的层(以下称为“预览层”)不同的层(以下称为“UI层”)来显示与基于动态色调映射的录制有关的至少一些UI对象(例如，录制按钮651、停止按钮653、指示符661和录制时间)。当接收到用户输入(例如，对预览画面进行触摸)时，UI层或状态栏可以被显示在屏幕上(例如，可以通过与预览层重叠来显示UI层，或者可以从屏幕的上端向下端可滑动地显示状态栏)，并可以在预定的时间后消失。
根据本公开的实施例，如图6F所示，电子装置可以将基于对通过转换原始图像帧获得的第一预览图像帧进行分析的结果而选择的预览处理数据应用于第一预览图像帧，并且可以实时地生成和显示第二预览图像帧。根据本公开的实施例，第N条预览处理数据、第N+1条预览处理数据、第N+2条预览处理数据和/或第N+3条预览处理数据中的至少一条可以彼此不同。在另一示例中，作为与原始帧相对应的另一示例，图像数据可以被包括。同时，当对第N个第一预览图像帧、第N+1个第一预览图像、第N+2个第一预览图像帧和/或第N+3个第一预览图像的分析的结果指示这些帧彼此相同或相似时，第N条预览处理数据、第N+1条预览处理数据、第N+2条预览处理数据和/或第N+3条预览处理数据可以是相同的预览处理数据。
虽然图6F示出了第二预览图像帧和各条预览处理数据被定位在相同的时间轴上，但是第二预览图像帧可以被定位为根据应用了预览处理数据而被延迟了一图像处理时间量。
图7A是示出了根据本公开的实施例的用于由电子装置通过使用在基于动态色调映射的运动图像录制期间所生成的动态色调映射元数据来提供预览的方法的流程图；图7B示出了根据本公开的实施例的存储器的配置；图7C示出了根据本公开的实施例的用于由电子装置通过使用在基于动态色调映射的运动图像录制期间所生成的动态色调映射元数据来提供预览的方法；图7D示出了根据本公开的实施例的图像帧的流水线。
参照图7A、7B、7C和7D，根据本公开的实施例，在操作701中，电子装置(例如，图1的电子装置101或图2的电子装置201)的处理器(例如，图1的处理器120或图2的处理器220)可以控制显示器(例如，图1的显示装置160或图2的显示器260)显示第一预览图像帧。参照图7B，当相机app 721被执行时，处理器可以控制图像信号处理模块724通过相机接口722从相机模块(例如，图1的相机模块180或图2的相机模块280)接收原始图像帧，并将接收到的原始图像帧发送到预览处理模块725，并且可以控制预览处理模块725通过转换原始图像帧以使原始图像帧来将第一预览图像帧生成为适合于显示规格，并将所生成的第一预览图像帧存储为预览图像帧728。显示器可通过显示器接口723加载预览图像帧728以显示第一预览图像帧。例如，如图7C的附图标记750的附图中所示，处理器可以在显示器上显示第一预览图像帧。根据本公开的实施例，与图5B的图像信号处理模块524和/或预览处理模块525相类似，图像信号处理模块724和/或预览处理模块725可以被实现为硬件。
根据本公开的实施例，在操作703中，处理器可以开始基于动态色调映射(DTM)的录制。操作701和703可以是类似于上面描述的操作501和503。例如，当基于动态色调映射的录制开始时，处理器可以控制录制处理模块726生成和存储录制的图像帧729和动态色调映射元数据730。根据本公开的实施例，如图7C的附图标记760的附图中所示，由于生成动态色调映射元数据所需的时间，所以可以在基于动态色调映射的录制开始后的预定时间(例如1-2帧)内不显示第二预览图像帧而是显示第一预览图像帧。根据本公开的实施例，在基于动态色调映射的录制开始后的预定时间内，可以通过使用图5A至5D或图6A至6F中的实施例的一个实施例来显示第二预览图像帧。根据本公开的实施例，与图5B的录制处理模块526相类似，录制处理模块726可以被包括在图像信号处理模块724中，或者可以被实现为硬件。
根据本公开的实施例，在操作705中，处理器可以加载第一预览图像帧。例如，处理器可以控制色调映射处理模块727从存储器230加载第一预览图像帧。操作705可以是类似于上面描述的操作507。根据本公开的实施例，与图5B的色调映射处理模块527相类似，色调映射处理模块727可以被包括在图像信号处理模块724中，或者可以被实现为硬件。
根据本公开的实施例，在操作707中，处理器可以确定最近存储的动态色调映射元数据。例如，如图7B所示，处理器可以控制色调映射处理模块727从由录制处理模块726生成和存储的动态色调映射元数据730中将最近存储的动态色调映射元数据确定为要被应用于第一预览图像帧的动态色调映射元数据。根据本公开的实施例，关于所确定的动态色调映射元数据，例如，如图7D所示，如果在动态色调映射元数据被生成为从原始图像帧延迟约1帧的情况下，在显示第N+1个第一预览图像帧的期间或在显示第N+1个第一预览图像帧的时间时，可以完成通过分析第N个原始图像帧(或第N个录制图像帧)来生成第N条动态色调映射元数据。根据本公开的各种实施例，第N条动态色调映射元数据可以被确定为要被应用于第N+2个第一预览图像帧的动态色调映射元数据。根据本公开的实施例，当在第N+1个第一预览图像帧被显示之前结束了生成第N条动态色调映射元数据时，第N条动态色调映射元数据可以被确定为要被应用于第N+1个第一预览图像帧的动态色调映射元数据。所确定的动态色调映射元数据可以被发送到色调映射处理模块727(或者可以由色调映射处理模块727加载)。所确定的色调映射元数据可以被作为预览处理数据使用。
根据本公开的实施例，在操作709中，处理器可以基于所确定的动态色调映射元数据来将图像处理(例如，动态色调映射处理)应用于所加载的第一预览图像帧，以生成第二预览图像帧。例如，处理器可以控制色调映射处理模块727将所确定的动态色调映射元数据(例如，色调映射曲线)应用于所加载的第一预览图像帧，并生成第二预览图像帧。
根据本公开的实施例，在操作711中，处理器可以执行控制，以显示所生成的第二预览图像帧。例如，如图7C的附图标记770的附图中所示，处理器可以控制显示器，以显示第二预览图像帧。所确定的动态色调映射元数据被应用于第二预览图像帧的至少一部分区域(例如，附图标记771的区域)，并且其图像质量可以改变(例如，亮度可以增加或减少，或者锐度可以增加)。例如，第二预览图像帧可以包括第一预览图像帧中未显示的至少一个对象。根据本公开的实施例，在操作713中，处理器可以识别基于动态色调映射的录制是否已经结束。当在操作713中识别到基于动态色调映射的录制未结束时，处理器可以返回到操作705并重复操作705至713。例如，参照附图标记780的附图，其他动态色调映射元数据被应用于第一预览图像帧，附图标记771的区域的图像质量可能会改变(例如，锐度的增加或颜色的变化(例如，根据亮度的变化，颜色变得更暗或更亮))。根据本公开的实施例，可以使用状态栏或与预览层相区分的UI层来显示与基于动态色调映射的录制有关的UI对象的至少一部分。该UI层或状态栏可以在用户输入(例如，对预览画面进行触摸时)时被显示在屏幕上(例如，可以通过与预览层重叠来显示UI层，或者可以从屏幕的上端向下端可滑动地显示状态栏)，并且可以在预定的时间后消失。
根据本公开的实施例，如图7D所示，电子装置可以从通过分析原始图像帧而生成的多条动态色调映射元数据中并参照当前显示的第一预览图像帧(或将在下一帧上显示的第一预览图像帧)，将最近生成的动态色调映射元数据应用于第一预览图像帧。
根据本公开的实施例，当场景变化被检测到时，可以从在场景变化后生成的动态色调映射元数据中选择：要在场景变化后被应用于第一预览图像帧的动态色调映射元数据。在这种情况下，直到在场景变化后初始动态色调映射元数据被生成时，如图5A至5D所示，基础预览处理数据可以被应用于第一预览图像帧；或者如图6A至6F所示，在分析第一预览图像帧之后所选择的预览处理数据可以被应用于第一预览图像帧。
虽然图7D示出了第二预览图像帧和第一预览图像帧沿时间轴定位在相同的点处，但是第二预览图像帧可以被定位为由于应用了动态色调映射元数据而被延迟了一时间量。
图8A是示出了根据本公开的实施例的用于由电子装置来调整预览图像的亮度的方法的流程图；以及，图8B示出了根据本公开的实施例的用于由电子装置来调整预览图像的亮度的方法。
参照图8A和图8B，在操作801中，根据实施例的电子装置(例如，图1的电子装置101或图2的电子装置201)的处理器(例如，图1的处理器120或图2的处理器220)可以控制显示器(例如，图1的显示装置160或图2的显示器260)显示第一预览图像帧。例如，当相机功能被激活时(例如，当相机应用被执行时)，处理器可以在显示器上显示与通过相机模块(例如，图1的相机模块180或图2的相机模块280)获取的原始图像帧相对应的预览图像帧。通过由处理器对通过相机模块获取的原始图像帧进行转换(例如，过滤原始图像帧的噪声或调整其分辨率和/或大小)，可以将预览图像帧生成为适合于显示规格。根据本公开的实施例，该转换可由图像信号处理器(例如，图像信号处理器221)执行。
根据本公开的实施例，在操作803中，处理器可以开始基于动态色调映射(DTM)的录制。例如，响应于接收到对开始基于动态色调映射(DTM)的录制的请求，处理器可以开始基于动态色调映射(DTM)的录制。可以通过显示在显示器一侧是的软菜单(例如，图6E的录制按钮651)上的触摸输入或在指定的物理键上的输入来接收该请求。
当基于动态色调映射的录制开始时，在操作805中，处理器可以执行基于动态色调映射的录制。例如，处理器可以将原始图像帧存储(或者可以转换原始图像帧并将转换后的原始图像帧存储)为录制的图像帧。此外，处理器可以分析原始图像帧或录制的图像帧，以基于分析出的结果来生成动态色调映射元数据。根据本公开的实施例，处理器可以从图像信号处理器接收对原始图像帧或录制的图像帧进行分析的结果，并基于收到的分析的结果来生成动态色调映射元数据。
根据本公开的实施例，在操作807中，处理器可以调整显示器的亮度。例如，处理器可以基于指定的亮度或指定的亮度比例来调整显示器的亮度。指定的亮度和指定的亮度比例可以是由制造商配置的值或由用户配置的值。指定的亮度和指定的亮度比例可以由制造商或用户更新。
根据本公开的实施例，处理器可以分析原始图像帧、录制的图像帧或预览图像帧，并根据分析出的结果来调整显示器的亮度。例如，处理器可以通过使用在特征点分析、DPCM图像分析、边缘分析或频域分析中的至少一个来分析预览图像帧，并根据分析出的结果来调整显示器的亮度。在本公开的各种实施例中，用于分析图像帧的方法不限于此。
根据本公开的另一实施例，处理器可以基于静态色调映射信息来调整显示器的亮度。
根据本公开的另一实施例，处理器可以基于最近生成的动态色调映射元数据并参照当前的预览图像帧(或将要被显示的预览图像帧)来调整显示器的亮度。例如，如图8B所示，处理器可以基于第N-1条动态色调映射元数据或第N条动态色调映射元数据来调整第N+1个预览图像帧的亮度或第N+2个预览图像帧的亮度。例如，处理器可以基于通过分析第N-1条动态色调映射元数据或第N条动态色调映射元数据而获得的至少一条信息(例如百分位信息、百分比信息或色调映射曲线信息)来调整第N+1个预览图像帧的亮度或第N+2个预览图像帧的亮度。该信息可以指具有指定值或在指定范围内的亮度值的像素与当前帧的比例。
根据本公开的另一实施例，基于在指定的亮度、指定的亮度比例、静态色调映射信息、对预览图像帧进行分析的结果或最近的动态色调映射元数据中的至少一个，处理器可以调整显示器的亮度。
根据本公开的另一实施例，处理器可以将显示器的整个区域的亮度调整为由上述各种方法所确定的亮度。根据本公开的另一实施例，处理器可以将显示器的部分区域的亮度调整为由上述各种方法所确定的亮度。显示器的部分区域可以包括每一个像素具有指定的值的一组像素，每一个像素具有在指定范围内的值的一组像素，和/或通过图像分析而检测到的对象的内部区域。根据本公开的另一实施例，处理器可以将显示器划分为多个区域，并调整多个区域中的每一个的亮度。例如，不同的多条动态色调映射元数据可以应用于一个图像帧。每一条动态色调映射元数据可以被配置为具有不同的窗口范围，并因此被配置为调整预览图像帧的相应区域的亮度。
根据本公开的实施例，在操作809中，处理器可以识别基于动态色调映射的录制是否已经结束。当在操作809中识别到基于动态色调映射的录制未结束时，处理器可以返回到操作805并重复上述操作。当在操作809中识别到基于动态色调映射的录制已经结束时，处理器可以结束调整预览图像的亮度的过程。
在上述图8A和8B中的用于调整亮度的方法可以与在上述图5A至7D中的生成第二预览图像帧一起应用，或者可以同时地应用，或者可以随后应用。
虽然上面作为示例示出了当执行基于动态色调映射的录制的同时调整显示器的亮度的情况，但是当选择基于动态色调映射的录制的菜单项时也可以执行调整显示器的亮度的方法。例如，当基于动态色调映射的录制功能(或基于动态色调映射的录制模式)时，处理器可以基于指定的亮度、指定的亮度比例、静态色调映射信息、或当接收到第一用户输入的时间点之后(之前紧接着)的对预览图像帧进行分析的结果中的至少一个来调整显示器的亮度。在这种情况下，基于动态色调映射的录制功能被启用的状态与基于动态色调映射的录制的待机状态相对应(在触摸到录制按钮时录制被执行)，并且可以通过调整显示器的亮度来提供与应用了动态色调映射处理的图像相类似的预览图像。
处理器可以接收用于对基于动态色调映射的录制的请求的第二用户输入；响应该第二用户输入来执行基于动态色调映射的录制；并且在该录制期间，基于最近生成的动态色调映射元数据并参照当前的预览图像帧，来保持调整后的亮度或重新调整显示器的亮度。
在本公开的上述实施例中，可以在调整显示器的亮度时改变预览图像帧的质量，其中预览图像帧的质量被调整为与通过基于动态色调映射的录制而生成的运动图像的质量相类似。因此，根据实施例的电子装置可以减少在预览图像的质量和录制的图像的质量之间的差异。
根据本公开的各种实施例，用于由电子装置(例如，电子装置101、201)提供预览的方法可以包括：通过相机模块(例如，相机模块180、280)获取原始图像帧；在显示器(例如。显示模块160、显示器260)上显示与所获取的原始图像帧相对应的第一预览图像帧；接收用于对基于动态色调映射的录制的请求的输入；响应于接收到该输入来执行基于动态色调映射的录制；以及，当执行基于动态色调映射的录制的同时，通过对在接收到该输入的时间点之后获取的第一预览图像帧执行动态色调映射处理来生成第二预览图像帧，并在显示器上显示所生成的第二预览图像帧。
根据本公开的各种实施例，执行基于动态色调映射的录制可以包括：通过转换所获取的原始图像帧中的每一个来生成录制的图像帧；分析所获取的原始图像帧中的每一个或录制的图像帧；基于分析出的结果来生成动态色调映射元数据；以及，将所生成的录制的图像帧和所生成的动态色调映射元数据一起存储在存储器中。
根据本公开的各种实施例，应用动态色调映射处理可以包括：将最近生成的动态色调映射元数据或者在被存储在存储器中并且具有非线性曲线形状的至少一条预览处理数据中的一条，应用于在接收到该输入的时间点之后获取的第一预览图像帧。
根据本公开的各种实施例，该方法还可以包括：当存在多条预览处理数据时，基于用户的选择或电子装置的图像捕捉环境信息，来选择在接收到该输入的时间点之后要被应用于第一预览图像帧的预览处理数据。
根据本公开的各种实施例，该方法还可以包括当存在多条预览处理数据时：分析在接收到该输入的时间点之后的第一预览图像帧中的每一个；基于分析出的结果来选择多条预览处理数据中的一条；以及，将所选择的预览处理数据应用于在接收到该输入的时间点之后的第一预览图像帧中的每一个。
根据本公开的各种实施例，该方法还可以包括：当第一预览图像帧或所生成的第二预览图像帧被显示时，控制显示器的亮度。
根据本公开的各种实施例，控制显示器的亮度还可以包括以下步骤中的一项：基于指定的亮度或指定的亮度比例来固定显示器的亮度；分析第一预览图像帧中的每一个；基于分析出的结果来确定显示器的亮度，并将显示器的亮度调整为所确定的亮度；或者，基于最近生成的第一动态色调映射元数据来确定显示器的亮度，并将显示器的亮度调整为所确定的亮度。
根据本公开的各种实施例，控制显示器的亮度可以包括：将显示器的整个区域的亮度调整为指定的亮度、指定的亮度比例或确定的亮度；或者将显示器划分为多个区域，并调整显示器的多个区域中的每一个的亮度。
根据各种实施例的电子装置可以实时地提供与应用了动态色调映射的图像相类似的预览图像，或者应用了动态色调映射的预览图像。因此，根据本公开的各种实施例，预览图像的质量可以与存储的图像的质量相同或相似。根据各种实施例的电子装置的用户可以通过预览图像容易地识别存储的图像的质量。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如与本公开的各种实施例关联使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器生成的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时生成的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的部件中。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
尽管已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不背离所附的权利要求书及其等同形式所限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的各种改变。

Claims (15)

1.一种电子装置，所述电子装置包括：
相机模块；
显示器；
处理器，所述处理器与所述相机模块和所述显示器可操作地连接；
存储器，所述存储器与所述处理器可操作地连接；
其中，所述存储器存储有当被执行时使得所述处理器执行以下操作的指令：
通过所述相机模块获取原始图像帧；
在所述显示器上显示与所获取的原始图像帧相对应的第一预览图像帧；
接收用于请求基于动态色调映射的录制的输入；
响应于接收到所述输入来执行所述基于动态色调映射的录制；以及
在执行所述基于动态色调映射的录制的过程中，通过对在接收到所述输入的时间点之后所获取的第一预览图像帧执行动态色调映射处理来生成第二预览图像帧，并在所述显示器上显示所生成的第二预览图像帧。
2.根据权利要求1所述的电子装置，其中，所述存储器还存储有当被执行时使得所述处理器执行以下操作的指令：
通过转换每一个所获取的原始图像帧来生成录制的图像帧；
分析每一个所获取的原始图像帧或录制的图像帧；
基于所述分析的结果来生成动态色调映射元数据；以及
执行所述基于动态色调映射的录制，其中，所录制的图像帧和所生成的动态色调映射元数据被一起存储在所述存储器中。
3.根据权利要求1所述的电子装置，其中，所述存储器还存储有当被执行时使得所述处理器执行以下操作的指令：
将最近生成的动态色调映射元数据或者被存储在所述存储器中并具有非线性曲线形状的至少一条预览处理数据中的一条，应用于在接收到所述输入的时间点之后所获取的第一预览图像帧，以执行所述动态色调映射处理。
4.根据权利要求3所述的电子装置，其中，所述存储器还存储有当被执行时使得所述处理器执行以下操作的指令：
当存在多条预览处理数据时，基于用户的选择或所述电子装置的图像捕捉环境信息，来选择要被应用于在接收到所述输入的时间点之后的每一个所述第一预览图像帧的预览处理数据。
5.根据权利要求3所述的电子装置，其中，所述存储器还存储有当被执行时使得当存在多条预览处理数据时所述处理器执行以下操作的指令：
分析在接收到所述输入的时间点之后的每一个所述第一预览图像帧；
基于所述分析的结果来选择所述多条预览处理数据中的一条；以及
将所选择的预览处理数据应用于在接收到所述输入的时间点之后的每一个所述第一预览图像帧。
6.根据权利要求1所述的电子装置，其中，所述储器还存储有当被执行时使得所述处理器执行以下操作的指令：
当所述第一预览图像帧或所生成的第二预览图像帧被显示时，控制所述显示器的亮度。
7.根据权利要求6所述的电子装置，其中，被配置为控制所述显示器的所述亮度的指令进一步使得所述处理器：
基于指定的亮度或指定的亮度比例来固定所述显示器的亮度；
分析每一个所述第一预览图像帧，并将所述显示器的亮度调整为基于分析出的结果而确定的亮度；或者
将所述显示器的亮度调整为基于最近生成的第一动态色调映射元数据而确定的亮度。
8.根据权利要求7所述的电子装置，其中，被配置为控制所述显示器的所述亮度的指令进一步使得所述处理器：
将所述显示器的整个区域的亮度调整为指定的亮度、指定的亮度比例或确定的亮度；或者
将所述显示器划分为多个区域，并调整所述显示器的每个区域的亮度。
9.一种用于由电子装置提供预览的方法，所述方法包括：
通过相机模块获取原始图像帧；
在显示器上显示与所获取的原始图像帧相对应的第一预览图像帧；
接收用于请求基于动态色调映射的录制的输入；
响应于接收到所述输入来执行所述基于动态色调映射的录制；以及
在执行所述基于动态色调映射的录制的过程中，通过对在接收到所述输入的时间点之后所获取的第一预览图像帧执行动态色调映射处理来生成第二预览图像帧，并在所述显示器上显示所生成的第二预览图像帧。
10.根据权利要求9所述的方法，其中，所述执行基于所述动态色调映射的录制包括：
通过转换每一个所获取的原始图像帧来生成录制的图像帧；
分析每一个所获取的原始图像帧或录制的图像帧；
基于所述分析的结果来生成动态色调映射元数据；以及
将所生成的录制的图像帧和所生成的动态色调映射元数据一起存储在存储器中。
11.根据权利要求9所述的方法，其中，应用所述动态色调映射处理包括：
将最近生成的动态色调映射元数据或者被存储在所述存储器中并具有非线性曲线形状的至少一条预览处理数据中的一条，应用于在接收到所述输入的时间点之后所获取的第一预览图像帧。
12.根据权利要求11所述的方法，所述方法进一步包括：当存在多条预览处理数据时，基于用户的选择或所述电子装置的图像捕捉环境信息，来选择要被应用于在接收到所述输入的时间点之后的所述第一预览图像帧的预览处理数据。
13.根据权利要求11所述的方法，所述方法进一步包括，当存在多条预览处理数据时：
分析在接收到所述输入的时间点之后的每一个所述第一预览图像帧；
基于所述分析的结果来选择所述多条预览处理数据中的一条；以及
将所选择的预览处理数据应用于在接收到所述输入的时间点之后的每一个所述第一预览图像帧。
14.根据权利要求9所述的方法，所述方法进一步包括：
当所述第一预览图像帧或所生成的第二预览图像帧被显示时，控制所述显示器的亮度。
15.根据权利要求14所述的方法，其中，控制所述显示器的亮度包括以下中的一者：
基于指定的亮度或指定的亮度比例来固定所述显示器的亮度；
分析每一个所述第一预览图像帧，基于分析出的结果来确定所述显示器的亮度，并将所述显示器的亮度调整为所确定的亮度；或者
基于最近生成的第一动态色调映射元数据来确定所述显示器的亮度，并将所述显示器的亮度调整为所确定的亮度。
CN202080076304.XA 2019-11-01 2020-10-29 用于提供预览的方法和用于显示预览的电子装置 Active CN114631306B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0138961 2019-11-01
KR1020190138961A KR102664723B1 (ko) 2019-11-01 2019-11-01 프리뷰를 제공하는 방법 및 프리뷰를 표시하는 전자 장치
PCT/KR2020/014889 WO2021086040A1 (en) 2019-11-01 2020-10-29 Method for providing preview and electronic device for displaying preview

Publications (2)

Publication Number Publication Date
CN114631306A true CN114631306A (zh) 2022-06-14
CN114631306B CN114631306B (zh) 2024-05-28

Family

ID=75689162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080076304.XA Active CN114631306B (zh) 2019-11-01 2020-10-29 用于提供预览的方法和用于显示预览的电子装置

Country Status (5)

Country Link
US (1) US11477383B2 (zh)
EP (1) EP4011058A4 (zh)
KR (1) KR102664723B1 (zh)
CN (1) CN114631306B (zh)
WO (1) WO2021086040A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7073715B2 (ja) * 2017-12-28 2022-05-24 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
KR20210001762A (ko) * 2019-06-28 2021-01-06 삼성전자주식회사 영상을 처리하는 전자 장치 및 그 영상 처리 방법
US11908109B1 (en) * 2019-11-04 2024-02-20 madVR Holdings LLC Enhanced video processor
DE102021117397A1 (de) * 2020-07-16 2022-01-20 Samsung Electronics Co., Ltd. Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren
CN112911387A (zh) * 2021-01-29 2021-06-04 联想(北京)有限公司 处理方法及处理装置
WO2022246752A1 (en) * 2021-05-27 2022-12-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of generating an image, electronic device, apparatus, and computer readable storage medium
KR102367853B1 (ko) * 2021-09-15 2022-02-25 주식회사 이너스시스템 맞춤형 스튜디오 구축 방법

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110292246A1 (en) * 2010-05-25 2011-12-01 Apple Inc. Automatic Tone Mapping Curve Generation Based on Dynamically Stretched Image Histogram Distribution
CN103888669A (zh) * 2012-12-21 2014-06-25 辉达公司 相机控制的方法
CN104521227A (zh) * 2012-08-03 2015-04-15 三星电子株式会社 图像处理方法和设备
US20150262341A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated System and method for multi-frame temporal de-noising using image alignment
US20170006230A1 (en) * 2015-07-03 2017-01-05 Samsung Electronics Co., Ltd. Dynamic preview display method of electronic device and electronic device thereof
CN106375637A (zh) * 2015-07-21 2017-02-01 Lg电子株式会社 移动终端及其控制方法
WO2017142302A1 (en) * 2016-02-18 2017-08-24 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
WO2018043853A1 (ko) * 2016-09-05 2018-03-08 엘지전자 주식회사 Hdr 영상 촬영 장치 및 그 제어 방법
CN107872662A (zh) * 2016-09-22 2018-04-03 三星显示有限公司 显示设备
US20180139429A1 (en) * 2015-05-11 2018-05-17 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method based on metadata
US20190052790A1 (en) * 2017-08-10 2019-02-14 Lg Electronics Inc. Mobile terminal

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101648762B1 (ko) * 2009-11-03 2016-08-18 한양대학교 산학협력단 입력 영상의 동적 범위를 변환하는 방법 및 장치
WO2016104386A1 (ja) 2014-12-26 2016-06-30 オリンパス株式会社 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
US10242627B2 (en) 2015-05-12 2019-03-26 Dolby Laboratories Licensing Corporation Backlight control and display mapping for high dynamic range images
KR20170098089A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
US9961236B2 (en) * 2016-06-13 2018-05-01 Gopro, Inc. 3D color mapping and tuning in an image processing pipeline
WO2018118120A1 (en) * 2016-12-23 2018-06-28 Aware, Inc. Analysis of reflections of projected light in varying colors, brightness, patterns, and sequences for liveness detection in biometric systems
CN109691119B (zh) * 2017-06-21 2022-04-19 松下知识产权经营株式会社 影像显示系统及影像显示方法
US11030728B2 (en) * 2018-05-29 2021-06-08 Apple Inc. Tone mapping techniques for increased dynamic range

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110292246A1 (en) * 2010-05-25 2011-12-01 Apple Inc. Automatic Tone Mapping Curve Generation Based on Dynamically Stretched Image Histogram Distribution
CN104521227A (zh) * 2012-08-03 2015-04-15 三星电子株式会社 图像处理方法和设备
CN103888669A (zh) * 2012-12-21 2014-06-25 辉达公司 相机控制的方法
US20150262341A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated System and method for multi-frame temporal de-noising using image alignment
US20180139429A1 (en) * 2015-05-11 2018-05-17 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method based on metadata
US20170006230A1 (en) * 2015-07-03 2017-01-05 Samsung Electronics Co., Ltd. Dynamic preview display method of electronic device and electronic device thereof
CN106375637A (zh) * 2015-07-21 2017-02-01 Lg电子株式会社 移动终端及其控制方法
WO2017142302A1 (en) * 2016-02-18 2017-08-24 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
WO2018043853A1 (ko) * 2016-09-05 2018-03-08 엘지전자 주식회사 Hdr 영상 촬영 장치 및 그 제어 방법
CN107872662A (zh) * 2016-09-22 2018-04-03 三星显示有限公司 显示设备
US20190052790A1 (en) * 2017-08-10 2019-02-14 Lg Electronics Inc. Mobile terminal

Also Published As

Publication number Publication date
US11477383B2 (en) 2022-10-18
WO2021086040A1 (en) 2021-05-06
EP4011058A1 (en) 2022-06-15
CN114631306B (zh) 2024-05-28
KR20210053096A (ko) 2021-05-11
KR102664723B1 (ko) 2024-05-09
US20210136297A1 (en) 2021-05-06
EP4011058A4 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
CN114631306B (zh) 用于提供预览的方法和用于显示预览的电子装置
US10924677B2 (en) Electronic device and method for providing notification related to image displayed through display and image stored in memory based on image analysis
US20230188831A1 (en) Electronic device and method for generating image by applying effect to subject and background
US11563889B2 (en) Electronic device and method for controlling camera using external electronic device
US11386866B2 (en) Electronic device and screen refresh method thereof
US11102409B2 (en) Electronic device and method for obtaining images
US11416974B2 (en) Image processing method and electronic device supporting the same
US20230262321A1 (en) Electronic device and operating method thereof
US20230209193A1 (en) Image stabilization method and electronic device therefor
US20200310637A1 (en) Electronic device performing function according to gesture input and operation method thereof
US20230410268A1 (en) Method for providing image, and electronic device supporting same
US20230262318A1 (en) Method for taking photograph by using plurality of cameras, and device therefor
US20230274389A1 (en) Method for providing image and electronic device for supporting same
US20230141559A1 (en) Method for providing image and electronic device supporting the same
US20220345638A1 (en) Electronic device and method for controlling screen thereof
US11467673B2 (en) Method for controlling camera and electronic device therefor
KR20210155961A (ko) 전자 장치 및 전자 장치의 동작 방법
US11843874B2 (en) Electronic device including under display camera and operating method thereof
US20240037722A1 (en) Electronic device for encoding video, and control method therefor
US20230412920A1 (en) Method for executing application, and electronic device supporting same
US20230396889A1 (en) Image capturing method for electronic device, and electronic device therefor
US20240098347A1 (en) Electronic device comprising image sensor and dynamic vision sensor, and operating method therefor
KR20230065034A (ko) Hdr 이미지들을 촬영하는 전자 장치와 이의 동작 방법
KR20240062861A (ko) 광원 객체 이미지 처리 방법 및 장치
KR20240002871A (ko) 카메라를 포함하는 전자 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant