CN116342384A - 电子装置和生成高清晰度图像的方法 - Google Patents

电子装置和生成高清晰度图像的方法 Download PDF

Info

Publication number
CN116342384A
CN116342384A CN202211651954.XA CN202211651954A CN116342384A CN 116342384 A CN116342384 A CN 116342384A CN 202211651954 A CN202211651954 A CN 202211651954A CN 116342384 A CN116342384 A CN 116342384A
Authority
CN
China
Prior art keywords
image data
image
electronic device
data
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211651954.XA
Other languages
English (en)
Inventor
李在城
李正局
宋成旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220096267A external-priority patent/KR20230095782A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116342384A publication Critical patent/CN116342384A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array

Abstract

提供一种电子装置和生成高清晰度图像的方法。所述电子装置包括：图像传感器，在接收到外部光时生成第一图像数据，基于第一图像数据生成第二图像数据，并且输出第一图像数据和第二图像数据；以及应用处理器，使用机器学习算法来提高与第一图像数据对应的图像的至少一个区域的分辨率，并且输出第三图像数据，第三图像数据包括第二图像数据的至少一部分和具有提高的分辨率的第一图像数据的至少一部分。

Description

电子装置和生成高清晰度图像的方法
本申请要求于2021年12月22日在韩国知识产权局提交的第10-2021-0185409号韩国专利申请和于2022年8月2日在韩国知识产权局提交的第10-2022-0096267号韩国专利申请的优先权，所述两个韩国专利申请的全部内容通过引用全部包含于此。
技术领域
发明构思的实施例涉及一种电子装置，并且更具体地，涉及一种使用电子装置生成高清晰度图像的方法。
背景技术
图像传感器可捕获对象的二维(2D)或三维(3D)图像。图像传感器使用响应于从对象反射的光的强度的光电转换元件来生成对象的图像。近来，随着互补金属氧化物半导体(CMOS)技术的发展，使用CMOS的CMOS图像传感器已经被广泛地使用。图像传感器包括像素阵列，并且由于图像传感器用大量的像素来实现，所以像素阵列包括大量彩色像素。为了将从图像传感器输出的原始图像(raw image)转换为图案(诸如，RGB图像)，基于内插和/或外插的马赛克重排(remosaic)处理被执行。
图像传感器使用合并像素(merged pixel)和图像信号处理器(ISP)操作功能以生成高清晰度图像。电子装置使用合并像素(诸如，四合一像素单元(tetra cell，或称为四像素合一单元、像素四合一单元)和四(Q)单元来生成高清晰度图像。图像传感器执行的ISP操作功能包括诸如，插值、自动白平衡调节、颜色校正和伽马校正的功能。
为了使图像传感器生成复杂图像(诸如，具有许多边缘的图像)作为高清晰度图像，图像传感器需要处理大量的信息。作为如上所述的用于处理大量的信息的方法之一，电子装置使用机器学习生成复杂图像作为高清晰度图像。电子装置使用例如人工神经网络生成高清晰度图像。人工神经网络(机器学习的子集)是机器学习算法的核心，并且包括一个输入层、一个或多个隐藏层和一个输出层。可生成高清晰度图像的机器学习技术被图像传感器或应用处理器(AP)执行。
然而，图像传感器中的机器学习花费长时间以生成高清晰度图像。此外，图像传感器的资源的缺乏可限制高清晰度图像的生成。
发明内容
发明构思的实施例提供一种通过在应用处理器中执行机器学习来生成高清晰度图像以减少生成图像所需的时间的方法和电子装置。
发明构思的实施例还提供一种在应用处理器中执行机器学习以确保图像传感器的资源的电子装置，以及一种生成高清晰度图像的方法。
根据发明构思的实施例，提供一种生成高清晰度图像的电子装置。所述电子装置包括：图像传感器，在接收到外部光时生成第一图像数据，基于第一图像数据生成第二图像数据，并且输出第一图像数据和第二图像数据；以及应用处理器，通过使用机器学习算法来提高与第一图像数据对应的图像的至少一个区域的分辨率，并且输出第三图像数据，第三图像数据包括第二图像数据的至少一部分和具有提高的分辨率的第一图像数据的至少一部分。
根据发明构思的另一实施例，提供一种生成包括图像传感器和应用处理器的电子装置的高清晰度图像的方法。所述方法包括：在接收到外部光时生成第一图像数据；基于第一图像数据生成第二图像数据；输出第一图像数据和第二图像数据；以及通过使用机器学习算法来提高与第一图像数据对应的图像的至少一个区域的分辨率，并且输出第三图像数据，第三图像数据包括第二图像数据的至少一部分和具有提高的分辨率的第一图像数据的至少一部分。
根据发明构思的另一实施例，提供一种存储指令的非暂时性计算机可读记录介质，所述指令实现生成高清晰度图像的方法。所述方法包括：在接收到外部光时生成第一图像数据；基于第一图像数据生成第二图像数据；输出第一图像数据和第二图像数据；以及通过使用机器学习算法来提高与第一图像数据对应的图像的至少一个区域的分辨率，并且输出第三图像数据，第三图像数据包括第二图像数据的至少一部分和具有提高的分辨率的第一图像数据的至少一部分。
附图说明
图1示出根据实施例的生成高清晰度图像的系统。
图2示出根据实施例的在传感器硬件(HW)与应用程序处理器之间生成高清晰度图像。
图3A和图3B示出根据实施例的通过传感器硬件生成高清晰度图像的方法。
图4示出生成在图3A中示出的高清晰度图像的实施例。
图5是根据实施例的由电子装置生成高清晰度图像的方法的流程图。
图6是根据实施例的由电子装置使用机器学习来提高图像的分辨率的方法的流程图。
图7是根据实施例的生成第一图像数据和第二图像数据的电子装置的操作的流程图。
图8是根据实施例的包括多相机模块的电子装置的框图。
图9是图8的相机模块的框图。
具体实施方式
在下文中，参照附图详细描述实施例。
图1示出根据实施例的生成高清晰度图像的系统。
参照图1，在一个实施例中，电子装置100包括图像传感器110和应用处理器(AP)120。图像传感器110包括包含多个二维地布置的像素的像素阵列和读出电路，并且像素阵列将接收的光信号转换为电信号。像素阵列可被实现为例如光电转换器件(诸如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS))，并且可用各种类型的光电转换器件来实现。在下文中，图像传感器110中的像素阵列被描述为CMOS，但是实现发明构思的实施例的像素阵列不必限于此。在一些实施例中，图像传感器110被实现为包括像素阵列和读出电路的半导体芯片或封装件。
根据一个实施例，图像传感器110包括像素阵列，并且滤色器阵列(CFA)设置在像素阵列中以感测每个像素的颜色。在下文中，在描述实施例时，术语——滤色器、彩色像素、滤色器阵列和像素阵列可以各种方式被定义。例如，CFA可以是位于包括光检测装置的像素阵列上的单独组件，或者可以是包括在像素阵列中的组件。每个彩色像素可包括与彩色像素对应的滤色器。此外，在描述下面的实施例时，CFA单元和CFA块中的每个包括以上描述的彩色像素。
CFA包括在水平和垂直方向上重复布置的多个CFA块，并且每个CFA块包括彩色像素。根据一个实施例，CFA块以图案布置。根据一个实施例，CFA块以拜耳图案(Bayerpattern)布置。例如，CFA块可以以2×2图案布置，使得左上与蓝色对应，左下和右上与绿色对应，并且右下与红色对应。CFA块的其他图案包括：一个颜色单元以2×2布置的四合一像素图案(tetra pattern)、一个颜色单元以3×3布置的九合一像素图案(nona pattern)、一个颜色单元以4×4布置的十六合一像素图案(hexadeca pattern)等。在下文中，在一个实施例中，为了描述的方便，CFA中的CFA块与拜耳图案对应，但是发明构思的实施例不必限于此。
根据一个实施例，图像传感器110是传感器硬件(HW)的一部分。传感器HW对从图像传感器110接收的图像数据执行包括马赛克重排(remosaic)处理操作或去马赛克(demosaic)处理操作的图像处理操作。
AP 120对图像数据执行预处理(诸如，串扰校正和去散斑(despeckle)操作)，并且还对完整图像数据执行后处理(诸如，锐化操作)。此外，例如，AP 120执行降低噪声并提高图像质量的图像信号处理(诸如，自动暗级补偿(ADLC)、坏像素校正、镜头阴影校正、伽马校正、CFA插值、颜色校正和颜色增强)。此外，AP 120对图像数据进行压缩以生成图像文件，或者从图像文件恢复图像数据。AP 120执行改善图像质量的机器学习(诸如，深度学习)。以下参照图3A和图3B描述通过使用机器学习来改善图像质量的AP 120的操作。AP 120和以下描述的模块可被实现为由处理器执行的软件块，或者被实现为专用硬件块和处理单元的组合。
AP 120通过执行图像处理操作来对图像数据的格式进行转换。AP 120对与滤色器图案(诸如，拜耳图案、四合一像素图案或十六合一像素图案)对应的图像数据进行转换，并且生成RGB格式的全色图像数据。
包括颜色信息的输入图像数据被输入到AP 120。输入图像数据是从图像传感器110接收的图像数据，或者是通过对由AP 120接收的图像数据进行校正而获得的数据。
对于具有零快门时滞的相机的实时操作，即使没有单独的命令，AP 120也自动地将输出图像存储到预览(preview)。快门时滞指的是从快门通过用户按压相机的拍摄按钮而被触发时到图片被实际记录时的时间延迟。为了最小化这样的时间延迟，AP 120在没有单独的命令的情况下自动地将输出图像存储到相机预览。当快门被触发时，AP 120检查快门被实际触发时的帧，并且记录第一时间图片和图像，使得时间延迟不发生。
例如，如果用户执行相机功能并且第一时间预览图像被输出到显示屏幕，则AP120存储第一时间预览图像。当用户在第二时间按压相机快门时，由于快门时滞，图像拍摄实际上从第三时间开始，但是因为图像从第一时间开始被记录，所以图像拍摄就好像图像是从与第二时间对应的帧开始被记录的一样被执行。
图2示出根据实施例的在传感器HW 210与AP 220之间生成高清晰度图像。
参照图2，在一个实施例中，传感器HW 210包括图像传感器212和第一图像信号处理器(ISP)块214。图像传感器212执行以上参照图1描述的图像传感器110操作。例如，图像传感器212通过接收外部光来生成图像数据。在下文中，为了方便，图像数据被描述为视频数据，但是发明构思的实施例不必限于此，并且其他实施例使用各种其他类型的数据(诸如，静止图像数据)。
传感器HW 210生成第一图像数据d_1和第二图像数据d_2。例如，第一图像数据d_1是通过接收外部光而生成的原始数据，并且第二图像数据d_2是用于生成原始图像数据图像的拜耳数据(或，拜耳图案数据)。根据一个实施例，传感器HW 210通过使用外部光来生成第一图像数据d_1，并且对第一图像数据d_1的格式进行转换以生成第二图像数据d_2。第一图像数据d_1和第二图像数据d_2被传感器HW 210用以生成图像。原始数据可包括但不限于包括单元(诸如，包括2×2颜色单元的四合一像素单元、包括3×3颜色单元的九合一像素单元、包括4×4颜色单元的十六合一像素单元和四(Q)单元)的数据。拜耳数据指的是呈现为拜耳图案的彩色像素的图案，并且是根据原始数据计算以生成图像的数据。
图像传感器212将第一图像数据d_1发送到传感器HW 210中的第一ISP块214。第一ISP块214执行预处理，并且执行生成第二图像数据d_2的ISP操作。例如，当图像传感器212将第一图像数据d_1发送到第一ISP块214时，第一ISP块214接收第一图像数据d_1并对第一图像数据d_1执行ISP操作(诸如，马赛克重排操作)以生成第二图像数据d_2(例如，具有提高的分辨率的第二图像数据d_2)。第一ISP块214将生成的第二图像数据d_2发送到AP 220的第二ISP块222。
第二图像数据d_2被用于执行自动对焦(AF)、自动曝光(AE)和自动白平衡(AWB)功能。第二图像数据d_2从第二ISP块222被发送到第一ISP块214以执行AE、AF和AWB功能。第一ISP块214将接收的第一图像数据d_1改变为第二图像数据d_2，使得AE、AF和AWB功能可被执行。
AP 220包括第二ISP块222、目标区域选择块或补偿选择块224以及图像质量改善块226。根据一个实施例，AP 220通过确定第一图像数据d_1中的至少一个目标区域中的分辨率应该被提高来确定该至少一个目标区域。目标区域选择块224从图像传感器212接收到第一图像数据d_1，并且检测目标区域以提高与第一图像数据d_1对应的第一图像中的分辨率。目标区域选择块224根据各种标准检测目标区域。根据一个实施例，当第一图像数据d_1的第一图像的至少一个区域中的边缘满足特定条件时，目标区域选择块224选择该区域作为目标区域。边缘可以是图像中的亮度快速改变的区域之间的边界线。例如，目标区域选择块224确定第一图像数据d_1的图像的每个区域的亮度值。在每个区域的亮度值中，如果两个邻近的区域的亮度值之间的差大于或等于预定值，则两个邻近的区域之间的边界被确定为边缘。当第一图像数据d_1的第一图像中的区域的每单位面积的边缘的数量大于预定标准时，目标区域选择块224将相应的区域确定为目标区域。根据一个实施例，目标区域选择块224基于第一图像数据d_1生成模糊度图(ambiguity map)，并且通过使用模糊度图确定第一图像数据d_1的第一图像中的目标区域。根据一个实施例，当在第一图像数据d_1的图像中存在满足预定标准的多个区域时，目标区域选择块224将多个区域确定为目标区域。此外，目标区域可以是第一图像数据d_1的第一图像和与第二图像数据d_2对应的第二图像中的相同区域。目标区域选择块224生成通过以上描述的方法生成的至少一个目标区域的目标区域信息。目标区域选择块224将第一图像数据d_1和包括目标区域信息的图像质量改善信息d_11发送到图像质量改善块226。
根据一个实施例，图像传感器210基于目标区域信息生成第一图像数据d_1。图像传感器210将第二图像数据d_2发送到AP 220。AP 220基于接收的第二图像数据d_2生成目标区域信息。例如，AP 220通过确定第二图像数据d_2中的至少一个目标区域中的分辨率应该被提高来确定该至少一个目标区域，并生成该至少一个目标区域的目标区域信息。AP220将目标区域信息发送回图像传感器210。图像传感器210基于目标区域信息生成仅包括相机预览的部分区域(诸如，裁剪区域(cropped region))而不是整个区域的修改后的第一图像数据d_1’。例如，图像传感器210生成修改后的第一图像数据d_1’，使得修改后的第一图像数据d_1’的第一图像仅包括目标区域。图像传感器210将修改后的第一图像数据d_1’发送到AP 220。当修改后的第一图像数据d_1’与目标区域对应时，修改后的第一图像数据d_1’的大小远小于包括预览图像的整个区域的数据，从而能够进行更快的操作。然而，即使在修改后的第一图像数据d_1’的大小较小的实施例中，第二图像数据d_2也包括预览的整个区域。AP 220通过使用包括关于目标区域的数据的修改后的第一图像数据d_1’和第二图像数据d_2来生成具有提高的图像质量的第三图像数据d_3。
图像质量改善块226提高选择的目标区域的图像质量。图像质量改善块226从目标区域选择块224接收第一图像数据d_1(或者，修改后的第一图像数据d_1’)和包括目标区域信息的图像质量改善信息d_11。图像质量改善块226基于目标区域信息确定第一图像数据d_1(或者，修改后的第一图像数据d_1’)的第一图像中的目标区域，并且生成与在目标区域中具有提高的图像质量的第一校正图像对应的第一校正图像数据D_1。通过仅改变目标区域的分辨率，第一校正图像数据D_1根据第一图像而生成。根据一个实施例，图像质量改善块226通过使用机器学习或深度学习来提高目标区域的图像质量。图像质量改善块226通过使用机器学习算法和滤波技术(诸如，卷积神经网络(CNN)、去块滤波器(DF)、样本自适应偏移(SAO)和变分自动编码器(VAE))来提高第一图像目标区域的图像质量，但是可被图像质量改善块226用以生成高清晰度图像的机器学习算法不必限于以上提及的示例。图像质量改善块226将第一校正图像的第一校正图像数据D_1发送到第二ISP块222。
第二ISP块222从图像质量改善块226接收第一校正图像数据D_1，并且从第一ISP块214接收第二图像数据d_2。第二ISP块222执行ISP操作，并且执行与第一ISP块214的功能不同的功能。第二ISP块222执行对从第一ISP块214接收的第二图像数据d_2的格式进行转换的ISP操作。例如，第二ISP块222使用各种插值方法(诸如，双线性插值或像素加倍插值)将第二图像数据d_2转换为RGB格式的第二校正图像数据。第二图像数据d_2每像素包括一种颜色(红色、蓝色和绿色之一)，但是RGB格式的第二校正图像数据每像素包括红色、蓝色和绿色三种颜色。
第二ISP块222使用第二校正图像数据和第一校正图像数据D_1生成高清晰度图像。例如，第二ISP块222生成仅第二校正图像数据的第二校正图像中的目标区域被来自第一校正图像数据D_1的相应的数据替换的第三图像。在与第三图像对应的第三图像数据d_3中，仅与第二校正图像数据中的目标区域对应的部分被第一校正图像数据D_1替换(或插入)。
第二ISP块222确定实时处理是否被图像传感器212需要，并且当实时处理被需要时，将第二图像数据d_2重新发送到第一ISP块214。例如，当AE、AF和AWB将被执行时，第二ISP块222确定实时处理被需要，并且将第二图像数据d_2发送到第一ISP块214。
图3A和图3B示出根据实施例的由传感器HW 310生成高清晰度图像的方法。
参照图3A，在一个实施例中，传感器HW 310生成第一图像数据d_1和第二图像数据d_2。图3A示出传感器HW 310生成第一图像数据d_1和第二图像数据d_2并将生成的第一图像数据d_1和第二图像数据d_2发送到AP以生成具有提高的图像质量的图像的处理。第一图像数据d_1是由传感器HW310基于外部接收的光生成的原始数据，并且第二图像数据d_2是通过由传感器HW 310对第一图像数据d_1进行转换而获得的拜耳数据。传感器HW310将第一图像数据d_1和第二图像数据d_2发送到AP。图3A的块320、330和340全部被包括在AP中。AP包括模糊度图块320、机器学习块330和细化块340。
模糊度图块320基于第一图像数据d_1生成模糊度图。模糊度图由AP生成以检测图像数据中需要图像质量改善的目标区域。AP用以生成模糊度图的第一图像数据d_1包括四合一像素单元数据、九合一像素单元数据、十六合一像素单元数据和Q单元数据中的至少一个。模糊度图块320基于第一图像数据d_1生成模糊度图，并且通过使用模糊度图确定需要图像质量改善的至少一个目标区域。模糊度图块320生成至少一个目标区域的目标区域信息。模糊度图块320将第一图像数据d_1和包括目标区域信息的图像质量改善信息d_11发送到机器学习块330。
机器学习块330从模糊度图块320接收第一图像数据d_1和包括目标区域信息的图像质量改善信息d_11。机器学习块330对第一图像数据d_1的第一图像执行图像质量改善操作。机器学习块330通过使用机器学习来提高第一图像的至少一个目标区域的图像质量。例如，机器学习块330使用机器学习算法(诸如，CNN、DF、SAO或VAE)来提高图像质量。机器学习块330通过将机器学习算法应用于第一图像数据d_1来生成第一校正图像数据D_1。在与第一校正图像数据D_1对应的第一校正图像中，第一图像中的目标区域的分辨率被提高。机器学习块330将第一校正图像数据D_1发送到细化块340。
细化块340接收来自机器学习块330的第一校正图像数据D_1和来自传感器HW 310的第二图像数据d_2。细化块340通过将第二图像数据d_2的格式从拜耳数据转换为RGB数据来生成第二校正图像数据。与拜耳数据不同，RGB数据在一个像素中包括红色、绿色和蓝色的全部三种颜色。细化块340基于第二校正图像数据和第一校正图像数据D_1生成第三图像数据d_3。根据一个实施例，细化块340通过用第一校正图像数据D_1的一部分替换第二校正图像数据的至少一部分来生成第三图像数据d_3。例如，细化块340通过用来自第一校正图像数据D_1的与目标区域对应的数据替换第二校正图像数据中的与目标区域对应的数据来生成第三图像数据d_3。因为第一校正图像数据D_1与目标区域中的具有提高的图像质量的图像对应，所以在第三图像数据d_3的第三图像中，目标区域的图像质量被提高。
图3B呈现具有图像质量待改善的目标区域352的静止图像350。模糊度图块320确定目标区域352。例如，模糊度图块320将图像中的具有最大数量的亮度快速改变的边缘的区域确定为目标区域352。此后，机器学习块330和细化块340使用机器学习来提高目标区域352的分辨率，并且将目标区域352与拜耳数据组合以生成高清晰度图像。
图4示出生成在图3A中示出的高清晰度图像的实施例。
参照图4，在一个实施例中，传感器HW 310生成高清晰度变焦图像。例如，如果使用电子装置的用户执行变焦功能，则当由相机捕获的图像被输出在显示器上时，传感器HW使用发明构思的实施例的算法生成高质量变焦图像。在下文中，以上已经参照图1至图3B给出的描述被省略，并且描述生成高质量变焦图像的实施例。
传感器HW 310使用合并单元(诸如，四合一像素单元、九合一像素单元、十六合一像素单元或Q单元)来捕获实时图像。参照图4，传感器HW 310使用彩色像素以4×4簇(bundle)布置的十六合一像素单元来捕获实时图像。例如，传感器HW 310实时捕获位于第一帧400中的第一对象402的图像。
传感器HW 310基于用户输入执行放大第一帧400内的区域的变焦功能。在第一帧400中变焦的感兴趣区域(ROI)位于第二帧410的内部，并且第一对象412被放大并显示在第二帧410的内部。传感器HW 310通过执行操作(诸如，马赛克重排)重新布置第二帧410中的彩色像素来配置第三帧420和第一对象422。传感器HW 310使用第一帧400和第二帧410中的合并单元，但是在第三帧420中执行马赛克重排以提高其分辨率。
AP基于用户输入执行机器学习以提高变焦对象(例如，第一对象412)的分辨率。AP基于与第二帧410中的图像对应的数据来生成模糊度图，并且基于与重构的第三帧中的图像对应的数据来执行深度学习。与图4的第二帧410中的图像对应的数据和与图4的第三帧420中的图像对应的数据分别与图3的实施例中的第一校正图像数据和第二校正图像数据对应。
图5是根据实施例的由电子装置生成高清晰度图像的方法的流程图。
参照图5，在一个实施例中，在操作502中，图像传感器在接收到外部光时生成第一图像数据。图像传感器中的像素阵列通过将接收的光转换为电信号来生成第一图像数据。例如，图像传感器捕获第一图像并生成与第一图像对应的第一图像数据。第一图像数据是原始数据。原始数据包括单元(诸如，具有2×2颜色单元的四像素合一单元、具有3×3颜色单元的九像素合一单元、具有4×4颜色单元的十六像素合一单元或Q单元)。
在操作504中，图像传感器基于第一图像数据生成第二图像数据。第二图像数据是通过将原始数据转换为图像而获得的拜耳数据。拜耳数据具有图像传感器的彩色像素阵列以2×2形式布置的图案。图像传感器执行基于第一图像数据生成第二图像数据的ISP操作。
在操作506中，图像传感器输出第一图像数据和第二图像数据，并将第一图像数据和第二图像数据发送到AP。例如，第二图像数据被直接发送到AP中的执行ISP操作的块，但是第一图像数据被发送到执行图像质量改善操作的块。
在操作510中，AP确定是否需要执行第二图像数据的实时处理。例如，AP确定是否在当前图像传感器中执行AF、AE和AWB功能。当功能(诸如，AF、AE或AWB)需要被执行时，AP在不提高第一图像数据的质量的情况下(例如，当AP不将深度学习应用于第一图像数据时)，将第二图像数据重新发送到图像传感器。当功能(诸如，AF、AE或AWB)不被执行时，AP使用第一图像数据和第二图像数据执行图像质量改善操作。
在操作512中，AP使用机器学习来提高第一图像数据的分辨率。AP通过使用第一图像数据来确定目标区域。目标区域被确定为例如包括比预定标准更多的边缘的区域，但是用于确定目标区域的标准不必限于此。AP通过对与确定的目标区域对应的数据执行机器学习来提高图像质量。
AP通过提高第一图像数据中的目标区域的图像质量来生成第一校正图像数据，并且通过将第二图像数据的文件格式转换为RGB来生成第二校正图像数据。
在操作514中，AP通过使用第一校正图像数据和第二校正图像数据来生成第三图像数据。AP通过将与第二校正图像的目标区域对应的数据改变为与第一校正图像的目标区域对应的数据来生成第三图像数据。在一个实施例中，AP可输出第三图像数据。
图6是根据实施例的由电子装置通过使用机器学习提高图像的分辨率的方法的流程图。
由图6示出的实施例包括在图5中示出的操作512。
参照图6，在一个实施例中，在操作602中，AP接收到第一图像数据。第一图像数据是在接收到外部光时由图像传感器生成的原始数据。
在操作604中，AP确定第一图像数据中的需要提高分辨率的目标区域。AP根据各种标准确定目标区域。例如，当第一图像数据d_1的第一图像的每单位面积分布的边缘的数量大于预定标准时，AP将相应的区域确定为目标区域。根据一个实施例，AP基于第一图像数据生成模糊度图，并通过使用模糊度图确定第一图像数据d_1的第一图像中的目标区域。当在第一图像数据d_1的图像中存在满足确定的标准的多个区域时，AP将所述区域确定为目标区域。
在操作606中，AP可通过使用机器学习来提高第一图像数据中的目标区域的分辨率。AP可生成通过提高第一图像数据中的目标区域的分辨率而获得的第一校正图像数据。AP可生成通过将第二图像数据的文件格式转换为RGB而获得的第二校正图像数据。
在操作608中，AP通过将与第一校正图像数据中的目标区域对应的数据插入到与第二校正图像数据中的目标区域对应的数据中来生成第三图像数据。
图7是根据实施例的生成第一图像数据和第二图像数据的电子装置的操作的流程图。
参照图7，在一个实施例中，在操作702中，图像传感器在接收到外部光时生成第一图像数据。例如，当用户在电子装置中执行相机应用时，识别当前由相机捕获的对象的图像传感器将接收的光转换为电信号以生成第一图像数据。
在操作704中，图像传感器基于用户输入确定第一图像数据中的ROI。当用户拉近镜头时，图像传感器将变焦区域确定为ROI。例如，当用户在显示器上执行拉伸手指的操作时，电子装置将拉伸操作识别为变焦操作并确定ROI。
在操作706中，AP生成像素阵列基于ROI而被马赛克重排和重新布置的第二图像数据。
图8是根据实施例的包括多相机模块的电子装置的框图。图9是图8的相机模块的框图。
参照图8，在一个实施例中，电子装置800包括相机模块组900、AP 1000、电源管理集成电路(PMIC)1100和外部存储器1200。
相机模块组900包括多个相机模块900a、900b和900c。尽管附图示出布置有三个相机模块900a、900b和900c的实施例，但是实施例不必限于此。在一些实施例中，相机模块组900仅包括两个相机模块。在一些实施例中，相机模块组900包括n个相机模块，其中，n是大于或等于4的正整数。
在下文中，参照图9详细描述相机模块900b的详细配置，但是根据一个实施例，下面的描述同样适用于其他相机模块900a和900c。
参照图9，在一个实施例中，相机模块900b包括棱镜905、光路折叠元件(OPFE)910、致动器930、图像感测装置940和存储装置950。
棱镜905包括改变外部入射的光L的路径的光反射材料的反射表面907。
在一些实施例中，棱镜905将在第一方向X上入射的光L的路径改变为垂直于第一方向X的第二方向Y。此外，棱镜905使光反射材料的反射表面907围绕中心轴906在A方向上或围绕中心轴906在B方向上旋转，以将在第一方向X上入射的光L的路径改变为与其垂直的第二方向Y。这里，OPFE910也在垂直于第一方向X和第二方向Y的第三方向Z上移动。
在一些实施例中，如所示出的，棱镜905在A方向上的最大旋转角度在正(+)的A方向上是15度或更小，并且在负(-)的A方向上大于15度，但是实施例不必限于此。
在一些实施例中，棱镜905可在正(+)或负(-)的B方向上移动约20度，或从10度至20度，或从15度至20度，并且在这里，对于移动的角度，棱镜905在正(+)或负(-)的B方向上以相同的角度移动，或者在1度或更小范围内移动到几乎类似的角度。
在一些实施例中，棱镜905在平行于中心轴906的延伸方向的第三方向(诸如，Z方向)上移动光反射材料的反射表面907。
OPFE 910包括例如包括m个光学透镜，其中，m是正整数。m个光学透镜在第二方向Y上移动以改变相机模块900b的光变焦比。例如，当相机模块900b的基本光变焦比是Z时，如果OPFE 910中的m个光学透镜移动，则相机模块900b的光变焦比改变为例如3Z、5Z或更高的光变焦比。
致动器930将OPFE 910或光学透镜(在下文中，被称为光学透镜)移动到不同的位置。例如，致动器930调整光学透镜的位置，使得图像传感器942位于光学透镜的焦距处以进行精确感测。
图像感测装置940包括图像传感器942、控制逻辑944和存储器946。图像传感器942使用通过光学透镜接收的光L来感测感测目标的图像。控制逻辑944控制相机模块900b的整体操作。例如，控制逻辑944根据通过控制信号线CSLb接收的控制信号来控制相机模块900b的操作。
存储器946存储用于相机模块900b的操作的信息(诸如，校准数据947)。校准数据947包括用于相机模块900B使用外部接收的光L生成图像数据的信息。校准数据947包括例如关于以上描述的旋转的角度的信息、关于焦距的信息、关于光轴的信息等。当相机模块900b被实现为焦距根据光学透镜的位置而改变的多状态相机时，校准数据947包括光学透镜的每个位置(或状态)的焦距值和与自动聚焦相关的信息。
存储装置950存储由图像传感器942感测的图像数据。存储装置950位于图像感测装置940的外部，并且以与构成图像感测装置940的传感器芯片堆叠的形式实现。在一些实施例中，存储装置950被实现为电可擦除可编程只读存储器(EEPROM)，但是实施例不必限于此。
一起参照图8和图9，在一些实施例中，相机模块900a、900b和900c中的每个包括致动器930。因此，相机模块900a、900b和900c中的每个根据包括在其中的致动器930的操作包括相同或不同的校准数据947。
在一些实施例中，相机模块中的一个(诸如，900b)包括包含以上描述的棱镜905和OPFE 910的折叠镜头型相机模块，并且其他相机模块(诸如，900a和900c)是不包括棱镜905和OPFE 910的垂直型相机模块，但是实施例不必限于此。
在一些实施例中，相机模块中的一个(诸如，900c)是使用例如红外(IR)光提取深度信息的垂直深度相机。例如，AP 1000将从深度相机接收的图像数据与从另外的相机模块(诸如，900a或900b)接收的图像数据合并，以生成3D深度图像。
在一些实施例中，相机模块中的至少两个(诸如，900a和900b)具有不同的视场。例如，至少两个相机模块(诸如，900a和900b)的光学透镜彼此不同，但是不必限于此。
此外，在一些实施例中，相机模块900a、900b和900c中的每个的视场彼此不同。例如，相机模块900a、900b和900c中的每个中的光学透镜是不同的，但是不必限于此。
在一些实施例中，相机模块900a、900b和900c中的每个彼此物理分离。例如，相机模块900a、900b和900c不以划分方式共享一个图像传感器942的感测区域，而是独立的图像传感器942布置在相机模块900a、900b和900c中的每个中。
返回参照图8，在一个实施例中，AP 1000包括图像处理装置1010、存储器控制器1020和内部存储器1030。AP 1000被实现为与相机模块900a、900b和900c分开。例如，AP1000设置在与相机模块900a、900b和900c分开的半导体芯片上。
图像处理装置1010包括多个子图像处理器1012a、1012b和1012c、图像生成器1014和相机模块控制器1016。
图像处理装置1010包括与相机模块(诸如，相机模块900a、900b和900c)的数量对应的子图像处理器1012a、1012b和1012c。
分别由相机模块900a、900b和900c生成的图像数据的部分通过彼此分开的图像信号线ISLa、ISLb和ISLc分别被提供给它们的相应的子图像处理器1012a、1012b和1012c。例如，由相机模块900a生成的图像数据通过图像信号线ISLa被提供给子图像处理器1012a，由相机模块900b生成的图像数据通过图像信号线ISLb被提供给子图像处理器1012b，并且由相机模块900c生成的图像数据通过图像信号线ISLc被提供给子图像处理器1012c。通过使用例如基于移动工业处理器接口(MIPI)的相机串行接口(CSI)来执行这样的图像数据传输，但是实施例不必限于此。
在一些实施例中，与多个相机模块对应的单个子图像处理器被提供。例如，子图像处理器1012a和子图像处理器1012c不被实现为如所示出的彼此分开，而是被集成到单个子图像处理器中，并且从相机模块900a和相机模块900c接收的图像数据的部分通过选择装置(诸如，多路复用器等)被选择，然后被提供给集成的子图像处理器。
分别提供给子图像处理器1012a、1012b和1012c的图像数据的部分被提供给图像生成器1014。图像生成器1014根据图像生成信息或模式信号使用分别从子图像处理器1012a、1012b和1012c接收的图像数据的部分，来生成输出图像。
在一个实施例中，图像生成器1014通过根据图像生成信息或模式信号合并由具有不同视角的相机模块900a、900b和900c生成的图像数据的至少一些部分来生成输出图像。此外，图像生成器1014通过根据图像生成信息或模式信号选择由相机模块900a、900b和900c生成的图像数据部分中的一个来生成输出图像。
在一些实施例中，图像生成信息包括变焦信号或变焦因子。此外，在一些实施例中，模式信号是例如基于由用户选择的模式的信号。
当图像生成信息是变焦信号或变焦因子，并且相机模块900a、900b和900c具有不同的视场或视角时，图像生成器1014根据变焦信号的类型执行不同的操作。例如，当变焦信号是合并信号时，图像生成器1014将从相机模块900a输出的图像数据与从相机模块900c输出的图像数据合并为合并图像信号，然后使用从相机模块900b输出的未被用于生成合并图像信号的图像数据来生成输出图像。如果变焦信号是另外的不同的信号，则图像生成器1014不执行这样的图像数据合并，而是通过选择分别从相机模块900a、900b和900c输出的图像数据部分中的一个来生成输出图像。然而，实施例不必限于此，并且处理图像数据的方法可根据需要被修改和实现。
在一些实施例中，图像生成器1014从子图像处理器1012a、1012b和1012c中的至少一个接收具有不同曝光时间的多个图像数据部分，并且对图像数据部分执行高动态范围(HDR)处理以生成具有增大的动态范围的合并的图像数据。
相机模块控制器1016将控制信号提供给相机模块900a、900b和900c。由相机模块控制器1016生成的控制信号通过彼此分开的相应的控制信号线CSL a、CSLb和CSLc被提供给相机模块900a、900b和900c。
相机模块900a、900b和900c中的一个(诸如，900b)根据图像生成信息或模式信号被指定为主相机，并且其他相机模块(诸如，900a和900c)被指定为从相机。这样的信息被包括在控制信号中，并且通过相应的控制信号线CSL a、CSLb和CSLc被提供给它们的相应的相机模块900a、900b和900c。
作为主装置和从装置操作的相机模块可根据变焦因子或操作模式信号而改变。例如，当相机模块900a的视角宽于相机模块900b的视角并且变焦因子表示低变焦比时，相机模块900b作为主装置进行操作，并且相机模块900a作为从装置进行操作。相反地，当变焦因子表示高变焦比时，相机模块900a作为主装置进行操作，并且相机模块900b作为从装置进行操作。
在一些实施例中，从相机模块控制器1016提供给相机模块900a、900b和900c的控制信号包括同步使能信号。例如，当相机模块900b是主相机并且相机模块900a和900c是从相机时，相机模块控制器1016将同步使能信号发送到相机模块900b。接收到同步使能信号的相机模块900b基于接收的同步使能信号生成同步信号，并且通过同步信号线SSL将生成的同步信号发送到相机模块900a和900c。相机模块900b以及相机模块900a和900c通过同步信号进行同步，以将图像数据发送到AP 1000。
在一些实施例中，从相机模块控制器1016提供给相机模块900a、900b和900c的控制信号包括根据模式信号的模式信息。基于模式信息，相机模块900a、900b和900c基于感测速度在第一工作模式或第二工作模式下进行操作。
在第一操作模式下，相机模块900a、900b和900c以第一帧速率生成图像信号，以高于第一帧速率的第二帧速率编码生成的图像信号，并且将编码后的图像信号发送到AP1000。例如，第二帧速率是第一帧速率的30倍或更大。
AP 1000将接收的图像信号(诸如，编码后的图像信号)存储在内部存储器1030或外部存储器1200中，并且此后，AP 1000从内部存储器1030或外部存储器1200读取编码的图像信号，对图像信号进行解码，并且显示从解码的图像信号生成的图像数据。例如，图像处理装置1010的子图像处理器1012a、1012b和1012c中的一个对解码图像信号执行解码和图像处理。
在第二操作模式下，相机模块900a、900b和900c以低于第一帧速率的第三帧速率生成图像信号，并且将图像信号发送到AP 1000。发送到AP 1000的图像信号是未编码的信号。AP 1000对接收的图像信号执行图像处理，或者将图像信号存储在内部存储器1030或外部存储器1200中。
PMIC 1100将电力(诸如，电源电压)供应给相机模块900a、900b和900c中的每个。例如，在AP 1000的控制下，PMIC 1100通过电力信号线PSLa将第一电力供应给相机模块900a，通过电力信号线PSLb将第二电力供应给相机模块900b，并且通过电力信号线PSLc将第三电力供应给相机模块900c。
PMIC 1100响应于从AP 1000接收的电力控制信号PCON生成与相机模块900a、900b和900c中的每个对应的电力，并且还调整电力电平。电力控制信号PCON包括用于相机模块900a、900b和900c的每个操作模式的电力调整信号。例如，操作模式包括低功率模式，并且功率控制信号PCON包括在低功率模式下进行操作的相机模块和设置的电力电平的信息。分别提供给相机模块900a、900b和900c的电力电平可彼此相同或不同。此外，电力电平可动态地改变。根据发明构思的实施例，通过允许AP执行图像生成处理中的一些，图像传感器的资源被确保并且系统性能被提高。
虽然已经参照附图具体示出和描述了发明构思的实施例，但是将理解，在不脱离所附权利要求的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (20)

1.一种电子装置，包括：
图像传感器，在接收到外部光时生成第一图像数据，基于第一图像数据生成第二图像数据，并且输出第一图像数据和第二图像数据；以及
应用处理器，使用机器学习算法来提高与第一图像数据对应的图像的至少一个区域的分辨率，并且输出第三图像数据，第三图像数据包括第二图像数据的至少一部分和具有提高的分辨率的第一图像数据的至少一部分。
2.根据权利要求1所述的电子装置，其中，图像传感器通过基于第一图像数据执行图像信号处理器ISP操作来生成第二图像数据。
3.根据权利要求2所述的电子装置，其中，ISP操作包括：使用马赛克重排算法生成具有提高的分辨率的第二图像数据。
4.根据权利要求3所述的电子装置，其中，第二图像数据包括拜耳图案数据。
5.根据权利要求4所述的电子装置，其中，应用处理器将第二图像数据从拜耳图案数据转换为红色绿色蓝色RGB数据。
6.根据权利要求5所述的电子装置，其中，应用处理器基于自动曝光操作、自动对焦操作和自动白平衡操作中的至少一个是否被执行来确定是否对第二图像数据执行实时处理，并且当应用处理器确定对第二图像数据执行实时处理时，在不将深度学习应用于第一图像数据的情况下，将第二图像数据发送到图像传感器。
7.根据权利要求1所述的电子装置，其中，在接收到第一图像数据时，应用处理器通过确定第一图像数据中的至少一个目标区域中的分辨率应该被提高来确定所述至少一个目标区域。
8.根据权利要求7所述的电子装置，其中，应用处理器生成第一图像数据的模糊度图，并且通过使用模糊度图来确定与第一图像数据对应的图像中的所述至少一个目标区域。
9.根据权利要求8所述的电子装置，其中，应用处理器通过使用机器学习算法基于第一图像数据来提高所述至少一个目标区域的分辨率。
10.根据权利要求9所述的电子装置，其中，应用处理器通过将与第一图像数据中的目标区域对应的数据插入到与第二图像数据中的目标区域对应的数据中来生成第三图像数据。
11.根据权利要求1所述的电子装置，其中，应用处理器接收第二图像数据，通过确定至少一个目标区域中的分辨率应该被提高来确定所述至少一个目标区域，并且将所述至少一个目标区域的信息发送到图像传感器。
12.根据权利要求11所述的电子装置，其中，图像传感器接收所述至少一个目标区域的信息，并且基于接收的所述至少一个目标区域的信息来生成包括与所述至少一个目标区域的图像对应的数据的第一图像数据。
13.根据权利要求1至12中任一项所述的电子装置，其中，第一图像数据是Q单元图像或四合一像素单元图像。
14.一种生成电子装置的高清晰度图像的方法，所述电子装置包括图像传感器和应用处理器，所述方法包括：
在接收到外部光时生成第一图像数据；
基于第一图像数据生成第二图像数据；
输出第一图像数据和第二图像数据；以及
通过使用机器学习算法来提高与第一图像数据对应的图像的至少一个区域的分辨率，并且输出第三图像数据，第三图像数据包括第二图像数据的至少一部分和具有提高的分辨率的第一图像数据的至少一部分。
15.根据权利要求14所述的方法，其中，生成第二图像数据的步骤包括：通过对第一图像数据执行图像信号处理器ISP操作来生成第二图像数据。
16.根据权利要求15所述的方法，其中，ISP操作包括：使用马赛克重排算法生成具有提高的分辨率的第二图像数据。
17.根据权利要求14所述的方法，其中，输出第三图像数据的步骤包括：接收第一图像数据，并且通过确定至少一个目标区域中的分辨率应该被提高来确定所述至少一个目标区域。
18.根据权利要求17所述的方法，其中
确定所述至少一个目标区域的步骤包括：
生成第一图像数据的模糊度图；以及
通过使用模糊度图来确定与第一图像数据对应的图像中的所述至少一个目标区域。
19.根据权利要求18所述的方法，其中，生成第三图像数据的步骤包括：通过使用机器学习算法基于第一图像数据来提高所述至少一个目标区域的分辨率。
20.一种存储指令的非暂时性计算机可读记录介质，所述指令实现生成高清晰度图像的方法，其中，所述方法包括：
通过控制图像传感器接收外部光来生成第一图像数据；
通过控制图像传感器，基于第一图像数据生成第二图像数据；
通过使用机器学习算法来提高与第一图像数据对应的图像的至少一个区域的分辨率，以及
生成第三图像数据，第三图像数据包括第二图像数据的至少一部分和具有提高的分辨率的第一图像数据的至少一部分。
CN202211651954.XA 2021-12-22 2022-12-21 电子装置和生成高清晰度图像的方法 Pending CN116342384A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210185409 2021-12-22
KR10-2021-0185409 2021-12-22
KR10-2022-0096267 2022-08-02
KR1020220096267A KR20230095782A (ko) 2021-12-22 2022-08-02 전자 장치 및 고화질 영상 생성 방법

Publications (1)

Publication Number Publication Date
CN116342384A true CN116342384A (zh) 2023-06-27

Family

ID=86891906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211651954.XA Pending CN116342384A (zh) 2021-12-22 2022-12-21 电子装置和生成高清晰度图像的方法

Country Status (2)

Country Link
US (1) US20230209215A1 (zh)
CN (1) CN116342384A (zh)

Also Published As

Publication number Publication date
US20230209215A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
CN105308947B (zh) 双孔径变焦数字摄影机
US9319659B2 (en) Image capturing device and image capturing method
US7453510B2 (en) Imaging device
US8558915B2 (en) Photographing apparatus and method
WO2012039180A1 (ja) 撮像デバイス及び撮像装置
US9282312B2 (en) Single-eye stereoscopic imaging device, correction method thereof, and recording medium thereof
WO2012132797A1 (ja) 撮像装置及び撮像方法
US20110234767A1 (en) Stereoscopic imaging apparatus
CN104301635A (zh) 在产生数字图像时曝光像素组
EP2720455B1 (en) Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
US20110050856A1 (en) Stereoscopic imaging apparatus
WO2017170716A1 (ja) 撮像装置、画像処理装置、および電子機器
CN103888641A (zh) 图像处理装置及图像再对焦方法
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
US20130100251A1 (en) Image capturing device and image capturing method
JP2003163940A (ja) ディジタルカメラ及びディジタルカメラによる撮像方法
US20230209215A1 (en) Electronic device and method of generating high-definition image
CN102948152B (zh) 成像设备和成像方法
WO2017170717A1 (ja) 撮像装置、焦点調節装置、および電子機器
KR20230095782A (ko) 전자 장치 및 고화질 영상 생성 방법
JPH1155682A (ja) デジタルカメラ
US20230143333A1 (en) Image sensor, application processor and image sensing device
JP2011139270A (ja) 撮像装置及びプログラム
JP2010210691A (ja) 立体撮像装置
WO2012165087A1 (ja) 撮像装置及びゴースト補正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication