CN111327887A - 电子装置及其操作方法，以及处理电子装置的图像的方法 - Google Patents

电子装置及其操作方法，以及处理电子装置的图像的方法 Download PDF

Info

Publication number
CN111327887A
CN111327887A CN201910716497.XA CN201910716497A CN111327887A CN 111327887 A CN111327887 A CN 111327887A CN 201910716497 A CN201910716497 A CN 201910716497A CN 111327887 A CN111327887 A CN 111327887A
Authority
CN
China
Prior art keywords
depth map
image
electronic device
module
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910716497.XA
Other languages
English (en)
Inventor
韩承旼
郭恺
宋成旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111327887A publication Critical patent/CN111327887A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提供了电子装置及其操作方法，以及处理电子装置的图像的方法。所述电子装置包括：第一相机模块，所述第一相机模块以第一视场提供物体的第一图像；第二相机模块，所述第二相机模块以与所述第一视场不同的第二视场提供所述物体的第二图像；第一深度图生成器，所述第一深度图生成器基于所述第一图像和所述第二图像生成所述第一图像的第一深度图；以及第二深度图生成器，所述第二深度图生成器基于所述第一图像、所述第二图像和所述第一深度图生成所述第二图像的第二深度图。

Description

电子装置及其操作方法，以及处理电子装置的图像的方法
相关申请的交叉引用
本申请要求于2018年12月14日在韩国知识产权局提交的韩国专利申请No.10-2018-0162147的优先权，其主题通过引用并入本文。
技术领域
本发明构思涉及包括多个相机的装置及其操作方法。
背景技术
数码相机已成为非常受欢迎的消费品。大多数智能电话都包括数码相机，而数码相机所提供的功能和能力已成为重要的产品差异化因素。
早期的数码相机仅提供基本的拍摄、存储和传输能力。然而，消费者需求推动了数码相机性能的持续发展和提升。卓越的图像质量是消费者强烈期望的。也需要新的特征、效果和功能。因此，正在对可被应用于拍摄到的图像的各种图像效果进行研究。
发明内容
本发明构思的实施例提供了包括多个相机的装置及其操作方法，其中多个相机提供从不同视场拍摄的相同物体的不同图像。
根据本发明构思的一个方面，提供了一种电子装置，所述电子装置包括：第一相机模块，所述第一相机模块被配置为以第一视场获得物体的第一图像；第二相机模块，所述第二相机模块被配置为以与所述第一视场不同的第二视场获得所述物体的第二图像；第一深度图生成器，所述第一深度图生成器被配置为基于所述第一图像和所述第二图像生成所述第一图像的第一深度图；以及第二深度图生成器，所述第二深度图生成器被配置为基于所述第一图像、所述第二图像和所述第一深度图生成所述第二图像的第二深度图。
根据本发明构思的另一方面，提供了一种处理电子装置的图像的方法。所述方法包括：使用所述电子装置的第一相机模块获得物体的第一图像；使用所述电子装置的第二相机模块获得所述物体的第二图像；基于所述第一图像和所述第二图像，生成所述第一图像的第一深度图；基于所述第一图像和所述第二图像，估计所述第二图像的与所述第一图像交叠的主要区域与所述第二图像的包括所述第二图像的剩余部分的其余区域之间的关系；以及基于估计出的所述主要区域与所述其余区域之间的关系以及所述第一深度图，生成所述第二图像的第二深度图。
根据本发明构思的另一方面，提供了一种电子装置的操作方法。所述电子装置包括：第一相机模块和第二相机模块，所述第一相机模块以第一视场提供物体的第一图像，所述第二相机模块以比所述第一视场宽的第二视场提供所述物体的第二图像；以及处理器，所述处理器基于所述第二图像的与所述第一图像交叠的主要区域和所述第二图像的包括所述第二图像的剩余部分的其余区域生成所述第二图像的深度图。所述操作方法包括：通过估计所述第一图像与所述第二图像之间的关系，生成所述主要区域的第一深度图；基于所述第一图像和所述第二图像，估计所述主要区域与所述其余区域之间的关系；基于估计出的所述主要区域与所述其余区域之间的关系，通过估计所述其余区域的深度图生成所述第二图像的第二深度图；以及通过融合所述第一深度图和所述第二深度图，生成所述第二图像的深度图。
附图说明
通过以下结合附图的详细描述，将更清楚地理解本发明构思的实施例，其中：
图1是示出根据本发明构思的实施例的电子装置的框图；
图2是进一步示出根据本发明构思的实施例的电子装置的操作方法的概念图；
图3是进一步示出根据本发明构思的实施例的电子装置的操作的框图；
图4是进一步示出在一个示例中的根据本发明构思的实施例的第二深度图生成器的框图；
图5是概述在一个示例中的根据本发明构思的实施例的操作电子装置的方法的流程图；
图6是示出使用本发明构思的实施例所采用的神经网络的概念图；
图7、图11和图13是各自进一步示出根据本发明构思的实施例的电子装置的操作方法的一个示例相应概念图；
图8是进一步示出根据本发明构思的实施例的电子装置的操作的另一示例的框图；
图9是进一步示出在一个示例中的图8的深度图融合单元的的框图；
图10是概述在另一示例中的根据本发明构思的实施例的操作电子装置的方法的流程图；
图12是示出根据本发明构思的实施例的图8的深度图融合单元的框图；
图14是概述根据本发明构思的实施例的操作电子装置的方法的又一示例的流程图；以及
图15是示出根据本发明构思的实施例的电子装置的框图。
具体实施方式
考虑到以下结合附图的详细描述，可以更好地理解本发明构思的实施例。
图1是示出根据本发明构思的实施例的电子装置10的框图。
参照图1，电子装置10可以包括第一相机模块20、第二相机模块30、显示器40、存储器50和处理器100。作为非限制性示例，电子装置10可以包括以下中的至少一种：智能电话、平板个人计算机(PC)、移动电话、图像电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗设备、相机和可穿戴设备。可穿戴设备可以被分类为诸如手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或头戴式设备(HMD)的配饰型可穿戴设备，以及诸如可植入电路的移植型可穿戴设备。
第一相机模块20和第二相机模块30可以用于拍摄电子装置10外部的对象(下文称为“物体”)的图像并生成相应的图像数据。这里，第一相机模块20可以包括第一透镜22和第一图像传感器24，第二相机模块30可以包括第二透镜32和第二图像传感器34。
第一透镜22和第二透镜32可以用于聚集从物体反射的光。第一透镜22和第二透镜32均可以包括变焦透镜和聚焦透镜中的至少一个。也就是说，第一透镜22和第二透镜32可以具有不同的成像视场。例如，第一透镜22可以具有比第二透镜32相对更窄的视角。或者说，第二透镜32可以具有比第一透镜22相对更宽的视角。因此，相对于由第一相机模块20生成的窄角图像，第二相机模块30可以生成物体的宽角图像。即，在对同一物体进行成像时，第一相机模块20可以生成第一图像或窄图像N_IMG(即，窄角图像)，第二相机模块30可以生成第二图像或宽图像W_IMG(即，宽角图像)。
第一图像传感器24和第二图像传感器34可以分别用于将由第一透镜22和第二透镜32聚集的“光”(即，来自指定带宽的电磁能)转换成相应的电信号，而后转换为图像数据。为此，在第一图像传感器24和第二图像传感器34中的每一个中，大量像素可以被布置为二维矩阵。
可以将多个参考颜色中的一个参考颜色分配给多个像素中的每个像素。例如，参考颜色可以包括红色、绿色和蓝色(RGB)，或红色、绿色、蓝色和白色。作为一个示例，第一图像传感器24和第二图像传感器34可以通过使用电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)来实现。由第一图像传感器24和第二图像传感器34生成的图像数据可以被称为图像帧或帧数据。第一图像传感器24和第二图像传感器34可以以预定时间间隔生成新的图像数据。与生成新的图像的时间段对应的频率可以被称为帧速率。也就是说，帧速率可以表示每单位时间新生成的图像数据项的数目。
尽管未示出，第一相机模块20和第二相机模块30中的每一个还可以包括能够对所生成的图像数据执行一个或更多个处理操作的图像信号处理器。另外，第一相机模块20和第二相机模块30还可以包括快门、光圈、模拟前端(AFE)和定时发生器(TG)中的至少一个。
显示器40可以响应于由第一相机模块20生成的第一图像信号和/或由第二相机模块30生成的第二图像信号，向用户显示各种内容(例如，文本、图像、视频、图标和/或符号)。显示器40可以包括液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。另外，显示器40可以包括触摸屏。例如，显示器40可以接收使用电子笔或用户身体的一部分输入的触摸、手势、接近或悬停。
存储器50可以用于存储各种类型的数据，包括：(例如)操作系统(OS)程序、应用程序、图像数据和由电子装置10不同地生成和/或使用的其他数据。存储器50可以包括易失性存储器和非易失性存储器中的至少一种。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、相变随机存取存储器(PRAM)、磁RAM(MRAM)、电阻RAM(RRAM)和铁电RAM(FRAM)。易失性存储器可以包括动态RAM(DRAM)、静态RAM(SRAM)和同步DRAM(SDRAM)。另外，根据实施例，存储器50可以包括以下中的至少一种：硬盘驱动器(HDD)、固态硬盘(SSD)、紧凑型闪存(CF)存储器、安全数字(SD)存储器、微-SD存储器、迷你-SD存储器、极端数字(xD)存储器和记忆棒。存储器50可以半永久地或临时地存储将由处理器100执行的程序和/或指令。
处理器100可以用于控制电子装置10的操作。处理器100可以是中央处理单元(CPU)，并且可以包括单个处理器核或多个处理器核。处理器100可以处理或执行存储在存储器50中的程序和/或数据。例如，处理器100可以通过执行存储在存储器50中的程序来控制电子装置10的功能。
如图1的示例中所示，处理器100可以包括第一深度图生成器110和第二深度图生成器120。这里，第一深度图生成器110可以基于第一图像N_IMG和第二图像W_IMG来生成第一图像N_IMG的第一深度图。例如，第一深度图生成器110可以分析第一图像N_IMG与第二图像W_IMG之间的距离关系，以便生成第一图像N_IMG的第一深度图。
在本发明构思的某些实施例中，术语“深度图”表示包括与图像的至少一部分对应的区域的深度信息的数据结构(例如，表格)。术语“深度”指的是与左眼图像与右眼图像之间的双眼视差程度对应的信息。因此，图像的深度允许用户感测到的三维效果的变化。也就是说，如果深度大(即，相对较大)并且双目视差相应地增加时，三维效果增加。或者，如果深度小(即，相对较小)并且双眼视差相应地减小时，三维效果减小。
在本发明构思的某些实施例中，深度图可以与表示图像中每个像素的深度的灰度的二维图像对应。
可以根据像素单元划分指定区域，或者可以根据预先设置的大于像素单元的区域进一步划分指定区域。因此，第二图像W_IMG可以被划分为与第一图像N_IMG交叠的第一区域和包括第二图像W_IMG的剩余部分的第二区域。例如，第一深度图生成器110生成第一区域的第一深度图，第二深度图生成器120可以通过估计第二区域的深度图来生成第二图像W_IMG的第二深度图。
因此，在与本发明构思的某些实施例一致的一种方法中，第二深度图生成器120可以基于第一图像N_IMG、第二图像W_IMG和第一深度图来生成第二图像W_IMG的第二深度图。例如，第二深度图生成器120可以基于第一图像N_IMG和第二图像W_IMG来估计第二图像W_IMG的第一区域与第二区域之间的关系。第二深度图生成器120可以基于估计出的第一区域与第二区域之间的关系和第一深度图，估计第二区域的深度图。例如，第二深度图生成器120可以估计第一区域与第二区域之间的关系，或者基于神经网络模型估计第二区域的深度图。
第一深度图生成器110和第二深度图生成器120可以用不同(或变化)的形式实现。第一深度图生成器110和第二深度图生成器120可以分别实现为软件和/或硬件。例如，当第一深度图生成器110和第二深度图生成器120被实现为硬件时，第一深度图生成器110和第二深度图生成器120分别接收第一图像N_IMG和第二图像W_IMG，并且可以包括能够生成第一深度图和第二深度图的电路。可选地或另外地，当第一深度图生成器110和第二深度图生成器120被实现为存储(例如)在存储器50中并由处理器100执行的软件、程序和/或命令时，可以执行生成第一深度图和第二深度图的操作。
在本发明构思的某些实施例中，处理器100还可以包括深度图融合单元，其能够通过基于由第一深度图生成器110提供的第一深度图和由第二深度图生成器120提供的第二深度图执行融合操作来生成第二图像W_IMG的第三深度图。深度图融合单元可以通过对第二深度图执行偏置去除操作来生成映射到第一深度图的第二深度色调。例如，深度图融合单元可以通过对经色调映射的第二深度图和第一深度图执行融合操作来生成第三深度图。作为另一示例，深度图融合单元可以基于第一深度图和第二图像W_IMG通过重复传播第一深度图来在第二图像W_IMG中生成传播后的第一深度图，并且可以通过对传播的第一深度图和经色调映射的第二深度图执行融合操作来生成第三深度图。
图2是示出根据本发明构思的实施例的电子装置10获得图像的操作的一种可能方法的概念图。
参照图2，电子装置10可以通过使用图1的第一相机模块20和第二相机模块30拍摄物体的图像IMG来获得第一图像N_IMG和第二图像W_IMG。例如，电子装置10可以使用第一相机模块20获得物体的第一图像N_IMG，可以使用第二相机模块30获得物体的第二图像W_IMG。如图2的示例所示，第二图像W_IMG被划分为与第一图像N_IMG交叠的第一区域A1和包括第二图像W_IMG的剩余部分的第二区域A2。此后，所拍摄的图像IMG(例如，图2的宽角图像W_IMG)可以被描述为包括：“主要区域”(例如，在所拍摄的图像IMG内指定的窄角图像N_IMG或第一区域A1)和“其余区域”(例如，所拍摄的图像IMG的主要图像外部的剩余部分)。
图3是进一步示出根据本发明构思的某些实施例的电子装置10的操作的框图。
参照图1、图2和图3，在拍摄相同物体的图像IMG时，第一相机模块20可以获得第一图像N_IMG，第二相机模块30可以获得第二图像W_IMG。因此，第一相机模块20可以将第一图像N_IMG提供给第一深度图生成器110和第二深度图生成器120。另外，第二相机模块30可以将第二图像W_IMG提供给第一深度图生成器110和第二深度图生成器120。
第一深度图生成器110可以基于第一图像N_IMG和第二图像W_IMG生成第一深度图N_DM，并将第一深度图N_DM提供给第二深度图生成器120。在一个实施例中，第一深度图生成器110分析第一图像N_IMG与第二图像W_IMG之间的距离关系，以便生成第一深度图N_DM。也就是说，第一深度图生成器110可以在第一图像N_IMG和第二图像W_IMG中设置匹配点，然后分析匹配点之间的距离关系。在一种可能的方法中，第一深度图生成器110可以基于立体视觉方法来分析第一图像N_IMG与第二图像W_IMG之间的距离关系，并且可以产生第一图像N_IMG的第一深度图N_DM。
第二深度图生成器120可以基于第一图像N_IMG、第二图像W_IMG和第一深度图N_DM来生成第二深度图W_DM，如下文的一些附加细节中所描述的。
图4是进一步示出在一个示例中的根据本发明构思的实施例的第二深度图生成器120的框图。
参照图4，第二深度图生成器120可以包括关系估计模块122和深度图估计模块124。在示例性实施例中，关系估计模块122可以基于第一图像N_IMG和第二图像W_IMG，估计第二图像W_IMG的第一区域A1(主要区域)与第二区域A2(其余区域)的关系。例如，关系估计模块122可以采用神经网络模型并基于学习的神经网络模型来估计第一区域A1与第二区域A2之间的关系。
在一个实施例中，深度图估计模块124可以基于(如由关系估计模块122估计的)第一区域A1与第二区域A2之间的关系和第一深度图N_DM，估计第二区域A2的深度图。例如，深度图估计模块124可以采用神经网络模型，并基于学习的神经网络模型来估计第二区域A2的深度图。第二深度图生成器120可以基于估计出的第二区域A2的深度图和第一深度图N_DM，生成第二图像W_IMG的第二深度图W_DM。
图5是概述根据本发明构思的某些实施例的电子装置的一种可能操作(例如，电子装置的图像处理方法)的流程图。
参照图1、图2、图3、图4和图5，电子装置10可以确定是否已经输入了图像IMG(S10)。例如，基于外部控制信号(例如，用户激活)，电子装置10可以使用第一相机20和第二相机30来拍摄物体，以提供物体的第一图像N_IMG和第二图像W_IMG。
当接收到第一图像N_IMG和第二图像W_IMG时(S10＝是)，电子装置10可以从第二图像W_IMG提取与第一图像N_IMG共有的第一区域A1的第一深度图N_DM(S20)。例如，第一深度图N_DM可以由接收第一图像N_IMG和第二图像W_IMG的第一深度图生成器110提取。
接下来，可以估计第二图像W_IMG的第一区域A1与第二区域A2之间的关系(S30)。在示例性实施例中，第一区域A1与第二区域A2之间的关系可以由接收第一图像N_IMG和第二图像W_IMG的关系估计模块122来估计。例如，关系估计模块122可以基于神经网络模型来估计该关系。
接下来，估计第二区域A2的深度图，并可以基于估计出的第二区域A2的深度图生成第二深度图W_DM(S40)。在示例性实施例中，第二区域A2的深度图可以由深度图估计模块124来估计，深度图估计模块124接收由关系估计模块122估计出的第一区域A1与第二区域A2之间的关系，以及第一深度图N_DM。例如，深度图估计模块124可以基于神经网络模型估计深度图。另外，深度图估计模块124可以基于第一区域A1的第一深度图N_DM和估计出的第二区域A2的深度图，生成第二图像W_IMG的第二深度图W_DM。
图6是示出作为关系估计模块和/或深度图估计模块的一部分的本发明构思的实施例可采用的神经网络NN的一个示例的概念图。
参照图6，神经网络NN可以包括输入层、隐藏层和输出层。神经网络NN可以基于接收到的输入数据(例如，I1和I2)执行操作，以便生成输出数据(例如，Q1和Q2)。参照图4、图5和图6示出的示例，神经网络NN被关系估计模块122采用，接收第一图像N_IMG和第二图像W_IMG作为输入数据，并生成关于第一图像N_IMG与第二图像W_IMG之间的关系(以下称为“关系信息”)的分析信息作为输出数据。附加地或替代地，神经网络NN被深度图估计模块124采用，接收第一图像N_IMG与第二图像W_IMG之间的关系信息和第一深度图N_DM作为输入数据，并生成第二区域A2的深度图作为输出数据。
神经网络NN可以是包括两个或更多个隐藏层的深度神经网络(DNN)或n层神经网络。例如，如图6所示，神经网络NN可以是包括输入层210、第一隐藏层212和第二隐藏层214以及输出层216的DNN。DNN可以是卷积神经网络(CNN)、递归神经网络(RNN)、深度信念网络，或受限玻尔兹曼机。然而，本发明构思不限于此。
当神经网络NN是DNN时，由于包括更多能够提取有效信息的层，所以神经网络NN可以处理相对复杂的数据集。另一方面，图6中所示的神经网络NN包括层210、212、214和216，但这仅是一个可能的示例。神经网络NN可以包括更多或更少的层。另外，神经网络NN可以包括具有与图6中所示的结构不同的各种结构的层。
包括在神经网络NN中的层210、212、214和216中的每一个可以包括多个神经元。神经元可以与被称为处理元件(PE)、单元或类似术语的多个人工节点对应。例如，如图6所示，输入层210可以包括两个神经元(节点)，第一隐藏层212和第二隐藏层214中的每一个隐藏层可以包括三个神经元(节点)，这仅是示例。包括在神经网络NN中的每个层可以包括不同数目的神经元(节点)。
包括在神经网络NN中所包括的每个层中的神经元彼此连接并且可以交换数据。神经元可以从其他神经元接收数据，可以对接收到的数据进行操作，并且可以将操作结果输出到其他神经元。
每个神经元(节点)的输入和输出可以被称为输入激活和输出激活。也就是说，激活可以是与神经元的输出和包括在下一层中的神经元的输入对应的参数。另一方面，每个神经元可以基于从包括在先前层中的神经元接收到的激活和权重来确定该神经元的激活。作为用于计算每个神经元中的输出激活的参数的权重可以是分配给神经元之间的连接关系的值。
每个神经元可以由用于接收输入激活和输出激活的计算单元或处理元件处理。可以映射每个神经元的输入和输出。例如，σ是激活函数，
Figure BDA0002155617120000111
可以是从包括在第(i-1)层的第k个神经元到包括在第i层的第j个神经元的权重值。
Figure BDA0002155617120000112
是包括在第i层中的第j个神经元的偏置值，
Figure BDA0002155617120000113
可以被称为第i层的第j个神经元的激活，即，后激活。可以通过使用以下等式1来计算后激活
Figure BDA0002155617120000114
Figure BDA0002155617120000115
如图6所示，第一隐藏层212的第一神经元的后激活可以表示为
Figure BDA0002155617120000116
另外，
Figure BDA0002155617120000117
的值可以是
Figure BDA0002155617120000118
也就是说，后激活可以是通过将激活函数应用于从先前层接收到的激活的和而获得的值。等式1仅是用于描述用于处理神经网络NN中的数据的激活和权重的示例。本发明构思不限于此。
图7是示出根据本发明构思的实施例的生成深度图的一个可能示例的另一概念图。
参照图7，第一图像N_IMG和第二图像W_IMG被提供给第一深度图生成器110，使得第一深度图生成器110可以生成第一图像N_IMG的第一深度图N_DM。这里，例如，第一深度图生成器110可以使用立体视觉方法来分析第一图像N_IMG与第二图像W_IMG之间的距离关系，并且可以基于分析出的距离关系生成第一图像N_IMG的具有高图片质量的第一深度图N_DM。
与前面示出的图2的示例一样，第二图像W_IMG被分成第一(主要)区域A1和第二(其余)区域A2。在类似于关于图4所描述的实施例中，关系估计模块122用于基于神经网络方法来估计第一区域A1与第二区域A2之间的关系。例如，假设关系估计模块122采用神经网络接收第一区域A1和第二区域A2的像素数据作为输入数据，并且基于输入数据生成第一区域A1与第二区域A2之间的关系作为输出数据。
第一深度图N_DM以及由关系估计模块122生成的第一区域A1与第二区域A2之间的关系被提供给深度图估计模块124。深度图估计模块124可以基于第一区域A1与第二区域A2之间的关系以及第一深度图N_DM，估计第二区域A2的深度图。在一个示例性实施例中，深度图估计模块124可以基于神经网络方法估计第二区域A2的深度图。例如，采用神经网络NN的深度图估计模块124接收第一区域A1与第二区域A2之间的关系以及第一深度图N_DM作为输入数据，并且可以基于输入数据生成第二区域A2的深度图作为输出数据。深度图可以基于估计出的第二区域A2的深度图和第一深度图N_DM，生成第二图像W_IMG的第二深度图W_DM。
图8是进一步示出根据本发明构思的实施例的电子装置10的操作的另一示例的框图。比较图3和图8所示的实施例，相同的组件用类似的附图标记表示。然而，与图3的实施例相比，在图8的实施例中，电子装置10还包括深度图融合单元130a。这里，深度图融合单元130a可以用于通过基于第一深度图N_DMa和第二深度图W_DMa执行融合操作来生成第二图像W_IMGa的第三深度图I_DMa。例如，深度图融合单元130a对第一深度图N_DMa和第二深度图W_DMa执行预先设置的操作，对执行了预先设置的操作的第一深度图N_DMa和第二深度图W_DMa执行融合操作，并且可以生成具有改善的图片质量的第二图像W_IMGa的第三深度图I_DMa。深度图融合单元130a可以对第一深度图N_DMa和第二深度图W_DMa执行预处理操作、融合操作和后处理操作。例如，深度图融合单元130a可以执行色调映射操作作为预处理操作，并且执行深度图校正操作作为后处理操作，如稍后所述。
图9是进一步示出在一个示例中的图8的深度图融合单元130a的框图。
参照图9，深度图融合单元130a可以包括色调映射模块132a、融合模块134a和后处理模块136a。在示例性实施例中，色调映射模块132a可以基于第二深度图W_DMa执行第二图像W_IMGa的第一区域A1的深度图与第二图像W_IMGa的第二区域A2的深度图之间的色调映射操作。第二深度图W_DMa可以包括具有高图片质量的第一区域A1的深度图和具有低图片质量的第二区域A2的深度图。也就是说，色调映射模块132a可以执行具有高图片质量及窄视场的深度图(第一区域A1的深度图)与具有低图片质量及宽视场的深度图(第二区域A2的深度图)之间的色调映射操作。例如，色调映射模块132a可以通过对第二深度图W_DMa执行偏置去除操作来生成经色调映射的第二深度图。
融合模块134a可以对经色调映射的第二深度图和第一深度图N_DMa执行融合操作。融合模块134a可以基于各种融合算法通过对经色调映射的第二深度图和第一深度图N_DMa执行融合操作来生成第二图像W_IMGa的第三深度图。
后处理模块136a可以通过对由融合模块134a生成的第三深度图执行后处理操作来生成经后处理的第三深度图I_DMa。例如，后处理模块136a可以对根据融合模块134a的融合操作在第三深度图中生成的界面执行滤波操作。也就是说，后处理模块136a可以对在具有高图片质量的第一区域A1的深度图与具有中等图片质量的第二区域A2的深度图之间形成的界面执行处理操作。
后处理模块136a可以包括双边滤波器。后处理模块136a可以基于双边滤波器对界面执行处理操作。这里，后处理模块136a可以通过在双边滤波器保持边缘时去除噪声来对界面执行滤波操作，后处理模块136a可以包括高斯滤波器和中值滤波器中的至少一个。
后处理模块136a可以包括域变换(DT)滤波器。后处理模块136a可以去除或阻止根据基于DT滤波器的融合在深度图中生成的伪像。例如，伪像可以意味着异常深度，例如在深度图中形成的人造斑点和缺陷。
图10是概述在另一示例中根据本发明构思的实施例的电子装置10的操作方法(例如，电子装置10的图像处理方法)的流程图。
参照图10，电子装置10可以生成第二图像W_IMGa的第二深度图W_DMa(S100)。这里，电子装置10可以基于具有窄视场的第一图像N_IMGa和具有宽视场的第二图像W_IMGa，生成包括第一区域A1的深度图和第二区域A2的深度图的第二深度图W_DMa。也就是说，电子装置10可以基于第一图像N_IMGa和第二图像W_IMGa生成包括具有高图片质量的第一区域A1的深度图和具有低图片质量的第二区域A2的深度图的第二深度图W_DMa。
接下来，电子装置10可以对第二深度图W_DMa执行色调映射操作(S110)。例如，电子装置10包括色调映射模块132a，并且色调映射模块132a可以基于第二深度图W_DMa，执行第二图像W_IMGa的第一区域A1的深度图与第二图像W_IMGa的第二区域A2的深度图之间的色调映射操作。因此，可以在具有高图片质量及窄视场的深度图与具有低图片质量及宽视场的深度图之间执行色调映射操作。
接下来，电子装置10可以对经色调映射的第二深度图和第一深度图N_DMa执行融合操作(S120)。例如，电子装置10包括融合模块134a，并且融合模块134a可以基于融合算法，通过对经色调映射的第二深度图和第一深度图N_DMa执行融合操作来生成第二图像W_IMGa的第三深度图。
接下来，电子装置10可以对由融合模块134a生成的第三深度图执行后处理操作(S130)。例如，电子装置10可以包括后处理模块136a，其中后处理模块136a用于通过对由融合模块134a生成的第三深度图执行后处理操作来生成经后处理的第三深度图I_DMa。这里，后处理模块136a可以对根据融合模块134a的融合操作在第三深度图中生成的界面执行滤波操作。另外，后处理模块136a可以去除或阻止根据融合模块134a的融合操作在第三深度图中生成的伪像。
图11是示出根据本发明构思的实施例的深度图融合的另一示例的另一概念图。
参照图11，第二深度图W_DMa被提供给色调映射模块132a，色调映射模块132a可以生成经色调映射的第二深度图M_DMa。这里，第二深度图W_DMa可以包括具有高图片质量及窄视场的深度图和具有低图片质量及宽视场的深度图。色调映射模块132a可以通过对第二深度图W_DMa执行偏置去除操作，在具有高图片质量及窄视场的深度图与具有低图片质量及宽视场的深度图之间生成经色调映射的第二深度图M_DMa。
接下来，可以将经色调映射的第二深度图M_DMa和第一深度图N_DMa输入到融合模块134a。融合模块134a可以通过对经色调映射的第二深度图M_DMa和第一深度图N_DMa执行融合操作来生成第二图像W_IMGa的第三深度图F_DMa。
接下来，可以将第三深度图F_DMa输入到后处理模块136a。后处理模块136a可以通过对第三深度图F_DMa执行各种后处理操作来生成经后处理的第三深度图I_DMa。例如，后处理模块136a可以对根据融合模块134a的融合操作在第三深度图F_DMa中生成的界面执行滤波操作。另外，例如，后处理模块136a可以去除或阻止根据融合模块134a的融合操作在第三深度图F_DMa中生成的伪像。
因此，在本发明构思的某些实施例中描述的电子装置10可以基于具有不同视场的图像，生成形成宽角的图像的深度图。另外，可以通过基于具有不同视场的图像之间的关系生成形成宽角的图像的深度图，来生成具有改善的图片质量的深度图。
图12是示出根据本发明构思的实施例的图8的深度图融合单元的框图。可以考虑图9的实施例并与图12的实施例进行比较。
参照图12，深度图融合单元130b还可以包括传播模块133b。这里，传播模块133b可以基于第一深度图N_DMb和第二图像W_IMGb在第二图像W_IMGb中生成传播后的第一深度图S_DMb。例如，关于被划分为第一区域A1和第二区域A2的第二图像W_IMGb，传播模块133b可以重复地将对应于第一区域A1的第一深度图N_DMb传播到第二区域A2。在示例性实施例中，传播模块133b包括域转换滤波器，并且可以基于该域转换滤波器执行重复传播操作。
在示例性实施例中，融合模块134b可以对经色调映射的第二深度图和传播后的第一深度图S_DMb执行融合操作。融合模块134b可以基于先前设置的融合算法通过对经色调映射的第二深度图和传播后的第一深度图S_DMb执行融合操作来生成第二图像W_IMGb的第三深度图。后处理模块136b可以通过基于第三深度图执行后处理操作来生成经后处理的第三深度图I_DMb。
图13是示出根据本发明构思的实施例的深度图融合的一个示例的又一概念图。应该考虑图13并将其与图11的示例进行比较。
参照图13，第一深度图N_DMb和第二图像W_IMGb被输入到传播模块133b，并且传播模块133b可以在第二图像W_IMGb中生成传播后的第一深度图S_DMb。例如，传播模块133b可以通过将与第二图像W_IMGb中的第一区域A1对应的第一深度图N_DMb重复地传播到第二区域A2，来生成传播后的第一深度图S_DMb。
接下来，可以将传播后的第一深度图S_DMb和经色调映射的第二深度图M_DMb输入到融合模块134b。融合模块134b可以基于先前设置的融合算法，通过对传播后的第一深度图S_DMb和经色调映射的第二深度图M_DMb执行融合操作来生成第二图像W_IMGb的第三深度图F_DMb。后处理模块136b可以通过基于第三深度图F_DMb执行后处理操作来生成经后处理的第三深度图I_DMb。
图14是概述根据本发明构思的实施例的操作电子装置10的方法的又一示例的流程图。
参照图14，在前述示例性实施例的上下文中，电子装置10可以用于获得对象(或物体)的图像(S200)。如前所述，电子装置10可以包括第一相机模块20和第二相机模块30，并且可以通过第一相机模块20以第一视场获得物体的第一图像N_IMG，可以通过第二相机模块30以第二视场获得对象的第二图像W_IMG。例如，第一图像N_IMG可以基于窄视场，而第二图像W_IMG可以基于宽视场。
接下来，电子装置10可以执行应用以应用图像效果(S210)。这里，应用可以被存储在存储器50中，并且可以响应于外部提供的命令而由处理器100执行。在这方面，应用图像效果的应用可以与自动调焦、跑焦(out-focusing)、前景/背景分离、面部识别/检测、帧内的物体检测和增强现实中的至少一个相关。
接下来，电子装置10可以确定是否已经获得第二图像W_IMG的第一区域A1的深度图(S220)。第二图像W_IMG中的第一区域A1可以与第一图像N_IMG相同。在示例性实施例中，电子装置10包括第一深度图生成器110，并且第一深度图生成器110可以基于第一图像N_IMG和第二图像W_IMG获得第一区域A1的深度图(或第一深度图N_DM)。
当获得第一图像A1的深度图时，电子装置10可以估计第二图像W_IMG的第二区域A2的深度图(S230)。第二区域A2可以是第二图像W_IMG中的除第一区域A1之外的其余区域。在示例性实施例中，电子装置10包括第二深度图生成器120，并且第二深度图生成器120可以基于第一图像N_IMG、第二图像W_IMG和第一深度图N_DM来估计第二区域A2的深度图。
接下来，电子装置10可以生成整个图像(即，第二图像W_IMG)的深度图(S240)。在示例性实施例中，第二深度图生成器120可以基于第一深度图N_DM和估计出的第二区域A2的深度图，生成第二图像W_IMG的第二深度图W_DM。在另一示例性实施例中，电子装置10还包括深度图融合单元130a，并且深度图融合单元130a可以通过对第一深度图N_DM和第二深度图W_DM执行特定操作并执行融合操作，生成第二图像W_IMG的第三深度图I_DMa。
接下来，电子装置10可以基于所生成的深度图将图像效果应用于第二图像W_IMG(S250)。例如，当应用自动聚焦作为图像效果时，电子装置10可以基于第二图像W_IMAG的深度图根据每个像素的深度来改变焦点。根据当前实施例，电子装置10可以通过获得具有改善的图片质量的深度图来对所获得的图像执行具有改进质量的各种图像效果。
图15是示出根据本发明构思的实施例的电子装置1000的一种可能配置的框图。
参照图15，电子装置1000可以包括处理器1100、存储器1200、输入和输出接口1300、显示器1400、相机模块1500和总线1600。另外，尽管图中未示出，但是电子装置1000还可以包括诸如通信模块的各种组件。
总线1600可以包括用于连接电子装置1000中包括的组件并在组件之间传输控制信号或数据的电路。处理器1100可以包括中央处理单元(CPU)、应用处理器和通信处理器中的一个或更多个。在示例性实施例中，处理器1100可以执行与上述图1至图14中的深度图生成有关的各种操作。例如，根据本发明构思的实施例的装置(包括单独的或集合的模块、功能等)和/或其操作方法中的至少一部分可以通过以程序模块形式存储在计算机可读存储介质中的命令来实现。当处理器1100执行命令时，处理器1100可以执行与该命令相对应的功能。计算机可读存储介质可以是存储器1200。
作为程序(或软件)的存储器1200可以包括内核1210、中间件1220、应用程序接口(API)1230和应用1240。内核1210、中间件1220和API 1230中的至少一部分可以称为操作系统。内核1210可以控制或管理用于执行在程序中实现的操作或功能的系统资源(例如，总线1600、处理器1100或存储器1200)。中间件1220可以充当中介，因此API 1230或应用1240与内核1210通信并且可以接收数据。应用1240可以被实现为对由相机模块1500获得的图像执行各种图像效果。
输入和输出接口1300将从用户或另一外部设备输入的命令或数据发送到电子装置100的其他组件，或者可以将从电子装置1000的其他组件接收的命令或数据输出给用户或另一外部设备。显示器1400可以将由相机模块1500获得的图像显示到外部。或者，显示器1400可以将被处理器1100中的应用1240应用了图像效果的图像显示到外部。
相机模块1500可以响应于来自外部的输入，通过执行拍摄来获得对象的图像。在示例性实施例中，相机模块1500可以包括用于获得具有不同视场的图像的第一相机模块和第二相机模块。
尽管已经参考本发明构思的实施例特别示出和描述了本发明构思，但是应当理解，在不脱离所附权利要求的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (20)

1.一种电子装置，所述电子装置包括：
第一相机模块，所述第一相机模块被配置为以第一视场获得物体的第一图像；
第二相机模块，所述第二相机模块被配置为以与所述第一视场不同的第二视场获得所述物体的第二图像；
第一深度图生成器，所述第一深度图生成器被配置为基于所述第一图像和所述第二图像生成所述第一图像的第一深度图；以及
第二深度图生成器，所述第二深度图生成器被配置为基于所述第一图像、所述第二图像和所述第一深度图生成所述第二图像的第二深度图。
2.根据权利要求1所述的电子装置，其中所述第一视场是窄角，所述第二视场是更宽的角。
3.根据权利要求2所述的电子装置，其中所述第二图像被划分为与所述第一图像交叠的主要区域和包括所述第二图像的剩余部分的其余区域，并且
所述第二深度图生成器包括：
关系估计模块，所述关系估计模块被配置为基于所述第一图像和所述第二图像，估计所述主要区域与所述其余区域之间的关系；以及
深度图估计模块，所述深度图估计模块被配置为基于估计出的关系和所述第一深度图来估计所述其余区域的深度图。
4.根据权利要求3所述的电子装置，其中所述关系估计模块和所述深度图估计模块中的至少一个基于神经网络模块执行估计操作。
5.根据权利要求1所述的电子装置，所述电子装置还包括：
深度图融合单元，所述深度图融合单元被配置为通过基于所述第一深度图和所述第二深度图执行融合操作，生成所述第二图像的第三深度图。
6.根据权利要求5所述的电子装置，其中所述深度图融合单元包括：
色调映射模块，所述色调映射模块被配置为通过对所述第二深度图执行偏置去除操作，生成经色调映射的第二深度图以对应于所述第一深度图；以及
融合模块，所述融合模块被配置为通过融合经色调映射的第二深度图和所述第一深度图，生成所述第三深度图。
7.根据权利要求6所述的电子装置，其中所述深度图融合单元还包括传播模块，所述传播模块被配置为通过基于所述第一深度图和所述第二图像对所述第一深度图进行重复传播，在所述第二图像中生成传播后的第一深度图，以及
所述融合模块通过对所述经色调映射的第二深度图和所述传播后的第一深度图进行融合来生成所述第三深度图。
8.根据权利要求6所述的电子装置，其中所述深度图融合单元还包括后处理模块，所述后处理模块被配置为对由所述融合模块生成的所述第三深度图执行后处理操作，以提供经后处理的第三深度图。
9.根据权利要求8所述的电子装置，其中所述后处理模块通过对根据所述融合模块的融合在所述第三深度图中生成的界面进行滤波，执行所述后处理操作。
10.根据权利要求8所述的电子装置，其中所述后处理模块去除根据所述融合模块的融合在所述第三深度图中生成的伪像。
11.根据权利要求1所述的电子装置，其中所述第一深度图生成器分析所述第一图像与所述第二图像之间的距离关系，并基于所述距离关系生成所述第一图像的第一深度图。
12.一种处理电子装置的图像的方法，所述方法包括：
使用所述电子装置的第一相机模块获得物体的第一图像；
使用所述电子装置的第二相机模块获得所述物体的第二图像；
基于所述第一图像和所述第二图像，生成所述第一图像的第一深度图；
基于所述第一图像和所述第二图像，估计所述第二图像的与所述第一图像交叠的主要区域与所述第二图像的包括所述第二图像的剩余部分的其余区域之间的关系；以及
基于估计出的所述主要区域与所述其余区域之间的关系以及所述第一深度图，生成所述第二图像的第二深度图。
13.根据权利要求12所述的方法，其中所述第一相机模块包括具有第一视场的第一透镜，所述第二相机模块包括具有比所述第一视场宽的第二视场的第二透镜。
14.根据权利要求13所述的方法，其中生成所述第二深度图包括：
基于估计出的所述主要区域与所述其余区域之间的关系以及所述第一深度图，估计所述其余区域的深度图；以及
基于所述其余区域的深度图和所述第一深度图，生成所述第二深度图。
15.根据权利要求12所述的方法，其中使用神经网络模型来执行对所述第二图像的主要区域与所述第二图像的其余区域之间的关系的估计。
16.根据权利要求12所述的方法，所述方法还包括：
对所述第二深度图执行预处理操作；以及
通过对执行了所述预处理操作的所述第二深度图和所述第一深度图进行融合，生成所述第二图像的第三深度图。
17.根据权利要求16所述的方法，其中执行所述预处理操作包括：基于所述第二深度图，在所述主要区域的深度图与所述其余区域的深度图之间执行色调映射操作。
18.一种电子装置的操作方法，
所述电子装置包括：第一相机模块和第二相机模块，所述第一相机模块以第一视场提供物体的第一图像，所述第二相机模块以比所述第一视场宽的第二视场提供所述物体的第二图像，以及
处理器，所述处理器基于所述第二图像的与所述第一图像交叠的主要区域和所述第二图像的包括所述第二图像的剩余部分的其余区域生成所述第二图像的深度图，
所述操作方法包括：
通过估计所述第一图像与所述第二图像之间的关系，生成所述主要区域的第一深度图；
基于所述第一图像和所述第二图像，估计所述主要区域与所述其余区域之间的关系；
基于估计出的所述主要区域与所述其余区域之间的关系，通过估计所述其余区域的深度图生成所述第二图像的第二深度图；以及
通过融合所述第一深度图和所述第二深度图，生成所述第二图像的深度图。
19.根据权利要求18所述的操作方法，所述操作方法还包括：
执行基于所述第二图像的深度图将图像效果应用于所述第二图像的应用。
20.根据权利要求19所述的操作方法，其中所述应用基于所述第二图像的深度图，将以下图像效果中的至少一种应用于所述第二图像：自动聚焦、跑焦、前景/背景分离、面部识别、帧内物体检测和增强现实。
CN201910716497.XA 2018-12-14 2019-08-05 电子装置及其操作方法，以及处理电子装置的图像的方法 Pending CN111327887A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180162147A KR102606824B1 (ko) 2018-12-14 2018-12-14 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법
KR10-2018-0162147 2018-12-14

Publications (1)

Publication Number Publication Date
CN111327887A true CN111327887A (zh) 2020-06-23

Family

ID=71071023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910716497.XA Pending CN111327887A (zh) 2018-12-14 2019-08-05 电子装置及其操作方法，以及处理电子装置的图像的方法

Country Status (3)

Country Link
US (1) US10848746B2 (zh)
KR (1) KR102606824B1 (zh)
CN (1) CN111327887A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11457196B2 (en) 2019-08-28 2022-09-27 Snap Inc. Effects for 3D data in a messaging system
US11189104B2 (en) 2019-08-28 2021-11-30 Snap Inc. Generating 3D data in a messaging system
US11488359B2 (en) * 2019-08-28 2022-11-01 Snap Inc. Providing 3D data for messages in a messaging system
KR20220005283A (ko) * 2020-07-06 2022-01-13 삼성전자주식회사 이미지 개선을 위한 전자장치 및 그 전자장치의 카메라 운용 방법
CN114663575A (zh) * 2020-12-23 2022-06-24 日本电气株式会社 图像处理的方法、设备和计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101960860A (zh) * 2007-11-09 2011-01-26 汤姆森许可贸易公司 使用基于区域的滤波的深度图提取系统和方法
US20140267602A1 (en) * 2013-03-14 2014-09-18 CSR Technology, Inc. System and method for real time 2d to 3d conversion of a video in a digital camera
US20160212411A1 (en) * 2015-01-20 2016-07-21 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
US20180176530A1 (en) * 2016-12-19 2018-06-21 Sony Corporation Using multiple cameras to stitch a consolidated 3d depth map
US20180176541A1 (en) * 2016-12-20 2018-06-21 Gopro, Inc. Compact array of imaging devices with supplemental imaging unit
CN108230384A (zh) * 2017-11-28 2018-06-29 深圳市商汤科技有限公司 图像深度计算方法、装置、存储介质和电子设备
US20180300590A1 (en) * 2017-04-13 2018-10-18 Facebook, Inc. Panoramic camera systems

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100871595B1 (ko) * 2007-10-09 2008-12-02 박선의 고속카메라를 이용한 구형물체의 비행정보 측정 시스템
US9720089B2 (en) 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager
KR101244044B1 (ko) * 2012-03-19 2013-03-15 정미애 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법
KR102147133B1 (ko) 2013-05-16 2020-08-24 엘지이노텍 주식회사 스테레오 카메라
EP4016981A3 (en) 2013-12-24 2022-09-21 Sony Depthsensing Solutions A time-of-flight camera system
KR102172992B1 (ko) 2014-07-31 2020-11-02 삼성전자주식회사 이미지 촬영 장치 및 이미지 촬영 방법
TWI538508B (zh) * 2014-08-15 2016-06-11 光寶科技股份有限公司 一種可獲得深度資訊的影像擷取系統與對焦方法
KR101609188B1 (ko) 2014-09-11 2016-04-05 동국대학교 산학협력단 화각의 향상을 위한 최적 배치를 갖는 깊이 카메라 시스템
TWI554103B (zh) 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
CN107534764B (zh) 2015-04-30 2020-03-17 深圳市大疆创新科技有限公司 增强图像分辨率的系统及方法
US10291842B2 (en) * 2015-06-23 2019-05-14 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of operating the same
US9900584B2 (en) 2016-04-27 2018-02-20 Semyon Nisenzon Depth map generation based on cluster hierarchy and multiple multiresolution camera clusters
KR102529928B1 (ko) * 2016-09-22 2023-05-09 삼성전자주식회사 스테레오 카메라의 교정 방법 및 이를 수행하는 전자 장치
KR101739394B1 (ko) 2016-12-30 2017-05-26 재단법인대구경북과학기술원 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101960860A (zh) * 2007-11-09 2011-01-26 汤姆森许可贸易公司 使用基于区域的滤波的深度图提取系统和方法
US20140267602A1 (en) * 2013-03-14 2014-09-18 CSR Technology, Inc. System and method for real time 2d to 3d conversion of a video in a digital camera
US20160212411A1 (en) * 2015-01-20 2016-07-21 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
US20180176530A1 (en) * 2016-12-19 2018-06-21 Sony Corporation Using multiple cameras to stitch a consolidated 3d depth map
US20180176541A1 (en) * 2016-12-20 2018-06-21 Gopro, Inc. Compact array of imaging devices with supplemental imaging unit
US20180300590A1 (en) * 2017-04-13 2018-10-18 Facebook, Inc. Panoramic camera systems
CN108230384A (zh) * 2017-11-28 2018-06-29 深圳市商汤科技有限公司 图像深度计算方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
KR20200073694A (ko) 2020-06-24
US20200195910A1 (en) 2020-06-18
KR102606824B1 (ko) 2023-11-27
US10848746B2 (en) 2020-11-24
TW202038604A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111327887A (zh) 电子装置及其操作方法，以及处理电子装置的图像的方法
US11756223B2 (en) Depth-aware photo editing
KR102574141B1 (ko) 이미지 디스플레이 방법 및 디바이스
JP7106665B2 (ja) 単眼深度推定方法およびその装置、機器ならびに記憶媒体
Wang et al. Selective light field refocusing for camera arrays using bokeh rendering and superresolution
US11663691B2 (en) Method and apparatus for restoring image
TWI519128B (zh) 利用多解析度程序產生堅固深度圖的系統與方法
CN111105450A (zh) 用于视差估计的电子装置和方法
TWI808987B (zh) 將相機與陀螺儀融合在一起的五維視頻穩定化裝置及方法
CN108073857A (zh) 动态视觉传感器dvs事件处理的方法及装置
US10109076B2 (en) Depth-aware stereo image editing method apparatus and computer-readable medium
WO2020151281A9 (zh) 图像处理方法及装置、电子设备和存储介质
EP3763119B1 (en) Method for generating depth information and electronic device supporting the same
US10397498B2 (en) Compressive sensing capturing device and method
WO2012177166A1 (en) An efficient approach to estimate disparity map
WO2018063606A1 (en) Robust disparity estimation in the presence of significant intensity variations for camera arrays
WO2023086694A1 (en) Image modification techniques
KR20200094500A (ko) 이미지 프레임 데이터에 포함된 라인 데이터를 복수의 구간들로 처리하는 전자 장치 및 방법
Kang et al. Facial depth and normal estimation using single dual-pixel camera
US11823353B2 (en) System and method for generating bokeh image for DSLR quality depth-of-field rendering and refinement and training method for the same
TWI835907B (zh) 電子設備及其操作方法以及影像處理方法
CN111382753A (zh) 光场语义分割方法、系统、电子终端及存储介质
Guo et al. Low-light color imaging via dual camera acquisition
TWI834744B (zh) 使用具有不同視野的相機進行差異估測的電子裝置及方法
US20240073449A1 (en) System, devices and/or processes for adaptive image resolution scaling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination