CN112005548A - 生成深度信息的方法和支持该方法的电子设备 - Google Patents

生成深度信息的方法和支持该方法的电子设备 Download PDF

Info

Publication number
CN112005548A
CN112005548A CN201980026555.4A CN201980026555A CN112005548A CN 112005548 A CN112005548 A CN 112005548A CN 201980026555 A CN201980026555 A CN 201980026555A CN 112005548 A CN112005548 A CN 112005548A
Authority
CN
China
Prior art keywords
image
depth information
point
electronic device
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980026555.4A
Other languages
English (en)
Other versions
CN112005548B (zh
Inventor
梁京东
朴宰亨
裕栄木
崔东范
元钟勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112005548A publication Critical patent/CN112005548A/zh
Application granted granted Critical
Publication of CN112005548B publication Critical patent/CN112005548B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本公开提供了电子设备。该电子设备包括第一相机、与第一相机间隔开的第二相机以及处理器。处理器被配置为：使用第一相机获得外部对象的第一图像；使用第二相机获得外部对象的第二图像；基于第一图像和第二图像的相位差比较，从第一图像和第二图像中包括的外部对象中识别在其中生成多条深度信息的指定对象；基于与第一图像和第二图像中的至少一者中包括的指定对象相对应的点的扩展度来从多条深度信息中选择关于指定对象的深度信息；以及利用所选择的深度信息来生成关于包括指定对象的外部对象的深度信息。

Description

生成深度信息的方法和支持该方法的电子设备
技术领域
本公开涉及一种通过利用多个图像来生成深度信息的技术，其中，每个图像的视点都不相同。
背景技术
电子设备可以基于利用双相机获得的第一图像和第二图像来提供各种服务。例如，电子设备可以基于从双相机获得的第一图像(例如，左相机的图像)和第二图像(例如，右相机的图像)之间的相位差来生成深度信息。
上述信息仅作为背景信息而提供，以帮助理解本公开。对于任意上述内容是否可作为本公开的现有技术没有任何判定，也没有任何断言。
发明内容
技术问题
根据相位差计算技术(例如，安全关联数据库(SAD)、固态驱动器(SSD)和CENSUS算法)，电子设备可以计算第一图像的第一区域和与第一区域相对应的第二图像的候选区域之间的相位差成本，可以计算具有最小相位差成本的第一区域和候选区域之间的相位差，并且可以基于该相位差来计算关于包括在第一图像和第二图像中的对象的深度信息。
然而，当立体图像包括重复图案或具有高空间频率的区域时，可能会计算出与第一图像的第一区域相对应的第二图像的多个候选区域，因此，可能无法基于相位差生成深度信息。
技术方案
提供了本公开的各个方面以解决至少上述问题和/或缺点，并且提供至少下述优点。因此，本公开的一方面在于提供一种当不能基于立体图像的相位差来计算深度信息时，使用来自散焦测距(DFD)操作的深度来生成深度信息的方法和支持该方法的电子设备。
其他方面将部分地在随后的描述中进行阐述，并且部分地从随后的描述中显而易见，或者可以通过实践所示的实施例而获知。
根据本公开的一方面，提供了电子设备。该电子设备包括：第一相机，其设置在电子设备的一个表面上；第二相机，其设置在该一个表面上并且与第一相机间隔开指定的间距；以及至少一个处理器。该处理器被配置为：使用第一相机获得一个或更多个外部对象的第一图像；使用第二相机获得一个或更多个外部对象的第二图像；基于第一图像和第二图像之间的相位差比较，从第一图像和第二图像中包括的一个或更多个外部对象中识别在其中生成深度信息的指定对象；基于与第一图像和第二图像中的至少一个图像中包括的指定对象相对应的点的扩展度，从多条深度信息中选择关于指定对象的深度信息；以及使用所选择的深度信息生成关于包括指定对象的一个或更多个外部对象的深度信息。
根据本公开的另一方面，提供了电子设备。该电子设备包括相机、存储器和至少一个处理器。该相机包括每像素的第一组像素和第二组像素，并且该至少一个处理器可以被配置为：使用相机的第一组像素获得一个或更多个外部对象的第一图像；使用相机的第二组像素获得一个或更多个外部对象的第二图像；基于第一图像和第二图像的相位差比较来识别第一图像和第二图像中包括一个或更多个外部对象中的从其生成多条深度信息的指定对象；以及基于第一图像和第二图像中的至少一者中包括的指定对象的点的扩展度来从多条深度信息中选择关于指定对象的深度信息。
根据本公开的另一方面，提供了电子设备的深度信息生成方法。该深度信息生成方法包括：使用至少一个相机获得一个或更多个外部对象的第一图像和第二图像；基于第一图像和第二图像的相位差比较来识别第一图像和第二图像中包括一个或更多个外部对象中的从其生成多条深度信息的指定对象；基于与第一图像和第二图像中的至少一个图像中包括的指定对象相对应的点的扩展度来从多条深度信息中选择关于指定对象的深度信息；以及利用所选择的深度信息来生成关于包括指定对象的一个或更多个外部对象的深度信息。第一图像和第二图像至少可以具有一个或更多个外部对象的相位差。
根据以下结合附图披露本公开的实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。
有益效果
根据本公开的实施例，可以通过利用DFD操作基于相位差来计算深度信息。可以提供通过本公开直接或间接理解的各种效果。
附图说明
从以下结合附图的描述中，本公开的特定实施例的前述及其他方面、特征以及优点将更加显而易见，在附图中：
图1是用于描述根据本公开实施例的从利用双相机获得的图像计算深度信息的方法的视图；
图2是根据本公开的实施例的用于描述检测相位差的方法的视图；
图3是用于描述根据本公开的实施例的基于相位差的深度信息计算的误差的视图；
图4是根据本公开的实施例的其中基于相位差的深度信息计算方法和基于散焦测距(DFD)的深度信息计算方法被混合的示例；
图5是根据本公开的实施例的电子设备的框图；
图6是根据本公开的实施例的用于描述计算深度图的方法的视图；
图7是根据本公开的实施例的双像素相机的每个像素的结构视图；
图8是根据本公开的实施例的电子设备的框图；
图9是根据本公开的实施例的生成深度信息的方法的流程图；
图10是根据本公开的实施例的网络环境中的电子设备的框图；以及
图11是示出了根据本公开的实施例的相机模块的框图。
应当注意，贯穿整个附图，相同的标号用于描述相同或相似的元件、特征和结构。
具体实施方式
提供以下参考附图的描述是为了帮助全面了解由权利要求及其等同形式所限定的本公开的各种实施例。它包括各种具体的细节来帮助理解，但这些细节只能被视为示范。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文所描述的各种实施例进行各种更改和修改。此外，为了清楚和简明，可能省略对公知功能和结构的描述。
以下描述和权利要求中所使用的术语和措辞并不限于书面含义，而是仅用于以使得能够清楚而一致地理解本公开。因此，本领域技术人员应当明白，以下对本公开的各种实施例的描述仅仅为了说明的目的，而不旨在限制由所附权利要求及其等同形式所限定的本公开。
应理解，除非上下文中另有明确指示，未指明数量的表述“一”、“该”和“所述”也包括多个所指对象。因此，例如对“组件表面”的引述包括对一个或更多个这种表面的引述。
在本公开中，表述“具有”、“可以具有”、“包括”和“包含”、或者“可以包括”和“可以包含”是指存在对应的特征(例如，诸如数值、功能、操作或部件的组件)，但是并不排除存在另外的特征。
在本公开中，表述“A或B”、“A或/和B中的至少一个”、或者“A或/和B中的一个或更多个”等等，可以包括相关列出项中的一个或更多个的任何和所有组合。例如，术语“A或B”、“A和B中的至少一个”、或者“A或B中的至少一个”可以指如下三种情况中的所有情况：情况(1)，在这种情况下包括至少一个A；情况(2)，在这种情况下包括至少一个B；或者情况(3)，在这种情况下既包括至少一个A也包括至少一个B。
在本公开中使用的诸如“第一”、“第二”之类的术语可以用来指代各种组件，而与顺序和/或优先级无关，并且可以将相关组件与其他组件区别开来，但是并不如此限制组件。例如，第一用户设备和第二用户设备表示不同的用户设备，而不管其顺序或重要性。例如，在不脱离本公开的范围的情况下，第一组件可以被称为第二组件，类似地，第二组件可以被称为第一组件。
应当理解，当一个组件(例如，第一组件)被称为“(可操作地或电气地)与另一个组件(例如，第二组件)耦合或者耦合到另一个组件(例如，第二组件)”或者“连接到另一个组件(例如，第二组件)”时，所述一个组件可以直接与所述另一个组件耦合/耦合到所述另一个组件或者连接到所述另一个组件，或者可以存在介于中间的组件(例如，第三组件)。对照而言，当一个组件(例如，第一组件)被称为“直接与另一个组件(例如，第二组件)耦合或者直接耦合到另一个组件(例如，第二组件)”或者“直接连接到另一个组件(例如，第二组件)”时，应当理解，不存在介于中间的组件(例如，第三组件)。
根据情况，本公开使用的表述“配置成……”例如可以用作如下表述：“适合于……”、“具有……的能力”、“设计成……”、“适于……”、“被用来……”或者“能够……”。术语“配置成……”并不意味着仅在硬件上“特别设计成……”。相反，表述“设备，配置成……”可以表达这样的意思：所述设备“能够”与另一设备或其他部件一起工作。例如，“被配置为(或者，设置为)执行A、B和C的处理器”可以表示用于执行相应操作的专用处理器(例如嵌入式处理器)或者能够通过执行存储设备中存储的一个或更多个软件程序来执行相应操作的通用处理器(例如中央处理单元(CPU)或应用处理器(AP))。
本公开中使用的术语用于描述特定实施例，并不意图限制本公开的范围。单数形式的术语可能包含复数形式，除非另外说明。本文中使用的所有术语，包括技术术语和科学术语在内，具有与本领域技术人员通常理解的意思相同的意思。还应当理解，在本公开的各个实施例中，在字典中定义的并且常用的术语，也应当像在有关的相关领域中的习惯一样解释，而不是理想方或者过分正式的方式，除非在本文中明确这样定义。在一些情况下，即使是在本公开中定义的术语，这样的术语也不能被解释为排除本公开的实施例。
根据本公开的各个实施例的电子设备可以包括如下电子设备中的至少一种：智能电话、平板电脑(PC)、移动电话、视频电话、电子书阅读器、桌上PC、笔记本PC、上网本计算机、工作站、个人数字助手(PDA)、便携式多媒体播放器(PMP)、运动图像专家组第一阶段或第二阶段(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗设备、相机和可穿戴设备。根据本公开的实施例，可佩戴设备可以包括配件型(例如，手表、戒指、手环、脚环、项链、眼镜、隐形眼镜或头戴式设备(HMD))、纺织或服装集成型(例如，电子服装)、身体附着型(例如，皮肤垫或纹身)和生物可植入型(例如，可植入电路)中的至少一种。
根据本公开的实施例，电子设备可以是家用电器。家用电器可以包括例如电视(TV)、数字多功能光盘(DVD)播放器、音响、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气清洁器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(例如XboxTM和PlayStationTM)、电子词典、电子钥匙、便携式摄像机和电子相框中的至少一种。
根据另一个实施例，电子设备可以包括以下各项中的至少一种：各种医疗设备(例如，各种便携式医疗测量设备(例如，血糖测量设备、心跳测量设备、血压测量设备或体温测量设备等)、磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算机断层扫描(CT)设备、扫描机和超声波设备)、导航设备，全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、车载信息娱乐设备、船舶电子设备(例如，船舶导航设备和陀螺罗盘)、航空电子设备、安保设备、车辆头单元、工业或家庭机器人、自动柜员机(ATM)、商店的销售点(POS)和物联网设备(例如，灯泡、各种传感器、电表或燃气表、洒水器、火警警报器、恒温器、路灯、烤面包机、健身器材、热水箱、加热器和锅炉等)。
根据实施例，电子设备可以包括家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪和各种类型的测量仪器(例如水表、电表、煤气表、无线电波表等)。根据本公开的实施例，电子设备可以是上述设备之一或其组合。根据实施例的电子设备可以是柔性电子设备。此外，根据技术的发展，根据本公开的实施例的电子设备可以不限于上述电子设备，并且可以包括其他电子设备和新的电子设备。
下文中，将参考附图描述根据本公开的实施例的电子设备。在本公开中，术语“用户”可以指使用电子设备的人或使用该电子设备的设备(例如人工智能电子设备)。
图1是用于描述根据本公开实施例的从利用双相机获得的图像计算深度信息的方法的视图。
参照图1，当对象‘C’和对象‘D’分别包括在第一相机110的视角和第二相机120的视角中时，第一相机110可以捕获包括对象‘C’和对象‘D’的图像(A的图像)的第一视角，并且第二相机120可以捕获包括对象‘C’和对象‘D’的第二图像(B的图像)。因为第一相机110和第二相机120间隔开指定的距离，所以第一图像中包括对象‘C’和对象‘D’的第一区域的坐标值可以与包括第二图像中的对象‘C’和对象‘D’的第二区域的坐标值不同，这是由于第一相机110和第二相机120之间的平行视差。当立体视觉技术应用于第一图像和第二图像时，可以计算第一图像的第一区域与第二图像的第二区域之间的视差(例如，E、F)。该视差可以根据第一相机110和第二相机120与外部对象(例如，被摄体)之间的距离而变化。例如，在外部对象靠近第一相机110和第二相机120的情况下，视差会增加；反之，在外部对象与第一相机110和第二相机120间隔开的情况下，视差会减小。当根据视差量到外部对象的距离被预先存储时，可以使用视差来生成深度信息(例如，深度图)。
根据实施例，第一相机110的光轴和第二相机120的光轴可以彼此平行，并且可以朝着第一相机110和第二相机120之间的点倾斜。第一相机110的光轴与第二相机120的光轴相互平行，在图1中例示了实施方式。
图2是根据本公开的实施例的用于描述检测相位差的方法的视图。
参照图2，由于第一图像传感器和第二图像传感器之间的距离为‘e’，点‘P’处的对象可以在第一图像传感器的图像平面(以下称为‘第一图像平面’210)和第二图像传感器的图像平面(以下称为‘P’)上彼此不同地成像。例如，点‘P’可以被成像在第一图像平面210中的PL(XL，YL，ZL)的位置上；点‘P’可以被成像在第二像面220的PR(XR，YR，ZR)的位置上。在第一图像平面210上成像的点‘P’的位置与在第二图像平面220上成像的点‘P’的位置之间的差可以用于计算深度信息。例如，当通过对极几何结构识别出经由第一图像传感器获得的第一图像和第二图像之间的差异时，可以如下面的式1中那样计算深度信息‘z’。例如，对极几何形状可以是用于使用两个相机以不同角度捕获的图像的位置关系的几何形状。
Figure BDA0002728872060000081
在式1中，‘f’可以表示第一相机(例如，图1的第一相机110)的透镜和第二相机(例如，图1的第二相机120)的透镜的焦距；‘e’可以表示第一图像传感器的中心01和的第二图像传感器的中心O2之间的距离；‘P’可以表示第一图像传感器和第二图像传感器的每个像素的宽度；‘δ’可以表示特征点的视差(例如‘P’)。通过式1计算出的深度信息(z，对象的距离)可以由深度图组成。
图3是用于描述根据本公开的实施例的基于相位差的深度信息计算的误差的视图。
参照图3，根据计算基于相位差的深度信息的技术，电子设备可以计算第一图像的特定位置和第二图像的与第一图像的特定位置相对应的候选位置之间的相关运算成本(或相位差成本)以确定相同特征点的视差，可以确定所计算的相关运算成本的最小点，并且可以基于所确定的最小点来计算视差。当第一图像和第二图像包括重复图案310和320，或者包括具有高空间频率的被摄体时，特征点的相关运算成本可以包括多个最小点。例如，如图3所示，包括在第一图像和第二图像中的外部对象中的至少一些对象可以包括重复图案310和320。在这种情况下，至少一些对象的相关运算成本可能包括多个最小点，并且可能无法准确计算关于至少一些对象的深度信息。
图4是根据本公开的实施例的示例，其中基于相位差的深度信息计算方法和基于散焦测距(DFD)的深度信息计算方法被混合。
参照图4，在计算基于相位差的视差的过程中，至少一些对象的相关运算成本可以包括多个最小点。在这种情况下，电子设备可以利用第一图像和透镜1PSF焦点、以及第二图像和Lens2 PSF焦点通过DFD运算来计算与多个最小点相对应的深度信息中的至少一些对象的深度信息。根据上述实施例，电子设备可以改进基于相位差计算的深度信息的误差。
图5是根据本公开的实施例的电子设备的框图。
参照图5，电子设备500可以包括第一相机510、第二相机520、存储器550和至少一个处理器560。在实施例中，电子设备500可以不包括上述组件中的一些，或者可以包括附加组件。例如，电子设备500可以进一步包括输入设备530和显示器540中的至少一个。在实施例中，电子设备500的一些组件可以被组合以形成一个实体，该实体可以在组合之前相同地执行相应组件的功能。
第一相机510可以拍摄静止图像和视频。根据实施例，第一相机510可以包括第一透镜部分510_1、第一驱动部分510_2、第一图像传感器和第一图像信号处理器(ISP)(未示出)。第一透镜部分510_1可以被配置为具有第一视角和第一焦距。第一图像传感器可以通过将从一个或更多个外部对象通过第一透镜部分510_1传输的光转换为电信号来获得与一个或更多个外部对象(例如，被摄体)相对应的第一图像。由于第一透镜部分510_1的属性而使用第一图像传感器获得的图像可以是在第一视场(FOV)处聚焦的图像。第一图像传感器可以用电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现。第一驱动部分510_2可以在第一ISP或处理器560的控制下调整第一透镜部分510_1的位置。
第二相机520可以拍摄静止图像和视频。根据实施例，第二相机520可以包括第二透镜部分520_1、第二驱动部分520_2、第二图像传感器和第二ISP(未示出)。第二透镜部分520_1可以被配置为具有第二视角和第二焦距。第二图像传感器可以通过将从一个或更多个外部对象通过第二透镜部分520_1传输的光转换为电信号来获得与一个或更多个外部对象(例如，被摄体)相对应的第二图像。由于第二透镜部分520_1的属性而使用第二图像传感器获得的图像可以是在第二FOV处聚焦的图像。第二图像传感器可以用CCD传感器或CMOS传感器来实现。第二驱动部分520_2可以在第二ISP或处理器560的控制下调整第二透镜部分520_1的位置。
根据实施例，第一相机510和第二相机520都可以朝向电子设备500的一侧(例如，前板)设置。例如，第二相机520可以被设置在电子设备500的一侧上，同时与第一相机510间隔开指定的间距。对于每个相机，第一焦距和第二焦距可以相同。替代地，对于每个相机，第一焦距和第二焦距可以不同。例如，第一相机510可以是广角相机，第二相机520可以是远摄相机。
根据实施例，输入设备530可以检测或接收用户输入。例如，输入设备530可以包括机械按钮或触摸传感器中的至少一个，并且触摸传感器可以与显示器540集成在一起。
显示器540可以显示例如各种内容(例如，文本、图像、视频、图标和/或符号)。显示单元540例如可包括液晶显示器(LCD)、发光二极管(LED)显示器、OLED显示器、或电子纸显示器。例如，显示器540可以是触摸屏显示器。
存储器550可以存储与电子设备500的至少一个其他组件相关的指令或数据。存储器550可以是易失性存储器(例如，随机存取存储器(RAM)等)、非易失性存储器(例如，只读存储器(ROM)、闪存等)或其组合。根据实施例，存储器550还可以存储用于使用相位差(或视差)生成深度信息的相位差参考数据。存储器550还可包括与第一相机510相对应的第一点扩展函数和与第二相机520相对应的第二点扩展函数。第一点扩展函数可以是与对应于第一相机510的第一点的多个扩展度相关联的函数。第一点的多个扩展度可以进一步包括关于点的扩展度根据电子设备500与外部对象之间的距离的至少一部分的改变而改变的深度关系信息。
例如，第一点的多个扩展度可以包括当外部对象(例如，光源)的距离被固定在电子设备500的一侧并且使用第一驱动部分510_2将第一透镜部分510_1的位置沿光轴从最靠近外部对象的位置移动到最远离外部对象的位置时，从由第一相机510的图像传感器成像的图像获得的点的扩展度。
作为另一示例，第一点的多个扩展度可以包括当利用第一驱动部分510_2固定第一透镜部分510_1的位置并且外部对象(例如，光源)距电子设备500的一侧的距离被改变时，从由第一相机510的图像传感器成像的图像获得的点的扩展度。
作为又一示例，当外部对象距电子设备500的一侧的距离和第一透镜部分510_1的位置被固定并且第一相机510的光学系统的特性改变时，可以获得第一点的多个扩展度。第二点扩展函数可以是与对应于第二相机520的第二参考点的多个扩展度相关联的函数。第二点的多个扩展度可以进一步包括关于点的扩展度根据电子设备500与外部对象之间的距离的至少一部分的改变而改变的深度关系信息。例如，第二点的多个扩展度可以包括当外部对象(例如，光源)的距离被固定在电子设备500的一侧并且使用第二驱动部分520_2将第二透镜部分520_1的位置沿光轴从最靠近外部对象的位置移动到最远离外部对象的位置时，从由第二相机520的图像传感器成像的图像获得的点的扩展度。第二点的多个扩展度可以包括当利用第二驱动部分520_2固定第二透镜部分520_1的位置并且外部对象(例如，光源)距电子设备500的一侧的距离被改变时，从由第二相机520的图像传感器成像的图像获得的点的扩展度。
作为又一示例，当外部对象距电子设备500的一侧的距离和第二透镜部分520_1的位置被固定并且第二相机520的光学系统的特性改变时，可以获得第二点的多个扩展度。
处理器560可以通过使用存储在存储器550中的指令来执行与电子设备500的至少一个其他组件的控制和/或通信相关的数据处理或操作。例如，处理器560可以包括CPU、图形处理单元(GPU)、微处理器、AP、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或ISP中的至少之一，并且可以具有多个核心。
根据实施例，当经由输入设备530接收到用户指示使用第一相机510和第二相机520进行拍摄的输入时，处理器560可以通过使用第一相机510获得一个或更多个外部对象的第一图像，并且可以通过使用第二相机520获得一个或更多个外部对象的第二图像。
根据实施例，处理器560可以基于第一图像和第二图像之间的相位差比较来生成关于一个或更多个外部对象的至少一些对象的深度信息。例如，在使用指定的立体匹配方法来计算第一图像和第二图像之间的视差的过程中，处理器560可以计算一个或更多个外部对象之间的至少一些对象的相位差(或视差)。指定的立体匹配方法可以包括固态驱动器(SSD)、安全性关联数据库(SAD)和CENSUS方案中的至少一种。作为另一示例，处理器560可以选择共同包括在第一图像和第二图像中的一个或更多个外部对象，并且可以计算每个选择的外部对象的至少一部分的相位差。处理器560可以根据基于相位差参考数据计算出的相位差来生成深度信息。
根据实施例，在基于第一图像和第二图像之间的相位差比较生成深度信息时，处理器560可以从第一图像和第二图像中包括的一个或更多个外部对象(对象)中识别在其中生成了深度信息的指定对象。当识别指定对象时，处理器560可以基于在第一图像和第二图像的至少一个图像中包括的用于指定对象的点的扩展度，从多条深度信息中选择关于指定对象的深度信息，并且可以通过使用选择的深度信息来生成关于包括指定对象的一个或更多个外部对象的深度信息。
根据实施例，当第一图像和第二图像聚焦在一个或更多个外部对象与一个和多个外部对象中存在的生成深度信息的指定对象中的相同对象上时，处理器560可以至少通过使用第一点的多个扩展度中的与第一图像中包括的指定对象相对应的点的扩展度、以及第二点的多个扩展度中的与第二图像中包括的指定对象相对应的点的扩展度，从多条深度信息中选择关于指定对象的一部分深度信息。
例如，处理器560可以识别第一点的多个扩展度与包括在第一图像中的指定对象的特征之间的第一相似度(或相关性)(例如，差值)、以及第二点的多个扩展度和包括在第二图像中的指定对象的特征之间的第二相似度，并且可以通过使用第一相似度和第二相似度来选择多条深度信息中的一部分深度信息。参照下面描述的式2和式3，处理器560可以在第一图像的整个区域中提取包括指定对象的第一区域，并且可以识别所提取的第一区域的特征F1。例如，第一区域的特征F1可以是通过将第一区域的图像转换为频域而获得的数据。处理器560可以在第二图像的整个区域中提取包括指定对象的第二区域，并且可以识别所提取的第二区域的特征F2。处理器560可以使用第一点的多个扩展度和第二点的多个扩展度中的具有相同散焦距离(d，1≤d≤n，n与第一透镜部分510_1的可移动位置的数量相对应)的第一点的第d扩展度K1(d)、具有相同散焦距离的第二点的第d扩展度K2(d)、第一区域的特征F1、以及第二区域的特征F2，来估计未模糊的图像数据(F0)，如式2所示。处理器560可以使用第一相似度(|F0K1(d)-F1|2)(对应于从估计的图像数据(F0)与第一点的第d扩展度K1(d)的乘积值减去第一区域的特征F1的结果的平方)和第二相似度(|F0K2(d)-F2|2)(对应于从估计的图像数据(F0)与第二点的第d扩展度K2(d)的乘积值减去第二区域的特征F2的结果的平方)来计算DFD操作的成本(Cost(d))，如式3所示。
Figure BDA0002728872060000131
Figure BDA0002728872060000132
处理器560可以识别与所计算的成本最低的阶数(order)相对应的点的扩展度的散焦距离(深度关系信息)，并且可以通过使用识别出的散焦距离来确定关于指定对象的深度信息(到焦点位置的距离)。
作为另一示例，第一点的多个扩展度可以包括第一点的第一扩展度(具有第一散焦距离)和第一点的第二扩展度(具有第二散焦距离)。第二点的多个扩展度可以包括第二点的第一扩展度(具有第一散焦距离)和第二点的第二扩展度(对应于第二散焦距离)。处理器560可以使用具有第一散焦距离的第一点的扩展度K1(1)和具有第一散焦距离的第二点的扩展度K2(1)、第一区域的特性F1和第二区域的特性F2，估计与第一散焦距离相对应的未模糊的图像数据(Fo)，如式2所示。处理器560可以使用第一相似度(|F0K1(1)-F1|2)(对应于从估计的图像数据(Fo)与具有第一散焦距离的第一点的扩展度K1(1)的乘积值减去第一区域的特征F1的结果的平方)和第二相似度(|F0K2(1)-F2|2)(对应于从估计的图像数据(Fo)与具有第一散焦距离的第二点的扩展度K2(1)的乘积值减去第二区域的特征F2的结果的平方)来计算与第一散焦距离相对应的DFD操作的成本(Cost(1))，如式3所示。处理器560可以使用具有第二散焦距离的第一点的扩展度K1(2)、具有第二散焦距离的第二点的扩展度K2(2)、第一区域的特性F1和第二区域的特性F2，估计与第二散焦距离相对应的未模糊的图像数据(Fo)，如式2所示。处理器560可以使用第一相似度(|F0K1(1)-F1|2)(对应于从估计的图像数据(Fo)与对应于第二散焦距离的第一点的扩展度K1(1)的乘积值减去第一区域的特征F1的结果的平方)和第二相似度(|F0K2(2)-F2|2)(对应于从估计的图像数据(Fo)与具有第二散焦距离的第二点的扩展度K2(1)的乘积值减去第二区域的特征F2的结果的平方)来计算与第一散焦距离相对应的DFD操作的成本(Cost(2))，如式3所示。当与第一散焦距离相对应的DFD操作的成本(Cost(1))小于与第二散焦距离相对应的DFD操作的成本(Cost(2))时，处理器560可以使用第一散焦距离来确定指定对象的深度信息。根据实施例，处理器560可以使用选择的深度信息(一些深度信息)作为关于指定对象的深度信息来生成关于包括指定对象的一个或更多个外部对象的深度信息。处理器560可以将所生成的深度信息存储在存储器550中。
根据本公开的实施例，在第一图像和第二图像聚焦在一个或更多个外部对象等中的不同对象的情况下，处理器560可以识别使用第一相机510获得的第三图像，并且可以通过至少使用与第一相机510相对应的第一点的多个扩展度中的与第一图像中包括的指定对象相对应的点的扩展度、以及与第一相机510相对应的第一点的多个扩展度中的与第三图像中包括的指定对象相对应的点的扩展度，来从多条深度信息中选择一些深度信息。第三图像可以是在获得第一图像之前获得的图像。替代地，第三图像可以是在获得第一图像之后获得的图像。
处理器560可以识别第一图像和第三图像之间的散焦距离‘δ’，并且可以使用点的多个扩展度，从点的多个扩展度中识别彼此间隔开所识别的散焦距离的与第一图像中包括的指定对象相对应的点扩展度以及与第三图像中包括的指定对象相对应的点的扩展度。例如，处理器560可以在第三图像的整个区域中提取包括指定对象的第三区域，并且可以识别所提取的第三区域的特征F3。例如，第三区域的特征F3可以是通过将第三区域的图像转换为频域而获得的数据。处理器560可以在第四图像的整个区域中提取包括指定对象的第四区域，并且可以识别所提取的第四区域的特征F4。例如，第四区域的特征F4可以是通过将第四区域的图像转换为频域而获得的数据。
处理器560可以使用第一点的多个扩展度中的点(d，1≤d≤n，n与第一透镜部分510_1的可移动位置的数量相对应)的第d扩展度K1(d)、第一点的多个扩展度中的第(d+δ)扩展度K1(d+δ)、第三区域的特征F3和第四区域的特征F4，来估计未模糊的图像数据F0，如式4所示。‘δ’可以是第一透镜部分510_1在获得第三图像时间点的第一透镜部分510_1的位置与获得第一图像时间点的第一透镜部分510_1的位置之间的移动量中的差。
Figure BDA0002728872060000151
处理器560可以识别点的多个扩展度中的点的第d扩展度K1(d)与第一图像中包含的指定对象的特征F3之间的第一相似度(|F0K1(d)-F3|2)以及第一点的多个扩展度中的点的第(d+δ)扩展度K1(d+δ)与第三图像中包含的指定对象的特征F4之间的第二相似度(|F0K1(d+δ)-F4|2)，可以通过对第一相似度和第二相似相加来计算DFD操作的成本(Cost(d))，如式5所示。
Cost(d)＝|F0K1(d)-F3|2+|F0K1(d)-F4|2 式5
处理器560可以识别与所计算的成本最低的阶数(order)相对应的点的扩展度的散焦距离(深度关系信息)，并且可以通过使用识别出的散焦距离来确定关于指定对象的深度信息。
因此，电子设备500包括第一相机510和第二相机520。然而，替代地，电子设备500可以使用独立于电子设备500的第一相机510和第二相机520来获得第一图像和第二图像，并且可以使用第一图像和第二图像之间的相位差、以及第一图像和第二图像的每个点的扩展度来计算深度信息。
根据上述实施例，处理器560可以通过在第一图像和第二图像中的难以使用立体匹配方法来计算深度信息的区域(包括具有高频或重复图案的对象的区域)上执行DFD操作来生成深度信息。处理器560可以基于相位差值来增加深度信息计算的准确性。
图6是根据本公开的实施例的用于描述计算深度图的方法的视图。
参照图6，第一图像和第二图像中的每一个可以包括第一外部对象610、第二外部对象620和第三外部对象630，用于形成第一外部对象621、第二外部对象622和第三外部对象623的图像。然而，第一外部对象610、第二外部对象620和第三外部对象630在第一图像中的位置可以与第一外部对象610、第二外部对象620和第三外部对象630在第二图像中的位置不同。
根据实施例，处理器(例如，图5的560)可以提取第一图像中的包括第一外部对象610的区域的至少一部分(以下称为‘第一区域’)、包括第二外部对象620的区域的至少一部分(以下称为‘第二区域’)和包括第三外部对象630的区域的至少一部分(以下称为‘第三区域’)。处理器560可以提取第二图像中的包括第一外部对象610的区域的至少一部分(以下称为‘第四区域’)、包括第二外部对象620的区域的至少一部分(以下称为‘第五区域’)和包括第三外部对象630的区域的至少一部分(以下称为‘第六区域’)。处理器560可以使用立体匹配方法来计算第一区域和第四区域之间的相位差。处理器560可以通过应用立体匹配方法来计算第二区域和第五区域之间的相位差。处理器560可以通过应用立体匹配方法来计算第三区域和第六区域之间的相位差。
因为第一外部对象610和第二外部对象620不包括重复图案，所以可以基于从第一区域和第四区域计算出的相位差来计算深度信息。此外，可以基于从第二区域和第五区域计算出的相位差来计算深度信息。
然而，因为第三外部对象630包括重复图案，所以基于第三区域和第六区域计算的深度信息可能包括多条深度信息。在这种情况下，如上所述，处理器560可以通过在第三区域和第六区域上执行DFD操作来从多条深度信息中确定一条深度信息。
如上所述，电子设备可以包括：第一相机，其设置在电子设备的一个表面上；第二相机，其设置在该一个表面上并且与第一相机隔开指定的间距；以及至少一个处理器。处理器可以被配置为：使用第一相机获得一个或更多个外部对象的第一图像；使用第二相机获得一个或更多个外部对象的第二图像；基于第一图像和第二图像的相位差比较来识别第一图像和第二图像中包括一个或更多个外部对象中的从其生成多条深度信息的指定对象；基于与第一图像和第二图像中的至少一者中包括的指定对象相对应的点的扩展度来从多条深度信息中选择关于指定对象的深度信息；以及利用所选择的深度信息来生成关于包括指定对象的一个或更多个外部对象的深度信息。
处理器可以被进一步配置为：至少使用与第一相机相对应的第一点的多个扩展度中的与第一图像中包括的指定对象相对应的点的扩展度、以及与第二相机相对应的第二点的多个扩展度中的与第二图像中包括的指定对象相对应的点的扩展度，来从多条深度信息中选择一些深度信息；以及通过使用所选择的一些深度信息作为关于指定对象的深度信息来生成关于一个或更多个外部对象的深度信息。
处理器可以被进一步配置为：识别第一点的多个扩展度与包括在第一图像中的指定对象的特征之间的第一相似度、以及第二点的多个扩展度和包括在第二图像中的指定对象的特征之间的第二相似度，并且可以通过使用第一相似度和第二相似度来从多条深度信息中选择一些深度信息。
处理器可以被进一步配置为使用第一点的多个扩展度中的与第一相似度和第二相似度之和最小的第一点的扩展度相对应的散焦距离，或者，第二点的多个扩展度中的与第一相似度和第二相似度之和最小的第二点的扩展度相对应的散焦距离，从多条深度信息中选择一些深度信息。
在识别第一相似度和第二相似度时，处理器可以被进一步配置为使用第一点的多个扩展度和第二点的多个扩展度中的具有相同散焦距离的第一点的扩展度和第二点的扩展度。
第一点的多个扩展度或第二点的多个扩展度可以包括关于点的扩展度根据电子设备与一个或更多个外部对象之间的距离的至少一部分的改变而改变的深度关系信息，并且处理器可以被进一步配置为使用深度关系信息来选择一些深度信息。
处理器可以被进一步配置为：通过使用第一相机获得第三图像；使用与第一相机相对应的点的多个扩展度中的与第一图像中包括的指定对象相对应的点的扩展度以及与第三图像中包括的指定对象相对应的点的扩展度来从多条深度信息中选择一些深度信息；以及使用所选择的一些深度信息作为关于指定对象的深度信息来生成关于一个或更多个外部对象的深度信息。
处理器可以被进一步配置为：使用点的多个扩展度，从点的多个扩展度中识别彼此间隔开第一图像和第三图像之间的散焦距离的与第一图像中包括的指定对象相对应的点扩展度以及与第三图像中包括的指定对象相对应的点的扩展度；以及使用与第一图像中包括的指定对象相对应的点的扩展度的散焦距离，从多条深度信息中选择一些深度信息。
第三图像可以在获得第一图像之前获得。
在上述实施例中，可以描述使用通过使用第一相机和第二相机(例如，510和520)获得的第一图像和第二图像的深度信息的生成。深度信息也可以使用能够获得具有不同点扩展函数的第一图像和第二图像的单个相机来生成。相机可以每像素包括两个光电二极管。
在下文中，将参照图7描述每像素具有双光接收元件的双像素相机的结构。图7是根据本公开的实施例的双像素相机的每像素的结构视图。
参照图7，相机可以包括透镜部分710、微透镜720和图像传感器740。在实施例中，可以省略一部分组件，或者可以进一步包括其他组件。在实施例中，一些组件可以被组合以形成一个实体，该实体可以在组合之前相同地执行一些组件的功能。
穿过透镜部分710的入射光可以穿过微透镜部分720，然后可以入射在第一组像素741和第二组像素742上。
微透镜720可以将从透镜部件710的一部分(例如，右侧)711入射的光引导到第一组像素741，并且可以将从透镜部件710的另一部分(左侧)712入射的光引导到第二组像素742。
图像传感器740的每个像素可以包括第一组像素741和第二组像素742。第一组像素741可以获得入射到透镜部分710的右侧(例如，711)然后穿过微透镜720的左侧的光。第二组像素742可以获取入射到透镜部件710的另一部分(例如712)然后穿过微透镜720的右侧的光。
可以通过上述结构在图像传感器740的第一组像素741上成像第一图像，并且可以通过上述结构在图像传感器740的第二组像素742上成像第二图像。第一图像和第二图像的每个的点扩展函数可以彼此不同。
图8是根据本公开的实施例的电子设备的框图。
参考图8，电子设备800可以包括相机810、存储器820和处理器830。在实施例中，可以省略一部分组件，或者可以进一步包括其他组件。在实施例中，一些组件可以被组合以形成一个实体，该实体可以在组合之前相同地执行一些组件的功能。
相机810可以是具有第一组像素(例如，图7的741)和第二组像素(例如，图7的742)的双像素相机。相机810可以是包括图像传感器的相机(例如，双光电二极管(2PD)相机)，该图像传感器能够从包括具有第一组的特征的区域和具有第二组的特征的区域的一个像素获得包括相位差的图像数据。相机810可以在处理器830的控制下获得第一图像和第二图像。相机810可以包括驱动部分812和透镜部分811。驱动部分812可以在ISP或处理器830的控制下，通过移动量来调节透镜部分811的位置。
存储器820可以存储与电子设备800的至少一个其他组件相关的指令或数据。存储器820可以是易失性存储器(例如，RAM等)、非易失性存储器(例如，ROM、闪存等)或其组合。根据实施例，存储器820可以存储用于使用相位差(或视差)生成深度信息的相位差参考数据。存储器820还可以针对透镜部分811的每个位置存储与第一组像素相对应的第一点扩展函数和与第二组像素相对应的第二点扩展函数。第一点扩展函数可以是与对应于相机810的第一组像素的第一点的多个扩展度相关联的函数。例如，第一点的多个扩展度可以包括当外部对象(例如，光源)的距离被固定在电子设备800的一侧并且相机810的透镜部分811的位置沿光轴从最靠近外部对象的位置移动到最远离外部对象的位置时，从由相机820的第一组像素成像的图像获得的点的扩展度。
作为另一示例，第一点的多个扩展度可以包括当相机810的第一透镜部分811的位置固定并且外部对象(例如，光源)距电子设备800的一侧的距离改变时，从由相机810的第一组像素上成像的图像获得的点的扩展度。
作为另一示例，当外部对象距电子设备800的一侧的距离和相机810的透镜部分811的位置被固定并且相机810的光学系统的特性改变时，可以获得第一点的多个扩展度。第二点扩展函数可以是与对应于相机810的第二组像素的第二点的多个扩展度相关联的函数。例如，第二点的多个扩展度可以包括当外部对象(例如，光源)的距离被固定在电子设备800的一侧并且透镜部分811的位置沿光轴从最靠近外部对象的位置移动到最远离外部对象的位置时，从由相机820的第二组像素成像的图像获得的点的扩展度。
作为另一示例，第二点的多个扩展度可以包括当相机810的第一透镜部分的位置固定并且外部对象(例如，光源)距电子设备800的一侧的距离改变时，从由相机810的第二组像素上成像的图像获得的点的扩展度。
作为另一示例，当外部对象距电子设备800的一侧的距离和相机810的透镜部分811的位置被固定并且相机810的光学系统的特性改变时，可以获得第一点的多个扩展度。
处理器830可以通过使用存储在存储器820中的指令来执行与电子设备800的至少一个其他组件的控制和/或通信相关的数据处理或操作。例如，处理器830可以包括CPU、GPU、微处理器、AP、ASIC、FPGA或ISP中的至少之一，并且可以具有多个核心。
根据实施例，处理器830可以使用相机810的第一组像素获得一个或更多个外部对象的第一图像，并且可以使用相机810的第二组像素获得一个或更多个外部对象的第二图像。
根据实施例，处理器830可以基于第一图像和第二图像之间的相位差比较来识别通常包括在第一图像和第二图像中的一个或更多个对象中的至少一些对象的相位差，并且可以基于相位差参考数据生成与相位差相对应的深度信息。例如，处理器830可以使用指定的立体匹配方法来计算与至少一些对象相对应的第一图像的至少一些对象的估计位置与第二图像的至少一些对象性的估计位置之间的相关运算成本，可以计算第一图像的一个或更多个外部对象中的至少一些对象的位置与其中所计算出的相关运算成本均为最小值的至少一些对象的位置之间的相位差，并且可以基于相位差参考数据从计算出的相位差生成关于至少一些对象的深度信息。
根据实施例，当第一图像和第二图像聚焦在一个或更多个外部对象与一个和多个外部对象中存在的生成深度信息的指定对象中的相同对象上时，处理器830可以至少通过使用第一点的多个扩展度中的与第一图像中包括的指定对象相对应的点的扩展度、以及第二点的多个扩展度中的与第二图像中包括的指定对象相对应的点的扩展度，从多条深度信息中选择关于指定对象的一部分深度信息。
例如，处理器830可以识别第一点的多个扩展度与包括在第一图像中的指定对象的特征之间的第一相似度、以及第二点的多个扩展度和包括在第二图像中的指定对象的特征之间的第二相似度，并且可以通过使用第一相似度和第二相似度来选择多条深度信息中的一部分深度信息。参照上面描述的式2和式3，处理器830可以在第一图像的整个区域中提取包括指定对象的第一区域，并且可以识别所提取的第一区域的特征F1。例如，第一区域的特征F1可以是通过将第一区域的图像转换为频域而获得的数据。处理器830可以在第二图像的整个区域中提取包括指定对象的第二区域，并且可以识别所提取的第二区域的特征F2。处理器830可以使用第一点的多个扩展度和第二点的多个扩展度中的具有相同散焦距离(d，1≤d≤n，n与相机810中包括的透镜部分的可移动位置的数量相对应)的第一点的第d扩展度K1(d)、具有相同散焦距离的第二点的第d扩展度K2(d)、第一区域的特征F1、以及第二区域的特征F2，来估计未模糊的图像数据(Fo)，如式2所示。处理器830可以使用第一相似度(|F0K1(d)-F1|2)(对应于从估计的图像数据(Fo)与第一点的第d扩展度K1(d)的乘积值减去第一区域的特征F1的结果的平方)和第二相似度(|F0K2(d)-F2|2)(对应于从估计的图像数据(Fo)与第二点的第d扩展度K2(d)的乘积值减去第二区域的特征F2的结果的平方)来计算DFD操作的成本(Cost(d))，如式3所示。处理器830可以识别与所计算的成本最低的阶数(order)相对应的点的扩展度的散焦距离(深度关系信息)，并且可以通过使用识别出的散焦距离来确定关于指定对象的深度信息。
根据本公开的实施例，在第一图像和第二图像聚焦在一个或更多个外部对象等中之间的不同对象的情况下，处理器830可以识别使用相机810获得的第三图像，并且可以通过至少使用与相机810相对应的第一点的多个扩展度中的与第一图像中包括的指定对象相对应的点的扩展度、以及与相机810相对应的第一点的多个扩展度中的与第三图像中包括的指定对象相对应的点的扩展度，来从多条深度信息中选择一些深度信息。第三图像可以是在获得第一图像之前获得的图像。替代地，第三图像可以是在获得第一图像之后获得的图像。
处理器830可以识别第一图像和第三图像之间的散焦距离(例如，透镜移动量的差＝‘δ’)，并且可以使用点的多个扩展度，从点的多个扩展度中识别彼此间隔开所识别的散焦距离的与第一图像中包括的指定对象相对应的点扩展度以及与第三图像中包括的指定对象相对应的点的扩展度。例如，处理器830可以在第三图像的整个区域中提取包括指定对象的第三区域，并且可以识别所提取的第三区域的特征F3。例如，第三区域的特征F3可以是通过将第三区域的图像转换为频域而获得的数据。处理器830可以在第四图像的整个区域中提取包括指定对象的第四区域，并且可以识别所提取的第四区域的特征F4。例如，第四区域的特征F4可以是通过将第四区域的图像转换为频域而获得的数据。
处理器830可以使用第一点的多个扩展度中的点的第d扩展度K1(d)、第一点的多个扩展度中的第(d+δ)扩展度K1(d+δ)、第三区域的特征F3和第四区域的特征F4，来估计未模糊的图像数据F0，如式4所示。‘δ’可以是在获得第三图像时间点的透镜部分811的位置与获得第一图像时间点的透镜部分811的位置之间的移动量中的差。
处理器830可以识别点的多个扩展度中的点的第d扩展度K(d)与第一图像中包含的指定对象的特征F3之间的第一相似度(|F0K1(d)-F3|2)以及第一点的多个扩展度中的点的第(d+δ)扩展度K1(d+δ)与第三图像中包含的指定对象的特征F4之间的第二相似度，可以通过对第一相似度和第二相似相加来计算DFD操作的成本(Cost(d))，如式5所示。处理器830可以识别与所计算的成本最低的阶数(order)相对应的点的扩展度的散焦距离(深度关系信息)，并且可以通过使用识别出的散焦距离来确定关于指定对象的深度信息。
根据上述实施例，包括支持2PD的相机的电子设备800可以使用通过左光电二极管像素获得的左图像和通过右光电二极管像素获得的右图像，利用相位差方法来生成深度信息。此时，对于包括难以基于相位差指定深度信息的高频区域或具有重复图案的区域的图像，电子设备800可以针对高频区域或具有重复图案的区域，基于根据上述实施例的DFD操作来计算深度信息。例如，对于具有其中计算了深度信息的高频区域或重复图案的指定对象，电子设备800可以使用在不同的透镜位置获得的多个图像来计算深度信息。作为另一示例，电子设备800可以使用与在一个透镜位置处获得的左图像和右图像的每一个中的与指定对象相对应的区域的图像数据、与左光电二极管相对应的第一PSF、以及与右光电二极管相对应的第二PSF来计算深度信息。
在实施例中，相机可以包括每像素的第一组像素和第二组像素，处理器可以被配置为：使用相机的第一组像素获得一个或更多个外部对象的第一图像；使用相机的第二组像素获得一个或更多个外部对象的第二图像；基于第一图像和第二图像的相位差比较来识别第一图像和第二图像中包括一个或更多个外部对象中的从其生成多条深度信息的指定对象；以及基于第一图像和第二图像中的至少一者中包括的指定对象的点的扩展度来从多条深度信息中选择关于指定对象的深度信息。
处理器可以被配置为：通过至少使用与相机的第一组像素相对应的第一点的多个扩展度中的与第一图像中包括的指定对象相对应的点的扩展度、以及与相机的第二组像素相对应的第二点的多个扩展度中的与第二图像中包括的指定对象相对应的点的扩展度，来从多条深度信息中选择一些深度信息；以及利用所选择的深度信息生成关于包括指定对象的一个或更多个外部对象的深度信息。
处理器可以被进一步配置为：识别第一点的多个扩展度与包括在第一图像中的指定对象的特征之间的第一相似度、以及第二点的多个扩展度和包括在第二图像中的指定对象的特征之间的第二相似度，并且可以通过使用第一相似度和第二相似度来从多条深度信息中选择一些深度信息。
处理器可以被进一步配置为使用第一点的多个扩展度中的与第一相似度和第二相似度之和最小的每个的扩展度相对应的散焦距离，或者，第二点的多个扩展度中的与第一相似度和第二相似度之和最小的每个的扩展度相对应的散焦距离，从多条深度信息中选择一些深度信息。
在识别第一相似度和第二相似度时，处理器可以被配置为使用第一点的多个扩展度和第二点的多个扩展度中的具有相同散焦距离的第一点的扩展度和第二点的扩展度。
第一点的多个扩展度或第二点的多个扩展度还可以包括关于点的扩展度根据电子设备与一个或更多个外部对象之间的距离的至少一部分的改变而改变的深度的信息，并且处理器可以被配置为使用深度关系信息来选择一些深度信息。
处理器可以被进一步配置为：通过使用第一相机来获得第三图像；通过至少使用与第一相机相对应的第一点的多个扩展度中的与第一图像中包括的指定对象相对应的点的扩展度、以及与第三图像中包括的指定对象相对应的点的扩展度，来从多条深度信息中选择一些深度信息；以及使用所选择的一些深度信息作为关于指定对象的深度信息来生成关于一个或更多个外部对象的深度信息。
处理器可以被进一步配置为：使用点的多个扩展度，从点的多个扩展度中识别彼此间隔开第一图像和第三图像之间的散焦距离的与第一图像中包括的指定对象相对应的点扩展度以及与第三图像中包括的指定对象相对应的点的扩展度；以及使用与第一图像中包括的指定对象相对应的点的扩展度之间的散焦距离，从多条深度信息中选择一些深度信息。
第三图像可以在获得第一图像之前获得。
图9是根据本公开的实施例的生成深度信息的方法的流程图。
参照图9，在操作910中，处理器(例如，图5的560)可以获得第一图像和第二图像。处理器560可以使用至少一个相机来获得一个或更多个对象的第一图像和第二图像。对于至少一个或更多个外部对象，第一图像和第二图像可以具有相位差。在操作920中，处理器560然后可以识别指定对象。处理器可以基于第一图像和第二图像之间的相位差比较来生成关于第一图像和第二图像中包括的一个或更多个外部对象的至少一些对象的深度信息。
在操作930中，处理器560可以选择关于指定对象的深度信息。在操作940中，处理器560可以生成关于外部对象的深度信息。对于至少一些对象中的其中生成深度信息的指定对象，处理器560可以至少通过使用与第一图像的指定对象相对应的第一点的多个扩展度、以及与第二图像的指定对象相对应的第二点的多个扩展度，确定多条深度信息中的关于第一对象的深度信息。
根据上述实施例，处理器560可以将基于DFD的深度信息生成方法应用于生成基于相位差的深度信息的过程的一部分，从而改进基于相位差生成的深度信息由于受到空间频率或重复图案的影响而引起的误差。
根据实施例，电子设备的深度信息生成方法可以包括：使用至少一个相机获得一个或更多个外部对象的第一图像和第二图像；基于第一图像和第二图像的相位差比较来识别第一图像和第二图像中包括一个或更多个外部对象中的从其生成多条深度信息的指定对象；基于与第一图像和第二图像中的至少一个图像中包括的指定对象相对应的点的扩展度来从多条深度信息中选择关于指定对象的深度信息；以及利用所选择的深度信息来生成关于包括指定对象的一个或更多个外部对象的深度信息。第一图像和第二图像至少可以具有一个或更多个外部对象的相位差。
该选择可以包括：至少使用与至少一个相机的第一相位相对应的第一点的多个扩展度中的与第一图像中包括的指定对象相对应的点的扩展度、以及与至少一个相机的第二相位相对应的第二点的多个扩展度中的与第二图像中包括的指定对象相对应的点的扩展度，来从多条深度信息中选择一些深度信息。该生成可以包括：利用所选择的深度信息生成关于包括指定对象的一个或更多个外部对象的深度信息。
图10是示出根据本公开的实施例的网络环境中的电子设备的框图。
参照图10，网络环境1000中的电子设备1001可经由第一网络1098(例如，短距离无线通信网络)与电子设备1002进行通信，或者经由第二网络1099(例如，长距离无线通信网络)与电子设备1004或服务器1008进行通信。根据实施例，电子设备1001还可经由服务器1008与电子设备1004进行通信。
根据实施例，电子设备1001可包括处理器1020、存储器1030、输入设备1050、声音输出设备1055、显示设备1060、音频模块1070、传感器模块1076、接口1077、触觉模块1079、相机模块1080、电力管理模块1088、电池1089、通信模块1090、用户识别模块(SIM)1096或天线模块1097。在一些实施例中，可从电子设备1001中省略所述部件中的至少一个(例如，显示设备1060或相机模块1080)，或者可将一个或更多个其他部件添加到电子设备1001中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块1076(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示设备1060(例如，显示器)中。
处理器1020可运行例如软件(例如，程序1040)来控制电子设备1001的与处理器1020连接的至少一个其他部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器1020可将从另一部件(例如，传感器模块1076或通信模块1090)接收到的一个或更多个指令或数据加载到易失性存储器1032中，对存储在易失性存储器1032中的指令或数据进行处理，并将结果数据存储在非易失性存储器1034中。根据实施例，处理器1020可包括主处理器1021(例如，CPU或应用AP)以及与主处理器1021在操作上独立的或者相结合的辅助处理器1023(例如，GPU、ISP、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器1023可被适配为比主处理器1021耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器1023实现为与主处理器1021分离，或者实现为主处理器1021的部分。
在主处理器1021处于未激活(例如，睡眠)状态时，辅助处理器1023可控制与电子设备1001(而非主处理器1021)的部件之中的至少一个部件(例如，显示设备1060、传感器模块1076或通信模块1090)相关的功能或状态中的至少一些，或者在主处理器1021处于激活状态(例如，运行应用)时，辅助处理器1023可与主处理器1021一起来控制与电子设备1001的部件之中的至少一个部件(例如，显示设备1060、传感器模块1076或通信模块1090)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器1023(例如，ISP或CP)实现为在功能上与辅助处理器1023相关的另一部件(例如，相机模块1080或通信模块1090)的部分。
存储器1030可存储由电子设备1001的至少一个部件(例如，处理器1020或传感器模块1076)使用的各种数据。所述各种数据可包括例如软件(例如，程序1040)以及针对与其相关的指令的输入数据或输出数据。存储器1030可包括易失性存储器1032或非易失性存储器1034。非易失性存储器1034可以包括内部或嵌入式存储器1036或外部存储器1038。
可将程序1040作为软件存储在存储器1030中，并且程序1040可包括例如操作系统(OS)1042、中间件1044或应用1046。
输入设备1050可从电子设备1001的外部(例如，用户)接收将由电子设备1001的其他部件(例如，处理器1020)使用的一个或更多个指令或数据。输入设备1050可包括例如麦克风、鼠标或键盘。
声音输出设备1055可将声音信号输出到电子设备1001的外部。声音输出1055可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫等。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示设备1060可向电子设备1001的外部(例如，用户)视觉地提供信息。显示设备1060可包括例如显示器、全息设备或投影仪以及用于控制显示器、全息设备和投影仪中的相应一个的控制电路。根据实施例，显示设备1060可包括被适配为检测触摸或悬停的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块1070可将声音转换为电信号，并且可以将电信号转换为声音。根据实施例，音频模块1070可经由输入设备1050获得声音，或者经由声音输出设备1055或与电子设备1001直接(例如，有线地)连接或无线连接的外部电子设备(例如，电子设备1002)的耳机输出声音。
传感器模块1076可检测电子设备1001的操作状态(例如，功率或温度)或电子设备1001外部的环境状态(例如，用户的状态)，然后生成与检测到的状态相应的电信号或数据值。根据实施例，传感器模块1076可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口1077可支持将用来使电子设备1001与外部电子设备(例如，电子设备1002)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口1077可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端1078可包括连接器，其中，电子设备1001可经由所述连接器与外部电子设备(例如，电子设备1002)物理连接。根据实施例，连接端1078可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块1079可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块1079可包括例如电机、压电元件或电刺激器。
相机模块1080可捕获静止图像或运动图像。根据实施例，相机模块1080可包括一个或更多个透镜、图像传感器、ISP或闪光灯。
电力管理模块1088可管理对电子设备1001的供电或者管理电子设备1001所消耗的电力。根据实施例，可将电力管理模块1088实现为例如电力管理集成电路(PMIC)的至少部分。
电池1089可对电子设备1001的至少一个部件供电。根据实施例，电池1089可包括例如不可再充电的原电池、可再充电的蓄电池、燃料电池或其组合。
通信模块1090可支持在电子设备1001与外部电子设备(例如，电子设备1002、电子设备1004或服务器1008)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块1090可包括能够与处理器1020(例如，AP)独立操作的一个或更多个CP，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块1090可包括无线通信模块1092(例如，蜂窝通信模块、短距离无线通信模块或GNSS通信模块)或有线通信模块1094(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络1098(例如，短距离通信网络，诸如蓝牙TM、Wi-Fi直连或红外数据协会(IrDA))或第二网络1099(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子设备进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块1092可使用存储在SIM 1096中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络1098或第二网络1099)中的电子设备1001。
天线模块1097可将信号或电力发送到电子设备1001的外部(例如，外部电子设备)或者从电子设备1001的外部(例如，外部电子设备)接收信号或电力。根据一个实施例，天线模块1097可以包括一个或更多个天线，并且从中，可以选择适合于在通信网络中例如通过通信模块1090(例如，无线通信模块1092)使用的通信方案的至少一个天线，例如第一网络1098或第二网络1099。随后可经由所选择的至少一个天线在通信模块1090和外部电子设备之间发送或接收信号或电力。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，指令或数据)。
根据实施例，可经由与第二网络1099连接的服务器1008在电子设备1001和外部电子设备1004之间发送或接收指令或数据。电子设备1002和电子设备1004中的每一个可以是与电子设备1001相同类型的设备，或者是与电子设备1001不同类型的设备。根据实施例，将在电子设备1001运行的全部操作或一些操作可在外部电子设备1002、外部电子设备1004或服务器1008中的一个或更多个运行。例如，如果电子设备1001应该自动执行功能或服务或者应该响应于来自用户或另一设备的请求执行功能或服务，则电子设备1001可请求所述一个或更多个外部电子设备执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子设备1001除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子设备执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子设备可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子设备1001。电子设备1001可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图11是示出了根据本公开的实施例的相机模块的框图。
参照图11，相机模块1080可包括透镜组件1110、闪光灯1120、图像传感器1130、图像稳定器1140、存储器1150(例如，缓冲存储器)或图像信号处理器(ISP)1160。透镜组件1110可采集从要被拍摄图像的对象发出或反射的光。透镜组件1110可包括一个或更多个透镜。根据实施例，相机模块1080可包括多个透镜组件1110。在这种情况下，相机模块1080可形成例如双相机、360度相机或球形相机。多个透镜组件1110中的一些透镜组件1110可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少一个透镜组件可具有与另外的透镜组件的镜头属性不同的一个或更多个镜头属性。透镜组件1110可包括例如广角镜头或长焦镜头。
闪光灯1120可发光，其中，发出的光用于增强从对象反射的光。根据实施例，闪光灯1120可包括一个或更多个发光二极管(LED)(例如，红绿蓝色(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。图像传感器1130可通过将从对象发出或反射并经由透镜组件1110透射的光转换为电信号来获取与对象相应的图像。根据实施例，图像传感器1130可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如，RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如CCD传感器或CMOS传感器来实现包括在图像传感器1130中的每个图像传感器。
图像稳定器1140可沿特定方向移动图像传感器1130或包括在透镜组件1110中的至少一个透镜，或者响应于相机模块1080或包括相机模块1080的电子设备1001的移动来控制图像传感器1130的可操作属性(例如，调整读出时序)。这样，允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如，图像模糊)的至少一部分。根据实施例，图像稳定器1140可使用布置在相机模块1080之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块1080或电子设备1001的这样的移动。根据实施例，可将图像稳定器1140实现为例如光学图像稳定器。
存储器1150可至少暂时地存储经由图像传感器1130获取的图像的至少一部分以用于后续的图像处理任务。例如，如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟，则可将获取的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器1150中，并且可经由显示设备1060来预览其相应的副本图像(例如，低分辨率图像)。然后，如果满足了指定的条件(例如，通过用户的输入或系统命令)，则可由例如图像信号处理器1160来获取和处理存储在存储器1150中的原始图像的至少一部分。根据实施例，可将存储器1150配置为存储器1030的至少一部分，或者可将存储器1150配置为独立于存储器1030进行操作的分离的存储器。
ISP 1160可以对经由图像传感器1130获取的图像或存储在存储器1150中的图像执行一个或更多个图像处理。该一个或更多个图像处理可包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地，ISP 1160可对包括在相机模块1080中的部件中的至少一个部件(例如，图像传感器1130)执行控制(例如，曝光时间控制或读出时序控制)。可将由ISP 1160处理的图像存储回存储器1150以用于进一步处理，或者可将该图像提供给在相机模块1080之外的外部部件(例如，存储器1030、显示设备1060、电子设备1002、电子设备1004或服务器1008)。根据实施例，可将图像信号处理器1160配置为处理器1020的至少一部分，或者可将图像信号处理器1160配置为独立于处理器1020进行操作的分离的处理器。如果将图像信号处理器1160配置为与处理器1020分离的处理器，则可由处理器1020经由显示设备1060将由图像信号处理器1160处理的至少一个图像按照其原样显示，或者可将所述至少一个图像在被进一步处理后进行显示。
根据实施例，电子设备1001可包括具有不同属性或功能的多个相机模块1080。在这种情况下，所述多个相机模块1080中的至少一个相机模块1080可形成例如广角相机，并且所述多个相机模块1780中的至少另一个相机模块1780可形成长焦相机。类似地，所述多个相机模块1080中的至少一个相机模块1080可形成例如前置相机，并且所述多个相机模块1080中的至少另一个相机模块1080可形成后置相机。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以ASIC的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器1036或外部存储器1038)中的可由机器(例如，电子设备1001)读取的一个或更多个指令的软件(例如，程序1040)。例如，在处理器的控制下，所述机器(例如，电子设备1001)的处理器(例如，处理器1020)可在使用或无需使用一个或更多个其他部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。术语“非暂时性”仅意味着所述存储介质是有形设备，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑ROM盘(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，PlayStoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户设备(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据本公开的实施例，每个部件(例如，模块或程序)可包括单个实体或更多个实体。根据本公开的实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其他部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据本公开的实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其他操作。
虽然已经参考本公开的实施例对本公开进行了说明和描述，但是本领域技术人员将会理解，在不脱离由所附权利要求及其等同形式所限定的本发明的主旨和范围的前提下，可以对本发明进行形式和细节上的各种改变。

Claims (15)

1.一种电子设备，所述电子设备包括：
第一相机，所述第一相机设置在所述电子设备的一个表面上；
第二相机，所述第二相机设置在所述一个表面上并且与所述第一相机隔开指定的间距；以及
至少一个处理器，其中，所述至少一个处理器被配置为：
使用所述第一相机获得一个或更多个外部对象的第一图像，
使用所述第二相机获得所述一个或更多个外部对象的第二图像，
基于所述第一图像和所述第二图像之间的相位差比较，从所述第一图像和所述第二图像中包括的所述一个或更多个外部对象中识别在其中生成有多条深度信息的指定对象，
基于与所述第一图像和所述第二图像中的至少一个图像中包括的所述指定对象相对应的点的扩展度，从所述多条深度信息中选择关于所述指定对象的深度信息，并且
使用所选择的深度信息生成关于包括所述指定对象的所述一个或更多个外部对象的深度信息。
2.根据权利要求1所述的电子设备，其中，所述至少一个处理器被进一步配置为：
通过至少使用以下项来选择所述多条深度信息中的所述深度信息：
与所述第一相机相对应的第一点的多个扩展度中的与所述第一图像中包括的所述指定对象相对应的点的扩展度，以及与所述第二相机相对应的第二点的多个扩展度中的与所述第二图像中包括的所述指定对象相对应的点的扩展度；并且
使用所选择的深度信息作为关于所述指定对象的所述深度信息来生成关于所述一个或更多个外部对象的所述深度信息。
3.根据权利要求2所述的电子设备，其中，所述至少一个处理器被进一步配置为：
识别所述第一点的所述多个扩展度与所述第一图像中包括的所述指定对象的特征之间的第一相似度、以及所述第二点的所述多个扩展度和所述第二图像中包括的所述指定对象的特征之间的第二相似度，并且
使用所述第一相似度和所述第二相似度来从所述多条深度信息中选择所述深度信息。
4.根据权利要求3所述的电子设备，其中，所述至少一个处理器被进一步配置为：
使用与以下项相对应的散焦距离从所述多条深度信息中选择所述深度信息：
所述第一点的所述多个扩展度中的其中所述第一相似度和所述第二相似度之和最小的所述第一点的扩展度，或者
所述第二点的所述多个扩展度中的其中所述第一相似度和所述第二相似度之和最小的所述第二点的扩展度。
5.根据权利要求3所述的电子设备，其中，所述至少一个处理器被进一步配置为：
在识别所述第一相似度和所述第二相似度时，使用所述第一点的所述多个扩展度和所述第二点的所述多个扩展度中的具有相同散焦距离的所述第一点的扩展度和所述第二点的扩展度。
6.根据权利要求2所述的电子设备，
其中，所述第一点的所述多个扩展度或所述第二点的所述多个扩展度包括关于点的扩展度根据所述电子设备与所述一个或更多个外部对象之间的距离的至少一部分的改变而改变的深度关系信息，并且
其中，所述至少一个处理器被进一步配置为进一步使用所述深度关系信息来选择所述深度信息。
7.根据权利要求1所述的电子设备，其中，所述至少一个处理器被进一步配置为：
使用所述第一相机获得第三图像，
使用与所述第一相机相对应的点的多个扩展度中的与所述第一图像中包括的所述指定对象相对应的点的扩展度、以及与所述第三图像中包括的所述指定对象相对应的点的扩展度，选择所述多条深度信息的所述深度信息，并且
使用所选择的深度信息作为关于所述指定对象的所述深度信息来生成关于所述一个或更多个外部对象的所述深度信息。
8.根据权利要求7所述的电子设备，其中，所述至少一个处理器被进一步配置为：
使用所述点的多个扩展度，从所述点的多个扩展度中识别彼此间隔开所述第一图像和所述第三图像之间的散焦距离的与所述第一图像中包括的所述指定对象相对应的点扩展度以及与所述第三图像中包括的所述指定对象相对应的点的扩展度，以及
使用与所述第一图像中包括的所述指定对象相对应的点的扩展度的散焦距离，从所述多条深度信息中选择所述深度信息。
9.一种电子设备，所述电子设备包括：
相机；
存储器；以及
至少一个处理器，
其中，所述相机包括每像素的第一组像素和第二组像素，并且
其中，所述至少一个处理器被配置为：
使用所述相机的所述第一组像素获得一个或更多个外部对象的第一图像，
使用所述相机的第二组像素获得所述一个或更多个外部对象的第二图像，
基于所述第一图像和所述第二图像之间的相位差比较，从所述第一图像和所述第二图像中包括的所述一个或更多个外部对象中识别在其中生成有多条深度信息的指定对象，并且
基于所述第一图像和所述第二图像中的至少一个图像中包括的所述指定对象的点的扩展度，从所述多条深度信息中选择关于所述指定对象的深度信息。
10.根据权利要求9所述的电子设备，其中，所述至少一个处理器被进一步配置为：
通过至少使用以下项选择所述多条深度信息中的所述深度信息：
与所述第一组像素相对应的第一点的多个扩展度中的与所述第一图像中包括的所述指定对象相对应的点的扩展度，以及与所述第二组像素相对应的第二点的多个扩展度中的与所述第二图像中包括的所述指定对象相对应的点的扩展度；并且
使用所选择的深度信息生成关于包括所述指定对象的所述一个或更多个外部对象的深度信息。
11.根据权利要求10所述的电子设备，其中，所述至少一个处理器被进一步配置为：
识别所述第一点的所述多个扩展度与所述第一图像中包括的所述指定对象的特征之间的第一相似度、以及所述第二点的所述多个扩展度和所述第二图像中包括的所述指定对象的特征之间的第二相似度，并且
使用所述第一相似度和所述第二相似度来从所述多条深度信息中选择所述深度信息。
12.根据权利要求11所述的电子设备，其中，所述至少一个处理器被进一步配置为：
使用与以下项相对应的散焦距离从所述多条深度信息中选择所述深度信息：
所述第一点的所述多个扩展度中的其中所述第一相似度和所述第二相似度之和最小的每个中的所述第一点的扩展度，或者
所述第二点的所述多个扩展度中的其中所述第一相似度和所述第二相似度之和最小的每个中的所述第二点的扩展度。
13.根据权利要求11所述的电子设备，其中，所述至少一个处理器被进一步配置为：
在识别所述第一相似度和所述第二相似度时，使用所述第一点的所述多个扩展度和所述第二点的所述多个扩展度中的具有相同散焦距离的所述第一点的扩展度和所述第二点的扩展度。
14.根据权利要求10所述的电子设备，
其中，所述第一点的所述多个扩展度或所述第二点的所述多个扩展度还包括关于点的扩展度根据所述电子设备与所述一个或更多个外部对象之间的距离的至少一部分的改变而改变的深度关系信息，并且
其中，所述至少一个处理器被进一步配置为进一步使用所述深度关系信息来选择所述深度信息。
15.根据权利要求9所述的电子设备，其中，所述至少一个处理器被进一步配置为：
通过使用所述第一相机获得第三图像，
通过至少使用与所述第一相机相对应的点的多个扩展度中的与所述第一图像中包括的所述指定对象相对应的点的扩展度、以及与所述第三图像中包括的所述指定对象相对应的点的扩展度，选择所述多条深度信息中的所述深度信息，并且
使用所选择的深度信息作为关于所述指定对象的所述深度信息来生成关于所述一个或更多个外部对象的深度信息。
CN201980026555.4A 2018-04-19 2019-04-17 生成深度信息的方法和支持该方法的电子设备 Expired - Fee Related CN112005548B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180045633A KR102472156B1 (ko) 2018-04-19 2018-04-19 전자 장치 및 그 깊이 정보 생성 방법
KR10-2018-0045633 2018-04-19
PCT/KR2019/004662 WO2019203579A1 (en) 2018-04-19 2019-04-17 Method for generating depth information and electronic device supporting the same

Publications (2)

Publication Number Publication Date
CN112005548A true CN112005548A (zh) 2020-11-27
CN112005548B CN112005548B (zh) 2022-07-05

Family

ID=68236077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980026555.4A Expired - Fee Related CN112005548B (zh) 2018-04-19 2019-04-17 生成深度信息的方法和支持该方法的电子设备

Country Status (5)

Country Link
US (1) US11252306B2 (zh)
EP (1) EP3763119B1 (zh)
KR (1) KR102472156B1 (zh)
CN (1) CN112005548B (zh)
WO (1) WO2019203579A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022241732A1 (en) * 2021-05-20 2022-11-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of generating an image, electronic device, apparatus, and computer readable storage medium

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102668212B1 (ko) * 2018-09-28 2024-05-23 삼성전자 주식회사 자동 초점 방법 및 이를 수행하는 전자 장치
EP3674973A1 (en) * 2018-12-28 2020-07-01 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection and object recognition
CN112862880B (zh) * 2019-11-12 2024-06-25 Oppo广东移动通信有限公司 深度信息获取方法、装置、电子设备和存储介质
US11120280B2 (en) 2019-11-15 2021-09-14 Argo AI, LLC Geometry-aware instance segmentation in stereo image capture processes
CN115666406A (zh) * 2020-02-06 2023-01-31 维卡瑞斯外科手术公司 在外科手术机器人系统中确定体内深度感知的系统和方法
JP7559086B2 (ja) * 2020-05-15 2024-10-01 奥動新能源汽車科技有限公司 視覚位置決めシステム、電池交換設備及び電池交換制御方法
US20240249423A1 (en) * 2021-07-07 2024-07-25 Qualcomm Incorporated Processing image data using multi-point depth sensing system information

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101795361A (zh) * 2009-01-30 2010-08-04 索尼公司 用于基于两个影像的匹配进行深度估计的二维多项式模型
US20110310226A1 (en) * 2010-06-16 2011-12-22 Microsoft Corporation Use of wavefront coding to create a depth image
US20130063566A1 (en) * 2011-09-14 2013-03-14 Canon Kabushiki Kaisha Determining a depth map from images of a scene
CN102997891A (zh) * 2012-11-16 2013-03-27 上海光亮光电科技有限公司 场景深度的测量装置和方法
US9832456B2 (en) * 2014-12-22 2017-11-28 Canon Kabushiki Kaisha Multiscale depth estimation using depth from defocus
US20170353654A1 (en) * 2016-06-01 2017-12-07 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling the same

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080114324A (ko) * 2007-06-27 2008-12-31 엘지이노텍 주식회사 카메라 모듈, 이의 검사 장치 및 검사 방법
WO2011086560A1 (en) 2010-01-14 2011-07-21 Humaneyes Technologies Ltd Method and system for adjusting depth values of objects in a three dimensional (3d) display
US8705801B2 (en) * 2010-06-17 2014-04-22 Panasonic Corporation Distance estimation device, distance estimation method, integrated circuit, and computer program
US8340456B1 (en) * 2011-10-13 2012-12-25 General Electric Company System and method for depth from defocus imaging
US9445003B1 (en) * 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
KR102271853B1 (ko) 2014-03-21 2021-07-01 삼성전자주식회사 전자 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
JP6381422B2 (ja) * 2014-11-21 2018-08-29 キヤノン株式会社 距離検出装置、撮像装置、および距離検出方法
EP3040941B1 (en) 2014-12-29 2017-08-02 Dassault Systèmes Method for calibrating a depth camera
US20160255334A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Generating an improved depth map using a multi-aperture imaging system
JP6590639B2 (ja) * 2015-10-30 2019-10-16 キヤノン株式会社 距離検出装置、撮像装置、および距離検出方法
EP3214602B1 (de) * 2016-03-03 2019-05-08 Sick Ag Verfahren zur dreidimensionalen erfassung von objekten
KR101829534B1 (ko) * 2016-05-25 2018-02-19 재단법인 다차원 스마트 아이티 융합시스템 연구단 멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템 및 그 동작 방법
CN106210713A (zh) * 2016-08-30 2016-12-07 昆山软龙格自动化技术有限公司 一种手机摄像头模组多模组同时测试装置
AU2017202910A1 (en) * 2017-05-02 2018-11-22 Canon Kabushiki Kaisha Image processing for turbulence compensation
KR102389157B1 (ko) * 2017-09-19 2022-04-21 한국전자통신연구원 계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101795361A (zh) * 2009-01-30 2010-08-04 索尼公司 用于基于两个影像的匹配进行深度估计的二维多项式模型
US20110310226A1 (en) * 2010-06-16 2011-12-22 Microsoft Corporation Use of wavefront coding to create a depth image
US20130063566A1 (en) * 2011-09-14 2013-03-14 Canon Kabushiki Kaisha Determining a depth map from images of a scene
CN102997891A (zh) * 2012-11-16 2013-03-27 上海光亮光电科技有限公司 场景深度的测量装置和方法
US9832456B2 (en) * 2014-12-22 2017-11-28 Canon Kabushiki Kaisha Multiscale depth estimation using depth from defocus
US20170353654A1 (en) * 2016-06-01 2017-12-07 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022241732A1 (en) * 2021-05-20 2022-11-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of generating an image, electronic device, apparatus, and computer readable storage medium

Also Published As

Publication number Publication date
EP3763119A4 (en) 2021-06-02
WO2019203579A1 (en) 2019-10-24
KR20190122018A (ko) 2019-10-29
EP3763119A1 (en) 2021-01-13
US20190327393A1 (en) 2019-10-24
EP3763119B1 (en) 2024-02-14
US11252306B2 (en) 2022-02-15
CN112005548B (zh) 2022-07-05
KR102472156B1 (ko) 2022-11-30

Similar Documents

Publication Publication Date Title
CN112005548B (zh) 生成深度信息的方法和支持该方法的电子设备
CN111052727B (zh) 电子装置及其控制方法
EP3700190A1 (en) Electronic device for providing shooting mode based on virtual character and operation method thereof
TWI808987B (zh) 將相機與陀螺儀融合在一起的五維視頻穩定化裝置及方法
CN112840644B (zh) 利用相机或深度传感器中的至少一个获取深度信息的电子装置和方法
TW202030697A (zh) 電子裝置及恢復深度圖的方法
JP2015526927A (ja) カメラ・パラメータのコンテキスト駆動型調整
US10827125B2 (en) Electronic device for playing video based on movement information and operating method thereof
US10516820B2 (en) Electronic device for controlling focus of lens and method for controlling the same
US10965871B2 (en) Apparatus and method for compensating for image change caused by optical image stabilization motion
US11509815B2 (en) Electronic device and method for processing image having human object and providing indicator indicating a ratio for the human object
EP3621292B1 (en) Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof
US12013923B2 (en) Electronic device and method for recognizing object
CN112805663A (zh) 电子装置及其姿势识别方法
KR20200094500A (ko) 이미지 프레임 데이터에 포함된 라인 데이터를 복수의 구간들로 처리하는 전자 장치 및 방법
US20220359597A1 (en) Electronic device, and method for performing autofocus
US11636675B2 (en) Electronic device and method for providing multiple services respectively corresponding to multiple external objects included in image
CN114731362A (zh) 包括相机的电子装置及其方法
CN118830255A (zh) 双像素传感器的高动态范围

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220705

CF01 Termination of patent right due to non-payment of annual fee