CN115225785A - 成像系统和方法 - Google Patents

成像系统和方法 Download PDF

Info

Publication number
CN115225785A
CN115225785A CN202210329388.4A CN202210329388A CN115225785A CN 115225785 A CN115225785 A CN 115225785A CN 202210329388 A CN202210329388 A CN 202210329388A CN 115225785 A CN115225785 A CN 115225785A
Authority
CN
China
Prior art keywords
disparity
images
depth information
pixels
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210329388.4A
Other languages
English (en)
Inventor
G·D·麦克尤恩
Z·阿塔尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Camera AG
Original Assignee
Ernst Leitz Laboratories LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ernst Leitz Laboratories LLC filed Critical Ernst Leitz Laboratories LLC
Publication of CN115225785A publication Critical patent/CN115225785A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

在示例性的说明性实施例中，一种生成数字图像和/或经修改的深度信息的方法可以包括：经由第一电子传感器在时间段内获得目标的多个图像；在多个图像中的第一图像中选择一个或多个像素；在多个图像中的一个或多个其他图像中识别与所选择的一个或多个像素对应的对应像素，所选择的一个或多个像素和对应像素定义参考像素集；识别多个图像中的相应的参考像素集具有最佳视差的两个或更多个图像；生成经修改的深度信息；和/或经由多个图像和经修改的深度信息生成最终数字图像。

Description

成像系统和方法
相关申请的交叉参考
本申请要求2021年3月31日提交的美国临时专利申请序列号63/168,757的利益，该专利申请的公开内容在此通过引用被全部并入，如同在本文中充分阐述。
技术领域
本公开一般涉及成像系统和方法，例如包括可与智能电话相机结合使用的成像系统和方法，诸如以模拟全帧相机和镜头。
背景技术
下面阐述的该背景描述只是为了提供上下文。因此，本背景描述的任何方面在不以其他方式符合现有技术的意义上既不明确也不隐含地承认是针对本公开的现有技术。
将全帧相机和镜头并入智能电话可能是不可行或不实际的，但期望模拟一个或多个全帧相机和镜头以用于经由智能电话相机捕获的图像。
一些成像系统可能没有被配置为获得足够的深度信息和/或在捕获和/或渲染图像时可能没有有效或高效地利用深度信息。
期望最小化或消除成像系统和方法的一个或多个挑战或缺点的解决方案/选项。上述的讨论仅旨在说明本领域的示例，并不是范围的否定。
发明内容
在示例性说明性实施例中，一种生成数字图像和/或经修改的深度信息的方法可以包括：经由第一电子传感器在时间段内获得目标的多个图像；在多个图像中的第一图像中选择一个或多个像素；在多个图像中的一个或多个其他图像中识别与所选择的一个或多个像素对应的对应像素，所选择的一个或多个像素和对应像素定义参考像素集；确定相应的参考像素集之间的视差(disparity)；根据参考像素集，识别多个图像中的具有最佳视差的两个或更多个图像；确定所识别的图像对的一些、大多数或所有像素之间的视差；将来自所有像素的所确定的视差与来自第二电子传感器的深度信息进行组合，以生成经修改的深度信息；和/或经由多个图像和经修改的深度信息生成最终数字图像。
采用说明性实施例，一种移动电子设备可以包括第一电子传感器、第二电子传感器和/或电子控制单元。电子控制单元可被配置为：经由第一电子传感器在时间段内获得目标的多个图像；在多个图像中的第一图像中选择一个或多个像素；在多个图像中的一个或多个其他图像中识别与所选择的一个或多个像素对应的对应像素，所选择的一个或多个像素和对应像素定义参考像素集；根据参考像素集，识别多个图像中的具有最佳视差的两个或更多个图像；生成经修改的深度信息；和/或经由多个图像和/或经修改的深度信息生成最终数字图像。
采用一些说明性实施例，生成经修改的深度信息可以包括：确定所识别的两个或更多个图像之间的视差；将所确定的视差与来自第二电子传感器的深度信息进行组合；对组合的视差和深度信息进行放大；根据经放大的组合的视差和深度信息，使所识别的两个或更多个图像中的图像的像素移位；确定在移位之后的剩余的视差；将剩余的视差与深度信息进行组合；和/或对剩余的组合的视差和深度信息进行放大。经修改的深度信息可以包括经放大的剩余的组合的视差和深度信息。成像系统可以包括移动电子设备。
通过阅读以下描述以及查看附图，本公开的示例/实施例的上述和其他潜在的方面、特征、细节、效用和/或优点将是显而易见的。
附图说明
虽然权利要求不限于特定图示，但通过讨论各种示例，可以获得对各方面的认识。附图不一定按比例绘制，并且为了更好地展示和解释示例的创新方面，某些特征可能被夸大或隐藏。进一步地，本文所描述的示例性说明不是穷尽的或以其他方式进行限制，并且不限于附图所示的或在下面具体实施方式中公开的精确形式和配置。通过参考以下附图对示例性图示进行详细描述：
图1至图3是成像系统和方法的示例性实施例的表示。
图4是成像方法的示例性实施例的流程图。
图5是具有结合成像系统的示例性实施例识别的相应参考像素的多个图像的表示。
图6至图10是成像方法的示例性实施例的部分的流程图。
具体实施方式
现在将详细参考本公开的说明性实施例，其中的示例在本文中描述并在附图中示出。虽然本公开将结合实施例和/或示例进行描述，但它们并不将本公开限于这些实施例和/或示例。相反，本公开覆盖替代方案、修改和等同方案。
全帧相机和镜头可以对至少一些图像提供虚化。例如，虚化可以包括图像的失焦部分的模糊的美学效果。全帧相机和镜头的各种部件(诸如光圈叶片、光晕、球面像差和/或色差等)可影响相机/镜头如何渲染虚化。采用全帧相机和镜头，可在光线击中传感器之前产生虚化，这可在图像的聚焦区域和失焦区域保持一致的颗粒。
智能电话相机通常具有小得多的图像传感器，其具有显著小于全帧相机的表面积来捕获光，并可产生几乎无限的景深，这可将背景图像渲染得几乎与对象/目标本身一样锐利(例如，因此图像的任何部分都不会出现失焦)。虽然一些智能电话相机具有模糊图像的背景部分的模式(例如，人像模式)，但是，该模糊并不模拟与全帧相机和镜头组合相关联的光学效果，诸如光学渐晕、色差、球面像差和/或摄影师可用于在其艺术中实现特别外观的虚化的各种其他特性。相反，智能电话模糊可能是均匀且完全无颗粒的，这可能对模糊提供不自然的外观，并且对于观看者的眼睛几乎没有变化。
一些智能电话相机(以及由此产生的图像)可遭受前景与背景之间分割不良的情况。智能电话通常可依赖分辨率相对低的深度图，这可导致不精确的边缘和深度估计误差，从而导致背景中的锐区或者对象/目标上的模糊区域，并且在捕获移动场景时特别明显。为了相对于其他设计提供改善的图像质量，本公开的实施例尤其可以被配置为获得经增强/修改的深度/视差信息，基于深度(例如，与智能电话/传感器的距离)改变对象的强度或焦点，和/或至少部分地基于经增强/修改的深度/视差信息生成经增强/修改的图像。
在诸如在图1中一般示出的说明性示例性实施例中，成像系统100可包括移动电子设备110(例如，智能电话)，其可以包括第一电子传感器120、第二电子传感器122和/或电子控制单元124(ECU)。移动电子设备110可以例如包括蜂窝收发机/无线电/调制解调器126，其可以与ECU 124和/或蜂窝网络进行通信。电子控制单元124可包括和/或被连接到处理器124A和/或存储器124B。移动电子设备110可以相对薄。例如但不限于，移动电子设备110的厚度可以是大约1英寸(25.4毫米)或更少、或者大约0.5英寸(12.7毫米)或更少。
采用说明性实施例，移动电子设备110可以被配置为模拟一个或多个全帧相机和镜头组合的一个或多个效果，诸如与这种组合相关联的虚化。有效地模拟全帧相机和镜头虚化可以包括诸如在逐像素的基础上(例如，而不是应用均匀的模糊)获得准确的深度信息。准确的深度信息可以经由经增强的深度图134来提供。
采用诸如在图1一般示出的示例性实施例，第一电子传感器120可以被配置为获得与目标相关联的图像信息。例如但不限于，第一电子传感器120可以包括颜色传感器(例如，RGB传感器)。图像信息可以包括与目标相关联的颜色信息，诸如RGB强度信息。在一些实施例中，诸如在图2中一般示出的，第一电子传感器120可以包括附加的传感器部分140，诸如第二颜色传感器(例如，第二RGB传感器)。
在说明性实施例中，第二电子传感器122可以被配置为获得与目标(例如，可包括深度/距离传感器)相关联的初始深度信息。例如但不限于，第二电子传感器122可以包括飞行时间(TOF)传感器(例如参见图1和图2)。例如，第二电子传感器122可以发射信号，并根据信号被发射时与信号在被对象反射后返回到第二电子传感器122时之间的时间量，确定第二电子传感器122与该对象之间的距离。目标/场景可以包括一个或多个物理对象，其可以被设置在距移动电子设备110不同的距离处。第二电子传感器122可以被配置为获得与目标的一些或所有对象相关联的深度信息。例如，第二电子传感器122可以被配置为诸如在逐像素的基础上获得初始深度信息。深度信息可以包括深度数据130(例如，对于一些或所有像素，英尺、米等)和/或置信图132(例如，对于一些或所有像素，在0到1的尺度上的置信值)。ECU 124可以被配置为提供经增强的深度图134和/或可以至少部分地根据经增强的深度图134来获得的最终图像136。
采用诸如在图3中一般示出的示例性实施例，附加地或可替代地，第二电子传感器122可以包括一个或多个相位检测自动对焦(PDAF)传感器。至少在一些情况下，PDAF传感器可以被连接到第一电子传感器120和/或与之集成。例如但不限于，第一电子传感器120可包括第一RGB传感器，该第一RGB传感器可包括第二电子传感器122的第一PDAF传感器，和/或第一电子传感器120可包括第二RGB传感器，该第二RGB传感器可包括第二电子传感器122的第二PDAF传感器。
在示例性实施例中，操作成像系统100的方法1000可以被配置为：生成数字图像，获得经增强的视差信息，获得经增强的深度信息，和/或生成经增强的深度/视差图。视差可被用于确定深度。例如，较大的视差可对应于场景/图像的较近的部分，并且较小的视差可对应于场景/图像的较远的部分。
采用诸如在图4中一般示出的说明性实施例，操作成像系统100的方法1000可以包括：诸如经由移动电子设备110的第一电子传感器120，在时间段内获得目标102的多个图像150(例如参见图5中的图像1501-8)(框1002)。例如但不限于，时间段可以是大约1秒或更少。例如，图像1501-8可以经由图像突发而获得，并且图像1501-8可以在相应的时间(例如，一个接一个地)捕获。目标102可以例如包括预期在数字图像中被捕获和渲染的场景。方法1000可以包括在多个图像150中的第一图像1501中选择一个或多个像素(框1004)。图像的所选择的像素可以包括相关联的位置信息(例如，X1-8，Y1-8，Z1-8)和/或相关联的颜色信息(例如，RGB1-8)。相对于第一图像1501中的其他像素，像素的相关联的颜色信息RGB可以至少有些独特，特别是在(一个或多个)图像150被缩小的情况下。所选择的像素可以是自动选择的，诸如经由移动电子设备110的ECU 124。例如但不限于，所选择的像素可包括在第一图像1501的中心的像素、(例如，与移动电子设备110)最接近的像素、在第一图像1501中的人或动物的面部的一个或多个部分上的像素、和/或在各种深度处的像素。在一些情况下，移动电子设备110可以提供所选择的像素，诸如经由测距仪。
采用说明性示例实施例，方法1000可以包括：在多个图像150中的一个或多个其他图像(例如，图像1502-8)中识别与每个所选择的像素(X1，Y1，Z1)相对应的对应像素(X2-8，Y2-8，Z2-8)(框1006)。对应像素可以例如包括与相应的所选择的像素基本相同的颜色信息，并且可以或者可以不包括相同的位置信息。ECU 124可以被配置为自动确定对应像素，诸如通过在其他图像1502-8中搜索包括与所选择的像素最类似(或相同)的颜色信息的像素。ECU124可以利用多个图像150的较低分辨率和/或缩小的版本来在其他图像中识别对应像素。第一图像1501的所选择的像素和其他图像1502-8中的对应像素可以定义和/或被称为相应的参考像素集。一旦识别了对应像素，ECU 124则可以基于对应像素来对图像进行对准(例如，最小化总视差的对准)，并可以去除和/或减小失真，诸如可由旋转运动(例如，非平移运动)导致的失真。例如，旋转运动可不被用于确定深度/视差。一旦去除/减小了失真，则相当数量(例如，大部分)的剩余的视差可对应于用户在该时段期间的手部运动。
在说明性实施例中，方法1000可以包括：诸如经由ECU 124确定不同集/图像的参考像素的相应对之间的视差(框1008)。确定视差可以包括：在两个维度上确定视差，诸如参考像素从第一图像1501到另一个图像1502-8被移位多少个像素。两个维度可以包括X值(例如，左-右像素移位)和Y坐标(例如，上-下像素移位)。在一些情况下，至少一些视差可以对应于用户的手在该时段期间的运动(例如，自然颤动)。方法1000可以包括用相应的参考像素集识别具有最佳/期望视差的两个或更多个图像150(框1010)。最佳/期望视差可以处于或高于最小视差阈值，该最小视差阈值可以对应于足以确定深度的视差量。例如，最佳/期望视差可以对应于允许区分图像的深度级别的视差量。最佳/期望视差可以至少部分地根据来自深度传感器(诸如可以与第二电子传感器122一起被包括)的深度信息来确定。最佳/期望视差可以低于最大阈值，诸如以滤除某些图像，诸如遮挡超过遮挡阈值的图像(例如，不包括相同场景的足够量的图像)和/或异常图像，诸如在移动电子设备110被掉落、传感器故障、或发生一些其他错误的情况下。
在说明性实施例中，方法1000可以包括确定具有最佳/期望视差的两个或更多个所识别的图像150的一些、大多数、或全部像素之间的视差(框1012)。
采用示例性实施例，方法1000可以包括：诸如经由第二电子传感器122获得目标的深度信息(框1014)。例如但不限于，第二电子传感器122可以包括TOF传感器。
在示例性实施例中，方法1000可以包括：将来自两个或更多个所识别的图像150的信息与来自第二电子传感器122的深度信息进行组合，诸如以生成经修改/增强的深度图134(框1016)。初始深度信息(诸如深度数据)可以是相对低的分辨率。将初始深度信息与来自两个所识别的图像150的视差信息进行组合可以改进这种分辨率，并可导致经修改的深度图比只使用来自第二电子传感器122的深度数据更准确/完整。
采用说明性实施例，方法1000可以包括：经由多个图像150和经修改/增强的深度图134生成最终数字图像136(框1018)。在一些情况下，最终数字图像136可以或者可以不被具体配置用于在移动电子设备110的显示器112上观看。相反，最终数字图像136可以被配置用于由打印机104在有形介质(例如，纸张、相纸、帆布、金属、塑料、陶瓷等)上打印，以使得所打印的图像的各个方面从远处和近处看都很清楚。例如，打印机104可以被配置为(例如，经由有线连接、无线连接、可移除介质等)从移动电子设备110接收信息，并且该信息可以包括最终数字图像136。方法1000可以包括：经由打印机104在纸张或物理介质(诸如相纸)上打印最终数字图像136。
在示例性实施例中，方法1000可以不依赖移动电子设备110的陀螺仪160。在其他实施例中，方法1000可以利用来自陀螺仪160的信息，诸如以将视差信息(例如，直接)转换为深度信息。
图6至图10一般示出了获得深度信息和将深度信息与颜色信息进行组合的方法的示例性实施例。
图6一般示出了选择具有最佳视差的两个(或更多个)图像150的方法2000的示例性实施例，诸如上面结合方法1000的框1002至1010总体描述的(例如参见图4)。基线BL可以对应于图像捕获之间的预期或平均手晃动/手颤动量。方法2000可以包括：获得诸如在第一时间捕获的第一图像1501的深度信息(框2002)，从在第一时间的第一图像1501获得颜色信息RGB(框2004)，从在第二时间捕获的第二图像1502获得颜色信息RGB(框2006)，从在第三时间捕获的第三图像1503获得颜色信息RGB(框2008)，从在第四时间捕获的第四图像1504获得颜色信息RGB(框2010)，和/或从在其他时间捕获的一个或多个附加图像150(例如，图像1505-8)获得颜色信息RGB。方法2000可以包括：诸如根据所获得的深度信息确定最佳基线BL(框2012)。方法2000可以包括：针对在第一图像1501之后的图像1502-4确定BL(框2014)，这可包括对移动对象消除虚反射。该方法2000可以包括识别/选择多个图像150中的具有最佳视差的两个图像(框2016)。方法1000的框1010的输出可对应于框2016的输出。
采用诸如在图7中一般示出的示例性实施例，(例如在方法1000的框1016中，参见图4)将深度信息和图像信息进行组合可以包括获得经增强的置信图170。深度传感器(诸如可以与第二电子传感器122一起被包括)可以输出深度数据130和置信图132(例如，基于接收到多少光子)。ECU 124可以将深度数据130和/或置信图132与可经由第一电子传感器120获得的一个或多个图像150和/或其颜色信息结合使用，以生成组合的置信图170。例如，ECU124可以寻找置信图132识别为高置信度的像素颜色。例如，如果对于基本上是黑色的(并且不会被预期实际反射大量光的)像素，置信度高，则ECU 124可以忽略或对该像素的置信度提供较小的权重。附加地或可替代地，如果像素的置信度低或为零，但该像素的颜色相对浅(并且预期会反射大量光)，则ECU 124可以使用深度数据130来确认置信度低，因为该像素对应于场景中的远处的部分。附加地或可替代地，如果置信度缺失(例如，这可对于低置信度或0置信度发生)，则ECU 124可以基于像素的颜色信息来生成估计的置信度(例如，对于较浅的像素，置信度较高，对于较深的像素，置信度较低)。
在诸如在图8至图10中一般示出的说明性实施例中，ECU 124可以被配置为进行多次深度迭代3000。如图8一般示出的，第一迭代可包括缩小具有最佳视差的所识别的图像(框3002、3004)(例如，具有最佳/期望视差的图像)，诸如到1/8分辨率。缩小可倾向于消除噪音。然后，ECU 124可以在缩小的图像之间进行视差计算(框3006)，诸如经由对于一些像素或每个像素使用像素内核(例如3x3内核、5x5内核等)，其中，感兴趣的像素可以在内核的中心处。内核的颜色信息可以比个体像素更独特，这可有利于定位对应像素(例如，并减少所使用的计算资源)。ECU 124可以基于所识别的图像的最大视差来将深度数据130转换为视差(框3008)(例如，最大深度被缩放到等于最大视差，最小深度被缩放到最小视差，最小视差通常可被设置为0)。ECU 124可以将来自第二电子传感器122的视差信息(例如，从深度信息转换而来的)与至少部分地基于组合的置信图170而在所识别的图像之间确定的视差信息进行组合(框3010)。例如，如果像素的组合置信度高，则ECU 124可以利用(例如，来自框3008的)所转换的视差数据和/或对其更多地加权。如果像素的组合置信度低，则ECU 124可以利用(例如，来自框3006的)所确定的视差数据和/或对其更多地加权。对于中等置信度，ECU 124可以使用所转换的视差数据和所确定的视差数据的加权平均值。
采用示例性实施例，ECU 124可以对组合的视差数据进行滤波(框3012)，这类似于去噪。滤波(例如，引导式滤波)可以识别具有相同或高度类似的颜色信息的像素，这些像素可能会具有相同的视差，并且可以删除和/或修改视差信息与相同或类似颜色的其他像素明显不同的像素的视差信息。ECU 124可以(例如，在滤波之后)将组合的视差进行放大，诸如从1/8分辨率到1/4分辨率(框3014)。
在诸如在图9和图10中一般示出的示例性实施例中，ECU可以进行附加的迭代，诸如直到获得全分辨率。在附加的迭代中，ECU 124可以利用来自前一次迭代的视差信息以使第二图像和任何附加图像的像素移位，并确定相对于第一图像剩余的视差(框3020、3030)。在确定剩余的视差之前，可以缩小图像。例如，可以重复框3002和/框块3004，并且可以应用不同的缩放因子，诸如对于第二迭代(图9)应用1/4而不是1/8，和/或对于第三迭代(图10)应用1/2而不是1/8。
在说明性实施例中，ECU 124可以使用剩余的视差来修改来自前一次迭代的视差信息。然后，ECU 124可以以与第一迭代相同或类似的方式组合、滤波和/或放大经修改的视差信息(框3022、3024、3026和框3032、3034、3036，它们可以以与框3010至3014类似的方式进行)。来自最后一次迭代(例如，全分辨率)的经修改/增强的视差信息可以是方法3000的输出。在一些情况下，经修改/增强的视差信息可以被转换为深度信息和/或经增强的深度图134，诸如通过使用在框3008中用于将来自第二电子传感器122的深度信息转换为视差的转换或拉伸因子。ECU 124可以利用经修改/增强的视差/深度图134来生成最终图像136(例如参见框1018)。
采用说明性实施例，ECU 124可以被配置为使用神经网络生成深度估计142。神经网络可以根据一个或多个RGB图像150的输入来生成深度估计。在一些情况下，神经网络深度估计在场景中的对象上可以是一致的，但它可可以报告同一对象的不同部分的不正确的深度值。例如，在3米(9.84英尺)处的树可能被网络(例如，不正确地)报告为在2米(6.56英尺)处，但它可以在位于该树内的所有像素上报告2米。ECU 124可以使用来自第二电子传感器122(例如，ToF传感器、视差传感器、和/或PDAF传感器)的深度数据，以在每个对象的基础上将现实世界深度值分配给下一个邻居(NN)。
在示例中，ECU(例如ECU 124)可以包括电子控制器和/或包括电子处理器，诸如可编程微处理器和/或微控制器。在实施例中，ECU可以包括例如专用集成电路(ASIC)。ECU可以包括中央处理单元(CPU)、存储器(例如，非暂时性计算机可读存储介质)和/或输入/输出(I/O)接口。ECU可以被配置为用在软件、硬件和/或其他介质中体现的适当编程指令和/或代码执行各种功能，包括在本文中更详细描述的那些功能。在实施例中，ECU可以包括多个控制器。在实施例中，ECU可以被连接到显示器，诸如触摸屏显示器。
在本文中描述了各种装置、系统和/或方法的各种示例/实施例。阐述了许多具体细节，以提供对在说明书中描述的和附图中显示的示例/实施例的整体结构、功能、制造和使用的彻底理解。然而，本领域技术人员将理解，示例/实施例可以在没有这种具体细节的情况下实践。在其他情况下，众所周知的操作、部件和元件没有被详细描述，以免模糊说明书所描述的示例/实施例。本领域普通技术人员将理解，在本文中描述和图示的示例/实施例是非限制性示例，并因此可以理解，本文中公开的具体结构和功能细节可以是代表性的，并且不一定限制实施例的范围。
在整个说明书中提及“示例”、“在示例中”、“采用示例”、“各种实施例”、“采用实施例”、“在实施例中”或“实施例”等意味着结合示例/实施例描述的特定特征、结构或特性被包括在至少一个实施例中。因此，短语“示例”、“在示例中”、“采用示例”、“在各种实施例中”、“采用实施例”、“在实施例中”或“实施例”等在整个说明书中的适当位置出现不一定都是指相同的实施例。此外，特定特征、结构或特性可以以任何合适的方式组合在一个或多个示例/实施例中。因此，结合一个实施例/示例图示或描述的特定特征、结构或特性可以全部或部分地与一个或多个其他实施例/示例的特征、结构、功能和/或特性进行组合，而不受限制，只要这种组合不是不合逻辑或无功能的。此外，在不背离本公开的范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。
应当理解的是，对单个元件的引用并不一定是如此限制，并且可以包括一个或多个这种元件。任何方向性的引用(例如，加、减、上、下、向上、向下、左、右、向左、向右、顶部、底部、上方、下方、竖直、水平、顺时针和逆时针)仅用于识别目的以帮助读者理解本公开，而并不产生限制，特别是对示例/实施例的位置、定向或使用而言。
接合引用(例如，附接、耦接、连接等)应作广义解释，并且可包括元件连接之间的中间构件、元件之间的相对运动、直接连接、间接连接、固定连接、可移动连接、操作性连接、间接接触、和/或直接接触。因此，接合引用不一定暗示两个元件直接连接/耦接并且彼此之间处于固定的关系。电气部件的连接(如果有的话)可以包括机械连接、电气连接、有线连接、和/或无线连接等等。说明书中“例如”和“诸如”的使用应作广义解释，并且用于提供本公开的实施例的非限制性示例，并且本公开不限于此类示例。“和”和“或”的使用应作广义解释(例如，应被视为“和/或”)。例如但不限于，“和”的使用不一定需要列出所有元件或特征，并且“或”的使用是包含性的，除非这种构造不合逻辑。
虽然在本文中可以结合特定顺序中的一个或多个步骤来描述过程、系统和方法，但应理解，这种方法可以以不同顺序用步骤、同时执行某些步骤、用附加步骤和/或省略某些所描述步骤来实践。
在上述描述中包含的或在附图中所示的所有事项应被解释为只是说明性的，而非限制性的。在不背离本公开的情况下，可以对细节或结构进行改变。
应理解的是，在本文中描述的计算机/计算设备、电子控制单元(ECU)、系统和/或处理器可以包括本领域已知的常规处理设备，其能够执行被存储在相关联的存储器中的预编程指令，所有预编程指令都根据本文中描述的功能执行。就本文中描述的方法被体现在软件中而言，所产生的软件可以被存储在相关联的存储器中，并且也可以构成用于执行这种方法的手段。这种系统或处理器可以进一步是具有ROM、RAM、RAM和ROM的类型，和/或是非易失性和易失性存储器的组合，以使得可以存储任何软件，并且还允许存储和处理动态产生的数据和/或信号。
应进一步理解，根据本公开的制品可以包括非暂时性计算机可读存储介质，在该介质上编码有用于实施本文所描述的逻辑和其他功能的计算机程序。计算机程序可包括代码以执行本文所公开的方法中的一个或多个。这种实施例可以被配置为经由一个或多个处理器(诸如被集成到单个系统中的多个处理器、或者被分布在通信网络上并通过该通信网络连接在一起的多个处理器)执行，并且通信网络可以是有线和/或无线的。用于实施结合一个或多个实施例描述的特征中的一个或多个的代码在由处理器执行时使多个晶体管从第一状态改变为第二状态。具体的改变模式(例如，哪些晶体管改变状态，哪些晶体管不改变状态)可以至少部分地由逻辑和/或代码规定。

Claims (20)

1.一种生成数字图像的方法，所述方法包括：
经由第一电子传感器在时间段内获得目标的多个图像；
在所述多个图像中的第一图像中选择一个或多个像素；
在所述多个图像中的一个或多个其他图像中识别与所选择的一个或多个像素对应的对应像素，所选择的一个或多个像素和所述对应像素定义参考像素集；
根据所述参考像素集，识别所述多个图像中的具有最佳视差的两个或更多个图像；
经由所识别的两个或更多个图像生成经修改的深度信息；以及
经由所述经修改的深度信息生成最终数字图像。
2.根据权利要求1所述的方法，其中，所选择的一个或多个像素每一个包括相关联的位置信息和颜色信息。
3.根据权利要求2所述的方法，其中，所述相关联的位置信息包括二维位置信息。
4.根据权利要求2所述的方法，其中，所述相关联的位置信息包括三维位置信息。
5.根据权利要求1所述的方法，其中，识别所述两个或更多个图像包括：确定相应的参考像素对之间的二维视差。
6.根据权利要求1所述的方法，其中，识别所述两个或更多个图像包括：确定相应的参考像素对之间的三维视差。
7.根据权利要求1所述的方法，其中，所述最佳视差是能够用于区分深度级别的最小视差。
8.根据权利要求7所述的方法，其中，所述最佳视差小于与预期误差或故障相对应的最大阈值。
9.根据权利要求1所述的方法，包括：经由第二电子传感器获得深度信息；
其中，所述深度信息包括深度数据和置信图；以及
所述经修改的深度信息不同于经由所述第二电子传感器获得的所述深度信息。
10.根据权利要求1所述的方法，其中，所述经修改的深度信息包括经修改的深度图和/或经修改的视差图。
11.根据权利要求1所述的方法，其中，生成所述经修改的深度信息包括：
针对所识别的两个或更多个图像，确定视差信息；以及
将所确定的视差信息与来自第二电子传感器的深度信息进行组合。
12.根据权利要求11所述的方法，其中，生成所述经修改的深度信息包括：缩小所识别的两个或更多个图像；以及
确定所识别的两个或更多个图像的所述视差信息包括：经由所识别的两个或更多个图像的缩小版本确定视差。
13.根据权利要求12所述的方法，其中，生成所述经修改的深度信息包括：对组合的视差和深度信息进行滤波。
14.根据权利要求12所述的方法，其中，生成所述经修改的深度信息包括：对组合的视差和深度信息进行放大。
15.根据权利要求14所述的方法，其中，生成所述经修改的深度信息包括：
根据经放大的组合的视差和深度信息，使所识别的两个或更多个图像中的图像的像素移位；以及
确定在所述移位之后的剩余的视差信息。
16.根据权利要求15所述的方法，其中，生成所述经修改的深度信息包括：
将所述剩余的视差信息与所述深度信息进行组合；以及
对剩余的组合的视差和深度信息进行放大；以及
其中，所述经修改的深度信息包括经放大的剩余的组合的视差和深度信息。
17.根据权利要求16所述的方法，其中，经由像素内核确定所述剩余的视差信息。
18.一种成像系统，包括：
移动电子设备，其包括：
第一电子传感器；
第二电子传感器；以及
电子控制单元；
打印机，其被配置为从所述移动电子设备接收信息；
其中，所述电子控制单元被配置为：
经由所述第一电子传感器在时间段内获得目标的多个图像；
在所述多个图像中的第一图像中选择一个或多个像素；
在所述多个图像中的一个或多个其他图像中识别与所选择的一个或多个像素对应的对应像素，所选择的一个或多个像素和所述对应像素定义参考像素集；
根据所述参考像素集，识别所述多个图像中的具有最佳视差的两个或更多个图像；
确定所识别的两个或更多个图像之间的视差；
将所确定的视差与来自所述第二电子传感器的深度信息进行组合以生成经修改的深度信息；以及
经由所述经修改的深度信息生成最终数字图像，其中，所述最终数字图像被配置用于经由所述打印机打印。
19.一种移动电子设备，包括：
第一电子传感器；
第二电子传感器；以及
电子控制单元；
其中，所述电子控制单元被配置为：
经由所述第一电子传感器在时间段内获得目标的多个图像；
在所述多个图像中的第一图像中选择一个或多个像素；
在所述多个图像中的一个或多个其他图像中识别与所选择的一个或多个像素对应的对应像素，所选择的一个或多个像素和所述对应像素定义参考像素集；
根据所述参考像素集，识别所述多个图像中的具有最佳视差的两个或更多个图像；
生成经修改的深度信息；以及
经由所述经修改的深度信息生成最终数字图像。
20.根据权利要求19所述的移动电子设备，其中，生成经修改的深度信息包括：
针对所识别的两个或更多个图像，确定视差信息；
将所确定的视差信息与来自所述第二电子传感器的深度信息进行组合；
对组合的视差和深度信息进行放大；
根据经放大的组合的视差和深度信息，使所识别的两个或更多个图像中的图像的像素移位；
确定在所述移位之后的剩余的视差信息；
将所述剩余的视差信息与所述深度信息进行组合；以及
对剩余的组合的视差和深度信息进行放大；
其中，所述经修改的深度信息包括经放大的剩余的组合的视差和深度信息。
CN202210329388.4A 2021-03-31 2022-03-30 成像系统和方法 Pending CN115225785A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163168757P 2021-03-31 2021-03-31
US63/168757 2021-03-31

Publications (1)

Publication Number Publication Date
CN115225785A true CN115225785A (zh) 2022-10-21

Family

ID=80999831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210329388.4A Pending CN115225785A (zh) 2021-03-31 2022-03-30 成像系统和方法

Country Status (3)

Country Link
US (1) US20220319026A1 (zh)
EP (1) EP4068200A1 (zh)
CN (1) CN115225785A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013054463A1 (ja) * 2011-10-11 2013-04-18 パナソニック株式会社 撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システム
EP3869797B1 (en) * 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US9967535B2 (en) * 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images

Also Published As

Publication number Publication date
US20220319026A1 (en) 2022-10-06
EP4068200A1 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
JP7003238B2 (ja) 画像処理方法、装置、及び、デバイス
Wadhwa et al. Synthetic depth-of-field with a single-camera mobile phone
KR102293443B1 (ko) 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기
CN111164647B (zh) 使用单个相机估算深度
US9800856B2 (en) Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
KR102279436B1 (ko) 이미지 처리 방법, 장치 및 기기
KR102306283B1 (ko) 이미지 처리 방법 및 장치
KR101364421B1 (ko) 멀티-레졸류션 절차를 이용하여 강건한 깊이 맵을 생성하는 시스템 및 방법
KR102266649B1 (ko) 이미지 처리 방법 및 장치
CN107945105B (zh) 背景虚化处理方法、装置及设备
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
KR20130030780A (ko) 3 차원 이미지 프로세싱
CN111316123A (zh) 单视图深度预测的光圈监督
KR101437234B1 (ko) 초점이 흐려진 필박스 화상을 이용하여 깊이 평가를 수행하는 시스템 및 방법
JP2013041117A (ja) 撮像装置および距離情報取得方法
JP6544978B2 (ja) 画像出力装置およびその制御方法、撮像装置、プログラム
EP4068200A1 (en) Imaging system and method
US20230033956A1 (en) Estimating depth based on iris size
KR100764414B1 (ko) Ｐｓｆ 선택 모듈, 디지털 자동 초점 조절 장치 및 ｐｓｆ선택 방법
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
Mustaniemi Computer vision methods for mobile imaging and 3D reconstruction
Liang et al. High-Quality Light Field Acquisition and Processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230802

Address after: Germany Wetzlar

Applicant after: LEICA CAMERA AG

Address before: Washington State

Applicant before: Ernst Leitz Laboratories LLC

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination